CN112887788B - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN112887788B
CN112887788B CN202010370139.0A CN202010370139A CN112887788B CN 112887788 B CN112887788 B CN 112887788B CN 202010370139 A CN202010370139 A CN 202010370139A CN 112887788 B CN112887788 B CN 112887788B
Authority
CN
China
Prior art keywords
image
artificial intelligence
images
intelligence model
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010370139.0A
Other languages
English (en)
Other versions
CN112887788A (zh
Inventor
白光璇
金起募
金斗炫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN112887788A publication Critical patent/CN112887788A/zh
Application granted granted Critical
Publication of CN112887788B publication Critical patent/CN112887788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Neurology (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种电子装置及其控制方法。电子装置包括：存储器，被配置为存储多个图像；以及处理器，被配置为：识别多个图像的质量，使用与所识别的质量相对应的至少一个人工智能模型来处理多个图像，并获得包括处理后的多个图像在内的图形图像，并且至少一个人工智能模型被训练以提高输入图像的质量。

Description

电子装置及其控制方法
相关申请的交叉引用
本申请基于并要求于2019年11月29日在韩国知识产权局递交的韩国专利申请No.10-2019-0157583的优先权，其全部公开内容通过引用合并于本文。
技术领域
本公开涉及一种电子装置及其控制方法，并且更具体地涉及一种通过人工智能模型处理至少一个图像的电子装置及其控制方法。
背景技术
显示装置可以生成包括各种图像的图形图像，并且可以通过提高图形图像的图像质量来进行显示。图形图像中包括的各种图像可以在质量上彼此不同，并且基于执行图像增强处理过程，可以产生诸如某一图像噪声被更大地放大或清晰度降低之类的缺点。
例如，为了生成图1A的包括多个缩略图在内的图形图像，显示装置可以从多个内容提供商中的每一个接收图像，并将所接收的图像存储在存储器中，如图1B所示。此外，显示装置中设置的图形处理单元(GPU)可以生成包括多个图像的图形图像，并且再次将其存储在存储器中，然后可以缩放或压缩图形图像以对应于显示装置的分辨率，并且可以在执行图像质量校正后显示该图形图像。图像质量校正处理可以包括去除噪声的处理、提高清晰度以补偿在缩放操作之后可能发生的模糊现象的处理等。
从多个内容提供商接收的多个图像可以在质量上不同，例如高质量的图像和低质量的图像。基于将图像增强算法应用于包括多个图像的图形图像，可能存在基于多个图像的质量不同而无法将图像质量增强到最佳的问题。例如，去除噪声的图像增强算法在低质量图像的图像增强中可以是有利的，但是在去除高质量图像的高频区域时可以是不利的。另外，提高清晰度的图像增强算法可以提高高质量图像的清晰度，但是会存在如下问题：进一步放大低质量图像的噪声。
因此，需要开发一种在图形图像中包括的多个图像保持均匀质量的同时提高图形图像的图像质量的方法。
发明内容
示例实施例至少解决上述问题和/或缺点以及以上未描述的其他缺点。此外，示例实施例不需要克服上述缺点，并且可以不克服上述问题中的任一个。
提供了一种用于将包括多个图像的图形图像的图像质量提高到均匀质量的电子装置及其控制方法。
根据示例实施例的一方面，提供了一种电子装置，包括：存储器，被配置为存储多个图像；以及处理器，被配置为：识别多个图像的质量，使用与所识别的质量相对应的至少一个人工智能模型来处理多个图像，并获得包括处理后的多个图像在内的图形图像，其中，至少一个人工智能模型被训练以提高输入图像的质量。
至少一个人工智能模型可以包括被训练以减少噪声的第一人工智能模型、和被训练以提高清晰度的第二人工智能模型，并且多个图像可以包括第一图像和第二图像，其中，处理器还可以被配置为：基于识别到第一图像中包括的噪声大于或等于阈值噪声，使用第一人工智能模型来处理第一图像，以及基于识别到第二图像的清晰度小于阈值清晰度，使用第二人工智能模型来处理第二图像。
至少一个人工智能模型可以包括第三人工智能模型和第四人工智能模型，第三人工智能模型和第四人工智能模型被训练以减少不同强度的噪声，以及其中，处理器还可以被配置为：基于多个图像中的第三图像中包括的噪声强度，使用第三人工智能模型或第四人工智能模型来处理第三图像。
电子装置还可以包括：通信接口，其中，处理器还可以被配置为：通过对经由通信接口输入的输入数据进行解码来获得多个图像，将多个图像存储在存储器中，以及基于输入数据中包括的元数据来识别多个图像的质量。
电子装置还可以包括：显示器，其中，处理器还可以被配置为：通过缩放处理或图像增强处理中的至少一个，处理图形图像以与显示器的分辨率相对应，以及控制显示器显示处理后的图形图像。
处理器可以包括：第一处理单元，被配置为识别多个图像的质量；第二处理单元，被配置为使用与所识别的质量相对应的至少一个人工智能模型来处理多个图像；第三处理单元，被配置为获得包括处理后的多个图像在内的图形图像；以及第四处理单元，被配置为处理图形图像。
第一处理单元可以是中央处理单元(CPU)，并且第三处理单元可以是图形处理单元(GPU)。
第二处理单元可以是神经处理单元(NPU)。
存储器还可以被配置为存储视频内容，并且处理器还可以被配置为：通过对视频内容进行处理来获得视频图像，并且通过将视频图像和图形图像进行混合来获得输出图像。
多个图像可以是由多个内容提供商提供的图像。
根据示例实施例的一方面，提供了一种电子装置的控制方法，该控制方法包括：识别多个图像的质量；使用与所识别的质量相对应的至少一个人工智能模型来处理多个图像；以及获得包括处理后的多个图像在内的图形图像，其中，至少一个人工智能模型被训练以提高输入图像的质量。
至少一个人工智能模型可以包括被训练以减少噪声的第一人工智能模型、和被训练以提高清晰度的第二人工智能模型，并且多个图像可以包括第一图像和第二图像，其中，处理可以包括：基于识别到第一图像中包括的噪声大于或等于阈值噪声，使用第一人工智能模型来处理第一图像，以及基于识别到第二图像的清晰度小于阈值清晰度，使用第二人工智能模型来处理第二图像。
至少一个人工智能模型可以包括第三人工智能模型和第四人工智能模型，第三人工智能模型和第四人工智能模型被训练以减少不同强度的噪声。处理可以包括：基于多个图像中的第三图像中包括的噪声强度，使用第三人工智能模型或第四人工智能模型来处理第三图像。
控制方法可以包括：接收输入数据；以及通过对输入数据进行解码来获得多个图像，其中，识别包括：基于输入数据中包括的元数据来识别多个图像的质量。
控制方法可以包括：通过缩放处理或图像增强处理中的至少一个，处理图形图像以与在电子装置中设置的显示器的分辨率相对应；以及显示处理后的图形图像。
识别可以包括由第一处理器识别多个图像的质量，其中，使用至少一个人工智能模型来处理多个图像可以包括由第二处理器使用与所识别的质量相对应的至少一个人工智能模型来处理多个图像，其中，获得图形图像可以包括由第三处理器获得图形图像，以及其中，控制方法还可以包括由第四处理器对图形图像进行处理以与电子装置中设置的显示器的分辨率相对应。
使用至少一个人工智能模型来处理多个图像还可以包括：由第四处理器执行的第一处理；以及基于与所识别的质量相对应的至少一个人工智能模型对多个图像执行的第二处理。
第二处理器可以是神经处理单元(NPU)。
控制方法还可以包括：通过对视频内容进行处理来获得视频图像；以及通过将视频图像和图形图像进行混合来获得输出图像。
多个图像可以是由多个内容提供商提供的图像。
附图说明
根据结合附图的以下详细描述，本公开的某些实施例的上述和其他方案、特征以及优点将更清楚，在附图中：
图1A是用于描述常规技术的问题的图；
图1B是用于描述常规技术的问题的图；
图2是示出了根据本公开实施例的电子装置的配置的框图；
图3是用于描述根据本公开实施例的处理器的操作的图；
图4是用于描述根据本公开实施例的多个图像的处理方法的图；
图5是用于描述根据本公开实施例的多个图像的处理方法的图；
图6是用于描述根据本公开实施例的视频图像和图形图像的混合的图；以及
图7是用于描述根据本公开实施例的电子装置的控制方法的流程图。
具体实施方式
下面参考附图更详细地描述示例实施例。
在以下描述中，即使在不同附图中，相同的附图标记也用于相同的元素。提供描述中定义的内容(例如详细构造和元件)以帮助全面理解示例实施例。然而，应当清楚，即便在缺少这些具体定义的内容的情况下，也能够实践示例实施例。此外，由于公知的功能或构造会以不必要的细节使描述模糊，因此没有对其进行详细地描述。
在本公开的实施例中使用的术语是在本文中考虑功能而选择的广泛使用的通用术语。然而，这些术语可以根据相关领域的技术人员的意图、法律解释或技术解释、新技术的出现等而变化。此外，在某些情况下，可以存在由申请人任意选择的术语，并且在这种情况下，该术语的含义将在对应的描述中更详细地公开。因此，本文中使用的术语不应简单地解释为其名称，而应基于术语的含义和本公开的整体上下文。
本文中使用的表述如“包括”、“可以包括”、“由......组成”或“可以由......组成”应理解为指定特性(例如，诸如数量、功能、操作和组件之类的元素)的存在，并且不排除存在其他特性。
表述“A或/和B中的至少一个”应理解为表示“A”或“B”或“A和B”中的任一个。
本文使用的诸如“第一”、“第二”之类的表述用于修饰各种元素，而与顺序和/或重要性无关。此外，应注意，这些表述仅用于将一个元素与另一元素区分开，而不是限制相关元素。
除非另外规定，否则单数表述包括复数表述。应当理解，诸如“包括”或“由......组成”之类的术语在本文中用于指明存在特性、数量、步骤、操作、元件、组件或其组合，而不排除存在或添加一个或多个其它特性、数量、步骤、操作、元件、组件或其组合的可能性。
在本公开中，术语“用户”可以指代使用电子装置的人、或者使用电子设备的装置(例如，人工智能电子装置)。
在下文中，将参考附图更详细地描述本公开的实施例。
图2是示出了根据本公开实施例的电子装置的配置的框图。
作为图形图像获得装置，电子装置100可以包括显示器(例如，TV、台式PC、笔记本电脑、视频墙、大型显示器(LFD)、数字标牌、数字信息显示器(DID)、投影仪显示器、数字视频光盘(DVD)播放器、智能电话、平板PC、监视器、智能眼镜、智能手表等)，并且可以是直接显示所获得的图形图像的装置。另外，作为未设置有显示器的装置(例如，机顶盒(STB)、扬声器和计算机本体)，电子装置100可以是将获得的图形图像提供给显示装置的装置。然而，电子装置100不限于此，并且可以是能够获得图形图像的任何装置。
参考图2，电子装置100可以包括存储器110和处理器120，但是不限于此。电子装置100可以以不包括某些配置的形式来实现。
存储器110可以存储多个图像。多个图像可以在质量上彼此不同。例如，多个图像可以是由多个内容提供商中的每一个提供的图像，并且它们的质量可以彼此不同。
存储器110可以存储关于各种人工智能模型的信息。人工智能模型可以是被训练以提高输入图像的质量的人工智能模型。
例如，存储器110可以存储与被训练以减少噪声的第一人工智能模型有关的信息、和与被训练以提高清晰度的第二人工智能模型有关的信息。第一人工智能模型或第二人工智能模型中的至少一种可以是多个。例如，存储器110可以存储与不同噪声强度水平相对应的多个第一人工智能模型。基于噪声强度小于阈值强度，可以使用第一人工智能模型1，并且基于噪声强度为阈值强度或更大，可以使用第一人工智能模型2。另外，存储器110可以存储与多个不同噪声类型相对应的多个第一人工智能模型。当图像包括蚊式噪声时，可以将第一人工智能模型3用于图像，并且当图像包括等值线型噪声(contour type noise)时，可以将第一人工智能模型4用于图像。
存储器110可以存储具有应用于人工智能模型的多个图像中的每一个的图像。例如，存储器110可以存储图像1和图像2。此外，存储器110可以存储具有应用于第一人工智能模型的图像1的图像1’、和具有应用于第二人工智能模型的图像2的图像2’。
存储器110还可以存储视频内容。
存储器110可以被实现为非易失性存储器和易失性存储器，但是不限于此。例如，可以使用硬盘代替存储器110，并且可以使用任何配置，只要配置能够存储数据即可。
处理器120可以控制电子装置100的整体操作。具体地，处理器120可以连接到电子装置的每个配置，并且控制电子装置100的整体操作。例如，处理器120可以连接至诸如存储器110、显示器、通信接口之类的配置，并且控制电子装置100的操作。
根据实施例，处理器120可以被实现为数字信号处理器(DSP)、微处理器和时间控制器(TCON)，但是不限于此。处理器120可以包括中央处理器(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)或ARM处理器中的一种或多种，或可以由对应术语定义。另外，处理器120可以被实现为嵌入有处理算法的片上系统(SOC)或大规模集成电路(LSI)，并且可以被实现为现场可编程门阵列(FPGA)的形式。
处理器120可以识别存储在存储器110中的多个图像中的每个图像的质量。例如，处理器120可以将第一图像的噪声识别为阈值噪声或更大噪声，并且可以将第二图像的清晰度识别为阈值清晰度或更低清晰度。
然而，处理器不限于此，并且处理器120可以通过各种方法来识别图像的质量。例如，处理器120可以识别具有在第一阈值噪声和第二阈值噪声之间的范围内的噪声的第一图像，并且可以识别具有比第二阈值噪声大的噪声的第二图像。此外，处理器120可以将第一图像的噪声类型识别为蚊式噪声，并且将第二图像的噪声类型识别为等值线型噪声。
电子装置100还可以包括通信接口，并且处理器120可以通过对经由通信接口输入的输入数据进行解码来获得多个图像，将多个图像存储在存储器110中，并且基于输入数据中包括的元数据来识别多个图像中的每一个图像的质量。
例如，处理器120可以从以编码状态接收的输入数据的头信息中获得元数据。元数据可以包括关于与输入数据相对应的图像压缩强度的信息。
然而，处理器120不限于此，并且可以通过各种方法来识别图像的质量。例如，处理器120可以使用被训练以识别图像质量的人工智能模型来识别图像的质量，并且对识别图像质量的方法没有限制。另外，处理器120还可以划分图像质量并对其进行识别。例如，处理器120可以将图像识别为具有比阈值清晰度小的图像清晰度并且包括等值线型噪声。
处理器120可以使用与多个图像中的每个图像的识别的质量相对应的人工智能模型，并对其进行处理。
例如，人工智能模型可以包括被训练以减少噪声的第一人工智能模型、和被训练以提高清晰度的第二人工智能模型。此外，处理器120可以基于多个图像之中的第一图像中包括的噪声被识别为阈值噪声或更高，使用第一人工智能模型来处理第一图像，并且基于多个图像之中的第二图像的清晰度被识别为小于阈值清晰度，使用第二人工智能模型来处理第二图像。
另外，人工智能模型可以包括第三人工智能模型和第四人工智能模型，该第三人工智能模型和第四人工智能模型被训练以减少不同强度的噪声。此外，处理器120可以基于多个图像之中的第三图像中包括的噪声强度，使用第三人工智能模型或第四人工智能模型来处理第三图像。
另外，人工智能模型可以包括被训练以去除蚊式噪声的第五人工智能模型、和被经训练以去除等值线型噪声的第六人工智能模型。此外，处理器120可以基于多个图像之中的第五图像包括蚊式噪声，使用第五人工智能模型来处理第五图像，并且基于多个图像之中的第六图像包括等值线型噪声，使用第六人工智能模型来处理第六图像。
另外，可以根据图像清晰度将人工智能模型划分为多个人工智能模型，并且处理器120可以使用与图像清晰度相对应的人工智能模型来处理图像。
如上所述的图像质量可以划分为各种类别，并且没有具体限制。此外，处理器可以根据图像质量来应用多个人工智能模型。例如，处理器120可以基于图像清晰度小于阈值清晰度并包括等值线型噪声，顺序地使用第二人工智能模型和第六人工智能模型来处理图像。
另外，处理器120可以使用进一步划分的人工智能模型来处理图像。例如，人工智能模型可以包括去除等值线型噪声并提高清晰度的人工智能模型、去除等值线型噪声并保持清晰度的人工智能模型、去除蚊式噪声并提高清晰度的人工智能模型、以及去除蚊式噪声并保持清晰度的人工智能模型。此外，处理器120可以使用与图像质量相对应的人工智能模型来处理图像。
处理器120可以获得包括处理后的多个图像在内的图形图像。例如，处理器120可以获得具有以矩阵形式布置的多个图像的图形图像。
电子装置100还可以包括显示器，并且处理器120可以对图形图像进行处理以与显示器的分辨率相对应，并控制显示器显示处理后的图形图像。处理可以包括缩放处理或图像增强处理中的至少一个。
然而，处理器不限于此，并且处理器120可以对图形图像进行处理以对应于外部显示装置的分辨率，并且将处理后的图形图像发送到外部显示装置。
存储器110还可以存储视频内容，并且处理器120可以处理视频内容以获得视频图像，并将视频图像和图形图像混合以获得输出图像。
处理器120可以包括：第一处理单元，其识别多个图像中的每个图像的质量；第二处理单元，其使用与多个图像中的每个图像的识别的质量相对应的人工智能模型并对其进行处理；第三处理单元，其获得包括处理后的多个图像在内的图形图像；以及第四处理单元，其处理图形图像。
例如，第一处理单元可以基于诸如中央处理单元(CPU)之类的操作系统进行操作，第二处理单元可以是神经处理单元(NPU)，并且第三处理单元和第四处理单元可以执行预定操作。例如，第三处理单元可以是专用于信号处理的处理单元(例如，数字信号处理器(DSP)和图形处理单元(GPU))，并且第四处理单元可以是执行缩放或图像增强中的至少一个的电路。
作为专用于神经网络处理的处理器，神经处理单元(NPU)可以包括多个处理元件。相邻处理元件之间可以存在单向移位或双向移位。
每个处理元件通常可以包括乘法器和算术逻辑单元(ALU)，并且ALU可以包括至少一个加法器。处理元件可以使用乘法器和ALU来执行四则算术运算。然而，处理元件不限于此，并且可以形成在能够执行四则算术运算、移位等的其他结构中。此外，每个处理元件可以包括用于存储数据的寄存器。
第二处理单元可以基于与由第四处理单元执行的处理和所识别的质量相对应的人工智能模型来处理多个图像中的每个图像。例如，基于在第四处理单元执行缩放操作之后用于补偿模糊现象的清晰度提高性能是优异的，第二处理单元可以使用用于提供高质量的图像的人工智能模型。这是由于基于第四处理单元处理低质量图像而使得噪声增大的可能性。另外，基于第四处理单元的噪声去除性能是优异的，第二处理单元可以使用用于提供低质量的图像的人工智能模型。这是由于：基于第四处理单元处理高质量图像，当去除高频分量时使得清晰度降低的可能性。
在以上描述中，处理器120可以被描述为包括第一处理单元至第四处理单元，但是不限于此。例如，第一处理单元至第四处理单元可以全部被实现为单独的芯片类型。另外，处理器120可以包括第一处理单元至第三处理单元，并且显示器可以被实现为包括类似于第四处理单元的电路的形式。
根据本公开的与人工智能相关的功能可以通过处理器120和存储器110来操作。
处理器120可以由一个或多个处理器组成。一个或多个处理器可以是通用处理器(例如，CPU、AP和DSP)、图形专用处理器(例如，GPU和视觉处理单元(VPN))、或人工智能专用处理器(例如，NPU)。
一个或多个处理器可以基于存储在存储器110中的预定操作规则和人工智能模型来进行控制以处理输入数据。另外，基于一个或多个处理器是人工智能专用处理器，可以将人工智能专用处理器设计为专用于处理特定人工智能模型的硬件结构。预定操作规则或人工智能模型可以由通过学习而获得来表征。
通过学习而获得可以指的是：随着通过学习算法使用多个学习数据训练基本人工智能模型，获得用于执行期望特性(或对象)的预定操作规则或人工智能模型。该学习可以在根据本公开的执行人工智能的机器本身中进行，或者通过单独的服务器和/或系统进行学习。学习算法的示例包括监督学习、非监督学习、半监督学习或强化学习，但不限于此。
人工智能模型可以由多个神经网络层组成。多个神经网络层中的每一个可以具有多个权重值，并且通过计算先前层的计算结果以及在多个权重值之间的计算来执行神经网络处理。可以通过人工智能模型的训练结果来优化由多个神经网络层保持的多个权重值。例如，可以更新多个权重值以减少或优化在训练过程期间从人工智能模型获得的损失值或成本值。
人工智能网络可以包括深度神经网络(DNN)，并且例如卷积神经网络(CNN)、递归神经网络(RNN)、受限玻尔兹曼机(RBM)、深度信念网络(DBN)、双向递归深度神经网络(BRDNN)、生成对抗网络(GAN)、深度Q网络等可以包括在其中，但不限于此。
电子装置100还可以包括显示器和通信接口。
显示器可以被实现为各种类型的显示器，例如液晶显示器(LCD)、有机发光二极管(OLED)显示器、等离子显示面板(PDP)、微型LED、激光显示器、VR、眼镜等。在显示器中，还可以包括可以以非晶硅TFT、低温多晶硅(LTPS)TFT、有机TFT(OTFT)等形式实现的驱动电路和背光单元。显示器可以被实现为与触摸传感器、柔性显示器、三维显示器(3D显示器)等耦合的触摸屏。
通信接口可以被配置为根据各种类型的通信方法来与各种类型的外部装置进行通信。通信接口可以包括Wi-Fi模块、蓝牙模块、红外通信模块和无线通信模块。每个通信模块可以以至少一种硬件芯片类型来实现。
处理器120可以使用通信接口来与各种外部装置进行通信。外部装置可以包括服务器、蓝牙耳机、显示装置等。
Wi-Fi模块和蓝牙模块可以分别使用Wi-Fi方法和蓝牙方法执行通信。基于使用Wi-Fi模块或蓝牙模块，可以首先发送和接收诸如服务集标识符(SSID)和会话密钥之类的各种连接信息，并且可以在通信连接之后发送和接收各种信息。
红外线通信模块可以根据红外数据协会(IrDA)技术来执行通信，该红外数据协会(IrDA)技术使用可见光和毫米波之间的红外线近距离无线发送数据。
除了上述通信方法之外，无线通信模块可以包括根据各种通信标准执行通信的至少一个通信芯片，各种通信标准例如为ZigBee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、高级LTE(LTE-A)、第4代(4G)、第5代(5G)等。
其他通信接口可以包括有线通信模块中的至少一个，该有线通信模块使用局域网(LAN)模块、以太网模块、对股电缆、同轴电缆、光缆等来执行通信。
通信接口还可以包括输入和输出接口。输入和输出接口可以是高清多媒体接口(HDMI)、移动高清链路(MHL)、通用串行总线(USB)、显示端口(DP)、Thunderbolt、视频图形阵列(VGA)端口、RGB端口、D超微型(D-SUB)、数字视频接口(DVI)等中的任一个接口。
输入和输出接口可以输入或输出音频信号和视频信号中的任何一种。
根据实施例，输入和输出接口可以包括用于仅输入和输出音频信号的端口、和用于仅输入和输出视频信号的单独端口，或者可以被实现为用于输入和输出音频信号和视频信号两者的一个端口。
根据本公开的各种实施例，电子装置可以识别多个图像中的每个图像的质量，使用与所识别的质量相对应的人工智能模型来处理多个图像中的每个图像，并且基于获得包括处理后的多个图像在内的图形图像，保持多个图像的均匀质量，即使在对图形图像执行了图像增强时也是如此。
下面将通过各种附图来更详细地描述处理器120的操作。附图中的每个实施例可以单独地实现，并且可以以组合形式实现。
图3是用于描述根据本公开实施例的处理器的操作的图。
如图3所示，处理器120可以以分别分开的CPU 310、NPU 320、GPU 330和图形路径340的形式实现。此外，处理器120可以被实现为包括CPU 310、NPU 320、GPU 330和图形路径340在内的芯片。在示例实施例中，CPU 310、NPU 320、GPU 330和图形路径340可以被实现为多于一个的处理器。
存储器110可以包括缓冲器350和增强图形用户界面(GUI)360。
CPU 310可以对输入数据进行解码以获得多个图像，并将获得的多个图像存储在缓冲器350中。CPU 310可以从输入数据获得元数据。元数据可以包括关于与输入数据相对应的图像的压缩强度的信息。CPU 310可以将元数据中包括的关于图像的压缩强度的信息存储在缓冲器350中。
缓冲器350可以存储多个图像、关于每个图像的压缩强度的信息、以及多个人工智能模型。
NPU 320可以使用根据关于对应压缩强度的信息选择的人工智能模型来处理存储在缓冲器350中的多个图像中的每个图像。NPU 320可以使用人工智能模型来处理多个图像中的每一个图像，然后可以将处理后的多个图像存储回缓冲器350中。
在由NPU 320处理之前的多个图像的质量可以彼此不同，但是由NPU 320处理过的多个图像的质量可以相似。
另外，NPU 320可以基于图形路径340的性能来确定用于处理多个图像中的每个图像的人工智能模型。例如，基于图形路径340的清晰度提高性能是优异的，NPU 320可以使用用于提供高质量的多个图像的人工智能模型。另外，基于图形路径340的噪声去除性能是优异的，NPU 320可以使用用于提供低质量的多个图像的人工智能模型。
GPU 330可以生成包括由人工智能模型处理的多个图像在内的图形图像作为增强GUI 360，并将增强GUI 360存储在存储器110中。
图形路径340可以缩放图形图像以对应于显示分辨率，并且执行图像增强。图像增强可以包括噪声去除、清晰度提高等。
基于在如上所述生成图形图像之前将要包括在图形图像中的多个图像处理为均匀质量，可以均匀地保持多个图像的质量，即使在对图形图像执行了图像增强时也是如此。
图4和图5是用于描述根据本公开实施例的多个图像的处理方法的图。
在操作S410中，处理器120可以接收图像，并且在操作S420中可以识别图像的噪声是否超过阈值噪声。图像的噪声可以归因于根据压缩的劣化。例如，可以根据JPEG标准静止图像压缩方法来存储或发送图像，并且因此可以根据JPEG压缩量来识别是否存在噪声。
首先将参考图5来描述去除压缩噪声。如图5所示，电子装置100可以包括静止图像压缩解码器510、压缩强度鉴别器520、神经网络模型储存存储器530、神经网络模型加载器540、压缩噪声去除神经网络550、以及分配器560。静止图像压缩解码器510、压缩强度鉴别器520、神经网络模型加载器540、压缩噪声去除神经网络550和分配器560中的每一个可以以硬件实现为处理器120的一种配置，并且可以以软件模块实现以根据该软件模块进行操作。
静止图像压缩解码器510可以通过对输入数据进行解码来输出多个图像。此外，静止图像压缩解码器510可以在解码处理中获得输入数据中包括的元数据。元数据可以包括关于与输入数据相对应的图像压缩强度的信息。例如，元数据可以包括量化参数。
静止图像压缩解码器510可以将多个图像提供给分配器560，下面将连同分配器560对静止图像压缩解码器510的描述进行阐述。
压缩强度鉴别器520可以基于量化参数来识别压缩强度。例如，量化参数可以被划分为预定的多个部分，每个部分的压缩强度可以被映射为数字并且被存储，并且压缩强度鉴别器520可以基于输入的量化参数来识别对应数字的压缩强度。
神经网络模型加载器540可以从神经网络模型储存存储器530中存储的多个人工智能模型中读取与压缩强度相对应的人工智能模型。也就是说，可以根据压缩强度改变所使用的人工智能模型。
压缩噪声去除神经网络550可以使用读取的人工智能模型来处理图像。
分配器560可以基于压缩强度，输出从静止图像压缩解码器510输出的解码后的图像和从压缩噪声去除神经网络550输出的处理后的图像之一。例如，分配器560可以基于压缩强度为阈值强度或更高，输出从压缩噪声去除神经网络550输出的处理后的图像，并且基于压缩强度小于阈值强度，输出从静止图像压缩解码器510输出解码后的图像。
可以通过根据压缩强度和恢复图像中的每一个对压缩进行学习来获得上述多个人工智能模型。
返回参考图4，在操作S430中，处理器120可以基于噪声超过阈值噪声来去除噪声。此外，处理器120可以基于噪声不超过阈值噪声来省略噪声去除操作。
在操作S440中，处理器120可以识别图像清晰度是否小于阈值清晰度。例如，处理器120可以通过快速傅立叶变换(FFT)来处理图像，以基于图像中包括的频率分量来识别图像清晰度是否小于阈值清晰度。例如，基于图像是放大图像，从频率分布方面来看的高频分量可以很小，并且基于图像是原始图像，高频分量可以很高。也就是说，处理器120可以基于高频分量的分布来识别图像清晰度是否小于阈值清晰度。
在操作S450中，处理器120可以基于识别出图像清晰度小于阈值清晰度来补偿清晰度的损失。
在操作S460中，处理器120可以生成清晰度提高并且去除了噪声的图像。
在上文中，已经将处理器120描述为去除噪声并提高清晰度，但是其顺序不限于此。另外，可以执行噪声去除或清晰度提高中的任何一个。此外，可以使用人工智能模型来执行确定噪声是否存在以及确定清晰度的程度中的至少一个。例如，处理器120可以使用经训练的人工智能模型来识别图像是否包括噪声，以识别噪声是否存在。
图6是用于描述根据本公开实施例的视频图像和图形图像的混合的图。图6中公开的配置之中的获得图形图像的配置与图3的配置相同，并且将省略重复的描述。
如图6所示，电子装置100还可以包括视频处理器610和混合器620。视频处理器610和混合器620中的每一个可以以硬件被实现为处理器120中的一种配置，并且可以以软件模块实现以根据软件模块进行操作。
作为一种数字信号处理器(DSP)，视频处理器610可以通过对存储在存储器110中的视频内容进行处理来获得视频图像。
混合器620可以将从视频处理器610输出的视频图像与从图形路径340输出的图形图像进行混合，以获得输出图像。可以通过显示器来显示输出图像。
图7是用于描述根据本公开实施例的电子装置的控制方法的流程图。
首先，可以在操作S710中识别多个图像中的每个图像的质量。接下来，在操作S720中，可以使用与所识别的质量相对应的人工智能模型来处理多个图像中的每个图像。接下来，在操作S730中，可以获得包括处理后的多个图像在内的图形图像。可以训练人工智能模型以提高输入图像的质量。
人工智能模型可以包括被训练以减少噪声的第一人工智能模型、和被训练以提高清晰度的第二人工智能模型，并且操作S720可以包括：基于多个图像之中的第一图像中包括的噪声被识别为阈值噪声或更高，使用第一人工智能模型来处理第一图像，并且基于多个图像之中的第二图像的清晰度被识别为小于阈值清晰度，使用第二人工智能模型来处理第二图像。
另外，人工智能模型可以包括被训练以减少不同强度的噪声的第三人工智能模型和第四人工智能模型，并且操作S720可以包括：基于多个图像之中的第三图像中包括的噪声强度，使用第三人工智能模型或第四人工智能模型来处理第三图像。
此外，该处理还可以包括：接收输入数据并且通过对输入数据进行解码来获得多个图像，并且操作S710可以包括：基于输入数据中包括的元数据来识别多个图像中的每个图像的质量。
识别还可以包括：进行处理以与电子装置中设置的显示器的分辨率相对应，并且显示处理后的图形图像，并且处理可以包括缩放处理或图像增强处理中的至少一种。
操作S710可以包括由第一处理单元识别多个图像中的每个图像的质量，操作S720可以包括由第二处理单元使用与多个图像中的每个图像的识别的质量相对应的人工智能模型来处理图像，操作S730可以包括由第三处理单元获得包括处理后的多个图像在内的图形图像，并且进行处理以与显示器的分辨率相对应可以包括由第四处理单元处理图形图像。
此外，操作S720使用人工智能模型来处理图像可以包括由第四处理单元执行处理，并且基于与所识别的质量相对应的人工智能模型来处理多个图像中的每个图像。
第一处理单元可以基于操作系统进行操作，第二处理单元可以是神经处理单元(NPU)，并且第三处理单元和第四处理单元可以执行预定操作。
还可以包括获得处理视频内容以获得视频图像、以及将视频图像和图形图像进行混合以获得输出图像。
多个图像可以是由多个内容提供商提供的图像。
根据上述本公开的各种实施例，电子装置可以识别多个图像中的每个图像的质量，使用与所识别的质量相对应的人工智能模型来处理多个图像中的每个图像，并且基于获得包括处理后的多个图像在内的图形图像，保持多个图像的均匀质量，即使在对图形图像执行了图像增强时也是如此。
根据实施例，上述各种实施例可以被实现为包括存储在可由机器(例如，计算机)读取的机器可读存储介质上的指令在内的软件。作为能够调用存储在存储介质中的指令并根据所调用的指令进行操作的装置，机器可以包括根据所公开的实施例的电子装置。基于由处理器执行指令，处理器可以直接地或在处理器的控制下使用其他元件来执行与该指令相对应的功能。指令可以包括由编译器生成的代码或由解译器执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。本文使用的“非暂时性”仅表示存储介质不包括信号并且是有形的，但是不区分数据是半永久性还是临时存储在存储介质中。
此外，根据实施例，可以以计算机程序产品提供根据上述各种实施例的方法。计算机程序产品可以作为商品在买卖双方之间交换。计算机程序产品可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式分发，或者通过应用商店(例如，PlayStoreTM)在线分发。在在线分发的情况下，计算机程序产品中的至少一部分可以至少临时存储在例如制造商的服务器、应用商店的服务器或中继服务器的存储器之类的存储介质中，或者是临时生成的。
另外，根据实施例，可以以可记录介质实现上述各种实施例，可记录介质可以由计算机或类似于计算机的使用软件、硬件或软件和硬件的组合的装置读取。在某些情况下，本文描述的实施例可以由处理器本身实现。基于软件实现方式，可以用分离的软件模块实现诸如本文中所描述的处理和功能的实施例。每个软件模块可以执行本文所述的一个或多个功能和操作。
用于执行根据上述各种实施例的装置的处理操作的计算机指令可以存储在非暂时性计算机可读介质中。当由特定装置的处理器执行存储在非暂时性计算机可读介质中的计算机指令时，其使得特定装置在根据上述各种实施例的装置中执行处理操作。非暂时性计算机可读介质指代半永久性地存储数据而非很短时间地存储数据(诸如寄存器、高速缓存、内存等)的介质，并可以由装置读取。非暂时性计算机可读介质的特定示例包括紧凑盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等。
另外，根据上述各种实施例的每个元素(例如，模块或程序)可以由单个实体或多个实体组成，并且上述子元素中的一些子元素可以被省略，或者在各种实施例中，还可以包括另一子元素。备选地或附加地，可以将一些元素(例如，模块或程序)集成到一个实体中，以执行在集成之前由每个相应元素执行的相同或相似的功能。根据各种实施例，由模块、程序或其他元素执行的操作可以以顺序地、并行、重复或启发式的方式执行，或者至少一些操作可以以不同的次序执行，被省略，或者还可以包括不同操作。
上述示例性实施例仅仅作为示例而不应被解释为限制。本教导能够被容易地应用于其他类型的装置。此外，对示例性实施例的描述意在是说明性的，而不是为了限制权利要求的范围，并且多种备选、修改和变化对于本领域技术人员将是显而易见的。

Claims (9)

1.一种电子装置，包括：
显示器；
存储器，被配置为存储多个图像；以及
处理器，被配置为：
通过使用被训练为识别图像质量的人工智能模型来识别所述多个图像的质量，
使用与所识别的质量相对应的至少两个人工智能模型来处理所述多个图像以使所述多个图像具有均匀质量，以及
获得包括处理后的所述多个图像在内的图形图像，
其中，所述至少两个人工智能模型被训练以提高输入图像的质量，
其中，所述至少两个人工智能模型包括被训练以减少噪声的第一人工智能模型、和被训练以提高清晰度的第二人工智能模型，并且所述多个图像包括第一图像和第二图像，
其中，所述处理器还被配置为：
基于所述第一图像中包括的噪声大于或等于阈值噪声，使用所述第一人工智能模型来处理所述第一图像，以及
基于所述第二图像的清晰度小于阈值清晰度，使用所述第二人工智能模型来处理所述第二图像。
2.根据权利要求1所述的电子装置，其中，所述至少两个人工智能模型包括第三人工智能模型和第四人工智能模型，所述第三人工智能模型和所述第四人工智能模型被训练以减少不同强度的噪声，以及
其中，所述处理器还被配置为：基于所述多个图像中的第三图像中包括的噪声强度，使用所述第三人工智能模型或所述第四人工智能模型来处理所述第三图像。
3.根据权利要求1所述的装置，其中，所述处理器包括：
第一处理单元，被配置为识别所述多个图像的质量；
第二处理单元，被配置为使用与所识别的质量相对应的所述至少两个人工智能模型来处理所述多个图像；
第三处理单元，被配置为获得包括处理后的所述多个图像在内的所述图形图像；以及
第四处理单元，被配置为处理所述图形图像。
4.根据权利要求3所述的电子装置，其中，所述第一处理单元是中央处理单元CPU，并且所述第三处理单元是图形处理单元GPU。
5.根据权利要求4所述的电子装置，其中，所述第二处理单元是神经处理单元NPU。
6.根据权利要求1所述的电子装置，其中，所述存储器还被配置为存储视频内容，以及
其中，所述处理器还被配置为：通过处理所述视频内容来获得视频图像，并通过将所述视频图像和所述图形图像进行混合来获得输出图像。
7.根据权利要求1所述的电子装置，其中，所述多个图像是由多个内容提供商提供的图像。
8.一种电子装置的控制方法，所述控制方法包括：
通过使用被训练为识别图像质量的人工智能模型来识别多个图像的质量；
使用与所识别的质量相对应的至少两个人工智能模型来处理所述多个图像以使所述多个图像具有均匀质量；以及
获得包括处理后的所述多个图像在内的图形图像；
其中，所述至少两个人工智能模型被训练以提高输入图像的质量，
其中，所述至少两个人工智能模型包括被训练以减少噪声的第一人工智能模型、和被训练以提高清晰度的第二人工智能模型，并且所述多个图像包括第一图像和第二图像，
其中，所述处理包括：
基于所述第一图像中包括的噪声大于或等于阈值噪声，使用所述第一人工智能模型来处理所述第一图像，以及
基于所述第二图像的清晰度小于阈值清晰度，使用所述第二人工智能模型来处理所述第二图像。
9.根据权利要求8所述的控制方法，其中，所述至少两个人工智能模型包括第三人工智能模型和第四人工智能模型，所述第三人工智能模型和所述第四人工智能模型被训练以减少不同强度的噪声，以及
其中，所述处理包括：基于所述多个图像中的第三图像中包括的噪声强度，使用所述第三人工智能模型或所述第四人工智能模型来处理所述第三图像。
CN202010370139.0A 2019-11-29 2020-04-30 电子装置及其控制方法 Active CN112887788B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0157583 2019-11-29
KR1020190157583A KR20210067699A (ko) 2019-11-29 2019-11-29 전자 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
CN112887788A CN112887788A (zh) 2021-06-01
CN112887788B true CN112887788B (zh) 2024-04-09

Family

ID=70058220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010370139.0A Active CN112887788B (zh) 2019-11-29 2020-04-30 电子装置及其控制方法

Country Status (5)

Country Link
US (3) US11315227B2 (zh)
EP (3) EP3828812B1 (zh)
KR (1) KR20210067699A (zh)
CN (1) CN112887788B (zh)
WO (1) WO2021107291A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114981836A (zh) * 2020-01-23 2022-08-30 三星电子株式会社 电子设备和电子设备的控制方法
WO2021214712A1 (en) * 2020-04-24 2021-10-28 Spectrum Optix Inc. Neural network supported camera image or video processing pipelines
CN115428432B (zh) * 2020-12-28 2024-05-28 富士胶片株式会社 摄像支援装置、摄像装置、摄像支援方法及存储介质
WO2023214708A1 (ko) * 2022-05-06 2023-11-09 삼성전자 주식회사 영상 처리 장치 및 그 동작 방법
CN117710202B (zh) * 2023-08-22 2024-09-24 荣耀终端有限公司 图像融合方法、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084317A (zh) * 2019-05-06 2019-08-02 北京字节跳动网络技术有限公司 用于识别图像的方法和装置
CN110120024A (zh) * 2019-05-20 2019-08-13 百度在线网络技术（北京）有限公司 图像处理的方法、装置、设备和存储介质
CN110163237A (zh) * 2018-11-08 2019-08-23 腾讯科技（深圳）有限公司 模型训练及图像处理方法、装置、介质、电子设备
CN110166707A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN110168603A (zh) * 2016-11-08 2019-08-23 三星电子株式会社 用于由设备校正图像的方法及其设备
CN110290289A (zh) * 2019-06-13 2019-09-27 Oppo广东移动通信有限公司 图像降噪方法、装置、电子设备以及存储介质
KR20190119550A (ko) * 2019-10-02 2019-10-22 엘지전자 주식회사 영상의 해상도를 향상시키기 위한 방법 및 장치

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940010474B1 (ko) 1992-02-25 1994-10-22 삼성전자 주식회사 화질 개선 방법
KR100255636B1 (ko) 1996-06-20 2000-05-01 윤종용 잡음에 적응하는 히스토그램 등화를 이용한 화질 개선회로 및 그 방법
JP2004264920A (ja) 2003-02-26 2004-09-24 Sony Corp サムネイル画像を作成すると共にサイズ変更された画像の画像品質を改善する装置及び方法
JP2006253800A (ja) * 2005-03-08 2006-09-21 Fuji Xerox Co Ltd 画像処理装置、画像処理方法およびプログラム
JP2008533937A (ja) * 2005-03-25 2008-08-21 アルゴリス インコーポレイテッド Ｄｃｔコード化されたビデオの品質を、オリジナルビデオシーケンスを用いて、もしくは用いずに客観評価する装置及び方法
KR100718130B1 (ko) * 2005-06-04 2007-05-14 삼성전자주식회사 디스플레이 구동 장치 및 방법
US7676103B2 (en) * 2005-06-20 2010-03-09 Intel Corporation Enhancing video sharpness and contrast by luminance and chrominance transient improvement
US8659704B2 (en) * 2005-12-20 2014-02-25 Savant Systems, Llc Apparatus and method for mixing graphics with video images
KR101448308B1 (ko) 2008-02-04 2014-10-08 삼성전자주식회사 썸네일 이미지 생성 방법 및 장치
US8340452B2 (en) 2008-03-17 2012-12-25 Xerox Corporation Automatic generation of a photo guide
CN102113306A (zh) 2008-03-20 2011-06-29 惠普开发有限公司 基于缩略图的图像质量检查
US8447128B2 (en) * 2008-04-07 2013-05-21 Fujifilm Corporation Image processing system
EP2413612B1 (en) * 2010-07-30 2015-02-25 Deutsche Telekom AG Methods and apparatuses for temporal synchronization between the video bit stream and the output video sequence
US8494983B2 (en) * 2010-11-16 2013-07-23 Microsoft Corporation Object-sensitive image search
US9235875B2 (en) * 2012-11-01 2016-01-12 Google Inc. Image enhancement using learned non-photorealistic effects
US9786255B2 (en) * 2014-05-30 2017-10-10 Nvidia Corporation Dynamic frame repetition in a variable refresh rate system
US20160119672A1 (en) 2014-10-24 2016-04-28 The Nielsen Company (Us), Llc Methods and apparatus to identify media using image recognition
KR101654724B1 (ko) * 2014-11-18 2016-09-22 엘지전자 주식회사 적어도 하나의 메모리를 포함하는 디바이스의 제어 방법 및 스마트 tv
KR102290419B1 (ko) * 2015-01-13 2021-08-18 삼성전자주식회사 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치
ES2872724T3 (es) * 2015-02-19 2021-11-02 Magic Pony Tech Limited Mejora de los datos visuales mediante el uso de redes neuronales actualizadas
US10108883B2 (en) * 2016-10-28 2018-10-23 Intuit Inc. Image quality assessment and improvement for performing optical character recognition
US11222413B2 (en) 2016-11-08 2022-01-11 Samsung Electronics Co., Ltd. Method for correcting image by device and device therefor
US10726244B2 (en) * 2016-12-07 2020-07-28 Samsung Electronics Co., Ltd. Method and apparatus detecting a target
US10963676B2 (en) * 2016-12-23 2021-03-30 Samsung Electronics Co., Ltd. Image processing method and apparatus
US10902244B2 (en) * 2017-03-27 2021-01-26 Samsung Electronics Co., Ltd. Apparatus and method for image processing
JP7169094B2 (ja) * 2017-06-01 2022-11-10 株式会社東芝 画像処理システム及び医用情報処理システム
TWI722221B (zh) 2017-07-27 2021-03-21 優派國際股份有限公司 調整輸出影像的方法與多畫面顯示系統
US10957037B2 (en) 2017-09-07 2021-03-23 Siemens Healthcare Gmbh Smart imaging using artificial intelligence
US11517197B2 (en) * 2017-10-06 2022-12-06 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction
KR102033078B1 (ko) 2017-10-30 2019-10-16 에스케이텔레콤 주식회사 화질 측정 기반 영상 처리방법 및 그 장치
KR102661826B1 (ko) 2018-02-27 2024-04-26 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
US10699663B2 (en) * 2018-02-27 2020-06-30 Tobii Ab Providing an image with a scaler chip in direct communication with an eye tracking device
US11681001B2 (en) * 2018-03-09 2023-06-20 The Board Of Trustees Of The Leland Stanford Junior University Deep learning method for nonstationary image artifact correction
KR102525159B1 (ko) * 2018-03-19 2023-04-25 삼성전자주식회사 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체
US11234666B2 (en) * 2018-05-31 2022-02-01 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (PET)
TWI678927B (zh) * 2018-09-18 2019-12-01 宏碁股份有限公司 動態調整影像清晰度的方法及其影像處理裝置
EP3891693A1 (en) * 2018-12-21 2021-10-13 Huawei Technologies Co., Ltd. Image processor
JP7302988B2 (ja) * 2019-03-07 2023-07-04 富士フイルムヘルスケア株式会社 医用撮像装置、医用画像処理装置、及び、医用画像処理プログラム
KR102210940B1 (ko) 2019-05-02 2021-02-03 삼성전자주식회사 전자 장치 및 그 영상 처리 방법
CN111881927B (zh) 2019-05-02 2021-12-21 三星电子株式会社 电子装置及其图像处理方法
JP7016835B2 (ja) * 2019-06-06 2022-02-07 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
KR20190104927A (ko) 2019-08-22 2019-09-11 엘지전자 주식회사 사진 영상 제공 장치 및 사진 영상 제공 방법
US20210077060A1 (en) * 2019-09-17 2021-03-18 GE Precision Healthcare LLC System and methods for interventional ultrasound imaging
KR20210061146A (ko) 2019-11-19 2021-05-27 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20210062477A (ko) 2019-11-21 2021-05-31 삼성전자주식회사 전자 장치 및 그 제어 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110168603A (zh) * 2016-11-08 2019-08-23 三星电子株式会社 用于由设备校正图像的方法及其设备
CN110163237A (zh) * 2018-11-08 2019-08-23 腾讯科技（深圳）有限公司 模型训练及图像处理方法、装置、介质、电子设备
CN110084317A (zh) * 2019-05-06 2019-08-02 北京字节跳动网络技术有限公司 用于识别图像的方法和装置
CN110120024A (zh) * 2019-05-20 2019-08-13 百度在线网络技术（北京）有限公司 图像处理的方法、装置、设备和存储介质
CN110166707A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN110290289A (zh) * 2019-06-13 2019-09-27 Oppo广东移动通信有限公司 图像降噪方法、装置、电子设备以及存储介质
KR20190119550A (ko) * 2019-10-02 2019-10-22 엘지전자 주식회사 영상의 해상도를 향상시키기 위한 방법 및 장치

Also Published As

Publication number Publication date
EP3961553A1 (en) 2022-03-02
EP3961553B1 (en) 2024-08-21
US20210166368A1 (en) 2021-06-03
WO2021107291A1 (en) 2021-06-03
CN112887788A (zh) 2021-06-01
EP3828812A1 (en) 2021-06-02
US20220230296A1 (en) 2022-07-21
US20210166369A1 (en) 2021-06-03
KR20210067699A (ko) 2021-06-08
US11763440B2 (en) 2023-09-19
EP4439446A2 (en) 2024-10-02
EP3828812B1 (en) 2023-11-22
US11315227B2 (en) 2022-04-26
US11138717B2 (en) 2021-10-05
EP3961553C0 (en) 2024-08-21

Similar Documents

Publication Publication Date Title
CN112887788B (zh) 电子装置及其控制方法
US11481586B2 (en) Electronic apparatus and controlling method thereof
US20210049450A1 (en) Processor chip and control methods thereof
US20240221245A1 (en) Display apparatus and image processing method thereof for applying random patches to pixel block
US20240274053A1 (en) Display device and operating method thereof
US12062163B2 (en) High dynamic range post-processing device, and display device including the same
US20220414828A1 (en) Electronic apparatus, control method thereof and electronic system
US20220092735A1 (en) Electronic apparatus and controlling method thereof
US11336905B2 (en) Storing index information for pixel combinations with similarity to a pixel to replace the pixel information
KR20230068894A (ko) 디스플레이 장치 및 그 동작방법
KR20220036061A (ko) 전자 장치, 그 제어 방법 및 전자 시스템
US20230109358A1 (en) Electronic apparatus and control method thereof
KR20230032704A (ko) 디스플레이 장치 및 그 동작방법
US20230114954A1 (en) Display device and operating method of the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant