CN109429085B - 显示装置及其图像处理方法 - Google Patents

显示装置及其图像处理方法 Download PDF

Info

Publication number
CN109429085B
CN109429085B CN201810978031.2A CN201810978031A CN109429085B CN 109429085 B CN109429085 B CN 109429085B CN 201810978031 A CN201810978031 A CN 201810978031A CN 109429085 B CN109429085 B CN 109429085B
Authority
CN
China
Prior art keywords
tile
pixel values
pixel value
pixel
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810978031.2A
Other languages
English (en)
Other versions
CN109429085A (zh
Inventor
林亨俊
俞锡奉
安泰庆
文永秀
崔成勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109429085A publication Critical patent/CN109429085A/zh
Application granted granted Critical
Publication of CN109429085B publication Critical patent/CN109429085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4061—Super resolution, i.e. output image resolution higher than sensor resolution by injecting details from a different spectral band
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G3/2096—Details of the interface to the display terminal specific for a flat panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/222—Control of the character-code memory
    • G09G5/227—Resolution modifying circuits, e.g. variable screen formats, resolution change between memory contents and display screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/029—Improving the quality of display appearance by monitoring one or more pixels in the display panel, e.g. by monitoring a fixed reference pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame

Abstract

提供了一种显示装置。显示装置包括输入接口、第一存储器、显示器和处理器。将与通过输入接口输入的图像中的预定行数相对应的像素值存储在第一存储器中。处理器通过对存储在第一存储器中的像素值中位于以特定像素值为中心的矩阵的外部区域的多个像素进行采样来获取预定大小的第一分片，基于获取到的第一分片获取针对特定像素值的高频分量，并且基于高频分量处理输入图像。显示器显示经处理的图像。

Description

显示装置及其图像处理方法
相关申请的交叉引用
本申请基于并要求于2017年8月30日在韩国知识产权局提交的韩国专利申请No.10-2017-0110249的优先权，其全部公开内容通过引用合并于此。
技术领域
本公开涉及显示装置及其控制方法，并且更具体地，涉及对输入图像的高频分量进行恢复的显示装置及其图像处理方法。
背景技术
随着电子技术的发展，开发并推广了各种类型的电子装置。在诸如家庭、办公室、公共场所等各种场所使用的显示装置近年来日益发展。
近年来，诸如4K UHD电视(TV)等高清显示面板已经出现并且广泛普及。然而，高质量以及高清晰度内容可能相当不足。因此，需要用于从低清晰度内容生成高清晰度内容的各种技术。此外，由于诸如MPEG/H.264/HEVC等图像压缩，内容的高频分量可能丢失。因此，需要用于恢复丢失的高频分量的技术。
提出以上信息作为背景信息仅仅是为了辅助理解本公开。并未确定和断言上述任何内容是否可应用作关于本公开的现有技术。
发明内容
示例性实施例可以克服以上缺点和上文未描述的其他缺点。此外，不要求示例性实施例克服上述缺点，并且示例性实施例可以不克服上述问题中的任何一个。
根据一个或多个示例性实施例涉及一种显示装置及其图像处理方法，通过关于由于图像放大、图像压缩等引起的纹理丢失图像的纹理生成，能够提高图像的精细度。
根据示例实施例的一个方面，提供了一种显示装置，包括：输入接口；第一存储器；显示器；以及处理器，被配置为：控制第一存储器存储与通过输入接口输入的图像中预定行数相对应的像素值，通过对第一存储器中存储的像素值中位于以特定像素值为中心的矩阵的外部区域中的多个像素值进行采样来获取预定大小的第一分片，基于第一分片获取针对特定像素值的高频分量，以及经由显示器显示通过基于高频分量对输入图像进行处理的输入图像。
处理器可以通过根据预定顺序对第一分片中基于特定像素值的多个像素值的位置进行改变，获取第二分片。
处理器可以对第二分片执行模糊处理，基于第一分片中的像素值与经模糊处理的第二分片中的像素值之间的差来获取包括针对特定像素值的高频分量的第三分片，并且将获取到的第三分片应用于输入图像的特定像素值。
处理器可以基于第一分片中的特定像素值与相邻于所述特定像素值的多个像素值之间的差来获取所述多个像素值的权重值，并且通过将获取到的权重值中的对应权重值应用于第三分片中包括的每个高频分量，获取针对特定像素值的高频分量。
处理器可以通过对位于第二分片的边界区域中的像素值进行镜像并将经镜像的像素值排列在第二分片的外部区域中来对位于第二分片的边界区域中的像素值执行模糊处理。
处理器可以将第三分片中包括的高频分量的平均值调整为预定值，并可以将平均值经调整的第三分片应用于输入图像的特定像素值。
处理器可以获取具有3×3形式的第一分片，其中特定像素值被以下像素值包围：位于围绕圆形的四边形的顶点的像素值，该圆形以基于特定像素值预先确定的像素间隔为半径，以及位于该圆形和该四边形之间的接触点的像素值；并且可以处理器可以通过在第一分片中固定特定像素值的位置并且可以基于特定像素值顺序地排列彼此间隔开的像素值来获取第二分片。
处理器可以通过以下方式获取第二分片：沿顺时针和逆时针方向中的一个方向来获取相邻像素值，该相邻像素值位于第一分片中基于特定像素值的对角线方向，可以顺序地排列相邻像素值，并且可以沿与该一个方向相同的方向获取剩余像素值并且可以顺序地排列剩余像素值。
第一存储器可以用与预定行数相对应的N行存储器来实现。处理器可以通过对多个第二像素值和多个第一像素值进行采样来获取第一分片：多个第二像素值在基于特定像素值在上、下、左和右方向间隔(N-1)/2像素间隔的位置中，多个第一像素值位于以该多个第二像素值为边缘中心点的四边形的顶点，其中该特定像素值位于与存储在第一存储器中的N行相对应的像素值中的第(N+1)/2行。
显示装置100还可以包括第二存储器。处理器可以当获取到针对特定像素值的高频分量时，将获取到的高频分量存储在第二存储器中并且顺序地获取针对后续像素的高频分量并存储在第二存储器中，并且当针对输入图像中包括的所有像素值的高频分量存储在第二存储器中时，通过将经存储的高频分量应用于对应像素值来获取经校正的图像。
根据示例性实施例的一个方法，提供了一种显示装置的图像处理方法，该方法包括：存储与输入图像的预定行数相对应的像素值；通过对所存储的像素值中位于以特定像素值为中心的矩阵的外部区域的多个像素值进行采样来获取预定大小的第一分片；基于第一分片获取针对特定像素值的高频分量；以及通过基于高频分量对输入图像进行处理来显示输入图像。
获取高频分量可以包括：通过根据预定顺序对第一分片中基于特定像素值的多个像素值的位置进行改变，获取第二分片。
获取高频分量可以包括：对第二分片执行模糊处理，并且基于第一分片中包括的像素值与经模糊处理的第二分片中的像素值之间的差来获取包括针对特定像素值的高频分量的第三分片。
获取高频分量可以包括：通过基于第一分片中的特定像素值与相邻于特定像素值的多个像素值之间的差来获取针对多个像素值的权重值，并且通过将获取到的权重值中的对应权重值应用于第三分片中的每个高频分量来获取针对特定像素值的高频分量。
获取第二分片可以包括：通过对位于第二分片的边界区域的像素值进行镜像并将经镜像的像素值排列在第二分片的外部区域中，来对位于第二分片的边界区域中的像素值执行模糊处理。
该方法还可以包括：将第三分片中包括的高频分量的平均值调整为预定值，并将平均值经调整的第三分片应用于输入图像的特定像素值。
获取第一分片可以包括：获取具有3×3形式的第一分片，其中特定像素值被以下像素值包围：位于围绕圆形的四边形的顶点的像素值以及位于该圆形与该四边形的接触点的像素值，该圆形以基于特定像素值预先确定的像素间隔为半径。
获取第二分片可以包括：通过固定第一分片中特定像素值的位置并基于特定像素值顺序地排列彼此间隔开的像素值来获取第二分片。
获取第二分片可以包括通过以下操作获取第二分片：沿顺时针和逆时针方向中的一个方向，获取相邻像素值，相邻像素值位于该第一分片中基于该特定像素值的对角线方向，并且顺序地排列相邻像素值，并且沿与该一个方向相同的方向获取剩余像素值并且顺序地排列剩余像素值。
显示装置可以包括与预定行数相对应的N行存储器。获取第一分片可以包括通过对多个第二像素值和多个第一像素值进行采样来获取第一分片：多个第二像素值在基于特定像素值在上、下、左和右方向间隔开(N-1)/2像素间隔位置中，以及多个第一像素值位于以多个第二像素值为边缘中心点的四边形的顶点，其中特定像素值位于与存储在存储器中的N行相对应的像素值中的第(N+1)/2行。
该方法还可以包括：当获取到针对特定像素值的高频分量时，存储获取到的高频分量并且顺序获取和存储针对下一像素的高频分量，并且当针对输入图像中包括的所有像素值的高频分量被存储时，通过将所存储的高频分量应用于对应像素值来获取经校正的图像。
根据示例性实施例的一个方面，提供了一种非暂时性计算机可读记录介质，存储计算机指令，当计算机指令由显示装置的处理器执行时，使显示装置执行以下操作：存储与输入图像的预定行数相对应的像素值；通过对所存储的像素值中位于以特定像素值为中心的矩阵的外部区域的多个像素值进行采样来获取预定大小的第一分片；基于第一分片获取针对特定像素值的高频分量；以及基于高频分量处理输入图像。
根据上述各种示例性实施例，通过关于由于图像放大和/或图像压缩引起的纹理丢失图像的纹理生成，可以提高图像的精细度。
示例性实施例的附加方面和优点在详细描述中进行阐述，根据详细描述将是显而易见的，或者可以通过实施示例性实施例而获知。
附图说明
根据结合附图的以下描述，本公开的特定实施例的上述和/或其他方面、特征以及优点将更清楚，在附图中：
图1是示出了根据实施例的显示装置的实现示例的视图；
图2是示出了根据实施例的显示装置的配置的框图；
图3是示出了根据实施例的获取第一分片的方法的图；
图4A和图4B是示出了根据实施例的通过对第一分片的像素位置进行重排序来获取第二分片的方法的图；
图5A至图5C是示出了根据实施例的针对第二分片的模糊方法的图；
图6是示出了根据实施例的获取第三分片的方法的图；
图7A和图7B是示出了根据实施例的获取应用权重的第三分片的方法的图；
图8是示出了根据实施例的获取针对下一像素值的高频分量的方法的图；
图9A和图9B是示出了根据实施例的将高频分量应用于输入图像的方法的图；
图10是示出了根据另一实施例的显示装置的配置的框图；
图11是示出了根据实施例的显示装置的图像处理方法的流程图；
图12是示出了根据实施例的显示装置的图像处理方法的图；
图13A至图13C是示出了根据实施例的侵权(infringement)检测方法的图；以及
图14A和图14B是示出了根据实施例的侵权检测方法的图。
具体实施方式
在下文中，将参考附图更充分地描述本公开的示例性实施例，其中示出了本公开的示例性实施例以理解本公开的配置和效果。然而，本公开可以用多种不同形式来实现和修改，并且不应当被解释为受到本文阐述的示例性实施例的限制。为了更清楚地描述示例性实施例的特征，为了清楚起见，将省略对本领域技术人员来说公知的内容的详细描述。
除非另外描述，否则包括任何元件的任何部分可以指进一步包括其他元件而不排除其他元件的部分。可以示意性地绘制附图中的各种元件和区域。因此，本公开的技术构思不受附图中的相对尺寸或间距的限制。
在下文中，将参照附图详细描述本公开的示例性实施例。
图1是示出了根据实施例的显示装置的实现示例的图。
电子装置100可以用如图1中所示的TV来实现，但是不限于此。诸如智能手机、平板个人计算机(PC)、膝上型计算机、头戴式显示器(HMD)、近眼显示器(NED)、大屏显示器(LFD)、数字标牌、数字信息显示器(DID)、视频墙、投影仪显示器等的具有显示功能的任何装置可以用作显示装置100。
显示装置100可以接收各种类型的分辨率图像或各种类型的压缩图像。例如，显示装置100可以接收标清(SD)图像、高清(HD)图像、全HD图像和超HD(UHD)图像中的任何一个。显示装置100可以以MPEG(例如，MP2、MP4、MP7等)、高级视频编码(AVC)、H.264、高效视频编码(HEVC)等压缩形式20的压缩形式接收图像。
即使当根据示例性实施例，显示装置100用UHD TV来实现时，UHD内容本身可能不足，并且因此可能经常输入SD图像、HD图像、全HD图像等(在下文中，称为低分辨率图像10)。可以使用通过将输入的低分辨率图像放大到UHD图像(在下文中，称为高分辨率图像)来提供图像的方法。然而，在图像放大处理中图像的纹理被模糊，并且因此精细度可能降低。图像的纹理可以指在图像中被视为相同纹理的区域的独特图案或形状。
即使当根据另一示例性实施例输入高分辨率图像时，也可能导致由于图像压缩引起的纹理损失，并且精细度可能降低。根据像素数量的增加，数字图像可能需要大量数据，并且在压缩大量数据时可能不可避免地导致由于数据压缩引起的纹理损失。
在下文中，将描述根据各种示例性实施例的通过恢复由于上述各种原因而丢失的纹理分量来改善图像的精细度的方法。
图2是示出了根据实施例的显示装置的配置的框图。
参考图2，用户装置100可以包括输入接口110、第一存储器120、显示器130和处理器140。
输入接口110可以接收多种类型的内容。例如，输入接口110可以通过诸如基于接入点(AP)的WiFi(无线局域网(LAN))、蓝牙、Zigbee、有线/无线LAN、广域网(WAN)、以太网、IEEE1394、高清多媒体接口(HDMI)、USB、移动高清链路(MHL)、音频工程学会/欧洲广播联盟(AES/EBU)、光学、同轴等的通信方法从外部装置(例如，源装置)、外部存储介质(例如，通用串行总线(USB))、外部服务器(例如，网络硬盘)等以流式传输或下载方式接收图像信号。这里，图像信号可以是数字信号，但是不限于此。根据示例性实施例，输入接口110是硬件或硬件和软件的组合。
第一存储器120可以存储通过输入接口110输入的图像的至少一部分。例如，第一存储器120可以存储输入图像帧的至少一部分区域。在该示例中，根据示例性实施例，所述至少一部分区域可以是执行图像处理所需的区域。根据示例性实施例的第一存储器120可以用N行存储器来实现。例如，N行存储器可以是在竖直方向上具有等于17行容量的存储器，但是不限于此。在该示例中，当输入1080p(1920×1080分辨率)的全HD图像时，可以在第一存储器120中仅存储全HD图像的17行图像区域。因此，第一存储器120可以用N行存储器来实现，并且可以仅存储输入图像帧的部分区域以执行图像处理。这是因为第一存储器120的存储容量根据硬件限制而受到限制。
因此，在示例性实施例中，第一存储器120可以通过仅存储与预定行数相对应的输入图像帧的图像区域来执行图像处理，并且可以在存储延迟了至少一行的图像区域的同时连续执行图像处理。稍后将详细描述这样的操作。
显示器130可以用各种类型的显示器(例如，液晶显示器(LCD)面板、有机发光二极管(OLED)面板、硅上液晶(LCoS)面板、数字光处理(DLP)面板、量子点(QD)显示面板等)来实现。
处理器140可以控制显示装置100的整体操作。
根据示例性实施例的处理器140可以用数字信号处理器(DSP)、微处理器以及处理数字图像信号的时间控制器(TCON)来实现，但是不限于此。处理器140可以包括中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)和高级精简指令集计算(RISC)机器(ARM)处理器中的一个或多个，或者可以定义为对应术语。处理器140可以用片上系统(SoC)类型、或大规模集成(LSI)类型(其中内置了处理算法)、或现场可编程门阵列(FPGA)类型来实现。
根据示例性实施例的处理器140可以将与通过输入接口110输入的图像中的预定行数相对应的像素值存储在第一存储器120中。预定行数可以指第一存储器120的最大行容量。例如，当第一存储器120用17竖直行存储器来实现时，处理器140可以存储与输入图像帧中的17行相对应的像素值。
处理器140基于存储在第一存储器120中的像素值中的特定像素值，通过对彼此间隔开不同方向的位置中的多个像素值进行采样，来获取预定大小的第一分片。预定大小可以具有各种大小，例如3×3、5×5等。在下文中，将在假设第一分片具有3×3大小的情况下描述获取第一分片的操作。
例如，当与输入图像的N行相对应的像素值存储在用N行存储器实现的第一存储器120中时，处理器140可以通过对位于N×N矩阵的外部区域的多个像素值进行采样来获取第一分片，该N×N矩阵以位于第(N+1)/2行的特定像素值为中心。在一些示例性实施例中，处理器140可以通过基于位于第(N+1)/2行的特定像素值，对位于小于N的区域的矩阵的外部区域的多个像素值进行采样来获取第一分片。
在示例性实施例中，处理器140可以通过对多个第一像素值以及多个第二像素值进行采样来获取第一分片，其中多个第一像素值的位置基于位于第(N+1)/2行中的特定像素值，在上、下、左、右方向上相隔(N-1)/2像素间隔，多个第二像素值位于多个第一像素值为边缘的中心点的四边形的顶点中。
例如，处理器140可以获取N×N形式的第一分片，其中特定像素值被第一像素值以及第二像素值包围，第一像素值位于围绕圆形的四边形的顶点，该圆形以基于特定像素值预先确定的像素间隔(例如，(N-1)/2像素间隔)作为半径，第二像素值位于对应圆形与对应四边形之间的接触点。
图3是示出了根据示例性实施例的获取第一分片的方法的图。
图3示出了根据示例性实施例的第一存储器120用17行存储器来实现。如上所述，第一存储器120中可以仅存储输入图像30中最多17行的像素值。为了在示例性实施例中的硬件中提供的17行存储器中生成最大高频，可以通过对与当前像素(或中心像素)间隔最大的像素进行采样来生成第一分片，以满足预定的采样标准。
采样标准可以相同地应用于一个内容，例如，运动图像的每个帧。执行该操作以在运动图像中的相邻帧之间一致地生成纹理。然而，在一些示例性实施例中，可以以预定间隔单位(例如，以场景单位)改变采样标准。例如，当存在与每个场景的图像特征相匹配的采样标准时，可以将不同的采样标准应用于场景。当前像素(或中心像素)可以指应用于根据示例性实施例获取的高频分量的像素。
根据示例性实施例的预定采样标准可以被设置为对围绕圆形的正方形形状中包括的多个像素进行采样，该圆形具有基于当前像素的最大半径。例如，可以对沿基于当前像素的八个方向(包括上下、左右和对角线方向)位于对应正方形形状中的像素值进行采样。
如图3所示，处理器140可以对第一像素311、313、315和317以及第二像素值312、314、316和318进行采样以作为第一分片的像素值，第一像素311、313、315和317位于围绕圆形的四边形的顶点，该圆形基于当前像素310以八个像素作为半径，第二像素值312、314、316和318位于对应圆形与对应四边形的接触点。
图像中的频率可以指代像素值的变化率，并且可以用高频分量来表示图像的精细度。一般来说，当前像素与远离当前像素的像素值之间的差异可能很大，并且因此可以使用基于当前像素间隔的像素值来获取针对当前像素的高频分量。因此，在示例性实施例中，可以使用在硬件存储器容量的限制下基于当前像素间隔最大的像素值来获取高频分量。
处理器140可以获取具有3×3矩阵形式的第一分片300-1，其中当前像素值310位于中心并且多个采样像素值311至318在上下、左右和对角线方向上与当前像素相邻。
然而，这仅是示例性的，并且采样标准不限于此。例如，除了位于图3所示的四边形的顶点的第一像素值311、313、315和317之外，可以对与第一像素311、313、315和317的对角线方向的内侧中的当前像素值相邻的像素值(未示出)进行采样以作为针对第一分片的像素值。
根据示例性实施例，处理器140可以通过根据预定顺序对基于特定像素值的多个像素值的位置进行改变来获取第二分片，并且可以基于获取到的第二分片获取针对特定像素值的高频分量。当获取到第一分片时，处理器140可以通过根据预定重排序标准对第一分片中包括的多个像素值的位置进行改变来获取第二分片。可以执行像素值的记录以获取在有限存储容量内具有随机性的高频分量。当通过像素值的重排序处理生成纹理时，可以生成不具有水平/竖直网格噪声的精细纹理分量。
例如，处理器140可以通过将第一分片中的当前像素值固定到中心并且基于当前像素值顺序地排列彼此间隔开的像素值来获取第二分片。重排序标准可以相同地应用于一个内容，例如，运动图像的每个帧。这是为了在一个运动图像中的相邻帧之间一致地生成纹理。在一些示例性实施例中，可以以预定间隔单位(例如，以场景单位)改变重排序标准。例如，当存在与每个场景的图像特征相匹配的重排序标准时，可以将重排序标准不同地应用于每个场景。
图4A是示出了根据示例性实施例的通过对第一分片的像素位置进行重排序来获取第二分片的方法的图。
参考图4A，处理器140可以通过应用以下重排序标准来获取第二分片400-1：沿顺时针和逆时针方向中的一个方向，获取第一分片300-1中位于基于当前像素值的对角线方向上的相邻像素值，并且可以顺序排列这些相邻像素值；并且可以沿与该一个方向相同的方向，获取剩余像素值，并且可以顺序排列这些剩余像素值。例如，当排列获取到的像素值时，处理器140可以在矩阵形式的第一行中从左到右排列像素值。根据示例性实施例，当第一行中没有空间时，处理器140可以在下一行中从左到右排列像素值。
例如，如图4A所示，处理器140可以通过应用以下重排序标准来获取第二分片400-1：沿顺时针方向获取第一分片300-1中位于基于当前像素值310的对角线方向上的像素值311、313、315和317，并且可以顺序排列像素值311、313、315和317；并且如图4A所示，可以沿相同的方向(顺时针方向)获取剩余像素值312、314、316和318，并且可以顺序排列剩余像素值312、314、316和318。
然而，这仅是示例性的，并且重排序标准不限于此。
例如，处理器140可以通过应用以下重排序标准来获取第二分片：沿顺时针和逆时针方向中的一个方向，获取第一分片中位于基于当前像素值的对角线方向上的像素值，并且可以顺序排列这些像素值；并且可以沿与该一个方向相反的方向获取剩余像素值，并且可以顺序排列这些剩余像素值。
在另一示例中，如图4B所示，处理器140可以通过应用以下重排序标准来获取第二分片400-3：沿顺时针方向获取位于基于当前像素值310的对角线方向上的像素值311、315、317和313，并且可以顺序排序像素值311、315、317和313；并且可以沿逆时针方向获取剩余像素值312、314、316和318，并且可以顺序排列像素值312、314、316和318。因此，可以在间隔位置中的像素值彼此相邻排列的条件下不同地应用重排序标准。
在示例性实施例中，当获取到第二分片时，处理器140可以对获取到的第二分片执行模糊(或平滑)处理，并且基于第一分片中包括的像素值与经过模糊处理的第二分片中包括的像素值之间的差来获取包括针对当前像素值的高频分量的第三分片。在另一示例性实施例中，处理器140可以基于第一分片来获取包括高频分量的第三分片。处理器140可以基于第一分片中包括的像素值与经过模糊处理的第一分片中包括的像素值之间的差来获取包括针对当前像素值的高频分量的第三分片。为了清楚起见，在下文中，将在假设基于通过像素值重排序获取的第二分片来获取高频分量的情况下描述获取第三分片的操作。
为了对3×3形式的第二分片执行模糊处理，处理器140可以应用过滤高频分量的低通滤波器。例如，处理器140可以执行高斯模糊(或高斯滤波)处理。高斯模糊可以是使用基于高斯概率分布的高斯滤波器的模糊处理方法，并且当高斯滤波器应用于第二分片时，可以切断高频分量，然后进行模糊处理。
图5A至图5C是示出了根据示例性实施例的关于第二分片的模糊方法的图。
例如，如图5A所示，高斯滤波器可以具有以下形式：权重值在X轴上的“0(零)”处最大，随着X轴上的数值的绝对值增加，权重值可以减小。当高斯滤波器应用于3×3模板(mask)50时，权重值可以在模板50的中心处最大，并且权重值可以朝向模板50的边缘减小。图5A中所示的数值仅是示例性的，并且可以根据高斯函数的西格玛(sigma)值来改变滤波数值。
如图5B所示，处理器140可以通过将高斯模板50应用于第二分片400-1中包括的像素值来对第二分片400-1执行高斯模糊处理。例如，处理器140可以以使第二分片400-1中包括的每个像素值位于高斯模板50的中心的方式，来在移动高斯模板50的同时对每个像素值执行滤波。
在该示例中，处理器140可以基于相对于位于第二分片400-1的边界的像素值而镜像的像素值，来对位于第二分片400-1的边界的像素值执行滤波。如图5C所示，当处理器通过将第二分片400-1的(1，1)位置中的像素值(例如，P1)定位在高斯模板50的中心来执行滤波时，处理器可以通过对边界位置中的像素值进行镜像来生成以P1值为中心的虚拟第二分片60，并且然后通过将P1值定位在高斯模板50的中心来执行滤波。
因此，处理器140可以通过对第二分片400-1中包括的所有像素执行高斯滤波来获取经模糊的第二分片500(图5B)。
图6是示出了根据示例性实施例的获取第三分片的方法的图。
参考图6，处理器可以通过从根据示例性实施例的3×3第二分片400-1中包括的每个像素值中减去图5B中获取到的经模糊的第二分片500中包括的相应位置的每个像素值来获取第三分片600。获取到的第三分片600中包括的值可以是与中心像素值P0相关的高频分量。
例如，第三分片600中的位置(1-1)、(1-2)、(1-3)、(2-1)、(2-2)、(2-3)、(3-1)、(3-2)和(3-3)中的高频分量可以是(P1-P1’)、(P3-P3’)、(P5-P5’)、(P7-P7’)、(P0-P0’)、(P2-P2’)、(P4-P4’)、(P6-P6’)和(P8-P8’)，并且可以是与中心像素值P0相关的高频分量。这是因为如上所述，高频分量包括在第二分片400-1中并且不包括在经模糊的第二分片500中。
当获取到包括高频分量的第三分片600时，处理器140可以将第三分片600中包括的高频分量的平均值调整为0(零)。这是为了基于中心像素值P0来获取正(+)和负(-)高频分量。
例如，如图6所示，处理器140可以通过计算第三分片600中包括的高频分量的平均值Pa并且从每个高频分量减去平均值Pa来将第三分片600中包括的高频分量的平均值调整为“0(零)”。在该示例中，平均值被调整为“0(零)”的第三分片600-1(在下文中，称为“经校正的第三分片”)中包括的高频分量可以是(P1-P1’-Pa)、(P3-P3’-Pa)、(P5-P5’-Pa)、(P7-P7’-Pa)、(P0-P0’-Pa)、(P2-P2’-Pa)、(P4-P4’-Pa)、(P6-P6’-Pa)和(P8-P8’-Pa)。
根据另一示例性实施例，处理器140可以基于第一分片中的当前像素值以及与当前像素值相邻的多个像素值中的每一个之间的差来获取针对多个像素的权重值。处理器140可以通过将相应权重值应用于经校正的第三分片600-1中包括的高频分量来获取针对特定像素值的最终高频分量。这是为了当位于第二分片400-1的中心的当前像素值PO与多个相邻像素值中的每一个之间的差大于预定阈值时通过减小针对相应像素值的权重值来防止诸如振铃等副效应。
例如，处理器140可以基于以下方程1获取权重值。
【方程1】
W(x，y)＝exp(-|P(x，y)-Pc|)
这里，Pc指示中心像素值，并且P(x，y)指示相邻像素值。
可以以权重图形式计算权重值，并且可以将权重值应用于第三分片。例如，处理器140可以通过将3×3权重图乘以3×3第三分片来获取应用权重的第三分片。
图7A和图7B是示出了根据示例性实施例的获取应用权重的第三分片的方法的图。
图7A是示出了根据示例性实施例的获取3×3权重图的方法的图。
参考图7A，处理器可以基于3×3第一分片300-1中包括的当前像素值(例如，中心像素值P0)与剩余像素P1至P8中的每一个之间的差700来获取根据与第一分片300-1相对应的示例性实施例的3×3权重图800。
可以基于值(P1-P0)、(P2-P0)、(P3-P0)、(P4-P0)、(P0-P0)、(P5-P0)、(P6-P0)、(P7-P0)和(P8-P0)来获取3×3权重图800中位置(1，1)、(1，2)、(1，3)、(2，1)、(2，2)、(2，3)、(3，1)、(3，2)和(3，3)中的权重值。
例如，处理器140可以将位置(2，2)(例如，与中心像素值相对应的位置)中的权重值设置为“1”，并且基于中心像素值P0与剩余像素P1至P8中的每一个之间的差700来获取剩余位置中的像素值的权重值w1至w8。
图7B是示出了根据示例性实施例的将权重图应用于第二分片的方法的图。
如图7B所示，处理器可以通过将经校正的第三分片600-1的高频分量与图7A中计算的权重图800中相应位置的权重值1∶1相乘，来获得根据示例性实施例的应用权重的第三分片900。
处理器140可以基于获取到的高频分量(例如，经校正的第三分片600-1)处理输入图像。当根据另一示例性实施例应用权重图时，处理器可以基于应用权重的第三分片900来处理输入图像。在下文中，为了清楚起见，将描述基于应用权重的第三分片900处理输入图像。
在示例性实施例中，当获取到针对当前像素值的第三分片900(例如，高频分量)时，处理器可以将获取到的高频分量存储在第二存储器(未示出)中。第二存储器可以用与第一存储器120分开的存储器来实现。
当获取到针对特定像素值的高频分量时，处理器140可以将获取到的高频分量(例如，第三分片)存储在第二存储器中，并且处理器140可以顺序地获取针对下一像素值的高频分量并且将获取到的高频分量存储在第二存储器中。当将输入图像中包括的针对所有像素的高频分量存储在第二存储器中时，处理器可以通过将经存储的高频分量应用于相应像素值来获取经校正的图像。
图8是示出了根据示例性实施例的获取针对下一像素值的高频分量的方法的图。
当基于输入图像30中第1至第17行的像素值获取针对特定像素值310的高频分量时，处理器140可以将第2至第18行的像素值存储在第一存储器120中并且基于所存储的像素值来获取与下一像素值320相对应的高频分量。图4A至图7B所示的方法可以相同地应用于针对下一像素值320获取高频分量的方法，并且因此将省略其详细描述。处理器140可以通过在第一存储器120中写入输入图像30中延迟一行的像素值，来通过与上述方法相同的方法获取针对输入图像30中包括的所有像素值的高频分量。在一些示例性实施例中，处理器可以通过延迟n(n＞1)行单位的像素值来获取针对与输入图像30的n(多)行相对应的像素值的高频分量。在该示例中，图像的精细度可能稍微降低，但是可以减少计算量。
图9A和图9B是示出了根据示例性实施例的将高频分量应用于输入图像的方法的图。
图9A是示出了根据示例性实施例的获取与输入图像相对应的高频分量图像并将获取到的高频分量图像应用于输入图像的方法的图。
如图9A所示，当获取到包括针对第一像素31的高频分量的第三分片1000时，处理器140可以将获取到的第三分片1000存储在第二存储器(未示出)中，并且当获取到包括针对第二像素32的高频分量的第三分片1000-1时，处理器140可以以第三分片1000-1的中心与第二像素32的位置相对应的方式来存储第三分片1000-1。当获取到包括针对第三像素33的高频分量的第三分片1000-2时，处理器140可以以第三分片1000-2的中心与第三像素33的位置相对应的方式来存储第三分片1000-2。当获取到并已存储针对所有像素(例如，第三分片)的高频分量时，可以存储高频分量以彼此重叠，从而可以获取到与输入图像的大小相对应的高频图像800’。处理器140可以通过将获取的高频分量图像800’应用于输入图像30来获取经校正的图像。
图9B是示出了根据另一示例性实施例的将包括获取到的高频分量应用于输入图像的相应像素的方法的图。
根据另一示例性实施例，当获取到包括针对第一像素31的高频分量的第三分片时，处理器可以以获取到的第三分片1000的中心与第一像素31相对应的方式来将第三分片1000应用于输入图像30，并且当获取到包括针对第二像素32的高频分量的第三分片1000-1时，处理器可以以获取到的第三分片1000-1的中心与第二像素32相对应的方式来将第三分片1000-1应用于输入图像30。因此，处理器140可以通过将针对输入图像30中包括的所有像素的高频分量顺序地应用于输入图像来获取经校正的图像。
根据示例性实施例，可以在图像缩放之前或之后执行上述图像处理过程。例如，可以在用于将低分辨率图像放大到高分辨率图像的缩放之后执行上述图像处理，或者可以在缩放之前对经压缩的图像进行解码的过程中执行上述图像处理。
图10是示出了根据另一示例性实施例的显示装置的配置的框图。参考图10，显示装置200可以包括输入接口110、第一存储器120、第二存储器121、第三存储器122、显示器130、处理器140和输出接口150。将省略对图10的配置中与图2所示的配置中重叠部分的详细描述。
处理器140可以包括CPU；只读存储器(ROM)(或非易失性存储器)(未示出)，存储有用于控制显示装置200的控制程序；以及使用存储区域的随机存取存储器(RAM)(或易失性存储器)(未示出)，存储从显示装置300的外部输入的数据或存储与显示装置200中执行的各种工作相对应的数据。
处理器140可以通过访问第一至第三存储器120、121和122中的至少一个以使用各种类型的经存储的程序、内容、数据等来执行各种操作。
第一至第三存储器120、121和122中的至少一个可以用处理器140中包括的内部存储器(例如ROM、RAM等)来实现，或者可以用与处理器140分开的存储器来实现。根据数据存储用途，第一至第三存储器120至122中的至少一个可以在嵌入在显示装置中的存储器形式或可拆卸于显示装置的存储器形式中实现。例如，用于驱动显示装置200的数据可以存储在嵌入在显示装置200中的存储器中，并且用于显示装置200的扩展功能的数据可以存储在可拆卸于显示装置200的存储器中。可以以非易失性存储设备、易失性存储设备、硬盘驱动器(HDD)或固态驱动器(SSD)等形式实现嵌入在显示装置200中的存储器；并且可以以存储卡(例如，微型安全数字(SD)卡、通用串行总线(USB)存储器等)、可连接到USB端口的外部存储器(例如，USB存储器)等形式实现可拆卸于显示装置200的存储器。
第一存储器120可以用如上所述的N行存储器来实现。例如，第一存储器120可以用内部存储器来实现。在该示例中，根据硬件容量限制，第一存储器120可以用N行存储器来实现。
第二存储器121可以是被配置为存储获取到的高频分量的存储器。第二存储器121可以用根据各种示例性实施例具有各种大小的存储器来实现。例如，当获取到并已存储与输入图像的像素值相对应的所有高频分量并然后将高频分量应用于输入图像时，第二存储器121可以被实现为具有等于或大于输入图像的大小的大小。在另一示例中，当高频分量应用于与第一存储器120的大小相对应的图像单位或者以像素行获取的高频分量应用于像素行单位时，第二存储器121可以被实现为具有适合对应图像处理的大小。
第三存储器122可以是存储器，其中存储通过应用获取到的高频分量进行图像处理的输出图像，并且可以用根据各种示例性实施例具有各种大小的存储器来实现。例如，当根据示例性实施例通过应用与输入图像的像素值相对应的所有高频分量获得并显示输出图像时，第三存储器122可以被实现为具有等于或大于输入图像的大小的大小。在另一示例中，当以与第一存储器120的大小相对应的图像单位输出图像或者以像素行单位输出图像时，第三存储器122可以被实现为具有适合对应的图像存储器的大小。
当在第一存储器120或第二存储器121中重盖写输出图像时或者当没有存储输出图像而是直接显示输出图像时，第三存储器122可能是不必要的。
输出接口150可以输出音频信号。
输出接口150可以将在处理器140中处理的数字音频信号转换为模拟音频信号，并且放大并输出该模拟音频信号。例如，输出接口150可以包括至少一个扬声器、数模(D/A)转换器、音频放大器等，可以输出至少一个声道。例如，输出接口150可以包括再现L声道和R声道的L声道扬声器和R声道扬声器。然而，并不限于此，输出接口150可以以各种形式实现。在另一示例中，输出接口150可以以条形音箱形式实现，再现L声道、R声道和中央声道。
图11是示出了根据示例性实施例的显示装置的图像处理方法的流程图，并且图12是示出了根据示例性实施例的显示装置的图像处理方法的图。
根据图11所示的根据示例性实施例的显示装置的图像处理方法，处理器可以存储与输入图像中的预定行数相对应的像素值(S1110)。例如，如图12所示，处理器可以存储在竖直方向上与17行相对应的像素值(1210)。
处理器可以基于所存储的像素值中的特定像素值，通过对彼此在不同方向中间隔开的位置的多个像素进行采样，来获取预定大小的第一分片(S1120)。例如，处理器可以基于所存储的像素值中的特定像素值，通过对位于矩阵的外部区域的多个像素值进行采样来获取具有预定大小的第一分片。在该示例中，处理器可以获取3×3形式的第一分片，其中特定像素值被以下像素值包围：位于围绕圆形的四边形的顶点的像素值，该圆形以基于特定像素值预先确定的像素间隔作为半径，以及位于圆形与四边形之间的接触点的像素值。如图12所示，可以通过对在上、下、左和右方向上与特定像素间隔8个像素位置中的像素值以及位于对角线方向的像素值进行合并来获取第一分片1221。
处理器可以根据预定顺序对基于特定像素值的第一分片中包括的多个像素值的位置进行改变来获取第二分片(S1130)。处理器可以通过将特定像素值的位置固定在第一分片中并且基于该特定像素值顺序地排列彼此间隔开的像素值来获取第二分片。例如，处理器可以通过以下方式获取第二分片：沿顺时针和逆时针方向中的一个方向，获取位于基于特定像素值的对角线方向上的相邻像素值，并且可以顺序排列相邻像素值；并且可以沿与该一个方向相同的方向获取剩余像素值，并且可以顺序排列这些剩余像素值。在该示例中，处理器可以通过以图12所示的形式来对多个像素值的位置进行重排序以获取第二分片1231(1230)。
处理器可以基于第二分片获取针对特定像素值的高频分量(S1140)，并且可以基于获取到的高频分量处理输入图像并显示经处理的图像(S1150)。例如，处理器可以基于第一像素中的特定像素值与多个像素值之间的差来获取针对与特定像素值相邻的多个像素值的权重值，并且通过将获取到的权重值中相应位置的权重值应用于第三分片中包括的每个高频分量来获取针对特定像素值的高频分量。
如图12所示，处理器可以基于第二分片和经模糊处理的第二分片来获取高频分量(1240)，可以从第一分片获取权重值(1250)，并且可以通过将权重值应用于获取到的高频分量来获取应用权重的高频分量(1260)。处理器可以以使3×3形式的第三分片的中心与当前像素位置相对应的方式连续添加高频分量(1270)。通过上述过程，处理器可以获取针对与17行相对应的像素值的高频图(1280)。
处理器可以通过将获取到的高频图应用于输入图像来获取经图像处理的输出图像(1300)(1290)。
图13A至图13C是示出了根据示例性实施例的侵权检测方法的图。
如图13A所示，处理器可以通过输入特定图案图像(例如，具有一个像素大小的黑点1310的图像1301)来确定是否应用根据示例性实施例的显示装置的图像处理方法。
根据示例性实施例，当通过基于图3所示的第一分片300-1(例如，对像素值进行重排序之前的分片)获取高频分量来执行图像处理时，输出图像1302可以具有如图13B所示的形式。
这是因为黑点1310影响以下像素的高频分量的生成：在上、下、左和右方向上间隔开的像素1312、1314、1316和1318以及在对角线方向上间隔开的像素1311、1313、1315和1317，例如，如图14A所示的根据示例性实施例的第三分片1401(1321至1328)。例如，当获取到针对位于基于黑点1310的左上对角线方向上的像素1311的高频分量(例如，获取第三分片1321)时，黑点1310可能影响基于对应像素1311的右下对角线方向上的高频分量。在该示例中，可以以基于黑点1310获取的第二分片1321的中心部分与对应像素至1311相对应的方式来添加高频分量，并且因此如图14A所示，输出图像1302可以具有包括对应像素1311的右下对角线方向中的点的形式。相同的原理可以应用于剩余像素1312至1318，并且因此输出图像1302可以具有与图13B所示的形式相同的形式。
根据另一示例性实施例，当通过基于图4A所示的第二分片400-1(例如，通过对第一分片300-1中包括的像素值进行重排序获得的分片)获取高频分量来对图像进行处理时，输出图像1303可以具有如图13C所示的形式。
这是因为当获取到针对位于基于黑点1310的左上对角线方向上的像素1311的高频分量(例如，第三分片1321)时，如图14A所述，黑点1310影响第三分片1321中基于对应像素1311的右下对角线方向上的高频分量，并且因此通过像素重排序，将对应高频分量的位置改变到左上对角线方向。例如，可以以基于黑点1310获取的第三分片1321的中心部分与对应像素1311相对应的方式来添加高频分量，并且因此，如图14B的第三分片1402所示，输出图像1303可以具有包括对应像素1311的右上对角线方向上的点的形式。相同的原理可以应用于剩余像素1312至1318，并且因此输出图像1303可以具有如图13C所示的形式。
根据上述各种示例性实施例，通过对由于图像放大和/或图像压缩等引起的纹理丢失图像的纹理生成，可以提高图像的精细度。
各种示例性实施例可以应用于显示装置以及可以执行图像处理的任何电子装置(例如，图像接收装置(机顶盒)、图像处理装置等)。
上述各种示例性实施例可以通过软件、硬件或它们的组合被实现在计算机或类似的设备可读记录介质中。在一些示例性实施例中，本文描述的示例性实施例可以用处理器140本身来实现。通过软件实现，诸如本文所描述的过程和功能的示例性实施例可以用单独的软件模块来实现。软件模块可以执行本文所述的一个或多个功能和操作。
可以将根据上述各种示例性实施例的用于执行显示装置100的处理操作的计算机指令存储在非暂时性计算机可读介质中。当通过特定装置的处理器执行计算机指令时，存储在非暂时性计算机可读介质中的计算机指令可以允许特定装置执行根据上述示例性实施例的显示装置100中的处理操作。
非暂时性计算机可读存储介质不是被配置为临时存储数据的介质(例如，寄存器、缓存器或存储器)，而是被配置为半永久性地存储数据的装置可读介质。具体地，非暂时性装置可读介质可以是压缩盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等。
前述示例性实施例和优点仅是示例性的，而不应理解为限制本发明。本发明的教导易于应用于其他类型的装置。此外，本公开的示例性实施例的描述意在说明性的而不是限制权利要求的范围，并且多种备选方案、修改和变型对于本领域技术人员将是显而易见的。尽管已参考附图描述了一个或多个示例性实施例，但本领域普通技术人员将理解，在不脱离权利要求及其等同物限定的精神和范围的情况下，可以进行形式和细节上的多种改变。

Claims (13)

1.一种显示装置，包括：
输入接口；
第一存储器；
显示器；以及
处理器，被配置为：
控制所述第一存储器存储与通过所述输入接口输入的图像的预定行数相对应的多个像素值，
通过对所述第一存储器中存储的多个像素值中位于以特定像素值为中心的矩阵的外部区域中的一组像素值进行采样来获取预定大小的第一分片，
通过对所述第一分片中位于基于特定像素值的对角线方向上的像素值进行顺序排列，然后对所述第一分片中剩余像素值进行顺序排序，来获取第二分片，
基于所述第二分片获取针对所述特定像素值的高频分量，
基于所述高频分量处理所述输入的图像，以及
控制所述显示器显示经处理的图像。
2.根据权利要求1所述的显示装置，其中，所述处理器还被配置为：对所述第二分片执行模糊处理，基于所述第一分片中包括的第一组像素值与经模糊处理的第二分片中包括的第二组像素值之间的差来获取包括针对所述特定像素值的高频分量的第三分片，并且将获取到的所述第三分片应用于所述输入图像的所述特定像素值。
3.根据权利要求2所述的显示装置，其中，所述处理器还被配置为：基于所述第一分片中的所述特定像素值与相邻于所述特定像素值的第三组像素值之间的差来获取针对所述第三组像素值的权重值，并且通过将获取到的权重值中的对应权重值应用于所述第三分片中包括的每个高频分量来获取针对所述特定像素值的高频分量。
4.根据权利要求2所述的显示装置，其中，所述处理器还被配置为：通过对位于所述第二分片的边界区域的第四组像素值进行镜像并将经镜像的第四组像素值排列在所述第二分片的外部区域中，对位于所述第二分片的边界区域的第四组像素值执行模糊处理。
5.根据权利要求2所述的显示装置，其中，所述处理器还被配置为：将所述第三分片中包括的高频分量的平均值调整为预定值，并且将平均值经调整的第三分片应用于所述输入图像的所述特定像素值。
6.根据权利要求1所述的显示装置，其中，所述处理器还被配置为：
获取具有3×3形式的第一分片，其中所述特定像素值被第五组像素值和第六组像素值包围，所述第五组像素值位于围绕圆形的四边形的顶点，所述圆形以基于所述特定像素值预先确定的像素间隔为半径，所述第六组像素值位于所述圆形和所述四边形之间的接触点，以及
通过在所述第一分片中固定所述特定像素值的位置并且基于所述特定像素值顺序排列彼此间隔开的像素值来获取所述第二分片。
7.根据权利要求6所述的显示装置，其中，所述处理器还被配置为通过以下操作获取所述第二分片：
沿顺时针和逆时针方向中的一个方向，获取相邻像素值，所述相邻像素值位于所述第一分片中基于所述特定像素值的对角线方向上，
顺序地排列所述相邻像素值，
沿与所述一个方向相同的方向获取剩余像素值，以及
顺序地排列所述剩余像素值。
8.根据权利要求6所述的显示装置，其中，所述第一存储器包括与所述预定行数相对应的N行存储器，以及
其中，所述处理器还被配置为通过对多个第二像素值和多个第一像素值进行采样来获取所述第一分片，所述多个第二像素值在基于特定像素值在上、下、左和右方向间隔开(N-1)/2个像素间隔的位置中，所述多个第一像素值位于以所述多个第二像素值为边缘中心点的四边形的顶点，其中所述特定像素值在与存储在所述第一存储器中的N行相对应的像素值中位于第(N+1)/2行。
9.根据权利要求1所述的显示装置，还包括第二存储器，
其中，当获取到针对所述特定像素值的高频分量时，所述处理器还被配置为：控制所述第二存储器存储获取到的高频分量并且顺序地获取针对后续像素的高频分量并存储在所述第二存储器中，并且当针对所述输入图像中包括的所有像素值的高频分量存储在所述第二存储器中时，通过将所存储的高频分量应用于对应像素值来获取经校正的图像。
10.一种显示装置的图像处理方法，所述方法包括：
存储与输入图像的预定行数相对应的多个像素值；
通过对多个像素值中位于以特定像素值为中心的矩阵的外部区域的一组像素值进行采样，从所存储的多个像素值中获取预定大小的第一分片；
通过对所述第一分片中位于基于特定像素值的对角线方向上的像素值进行顺序排列，然后对所述第一分片中剩余像素值进行顺序排序，来获取第二分片；
基于所述第二分片获取针对所述特定像素值的高频分量；
基于所述高频分量处理所述输入图像；以及
将经处理的图像显示在显示装置上。
11.根据权利要求10所述的方法，其中，所述获取高频分量包括：对所述第二分片执行模糊处理，并且基于所述第一分片中的第一组像素值与经模糊处理的所述第二分片中的第二组像素值之间的差来获取包括针对所述特定像素值的高频分量的第三分片，并且将获取到的所述第三分片应用于所述输入图像的所述特定像素值。
12.根据权利要求11所述的方法，其中，所述获取高频分量包括：通过基于所述第一分片中的所述特定像素值与相邻于所述特定像素值的第三组像素值之间的差来获取针对所述第三组像素值的权重值，并且将获取到的权重值中的对应权重值应用于所述第三分片中包括的每个高频分量来获取针对所述特定像素值的高频分量。
13.根据权利要求11所述的方法，其中，所述获取第二分片包括：通过对位于所述第二分片的边界区域的第四组像素值进行镜像并将经镜像的像素值排列在所述第二分片的外部区域中，对位于所述第二分片的边界区域中的所述第四组像素值执行模糊处理。
CN201810978031.2A 2017-08-30 2018-08-24 显示装置及其图像处理方法 Active CN109429085B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0110249 2017-08-30
KR1020170110249A KR102351083B1 (ko) 2017-08-30 2017-08-30 디스플레이 장치 및 그 영상 처리 방법

Publications (2)

Publication Number Publication Date
CN109429085A CN109429085A (zh) 2019-03-05
CN109429085B true CN109429085B (zh) 2021-06-22

Family

ID=62873278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810978031.2A Active CN109429085B (zh) 2017-08-30 2018-08-24 显示装置及其图像处理方法

Country Status (7)

Country Link
US (3) US10515440B2 (zh)
EP (1) EP3451280A1 (zh)
JP (1) JP6918150B2 (zh)
KR (1) KR102351083B1 (zh)
CN (1) CN109429085B (zh)
AU (1) AU2018323576B2 (zh)
WO (1) WO2019045264A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909700B2 (en) 2019-04-02 2021-02-02 Samsung Electronics Co., Ltd. Display apparatus and image processing method thereof
KR102661879B1 (ko) * 2019-04-05 2024-04-29 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN111988554B (zh) * 2019-05-22 2022-05-27 瑞芯微电子股份有限公司 一种显示设备多分区数据的采样方法及终端
KR20230040793A (ko) * 2021-09-16 2023-03-23 엘지디스플레이 주식회사 디스플레이 장치 및 디스플레이 장치의 보상 데이터 처리 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968775A (zh) * 2012-11-02 2013-03-13 清华大学 基于超分辨率重建技术的低分辨率人脸图像的重建方法
CN103546664A (zh) * 2012-07-09 2014-01-29 三星电子株式会社 转换图像分辨率的方法和装置以及具有该装置的电子装置
WO2015182910A1 (ko) * 2014-05-26 2015-12-03 김대영 고화질 영상 방송

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4136011B2 (ja) * 1996-04-30 2008-08-20 オリンパス株式会社 焦点深度伸長装置
RU99116256A (ru) * 1996-12-20 2001-05-10 Уэстфорд Текнолэджи Копэрейшн (Us) Способ (варианты) и система для оценки исходного сигнала
JP3920777B2 (ja) 2001-01-31 2007-05-30 三洋電機株式会社 画像処理回路
JP4103356B2 (ja) * 2001-08-08 2008-06-18 セイコーエプソン株式会社 ホールド型画像表示装置
KR100436904B1 (ko) 2002-09-06 2004-06-23 강호석 2차원이미지에 대한 입체영상생성방법
KR100624421B1 (ko) 2004-05-04 2006-09-19 삼성전자주식회사 디지탈 영상 신호 필터링 장치 및 방법
JP2007221516A (ja) * 2006-02-17 2007-08-30 Seiko Epson Corp 画像処理方法、画像処理装置および表示装置
JP4964541B2 (ja) 2006-09-11 2012-07-04 オリンパス株式会社 撮像装置、画像処理装置、撮像システム及び画像処理プログラム
JP5506274B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
WO2011067699A1 (en) 2009-12-01 2011-06-09 Koninklijke Philips Electronics N.V. A multi-primary display
JP5341010B2 (ja) 2010-04-15 2013-11-13 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
KR101805623B1 (ko) * 2011-06-15 2017-12-07 삼성전자주식회사 영상 고주파 정보 추정 및 안정화를 통한 고해상도 영상 생성 방법 및 장치
JP2013031163A (ja) 2011-06-24 2013-02-07 Panasonic Corp 超解像処理装置及び超解像処理方法
US8917948B2 (en) * 2011-09-16 2014-12-23 Adobe Systems Incorporated High-quality denoising of an image sequence
EP2615579A1 (en) * 2012-01-12 2013-07-17 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
JP2013207673A (ja) * 2012-03-29 2013-10-07 Jvc Kenwood Corp 映像信号処理装置及び方法
US8687913B2 (en) 2012-07-17 2014-04-01 Adobe Systems Incorporated Methods and apparatus for image deblurring and sharpening using local patch self-similarity
JP5684205B2 (ja) * 2012-08-29 2015-03-11 株式会社東芝 画像処理装置、画像処理方法、及びプログラム
US9349188B2 (en) 2013-03-15 2016-05-24 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency strength controlled transform
KR20150090515A (ko) 2014-01-29 2015-08-06 삼성전자주식회사 고주파수 성분의 위상 변조를 통한 영상 질감 향상 방법 및 그 장치
JP6418922B2 (ja) * 2014-12-01 2018-11-07 キヤノン株式会社 画像処理装置および画像処理方法
EP3076656B1 (en) 2015-04-02 2017-03-08 Axis AB Method and system for image stabilization
JP6706985B2 (ja) 2015-08-06 2020-06-10 キヤノン株式会社 画像処理装置およびその制御方法
JP6604131B2 (ja) 2015-10-07 2019-11-13 富士通コネクテッドテクノロジーズ株式会社 電子機器および情報表示プログラム
JP6649750B2 (ja) * 2015-11-16 2020-02-19 キヤノン株式会社 画像処理装置、画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103546664A (zh) * 2012-07-09 2014-01-29 三星电子株式会社 转换图像分辨率的方法和装置以及具有该装置的电子装置
CN102968775A (zh) * 2012-11-02 2013-03-13 清华大学 基于超分辨率重建技术的低分辨率人脸图像的重建方法
WO2015182910A1 (ko) * 2014-05-26 2015-12-03 김대영 고화질 영상 방송

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Example-based super-resolution;FREEMAN W. T. et al.;《IEEE Computer Graphics and Applications》;20020301;第22卷(第2期);第61页 *

Also Published As

Publication number Publication date
WO2019045264A1 (en) 2019-03-07
JP6918150B2 (ja) 2021-08-11
CN109429085A (zh) 2019-03-05
KR102351083B1 (ko) 2022-01-13
US11062430B2 (en) 2021-07-13
US20200104982A1 (en) 2020-04-02
US20210312598A1 (en) 2021-10-07
US20190066274A1 (en) 2019-02-28
KR20190023883A (ko) 2019-03-08
US10515440B2 (en) 2019-12-24
AU2018323576B2 (en) 2021-06-17
US11532075B2 (en) 2022-12-20
EP3451280A1 (en) 2019-03-06
JP2020522946A (ja) 2020-07-30
AU2018323576A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
CN109429085B (zh) 显示装置及其图像处理方法
US11100607B2 (en) Electronic apparatus and control method for updating parameters of neural networks while generating high-resolution images
US11024016B2 (en) Image processing apparatus and image processing method thereof
KR20210066653A (ko) 전자 장치 및 그 제어 방법
US20220148235A1 (en) Display apparatus and image processing method thereof for applying random patches to pixel block
EP2693426A1 (en) Display apparatus, image post-processing apparatus and method for image post-processing of contents
KR102411911B1 (ko) 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
US11961214B2 (en) Electronic apparatus and image processing method thereof
US9361860B2 (en) Display apparatus, image post-processing apparatus and method for image post-processing of contents
US10592146B2 (en) Data processing systems
KR20220158525A (ko) 전자 장치 및 그 영상 처리 방법
KR20240058071A (ko) 영상 처리 장치 및 그 영상 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant