CN111052747B - 显示设备及显示设备的控制方法 - Google Patents

显示设备及显示设备的控制方法 Download PDF

Info

Publication number
CN111052747B
CN111052747B CN201880054667.6A CN201880054667A CN111052747B CN 111052747 B CN111052747 B CN 111052747B CN 201880054667 A CN201880054667 A CN 201880054667A CN 111052747 B CN111052747 B CN 111052747B
Authority
CN
China
Prior art keywords
block boundary
block
boundary map
image
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880054667.6A
Other languages
English (en)
Other versions
CN111052747A (zh
Inventor
金东润
朴胜浩
安泰庆
魏浩千
金湘勋
文永秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111052747A publication Critical patent/CN111052747A/zh
Application granted granted Critical
Publication of CN111052747B publication Critical patent/CN111052747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

提供了一种显示装置及控制其的方法，该显示装置被改进以通过执行多个块噪声边界检测并基于检测的结果生成块噪声边界图以处理具有不规则形状和模糊的块边界的局部随机块噪声，从而执行自适应去块滤波来减少块噪声。该显示装置包括：图像接收器，被配置为接收图像；块边界图生成器，被配置为通过使用多个内核对从图像接收器接收的图像执行卷积来生成块边界图；滤波器参数确定器，被配置为基于块边界图和包括在块边界图中的块边界周期来确定滤波器参数；去块滤波器，被配置为基于所确定的滤波器参数来改变滤波器强度；以及显示器，在该显示器上显示通过去块滤波器去除了块噪声的图像。

Description

显示设备及显示设备的控制方法
技术领域
本公开涉及一种能够去除压缩图像中出现的块噪声(block noise)的显示装置及控制其的方法。
背景技术
显示装置是将获取或存储的电信息转换成视觉信息并向用户显示该视觉信息的输出设备。另外，显示装置可以对接收或存储的图像执行预定图像处理，并且向用户显示处理后的图像。
随着近来相机性能的提高，运动图像的分辨率越来越高。然而，当产生的图像被压缩和发送时，由于有限的传输带宽，在图像处理过程中可能出现块噪声。
随着压缩运动图像的技术的发展，块噪声也以不同的形状出现。例如，在MPEG-4之前的压缩编解码器生成规则形状和大小的块噪声。然而，最近的H-264或H-265编码方案生成不规则和各种形状的块噪声。
在H-264或H-265编码方案中，块噪声边界可能由于去块滤波(deblockingfiltering)而模糊。另外，即使当用H-264或H-265编码的图像在显示装置的外部被放大时，块噪声边界也可能被模糊。因此，需要一种检测模糊的块噪声边界的方法。
用于去除上述限制的传统技术具有以下技术特征和限制。
相关技术1(美国注册专利号：US 7865035)公开了一种从解码器接收视频参数信息、分析图像质量以及基于关于图像质量的信息调整滤波器强度的技术。然而，由于相关技术1从解码器接收用于分析图像质量的信息，因此难以处理信息不清楚的盲图像的输入。
相关技术2(美国注册专利号：7911538)公开了一种使用边缘比率、边缘值和边缘计数来计算块噪声的强度，并基于所计算的强度来执行去块滤波的技术。然而，由于大量的一般边缘信息，相关技术2具有低精度。
(专利文献1)US 7865035 B2。
(专利文献2)US 7911538 B2。
发明内容
技术问题
本公开提供了一种显示装置及控制其的方法，该显示装置被改进以通过执行多个块噪声边界检测并基于检测的结果生成块噪声边界图以处理具有不规则形状和模糊的块边界的局部随机块噪声，从而执行自适应去块滤波来减少块噪声。
技术方案
根据本公开的一方面，提供了一种显示装置，包括：图像接收器，被配置为接收图像；块边界图生成器，被配置为通过使用多个内核对从图像接收器接收的图像执行卷积来生成块边界图；滤波器参数确定器，被配置为基于块边界图和包括在块边界图中的块边界周期(block boundary period)来确定滤波器参数；去块滤波器，被配置为基于所确定的滤波器参数来改变滤波器强度；以及显示器，在该显示器上显示通过去块滤波器去除块噪声的图像。
块边界图生成器可以通过将通过使用多个内核执行卷积获得的相关值与预定参考值进行比较来生成第一块边界图，并且通过基于包括在第一块边界图中的块边界的连续性来校正第一块边界图来生成第二块边界图。
块边界图生成器可以计算通过累积包括在第二块边界图中的块边界的数量而获得的直方图，基于直方图来计算平均块边缘强度，并且基于平均块边缘强度和预定参考值来确定块边界周期。
块边界图生成器可以通过基于所确定的块边界周期校正第二块边界图来生成第三块边界图。
滤波器参数确定器可以基于包括在第三块边界图中的平均块边缘强度、块边界周期、块边界周期的可靠性或块边缘强度中的至少一个来确定滤波器参数。
去块滤波器可以将滤波器强度调整为与块边界周期或平均块边缘强度的幅度成比例。
块边界图生成器可以对从图像接收器接收的图像执行归一化。
块边界图生成器可以基于相关值来生成多个相关图，并且基于多个相关图中的所选择的像素的位置来生成第一块边界图。
第一块边界图可以包括在水平方向和垂直方向上生成的双向图。
当输入图像包括信箱模式(letter box)时，块边界图生成器可以基于偏移来确定块边界周期。
根据本公开的另一方面，提供了一种控制显示装置的方法，该方法包括：接收图像；通过使用多个内核对图像执行卷积来生成块边界图；基于块边界图和包括在块边界图中的块边界周期来确定滤波器参数；通过基于所确定的滤波器参数改变滤波器强度来执行去块滤波；以及显示滤波的结果。
块边界图的生成可以包括：通过将通过使用多个内核执行卷积获得的相关值与预定参考值进行比较来生成块边界图，以及基于包括在块边界图中的块边界的连续性来校正块边界图。
块边界图的校正可以包括：计算通过累积包括在所生成的块边界图中的块边界的数量而获得的直方图；以及基于平均块边缘强度和预定参考值来确定块边界周期。
块边界图的校正包括基于所确定的块边界周期来校正所校正的块边界图。
滤波器参数的确定可以包括基于包括在第三块边界图中的块边界周期、块边界周期的可靠性或块边缘强度中的至少一个来确定滤波器参数。
去块的执行可以包括将滤波器强度调整为与块边界周期或平均块边缘强度的幅度成比例。
块边界图的生成可以包括对图像执行归一化。
块边界图的生成可以包括基于相关值来生成多个相关图，以及基于多个相关图中的所选择的像素的位置来生成块边界图。
块边界图的生成可以包括当输入图像包括信箱模式时，基于偏移来确定块边界周期。
有益效果
根据本公开的上述方面，通过执行多个块噪声边界检测并基于检测的结果生成块噪声边界图以处理具有不规则块形状和模糊的块边界的局部随机块噪声，从而执行自适应去块滤波，与传统技术相比，该显示装置及其控制方法可以更有效地减少块噪声。
附图说明
图1是示出根据实施例的在其中图像被发送到显示装置的配置的图。
图2是示出根据实施例的显示装置的控制框图。
图3是示出根据实施例的控制显示装置的方法的流程图。
图4是示出生成图3中描述的第一块边界图的方法的流程图。
图5至图11是用于描述图4所示方法的详细视图。
图12是示出校正生成的块边界图的方法的流程图。
图13是用于描述确定块边界周期的方法的视图。
图14是示出根据示例的检测块边界的过程的视图。
图15是用于描述根据实施例的确定滤波器参数和执行去块滤波的控制方法的详细流程图。
图16是用于描述根据实施例的块边界检测效果的视图。
图17是用于比较根据本公开的块噪声降低的视图。
具体实施方式
在整个说明书中，相同的数字指代相同的元件。将不会描述本公开的实施例的所有元件，并且将省略对本领域中公知的内容或者实施例中彼此重叠的内容的描述。在整个说明书中使用的术语，如“～部件”、“～模块”、“～构件”、“～块”等可以在软件和/或硬件中实现，并且多个“～部件”、“～模块”、“～构件”或“～块”可以在单个元件中实现，或者单个“～部件”、“～模块”、“～构件”或“～块”可以包括多个元件。
还应当理解，术语“连接”或其派生词指直接和间接连接，并且间接连接包括通过无线通信网络的连接。
还应当理解，当在本说明书中使用时，术语“包括”和/或“包含”指定了所陈述的特征、整体、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组合的存在或添加，除非上下文另外明确指出。
尽管术语“第一”、“第二”、“A”、“B”等可以用来描述各种组件，但是这些术语并不限制对应的组件，而是仅用于区分一个组件和另一组件的目的。
如本文所使用的，单数形式“一”、“一个”和“该”也意图包括复数形式，除非上下文清楚地另外指示。
用于方法步骤的参考数字只是为了便于解释，而不是为了限制步骤的顺序。因此，除非上下文另有明确规定，否则书面顺序可以以其他方式实施。
在下文中，将参考附图描述本公开的操作原理和实施例。
图1是示出根据实施例的在其中图像被发送到显示装置100的配置的图。
参考图1，显示装置100可以从图像提供器10接收压缩或解压缩的图像。
显示装置100是指能够向用户提供图像的输出设备。为此，显示装置100可以设置有处理器，诸如处理图像和执行功能所需的中央处理单元(CPU)或微控制单元(MCU)。
参考图1，显示装置100可以包括电视装置100a、便携式终端装置100b或计算机装置100c，诸如个人计算机或服务器计算机。
同时，显示装置100可以使用各种类型的显示设备向用户显示静止图像或运动图像。可以使用阴极射线管、冷阴极荧光灯、发光二极管、有机发光二极管、有源矩阵有机发光二极管、液晶、电子纸等来不同地实现显示设备。
另外，显示装置100可以在再现图像的同时向用户输出声音。
图像提供器10是指以数据的形式向显示装置100发送存储或生成的图像和/或声音的提供器。参考图1，图像提供器10可以包括广播传输装置10a、服务器装置10b或从电视装置100a可拆卸的外部存储介质10c。
广播传输装置10a被提供为使用用于公共传输的预定频带的电磁波向显示装置100发送图像数据和/或声音数据。
服务器装置10b被提供为通过无线网络或有线网络向显示装置100发送图像数据和/或声音数据。这里，有线通信网络可以是使用诸如成对电缆、同轴电缆、光纤电缆、以太网电缆等电缆构建的网络。无线网络可以是使用短程通信标准或移动通信标准实现的网络。使用短程通信标准的无线网络可以使用无线通信技术来实现，诸如Wi-Fi、蓝牙、zigbee、无线保真直连(Wi-Fi Direct，WFD)、超宽带(ultra wideband，UWB)、红外数据协会(infrared data association，IrDA)、蓝牙低能量(bluetooth low energy，BLE)、近场通信等。使用移动通信标准的无线网络可以被分类为：3GPP系列无线通信技术，诸如演进高速分组接入(HPDA+)或长期演进(LTE)；3GPP2系列无线通信技术，诸如优化演进数据(EV-Do)；或者WiMAX系列无线通信技术，诸如WiBro演进。
外部存储介质10c可以存储各种类型的数据，并且可以通过直接耦合到显示装置100来向显示装置100发送图像，或者可以使用电缆或无线网络向显示装置100发送或提供图像数据，如存储在外部硬盘或通用串行总线(USB)存储器设备中。
根据实施例的图像提供器10在将图像提供给显示装置100之前压缩产生的图像。接收压缩图像的显示装置100解码压缩图像并输出解码图像。
然而，由图像提供器10发送的压缩图像可能具有不规则块形状和其中块边界由于环路内去块滤波而模糊的块噪声。
作为另一示例，当机顶盒重新缩放低分辨率图像并将该图像提供给电视装置100a时，所提供的图像可能具有模糊的块噪声，包括具有不规则块大小和模糊的块边界的块噪声。
显示装置100及控制其的方法可以通过检测和去除以不规则形式生成的块噪声来向用户提供改善的图像。
图2是示出根据实施例的显示装置的控制框图。
参考图2，显示装置100包括：图像接收器110，用于接收由图像提供器10发送的图像并解压缩接收到的图像；图像处理器130，用于检测接收到的图像中的块边界并执行去块滤波；存储装置150，用于存储所提供的图像和各种类型的数据；以及显示器170，用于输出其中去除了块噪声的图像。
详细地，图像接收器110可以从显示装置100的外部接收由图像处理器130解压缩的图像。可替代地，图像接收器110可以使用解码器对已经接收但未被解压缩的图像进行解压缩。
例如，图像接收器110解码由H-264或H-265编解码器压缩的图像。然而，根据本公开的图像接收器110不限于此，并且可以被实现为各种解码模块，只要它可以解压缩图像并且生成不规则块边界和模糊的块。
图像处理器130被配置为去除不规则块噪声。图像处理器130可以包括：块边界图生成器131，用于基于接收到的图像中存在的块边界来生成块边界图；滤波器参数确定器133，用于确定用于执行自适应去块滤波的参数；以及去块滤波器135，用于基于所确定的参数来执行去块。首先，块边界图生成器131使用与不规则和各种形式的块相对应的多个内核来执行卷积，并且基于卷积的结果值(以下称为相关值)来生成初始块边界图(以下称为第一块边界图)。
另外，块边界图生成器131使用直方图来确定块边界之间的间隔(以下称为块边界周期)。换句话说，块边界图生成器131通过将基于直方图计算的块边缘强度与预定阈值进行比较来确定块边界周期。
块边界图生成器131可以通过基于所确定的块边界周期来校正第一块边界图来生成最终块边界图。
滤波器参数确定器133可以基于最终块边界图和在生成最终块边界图期间计算的平均块边缘强度、从直方图中计算的可靠性、块边缘强度或块边界周期中的至少一个来确定应用于去块的滤波器参数。
详细地，滤波器参数可以被分类为帧中的全局滤波器参数和应用于每个图像的块的局部滤波器参数。可以基于平均块边缘强度和直方图中计算的可靠性中的至少一个来确定全局参数。另外，可以基于从直方图中计算的可靠性、块边缘强度或块边界周期中的至少一个来确定局部参数。
确定滤波器参数所需的因素可以参考其他附图在下面详细描述。
去块滤波器135基于从滤波器参数确定器133发送的参数来执行自适应去块滤波。
由去块滤波器135执行的自适应去块滤波通过进一步考虑如上所述的平均块边缘强度、块边界周期、可靠性和块边缘强度(这些在传统去块滤波中没有使用)来调整滤波器强度。
例如，去块滤波器135将较高的可靠性分配给上述直方图中具有较高频率的块边界周期，评估具有较低频率的块边界周期具有较低的可靠性，并根据可靠性来调整块边界滤波的强度。
作为另一示例，去块滤波器135可以根据当前像素的局部块边缘强度来调整滤波器强度。详细地，滤波器强度可以被调整为随着块边缘强度越大而增大，并且随着块边缘强度越弱而减小。
作为另一示例，当块边界周期具有大值时，去块滤波器135可以与块边界大小成比例地调整滤波器大小，以去除块边界处的模糊，同时防止余像。
去块滤波器135可以通过计算滤波的全局统计来调整整个帧的全局滤波器强度。
去块滤波器135可以包括加权平均滤波器、双边滤波器或多相滤波器中的至少一个，因为去块滤波器135不同于一般滤波器地改变所应用的参数。
同时，图像处理器130可以包括用于处理图像的各种其他组件和用于执行功能的模块。图像处理器130可以包括用于存储关于用于控制显示装置100的组件的算法或表示该算法的程序的数据的存储器(未示出)，以及用于使用存储在存储器中的数据来执行上述操作的处理器(未示出)。此时，存储器和处理器可以被实现为单独的芯片。
存储装置150可以存储解压缩的图像，并且可以存储各种类型的数据，诸如执行功能所需的确定的参数和算法。
存储装置150可以被实现为以下中的至少一个：非易失性存储器设备，诸如只读存储器(ROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)和闪存；易失性存储器设备，诸如随机存取存储器(RAM)；或其他存储介质，诸如硬盘驱动器(HDD)、CD-ROM，等等。然而，根据本公开的存储装置135不限于此。存储装置135可以被实现为存储器，该存储器被实现为与上述关于图像处理器130的处理器分离的芯片，或者可以被实现为与处理器集成的单个芯片。
显示器170向用户输出由图像处理器130滤波的图像。
详细地，用于视觉地显示图像的显示器170可以包括显示面板(未示出)和用于驱动显示面板的显示驱动器(未示出)。
显示面板根据从显示驱动器接收的图像数据输出图像。显示面板可以包括用作用于显示图像的单元的像素。每个像素可以接收表示图像数据的电信号，并输出与接收到的电信号相对应的光信号。由包括在显示面板143中的多个像素输出的光信号被组合，使得单个图像显示在显示面板143上。
另外，根据在每个像素中输出光信号的方法，显示面板143可以被分成各种类型。例如，显示面板可以被分成自身发光的发光显示器、阻挡或透射从背光等发出的光的透射显示器、以及反射或吸收从外部光源入射的光的反射显示器。
显示面板可以使用阴极射线管显示器(CRT)、液晶显示器(LCD)、发光二极管面板(LED)、有机发光二极管(OLED)、等离子体显示面板(PDP)、场发射显示(FED)面板等来实现。然而，根据本公开的显示面板不限于此，并且可以使用能够视觉地显示与图像数据相对应的图像的各种显示设备来实现。
显示驱动器从图像处理器130接收图像数据，并驱动显示面板显示与接收到的图像数据相对应的图像。详细地，显示驱动器将与图像数据相对应的电信号发送到构成显示面板的多个像素中的每一个。
显示驱动器可以以各种方式将电信号发送到每个像素，使得电信号在短时间内发送到构成显示面板的所有像素。例如，根据隔行扫描方法，电信号可以交替发送到构成显示面板的所有像素当中的奇数行中包括的像素和偶数行中包括的像素。另外，根据正交扫描方法，显示驱动器可以以行为单位向多个像素顺序发送电信号。
这样，当显示驱动器将与图像数据相对应的电信号发送到构成显示面板的每个像素时，每个像素输出与接收到的电信号相对应的光信号，并且由各个像素输出的光信号被组合，使得单个图像显示在显示面板上。
同时，除了上述组件之外，显示装置100可以包括各种组件，诸如用于输出声音数据的声音输出(未示出)。
在下文中，将参考附图详细描述控制显示装置以降低块噪声的方法。
图3是示出根据实施例的控制显示装置的方法的流程图。
参考图3，控制显示装置的方法包括接收由图像处理器130压缩和发送的图像，或者未被压缩而发送的图像(200)。
根据示例，由图像接收器110解压缩或者由图像处理器130解压缩并发送的图像具有如上所述的不规则形状的块。
显示装置100生成并校正用于图像的块边界图，该图像由图像接收器110解压缩或者在解压缩状态下由图像接收器110接收(300)。
详细地，显示装置100生成第一块边界图。通过归一化、使用多个内核的卷积以及使用卷积的结果来生成第一块边界图。
然后，显示装置100保持在第一块边界图中检测到的边界，该边界在垂直和水平方向上连续预定数量的像素或更多像素，并且从块边界中排除剩余的边界。然后，显示装置100基于通过对多个块间间隔的计数进行积合而以累积方式生成的直方图来确定块周期，然后基于所确定的块周期来校正第一块边界图。
这样，显示装置100生成第一块边界图并修改第一块边界图，从而生成最终块边界图。
显示装置100基于最终生成的块边界图中包括的信息来确定滤波器参数(400)。
例如，滤波器参数可以被分成全局参数和局部参数，其中，全局参数基于所生成的最终块边界图中包括的平均块边缘强度或从直方图中确定的可靠性中的至少一个，并且局部参数基于可靠性、块边界周期、平均块边缘强度、块边界大小或块边缘强度中的至少一个。
显示装置100基于所确定的滤波器参数和最终块边界图来执行去块滤波(500)。
根据所公开的示例的自适应去块滤波可以基于所确定的全局和局部参数来调整滤波的强度。
图4是示出生成图3中描述的第一块边界图的方法的流程图。为了避免冗余，将结合图5至图11参考图4描述生成第一块边界图的方法，图5至图11是用于描述图4所示方法的详细视图。
参考图4，显示装置100对包括在输入图像中的多个像素执行归一化(310)。
归一化可以根据稍后用于输入图像的内核抽头的数量，通过像素的平均值来执行。显示装置100通过每个像素和平均值之间的差计算差分像素(differential pixel)并将各个像素除以由所计算的差分像素确定的矢量幅度来执行归一化。
参考图5，当根据示例的块边界图生成过程使用具有八个抽头的内核时，可以通过获得七个相邻像素和与块边界相对应的像素180的平均值，并使用从每个像素和平均值之间的差计算的矢量幅度，来执行归一化过程。
同时，在归一化过程中计算的矢量幅度可以对应于边界像素180的块边缘大小，并且可以用于确定块边界周期和滤波器参数。
在归一化过程之后，显示装置100使用多个内核执行卷积(311)。
根据实施例的显示装置100使用一个或多个内核来执行卷积，以检测可能由于压缩而生成的各种大小和形状的不规则块边界。
参考图6a和图6b，在压缩图像中生成的块边界可能由于放大或环路内去块而模糊。
显示装置100可以通过使用多个内核(内核1、内核2和内核3)执行卷积来检测块边界，如图6b所示。
显示装置100基于通过卷积获得的相关值生成多个相关图(312)。
参考图7，显示装置100通过使用第一内核(内核1，181)在水平方向160上对归一化图像140执行卷积。显示装置100使用通过使用第一内核181获得的相关值来生成第一相关图。
另外，显示装置100使用第二内核(内核2，182)和第三内核(内核3，183)在相同方向160上执行卷积。显示装置100通过使用第二内核182获得的相关值来生成第二相关图，并且通过使用第三内核183获得的相关值来生成第三相关图。
同时，内核的形状和数量不限于图6b或图7所示的那些，并且可以以多种方式提供。
显示装置100在所生成的多个相关图中选择等于或大于预定第一参考值的像素的位置(313)。
参考图8，可以生成第一相关图160作为在经过归一化过程的图像140中使用第一内核181进行卷积的结果。详细地，第一相关图160可以具有根据与块边界区域匹配的像素位置的相关值。
参考图9，显示装置100在所生成的相关图160中选择等于或大于预定第一参考值Th1的相关值。根据示例，在第一相关图160中具有等于或大于第一参考值Th1的相关值的像素可以是形成块边界的像素180。
显示装置100基于在多个相关图中选择的像素位置来生成块边界图(314)。
参考图10，显示装置100生成包括通过图8和图9选择的像素180的块边界图190。
然后，参考图11，显示装置100在不同的水平和垂直方向上重复上述过程(315)，以生成第一块边界图190(316)。
因此，第一块边界图190可以是水平方向和垂直方向的双向图，如图11所示。
图12是示出校正生成的块边界图的方法的流程图。图13是用于描述确定块边界周期的方法的视图。为了避免冗余，将参考图12和图13进行以下描述。
参考图12，显示装置100基于第一块边界图中的块边界的连续性来生成第二块边界图(320)。
块边界与图像中的纹理成分有所区别，并且具有与块大小相对应的连续性。因此，显示装置100可以基于在第一块边界图190中检测到的边界是否对应于预定数量的连续像素来识别块边界。预定数量的像素可以例如根据输入图像而变化。
同时，当不存在连续性时，显示装置100将检测到的边界确定为纹理成分。
显示装置100通过从第一块边界图190的块边界中排除具有数量小于预定数量的连续像素的块边界来生成第二块边界图。
然后，显示装置100基于第二块边界图和直方图计算平均块边缘强度(321)。
详细地，每当块边界在第二块边界图中以预定像素间隔存在时，显示装置100在直方图中累积频率。
例如，当块边界在第二块边界图中以每五个像素的间隔存在时，显示装置100累积直方图的第五个区间(bin)的频率。在生成直方图之后，显示装置100根据像素间隔(五个像素的块边界周期)计算平均块边缘强度。详细地，平均块边缘强度是通过将在生成第一块边界图时计算的矢量幅度之和除以周期特定的频率来计算的。
显示装置100基于所计算的平均块边缘强度来确定块边界周期(322)。
详细地，显示装置100将平均计算的块边缘强度与预定参考值(第二参考值)进行比较。也就是说，显示装置100将平均块边缘强度等于或大于第二参考值的周期确定为块边界周期。
图13的图表(a)是示出根据示例的针对块边界周期的累积频率的直方图。
图13的图表(b)是示出块边界周期当中的前三个块边界周期的图表，其中在每个周期中计算的平均块边缘强度值等于或大于第二参考值(例如，110)。图13的图表(b)中确定的前三个块边界周期是16、24和8。
根据另一实施例，当输入图像中存在信箱模式时，显示装置100可以基于偏移来确定块边界周期。也就是说，显示装置100可以通过生成上述直方图，同时使用预定偏移省略图像的初始块边界，然后通过基于直方图计算平均块边缘强度，来确定块边界周期。
再次参考图12，显示装置100基于所确定的块边界周期来校正第二块边界图，从而生成第三块边界图(323)。
详细地，显示装置100仅保持与所确定的块边界周期相对应的块边界，同时排除剩余的块边界，从而生成最终块边界图(第三块边界图)。
图14是示出根据示例的检测块边界的过程的视图，特别是示出垂直方向上的块边界检测过程。
参考图14的a，解压缩之后的输入图像包括多个块。根据所公开的实施例，显示装置100使用多个内核执行卷积，然后基于相关值生成相关图。也就是说，图14的b示出了通过上述控制方法生成的多个相关图之一的示例。
显示装置100通过选择相对于如图14的b所示的相关图的帧中的垂直方向等于或大于第一参考值的像素的像素位置来生成第一块边界图。也就是说，图14的c是第一块边界图的示例。
显示装置100基于直方图来计算平均块边缘强度，并基于平均块边缘强度来确定块周期。显示装置100可以通过所确定的块周期来校正第一块边界图，以最终生成如图14的d所示的第三块边界图。
图15是用于描述根据实施例的确定滤波器参数和执行去块滤波的控制方法的详细流程图。
参考图15，显示装置100计算平均块边缘强度，并从在生成第三块边界图期间导出的直方图评估块边界周期的可靠性(410和420)。
详细地，显示装置100可以将较高的可靠性分配给具有较高频率的块边界周期，并将较低的可靠性分配给具有较低频率的块边界周期。
所计算的平均块边缘强度和可靠性可以被确定为全局参数(450)。另外，所评估的可靠性可以被确定为局部参数(460)。
包括在第三块边界图中的块边缘强度430和块边界周期440可以被确定为局部参数(460)。
显示装置100基于所确定的参数和所生成的第三块边界图来执行自适应去块滤波(500)。
详细地，显示装置100可以根据由全局平均块边缘强度和从直方图中计算的块边界周期的可靠性确定的全局参数来调整滤波器强度，并且还根据由可靠性、局部块边缘强度或块边界周期值中的至少一个确定的局部参数来调整滤波器强度。
例如，显示装置100可以将较高的可靠性分配给直方图中具有较高频率的块边界周期，评估具有较低频率的块边界周期具有较低的可靠性，并且根据可靠性来调整块边界滤波强度。
作为另一示例，显示装置100可以根据局部块边缘强度和平均块边缘强度来调整滤波器强度。详细地，滤波器强度可以被调整为随着局部块边缘强度的越大而增大，并且随着局部块边缘强度的越弱而减小。
作为另一示例，当块边界周期具有大值时，显示装置100可以与块边界大小成比例地调整滤波器大小，以去除块边界处的模糊，同时防止余像。
同时，上述滤波器强度的调整可以通过单独的参数来执行，但是可以使用与预定系数成比例的多个参数来综合执行。
图16是用于描述根据实施例的块边界检测效果的视图，并且图17是用于比较根据本公开的块噪声降低的视图。
参考图16，由显示装置100接收输入图像。由图像接收器110解压缩的输入图像可以包括如图16的a所示的不规则块。
当执行传统的去块滤波时，仅检测具有预定形状的规则块。然而，显示装置100可以使用多个内核来检测各种形状的块。
图16的b示出了在传统技术中检测到的块边界，并且图16的c示出了由说明书中公开的显示装置100检测到的块边界。也就是说，即使当接收到包括不规则块的输入图像时，显示装置100也可以有效地检测块边界。
参考图17，显示装置100可以接收具有如图17的a所示的块的输入图像。
将图17的b与图17的c进行比较表明，显示装置100可以比传统技术更精确地检测块边界，并且因此可以以各种自适应方式执行去块滤波，从而可以增强块噪声降低效果。
也就是说，图17的b示出了由传统技术执行的滤波的结果，并且图17C示出了由显示装置100执行的滤波的结果。
这样，根据本公开的方面的显示装置及控制其的方法执行多个块噪声边界检测，并基于检测的结果生成块噪声边界图，以处理具有不规则形状和模糊的块边界的局部块噪声，从而执行自适应去块滤波，并且块噪声比传统技术更有效地降低。

Claims (15)

1.一种显示装置，包括：
图像接收器，被配置为接收图像；
块边界图生成器，被配置为通过使用多个内核对从所述图像接收器接收的图像执行卷积来提供块边界图；
滤波器参数识别器，被配置为基于所述块边界图和包括在所述块边界图中的块边界周期来识别滤波器参数，所述块边界周期对应于从图像接收器接收的图像中的块边界之间的间隔；
去块滤波器，被配置为基于所识别的滤波器参数来改变滤波器强度；以及
显示器，在所述显示器上显示通过所述去块滤波器去除块噪声的图像，
其中，所述块边界周期是使用块边界图中的边界的直方图导出的，该直方图是通过对块边界图中的多个块间间隔的计数进行积合而以累积方式提供的。
2.根据权利要求1所述的显示装置，其中，所述块边界图生成器通过将通过使用所述多个内核执行卷积获得的相关值与预定参考值进行比较来提供第一块边界图，并且通过基于包括在第一块边界图中的块边界的连续性来校正第一块边界图来提供第二块边界图，所述块边界的连续性对应于块大小。
3.根据权利要求2所述的显示装置，其中，所述块边界图生成器计算通过累积包括在第二块边界图中的块边界的数量而获得的直方图，基于所述直方图来计算平均块边缘强度，并且基于所述平均块边缘强度和预定参考值来识别所述块边界周期。
4.根据权利要求3所述的显示装置，其中，所述块边界图生成器基于所识别的块边界周期，通过校正第二块边界图来提供第三块边界图。
5.根据权利要求4所述的显示装置，其中，所述滤波器参数识别器基于包括在第三块边界图中的平均块边缘强度、块边界周期、块边界周期的可靠性或块边缘强度中的至少一个来识别所述滤波器参数。
6.根据权利要求5所述的显示装置，其中，所述去块滤波器将所述滤波器强度调整为与所述块边界周期或所述平均块边缘强度的幅度成比例。
7.根据权利要求1所述的显示装置，其中，所述块边界图生成器对从所述图像接收器接收的图像执行归一化。
8.根据权利要求2所述的显示装置，其中，所述块边界图生成器基于所述相关值提供多个相关图，并且基于所述多个相关图中的选择的像素的位置来提供第一块边界图。
9.根据权利要求8所述的显示装置，其中，第一块边界图包括在水平方向和垂直方向上提供的双向图。
10.根据权利要求1所述的显示装置，其中，当输入图像包括信箱模式时，所述块边界图生成器基于偏移来识别所述块边界周期。
11.一种控制显示装置的方法，所述方法包括：
接收图像；
通过使用多个内核对所述图像执行卷积来生成块边界图；
基于所述块边界图和包括在所述块边界图中的块边界周期来确定滤波器参数，所述块边界周期对应于从图像接收器接收的图像中的块边界之间的间隔；
通过基于所识别的滤波器参数改变滤波器强度来执行去块滤波；以及
显示所述滤波的结果，
其中，所述块边界周期是使用块边界图中的边界的直方图导出的，该直方图是通过对块边界图中的多个块间间隔的计数进行积合而以累积方式提供的。
12.根据权利要求11所述的方法，其中，所述块边界图的生成包括：
通过将通过使用所述多个内核执行卷积获得的相关值与预定参考值进行比较来生成所述块边界图，以及
基于包括在所述块边界图中的块边界的连续性来校正所述块边界图，所述块边界的连续性对应于块大小。
13.根据权利要求12所述的方法，其中，所述块边界图的校正包括：
计算通过累积包括在所提供的块边界图中的块边界的数量而获得的直方图；以及
基于平均块边缘强度和预定参考值来确定所述块边界周期。
14.根据权利要求13所述的方法，其中，所述块边界图的校正包括基于所识别的块边界周期来校正所校正的块边界图。
15.根据权利要求14所述的方法，其中，所述滤波器参数的确定包括基于包括在第三块边界图中的块边界周期、块边界周期的可靠性或块边缘强度中的至少一个来确定所述滤波器参数。
CN201880054667.6A 2017-12-08 2018-12-07 显示设备及显示设备的控制方法 Active CN111052747B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170168084A KR102338466B1 (ko) 2017-12-08 2017-12-08 디스플레이 장치 및 디스플레이 장치의 제어방법
KR10-2017-0168084 2017-12-08
PCT/KR2018/015540 WO2019112376A1 (ko) 2017-12-08 2018-12-07 디스플레이 장치 및 디스플레이 장치의 제어방법

Publications (2)

Publication Number Publication Date
CN111052747A CN111052747A (zh) 2020-04-21
CN111052747B true CN111052747B (zh) 2022-03-08

Family

ID=66751675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880054667.6A Active CN111052747B (zh) 2017-12-08 2018-12-07 显示设备及显示设备的控制方法

Country Status (6)

Country Link
US (1) US11290750B2 (zh)
EP (1) EP3657802A4 (zh)
JP (1) JP6864155B2 (zh)
KR (1) KR102338466B1 (zh)
CN (1) CN111052747B (zh)
WO (1) WO2019112376A1 (zh)

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064768A (en) * 1996-07-29 2000-05-16 Wisconsin Alumni Research Foundation Multiscale feature detector using filter banks
JP4383581B2 (ja) * 1998-05-22 2009-12-16 パナソニック株式会社 ブロックノイズ検出装置およびブロックノイズ除去装置
JP4306061B2 (ja) * 1999-03-26 2009-07-29 日本ビクター株式会社 ブロックノイズ検出装置
JP2003070020A (ja) * 2001-08-24 2003-03-07 Yamaha Corp 映像信号処理装置および映像信号処理方法
JP2005012641A (ja) * 2003-06-20 2005-01-13 Matsushita Electric Ind Co Ltd ブロックノイズ検出装置及びそれを用いたブロックノイズ除去装置
US7865035B2 (en) 2005-10-06 2011-01-04 Samsung Electronics Co., Ltd. Video quality adaptive coding artifact reduction
US7911538B2 (en) 2006-04-06 2011-03-22 Samsung Electronics Co., Ltd. Estimation of block artifact strength based on edge statistics
US8175405B1 (en) * 2006-09-14 2012-05-08 Marvell International Ltd. Adaptive MPEG noise reducer
US8483283B2 (en) * 2007-03-26 2013-07-09 Cisco Technology, Inc. Real-time face detection
KR100942700B1 (ko) * 2007-12-17 2010-02-17 한국전자통신연구원 미세 입자 화소 스케일러빌리티 부호화/복호화 방법 및장치
US8718133B2 (en) 2008-03-26 2014-05-06 Samsung Electronics Co., Ltd. Method and system for image scaling detection
KR101552639B1 (ko) * 2008-07-11 2015-09-14 한국전자통신연구원 인트라 매크로 블록의 디블록킹 필터 및 필터링 방법
US8681875B2 (en) * 2008-11-25 2014-03-25 Stmicroelectronics Asia Pacific Pte., Ltd. Apparatus and method for coding block boundary detection using interpolated autocorrelation
TWI422228B (zh) * 2009-01-15 2014-01-01 Silicon Integrated Sys Corp 去方塊濾波方法及影像處理裝置
KR101649882B1 (ko) * 2009-02-10 2016-08-22 래티스세미컨덕터코퍼레이션 블록 노이즈 검출 및 필터링
US8891609B2 (en) * 2009-03-24 2014-11-18 Samsung Electronics Co., Ltd. System and method for measuring blockiness level in compressed digital video
KR101647376B1 (ko) * 2009-03-30 2016-08-10 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US20110123121A1 (en) * 2009-10-13 2011-05-26 Sony Corporation Method and system for reducing blocking artefacts in compressed images and video signals
KR101112139B1 (ko) * 2010-03-30 2012-03-13 중앙대학교 산학협력단 부호화된 영상의 확대비 및 노이즈 강도 추정장치 및 방법
TW201210325A (en) * 2010-07-21 2012-03-01 Nokia Corp Method and apparatus for indicating switching points in a streaming session
US9762906B2 (en) * 2013-02-18 2017-09-12 Mediatek Inc. Method and apparatus for video decoding using multi-core processor
US9251572B2 (en) * 2013-07-26 2016-02-02 Qualcomm Incorporated System and method of correcting image artifacts
US10455254B2 (en) * 2016-11-10 2019-10-22 Mediatek Inc. Method and apparatus of video coding

Also Published As

Publication number Publication date
US20200245000A1 (en) 2020-07-30
WO2019112376A1 (ko) 2019-06-13
EP3657802A4 (en) 2020-07-15
CN111052747A (zh) 2020-04-21
KR20190068067A (ko) 2019-06-18
US11290750B2 (en) 2022-03-29
EP3657802A1 (en) 2020-05-27
JP6864155B2 (ja) 2021-04-28
KR102338466B1 (ko) 2021-12-14
JP2020531991A (ja) 2020-11-05

Similar Documents

Publication Publication Date Title
EP2951991B1 (en) Mixed mode for frame buffer compression
US9936208B1 (en) Adaptive power and quality control for video encoders on mobile devices
US9100631B2 (en) Dynamic picture quality control
US11100888B2 (en) Methods and apparatuses for tone mapping and inverse tone mapping
AU2016264827B2 (en) Pixel processing and encoding
KR20200106216A (ko) 이미지/비디오 처리를 위한 선형 인코더
US20110026591A1 (en) System and method of compressing video content
US10609372B2 (en) Up-conversion to content adaptive perceptual quantization video signals
KR20120018124A (ko) 인터넷 비디오 콘텐츠의 추정된 품질을 기반으로 한 비디오 후처리 프로세서의 자동 조정
US8503814B2 (en) Method and apparatus for spectrum estimation
US8866975B1 (en) Backwards-compatible delivery of digital cinema content with higher dynamic range and related preprocessing and coding methods
US20110249133A1 (en) Compression-quality driven image acquisition and processing system
US8559529B2 (en) Display system, image output device and image display device
EP3371975B1 (en) Piecewise-linear inter-layer predictor for high-dynamic range video coding
CN109429085B (zh) 显示装置及其图像处理方法
US10257542B1 (en) Compression encoding of images
US20180270493A1 (en) Image compression
CN111052747B (zh) 显示设备及显示设备的控制方法
US10298932B1 (en) Compression encoding of images
US20240054623A1 (en) Image processing method and system, and device
KR20210066653A (ko) 전자 장치 및 그 제어 방법
WO2022066974A1 (en) Psycho-visual-model based video watermark gain adaptation
Song Perceptual Video Quality Preservation and Enhancement
WO2019092392A1 (en) Method and system for processing display data
US20160057436A1 (en) Video processing apparatus and video display apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant