CN111279696A - 图像处理设备、处理图像的方法以及计算机可读记录介质 - Google Patents

图像处理设备、处理图像的方法以及计算机可读记录介质 Download PDF

Info

Publication number
CN111279696A
CN111279696A CN201880068271.7A CN201880068271A CN111279696A CN 111279696 A CN111279696 A CN 111279696A CN 201880068271 A CN201880068271 A CN 201880068271A CN 111279696 A CN111279696 A CN 111279696A
Authority
CN
China
Prior art keywords
image
parameter
compression rate
image processing
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880068271.7A
Other languages
English (en)
Other versions
CN111279696B (zh
Inventor
赵基钦
朴镕燮
朴在演
金昌汉
安一埈
吴烯硕
李泰美
千岷洙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111279696A publication Critical patent/CN111279696A/zh
Application granted granted Critical
Publication of CN111279696B publication Critical patent/CN111279696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

提供了一种图像处理设备。所述图像处理设备包括：处理器，被配置为响应于包括多个帧的图像被输入，针对每个帧将预定参数改变为与所述多个帧中的每个帧的压缩率相应的参数，并且通过使用针对每个帧而改变的参数来处理输入图像；以及输出接口，被配置为输出处理后的图像。

Description

图像处理设备、处理图像的方法以及计算机可读记录介质
技术领域
本公开涉及一种图像处理设备、用于处理图像的方法以及计算机可读记录介质。更具体地，本公开涉及一种用于从可变图像质量的低质量图像产生预定等级的高质量图像的图像处理设备、用于处理图像的方法以及计算机可读记录介质。
背景技术
已经广泛地进行了研究以从通常在定量画面质量评估中使用的峰值信噪比(PSNR)、结构相似度(SSIM)等方面改善画面质量。
由于人工智能(AI)的最新发展，人工智能已被越来越多地应用于改善画面质量。然而，响应于由于运动图像传输环境(诸如，传输介质、分辨率、比特率、各种编解码器等)导致的图像质量波动，仅通过改善单个图像的固定图像质量的技术，在改善图像质量的性能方面仍然存在缺陷。
在响应于可变图像质量根据图像的质量水平应用不同的机器学习网络的情况下，存在存储器与图像质量的范围成比例地增加的问题。
为了解决此问题，需要一种在使存储器消耗量最小化的同时针对可变图像质量优化的图像质量改善技术。
以上信息仅作为背景信息被呈现以用于帮助理解本公开。至于以上信息中的任何信息是否可用作关于本公开的现有技术，尚未作出确定，并且尚未进行断言。
发明内容
技术问题
本公开的各方面将至少解决上述问题和/或缺点，并且至少提供下述优点。
技术方案
因此，本公开的一方面在于提供一种实时响应于可变图像质量而执行优化的图像质量改善处理的图像处理设备、图像处理方法和计算机可读记录介质。
根据本公开的一方面，提供了一种图像处理设备。所述图像处理设备包括：处理器，被配置为响应于包括多个帧的图像被输入，针对每个帧将预定参数改变为与所述多个帧中的每个帧的压缩率相应的参数，并且通过使用针对每个帧而改变的参数来处理输入图像；以及输出接口，被配置为输出处理后的图像。
所述图像处理设备还可包括：存储器，被配置为存储与多个预定压缩率中的每个预定压缩率相应的预定参数。如果帧的压缩率是多个预定压缩率中的一个预定压缩率，则处理器可使用存储的参数中的与压缩率相应的参数执行图像处理，并且如果帧的压缩率与所述多个预定压缩率不同，则处理器可通过计算新参数来执行图像处理并且将新参数存储在存储器中。
处理器可通过使用所述多个压缩率和所述预定参数来分析压缩率与参数之间的线性关系，并且基于分析的线性关系计算与新压缩率相应的新参数。
所述预定参数可作为对具有相同压缩率的多个帧的机器学习的结果被计算。
图像处理可以是针对所述多个帧的解码和图像质量改善处理中的至少一个。所述参数可以是用于解码和图像质量改善处理中的每一个的参数。
图像质量处理可包括获取图像的结构特征的第一处理和对获取的结构特征进行归一化的第二处理。所述参数可包括第二处理中使用的第一参数。
即使帧的压缩率被改变，在第一处理中使用的第二参数也可具有相同的值。
处理器可被配置为：通过使用所述多个帧的元数据获取所述多个帧中的每个帧的压缩率。
输出接口可包括：通信接口，用于将处理后的图像发送到外部设备。
输出接口可包括：显示器，用于显示处理后的图像。
根据本公开的另一方面，提供了一种用于处理图像的方法。所述方法包括：接收包括多个帧的图像的输入；针对每个帧将预定参数改变为与所述多个帧中的每个帧的压缩率相应的参数；通过使用针对每个帧而改变的参数来处理输入图像；并且输出处理后的图像。
所述方法还可包括：存储与多个预定压缩率中的每个预定压缩率相应的预定参数。处理图像的步骤可包括：如果帧的压缩率是多个预定压缩率中的一个预定压缩率，则使用存储的参数中的与所述压缩率相应的参数执行图像处理；并且如果帧的压缩率与所述多个预定压缩率不同，则通过计算新参数来执行图像处理并且将新参数存储在存储器中。
处理图像的步骤可包括：通过使用所述多个压缩率和所述预定参数分析压缩率与参数之间的线性关系，并且基于分析的线性关系计算与新压缩率相应的新参数。
所述预定参数可作为对具有相同压缩率的多个帧的机器学习的结果被计算。
图像处理可以是针对所述多个帧的解码和图像质量改善处理中的至少一个。所述参数可以是用于解码和图像质量改善处理中的每一个的参数。
图像质量处理可包括获取图像的结构特征的第一处理和将获取的结构特征进行归一化的第二处理。所述参数可包括第二处理中使用的第一参数。
即使帧的压缩率被改变，在第一处理中使用的第二参数也可具有相同的值。
所述方法还可包括：通过使用所述多个帧的元数据获取所述多个帧中的每个帧的压缩率。
输出的步骤可包括：显示处理后的图像或者将处理后的图像发送到外部设备。
根据本公开的另一方面，提供了一种包括用于执行用于处理图像的方法的程序的非暂时性计算机可读记录介质。所述用于处理图像的方法可包括：接收包括多个帧的图像的输入；针对每个帧将预定参数改变为与所述多个帧中的每个帧的压缩率相应的参数；并且通过使用针对每个帧而改变的参数来处理输入图像。
根据下面结合附图进行的公开了本公开的各种实施例的详细描述，本公开的其它方面、优点和显著特征对本领域技术人员将变得明显。
附图说明
根据下面结合附图进行的描述，本公开的特定实施例的以上和其它方面以及优点将更加明显，其中：
图1是根据示例实施例的被提供用于说明图像处理设备的简要配置的框图；
图2是根据示例实施例的被提供用于说明图像处理设备的特定配置的框图；
图3是根据示例实施例的被提供用于示意性地说明图像处理设备的操作的框图；
图4至图8是根据各种示例实施例的被提供用于说明图像处理的操作的示图；以及
图9是根据示例实施例的被提供用于说明用于处理图像的方法的流程图。
在整个附图中，相同的参考标号用于表示相同的元件。
具体实施方式
在下文中，将简要解释在示例实施例中使用的术语，并且将参照附图更详细地描述示例性实施例。
在本公开的示例实施例中使用的术语是现在广泛使用并考虑到本公开的功能而选择的通用术语。然而，术语可根据本领域技术人员的意图、先例或新技术的出现而变化。此外，在特定情况下，可任意地选择术语。在这种情况下，将在相应的描述中解释术语的含义。因此，说明书中使用的术语不应必定被解释为术语的简单名称，而是基于术语的含义和本公开的全部内容被定义。
示例实施例可变化，并且可在不同的示例实施例中被提供。将参照附图描述各种示例实施例。然而，这不必将示例性实施例的范围限于特定的实施例形式。相反，可采用包括在本说明书的公开构思和技术范围中的修改、等同形式和替换形式。在描述示例性实施例时，如果确定关于已知技术的特定描述使本公开的主旨模糊，则省略该特定描述。
在本公开中，诸如第一和第二等的关系术语可用于将一个实体与另一实体区分开，而不必暗示这些实体之间的任何实际关系或顺序。在本公开的实施例中，诸如第一和第二等的关系术语可用于将一个实体与另一实体区分开，而不必暗示这些实体之间的任何实际关系或顺序。
应理解，除非上下文另外明确指出，否则单数形式包括复数指示物。说明书中的术语“包括”、“包含”、“被配置为”等用于指示存在特征、数字、步骤、操作、元件、部件或它们的组合，并且这些术语不应排除对一个或更多个特征、数字、步骤、操作、元件、部件或它们的组合进行组合或添加的可能性。
在示例实施例中，“模块”或“单元”执行至少一个功能或操作，并且可被实现为硬件、软件或它们的组合。此外，除了需要由特定硬件实现的“模块”或“单元”之外，多个“模块”或多个“单元”被集成到至少一个模块中，并且因此可由至少一个处理器来实现。
通过参照附图详细描述本公开的示例性实施例，本公开的以上和其它方面将变得更加明显。然而，示例性实施例可以以各种不同的配置来实现，并且不限于本文提供的描述。此外，与说明书无关的那些内容被省略，以便更清楚地描述示例性实施例，并且在整个说明书中，相似的附图参考标号用于相似的元件。
在下文中，将参照附图详细描述示例实施例。
图1是根据示例实施例的被提供用于说明图像处理设备的简要配置的框图。
参照图1，图像处理设备100可包括处理器110和输出接口120。可以以处理输入图像并将处理后的图像发送到附加显示设备的机顶盒和服务器的形式来实现图像处理设备100。然而，示例不限于此，并且图像处理设备100可以是包括能够在设备本身中显示内容的显示器的显示设备(诸如，TV、PC、移动设备等)。
当输入包括多个帧的图像时，处理器110可将预定参数改变为与各个帧的压缩率相应的参数。处理器110可通过使用帧的元数据获取所述多个帧中的每个帧的压缩率。在这种情况下，处理器110可针对每个帧来改变参数。此外，预定参数可被预先存储在图2中示出的存储器中，这将在后面进行描述。
另外，将参照图2至图8详细描述特定参数改变操作。
此外，处理器110可借助于改变后的参数对输入图像执行图像处理。详细地，处理器110可借助于针对每个帧而改变的参数对每个帧执行图像处理。图像处理可包括针对所述多个帧的图像质量改善处理。在这种情况下，与每个帧相应的参数可以是用于帧的图像质量改善处理的参数。当输入图像是压缩图像而不是解码的压缩图像时，图像处理可包括对多个帧进行解码。在这种情况下，与每个帧相应的参数可以是用于对帧进行解码的参数。
图像质量改善处理可包括获取输入图像的结构特征的第一处理。结构特征可以是能够在分析图像时客观地获取的特征，其中，该特征不仅可包括图像的属性(诸如，图像的亮度、色感、明暗度、色度、对比度等)，而且可包括图像帧中包括的特征(诸如，图像的一整帧中包括的轮廓差、边缘的位置、粗细、清晰度、边缘周围的亮度、色感、明暗度、色度等)。详细地，处理器110可执行从多个输入帧中的每个输入帧获取结构特征的第一处理。即使帧的压缩率被改变，在第一处理中使用的参数也可以是相同的值。这是因为多个帧的图像中的结构特征相似，从而可显著减少图像质量改善处理所需的存储器消耗。
此外，图像质量改善处理可包括对从每个帧获取的结构特征执行特征归一化的第二处理。可根据帧的压缩率改变在第二处理中使用的参数。详细地，处理器110可经由批归一化层对通过第一处理从每个帧获取的结构特征进行归一化，并且借助于缩放因子和移位因子来处理归一化的结构特征。在第二处理中使用的参数可包括对获取的结构特征进行归一化所需的参数、缩放因子和移位因子。另外，可用如下所示的数学等式(1)表示第二处理。
BN＝α*norm(conv)+β (1)
BN可指通过批归一化而处理的值，conv可以是通过第一处理获取的特征值，norm可指归一化，α可指缩放因子，并且β可指移位因子。
另外，处理器110可重复地执行第一处理和第二处理。
输出接口120可输出处理后的图像。详细地，输出接口120可将处理后的图像发送到外部设备。在这种情况下，输出接口120可包括能够与外部设备进行通信的通信接口。
输出接口120可显示处理后的图像。在这种情况下，输出接口120可包括能够显示图像的显示器。
如上所述，根据示例实施例，可根据输入图像的多个帧的压缩率来改变参数，并且借助于改变后的参数针对每个帧执行图像处理。由此，即使针对每个帧输入具有可变图像质量的图像，也可针对每个帧执行优化的图像质量改善处理。
图2是根据示例实施例的被提供用于说明图像处理设备的具体配置的框图。
参照图2，图像处理设备100可包括处理器110、输出接口120、存储器130、通信接口140、按键150、视频处理器160、音频处理器170、麦克风180、相机185和音频输出接口190。
处理器110可包括RAM 111、ROM 112、CPU 113、图形处理单元(GPU)114和总线115。RAM 111、ROM 112、CPU 113、GPU 114等可彼此连接总线115。
CPU 113使用存储在存储器130中的OS访问存储器130以执行启动。CPU 1013可通过使用存储在存储器130中的各种程序、内容、数据等执行各种操作。
ROM 112可存储用于系统启动的指令集。当输入开启命令并因此供应电力时，CPU113可根据存储在ROM 112中的命令将存储器130中的存储的O/S复制到RAM 111，并且通过运行O/S来启动系统。当完成启动时，CPU 113可将存储在存储器130中的各种程序复制到RAM 111，并且通过实现复制到RAM 111的程序来执行各种操作。
当完成图像处理设备100的启动时，GPU 114可在输出接口120上显示UI。详细地，GPU 114可使用计算器(未示出)和渲染器(未示出)产生包括各种对象(诸如，图标、图像、文本等)的图像。计算单元根据屏幕的布局计算将被显示的每个对象的属性值，诸如，坐标、形状、尺寸和颜色。渲染器基于由运算器计算的属性值产生包括对象的各种布局的屏幕。渲染器中产生的屏幕(或用户界面窗口)可被提供给显示器，并且在主显示区域和子显示区域中的每个显示区域上被显示。
在上述示例实施例中，由GPU 114执行图像处理操作。然而，在实现方式中，可由CPU 113或GPU 114执行图像处理操作。
输出接口120可显示处理后的图像。在这种情况下，输出接口120可包括用于显示处理后的图像的显示器。显示器可显示处理后的图像。由显示器显示的处理后的图像可以是通过借助于针对每个帧而改变的参数对输入图像执行图像质量改善处理而产生的图像。显示器可被实现为各种类型的显示器，诸如，LCD(液晶显示器)、OLED(有机发光二极管)显示器和PDP(等离子显示面板)。显示器可包括驱动电路、背光单元等，其中，背光单元可以以诸如a-si TFT、低温多晶硅(LTPS)TFT、有机TFT(OTFT)等的形式被实现。此外，还可将显示器实现为柔性显示器。
此外，显示器可包括用于感测用户的触摸手势的触摸传感器。触摸传感器可被实现为各种类型的传感器，诸如，电容型、电阻型、压电型等。电容型表示以下方案：通过使用在显示器的表面上涂覆的电介质感测当用户的身体的一部分触摸显示器的表面时流入用户的身体中的微电流来计算触摸坐标。电阻型意味着以下方案：包括嵌入在显示器中的两个电极板，并且当用户触摸屏幕时，通过感测触摸点处的上下板彼此接触以允许电流流动来计算触摸坐标。此外，当图像处理设备100支持笔输入功能时，显示器除了可感测通过使用用户手指执行的用户手势之外，还可感测通过使用输入工具(诸如，笔)执行的用户手势。当输入工具包括包含线圈的触控笔时，图像处理设备100可包括可感测由触控笔内的线圈改变的磁场的磁场传感器。因此，触摸屏除了可感测触摸手势之外，也可感测邻近手势，即，悬停。
在上述示例实施例中，显示功能和手势感测功能在同一元件中被执行，但可在不同元件中被显示。此外，根据各种示例实施例，可不在图像处理设备100中提供显示器。
存储器130可被实现为图像处理设备100内的记录介质或者被实现为外部存储介质，诸如，包括USB存储器的可移动盘、经由网络的网络服务器等。例如，存储器130可包括硬盘、固态驱动器(SSD)、存储卡、ROM、USB存储器等。
存储器130可存储预定参数。例如，存储器130可存储与多个预定压缩率中的每个预定压缩率相应的参数。存储在存储器130中的预定参数可以是通过输入具有相同压缩率的多个帧经由机器学习计算的结果，其中，该结果可以是与输入帧的压缩率相应的值。
此外，存储器130可存储与由处理器110计算的新压缩率相应的新参数。
通信接口140可以是根据各种类型的通信方法和协议与各种外部设备进行通信或接口连接的元件。例如，通信器140可从外部设备接收压缩图像。压缩图像可包括多个帧，并且每个帧可以以不同的压缩率被压缩。通信接口140可将由处理器110处理的图像发送到外部设备，诸如，附加显示设备。
例如，通信接口140可通过有线方式(诸如，天线、电缆或端口)从外部设备接收图像的输入，或者可通过无线方式(诸如，Wi-Fi和蓝牙)接收图像的输入。在实施方式中，图像处理设备100可接收用户从图像处理设备100中提供的存储器130中存储的多个图像中选择的图像的输入，并且处理该图像。
在图像处理设备100能够执行无线通信的情况下，通信接口140可包括Wi-Fi芯片、蓝牙芯片、无线通信芯片和近场通信(NFC)芯片。特别地，Wi-Fi芯片和蓝牙芯片可分别以Wi-Fi方式和蓝牙方式各自执行通信。当使用Wi-Fi芯片或蓝牙芯片时，可首先交换各种连接信息(诸如，SSID和会话密钥)，可通过使用该连接信息进行通信连接，并且可交换各种信息。无线通信芯片表示根据各种通信标准(诸如，IEEE、Zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)等)进行通信的芯片。NFC芯片可表示通过使用各种射频识别(RFID)频带(诸如，135kHz、13.56MHz、433MHz、860-960MHz、2.45GHz等)中的13.56MHz带进行操作的芯片或集成电路。
处理器110可借助于用于图像处理的参数来处理由通信接口140输入的图像。例如，图像处理可指图像质量改善处理，并且处理器110可产生通过借助于与多个帧中的每个帧的压缩率相应的参数按帧对输入图像执行图像质量改善处理而产生的高质量图像。
在上述示例实施例中，输出接口120和通信接口140是分离的元件。然而，输出接口120可包括通信接口140的一些功能或全部功能。
按键150可以是形成在任意区域(诸如，图像处理设备100的主体的外表面的前表面部分、侧表面部分和后表面部分)中的各种类型的按键，诸如，机械按键、触摸板、滚轮等。
视频处理器160是处理包括在通过通信器140接收到的内容中或存储在存储器130中的视频数据的组成元件。视频处理器160可对音频数据执行各种图像处理过程，诸如，解码、缩放、噪声滤波、帧率转换和分辨率转换。
当输入包括多个帧的图像时，视频处理器160可将预定参数改变为与各个帧的压缩率相应的参数。视频处理器160可通过使用帧的元数据获取多个帧中的每个帧的压缩率。在这种情况下，视频处理器160可按帧改变参数。此外，预定参数可被预先存储在存储器130中。
此外，视频处理器160可借助于改变后的参数对输入图像执行图像处理。详细地，视频处理器160可借助于针对每个帧而改变的参数对每个帧执行图像处理。图像处理可包括针对所述多个帧的图像质量改善处理。在这种情况下，与每个帧相应的参数可以是用于帧的图像质量改善处理的参数。当输入图像是压缩图像而不是解码的压缩图像时，图像处理可包括对多个帧进行解码。在这种情况下，与每个帧相应的参数可以是用于对帧进行解码的参数。
图像质量改善处理可包括获取输入图像的结构特征的第一处理。结构特征可以是能够在分析图像时客观地获取的特征，其中，该特征不仅可包括图像的属性(诸如，图像的亮度、色感、明暗度、色度、对比度等)，而且可包括图像帧中包括的特征(诸如，图像的一整帧中包括的轮廓差、边缘的位置、粗细、清晰度、边缘周围的亮度、色感、明暗度、色度等)。详细地，视频处理器160可执行从通过卷积层输入的多个帧中的每个帧获取结构特征的第一处理。即使帧的压缩率被改变，在第一处理中使用的参数也可以是相同的值。这是因为多个帧的图像中的结构特征相似，从而可显著减少图像质量改善处理所需的存储器消耗。
此外，图像质量改善处理可包括对从每个帧获取的结构特征执行特征归一化的第二处理。可根据帧的压缩率改变在第二处理中使用的参数。详细地，视频处理器160可经由批归一化层对通过第一处理从每个帧获取的结构特征进行归一化，并且借助于缩放因子和移位因子来处理归一化的结构特征。在第二处理中使用的参数可包括对获取的结构特征进行归一化所需的参数、缩放因子和移位因子。另外，可以以如下所示的数学等式(1)表示第二处理。
BN＝α*norm(conv)+β (1)
BN可指通过批归一化而处理的值，conv可以是通过第一处理获取的特征值，norm可指归一化，α可指缩放因子，而β可指移位因子。
另外，视频处理器160可重复地执行第一处理和第二处理。
当输入帧的压缩率是多个预定压缩率中的一个预定压缩率时，视频处理器160可使用存储在存储器130中的多个参数中的与输入帧的压缩率相应的参数执行图像处理。存储在存储器130中的多个参数可分别与所述多个压缩率相应。
当输入帧的压缩率是新压缩率时，视频处理器160可计算与新压缩率相应的参数。新压缩率可指输入帧的压缩率与多个预定压缩率不同的情况。例如，视频处理器160可通过使用多个预定压缩率和相应的参数分析压缩率与参数之间的线性关系。此外，视频处理器160可基于分析的线性关系计算与新压缩率相应的新参数。如下所示，将参照图7详细描述该操作。
此外，视频处理器160可借助于计算的新参数执行图像处理。例如，视频处理器160可使用计算的新参数执行第二处理。如上所述，可通过改变参数执行第二处理，从而可调节输入图像的视觉特征。
视觉特征可以是当用户看到图像时可由用户识别的特征，其中，该特征不仅可包括图像的属性(诸如，图像的亮度、色感、明暗度、色度、对比度等)，而且可包括纹理特征，其中，纹理特征指示从图像中的每个区域的图像信号的频率的形式、包括在图像中的边缘的形式和密度、颜色的排列等感受到的纹理。
音频处理器170是处理通过通信器140接收到的内容或存储在存储器130中的内容中包括的音频数据的组成元件。音频处理器170可对音频数据执行各种处理，诸如，解码、放大和噪声滤波。
当执行用于多媒体内容的回放应用时，处理器110可驱动视频处理器160和音频处理器170回放相应的内容。在这种情况下，输出接口120的显示器可在主显示区域和子显示区域中的至少一个区域上显示由视频处理器160产生的图像帧。
麦克风180是用于接收用户语音或其它声音并将其转换为音频数据的结构。处理器110可在呼叫处理期间使用通过麦克风180输入的用户语音，或者可将用户语音转换为音频数据并将该音频数据存储在存储器130中。麦克风180可包括用于从多个位置接收声音的多个立体声麦克风。
相机185是用于根据用户的控制对静止图像或运动图像进行成像的结构。可由多个相机(诸如，前置相机和后置相机)来实现相机185。如上所述，在用于跟踪用户的注视的示例中，可将相机185用作用于获得用户的图像的手段。
当提供了相机185和麦克风180时，处理器110可根据通过麦克风180输入的用户语音或由相机185识别出的用户动作来执行控制操作。也就是说，图像处理设备100可在运动控制模式或语音控制模式下进行操作。在图像处理设备100在运动控制模式下被操作的情况下，处理器110激活相机185以对用户进行成像，并且跟踪用户运动的变化以执行与用户运动的变化相应的控制操作。在用户终端设备100在语音控制模式下被操作的情况下，处理器110可分析通过麦克风180输入的用户语音，并且还可根据分析的用户语音在执行控制操作的语音识别模式下被操作。
在支持运动控制模式或声音控制模式的图像处理设备100中，在上述各种示例性实施例中可使用语音识别技术或运动识别技术。例如，如果用户做出好像用户正在选择在主屏幕上显示的对象的动作，或者如果用户陈述与该对象相应的语音命令，则确定选择了相应的对象并且可执行与该对象匹配的控制操作。
此外，音频输出接口190输出在音频处理器170中产生的音频数据。
此外，尽管图2中未示出，但是图像处理设备100可另外包括：被配置为与通用串行总线(USB)连接器连接的USB端口、被配置为连接各种外部组件(诸如，耳机、鼠标和局域网(LAN))的各种外部输入端口、用于接收和处理DMB(数字多媒体广播)信号的DMB芯片以及各种传感器。
图3是根据示例实施例的被提供用于示意性地说明图像处理设备的操作的框图。
参照图3，图像处理设备可通过对输入图像31执行图像质量改善处理来产生改善图像32。例如，图像处理设备可通过使输入图像31通过用于图像质量改善处理的多个层310-1、310-2、320-1、320-2和330来执行图像质量改善处理。
首先，图像处理设备可在使输入图像31通过卷积(conv)层310-1的同时执行获取图像的结构特征的第一处理。输入图像31可包括多个帧，并且图像处理设备100可获取所述多个帧中的每个帧的结构特征。
此外，图像处理设备100可执行使获取的结构特征通过质量控制(QC)层320-1并对该结构特征进行归一化的第二处理。图像处理设备可通过使用与所述多个帧中的每个帧的压缩率相应的图像质量数字33来对相应的帧执行第二处理。可使用帧的元数据获取与每个帧的压缩率相应的图像质量数字33。
例如，图像处理设备可根据是否预先存储了压缩率，通过使用预先存储的参数执行第二处理，或者可通过使用图像质量数字33改变预先存储的参数，并且使用改变后的参数执行第二处理。下面将参照图4至图8更详细地描述该操作。
图像处理设备可选择性地使输入图像31通过整流线性单元(ReLU)330层。ReLU函数可用于解决无法获知输入值如何跨越多个层影响输出值的问题、或者对输出值的影响变得并不显著的问题，并且ReLU函数可执行处理，使得小于0的值用0表示并且大于0的值以线性函数的形式来表示。因此，可更清楚地观察输入值对输出值的影响，从而可进行准确的学习。
另外，图像处理设备可通过使输入图像31重复地通过执行与上述多个层310-1、320-1和330相同功能的多个层310-2和320-2来执行图像质量改善处理。另外，将参照图4至图8详细描述用于改变参数的各种示例实施例。
图4和图5是用于示出在输入帧的压缩率是预定压缩率中的一个预定压缩率的情况下的图像处理设备的操作的示图。预定压缩率可以是与预先存储的参数相应的帧的压缩率。此外，预先存储的参数可作为针对具有相同压缩率的多个帧的机器学习的结果被计算。
参照图4，图像处理设备可通过对输入图像41执行图像质量改善处理来产生改善图像42。例如，图像处理设备可通过使输入图像41通过用于图像质量改善处理的多个层410-1、410-2、420-1、420-2和430来执行图像质量改善处理。
在这方面，通过使输入图像41通过卷积层410-1获取图像的结构特征的第一处理和选择性地使输入图像41通过ReLU层430的处理操作与图3的操作相同，因此，将省略其描述。
图像处理设备可执行使从输入图像41获取的结构特征通过质量控制(QC)层420-1并对该结构特征进行归一化的第二处理。例如，图像处理设备可通过使用与帧的压缩率相应的图像质量数字43对相应的帧执行第二处理。可使用帧的元数据获取与帧的压缩率相应的图像质量数字43。
图像处理设备可预先存储与预定压缩率相应的参数。参照图4，图像处理设备可存储作为与压缩率20％相应的参数的BN 20和作为与压缩率30％相应的参数的BN 30。因此，预定压缩率可以是20％和30％。BN 20可以是通过输入压缩率为20％的多个帧并处理输入帧并且通过机器学习而优化的结果值。BN 30可以是关于压缩率30％通过机器学习计算出的结果。
图像处理设备可使用输入图像41的图像质量数字430执行第二处理。图像质量数字43可与输入图像41的压缩率相应。参照图4，输入图像41的压缩率可以是预定压缩率20％和30％中的20％。
在这种情况下，如图5所示，图像处理设备可经由质量控制层421-1通过使用预先存储的参数BN 20和BN 30中的BN 20执行第二处理来产生改善图像42，其中，BN 20是与输入图像41的压缩率相应的参数。
图像处理设备可通过使输入图像31重复地通过执行与上述多个层410-1、421-1和430相同功能的多个层410-2和421-2来执行图像质量改善处理。
图6至图8是用于示出在输入帧的压缩率与预定压缩率不同的情况下的图像处理设备的操作的示图。预定压缩率可以是与预先存储的参数相应的帧的压缩率。此外，预先存储的参数可作为针对具有相同压缩率的多个帧的机器学习的结果被计算。
参照图6，图像处理设备可通过对输入图像61执行图像质量改善处理来产生改善图像62。例如，图像处理设备可通过使输入图像61通过用于图像质量改善处理的多个层610-1、610-2、620-1、620-2和630来执行图像质量改善处理。
在这方面，通过使输入图像61通过卷积层610-1获取图像的结构特征的第一处理和选择性地使输入图像41通过ReLU层630的处理操作与图3的操作相同，因此，将省略其描述。
图像处理设备可执行使从输入图像61获取的结构特征通过质量控制(QC)层620-1并对该结构特征进行归一化的第二处理。例如，图像处理设备可通过使用与帧的压缩率相应的图像质量数字63对相应的帧执行第二处理。可使用帧的元数据获取与帧的压缩率相应的图像质量数字63。
图像处理设备可预先存储与预定压缩率相应的参数。参照图6，图像处理设备可存储作为与压缩率20％相应的参数的BN 20和作为与压缩率30％相应的参数的BN 30。因此，预定压缩率可以是20％和30％。BN 20可以是通过输入压缩率为20％的多个帧并处理输入帧并且通过机器学习而优化的结果值。BN 30可以是关于压缩率30％通过机器学习计算出的结果。
图像处理设备可使用输入图像61的图像质量数字63执行第二处理。图像质量数字63可与输入图像61的压缩率相应。参照图6，输入图像61的压缩率可以是与预定压缩率20％和30％不同的25％。如图7所示，图像处理设备可计算针对除预定压缩率之外的新压缩率的新参数。
例如，图像处理设备可通过使用与多个压缩率中的每个压缩率相应的预定参数以及多个压缩率来分析压缩率与参数之间的线性关系。
参照图5，图像处理设备可通过使用预定压缩率20％和30％以及相应的BN 20和BN30来分析压缩率与参数之间的线性关系。此外，图像处理设备可通过使用线性关系计算针对压缩率25％的参数。例如，图像处理设备可根据如下所示的数学等式(2)计算针对压缩率25％的参数QC 25。
[ BN 20, BN 30 ] * [0.5, 0.5] ＝ QC 25 (2)
然后，如图8所示，图像处理设备可通过质量控制层621-1通过使用QC25执行第二处理来产生改善图像62，其中，QC 25是与输入图像61的压缩率25％相应的新参数，而不是预先存储的参数BN 20和BN 30。同时，使用线性关系的方法仅是非限制性示例，并且可通过各种算法计算新参数。
图像处理设备可通过使输入图像31重复地通过执行与上述多个层610-1、621-1和630相同功能的多个层610-2和621-2来执行图像质量改善处理。
如上所述，即使输入了具有与预定压缩率不同的新压缩率的帧，也使用针对预定压缩率训练的参数计算与新压缩率相应的参数，从而对于具有多个帧的运动图像可进行优化的质量改善。
图9是根据示例实施例的被提供用于说明用于处理图像的方法的流程图。
首先，在操作S910，图像处理设备可接收包括多个帧的图像。例如，输入图像可以是压缩图像本身或通过对压缩图像进行解码而产生的图像。在这种情况下，可通过以各种压缩率进行压缩来产生输入图像中包括的多个帧。
然后，在操作S920，图像处理设备可针对每个帧来改变预定参数。例如，图像处理设备可将预定参数改变为与每个帧的压缩率相应的参数。预定参数可以是与预定压缩率相应的参数，并且可作为针对具有预定压缩率的多个帧的机器学习的结果被计算，其中，与预定压缩率相应的参数可以是预先存储在图像处理设备中的参数。
当输入帧的压缩率是预定压缩率中的任意一个预定压缩率时，图像处理设备可使用预定参数中的与压缩率相应的参数。当输入帧的压缩率是与预定压缩率不同的新压缩率时，可通过使用预定压缩率和相应的预定参数计算与新参数相应的新参数。例如，图像处理设备可使用预定压缩率和预定参数分析线性关系，并且可使用分析的线性关系计算与新压缩率相应的新参数。
接下来，在操作S930，图像处理设备可通过使用改变后的参数处理输入图像。
详细地，图像处理设备可执行输入图像的解码和质量改善处理中的至少一个。例如，当输入图像是压缩图像时，图像处理设备可对压缩图像执行解码处理和质量改善处理。当输入图像是通过对压缩图像进行解码而产生的图像时，图像处理设备可对输入图像执行质量改善图像。
此外，当包括在输入帧中的帧的压缩率是预定压缩率中的任意一个预定压缩率时，图像处理设备可使用预定参数中的与压缩率相应的参数执行图像处理。当包括在输入帧中的帧的压缩率是与预定压缩率不同的新压缩率时，图像处理设备可使用与计算的新压缩率相应的新参数执行图像处理。
此外，在操作S940，图像处理设备可输出处理后的图像。例如，图像处理设备可将处理后的图像发送到外部设备，或者在图像处理设备中提供的显示器上显示处理后的图像。
如上所述，可在图1或图2的图像处理设备中实现图9中示出的方法。
根据上述各种示例实施例，即使输入了具有与预定压缩率不同的新压缩率的帧，也使用针对预定压缩率训练的参数计算与新压缩率相应的参数，从而对于具有多个帧的运动图像可进行优化的质量改善。因此，不必存储针对各种压缩率的参数，从而存储器消耗可显著减少。此外，即使可能预料到图像质量变化，也可以以高于特定等级的等级执行图像质量改善处理，因此，即使压缩率不同，也可预计帧之间的图像质量的差异不大。
可通过使用软件、硬件或它们的组合在可由计算机或与计算机类似的设备读取的记录介质中呈现上述各种示例实施例。根据硬件实施例，可通过使用从专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、用于执行其它功能的电子单元中选择的至少一个来实施本公开中描述的示例性实施例。在一些情况下，可由处理器110本身实现本文描述的实施例。根据软件实施方式，可利用单独的软件模块实现诸如本文描述的处理和功能的实施例。软件模块中的每个软件模块可执行本文描述的功能和操作中的一个或更多个。
根据各种示例实施例的用于处理图像的方法可存储在非暂时性可读介质上。非暂时性可读介质可被安装在各种装置中。
非暂时性计算机可读介质是指半永久地存储数据而不是在非常短的时间内存储数据(诸如，寄存器、高速缓存、内存等)的介质，并且可由设备读取。详细地，用于执行前述各种方法的程序可存储在非暂时性计算机可读介质(例如，紧凑盘(CD)、数字通用盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等)中，并且可被提供。
前述示例实施例和优点仅是示例性的，并且不应被解释为限制本公开。本教导可被容易地应用于其它类型的装置。此外，本公开的示例实施例的描述旨在是说明性的，而不是限制权利要求的范围，并且许多替换、修改和变化对本领域技术人员将是显而易见的。

Claims (15)

1.一种图像处理设备，包括：
处理器，被配置为：
响应于包括多个帧的图像被输入，针对每个帧将预定参数改变为与所述多个帧中的每个帧的压缩率相应的参数；并且
通过使用针对每个帧而改变的参数来处理输入图像；以及
输出接口，被配置为输出处理后的图像。
2.如权利要求1所述的图像处理设备，还包括：
存储器，被配置为存储与多个预定压缩率中的每个预定压缩率相应的所述预定参数，
其中，处理器被配置为：
如果帧的压缩率是多个预定压缩率中的一个预定压缩率，则使用存储的参数中的与所述压缩率相应的参数执行图像处理；并且
如果帧的压缩率与所述多个预定压缩率不同，则通过计算新参数来执行图像处理并且将新参数存储在存储器中。
3.如权利要求2所述的图像处理设备，其中，处理器被配置为：
通过使用所述多个压缩率和所述预定参数来分析压缩率与参数之间的线性关系；并且
基于分析的线性关系，计算与新压缩率相应的新参数。
4.如权利要求2所述的图像处理设备，其中，所述预定参数作为对具有相同压缩率的多个帧的机器学习的结果被计算。
5.如权利要求1所述的图像处理设备，其中，图像处理是针对所述多个帧的解码和图像质量改善处理中的至少一个，并且
其中，所述参数是用于解码和图像质量改善处理中的每一个的参数。
6.如权利要求5所述的图像处理设备，其中，图像质量处理包括获取图像的结构特征的第一处理和对获取的结构特征进行归一化的第二处理，并且
其中，所述参数包括第二处理中使用的第一参数。
7.如权利要求6所述的图像处理设备，其中，即使帧的压缩率被改变，在第一处理中使用的第二参数也具有相同的值。
8.如权利要求1所述的图像处理设备，其中，处理器被配置为：通过使用所述多个帧的元数据获取所述多个帧中的每个帧的压缩率。
9.如权利要求1所述的图像处理设备，其中，输出接口包括：通信接口，用于将处理后的图像发送到外部设备。
10.如权利要求1所述的图像处理设备，其中，输出接口包括：显示器，用于显示处理后的图像。
11.一种用于处理图像的方法，所述方法包括：
接收包括多个帧的图像的输入；
针对每个帧，将预定参数改变为与所述多个帧中的每个帧的压缩率相应的参数；
通过使用针对每个帧而改变的参数来处理输入图像；并且
输出处理后的图像。
12.如权利要求11所述的方法，还包括：
存储与多个预定压缩率中的每个预定压缩率相应的所述预定参数，并且
其中，处理图像的步骤包括：
如果帧的压缩率是多个预定压缩率中的一个预定压缩率，则使用存储的参数中的与所述压缩率相应的参数执行图像处理；并且
如果帧的压缩率与所述多个预定压缩率不同，则通过计算新参数来执行图像处理并且将新参数存储在存储器中。
13.如权利要求12所述的方法，其中，处理图像的步骤包括：
通过使用所述多个压缩率和所述预定参数来分析压缩率与参数之间的线性关系；并且
基于分析的线性关系，计算与新压缩率相应的新参数。
14.如权利要求12所述的方法，其中，所述预定参数作为对具有相同压缩率的多个帧的机器学习的结果被计算。
15.如权利要求11所述的方法，其中，处理图像的步骤是针对所述多个帧的解码和图像质量改善处理中的至少一个，并且，
其中，所述参数是用于解码和图像质量改善处理中的每一个的参数。
CN201880068271.7A 2017-09-14 2018-09-06 图像处理设备、处理图像的方法以及计算机可读记录介质 Active CN111279696B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0117646 2017-09-14
KR1020170117646A KR102444054B1 (ko) 2017-09-14 2017-09-14 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
PCT/KR2018/010432 WO2019054698A1 (en) 2017-09-14 2018-09-06 IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM

Publications (2)

Publication Number Publication Date
CN111279696A true CN111279696A (zh) 2020-06-12
CN111279696B CN111279696B (zh) 2023-03-07

Family

ID=65632101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880068271.7A Active CN111279696B (zh) 2017-09-14 2018-09-06 图像处理设备、处理图像的方法以及计算机可读记录介质

Country Status (4)

Country Link
US (1) US11006108B2 (zh)
KR (1) KR102444054B1 (zh)
CN (1) CN111279696B (zh)
WO (1) WO2019054698A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11404025B2 (en) * 2019-04-10 2022-08-02 Mediatek Inc. Video processing system for performing artificial intelligence assisted picture quality enhancement and associated video processing method
KR20220108610A (ko) * 2021-01-27 2022-08-03 삼성전자주식회사 영상 처리 장치 및 그 동작방법
US11887277B2 (en) * 2021-02-23 2024-01-30 Adobe Inc. Removing compression artifacts from digital images and videos utilizing generative machine-learning models

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101340575A (zh) * 2007-07-03 2009-01-07 英华达(上海)电子有限公司 动态调整视频编码的方法及终端
US20090290803A1 (en) * 2008-05-26 2009-11-26 Samsung Electronics Co., Ltd. Image processing apparatus for image quality improvement and method thereof
CN106256126A (zh) * 2014-05-02 2016-12-21 三星电子株式会社 用于自适应地压缩图像数据的方法和装置
CN106713929A (zh) * 2017-02-16 2017-05-24 清华大学深圳研究生院 一种基于深度神经网络的视频帧间预测增强方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100327368B1 (ko) * 1998-07-10 2002-03-06 구자홍 영상 부호화 및 복호화 방법
US8189662B2 (en) * 1999-07-27 2012-05-29 Microsoft Corporation Selection compression
US6529638B1 (en) 1999-02-01 2003-03-04 Sharp Laboratories Of America, Inc. Block boundary artifact reduction for block-based image compression
JP4140202B2 (ja) * 2001-02-28 2008-08-27 三菱電機株式会社 移動物体検出装置
CN1806439B (zh) 2003-06-13 2010-09-29 皇家飞利浦电子股份有限公司 空间信号变换的装置及方法
US7346208B2 (en) 2003-10-25 2008-03-18 Hewlett-Packard Development Company, L.P. Image artifact reduction using a neural network
US8493299B2 (en) * 2004-12-09 2013-07-23 Sharp Kabushiki Kaisha Image data processing device, liquid crystal display apparatus including same, display apparatus driving device, display apparatus driving method, program therefor, and storage medium
US20080111831A1 (en) * 2006-11-15 2008-05-15 Jay Son Efficient Panoramic Image Generation
US8731062B2 (en) 2008-02-05 2014-05-20 Ntt Docomo, Inc. Noise and/or flicker reduction in video sequences using spatial and temporal processing
WO2010120338A2 (en) 2009-04-14 2010-10-21 Thomson Licensing Methods and apparatus for filter parameter determination and selection responsive to variable transforms in sparsity-based de-artifact filtering
JP2011223302A (ja) 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
TWI394094B (zh) * 2010-06-22 2013-04-21 Univ Nat Taiwan Science Tech 半色調影像處理之順序矩陣與擴散權重的共同優化方法與系統
WO2013003485A1 (en) * 2011-06-28 2013-01-03 Inview Technology Corporation Image sequence reconstruction based on overlapping measurement subsets
US8731337B2 (en) 2011-08-05 2014-05-20 Adobe Systems Incorporated Denoising and artifact removal in image upscaling
CN104318534B (zh) 2014-11-18 2017-06-06 中国电子科技集团公司第三研究所 一种实时二维卷积数字滤波系统
US20160321523A1 (en) * 2015-04-30 2016-11-03 The Regents Of The University Of California Using machine learning to filter monte carlo noise from images
EP3475785A4 (en) * 2016-04-22 2020-05-13 SZ DJI Technology Co., Ltd. SYSTEMS AND METHODS FOR PROCESSING IMAGE DATA BASED ON A USER'S INTEREST
CN106447621A (zh) 2016-08-29 2017-02-22 广东工业大学 一种基于模糊连接原则的视频图像去噪方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101340575A (zh) * 2007-07-03 2009-01-07 英华达(上海)电子有限公司 动态调整视频编码的方法及终端
US20090290803A1 (en) * 2008-05-26 2009-11-26 Samsung Electronics Co., Ltd. Image processing apparatus for image quality improvement and method thereof
CN106256126A (zh) * 2014-05-02 2016-12-21 三星电子株式会社 用于自适应地压缩图像数据的方法和装置
CN106713929A (zh) * 2017-02-16 2017-05-24 清华大学深圳研究生院 一种基于深度神经网络的视频帧间预测增强方法

Also Published As

Publication number Publication date
US11006108B2 (en) 2021-05-11
WO2019054698A1 (en) 2019-03-21
KR102444054B1 (ko) 2022-09-19
US20190082177A1 (en) 2019-03-14
KR20190030339A (ko) 2019-03-22
CN111279696B (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
US11195261B2 (en) Image processing apparatus and image processing method
CN111095350B (zh) 图像处理设备、用于处理图像的方法和计算机可读记录介质
US10168797B2 (en) Terminal apparatus, audio system, and method for controlling sound volume of external speaker thereof
EP2897028B1 (en) Display device and method for controlling the same
US20170322713A1 (en) Display apparatus and method for controlling the same and computer-readable recording medium
US20180130243A1 (en) Display apparatus and control method thereof
US10181203B2 (en) Method for processing image data and apparatus for the same
US20140355830A1 (en) Method and apparatus for protecting eyesight
CN111279696B (zh) 图像处理设备、处理图像的方法以及计算机可读记录介质
EP3147895A1 (en) Display apparatus and method for controlling display apparatus thereof
CN114237419B (zh) 显示设备、触控事件的识别方法
EP3720111B1 (en) Electronic device and operation method thereof
CN112771580A (zh) 显示装置控制方法和使用该方法的显示装置
US20140195980A1 (en) Display apparatus and method for providing user interface thereof
US10609305B2 (en) Electronic apparatus and operating method thereof
CN109891459B (zh) 图像处理装置及图像处理方法
US20130169660A1 (en) Image editing system and method
US20150145749A1 (en) Image processing apparatus and image processing method
KR20140072737A (ko) 디스플레이 장치 및 이의 사용자 메뉴 제공 방법
US11373340B2 (en) Display apparatus and controlling method thereof
KR101917662B1 (ko) 디스플레이 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant