CN111179163A - 显示装置及其控制方法 - Google Patents

显示装置及其控制方法 Download PDF

Info

Publication number
CN111179163A
CN111179163A CN201911098874.4A CN201911098874A CN111179163A CN 111179163 A CN111179163 A CN 111179163A CN 201911098874 A CN201911098874 A CN 201911098874A CN 111179163 A CN111179163 A CN 111179163A
Authority
CN
China
Prior art keywords
filter
filters
image
learning
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911098874.4A
Other languages
English (en)
Inventor
李相祚
罗尚权
金斗炫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111179163A publication Critical patent/CN111179163A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4092—Image resolution transcoding, e.g. client/server architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06T3/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Abstract

公开了一种显示装置及其控制方法，该显示装置包括：视频解码器，被配置为对视频信号进行解码；以及包括多个滤波器的人工智能(AI)缩放器，所述多个滤波器被设置为使特定滤波器的输出用作另一滤波器的输入，并且被配置为通过处理经解码的视频信号来控制图像的分辨率，基于控制信号来选择性地开启或关闭所述多个滤波器中的每一个，被开启的滤波器基于通过学习设置的参数来处理视频信号，而被关闭的滤波器越过并输出所输入的视频信号。

Description

显示装置及其控制方法
技术领域
与示例性实施例一致的装置和方法涉及显示装置及其控制方法，更具体地，涉及基于人工智能(AI)学习来处理视频信号的显示装置、其控制方法及其记录介质。
背景技术
人工智能(AI)系统是指具有人类水平智力的计算机系统，并且还指通过自机器学习和识别变得更智能的系统，而不是常规的基于规则的智能系统。随着越来越多地使用AI系统，AI系统的识别率得到了进一步提高，并且AI系统更准确地学习了用户的偏好，因此，常规的基于规则的智能系统已经逐渐被基于AI学习的AI系统所取代。
AI技术包括机器学习、深度学习等基于学习的过程、以及使用该学习的基础技术。
学习是指自动对输入数据的特性进行分类/学习的算法技术，并且基础技术是指使用深度学习等学习算法来模仿人脑的功能(例如识别、确定等)，并被分类为包括语言理解、视觉理解、推理/预测、知识表示、操作控制等的技术领域的技术。
AI技术所应用的各个领域如下。语言理解是指识别和应用/处理人类语言/字符的技术，并且包括自然语言处理、机器翻译、对话系统、问答系统、语音识别/合成等。视觉理解是指识别和处理类似于人类视觉的对象的技术，并且包括对象识别、对象跟踪、图像搜索、人类识别、场景理解、空间理解、图像增强等。推理/预测是指通过识别而在逻辑上进行推理和预测的技术，并且包括基于知识/概率的推理、优化预测、基于偏好的计划、推荐等。知识表示是指将人类经验信息自动处理为知识数据的技术，并且包括知识构造(数据生成/分类)、知识管理(数据利用)等。操作控制是指控制车辆的自动驾驶和机器人的运动的技术，并且包括运动控制(例如，导航、碰撞、驾驶)、操作控制(例如，动作控制)等。
发明内容
在一些实施例中，本文提供了一种显示装置，该显示装置包括：视频解码器，被配置为对视频信号进行解码；人工智能(AI)缩放器，AI缩放器包括多个滤波器，并且AI缩放器被配置为处理经解码的视频信号；以及控制器，被配置为通过基于控制信号选择性地开启或关闭多个滤波器中的每个滤波器来控制图像的分辨率，该多个滤波器中的选定滤波器由控制信号开启，并且该多个滤波器中的未选定滤波器由控制信号关闭，选定滤波器基于被开启而被配置为基于一个或多个第一参数来处理视频信号，该一个或多个第一参数基于学习，并且学习包括通过训练达到该一个或多个第一参数，而未选定滤波器基于被关闭而被配置为越过并输出被输入到未选定滤波器的信号。
在一些实施例中，显示装置还包括：存储器，存储器被配置为存储查找表，查找表通过执行学习而生成，并且控制器还被配置为基于从查找表中提取的一个或多个第一参数来设置选定滤波器。
在显示装置的一些实施例中，选定滤波器包括第二多个滤波器，其中，第二多个滤波器中的每个滤波器设置有一个或多个第二参数，并且AI缩放器被配置为使经解码的视频信号依次通过第二多个滤波器。
在显示装置的一些实施例中，控制器还被配置为：从视频解码器获取视频信号的编解码器信息，基于编解码器信息，从查找表中提取一个或多个第一参数，并且基于一个或多个第一参数来设置选定滤波器。
在显示装置的一些实施例中，编解码器信息包括编解码器类型和压缩率中的至少一个。
在显示装置的一些实施例中，控制器还被配置为使AI缩放器通过第一滤波器分析视频信号的图像特性，并且通过第二滤波器处理经解码的视频信号，第二滤波器设置有与所分析的图像特性相对应的第三参数，选定滤波器包括第二滤波器，并且一个或多个第一参数包括第三参数。
在显示装置的一些实施例中，查找表基于学习，学习基于图像的特性，并且查找表被配置为存储第三参数。
在显示装置的一些实施例中，选定滤波器包括第三滤波器，第三滤波器被配置为对图像执行后处理，并且后处理对应于降噪和细节增强中的至少一个。
在显示装置的一些实施例中，一个或多个第一参数基于第一基于AI学习的过程，或者一个或多个第一参数基于第二基于AI学习的过程。
在显示装置的一些实施例中，多个滤波器中的每一个被控制为基于对第一基于AI学习的过程和第二基于AI学习的过程中的一个加以指示的配置控制信号而被开启或关闭，并且AI缩放器被控制为使用多个滤波器中与第一基于AI学习的过程相对应的第一滤波器组合和多个滤波器中与第二基于AI学习的过程相对应的第二滤波器组合中的一个，来处理经解码的视频信号。
在显示装置的一些实施例中，多个滤波器中的至少一个滤波器属于第一滤波器组合和第二滤波器组合，并且在第一基于AI学习的过程和第二基于AI学习的过程之间共享。
本文还提供了一种控制显示装置的方法。在一些实施例中，该方法包括：对视频信号进行解码；以及通过以下操作控制图像的分辨率：通过基于控制信号选择性地开启或关闭多个滤波器中的每个滤波器，其中该多个滤波器中的选定滤波器由控制信号开启，并且该多个滤波器中的未选定滤波器由控制信号关闭，以及通过该多个滤波器处理经解码的视频信号，其中选定滤波器基于被开启而被配置为基于一个或多个第一参数来处理视频信号，该一个或多个第一参数基于学习，并且其中学习包括通过训练达到该一个或多个第一参数，而未选定滤波器基于被关闭而被配置为越过并输出被输入到未选定滤波器的信号。
在控制显示装置的方法的一些实施例中，选定滤波器包括第二多个滤波器，其中，第二多个滤波器中的每个滤波器设置有一个或多个第二参数，并且控制图像的分辨率还包括使经解码的视频信号依次通过第二多个滤波器。
在控制显示装置的方法的一些实施例中，该方法包括：存储第一查找表，该第一查找表通过执行学习而生成。该方法的一些实施例还包括：从视频解码器获取视频信号的编解码器信息，基于编解码器信息，从第一查找表中提取一个或多个第一参数，并且基于该一个或多个第一参数来设置选定滤波器。
在控制显示装置的方法的一些实施例中，该方法包括：通过第一滤波器来分析视频信号的图像特性，其中，处理经解码的视频信号还包括通过第二滤波器来处理经解码的视频信号，其中，第二滤波器设置有与所分析的图像特性相对应的第三参数，其中，选定滤波器包括第二滤波器，并且其中，一个或多个第一参数包括第三参数。
在控制显示装置的方法的一些实施例中，该方法包括：存储第二查找表，其中，第二查找表基于学习，并且其中，该学习基于图像的特性，控制图像的分辨率还包括从第二查找表中提取第三参数。
在控制显示装置的方法的一些实施例中，该方法包括：通过第三滤波器对图像执行后处理，其中，后处理对应于降噪和细节增强中的至少一个。
在该方法的一些实施例中，一个或多个第一参数基于第一基于人工智能(AI)学习的过程，或者一个或多个第一参数基于第二基于AI学习的过程。
在该方法的一些实施例中，控制图像的分辨率还包括：基于指示第一基于AI学习的过程和第二基于AI学习的过程中的一个的配置控制信号来控制要被开启或关闭的多个滤波器中的每一个。
本文还提供了一种存储指令的非临时性计算机可读介质，该指令将由至少一个处理器执行，该指令被配置为使至少一个处理器执行以下操作：对视频信号进行解码；以及通过以下操作控制图像的分辨率：通过基于控制信号选择性地开启或关闭多个滤波器中的每个滤波器，其中该多个滤波器中的选定滤波器由控制信号开启，并且该多个滤波器中的未选定滤波器由控制信号关闭，以及通过该多个滤波器处理经解码的视频信号，其中选定滤波器基于被开启而被配置为基于一个或多个第一参数来处理视频信号，其中该一个或多个第一参数基于学习，并且其中学习包括通过训练达到该一个或多个第一参数，而未选定滤波器基于被关闭而被配置为越过并输出被输入到未选定滤波器的信号。
根据一个实施例，提供了一种显示装置，包括：视频解码器，被配置为对视频信号进行解码；以及包括多个滤波器的人工智能(AI)缩放器，该多个滤波器被设置为使特定滤波器的输出用作另一滤波器的输入，并且被配置为通过处理经解码的视频信号来控制图像的分辨率，基于控制信号来选择性地开启或关闭多个滤波器中的每一个，被开启的滤波器基于通过学习设置的参数来处理视频信号，而被关闭的滤波器越过并输出被输入的视频信号。
显示装置还可以包括：存储器，被配置为存储通过预先执行学习而生成的查找表，并且可以通过从查找表中提取的参数来设置被开启的滤波器。
被开启的滤波器可以包括多个滤波器，每个滤波器都设置有预定参数，并且经解码的视频信号可以依次通过被开启的多个滤波器以控制图像的分辨率。
显示装置还可以包括：存储器，被配置为存储通过预先执行学习而生成的查找表；以及控制器，被配置为：从视频解码器获得视频信号的编解码器信息，基于所获得的编解码器信息从查找表中提取参数，并且基于所提取的参数来设置被开启的多个滤波器中的每一个。
编解码器信息可以包括编解码器类型或压缩率中的至少一种。
被开启的滤波器可以包括：第一滤波器，被配置为分析视频信号的图像特性；以及第二滤波器，可以被配置为设置有与所分析的图像特性相对应的参数并控制图像的分辨率。
显示装置还可以包括：存储器，被配置为存储通过预先执行学习而根据图像特性生成的查找表；以及控制器，被配置为从查找表中提取与由第一滤波器分析的图像特性相对应的参数，并基于提取的参数来设置第二滤波器。
被开启的滤波器可以包括：第三滤波器，被配置为对图像执行与降噪或细节增强中的至少一个相对应的后处理，该图像的分辨率由第二滤波器控制。
AI缩放器可以被配置为：通过多个滤波器中的与第二基于AI学习的过程相对应的第一滤波器组合来处理经解码的视频信号，或者通过多个滤波器中的与第二基于AI学习的过程相对应的不同于第一组合的第二滤波器组合来处理经解码的视频信号。
多个滤波器中的每一个可以被控制为基于对第一基于AI学习的过程和第二基于AI学习的过程中的一个过程加以指示的配置控制信号来开启或关闭，并且AI缩放器可以被控制为使用第一滤波器组合和第二滤波器组合中的一个来处理经解码的视频信号。
多个滤波器中的至少一个滤波器可以属于第一滤波器组合和第二滤波器组合，并且可以在第一基于AI学习的过程和第二基于AI学习的过程之间共享。
根据一个实施例，提供了一种控制显示装置的方法，包括：对视频信号进行解码；以及通过经由多个滤波器处理经解码的视频信号来控制图像的分辨率，该多个滤波器被设置为使特定滤波器的输出用作另一滤波器的输入，控制图像的分辨率包括：基于控制信号来选择性地开启或关闭多个滤波器中的每一个；通过被开启的滤波器，基于通过学习所设置的参数来处理视频信号；以及通过被关闭的滤波器，越过并输出被输入的视频信号。
被开启的滤波器可以包括多个滤波器，每个滤波器都设置有预定参数，并且控制图像的分辨率可以包括允许经解码的视频信号依次通过被开启的多个滤波器以控制图像的分辨率。
该方法还可以包括存储通过预先执行学习而生成的查找表，并且控制图像的分辨率可以包括：从视频解码器获取视频信号的编解码器信息；以及基于所获得的编解码器信息从查找表中提取参数，并且基于所提取的参数来设置被开启的多个滤波器中的每一个。
控制图像的分辨率可以包括：通过第一滤波器分析视频信号的图像特性；以及通过第二滤波器来控制图像的分辨率，第二滤波器设置有与所分析的图像特性相对应的参数。
该方法还可以包括：通过预先执行学习来存储根据图像的特性生成的查找表，控制图像的分辨率可以包括：从查找表中提取与第一滤波器分析的图像特性相对应的参数；以及基于提取的参数来设置第二滤波器。
控制图像的分辨率还可以包括：通过第三滤波器，对图像执行与降噪或细节增强中的至少一个相对应的后处理，该图像的分辨率由第二滤波器控制。
控制图像的分辨率可以包括：通过多个滤波器中的与第二基于AI学习的过程相对应的第一滤波器组合来处理经解码的视频信号，或者通过多个滤波器中的与第二基于AI学习的过程相对应的不同于第一组合的第二滤波器组合来处理经解码的视频信号。
控制图像的分辨率可以包括控制多个滤波器中的每一个以基于对第一基于AI学习的过程和第二基于AI学习的过程中的一个过程加以指示的配置控制信号而被开启或关闭，以使得AI缩放器可以使用第一滤波器组合和第二滤波器组合中的一个来处理经解码的视频信号。
根据一个实施例，提供了一种计算机程序产品，包括：存储器，被配置为存储多个指令；以及处理器，其中，当该指令由处理器执行时，视频信号被解码，并且通过设置为使特定滤波器的输出用作另一滤波器的输入的多个滤波器来控制通过处理经解码的视频信号而获得的图像的分辨率，基于控制信号来选择性地开启或关闭多个滤波器中的每一个，由被开启的滤波器基于通过学习设置的参数来处理视频信号，并且输入的视频信号被关闭的滤波器越过并输出。
根据一个实施例，提供了一种计算机可读的非易失性记录介质，其记录有可由显示装置的处理器执行的方法的程序，该方法包括：对视频信号进行解码；以及通过经由多个滤波器处理经解码的视频信号来控制图像的分辨率，该多个滤波器被设置为使特定滤波器的输出用作另一滤波器的输入，控制图像的分辨率包括：基于控制信号来选择性地开启或关闭多个滤波器中的每一个；通过被开启的滤波器，基于通过学习所设置的参数来处理视频信号；以及通过被关闭的滤波器，越过并输出被输入的视频信号。
附图说明
从以下结合附图对示例性实施例的描述中，上述和/或方面将变得清楚并且更容易理解，在附图中：
图1是根据本公开实施例的显示装置的框图；
图2是根据本公开的实施例的用于在显示装置中处理视频信号的详细配置的框图；
图3、图4、图5和图6是说明根据本公开的实施例的用于基于人工智能(AI)学习的过程的视图；
图7是根据本公开实施例的包括用于第一基于AI学习的过程的第一滤波器组合的AI缩放器的框图；
图8是根据本公开实施例的包括用于第二基于AI学习的过程的第二滤波器组合的AI缩放器的框图；
图9和图10是用于说明深度神经网络(DNN)模式下的滤波器的操作的视图；
图11和图12是用于说明图像分析模式下的滤波器的操作的视图；以及
图13是示出根据本公开的另一实施例的用于在显示装置中处理视频信号的详细配置的框图。
具体实施方式
在下文中，将参照附图来详细描述示例实施例。在附图中，相同的数字或符号表示具有实质上相同功能的相同元件，并且为了清楚和方便描述，每个元件的尺寸可以被放大。然而，以下示例性实施例中示出的配置和功能不应被解释为限制本发明构思以及关键配置和功能。在以下描述中，如果确定公知的功能或特征会模糊本发明构思的主旨，则将省略关于它们的描述。
在以下示例性实施例中，术语“第一”、“第二”等仅用于将一个元件与另一个元件区分开，并且单数形式旨在包括复数形式，除非上下文中另外提及。在以下示例性实施例中，将理解，术语“包括”、“包含”、“具有”等不排除存在或增加一个或多个其他特征、数字、步骤、操作、元件、组件或其组合。此外，“模块”或“部分”可以执行至少一个功能或操作，由硬件、软件或硬件和软件的组合来实现，并且被集成为至少一个模块。在本公开中，多个元件中的至少一个不仅指所有多个元件，而且指除其他元件之外的多个元件中的每个元件及其组合。
图1是根据本公开实施例的显示装置的框图，并且图2是根据本公开的实施例的用于在显示装置中处理视频信号的详细配置的框图。
根据本公开的实施例的显示装置100在预设过程下处理从外部信号源即图像源(未示出)提供的图像信号，并基于处理后的图像信号来显示图像。
根据一个实施例，显示装置100可以包括：电视(TV)等显示装置，其处理基于从广播站的发射器接收的广播信号、广播信息或广播数据中的至少一个的广播图像。
显示装置100可以例如无线地从广播站接收射频(RF)信号，即广播信号。为此，显示装置100可以包括：天线，被配置为接收广播信号；以及调谐器，被配置为调谐到与广播信号相对应的信道。显示装置100可以通过地面波、电缆、卫星等来接收广播信号，并且根据本公开的信号源不限于广播站。换句话说，本公开的信号源可以包括：能够收发数据或中继数据的任何装置或站，例如机顶盒；以及播放器，用于再现诸如蓝光盘(BD)、数字多功能光盘(DVD)等的光盘。
可以对应于装置的类型来不同地给出在显示装置100中接收的信号的标准，并且例如可以基于高清晰度多媒体接口(HDMI)、复合视频、分量视频、超级视频、无线电接收器和电视监控器联合组织(SCART)通用串行总线(USB)等通过线缆来接收图像信号。此外，显示装置100可以通过诸如Wi-Fi、Wi-Fi Direct或蓝牙的无线通信来无线地接收图像信号。
此外，显示装置100可以基于存储在内部/外部存储介质中的信号/数据来执行信号处理，以在其上显示运动图像、静止图像、应用、屏幕显示(OSD)、用户界面(UI，以下也称为图形用户界面(GUI))以供各种操作控制等。
根据一个实施例，显示装置100可以作为智能TV或互联网协议(IP)TV来操作。智能电视是指这样的电视：其能够实时获取和显示广播信号；具有网络浏览功能，以便在实时显示广播信号的同时，可以通过互联网搜索和消费各种内容；以及为Web浏览功能提供方便的用户环境。此外，智能电视包括开源软件平台，从而向用户提供交互式服务。因此，智能电视可以向用户提供各种内容，例如，用于通过开源软件平台提供预定服务的应用。这样的应用是指用于提供各种服务的应用程序，并且可以例如包括用于提供诸如社交网络服务、金融、新闻、天气、地图、音乐、电影、游戏、电子书之类的服务的应用。
然而，本公开的显示装置100不限于TV，并且可以例如包括各种装置，诸如膝上型计算机或台式个人计算机(PC)(或连接到计算机的监视器)等。
如图1所示，根据本公开实施例的显示装置100包括信号接收器110、通信器120、视频处理器130、显示器140、用户输入接收器150、存储器160以及控制器170。
信号接收器110从外部接收图像信号(即，内容)，并将接收到的图像信号传递给视频处理器130。信号接收器110可以使用配备有调制解调器的无线电接收器来无线地接收图像信号。或者，可以通过有线连接接收信号，如下所述。接收到的信号的标准可以根据显示装置100的类型而变化。例如，信号接收器110可以无线地从广播站(未示出)接收射频(RF)信号，或者可以通过线缆接收符合诸如复合视频、分量视频、超级视频、SCART、HDMI等的标准的图像信号。
信号接收器110包括连接器111，显示装置100经由该连接器111通过线缆与外部图像源连接。根据一个实施例，在连接器111和图像源之间的连接中使用HDMI电缆，但是连接标准不限于HDMI。
显示装置100可以从通过连接器111经由线缆连接的机顶盒等图像源接收内容。连接器111基本上从图像源接收信号，但是可以交互地发送和接收信号。
连接器111可以通过包括数据输入/输出接口的通信电路来实现，其中通信模块(S/W模块、芯片等)、端口等被组合为对应于各种通信协议。
根据一个实施例，经由线缆通过连接器111连接到显示装置100的装置是机顶盒、PC等图像源，但是本公开不限于该实施例。例如，根据备选实施例的显示装置100可以通过连接器111经由线缆与移动装置连接。
根据一个实施例，信号接收器110可以包括调谐器，当图像信号是广播信号时，调谐器将被调谐到与广播信号相对应的信道。
此外，图像信号可以从各种外围装置输出。此外，图像信号可以基于通过互联网等网络接收的数据。在这种情况下，显示装置100可以通过通信器120(稍后将描述)接收图像信号。
此外，图像信号可以基于存储在诸如闪存、硬盘驱动器(HDD)等的非易失性存储器160中的数据。存储器160可以设置在显示装置100的内部或外部。在存储器160设置在显示装置100的外部的情况下，存储器160可以通过连接器111连接到显示装置100。
根据一个实施例，信号接收器110可以接收视频信号作为内容，该视频信号通过基于人工智能(AI)学习的过程在信号源(即内容提供装置)的编码终端处被编码。
通信器120被配置为通过有线或无线方式与至少一个外部装置通信。通信器120包括有线和/或无线通信模块。
通信器120可以由通信电路来实现，该通信电路包括与各种通信协议相对应的通信模块(S/W模块、芯片等)。
根据一个实施例，通信器120包括无线局域网(WLAN)单元。WLAN单元可以在控制器170的控制下通过接入点(AP)向至少一个用于控制的装置传送信号。WLAN单元包括Wi-Fi通信模块。
根据一个实施例，通信器120包括用于短距离通信(诸如蓝牙、蓝牙低功耗、RF通信、Wi-Fi Direct、紫蜂、超宽带(UWB)、近场通信(NFC)、红外数据关联(IrDA)通信等)的模块中的至少一个。短距离通信模块被配置为在没有AP的情况下无线地支持显示装置100和至少一个装置之间的直接通信。
根据一个实施例，通信器120还可以包括有线通信模块，如以太网等。
根据本公开的实施例的显示装置100的通信器120可以根据所需性能通过WLAN单元、短距离通信模块和有线通信模块中的一个或其中两个的组合来实现。本文所使用的术语“由...实现的实施例”包括“示例实施例可以基于...”的含义。
根据一个实施例，显示装置100通过通信器120与至少一个外部装置执行无线通信。当显示装置100直接与至少一个外部装置执行无线通信时，存储器160可以被配置为存储关于用于通信的装置的标识信息(例如，媒体访问控制(MAC)地址或互联网协议(IP)地址)。
视频处理器130对从信号接收器110或通信器120中的至少一个接收的图像信号执行各种预设的视频/音频处理。视频处理器130将通过这种图像处理过程生成或组合的信号向显示器140输出，从而使显示器140基于图像信号显示图像。
如图1所示，视频处理器130包括视频解码器131和AI缩放器133。
视频解码器131将图像信号解码为对应于显示装置100的图像格式。视频解码器131可以例如是H.264解码器，但是不限于该示例。换句话说，根据本公开的实施例的视频解码器131可以由符合各种压缩标准的解码器(诸如运动图像专家组(MPEG)解码器、高效视频编解码器(HEVC)解码器等)来实现。
AI缩放器133执行缩放以根据显示器140的输出标准来调整或转换图像信号。
在根据本公开的实施例的显示装置100中，AI缩放器133由分辨率增加模块(即放大(scaling-up)模块)来实现，以增加视频(即图像)的分辨率。换句话说，AI缩放器133可以通过放大(up-scaling)来从低分辨率图像生成高分辨率图像或超分辨率图像。
根据一个实施例，由视频解码器131解码的视频信号由AI缩放器133通过基于AI学习的过程来进行放大。在此，AI缩放器133可以被配置为根据在信号源(即内容提供装置)的编码终端处使用的基于AI学习的过程来放大视频信号。
具体地，如图2所示，AI缩放器133可以包括可以可变地(即灵活地)组合的多个滤波器：Filter(滤波器)1、Filter 2、…、Filter M、Filter N，并通过多个滤波器的组合处理视频信号，从而调整视频(或图像)的分辨率。在图2中，Filter 1-Filter N以串行布置的形式示出，其后是功能块“相加”。相加有两个输入：一个由Filter N馈送，而一个由Filter 1的输出馈送。相加包括这些输入的直接代数求和以产生输出。
根据一个实施例，多个滤波器(Filter 1、Filter 2、…、Filter M、Filter N)被以如上所述的串行方式布置为使得特定滤波器(例如Filter 1)的输出用作另一滤波器(例如Filter 2)的输入。总体上，Filter 1至N和Filter M形成用于处理视频信号的像素数据路径。
根据一个实施例，如图2所示，视频处理器130还可以包括：预处理模块132，用于对从视频解码器131输出的视频信号进行预处理，以将其传送到AI缩放器133；以及后处理模块134，用于对从AI缩放器133输出的视频信号进行后处理以增强图像质量。
根据一个实施例，预处理模块132、AI缩放器133和后处理模块134被包括在图像质量链C中，作为改善图像的图像质量的配置。
根据本公开的一个实施例，AI缩放器133可以被配置为通过基于第一基于AI学习的过程来处理视频信号，或者通过不同于第一基于AI学习的过程的第二基于AI学习的过程来处理视频信号，从而控制视频(或图像)的分辨率。通常，视频是指图像的时间序列。图像通常是指静止图像。
这里，第一基于AI学习的过程对应于基于机器学习(ML)的过程，而第二基于AI学习的过程对应于基于深度神经网络(DNN)(即深度学习)的过程。DNN是机器学习的子集。
即，本公开的一个方面在于提供显示装置100，其中，基于机器学习或深度学习的图像分辨率控制被选择性地用于基于人工智能(AI)学习的视频信号处理、其控制方法及其记录介质中。
稍后将描述第一基于AI学习的过程和第二基于AI学习的过程的详细操作。
同时，不存在对于通过本公开的视频处理器130所执行的处理类型的限制。例如，视频处理器130还可以包括至少一个模块，该模块用于执行各种处理，诸如用于将交错式广播信号转换为逐行式广播信号的逐行扫描、用于增强图像质量的降噪、细节增强、帧刷新率转换、行扫描等。
视频处理器130可以实现为一组单独元件的形式，即用于独立执行这样的处理的模块，或者可以实现为包括在集成有许多功能的主芯片上系统(SoC)中。主SoC可以包括至少一个处理器，例如，作为控制器170(稍后将描述)的示例的微处理器或中央处理单元(CPU)。
根据一个实施例，视频处理器130可以通过图像板来实现，用于执行这样的处理的各种芯片组、存储器、电子部件、布线等的电路配置被安装到印刷电路板(PCB)。在这种情况下，显示装置100可以包括单个图像板，在其上设置有调谐器、视频处理器130和控制器170。当然，这仅是一个示例。备选地，调谐器、视频处理器和控制器可以设置在被连接用于彼此通信的多个PCB上。
由视频处理器130处理的图像信号被输出到显示器140。显示器140显示与从视频处理器130接收的图像信号相对应的图像。
根据一个实施例，显示器140可以显示高分辨率图像，该高分辨率图像的分辨率由视频处理器130的AI缩放器133缩放。
显示器140的类型没有限制。例如，显示器140可以被实现为诸如液晶、等离子、发光二极管、有机发光二极管、表面传导电子发射器、碳纳米管、纳晶等的各种显示器类型。根据一个实施例，显示器140包括用于显示图像的显示面板，并且还可以根据类型包括附加配置，例如驱动器。
用户输入接收器150响应于用户输入向控制器170发送各种预设控制命令或非限制信息。
根据一个实施例，用户输入接收器150可以向控制器170输出配置控制信号，以使得AI缩放器133可以基于第一基于AI学习的过程或第二基于AI学习的过程中的任何一个来操作。
用户输入接收器150可以包括：小键盘(或输入面板)，其包括设置在显示装置100的主体中的电源键、数字键、菜单键等。
根据一个实施例，用户输入设备生成用于远程控制显示装置100的预设命令/数据/信息/信号，并将其发送到显示装置100。通常，输入设备与显示装置100分离。输入设备包括遥控器、键盘、鼠标等。输入设备能够接收用户输入并与用户输入接收器150通信。
遥控器可以包括：触摸传感器，用于接收用户的触摸输入；和/或运动传感器，用于检测其自身由于用户引起的的运动。输入设备可以包括诸如智能电话的终端，在其中安装有远程控制应用，并且在这种情况下，可以通过智能电话的触摸屏来接收用户的触摸输入。
输入设备被包括在与显示装置100执行无线通信的外部装置中，并且无线通信可以包括Wi-Fi、蓝牙、IR通信、RF通信、WLAN、Wi-Fi Direct等中的一个或多个。
根据一个实施例，用户输入接收器150还可以包括用于接收用户发出的语音/声音的语音输入单元。语音输入单元可以由用于接收音频信号的麦克风来实现。
存储器160可以被配置为存储显示装置100的各种数据。存储器160可以由即使显示装置100断电并且反映改变也可以保留数据的非易失性存储器(或可写存储器)来实现。存储器160可以被设置为硬盘驱动器(HDD)、闪存、电可编程只读存储器(EPROM)或电可擦除可编程ROM(EEPROM)中的至少一种。
存储器160还可以包括易失性存储器(例如随机存取存储器(RAM))，并且易失性存储器可以包括动态RAM(DRAM)或静态RAM(SRAM)，其对显示装置100的读取或写入速度比非易失性存储器快。换句话说，本公开中的术语“存储”被定义为不仅包括非易失性存储器而且还包括易失性存储器，控制器170中设置的高速缓冲存储器、存储卡(例如，微型SD卡、存储棒等)可通过连接器111安装到显示装置100。
存储在存储器160中的数据例如不仅可以包括用于驱动显示装置100的操作系统(OS)，而且可以包括可在OS上执行的各种应用、图像数据、附加数据等。
具体地，存储器160可以被配置为在控制器170的控制下存储与元件的操作相对应的信号或数据输入/输出。存储器160可以被配置为存储用于控制显示装置100的程序、与制造商提供的或从外部下载的应用有关的UI、用于提供UI的图像、用户信息、文档、数据库或相关数据。
根据一个实施例，存储器160可以被配置为存储分别与第一基于AI学习的过程和第二基于AI学习的过程对应地提供的查找表(LUT)。
与第一基于AI学习的过程相对应的LUT包括第一LUT，其中，与图像的特性相对应地生成滤波器参数(以下称为“多个参数”或“参数”)作为第一AI学习，即列出了预先执行的机器学习结果。在执行第一基于AI学习的过程之后的运行时间期间，AI缩放器133执行放大以增加分辨率。放大包括：从如上所述通过机器学习预先生成的第一LUT提取与(基于视频信号的)输入图像的特性相对应的参数集。在一些实施例中，机器学习包括使用CNN。
与第二基于AI学习的过程相对应的LUT包括第二LUT。生成第二LUT中的滤波器参数作为第二基于AI学习的过程，即列出了预先执行的深度学习结果。在第二LUT中，列出了不考虑图像特性所生成的参数。在执行第二基于AI学习的过程之后，AI缩放器133执行放大以增加分辨率。如上所述，放大包括从预先由深度学习生成的第二LUT中提取参数集。
根据一个实施例，用于基于第二基于AI学习的过程处理视频信号的AI缩放器133可以通过从第二LUT中提取与图像的编解码器或压缩特性相对应的滤波器参数集来执行放大。
控制器170执行控制以操作显示装置100的一般元件。处理器170包括至少一个通用处理器，该通用处理器从安装有控制程序的非易失性存储器中将控制程序的至少一部分加载到易失性存储器，执行所加载的控制程序，并且例如可以被实现为CPU、应用处理器(AP)或微处理器。
控制器170可以包括至少一个处理器，该处理器在单核、双核、三核、四核等的多核中具有一个或多个核。处理器可以包括多个处理器，例如，在睡眠模式下(在此模式期间，仅提供待机功率而不操作显示装置)操作的主处理器和副处理器。此外，处理器、ROM和RAM可以通过内部总线彼此连接。
根据一个实施例，控制器170还可以包括用于图形处理的图形处理单元(GPU)。
根据一个实施例，控制器170可以被实现为被包括在安装到设置在显示装置100内部的PCB上的主SoC中。备选地，主SoC还可以包括用于处理视频信号的视频处理器130。
控制程序可以包括以基本输入/输出系统(BIOS)、设备驱动程序、操作系统(OS)、固件、平台和应用中的至少一个的实现的程序。根据一个示例性实施例，可以在制造显示装置100时将应用预先安装或存储在显示装置100中，或者可以在将来需要时基于从外部接收的应用数据将应用安装在显示装置100中。例如，可以将应用数据从诸如应用市场之类的外部服务器下载到显示装置100。这样的外部服务器仅是根据本公开的计算机程序产品的示例，但不限于此。
根据一个实施例，控制器170的操作可以通过存储在与显示装置100分开设置的计算机程序产品(未示出)中的计算机程序来实现。
在这种情况下，计算机程序产品包括存储有与计算机程序相对应的指令的存储器、以及处理器。该指令由处理器执行并控制AI缩放器133，以便可以基于第一基于AI学习的过程来处理由第一滤波器组合解码的视频信号，并且可以基于第二基于AI学习的过程来处理由与第一组合不同的第二滤波器组合解码的视频信号，从而执行控制器170的操作。
因此，显示装置100可以在下载存储在单独的计算机程序产品中的计算机程序，并执行所下载的计算机程序，从而执行控制器170的操作。
此外，根据一个实施例，控制器170的操作可以通过存储在记录介质中的计算机可读程序来执行。程序(即存储在记录介质中的数据)可以由控制器170直接访问和执行，或者经由通过计算机系统彼此连接的有线/无线网络实现的传输介质而下载到显示装置100中并被执行，从而执行操作。
在根据本公开的一个实施例的显示装置100中，控制器170可以如图2所示包括配置控制模块171、LUT控制模块173和参数提取模块174。根据一个实施例，控制器170还可以包括编解码器分析模块172。
根据一个实施例，配置控制模块171、编解码器分析模块172、LUT控制模块173和参数提取模块174被配置为形成用于配置滤波器并生成参数的控制路径。通常，在滤波器Filter 1、…、Filter N和Filter M中使用的权重称为参数或多个参数。通常，术语参数可以理解为复数。
控制器170中涉及的前述元件171、172、173和174中的至少一个可以由如上所述的硬件模块或计算机程序来实现。在下文中，将认识到，由显示装置100的控制器170执行用于基于AI学习的过程的AI缩放器133的控制操作。
下面，将参考附图详细描述根据本公开的实施例执行的根据基于AI学习的过程的分辨率放大处理。
图3至图6是说明根据本公开的实施例的用于基于AI学习的过程的视图。
如图3所示，显示装置100的视频解码器131对通过信号接收器110接收的视频信号进行解码(200)。
在操作200中解码的视频信号由AI缩放器133的多个滤波器之中与第一基于AI学习的过程相对应的第一滤波器组合处理(201)，或由AI缩放器133的多个滤波器之中不同于第一组合的与第二基于AI学习的过程相对应的第二滤波器组合来处理(202)。
参照图2和图4，显示装置100中的控制器170的配置控制模块171接收配置控制信号(301)。
配置控制信号是指外部输入信号，其可以例如响应于通过用户输入接收器150做出的用户选择而输入到配置控制模块171，或者响应于通过通信器120从外部装置接收到的信号而输入到配置控制模块171。
备选地，可以响应于预定事件的发生在显示装置100中自动生成配置控制信号。
根据一个实施例，可以在第一次制造或安装显示装置100时识别配置控制信号。
控制器170可以识别接收到的配置控制信号，并且基于识别结果来选择AI缩放器133的操作模式以对应于第一基于AI学习的过程或第二基于AI学习的过程中的任一个。
配置控制信号指示AI缩放器133的操作模式。具体地，配置控制信号可以指示以下模式之一：AI缩放器133基于第一基于AI学习的过程(即机器学习技术)进行操作的图像分析模式、和AI缩放器133基于第二基于AI学习的过程(即DNN(或深度学习)技术)进行操作的DNN模式。
AI缩放器133响应于如上所述接收到的配置控制信号而在图像分析模式或DNN模式中的任一个下进行操作。AI缩放器133包括可以各种组合的多个滤波器。
根据一个实施例，AI缩放器133通过根据操作模式而不同的滤波器的组合来处理视频信号。
换句话说，在图像分析模式下操作的AI缩放器133采用第一滤波器组合来处理视频信号，在DNN模式下操作的AI缩放器133采用第二滤波器组合来处理视频信号。
根据一个实施例，可以在图像分析模式和DNN模式之间共享AI缩放器133的多个滤波器中的至少一个滤波器。例如，图2所示的第一滤波器Filter 1和第二滤波器Filter 2可以属于第一滤波器组合和第二滤波器组合两者。
在图像分析模式下，基于预先执行第一基于AI学习的过程所生成的数据(即滤波器参数)来独立控制第一滤波器组合。这里，基于第一基于AI学习的过程的滤波器参数被给出为与视频信号(或图像)的特性相对应，因此可以基于机器学习来设计第一基于AI学习的过程。
在DNN模式下，基于预先执行第二基于AI学习的过程所生成的数据(即滤波器参数)来独立控制第二滤波器组合。在此，不管视频信号(或图像)的特性如何，都给出第二基于AI学习的过程的滤波器参数，因此可以基于深度学习来设计第二基于AI学习的过程。
配置控制模块171基于输入的配置控制信号来输出用于选择性地开启或关闭如图2所示的多个滤波器Filter 1、Filter 2、…、Filter M、Filter N的每个操作的滤波器控制信号，使得AI缩放器133可以配置与其操作模式相对应的滤波器层。
此外，输入到配置控制模块171的配置控制信号被发送到LUT控制模块173和参数提取模块174，从而针对形成每个层的滤波器设置操作参数。
LUT控制模块173可以响应于配置控制信号来选择与操作模式相对应的、设置在存储器160中的第一LUT和第二LUT中的一个。
参数提取模块174从选择的LUT中提取滤波器参数，并将参数信息输出到多个滤波器Filter 1、Filter 2、…、Filter M、Filter N中的每一个。这里，参数提取模块174可以将参数信息选择性地输出到多个滤波器之中的由滤波器控制信号开启的滤波器。
参照图4，当输入的配置控制信号指示图像分析模式时，换句话说，当在操作302中识别出输入的配置控制信号不指示DNN模式时，基于从配置控制模块171输出的滤波器控制信号将滤波器层配置为包括图像分析单元在内的第一滤波器组合，并且基于从参数提取模块174输出的参数信息从LUT加载参数集(303)。
在如上所述配置的第一滤波器组合中，特定滤波器(例如第一滤波器Filter 1)操作为图像分析单元，用于分析图像即视频信号的特性，并且图像分析单元Filter 1的图像分析结果被输出到LUT控制模块173，从而参数提取模块174可以从LUT加载与所分析的图像的特性相对应的参数集。
此外，将滤波器控制信号(即用于多个滤波器Filter 1、Filter 2、…、Filter M、Filter N的开/关信号)和加载的参数信息输出到每个滤波器(304)。
另一方面，当在操作302中识别出所输入的配置控制信号指示DNN模式时，基于从配置控制模块171输出的滤波器控制信号将滤波器层配置为第二滤波器组合，并且基于从参数提取模块174输出的参数信息从LUT加载参数集(305)。
这里，当AI缩放器133在DNN模式下操作时，编解码器分析模块172可以从视频解码器131获得要处理的视频信号的编解码器信息。编解码器分析模块172的编解码器分析结果被输出到LUT控制模块173，从而可以在参数提取模块174中从LUT生成与分析编解码器相对应的参数集。
此外，将滤波器控制信号(即用于多个滤波器Filter 1、Filter 2、…、Filter M、Filter N的开/关信号)和加载的参数信息输出到每个滤波器(306)。
在前述过程中，下面将参考图5描述LUT控制模块173的操作。
当AI缩放器133在图像分析模式下操作时，多个滤波器Filter 1、Filter 2、…、Filter M、Filter N中的一个用作图像分析单元，并且图像分析信息如图5所示从图像分析单元输出(401)。
LUT控制模块173基于在操作401中输出的图像分析信息来从LUT加载与所分析的图像的特性相对应的参数集(402)。这里，LUT控制模块173可以基于由配置控制信号指示的模式信息，从与图像分析模式相对应的预先提供的第一LUT中选择性地加载与所分析的图像的特性相对应的参数集。
此外，从加载的参数集中提取要应用于每个滤波器的参数(403)，并且将所提取的参数输出到对应的滤波器(404)。
另一方面，当AI缩放器133在DNN模式下操作时，如图5所示，从编解码器分析模块172输出编解码器信息(405)。这里，编解码器信息包括编解码器类型或压缩率中的至少一种。
具体地，编解码器分析模块172可以根据基于从视频解码器131获得的编解码器元信息的编解码器类型或压缩率来生成信息，并将所生成的信息输出到LUT控制模块173。例如，编解码器分析模块172可以基于指示编解码器类型和压缩率的量化参数(QP)来生成用于选择LUT的信息。
LUT控制模块173基于在操作401中输出的编解码器信息，从LUT生成与编解码器相对应的参数集(406)。这里，LUT控制模块173可以基于关于由配置控制信号指示的模式的信息，从预先提供的与DNN模式相对应的第二LUT中生成与所标识的编解码器相对应的参数集。
此外，从所生成的参数集中提取要应用于每个滤波器的参数(403)，并且将所提取的参数输出到对应的滤波器(404)。
在前述过程中，下面将参考图6描述输出滤波器控制信号的操作。
如参考图4和图5所描述的，当配置控制模块171基于配置控制信号生成要输出到多个滤波器Filter 1、Filter 2、…、Filter M、Filter N中的每一个的滤波器控制信号时，识别是开启还是关闭每个滤波器，并且当参数提取模块174从LUT提取滤波器参数时，设置多个滤波器Filter 1、Filter 2、…、Filter M、Filter N中的每一个的参数(501)。
此外，输出针对每个滤波器(即滤波器层的每个信道)的开/关信号和操作501中的参数(502)。接收到关闭信号的滤波器在越过(bypass)模式下操作。
根据本公开的一个实施例，通过前述过程，AI缩放器133被配置有多个滤波器，所述多个滤波器对应于图像分析模式和DNN模式之一而被组合，其中图像分析模式用于基于第一基于AI学习的过程(即机器学习)的操作，DNN模式用于基于第二基于AI学习的过程(即深度学习)的操作。
图7是根据本公开实施例的包括用于第一基于AI学习的过程的第一滤波器组合的AI缩放器的框图；图8是根据本公开实施例的包括用于第二基于AI学习的过程的第二滤波器组合的AI缩放器的框图。
如图7所示，在包括用于第一基于AI学习的过程的第一滤波器组合的AI缩放器133中，多个滤波器Filter 1、Filter 2、…、Filter M、Filter N中的一个(换句话说，第一滤波器Filter 1)用作图像分析单元，而另一个滤波器(即第二滤波器Filter 2)用于生成分辨率放大的高分辨率图像。
从图像分析单元Filter 1输出的图像分析结果被输入到LUT控制模块173，并且LUT控制模块173从第一LUT中读取与所分析的图像的特性相对应的参数，从而参数提取模块174可以将相应的参数输出到第二滤波器Filter 2。
第二滤波器Filter 2可以例如基于所提取的参数通过内插来生成高分辨率图像。
如图8所示，包括用于第二基于AI学习的过程的第二滤波器组合在内的AI缩放器133具有被配置为多个层的多滤波器结构。
在包括第二滤波器组合的AI缩放器133中，滤波器Filter 1、Filter 2、…、FilterM、Filter N中的每一个被设置有从预先基于DNN(或深度学习)生成的第二LUT提取的参数。在由相应参数设置的多个滤波器Filter 1、Filter 2、…、Filter M、Filter N处理时，低分辨率输入图像(即视频信号)自动放大为高分辨率图像。
如上所述，在包括第二滤波器组合在内的AI缩放器133中，为每个单独的滤波器设置参数，从而可以独立地控制多层。
根据一个实施例，当控制器170还包括编解码器分析模块172时，可以基于从视频解码器131获得的编解码器信息，利用与编解码器相对应的参数来设置滤波器Filter 1、Filter 2、…、Filter M、Filter N中的每一个。
根据本公开的一个实施例，显示装置100在针对每个滤波器Filter 1、Filter2、…、Filter M、Filter N设置参数时使用编解码器信息，并且因此有利的是，即使在根据编解码器类型、压缩率等反映图像压缩特性的同时，也放大分辨率。
以下，将参照附图描述配置有第一滤波器组合或第二滤波器组合的AI缩放器133中的每个滤波器的详细操作。
图9和图10是用于说明DNN模式下的滤波器的操作的视图。
如图9所示，DNN模式下的每个滤波器包括卷积滤波器601和非线性函数602。
根据一个实施例，1×1～N×N的各种卷积滤波器601是可能的，并且例如可以以1×1、3×3和5×5滤波器的形式给出。备选地，卷积滤波器601可以配置有M个信道(CH)。
卷积滤波器601包括存储有从外部输入和设置的参数(例如，权重参数)的寄存器以及卷积运算器。卷积运算器可以通过将从寄存器读取的参数乘以所输入的图像数据X0、X1、X2…Xn，并将乘法结果相加来执行卷积运算。
如图10所示，非线性函数602可以采用各种非线性函数701和702。
如图9所示，包括卷积滤波器601和非线性函数602在内的每个滤波器在基于卷积神经网络(CNN)算法进行运算的同时，接收图像数据并输出分辨率被放大的图像数据。低分辨率图像(即输入视频信号)在通过每个滤波器的同时被调整为放大分辨率，因此生成为高分辨率图像。
图11和图12是用于说明图像分析模式下的滤波器的操作的视图。
图11示出了用作图像分析单元的滤波器(例如图7所示的第一滤波器Filter 1)的操作。
如图11所示，当滤波器执行图像分析功能时，将输入的图像数据与N×N的卷积滤波器相乘，从而获得输出数据(801)。所获得的输出数据作为图像分析结果被输出到LUT控制模块173。备选地，卷积滤波器可以包括M个信道CH。
当特定滤波器执行图像分析功能时，下一处理(即非线性功能)不操作，并且越过输入图像数据(802)。因此，所输入的图像数据跳过滤波器而被输出，并且因此被下一滤波器例如图7的第二滤波器Filter 2调整。
图12示出了用于增加分辨率(即，放大)的滤波器(例如图7所示的第二滤波器Filter 2)的操作。
如图12所示，例如，用于执行放大的滤波器(例如图7所示的第二滤波器Filter 2)如参照图9所述的在DNN模式下的滤波器那样操作。换句话说，滤波器接收图像数据并输出处理后的图像数据，从而可以将低分辨率图像(即视频信号)生成为分辨率放大的高分辨率图像。
同时，根据本公开的另一实施例，当AI缩放器133在图像分析模式下操作时，未使用的滤波器中的至少一个可以用于执行后处理。
图13是示出根据本公开的另一实施例的用于在显示装置中处理视频信号的详细配置的框图。
如图13所示，AI缩放器133的多个滤波器Filter 1、Filter 2、…、Filter M、Filter N中的第三滤波器组合可以用于处理视频信号。
可以通过将一个或多个用于后处理的滤波器添加到图7所示的第一滤波器组合中来实现第三滤波器组合。
具体地，在第三滤波器组合中，特定滤波器(例如第一滤波器Filter 1)用作图像分析单元，用于分析图像(即视频信号)的特性，而另一滤波器(例如第二滤波器Filter 2)用于生成分辨率被放大调整的高分辨率图像。此外，如图13所示，除Filter 1和Filter 2以外的多个滤波器…、Filter M、Filter N中的至少一个(例如第N滤波器Filter N)可以执行后处理以提高图像的图像质量。
这里，后处理包括用于降噪、细节增强等用于提高图像质量的各种处理，并且后处理的种类没有限制。
根据一个实施例，前述第N滤波器Filter N被配置为实际上执行图2所示的后处理模块134的功能的至少一部分。
在根据本公开的该实施例的显示装置100中，AI缩放器133的可进行各种组合的多个滤波器之中未在图像分析模式下使用的滤波器(即未使用的资源)被用于后处理，从而提高资源利用率，并且具有增强图像的图像质量的效果。
如上所述，提供了根据本公开的显示装置及其控制方法，其中AI缩放器包括可进行各种组合的多个滤波器，从而可以选择性地执行基于机器学习过程的分辨率控制和基于深度学习过程的分辨率控制。
此外，提供了根据本公开的显示装置及其控制方法，其中，基于编解码器信息来设置每个滤波器的参数，从而即使在根据编解码器类型、压缩率等反映图像压缩特性的同时，也可控制分辨率。
此外，提供了根据本公开的显示装置及其控制方法，其中，在执行用于图像质量增强的后处理中使用了未使用的滤波器，从而提高了未使用资源的资源利用率，并且具有增强图像的图像质量的效果。
虽然已经示出和描述了一些示例实施例，但是本领域的技术人员将认识到，在不背离本申请中提供的实施例的原理和精神的情况下，可以对这些示例性实施例进行改变，这些实施例的保护范围限定在所附权利要求及其等效形式中。

Claims (15)

1.一种显示装置，包括：
视频解码器，被配置为对视频信号进行解码；
人工智能AI缩放器，其中，所述AI缩放器包括多个滤波器，并且其中，所述AI缩放器被配置为处理经解码的视频信号；以及
控制器，被配置为通过基于控制信号选择性地开启或关闭所述多个滤波器中的每个滤波器来控制图像的分辨率，其中，所述多个滤波器中的选定滤波器由所述控制信号开启，而所述多个滤波器中的未选定滤波器由所述控制信号关闭，
其中，所述选定滤波器基于被开启而被配置为基于一个或多个第一参数来处理视频信号，其中，所述一个或多个第一参数基于学习，并且其中，所述学习包括通过训练达到所述一个或多个第一参数，并且
其中，所述未选定滤波器基于被关闭而被配置为越过并输出被输入到所述未选定滤波器的信号。
2.根据权利要求1所述的显示装置，还包括存储器，其中，所述存储器被配置为存储查找表，其中，所述查找表通过执行所述学习而生成，并且
其中，所述控制器还被配置为基于从所述查找表中提取的所述一个或多个第一参数来设置所述选定滤波器。
3.根据权利要求1所述的显示装置，其中：
所述选定滤波器包括第二多个滤波器，其中，所述第二多个滤波器中的每个滤波器设置有一个或多个第二参数，并且
所述AI缩放器被配置为使经解码的视频信号依次通过所述第二多个滤波器。
4.根据权利要求2所述的显示装置，其中，所述控制器还被配置为：
从所述视频解码器获取所述视频信号的编解码器信息，
基于所述编解码器信息，从所述查找表中提取所述一个或多个第一参数，并且
基于所述一个或多个第一参数来设置所述选定滤波器。
5.根据权利要求2所述的显示装置，其中，所述控制器还被配置为：
使所述AI缩放器执行以下操作：
通过第一滤波器分析所述视频信号的图像特性，以及
通过第二滤波器处理经解码的视频信号，其中，所述第二滤波器设置有与所分析的图像特性相对应的第三参数，其中，所述选定滤波器包括所述第二滤波器，并且其中，所述一个或多个第一参数包括所述第三参数。
6.根据权利要求5所述的显示装置，其中：
所述查找表基于所述学习，并且其中，所述学习基于图像的特性，并且
其中，所述查找表被配置为存储所述第三参数。
7.根据权利要求5所述的显示装置，其中，所述选定滤波器包括第三滤波器，其中，所述第三滤波器被配置为对所述图像执行后处理，其中，所述后处理对应于降噪和细节增强中的至少一个。
8.根据权利要求1至7中任一项所述的显示装置，其中，所述一个或多个第一参数基于第一基于AI学习的过程，或者所述一个或多个第一参数基于第二基于AI学习的过程。
9.根据权利要求8所述的显示装置，其中，所述多个滤波器中的每一个被控制为基于对所述第一基于AI学习的过程和所述第二基于AI学习的过程中的一个过程加以指示的配置控制信号而被开启或关闭，并且所述AI缩放器被控制为使用所述多个滤波器中与所述第一基于AI学习的过程相对应的第一滤波器组合和所述多个滤波器中与所述第二基于AI学习的过程相对应的第二滤波器组合中的一个，来处理经解码的视频信号。
10.一种控制显示装置的方法，包括：
对视频信号进行解码；以及
通过以下操作控制图像的分辨率：
基于控制信号选择性地开启或关闭多个滤波器中的每个滤波器，其中，所述多个滤波器中的选定滤波器由所述控制信号开启，而所述多个滤波器中的未选定滤波器由所述控制信号关闭，以及
通过所述多个滤波器处理经解码的视频信号，
其中，所述选定滤波器基于被开启而被配置为基于一个或多个第一参数来处理视频信号，其中，所述一个或多个第一参数基于学习，并且其中，所述学习包括通过训练达到所述一个或多个第一参数，并且
其中，所述未选定滤波器基于被关闭而被配置为越过并输出被输入到所述未选定滤波器的信号。
11.根据权利要求10所述的方法，其中：
所述选定滤波器包括第二多个滤波器，其中，所述第二多个滤波器中的每个滤波器设置有一个或多个第二参数，并且
所述控制图像的分辨率还包括使经解码的视频信号依次通过所述第二多个滤波器。
12.根据权利要求11所述的方法，还包括：存储第一查找表，其中，所述第一查找表通过执行所述学习而生成，
其中，所述控制图像的分辨率还包括：
从视频解码器获取视频信号的编解码器信息，
基于所述编解码器信息，从所述第一查找表中提取所述一个或多个第一参数，以及
基于所述一个或多个第一参数来设置所述选定滤波器。
13.根据权利要求10所述的方法，其中，所述控制图像的分辨率还包括通过第一滤波器来分析所述视频信号的图像特性，其中，所述处理经解码的视频信号还包括通过第二滤波器来处理经解码的视频信号，其中，所述第二滤波器设置有与所分析的图像特性相对应的第三参数，其中，所述选定滤波器包括所述第二滤波器，并且其中，所述一个或多个第一参数包括所述第三参数。
14.根据权利要求13所述的方法，还包括：
存储第二查找表，其中，所述第二查找表基于所述学习，并且其中，所述学习基于图像的特性，
其中，所述控制图像的分辨率还包括从所述第二查找表中提取所述第三参数。
15.根据权利要求13所述的方法，还包括：通过第三滤波器对所述图像执行后处理，其中，所述后处理对应于降噪和细节增强中的至少一个。
CN201911098874.4A 2018-11-12 2019-11-11 显示装置及其控制方法 Pending CN111179163A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0138373 2018-11-12
KR1020180138373A KR102622950B1 (ko) 2018-11-12 2018-11-12 디스플레이장치, 그 제어방법 및 기록매체

Publications (1)

Publication Number Publication Date
CN111179163A true CN111179163A (zh) 2020-05-19

Family

ID=68468557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911098874.4A Pending CN111179163A (zh) 2018-11-12 2019-11-11 显示装置及其控制方法

Country Status (8)

Country Link
US (2) US11265564B2 (zh)
EP (1) EP3651462A1 (zh)
JP (1) JP7214845B2 (zh)
KR (1) KR102622950B1 (zh)
CN (1) CN111179163A (zh)
AU (1) AU2019381040B2 (zh)
TW (1) TW202025090A (zh)
WO (1) WO2020101257A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984675A (zh) * 2022-12-01 2023-04-18 扬州万方科技股份有限公司 一种用于实现多路视频解码及ai智能分析的系统及方法
TWI824323B (zh) * 2021-02-08 2023-12-01 明俐科技有限公司 即時影像的縮放裝置及縮放方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11570397B2 (en) * 2020-07-10 2023-01-31 Disney Enterprises, Inc. Deinterlacing via deep learning
WO2022065977A1 (ko) * 2020-09-28 2022-03-31 현대자동차주식회사 가변계수 딥러닝 기반 인터 예측 방법
KR20220102246A (ko) * 2021-01-13 2022-07-20 삼성전자주식회사 전자장치 및 그 제어방법
US11979565B2 (en) * 2021-05-27 2024-05-07 Tencent America LLC Content-adaptive online training method and apparatus for post-filtering
TWI806258B (zh) * 2021-11-25 2023-06-21 宏碁股份有限公司 電子裝置及其操作方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630576B2 (en) * 2004-02-19 2009-12-08 Sony Corporation Signal processing apparatus and method, and command-sequence data structure
US7738739B2 (en) 2006-01-26 2010-06-15 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and apparatus for adjusting the resolution of a digital image
PL2123051T3 (pl) * 2006-12-18 2011-04-29 Koninl Philips Electronics Nv Kompresja i dekompresja obrazu
US8073282B2 (en) 2007-07-23 2011-12-06 Qualcomm Incorporated Scaling filter for video sharpening
CA2638465A1 (en) * 2007-08-01 2009-02-01 Jean-Yves Chouinard Learning filters for enhancing the quality of block coded still and video images
JP2009151896A (ja) 2007-12-21 2009-07-09 Sony Corp 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム
JP4140662B2 (ja) 2008-03-10 2008-08-27 ソニー株式会社 係数種データ生成装置および係数データ生成装置
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
JP5366855B2 (ja) * 2010-02-16 2013-12-11 富士フイルム株式会社 画像処理方法及び装置並びにプログラム
US8964852B2 (en) * 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
US20140067739A1 (en) * 2012-08-29 2014-03-06 Bae Systems Information And Electronics Systems Integration Inc. Reduction or elimination of training for adaptive filters and neural networks through look-up table
KR101653039B1 (ko) * 2014-05-22 2016-09-12 주식회사 칩스앤미디어 복호화 정보를 이용한 해상도 변환 장치 및 그 방법
WO2016132152A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Interpolating visual data
GB201603144D0 (en) * 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
US20160321523A1 (en) * 2015-04-30 2016-11-03 The Regents Of The University Of California Using machine learning to filter monte carlo noise from images
WO2016204524A1 (ko) * 2015-06-16 2016-12-22 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2017002283A1 (ja) * 2015-07-01 2017-01-05 パナソニックＩｐマネジメント株式会社 符号化方法、復号方法、符号化装置、復号装置および符号化復号装置
KR102124714B1 (ko) * 2015-09-03 2020-06-19 미디어텍 인크. 비디오 코딩에서의 신경망 기반 프로세싱의 방법 및 장치
US10648924B2 (en) * 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
EP3471414A4 (en) 2016-05-02 2021-04-21 Sony Corporation ENCRYPTION DEVICE AND ENCRYPTION METHOD, AND DECCRYPTION DEVICE AND DECryption METHOD
EP3454557A1 (en) 2016-05-02 2019-03-13 Sony Corporation Image processing device, and image processing method
JP7047776B2 (ja) 2017-01-12 2022-04-05 ソニーグループ株式会社 符号化装置及び符号化方法、並びに、復号装置及び復号方法
KR20180089939A (ko) * 2017-02-01 2018-08-10 삼성전자주식회사 비디오 코딩 모듈 및 그것의 동작 방법
WO2018168484A1 (ja) 2017-03-15 2018-09-20 ソニー株式会社 符号化装置、符号化方法、復号装置、及び、復号方法
JP6994868B2 (ja) * 2017-08-09 2022-01-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
US10979718B2 (en) * 2017-09-01 2021-04-13 Apple Inc. Machine learning video processing systems and methods
US10986340B2 (en) * 2018-06-01 2021-04-20 Qualcomm Incorporated Coding adaptive multiple transform information for video coding

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI824323B (zh) * 2021-02-08 2023-12-01 明俐科技有限公司 即時影像的縮放裝置及縮放方法
US11967054B2 (en) 2021-02-08 2024-04-23 Ml Technology Ltd. Scaling device of real-time image and scaling method for using the same
CN115984675A (zh) * 2022-12-01 2023-04-18 扬州万方科技股份有限公司 一种用于实现多路视频解码及ai智能分析的系统及方法
CN115984675B (zh) * 2022-12-01 2023-10-13 扬州万方科技股份有限公司 一种用于实现多路视频解码及ai智能分析的系统及方法

Also Published As

Publication number Publication date
US20220166996A1 (en) 2022-05-26
WO2020101257A1 (en) 2020-05-22
TW202025090A (zh) 2020-07-01
US11968382B2 (en) 2024-04-23
KR102622950B1 (ko) 2024-01-10
JP7214845B2 (ja) 2023-01-30
KR20200054720A (ko) 2020-05-20
JP2022511310A (ja) 2022-01-31
US11265564B2 (en) 2022-03-01
AU2019381040A1 (en) 2021-04-08
EP3651462A1 (en) 2020-05-13
AU2019381040B2 (en) 2022-03-10
US20200154123A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
US11968382B2 (en) Display apparatus and method of controlling the same
US11308650B2 (en) Display apparatus, image providing apparatus, and methods of controlling the same
US11386665B2 (en) Display apparatus, server, system and information-providing methods thereof
RU2719439C1 (ru) Устройство отображения изображения и способ его работы
US11487975B2 (en) Electronic apparatus and method of controlling the same
US20210406577A1 (en) Image detection apparatus and operation method thereof
US20220180625A1 (en) Computing device and operating method therefor
US20170238065A1 (en) Method of controlling device providing content, the device providing content, and server
US20220198994A1 (en) Image display apparatus
EP3839874B1 (en) Apparatus and method to compress an image
US11373659B2 (en) Display apparatus and method of controlling the same
CN113573149B (zh) 一种频道搜索方法及显示设备
EP3859517A1 (en) Electronic apparatus and method of controlling the same
US11373280B2 (en) Electronic device and method of training a learning model for contrast ratio of an image
KR20210093605A (ko) 디스플레이 장치 및 그 동작 방법
US11889147B2 (en) Display of signing video through an adjustable user interface (UI) element
CN111914114A (zh) 一种badcase挖掘方法及电子设备
CN114554266A (zh) 显示设备及显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination