CN113039807A - 图像和音频处理装置及其操作方法 - Google Patents

图像和音频处理装置及其操作方法 Download PDF

Info

Publication number
CN113039807A
CN113039807A CN201980075313.4A CN201980075313A CN113039807A CN 113039807 A CN113039807 A CN 113039807A CN 201980075313 A CN201980075313 A CN 201980075313A CN 113039807 A CN113039807 A CN 113039807A
Authority
CN
China
Prior art keywords
image
audio
information
signal
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980075313.4A
Other languages
English (en)
Other versions
CN113039807B (zh
Inventor
金善民
曹晳焕
黄仁雨
姜羽锡
赵大星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180140097A external-priority patent/KR102673322B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113039807A publication Critical patent/CN113039807A/zh
Application granted granted Critical
Publication of CN113039807B publication Critical patent/CN113039807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98—Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/552—Details of game data or player data management for downloading to client devices, e.g. using OS version, hardware or software profile of the client device
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Receiver Circuits (AREA)

Abstract

提供了一种能够以内容为单元动态控制内容的图像信号和音频信号的装置及其操作方法。该装置包括处理器，该处理器被配置为：基于以内容为单元分析图像信号来检测内容的图像信号的特征信息，基于以内容为单元分析音频信号来检测内容的音频信号的特征信息，以及基于图像信号的特征信息和音频信号的特征信息以内容为单元控制图像信号以输出图像信号；基于图像信号的特征信息和音频信号的特征信息以内容为单元控制音频信号以输出音频信号。

Description

图像和音频处理装置及其操作方法
技术领域
本公开涉及图像和音频处理装置及其操作方法，更具体地，涉及能够根据内容特征自适应地提供图像质量和声音的图像和音频处理装置及其操作方法。
背景技术
图像和音频处理装置，例如电视(TV)，可以为想要享受各种内容的用户提供智能功能。
然而，想要享受诸如游戏的内容的用户需要根据游戏内容自适应地支持图像质量和声音的图像和音频处理装置，以便更生动地享受游戏。例如，在第一人称射击(FPS)游戏的情况下，用户可能需要图像和音频处理装置，其能够支持改善可视性的功能，并且即使图像可能失真，也能够强调音效，例如分钟步幅声音，以便快速找到隐藏在黑暗区域中的隐藏的敌人或游戏项目。在运动游戏的情况下，当通过像在FPS游戏中那样使图像失真来改善可视性时，图像质量相当地降低，并且因此，用户可能需要能够提供由制造商预期的传递声音的功能而不使图像失真的图像和音频处理装置。如上所述，用户期望的图像质量和声音的条件根据游戏内容而变化，因为可以使用户的沉浸感最大化的图像质量和声音条件根据游戏内容而变化，即根据游戏内容的类型而变化。
发明内容
技术问题
因此，需要一种可根据内容(例如，游戏内容)的特性动态地提供图像质量和声音的图像和音频处理装置。
技术方案
提供了一种图像和音频处理装置及其操作方法，该图像和音频处理装置能够通过使用以内容为单元(例如，以场景为单元)分析图像信号和音频信号的结果来动态地控制内容的图像信号和音频信号，从而能够提供能够使用户的内容沉浸感最大化的图像质量和声音。
此外，提供了一种图像和音频处理装置以及该图像和音频处理装置的操作方法，该图像和音频处理装置能够通过使用以内容(例如，以场景为单元)为单元分析图像信号和音频信号的结果以及周边环境信息来动态地控制内容的图像信号和音频信号，从而提供可以使用户对内容的沉浸感最大化的图像质量和声音。
另外的方面将部分地在随后的描述中阐述，并且部分地将从描述中显而易见，或者可以通过实施本公开的实施例来获知。
有益效果
根据上述实施例，可以通过使用以内容为单元(例如，以场景为单元)分析图像信号和音频信号的结果来动态控制内容的图像信号和音频信号，从而提供可以使用户在内容中的沉浸感最大化的图像质量和声音。
附图说明
从以下结合附图的描述中，本公开的某些实施例的上述和其它方面、特征和优点将变得更加明显，其中：
图1是根据实施例的图像和音频处理装置的图；
图2是根据实施例的图像和音频处理装置的框图；
图3是根据实施例的图2的处理器的框图；
图4是根据实施例的图3的图像信号控制器的框图；
图5是根据实施例的图3的音频信号控制器的框图；
图6是示出根据实施例的图像和音频处理装置的操作的流程图；
图7是根据另一实施例的图像和音频处理装置的框图；
图8是示出根据实施例的基于黑色均衡器的增益值和照度信息的黑色均衡器的最终增益值的示例的图；
图9是示出根据另一实施例的图像和音频处理装置的操作的流程图；以及
图10是根据另一实施例的图像和音频处理装置的框图。
具体实施方式
根据本公开的方面，提供了一种图像和音频处理装置，其包括：显示器；音频输出接口；存储一个或更多指令的存储器；以及处理器，该处理器被配置为执行存储在存储器中的一个或更多指令，以：基于以内容为单元分析图像信号来检测内容的图像信号的特征信息，基于以内容为单元分析音频信号来检测内容的音频信号的特征信息，以及基于图像信号的特征信息和音频信号的特征信息来以内容为单元控制图像信号以通过显示器输出图像信号；基于图像信号的特征信息和音频信号的特征信息，以内容为单元控制音频信号以通过音频输出接口输出音频信号。
内容单元可以是场景的单元。
处理器可还配置成执行一个或更多指令以：基于图像信号的特征信息和音频信号的特征信息，以场景为单元控制关于图像信号的黑色均衡器功能或对比度及色彩饱和度功能中的至少之一；并且基于图像信号的特征信息和音频信号的特征信息，以场景为单元控制关于音频信号的仰角感知生成和阶段扩展功能或声音均衡器施加功能中的至少之一。
图像信号的特征信息可以包括图像信号的亮度信息、颜色信息、对比度信息或运动信息中的至少之一，并且音频信号的特征信息可以包括音频对象的位置信息、语音信息、音乐信息或音效信息中的至少之一。
图像和音频处理装置还可以包括：照度传感器，被配置为检测关于图像和音频处理装置外部的照度信息，并且处理器还可以被配置为执行一个或更多指令以：基于根据图像信号的特征信息和音频信号的特征信息控制图像信号，基于照度信息控制图像信号的亮度、对比度或色彩饱和度中的至少之一。
处理器还可以被配置为执行一个或更多指令，以基于包括一个或更多神经网络的学习模型，以场景为单元分析内容的图像信号和音频信号，检测图像信号的特征信息和音频信号的特征信息，以及控制图像信号和音频信号。
根据本公开的方面，提供了一种图像和音频处理装置的操作方法，操作方法包括：由图像和音频处理装置以内容为单元分析内容的图像信号并检测图像信号的特征信息；由图像和音频处理装置以内容为单元分析内容的音频信号并检测音频信号的特征信息；以及由图像和音频处理装置基于图像信号的特征信息和音频信号的特征信息，以内容为单元控制图像信号以通过图像和音频处理装置的显示器输出图像信号；以及由图像和音频处理装置基于图像信号的特征信息和音频信号的特征信息，以内容为单元控制音频信号以通过图像和音频处理装置的音频输出接口输出音频信号。
内容单元可以是以场景为单元。
操作方法还可以包括：基于图像信号的特征信息和音频信号的特征信息，以场景为单元针对图像信号控制黑色均衡器功能、对比度和色彩饱和度功能中的至少之一；以及基于图像信号的特征信息和音频信号的特征信息，以场景为单元针对音频信号控制仰角感知生成和阶段扩展功能或声音均衡器施加功能中的至少之一。
图像信号的特征信息可以包括图像信号的亮度信息、颜色信息、对比度信息或运动信息中的至少之一，并且音频信号的特征信息可以包括音频对象的位置信息、语音信息、音乐信息或音效信息中的至少之一。
操作方法还可以包括：基于根据图像信号的特征信息和音频信号的特征信息控制图像信号，基于针对图像和音频处理装置外部的照度信息来控制图像信号的亮度、对比度或色彩饱和度中的至少之一，该照度信息由图像和音频处理装置检测。
根据本公开的方面，提供了一种其上记录有程序指令的计算机可读记录介质，程序指令可由处理器执行以用于执行图像和音频处理装置的操作方法，操作方法包括：由图像和音频处理装置以内容为单元分析内容的图像信号并检测图像信号的特征信息；由图像和音频处理装置以内容为单元分析内容的音频信号并检测音频信号的特征信息；以及由图像和音频处理装置基于图像信号的特征信息和音频信号的特征信息，以内容为单元控制图像信号以通过图像和音频处理装置的显示器输出图像信号；以及由图像和音频处理装置基于图像信号的特征信息和音频信号的特征信息，以内容为单元控制音频信号以通过图像和音频处理装置的音频输出接口输出音频信号。
发明模式
在下文中，将参考附图详细描述一个或更多实施例，以达到本领域普通技术人员能够实施本公开的程度。然而，本发明可以各种方式实施，而不限于本文的一个或更多实施例。此外，为了清楚描述，在附图中省略了与描述无关的部件，并且在整个说明书中，相同的附图标记用于相同的部件。
在本公开中使用的术语选自当前广泛考虑其在本公开中的功能而使用的常见术语，但是这些术语可以根据本领域普通技术人员的意图、先例或新技术的出现而不同。因此，在本公开中使用的术语不仅仅是术语的指定，而是基于整个公开中的术语和内容的含义来定义术语。
本说明书中所用的术语仅用于描述特定实施例，而不是旨在限制本发明。除非在上下文中具有清楚的单数含义，否则以单数使用的表述涵盖复数的表述。在整个说明书中，应当理解，当一个元件被称为“连接”到另一个元件时，它可以“直接连接”到另一个元件，或者“电连接”到另一个元件且其间具有中间元件。还应当理解，当部件“包括”或“包含”元件时，除非另有定义，否则该部件还可以包括其它元件，而不排除其它元件。
在整个说明书中，特别地，在权利要求书中，“所述”或其它类似的提及的表述可以指单数形式和复数形式。此外，如果没有明确地参考根据本公开的方法中包括的操作顺序的描述，则可以以适当的顺序来执行操作。本公开不限于所描述的操作顺序。
在整个说明书中，诸如“在一些实施例中”或“在一个实施例中”的短语可以不必表示本公开的相同的实施例。
一些实施例可以被表示为功能块结构、各种处理阶段和/或各种处理操作。功能块中的一些或全部可以通过被配置成执行指定功能的任何数量的硬件和/或软件组件来实现。例如，本公开的功能块可以通过用于执行预定功能的一个或更多微处理器或电路结构来实现。此外，例如，本公开的功能块可以用任何编程或脚本语言来实现。功能块可以用在一个或更多处理器上执行的算法来实现。此外，本公开可以采用用于电子配置、信号处理和/或数据处理等的任何数量的常规技术。词语“机构”、“元件”、“装置”和“构造”被广泛地使用，并且不限于机械或物理部件。
此外，在各附图中示出的连接线或连接器旨在表示各个元件之间的示例性功能关系和/或物理或电路联接。应当注意，在实际装置中可以通过许多替代或附加功能关系、物理连接或电路连接在元件之间存在连接。
在整个公开内容中，表述“a、b或c中的至少一个”表示：仅a、仅b、仅c、a和b两者、a和c两者、b和c两者、所有的a、b和c，或其变体。
图1示出了这样的示例，其中根据实施例的图像和音频处理装置100输出根据内容特征(例如，场景特征)专用的图像信号和音频信号，其中该内容特征是通过以内容为单元(例如，以场景为单元)分析内容的图像和音频信号而获得的。
参照图1，图像和音频处理装置100可以包括但不限于大屏幕电视，例如可以包括具有显示器的电子装置。例如，图像和音频处理装置100可以被实现为各种电子装置，诸如移动电话、平板PC、数码相机、可携式摄像机、膝上型计算机、台式PC、电子书终端、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置、MP3播放器、可穿戴装置、游戏显示监视器等。而且，图像和音频处理装置100可以是固定类型或便携式类型，并且可以包括能够接收数字广播的数字广播接收器。
图像和音频处理装置100可以实现为平板显示装置，并且还可以被实现为具有曲率的弯曲显示装置或能够调节其曲率的柔性显示装置。图像和音频处理装置100的输出分辨率可以包括，例如，高清晰度(HD)、全HD、超HD或比超HD更高的分辨率。
图像和音频处理装置100可以由控制装置101控制。控制装置101可以被实现为用于控制图像和音频处理装置100的各种类型，例如遥控器、移动电话或游戏控制台。
此外，控制装置101可以经由包括红外线或蓝牙的短距离无线通信来控制图像和音频处理装置100。控制装置101可以通过有线通信来控制图像和音频处理装置100。
控制装置101可以通过使用图像和音频处理装置100的键(包括按钮)、触摸板、用于接收用户的语音的麦克风(未示出)或用于感测控制装置101的运动的传感器(未示出)中的至少之一来控制图像和音频处理装置100的功能。控制装置101可以被配置为游戏专用的控制板。
控制装置101可以包括用于打开或关闭图像和音频处理装置100的电源开/关按钮。此外，控制装置101可以控制图像和音频处理装置执行改变频道、调整音量、选择地面广播/有线广播、选择卫星广播或根据用户输入设置图像和音频处理装置100的环境信息中的一者或更多。
此外，当控制装置101是专用于游戏或移动电话的控制板时，控制装置101可以将游戏内容传送到图像和音频处理装置100，并控制在图像和音频处理装置100中再现游戏内容。
在本说明书中，术语“用户”表示通过使用控制装置101来控制图像和音频处理装置100的功能或操作的人，并且可以包括但不限于玩家、观众、管理员或安装工程师。
根据本实施例的图像和音频处理装置100可以以内容为单元(例如，以场景为单元)分析再现的内容的图像信号和音频信号，而不管来自控制装置101的控制，以便分别检测图像信号的特征信息和音频信号的特征信息。
由图像和音频处理装置100检测的图像信号的特征信息可以包括例如亮度信息、颜色信息、对比度信息、或运动信息中的至少一项，但不限于此。由图像和音频处理装置100检测的音频信号的特征信息可以包括音频对象的位置信息、语音信息、音乐信息或音效信息中的至少一项，但不限于此。
图像和音频处理装置100可以通过使用检测到的图像的特征信息和音频信号的特征信息以场景为单元控制图像信号，并且可以使显示器在其上显示受控的图像信号。通过上述过程，显示在图像和音频处理装置100上的图像信号表示具有基于每个场景的特性而专用的图像质量的图像信号。
图像和音频处理装置100可以通过使用检测到的图像信号和音频信息以场景为单元控制音频信号，并且可以通过图像和音频处理装置100输出受控制的音频信号。通过上述过程，从图像和音频处理装置100输出的音频信号可以表示具有基于每个场景的特性而专用的声音的音频信号。
此外，图像和音频处理装置100可以通过使用从图像和音频处理装置100周围的照明件102(例如光源102)检测到的照度信息，以场景为单元控制图像信号的亮度、对比度或色彩饱和度中的至少之一。为此，图像和音频处理装置100可以包括照度传感器。
图2是根据实施例的图像和音频处理装置200的框图。
图2的图像和音频处理装置200可以是图1的图像和音频处理装置100的示例。参照图2，图像和音频处理装置200可以包括存储器210、处理器220、显示器230和音频输出接口240。然而，图像和音频处理装置200可以包括比图2的元件更多的元件，并且不限于上述示例。例如，图像和音频处理装置200还可以包括获取内容的内容通信接口和/或获取用户输入的用户输入接口。
根据本实施例的存储器210可以存储用于处理和控制处理器220的程序。存储器210可以存储输入到图像和音频处理装置200或从图像和音频处理装置200输出的数据(例如，内容)。存储器210可以存储用于处理和控制处理器220的信息。用于处理和控制处理器220的信息可以包括例如图像和音频处理装置200的、用于以场景为单元提供专门的图像质量和声音的设置信息。
图像和音频处理装置200的设置信息可以包括例如用于基于图像信号的亮度信息、图像信号的对比度和/或色彩饱和度信息、图像信号的运动信息、包括在音频信号中的音频对象的位置信息、包括在音频信号中的语音信息、包括在音频信号中的音乐信息和/或包括在音频信号中的音效信息中的每一个和/或组合，来控制场景的图像信号和音频信号中的至少一个的信息。
图像和音频处理装置200的设置信息可以包括例如用于确定包括在单元(例如，场景)的音频信号中的一种音效(例如，枪击声音、人群声音、汽车引擎声音等)的信息、用于确定单元(例如，场景)的图像信号的亮度的信息(例如，确定为暗图像的像素的数量的阈值)、以及关于基于单元(例如，场景)的音频信号和图像信号的特征信息来控制单元(例如，场景)的图像信号和音频信号的方法的信息，但不限于此。
例如，基于场景的图像信号的特征信息包括指示图像信号为暗的信息并且场景的音频信号的特征信息包括枪声音效(例如，基于场景的图像信号的特征信息被识别为来自第一人称射击(FPS)游戏的场景)，与用于控制单元(例如场景)的图像信号和音频信号的方法有关的信息可以包括用于以下的信息：用于控制图像信号使得处理器220相对于图像信号增加黑色均衡器的增益功能的增益并强调对比度和色彩饱和度，以及用于控制音频信号使得可以通过应用声音均衡器来增加背景声音的音量。
例如，基于单元(例如，场景)的图像信号的特征信息包括指示图像信号为亮的信息并且单元(例如，场景)的音频信号的特征信息包括枪声音效(例如，基于场景的图像信号的特征信息被识别为来自FPS游戏的场景)，与用于控制单元(例如，场景)的图像信号和音频信号的方法有关的信息可以包括用于以下的信息：用于控制图像信号使得处理器220相对于图像信号减小黑色均衡器的增益功能的增益并且仅强调对比度和色彩饱和度，以及用于控制音频信号使得可以通过应用声音均衡器来清楚地听到单元的背景声音(例如，场景)。
例如，基于单元(例如，场景)的图像信号的特征信息包括指示图像信号为亮的信息并且场景的音频信号的特征信息包括一个人的语音信号(例如，基于单元(例如，场景)的图像信号的特征信息被识别为来自一般游戏的单元(例如，场景))，与用于控制场景的图像信号和音频信号的方法的信息可以包括用于以下的信息：控制图像信号使得处理器220不会针对场景的图像信号操作黑色均衡器并且将对于对比度和/或色彩饱和度中的至少一个的级别的强调减轻，以及用于控制音频信号使得可以通过应用声音均衡器来强调单元(例如，场景)的音效或背景声音。
例如，基于单元(例如，场景)的图像信号的特征信息包括指示游戏场的草颜色的颜色信息并且单元(例如，场景)的音频信号的特征信息包括观众的声音(例如，基于单元(例如，场景)的图像信号的特征信息被识别为来自运动场的内容单元(例如，场景))，与用于控制单元(例如，场景)的图像信号和音频信号的方法有关的信息可以包括用于以下的信息：用于控制图像信号，使得处理器220不会针对单元(例如，场景)的图像信号操作黑色均衡器并且可以强调对比度和/或色彩饱和度中的至少之一，以便使草色清澈和/或辨别均匀的颜色，以及用于控制音频信号，使得通过扩展水平面的声音图像、扩展舞台或应用声音均衡器中的至少之一感觉像被观众的呐喊所环绕的环绕声音体验。
例如，基于单元(例如，场景)的图像信号的特征信息包括指示相对大量的运动信息和亮屏的信息并且单元(例如，场景)的音频信号的特征信息包括汽车引擎的声音(例如，基于单元(例如，场景)的图像信号的特征信息被识别为来自赛车游戏的内容单元(例如，场景))，与用于控制单元(例如，场景)的图像信号或音频信号中的至少一个的方法有关的信息可以包括用于以下的信息中的至少之一：用于控制图像信号，使得处理器220不针对单元(例如，场景)的图像信号操作黑色均衡器或者强调对比度和/或色彩饱和度中的至少之一以便使汽车和/或背景轨迹清晰，或者用于控制音频信号，使得可以通过应用声音均衡器强调例如汽车引擎声音的低带宽信号。
例如，基于单元(例如，场景)的图像信号的特征信息包括指示大量运动信息的信息和暗屏(例如，基于单元(例如，场景)的图像信号的特征信息被识别为通过隧道的内容单元(例如，场景))并且单元(例如，场景)的音频信号的特征信息包括汽车引擎的声音(例如，基于单元(例如，场景)的音频信号的特征信息被识别为来自赛车游戏的内容单元(例如，场景))，与用于控制单元(例如，场景)的图像或音频信号中的至少一个的方法有关的信息可以包括用于以下的信息：用于控制图像信号，使得处理器220通过对单元(例如，场景)的图像信号应用黑色均衡器功能来增加屏幕的亮度(或改善可视性)和/或强调对比度和/或色彩饱和度中的至少之一以使汽车和/或背景轨迹清晰，以及用于控制音频信号以通过应用声音均衡器来强调例如汽车引擎声音的低带宽信号。
存储器210可以包括闪存类型、硬盘类型、多媒体卡微型类型、卡类型存储器(例如，安全数字(SD)存储器或eXtreme数字(XD)存储器等)、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)、磁存储器、磁盘或光盘中的至少一种类型的存储介质。
根据本实施例的处理器220可以执行存储在存储器210中的一个或更多指令，以相对于要通过显示器230和音频输出接口240再现的内容以场景为单元分别分析内容的图像信号和音频信号，并检测图像和音频信号的特征信息。以上参考图1描述了图像信号的特征信息和音频信号的特征信息。
处理器220可以通过使用图像信号或音频信号的特征信息中的至少一个来控制单元(例如，场景)的图像信号，然后，可以在显示器230上显示专用图像信号。处理器220可通过使用图像信号或音频信号中的至少之一的特征信息来控制单元(例如，场景)的音频信号，且接着可通过音频输出接口240输出专用音频信号。
例如，基于以包括枪击声的场景为单元进行分析的音频信号和以被识别为黑暗场景的场景为单元进行分析的图像信号，处理器220可以控制单元(例如，场景)的图像和音频信号以使图像质量和声音专用于FPS游戏内容。例如，处理器220可以控制单元(例如，场景)的图像信号和音频信号，并且因此包括在单元(例如，场景)中的游戏项目可以具有高可视性，并且可以增强某种音效(例如，脚步声音)的带宽。
基于识别出以场景为单元分析的音频信号包括汽车引擎声音，并且以场景为单元分析的图像信号包括从图像信号检测到的大量运动信息，处理器220可以控制单元(例如，场景)的图像和音频信号以具有专门用于赛车游戏内容的图像质量和声音。例如，处理器220可以控制单元(例如，场景)的图像和音频信号，以便增强汽车引擎声音的音效的带宽，同时改善图像信号的色彩饱和度。大量运动信息可对应于高于预定阈值运动量的运动信息量。
基于识别出以场景为单元分析的音频信号包括语音信号，并且以场景为单元分析的图像信号指示明亮的场景，处理器220可以控制单元(例如，场景)的图像和音频信号以具有专门用于一般游戏内容的图像质量和声音。例如，处理器220可以控制单元(例如，场景)的图像和音频信号，以便增强包括在单元(例如，场景)中的音效和/或背景声音的带宽，而不控制单元(例如，场景)的图像信号的对比度和色彩饱和度。
在该实施例中，处理器220可以将一个或更多指令存储在内置存储器(未示出)中，并且可以通过执行存储在内置存储器(未示出)中的一个或更多指令来执行上述操作。也就是说，处理器220可以通过执行存储在包括在处理器220的存储器(未示出)中或存储器210中的至少一个指令或程序来执行特定操作。
此外，在该实施例中，处理器220可以包括用于处理对应于图像的图形的图形处理单元(GPU)(未示出)。处理器(未示出)可实施为将核心(未示出)与GPU(未示出)组合的片上系统(SoC)。处理器(未示出)可以包括以下处理器中的至少一个：单核、双核、三核、四核或多核处理器。
处理器220可以控制图像和音频处理装置200的整体操作。例如，处理器220可以通过执行存储在存储器210中的一个或更多指令来控制显示器230和音频输出接口240。
此外，图2示出了一个处理器220，但是也可以有多个处理器(未示出)。在这种情况下，由根据本实施例的图像和音频处理装置200执行的每个操作可以由多个处理器(未示出)中的至少一个执行。为了便于理解，本说明书讨论了这样的处理器，其可以指一个处理器或执行该一个处理器的功能的多个处理器。
处理器220可以执行存储在存储器210中的一个或更多指令，并且通过使用存储在存储器210中的一个或更多神经网络使用学习模型分析以场景为单元的内容的图像信号和音频信号来检测图像信号的特征信息和音频信号的特征信息，并且可以通过使用检测到的图像或音频信号中的至少一个的特征信息来控制单元(例如，场景)的图像或音频信号(例如，图像或音频信号)中的至少之一。
神经网络可以包括一组算法，其可以基于人工智能(AI)从输入到神经网络的图像信号或音频信号中的至少一个分别检测特征信息，并且训练成学习基于检测到的特征信息以场景为单元控制图像信号和音频信号的方法。例如，神经网络可以执行识别(例如，图像识别、语音/声音识别)，以便从图像和/或音频信号中的至少一个识别特征信息，并且基于以场景为单元的图像信号或音频信号中的至少一个作为输入值的监督学习以及通过以下操作从图像和音频信号中找到用于识别特征信息的模式的非监督学习来学习用于控制图像和音频信号中的至少一个的方法：在无需任何监督的情况下，自学习分别从图像和/或音频信号中检测特征信息所需的数据的种类/类型。此外，例如，神经网络可以以场景为单元从图像和/或音频信号中检测特征信息，并且通过使用增强学习来学习以场景为单元控制图像和音频信号的方法，其中增强学习基于所检测到的图像和/或音频信号的特征信息来使用关于图像和/或音频信号是否被适当地控制的反馈。
此外，神经网络可以执行根据人工智能(AI)技术的推理和预测操作。详细地，神经网络可以是通过多个层执行操作的深度神经网络(DNN)。神经网络可以基于多个层的数量被分类为DNN，即，执行操作的神经网络的深度根据执行操作的内层的数量而增加。此外，DNN运算可以包括卷积神经网络(CNN)运算。即，处理器220可以实现用于通过示例的神经网络检测图像信号和音频信号中的至少一个的特征信息的模型，并且可以通过使用学习数据来学习所实现的模型。此外，可以通过使用学习模型检测单元(例如，场景)的图像信号和音频信号中的至少一个的特征信息，来对待再现的内容中的以场景为单元的图像信号和音频信号中的至少之一进行分析或分类。
例如，处理器220可以通过使用利用一个或更多神经网络的学习模型分别分析要以场景为单元再现的内容的图像信号和音频信号中的至少一个来检测特征信息。例如，处理器220可以通过DNN执行操作来检测场景中的图像信号的亮度信息、对比度信息或颜色信息中的至少一个和/或音频信号的音频对象的位置信息、语音信息、音乐信息或音效信息中的至少之一。
处理器220可以基于通过使用神经网络检测的图像和音频信号中的至少一个的特征信息，以场景为单元控制图像信号和音频信号中的至少之一。例如，处理器220可以通过使用通过利用神经网络检测的图像和音频信号中的至少一个的特征信息，来以场景为单元控制关于图像信号的黑色均衡器功能、对比度或色彩饱和度中的至少一个和/或关于音频信号的生成仰角感知和扩展阶段的功能或关于音频信号的声音均衡器功能中的至少之一。
处理器220可以控制显示器230以输出(显示)以场景为单元控制的图像信号。根据该实施例，处理器220可以控制音频输出接口240以输出以场景为单元控制的音频信号。
根据本实施例的显示器230可以显示以场景为单元控制的图像信号。例如，基于场景来自FPS游戏并且包括暗的图像信号，显示器230可以显示用于提供包括在场景中的游戏项目的高可见性的图像信号。基于来自运动游戏的场景，显示器230可以显示图像信号，该图像信号被控制以强调对比度和/或色彩饱和度中的至少之一，从而可以清楚地区分每个队的制服(多种制服)。
当显示器230被实现为触摸屏时，显示器230也可以用作输入装置以及输出装置。例如，显示器230可以包括液晶显示器、薄膜晶体管-液晶显示器、有机发光二极管、柔性显示器、三维(3D)显示器或电泳显示器中的至少之一。此外，根据图像和音频处理装置200的实现类型，图像和音频处理装置200可以包括两个或多个显示器230。
音频输出接口240可以根据处理器220的控制输出以场景为单元控制的音频信号。音频输出接口240可以包括扬声器、耳机输出端子或索尼/飞利浦数字接口(S/PDIF)输出端子中的至少之一，但不限于此。
例如，基于场景来自FPS游戏并且包括暗的图像信号，根据实施例的音频输出接口240可以输出通过生成仰角感知或扩展包括在单元(例如，场景)中的音频信号(例如，脚步声音)的声音阶段(sound stage)而获得的音频信号。此外，基于来自运动游戏的场景，音频输出接口240可以输出通过生成仰角感知并扩展包括在单元的音频信号(例如，场景)中的音效(例如，呐喊声音)的水平面的声音图像而获得的音频信号。
图3是图2的处理器220的框图。
在图3中，图2的处理器220包括图像信号分析器310、音频信号分析器320、图像信号控制器330和音频信号控制器340，但是包括在处理器220中的元件不限于此。
图像信号分析器310可以以场景为单元分析图像信号。例如，图像信号分析器310可以根据黑色区域的直方图分布来识别场景是黑暗还是明亮的，并将识别结果提供给图像信号控制器330和音频信号控制器340中的至少之一。图像信号分析器310可以使用存储在存储器210中的像素数量中的指示黑暗区域的阈值，以便根据黑暗区域的直方图分布来识别场景是黑暗还是明亮的。
图像信号分析器310可以执行每个局部区域中的黑色区域的直方图分析和细节分析以及可以按单元(例如，关于一个场景的帧单元)执行黑色区域的直方图分析，以便更准确地以场景为单元分析图像信号。
音频信号分析器320可以以场景为单元分析音频信号。例如，音频信号分析器320可以检测以场景为单元包括在音频信号中的音频对象的位置信息、语音信息、音乐信息或音效信息中的至少之一。音频信号分析器320可以使用存储在存储器210中的关于音效的信息，以便检测音效。存储在存储器210中的关于音效的信息可以包括用于识别音效的种类/类型的信息。音频信号分析器320可以向图像信号控制器330和音频信号控制器340中的至少一个提供分析音频信号的结果。
图像信号控制器330可以通过使用从图像信号分析器310提供的图像信号分析结果和从音频信号分析器320提供的音频信号分析结果，以场景为单元针对图像信号控制黑色均衡器功能、对比度或色彩饱和度功能中的至少之一。因此，图像信号控制器330可以输出具有专门用于场景的图像质量的图像信号。
图4是图3的图像信号控制器330的框图。
参照图4，图像信号控制器330可以包括黑色均衡器动态控制器410和对比度/色彩饱和度控制器420中的至少之一。
黑色均衡器动态控制器410可以通过使用输入的图像信号或音频信号中的至少一个的特征信息来控制图像信号的亮度，以便改善输入的图像信号中的黑暗区域中的黑色可见度。
对比度/色彩饱和度控制器420可以通过使用输入的图像信号和/或音频信号中的至少一个的特征信息来控制输入的图像信号的对比度和/或色彩饱和度。
例如，基于从音频信号分析器320获得指示音效对应于枪击声音的信息和从图像信号分析器310提供指示单元(例如，场景)为暗的单元(例如，场景)的信息，图像信号控制器330可以通过增加黑色均衡器动态控制器410的增益值(例如，黑色均衡器的增益值)来控制图像信号的亮度，使得暗单元(例如，场景)可以变亮，并且可以通过使用对比度/色彩饱和度控制器420来控制图像信号，从而可以强调图像信号的对比度和色彩饱和度中的至少之一。
基于从音频信号分析器320提供关于汽车引擎声音的音效的信息和从图像信号分析器310提供指示快速运动场景的运动信息(相对大量的运动信息)和指示明亮场景的信息，图像信号控制器330可以通过使用对比度/色彩饱和度控制器420中的至少一个来控制图像信号，以便强调对比度/色彩饱和度中的至少之一且不使用黑色均衡器动态控制器410。
例如，基于从音频信号分析器320中的至少一个提供关于汽车引擎声音的音效的信息和从图像信号分析器310提供指示快速运动场景的运动信息(大量运动信息)以及指示黑暗场景的信息，图像信号控制器330可以通过使用黑色均衡器动态控制器410来控制图像信号以使屏幕增亮，并且可以通过使用对比度/颜色饱和度控制器420来控制图像信号以强调图像信号的颜色。
例如，基于从音频信号分析器320提供的音效和背景声音被识别为一般的游戏内容和从图像信号分析器310提供指示黑暗场景的信息，图像信号控制器330可以控制图像信号以便不过度强调对比度和色彩饱和度中的至少之一，并且不使用黑色均衡器功能。
图3的音频信号控制器340可以通过使用分析从图像信号分析器310提供的图像信号的结果和分析从音频信号分析器320提供的音频信号的结果，来以场景为单元控制以下功能中的至少一个：关于音频信号的生成仰角感知和扩展阶段的功能或者关于音频信号的声音均衡器功能。因此，音频信号控制器340可以输出具有专用于场景的声音(例如，专用于场景的声音质量)的音频信号。
图5是图3的音频信号控制器340的框图。
参照图5，音频信号控制器340可以包括但不限于以下中的至少一个：仰角感知生成器和阶段扩展器510以及声音均衡器施加器520。
仰角感知生成器和阶段扩展器510可以是音频对象的增强运动中的至少之一，或者可以扩展声音阶段。例如，基于场景的音频信号包括音效，仰角感知生成器和阶段扩展器510可以生成音效的仰角感知，并且可以扩展水平面声音图像。例如，基于单元(例如，场景)的音频信号包括体育场中的呐喊声音，仰角感知生成器和阶段扩展器510可以针对呐喊声音执行水平声音图像的扩展以及阶段的扩展(expansion of a stage)，以向用户提供就好像用户被呐喊声音包围一样的声音体验。仰角感知的生成和水平面声音图像的扩展可以通过头相关传递功能(HRTF)来实现，该头相关传递功能广泛地用于音频信号处理领域，但不限于此。可以以将不同音频声道的相反相位信号添加到每个声道的方式来实现阶段的扩展，但不限于此。
声音均衡器施加器520可以通过使用输入的音频信号将区别均衡器应用到每个单元(例如，场景)。例如，基于单元(例如，场景)的音频信号包括汽车引擎声音，可以控制声音均衡器施加器520以增强低带宽分量，然后，可以向用户提供真实的汽车引擎声音。例如，基于单元(例如，场景)的音频信号包括音乐，可以控制声音均衡器施加器520以增强以下中的至少一者或两者：低带宽和高带宽分量以及在整个或部分带宽内扩展的乐器声音，并且可以将它们提供给用户。
此外，例如，基于从音频信号分析器320提供指示枪弹声音的音效的信息和从图像信号分析器310提供指示场景是黑暗场景的信息，音频信号控制器340可以通过使用声音均衡器施加器520来控制音频信号以增强背景声音。
基于从音频信号分析器320提供关于汽车引擎声音的音效的信息并且从图像信号分析器310提供指示快速运动场景的运动信息以及指示明亮场景的信息，音频信号控制器340可以通过使用声音均衡器施加器520来控制音频信号以增强诸如汽车引擎声音的低带宽分量。
基于从音频信号分析器320提供关于汽车引擎声音的音效中的至少一项的信息并且从图像信号分析器310提供指示快速移动内容单元(例如，场景)的运动信息以及指示暗的内容单元(例如，场景)的信息，音频信号控制器340可以通过使用声音均衡器施加器520来控制音频信号以增强诸如汽车引擎声音的低带宽分量。
基于从音频信号分析器320提供指示语音的检测的信息和从图像信号分析器310提供指示黑暗场景的信息，音频信号控制器340可以通过使用仰角感知生成器和阶段扩展器510扩展音效和背景声音中的至少一个来强调音效和背景声音中的至少之一，并且可以控制音频信号以通过使用声音均衡器施加器520来增强低带宽分量和高带宽分量。
此外，例如，基于以下至少之一：获得的图像信号的特征信息指示暗的内容单元(例如，场景)以及接收到的音频信号的特征信息包括步幅声音，声音均衡器施加器520可以增强诸如步幅声音的特定音效的带宽，以向用户提供清晰的步幅声音。
例如，基于所获得的图像信号的特征信息包括大量运动信息，音频信号控制器340可以通过使用仰角感知生成器和阶段扩展器510来扩展包括在所获得的音频信号中的音频对象的声音图像，并且可以通过使用声音均衡器施加器520来控制音频信号以增强包括在音频信号中的音效。
图6是示出根据实施例的图像和音频处理装置的操作的流程图。参照图6所示的操作图像和音频处理装置的方法(600)可以包括在根据以上参照图1或图2所述的实施例的图像和音频处理装置100或200中执行的操作。因此，在操作图像和音频处理装置的方法(600)的详细操作中，省略了关于与在根据实施例的图像和音频处理装置100或200中执行的那些操作相同的操作的描述。图6的操作图像和音频处理装置的方法(600)示出了分别以场景为单元分析内容的图像信号和音频信号以控制图像和音频信号中的至少一个的情况。
参照图6，在操作S610，图像和音频处理装置100可以通过以场景为单元分析内容的图像信号来检测图像信号的特征信息。操作S610中的分析图像信号和检测图像信号的特征信息的过程可以与图1至图5的那些的相同。以上参考图1描述了图像信号的特征信息。
在操作S620中，图像和音频处理装置100可以以场景为单元分析内容的音频信号，以检测音频信号的特征信息。操作S620中的分析音频信号和检测音频信号的特征信息的过程可以与图1至图5的那些相同。上面参考图1描述了音频信号的特征信息。
在操作S630，图像和音频处理装置100可以基于图像信号的特征信息和音频信号的特征信息中的至少一个来控制图像信号。在操作S630中执行的对图像信号的控制在上面参考图1至图5进行了描述。
在操作S640中，图像和音频处理装置100可以基于图像信号的特征信息和音频信号的特征信息中的至少一个来控制音频信号。上面参考图1至图5描述了在操作S640中执行的对音频信号的控制。
图7是根据另一实施例的图像和音频处理装置700的框图。
在图7中，与图2相同的元件用相同的附图标记表示。因此，省略了关于图像和音频处理装置700中的元件的、可以与参考图1至图5所示的那些相同的描述。
参照图7，与图2的图像和音频处理装置200相比，图像和音频处理装置700还可以包括照度传感器750。
照度传感器750可以检测图像和音频处理装置700外部的周边照度信息。周边照度信息表示关于图像和音频处理装置700的环境信息。图像和音频处理装置700周围的环境信息不限于照度信息。例如，当图像和音频处理装置700的音频输出接口240是扬声器时，图像和音频处理装置700周围的环境信息可以包括周围的声音(例如，噪声)。照度传感器750可以将亮度信息指示为幅度值，并且检测到的周边照度信息可以包括图像和音频处理装置700周围的照明件102的、检测为幅度值的亮度信息。
存储器710可以存储关于黑色均衡器的增益值和照度值之间的关系的信息。图像和音频处理装置700可以根据图像和音频处理装置700的周边照度，基于关于黑色均衡器的增益值和存储在存储器710中的照度值之间的关系的信息来补偿黑色均衡器的强度，以便提供关于内容的一致可见性。也就是说，图像和音频处理装置700可以最终基于根据图像信号的特征信息、音频信号的特征信息、检测到的照度信息和存储在存储器710中的上述关系信息中的至少一个确定的黑色均衡器的增益值来确定要应用的黑色均衡器的增益值。
图8是示出根据实施例的基于黑色均衡器的增益值(BE_GAIN，或增益控制值)和照度信息的黑色均衡器的最终增益值的示例的曲线图。在图8的示例中，基于具有预定值(例如，150lux的值)的照度信息，黑色均衡器的增益值可以表示为线性方程。
基于通过以场景为单元分别分析内容的图像信号和音频信号中的至少一个而检测到的图像信号的特征信息和音频信号的特征信息中的至少一个，处理器720可以通过使用黑色均衡器的最终增益值来控制黑色均衡器，该最终增益值可以基于由照度传感器750检测到的照度信息和存储在存储器710中的黑色均衡器的增益值和照度信息之间的关系中的至少一个来识别。
此外，基于根据通过以场景为单元分别分析内容的图像信号和音频信号中的至少一个所检测的图像信号的特征信息和音频信号的特征信息中的至少一个来控制音频信号，处理器720可以基于图像信号的亮度来控制音频信号，其中图像信号要基于黑色均衡器的最终增益值来控制，最终增益值可以基于由照度传感器750检测的照度信息和存储在存储器710中的、黑色均衡器的增益值与照度信息之间的关系中的至少一个来识别。
图9是示出根据另一实施例的图像和音频处理装置的操作的流程图。参照图9所示的操作图像和音频处理装置的方法(900)可以包括在根据参照图1或图7所述的实施例的图像和音频处理装置100或700中执行的操作。因此，在操作图像和音频处理装置的方法(900)的详细操作中，省略了关于与在根据实施例的图像和音频处理装置100或700中执行的那些操作相同的操作的描述。
在操作S910，图像和音频处理装置700可以以场景为单元分析内容的图像信号，以检测图像信号的特征信息。在操作S910中执行的对内容的图像信号的分析和对图像信号的特征信息的检测可以如在操作S610中那样地执行。在操作S910中描述的图像信号的特征信息在上面参考图1进行了描述。
在操作S920中，图像和音频处理装置700可以以场景为单元分析内容的音频信号，以检测音频信号的特征信息。在操作S920中执行的对内容的音频信号的分析和对音频信号的特征信息的检测可以如在操作S620中那样地执行。在操作S920中描述的音频信号的特征信息在上面参考图1进行了描述。
在操作S930，图像和音频处理装置700可以检测图像和音频处理装置700的周边照度信息。在操作S930中检测周边照度信息可以与参考图7描述那样的相同。
在操作S940中，图像和音频处理装置700可以基于图像信号的特征信息、音频信号的特征信息和照度信息中的至少一个来控制图像信号。在操作S940中执行的对图像信号的控制可以与以上参考图7描述的相同。
在操作S950中，图像和音频处理装置700可以基于图像信号的特征信息、音频信号的特征信息和照度信息中的至少一个来控制音频信号。在操作S950中执行的对音频信号的控制可以与以上参考图7描述的相同。
图10是根据另一实施例的图像和音频处理装置1000的框图。
如图10所示，除了显示器230和音频输出接口240之外，图像和音频处理装置1000还可以包括调谐器1010、处理器1020、通信器1030、传感器1040、输入器/输出器1050、图像信号处理器1060、音频信号处理器1070和用户输入器1080。
上面已经参考图2提供的关于显示器230和音频输出接口240的描述被省略。
调谐器1010可以通过放大、混合、谐振等对通过无线或通过有线接收的广播信号的许多波分量之中的、要由图像和音频处理装置1000接收的频道的频率进行调谐和选择。调谐器1010可以是电视(TV)调谐器。广播信号可以包括音频、视频和附加信息(例如，电子节目指南(EPG)信息)。
由调谐器1010接收的广播信号可以被解码(例如，音频解码、视频解码或附加信息解码)，并且可以被分离为音频、视频和/或附加信息。分离的音频、视频和/或附加信息可以由处理器1020控制并存储在存储器1090中。
图像和音频处理装置1000可以包括一个或更多调谐器1010。调谐器1010可以与图像和音频处理装置1000一体地实现，或者利用具有电连接到图像和音频处理装置1000的调谐器、连接到输入器/输出器1050的调谐器(未示出)的附加装置(例如，机顶盒(未示出)集成地实现。
通信器1030可以根据处理器1020的控制将图像和音频处理装置1000连接到外部装置(例如，音频装置、服务器、内容提供装置等)。通信器1030可以是通信接口。处理器1020可以执行以下操作中的至少一个：将内容发送到通过通信器1030连接的外部装置/从通过通信器1030连接的外部装置接收内容、从外部装置下载应用、或执行web浏览。
通信器1030可以是通信接口。通信器1030可以包括与图像和音频处理装置1000的性能和结构相对应的一个或更多无线LAN、蓝牙或有线以太网。或者，通信器1030可以包括无线LAN、蓝牙和有线以太网的组合。通信器1030可以根据处理器1020的控制从控制装置101接收控制信号。控制信号可以实现为蓝牙类型、射频(RF)信号类型或Wi-Fi类型。
除了蓝牙之外，通信器1030还可以包括另一个近场通信器(例如，近场通信(NFC)接口(未示出)和蓝牙低能量(BLE)接口(未示出))。
根据本实施例的通信器1030可以从外部服务器获得关于基于一个或更多神经网络的学习模型的信息。此外，通信器1030可以以预设周期从外部服务器获得新信息，以便更新存储在存储器1090中的、可用于分析图像信号和音频信号中的至少一个的信息。
传感器1040可以检测用户的语音、用户的图像、用户的交互以及图像和音频处理装置1000周围的照度中的至少之一，并且可以包括麦克风1041、相机1042、光接收器1043或照度传感器1044中的至少之一。
麦克风1041可以获得用户发出的语音。麦克风1041可以将所获得的语音转换为电信号，并且可以将该电信号输出到处理器1020。
相机1042可以在相机识别范围内获得与包括手势的用户的运动相对应的图像(例如，连续帧)。
光接收器1043可以从控制装置101获得光信号(包括控制信号)。光接收器1043可从控制装置101接收对应于用户输入(例如，触摸、按压、触摸手势、语音或动作)的光信号。处理器1020可以检测来自光信号的控制信号。
根据本实施例的光接收器1043可以从控制装置101接收与关于内容再现的用户输入相对应的光信号。
照度传感器1044可以像图7的照度传感器750一样基于图像和音频处理装置1000外部的照明件102的照度来检测照度信息，但是照度传感器1044的检测范围不限于此。例如，照度传感器1044可以检测图像和音频处理装置1000周围的光(例如，阳光)的照度。
输入器/输出器1050由处理器1020控制以从图像和音频处理装置1000的外部获得视频(例如，运动图像等)、音频(例如，语音、音乐等)和附加信息(例如，EPG等)。输入器/输出器1050可以包括高清晰度多媒体接口(HDMI)端口1051、组件插孔1052、PC端口1053或通用串行总线(USB)端口1054中的至少之一。输入器/输出器1050可包括HDMI端口1051、组件插孔1052、PC端口1053和USB端口1054中的至少一个或其组合。
根据本实施例的存储器1090可以存储用于处理和控制处理器1020的程序以及输入到图像和音频处理装置1000或从图像和音频处理装置1000输出的数据。此外，存储器1090可以存储操作图像和音频处理装置1000所需的数据。操作图像和音频处理装置1000所需的数据可以如以上参考图2所述的那样包括存储在存储器210中的信息。
此外，存储在存储器1090中的程序可以根据其功能被分类为多个模块。详细地，存储器1090可以存储用于通过使用神经网络执行预定操作的一个或更多程序。例如，存储在存储器1090中的一个或更多程序可以被分类为学习模块1091和控制模块1092。
学习模块1091可以包括学习模型，该学习模型基于将内容输入到一个或更多神经网络中来学习方法，该方法以场景为单元分析内容的图像信号和内容的音频信号中的至少之一以检测特征信息，并且可以通过使用检测到的特征信息来控制场景的图像信号和音频信号中的至少之一。学习模型可以从外部服务器获得，并且学习模型可以存储在学习模块1091中。
控制模块1092可存储供处理器1020执行一个或更多指令的程序，且接着可根据图像信号的特征信息和音频信号的特征信息中的至少之一来执行对图像信号和音频信号中的至少之一的控制，特征信息和音频信号的特征信息是基于用于分析图像信号和音频信号中的至少之一的信息和以场景为单元分析内容的图像信号和音频信号的结果而获得的。例如，控制模块1092可以存储这样的程序，处理器1020基于输入内容，通过将分析图像信号和音频信号中的至少一个的结果与存储的信息进行比较来检测图像信号的特征信息和音频信号的特征信息中的至少之一，控制图像信号处理器1060和显示器230以输出以场景为单元控制的图像信号，并通过根据检测到的图像信号和音频信号的特征信息向处理器1020提供用于控制图像信号的操作条件信息和用于控制音频信号的操作条件信息中的至少之一，控制音频信号处理器1070和音频输出接口240以输出以场景为单元进行控制的音频信号。
此外，用于通过使用神经网络执行预定操作的一个或更多程序或用于通过使用神经网络执行预定操作的一个或更多指令可以被存储在处理器1020中的内部存储器(未示出)中。
处理器1020可以控制图像和音频处理装置1000的整体操作以及图像和音频处理装置1000的内部组件之间的信号流，并处理数据。基于所输入的用户输入或所存储的预设条件被满足，处理器1020可以执行操作系统(OS)和存储在存储器1090中的各种应用。
此外，处理器1020可以包括内部存储器(未示出)。在这种情况下，存储在存储器1090中的数据、程序或指令中的至少一个可以存储在处理器1020的内部存储器(未示出)中。例如，处理器1020的内部存储器(未示出)可以存储用于通过使用神经网络执行预定操作的一个或更多程序，或者用于通过使用神经网络执行预定操作的一个或更多指令。
图像信号处理器1060可以处理要在显示器230上显示的图像数据，并且可以对图像数据执行各种图像处理操作，例如解码、渲染、缩放、噪声滤波、帧速率转换和分辨率转换中的至少之一。特别地，图像信号处理器1060可以由处理器1020控制以执行与图4所示的黑色均衡器动态控制器410和对比度/色彩饱和度控制器420中的至少一个的功能相对应的功能。
显示器230可以由处理器1020控制以显示包括在通过调谐器1010获得的广播信号中的视频。此外，显示器230可以显示通过通信器1030和/或输入器/输出器1050输入的内容(例如，视频)。显示器230可以根据处理器1020的控制输出存储在存储器1090中的图像。显示器230可以由处理器1020控制以显示由图像信号处理器1060处理的图像信号。
音频信号处理器1070可以处理音频数据。音频信号处理器1070可以对音频数据执行诸如解码、放大、噪声滤波等中的一个或更多的各种处理。此外，音频信号处理器1070可以由处理器1020控制以执行与图5的仰角感知生成器和阶段扩展器510以及声音均衡器施加器520中的至少一个的功能相对应的功能。
音频输出接口240可以由处理器1020控制以输出包括在通过调谐器1010获得的广播信号中的音频信号、通过通信器1030或输入器/输出器1050输入的音频信号、以及存储在存储器1090中的音频信号。音频输出接口240可以包括扬声器、耳机输出端子或S/PDIF输出端子中的至少之一。音频输出接口240由处理器1020控制以输出由音频信号处理器1070处理的音频信号。
用户输入器1080可以是用户可以通过其输入用于控制图像和音频处理装置1000的数据的组件(例如，接口)。例如，用户输入器1080可以包括小键盘、圆顶开关、触摸板、滚轮或微动开关等中的至少之一，但不限于此。
此外，用户输入器1080可以是控制装置101的元件，或者是图像和音频处理装置1000的元件。用户输入器1080可以包括获得从控制装置101传送的用户输入的功能。
图2、图7和图10中所示的图像和音频处理装置100、700和1000的框图用于某个实施例。框图中的每个组件可以根据主动实现的图像和音频处理装置100、700或1000的规范来组合、添加或省略。例如，如果需要，可以将两个或更多组件组合为一个，或者一个组件可以被划分为两个或更多组件。此外，每个块的功能是用于解释实施例，并且每个特定操作或装置不限制本公开的范围。
如上所述，根据一个或更多实施例，当用户再现内容时，可以自动地考虑以场景为单元的图像信号和音频信号中的至少一个来控制内容的图像质量和声音中的至少之一，并且因此，可以基于内容的特性来改善可见性，并且可以提供再现的声音以增加用户在内容中的沉浸感。此外，根据一个或更多实施例，基于在控制图像信号和音频信号时分析图像信号和音频信号中的每一个的结果，可以忠实地向用户提供制造商所期望的内容。此外，根据一个或更多实施例，可以基于周边照明来提供内容的一致可见性。此外，根据一个或更多实施例，可以基于周边环境来提供内容的一致的可见性和声音。
根据实施例的图像和音频处理装置及其操作方法可以以包括诸如计算机可执行程序模块的计算机可执行指令的计算机可读存储介质的形式来实现。计算机可读存储介质可以是可由计算机访问的任何可用介质，并且包括易失性和非易失性介质以及可移动和不可移动介质。此外，计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质可以包括易失性和非易失性介质以及可移动和不可移动介质，其使用用于存储诸如计算机可读指令、数据结构、程序模块或其它类型的数据之类的信息的任何方法或技术来实现。通信介质通常包括计算机可读指令、数据结构、程序模块、或调制数据信号的例如载波的其它数据、或其它传输机制，并且包括任意信息传输介质。
此外，本文提供的诸如“……单元”等术语可由诸如处理器或电路的硬件组件和/或由诸如处理器的硬件组件执行的软件组件来实现。
此外，根据本实施例的图像和音频处理装置及其操作方法可以被实现为计算机程序产品，该计算机程序产品包括其中存储有程序的记录介质，其中该程序用于执行以下操作：获得多语言文本，以及获得分别对应于包括在多语言文本中的单词的矢量值，将所获得的矢量值转换为对应于目标语言的矢量值，以及基于所转换的矢量值获得目标语言文本。
提供以上描述是为了说明的目的，并且本领域技术人员将理解，可以在不改变本公开的技术概念和基本特征的情况下进行各种改变和修改。因此，在此或在上面所示的实施例将被解释为说明性的和非限制性的。例如，被描述为单一类型的每个部件可以以分布式方式实现。同样，描述为分布的部件可以以组合的方式实现。
本公开的范围由所附权利要求书而不是由实施例的详细描述来限定。应当理解，从权利要求及其等同物的含义和范围构想的本公开的所有修改和实施例都包括在本公开的范围内。

Claims (12)

1.一种图像和音频处理装置，包括：
显示器；
音频输出接口；
存储器，存储有一个或更多指令；以及
处理器，配置成执行存储在所述存储器中的所述一个或更多指令，以：
基于以内容为单元分析所述内容的图像信号来检测所述图像信号的特征信息，
基于以所述内容为单元分析所述内容的音频信号来检测所述音频信号的特征信息，以及
基于所述图像信号的特征信息和所述音频信号的特征信息，以所述内容为单元控制所述图像信号，以通过所述显示器输出所述图像信号；以及
基于所述图像信号的特征信息和所述音频信号的特征信息，以所述内容为单元控制所述音频信号，以通过所述音频输出接口输出所述音频信号。
2.如权利要求1所述的图像和音频处理装置，其中，以所述内容为单元是以场景为单元。
3.如权利要求2所述的图像和音频处理装置，其中，所述处理器还配置成执行所述一个或更多指令，以：
基于所述图像信号的特征信息和所述音频信号的特征信息，以所述场景为单元控制针对所述图像信号的黑色均衡器功能或对比度和色彩饱和度功能中的至少之一，以及
基于所述图像信号的特征信息和所述音频信号的特征信息，以所述场景为单元控制针对所述音频信号的仰角感知生成和阶段扩展功能或声音均衡器施加功能中的至少之一。
4.如权利要求2所述的图像和音频处理装置，
其中，所述图像信号的特征信息包括所述图像信号的亮度信息、颜色信息、对比度信息或运动信息中的至少之一，以及
其中，所述音频信号的特征信息包括音频对象的位置信息、语音信息、音乐信息或音效信息中的至少之一。
5.如权利要求2所述的图像和音频处理装置，还包括：
照度传感器，配置为检测关于所述图像和音频处理装置的外部的照度信息，
其中，所述处理器还配置成执行所述一个或更多指令，以：基于根据所述图像信号的特征信息和所述音频信号的特征信息控制所述图像信号，基于所述照度信息控制所述图像信号的亮度、对比度或色彩饱和度中的至少之一。
6.如权利要求2所述的图像和音频处理装置，其中，所述处理器还配置成执行所述一个或更多指令，以：基于包括一个或更多神经网络的学习模型，以所述场景为单元分析所述内容的所述图像信号和所述音频信号，检测所述图像信号的特征信息和所述音频信号的特征信息，以及控制所述图像信号和所述音频信号。
7.一种图像和音频处理装置的操作方法，所述操作方法包括：
由所述图像和音频处理装置以内容为单元分析所述内容的图像信号，并检测所述图像信号的特征信息；
由所述图像和音频处理装置以所述内容为单元分析所述内容的音频信号，并检测所述音频信号的特征信息；以及
由所述图像和音频处理装置基于所述图像信号的特征信息和所述音频信号的特征信息，以所述内容为单元控制所述图像信号，以通过所述图像和音频处理装置的显示器输出所述图像信号；以及
由所述图像和音频处理装置基于所述图像信号的特征信息和所述音频信号的特征信息，以所述内容为单元控制所述音频信号，以通过所述图像和音频处理装置的音频输出接口输出所述音频信号。
8.如权利要求7所述的操作方法，其中，所述内容的单元是以场景为单元。
9.如权利要求8所述的操作方法，还包括：
基于所述图像信号的特征信息和所述音频信号的特征信息，以所述场景的所述单元针对所述图像信号控制黑色均衡器功能或对比度和色彩饱和度功能中的至少之一；以及
基于所述图像信号的特征信息和所述音频信号的特征信息，以所述场景的所述单元针对所述音频信号控制仰角感知生成和阶段扩展功能或声音均衡器施加功能中的至少之一。
10.如权利要求8所述的操作方法，其中，所述图像信号的特征信息包括所述图像信号的亮度信息、颜色信息、对比度信息或运动信息中的至少之一，并且所述音频信号的特征信息包括音频对象的位置信息、语音信息、音乐信息或音效信息中的至少之一。
11.如权利要求8所述的操作方法，还包括：基于根据所述图像信号的特征信息和所述音频信号的特征信息控制所述图像信号，基于关于所述图像和音频处理装置外部的照度信息来控制所述图像信号的亮度、对比度或色彩饱和度中的至少之一，所述照度信息由所述图像和音频处理装置检测。
12.一种其上记录有程序指令的计算机可读记录介质，所述程序指令可由处理器执行以用于执行图像和音频处理装置的操作方法，所述操作方法包括：
以内容为单元分析所述内容的图像信号，并检测所述图像信号的特征信息；
以所述内容为单元分析所述内容的音频信号，并检测所述音频信号的特征信息；以及
基于所述图像信号的特征信息和所述音频信号的特征信息，以所述内容为单元控制所述图像信号，以通过所述图像和音频处理装置的显示器输出所述图像信号；以及
基于所述图像信号的特征信息和所述音频信号的特征信息，以所述内容为单元控制所述音频信号，以通过所述图像和音频处理装置的音频输出接口输出所述音频信号。
CN201980075313.4A 2018-11-14 2019-10-16 图像和音频处理装置及其操作方法 Active CN113039807B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180140097A KR102673322B1 (ko) 2018-11-14 영상 및 오디오 처리 장치 및 그 동작 방법
KR10-2018-0140097 2018-11-14
PCT/KR2019/013593 WO2020101189A1 (en) 2018-11-14 2019-10-16 Image and audio processing apparatus and operating method of the same

Publications (2)

Publication Number Publication Date
CN113039807A true CN113039807A (zh) 2021-06-25
CN113039807B CN113039807B (zh) 2024-01-05

Family

ID=70551762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980075313.4A Active CN113039807B (zh) 2018-11-14 2019-10-16 图像和音频处理装置及其操作方法

Country Status (4)

Country Link
US (1) US11205391B2 (zh)
EP (1) EP3824644A4 (zh)
CN (1) CN113039807B (zh)
WO (1) WO2020101189A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200114898A (ko) * 2019-03-29 2020-10-07 엘지전자 주식회사 영상표시장치
CN111814745B (zh) * 2020-07-31 2024-05-10 Oppo广东移动通信有限公司 手势识别方法、装置、电子设备及存储介质
CN115250375B (zh) * 2021-04-26 2024-01-26 北京中关村科金技术有限公司 一种基于固定话术的音视频内容合规性检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101278495A (zh) * 2005-09-30 2008-10-01 富士通株式会社 过采样和横向均衡器
US9432230B1 (en) * 2015-10-21 2016-08-30 Freescale Semiconductor, Inc. Passive equalizer capable of use in a receiver
US20170017844A1 (en) * 2015-07-15 2017-01-19 Samsung Electronics Co., Ltd. Image content providing apparatus and image content providing method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000135377A (ja) 1998-10-30 2000-05-16 Namco Ltd ゲームシステム及び情報記憶媒体
JP2009194550A (ja) 2008-02-13 2009-08-27 Sony Corp 画質調整装置、画質調整方法及びプログラム
US20110095875A1 (en) 2009-10-23 2011-04-28 Broadcom Corporation Adjustment of media delivery parameters based on automatically-learned user preferences
JP2011223325A (ja) 2010-04-09 2011-11-04 Sony Corp コンテンツ検索装置および方法、並びにプログラム
KR101473249B1 (ko) 2012-10-30 2014-12-17 주식회사 케이티 콘텐츠 재생 속도 테이블 생성 서버, 디바이스 및 방법
US11270498B2 (en) * 2012-11-12 2022-03-08 Sony Interactive Entertainment Inc. Real world acoustic and lighting modeling for improved immersion in virtual reality and augmented reality environments
JP6266904B2 (ja) 2013-06-19 2018-01-24 株式会社カプコン ゲームプログラムおよびゲームシステム
US9824278B2 (en) 2015-06-24 2017-11-21 Netflix, Inc. Determining native resolutions of video sequences
TWI573126B (zh) 2016-01-08 2017-03-01 明基電通股份有限公司 可依據不同環境執行最佳化調整的影像調整方法及其顯示器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101278495A (zh) * 2005-09-30 2008-10-01 富士通株式会社 过采样和横向均衡器
US20170017844A1 (en) * 2015-07-15 2017-01-19 Samsung Electronics Co., Ltd. Image content providing apparatus and image content providing method
US9432230B1 (en) * 2015-10-21 2016-08-30 Freescale Semiconductor, Inc. Passive equalizer capable of use in a receiver

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PANASONIC: "Panasonic Owner\"s Manual for advanced features Digital Camera DMC-FZ1000", 《PANASONIC OWNER\"S MANUAL FOR ADVANCED FEATURES DIGITAL CAMERA DMC-FZ1000》, pages 15 - 18 *
V.VERFAILLE: "DAFX:Digital Audio Effects", 《DAFX:DIGITAL AUDIO EFFECTS》, pages 324 - 328 *

Also Published As

Publication number Publication date
WO2020101189A1 (en) 2020-05-22
CN113039807B (zh) 2024-01-05
EP3824644A4 (en) 2021-12-22
US11205391B2 (en) 2021-12-21
EP3824644A1 (en) 2021-05-26
KR20200056137A (ko) 2020-05-22
US20200152138A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
CN113039807B (zh) 图像和音频处理装置及其操作方法
KR102622950B1 (ko) 디스플레이장치, 그 제어방법 및 기록매체
US11989868B2 (en) Video quality assessing method and apparatus
EP3839874A1 (en) Image compression apparatus and method
CN112073865A (zh) 蓝牙耳机的音量设置方法及装置、电子设备
KR102535152B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR20220102522A (ko) 요약 영상 생성 방법 및 그 전자 장치
US20160191841A1 (en) Display device and display method
US11373280B2 (en) Electronic device and method of training a learning model for contrast ratio of an image
US11627383B2 (en) Electronic device and operation method thereof
CN113475091B (zh) 显示设备及其图像显示方法
KR102650138B1 (ko) 디스플레이장치, 그 제어방법 및 기록매체
WO2020248699A1 (zh) 一种声音处理法及显示设备
KR20210153386A (ko) 멀티미디어 컨텐츠를 생성하는 디스플레이 장치 및 그 동작방법
CN111587578B (zh) 显示装置和音频输出方法
KR20210105636A (ko) 전자장치 및 그 제어방법
KR102673322B1 (ko) 영상 및 오디오 처리 장치 및 그 동작 방법
CN113448529B (zh) 显示设备和音量调节方法
KR20210045227A (ko) 디스플레이 장치 및 그 동작방법
CN112073803A (zh) 一种声音再现方法及显示设备
US20230237631A1 (en) Electronic device and control method thereof
US20230237632A1 (en) Electronic device and operating method thereof
CN113448530A (zh) 显示设备和音量控制方法
KR20210073305A (ko) 전자장치 및 그 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant