CN116097655A - 显示装置及其操作方法 - Google Patents

显示装置及其操作方法 Download PDF

Info

Publication number
CN116097655A
CN116097655A CN202180054872.4A CN202180054872A CN116097655A CN 116097655 A CN116097655 A CN 116097655A CN 202180054872 A CN202180054872 A CN 202180054872A CN 116097655 A CN116097655 A CN 116097655A
Authority
CN
China
Prior art keywords
content
screen
video call
output
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180054872.4A
Other languages
English (en)
Inventor
朴知元
金世现
梁宽植
李锺仁
崔吉洙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116097655A publication Critical patent/CN116097655A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4858End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一种显示装置的操作方法,所述显示装置显示包括多个部分屏幕的多视图屏幕,所述操作方法包括以下步骤:通过所述多个部分屏幕输出被单独解码的多条内容中的每条内容;基于视频呼叫请求识别所述多条内容中的至少一条内容;以及通过所述多个部分屏幕中的与识别的至少一条内容对应的至少一个部分屏幕输出视频呼叫屏幕。

Description

显示装置及其操作方法
技术领域
本公开的实施例涉及一种用于提供多视图屏幕的显示装置以及该显示装置的操作方法。
详细地,本公开的实施例涉及一种用于在提供多视图的同时处理接收的视频呼叫的显示装置以及该显示装置的操作方法。
背景技术
随着有线/无线通信网络和通信技术的发展,电子装置之间的视频呼叫服务的使用已经增加。详细地,电子装置之间的视频呼叫服务被广泛用于位于远距离位置的不同用户之间的非面对面通信。
详细地,对于视频呼叫服务,一个电子装置和另一电子装置可通过有线/无线通信网络被彼此连接。这里,电子装置包括用于提供视频呼叫屏幕的显示器,并且可以是能够通过接入有线/无线通信网络与在远距离位置的其他电子装置通信的任何电子装置。电子装置的示例可包括便携式计算机(诸如膝上型计算机、上网本或平板个人计算机(PC))、便携式终端(诸如智能电话或个人数字助理(PDA))、电视(TV)和数字TV。
当在例如第一电子装置与第二电子装置的多个电子装置之间执行视频呼叫时,第一电子装置获得用户(在下文中,称为“第一用户”)的图像并将获得的图像发送到第二电子装置。此外,第二电子装置获得用户(在下文中,称为“第二用户”)的图像,并将获得的图像发送到第一电子装置。因此,第一电子装置和第二电子装置中的每个电子装置显示包括第一用户和第二用户的图像的视频呼叫屏幕。然后,第一用户和第二用户中的每个可在观看在远距离位置的另一方的图像的同时进行呼叫。
发明内容
技术问题
本公开的实施例提供了一种能够在显示多视图屏幕的同时提供视频呼叫服务的显示装置以及该显示装置的操作方法。
详细地,本公开的实施例提供了一种能够在显示多视图屏幕的同时提供视频呼叫服务以匹配用户意图的显示装置以及该显示装置的操作方法。
技术方案
根据本公开的实施例,提供了一种显示装置的操作方法,所述显示装置显示包括多个部分屏幕的多视图屏幕。所述显示装置的操作方法包括:通过所述多个部分屏幕分别输出被单独解码的多条内容,基于视频呼叫请求,识别所述多条内容中的至少一条内容,以及通过所述多个部分屏幕中的与识别的至少一条内容对应的至少一个部分屏幕来输出视频呼叫屏幕。
此外,输出视频呼叫屏幕的步骤可包括:由包括在所述显示装置中的至少一个解码器停止对识别的至少一条内容的解码,由已停止解码的所述至少一个解码器对与视频呼叫屏幕对应的图像信号进行解码,以及基于解码的图像信号,通过在其上已输出了识别的至少一条内容的至少一个部分屏幕来输出视频呼叫屏幕。
此外,识别所述至少一条内容的步骤可包括:从所述多条内容中识别具有与视频呼叫屏幕的分辨率相同的分辨率的所述至少一条内容。
此外,识别所述至少一条内容的步骤可包括:从所述多条内容中识别具有偏移分辨率的所述至少一条内容。
此外,识别所述至少一条内容的步骤可包括:从所述多条内容中识别具有最低分辨率的所述至少一条内容。
此外,识别所述至少一条内容的步骤可包括:从所述多条内容中识别通过主屏幕输出的内容。
此外,识别所述至少一条内容的步骤可还包括:确定是否存在具有与视频呼叫屏幕对应的分辨率的所述至少一条内容,以及基于不存在具有与视频呼叫屏幕对应的分辨率的至少一条内容,执行语音呼叫切换处理。
此外,识别所述至少一条内容的步骤可还包括:确定是否存在具有与视频呼叫屏幕对应的分辨率的所述至少一条内容,以及基于不存在具有与视频呼叫屏幕相对应的分辨率的至少一条内容,结束视频呼叫处理。
此外,所述操作方法还可包括:响应于视频呼叫请求,显示用于选择所述多个部分屏幕中的至少一个部分屏幕的用户界面屏幕,以及通过所述用户界面屏幕接收选择所述多个部分屏幕中的至少一个部分屏幕的用户输入。此外,其中,识别所述至少一条内容的步骤包括:基于用户输入的接收来识别所述至少一条内容。
此外,识别所述至少一条内容的步骤可包括:响应于视频呼叫请求,从通过多视图屏幕输出的所述多条内容中识别第一内容,以及输出视频呼叫屏幕的步骤可包括:通过与第一内容对应的第一部分屏幕来输出视频呼叫屏幕。
此外,输出视频呼叫屏幕的步骤可包括:停止对与第一内容对应的第一图像信号的解码,由已停止对第一图像信号进行解码的解码器对图像信号进行解码,以及基于解码的图像信号,通过第一部分屏幕输出视频呼叫屏幕。
此外,识别所述至少一条内容的步骤可包括:基于视频呼叫请求,从通过多视图屏幕输出的所述多条内容中识别第一内容和第二内容。此外,输出视频呼叫屏幕的步骤可包括:在与第一内容对应的第一部分屏幕和与第二内容对应的第二部分屏幕上显示构成视频呼叫屏幕的对应方图像和用户图像。
根据本公开的实施例,一种显示装置,包括:显示器;通信接口;视频处理单元,包括多个解码器;以及处理器,被配置为执行至少一个指令。所述处理器被配置为执行至少一个指令以进行以下操作:控制所述显示器通过包括在多视图屏幕中的多个部分屏幕分别输出由所述视频处理单元单独解码的多条内容,基于视频呼叫请求,从所述多条内容中识别至少一条内容,以及控制所述显示器通过所述多个部分屏幕中的与识别的至少一条内容对应的至少一个部分屏幕来输出视频屏幕。
附图说明
图1a是示出根据实施例的用于输出多视图屏幕的显示装置的视图。
图1b是示出根据另一实施例的用于输出多视图屏幕的显示装置的视图。
图2是用于描述多视图屏幕的布局的示例的视图。
图3是用于描述在输出多视图屏幕的同时接收视频呼叫请求的操作的视图。
图4是示出根据本公开的实施例的显示装置的示图。
图5是示出根据本公开的另一实施例的显示装置的示图。
图6是示出根据本公开的另一实施例的显示装置的示图。
图7是用于描述支持视频呼叫服务的服务器与显示装置之间的通信的示图。
图8是示出根据本公开的实施例的显示装置的操作方法的流程图。
图9是示出根据本公开的另一实施例的显示装置的操作方法的流程图。
图10是示出根据本公开的另一实施例的显示装置的示图。
图11是示出根据本公开的实施例的由显示装置显示的用户界面屏幕的视图。
图12是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。
图13是示出根据本公开的另一实施例的显示装置的操作方法的流程图。
图14是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。
图15是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。
图16是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。
图17是示出根据本公开的另一实施例的显示装置的操作方法的流程图。
图18是示出根据本公开的另一实施例的显示装置的操作方法的流程图。
图19是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。
图20是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。
图21是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。
图22是示出根据本公开的另一实施例的显示装置的操作方法的流程图。
图23是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。
图24是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。
图25是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。
具体实施方式
现在将参照附图更全面地描述本公开,以使本领域普通技术人员能够毫无困难地执行本公开。然而,本公开可以以许多不同的形式被实现,并且不限于本文阐述的本公开的实施例。为了清楚起见,在附图中省略了与本公开的描述无关的部分,并且在整个说明书中相同的组件由相同的附图标记表示。在附图中,相同的附图标记表示相同的元件。
在整个说明书中,当一个部件“连接”到另一部件时,该部件不仅可“直接连接”到另一部件,而且还可通过其间的另一元件“电连接”到另一部件。当一个部件“包括”一个元件时,除非另有说明,否则可进一步包括另一个元件,而不是排除另一元件的存在。
如本文所使用的,诸如“在一些实施例中”或“在实施例中”的短语不一定指示相同的实施例。
一些实施例可由功能块组件和各种处理操作来表示。这些功能块中的全部或一些可由执行特定功能的各种数量的硬件和/或软件组件来实现。例如,本公开的功能块可通过使用一个或更多个处理器或微处理器或用于预期功能的电路元件来实现。例如,本公开的功能块可通过使用各种编程或脚本语言来实现。功能块可被实现为由一个或更多个处理器执行的算法。另外,本公开可采用用于电子配置、信号处理和/或数据处理等的相关技术。诸如“模块”、“组件”等的术语可被广泛地使用,并且可不受限于机械和物理元件。
此外,附图中所示的组件之间的连接线或连接构件仅仅是功能连接和/或物理或电路连接的图示。在实际装置中,组件之间的连接可由可替换或添加的各种功能连接、物理连接或电路连接来表示。
另外,表述“a、b或c中的至少一个”指示仅a、仅b、仅c、a和b两者、a和c两者、b和c两者、或a、b和c全部。
本公开的实施例涉及一种显示装置及其操作方法。详细地,本公开的实施例涉及一种操作方法以及执行该操作方法的显示装置,在该操作方法中,当在多个电子装置之间请求视频呼叫时,输出多视图屏幕的显示装置处理视频呼叫请求。
在本公开的实施例中,能够提供视频呼叫服务的电子装置包括用于显示视频呼叫屏幕的显示器,并且可以是能够通过接入有线/无线通信网络与在远距离位置的其他电子装置通信的任何电子装置。此外,电子装置包括显示器并且可以是能够提供视频呼叫服务的各种计算装置中的任何一种。电子装置的示例可包括但不限于可穿戴装置、智能电话、个人数字助理(PDA)、媒体播放器、平板个人计算机(PC)、膝上型计算机、媒体播放器、电视(TV)、数字TV、智能TV、数字标牌和数字招牌。在下文中,为了便于说明,根据本公开的实施例的能够提供视频呼叫服务的电子装置被称为“显示装置”。
此外,在以下描述中,“移动装置”和“显示装置”均可以是能够通过在显示器上显示视频呼叫屏幕来执行视频呼叫的电子装置。也就是说,“移动装置”和“显示装置”中的每个可以是可穿戴装置、智能电话、PDA、媒体播放器、平板PC、膝上型计算机、媒体播放器、TV、数字TV、智能标牌或数字招牌。
然而,为了便于说明,可区分地描述“移动装置”和“显示装置”。例如,包括相对大的显示器或者能够提供具有相对宽的视角的视频呼叫屏幕的电子装置可被称为“显示装置”,并且包括相对小的显示器或者能够提供具有相对窄的视角的视频呼叫屏幕的电子装置可被称为“移动装置”。
在下文中,为了便于说明,便携式电子装置被称为“移动装置”。能够通过比移动装置的显示器更大的显示器提供大屏幕并且获得具有比移动装置的视角更宽的视角的视频呼叫屏幕的电子装置可被称为“显示装置”。
此外,移动装置可由用户携带。显示装置可以是便携式的,或者可被设置在固定位置。可选地,显示装置可以是便携式的并且可被设置在固定位置。
在附图中,将假设移动装置是智能电话并且显示装置是TV来描述以下内容。此外,在附图中,由相同的附图标记表示相同的元件。此外,在整个详细描述中,用相同的术语描述相同的元件。
将参照附图详细描述根据本公开的实施例的显示装置及其操作方法。
图1a是示出根据实施例的用于输出多视图屏幕的显示装置的视图。
根据本公开的实施例的显示装置100是用于提供多视图屏幕的电子装置。术语“多视图屏幕”可指输出到显示装置100中包括的显示器的屏幕被划分为多个部分屏幕并且该多个部分屏幕分别输出多条内容的屏幕。
参照图1a,显示装置100可输出包括四个部分屏幕120、130、140和150的多视图屏幕110。详细地,显示装置100可显示用户在视觉上可识别的多视图屏幕110。
例如,多视图屏幕110可将不同的多条内容输出到四个部分屏幕120、130、140和150。在附图和详细描述中,多条内容可以是彼此不同的第一内容、第二内容、第三内容和第四内容。
在图1a的示例中,第一内容可以是与通过音乐广播频道接收的音乐节目对应的广播内容,并且为了便于说明,第一内容由图标A121指示。此外,第二内容可以是与通过体育频道接收的足球比赛对应的广播内容,并且为了便于说明,第二内容由图标B131指示。此外,第三内容可以是从内容提供商的服务器接收的与足球比赛对应的视频流内容,而不是实时广播或实况广播,并且为了便于说明,第三内容由图标C141指示。此外,第四内容可以是从提供门户站点的网站服务器接收的互联网内容,并且为了便于说明,第四内容由图标D151指示。因此,在本公开的实施例和附图中,由相同图标(例如,“A”)指示的内容可指相同的内容(例如,第一内容)。
可由指示第一内容的文本、符号、图形、识别标记和颜色中的至少一个的组合来表示指示特定内容的图标,例如,图标A121。图标A可被显示或不显示在实际的部分屏幕120上。
根据本公开的实施例的显示装置100可通过屏幕划分将与显示器的整个显示区域对应的屏幕划分为多个部分屏幕,并且可将独立的多条内容输出到多个部分屏幕。
详细地,显示装置100可接收与第一内容对应的第一图像信号,可对第一图像信号进行解码,并且可将其输出到部分屏幕120。显示装置100可接收与第二内容对应的第二图像信号,可对第二图像信号进行解码,并且可将其输出到部分屏幕130。此外,显示装置100可接收与第三内容对应的第三图像信号,可对第一图像信号进行解码,并且可将其输出到部分屏幕140。显示装置100可接收与第四内容对应的第四图像信号,可对第四图像信号进行解码,并且可将其输出到部分屏幕150。
图1b是示出根据另一实施例的用于输出多视图屏幕的显示装置的视图。在图1b中,由相同的附图标记表示与图1a中相同的元件。因此,将省略与以上进行的描述相同的描述。
参照图1b,与图1a的多视图屏幕110不同,从显示装置100输出的多视图屏幕111可包括主屏幕125和一个或更多个子屏幕135、145和155。
在图1b中,从主屏幕125输出的第一内容、从子屏幕135输出的第二内容、从子屏幕145输出的第三内容和从子屏幕145输出的第四内容分别对应于图1a的从部分屏幕120输出的第一内容、从部分屏幕130输出的第二内容、从部分屏幕140输出的第三内容和从部分屏幕150输出的第四内容,因此,将省略详细描述。
为了显示多视图屏幕,参照图1a和图1b描述的显示装置100可管理多个解码器(未示出)以适当地对与包括在多视图屏幕中的多条内容对应的多个图像信号进行解码。
详细地,显示装置100可通过使用多视图应用来提供多视图屏幕。术语“应用”可指用于执行服务、功能或特定操作的程序或处理器。详细地,应用可包括用于执行服务、功能或特定操作的至少一个指令。此外,应用可被存储在显示装置100中包括的处理器(未示出)或存储器(未示出)中。在本公开的实施例中,用于执行提供多视图屏幕的服务、功能或操作的应用可被称为“多视图应用”。
详细地,多视图应用可指这样的应用:在该应用中,为了提供多视图屏幕,从显示装置100输出的屏幕根据特定布局被划分并且多条内容被控制以通过多个划分的部分屏幕输出。多视图应用可执行用于提供多视图屏幕的操作,并且可控制提供多视图屏幕所需的显示装置100的硬件资源和软件资源中的至少一个。提供多视图屏幕所需的硬件资源的示例可包括用于对输出到多视图屏幕的多条内容进行解码的多个解码器和用于存储将被输出到多视图屏幕的图像的存储器。此外,提供多视图屏幕所需的软件资源的示例可包括用于对输出到多视图屏幕的多条内容进行软件解码的软件解码器。
在本公开的实施例中,存储或包括在显示装置100中的多视图应用通常可控制多视图屏幕的生成和输出。
如上所述,显示装置可通过控制屏幕被划分为多个部分屏幕并且管理包括在显示装置100中的多个解码器的解码操作来提供多视图屏幕。
图2是用于描述可被输出到多视图屏幕的布局的示例的视图。详细地,图2是示出由图1a和图1b的显示装置100显示的多视图屏幕110的布局的示例的视图。
参照图2,图1a或图1b的多视图屏幕110或111可具有各种布局中的任一种。此外,除了图2所示的布局之外,还可存在各种类型的布局。
例如,可通过考虑部分屏幕的数量、显示器支持的宽高比、通过部分屏幕中的每个输出的内容的宽高比、部分屏幕的宽高比、以及通过互联网服务器发送的互联网门户的窗口(执行窗口)的宽高比来确定多视图屏幕110的布局。此外,可根据用户的设置或显示装置100的设置来确定多视图屏幕110的布局。
参照图2的表200,当划分的屏幕的数量是4时,也就是说,多视图屏幕110包括四个部分屏幕时,多视图屏幕110可包括布局241、242、243、245和246。例如,布局241与多视图屏幕被等分为四个部分屏幕的情况对应。此外,布局242、243、245和246与多视图屏幕被不等地划分为四个部分屏幕的情况对应。在这种情况下,可在布局242、243、245和246中的每个中包括一个主屏幕和三个子屏幕。
下面将假设多视图屏幕包括四个部分屏幕,并且包括布局241或布局245来描述。
图3是用于描述在输出多视图屏幕时接收视频呼叫请求的操作的视图。在图3中,由相同的附图标记表示与图1a中相同的元件。此外,在附图中,相同的附图标记表示相同的元件。因此,将省略重复的描述。
参照图3,显示多视图屏幕110的显示装置100可提供视频呼叫服务。
在本公开的实施例中,视频呼叫是指位于远距离位置的多个用户中的每个用户在通过多个电子装置在屏幕上观看另一方的面部的同时进行呼叫的呼叫。此外,在本公开的实施例中描述的“视频呼叫”可被应用于位于远距离位置的用户在接收彼此的图像的同时执行通信的任何领域(诸如视频会议、非面对面通信或非面对面教育),并且可指位于远距离位置的多个用户在观看对应方的图像的同时执行通信的任何情况。包括在视频呼叫屏幕中的图像不需要是使用视频呼叫的用户的面部,而可以是指示使用视频呼叫的用户所位于的环境的图像或者由用户提供的图像。
通常,可在两个不同的电子装置之间执行视频呼叫。可选地,位于远距离位置的三个或更多个用户可通过三个或更多个电子装置执行视频呼叫。
将假设一个用户(在下文中,称为“用户”)和另一用户(在下文中,称为“对应方”)通过在远距离位置的两个电子装置执行视频呼叫来描述以下内容。这里,用户不是指一个人,而是可以是多个,并且对应方也可以是多个。
参照图3,可在作为位于远距离位置的电子装置的显示装置100与对应方装置302之间执行视频呼叫(S391)。此外,可通过使用通信网络(诸如第三代(3G)、第四代(4G)或第五代(5G))发送和接收视频呼叫所需的数据来执行视频呼叫。可选地,可通过电信公司的呼叫服务来执行视频呼叫。此外,可通过由服务提供商的服务器提供的特定应用(例如,视频呼叫应用、非面对面通信应用、视频教育应用或视频会议应用)来执行视频呼叫。
在包括图3的下文中,用户的电子装置是显示装置100,并且想要与用户进行视频呼叫的另一方(对应方)的电子装置被称为对应方装置302。此外,显示装置100的用户被指示为“用户A”,并且想要与用户A进行视频呼叫的对应方被指示为“用户B”。也就是说,在本公开的实施例中,视频呼叫的对应方可指“用户B”。此外,将假设对应方装置302是智能电话来描述图3。显示装置100和移动装置301可以是用户317所拥有的电子装置,并且对应方装置302可以是对应方327所拥有的电子装置。
参照图3,显示装置100可与作为位于远距离位置的对应方的电子装置的对应方装置302执行视频呼叫(S391)。显示装置100可通过执行其自身的呼叫功能或用于非面对面通信的应用来执行视频呼叫。
可选地,可通过装置切换在显示装置100中执行在移动装置301上执行的视频呼叫。详细地,可在移动装置301与对应方装置302之间执行视频呼叫(S381)。随后,可将用于执行视频呼叫执行的装置从移动装置301切换或改变为显示装置100(S382)。
如上所述,显示装置100可通过使用其自身的视频呼叫服务功能来执行与对应方装置302的直接视频呼叫。可选地,针对由移动装置301执行或发起的视频呼叫,显示装置100可通过装置切换来执行视频呼叫。将假设当显示装置100提供视频呼叫服务时,显示装置100直接与对应方装置302执行视频呼叫来描述以下内容(S391)。
在本公开的实施例中,显示装置100可在显示多视图屏幕110的同时接收视频呼叫请求。这里,可从对应方装置302接收视频呼叫请求。可选地,可基于显示装置100的用户317的请求来接收视频呼叫请求。例如,当显示装置100的用户317想要进行视频呼叫时,用户可向显示装置100发送选择用于提供显示装置100的视频呼叫服务的应用、程序或菜单的用户输入。然后,显示装置100可基于用户输入来识别接收到视频呼叫请求。
当发起视频呼叫时,执行视频呼叫的电子装置(例如,301和302)可均显示视频屏幕。例如,作为用户317的电子装置的移动装置301的显示器可显示包括作为主屏幕的对应方327的图像312和作为子屏幕的用户317的图像(例如,313)的视频呼叫屏幕311。此外,视频呼叫屏幕311还可包括用于控制视频呼叫的菜单314。此外,作为对应方327的电子装置的对应方装置302的显示器可显示包括作为子屏幕的对应方327的图像323和作为主屏幕的用户317的图像(例如,322)的视频呼叫屏幕322。此外,视频呼叫屏幕321还可包括用于控制视频呼叫的菜单324。
这里,可由对应方装置302中包括的相机320获取对应方327的图像。详细地,当接收到视频呼叫请求时,对应方装置302可激活相机320以获得对应方327的图像。可由作为用户317的电子装置的移动装置301或由显示装置100获得用户317的图像。当显示装置100直接与对应方装置302执行视频呼叫时,显示装置100的相机155可获得用户317的图像。可选地,当显示装置100通过装置切换S382执行视频呼叫时,可通过包括在移动装置301中的相机310获得用户的图像。在这种情况下,移动装置301可获得用户的图像,并且可将用户的图像发送到对应方装置302和显示装置100。此外,可选地,当显示装置100通过装置切换S382执行视频呼叫时,显示装置100可在完成装置切换之后通过相机155获得用户317的图像。
如上所述,视频呼叫屏幕(例如,311或321)可包括使用视频呼叫服务的用户和对应方的图像,并且与视频呼叫屏幕对应的图像信号可以是具有特定分辨率的图像信号。
此外,包括在视频呼叫屏幕中的图像信号可包括作为与用户的图像对应的图像信号的用户图像信号和作为与对应方的图像对应的图像信号的对应方图像信号。
因为用于提供视频呼叫服务的电子装置,例如显示装置100,应该可视地输出视频呼叫屏幕,所以电子装置包括显示器。可能存在电子装置在接收视频呼叫请求之前正显示某些内容的情况。在这种情况下,需要提供一种处理视频呼叫请求的方法。
然而,当用户的电子装置在显示多条内容的同时接收视频呼叫请求时,没有定义(i)电子装置是否应该停止显示多条内容,(ii)应该停止多条内容中的哪个,或者(iii)应该使用在其上已显示了多条内容的多个部分屏幕中的哪个来输出视频呼叫屏幕。
因此,本公开的实施例使得同时显示多条内容的电子装置能够提供视频呼叫服务,同时提高用户满意度。
将参照图4至图25详细描述当在显示多视图屏幕110的同时接收到视频呼叫请求时由根据本公开的实施例的显示装置执行的操作。
图4是示出根据本公开的实施例的显示装置的示图。
参照图4,显示装置500可与图1a至图3的显示装置100对应。因此,当描述显示装置500的操作时,将省略与参照图1a至图3所做的描述相同的描述。
参照图4,显示装置500包括处理器410、显示器420、视频处理单元425和通信接口415。在图4中,尽管处理器410、显示器420、视频处理单元425和通信接口415被彼此连接,但是处理器410、显示器420、视频处理单元425和通信接口415中的至少两个可被直接或间接地彼此连接。
处理器410通过执行至少一个指令来控制将被执行的预期操作。至少一个指令可被存储在包括在处理器410中的存储器(未示出)中,或者被存储在包括在显示装置500中的与处理器410分离的存储器(未示出)中。
详细地,处理器410可通过执行至少一个指令来控制包括在显示装置500中的至少一个元件以执行预期操作。因此,即使当处理器410执行某些操作时,也可意指处理器410控制包括在显示装置500中的至少一个元件来执行某些操作。此外,尽管处理器410包括一个处理器,但是处理器410可包括多个处理器。
显示器420向屏幕输出图像。详细地,显示器420可通过包括在其中的显示面板(未示出)输出与视频数据对应的图像,使得用户在视觉上识别视频数据。视频数据可与解码的图像信号对应。
在本公开的实施例中,显示器420可输出多视图屏幕。此外,显示器420可通过包括在多视图屏幕中的至少一个部分屏幕来输出视频呼叫屏幕。
通信接口415可执行与至少一个外部电子装置、服务器和/或广播站的通信。至少一个外部电子装置可以是移动装置301、对应方装置302和/或通过连接端子可连接的外部存储介质。
详细地,通信接口415可从各种数据源接收数据。例如,通信接口415可接收多条内容。详细地,通信接口415可从广播站、互联网服务器、内容提供商服务器等接收与多条内容对应的多个图像信号。例如,多个图像信号中的每个可以是广播流信号、传输流(TS)或视频流信号。将参照图5详细描述通信接口415的配置。
视频处理单元425可处理视频数据的图像。详细地,视频处理单元425可处理由显示装置500接收的视频数据,例如,图像信号。视频处理单元425可对视频数据执行各种图像处理,诸如解码、缩放、噪声滤波、帧率转换和分辨率转换。
在本公开的实施例中,视频处理单元425可包括多个解码器(未示出),并且可通过多个解码器(未示出)单独地对多条内容进行解码。详细地,多个解码器(未示出)可分别对与多条内容对应的多个图像信号进行解码。一组多个解码器可被称为“多解码器”。
详细地,显示装置500可包括两个或更多个解码器,并且两个或更多个解码器可单独地对与多条内容对应的多个图像信号进行解码。此外,包括在显示装置500中的多个解码器(未示出)可与不同的分辨率对应。例如,显示装置500可包括4K解码器(未示出)和2K解码器(未示出)。4K解码器可对与具有4K或更小的分辨率的图像对应的图像信号进行解码。此外,2K解码器可对与具有2K或更小的分辨率的图像对应的图像信号进行解码。此外,多个解码器中的每个可同时对至少一个图像信号进行解码。例如,2K解码器可通过时分同时对均具有2K分辨率的两个图像信号进行解码。
为了显示多视图屏幕,处理器410可管理多个解码器以适当地对与包括在多视图屏幕中的多条内容对应的多个图像信号进行解码。
在本公开的实施例中,处理器410通过执行至少一个指令来控制显示器420通过包括在多视图屏幕(图4中未示出)(例如,图1a的多视图屏幕110)中的多个部分屏幕输出通过视频处理单元425被单独解码的多条内容。处理器410基于视频呼叫请求从多条内容中识别至少一条内容。详细地,处理器410可响应于视频呼叫请求,从多条内容中识别具有与视频呼叫屏幕对应的分辨率的至少一条内容。
随后,处理器410控制显示器420通过包括在多视图屏幕中的多个部分屏幕中的与所识别的至少一条内容对应的至少一个部分屏幕来输出视频呼叫屏幕。
例如,处理器410可包括上述多视图应用。处理器410的多视图应用可基于视频呼叫请求从输出到多视图屏幕的多条内容中识别至少一条内容。多视图应用可控制显示器420通过与所识别的内容对应的部分屏幕来输出视频呼叫屏幕。
表述“单独解码”可意指与多条内容对应的多个图像信号中的每个被独立地解码。也就是说,与多条内容对应的多个图像不被集成和解码为一个图像。
此外,“视频呼叫请求”可以是用于请求开始或执行视频呼叫服务的控制信号。可基于显示装置500的用户输入来生成视频呼叫请求。可选地,可从想要与显示装置500或请求装置切换的移动装置301执行视频呼叫的对应方装置302接收视频呼叫请求。
此外,“与视频呼叫屏幕对应的分辨率”可指与视频呼叫屏幕对应的图像信号的分辨率。可选地,“与视频呼叫屏幕对应的分辨率”可指与构成视频呼叫屏幕的多个图像(例如,用户的图像和对应方的图像)中的每个对应的分辨率。
例如,当接收到与整个视频呼叫屏幕对应的图像信号时,图像信号可以是具有1K、2K、4K或8K分辨率的图像信号。
在另一示例中,当接收到构成视频呼叫屏幕的与用户的图像对应的用户图像信号和与对应方的图像对应的对应方图像信号时,用户图像信号和对应方图像信号中的每个可以是具有1K、2K、4K或8K分辨率的图像信号。用户图像信号和对应方图像信号可具有相同的分辨率或者可具有不同的分辨率。
详细地,处理器410可包括存储从显示装置500的外部输入的信号或数据或者被用作由显示装置500执行的各种操作的存储器的随机存取存储器(RAM)(未示出)、存储用于控制显示装置500的控制程序和/或多个指令的只读存储器(ROM)(未示出)、以及至少一个处理器(未示出)。处理器(未示出)可包括用于对视频进行图形处理的图形处理单元(未示出)。处理器(未示出)可被实现为集成了核(未示出)和GPU(未示出)的片上系统(SoC)。此外,处理器410可包括单核或多核。例如,处理器410可包括双核、三核、四核、六核、八核、十核、十二核、十六核等。
此外,处理器410可响应于视频呼叫请求而发起与对应方装置302的视频呼叫服务。如上所述,可通过显示装置500的视频呼叫功能或用于提供视频呼叫服务的应用来执行视频呼叫。例如,用于提供视频呼叫服务的应用可被称为视频呼叫应用。
详细地,处理器410可存储视频呼叫应用。可选地,视频呼叫应用可与包括在处理器410中的至少一个处理器对应。此外,视频呼叫应用可通过应用商店(例如,Play StoreTM)被在线分发(例如,下载或上传)。当在线分发时,可通过制造商的服务器、应用商店的服务器或中继服务器来分发视频呼叫应用。
例如,视频呼叫应用可被安装在移动装置201、对应方装置202和显示装置500中的至少两个中,并且可通过使用视频呼叫应用在两个装置之间执行视频呼叫。
图5是示出根据本公开的另一实施例的显示装置的示图。图5的显示装置500可与图4的显示装置500对应。因此,当描述显示装置500时,将省略与参照图4进行的描述相同的描述。
参照图5,与显示装置500相比,显示装置500还可包括相机440、存储器470、用户接口450和音频输入/输出单元465中的至少一个。
参照图5,通信接口415可包括图像输入单元417和通信单元430。详细地,在通信接口415中,用于接收用于显示图像的数据源的配置可被分类为图像输入单元417,并且通过无线通信网络与位于远距离位置的外部电子装置可通信的配置可被分类为通信单元430。
图像输入单元417可从各种数据源接收数据。例如,图像输入单元417可包括用于接收通过广播到来的直播流的调谐器(未示出)、用于播放视频的通用串行总线(USB)连接端口(未示出)、用于接收外部输入的高清晰度多媒体接口(HDMI)连接端口(未示出)以及组件(未示出)。
此外,图像输入单元417可接收具有各种格式的输入数据。通过图像输入单元417接收的数据的格式可具有RGBA和YUV格式。此外,图像输入单元417可接收具有各种格式的多个输入数据(详细地,图像资源)。
通信单元430通过至少一个有线或无线通信网络与外部电子装置(未示出)执行通信。在本公开的实施例中,通信单元430可与移动装置301和对应方装置302中的至少一个通信。此外,通信单元430也可与服务器(图5中未图示)(例如,图7的服务器700)进行通信以将某些数据发送到移动装置301和对应方装置302中的至少一个或者从移动装置301和对应方装置302中的至少一个接收某些数据。此外,通信单元430可与内容提供服务器和互联网服务器进行通信。
通信单元430可通过通信网络391与外部装置(例如,移动装置301、对应方装置302以及服务器(未图示)中的至少一个)进行通信。详细地,通信单元430可包括至少一个通信模块和通信电路,并且可通过通信模块和/或通信电路向外部装置发送数据和从外部装置接收数据。
详细地,通信单元430可包括根据通信标准(诸如蓝牙、Wi-Fi、蓝牙低功耗(BLE)、近场通信(NFC)/射频识别(RFID)、Wi-Fi直连、超宽带(UWB)或Zigbee)执行通信的至少一个短程通信模块(未示出)。
此外,通信单元430还可包括根据远程通信标准与用于支持远程通信的服务器(未示出)执行通信的远程通信模块(未示出)。详细地,通信单元430可包括通过用于互联网通信的网络执行通信的远程通信模块(未示出)。此外,通信单元430可包括符合通信标准(诸如3G、4G和/或5G)的通信网络。
用户接口450可接收用于控制显示装置500的用户输入。例如,用户接口450可从用户接收视频呼叫请求。
用户接口450可包括用户输入装置,用户输入装置包括但不限于检测用户的触摸的触摸面板、接收用户的按压操作的按钮、接收用户的旋转操作的滚轮、键盘和圆顶开关。
此外,用户接口450可包括用于语音识别的语音识别装置(未示出)。例如,语音识别装置(未示出)可以是麦克风,并且语音识别装置可接收用户的语音命令或语音请求。因此,处理器410可控制与将被执行的语音命令或语音请求对应的操作。
此外,用户接口450可包括运动检测传感器(未示出)。例如,运动检测传感器(未示出)可检测显示装置3100的运动,并且可接收检测到的运动作为用户输入。此外,语音识别装置(未示出)和运动检测传感器(未示出)可不被包括在用户接口450中,而是可被包括在显示装置500中作为独立于用户接口450的模块。
此外,用户接口450可通过遥控器等接收用户输入。在这种情况下,用户接口450可包括用于从遥控器(未示出)接收与用户输入对应的信号的通信模块。例如,当遥控器(未示出)发送与用户输入对应的红外(IR)信号时,用户界面450可包括用于接收IR信号的通信模块(未示出)。
此外,当显示装置500和外部移动装置301彼此被无线连接时,用户接口450可接收通过移动装置301的触摸面板(未示出)接收的用户输入。
可选地,通过移动装置301的触摸面板(未示出)接收的用户输入可通过显示装置500的通信单元430被接收,并且可被发送到处理器410。例如,当显示装置500和外部移动装置301通过Wi-Fi网络或蓝牙网络彼此被无线连接时,可通过通信单元430的Wi-Fi通信模块(未示出)或蓝牙通信模块(未示出)接收通过移动装置301的触摸面板(未示出)接收的用户输入。
相机440可包括图像传感器(未示出),并且可在视频呼叫模式或成像模式中通过图像传感器获得图像帧(诸如静止图像或运动图像)。在本公开的实施例中,当接收到视频呼叫请求时,可激活相机440。因此,激活的相机440可获得请求视频呼叫的用户的图像。
详细地,相机440可根据设置的每秒帧数(FPS)以特定时间间隔获得图像帧。例如,相机440可每秒获得30个图像帧。因此,由相机440获得的第一图像可指连续获得和更新的一组图像或图像中的每个图像。
此外,显示装置500可包括一个相机。此外,显示装置500可包括位于不同位置的多个相机。当显示装置500包括多个相机时,显示装置500可允许用户基于用户输入或显示装置500的设置来选择多个相机中的任何一个用于视频呼叫。
此外,用于获得用户的图像的相机可与显示装置500分离地设置,而不是被包括在显示装置500中。例如,相机可以是位于显示装置500的侧表面上或与显示装置500相邻的外部相机(未示出),以便获得显示装置500的前表面的图像。在这种情况下,外部相机(未示出)和显示装置500可通过有线/无线信号线被彼此连接,并且外部相机(未示出)可在显示装置500的控制下获得用户在视频呼叫中的图像。
为了便于说明,将假设用于获得用于视频呼叫的用户的图像的相机被包括在显示装置500中来描述以下内容。
存储器470可存储至少一个指令。此外,存储器470可存储由处理器410执行的至少一个指令。此外,存储器470可存储由处理器410执行的至少一个程序。此外,存储器470可存储用于提供特定服务的应用。例如,存储器470可存储视频呼叫应用。
详细地,存储器470可包括闪存型存储介质、硬盘型存储介质、多媒体卡微型存储介质、卡型存储器(例如,SD或XD存储器)、RAM、静态RAM(SRAM)、ROM、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)、磁存储器、磁盘和光盘中的至少一种类型的存储介质。
音频输入/输出单元465可输出可由用户可听见地识别的音频,或者可检测和/或接收音频。详细地,音频输入/输出单元465可包括音频输出单元460和音频输入单元467。
音频输出单元460在处理器410的控制下输出音频。
详细地,音频输出单元460可输出通过通信单元430输入的音频(例如,语音或声音)。
在本公开的实施例中,处理器410可在视频呼叫模式期间控制从视频呼叫的对应方装置302接收的音频通过音频输出单元460被输出。
此外,音频输出单元460可在处理器410的控制下输出存储在存储器470中的音频。音频输出单元460可包括扬声器(未示出)、耳机输出端口(未示出)或索尼/飞利浦数字接口(S/PDIF)输出端口(未示出)中的至少一个。音频输出单元460可包括扬声器(未示出)、耳机输出端口(未示出)和索尼/飞利浦数字接口(S/PDIF)输出端口(未示出)的组合。
音频输入单元467接收音频。详细地,音频输入单元467可包括麦克风(未示出),该麦克风接收作为外部声音信号的音频,并将音频处理成电语音数据。例如,包括在音频输入单元467中的麦克风(未示出)可从外部装置或说话者(例如,参与视频呼叫的用户)接收声音信号。此外,包括在音频输入单元467中的麦克风(未示出)可使用各种噪声去除算法来去除在接收外部声音信号的处理中发生的噪声。
在本公开的实施例中,音频输入单元467可在视频呼叫模式期间接收包括用户语音的声音信号,并且可在处理器410的控制下通过去除接收到的声音信号中的噪声来处理将被识别的用户语音。
图6是示出根据本公开的另一实施例的显示装置的示图。图6的显示装置600可与参照图1a至图5描述的根据本公开的实施例的显示装置100、400或500对应。因此,当描述显示装置600时,将省略与参照图1a至图5进行的描述相同的描述。
详细地,图6的显示装置600中包括的处理器680、显示器615、视频处理单元610、相机单元662、存储器690、音频输出单元625和麦克风661可与图5的显示装置500中包括的处理器410、显示器420、视频处理单元425、相机440、存储器470、音频输出单元460和音频输入单元467对应。
此外,图9的调谐器单元640和输入/输出单元670可与图5的图像输入单元417对应。
视频处理单元610处理由显示装置600接收的数据,例如视频数据。视频处理单元610可对视频数据执行各种图像处理,诸如解码、缩放、噪声滤波、帧率转换和分辨率转换。此外,视频处理单元610可被包括在处理器680中。
处理器680可接收针对由视频处理单元610处理的视频数据的记录请求,并且可控制视频数据被加密并被记录在包括在存储器690或处理器680中的存储器装置(未示出),例如RAM(未示出)上。
显示器615显示特定画面。具体地,显示器615可在处理器680的控制下在屏幕上显示包括在通过调谐器单元640接收的广播信号中的视频。此外,显示器615可显示通过通信单元650或输入/输出单元670输入的内容(例如,运动图像)。
此外,显示器615可在处理器680的控制下输出存储在存储器690中的图像。此外,显示器615可显示用于执行与语音识别对应的语音识别任务的语音用户界面(UI)(例如,包括语音命令指南的UI)或用于执行与运动识别对应的运动识别任务的运动UI(例如,包括用于运动识别的用户运动指南的UI)。
音频处理单元620处理音频数据。音频处理单元620可对音频数据执行各种处理(诸如解码或放大以及噪声滤波)。音频处理单元620可包括多个音频处理模块,以处理与多条内容对应的音频数据。
音频输出单元625在处理器680的控制下输出包括在通过调谐器单元640接收的广播信号中的音频。音频输出单元625可输出通过通信单元650或输入/输出单元670输入的音频(例如,语音或声音)。此外,音频输出单元625可在处理器680的控制下输出存储在存储器690中的音频。音频输出单元625可包括扬声器626、耳机输出端口627或S/PDIF接口输出端口628中的至少一个。音频输出单元625可包括扬声器626、耳机输出端口627和S/PDIF输出端口628的组合。
电源单元630在处理器680的控制下将从外部电源输入的电力供应到显示装置600中的元件(例如,610至690)。此外,电源单元630可在处理器680的控制下将从位于显示装置600中的一个或更多个电池(未示出)输出的电力供应给元件(例如,610至990)。
调谐器单元640可通过对通过有线或无线接收的广播信号执行放大、混合和/或谐振,从无线电波分量中仅调谐和选择将由显示装置600接收的频道的频率。广播信号包括音频、视频和附加信息(例如,电子节目指南(EPG))。
调谐器单元640可根据用户输入(例如,从例如遥控器的外部控制装置(未示出)接收的控制信号的输入,诸如EPG屏幕上的频道号输入、频道向上或向下输入、或频道输入)接收与频道号(例如,有线频道号506)对应的频带中的广播信号。
调谐器单元640可从各种源(诸如地面广播站、有线广播站、卫星广播站或互联网广播站)中的任何一个接收广播信号。调谐器单元640可从源(诸如模拟广播站或数字广播站)接收广播信号。通过调谐器单元640接收的广播信号被解码(例如,音频解码、视频解码或附加信息解码)并且被分离为音频、视频和/或附加信息。在处理器680的控制下,分离的音频、视频和/或附加信息可被存储在存储器690中。
显示装置600可包括一个或更多个调谐器单元640。根据实施例,当设置多个调谐器单元640时,可将多个广播信号输出到构成设置到显示器615的多视图屏幕的多个部分屏幕。
调谐器单元640可被实现为一体式调谐器、包括电连接到显示装置600的调谐器单元的单独装置(例如,机顶盒(未示出))或连接到输入/输出单元670的调谐器单元(未示出)中的任何一个。
通信单元650可在处理器680的控制下与外部电子装置(未示出)进行通信。处理器680可向通过通信单元650连接的外部装置发送内容/从通过通信单元650连接的外部装置接收内容,并且可从外部装置下载应用或者可执行网络浏览。详细地,通信单元650可被连接到网络并且可从外部装置(未示出)接收内容。此外,通信单元650可包括短程通信模块(未示出)、有线通信模块(未示出)和移动通信模块(未示出)中的至少一个。
在图6中,通信单元650包括无线局域网(LAN)651、蓝牙通信单元652和有线以太网653中的一个。
此外,通信单元650可包括模块组合,该模块组合包括无线LAN 651、蓝牙通信单元652和有线以太网653中的至少一个。此外,通信单元650可在处理器680的控制下接收控制装置(未示出)的控制信号。控制信号可被实现为蓝牙型信号、射频(RF)信号型信号或Wi-Fi型信号。
除了蓝牙之外,通信单元650还可包括另一短距离通信模块(例如,NFC)或单独的BLE模块。
检测单元660检测用户的语音、图像或交互。
麦克风661接收用户说出的语音。麦克风661可将接收到的语音转换为电信号,并且可将电信号输出到处理器680。用户的语音可包括与显示装置600的菜单或功能对应的语音。例如,从麦克风661到用户的位置的4m或更小的距离被推荐作为关于麦克风661的语音识别的范围,并且关于麦克风661的语音识别的范围可根据用户的语音的音量和周围环境(例如,扬声器声音或附近噪声)而变化。
麦克风661可被实现为相对于显示装置600的一个主体或单独的主体。当被实现为单独的主体时,麦克风661可通过通信单元6650或输入/输出单元670被电连接到显示装置600。
本领域普通技术人员将容易理解,根据显示装置600的性能和结构,可排除麦克风661。
相机单元662接收与相机识别范围内的包括姿势的用户的运动对应的图像(例如,连续帧)。例如,相机单元662的识别范围可在从相机单元662到用户的0.1m至5m的范围内。用户的运动可包括用户的身体部分(诸如用户的面部、面部表情、手、拳头或手指)的运动,或者用户的部分的运动。相机单元662可在处理器680的控制下将接收到的图像转换为电信号并且可将电信号输出到处理器680。
处理器680可通过使用接收到的运动的识别结果来选择由显示装置600显示的菜单,或者可执行与运动识别结果对应的控制。例如,可执行频道调整、音量控制和指示器移动。
相机单元662可包括镜头(未示出)和图像传感器(未示出)。相机单元662可通过使用多个镜头和图像处理来支持光学变焦或数字变焦。相机单元662的识别范围可根据相机的角度和周围环境条件被可变地设置。当相机单元662包括多个相机时,相机单元662可通过使用多个相机接收三维(3D)静止图像或3D运动。
相机单元662可被集成到显示装置600中或者与显示装置600分离。包括分离的相机单元662的分离的装置(未示出)可通过通信单元650或输入/输出单元670被电连接到显示装置600。
本领域普通技术人员将容易理解,根据显示装置600的性能和结构,可排除相机单元662。
光接收器663通过显示器615的边框的光学窗口(未示出)从外部控制装置(未示出)接收光信号(包括控制信号)。光接收器663可从控制装置(未示出)接收与用户输入(例如,触摸、按压、触摸姿势、语音或运动)对应的光信号。在处理器680的控制下,可从接收到的光信号中提取控制信号。
输入/输出单元670在处理器680的控制下从显示装置600的外部接收视频(例如,运动图像)、音频(例如,语音或音乐)和附加信息(例如,EPG)。输入/输出单元670可包括高清晰度多媒体接口(HDMI)端口671、组件插孔672、PC端口673和USB端口674中的一个。输入/输出单元670可包括HDMI端口671、组件插孔672、PC端口673和USB端口674的组合。
本领域普通技术人员将容易理解,输入/输出单元670的配置和操作可根据本公开的实施例而变化。
处理器680控制显示装置600的整体操作和显示装置600中的元件(未示出)之间的信号流,并处理数据。当存在用户输入或满足预设存储条件时,处理器680可执行存储在存储器690中的操作系统(OS)和各种应用。
处理器(未示出)可包括用于对视频进行图形处理的图形处理单元(未示出)。图形处理单元(未示出)通过使用计算单元(未示出)和渲染单元(未示出)生成包括各种对象(诸如图标、图像和文本)的屏幕。计算单元通过使用由检测单元(未示出)检测到的用户交互,根据屏幕的布局来计算将被显示的每个对象的属性值(诸如坐标值、形状、尺寸和颜色)。渲染单元基于由计算单元计算的属性值来生成包括对象的各种布局的屏幕。由渲染单元生成的屏幕被显示在显示器615的显示区域上。
图7是用于描述支持视频呼叫服务的服务器与显示装置之间的通信的示图。在图7中,由相同的附图标记表示与图1a至图5中的元件相同的元件。此外,图7的显示装置500可以是图1a至图4的显示装置100或400。
参照图7,服务器700可通过无线通信网络391与移动装置301、对应方装置302和显示装置500通信。
例如,服务器700可以是提供视频呼叫或视频呼叫服务的服务器,或者支持视频呼叫服务所需的通信的服务器。例如,移动装置301、对应方装置302和显示装置500中的至少两个可通过移动通信网络(诸如3G、4G、5G等)被连接,并且可在移动装置301或显示装置500与对应方装置302之间执行视频呼叫。在这种情况下,服务器700可以是支持根据通信标准(诸如3G、4G或5G的)的移动通信的通信服务器。
此外,移动装置301、对应方装置302和显示装置500也可通过互联网通信网络被连接。移动装置301、对应方装置302和显示装置500中的至少两个中的每个可通过在装置中提供视频呼叫服务的应用来执行视频呼叫。因此,移动装置301、对应方装置302和显示装置500可通过应用执行视频呼叫,或者可根据装置切换执行视频呼叫。在这种情况下,服务器700可以是支持用于提供视频呼叫服务的应用的服务器。详细地,服务器700可以是制造和/或分发应用的用户的服务器。
如上所述,执行视频呼叫所需的操作可通过使用服务器700的通信中继操作来执行。尽管图3中未示出服务器700的通信中继操作,但是服务器700的通信中继操作可被包括在两个不同装置之间发送和接收数据或信号中。详细地,服务器700可负责发送数据或信号,以支持视频呼叫服务的执行(或切换执行)。
例如,服务器700可执行将由显示装置500生成的用户图像信号发送到对应方装置的中继操作。此外,服务器700可将用于执行视频呼叫服务的各种数据和信号发送或传送到移动装置301、对应方装置302和显示装置500中的至少一个。
在以下描述中,即使当描述某些数据或信号从一个装置(例如,显示装置)被发送到另一装置(例如,对应方装置)时,也可包括通过服务器700的通信中继操作将某些数据或信号从一个装置(例如,显示装置)发送到另一装置(例如,对应方装置)以及将某些数据或信号直接从一个装置(例如,显示装置)发送到另一装置(例如,对应方装置)。
将参照图8至图25详细描述由根据本公开的实施例的显示装置103、400、500或600执行的操作。
图8是示出根据本公开的实施例的显示装置的操作方法的流程图。此外,图8的显示装置的操作方法800包括由根据本公开的实施例的显示装置(例如显示装置100、400、500或600)执行的操作。因此,当描述根据本公开的实施例的显示装置的操作方法800中包括的操作时,将省略与针对图1a至图7的显示装置100、400、500或600的操作进行的描述相同的描述。
将假设由图5的显示装置500执行显示装置的操作方法800来描述以下内容。
参照图8,可由显示包括多个部分屏幕的多视图屏幕的显示装置(例如,500)执行显示装置的操作方法800。
显示装置的操作方法800包括:通过包括在多视图屏幕中的多个部分屏幕输出被单独解码的多条内容(S810)。可由显示器420在处理器410的控制下执行操作S810。
基于在操作S810之后接收的视频呼叫请求,识别多条内容中的至少一条(S820)。详细地,操作S820可包括:响应于视频呼叫请求,从多条内容中识别具有与视频呼叫屏幕对应的分辨率的至少一条内容。可由处理器410执行操作S820。详细地,处理器410可确定在通过多视图屏幕输出的多条内容中是否存在具有与视频呼叫屏幕的分辨率对应的分辨率的内容。
可基于通过用户接口450输入的用户输入来接收视频呼叫请求。例如,显示装置500的用户可能想要在观看多视图屏幕的同时与他/她的朋友进行视频呼叫。然后,用户可通过显示装置500的用户接口450输入用于请求视频呼叫的用户输入。然后,处理器410可基于用户输入来识别已接收到视频呼叫请求。可选地,可从想要与显示装置500的用户进行视频呼叫的对应方的电子装置(例如,图3的302)接收视频呼叫请求。也就是说,可根据显示装置500的用户或对应方装置(例如,图3的302)的用户中的至少一个的请求来接收视频呼叫请求。
在本公开的实施例中,在操作S820中识别的内容可以是具有与视频呼叫屏幕的分辨率相同的分辨率的内容。
可选地,在操作S820中识别出的内容可以是通过多视图屏幕输出的多条内容中具有最低分辨率的内容。
可选地,在操作S820中识别出的内容可以是通过多视图屏幕输出的多条内容中的具有偏移分辨率的内容。
偏移分辨率可指具有预设值的分辨率。例如,可基于显示装置的设置、多视图应用的设置、视频呼叫应用的设置、显示装置的用户的设置、显示装置的制造商的设置、多视图应用的提供商的设置、以及视频呼叫应用的提供商的设置中的至少一个来确定偏移分辨率。
另外,偏移分辨率可被设置为指定值,也可被设置为相对值。
例如,根据多视图应用的设置,偏移分辨率可被设置为1K、2K、4K或8K中的任何一个。可选地,根据多视图应用的设置,偏移分辨率可被设置为通过多视图屏幕输出的多条内容的分辨率中的最低分辨率。可选地,根据多视图应用的设置,偏移分辨率可被设置为通过多视图屏幕输出的多条内容的分辨率中的最高分辨率。可选地,根据视频呼叫应用的设置,偏移分辨率可被设置为通过多视图屏幕输出的多条内容的分辨率中的最低分辨率。可选地,根据视频呼叫应用的设置,偏移分辨率可被设置为视频呼叫屏幕的分辨率值。可选地,根据视频呼叫应用的设置,偏移分辨率可被设置为通过多视图屏幕输出的多条内容的分辨率中的与视频呼叫屏幕的分辨率值相同或最相似(具有分辨率值之间的最小差异)的分辨率值。
可选地,在操作S820中识别出的内容可以是通过多视图屏幕输出的多条内容中的通过主屏幕输出的内容。
可选地,在操作S820中识别出的内容可以是通过多视图屏幕输出的多条内容中的通过预设部分屏幕输出的内容。
可选地,在操作S820中识别出的内容可以是通过多视图屏幕输出的多条内容中被最后播放的至少一条内容。
将参照图17至图25详细描述操作S820的识别操作。
详细地,当与视频呼叫屏幕对应的图像信号被接收为一个图像信号(在下文中,为了便于说明,称为“集成图像信号”)时,处理器410可从多条内容中识别具有与集成图像信号对应的分辨率的一条内容(S820)。将参照图17至图21详细描述在操作S820中识别一条内容的操作。
在另一示例中,当与视频呼叫屏幕对应的图像信号被接收为两个图像信号,也就是说,用户图像信号和对应方图像信号时,处理器410可从多条内容中识别具有与用户图像信号和对应方图像信号分别对应的分辨率的两条内容(S820)。将参照图22至图25详细描述在操作S820中识别两条内容的操作。
随后,显示装置的操作方法800包括:通过多个部分屏幕中与在操作S820中识别的至少一条内容对应的至少一个部分屏幕来输出视频呼叫屏幕(S830)。可由显示器420在处理器410的控制下执行操作S830。
根据本公开的实施例的显示装置及其操作方法,输出多视图屏幕的显示装置可在不结束或中断多视图屏幕的情况下一起提供视频呼叫服务。
详细地,根据基于本公开的实施例的显示装置及其操作方法,视频呼叫服务还可在不结束或中断多视图屏幕的情况下被提供,从而提高用户满意度。
详细地,根据基于本公开的实施例的显示装置及其操作方法,在输出多视图屏幕的同时接收视频呼叫请求的显示装置可在继续输出多视图屏幕的同时提供视频呼叫服务,以提高用户满意度。因此,可提高用户满意度和用户便利性。
图9是示出根据本公开的另一实施例的显示装置的操作方法的流程图。此外,图9的显示装置的操作方法900包括由根据本公开的实施例的显示装置(例如显示装置100、400、500或600)执行的操作。此外,图9的显示装置的操作方法900可以是显示装置的操作方法800的更详细描述。
当描述显示装置的操作方法900时,由相同的附图标记表示与显示装置的操作方法800的操作相同的操作,因此将省略重复的描述。将假设由图5的显示装置500执行显示装置的操作方法900来描述以下内容。
参照图9,操作S830可包括操作S831、操作S832和操作S833。
详细地,在显示装置的操作方法900中,输出视频呼叫屏幕的操作S830可包括操作S831、操作S832以及操作S833,其中,在操作S831中,包括在显示装置500中的至少一个解码器(未示出)停止对在操作S820中识别的至少一条内容进行解码,在操作S832中,已停止解码的解码器(未示出)对与视频呼叫屏幕对应的图像信号进行解码,在操作S833中,基于在操作S833中解码的图像信号,通过其上已输出识别的至少一条内容的至少一个部分屏幕来输出视频呼叫屏幕。
将参照图10详细描述操作S831、操作S832和操作S833。
图10是示出根据本公开的另一实施例的显示装置的示图。详细地,图10是示出图5的显示装置500的视频处理单元425的详细示图。此外,在图10的显示装置500中,包括在图5的显示装置500中的元件中的不需要附加解释的元件未被示出。
参照图10,视频处理单元425可对视频数据执行图像处理。详细地,显示装置500可通过通信接口415接收与多条内容对应的多个图像信号。图10中的“服务提供商”可以是提供通过显示装置500显示的内容的服务器、电子装置或广播站。
一起参照图1a和图10,服务提供商1011可提供作为与音乐节目对应的广播内容的第一内容,服务提供商1012可提供作为与足球比赛对应的广播内容的第二内容,服务提供商1013可提供作为与不是实时广播或实况广播的足球比赛对应的视频流内容的第三内容,并且服务提供商1014可提供作为由门户站点提供的互联网内容的第四内容。
通信接口415可通过通信网络391接收与第一内容对应的第一图像信号、与第二内容对应的第二图像信号、与第三内容对应的第三图像信号和与第四内容对应的第四图像信号。
在处理器410的控制下,由通信接口415接收的图像信号可被发送到视频处理单元425并且被视频处理单元425解码。
视频处理单元425可对视频数据执行图像处理。详细地,视频处理单元425可对输入图像信号进行解复用,可对解复用的图像信号进行解码,并且可将解码的图像信号缩放为将从显示器420被输出的图像帧。因此,输入到视频处理单元425的多个图像信号可被输出为在多个部分屏幕上显示的多个图像。
详细地,视频处理单元425可包括解复用器1020、多解码器1030和缩放器1040。
详细地,以流为形式,被复用,并且根据特定编解码器(或标准)被压缩的图像信号可被显示装置500接收。因此,视频处理单元425可接收被复用、压缩和生成为流的图像信号,可对输入图像信号进行解复用和解压缩,并且可将其输出为可在显示器420上显示的具有RGB或YUV格式的图像数据。
解复用器1020可接收多个图像信号,并且可对多个图像信号中的每个进行解复用。详细地,解复用器1020可包括被并联连接的多个解复用器1021、1022、1023和1024。每个解复用器可对一个图像信号进行解复用。
多解码器1030可包括多个解码器。详细地,多解码器1030可包括具有不同分辨率的多个解码器。术语“具有特定分辨率的解码器”可指能够对具有特定分辨率的图像信号进行解码的解码器。也就是说,“具有特定分辨率的解码器”可指支持处理具有特定分辨率的图像信号的解码器。
包括在多解码器1030中的解码器的数量和规格可根据显示装置500的产品规格、产品等级、发行年份等以各种方式变化。此外,解码器的规格可根据可处理的比特率、可支持的分辨率、可支持的编解码器(例如,HEVC、H.264或MEPG)等变化。包括在多解码器1030中的各个解码器可被设计为根据至少一个编解码器对压缩进行解压缩,或者可支持多个编解码器的解压缩。
此外,包括在视频处理单元425中的解复用器1020、多解码器1030和缩放器10740的详细配置和布置可根据产品规格、产品等级等而变化。
例如,多解码器1030可包括用于对具有4K分辨率的图像信号进行解码的4K解码器1031、用于对具有2K分辨率的图像信号进行解码的两个2K解码器1032和1033以及软件(SW)解码器1034。
此外,4K解码器1031可对具有4K或更小的分辨率的图像信号进行解码。2K解码器1032和1033可对具有2K或更小的分辨率的图像信号进行解码。SW解码器1034可被设计为执行软件解码,并且执行与各种编解码器对应的解码。
此外,包括在多解码器1030中的多个解码器中的每个可通过使用时分来对两条或更多条内容进行解码。例如,可通过使用一个2K解码器1032对与两条2K内容对应的两个图像信号进行解码。
通过多解码器1030解码的图像信号可被缩放器1040缩放,并且可被输出到显示器720。详细地,缩放器1040可将解码的图像信号缩放为从显示器720输出的图像帧。
返回参照图1a,假设第一内容是4K内容,因此第一图像信号作为4K图像信号被发送;第二内容是2K内容,因此,第二图像信号作为2K图像信号被发送;第三内容是2K内容,因此,第三图像信号作为2K图像信号被发送,并且第四内容是1K内容,因此,第四图像信号作为1K图像信号被发送。
一起参照图1a和图10,在上述示例中,由4K解码器1031对与4K内容对应的第一图像信号进行解码。由2K解码器1032对与2K内容对应的第二图像信号进行解码。由2K解码器1033对与2K内容对应的第二图像信号进行解码。由SW解码器1033对与作为1K内容的第四内容对应的图像信号进行解码。
缩放器1040可接收解码的第一图像信号、解码的第二图像信号、解码的第三图像信号和解码的第四图像信号,并且可将每个图像信号缩放为与包括在多视图屏幕110中的多个分区屏中的每个分区屏对应的图像帧。例如,缩放器1040可将解码的第一图像信号缩放为与第一部分屏幕120对应的第一图像帧,可将解码的第二图像信号缩放为与第二部分屏幕130对应的第二图像帧,可将解码的第三图像信号缩放为与第三部分屏幕140对应的第三图像帧,并且可将解码的第四图像信号缩放为与第四部分屏幕150对应的第四图像帧。
此外,缩放器1040可将缩放后的第一图像帧至第四图像帧混合,并且可生成并输出与多视图屏幕110对应的图像帧。可选地,缩放器1040可不将由缩放器104缩放的第一图像帧至第四图像帧混合,并且可通过显示器4520的分区部分屏幕按原样输出缩放的第一图像帧至第四图像帧。因此,显示器420可显示图1a的多视图屏幕110。
如上所述,当在显示多视图屏幕110的同时接收到视频呼叫请求时,显示装置500可通过执行操作S820来识别至少一条内容。
通过操作S820的识别操作,显示装置500可确保对视频呼叫屏幕进行解码所需的硬件和软件资源。
将假设在操作S820中识别的内容是第一内容来描述以下内容。然后,处理器410可停止对第一内容进行解码(S831)。详细地,因为由4K解码器1031对第一内容进行解码,所以4K解码器1031停止对第一内容进行解码。因此,4K解码器1031可对除了第一图像信号之外的信号进行解码,例如,与视频呼叫屏幕对应的图像信号。也就是说,当显示装置500停止对第一图像信号进行解码时,可确保用于视频呼叫屏幕的解码所需的硬件和/或软件资源(例如4K解码器1031)的使用。也就是说,显示装置500可通过使用已停止对所选择的内容的图像信号进行解码的解码器来执行对于视频呼叫屏幕的解码。
随后,已停止对第一内容进行解码的4K解码器1031可对与视频呼叫屏幕对应的图像信号进行解码(S833)。
因此,可基于通过4K解码器1031解码的图像信号,通过在其上已输出了在操作S820中识别的内容(例如第一内容)的部分屏幕(例如第一部分屏幕120)输出视频呼叫屏幕(未示出)。
如参照图10所述,在根据本公开的实施例的显示装置和操作方法中,当在输出多视图屏幕的同时接收到视频呼叫请求时,可基于视频呼叫请求来识别输出到多视图屏幕的多条内容中的至少一条内容,并且可管理包括在显示装置中的解码器资源,使得视频呼叫屏幕被输出到在其上已输出所识别的内容的部分屏幕。因此,在根据本公开的实施例的显示装置和操作方法中,输出多视图屏幕的显示装置可在不结束或中断多视图屏幕的情况下一起提供视频呼叫服务。
图11是示出根据本公开的实施例的由显示装置显示的用户界面屏幕的视图。在图11中,四条内容被单独地解码并通过具有图2的布局245的多视图屏幕输出。此外,包括在图11的多视图屏幕1100中的第一内容至第四内容与图1a或图1b的第一内容至第四内容对应。详细地,多视图屏幕1100可与图1b的多视图屏幕111对应。因此,当描述图11的多视图屏幕1100时,将省略与针对图1b的多视图屏幕111进行的描述相同的描述。
在本公开的实施例中,在操作S820中识别的内容可以是具有与视频呼叫屏幕的分辨率相同的分辨率的内容。
返回参照图8,操作S820还可包括根据视频呼叫请求确定(未示出)是否存在具有与视频呼叫屏幕对应的分辨率的至少一条内容,并且当不存在具有与视频呼叫屏幕对应的分辨率的至少一条内容时,执行(未示出)语音呼叫切换处理。将参照图8和图11描述操作S820的实施例。
详细地,当根据视频呼叫请求的视频呼叫屏幕具有8K分辨率时,视频呼叫请求可以是用于显示具有8K分辨率的视频呼叫屏幕的请求。例如,视频呼叫请求可包括关于所请求的视频呼叫屏幕的分辨率的信息。在这种情况下,处理器410可基于包括在视频呼叫请求中的分辨率信息(具体地,关于所请求的视频呼叫屏幕的分辨率的信息),确定在通过包括在多视图屏幕1100中的多个部分屏幕输出的多条内容中是否存在与8K分辨率对应的内容。像在图1b中一样,通过多视图屏幕1100的第一部分屏幕1111输出的第一内容可以是4K内容,通过第二部分屏幕1112输出的第二内容可以是2K内容,通过第三部分屏幕1113输出的第三内容可以是2K内容,并且通过第四部分屏幕1114输出的第四内容可以是1K内容。
在以上示例中,因为视频呼叫屏幕的分辨率是8K,所以不存在具有与视频呼叫屏幕的分辨率相同的分辨率的内容。在这种情况下,在保持视频呼叫屏幕的分辨率的同时,视频呼叫屏幕可不被输出到部分屏幕。也就是说,不存在将在其上以8K分辨率输出具有8K分辨率的视频呼叫屏幕的部分屏幕。在这种情况下,因为没有反映想要接收高质量(具体地,高分辨率)视频呼叫服务的用户的需求,所以处理器410可不提供视频呼叫服务。
如上所述,当不存在具有与视频呼叫屏幕的分辨率相同的内容的内容时,处理器410可执行语音呼叫切换处理。语音呼叫切换处理可以是用于在确定响应于视频呼叫请求而不能提供视频呼叫服务时提供语音呼叫服务而不是视频呼叫的处理。
处理器410可基于用户输入来执行语音呼叫切换处理。
参照图11,如上述示例,当不存在具有与视频呼叫屏幕的分辨率相同的分辨率的内容时,处理器410可显示用于执行语音呼叫切换处理的用户界面菜单1130。在图11中,用户界面菜单1130被显示为多视图屏幕1100的部分中的透明文本窗口。此外,可以以各种方式确定用户界面菜单1130的尺寸、位置、透明度和/或形状。
当通过用户界面菜单1130选择菜单“是”1131的用户输入时,处理器410可将视频呼叫请求切换为语音呼叫并且可提供语音呼叫服务。当提供语音呼叫服务时,不存在将被输出的屏幕(例如,视频呼叫屏幕)。因此,处理器410可继续输出现有的多视图屏幕1100。此外,为了提供语音呼叫服务,处理器410可停止输出与通过多视图屏幕1100输出的多条内容中的至少一条内容对应的音频信号,并且可通过扬声器(例如,图5的460)输出与语音呼叫对应的音频信号。
可选地,处理器410可停止输出与通过多视图屏幕1100输出的多条内容中的至少一条内容对应的音频信号,并且可输出与每个内容的音频信号对应的字幕消息。例如,与第一内容的音频信号对应的字幕消息可被输出到第一部分屏幕1111。
当通过用户界面菜单1130接收到选择菜单“否”1132的用户输入时,处理器410可结束语音呼叫切换处理而不提供语音呼叫服务。详细地,当接收到选择菜单“否”1132的用户输入时,处理器410可继续输出多视图屏幕1100,而不提供语音呼叫和语音呼叫服务。
图12是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。在图12的多视图屏幕1200中,由相同的附图标记表示与图11的多视图屏幕1100的元件相同的元件。
在本公开的实施例中,在操作S820中识别的内容可以是具有与视频呼叫屏幕的分辨率相同的分辨率的内容。将假设视频呼叫屏幕的分辨率为8K来描述以下内容。
返回参照图8,操作S820可进一步包括:根据视频呼叫请求确定(未示出)是否存在具有与视频呼叫屏幕对应的分辨率的至少一条内容,并且当不存在具有与视频呼叫屏幕对应的分辨率的至少一条内容时,结束(未示出)视频呼叫处理。将参照图8和图12描述操作S820的另一实施例。
在以上示例中,因为视频呼叫屏幕的分辨率是8K,所以不存在具有与视频呼叫屏幕的分辨率相同的分辨率的内容。因此,处理器410可结束视频呼叫处理。详细地,处理器410可拒绝视频呼叫请求,并且可控制多视图屏幕1100被继续输出。
参照图12,当视频呼叫处理结束时,处理器410可在多视图屏幕1200上显示表述“已拒绝视频呼叫请求”或“不能提供视频呼叫服务”的消息窗口1230。在图12中,消息窗口1230被输出为非透明文本窗口。
图13是示出根据本公开的另一实施例的显示装置的操作方法的流程图。在图13中,由相同的附图标记表示与图8和图9中相同的操作。此外,图13的操作S829可与操作S820对应。因此,将省略与以上进行的描述相同的描述。此外,将假设由图5的显示装置500执行显示装置的操作方法1300来描述以下内容。
根据本公开的实施例的显示装置的操作方法1300还可包括:在操作S810之后,响应于视频呼叫请求,接收(S828)选择包括在多视图屏幕中的多个部分屏幕中的至少一个的用户输入。
详细地,操作S828可包括响应于视频呼叫请求而显示(未示出)用于选择多个部分屏幕中的至少一个的用户界面屏幕,并且接收(未示出)通过用户界面屏幕选择多个部分屏幕中的至少一个的用户输入。
显示装置的操作方法1300可包括基于在操作S828中接收的用户输入,从输出到多视图屏幕中包括的多个部分屏幕的多条内容中识别(S829)至少一条内容。可由处理器410执行操作S829。
将参照图15至图16详细描述基于用户输入识别内容的操作S829。
图14是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。在图14的多视图屏幕1400中,由相同的附图标记表示与图11的多视图屏幕1100的元件相同的元件。
在本公开的实施例中,当接收到视频呼叫请求时,处理器410可输出用于接收关于是否接受视频呼叫请求的用户输入的用户界面菜单1430。
用户界面菜单1430可以是用于通知已接收到视频呼叫请求并且接收连接请求或连接拒绝请求的用户界面菜单。当接收到选择菜单“是”1431的用户输入时,处理器410从输出到多视图屏幕1400的部分屏幕的多条内容中识别至少一条内容(S829)。识别内容的操作与操作S820中的操作相同,因此将省略详细描述。
当通过用户界面菜单1430接收到选择菜单“否”1432的用户输入时,处理器410可继续输出多视图屏幕1400,而不提供视频呼叫服务。
图15是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。在图15中,由相同的附图标记表示与图14中相同的元件。
图13的操作S828还可包括:响应于接受视频呼叫请求的用户输入(例如,选择图14的菜单“是”1431的用户输入),输出(未示出)用于选择包括在多视图屏幕1400中的多个部分屏幕中的至少一个的用户界面菜单。
详细地,参照图15,响应于选择菜单“是”1431的用户输入,处理器410可执行屏幕切换S1510以输出用户界面菜单1530。例如,处理器410可输出作为用户界面屏幕的指示部分屏幕选择的用户界面菜单1530。随后,处理器410可通过屏幕切换S1540输出用于部分屏幕选择的用户界面菜单1560。然后,用户可在用户界面菜单1560中选择视频呼叫屏幕将被输出到的部分屏幕。
当接收到用户的选择时,处理器410可将视频呼叫屏幕输出到由用户选择的部分屏幕。例如,当用户选择第一部分屏幕(显示区域“[1]”)时,处理器410可控制视频呼叫屏幕通过第一部分屏幕被输出。
例如,当通过第一部分屏幕输出的第一内容的分辨率和视频呼叫屏幕的分辨率相同时,处理器410可通过使用已对第一内容进行解码的解码器来对视频呼叫屏幕进行解码。
可选地,当通过第一部分屏幕输出的第一内容的分辨率和视频呼叫屏幕的分辨率彼此不同时,处理器410可放大或缩小与视频呼叫屏幕对应的图像信号的分辨率,使得与视频呼叫屏幕对应的图像信号的分辨率与已对第一内容进行解码的解码器的分辨率相同。增加将被输出的图像的分辨率可被称为放大,并且降低将被输出的图像的分辨率可被称为缩小。可由处理器410执行放大操作和缩小操作。处理器410可在放大操作或缩小操作之后控制视频处理单元425执行解码操作。
此外,对于放大或缩小,可使用人工智能(AI)缩放技术。详细地,AI缩放技术是指通过使用根据AI技术的神经网络来调整输入图像的尺寸或分辨率的技术。AI缩放技术可包括AI ScaleNet技术。详细地,AI ScaleNet技术是指通过基于深度学习的预处理和后处理,按原样使用标准编解码器并且在比特率约为参考编解码器一半的情况下具有同等的压缩性能的技术。预处理可包括编码,并且后处理可包括解码。
使用AI的缩放技术可被称为“AI编解码器”。在本公开的实施例中,处理器410可包括AI缩小器(未示出)和AI放大器(未示出),用于由其自身执行AI编解码器。此外,AI缩小器(未示出)和AI放大器(未示出)可被包括在图10的多解码器1030中包括的每个解码器中。
在以上示例中,当通过用户输入选择了第一部分屏幕并且通过第一部分屏幕输出的第一内容的分辨率与视频呼叫屏幕的分辨率不同时,处理器410可通过使用AI编解码器来放大或缩小与视频呼叫屏幕对应的图像信号,并且可通过使用已对第一内容进行解码的解码器来对放大或缩小的图像信号进行解码。因此,视频呼叫屏幕可被输出到在其上已输出第一内容的第一部分屏幕。
图16是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。在图16中,由相同的附图标记表示与图14和图15中相同的元件。
参照图16,在输出包括用户界面菜单1430的多视图屏幕1400之后,处理器410可通过屏幕切换S1610输出包括用于部分屏幕选择的用户界面菜单1560和用于屏幕布局改变的用户界面菜单1640的子窗口1630。
当用户想要通过包括在具有与当前多视图屏幕1400的布局不同的布局的多视图屏幕(例如,图2的241、242、245或246)中的至少一个部分屏幕输出视频呼叫屏幕时,用户可通过使用用于屏幕布局改变的用户界面菜单1640来改变屏幕布局,并且可选择包括在改变后的屏幕布局中的至少一个部分屏幕。然后,处理器410可通过改变后的布局中的至少一个选择的部分屏幕来输出视频呼叫屏幕。
图17是示出根据本公开的另一实施例的显示装置的操作方法的流程图。在图17的显示装置的操作方法1700中,由相同的附图标记表示与图8的显示装置的操作方法800的操作相同的操作,并且操作S822和操作S832可分别与图8的操作S820和操作S830对应。因此,将省略与以上进行的描述相同的描述。
将假设由图5的显示装置500执行显示装置的操作方法1700来描述以下内容。
如上所述,当接收到与整个视频呼叫屏幕对应的图像信号时,图像信号可以是具有1K、2K、4K或8K分辨率的图像信号。也就是说,与视频呼叫屏幕对应的图像信号可以是指示一个图像的图像信号,在该图像中包括用户图像和对应方图像两者。在这种情况下,图像信号可被完全解码并且可通过一个部分屏幕被输出。
因此,为了输出视频呼叫屏幕,需要包括在多视图屏幕中的一个部分屏幕,因此,仅识别一条内容就足够了。
参照图17,显示装置(例如,500)的操作方法1700可包括:基于在操作S810之后接收到的视频呼叫请求,从输出到包括在多视图屏幕中的多个部分屏幕的多条内容中识别一条内容(S822)。详细地,在操作S822中,可基于视频呼叫请求来识别一条内容。将参照图19至图21详细描述识别一条内容的操作。
可通过在其上已输出在操作S822中识别的内容的部分屏幕来输出视频呼叫屏幕(S839)。将参照图18详细描述操作S839。在以上示例中,可通过所识别的部分屏幕来显示视频呼叫屏幕。
为了便于说明,将假设在操作S822中识别的内容是“第一内容”并且已输出“第一内容”的部分屏幕是“第一部分屏幕”来描述以下内容。也就是说,在操作S822中,可基于视频呼叫请求识别通过多视图屏幕输出的多条内容中的第一内容。在操作S823中,可通过第一部分屏幕显示视频呼叫屏幕。
图18是示出根据本公开的另一实施例的显示装置的操作方法的流程图。当描述图18的显示装置的操作方法1800时,由相同的附图标记表示与图17的显示装置的操作方法1700的操作相同的操作,因此将省略重复的描述。
将假设由图5的显示装置500执行显示装置的操作方法1800来描述以下内容。
参照图18,图17的操作S839可包括操作S1831、操作S1832和操作S1833。操作S1831、操作S1832和操作S1833可分别与图9的操作S831、操作S832和操作S833对应,因此,将省略与参照图9进行的描述相同的描述。
详细地,在显示装置的操作方法1800中,输出视频呼叫屏幕的操作S839可包括操作S1831、操作S1832和操作S1833,其中,在操作S1831中,包括在显示装置500中的任何一个解码器(未示出)停止对在操作S822中识别的内容进行解码,在操作S1832中,已对所识别的内容进行解码的解码器(未示出)对与视频呼叫屏幕对应的图像信号进行解码,在操作S1833中,基于在操作S833中解码的图像信号通过在其上已输出所识别的内容的部分屏幕输出视频呼叫屏幕。“已对所识别的内容进行解码的解码器(未示出)”可指已停止解码的解码器。
返回参照图10,由4K解码器1031对与4K内容对应的第一图像信号进行解码。由2K解码器1032对与2K内容对应的第二图像信号进行解码。由2K解码器1033对与2K内容对应的第二图像信号进行解码。通过SW解码器1033对与作为1K内容的第四内容对应的图像信号进行解码。
在上述示例中,当在操作S822中识别的内容是第一内容时,由4K解码器1031对第一内容进行解码。因此,在操作S1831中,4K解码器1031可停止对第一内容进行解码,并且在操作S1832中,4K解码器1031可开始对与视频呼叫屏幕对应的图像信号进行解码。因此,可通过第一部分屏幕(具体地,其上已输出第一内容的部分屏幕)显示由4K解码器1031解码的图像信号(S1833)。
图19是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。在图19中,由相同的附图标记表示与图1中相同的元件。因此,将省略与以上进行的描述相同的描述。
在本公开的实施例中,操作S820可包括:基于视频呼叫请求,从通过多视图屏幕输出的多条内容中识别作为实时广播或实况广播的内容。
此外,操作S822可包括基于视频呼叫请求从通过多视图屏幕输出的多条内容中识别不是实时广播或实况广播的一条内容。这里,术语“实时广播或实况广播”可指根据时间发送内容并且提供仅可在特定时间被观看的内容的广播。此外,术语“非实时广播或非实况广播”是指独立于时间发送内容,并且提供可在用户意图的任何时间被再次观看或者可不管时间而被中断或播放的内容的广播。
例如,非实时广播或非实况广播内容可以是由因特网门户站点的搜索引擎和提供可在任何时间购买和观看的内容的服务器提供的内容。
也就是说,在操作S820或操作S822中,可从通过多视图屏幕输出的多条内容中识别可不管时间而在用户意图的任何时间再次观看的内容或者可不管时间而中断或播放的内容。
在图1的多视图屏幕110中,第三内容可以是从内容提供商的服务器接收的与足球比赛对应的视频流内容,而不是实时广播或实况广播,并且为了便于说明,由图标C141指示第三内容。此外,第四内容可以是从提供门户站点的网站服务器接收的互联网内容,并且为了便于说明,由图标D151指示第四内容。
因此,在操作S820或操作S822中,可识别作为非实时或非实况内容的第三内容和第四内容。此外,第三内容和第四内容中最容易被中断和重新执行的一条内容可被最终识别。例如,因为可在任何时间容易地重新执行从网站服务器接收的互联网内容(例如,搜索引擎),所以第四内容可被最终识别。
因此,在操作S830或操作S832中,可在其上输出所识别的内容(在上述示例中,第四内容)的第四部分屏幕150上显示视频呼叫屏幕。视频呼叫屏幕可包括对应方图像1910和用户图像1920。
此外,在本公开的实施例中,在操作S820中,可基于视频呼叫请求从通过多视图屏幕输出的多条内容中识别具有最低分辨率的内容。
此外,在操作S822中,可基于视频呼叫请求从通过多视图屏幕输出的多条内容中识别具有最低分辨率的一条内容。
在图1a的多视图屏幕110中,具有最低内容的内容可以是第四内容。因此,在操作S820或操作S822中,第四内容可被识别为具有最低分辨率的内容。因此,在操作S830或操作S832中,可在其上输出所识别的内容(在上述示例中,第四内容)的第四部分屏幕150上显示视频呼叫屏幕。也就是说,显示装置500可显示包括视频呼叫屏幕的多视图屏幕1900。
图20是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。在图20中,由相同的附图标记表示与图1a和图19中相同的元件。因此,将省略与上述的进行描述相同的描述。
在本公开的实施例中,操作S820可包括:当接收到视频呼叫请求时,基于用户输入识别至少一条内容。
此外,在操作S822中,可基于视频呼叫请求,基于用户输入来识别一条内容。
例如,当用户接收到视频呼叫请求时,用户可从多个部分屏幕中选择在其上输出第三内容的第三部分屏幕140。在操作S830或操作S832中,可识别与由用户选择的部分屏幕对应的第三内容。因此,在操作S830或操作S832中,可在其上输出所识别的内容(在上述示例中,第四内容)的第三部分屏幕140上显示视频呼叫屏幕。也就是说,显示装置500可显示包括视频呼叫屏幕的多视图屏幕2000。
图21是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。在图21中,由相同的附图标记表示与图1a和图19中相同的元件。因此,将省略与以上进行的描述相同的描述。
在本公开的实施例中,操作S820可包括:基于视频呼叫请求,识别具有与视频呼叫屏幕的分辨率相同的分辨率的至少一条内容。
此外,在操作S822中,可基于视频呼叫请求来识别具有与视频呼叫屏幕的分辨率相同的分辨率的一条内容。
例如,假设视频呼叫请求是用于显示具有4K分辨率的视频呼叫屏幕的视频呼叫请求。因为第一内容是4K内容,所以第一图像信号作为4K图像信号被发送;因为第二内容是2K内容,所以第二图像信号作为2K图像信号被发送;因为第三内容是2K内容,所以第三图像信号作为2K图像信号被发送;并且因为第四内容是1K内容,所以第四图像信号作为1K图像信号被发送。
在这种情况下,在操作S820或操作S822中,可识别作为具有与4K分辨率相同的分辨率的内容的第一内容,其中,4K分辨率是视频呼叫屏幕的分辨率。
因此,在操作S830或操作S832中,可在其上输出所识别的内容(在上述示例中,第一内容)的第一部分屏幕120上显示视频呼叫屏幕。也就是说,显示装置500可显示包括视频呼叫屏幕的多视图屏幕2100。
图22是示出根据本公开的另一实施例的显示装置的操作方法的流程图。图22是示出根据本公开的另一实施例的显示装置的操作方法的流程图。当描述图22的显示装置的操作方法2200时,由相同的附图标记表示与图8的显示装置的操作方法800中的操作相同的操作,并且此外,操作S825和操作S835可分别与图8的操作S820和操作S830对应。因此,将省略与以上进行的描述相同的描述。
将假设由图5的显示装置500执行显示装置的操作方法2200来描述以下内容。
如上所述,可发送构成视频呼叫屏幕的与用户图像对应的用户图像信号和与对应方图像对应的对应方图像信号。在这种情况下,视频呼叫请求可以是用于显示与对应方图像信号和用户图像信号分别对应的对应方图像和用户图像的视频呼叫请求。因此,当响应于视频呼叫请求提供视频呼叫服务时,需要通过两个不同的部分屏幕输出对应方图像和用户图像。
根据本公开的实施例,将参照图22至图24详细描述可通过两个不同的部分屏幕输出对应方图像和用户图像。
参照图22,显示装置(例如,500)的操作方法2200可包括:基于在操作S810之后接收到的视频呼叫请求,从输出到包括在多视图屏幕中的多个部分屏幕的多条内容中识别两条内容(S825)。
可通过与在操作S825中识别的两条内容对应的两个部分屏幕分别显示对应方图像和用户图像(S835)。
在操作S825中识别的两条内容中的一条可以是具有与对应方图像信号的分辨率相同的分辨率的内容,并且另一条可以是具有与用户图像信号的分辨率相同的分辨率的内容。
可选地,在操作S825中识别的两条内容可以是通过多视图屏幕输出的多条内容中具有最低分辨率的两条内容。可选地,在操作S825中识别的两条内容可以是由用户从通过多视图屏幕输出的多条内容中选择的两条内容。
可选地,在操作S825中识别的两条内容可以是从通过多视图屏幕输出的多条内容中按照具有最低分辨率的顺序选择的两条内容。
可选地,在操作S825中识别的两条内容可以是通过多视图屏幕输出的多条内容中的具有偏移分辨率的两条内容。
可选地,在操作S825中识别的两条内容可以是通过多视图屏幕输出的多条内容中的通过主屏幕和子屏幕输出的两条内容。
可选地,在操作S825中识别的两条内容可以是通过多视图屏幕输出的多条内容中的通过两个预设部分屏幕输出的两条内容。
可选地,在操作S825中识别的两条内容可以是通过多视图屏幕输出的多条内容中的最后播放的两条内容。
可选地,在操作S825中识别的两条内容可以是通过多视图屏幕输出的多条内容中的彼此相关的两条内容。“彼此相关的多条内容”可指通过多视图屏幕输出的多条内容中的输出相关图像的两条或更多条内容。
例如,“彼此相关的多条内容”可以是与体育比赛内容(诸如棒球)中的多个场景对应的多条内容。详细地,当一条内容是在棒球比赛中主要示出击球手的内容时,与该一条内容相关的另一条内容可以是在特定棒球比赛中主要示出接球手的内容、主要示出主教练的内容和/或主要示出观众的内容。在另一示例中,在内容转播特定表演的情况下,示出在表演中演出或表演的多个表演者的多条内容可以是彼此相关的多条内容。详细地,在特定的古典乐表演中,转播小提琴手的内容、转播大提琴手的内容、转播指挥的内容和/或转播钢琴演奏者的内容可以是彼此相关的多条内容。
例如,多视图屏幕可包括四个部分屏幕,并且通过四个部分屏幕中的两个部分屏幕输出的两条内容可以是彼此相关的多条内容。在这种情况下,在操作S825中识别的两条内容可以是彼此相关的两条内容。
当多视图屏幕中包括的多条内容中存在彼此相关的三条或更多条内容时,在操作S825,可从彼此相关的三条或更多条内容中选择两条。例如,处理器410可从彼此相关的多条内容中按照最后被接收的顺序选择两条内容。可选地,处理器410可从彼此相关的多条内容中以具有最低分辨率的顺序选择两条内容。可选地,处理器410可从彼此相关的多条内容中以具有最高分辨率的顺序选择两条内容。可选地,处理器410可从彼此相关的多条内容中选择具有与对应方图像的图像信号的分辨率和用户图像的图像信号的分辨率对应的分辨率的两条内容。
例如,当用于构成视频呼叫屏幕的用户图像信号和对应方图像信号分别具有超高清(UHD)分辨率和全高清(FHD)分辨率时,包括在处理器410中的多视图应用可从通过多视图屏幕输出的多条内容中识别具有UHD分辨率和FHD分辨率的两条内容。多视图应用可控制停止对所识别的两条内容的解码,并通过使用已停止解码的解码器对用户图像信号和对应方图像信号进行解码。
图23是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。在图23中,由相同的附图标记表示与图1a中相同的元件。因此,将省略与以上进行的描述相同的描述。
参照图22和图23,显示装置(例如,500)的操作方法2200可包括:基于在操作S810之后接收到的视频呼叫请求,从输出到多视图屏幕2300中包括的多个部分屏幕的多条内容中识别两条内容(S825)。
可通过与在操作S825中识别的两条内容对应的两个部分屏幕来显示对应方图像和用户图像(S835)。
例如,在操作S825中识别的两条内容中的一条可以是具有与对应方图像信号的分辨率相同的分辨率的内容,而另一条可以是具有与用户图像信号的分辨率相同的分辨率的内容。例如,因为第三内容是2K内容,所以第三图像信号作为2K图像信号被发送,并且因为第四内容是1K内容,所以第四图像信号作为1K图像信号被发送。假设对应方图像信号是具有2K分辨率的图像信号,并且用户图像信号是具有1K分辨率的图像信号。在这种情况下,在操作S825中,可识别具有与对应方图像信号和用户图像信号的分辨率对应的分辨率的第三内容和第四内容。
因此,在操作S835中,可通过在其上输出所识别的第三内容的第三部分屏幕来显示对应方图像2310,并且可通过在其上输出所识别的第四内容的第四部分屏幕来显示用户图像2320。
图24是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。
参照图24,包括四个部分屏幕的多视图屏幕2400可包括主屏幕2410和一个或更多个子屏幕2420、2430和2440。
在上述示例中,在操作S825中识别的两条内容可以是通过多视图屏幕输出的多条内容中的通过主屏幕和子屏幕输出的两条内容。例如,可识别通过主屏幕2410输出的内容和通过子屏幕2420、2430和2440中的任何一个输出的内容。此外,当存在多个子屏幕时,可识别通过最上方的子屏幕或最左侧的部分屏幕输出的内容。
被提供视频呼叫服务的用户通常可能想要以大尺寸查看对应方的图像,并且可能想要以小尺寸查看用户的图像。因此,在操作S825中识别的两条内容可以是通过多视图屏幕输出的多条内容中的通过主屏幕和子屏幕输出的两条内容。可通过主屏幕显示对应方的图像,并且可通过子屏幕显示用户的图像。
参照图24,可在其上已输出在操作S825中识别的两条内容的主屏幕2410和子屏幕(例如,2420)上分别显示对应方图像和用户图像。因此,可输出在主屏幕2410上显示对应方图像并且在子屏幕(例如,2420)上显示用户图像的多视图屏幕2400。
图25是示出根据本公开的另一实施例的由显示装置显示的用户界面屏幕的视图。参照图25,包括四个部分屏幕的多视图屏幕2500可包括主屏幕2510和一个或更多个子屏幕2520、2530和2540。
参照图25,可在其上已输出在操作S825中识别的两条内容的主屏幕2510和子屏幕(例如,2520)上显示对应方图像和用户图像。因此,可输出在主屏幕2510上显示对应方图像并且在子屏幕(例如,2520)上显示用户图像的多视图屏幕2500。
如上所述,在本公开的实施例中,在输出多视图屏幕的同时接收视频呼叫请求的显示装置可在继续输出多视图屏幕的同时提供视频呼叫服务,以提高用户满意度。因此,可提高用户满意度和用户便利性。
根据本公开的实施例的显示装置的操作方法可被实现为由各种计算机方式可执行的程序命令,并且可被记录在计算机可读介质上。此外,本公开的实施例可在其上记录有至少一个程序的计算机可读记录介质中被实现,所述至少一个程序包括用于执行显示装置的操作方法的指令。
计算机可读介质可单独地或组合地包括程序命令、数据文件、数据结构等。记录在计算机可读介质上的程序命令可被专门设计和配置用于本公开,或者可以是计算机软件领域的普通技术人员公知的并且可由计算机软件领域的普通技术人员使用。计算机可读记录介质的示例包括磁介质(诸如硬盘、软盘或磁带)、光学介质(诸如光盘只读存储器(CD-ROM)或数字通用光盘(DVD))、磁光介质(诸如光磁软盘)、以及专门被配置为存储和执行程序命令的硬件装置(诸如ROM、RAM或闪存)。程序命令的示例包括可由计算机通过使用解释器等执行的高级语言代码以及由编译器制作的机器语言代码。
机器可读存储介质可以以非暂时性存储介质的形式被提供。这里,术语“非暂时性存储介质”仅表示有形装置,并且不包含信号(例如,电磁波)。该术语不区分数据是半永久地还是临时地被存储在存储介质中。例如,“非暂时性存储介质”可包括临时存储数据的缓冲器。
根据本公开的实施例,可在计算机程序产品中提供根据本公开的各种实施例的显示装置的操作方法。计算机程序产品是可在卖方与买方之间购买的产品。计算机程序产品可以以机器可读存储介质(例如,光盘只读存储器(CD-ROM))的形式被分发,或者可经由应用商店(例如,Play StoreTM)被在线分发(例如,下载或上传)或者直接在两个用户装置(例如,智能电话)之间被分发。当在线分发时,计算机程序产品的至少部分(例如,可下载应用)可被临时生成或至少临时被存储在机器可读存储介质中,诸如制造商的服务器、应用商店的服务器或中继服务器的存储器。
详细地,本公开的实施例可被实现为包括记录介质的计算机程序产品,该记录介质上记录有用于执行显示装置的操作方法的程序。
尽管上面已经详细描述了本公开的实施例,但是本公开的范围不限于此,并且本领域普通技术人员通过使用由权利要求限定的本公开的基本概念进行的各种修改和改进也在本公开的范围内。

Claims (15)

1.一种显示装置的操作方法,所述显示装置显示包括多个部分屏幕的多视图屏幕,所述操作方法包括:
通过所述多个部分屏幕分别输出被单独解码的多条内容;
基于视频呼叫请求,识别所述多条内容中的至少一条内容;以及
通过所述多个部分屏幕中的与识别的至少一条内容对应的至少一个部分屏幕来输出视频呼叫屏幕。
2.如权利要求1所述的操作方法,其中,输出视频呼叫屏幕的步骤包括:
由包括在所述显示装置中的至少一个解码器停止对识别的至少一条内容的解码;
由已停止解码的所述至少一个解码器对与视频呼叫屏幕对应的图像信号进行解码;以及
基于解码的图像信号,通过在其上已输出了识别的至少一条内容的至少一个部分屏幕来输出视频呼叫屏幕。
3.如权利要求1所述的操作方法,其中,识别所述至少一条内容的步骤包括:从所述多条内容中识别具有与视频呼叫屏幕的分辨率相同的分辨率的所述至少一条内容。
4.如权利要求1所述的操作方法,其中,识别所述至少一条内容的步骤包括:从所述多条内容中识别具有偏移分辨率的所述至少一条内容。
5.如权利要求1所述的操作方法,其中,识别所述至少一条内容的步骤包括:从所述多条内容中识别具有最低分辨率的所述至少一条内容。
6.如权利要求1所述的操作方法,其中,识别所述至少一条内容的步骤包括:从所述多条内容中识别通过主屏幕输出的内容。
7.如权利要求1所述的操作方法,其中,识别所述至少一条内容的步骤还包括:
确定是否存在具有与视频呼叫屏幕对应的分辨率的所述至少一条内容;以及
基于不存在具有与视频呼叫屏幕对应的分辨率的至少一条内容,执行语音呼叫切换处理。
8.如权利要求1所述的操作方法,其中,识别所述至少一条内容的步骤还包括:
确定是否存在具有与视频呼叫屏幕对应的分辨率的所述至少一条内容;以及
基于不存在具有与视频呼叫屏幕对应的分辨率的至少一条内容,结束视频呼叫处理。
9.如权利要求1所述的操作方法,还包括:
响应于视频呼叫请求,显示用于选择所述多个部分屏幕中的至少一个部分屏幕的用户界面屏幕;以及
通过所述用户界面屏幕接收选择所述多个部分屏幕中的至少一个部分屏幕的用户输入,
其中,识别所述至少一条内容的步骤包括:基于用户输入的接收来识别所述至少一条内容。
10.如权利要求1所述的操作方法,其中,识别所述至少一条内容的步骤包括:响应于视频呼叫请求,从通过多视图屏幕输出的所述多条内容中识别第一内容,以及
输出视频呼叫屏幕的步骤包括:通过与第一内容对应的第一部分屏幕来输出视频呼叫屏幕。
11.如权利要求10所述的操作方法,其中,输出视频呼叫屏幕的步骤包括:
停止对与第一内容对应的第一图像信号的解码;
由已停止解码第一图像信号的解码器对图像信号进行解码;以及
基于解码的图像信号,通过第一部分屏幕输出视频呼叫屏幕。
12.如权利要求1所述的操作方法,其中,识别所述至少一条内容的步骤包括:基于视频呼叫请求,从通过多视图屏幕输出的所述多条内容中识别第一内容和第二内容,以及
输出视频呼叫屏幕的步骤包括:在与第一内容对应的第一部分屏幕和与第二内容对应的第二部分屏幕上显示构成视频呼叫屏幕的对应方图像和用户图像。
13.如权利要求12所述的操作方法,其中,输出视频呼叫屏幕的步骤还包括:
停止对与第一内容和第二内容分别对应的第一图像信号和第二图像信号的解码;
通过已停止对第一图像信号和第二图像信号进行解码的解码器,对与对应方图像和用户图像分别对应的对应方图像信号和用户图像信号进行解码;以及
基于解码的对应方图像信号和用户图像信号,将对应方图像和用户图像分别输出到第一部分屏幕和第二部分屏幕。
14.如权利要求12所述的操作方法,其中,
第一部分屏幕是所述多个部分屏幕中的主屏幕,以及
第二部分屏幕是所述多个部分屏幕中的子屏幕。
15.一种显示装置,包括:
显示器;
通信接口;
视频处理单元,包括多个解码器;以及
处理器,被配置为执行至少一个指令以进行以下操作:
控制所述显示器通过包括在多视图屏幕中的多个部分屏幕分别输出由所述视频处理单元单独解码的多条内容,
基于视频呼叫请求,从所述多条内容中识别至少一条内容,以及
控制所述显示器通过所述多个部分屏幕中的与识别的至少一条内容对应的至少一个部分屏幕来输出视频屏幕。
CN202180054872.4A 2020-09-04 2021-09-06 显示装置及其操作方法 Pending CN116097655A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2020-0113206 2020-09-04
KR1020200113206A KR20220031367A (ko) 2020-09-04 2020-09-04 디스플레이 기기 및 그의 동작 방법
PCT/KR2021/012015 WO2022050785A1 (ko) 2020-09-04 2021-09-06 디스플레이 기기 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
CN116097655A true CN116097655A (zh) 2023-05-09

Family

ID=80491310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180054872.4A Pending CN116097655A (zh) 2020-09-04 2021-09-06 显示装置及其操作方法

Country Status (5)

Country Link
US (1) US20230209126A1 (zh)
EP (1) EP4199504A4 (zh)
KR (1) KR20220031367A (zh)
CN (1) CN116097655A (zh)
WO (1) WO2022050785A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD1011359S1 (en) * 2020-09-22 2024-01-16 Igt Display screen or portion thereof with graphical user interface
KR20240021631A (ko) * 2022-08-10 2024-02-19 엘지전자 주식회사 디스플레이 장치 및 그 동작 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738540B1 (ko) * 2005-08-30 2007-07-11 삼성전자주식회사 멀티태스킹 환경에서의 사용자 인터페이스 방법 및 장치
KR101683291B1 (ko) * 2010-05-14 2016-12-06 엘지전자 주식회사 디스플레이 장치 및 그의 제어 방법
US20180316943A1 (en) * 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Fpga systems and methods for video processing, combination and display of heterogeneous sources
KR101961860B1 (ko) * 2012-08-28 2019-03-25 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
KR102145014B1 (ko) * 2013-11-04 2020-08-18 엘지전자 주식회사 Tv 및 그 동작 방법
KR101735381B1 (ko) * 2015-03-23 2017-05-29 주식회사 엘지유플러스 고화질 영상 통화 시스템 및 그의 영상 처리 방법, 그리고 영상 통화 어플리케이션을 실행하는 컴퓨터 판독 가능한 기록매체
CN105872831A (zh) * 2015-11-16 2016-08-17 乐视致新电子科技(天津)有限公司 通过电视进行视频通话的显示控制方法、系统及电视
KR20170091913A (ko) * 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치

Also Published As

Publication number Publication date
WO2022050785A1 (ko) 2022-03-10
EP4199504A4 (en) 2024-01-17
EP4199504A1 (en) 2023-06-21
KR20220031367A (ko) 2022-03-11
US20230209126A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
US11868580B2 (en) Mobile terminal, image display device and user interface provision method using the same
CN107770627B (zh) 图像显示装置和操作图像显示装置的方法
US10536742B2 (en) Display apparatus and display method
US20230209126A1 (en) Display device and operating method therefor
EP3024220A2 (en) Display apparatus and display method
US20120301030A1 (en) Image processing apparatus, image processing method and recording medium
US11917329B2 (en) Display device and video communication data processing method
US20160191841A1 (en) Display device and display method
CN113475091B (zh) 显示设备及其图像显示方法
JP2022500975A (ja) ディスプレイ機器及びその制御方法
CN113207003B (zh) 一种视频图像的运动估计方法及电子设备
KR20170075443A (ko) 영상 표시 장치 및 영상 표시 방법
US20170185246A1 (en) Image display apparatus and method of displaying image
KR102614754B1 (ko) 디스플레이 장치 및 그 동작 방법
KR20240028868A (ko) 디스플레이 장치 및 그의 동작 방법
US20220014688A1 (en) Image processing method and display device thereof
KR20240037796A (ko) 전자 장치 및 그 동작 방법
KR20170008071A (ko) 디스플레이 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination