CN110999310A - 客户端设备、伴随屏幕设备及其操作方法 - Google Patents

客户端设备、伴随屏幕设备及其操作方法 Download PDF

Info

Publication number
CN110999310A
CN110999310A CN201880054658.7A CN201880054658A CN110999310A CN 110999310 A CN110999310 A CN 110999310A CN 201880054658 A CN201880054658 A CN 201880054658A CN 110999310 A CN110999310 A CN 110999310A
Authority
CN
China
Prior art keywords
companion screen
client device
screen device
video content
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880054658.7A
Other languages
English (en)
Other versions
CN110999310B (zh
Inventor
克里斯托弗·奥尔德
理查德·莫尔顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2018/008475 external-priority patent/WO2019039748A1/ko
Publication of CN110999310A publication Critical patent/CN110999310A/zh
Application granted granted Critical
Publication of CN110999310B publication Critical patent/CN110999310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

根据实施例，公开了一种客户端设备、伴随屏幕设备及其操作方法。所公开的客户端设备包括：通信接口；显示器；存储器，被配置为存储一个或多个指令；以及处理器，被配置为执行存储在存储器中的所述一个或多个指令以：控制显示器显示360度视频内容的至少一部分，识别具有360度控制能力以对360度视频内容执行360度控制的伴随屏幕设备，控制通信接口将通信信道与所识别的伴随屏幕设备进行连接，以及控制显示器根据从所连接的伴随屏幕设备接收的控制命令对360度视频内容的显示进行控制。

Description

客户端设备、伴随屏幕设备及其操作方法
技术领域
各种实施例涉及客户端设备、伴随(companion)屏幕设备及其操作方法，更具体地，涉及一种客户端设备、伴随屏幕设备及其操作方法，以控制360度视频内容。
背景技术
图像显示装置是具有显示用户可以观看的图像的功能的装置。用户可以在图像显示装置上观看广播。图像显示装置在显示器上显示用户在从广播站传送的广播信号中选择的广播。当前，遍及全世界，广播正在从模拟广播转变为数字广播。
提供了智能TV，除了数字广播功能之外，智能TV还提供各种内容。智能TV不旨在根据用户的选择进行被动操作，而是旨在在没有用户操作的情况下分析并提供用户想要的。
360度图像是指其中通过使用全向相机或多个相机组来同时记录了所有方向上的视图的图像。用户可以在360度图像的再现期间控制视图的方向。
近来，用户已经通过各种智能设备(例如，智能电话、平板电脑或PC)体验了360度图像。另外，正在开发能够再现360度图像的智能TV。
发明内容
技术问题
各种实施例提供了一种能够更方便有效地控制360度视频内容的客户端设备、伴随屏幕设备及其操作方法。
问题的解决方案
根据各种实施例，当再现360度视频内容时，客户端设备发现并连接能够控制360度视频内容的伴随屏幕设备，并且伴随屏幕设备发现并连接能够显示360度视频内容的客户端设备，从而更方便有效地提供对360度视频内容的控制。
发明的有益效果
根据实施例，可以更方便有效地控制360度视频内容。
附图说明
图1是示出根据实施例的显示360度图像的客户端设备100和控制设备的图。
图2是用于描述360度图像的视角的图。
图3是示出根据示例的显示360度图像的方法的图。
图4示出根据实施例的客户端设备和伴随屏幕设备。
图5示出根据实施例的客户端设备和多个伴随屏幕设备。
图6是根据实施例的客户端设备100和伴随屏幕设备400的示意性框图。
图7是根据实施例的客户端设备100显示360度视频内容的方法的流程图。
图8示出根据实施例的客户端设备100识别伴随屏幕设备400的操作的示例。
图9示出根据实施例的客户端设备100识别多个伴随屏幕设备400并选择伴随屏幕设备400之一的操作的示例。
图10是详细描述根据实施例的在客户端设备100和伴随屏幕设备400之间建立通信信道的操作的流程图。
图11是描述根据实施例的伴随屏幕设备400的操作以建立客户端设备100和伴随屏幕设备400之间的通信信道的流程图。
图12示出根据实施例的伴随屏幕设备400识别客户端设备100的操作的示例。
图13是根据实施例的客户端设备100a和伴随屏幕设备400a的示意图。
图14是根据实施例的客户端设备100a和伴随屏幕设备400a的示意图。
图15是根据实施例的可以由伴随屏幕设备400执行的控制操作的示意图。
图16是根据实施例的可以由伴随屏幕设备400执行的控制操作的示意图。
图17是根据实施例的可以由伴随屏幕设备400执行的控制操作的示意图。
图18示出根据实施例的可以由客户端设备100选择以便渲染360度视频内容的不同广角模式。
最佳实施方式
根据实施例的一种客户端设备包括：通信接口；显示器；存储器，被配置为存储一个或多个指令；以及处理器，被配置为执行存储在所述存储器中的所述一个或多个指令以：控制所述显示器显示360度视频内容的至少一部分，识别具有360度控制能力以对所述360度视频内容执行360度控制的伴随屏幕设备，控制所述通信接口将通信信道与所识别的伴随屏幕设备进行连接，以及控制所述显示器根据从所连接的伴随屏幕设备接收的控制命令对所述360度视频内容的显示进行控制。
根据实施例，所述处理器还可以被配置为执行所述一个或多个指令，以请求所识别的伴随屏幕设备执行应用，所述应用对所述360度视频内容的显示执行控制操作。
根据实施例，所述处理器还可以被配置为执行所述一个或多个指令以：发送用于发现所述伴随屏幕设备的请求信号，以及通过从所述伴随屏幕设备接收包括指示所述伴随屏幕设备具有所述360度控制能力的信息在内的信号，来识别所述伴随屏幕设备。
根据实施例，所述处理器还可以被配置为执行所述一个或多个指令以：从多个伴随屏幕设备接收包括指示所述多个伴随屏幕设备具有所述360度控制能力的信息在内的信号，选择所述多个伴随屏幕设备中的至少一个伴随屏幕设备，以及控制所述通信接口与所选择的所述至少一个伴随屏幕设备进行连接。
根据实施例，所述处理器还可以被配置为执行所述一个或多个指令以：基于与所述伴随屏幕设备相关联的用户简档来选择所述多个伴随屏幕设备中的至少一个伴随屏幕设备。
根据实施例，所述处理器还可以被配置为执行所述一个或多个指令以：基于所述客户端设备与所述伴随屏幕设备中的每个伴随屏幕设备的接近度来选择所述多个伴随屏幕设备中的至少一个伴随屏幕设备。
根据实施例，所述处理器还可以被配置为执行所述一个或多个指令以：基于学习算法来选择所述多个伴随屏幕设备中的至少一个伴随屏幕设备。
根据实施例，所述处理器还可以被配置为执行所述一个或多个指令以：通过所述通信信道接收关于所述伴随屏幕设备的取向的设备取向信息；响应于所述设备取向信息而调整所显示的所述360度视频内容的视点，使得所显示的所述360度视频内容的视点根据所述伴随屏幕设备的取向而旋转；以及控制所述显示器显示所述360度视频内容的与调整后的视点相对应的区域。
根据实施例，所述设备取向信息可以包括由被布置为检测所述伴随屏幕设备的取向的一个或多个传感器测量的多个取向值，并且所述处理器还可以被配置为执行所述一个或多个指令以：使所述多个取向值平滑，以便获得平滑的取向数据；以及基于所述平滑的取向数据，确定所述360度视频内容的视点的旋转速度。
根据实施例的一种伴随屏幕设备包括：通信接口；显示器；存储器，被配置为存储一个或多个指令；以及处理器，被配置为执行存储在所述存储器中的所述一个或多个指令以：识别具有360度视频内容显示能力的客户端设备，控制所述通信接口将通信信道与所识别的客户端设备进行连接，以及控制所述通信接口向所述客户端设备发送用于对要在所连接的客户端设备上显示的360度视频内容的显示进行控制的控制命令。
根据实施例，所述处理器还可以被配置为执行所述一个或多个指令以：通过从所述客户端设备接收包括指示所述客户端设备具有所述360度视频内容显示能力的信息在内的信号来识别所述客户端设备。
根据实施例，所述处理器还可以被配置为执行所述一个或多个指令以：检测所述伴随屏幕设备的取向；以及经由所述通信信道向所述客户端设备发送关于所述伴随屏幕设备的取向的设备取向信息，使得在所述客户端设备上显示的所述360度视频内容的视点根据所述伴随屏幕设备的取向而旋转。
根据实施例的一种操作客户端设备的方法，包括：显示360度视频内容的至少一部分；识别具有360度控制能力以对所述360度视频内容执行360度控制的伴随屏幕设备；将通信信道与所识别的伴随屏幕设备进行连接；以及根据从所连接的伴随屏幕设备接收的控制命令对所述360度视频内容的显示进行控制。
根据实施例的一种操作伴随屏幕设备的方法，包括：识别具有360度视频内容显示能力的客户端设备；将通信信道与所识别的客户端设备进行连接；以及向所述客户端设备发送用于对要在所连接的客户端设备上显示的360度视频内容的显示进行控制的控制命令。
根据实施例的一种计算机程序产品，包括计算机可读记录介质，在所述计算机可读记录介质上记录有用于执行根据实施例的对客户端设备进行操作的方法的一个或多个程序，所述方法包括：显示360度视频内容的至少一部分；识别具有360度控制能力以对所述360度视频内容执行360度控制的伴随屏幕设备；将通信信道与所识别的伴随屏幕设备进行连接；以及根据从所连接的伴随屏幕设备接收的控制命令对所述360度视频内容的显示进行控制。
具体实施方式
将简要描述在本文中使用的术语，并且将详细描述本公开。
本文中使用的术语是通过考虑本公开中的功能而在本领域中当前广泛使用的那些通用术语，但是这些术语可以根据本领域普通技术人员的意图、先例或本领域中的新技术而变化。此外，申请人可以选择指定术语，并且在这种情况下，其详细含义将在本公开的详细描述中进行描述。因此，本文中使用的术语不应理解为简单的名称，而应基于术语的含义和本公开的整体描述进行理解。
将理解的是，诸如“包含”、“包括”和“具有”的术语当在本文中使用时表明存在所阐述的元件，但不排除一个或多个其他元件的存在或添加。本文中使用的术语“接口”和“模块”表示用于处理至少一个功能或操作的单元，其可以通过硬件、软件或它们的组合来实现。
在下文中，将参考附图详细地描述本公开的实施例，使得本领域普通技术人员可以容易地实施本公开。然而，本公开可以以许多不同的形式来体现，并且不限于本文中描述的本公开的实施例。为了清楚地描述本公开，省略了与描述不相关的部分，并且在整个说明书中将类似的附图标记指派给类似的元件。
在本说明书的实施例中，术语“用户”是指通过使用控制设备来控制图像显示装置的功能或操作的人，并且可以包括观看者、管理员或安装工程师。
图1是示出根据实施例的显示360度图像的客户端设备100和控制设备的图。
参考图1，根据实施例的客户端设备100可以显示360度图像。根据实施例的360度图像可以是具有360度视角的图像。360度图像可以是静止图像、运动图像或全景图像。例如，360度图像可以是基于通过使用至少一个相机在360度方向上捕获的多个图像而生成的图像。在这种情况下，可以将捕获的图像映射到球体，并且可以拼接所映射图像的接触点以生成球面360度图像。此外，可以将球面360度图像转换为图1所示的平面360度图像10，以便存储或发送给另一设备。
根据实施例的客户端设备100可以对平面360度图像10执行图形处理，以便将平面360度图像10转换为球面360度图像20。客户端设备100可以选择球面360度图像的与特定视点(例如，特定视角)相对应的局部区域30，并且在显示器上显示与所选择的区域30相对应的图像。在这种情况下，客户端设备100可以根据显示器的分辨率缩放并显示与所选择的区域30相对应的图像。以下将参考图2描述对360度图像的视角的详细描述。
根据实施例的客户端设备100可以是TV，但是这仅仅是实施例。客户端设备100可以被实现为包括显示器的电子设备。例如，客户端设备100可以被实现为各种电子设备，诸如移动电话、平板PC、数字相机、便携式摄像机、笔记本计算机(膝上型计算机)、台式计算机、电子书终端、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、MP3播放器和可穿戴设备。特别地，实施例可以容易地实现在具有大型显示器的显示装置(例如TV)中，但是本公开不限于此。此外，客户端设备100可以是固定的或移动的，并且可以是能够接收数字广播的数字广播接收器。
客户端设备100可以由控制设备50控制，并且控制设备50可以被实现为遥控器或用于控制客户端设备100的各种类型的设备，例如移动电话。
此外，控制设备50可以通过使用包括红外通信或蓝牙通信在内的短距离通信来控制客户端设备100。控制设备50可以通过使用所设置的按键(包括按钮)、触摸板、能够接收用户语音的麦克风(未示出)和能够识别控制设备50的运动的传感器(未示出)中的至少一个来控制客户端设备100的功能。
根据实施例的控制设备50可以包括四向按键(或四向按钮)。四向按键可以用于在360度图像内移动显示器上显示的局部区域30的位置。
此外，控制设备50可以是指点设备。例如，当接收到特定按键输入时，控制设备50可以作为指点设备进行操作。当控制设备50作为指点设备操作时，可以通过竖直或水平地移动控制设备50或使控制设备50在任意方向上倾斜的用户输入来控制客户端设备100。可以将通过控制设备50的传感器检测到的关于控制设备50的移动的信息发送给客户端设备100。客户端设备100可以基于关于控制设备50的移动的信息，在360度图像内移动显示器上显示的局部区域30。
备选地，当控制设备50包括触摸板时，可以根据诸如用户手指的对象在触摸板上移动的位移值，在360度图像内移动显示器上显示的局部区域30的位置。
图2是用于描述360度图像的视角的图。
如上所述，360度图像可以是基于通过使用至少一个相机在360度方向上捕获的多个图像而生成的图像。在这种情况下，可以将捕获的图像映射到球体，并且可以拼接所映射图像的接触点以生成球面360度图像。
360度图像可以是指具有360度视角的图像。当360度图像被表示为球面图像200时，360度图像的视角可以由x轴坐标和y轴坐标组成。x轴坐标可以表示当穿过球体中心的纵向平面沿着球体表面旋转时所形成的角度。y轴坐标可以表示当穿过球体中心的横向平面沿着球体表面旋转时所形成的角度。例如，x轴坐标可以在0度至360度的范围内。例如，y轴坐标可以在-90度至90度或0度至180度的范围内。
例如，参考图2，当球面图像200中位于球体表面上的特定点210处的视角(x，y)被设置为(0度，0度)时，点220的视角可以是(30度，30度)。
图3是示出根据示例的显示360度图像的方法的图。
用户可以导航360度图像300，以便观看360度图像中与期望角度相对应的图像。参考图3，例如，当用户观看与特定视角相对应的区域310所对应的图像311并且想要观看位于右方向上的区域的图像时，用户可以通过使用控制设备50来选择调整视角的用户输入。例如，当用户选择将视角改变为40度的用户输入时，客户端设备100可以显示与40度视角相对应的区域320所对应的区域321。
根据实施例，用户可以通过使用控制设备50的四向按键来移动360度图像的视角。例如，可以通过使用四向按键的左右箭头按键在水平方向上移动360度图像。例如，可以通过使用四向按键的上下箭头按键在竖直方向上移动360度图像。
根据实施例，用户可以通过在竖直方向、水平方向或任意方向上移动包括加速度传感器或陀螺仪的控制设备50来调整360度图像的视角。
根据实施例，用户可以在用用户的手指触摸设置在控制设备50中的触摸板时，根据移动方向来调整360度图像的视角。
根据实施例，当客户端设备100被配置为触敏屏幕时，用户可以通过使用用户的手指在客户端设备100的触敏屏幕上的触摸移动来调整360度图像的视角。
根据实施例，用户可以通过控制设备50的特定按键或按钮或使用控制设备50的手势来放大或缩小360度图像。客户端设备100可以响应放大输入而放大并显示当前显示的区域。客户端设备100可以响应于缩小输入而缩小并显示当前显示的区域。根据示例，当缩小程度超过预设阈值时，客户端设备100可以以球面形状显示图像。例如，缩放可以在-4倍至4倍的范围内。
图4示出根据实施例的客户端设备和伴随屏幕设备。
参考图4，诸如电视的客户端设备100显示360度视频内容的一部分。客户端设备100可以控制360度视频内容，以便改变要显示的360度视频内容的视点。
根据实施例，可以在显示360度视频内容的客户端设备100与控制360度视频内容的伴随屏幕设备400之间建立通信信道。
客户端设备100可以是例如电视。然而，客户端设备100可以是任何适当的显示设备。客户端设备100通过广播或宽带连接而支持视频和音频再现。客户端设备100可以包括支持360度视频内容的显示和控制的应用。该应用可以向媒体播放器通知内容为360度格式，使得媒体播放器正确地解码内容。该应用的示例包括HbbTV应用，并且可以使用能够支持360度内容的任何适当的应用。
客户端设备100可以为用户提供视场窗口，以在特定视点观看360度内容。因此，用户可以观看360度内容的给定角度范围。可以对客户端设备100上显示的360度内容进行控制，以便通过客户端设备100的视场窗口来改变用户观看360度内容的视点。控制可以包括通过360度视频内容在水平或竖直方向上旋转视点。对360度视频内容的视点的控制与以上参考图2和图3描述的相同。控制还可以包括改变所感测的内容的缩放等级，使得用户似乎距离显示在360度内容中的对象更远或者更近。
360度视频内容可以由服务器渲染并且流式传输到客户端设备100。例如，客户端设备100可以向服务器提供关于360度内容的位置信息，并且服务器可以渲染具有与由客户端设备100提供的位置信息相对应的视点的360度内容。例如，可以通过利用服务器侧渲染来实现高分辨率。
备选地，360度视频内容可以由客户端设备100渲染。能够在客户端设备100中执行360度视频渲染的应用的示例包括WebGL和HbbTV，但是本公开不限于此。在本公开中，可以使用能够支持服务器侧渲染和客户端侧渲染中的一者或两者的应用。
伴随屏幕设备400可以是例如移动电话或平板电脑。伴随屏幕设备400是具有能够在客户端设备100和伴随屏幕设备400之间提供交互的屏幕的设备。在本公开中，伴随屏幕设备400可以控制360度视频内容。伴随屏幕设备400可以包括支持对360度视频内容的控制的应用。
可以以任何适当的方式建立客户端设备100与伴随屏幕设备400之间的通信信道。在一些实施例中，可以经由IP网络建立通信信道。例如，客户端设备100和伴随屏幕设备400中的每一个可以连接到无线网络，通过该无线网络可以在客户端设备100和伴随屏幕设备400之间传输信号。
备选地，可以使用蓝牙来建立通信信道，通过该通信信道可以在客户端设备100和伴随屏幕设备400之间传输信号。然而，可以使用用于建立通信信道的任何适当的方式。用于建立通信信道的方式可以是无线的，但是备选地，可以通过有线连接来建立通信信道。
在实施例中，可以针对由客户端设备100识别的伴随屏幕设备建立通信信道。例如，伴随屏幕设备400可以向客户端设备100提供伴随屏幕设备400能够进行360度控制的指示。
图5示出根据实施例的客户端设备和多个伴随屏幕设备。
根据实施例，客户端设备100可以识别能够进行360度控制的多个伴随屏幕设备400。在这种情况下，客户端设备100可以选择伴随屏幕设备400中的至少一个，并且连接到所选择的伴随屏幕设备400。客户端设备100可以连接到一个或多个伴随屏幕设备400。
参考图5，当客户端设备100向外围设备发送发现请求信号时，位于客户端设备100周围的伴随屏幕设备400a、400b和400c可以向客户端设备100发送指示伴随屏幕设备400a、400b和400c均具有360度控制能力的信号。这样，当从多个伴随屏幕设备接收到指示360度控制能力的信号时，客户端设备100可以根据客户端设备100的策略通过各种方法来选择伴随屏幕设备。
根据实施例，客户端设备100可以根据一个或多个特定选择标准来自动地选择伴随屏幕设备400。
根据实施例，客户端设备100可以基于与伴随屏幕设备400相关联的用户简档来选择伴随屏幕设备400。
根据实施例，客户端设备100可以根据与客户端设备100的接近度来选择一个或多个伴随屏幕设备400。
图6是根据实施例的客户端设备100和伴随屏幕设备400的示意性框图。
参考图6，伴随屏幕设备400包括控制器410、通信接口420、视频处理器430、显示器440、检测器450和存储器460。
通信接口420使得伴随屏幕设备400能够通过使用诸如屏幕镜像、DLNA、蓝牙、Miracast和Wi-Fi直连等的各种通信技术与客户端设备100进行通信。
视频处理器430可以对要由显示器440显示的图像执行信号处理，并且可以对视频数据执行各种图像处理，例如解码、缩放、噪声滤波、帧速率转换和分辨率转换。
显示器440通过转换由视频处理器430处理的图像信号、数据信号、OSD信号、控制信号等来生成驱动信号。显示器440可以被实现为PDP、LCD、OLED、柔性显示器等，并且还可以被实现为3D显示器。此外，显示器440可以被配置为触摸屏并且被用作输入设备以及输出设备。
检测器450可以检测用户输入，并将检测到的信号发送给控制器410。
检测器450可以包括接收用户语音的麦克风、接收用户图像的相机、或检测用户交互的光学接收器或触摸板。
根据实施例的检测器450可以检测使显示器640上显示的360度图像的局部区域的位置移动的输入(即，控制360度图像的视点的用户输入)、对显示在显示器上的图像进行放大或缩小的输入、显示与360度图像中的特定位置的区域相对应的图像的输入等。
根据实施例的检测器450可以包括取向传感器，该取向传感器测量伴随屏幕设备400的取向。
存储器460可以包括操作系统、由控制器410处理的数据以及由控制器410执行的一个或多个指令。
具体地，根据实施例的存储器460可以包括用于以下操作的一个或多个指令：识别具有360度视频内容显示能力的客户端设备，控制通信接口将所识别的客户端设备连接到通信信道，以及控制通信接口向客户端设备发送用于对要显示在所连接的客户端设备上的360度视频内容的显示进行控制的控制命令。
在实施例中，术语“存储器”包括存储装置、控制器的ROM或RAM、或者设置在伴随屏幕设备400中的存储卡(未示出)(例如，微型SD卡或USB存储器)。此外，存储器460可以包括非易失性存储器、易失性存储器、硬盘驱动器(HDD)或固态驱动器(SSD)。
控制器410可以控制伴随屏幕设备400的总体操作以及伴随屏幕设备400的内部元件之间的信号流，并且可以执行数据处理功能。当接收到用户输入或满足预存储的条件时，控制器410可以执行存储在存储器460中的操作系统(OS)和各种应用。
控制器410可以包括RAM、ROM和处理器，其中RAM存储从伴随屏幕设备400的外部输入的信号或数据，或者用作与由伴随屏幕设备400执行的各种操作相对应的存储区域，ROM存储用于控制伴随屏幕设备400的控制程序。
根据实施例，控制器410可以执行存储在存储器中的一个或多个指令，以执行在本说明书中公开的伴随屏幕设备400和客户端设备之间的通信操作。
根据实施例，控制器410可以执行一个或多个指令以识别具有360度视频内容显示能力的客户端设备、控制通信接口将所识别的客户端设备连接到通信信道、以及控制通信接口向客户端设备发送用于对要在所连接的客户端设备上显示的360度视频内容的显示进行控制的控制命令。
根据实施例，控制器410可以执行一个或多个指令以通过从客户端设备接收包括指示客户端设备具有360度视频内容显示能力的信息在内的信号来识别客户端设备。
根据实施例，控制器410可以执行一个或多个指令以检测伴随屏幕设备的取向并经由通信信道向客户端设备发送关于伴随屏幕设备的取向的设备取向信息，使得在客户端设备上显示的360度视频内容的视点根据伴随屏幕设备的取向而旋转。
除了图6所示的配置之外，伴随屏幕设备400还可以包括处理音频数据的音频处理器、输出音频的音频输出器、以及从伴随屏幕设备400的外部接收视频、音频和附加信息的输入器/输出器。
此外，伴随屏幕设备400不受限于该术语，并且可以使用诸如膝上型计算机、智能电话、平板电脑、可穿戴设备或PDA等的任何电子设备，只要这些电子设备包括处理器和存储器并执行应用。
客户端设备100包括控制器110、通信接口120、视频处理器130、显示器140和存储器150。
通信接口120使得客户端设备100能够通过使用诸如屏幕镜像、DLNA、蓝牙、Miracast和Wi-Fi直连等的各种通信技术与伴随屏幕设备400进行通信。
视频处理器130可以对要由显示器140显示的图像执行信号处理，并且可以对视频数据执行各种图像处理，例如解码、缩放、噪声滤波、帧速率转换和分辨率转换。
显示器140通过转换由视频处理器130处理的图像信号、数据信号、OSD信号、控制信号等来生成驱动信号。显示器140可以被实现为PDP、LCD、OLED、柔性显示器等，并且还可以被实现为3D显示器。此外，显示器140可以被配置为触摸屏并且被用作输入设备以及输出设备。
存储器150可以包括操作系统、由控制器110处理的数据以及由控制器110执行的一个或多个指令。
具体地，根据实施例的存储器150可以包括用于以下操作的一个或多个指令：识别具有360度控制能力以对360度视频内容执行360度控制的伴随屏幕设备，控制通信接口以便将通信信道与所识别的伴随屏幕设备相连接，以及控制显示器根据从所连接的伴随屏幕设备接收的控制命令对360度视频内容的显示进行控制。
存储器150可以包括操作系统、由控制器110处理的数据以及由控制器110执行的一个或多个指令。
在实施例中，术语“存储器”包括存储装置、控制器的ROM或RAM、或者设置在伴随屏幕设备400中的存储卡(未示出)(例如，微型SD卡或USB存储器)。此外，存储器150可以包括非易失性存储器、易失性存储器、硬盘驱动器(HDD)或固态驱动器(SSD)。
控制器110可以控制客户端设备100的总体操作以及客户端设备100的内部元件之间的信号流，并且可以执行数据处理功能。当接收到用户输入或满足预存储的条件时，控制器110可以执行存储在存储器150中的操作系统(OS)和各种应用。
控制器110可以包括RAM、ROM和处理器，其中RAM存储从客户端设备100的外部输入的信号或数据，或者用作与由客户端设备100执行的各种操作相对应的存储区域，ROM存储用于控制客户端设备100的控制程序。
根据实施例，控制器110可以执行存储在存储器中的一个或多个指令，以控制显示器显示360度视频内容的至少一部分，识别具有360度控制能力以对360度视频内容执行360度控制的伴随屏幕设备，控制通信接口将所识别的伴随屏幕设备连接到通信通道，以及控制显示器根据从所连接的伴随屏幕设备接收的控制命令对360度视频内容的显示进行控制。
根据实施例，控制器110可以执行一个或多个指令以请求所识别的伴随屏幕设备执行应用，该应用执行显示360度视频内容的控制操作。
根据实施例，控制器110可以执行一个或多个指令，以通过发送用于发现伴随屏幕设备的请求信号并从伴随屏幕设备接收包括指示伴随屏幕设备具有360度控制能力的信息在内的信号来识别伴随屏幕设备。
根据实施例，控制器110可以执行一个或多个指令，以从多个伴随屏幕设备接收包括指示伴随屏幕设备具有360度控制能力的信息在内的信号，选择伴随屏幕设备中的至少一个，以及控制通信接口与所选择的至少一个伴随屏幕设备进行连接。
根据实施例，控制器110可以执行一个或多个指令，以基于与伴随屏幕设备相关联的用户简档来选择伴随屏幕设备中的至少一个。
根据实施例，控制器110可以执行一个或多个指令，以基于客户端设备与伴随屏幕设备之间的接近度来选择伴随屏幕设备中的至少一个。
根据实施例，控制器110可以执行一个或多个指令，以基于学习算法来选择伴随屏幕设备中的至少一个。
根据实施例，控制器110可以执行一个或多个指令，以经由通信信道接收关于伴随屏幕设备的取向的设备取向信息，响应于设备取向信息而调整所显示的360度视频内容的视点以使得所显示的360度视频内容的视点根据伴随屏幕设备的取向而旋转，以及控制显示器显示360度视频内容的与调整后的视点相对应的区域。
根据实施例，设备取向信息可以包括由被布置为检测伴随屏幕设备的取向的一个或多个传感器测量的多个取向值，并且控制器410可以执行一个或多个指令以使取向值平滑，以便获得平滑的取向数据并基于平滑的取向数据确定360度视频内容的视点旋转速度。
除了图6所示的配置之外，客户端设备100还可以包括处理音频数据的音频处理器、输出音频的音频输出器、从客户端设备100的外部接收视频、音频和附加信息的输入器/输出器、接收广播信号的调谐器、以及检测用户语音、用户图像和用户交互的检测器。
此外，图6所示的客户端设备100或伴随屏幕设备400的框图是针对实施例的框图。可以根据实际实现的客户端设备100的规格来集成、添加或省略框图中的每个元件。也就是说，必要时，两个或更多个元件可以集成到一个元件中，或者一个元件可以划分为两个或更多个元件。此外，提供了由每个框执行的功能以对实施例进行描述，并且所述功能的具体操作或设备不限制本公开的范围。
图7是根据实施例的客户端设备100显示360度视频内容的方法的流程图。
根据实施例，该方法的所有操作可以由同一设备执行，或者不同操作可以由不同设备执行。根据特定实施例，图7所示的任何操作可以通过软件或硬件执行。当通过软件执行一个或多个操作时，用于执行该方法的设备可以包括：处理单元，该处理单元包括一个或多个处理器；以及存储计算机程序命令的计算机可读存储器，该计算机程序命令在由处理单元执行时用于执行该方法。
参考图7，在操作S710中，客户端设备100可以获取360度视频内容事件。
可以通过各种方法获取360度视频内容事件。例如，当从用户接收到显示360度视频内容的用户输入时，当通过设置客户端设备100内部的信息而达到显示360度视频内容的定时时，或者当包含360度视频内容的外部设备被连接且客户端设备100接收到360度视频内容时，可以获取360度视频内容事件。
当这样的360度视频内容显示事件发生时，客户端设备100可以在显示器上显示360度视频内容。备选地，客户端设备可以在图7所示的任何操作中显示360度视频内容。
在操作S720中，客户端设备100可以根据360度视频内容事件来识别具有360度控制能力的伴随屏幕设备。
根据实施例，客户端设备100可以通过发送用于发现具有360度控制能力的伴随屏幕设备的发现请求信号并从伴随屏幕设备接收响应于发现请求信号的对伴随屏幕设备具有360度控制能力的指示，来识别具有360度控制能力的伴随屏幕设备。
根据实施例，客户端设备100可以识别单个伴随屏幕设备400，如图8所示。
根据实施例，客户端设备100可以识别多个伴随屏幕设备400并且选择伴随屏幕设备400中的一个或多个，如图9所示。
在操作S730中，客户端设备100可以将通信信道连接到所识别的伴随屏幕设备400。
在操作S740中，客户端设备100可以根据从所连接的伴随屏幕设备接收的控制命令来控制360度视频内容的显示。
如图1至图3所示，360度视频可以包括在水平和竖直方向两者上的360度的视场。如图1所示，360度视频内容的一部分可以显示在客户端设备100上。可以通过旋转视点来改变客户端设备100上显示的内容，从而可以改变客户端设备100上显示的360度视频内容的一部分。360度内容的显示部分可以具有根据给予360度视频内容的缩放等级的视点。可以对360度视频内容进行控制以改变视点的缩放等级。360度视频内容可以由伴随屏幕设备400控制。
在一些实施例中，可以在建立客户端设备100与伴随屏幕设备400之间的通信信道之前，将360度视频内容的一部分显示在客户端设备100上。例如，可以在建立客户端设备100与伴随屏幕设备400之间的通信通道之前，通过使用电视遥控器来选择并控制360度内容。例如，可能没有能够控制360度内容的可用的伴随屏幕设备400。当能够控制360度内容的伴随屏幕设备400可用时，可以建立通信链路并且可以执行操作S740。
在操作S740中，该方法还包括：响应于经由通信信道从伴随屏幕设备400接收的信号，控制所显示的360度视频内容的视点。从伴随屏幕设备提供给客户端设备100的信号可以包括关于360度视频内容的视点的命令。用户可以将该命令输入到伴随屏幕设备400。
例如，可以在伴随屏幕设备400上显示用户界面。该用户界面可以被配置为允许用户输入关于360度内容的视点控制的命令。伴随屏幕设备400可以被配置为经由通信信道上的信号将通过该用户界面接收的命令提供给客户端设备100。参考图15至图17详细描述可以通过该用户界面输入的控制命令。控制命令可以是用于改变360度视频内容的视图的导航命令。因此，可以根据导航命令来调整在客户端设备100上显示的360度视频内容的视点。
在一些实施例中，该用户界面可以显示在伴随屏幕设备的屏幕上，并且用户可以通过与所显示的用户界面的交互来输入用于控制360度内容的命令。例如，伴随屏幕设备可以是触摸屏电话或平板设备，并且用户可以通过触摸伴随屏幕设备的屏幕来输入命令。
在一些实施例中，伴随屏幕设备400可以在全屏上显示360度内容。可以通过伴随屏幕设备400接收指向360度内容的区域的用户命令。可以对360度视频内容的视点进行控制，使得客户端设备100上显示的360度视频内容的一部分包括所指向的区域。
关于视点的命令可以与伴随屏幕设备的取向相对应，并且客户端设备100经由通信信道接收的信号可以包括关于伴随屏幕设备400的取向的取向信息。可以响应于接收到的设备取向信息来调整360度视频内容的视点，使得360度视频内容的视点可基于伴随屏幕设备400的取向而旋转。
布置在伴随屏幕设备400中以检测伴随屏幕设备400的取向的一个或多个传感器可以测量多个取向值。
客户端设备100可以使取向值平滑以便获取平滑的取向数据，并且客户端设备100可以基于平滑的取向数据来确定360度视频内容的视点的旋转速度。
图8示出根据实施例的客户端设备100识别伴随屏幕设备400的操作的示例。
参考图8，在操作810中，可以在客户端设备100中发生360度视频内容事件。360度视频内容事件可以包括触发360度视频内容的再现的任何操作。
在操作820中，客户端设备100可以发送发现请求信号，以便搜索能够控制360度视频内容的伴随屏幕设备。
在操作830中，伴随屏幕设备400可以向客户端设备100发送包括指示伴随屏幕设备400具有360度控制能力的信息在内的信号。
在操作840中，客户端设备100可以通过从伴随屏幕设备400接收包括指示伴随屏幕设备400具有360度控制能力的信息在内的信号来识别伴随屏幕设备400。因此，可以在客户端设备100和伴随屏幕设备400之间连接通信信道。
在操作850中，伴随屏幕设备400可以生成用于控制360度视频内容的导航信息。在操作860中，伴随屏幕设备400可以将生成的导航信息发送给客户端设备100。
在操作870中，客户端设备100可以根据从伴随屏幕设备400接收的导航信息来控制360度视频内容的显示。
图9示出根据实施例的客户端设备100识别多个伴随屏幕设备400并选择伴随屏幕设备400之一的操作的示例。
参考图9，在操作905中，可以在客户端设备100中发生360度视频内容事件。360度视频内容事件可以包括触发360度视频内容的再现的任何操作。
在操作910和915中，客户端设备100可以发送发现请求信号，以便搜索位于客户端设备100周围并且能够控制360度视频内容的伴随屏幕设备。
在操作920和925中，伴随屏幕设备400a和400b可以向客户端设备100发送包括指示伴随屏幕设备400a和400b具有360度控制能力的信息在内的信号。
在操作930中，客户端设备100可以选择多个伴随屏幕设备之一。
例如，客户端设备100可以选择伴随屏幕设备之一，或者可以选择伴随屏幕设备中的两个或更多个。
例如，在操作935中，当客户端设备100选择伴随屏幕设备400a时，客户端设备100可以将通信信道与伴随屏幕设备400a进行连接。
在操作940中，伴随屏幕设备400a可以生成用于控制360度视频内容的导航信息。在操作945中，伴随屏幕设备400a可以将所生成的导航信息发送给客户端设备100。
在操作950中，客户端设备100可以根据从伴随屏幕设备400a接收的导航信息来控制360度视频内容的显示。
图10是详细描述根据实施例的在客户端设备100和伴随屏幕设备400之间建立通信信道的操作的流程图。根据实施例，该方法的所有操作可以由同一设备执行，或者一些操作可以由不同设备执行。根据特定实施例，图10所示的任何操作可以通过软件或硬件执行。当通过软件执行一个或多个操作时，用于执行该方法的设备可以包括：处理单元，该处理单元包括一个或多个处理器；以及存储计算机程序命令的计算机可读存储器，所述计算机程序命令在由处理单元执行时用于执行该方法的相应操作。
在操作S1001中，客户端设备100可以搜索能够控制360度内容的伴随屏幕设备400。例如，客户端设备100可以执行用于搜索能够控制360度内容的伴随屏幕设备400的搜索请求。在发现适当的伴随屏幕设备400之后，客户端设备100可以发送启动请求。例如，可以通过客户端应用从客户端设备100发送启动请求。搜索和启动请求可以通过IP网络来发送，或者可以通过用于建立例如通信信道的任何适当的方式来发送。用于发现伴随屏幕设备400的协议可以是任何合适的协议，并且可以符合例如由客户端设备100的制造商配置的协议。
适用于发送搜索和/或启动请求的客户端应用可以是例如HbbTV应用。该标准定义了应用可以使用的用于发现伴随屏幕设备400的应用编程接口(API)。然而，用于发现伴随屏幕设备400的应用可以是任何合适的应用。例如，客户端设备100和/或伴随屏幕设备400的制造商可以定义如下协议，该协议提供执行对伴随屏幕设备400的搜索所必需的功能。
在操作S1002中，客户端设备100可以确定具有360度内容控制能力的任意伴随屏幕设备400是否可用。
伴随屏幕设备400可以包括启动器应用。启动器应用被配置为从客户端设备100接收启动请求。启动器应用可以与HbbTV 2.0.1中定义的相同。在本公开的实施例中，客户端设备100的启动器应用可以被配置为响应于接收到来自客户端设备100的启动请求，根据来自客户端设备100的请求来执行控制应用。备选地，启动器应用可以响应于来自客户端的请求而执行应用商店app或网站，并且用户可以通过应用商店app或网站下载能够控制客户端设备100上显示的360度视频内容的控制程序。
启动器应用可以是已知的启动器应用，该已知的启动器应用可以被修改以便提供支持对360度内容进行控制的功能。
可以在伴随屏幕设备400上在后台执行启动器应用，以便接收来自客户端设备100的请求。响应于接收到来自客户端设备100的请求，启动器应用可以向客户端设备100通知伴随屏幕设备具有360度控制功能。然而，伴随屏幕设备可以以任何适当的方式指示伴随屏幕设备具有360度控制功能，并且这不限于使用启动器应用。
对伴随屏幕设备400具有360度控制能力的指示可以经由发送来自客户端设备100的启动请求的通信信道(例如，IP网络)从伴随屏幕设备400发送给客户端设备100。
响应于从伴随屏幕设备400接收到对伴随屏幕设备400具有360度控制能力的指示，客户端设备100可以确定适当的控制应用是否可用。客户端设备100和伴随屏幕设备400建立它们之间的通信信道，并且控制信号信息从伴随屏幕设备400发送给客户端设备100。例如，正在客户端设备100上执行的客户端应用可以与伴随屏幕设备400上执行的控制应用建立应用到应用的通信。可以通过例如web套接字建立该应用到应用的通信。
伴随屏幕设备400可以通过使用零配置联网来发信号通知可用性。此后，客户端设备100可以发现网络上的设备并查询设备的能力。可以通过伴随屏幕ID字符串找到设备的能力。在HbbTV中，该字符串可以被定义为CS_OS_ID字符串。可以扩展该字符串以向客户端应用发信号通知伴随屏幕设备400上的应用具有360度控制能力。可以扩展该字符串以向后兼容先前的版本，以不影响不具有360度内容显示功能的客户端设备100。
HbbTV CS OS ID字符串的示例如下：
csoid＝launcher WS user_agent_string
launcher＝launcher_product[launcher_comment]
launcher_product＝launcher_name"/"launcher_version
launcher_comment＝WS"("comment_body")"
comment_body＝comment 0*("；"WS comment)
comment＝store_info|manufacturer_specific_comment
store_info＝"appstore""/"app_store_is
WS＝1*""
因此，可以将360度控制功能的信号添加到启动器注释中，如下所示：
launcher_comment＝"("360_control_supported")"
当在操作S1002中确定单个伴随屏幕设备400可用时，过程进行到操作S1006以建立单个伴随屏幕设备400和客户端设备100之间的通信信道，并且单个伴随屏幕设备400可以控制360度视频内容。
当在操作S1002中客户端设备100未确定存在适合于控制360度内容的任何可用的伴随屏幕设备400时，过程进行到操作S1002a。当客户端设备100未从伴随屏幕设备400接收到对伴随屏幕设备400能够控制360度视频内容的任何指示时，这可能发生。在操作S1002a中，可以通过用于控制客户端设备100的通用遥控设备来控制客户端设备100上显示的360度视频内容。例如，当客户端设备100是电视时，遥控设备可以是遥控器。
例如，可能有多个兼容的伴随屏幕设备400连接到与客户端设备100相同的网络。在操作S1002中，当从伴随屏幕设备400中的每一个接收到对伴随屏幕设备400中的每一个能够控制360度视频内容的指示时，过程进行到操作S1003。
在操作S1003中，客户端设备100可以检查客户端设备100的用户配置。
当客户端设备100根据检查的用户配置允许多个连接时，过程进行到操作S1003a，以建立客户端设备100与指示可以进行360度控制的每个伴随屏幕设备400之间的通信信道。例如，可以在诸如游戏应用之类的多个应用中使用与伴随屏幕设备400的连接。
当伴随屏幕设备400可用时，伴随屏幕设备400可能不都与客户端设备100处于相同的空间。在这种情况下，当客户端设备100自动地选择所有可用的伴随屏幕设备400并且启动在所有可用的伴随屏幕设备400上的启动器应用时，可能给用户带来不便。当选择了不在同一房间中的设备时，尤其如此。因此，解决该问题的一个选项是在本方法的操作S1003b中，在客户端设备100上显示允许用户选择特定设备的弹出窗口。用户可以根据所显示的弹出窗口来选择一个特定的伴随屏幕设备。
客户端设备100可以被配置为自动执行在伴随屏幕设备400之一上的启动器应用。这可以通过几种方法来执行。
在操作S1004中，当自动启动功能可用时，客户端设备100可以被配置为确定客户端设备100是否能够检查可用伴随屏幕设备400的接近度。当接近度检查可行时，执行操作S1004a。在操作S1004a中，客户端设备100可以被配置为基于伴随屏幕设备400到客户端设备100的接近度来选择伴随屏幕设备400。
可以通过使用例如BLE信标来执行接近度检测。当基于物理接近度选择伴随屏幕设备400时，客户端设备100可以自动地选择在物理上最接近客户端设备100的伴随屏幕设备400。
当用户由于某些原因不想使用接近度检测时，用户可以通过客户端设备100上的用户界面选项来禁用对伴随屏幕设备400的接近度检测选择。这样，当接近度检测选择被禁用时或当接近度检查由于其他原因而不能用时，过程进行到操作S1005。
在操作S1005中，客户端设备100可以基于学习算法来选择伴随屏幕设备400。
人工智能(AI)系统是一种实现人类水平智能的计算机系统。与现有的基于规则的智能系统不同，AI系统是其中机器自行执行学习和确定的智能系统。随着AI系统的使用增加，AI系统的识别率提高并且可以更准确地理解用户的偏好。现有的基于规则的智能系统逐渐被基于深度学习的AI系统替代。
AI技术包括机器学习(深度学习)和使用机器学习的元素(element)技术。
机器学习是用于通过自身对输入数据的特征进行分类和学习的算法技术。元素技术是用于通过使用诸如深度学习的机器学习算法来模拟诸如人脑的识别或确定之类的功能的技术。元素技术包括诸如语言理解、视觉理解、推断或预测、知识表示和运动控制等技术领域。
可以通过在应用AI技术的各种领域中使用例如推断或预测来训练客户端设备100。推断或预测是用于确定、在逻辑上推断和预测信息的技术。推断或预测包括基于知识/概率的推断、优化预测、基于偏好的规划、和推荐。客户端设备100可以使用先前由客户端设备100执行的选择伴随屏幕设备的过程以及结果来选择当前情况下的伴随屏幕设备。
当客户端应用首先发现多个兼容的启动器应用时，客户端应用可以向用户显示弹出窗口。弹出窗口允许用户选择他或她想要连接到的优选伴随屏幕设备400。随着时间的逝去，客户端设备100可以学习与客户端设备100连接最多的伴随屏幕设备400，并且可以建立与使用最多的伴随屏幕设备400的通信信道。例如，可以在被识别为最频繁地连接到客户端设备100的伴随屏幕设备400上自动地启动启动器应用。
例如，客户端设备100可以存储先前连接到客户端设备100的所有伴随屏幕设备400的ID。客户端设备100可以记录该连接的时间。当多个设备可用时，客户端设备100可以基于可在特定时间段上建立的用户简档来选择伴随屏幕设备400。
通过基于用户简档来选择伴随屏幕设备400，客户端设备100可以防止内容通知被自动地发送给与内容不兼容的用户简档。例如，当关于成人内容的360度内容显示在客户端设备100上时，客户端设备100可以不选择儿童的用户简档。伴随屏幕设备400的用户简档将相关信息提供给客户端设备100，以防止在内容不兼容的情况下访问客户端设备100。另外，可以通过例如伴随屏幕设备400的设置而在伴随屏幕设备400中设置父母控制。伴随屏幕设备400可以在客户端设备100上显示父母控制，并且可以基于关于父母控制的信息来选择伴随屏幕设备400。
在操作S1006中，由于在所选择的伴随屏幕设备400和客户端设备100之间建立了通信信道，因此可以通过由伴随屏幕设备400接收的信号来控制客户端设备100上显示的360度视频内容。
图11是描述根据实施例的伴随屏幕设备400的操作以建立客户端设备100和伴随屏幕设备400之间的通信信道的流程图。根据实施例，该方法的所有操作可以由同一设备执行，或者一些操作可以由不同设备执行。根据特定实施例，图11所示的所有操作可以通过软件或硬件执行。当通过软件执行一个或多个操作时，用于执行该方法的设备可以包括：处理单元，该处理单元包括一个或多个处理器；以及存储计算机程序命令的计算机可读存储器，该计算机程序命令在由处理单元执行时用于执行该方法的相应操作。
在本实施例中，伴随屏幕设备400可以发起客户端设备100和伴随屏幕设备400之间的通信信道的建立。例如，在伴随屏幕设备400上执行的应用可以在客户端设备100上启动360度视频客户端。例如，HbbTV上的伴随屏幕应用可以启动HbbTV应用。
在操作S1110中，可以在伴随屏幕设备400中发生360度视频内容事件。
在操作S1120中，伴随屏幕设备400被配置为搜索客户端设备100。例如，伴随屏幕设备400可以被配置为搜索相同IP网络上的客户端设备100。另外，伴随屏幕设备400可以确定具有360度支持功能的客户端设备100是否可用。当没有检测到合适的客户端设备100时，伴随屏幕设备400可以仅在伴随屏幕设备400的显示器上显示360度视频内容。
在操作S1130中，伴随屏幕设备400可以将通信信道连接到所识别的客户端设备。
伴随屏幕设备400可以使用发现和启动(DIAL)来发现客户端设备100并启动客户端设备100上的360度客户端应用。例如，客户端设备100可以向伴随屏幕设备400通知客户端设备100具有360度控制功能。伴随屏幕设备400可以被配置为响应于接收到对客户端设备100具有360度功能的指示而请求启动客户端设备100上的客户端应用。
例如，当使用DIAL时，可以通过扩展从URL资源返回的XML文档来实现该方法，如下所示：
<？xml version＝"1.0"encoding＝"UTF-8"？
<xs:schema
xmlns:xs＝"http://www.w3.org/2001/XMLSchema"
xmlns＝"urn:hbbtv:CompanionScreen:2014"
targetNamespace＝"urn::CompanionScreen:2014"
elementFormDefault＝"qualified">
<xs:elementName＝"X_HbbTV_360Video"type＝"XS:string"/>
</xs:schema>
备选地，可以扩展用户代理字符串以发信号通知360度功能，如下所示：
HbbTV/1.4.1(+DRM,Samsung,SmartTV2017,SoftwareVersion；；)+MEDIA360Chrome
然而，可以通过任何合适的方法发信号通知360度功能。
在操作S1140中，伴随屏幕设备400可以响应于客户端设备100上的客户端应用的启动而进入控制模式。伴随屏幕设备400使客户端设备100显示360度内容。之后，伴随屏幕设备400可以将信号发送给客户端设备100，以便控制在客户端设备100上显示的360度视频内容的视点。
图12示出根据实施例的伴随屏幕设备400识别客户端设备100的操作的示例。
参考图12，在操作1210中，可以在伴随屏幕设备400中发生360度视频内容事件。360度视频内容事件可以包括触发360度视频内容的再现的任何操作。
在操作1220中，伴随屏幕设备400可以发送发现请求信号，以便搜索能够显示360度视频内容的客户端设备。
在操作1230中，客户端设备100可以向伴随屏幕设备400发送包括指示客户端设备100具有360度显示能力的信息在内的信号。
在操作1240中，伴随屏幕设备400可以通过从客户端设备100接收包括指示客户端设备100具有360度控制能力的信息在内的信号来识别客户端设备100。因此，可以在客户端设备100与伴随屏幕设备400之间连接通信信道。
在操作1250中，客户端设备100可以显示360度视频内容。客户端设备100可以以各种方式获取360度视频内容。例如，客户端设备100可以直接从服务器或通过伴随屏幕设备400接收360度视频内容。
在操作1260中，伴随屏幕设备400可以生成用于控制360度视频内容的导航信息。在操作1270中，伴随屏幕设备400可以将所生成的导航信息发送给客户端设备100。
在操作1280中，客户端设备100可以根据从伴随屏幕设备400接收的导航信息来控制360度视频内容的显示。
图13是根据实施例的客户端设备100a和伴随屏幕设备400a的示意图。
可以将360度视频内容1310提供给诸如TV的客户端设备100a。可以将内容1310上传到服务器1320以在宽带或广播网络上传输。可以将内容1310提供给正在执行客户端应用的客户端设备100a。
客户端设备100a可以根据以上参考图4所描述的方法使伴随屏幕设备400a启动控制应用。伴随屏幕设备400a可以接收用户命令，以便控制在客户端设备100a上显示的360度视频内容1310的视点。例如，伴随屏幕设备400a可以包括诸如触摸屏的输入器24，并且可以通过输入器输入用户命令。输入器24也可以包括用于输入命令的按钮。例如，用户命令可以包括参考图15至图17详细描述的命令。
伴随屏幕设备400a可以包括处理单元21，该处理单元21包括处理器21a、可以存储在诸如非暂时性计算机可读存储器之类的存储器21b中的计算机程序代码。当由处理器21a执行时，存储在存储器21b中的计算机程序代码可以使设备执行以上参考图11和图12描述的方法的操作。
客户端设备100a可以包括处理单元11，该处理单元11包括处理器11a以及可以存储在诸如非暂时性计算机可读存储器之类的存储器11b中的计算机程序代码。当由处理器11a执行时，存储在存储器11b中的计算机程序代码可以使设备执行以上参考图7至图10描述的方法的操作。伴随屏幕设备400a可以包括传感器22，以便测量伴随屏幕设备的取向。伴随屏幕设备400a可以包括通信接口23，以便与客户端设备100a发送和接收信号。客户端设备100a可以包括通信接口13，以便与伴随屏幕设备400a发送和接收信号。
图14是根据实施例的客户端设备100a和伴随屏幕设备400a的示意图。
将360度内容1310提供给诸如移动电话的伴随屏幕设备400a。内容1310可以经由宽带或广播网络从服务器1320提供给伴随屏幕设备400a。伴随屏幕设备400a可以根据以上参考图4所描述的方法使客户端设备100a执行360度应用程序。用户可以通过伴随屏幕设备400a提供用于控制客户端设备100a上显示的360度内容1310的视点的命令。例如，伴随屏幕设备400a可以包括诸如屏幕之类的输入器24，通过输入器24可以输入用户命令。输入器24也可以包括按钮，通过按钮可以输入命令。例如，用户命令可以包括参考图15至图17详细描述的命令。
伴随屏幕设备400a可以包括处理单元21，该处理单元21包括处理器21a以及可以存储在诸如非暂时性计算机可读存储器之类的存储器21b中的计算机程序代码。当由处理器21a执行时，存储在存储器21b中的计算机程序代码可以使设备执行以上参考图11和图12描述的方法的操作。伴随屏幕设备400a可以包括传感器22，以便测量伴随屏幕设备的取向。伴随屏幕设备400a可以包括通信接口23，以便与客户端设备100a发送和接收信号。
客户端设备100a可以包括处理单元11，该处理单元11包括处理器11a以及可以存储在诸如非暂时性计算机可读存储器之类的存储器11b中的计算机程序代码。当由处理器11a执行时，存储在存储器11b中的计算机程序代码可以使设备执行以上参考图7至图10描述的方法的操作。客户端设备100a可以包括通信接口13，以便与伴随屏幕设备400a发送和接收信号。
图15是根据实施例的可以由伴随屏幕设备400执行的控制操作的示意图。
参考图15，伴随屏幕设备400可以显示用户界面1510。用户界面1510包括与用户可选择的搜索命令相对应的图标。例如，用户界面1510可以包括允许用户滚动内容的方向箭头1511。用户可以通过使用方向箭头1511在水平和/或竖直方向上导航内容。因此，可以根据导航命令来调整360度视频内容的视点。例如，当用户选择向左箭头时，360度内容的视点可以向左旋转。
用户界面1510还可以包括调整内容的缩放等级的缩放指示器1512。因此，用户可以以特定的放大倍率观看内容的一部分。例如，当客户端设备100的观看窗口是客户端设备100的全屏时，客户端设备100的内容观看窗口可以保持恒定，使得所显示内容的角度范围根据缩放倍率而改变。然而，当客户端设备100的观看窗口小于客户端设备100的全屏时，可以根据缩放等级来改变观看窗口的大小，使得内容的角度范围保持恒定。用户界面1510还可以允许用户选择不同的缩放模式(即，不同的广角渲染模式)。图18示出了用户可选择的广角渲染的另一示例。
尽管在图15中未示出，但是360度视频内容也可以被显示在伴随屏幕设备400上。
用户可选择的导航命令可以通过信号发送给客户端设备100。例如，导航命令可以通过web套接字发送给在客户端设备100上执行的客户端应用。
可以响应于从伴随屏幕设备400接收的信号，根据导航命令来调整360度视频内容的视点。
图16是根据实施例的可以由伴随屏幕设备400执行的控制操作的示意图。
参考图16，伴随屏幕设备400可以被配置为通过信号向客户端设备100发送取向信息。例如，伴随屏幕设备400可以绕x轴、y轴和/或z轴旋转。伴随屏幕设备400可以包括至少一个传感器，该至少一个传感器被配置为检测设备的取向或设备的取向变化。伴随屏幕设备400可以向客户端设备100发送与设备的取向相对应的值。例如，可以由伴随屏幕设备400的传感器读取X、Y和Z旋转矢量。
取向值可以通过web套接字发送给客户端应用。在伴随屏幕设备400与客户端设备100之间可以存在专用的web套接字连接。从伴随屏幕设备400发送给客户端设备100的数据可能需要进行一些节流，以防止数据过载到web套接字中。
例如，客户端设备100被配置为响应于接收到关于伴随屏幕设备400的设备取向信息而调整360度内容的视点，使得由客户端设备100显示的360度视频内容的视点基于伴随屏幕设备400的取向而旋转。
客户端设备100可以以最适合于向用户提供改善体验的方式来解释接收到的位置数据。例如，当客户端设备接收到由伴随屏幕设备400定义的绝对位置时，客户端设备可以快速地跳到所述位置。然而，由于在360度内容的再现过程中视点的快速变化，这变成“快速”的用户体验。备选地，客户端应用可以应用一些平滑逻辑，从而以恒定速度将360度导航平滑地转变到从伴随屏幕设备400接收的最终位置。例如，可以通过使取向值平滑来获取平滑的取向数据。平滑可以包括改变值，以便在接收值的范围内具有相等的间隔。可以基于平滑的取向数据来确定360度视频内容的视点的旋转速度。
图17是根据实施例的可以由伴随屏幕设备400执行的控制操作的示意图。
在一些实施例中，伴随屏幕设备400可以被配置为显示与客户端设备100上显示的内容同步的360度视频内容。伴随屏幕设备400可以将客户端设备100上显示的视频内容镜像到伴随屏幕设备400。各种镜像技术可以包括例如屏幕镜像、数字生活网络联盟(DLNA)、蓝牙、Miracast、Wi-Fi直连、数字移动无线电(DMR)等。备选地，将整个360度内容在伴随屏幕设备400上渲染到全屏，使得用户可以通过伴随屏幕设备400的屏幕观看整个视频帧。也就是说，可以在伴随屏幕设备400上观看360度内容的整个视场。用户可以指向伴随屏幕设备400的屏幕上的视频区域。客户端设备100被配置为响应于接收到指向视频内容区域的信号而控制360度视频的视点，并且客户端设备100上显示的360度视频的一部分可以包括所指向的区域。
此外，当伴随屏幕设备400显示整个视场时，用户可以响应于在屏幕上接收到的指示而放大或缩小内容。例如，用户可以使用两个手指来捏放或捏合或点击屏幕，以便放大或缩小在客户端设备100上显示的内容。
如在图17所示的实施例中，通过使用镜像技术在客户端设备100和伴随屏幕设备400上显示360度图像。客户端设备100显示与360度图像的特定区域相对应的图像，并且伴随屏幕设备400显示360度图像的更宽范围。因此，用户可以根据伴随屏幕设备400上显示的图像观看更宽范围的区域。此外，这可以用于更容易地控制360度图像的视点。
图18示出根据实施例的可以由客户端设备100选择以便渲染360度视频内容的不同广角模式。
缩放360度视频可能引起视频失真。因此，根据本公开，可以允许用户控制广角视图，使得用户通过使用伴随屏幕设备400来选择不同的视图。在伴随屏幕设备400中可选择的广角渲染模式包括1800a中示出的鱼眼立体图、1800b中示出的鱼眼小行星(equisolid)、1800c中示出的鱼眼等距和1800d中示出的鱼眼正交，但不限于此。
根据实施例，可以以可由各种计算机设备执行并且可被记录在计算机可读记录介质中的程序命令的形式来实现操作客户端设备和伴随屏幕设备的方法。计算机可读记录介质的示例可以单独地或组合地包括程序命令、数据文件和数据结构。记录在计算机可读记录介质中的程序命令可以是针对本公开专门设计和配置的，或者可以是计算机软件领域的普通技术人员公知的和可用的。计算机可读记录介质的示例可以包括磁介质(例如，硬盘、软盘、磁带等)、光学介质(例如，致密盘只读存储器(CD-ROM)、数字多功能盘(DVD)等)、磁光介质(例如，光软盘等)以及专门配置为存储和执行程序命令的硬件设备(例如，ROM、RAM、闪存等)。程序命令的示例不仅可以包括由编译器产生的机器语言代码，而且可以包括由计算机使用解释器等可执行的高级语言代码。
尽管已经详细描述了本公开的一个或多个实施例，但是本领域普通技术人员将理解，本公开的范围不限于此，并且可以在不脱离所附权利要求所定义的范围的情况下对本公开进行各种改变和修改。

Claims (15)

1.一种客户端设备，包括：
通信接口；
显示器；
存储器，被配置为存储一个或多个指令；以及
处理器，被配置为执行存储在所述存储器中的所述一个或多个指令以：
控制所述显示器显示360度视频内容的至少一部分，
识别具有360度控制能力以对所述360度视频内容执行360度控制的伴随屏幕设备，
控制所述通信接口将通信信道与所识别的伴随屏幕设备进行连接，以及
控制所述显示器根据从所连接的伴随屏幕设备接收的控制命令对所述360度视频内容的显示进行控制。
2.根据权利要求1所述的客户端设备，其中，所述处理器还被配置为执行所述一个或多个指令，以请求所识别的伴随屏幕设备执行应用，所述应用对所述360度视频内容的显示执行控制操作。
3.根据权利要求1所述的客户端设备，其中，所述处理器还被配置为执行所述一个或多个指令以：
发送用于发现所述伴随屏幕设备的请求信号，以及
通过从所述伴随屏幕设备接收包括指示所述伴随屏幕设备具有所述360度控制能力的信息在内的信号，来识别所述伴随屏幕设备。
4.根据权利要求1所述的客户端设备，其中，所述处理器还被配置为执行所述一个或多个指令以：
从多个伴随屏幕设备接收包括指示所述多个伴随屏幕设备具有所述360度控制能力的信息在内的信号，
选择所述多个伴随屏幕设备中的至少一个伴随屏幕设备，以及
控制所述通信接口与所选择的所述至少一个伴随屏幕设备进行连接。
5.根据权利要求4所述的客户端设备，其中，所述处理器还被配置为执行所述一个或多个指令，以基于与所述伴随屏幕设备相关联的用户简档来选择所述多个伴随屏幕设备中的至少一个伴随屏幕设备。
6.根据权利要求4所述的客户端设备，其中，所述处理器还被配置为执行所述一个或多个指令，以基于所述客户端设备与所述伴随屏幕设备中的每个伴随屏幕设备的接近度来选择所述多个伴随屏幕设备中的至少一个伴随屏幕设备。
7.根据权利要求4所述的客户端设备，其中，所述处理器还被配置为执行所述一个或多个指令，以基于学习算法来选择所述多个伴随屏幕设备中的至少一个伴随屏幕设备。
8.根据权利要求1所述的客户端设备，其中，所述处理器还被配置为执行所述一个或多个指令以：
通过所述通信信道接收关于所述伴随屏幕设备的取向的设备取向信息，
响应于所述设备取向信息而调整所显示的所述360度视频内容的视点，使得所显示的所述360度视频内容的视点根据所述伴随屏幕设备的取向而旋转，以及
控制所述显示器显示所述360度视频内容的与调整后的视点相对应的区域。
9.根据权利要求8所述的客户端设备，其中，所述设备取向信息包括由被布置为检测所述伴随屏幕设备的取向的一个或多个传感器测量的多个取向值，并且
所述处理器还被配置为执行所述一个或多个指令以：
使所述多个取向值平滑，以便获得平滑的取向数据，以及
基于所述平滑的取向数据，确定所述360度视频内容的视点的旋转速度。
10.一种伴随屏幕设备，包括：
通信接口；
显示器；
存储器，被配置为存储一个或多个指令；以及
处理器，被配置为执行存储在所述存储器中的所述一个或多个指令以：
识别具有360度视频内容显示能力的客户端设备，
控制所述通信接口将通信信道与所识别的客户端设备进行连接，以及
控制所述通信接口向所述客户端设备发送用于对要在所连接的客户端设备上显示的360度视频内容的显示进行控制的控制命令。
11.根据权利要求10所述的伴随屏幕设备，其中，所述处理器还被配置为执行所述一个或多个指令，以通过从所述客户端设备接收包括指示所述客户端设备具有所述360度视频内容显示能力的信息在内的信号来识别所述客户端设备。
12.根据权利要求10所述的伴随屏幕设备，其中，所述处理器还被配置为执行所述一个或多个指令以：
检测所述伴随屏幕设备的取向；以及
经由所述通信信道向所述客户端设备发送关于所述伴随屏幕设备的取向的设备取向信息，使得在所述客户端设备上显示的所述360度视频内容的视点根据所述伴随屏幕设备的取向而旋转。
13.一种操作客户端设备的方法，所述方法包括：
显示360度视频内容的至少一部分；
识别具有360度控制能力以对所述360度视频内容执行360度控制的伴随屏幕设备；
将通信信道与所识别的伴随屏幕设备进行连接；以及
根据从所连接的伴随屏幕设备接收的控制命令对所述360度视频内容的显示进行控制。
14.一种操作伴随屏幕设备的方法，所述方法包括：
识别具有360度视频内容显示能力的客户端设备；
将通信信道与所识别的客户端设备进行连接；以及
向所述客户端设备发送用于对要在所连接的客户端设备上显示的360度视频内容的显示进行控制的控制命令。
15.一种计算机程序产品，包括计算机可读记录介质，在所述计算机可读记录介质上记录有用于执行对客户端设备进行操作的方法的一个或多个程序，所述方法包括：
显示360度视频内容的至少一部分；
识别具有360度控制能力以对所述360度视频内容执行360度控制的伴随屏幕设备；
将通信信道与所识别的伴随屏幕设备进行连接；以及
根据从所连接的伴随屏幕设备接收的控制命令对所述360度视频内容的显示进行控制。
CN201880054658.7A 2017-08-23 2018-07-26 客户端设备、伴随屏幕设备及其操作方法 Active CN110999310B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1713550.0 2017-08-23
GB1713550.0A GB2565807B (en) 2017-08-23 2017-08-23 Method and apparatus for controlling 360 degree video
KR1020180072347A KR102449878B1 (ko) 2017-08-23 2018-06-22 클라이언트 디바이스, 컴패니언 스크린 디바이스 및 그 동작방법
KR10-2018-0072347 2018-06-22
PCT/KR2018/008475 WO2019039748A1 (ko) 2017-08-23 2018-07-26 클라이언트 디바이스, 컴패니언 스크린 디바이스 및 그 동작방법

Publications (2)

Publication Number Publication Date
CN110999310A true CN110999310A (zh) 2020-04-10
CN110999310B CN110999310B (zh) 2023-04-11

Family

ID=59996818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880054658.7A Active CN110999310B (zh) 2017-08-23 2018-07-26 客户端设备、伴随屏幕设备及其操作方法

Country Status (5)

Country Link
US (1) US11128926B2 (zh)
EP (1) EP3661220B1 (zh)
KR (1) KR102449878B1 (zh)
CN (1) CN110999310B (zh)
GB (1) GB2565807B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654753A (zh) * 2020-05-22 2020-09-11 青岛海信传媒网络技术有限公司 一种应用程序启动方法及显示设备
CN112954447A (zh) * 2021-01-27 2021-06-11 四川长虹电器股份有限公司 一种Miracast后台常驻下信道跟随的方法
CN114244758A (zh) * 2021-12-13 2022-03-25 武汉斗鱼鱼乐网络科技有限公司 安卓平台的网络诊断方法、存储介质、电子设备及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953340B1 (en) * 2012-05-22 2018-04-24 Google Llc Companion advertisements on remote control devices

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1269033A (zh) * 1997-06-25 2000-10-04 三星电子株式会社 基于浏览器的命令和控制家庭网络
US20100081375A1 (en) * 2008-09-30 2010-04-01 Apple Inc. System and method for simplified control of electronic devices
CN102244676A (zh) * 2010-05-14 2011-11-16 Lg电子株式会社 电子设备和与其他设备共享电子设备的内容的方法
CN102346594A (zh) * 2011-09-15 2012-02-08 盛乐信息技术（上海）有限公司 电视设备的播放控制方法及系统
US20120075168A1 (en) * 2010-09-14 2012-03-29 Osterhout Group, Inc. Eyepiece with uniformly illuminated reflective display
CN102625171A (zh) * 2012-03-16 2012-08-01 晨星软件研发(深圳)有限公司 智能电视的远程控制方法、系统及相应的设备
CN102833525A (zh) * 2012-07-19 2012-12-19 中国人民解放军国防科学技术大学 一种360度全景视频的浏览操作方法
US20140270693A1 (en) * 2013-03-18 2014-09-18 Nintendo Co., Ltd. Information processing device, storage medium having moving image data stored thereon, information processing system, storage medium having moving image reproduction program stored thereon, and moving image reproduction method
CN104219551A (zh) * 2014-09-29 2014-12-17 武汉诚迈科技有限公司 一种智能设备屏幕共享与远程控制的方法
US20150245163A1 (en) * 2014-02-25 2015-08-27 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using wi-fi or bluetooth signal strength
CN105075274A (zh) * 2013-03-19 2015-11-18 Lg电子株式会社 信号发送装置、信号发送方法及发送和接收信号的系统
CN105094317A (zh) * 2015-06-29 2015-11-25 百度在线网络技术（北京）有限公司 一种体感控制方法与装置
CN106028132A (zh) * 2016-06-30 2016-10-12 四川长虹电器股份有限公司 通过智能移动终端在电视上观看全景视频的系统及方法
CN106101741A (zh) * 2016-07-26 2016-11-09 武汉斗鱼网络科技有限公司 在网络视频直播平台上观看全景视频的方法及系统
CN106210754A (zh) * 2016-07-07 2016-12-07 腾讯科技（深圳）有限公司 一种控制视频直播的方法、相关设备及系统
CN106454401A (zh) * 2016-10-26 2017-02-22 乐视网信息技术（北京）股份有限公司 一种播放视频的方法及装置
CN106454450A (zh) * 2016-10-31 2017-02-22 努比亚技术有限公司 全景视频播放装置及方法
US20170155976A1 (en) * 2015-11-30 2017-06-01 Samsung Electronics Co., Ltd. Electronic device, companion device, and method of operating the electronic device
CN106817625A (zh) * 2016-12-19 2017-06-09 广州视源电子科技股份有限公司 调整全景视频观看视角的方法、装置、系统及控制终端
US20170171592A1 (en) * 2015-12-10 2017-06-15 Le Holdings (Beijing) Co., Ltd. Method and electronic apparatus for adjusting viewing angle of Smart Television playing panorama videos
US20170171852A1 (en) * 2015-12-10 2017-06-15 Samsung Electronics Co., Ltd. Method and apparatus for managing capability of electronic device in wireless communication system
CN106982335A (zh) * 2017-03-29 2017-07-25 深圳Tcl新技术有限公司 拆解并显示全景视频的方法及装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3440731B2 (ja) * 1996-11-25 2003-08-25 株式会社ダイフク ボウリング場の映像表示システム
US5949437A (en) * 1997-02-19 1999-09-07 Appian Graphics Corp. Dual video output board with a shared memory interface
CA2233047C (en) * 1998-02-02 2000-09-26 Steve Mann Wearable camera system with viewfinder means
US20030034874A1 (en) * 1998-10-29 2003-02-20 W. Stephen G. Mann System or architecture for secure mail transport and verifiable delivery, or apparatus for mail security
US6873314B1 (en) * 2000-08-29 2005-03-29 International Business Machines Corporation Method and system for the recognition of reading skimming and scanning from eye-gaze patterns
US20160286128A1 (en) 2002-10-01 2016-09-29 Dylan TX ZHOU Amphibious vtol super drone camera in a mobile case (phone case) with multiple aerial and aquatic flight modes for capturing panoramic virtual reality views, selfie and interactive video
JP4355535B2 (ja) 2003-08-07 2009-11-04 株式会社岩根研究所 ３６０度画像変換処理装置
US20070050253A1 (en) * 2005-08-29 2007-03-01 Microsoft Corporation Automatically generating content for presenting in a preview pane for ADS
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US7736000B2 (en) * 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
JP2010081480A (ja) * 2008-09-29 2010-04-08 Fujifilm Corp 携帯型不審者検出装置、不審者検出方法及びプログラム
US9373123B2 (en) * 2009-12-30 2016-06-21 Iheartmedia Management Services, Inc. Wearable advertising ratings methods and systems
KR101733057B1 (ko) 2010-05-14 2017-05-08 엘지전자 주식회사 전자 기기 및 전자 기기의 컨텐츠 공유 방법
US20120050478A1 (en) * 2010-08-27 2012-03-01 Jeyhan Karaoguz Method and System for Utilizing Multiple 3D Source Views for Generating 3D Image
WO2012050544A1 (en) 2010-10-14 2012-04-19 Thomson Licensing Remote control device for 3d video system
US8893164B1 (en) * 2012-05-16 2014-11-18 Google Inc. Audio system
JP5745497B2 (ja) 2012-12-04 2015-07-08 任天堂株式会社 表示システム、表示制御装置、情報処理プログラム及び表示方法
KR101988313B1 (ko) * 2013-01-04 2019-06-12 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 및 이의 기록 매체
KR102067620B1 (ko) * 2013-05-21 2020-01-17 삼성전자주식회사 파노라마 사진의 썸네일 이미지 표시 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
CN105706455B (zh) 2013-11-04 2020-02-07 Lg电子株式会社 电子设备和用于控制电子设备的方法
CN103648006B (zh) 2013-12-20 2018-01-16 深圳创维－Rgb电子有限公司 移动设备和电视的交互方法、系统及计算机可读介质
WO2015182085A1 (en) 2014-05-27 2015-12-03 Sharp Kabushiki Kaisha Companion device
US10219026B2 (en) 2015-08-26 2019-02-26 Lg Electronics Inc. Mobile terminal and method for playback of a multi-view video
US20170150212A1 (en) * 2015-11-23 2017-05-25 Le Holdings (Beijing) Co., Ltd. Method and electronic device for adjusting video
KR20170124811A (ko) * 2016-05-03 2017-11-13 삼성전자주식회사 영상 표시 장치 및 그 동작방법
WO2018049221A1 (en) * 2016-09-09 2018-03-15 Vid Scale, Inc. Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
US20180098131A1 (en) * 2016-09-30 2018-04-05 Avago Technologies General Ip (Singapore) Pte. Ltd. Apparatus and methods for adaptive bit-rate streaming of 360 video

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1269033A (zh) * 1997-06-25 2000-10-04 三星电子株式会社 基于浏览器的命令和控制家庭网络
US20100081375A1 (en) * 2008-09-30 2010-04-01 Apple Inc. System and method for simplified control of electronic devices
CN102244676A (zh) * 2010-05-14 2011-11-16 Lg电子株式会社 电子设备和与其他设备共享电子设备的内容的方法
US20120075168A1 (en) * 2010-09-14 2012-03-29 Osterhout Group, Inc. Eyepiece with uniformly illuminated reflective display
CN102346594A (zh) * 2011-09-15 2012-02-08 盛乐信息技术（上海）有限公司 电视设备的播放控制方法及系统
CN102625171A (zh) * 2012-03-16 2012-08-01 晨星软件研发(深圳)有限公司 智能电视的远程控制方法、系统及相应的设备
CN102833525A (zh) * 2012-07-19 2012-12-19 中国人民解放军国防科学技术大学 一种360度全景视频的浏览操作方法
US20140270693A1 (en) * 2013-03-18 2014-09-18 Nintendo Co., Ltd. Information processing device, storage medium having moving image data stored thereon, information processing system, storage medium having moving image reproduction program stored thereon, and moving image reproduction method
CN105075274A (zh) * 2013-03-19 2015-11-18 Lg电子株式会社 信号发送装置、信号发送方法及发送和接收信号的系统
US20150245163A1 (en) * 2014-02-25 2015-08-27 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using wi-fi or bluetooth signal strength
CN104219551A (zh) * 2014-09-29 2014-12-17 武汉诚迈科技有限公司 一种智能设备屏幕共享与远程控制的方法
CN105094317A (zh) * 2015-06-29 2015-11-25 百度在线网络技术（北京）有限公司 一种体感控制方法与装置
US20170155976A1 (en) * 2015-11-30 2017-06-01 Samsung Electronics Co., Ltd. Electronic device, companion device, and method of operating the electronic device
US20170171592A1 (en) * 2015-12-10 2017-06-15 Le Holdings (Beijing) Co., Ltd. Method and electronic apparatus for adjusting viewing angle of Smart Television playing panorama videos
US20170171852A1 (en) * 2015-12-10 2017-06-15 Samsung Electronics Co., Ltd. Method and apparatus for managing capability of electronic device in wireless communication system
CN106028132A (zh) * 2016-06-30 2016-10-12 四川长虹电器股份有限公司 通过智能移动终端在电视上观看全景视频的系统及方法
CN106210754A (zh) * 2016-07-07 2016-12-07 腾讯科技（深圳）有限公司 一种控制视频直播的方法、相关设备及系统
CN106101741A (zh) * 2016-07-26 2016-11-09 武汉斗鱼网络科技有限公司 在网络视频直播平台上观看全景视频的方法及系统
CN106454401A (zh) * 2016-10-26 2017-02-22 乐视网信息技术（北京）股份有限公司 一种播放视频的方法及装置
CN106454450A (zh) * 2016-10-31 2017-02-22 努比亚技术有限公司 全景视频播放装置及方法
CN106817625A (zh) * 2016-12-19 2017-06-09 广州视源电子科技股份有限公司 调整全景视频观看视角的方法、装置、系统及控制终端
CN106982335A (zh) * 2017-03-29 2017-07-25 深圳Tcl新技术有限公司 拆解并显示全景视频的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654753A (zh) * 2020-05-22 2020-09-11 青岛海信传媒网络技术有限公司 一种应用程序启动方法及显示设备
CN111654753B (zh) * 2020-05-22 2022-06-03 青岛海信传媒网络技术有限公司 一种应用程序启动方法及显示设备
CN112954447A (zh) * 2021-01-27 2021-06-11 四川长虹电器股份有限公司 一种Miracast后台常驻下信道跟随的方法
CN114244758A (zh) * 2021-12-13 2022-03-25 武汉斗鱼鱼乐网络科技有限公司 安卓平台的网络诊断方法、存储介质、电子设备及系统

Also Published As

Publication number Publication date
US20200204870A1 (en) 2020-06-25
EP3661220B1 (en) 2023-11-08
EP3661220A1 (en) 2020-06-03
KR102449878B1 (ko) 2022-09-30
CN110999310B (zh) 2023-04-11
GB2565807A (en) 2019-02-27
EP3661220C0 (en) 2023-11-08
KR20190022307A (ko) 2019-03-06
US11128926B2 (en) 2021-09-21
GB2565807B (en) 2022-04-20
EP3661220A4 (en) 2020-06-03
GB201713550D0 (en) 2017-10-04

Similar Documents

Publication Publication Date Title
CN110999310B (zh) 客户端设备、伴随屏幕设备及其操作方法
US10175847B2 (en) Method and system for controlling display device and computer-readable recording medium
KR101834995B1 (ko) 디바이스 간 컨텐츠 공유 방법 및 장치
US10453246B2 (en) Image display apparatus and method of operating the same
KR102354328B1 (ko) 영상 표시 장치 및 그 동작 방법
US10810789B2 (en) Image display apparatus, mobile device, and methods of operating the same
CN113874828B (zh) 用于通过外部电子装置提供屏幕共享服务的电子装置、方法和计算机可读介质
US20130342456A1 (en) Remote control apparatus and control method thereof
EP3024220A2 (en) Display apparatus and display method
US11051147B2 (en) Electronic apparatus and method of outputting content by the electronic apparatus
KR102325341B1 (ko) 영상 표시 장치 및 그 동작방법
KR20210074877A (ko) 디스플레이 장치 및 그 동작방법
KR20170106055A (ko) 서비스를 제공하기 위한 gui를 제공하는 영상 출력 장치 및 영상 출력 방법
JP2015130661A (ja) ディスプレイ装置、モバイル装置、これを含むシステム及びその接続制御方法｝
CN107172472B (zh) 使用遥控器在无触摸能力的显示设备上运行触摸屏应用
KR102557735B1 (ko) 전자 장치 및 그 동작 방법
US10719147B2 (en) Display apparatus and control method thereof
ES2970259T3 (es) Dispositivo cliente, dispositivo de pantalla complementaria, y procedimiento de funcionamiento de los mismos
EP3319308B1 (en) Spherical image display apparatus and method of displaying spherical image on a planar display
KR20160029552A (ko) 전자 기기, 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant