CN105939497A - 媒体串流系统及媒体串流方法 - Google Patents

媒体串流系统及媒体串流方法 Download PDF

Info

Publication number
CN105939497A
CN105939497A CN201610103946.XA CN201610103946A CN105939497A CN 105939497 A CN105939497 A CN 105939497A CN 201610103946 A CN201610103946 A CN 201610103946A CN 105939497 A CN105939497 A CN 105939497A
Authority
CN
China
Prior art keywords
media
display device
source
picture
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610103946.XA
Other languages
English (en)
Other versions
CN105939497B (zh
Inventor
王元纲
张宇先
武景龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN105939497A publication Critical patent/CN105939497A/zh
Application granted granted Critical
Publication of CN105939497B publication Critical patent/CN105939497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4356—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen by altering the spatial resolution, e.g. to reformat additional data on a handheld device, attached to the STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

一种媒体串流系统及媒体串流方法于此揭露。媒体串流系统包含媒体源及显示装置。媒体源用以提供具有第一解析度的媒体内容。显示装置通讯连接媒体源。显示装置包含显示面板及体感输入模块。显示面板用以透过第二解析度进行显示，第二解析度低于第一解析度。体感输入模块用以产生体感指令。媒体源用以依据体感指令于媒体内容提取具有第二解析度的部分画面。通过体感指令决定部分画面在媒体内容中的相对位置。部分画面的数据从媒体源传输至显示装置。通过媒体串流系统传输部分画面，可以减少传输频宽的浪费。

Description

媒体串流系统及媒体串流方法
技术领域
本发明关于一种影像系统，特别是关于一种即时影像串流系统及其控制方法。
背景技术
最近，数字相机、视频摄影机、摄像录影机及其他影像记录器的技术高度发展。上述的图像或影像摄影机的解析度从VGA(640x480)、HD(1280x720即720p)进展到FHD(1920x1080即1080p)甚至是4K2K(3820x2160即2160p)。FHD及4K2K的解析度可以提供更多细部的场景，使得观看者观看高解析度的图像或影像时，可以得到较佳的体验。然而，高解析度指的是每一画面中有较多的像素数据。4K2K影像的原始数据需要较大的传输频宽才能透过视频摄影机及显示器传输。若数据是透过实体线路进行传输，较容易设置更多实体宽频线路建立较大传输频宽，但在无线通讯领域中并不容易增加传输的频宽。
使用者喜欢观看及时的场景(例如球赛、时装秀、儿童活动)。这些有趣的场景可以被录制并且以高解析度的方式播放，但透过无线通讯的方式传输影像或串流影音会占据无线通讯很大的频宽。
发明内容
根据本发明的一实施例提供一种即时影像串流系统及其控制方法，通过选取及传输来自整体画面的部分画面或是由媒体源所储存的部分画面来优化传输频宽的使用。
本发明提供一种媒体串流系统，包含媒体源及显示装置。媒体源用以提供具有第一解析度的媒体内容。显示装置通讯连接媒体源。显示装置包含显示面板及体感输入模块。显示面板用以透过第二解析度进行显示，第二解析度低于第一解析度。体感输入模块用以产生体感指令。媒体源用以依据体感指令，提取媒体内容中具有第二解析度的部分画面，体感指令决定部分画面在媒体内容中的相对位置，部分画面的数据从媒体源传送至显示装置。
本发明提供一种媒体串流方法包含以下操作。通过媒体源提供具有第一解析度的媒体内容。透过显示装置产生体感指令。依据体感指令于媒体内容中提取具有第二解析度的部分画面。通过体感指令决定部分画面在媒体内容中的相对位置。将部分画面的数据从媒体源传输至显示装置。
透过媒体串流系统传输具有特定解析度的部分画面，可以减少将传输频宽浪费在传输使用者不感兴趣的数据上。
应该了解到前述的概要叙述及以下的细节描述是为了举例说明，以及为了本发明提供更进一步的解释。
附图说明
通过阅读以下实施例的实施方法以及参照以下附图可以更了解本发明：
图1绘示本发明的实施例的媒体串流系统的示意图；
图2A绘示图1的显示装置及媒体串流系统的媒体源的示意图；
图2B绘示图2A的媒体源所提供的媒体内容的示意图；
图3绘示本发明的一实施例的媒体串流方法的方法流程图；
图4A绘示图1的影像串流系统的另一些实施例的示意图；
图4B绘示图4A的媒体源所提供的媒体内容的示意图；
图5绘示本发明的实施例的媒体源所提供的媒体内容；
图6绘示图1的显示装置及影像串流系统的媒体源的另一实施例的示意图；
图7绘示本发明的一实施例的媒体串流方法的方法流程图；以及
图8绘示本发明的一实施例的媒体串流方法的方法流程图。
具体实施方式
具体的参照数据是用于呈现本发明的实施例以及附附图的举例说明。相同的参照数字可能使用于附图及描述来指示相同或类似的部分。
请参照图1，其绘示本发明的一实施例的影像串流系统100的示意图。影像串流系统100包含显示装置120及媒体源140。媒体源140用以提供媒体内容。显示装置120通讯连接媒体源140。媒体源140能够透过串流方式传输媒体内容至显示装置120，使得显示装置120能够显示媒体内容。
显示装置120包含显示面板122、体感输入模块124及通讯模块126。在一些实施例中，显示装置120为移动电话、平板电脑、电视、个人电脑或其他具有显示元件的等效电子装置。
于一些实施例中，媒体源140可以是数字相机、多功能相机、运动相机、具有360度范围的相机或是多重相机的组合。在这样的情形下，如图1所示，媒体源140包含摄像模块142、控制模块144及通讯模块146。摄像模块142用以录制影像或串流影像。通过摄像模块142所撷取到的完整影像具有第一解析度，例如4K2K(3840x2160)。
在另一些实施例中，媒体源140为储存影像的数据库，媒体源140的储存单元(图中未示)储存具有第一解析度的文件。
换句话说，媒体源140透过录制串流影像或提供已存在的影像文件用以提供具有第一解析度的媒体内容。
显示装置120的通讯模块126与媒体源140的通讯模块146相互通讯连接，使得显示装置120与媒体源140之间可以互相交换数据或资讯。在一些实施例中，通讯模块126及通讯模块146为区域通讯模块(例如WIFI direct、Zigbee、Bluetooth等)，显示装置120与媒体源140以直接的方式无线连接。在一些实施例中，通讯模块126及通讯模块146为电信模块(例如WIFI、3G、4G、LTE等)，显示装置120与媒体源140透过电信网路无线连接。
在一些实施例中，媒体源140的控制模块144为处理器、中央处理单元、图形处理单元或其他等效的电路元件。
请一并参照图2A及图2B。图2A绘示图1的媒体串流系统100的显示装置120及媒体源140的示意图。图2B绘示图2A的媒体源140所提供的媒体内容MC的示意图。
在一些实施例中，媒体源140能够录制影像或串流影像使其成为媒体内容MC。如图2B所示，提供具有第一解析度RES1的媒体内容MC。显示装置120的显示面板122适用于以第二解析度RES2进行显示，例如FHD(1920x1080)。在媒体源140内的媒体内容MC的第一解析度RES1高于显示装置所显示的第二解析度RES2。
应该注意的是第二解析度RES2及第一解析度RES1并不限于这些特定的数值(1920x1080及3840x2160)。这些数值仅作为示范性举例，在第一解析度RES1高于第二解析度RES2的前提下，任意数值组合的第一解析度RES1与第二解析度RES2均适用于本发明。
在一般串流影像播放的方式中，被媒体源所录制或储存的串流影像的原始数据(完整画面)会从媒体源传输至显示装置，传输这些数据需要很大的传输频宽。显示装置必须接收、解码及转换完整画面的原始文件，使其成为适合在显示装置中播放的格式。因此使用一般的方式来传输及处理这些原始数据会浪费频宽、时间以及运算资源。
如本发明的图2B所示，从具有第一解析度RES1的媒体内容的完整画面中提取具有第二解析度RES2的部分画面PF，将所提取的部分画面PF由媒体源140传输至显示装置120，这样一来就可以避免浪费频宽、时间以及运算资源。依据观看者的喜好选择部分画面PF的位置。在一些实施例中，透过显示装置120侦测体感指令来指示出观看者的喜好。
请一并参照图3，其绘示本发明的一实施例的媒体串流方法200的方法流程图。媒体串流方法200适用于影像串流系统100。如图3所示，执行步骤S202使得媒体源140提供具有第一解析度RES1的媒体内容MC。执行步骤S204使得显示装置120产生体感指令GCMD。
在一些实施例中，显示装置120的体感输入模块124至少包含触控面板、运动感测器(陀螺仪、重力感测器、加速度感测器等)、眼球追踪单元及收音麦克风其中一者，体感输入模块124用来产生体感指令GCMD。
在一些实施例中，体感输入模块124包含触控面板，如此一来使用者可以在触控面板上朝右侧、左侧、上侧或下侧滑动，相对地将会产生体感指令GCMD。体感指令GCMD从显示装置120传送至媒体源140。对应体感指令GCMD，控制模块144用以依据体感指令GCMD，从媒体内容MC提取部分画面PF，得以让体感指令GCMD触发控制模块144在媒体内容MC的完整画面中调整部分画面PF至右侧、左侧、上侧及下侧。
在一些实施例中，体感输入模块124包含运动感测器(陀螺仪、重力感测器、加速度感测器等)，使得使用者可以旋转、位移、移动或翻转显示装置120至不同的方向，运动感测器可以侦测显示装置120的动作并产生相对应的体感指令GCMD。体感指令GCMD从显示装置120传送至媒体源140。对应体感指令GCMD，控制模块144用以调整部分画面PF，其中部分画面PF对应体感指令GCMD所指示的动作，移动到某一方向。举例来说，将显示装置120旋转至右侧，部分画面PF便移动到媒体内容MC的完整画面的右侧。
在一些实施例中，体感输入模块124包含眼球追踪单元。举例来说，可以透过显示装置120的前方摄像装置来实现眼球追踪单元，启动前方摄像装置来捕捉并追踪使用者的眼球。当使用者移动眼睛并直视一个特定的位置，眼球追踪单元可以追踪使用者眼球，并相对应地产生体感指令GCMD。体感指令GCMD从显示装置120传送至媒体源140。对应体感指令GCMD所指定的位置，控制模块144将部分画面PF的中心移动到眼睛直视的位置。
在一些实施例中，体感输入模块124包含收音麦克风。收音麦克风用来记录声音指令，使其成为体感指令GCMD。体感指令GCMD从显示装置120传送至媒体源140。控制模块144依据体感指令GCMD中声音指令内容调整部分画面PF所在位置。
基于前述的实施例，体感指令GCMD决定部分画面PF在媒体内容MC中的相对位置。执行步骤S206，依据体感指令GCMD，由媒体内容MC的完整画面中提取具有第二解析度的部分画面PF。要注意的是，部分画面PF依据体感指令GCMD随着时间动态地改变。
当控制模块144提取部分画面PF后，执行步骤S208，将部分画面PF从媒体源140传送至显示装置120。执行步骤S210，在显示装置120的显示面板122中显示部分画面PF的数据。
在一些实施例中，当媒体内容MC为静态图像时，部分画面PF的数据包含静态的图像的局部图像。当媒体内容MC为影像或串流影像时，部分画面PF的数据包含这些影像或串流影像的一系列部分画面PF，依据体感指令GCMD来调整这些部分画面PF的位置。
一旦体感指令GCMD从显示装置120传送至媒体源140，媒体源140的控制模块144用以将部分画面PF调整至体感指令GCMD所指示的位置。于串流影像中重新调整过的部分画面PF会即时地被传送至显示装置120。因此观看者可以在显示装置120上一直观看感兴趣的场景。
为了提升部分画面PF调整的反应速度，与当前的部分画面PF相邻的环绕区域被视为缓冲区BA(如图2B所示)。在一些实施例中，缓冲区BA的像素数据随着部分画面PF从媒体源140被传送至显示装置120。一旦使用者透过上下左右的些微移动来重新指定部分画面PF的目标，通过结合原始的部分画面PF及缓冲区BA的数据，显示装置120能够立即地显示位于新目标位置的部分画面PF。因此可以在不造成长时间延迟的情形下，将部分画面PF移动到观看者感兴趣的新目标位置。
请一并参照图4A及图4B。图4A绘示图1的影像串流系统100的另一些实施例的示意图。图4B绘示图4A的媒体源140所提供的媒体内容的示意图。媒体串流影像100包含显示装置120及媒体源140。举例来说，显示装置120为穿戴式显示装置，例如头戴式虚拟实境(Virtual Reality,VR)装置(如图4A所示的实施例)。头戴式虚拟实境装置可以透过独立式的虚拟实境装置来实现，或是透过智慧型手机结合一头戴式固定配件来实现。举例来说，图4A所示的媒体源140为360度球型画面相机。
显示装置120适用于以第二解析度RES2来进行显示，例如FHD(1920x1080)。举例来说，媒体源140为360度球型画面相机、全景相机或多重相机的组合，用以录制具有第一解析度的完整画面。媒体源140能够录制具有第一解析度RES1的媒体内容MC。例如4K2K(3840x2160)。在此实施例中，媒体源能够沿着360度的视角捕捉场景。媒体源140录制的第一解析度RES1高于显示装置120所显示的第二解析度RES2。然而，第一解析度RES1及第二解析度RES2不限于这些特定数值(3840x2160及1920x1080)。
在其他一些实施例中，媒体源140也可以是影像储存数据库，影像储存数据库用以储存具有第一解析度RES1的影像文件。
在一些实施例中，依据体感指令GCMD，从媒体内容MC的完整画面提取具有第二解析度RES2的部分画面PF，并且将所提取的部分画面PF从媒体源140传输至显示装置120。
在一些实施例中，显示装置120包含体感输入模块124(请参照图1)。体感输入模块124包含运动感测器(陀螺仪、重力感测器、加速度感测器等)、眼球追踪单元或收音麦克风。体感输入模块124用以产生体感指令GCMD。
在一些实施例中，体感输入模块124包含眼球追踪单元。举例来说，可以透过显示装置120的前方摄像装置来实现眼球追踪单元，启动前方摄像装置来捕捉并追踪使用者的眼球。当使用者移动眼睛并直视一个特定的位置，眼球追踪单元可以追踪使用者眼球，并相对应地产生体感指令GCMD。体感指令GCMD从显示装置120传送至媒体源140。对应体感指令GCMD，控制模块144用以将部分画面的中心移动到眼睛直视的位置。在一些实施例中，体感输入模块124能够侦测使用者抬头、转头或低头，以及使用者向前移动、向后移动、向右移动或向左移动。在一些实施例中，眼球追踪单元的侦测结果与运动感测器的侦测结果的组合产生体感指令GCMD。举例来说，运动感测器及眼球追踪单元侦测到使用者向前跨三步、抬头并且转动眼球至右侧，便集合成为体感指令GCMD。
有关如何通过运动感测器、眼球追踪单元或收音麦克风来产生体感指令GCMD的具体内容已于前述实施例中揭露，在此不另赘述。
一旦体感指令GCMD由显示装置120传送至媒体源140，媒体源140可以将部分画面PF调整至体感指令GCMD所指示的位置。于串流影像中重新分配过的部分画面PF会被及时地传送至显示装置120。因此观看者可以在显示装置120上一直观看感兴趣的场景。
要注意的是，图4A的显示装置120为头戴式虚拟实境装置，图4A的媒体源140为360度球型画面相机。360度球型画面相机用以记录具有球面形状画面的媒体内容MC，如图4B所示。
在一实施例中，显示面板122上的部分画面PF涵盖了使用显示装置120的使用者所有的可见角度。对应使用者移动头部或旋转身体，部分画面PF将会在媒体源140所记录或储存的整个球面画面上被移动或调整，让使用者感觉正身处在对应于媒体源140的场景中。
为了提升部分画面PF调整的反应速度，与当前的部分画面PF相邻的环绕区域被视为缓冲区BA(如图2B所示)。在一些实施例中，缓冲区BA的像素数据随着部分画面PF从媒体源140被传送至显示装置120。
在一些实施例中，依据体感指令GCMD，部分画面PF被即时地调整，部分画面PF立即串流传送至显示装置120。这样即时性的流程适合运用在具有强大处理器的高阶装置。举例来说，依据运动感测器所侦测到的使用者头部动作来调整部分画面PF，依据运动感测器所侦测到的使用者身体动作(例如向前移动、向后移动、向右或向左移动)来调整部分画面PF，依据眼球追踪单元所侦测到的眼球动作(例如使用者眼睛注视的位置)来调整部分画面PF，依据收音麦克风侦测到的声音指令来调整部分画面PF，或是依据至少前述两个侦测结果的组合来调整部分画面PF。
在一些运算能力有限的低阶装置的实际应用中，动态地调整部分画面会消耗过多的电力或超过其处理器的负载。在这些低阶的装置中，媒体源140的媒体内容的完整画面被切分成多个部分画面文件。请一并参照图5，其绘示本发明的一些实施例的媒体源140所提供的媒体内容MC。
如图5所示，具有第一解析度RES1的媒体内容的完整画面被切分成多个具有第二解析度RES2的部分画面。图5中有9个部分画面(PF1～PF9)。每一个部分画面PF1～PF9皆来自于媒体内容MC的不同部分。
对应体感指令GCMD，控制模块144依据体感指令GCMD选取这些部分画面文件PF1～PF9其中一者，所选取的该部分画面文件由媒体源140被传输至显示装置120，使得低阶的装置能够执行本发明的媒体串流方法200。这些部分画面文件PF1～PF9紧邻着排列(如图5所示)或是部分相互重叠(图中未示)。
在图4A与图4B的实施例中，媒体源140包含360度球型画面相机。360度球型画面相机位于场景中的固定位置。当使用者走到不同的位置，部分画面PF被放大或缩小来模拟使用者的走路动作。然而，假如使用者走到距离原点很远的位置，仅透过单一的360度球型画面相机来涵盖使用者的视角是很困难的。请一并参照图6，其绘示图1中影像串流系统100的显示装置120及媒体源140的另一实施例的示意图。
如图6所示，媒体源140包含多个摄像装置。摄像装置140a、140b、140c及140d作为举例说明使用。然而，本发明不限于这四个摄像装置。摄像装置140a、140b、140c及140d设置于场景SCN中的不同位置。摄像装置140a、140b、140c及140由相对场景SCN的不同视角撷取媒体内容MC。每一媒体内容MC以第一解析度来撷取(请参照图4B)。
如图6所示，显示装置120为头戴式虚拟实境装置。显示装置120包含显示面板122、体感输入模块124(请参照图1)及通讯模块126(请参照图1)。显示装置120进一步包含图6所示的定位模块128。定位模块128用以感测头戴式虚拟实境装置在空间SPC中的空间关系SR。
举例来说，至少有一个放射线指示器160在空间SPC中的固定位置上运作。定位模块128包含多个放射线感测器，这些放射线感测器配置于头戴式虚拟实境装置上的不同点位，放射线感测器之间相互间隔。于不同的时间序，放射线感测器将会接收到来自放射线指示器160的放射线。定位模块128能够依据不同放射线感测器所标记的时间序以及放射线感测器之间的间隔距离，来计算头戴式虚拟实境装置在空间SPC中的空间关系SR。前述实施例的定位模块128用于举例说明。在实际的应用上，定位模块128可以是距离感测器、GPS接收器、或其他同等性的定位电路。
请一并参照图7，其绘示本发明的一实施例的媒体串流方法300的方法流程图。
执行步骤S302，媒体源140的摄像装置140a～140d提供媒体内容。摄像装置140a～140d坐落于场景SCN中不同的位置。
执行步骤S303，上述揭露的定位模块128感测显示装置120在空间SPC中的空间关系SR。
执行步骤S304，显示装置120的体感输入模块124产生体感指令GCMD。关于如何产生体感指令GCMD的具体内容已揭露于上述实施例中。
空间关系SR及体感指令GCMD被传送至媒体源140。媒体源140的控制器(图中未示)或摄像装置140a～140d的座标方位仪接收空间关系SR及体感指令GCMD。执行步骤S306a，依据空间关系SR选取摄像装置140a～140d其中一者。摄像装置140a～140d其中一者被选取用以符合显示装置120在空间SPC的空间关系SR。假设显示装置120移动到空间SPC的右侧前端，选取摄像装置140b。假设显示装置120移动到空间SPC的左侧近端，选取摄像装置140c。摄像装置140a～140d中被选取的一者处理体感指令GCMD。
执行步骤S306b，依据体感指令GCMD提取部分画面PF。执行步骤S308，在摄像装置140a～140d中被选取的一者传输部分画面至显示装置120，例如，头戴式虚拟实境装置。执行步骤S310来显示部分画面PF。
请一并参照图8，其绘示本发明的一实施例的媒体串流方法400的方法流程图。非暂态电脑可读取储存媒体的电脑程式能够执行媒体串流方法200、300及400。
执行步骤S402，提供具有第一解析度RES1的媒体内容MC。执行步骤S404，从显示装置120接收体感指令GCMD。执行步骤S406，依据体感指令GCMD，从媒体内容MC中提取具有第二解析度RES2的部分画面PF。体感指令GCMD决定部分画面PF在媒体内容MC中的相对位置。第二解析度RES2低于第一解析度RES1。执行步骤S408来传输部分画面PF至显示装置120。
基于前述实施例，对应显示装置所能显示的解析度规格，媒体串流系统中的媒体源能够传输具有特定解析度的部分画面。因此不会将频宽浪费在传输显示装置的使用者不感兴趣的一些额外数据。一旦显示装置的使用者改变动作、手势移动或输入语音指令，部分画面相应地做调整。
虽然已经参照一些特定实施例来对本发明进行相当多的描述，然而仍然可能参照其他实施例来描述本发明。因此，本发明所涵盖的精神及范围不应该以上述实施例的内容为限。
对于相关领域的已知技艺之人来说，在不背离本发明所涵盖的精神及范围的情形下，对本发明的结构进行改良及变化是显而易见的。有鉴于前述的观点，可以预期到本发明在其所涵盖的精神及范围下包含了改良以及变化。

Claims (19)

1.一种媒体串流系统，其特征在于，包含：
一媒体源，用以提供具有一第一解析度的一媒体内容；以及
一显示装置，通讯连接该媒体源，该显示装置包含：
一显示面板，用以透过一第二解析度进行显示，该第二解析度低于该第一解析度；以及
一体感输入模块，用以产生一体感指令，其中该媒体源用以依据该体感指令，提取该媒体内容的具有该第二解析度的一部分画面，该体感指令决定该部分画面在该媒体内容中的一相对位置，该部分画面的数据从该媒体源传送至该显示装置。
2.根据权利要求1所述的媒体串流系统，其特征在于，该体感输入模块包含一运动感测器，该运动感测器依据该显示装置的动作产生该体感指令。
3.根据权利要求1所述的媒体串流系统，其特征在于，该体感输入模块包含一眼球追踪单元，该眼球追踪单元用以追踪使用者的眼球，该眼球追踪单元依据眼球的位置产生该体感指令。
4.根据权利要求1所述的媒体串流系统，其特征在于，该媒体内容中环绕该部分画面的一缓冲区内的数据伴随着该部分画面从该媒体源传输至该显示装置。
5.根据权利要求1所述的媒体串流系统，其特征在于，将该媒体内容分成多个部分画面文件，每一部分画面文件储存该媒体内容的不同部分。
6.根据权利要求5所述的媒体串流系统，其特征在于，依据该体感指令选取所述多个部分画面文件中一者，所选取的该部分画面文件从该媒体源传输至该显示装置。
7.根据权利要求1所述的媒体串流系统，其特征在于，该媒体源包含一360度球形画面相机，该显示装置包含一头戴式虚拟实境装置。
8.根据权利要求1所述的媒体串流系统，其特征在于，该媒体源包含多个摄像装置，所述多个摄像装置坐落于一场景的不同位置，所述多个摄像装置由对应该场景的不同视角撷取多个媒体内容，以该第一解析度撷取每一媒体内容。
9.根据权利要求8所述的媒体串流系统，其特征在于，该显示装置包含一头戴式虚拟实境装置，该显示装置进一步包含一定位模块，该定位模块用以感测该头戴式虚拟实境装置在该一空间中的一空间关系。
10.根据权利要求9所述的媒体串流系统，其特征在于，依据该头戴式虚拟实境装置所感测到的该空间关系，选取该媒体源的所述多个摄像装置中一者，所选取的该摄像装置依据该体感指令提取该部分画面，该部分画面从所选取的该摄像装置传输至该头戴式虚拟实境装置。
11.一种媒体串流方法，其特征在于，包含：
通过一媒体源提供具有一第一解析度的一媒体内容；
通过一显示装置产生一体感指令；
依据该体感指令于该媒体内容提取具有一第二解析度的一部分画面，通过该体感指令决定该部分画面在该媒体内容中的一相对位置；以及
将该部分画面的数据从该媒体源传输至该显示装置。
12.根据权利要求11所述的媒体串流方法，其特征在于，该媒体串流方法还包含：
感测该显示装置的动作，其中依据该显示装置的动作产生该体感指令。
13.根据权利要求11所述的媒体串流方法，其特征在于，该媒体串流方法还包含：
追踪使用者的眼球，其中依据眼球的位置产生该体感指令。
14.根据权利要求11所述的媒体串流方法，其特征在于，该媒体串流方法还包含：
将该媒体内容中环绕该部分画面的一缓冲区内的数据伴随着该部分画面从该媒体源传输至该显示装置。
15.根据权利要求11所述的媒体串流方法，其特征在于，提取该部分画面的步骤包含：
将该媒体内容分成多个部分画面文件，每一部分画面文件储存该媒体内容的不同部分；以及
依据该体感指令，选取所述多个部分画面文件中一者。
16.根据权利要求15所述的媒体串流方法，其特征在于，传输该部分画面的步骤包含：
从该媒体源传输所选取的该部分画面文件至该显示装置。
17.根据权利要求11所述的媒体串流方法，其特征在于，该媒体源包含多个摄像装置，所述多个摄像装置坐落于一场景的不同位置，所述多个摄像装置由对应该场景的不同视角撷取多个媒体内容，以该第一解析度撷取每一媒体内容。
18.根据权利要求17所述的媒体串流方法，其特征在于，该媒体串流方法还包含：
感测该显示装置在一空间中的一空间关系。
19.根据权利要求18所述的媒体串流方法，其特征在于，提取该部分画面及传输该部分画面的步骤包含：
依据该空间关系选取该媒体源的所述多个摄像装置中一者；
所选取的该摄像装置依据该体感指令提取该部分画面；以及
从所选取的该摄像装置传输该部分画面至该显示装置。
CN201610103946.XA 2015-03-05 2016-02-25 媒体串流系统及媒体串流方法 Active CN105939497B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562128520P 2015-03-05 2015-03-05
US62/128520 2015-03-05
US14/936,698 US20160261908A1 (en) 2015-03-05 2015-11-10 Media streaming system and control method thereof
US14/936698 2015-11-10

Publications (2)

Publication Number Publication Date
CN105939497A true CN105939497A (zh) 2016-09-14
CN105939497B CN105939497B (zh) 2020-02-21

Family

ID=55588033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610103946.XA Active CN105939497B (zh) 2015-03-05 2016-02-25 媒体串流系统及媒体串流方法

Country Status (4)

Country Link
US (1) US20160261908A1 (zh)
EP (1) EP3065413B1 (zh)
CN (1) CN105939497B (zh)
TW (1) TWI572203B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791888A (zh) * 2016-12-20 2017-05-31 三星电子（中国）研发中心 基于用户视角的全景图片的传输方法和装置
CN107197209A (zh) * 2017-06-29 2017-09-22 中国电建集团成都勘测设计研究院有限公司 基于全景相机的视频动态监控管理方法
CN107277474A (zh) * 2017-06-26 2017-10-20 深圳看到科技有限公司 全景画面生成方法及生成装置
CN108156429A (zh) * 2018-01-09 2018-06-12 罗建平 全景摄像系统及利用web浏览器查看全景摄像系统的方法
CN108391103A (zh) * 2017-01-03 2018-08-10 黑帆科技有限公司 Vr视频观影区域划分方法及装置
CN111372038A (zh) * 2018-12-26 2020-07-03 厦门星宸科技有限公司 多串流影像处理装置及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10217186B2 (en) * 2017-02-15 2019-02-26 Htc Corporation Method, virtual reality apparatus and recording medium for displaying fast-moving frames of virtual reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030086003A1 (en) * 2001-10-04 2003-05-08 Tadaharu Koga Video data processing apparatus and method, data distributing apparatus and method, data receiving apparatus and method, storage medium, and computer program
US20060279542A1 (en) * 1999-02-12 2006-12-14 Vega Vista, Inc. Cellular phones and mobile devices with motion driven control
CN103329518A (zh) * 2011-01-11 2013-09-25 松下电器产业株式会社 拍摄系统及其使用的摄像机控制装置、拍摄方法及摄像机控制方法、以及计算机程序
US20140145935A1 (en) * 2012-11-27 2014-05-29 Sebastian Sztuk Systems and methods of eye tracking control on mobile device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2408196B1 (en) * 2010-07-14 2017-01-11 Alcatel Lucent A method, server and terminal for generating a composite view from multiple content items
US8964008B2 (en) * 2011-06-17 2015-02-24 Microsoft Technology Licensing, Llc Volumetric video presentation
TWI505698B (zh) * 2012-12-06 2015-10-21 Inst Information Industry 多視角畫面之同步顯示系統以及多視角畫面之同步顯示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060279542A1 (en) * 1999-02-12 2006-12-14 Vega Vista, Inc. Cellular phones and mobile devices with motion driven control
US20030086003A1 (en) * 2001-10-04 2003-05-08 Tadaharu Koga Video data processing apparatus and method, data distributing apparatus and method, data receiving apparatus and method, storage medium, and computer program
CN103329518A (zh) * 2011-01-11 2013-09-25 松下电器产业株式会社 拍摄系统及其使用的摄像机控制装置、拍摄方法及摄像机控制方法、以及计算机程序
US20140145935A1 (en) * 2012-11-27 2014-05-29 Sebastian Sztuk Systems and methods of eye tracking control on mobile device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ADITYA MAVLANKAR等: "An interactive region-of-interest video streaming system for online lecture viewing", 《PACKET VIDEO WORKSHOP (PV)，2010 18TH INTERNATIONAL，IEEE》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791888A (zh) * 2016-12-20 2017-05-31 三星电子（中国）研发中心 基于用户视角的全景图片的传输方法和装置
CN108391103A (zh) * 2017-01-03 2018-08-10 黑帆科技有限公司 Vr视频观影区域划分方法及装置
CN107277474A (zh) * 2017-06-26 2017-10-20 深圳看到科技有限公司 全景画面生成方法及生成装置
CN107197209A (zh) * 2017-06-29 2017-09-22 中国电建集团成都勘测设计研究院有限公司 基于全景相机的视频动态监控管理方法
CN108156429A (zh) * 2018-01-09 2018-06-12 罗建平 全景摄像系统及利用web浏览器查看全景摄像系统的方法
CN111372038A (zh) * 2018-12-26 2020-07-03 厦门星宸科技有限公司 多串流影像处理装置及方法

Also Published As

Publication number Publication date
EP3065413A1 (en) 2016-09-07
TWI572203B (zh) 2017-02-21
CN105939497B (zh) 2020-02-21
EP3065413B1 (en) 2019-08-28
TW201633795A (zh) 2016-09-16
US20160261908A1 (en) 2016-09-08

Similar Documents

Publication Publication Date Title
US10403049B2 (en) Methods and systems for minimizing pixel data transmission in a network-based virtual reality media delivery configuration
CN108292489B (zh) 信息处理装置和图像生成方法
US10270825B2 (en) Prediction-based methods and systems for efficient distribution of virtual reality media content
CN105939497A (zh) 媒体串流系统及媒体串流方法
US10367919B2 (en) Methods and systems for efficient distribution of virtual reality media content
US10356216B2 (en) Methods and systems for representing real-world input as a user-specific element in an immersive virtual reality experience
EP3007038B1 (en) Interaction with three-dimensional video
EP3596931B1 (en) Method and apparatus for packaging and streaming of virtual reality media content
US8330793B2 (en) Video conference
EP3198862B1 (en) Image stitching for three-dimensional video
US10958890B2 (en) Method and apparatus for rendering timed text and graphics in virtual reality video
US10277813B1 (en) Remote immersive user experience from panoramic video
US9729788B2 (en) Image generation apparatus and image generation method
CN109845275B (zh) 用于视场虚拟现实流传输的会话控制支持的方法和装置
KR20190031504A (ko) 파노라마 비디오의 상호작용적 전송을 위한 방법 및 시스템
CN106165415A (zh) 立体观看
KR101703924B1 (ko) 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템
CN110537208B (zh) 头戴式显示器和方法
US11317072B2 (en) Display apparatus and server, and control methods thereof
US20220053179A1 (en) Information processing apparatus, information processing method, and program
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
JP2018033107A (ja) 動画の配信装置及び配信方法
JP6518645B2 (ja) 情報処理装置および画像生成方法
US11187895B2 (en) Content generation apparatus and method
US20230069407A1 (en) Remote operation apparatus and computer-readable medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant