CN108900928A - 裸眼3d直播的方法及装置、3d屏客户端、流媒体云服务器 - Google Patents

裸眼3d直播的方法及装置、3d屏客户端、流媒体云服务器 Download PDF

Info

Publication number
CN108900928A
CN108900928A CN201810831976.1A CN201810831976A CN108900928A CN 108900928 A CN108900928 A CN 108900928A CN 201810831976 A CN201810831976 A CN 201810831976A CN 108900928 A CN108900928 A CN 108900928A
Authority
CN
China
Prior art keywords
way
data flow
live streaming
video flowing
timestamp information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810831976.1A
Other languages
English (en)
Inventor
陈春豪
陆小松
张涛
蒲天发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Vision Optoelectronics Co Ltd
Original Assignee
Ningbo Vision Optoelectronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Vision Optoelectronics Co Ltd filed Critical Ningbo Vision Optoelectronics Co Ltd
Priority to CN201810831976.1A priority Critical patent/CN108900928A/zh
Publication of CN108900928A publication Critical patent/CN108900928A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供裸眼3D直播的方法及装置、3D屏客户端、流媒体云服务器，所述方法包括：在直播时，实时接收流媒体云服务器发送的一路视频流；所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；所述视频流为所述流媒体云服务器实时获取的直播现场的视频流；根据预设规则分别解码每一帧所述数据流的所述两路图像编码数据，以得到每一帧所述数据流的与所述时间戳信息对应的两路图像；将所述两路图像进行3D显示。所述方法能够实现3D的直播效果，使直播具有深度信息。

Description

裸眼3D直播的方法及装置、3D屏客户端、流媒体云服务器
技术领域
本发明涉及直播技术领域，具体而言，涉及裸眼3D直播的方法及装置、3D屏客户端、流媒体云服务器。
背景技术
随着直播的不断发展，直播的应用领域也在不断被探索。视频直播能够无缝嵌入各行各业，通过创新的模式提升传统行业的创新力和生产力，拉近商家与消费者的距离。
作为重点传统行业之一，医疗行业也在直播的浪潮中开辟了不少新的模式，例如远程医疗、医疗讲座、手术直播等。这些形式对于拉近医患关系、提高医疗透明度、促进医疗事业互通、提高问诊效率等方面都起着积极的作用，然而现有的直播方式显示的信息不够丰富。
发明内容
为了克服上述现有技术中的不足，本发明提供裸眼3D直播的方法及装置、3D屏客户端、流媒体云服务器。
为了实现上述目的，本发明实施例所提供的技术方案如下所示：
第一方面，本发明实施例提供一种裸眼3D直播的方法，所述方法包括：在直播时，实时接收流媒体云服务器发送的一路视频流；所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；所述视频流为所述流媒体云服务器实时获取的直播现场的视频流；根据预设规则分别解码每一帧所述数据流的所述两路图像编码数据，以得到每一帧所述数据流的与所述时间戳信息对应的两路图像；将所述两路图像进行3D显示。
进一步的，所述每一帧数据流还包括所述两路图像编码数据的编码规则；所述根据预设规则分别解码每一帧所述数据流的所述两路图像编码数据包括：根据每一帧所述数据流的所述编码规则分别解码对应数据流的所述两路图像编码数据。
所述方法通过实时的接收流媒体云服务器发送的一路视频流，并将所述视频流解码为两路图像，从而将所述两路图像进行3D显示，能够实现3D的直播效果，使直播具有深度信息，使用户在观看直播时能获得更多的现场细节。
第二方面，本发明实施例还提供一种裸眼3D直播的方法，所述方法包括：在直播时，实时获取设置在直播现场的两个图像采集装置分别采集的双路视频流；按照时间戳信息将所述双路视频流合成一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；通过流媒体协议把所述视频流发送给流媒体云服务器。
所述方法通过实时获取双路视频流，并按照时间戳信息将所述双路视频流合成一路视频流，并发送给流媒体云服务器，使得流媒体云服务器能够将所述合成的视频流发送给多个客户端，实现多个平台实时直播的效果，减轻客户端的负担。
第三方面，本发明实施例还提供一种裸眼3D直播的方法，所述方法包括：在直播时，通过流媒体协议实时接收设置在直播现场的服务器发送的一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；通过所述流媒体协议把所述视频流发送给3D屏客户端。
所述方法通过流媒体协议接收直播现场的服务器发送的一路视频流，然后再通过所述流媒体协议发送给3D屏客户端，实现数据的实时的消息传输和数据通信，减少直播中可能会出现的延迟。
第四方面，本发明实施例还提供一种3D屏客户端，包括：接收模块：用于在直播时，实时接收流媒体云服务器发送的一路视频流；所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；所述视频流为所述流媒体云服务器实时获取的直播现场的视频流；解码模块：用于根据预设规则分别解码每一帧所述数据流的所述两路图像编码数据，以得到每一帧所述数据流的与所述时间戳信息对应的两路图像；显示模块：用于将所述两路图像进行3D显示。
第五方面，本发明实施例还提供另一种3D屏客户端，包括：
接收器：用于在直播时，实时接收流媒体云服务器发送的一路视频流；所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；所述视频流为所述流媒体云服务器实时获取的直播现场的视频流；处理器：用于根据预设规则分别解码每一帧所述数据流的所述两路图像编码数据，以得到每一帧所述数据流的与所述时间戳信息对应的两路图像；显示装置：用于将所述两路图像进行3D显示。
第六方面，本发明实施例还提供一种流媒体云服务器，接收模块：用于在直播时，通过流媒体协议实时接收设置在直播现场的服务器发送的一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；发送模块：用于通过流媒体协议把所述视频流发送给3D屏客户端。
第七方面，本发明实施例还提供另一种流媒体云服务器，包括：
接收器：用于在直播时，实时接收设置在直播现场的服务器发送的一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；发送器：用于把所述视频流发送给3D屏客户端。
第八方面，本发明实施例还提供一种裸眼3D直播的装置，包括：
获取模块：用于在直播时，实时获取设置在直播现场的两个图像采集装置分别采集的双路视频流；合流模块：用于按照时间戳信息将所述双路视频流合成一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；发送模块：用于通过流媒体协议把所述视频流发送给流媒体云服务器。
第九方面，本发明实施例还提供另一种裸眼3D直播的装置，包括：
接收器：用于在直播时，实时获取设置在直播现场的两个图像采集装置分别采集的双路视频流；处理器：用于按照时间戳信息将所述双路视频流合成一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；发送器：用于通过流媒体协议把所述视频流发送给流媒体云服务器。
为使本发明的上述目的、特征和优点能更明显易懂，下文举本发明实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的3D裸眼直播的系统结构图；
图2为本发明实施例提供的裸眼3D直播的方法的第一实施例流程图；
图3为本发明实施例提供的视频流的数据结构示意图；
图4为本发明实施例提供的直播现场侧的服务器的第一实施例示意图；
图5为本发明实施例提供的直播现场侧的服务器的第二实施例示意图；
图6为本发明实施例提供的裸眼3D直播的方法的第二实施例流程图；
图7为本发明实施例提供的流媒体云服务器第一实施例示意图；
图8为本发明实施例提供的流媒体云服务器第二实施例示意图。
图9为本发明实施例提供的裸眼3D直播的方法的第三实施例流程图；
图10为本发明实施例提供的3D屏客户端的第一实施例示意图；
图11为本发明实施例提供的3D屏客户端的第二实施例示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，为本发明实施例提供的3D裸眼直播的系统结构图，所述系统包括3D屏客户端100，服务器200和流媒体云服务器300。
所述3D裸眼直播系统首先通过服务器200接收设置在直播现场的双路视频采集装置采集的双路视频流，并将所述双路视频流合成一路视频流，并通过流媒体协议发送给所述流媒体云服务器300，所述流媒体云服务器300再通过所述流媒体协议发送所述一路视频流给3D屏客户端，所述3D屏客户端获取所述视频流后，再通过对图像数据进行处理从而显示3D的图像，实现3D直播的效果。
请参照图2，为3D裸眼直播的方法的第一实施例流程图，该方法从直播现场侧的服务器的角度进行描述，所述方法包括：
步骤201：实时获取双路视频流。
其中，所述实时获取双路视频流可以在直播时，实时获取设置在直播现场的两个图像采集装置分别采集的双路视频流。所述两个图像采集装置可以是两个视频采集器或者其他能够采集实时的动态视频的拍摄设备或者装置。
所述两个图像采集装置可以设置在不同的直播的现场，比如医疗现场，设置在医疗现场时，不需要亲临医疗现场也可以观察整个医疗的过程；所述直播现场也可以是旅游景点区，通过相同的实现方式使游客对景点有更直观的欣赏。
步骤202：按照时间戳信息将所述两路视频流合成一路视频流。
请参照图3，其中，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像数据。在具体的实施过程中，在获取双路视频流后，根据时间戳信息，将在所述双路视频流中同一时间戳的两帧图像数据重新进行编码，从而在每一帧所述数据流中，包括了所述两路图像数据分别对应的编码数据和对应的时间戳信息。所述编码的方式可以为h264编码，所述每一帧的帧头和帧尾可以分别用字节0x0055和0x00FF代表，所述时间戳信息代表每一帧所述数据流的数据采集时间。
需要说明的是，在实际运用中，编码的方式还可以为h261、h263或者其他可以用于视频流中编码传输的编码方式。
步骤203：将所述视频流发送给流媒体云服务器300。
其中，发送所述视频流给流媒体云服务器的方式可以为通过流媒体协议，所述流媒体协议为一种传输协议，可以实现实时的数据通信，所述流媒体协议可以为RTMP(RealTime Messaging Protocol)：实时消息传送协议；RTSP(Real Time Streaming Protocol)：实时串流协议；HLS(HTTP Live Streaming)：基于HTTP的流媒体传输协议等。
通过所述设置在直播现场侧的服务器200，能够将从直播现场侧获取的两路视频流合成一路视频流，所述视频流能够发送给流媒体服务器300，从而实现直播数据的一个传输。
请参照图4，为本发明实施例提供的直播现场侧的服务器的第一实施例示意图，所述服务器200可以包括获取模块210，合流模块220和发送模块230。
所述获取模块210用于在直播时，实时获取设置在直播现场的两个图像采集装置分别采集的双路视频流。其中，所述两个图像采集装置可以通过无线或者有线的方式与所述获取模块210连接，将采集到的双路视频流发送给所述获取模块210。
所述合流模块220与所述获取模块210连接，用于按照时间戳信息将所述双路视频流合成一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据。
所述发送模块230与所述合流模块220连接，用于通过流媒体协议把所述视频流发送给流媒体云服务器300。所述流媒体协议与上述所述流媒体协议相同。
请参照图5，为本发明实施例提供的直播现场侧的服务器的第二实施例示意图，可选的，所述服务器200可以包括：接收器240、发送器250和处理器260，所述服务器200可以为所述接收器240、发送器250和处理器260集成的终端服务器，所述终端服务器安装在直播现场，所述直播现场包括医疗直播现场，旅游直播现场或者表演直播现场等需要深度化信息的直播现场。
所述接收器240用于在直播时，实时获取设置在直播现场的两个图像采集装置分别采集的双路视频流。所述接收器240可以与所述两个图像采集装置有线或者无线连接，所述接收器240通过有线的接收方式接收所述视频流，也可以通过无线的通信方式接收所述视频流。
所述处理器260用于按照时间戳信息将所述双路视频流合成一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据。
其中，处理器260可能是一种集成电路芯片，具有信号的处理能力，所述处理器中可以包括有Open GL(Open Graphics Library)或者其他图像渲染的工具，以对所述两路图像进行图像的渲染处理，得到可以3D显示的图像。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述发送器250用于通过流媒体协议把所述视频流发送给流媒体云服务器。所述发送器250可以是有线的发送器通过所述流媒体协议发送所述视频流；所述发送器250也可以是无线的发送器通过所述流媒体协议发送所述视频流。
请参照图6，为3D裸眼直播的方法的第二实施例流程图，该方法从流媒体云服务器300的角度进行描述，所述方法包括：
步骤301：接收服务器200发送的一路视频流。
所述步骤301具体的实现过程为在直播时，通过流媒体协议实时接收设置在直播现场的服务器200发送的一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据。所述流媒体协议可以与上述所述流媒体协议相同，也可以不同。
步骤302：把所述视频流发送给3D屏客户端100。
所述发送的方式也可以是通过上述所述的流媒体协议。
通过所述流媒体云服务器300，将所述接收到的一路视频流发送给3D屏客户端100，所述流媒体云服务器300相当于起到了一个数据中转站的作用，所述流媒体云服务器300发送和接收数据都是通过流媒体协议，流媒体协议是一种专门用于视频数据传输流式传输协议，适用于直播过程。
请参照图7，为本发明实施例提供的流媒体云服务器300第一实施例示意图，所述流媒体云服务器300包括接收模块310和发送模块320，所述接收模块310和所述发送模块320连接。
所述接收模块310用于在直播时，通过流媒体协议实时接收设置在直播现场的服务器200发送的一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据。
所述发送模块320用于通过流媒体协议把所述视频流发送给3D屏客户端100。
请参照图8，为本发明实施例提供的流媒体云服务器300的第二实施例示意图，所述流媒体云服务器300包括接收器330和发送器340。
所述接收器330用于在直播时，实时接收设置在直播现场的服务器200发送的一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据。
所述发送器340用于把所述视频流发送给3D屏客户端100。
所述接收器330通过流媒体协议接收所述视频流，所述发送器340通过流媒体协议发送所述视频流，所述流媒体云服务器300内包含了可实现流媒体传输的流媒体协议，所述流媒体协议适用于直播中实时传输视频和图像数据。
请参照图9，为3D裸眼直播的方法的第三实施例流程图，该方法从3D客户端100的角度进行描述，所述方法包括：
步骤101：实时接收流媒体云服务器300发送的一路视频流。
所述步骤101在直播开始时执行，例如3D客户端100可以向流媒体云服务器300发送直播请求，流媒体云服务器300根据该直播请求向客户端发送视频流。
其中，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像数据编码。
可选的，所述每一帧数据流还包括所述两路图像编码数据的编码规则。
步骤102：根据预设规则分别解码两路图像编码数据，每一帧所述数据流的所述两路编码数据，从而得到每一帧所述数据流的与所述时间戳对应的两路图像。
所述预设规则可以是根据每一帧所述数据流的所述编码规则分别解码对应数据流的所述两路图像编码数据。在实际运用中，预设规则还可以是其它的规则，例如所述预设规则也可以是按照协议双方约定的编码规则分别解码两路图像编码数据；再例如，预设规则也可以是按照预先设置的编码规则分别解码两路图像编码数据。
步骤103：将所述两路图像进行3D显示。
其中，所述3D显示的方法可以是通过Open GL(Open Graphics Library)实现，具体的实现方式可以为：通过Open GL的纹理贴图技术，将所述两路图像绑定在Open GL纹理上，再通过着色器语言，实现所述两路图像的交错排列，最后再将交错排列后的两视点图像渲染到裸眼3D屏上，实现3D效果的实时直播。
当然，在实际运用中，也可以是通过其它3D显示技术显示两路图像，例如通过DX(Direct eXtension)实现，通过DX对得到的两路图像进行纹理压缩，多方式的贴图后，将处理后的两视点图像渲染到裸眼3D屏上，实现3D效果的实时直播。
通过所述3D客户端100接收所述流媒体云服务器100发送的一路视频流数据，对所述视频流分流解码，得到两路图像，并对所述两路图像进行渲染后显示，得到3D的直播画面，实现各种直播场景中的信息深度化。
请参照图10，为本发明实施例提供的3D屏客户端的第一实施例示意图，所述3D客户端100包括接收模块110，解码模块120以及显示模块130。
所述接收模块110用于在直播时，实时接收流媒体云服务器发送的一路视频流；所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；所述视频流为所述流媒体云服务器实时获取的直播现场的视频流。
所述解码模块120用于根据预设规则分别解码每一帧所述数据流的所述两路图像编码数据，以得到每一帧所述数据流的与所述时间戳信息对应的两路图像。
其中，所述预设规则可以是根据每一帧所述数据流的所述编码规则分别解码对应数据流的所述两路图像编码数据；在实际运用中，预设规则还可以是其它的规则，例如所述预设规则也可以是按照协议双方约定的编码规则分别解码两路图像编码数据；再例如，预设规则也可以是按照预先设置的编码规则分别解码两路图像编码数据。
所述显示模块130用于将所述两路图像进行3D显示。
其中，所述显示模块130可以通过设置在显示模块中的Open GL(Open GraphicsLibrary)工具实现将两路图像进行3D显示，具体的实现方式可以为：通过Open GL的纹理贴图技术，将所述两路图像绑定在Open GL纹理上，再通过着色器语言，实现所述两路图像的交错排列，最后再将交错排列后的两视点图像渲染到裸眼3D屏上，实现3D效果的实时直播。
当然，在实际运用中，也可以是通过其它3D渲染工具处理两路两路图像后达到3D显示效果，例如通过安装DX(Direct eXtension)实现，通过DX对得到的两路图像进行纹理压缩，多方式的贴图后，将处理后的两视点图像渲染到裸眼3D屏上，实现3D效果的实时直播。
请参照图11，为所述3D屏客户端的第二实施例示意图，所述3D屏客户端100包括处理器140、接收器150和显示装置160。
其中所述3D屏客户端可以是用户手机端，也可以是用户电脑端，也可以是其他具有带3D屏的设备或者装置，所述3D屏客户端100为多个具有相同功能但是需求可能不一致的用户终端。所述3D屏客户端100可以自主选择是否接收所述直播现场画面，若当前3D屏客户端需要观看所述3D直播，则向所述流媒体云服务300发送请求；若所述流媒体云服务器未接收到所述请求，则所述流媒体服务器300默认当前3D客户端不需要观看直播，不会主动发送所述视频流给所述3D屏客户端。
所述接收器150用于在直播时，实时接收流媒体云服务器发送的一路视频流；所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；所述视频流为所述流媒体云服务器实时获取的直播现场的视频流。
所述接收器150可以是有线的接收器通过有线的通信方式接受所述视频流；所述接收器150也可以是无线的接收器通过无线的通信方式接受所述视频流。
所述处理器140用于根据预设规则分别解码每一帧所述数据流的所述两路图像编码数据，以得到每一帧所述数据流的与所述时间戳信息对应的两路图像。
其中，处理器140可能是一种集成电路芯片，具有信号的处理能力，所述处理器中可以包括有Open GL(Open Graphics Library)或者其他图像渲染的工具，以对所述两路图像进行图像的渲染处理，得到可以3D显示的图像。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述显示装置160用于将所述两路图像进行3D显示。
所述显示装置160可以为所述3D屏客户端100的3D显示屏，所述3D显示屏设置有图像渲染处理工具，所述工具如上述所述的3D渲染工具。
综上所述，本发明实施例提供了一种适用于需要得到深度化信息和更直观的直播场景的裸眼3D直播的系统，所述系统通过所述服务器200，获取直播现场的两路视频流，并将所述两路视频流合成一路视频流，所述一路视频流发送给所述流媒体云服务器300；再通过所述流媒体云服务器300接收后，发送给需要观看直播的3D屏客户端100，所述3D屏客户端100解码所述一路视频流数据后得到两路图像，再通过渲染处理后得到3D效果的显示图像。所述系统实现了实时的裸眼3D直播，可以运用于医疗现场直播，也可以运用于各种对于直播效果有要求的直播场景，使直播具有深度化信息，令观看者有更直观的感受和体验。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，笔记本电脑,服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种裸眼3D直播的方法，其特征在于，包括：
在直播时，实时接收流媒体云服务器发送的一路视频流；所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；所述视频流为所述流媒体云服务器实时获取的直播现场的视频流；
根据预设规则分别解码每一帧所述数据流的所述两路图像编码数据，以得到每一帧所述数据流的与所述时间戳信息对应的两路图像；
将所述两路图像进行3D显示。
2.根据权利要求1所述的方法，其特征在于，所述每一帧数据流还包括所述两路图像编码数据的编码规则；
所述根据预设规则分别解码每一帧所述数据流的所述两路图像编码数据包括：
根据每一帧所述数据流的所述编码规则分别解码对应数据流的所述两路图像编码数据。
3.一种裸眼3D直播的方法，其特征在于，包括：
在直播时，实时获取设置在直播现场的两个图像采集装置分别采集的双路视频流；
按照时间戳信息将所述双路视频流合成一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；
通过流媒体协议把所述视频流发送给流媒体云服务器。
4.一种裸眼3D直播的方法，其特征在于，包括：
在直播时，通过流媒体协议实时接收设置在直播现场的服务器发送的一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；
通过所述流媒体协议把所述视频流发送给3D屏客户端。
5.一种3D屏客户端，其特征在于，包括：
接收模块：用于在直播时，实时接收流媒体云服务器发送的一路视频流；所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；所述视频流为所述流媒体云服务器实时获取的直播现场的视频流；
解码模块：用于根据预设规则分别解码每一帧所述数据流的所述两路图像编码数据，以得到每一帧所述数据流的与所述时间戳信息对应的两路图像；
显示模块：用于将所述两路图像进行3D显示。
6.一种3D屏客户端，其特征在于，包括：
接收器：用于在直播时，实时接收流媒体云服务器发送的一路视频流；所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；所述视频流为所述流媒体云服务器实时获取的直播现场的视频流；
处理器：用于根据预设规则分别解码每一帧所述数据流的所述两路图像编码数据，以得到每一帧所述数据流的与所述时间戳信息对应的两路图像；
显示装置，用于将所述两路图像进行3D显示。
7.一种流媒体云服务器，其特征在于，包括：
接收模块：用于在直播时，通过流媒体协议实时接收设置在直播现场的服务器发送的一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；
发送模块：用于通过流媒体协议把所述视频流发送给3D屏客户端。
8.一种流媒体云服务器，其特征在于，包括：
接收器：用于在直播时，实时接收设置在直播现场的服务器发送的一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；
发送器：用于把所述视频流发送给3D屏客户端。
9.一种裸眼3D直播的装置，其特征在于，包括：
获取模块：用于在直播时，实时获取设置在直播现场的两个图像采集装置分别采集的双路视频流；
合流模块：用于按照时间戳信息将所述双路视频流合成一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；
发送模块：用于通过流媒体协议把所述视频流发送给流媒体云服务器。
10.一种裸眼3D直播的装置，其特征在于，包括：
接收器：用于在直播时，实时获取设置在直播现场的两个图像采集装置分别采集的双路视频流；
处理器：用于按照时间戳信息将所述双路视频流合成一路视频流，所述视频流包括多帧数据流，每一帧所述数据流均包括时间戳信息以及所述时间戳信息对应的两路图像编码数据；
发送器：用于通过流媒体协议把所述视频流发送给流媒体云服务器。
CN201810831976.1A 2018-07-26 2018-07-26 裸眼3d直播的方法及装置、3d屏客户端、流媒体云服务器 Pending CN108900928A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810831976.1A CN108900928A (zh) 2018-07-26 2018-07-26 裸眼3d直播的方法及装置、3d屏客户端、流媒体云服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810831976.1A CN108900928A (zh) 2018-07-26 2018-07-26 裸眼3d直播的方法及装置、3d屏客户端、流媒体云服务器

Publications (1)

Publication Number Publication Date
CN108900928A true CN108900928A (zh) 2018-11-27

Family

ID=64351794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810831976.1A Pending CN108900928A (zh) 2018-07-26 2018-07-26 裸眼3d直播的方法及装置、3d屏客户端、流媒体云服务器

Country Status (1)

Country Link
CN (1) CN108900928A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109765823A (zh) * 2019-01-21 2019-05-17 吉林大学 基于手臂肌电信号的地面履带式无人车控制方法
CN114554232A (zh) * 2021-12-31 2022-05-27 上海易维视科技有限公司 基于裸眼3d的混合现实直播方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101472190A (zh) * 2007-12-28 2009-07-01 深圳华为通信技术有限公司 多视角摄像及图像处理装置、系统及方法与解码处理方法
CN102946545A (zh) * 2012-11-22 2013-02-27 上海文广互动电视有限公司 3d电视集成播出平台
CN103329551A (zh) * 2011-01-19 2013-09-25 三星电子株式会社 接收多个实时传输流的接收装置及其发送装置以及多媒体内容再现方法
CN105472368A (zh) * 2015-11-25 2016-04-06 深圳凯澳斯科技有限公司 一种面向集群终端的立体视频直播系统
CN106604042A (zh) * 2016-12-22 2017-04-26 Tcl集团股份有限公司 一种基于云端服务器的全景直播系统及全景直播方法
CN107295326A (zh) * 2017-06-06 2017-10-24 南京巨鲨显示科技有限公司 一种3d立体视频录制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101472190A (zh) * 2007-12-28 2009-07-01 深圳华为通信技术有限公司 多视角摄像及图像处理装置、系统及方法与解码处理方法
CN103329551A (zh) * 2011-01-19 2013-09-25 三星电子株式会社 接收多个实时传输流的接收装置及其发送装置以及多媒体内容再现方法
CN102946545A (zh) * 2012-11-22 2013-02-27 上海文广互动电视有限公司 3d电视集成播出平台
CN105472368A (zh) * 2015-11-25 2016-04-06 深圳凯澳斯科技有限公司 一种面向集群终端的立体视频直播系统
CN106604042A (zh) * 2016-12-22 2017-04-26 Tcl集团股份有限公司 一种基于云端服务器的全景直播系统及全景直播方法
CN107295326A (zh) * 2017-06-06 2017-10-24 南京巨鲨显示科技有限公司 一种3d立体视频录制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109765823A (zh) * 2019-01-21 2019-05-17 吉林大学 基于手臂肌电信号的地面履带式无人车控制方法
CN114554232A (zh) * 2021-12-31 2022-05-27 上海易维视科技有限公司 基于裸眼3d的混合现实直播方法及系统
CN114554232B (zh) * 2021-12-31 2024-05-31 上海易维视科技有限公司 基于裸眼3d的混合现实直播方法及系统

Similar Documents

Publication Publication Date Title
US10979663B2 (en) Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
CN105677279B (zh) 桌面区域共享方法、系统及相应的共享端和观看端
TWI656787B (zh) 具有應用於以投影格式表示的３６０度圖像／視訊內容的內容導向旋轉的旋轉資訊的語法元素信令的視訊編碼功能的方法和設備以及具有相關的視訊解碼功能的方法和設備
US20190325652A1 (en) Information Processing Method and Apparatus
US20200092600A1 (en) Method and apparatus for presenting video information
WO2021057689A1 (zh) 视频解码方法及装置、视频编码方法及装置、存储介质和电子装置
CN105165009B (zh) 一种多可视化组件屏幕共享的系统，装置，和方法
CN103190156A (zh) 视频比特流的传输系统
CN107945101B (zh) 图像处理方法和装置
CN107613029A (zh) 一种适用于移动端或Web端的虚拟桌面远程方法及系统
CN115396645B (zh) 一种沉浸媒体的数据处理方法、装置、设备及存储介质
CN101345865A (zh) 图像发送装置、图像发送方法、接收装置及图像发送系统
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
CN108400956A (zh) 视频数据流的分配方法、装置和系统
CN111818295B (zh) 一种图像获取方法及装置
WO2021057477A1 (zh) 视频编解码方法和相关装置
US12107908B2 (en) Media file encapsulating method, media file decapsulating method, and related devices
CN108900928A (zh) 裸眼3d直播的方法及装置、3d屏客户端、流媒体云服务器
WO2024041239A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备、存储介质及程序产品
JP2019514313A (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
CN109783658A (zh) 图像处理方法、装置及存储介质
CN109963185A (zh) 视频数据发送方法、视频显示方法、装置、系统及设备
CN106658095A (zh) 一种直播视频传输的方法、服务器和用户设备
CN105677270B (zh) 用于视频流的后处理的方法及设备
CN110769241A (zh) 视频帧处理方法、装置、用户端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181127