CN111971971A - 消除实况直播中的来宾直播延迟的方法和系统及非暂时性计算机可读记录介质 - Google Patents

消除实况直播中的来宾直播延迟的方法和系统及非暂时性计算机可读记录介质 Download PDF

Info

Publication number
CN111971971A
CN111971971A CN201880091897.XA CN201880091897A CN111971971A CN 111971971 A CN111971971 A CN 111971971A CN 201880091897 A CN201880091897 A CN 201880091897A CN 111971971 A CN111971971 A CN 111971971A
Authority
CN
China
Prior art keywords
guest
live broadcast
audio
live
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880091897.XA
Other languages
English (en)
Other versions
CN111971971B (zh
Inventor
白峻式
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Line Plus Corp
Original Assignee
Line Plus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line Plus Corp filed Critical Line Plus Corp
Publication of CN111971971A publication Critical patent/CN111971971A/zh
Application granted granted Critical
Publication of CN111971971B publication Critical patent/CN111971971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4396—Processing of audio elementary streams by muting the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种实况直播方法，在通过计算机系统实现的终端中执行，该方法包括：发送步骤，经过服务器向主播终端发送从与终端相连接的输入装置输入的第一来宾画面及与第一来宾画面有关的第一来宾音频，主播终端用于发送混合作为终端的直播的来宾直播与作为自己的直播的主播直播而成的实况直播；接收步骤，从主播终端经过服务器，接收混合通过主播终端输入的第一主播画面与第一来宾画面而成的第一直播画面，通过各个音频基本流接收与第一主播画面有关的第一主播音频和第一来宾音频；生成步骤，将第一来宾画面之后从输入装置输入的第二来宾画面覆盖在所接收的第一直播画面来生成第二直播画面；以及通过至少一个处理器，在不播放第一来宾音频的情况下，与第一主播音频一同播放第二直播画面。

Description

消除实况直播中的来宾直播延迟的方法和系统及非暂时性计 算机可读记录介质
技术领域
以下的说明涉及解决在实况直播中发生的延迟的技术。
背景技术
最近，包括实况直播(Live Broadcast)的媒体客户端(Media Client)正在迅速发展。
主播(Host)(即，主持人)可以通过主播的媒体客户端在对应的频道内上传实况直播，观众(Viewer)可通过观众的媒体客户端自由地收看主播上传的实况直播。
例如，在韩国公开专利第10-2006-0120571号(公开日期2006年11月27日)中公开了通过网络提供实况直播的视频直播方法。
发明内容
当处于在主播直播流中混合(mixing)来宾直播流来发送的联播实况直播时，将主播的音频和来宾的音频以个别基本流(elementary stream，ES)生成来发送，由此，可有效地去除向来宾侧输出的来宾直播的延迟。
本发明提供一种实况直播方法，在通过计算机系统实现的终端中执行，上述终端包括配置为执行包含在存储器中的多个计算机可读指令的至少一个处理器，本发明的实况直播方法包括：发送步骤，通过上述至少一个处理器，经过服务器向主播终端发送从与上述终端相连接的输入装置输入的第一来宾画面及与上述第一来宾画面有关的第一来宾音频，上述主播终端用于发送混合作为上述终端的直播的来宾直播与作为自己的直播的主播直播而成的实况直播；接收步骤，通过上述至少一个处理器，从上述主播终端经过上述服务器，接收混合通过上述主播终端输入的第一主播画面与上述第一来宾画面而成的第一直播画面，通过各个音频基本流接收与上述第一主播画面有关的第一主播音频和上述第一来宾音频；生成步骤，通过上述至少一个处理器，将上述第一来宾画面之后从上述输入装置输入的第二来宾画面覆盖在所接收的上述第一直播画面来生成第二直播画面；以及播放步骤，通过上述至少一个处理器，在不播放上述第一来宾音频的情况下，与上述第一主播音频一同播放上述第二直播画面。
根据一实施方式，上述生成步骤可包括如下的步骤：在所接收的上述第一直播画面中的显示上述第一来宾画面的区域覆盖所输入的上述第二来宾画面，上述播放步骤可包括如下的步骤：通过混合与从上述输入装置输入的第二来宾画面有关的第二来宾音频和所接收的上述第一主播音频来生成来宾用直播音频；以及与上述来宾用直播音频一同播放上述第二直播画面。
根据再一实施方式，上述接收步骤可包括如下的步骤：通过一个视频基本流接收混合上述第一主播画面与上述第二来宾画面而成的上述第一直播画面作为上述实况直播的视频流；以及通过上述各个音频基本流接收上述第一主播音频和上述第一来宾音频作为上述实况直播的音频流。
根据另一实施方式，上述实况直播可以是通过上述主播终端，从其他终端接收其他来宾直播，与上述来宾直播及上述主播直播一同混合其他来宾直播来发送的，上述接收步骤可包括如下的步骤：还通过与上述各个音频基本流不同的其他音频基本流接收上述其他来宾直播的其他来宾音频作为上述实况直播的上述音频流。
根据还有一实施方式，上述播放步骤可包括如下的步骤：控制是否播放与上述实况直播有关的上述各个音频基本流中的至少一个。
根据又一实施方式，上述播放步骤可包括如下的步骤：控制是否播放与上述实况直播有关的上述各个音频基本流及上述其他音频基本流中的至少一个。
本发明提供一种实况直播方法，在通过计算机系统实现的终端中执行，其特征在于，上述终端包括配置为执行包含在存储器中的多个计算机可读指令的至少一个处理器，上述实况直播方法包括：接收步骤，通过上述至少一个处理器，经过服务器从至少一个来宾终端接收作为上述来宾终端的直播的来宾直播；以及发送步骤，通过上述至少一个处理器，向上述来宾终端及至少一个观众终端发送在作为上述终端的直播的主播直播中混合上述来宾直播而成的实况直播，上述发送步骤包括如下的步骤：通过一个视频基本流发送在主播画面中混合来宾画面的直播画面作为上述实况直播的视频流；以及通过各个音频基本流发送主播音频和来宾音频作为上述实况直播的音频流。
根据一实施方式，在通过上述终端指定多个来宾终端的情况下，上述发送步骤可包括如下的步骤：通过上述一个视频基本流发送在上述主播画面中混合多个来宾画面而成的直播画面作为上述实况直播的视频流；以及通过各个音频基本流发送上述主播音频和从上述多个来宾终端接收的多个来宾音频作为上述实况直播的音频流。
本发明提供非暂时性计算机可读记录介质，记录有用于在计算机中执行上述实况直播方法的程序。
本发明提供一种终端，通过计算机系统实现，其包括：存储器；以及至少一个处理器，与上述存储器相连接，配置为执行包含在上述存储器的多个计算机可读指令，上述至少一个处理器包括：直播发送部，作为发送混合作为上述终端的直播的来宾直播与作为自己的直播的主播直播而成的实况直播的主播终端，经过服务器，发送从与上述终端相连接的输入装置输入的第一来宾画面及与上述第一来宾画面有关的第一来宾音频；直播接收部，从上述主播终端经过上述服务器，接收混合通过上述主播终端输入的第一主播画面与上述第一来宾画面而成的第一直播画面，通过各个音频基本流接收与上述第一主播画面有关的第一主播音频和上述第一来宾音频；以及直播播放部，将上述第一来宾画面之后从上述输入装置输入的第二来宾画面覆盖在所接收的上述第一直播画面来生成第二直播画面之后，在不播放上述第一来宾音频的情况下，与上述第一主播音频一同播放上述第二直播画面。
本发明提供一种终端，通过计算机系统实现，其包括：存储器；以及至少一个处理器，与上述存储器相连接，配置为执行包含在上述存储器的多个计算机可读指令，上述至少一个处理器包括：直播接收部，通过服务器，从至少一个来宾终端接收作为上述来宾终端的直播的来宾直播；以及直播发送部，向上述来宾终端及至少一个观众终端发送在作为上述终端的直播的主播直播中混合上述来宾直播而成的实况直播，上述直播发送部包括：视频发送部，通过一个视频基本流发送在主播画面中混合来宾画面而成的直播画面作为上述实况直播的视频流；以及音频发送部，通过各个音频基本流发送主播音频和来宾音频作为上述实况直播的音频流。
附图说明
图1为示出本发明一实施例的网络环境的例的图。
图2为用于说明本发明一实施例的电子设备及服务器的内部结构的框图。
图3为示出本发明一实施例的电子设备的处理器可包括的结构要素的例子的图。
图4和图5为示出本发明一实施例的电子设备可执行的联播实况直播方法的例子的流程图。
图6和图7为用于说明联播实况直播中的来宾侧延迟问题的例示图。
图8为用于说明本发明一实施例的主播侧直播发送方法的例示图。
图9为用于说明在本发明的一实施例的一般观众侧直播播放方法的例示图。
图10为用于说明本发明一实施例的来宾侧直播播放方法的例示图。
具体实施方式
以下，参照附图，详细说明本发明的实施例。
本发明的实施例涉及解决在实况直播中发生的延迟的技术。
包括本说明书中具体公开的内容的实施例可以消除联播实况直播中的来宾端的来宾直播的延迟，由此，可以在有效性、资源节省、实用性、便利性、费用减少等的侧面具有较大的优点。
图1为示出本发明一实施例的网络环境的例子的图。图1的网络环境示出包括多个电子设备110、120、130、140、多个服务器150、160及网络170的例子。上述图1为用于说明本发明的一例，电子设备的数量和服务器的数量并不局限于图1所示。
多个电子设备110、120、130、140可以为通过计算机系统实现的固定型终端或移动型终端。例如，多个电子设备110、120、130、140为智能手机(smart phone)、手机、导航仪、计算机、笔记本电脑、数字广播终端、个人数据助理(Personal Digital Assistants，PDA)、便携式多媒体播放器(Portable Multimedia Player，PMP)、平板电脑、游戏机(gameconsole)、可穿戴设备(wearable device)、物联网(internet of things，IoT)设备、虚拟现实(virtual reality，VR)设备、增强现实(augmented reality，AR)设备。作为一例，图1中，作为电子设备110的例子示出了智能手机的形状，但在本发明的实施例中，电子设备110实质上可以为利用无线或有线通信方式，通过网络170与其他电子设备120、130、140和/或服务器150、160进行通信的多种物理的计算机系统中的一个。
通信方式并不局限于此，可包括利用网络170可包括的通信网(作为一例，移动通信网、有线互联网、无线互联网、广播网、卫星网等)的通信方式和多个设备之间的近距离无线通信。例如，网络170可以包括个人区域网(personal area network，PAN)、局域网(localarea network，LAN)、校园网(campus area network，CAN)、城域网(metropolitan areanetwork，MAN)、广域网(wide area network，WAN)、宽带网(broadband network，BBN)、互联网等网络中的一种以上的任意网络。并且，网络170可包括具有总线网络、星型网络、环型网络、网状网络、星型总线网络、树形或分层(hierarchical)网络等的网络拓扑中的一个以上，但并不局限于此。
服务器150、160可各自实现为通过网络170与多个电子设备110、120、130、140进行通信来提供指令、代码、文件、内容、服务等的计算机装置或多个计算机装置。例如，服务器150可以为向通过网络170连接的多个电子设备110、120、130、140提供第一服务的系统，服务器160也可以为向通过网络170连接的多个电子设备110、120、130、140提供第二服务的系统。作为更具体的例子，服务器150可通过安装于多个电子设备110、120、130、140并驱动的计算机程序的应用来将对应应用所需要的服务(作为一例，实况直播服务等)作为第一服务向多个电子设备110、120、130、140提供。作为另一例，服务器160可将用于安装及驱动上述应用的文件向多个电子设备110、120、130、140分配的服务作为第二服务提供。
图2为用于说明本发明一实施例的电子设备及服务器的内部结构的框图。图2中，作为对于电子设备的例子，说明电子设备110以及服务器150的内部结构。并且，其他电子设备120、130、140或服务器160也可具有与上述电子设备110或服务器150相同或类似的内部结构。
电子设备110和服务器150可包括存储器211、221、处理器212、222、通信模块213、223、输入输出接口214、224。存储器211、221作为非暂时性计算机可读记录介质，可包括如随机存取存储器(random access memory，RAM)、只读存储器(read only memory，ROM)、磁盘驱动器、固态硬盘(solid state drive，SSD)、闪存(flash memory)等的永久性大容量存储装置(permanent mass storage device)。其中，如只读存储器、固态硬盘、闪存、磁盘驱动器等的永久性大容量存储装置也可以作为与存储器211、221区分的额外的永久存储装置包括在电子设备110或服务器150中。并且，存储器211、221可存储操作系统和至少一个程序代码(作为一例，用于安装于电子设备110并驱动的浏览器或为了提供特定服务而安装于电子设备110的应用等的代码)。这种软件结构要素可以从与存储器211、221分开的计算机可读记录介质加载。这种额外的计算机可读记录介质可包括软盘驱动器、磁盘、磁带、DVD/CD-ROM驱动器、存储卡等的计算机可读记录介质。在另一实施例中，软件结构要素可通过通信模块213、223加载于存储器211、221，而并非通过软件结构要素加载。例如，至少一个程序可基于计算机程序(例如，上述应用)加载于存储器211、221，上述计算机程序通过文件安装，上述文件由开发人员或分配应用的安装文件的文件分配系统(作为一例，上述服务器160)通过网络170提供。
处理器212、222可以配置为执行基本的算术、逻辑及输入输出运算来处理计算机程序的指令。指令可通过存储器211、221或通信模块213、223向处理器212、222提供。例如，处理器212、222可配置为根据存储于如存储器211、221的记录装置的程序代码执行接收的指令。
通信模块213、223可通过网络170提供电子设备110与服务器150相互进行通信的功能，可提供电子设备110和/或服务器150与其他电子设备(作为一例，电子设备120)或其他服务器(作为一例，服务器160)进行通信的功能。作为一例，由电子设备110的处理器212根据如存储器211的存储介质存储的程序代码生成的请求可根据通信模块213的控制通过网络170向服务器150传递。相反，根据服务器150的处理器222的控制提供的控制信号或指令、内容、文件等经过通信模块223和网络170来通过电子设备110的通信模块213向电子设备110传递。例如，通过通信模块213接收的服务器150的控制信号或指令、内容、文件等可向处理器212或存储器211传递，内容或文件等可存储于电子设备110还能够包括的存储介质(上述永久存储装置)。
输入输出接口214可以为用于与输入输出装置215接合的单元。例如，输入装置可包括键盘、鼠标、麦克风、摄像头等的装置，输出装置可包括如显示器、扬声器、触觉反馈装置(haptic feedback device)等的装置。作为另一例，输入输出接口214可以为用于与如触摸屏的输出和输出的功能合并为一个的装置接合的单元。输入输出装置215也可以与电子设备110构成一个装置。并且，服务器150的输入输出接口224可以为与连接到服务器150或者服务器150能够包括的用于输入或输出的装置(未图示)接合的单元。作为更具体的例子，电子设备110的处理器212在处理加载于存储器211的计算机程序的指令的过程中，利用服务器150或电子设备120提供的数据来构成的服务画面或内容可通过输入输出接口214显示在显示器上。
并且，在另一实施例中，电子设备110及服务器150可包括比图2的结构要素更多的结构要素。但是，无需明确示出大部分现有技术的结构要素。例如，电子设备110可以实现为包括上述输入输出装置215中的至少一部分，或者还包括如无线电收发两用机(transceiver)、全球定位系统(Global Positioning System，GPS)模块、摄像头、各种传感器、数据库等的其他结构要素。作为更具体的例子，在电子设备110为智能手机的情况下，电子设备110可以实现为还包括通常智能手机所包括的加速度传感器或陀螺仪传感器、摄像头模块、各种物理按钮、利用触摸板的按钮、输入输出端口、用于振动的振动器等多种结构要素。
以下，说明消除联播实况直播中的来宾端中的来宾直播的延迟的方法和系统的具体实施例。
图3为示出本发明一实施例的电子设备的处理器可包括的结构要素的例子的图，图4和图5为示出本发明一实施例的电子设备可执行的联播实况直播方法的例子的流程图。
本实施例的电子设备110可包括通过计算机实现的实况直播系统。实况直播系统可实现为安装于电子设备110的应用形式，并在通过与服务器150联动的网络环境中提供实况直播服务。例如，基于安装于电子设备110的应用所提供的指令，实现在电子设备110的实况直播系统可执行图4和图5的联播实况直播方法。
在实况直播服务中，主播在直播过程中将至少一名观众作为来宾采用，由此，可提供在主播直播画面混合至少一名的来宾直播来发送的形式的联播实况直播。在这种联播实况直播中，在来宾接收的直播时间点与来宾的当前时间点之间发生时间差，从而对来宾立场来说，来宾将体验很不自然的联播服务。
在本发明中提出当处于联播实况直播时，可消除从来宾侧输出的来宾直播的延迟的技术。
图4示出在联播实况直播中的主播侧直播过程的例子，为了处理主播侧直播过程，如图3所示，电子设备110的处理器212可包括直播接收部310及直播发送部(视频发送部320和音频发送部330)作为结构要素。而且，图5示出在联播实况直播中的来宾侧直播过程的例子，为了处理来宾侧直播过程，如图3所示，电子设备110的处理器212可包括直播接收部310、直播发送部(视频发送部320和音频发送部330)及直播播放部340作为结构要素。
根据实施例，处理器212的结构要素可以选择性地包括在处理器212中或被去除。并且，根据实施例，处理器212的结构要素为了表现处理器212的功能而可以分离或合并。
上述处理器212及处理器212的结构要素可以控制电子设备110，以执行图4和图5的联播实况直播方法所包括的步骤(步骤S410至步骤S440、步骤S510至步骤S530)。例如，处理器212及处理器212的结构要素可以实现为执行根据存储器211所包括的操作系统的代码和至少一个程序代码的指令(instruction)。
其中，处理器212的结构要素可根据存储于电子设备110的程序代码所提供的指令(作为一例，在电子设备110中驱动的应用所提供的指令)，通过处理器212执行的处理器212的不同功能(different functions)的表现。例如，作为以电子设备110接收用于联播实况直播的直播流的方式根据上述指令控制电子设备110的处理器212的功能性表现，可利用直播接收部310。
参照图4，说明在联播实况直播中的主播侧直播过程如下。
在步骤S410中，处理器212可从主播终端，例如，从加载与电子设备110的控制有关的指令的存储器读取需要的指令。在此情况下，所读取的上述指令可包含用于以使作为主播终端的结构要素的处理器执行之后说明的步骤(步骤420至步骤S440)的方式进行控制的指令。
在步骤S420中，直播接收部310可以为了联播实况直播而通过服务器150，从来宾终端，例如从电子设备120接收来宾终端的实况直播流(以下，称之为“来宾直播”)。作为一例，直播接收部310可在向通过主播终端的用户指定的至少一个来宾终端请求来宾参与之后，从接受来宾参与请求的来宾终端接收来宾直播。
在主播终端中，在主播直播画面中混合至少一名来宾直播来向包括来宾的多个观众发送，由此可以提供联播实况直播。换句话说，在来宾终端中，根据主播终端的请求，经过服务器150向主播终端发送从与来宾终端相连接的输入装置输入的来宾画面(以下，称之为“第一来宾画面”)及与第一来宾画面有关的来宾音频(即，在来宾直播中，与第一来宾画面一同对应来通过来宾终端输入的来宾音频，以下，称之为“第一来宾音频”)，对此，在主播终端中，生成混合从与主播终端相连接的输入装置输入的主播画面(以下，称之为“第一主播画面”)与第一来宾画面的直播画面(以下，称之为“第一直播画面”)之后，可通过服务器150向来宾终端及至少一个观众终端与第一直播画面一同发送与第一主播画面有关的第一主播音频和第一来宾音频。
详细地，在步骤S430中，视频发送部320可通过服务器150，以包括来宾的多个观众为对象，通过一个视频基本流(elementary stream,ES)发送在主播直播的视频流(例如，第一主播画面)中混合来宾直播的视频流(例如，第一来宾画面)的直播画面(例如，第一直播画面)作为联播实况直播的视频流。换句话说，视频发送部320可在从主播端生成的主播直播中混合从来宾端接收的来宾直播来作为联播实况直播发送。
在步骤S440中，可通过各个音频基本流发送主播直播的音频流(例如，第一主播音频)和来宾直播的音频流(例如，第一来宾音频)作为联播实况直播的音频流。这是用于消除当处于联播实况直播时从来宾侧输出的来宾直播的延迟的方法，并非预先从主播端混合联播实况直播的音频流，而是将主播音频流和来宾音频流以单独基本流生成来分别发送。
在通过主播终端的用户指定的来宾终端为多个的情况下(即，在一个联播直播中存在多个来宾的情况)，视频发送部320可通过一个视频基本流发送在第一主播画面中混合多个来宾画面的直播画面，音频发送部330可通过各个音频基本流发送主播音频和从多个来宾终端接收的多个来宾音频。
虽然未图示，作为其他实施例，当处于联播实况直播时，为了消除从来宾侧输出的来宾直播的延迟并减少来宾终端的资源使用负担，可在主播端预先混合联播实况直播的主播音频流与来宾音频流之后，将混合的音频流和主播音频流生成为单独基本流来分别发送。
参照图5，说明在联播实况直播中的来宾侧直播过程如下。
在步骤S510中，处理器212可从来宾终端，例如，从加载与电子设备120的控制有关的指令的存储器读取需要的指令。在此情况下，上述读取的指令可包含用于以使作为来宾终端的结构要素的处理器执行之后说明的步骤(步骤S520至步骤S530)的方式进行控制的指令。
在步骤S520中，直播发送部(视频发送部320和音频发送部330)可以向发送混合来宾直播与主播直播的实况直播的主播终端，例如，向电子设备110，经过服务器150，发送从与来宾终端相连接的输入装置输入的第一来宾画面及与第一来宾画面相连接的第一来宾音频，之后，直播接收部310为了收看主播终端所提供的联播实况直播而可以通过服务器150从主播终端接收联播实况直播，在此情况下，在视频流的情况下，可通过一个视频基本流从主播终端接收通过主播终端输入的第一主播画面与第一来宾画面混合的第一直播画面，同时，在音频流的情况下，可通过各个音频基本流，从主播终端接收与第一主播画面有关的第一主播音频和第一来宾音频。换句话说，在通过联播实况直播接收主播直播和来宾直播的过程中，在视频流的情况下，可以以在主播端预先混合的状态接收，在音频流的情况下不进行混合，而是可通过个别基本流分别接收。
虽然未图示，根据主播终端通过个别基本流分别发送第一混合的音频(与第一主播画面有关的第一主播音频与第一来宾音频混合的音频)和第一主播音频的其他实施例，在音频流的情况下，可通过个别基本流从主播终端分别接收第一混合的音频和第一主播音频。
在步骤S530中，直播播放部340可在从主播终端接收的联播实况直播的第一直播画面中的显示第一来宾画面的区域(以下，称之为“来宾视频布局”)覆盖在当前时间点从来宾终端的输入装置输入的画面(以下，称之为“第二来宾画面”)来生成反映当前时间点的来宾画面的第二直播画面之后，在播放第二直播画面的同时，仅将第一主播音频作为对应音频播放。即，直播播放部340可忽略通过联播实况直播的音频流接收的音频中的第一来宾音频，仅播放通过联播实况直播的音频流接收的第一主播音频。
作为其他例，直播播放部340可在从主播终端接收的第一直播画面的来宾视频布局上覆盖从来宾终端的输入装置输入的第二来宾画面来生成反映当前时间点的来宾画面的第二直播画面之后，与第二直播画面一同播放在第一主播音频中混合来宾终端的当前时间点的来宾音频，即，与第二来宾画面有关的第二来宾音频而成的音频。即，来宾终端的音频可忽略通过联播实况直播的音频流接收的音频中的第一来宾音频，仅将通过联播实况直播的音频流接收的第一主播音频与在当前时间点向来宾终端上输入的第二来宾音频混合来生成及播放成来宾用直播音频。换句话说，直播播放部340可播放从主播终端接收的联播实况直播，具体地，播放在第一直播画面的来宾视频布局上覆盖来宾的当前时间点的视频的第二直播画面，同时，混合第一主播音频与来宾的当前时间点的第二来宾音频来播放。因此，当处于联播实况直播时，可轻松去除从来宾侧输出的来宾视频和音频的延迟。
而且，直播播放部340可根据音频控制请求控制是否播放联播实况直播的音频(主播音频和来宾音频)中的至少一个。例如，直播播放部340能够以服务器或用户的输入、服务器或终端的设定来选择性地开闭联播实况直播的音频中的至少一个。在主播终端中，主播音频和来宾音频分离成个别基本流来发送，因此，在来宾终端或观众终端中可以以个别基本流接收各个音频，由此，可根据收看联播实况直播的用户的选择指定音频来进行开闭。作为一例，在由主播终端的用户指定的来宾终端为多个的情况下，观众终端可以分离主播音频及各个来宾音频来接收，因此，在主播音频及各个来宾音频中，可以仅混合由观众选择的音频流来提供观众定制音频。
虽然未图示，根据主播终端通过个别基本流分别接收第一混合的音频(与第一主播画面有关的第一主播音频与第一来宾音频混合的音频)和第一主播音频的其他实施例，来宾终端忽略在通过联播实况直播的音频流接收的音频中的第一混合的音频，仅将第一主播音频作为对于第二直播画面的音频播放。相反，在根据本实施例的情况下，观众终端可以忽略通过联播实况直播的音频流接收的音频中的第一主播音频，仅将第一混合的音频作为对于第一直播画面的音频播放。
图6和图7为用于说明在来宾立场体验的延迟的例示图。
参照图6，在主播终端600中，在主播进行实况直播的过程中，将至少一名观众采用为来宾来从对应来宾终端接收来宾直播620之后，向包括来宾的所有观众发送在主播直播610中混合来宾直播620的联播实况直播630。
参照图7，在来宾终端700中播放从主播终端600发送的联播实况直播630，在此情况下，发生从来宾终端700向主播终端600发送的来宾直播620的开始时间点与当前来宾直播720的时间点之间的时间差。因此，从来宾立场来说，由于直接呈现与当前来宾直播720的时间点不同的之前时间点的来宾直播620，因此，将体验很不自然的联播服务。
作为用于解决来宾直播的延迟问题的方法中的一个，存在主播发送两个直播的方法，一个以一般观众为对象发送在主播直播中混合来宾直播的直播，另一个以来宾为对象仅发送未混合来宾直播的纯粹主播直播。在此情况下，在来宾终端700中，直接在主播直播中混合自己的直播来播放，由此可以解决延迟问题。但是，上述方式存在如下问题，即，即使是直播内容相同的一个直播，在主播终端需要发送两个直播(即，以一般观众为对象的直播和以来宾为对象的直播)，因此，将浪费视频生成资源、网络资源等。
在本发明中，作为均解决来宾直播的延迟问题和不必要的资源浪费的方法，在主播端并不混合用于联播实况直播的音频流，而是将主播音频和来宾音频生成为个别基本流。
详细地，参照图8，在主播终端800中，为了联播实况直播，在视频流的情况下，发送第一主播视频与第一来宾视频混合的视频流830，在音频流的情况下，并不进行混合，而是将第一主播音频841和第一来宾音频842分离成个别基本流来发送。
参照图9，在并非来宾的一般观众终端900中，从主播终端800接收第一主播视频与第一来宾视频混合的视频流830来直接播放，在音频940的情况下，分别接收第一主播音频841与第一来宾音频842来在观众终端900侧直接混合并播放。
参照图10，在来宾终端1000中，从主播终端800接收第一主播视频与第一来宾视频混合的视频流830来播放，具体地，在来宾视频布局上覆盖作为来宾终端1000的当前时间点的视频的第二来宾视频1020来播放。同时，在音频的情况下，忽略从主播终端800接收的第一来宾音频842，混合第一主播音频841与作为来宾终端1000的当前时间点的音频的第二来宾音频1042来播放。
换句话说，在来宾终端1000中，播放从主播终端800接收的联播实况直播，具体地，在直播画面的来宾视频布局上覆盖第二来宾视频1020，同时，混合第一主播音频841与第二来宾音频1042来播放，由此，在来宾侧将不会识别到因联播而引起的延迟。
如上所述，根据本发明的实施例，当处于在混合主播直播流中混合来宾直播流来发送的联播实况直播时，将主播的音频和来宾的音频生成为个别基本流来发送，由此，可以同时去除来宾侧延迟问题和不必要的资源浪费。
以上说明的装置可通过硬件结构要素、软件结构要素和/或硬件结构要素及软件结构要素的组合实现。例如，在实施例中说明的装置及结构要素可利用如处理器、控制器、算术逻辑单元(arithmetic logic unit，ALU)、数字信号处理器(digital signalprocessor)、微型计算机、现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑单元(programmable logic unit，PLU)、微处理器或可执行并响应指令(instruction)的任何类型的装置的一个以上的通用计算机或专用计算机来实现。处理装置可以执行操作系统及在上述操作系统上执行的一个以上的软件应用。并且，处理装置可响应于软件的执行来访问、存储、操作、处理及生成数据。为了理解的便利，存在将处理装置描述为使用一个的情况，本发明所属技术领域的普通技术人员可以知道处理装置可以包括多个处理要素(processing element)和/或多种类型的处理要素。例如，处理装置可包括多个处理器或一个处理器及一个控制器。或者，也可以是如并行处理器(parallelprocessor)的其他处理结构(processing configuration)。
软件可包括计算机程序(computer program)、代码(code)、指令(instruction)或它们中的一个以上的组合，并且可以配置处理装置以根据需要进行操作，或者可以独立或结合性地(collectively)向处理装置下达指令。软件和/或数据为了通过处理装置解释或者向处理装置提供指令或数据而可以具体化在任何类型的机器、结构要素(component)、物理装置、计算机存储介质或装置。软件可分散在通过网络连接的计算机系统上，或者通过分散的方法存储或执行。软件及数据可存储于一个以上的计算机可读记录介质。
实施例的方法可实现为可通过多种计算机单元执行的程序指令形式来记录在计算机可读介质。在此情况下，介质可以继续存储能够通过计算机执行的程序，也可以为了执行或下载而暂时存储。并且，介质可以为单一或多个硬件相结合形式的多种记录单元或存储单元，并不局限于与一种计算机系统直接连接的介质，也可以分散存在于网络上。作为介质的例示，可以为如硬盘、软盘及磁盘的磁介质、如CD-ROM及DVD的光记录介质、如光磁软盘(floptical disk)的磁光介质(magneto-optical medium)及ROM、RAM、闪存等的存储程序指令的结构。并且，作为其他介质的例示，可以为流通应用的应用商店或供给或流通其他多种软件的网页及在服务器等中管理的记录介质或存储介质。
如上所述，通过限定的实施例和附图说明了实施例，只要是本发明所属技术领域的技术人员可从上述记载进行多种修改及变形。例如，只要是说明的技术可按与说明的方法不同的顺序执行，和/或说明的系统、结构、装置、电路等的结构要素可以按与说明的方法不同的形式结合或组合，或者通过其他结构要素或等同物代替或置换也可以达成适当结果。
因此，其他实例、其他实施例及与发明要求保护范围等同的内容也属于后述的发明要求保护范围内。

Claims (17)

1.一种实况直播方法，在通过计算机系统实现的终端中执行，其特征在于，
上述终端包括配置为执行包含在存储器中的多个计算机可读指令的至少一个处理器，
上述实况直播方法包括：
发送步骤，通过上述至少一个处理器，经过服务器向主播终端发送从与上述终端相连接的输入装置输入的第一来宾画面及与上述第一来宾画面有关的第一来宾音频，上述主播终端用于发送混合作为上述终端的直播的来宾直播与作为自己的直播的主播直播而成的实况直播；
接收步骤，通过上述至少一个处理器，从上述主播终端经过上述服务器，接收混合通过上述主播终端输入的第一主播画面与上述第一来宾画面而成的第一直播画面，通过各个音频基本流接收与上述第一主播画面有关的第一主播音频和上述第一来宾音频；
生成步骤，通过上述至少一个处理器，将上述第一来宾画面之后从上述输入装置输入的第二来宾画面覆盖在所接收的上述第一直播画面来生成第二直播画面；以及
播放步骤，通过上述至少一个处理器，在不播放上述第一来宾音频的情况下，与上述第一主播音频一同播放上述第二直播画面。
2.根据权利要求1所述的实况直播方法，其特征在于，
上述生成步骤包括如下的步骤：在所接收的上述第一直播画面中的显示上述第一来宾画面的区域覆盖所输入的上述第二来宾画面，
上述播放步骤包括如下的步骤：
通过混合与从上述输入装置输入的第二来宾画面有关的第二来宾音频和所接收的上述第一主播音频来生成来宾用直播音频；以及
与上述来宾用直播音频一同播放上述第二直播画面。
3.根据权利要求1所述的实况直播方法，其特征在于，上述接收步骤包括如下的步骤：
通过一个视频基本流接收混合上述第一主播画面与上述第二来宾画面而成的上述第一直播画面作为上述实况直播的视频流；以及
通过上述各个音频基本流接收上述第一主播音频和上述第一来宾音频作为上述实况直播的音频流。
4.根据权利要求3所述的实况直播方法，其特征在于，
上述实况直播是通过上述主播终端，从其他终端接收其他来宾直播，与上述来宾直播及上述主播直播一同混合其他来宾直播来发送的，
上述接收步骤包括如下的步骤：还通过与上述各个音频基本流不同的其他音频基本流接收上述其他来宾直播的其他来宾音频作为上述实况直播的上述音频流。
5.根据权利要求3所述的实况直播方法，其特征在于，上述播放步骤包括如下的步骤：控制是否播放与上述实况直播有关的上述各个音频基本流中的至少一个。
6.根据权利要求4所述的实况直播方法，其特征在于，上述播放步骤包括如下的步骤：控制是否播放与上述实况直播有关的上述各个音频基本流及上述其他音频基本流中的至少一个。
7.一种实况直播方法，在通过计算机系统实现的终端中执行，其特征在于，
上述终端包括配置为执行包含在存储器中的多个计算机可读指令的至少一个处理器，
上述实况直播方法包括：
接收步骤，通过上述至少一个处理器，经过服务器从至少一个来宾终端接收作为上述来宾终端的直播的来宾直播；以及
发送步骤，通过上述至少一个处理器，向上述来宾终端及至少一个观众终端发送在作为上述终端的直播的主播直播中混合上述来宾直播而成的实况直播，
上述发送步骤包括如下的步骤：
通过一个视频基本流发送在主播画面中混合来宾画面的直播画面作为上述实况直播的视频流；以及
通过各个音频基本流发送主播音频和来宾音频作为上述实况直播的音频流。
8.根据权利要求7所述的实况直播方法，其特征在于，
在通过上述终端指定多个来宾终端的情况下，上述发送步骤包括如下的步骤：
通过上述一个视频基本流发送在上述主播画面中混合多个来宾画面而成的直播画面作为上述实况直播的视频流；以及
通过各个音频基本流发送上述主播音频和从上述多个来宾终端接收的多个来宾音频作为上述实况直播的音频流。
9.一种非暂时性计算机可读记录介质，其特征在于，记录有用于在计算机中执行权利要求1至8中任一项所述的实况直播方法的程序。
10.一种终端，通过计算机系统实现，其特征在于，包括：
存储器；以及
至少一个处理器，与上述存储器相连接，配置为执行包含在上述存储器的多个计算机可读指令，
上述至少一个处理器包括：
直播发送部，经过服务器向主播终端发送从与上述终端相连接的输入装置输入的第一来宾画面及与上述第一来宾画面有关的第一来宾音频，上述主播终端用于发送混合作为上述终端的直播的来宾直播与作为自己的直播的主播直播而成的实况直播；
直播接收部，从上述主播终端经过上述服务器，接收混合通过上述主播终端输入的第一主播画面与上述第一来宾画面而成的第一直播画面，通过各个音频基本流接收与上述第一主播画面有关的第一主播音频和上述第一来宾音频；以及
直播播放部，将上述第一来宾画面之后从上述输入装置输入的第二来宾画面覆盖在所接收的上述第一直播画面来生成第二直播画面之后，在不播放上述第一来宾音频的情况下，与上述第一主播音频一同播放上述第二直播画面。
11.根据权利要求10所述的终端，其特征在于，
上述直播播放部在所接收的上述第一直播画面中的显示上述第一来宾画面的区域覆盖所输入的上述第二来宾画面，
通过混合与从上述输入装置输入的第二来宾画面有关的第二来宾音频和所接收的上述第一主播音频来生成来宾用直播音频，
与上述来宾用直播音频一同播放上述第二直播画面。
12.根据权利要求10所述的终端，其特征在于，
上述直播接收部通过一个视频基本流接收混合上述第一主播画面与上述第二来宾画面而成的上述第一直播画面作为上述实况直播的视频流，通过上述各个音频基本流接收上述第一主播音频和上述第一来宾音频作为上述实况直播的音频流。
13.根据权利要求12所述的终端，其特征在于，
上述实况直播是通过上述主播终端，从其他终端接收其他来宾直播，与上述来宾直播及上述主播直播一同混合其他来宾直播来发送的，
上述直播接收部还通过与上述各个音频基本流不同的其他音频基本流接收上述其他来宾直播的其他来宾音频作为上述实况直播的上述音频流。
14.根据权利要求12所述的终端，其特征在于，上述直播播放部控制是否播放与上述实况直播有关的上述各个音频基本流中的至少一个。
15.根据权利要求13所述的终端，其特征在于，上述直播播放部控制是否播放与上述实况直播有关的上述各个音频基本流及上述其他音频基本流中的至少一个。
16.一种终端，通过计算机系统实现，其特征在于，包括：
存储器；以及
至少一个处理器，与上述存储器相连接，配置为执行包含在上述存储器的多个计算机可读指令，
上述至少一个处理器包括：
直播接收部，通过服务器，从至少一个来宾终端接收作为上述来宾终端的直播的来宾直播；以及
直播发送部，向上述来宾终端及至少一个观众终端发送在作为上述终端的直播的主播直播中混合上述来宾直播而成的实况直播，
上述直播发送部包括：
视频发送部，通过一个视频基本流发送在主播画面混合来宾画面而成的直播画面作为上述实况直播的视频流；以及
音频发送部，通过各个音频基本流发送主播音频和来宾音频作为上述实况直播的音频流。
17.根据权利要求16所述的终端，其特征在于，在通过上述终端指定多个来宾终端的情况下，上述直播发送部通过上述一个视频基本流发送在上述主播画面中混合多个来宾画面而成的直播画面作为上述实况直播的视频流，通过各个音频基本流发送上述主播音频和从上述多个来宾终端接收的多个来宾音频作为上述实况直播的音频流。
CN201880091897.XA 2018-03-28 2018-03-28 消除实况直播中的来宾直播延迟的方法和系统及非暂时性计算机可读记录介质 Active CN111971971B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/003662 WO2019189959A1 (ko) 2018-03-28 2018-03-28 라이브 방송 시 게스트 방송의 딜레이를 상쇄하는 방법과 시스템 및 비-일시적인 컴퓨터 판독가능한 기록 매체

Publications (2)

Publication Number Publication Date
CN111971971A true CN111971971A (zh) 2020-11-20
CN111971971B CN111971971B (zh) 2023-12-01

Family

ID=68061926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091897.XA Active CN111971971B (zh) 2018-03-28 2018-03-28 消除实况直播中的来宾直播延迟的方法和系统及非暂时性计算机可读记录介质

Country Status (5)

Country Link
US (1) US11606581B2 (zh)
JP (1) JP7164623B2 (zh)
KR (1) KR102484638B1 (zh)
CN (1) CN111971971B (zh)
WO (1) WO2019189959A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111510738B (zh) * 2020-04-26 2023-08-11 北京字节跳动网络技术有限公司 一种直播中音频的传输方法及装置
CN111698529B (zh) * 2020-06-19 2022-02-22 广州繁星互娱信息科技有限公司 直播监控方法、装置、设备以及计算机可读存储介质
KR102506552B1 (ko) * 2021-06-02 2023-03-06 김진우 주문형비디오 재생 시스템 및 주문형비디오 재생 방법
CN115396714B (zh) * 2022-08-11 2024-09-24 广州方硅信息技术有限公司 直播间布局的调整方法、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473114B1 (en) * 2000-04-14 2002-10-29 Koninklijke Philips Electronics N.V. Method and system for indicating change of speaker in a videoconference application
CN101095350A (zh) * 2005-01-04 2007-12-26 诺基亚公司 用于低延迟视频混合的方法和系统
KR20110054485A (ko) * 2009-11-17 2011-05-25 한국전자통신연구원 참여형 방송 시스템 및 그의 음성 처리 방법
US20140059629A1 (en) * 2012-08-23 2014-02-27 Electronics And Telecommunications Research Institute Two-way broadcast service providing system and method including media transmission apparatus
CN105306468A (zh) * 2015-10-30 2016-02-03 广州华多网络科技有限公司 一种合成视频数据实时共享的方法及其主播客户端
CN106131583A (zh) * 2016-06-30 2016-11-16 北京小米移动软件有限公司 一种直播处理方法、装置、终端设备及系统
US20180063556A1 (en) * 2016-08-29 2018-03-01 YouNow, Inc. Systems and methods for providing guest broadcasting on a live stream video platform

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100486893B1 (ko) * 2003-05-10 2005-04-29 주식회사 플랜티넷 인터넷 기반의 온라인 서비스를 위한 음성 회의 서비스 제공 방법
JP2005051703A (ja) 2003-07-31 2005-02-24 Institute Of Tsukuba Liaison Co Ltd ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
JP2008089849A (ja) 2006-09-29 2008-04-17 Yamaha Corp リモート演奏システム
JP2008131379A (ja) 2006-11-21 2008-06-05 Yamaha Corp 配信システム、および端末装置
JP5109496B2 (ja) 2007-06-20 2012-12-26 ヤマハ株式会社 データ配信装置、データ配信方法およびプログラム
KR100867004B1 (ko) * 2007-09-19 2008-11-10 한국전자통신연구원 시청자 참여를 위한 양방향성 ｉｐｔｖ 방송 서비스 방법및 그 시스템
KR20090066190A (ko) * 2007-12-18 2009-06-23 한국전자통신연구원 대화형 오디오 송/수신 장치 및 그 방법
US20120050456A1 (en) 2010-08-27 2012-03-01 Cisco Technology, Inc. System and method for producing a performance via video conferencing in a network environment
US10057662B2 (en) * 2011-04-21 2018-08-21 Shah Talukder Flow controlled based synchronized playback of recorded media
US8819738B2 (en) * 2012-05-16 2014-08-26 Yottio, Inc. System and method for real-time composite broadcast with moderation mechanism for multiple media feeds
KR20170081517A (ko) * 2016-01-04 2017-07-12 한국전자통신연구원 시청자의 참여가 가능한 양방향 방송 제공 서버 및 방법
US10193940B2 (en) * 2017-02-07 2019-01-29 Microsoft Technology Licensing, Llc Adding recorded content to an interactive timeline of a teleconference session

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473114B1 (en) * 2000-04-14 2002-10-29 Koninklijke Philips Electronics N.V. Method and system for indicating change of speaker in a videoconference application
CN101095350A (zh) * 2005-01-04 2007-12-26 诺基亚公司 用于低延迟视频混合的方法和系统
KR20110054485A (ko) * 2009-11-17 2011-05-25 한국전자통신연구원 참여형 방송 시스템 및 그의 음성 처리 방법
US20140059629A1 (en) * 2012-08-23 2014-02-27 Electronics And Telecommunications Research Institute Two-way broadcast service providing system and method including media transmission apparatus
CN105306468A (zh) * 2015-10-30 2016-02-03 广州华多网络科技有限公司 一种合成视频数据实时共享的方法及其主播客户端
CN106131583A (zh) * 2016-06-30 2016-11-16 北京小米移动软件有限公司 一种直播处理方法、装置、终端设备及系统
US20180063556A1 (en) * 2016-08-29 2018-03-01 YouNow, Inc. Systems and methods for providing guest broadcasting on a live stream video platform

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王英兰;刘晓强;李柏岩;宋晖;陶抒青;蔡立志;刘振宇;: "一种面向互联网应用的多路实时流媒体同步合成方案", 东华大学学报(自然科学版), no. 01 *

Also Published As

Publication number Publication date
JP2021525012A (ja) 2021-09-16
JP7164623B2 (ja) 2022-11-01
US20210006841A1 (en) 2021-01-07
CN111971971B (zh) 2023-12-01
WO2019189959A1 (ko) 2019-10-03
US11606581B2 (en) 2023-03-14
KR102484638B1 (ko) 2023-01-04
KR20200127203A (ko) 2020-11-10

Similar Documents

Publication Publication Date Title
JP7536915B2 (ja) 生放送中の音声フィードバックのための方法とシステム、および非一時的コンピュータ読取可能な記録媒体
US10979374B2 (en) Method, system, and non-transitory computer readable record medium for sharing information in chatroom using application added to platform in messenger
US11606581B2 (en) Method, system, and non-transitory computer-readable record medium for cancelling delay of guest broadcasting in live broadcast
KR20210135683A (ko) 인터넷 전화 기반 통화 중 리액션을 표시하는 방법, 시스템, 및 컴퓨터 프로그램
KR102123593B1 (ko) 실시간 라이브 영상과 이벤트의 동기화를 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
US20240007510A1 (en) METHOD, SYSTEM, AND NON-TRANSITORY COMPUTER-READABLE RECORD MEDIUM FOR SHARING CONTENT DURING VoIP-BASED CALL
CN114125480B (zh) 直播合唱互动方法、系统、装置及计算机设备
CN114489891A (zh) 云应用程序的控制方法、系统、装置、可读介质和设备
KR102309243B1 (ko) Pip 모드에서 대화방에 컨텐츠를 공유하는 방법, 시스템, 및 컴퓨터 프로그램
CN113891162A (zh) 直播间加载方法、装置及计算机设备
KR101827863B1 (ko) 멀티미디어 콘텐츠를 제공하는 방법 및 시스템
CN114666646B (zh) 直播间封面交互方法、系统、装置、设备及介质
JP7348917B2 (ja) プログラムおよび電子機器
JP2024156933A (ja) 生放送中の音声フィードバックのための方法とシステム、および非一時的コンピュータ読取可能な記録媒体
KR20200029400A (ko) 그룹 통화 화면을 제공하는 방법 및 시스템
CN117336561A (zh) 直播画面切换方法、装置、介质以及电子设备
CN115134620A (zh) 连麦直播下的画面显示方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant