CN114979552B - 多媒体数据流传输方法、装置、电子设备及存储介质 - Google Patents
多媒体数据流传输方法、装置、电子设备及存储介质Info
- Publication number
- CN114979552B CN114979552B CN202210564997.8A CN202210564997A CN114979552B CN 114979552 B CN114979552 B CN 114979552B CN 202210564997 A CN202210564997 A CN 202210564997A CN 114979552 B CN114979552 B CN 114979552B
- Authority
- CN
- China
- Prior art keywords
- terminal
- multimedia data
- state
- target
- streaming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种多媒体数据流传输方法、装置、电子设备及存储介质。其中,该多媒体数据流传输方法包括步骤:接收目标终端通过信令通道发出的多媒体数据状态,其中,所述多媒体数据状态是关于多媒体数据自身内容的状态;将符合目标条件的目标终端确定为选定对象终端,其中,所述目标条件包括:目标终端发出的多媒体数据状态与本终端预设的目标状态匹配;拉取选定对象终端对应的多媒体数据流。本方法能够避免传输没有实质内容的多媒体数据,减少了无效数据传输,大大地节约带宽。
Description
技术领域
本发明涉及多媒体数据即时通信的技术领域,更具体地,涉及一种多媒体数据流传输方法、装置、电子设备及存储介质。
背景技术
现有的即时通信应用中,基于音视频的多媒体通信是一项非常广泛的应用。在现有技术中,例如在远程视频会议时,用户通过终端设备与一个或者多个其他用户视频沟通。在沟通过程中,用户可以根据自己的需要在终端设备上选择播放其他与会用户的视频和音频。
目前的视频会议中,用户终端需要拉取其他所有用户的音视频流到本端,与此同时,各个用户终端也要将自己的音视频数据上传到服务器。然而,在视频会议中,用户大多只需关注特定的几个人发言,所以不论是下载到本端的音视频数据还是上传到服务器的音视频数据,都有很大一部分是对于用户来说是没有意义的内容数据,但这些没有意义的数据却占用着用户终端的下载带宽和服务器转发带宽,浪费了带宽资源。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷,本发明提供一种多媒体数据流传输方法、装置、电子设备及存储介质。本发明采用的技术方案如下。
第一方面,本发明提供一种多媒体数据流传输方法,包括步骤:
接收目标终端通过信令通道发出的多媒体数据状态,其中,所述多媒体数据状态是关于多媒体数据自身内容的状态;
将符合目标条件的目标终端确定为选定对象终端,其中,所述目标条件包括:目标终端发出的多媒体数据状态与本终端预设的目标状态匹配;
拉取选定对象终端对应的多媒体数据流。
在一种实施方式中,所述方法还包括步骤:接收通话终端清单;
所述目标条件还包括:目标终端在所述通话终端清单上。
在一种实施方式中,在所述拉取选定对象终端对应的多媒体数据流之前,还包括步骤:
向选定对象终端发送拉流请求,所述拉流请求用于指示所述选定对象终端向流媒体服务器发送对应的多媒体数据流;
所述拉取选定对象终端对应的多媒体数据流的过程是从所述流媒体服务器拉取所述多媒体数据流。
在一种实施方式中,在所述拉取选定对象终端对应的多媒体数据流之前,还包括步骤:确定选定对象终端中待拉取的多媒体数据的数据类型。
在一种实施方式中,还包括步骤:
分析连接本终端的输入设备所采集到的多媒体数据的自身内容的状态,得到本终端的多媒体数据状态;
通过信令通道将本终端的多媒体数据状态发送给选定本终端作为目标终端的终端。
在一种实施方式中,还包括步骤:展示目标终端的多媒体数据状态。
在一种实施方式中,拉取到的多媒体数据包括:视频数据;
所述多媒体数据流传输方法还包括步骤:
检测拉取到的视频数据在预设时间长度内的视频画面变化量是否超过预设阈值;
在视频画面变化量不超过预设阈值时,展示对应的目标终端的多媒体数据状态。
在一种实施方式中,所述多媒体数据为音频数据,所述预设的目标状态为表征音频中有人声的状态。
在一种实施方式中,所述多媒体数据为视频数据,所述预设的目标状态为表征视频中有人物的状态。
在一种实施方式中,所述多媒体数据为音视频数据,所述预设的目标状态为表征音视频中有人正在发言的状态。
第二方面,本发明提供一种多媒体数据流传输方法,包括步骤:
获取选定本终端作为目标终端的终端清单;
获取连接本终端的输入设备所采集到的多媒体数据的多媒体数据状态,其中,所述多媒体数据状态是关于多媒体数据自身内容的状态;
根据所述终端清单,通过信令通道将所述多媒体数据状态发送给对应的终端,以指示选定本终端作为目标终端的终端根据所述多媒体数据状态拉取本终端对应的多媒体数据流。
在一种实施方式中,还包括步骤:在接收到选定本终端作为目标终端的终端的拉流请求时,向流媒体服务器发送对应的多媒体数据流;其中,所述拉流请求是选定本终端作为目标终端的终端基于所述多媒体数据状态作出的反馈信息。
第三方面,本发明提供一种多媒体数据流传输的装置,其特征在于,包括:
接收模块,用于接收目标终端通过信令通道发出的多媒体数据状态,其中,所述多媒体数据状态是关于多媒体数据自身内容的状态;
处理模块,用于将符合目标条件的目标终端确定为选定对象终端,其中,所述目标条件包括:目标终端发出的多媒体数据状态与本终端预设的目标状态匹配;
拉流模块,用于拉取选定对象终端对应的多媒体数据流。
第四方面,本发明提供一种多媒体数据流传输的装置,包括:
获取模块,用于获取选定本终端作为目标终端的终端清单;
检测模块,用于获取连接本终端的输入设备所采集到的多媒体数据的多媒体数据状态,其中,所述多媒体数据状态是关于多媒体数据自身内容的状态;
发送模块,用于根据所述终端清单,通过信令通道将所述多媒体数据状态发送给对应的终端,以指示选定本终端作为目标终端的终端根据所述多媒体数据状态拉取本终端对应的多媒体数据流。
第五方面,本发明提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任一实施方式的方法。
第六方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述任一实施方式的方法。
本发明中,通过信令通道接收根据多媒体数据自身的内容进行判断而得到的多媒体数据状态信息,在多媒体数据状态符合预设要求时,再拉取对应的多媒体数据流,避免传输没有实质内容的多媒体数据,减少了无效数据传输,大大地节约带宽。
附图说明
图1是实施例一的流程示意图。
图2是实施例一的一实施方式的结构示意图。
图3是实施例二的流程示意图。
图4是实施例三的结构示意图。
图5是实施例四的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明公开的示例性实施例。虽然附图中显示了本发明公开的示例性实施例,然而应当理解,可以以各种形式实现本发明公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明公开,并且能够将本发明公开的范围完整的传达给本领域的技术人员。
需要说明的是,本发明实施例所涉及的术语“第一\第二\……”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\……”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\……”区分的对象在适当情况下可以互换,以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
实施例一
请参见图1,图1为本发明实施例一提供的一种多媒体数据流传输方法的流程示意图,该方法包括步骤S110、步骤S120、步骤S130。需要注意的是,步骤S110、步骤S120、步骤S130仅为附图标记,用于清晰解释实施例与附图1的对应关系,不代表对本实施例中的方法的各方法步骤的顺序限定。
步骤S110,接收目标终端通过信令通道发出的多媒体数据状态,其中,所述多媒体数据状态是关于多媒体数据自身内容的状态。
用户通过自己的终端加入到一个视频会议时,往往可能会特别关注特定几位人员的发言,所以用户会根据自己的需要,预先选定一个或多个作为目标终端。当然,在用户没有选定目标终端的情形下,各终端也有默认程序选定某些终端为目标终端,或者干脆默认所有与会的终端都是目标终端。
具体地,多媒体数据状态是多媒体数据状态是关于多媒体数据自身内容的状态,例如,该多媒体数据是音频数据时,可以是关于否有人发言的状态,那么有人发言或无人发言就是关于音频数据自身内容的状态。同样地,对于视频数据,关于视频内容本身的有/无人或有/无特定的人就是视频数据的状态。类似地,对于音视频数据,则是结合音频内容和视频内容的状态,如视频画面中是否有人发言的状态。这里需要指出的是,对于多媒体数据自身内容进行分析得到结果的过程,本方法中不作限定,可以是目标终端自己分析得到的,或者是目标终端从其他设备中获取得到的,再或者是用户在终端上标签得到的。
接收目标终端的多媒体数据状态,可以在不整体接收的多媒体数据流的情况下知道目标终端的多媒体数据的内容,在内容符合要求时才进行拉流,排除自己不需要的音视频数据,避免无效数据传输,特别是在视频会议人数过多要进行分组讨论的场景或者听主持演讲的场景,能减少对其他终端的影响,可以大大地节约带宽。
这里需要说明的是,本步骤可以通过信令服务器接收转发该状态信息,在终端比较少时,也可以不需要服务器,终端之间直接通过信令通道进行通信。
步骤S120,将符合目标条件的目标终端确定为选定对象终端,其中,所述目标条件包括:目标终端发出的多媒体数据状态与本终端预设的目标状态匹配。
目标终端是用户会特别关注的特定几位人员所使用的终端,但不是在任何时刻都拉取这些目标终端的多媒体数据流的,只有在这些目标终端符合目标条件的时候才拉取对应的多媒体数据流。目标条件包括:目标终端发出的多媒体数据状态与本终端预设的目标状态匹配。例如,本终端预设的目标状态是有人发言,目标终端A发出的多媒体数据状态也是有人发言,此时二者匹配,符合目标条件,那么就把目标终端A确定为选定对象终端。目标终端发出的多媒体数据状态与本终端预设的目标状态匹配时,就可以认为其正在输出的内容是用户真正需要的内容。
在一种实施方式中,该多媒体数据流传输方法还包括:接收通话终端清单;
所述目标条件还包括:目标终端在所述通话终端清单上。
一般来说,在会议的过程中,用户还会根据自己想要显示的内容不断改变终端上的布局,以输出需要的音视频,所以不一定所有目标终端的音视频都是用户所需要的,此时还接收用户的布局信息,这个布局信息即通话终端清单。这个通话终端清单实际上表示的是用户此刻所关注的目标终端,那么即这些终端正在输出的内容才是用户真正需要的内容。因此,这个通话终端清单实际上构成了第二个目标条件:目标终端还要在该通话终端清单上。只有目标终端发出的多媒体数据状态与本终端预设的目标状态匹配、目标终端在该通话终端清单上这两个条件都符合时,该目标终端的数据都才是用户需要的有效数据。
本实施方式根据用户实时的需要再次调整选定对象终端,进一步避免无效数据传输,节约带宽。
步骤S130,拉取选定对象终端对应的多媒体数据流。
在确定了选定对象终端后,就相当于筛选出了用户真正需要的内容,此时可以针对这些特定的选定对象终端拉取对应的多媒体数据流。
这里需要指出的是,本方法中的多媒体数据流可以是单一类型的数据流,也可以是包含多种类型的数据流,所以这里的对应的多媒体数据流可以是全部多媒体数据流,也可以是多媒体数据流中的一类或几类数据流,如多媒体数据包括音频和视频数据,但拉取的时候只拉取音频数据或视频数据。
这里需要说明的是,本步骤中可以从流媒体服务器拉取对应的多媒体数据,在终端比较少时,也可以不需要服务器,在终端之间进行拉流。
本方法中,通过信令通道接收根据多媒体数据自身的内容进行判断而得到的多媒体数据状态信息,在多媒体数据状态符合预设要求时,再拉取对应的多媒体数据流,避免传输没有实质内容的多媒体数据,减少了无效数据传输,大大地节约带宽。
在一种实施方式中,步骤S130之前,还包括步骤S131。
步骤S131,向选定对象终端发送拉流请求,所述拉流请求用于指示所述选定对象终端向流媒体服务器发送对应的多媒体数据流。
如图2所示,本实施方式是从流媒体服务器100拉取对应的多媒体数据的情形。实际上,某一终端在还没有成为其他任一终端的选定对象终端之前,它的数据其实是没有用户想要的,是无效数据,这时它的数据若持续发送到流媒体服务器的话,会占用了自身和流媒体服务器的带宽。所以在本实施方式中,各个终端在被确定为选定对象终端之前,不向流媒体服务器发送自身的多媒体数据流,直到接收到向选定对象终端发送拉流请求时,即确定自己的数据是有人需要时,才向流媒体服务器发送多媒体数据流,节省自身和流媒体服务器的带宽。继而步骤S130中,是从流媒体服务器拉取对应的多媒体数据流。
在一种实施方式中,步骤S130之前,还包括步骤S132。
步骤S132,确定选定对象终端中待拉取的多媒体数据的数据类型。
当多媒体数据是纯音频数据或纯视频数据时,拉取的的多媒体数据的数据类型不需要选择,就是音频数据或视频数据。但当多媒体数据的类型为音视频数据的时候,有可能判断的时候结合音视频内容得出数据状态,但拉取的时候,只拉取音频数据或只拉取视频数据,这种情况下,就要执行本步骤。在本步骤中,要确定选定对象终端中待拉取的多媒体数据的数据类型。
本步骤中,对于确定的依据不作限制,本领域技术人员可以根据实际情况来指定确定的依据,例如,在确定目标终端的时候已经预设好该终端要拉取的数据类型,或者是接收通话终端清单时,清单上包含通话终端要拉取的数据类型,又或者确定好选定对象终端后,将结果返回给用户,让用户从结果中决定各个终端拉取的数据类型。
这里需要说明的是,在本实施方式与上一种实施方式同时实施的情况下,优选本实施方式在上一实施方式之前进行,这样可以避免向流媒体服务器发送不需要的数据类型的数据流,以进一步节省自身和流媒体服务器的带宽。
在一种实施方式中,该多媒体数据流传输方法还包括:步骤S140和步骤S150。
步骤S140,分析连接本终端的输入设备所采集到的多媒体数据的自身内容的状态,得到本终端的多媒体数据状态;
步骤S150,通过信令通道将本终端的多媒体数据状态发送给选定本终端作为目标终端的终端。
在视频会议中,会议终端作为多媒体数据的接收方的同时也是自身多媒体数据的发送方,所以在通过信令通道接收多媒体数据状态的同时也要向选定本终端作为目标终端的终端发送多媒体数据状态。
多媒体数据一般是通过与本终端连接的输入设备送进会议终端,会议终端在接收到输入设备的多媒体数据时,对多媒体数据的内容进行分析,得到本终端的多媒体数据状态。会议终端自己对多媒体数据进行分析,不需要再一次传输多媒体数据到分析设备,可以节省自身和分析设备(如流媒体服务器)的带宽,也可以排除网络传输中端到端的网络丢包影响,避免多媒体数据状态分析准确率因为网络丢包而降低。
对于多媒体数据内容的分析,本领域技术人员可以根据实际情况,采取相应的手段。例如,该多媒体数据是音频数据时,可以在终端上根据分贝、音色、静音时长等特征判断该音频数据中是否有人发言;对于视频数据,可以通过人脸检测判断视频中是否有人,或更进一步,通过人脸识别判断视频中是否有特定的人,得到关于视频内容本身(有/无人或有/无特定的人)的状态;对于音视频数据,可以结合音频内容和视频内容进行分析得出分析后的状态,如结合判断视频画面中有没有人,音频中有没有人声,得到视频数据中是否有人发言的状态。
在一种实施方式中,所述多媒体数据为音频数据,所述预设的目标状态为表征音频中有人声的状态。
在视频会议中,不发言的人占大多数,所以没有人声的数据是无效的没有实质内容的数据,本实施方式中针对的是有人声的音频数据进行拉取。
在一种实施方式中,所述多媒体数据为视频数据,所述预设的目标状态为表征视频中有人物的状态。
在视频会议中,各个终端前一般都有与会者,没有与会者的可能是空场地,所以不必拉取这部分视频流。
在一种实施方式中,所述多媒体数据为音视频数据,所述预设的目标状态为表征音视频中有人正在发言的状态。
在一种实施方式中,该多媒体数据流传输方法还包括步骤:展示目标终端的多媒体数据状态。
在实际的使用中,不管是网络异常导致的被动无信号状态还是不拉取多媒体数据流而造成的主动无信号状态,所展示出来的效果都是相同的,用户很难对二者进行区分。因此,本实施方式中将目标终端的多媒体数据状态展示出来,如输出“对方无信号输入”等标签,让用户可以快速判断据是极端网络情况下的问题还是对方数据的输入问题,方便视频会议快速排障。
在一种实施方式中,拉取到的多媒体数据包括:视频数据,该多媒体数据流传输方法还包括:步骤S160和步骤S170。
步骤S160,检测拉取到的视频数据在预设时间长度内的视频画面变化量是否超过预设阈值;
步骤S170,在视频画面变化量不超过预设阈值时,展示对应的目标终端的多媒体数据状态。
由于网络问题而导致画面卡住会造成画面变化较小,订阅终端拍摄到的视频本身的内容没有发生多大改变也会造成画面变化较小,但对于用户来说,是很难区分上述两种情况的,所以本实施方式中展示对应的终端的多媒体数据状态,让用户知道是何种原因而造成画面变化较小,方便用户快速排障。
实施例二
请参见图3,图3为本发明实施例二提供的一种多媒体数据流传输方法的流程示意图,该方法包括步骤S210、步骤S220、步骤S230。需要注意的是,步骤S210、步骤S220、步骤S230仅为附图标记,用于清晰解释实施例与附图3的对应关系,不代表对本实施例中的方法的各方法步骤的顺序限定。
步骤S210,获取选定本终端作为目标终端的终端清单;
步骤S220,获取连接本终端的输入设备所采集到的多媒体数据的多媒体数据状态,其中,所述多媒体数据状态是关于多媒体数据自身内容的状态;
步骤S230,根据所述终端清单,通过信令通道将所述多媒体数据状态发送给对应的终端,以指示选定本终端作为目标终端的终端根据所述多媒体数据状态拉取本终端对应的多媒体数据流。
与实施例一对应,实施例二是主动发送本机多媒体数据状态的情形。实施例二中,获取到自身多媒体数据内容的状态,并将状态结果发送给选定本终端作为目标终端的终端,让对应的终端拉取对应的多媒体数据流,避免传输没有实质内容的多媒体数据,减少了无效数据传输,大大地节约带宽。
这里需要指出的是,本方法获取的多媒体数据状态是一个分析的结果,对于这个结果是如何得到的,本方法中不作限定。该结果可以是目标终端自己分析得到的,也可以是目标终端从其他设备中获取得到的。
在一种实施方式中,该多媒体数据流传输方法还包括步骤S240。
步骤S240,在接收到选定本终端作为目标终端的终端的拉流请求时,向流媒体服务器发送对应的多媒体数据流;其中,所述拉流请求是选定本终端作为目标终端的终端基于所述多媒体数据状态作出的反馈信息。
本实施方式是借助流媒体服务器转发多媒体数据的情形。在发出了本终端的多媒体数据状态后,其状态不一定是对端认为需要拉流的状态,此时其不是对端的选定对象终端。在还没有成为其他任一终端的选定对象终端之前,本端的数据其实是没有用户想要的,是无效数据,这时若持续发送到流媒体服务器的话,会占用了自身和流媒体服务器的带宽。所以在本实施方式中,在被确定为选定对象终端之前,不向流媒体服务器发送自身的多媒体数据流,直到接收到向选定对象终端发送拉流请求时,即确定自己的数据是有人需要时,才向流媒体服务器发送多媒体数据流,节省自身和流媒体服务器的带宽。
需要说明的是,在执行完本实施例中的步骤后,还可以继续执行实施例一种的步骤。
实施例三
与实施例一的方法相对应,如图4所示,本发明还提供一种多媒体数据流传输的装置3,包括:接收模块301、处理模块302和拉流模块303。
接收模块301,用于接收目标终端通过信令通道发出的多媒体数据状态,其中,所述多媒体数据状态是关于多媒体数据自身内容的状态;
处理模块302,用于将符合目标条件的目标终端确定为选定对象终端,其中,所述目标条件包括:目标终端发出的多媒体数据状态与本终端预设的目标状态匹配;
拉流模块303,用于拉取选定对象终端对应的多媒体数据流。
在一种实施方式中,所述接收模块还用于接收通话终端清单;
所述目标条件还包括:目标终端在所述通话终端清单上。
在一种实施方式中,所述多媒体数据流传输的装置还包括请求模块;
请求模块,用于向选定对象终端发送拉流请求,所述拉流请求用于指示所述选定对象终端向流媒体服务器发送对应的多媒体数据流;
所述拉流模块从所述流媒体服务器拉取所述多媒体数据流。
在一种实施方式中,所述多媒体数据流传输的装置还包括对象类型确定模块;
对象类型确定模块,用于确定选定对象终端中待拉取的多媒体数据的数据类型。
在一种实施方式中,所述多媒体数据流传输的装置还包括分析发送模块;
分析发送模块,用于分析连接本终端的输入设备所采集到的多媒体数据的自身内容的状态,得到本终端的多媒体数据状态;通过信令通道将本终端的多媒体数据状态发送给选定本终端作为目标终端的终端。
在一种实施方式中,所述多媒体数据为音频数据,所述预设的目标状态为表征音频中有人声的状态。
在一种实施方式中,所述多媒体数据为视频数据,所述预设的目标状态为表征视频中有人物的状态。
在一种实施方式中,所述多媒体数据为音视频数据,所述预设的目标状态为表征音视频中有人正在发言的状态。
在一种实施方式中,所述多媒体数据流传输的装置还包括展示模块;
展示模块,用于展示目标终端的多媒体数据状态。
在一种实施方式中,拉取到的多媒体数据包括:视频数据;所述多媒体数据流传输的装置还包括画面检测模块;
画面检测模块,用于检测拉取到的视频数据在预设时间长度内的视频画面变化量是否超过预设阈值,在视频画面变化量不超过预设阈值时,展示对应的目标终端的多媒体数据状态。
本装置中,通过信令通道接收根据多媒体数据自身的内容进行判断而得到的多媒体数据状态信息,在多媒体数据状态符合预设要求时,再拉取对应的多媒体数据流,避免传输没有实质内容的多媒体数据,减少了无效数据传输,大大地节约带宽。
实施例四
与实施例二的方法相对应,如图5所示,本发明还提供一种多媒体数据流传输的装置4,包括:获取模块401、检测模块402和发送模块403。
获取模块401,用于获取选定本终端作为目标终端的终端清单;
检测模块402,用于获取连接本终端的输入设备所采集到的多媒体数据的多媒体数据状态,其中,所述多媒体数据状态是关于多媒体数据自身内容的状态;
发送模块403,用于用于根据所述终端清单,通过信令通道将所述多媒体数据状态发送给对应的终端,以指示选定本终端作为目标终端的终端根据所述多媒体数据状态拉取本终端对应的多媒体数据流。
在一种实施方式中,发送模块还用于在接收到选定本终端作为目标终端的终端的拉流请求时,向流媒体服务器发送对应的多媒体数据流;其中,所述拉流请求是选定本终端作为目标终端的终端基于所述多媒体数据状态作出的反馈信息。
实施例五
本发明实施例还提供了一种存储介质,其上存储有计算机指令,该指令被处理器执行时实现上述任一实施例的多媒体数据流传输方法。
本领域的技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、随机存取存储器(RAM,Random Access Memory)、只读存储器(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、终端、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括:移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
与上述的计算机存储介质对应的是,在一个实施例中还提供一种计算机设备,该计算机设备包括存储器、编码器及存储在存储器上并可在编码器上运行的计算机程序,其中,编码器执行程序时实现如上述各实施例中的任意一种多媒体数据流传输方法。
上述计算机设备,通过信令通道接收根据多媒体数据自身的内容进行判断而得到的多媒体数据状态信息,在多媒体数据状态符合预设要求时,再拉取对应的多媒体数据流,避免传输没有实质内容的多媒体数据,减少了无效数据传输,大大地节约带宽。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种多媒体数据流传输方法,其特征在于,所述方法用于视频会议中的其中一个终端,包括步骤:
获取选定本终端作为目标终端的终端清单;
获取连接本终端的输入设备所采集到的多媒体数据的多媒体数据状态,其中,所述多媒体数据状态是关于多媒体数据自身内容的状态;
根据所述终端清单,通过信令通道将所述多媒体数据状态发送给选定本终端作为目标终端的终端,以指示选定本终端作为目标终端的终端根据所述多媒体数据状态决定是否反馈拉流请求;其中,所述拉流请求用于指示终端向流媒体服务器发送对应的多媒体数据流;
在接收到选定本终端作为目标终端的终端的拉流请求时,向流媒体服务器发送对应的多媒体数据流;
接收视频会议的通话终端清单,在所述通话终端清单上选取目标终端;
接收目标终端通过信令通道发出的多媒体数据状态,其中,所述多媒体数据状态是关于多媒体数据自身内容的状态;
将符合目标条件的目标终端确定为选定对象终端,其中,所述目标条件包括:目标终端发出的多媒体数据状态与本终端预设的目标状态匹配;
向选定对象终端发送拉流请求;
从所述流媒体服务器拉取选定对象终端对应的多媒体数据流。
2.根据权利要求1所述的多媒体数据流传输方法,其特征在于,在所述拉取选定对象终端对应的多媒体数据流之前,还包括步骤:确定选定对象终端中待拉取的多媒体数据的数据类型。
3.根据权利要求1所述的多媒体数据流传输方法,其特征在于,还包括步骤:展示目标终端的多媒体数据状态。
4.根据权利要求1所述的多媒体数据流传输方法,其特征在于,拉取到的多媒体数据包括:视频数据;
所述多媒体数据流传输方法还包括步骤:
检测拉取到的视频数据在预设时间长度内的视频画面变化量是否超过预设阈值;
在视频画面变化量不超过预设阈值时,展示对应的目标终端的多媒体数据状态。
5.根据权利要求1-3任一项所述的多媒体数据流传输方法,其特征在于,所述多媒体数据为音频数据,所述预设的目标状态为表征音频中有人声的状态。
6.根据权利要求1-4任一项所述的多媒体数据流传输方法,其特征在于,所述多媒体数据为视频数据,所述预设的目标状态为表征视频中有人物的状态。
7.根据权利要求1-4任一项所述的多媒体数据流传输方法,其特征在于,所述多媒体数据为音视频数据,所述预设的目标状态为表征音视频中有人正在发言的状态。
8.一种多媒体数据流传输的装置,其特征在于,所述装置用于视频会议的其中一个终端中,包括:
获取模块,用于获取选定本终端作为目标终端的终端清单;
检测模块,用于获取连接本终端的输入设备所采集到的多媒体数据的多媒体数据状态,其中,所述多媒体数据状态是关于多媒体数据自身内容的状态;
发送模块,用于根据所述终端清单,通过信令通道将所述多媒体数据状态发送给选定本终端作为目标终端的终端,以指示选定本终端作为目标终端的终端根据所述多媒体数据状态决定是否反馈拉流请求;其中,所述拉流请求用于指示终端向流媒体服务器发送对应的多媒体数据流;在接收到选定本终端作为目标终端的终端的拉流请求时,向流媒体服务器发送对应的多媒体数据流;
接收模块,用于接收视频会议的通话终端清单,在所述通话终端清单上选取目标终端;接收目标终端通过信令通道发出的多媒体数据状态,其中,所述多媒体数据状态是关于多媒体数据自身内容的状态;
处理模块,用于将符合目标条件的目标终端确定为选定对象终端,其中,所述目标条件包括:目标终端发出的多媒体数据状态与本终端预设的目标状态匹配;
请求模块,用于向选定对象终端发送拉流请求;
拉流模块,从所述流媒体服务器拉取选定对象终端对应的多媒体数据流。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210564997.8A CN114979552B (zh) | 2022-05-23 | 2022-05-23 | 多媒体数据流传输方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210564997.8A CN114979552B (zh) | 2022-05-23 | 2022-05-23 | 多媒体数据流传输方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114979552A CN114979552A (zh) | 2022-08-30 |
| CN114979552B true CN114979552B (zh) | 2025-08-19 |
Family
ID=82985096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210564997.8A Active CN114979552B (zh) | 2022-05-23 | 2022-05-23 | 多媒体数据流传输方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114979552B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107770280A (zh) * | 2017-10-30 | 2018-03-06 | 珠海格力电器股份有限公司 | 多媒体数据处理和获取方法、采集终端和处理装置 |
| CN111901552A (zh) * | 2020-06-29 | 2020-11-06 | 维沃移动通信有限公司 | 多媒体数据传输方法、装置及电子设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060041926A1 (en) * | 2004-04-30 | 2006-02-23 | Vulcan Inc. | Voice control of multimedia content |
| US8266314B2 (en) * | 2009-12-16 | 2012-09-11 | International Business Machines Corporation | Automated audio or video subset network load reduction |
| CN108259945B (zh) * | 2018-04-19 | 2020-09-15 | 腾讯音乐娱乐科技(深圳)有限公司 | 处理播放多媒体数据的播放请求的方法和装置 |
| CN111556366A (zh) * | 2020-04-02 | 2020-08-18 | 北京达佳互联信息技术有限公司 | 一种多媒体资源的展示方法、装置、终端、服务器及系统 |
| CN112015926B (zh) * | 2020-08-27 | 2022-03-04 | 北京字节跳动网络技术有限公司 | 搜索结果的展示方法、装置、可读介质和电子设备 |
| CN113873195B (zh) * | 2021-08-18 | 2023-04-18 | 荣耀终端有限公司 | 视频会议控制方法、装置和存储介质 |
-
2022
- 2022-05-23 CN CN202210564997.8A patent/CN114979552B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107770280A (zh) * | 2017-10-30 | 2018-03-06 | 珠海格力电器股份有限公司 | 多媒体数据处理和获取方法、采集终端和处理装置 |
| CN111901552A (zh) * | 2020-06-29 | 2020-11-06 | 维沃移动通信有限公司 | 多媒体数据传输方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114979552A (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6332153B1 (en) | Apparatus and method for multi-station conferencing | |
| CN101136923B (zh) | 一种用于经网络多路复用媒体信息的系统和方法 | |
| US6317776B1 (en) | Method and apparatus for automatic chat room source selection based on filtered audio input amplitude of associated data streams | |
| US6167033A (en) | Multiple-party network communication system and method of troubleshooting thereof | |
| US7024461B1 (en) | Session initiation protocol enabled set-top device | |
| US7007098B1 (en) | Methods of controlling video signals in a video conference | |
| US9237238B2 (en) | Speech-selective audio mixing for conference | |
| US6453336B1 (en) | Video conferencing with adaptive client-controlled resource utilization | |
| US8121277B2 (en) | Catch-up playback in a conferencing system | |
| EP2452487B1 (en) | Controlling multi-party communications | |
| US20020093531A1 (en) | Adaptive display for video conferences | |
| US8462191B2 (en) | Automatic suppression of images of a video feed in a video call or videoconferencing system | |
| US20090268008A1 (en) | Media conference switching in a multi-device configuration | |
| CN103297743A (zh) | 一种视频会议显示窗口调整方法及视频会议服务设备 | |
| US7719975B2 (en) | Method and system for communication session under conditions of bandwidth starvation | |
| US20060132596A1 (en) | Method, hub system and terminal equipment for videoconferencing | |
| WO2007130995A2 (en) | Methods and apparatuses for processing audio streams for use with multiple devices | |
| CN114979552B (zh) | 多媒体数据流传输方法、装置、电子设备及存储介质 | |
| US8635274B2 (en) | Video conferencing using white board | |
| CN113194335B (zh) | 流媒体传输方法、传输设备和播放设备 | |
| KR20150042628A (ko) | 분산 텔레프레즌스 서비스 제공 방법 및 장치 | |
| US12170578B2 (en) | Audio in audio-visual conferencing service calls | |
| US12015655B2 (en) | Method and system for handling a teleconference | |
| JP2008227693A (ja) | 話者映像表示制御システム、話者映像表示制御方法、話者映像表示制御プログラム、通信端末及び多地点テレビ会議システム | |
| CN109862305B (zh) | 一种视联网开会时调流的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: 21st Floor, No. 48 Science Avenue, Huangpu District, Guangzhou City, Guangdong Province 510000 Applicant after: GUANGZHOU AVA ELECTRONIC CO.,LTD. Address before: 510000 room 15, section 501, two street, Luogang District science Avenue science Avenue, Luogang District Science City, Guangzhou City, Guangdong Applicant before: GUANGZHOU AVA ELECTRONIC CO.,LTD. Country or region before: China |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |