CN116017145B - 一种用于直播相机的远程智能控制系统及方法 - Google Patents
一种用于直播相机的远程智能控制系统及方法 Download PDFInfo
- Publication number
- CN116017145B CN116017145B CN202211680567.9A CN202211680567A CN116017145B CN 116017145 B CN116017145 B CN 116017145B CN 202211680567 A CN202211680567 A CN 202211680567A CN 116017145 B CN116017145 B CN 116017145B
- Authority
- CN
- China
- Prior art keywords
- live
- control instruction
- audio
- data
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明提出一种用于直播相机的远程智能控制系统及方法,所述用于直播相机的远程智能控制系统包括由多个直播相机组成的相机组、用于接收和发送数据的第一通信模块、通过所述第一通信模块与所述相机组通信连接并包括多个直播边缘服务器的直播边缘服务器群、与所述直播边缘服务器群通信连接的云服务器、与所述云服务器通信连接的内容服务器、与所述内容服务器通信连接并包括多个播放边缘服务器的播放边缘服务器群、用于接收和发送数据的第二通信模块,以及通过所述第二通信模块与所述播放边缘服务器群通信连接的远程控制终端。本发明的方案不仅能保证数据处理与传输的通畅,还可以实现对直播相机的远程智能控制,提高了用户体验。
Description
技术领域
本发明涉及智能控制技术领域,具体涉及一种用于直播相机的远程智能控制系统及方法。
背景技术
近年来,网络直播以其内容和形式的直观性、即时性和互动性,在促进经济社会发展、丰富人民群众精神文化生活等方面发挥了重要作用。随着移动互联网新技术新应用的迭代升级,网络直播行业进入了快速发展期,其媒体属性、社交属性、商业属性、娱乐属性日益凸显,深刻影响网络生态。网络直播吸取和延续了互联网的优势,利用视频方式进行网上现场直播,可以将产品展示、相关会议、背景介绍、方案测评、网上调查、对话访谈、在线培训等内容现场发布到互联网上,利用互联网的直观、快速,表现形式好、内容丰富、交互性强、地域不受限制、受众可划分等特点,加强活动现场的推广效果。现场直播完成后,还可以随时为读者继续提供重播、点播,有效延长了直播的时间和空间,发挥直播内容的最大价值。
现有的网络直播系统存在着不能在远程进行智能控制的问题。
发明内容
本发明正是基于上述问题,提出了一种用于直播相机的远程智能控制系统及方法,通过本发明的方案,不仅能保证数据处理与传输的通畅,还可以实现对直播相机的远程智能控制,提高了用户体验。
有鉴于此,本发明的一方面提出了一种用于直播相机的远程智能控制系统,包括:由多个直播相机组成且所述多个直播相机按第一预设规则设置于直播对象周围的相机组、用于接收和发送数据的第一通信模块、通过所述第一通信模块与所述相机组通信连接并包括多个直播边缘服务器的直播边缘服务器群、与所述直播边缘服务器群通信连接的云服务器、与所述云服务器通信连接的内容服务器、与所述内容服务器通信连接并包括多个播放边缘服务器的播放边缘服务器群、用于接收和发送数据的第二通信模块,以及通过所述第二通信模块与所述播放边缘服务器群通信连接的远程控制终端;其中,
所述云服务器被配置为:
接收所述多个直播相机、所述多个直播边缘服务器、所述内容服务器和所述多个播放边缘服务器分别发送的注册请求信息,分别对所述多个直播相机、所述多个直播边缘服务器、所述内容服务器和所述多个播放边缘服务器进行注册登记,并分别配置唯一标识符;
根据第二预设规则从所述多个直播相机中选择出第一直播相机,并根据第三预设规则从所述多个直播边缘服务器中选择出第一直播边缘服务器;
所述第一直播相机被配置为:采集所述直播对象的第一音视频数据,并将所述第一音视频数据发送至所述第一直播边缘服务器;
所述第一直播边缘服务器被配置为:对所述第一音视频数据进行处理后得到第二音视频数据,并将所述第二音视频数据发送至所述云服务器;
所述云服务器被配置为:根据接入的所述远程控制终端的第一属性特征,对所述第二音视频数据进行处理得到第三音视频数据;
所述云服务器被配置为:根据所述第一属性特征从所述多个播放边缘服务器中选择出第一播放边缘服务器并将所述第三音视频数据发送至所述内容服务器进行登记;
所述内容服务器被配置为:将所述第三音视频数据发送至所述第一播放边缘服务器;
所述第一播放边缘服务器被配置为:对所述第三音视频数据进行处理,得到第四音视频数据,并将所述第四音视频数据发送至所述远程控制终端;
所述远程控制终端被配置为:根据所述第四音视频数据显示直播画面,并接收用户基于所述直播画面所输入的第一控制指令;
所述远程控制终端被配置为:通过通信网络将所述第一控制指令发送至所述云服务器;
所述云服务器将被配置为:
将所述第一控制指令进行解析后得到第二控制指令;
将所述第二控制指令通过通信网络发送至所述直播边缘服务器群中对应的第二直播边缘服务器;
所述第二直播边缘服务器被配置为:根据所述第二控制指令对所述多个直播相机进行调节。
可选地,在所述根据所述第四音视频数据显示直播画面,并接收用户基于所述直播画面所输入的第一控制指令的步骤中,所述远程控制终端具体被配置为:
根据所述第四音视频数据的属性特征,从所述第一播放边缘服务器获取对应的解码程序和显示界面布局数据;
利用所述解码程序对所述第四音视频数据进行解码得到第五音视频数据;
将所述第五音视频数据与所述显示界面布局数据进行整合后在显示屏显示所述直播画面;
接收所述用户基于所述直播画面所输入的第一控制指令。
可选地,在所述将所述第一控制指令进行解析后得到第二控制指令的步骤中,所述云服务器具体被配置为:
接收所述第一控制指令,并从所述第一控制指令中确定需要执行所述第一控制指令的所述相机组中的第二直播相机,同时提取所述第二直播相机的第二唯一标识符;
查找在预设时间范围内接收到的携带有相同的所述第二唯一标识符的第三控制指令;
当发出所述第三控制指令对应的所述远程控制终端的数量达到第一预设阈值时,所述云服务器解析所述第一控制指令,从中提取出包括角度数据、距离数据、工作时间计划数据、运动轨迹数据和风格数据的相机控制指令;
将所述第二唯一标识符、所述角度数据、所述距离数据、工作时间计划数据、所述运动轨迹数据和所述风格数据输入控制指令生成器,得到所述第二控制指令。
可选地,在所述将所述第二控制指令通过通信网络发送至所述直播边缘服务器群中对应的第二直播边缘服务器的步骤中,所述云服务器具体被配置为:
根据所述第二控制指令中的所携带的直播边缘服务器唯一标识符,从所述直播边缘服务器中确定第二直播边缘服务器;
将所述第二控制指令发送至所述第二直播边缘服务器。
可选地,在所述根据所述第二控制指令对所述多个直播相机进行调节的步骤中,所述第二直播边缘服务器具体被配置为:
根据所述第二控制指令从所述相机组中选择对应的N个所述第二直播相机;
根据每个所述第二直播相机的N个第二属性特征,对所述第二控制指令进行转换,生成N个第四控制指令;
将N个所述第四控制指令的每一个分别发送至N个所述第二直播相机中对应的每一个;
在N个所述第二直播相机中的每一个接受对应的所述第四控制指令后,控制N个所述第二直播相机根据所述第四控制指令设置好自身与所述直播对象间的角度和距离、包含时空信息的运动轨迹、拍摄工作起始时间、音视频数据采集范围和拍摄风格参数。
本发明的另一方面提供一种用于直播相机的远程智能控制方法,应用于一种用于直播相机的远程智能控制系统,所述用于直播相机的远程智能控制系统包括由多个直播相机组成的相机组、用于接收和发送数据的第一通信模块、通过所述第一通信模块与所述相机组通信连接并包括多个直播边缘服务器的直播边缘服务器群、与所述直播边缘服务器群通信连接的云服务器、与所述云服务器通信连接的内容服务器、与所述内容服务器通信连接并包括多个播放边缘服务器的播放边缘服务器群、用于接收和发送数据的第二通信模块,以及通过所述第二通信模块与所述播放边缘服务器群通信连接的远程控制终端,所述方法包括:
将所述相机组内的多个直播相机按第一预设规则设置于直播对象周围;
将所述多个直播相机、所述多个直播边缘服务器、所述内容服务器和所述多个播放边缘服务器分别在所述云服务器上进行注册,由所述云服务器分别配置唯一标识符;
所述云服务器根据第二预设规则从所述多个直播相机中选择出第一直播相机,并根据第三预设规则从所述多个直播边缘服务器中选择出第一直播边缘服务器;
所述第一直播相机采集所述直播对象的第一音视频数据,并将所述第一音视频数据发送至所述第一直播边缘服务器;
所述第一直播边缘服务器对所述第一音视频数据进行处理后得到第二音视频数据,并将所述第二音视频数据发送至所述云服务器;
所述云服务器根据接入的所述远程控制终端的第一属性特征,对所述第二音视频数据进行处理得到第三音视频数据;
所述云服务器根据所述第一属性特征从所述多个播放边缘服务器中选择出第一播放边缘服务器并将所述第三音视频数据发送至所述内容服务器进行登记;
所述内容服务器将所述第三音视频数据发送至所述第一播放边缘服务器;
所述第一播放边缘服务器对所述第三音视频数据进行处理,得到第四音视频数据,并将所述第四音视频数据发送至所述远程控制终端;
所述远程控制终端根据所述第四音视频数据显示直播画面,并接收用户基于所述直播画面所输入的第一控制指令;
所述远程控制终端通过通信网络将所述第一控制指令发送至所述云服务器;
所述云服务器将所述第一控制指令进行解析后得到第二控制指令;
所述云服务器将所述第二控制指令通过通信网络发送至所述直播边缘服务器群中对应的第二直播边缘服务器;
所述第二直播边缘服务器根据所述第二控制指令对所述多个直播相机进行调节。
可选地,所述远程控制终端根据所述第四音视频数据显示直播画面,并接收用户基于所述直播画面所输入的第一控制指令的步骤,包括:
所述远程控制终端根据所述第四音视频数据的属性特征,从所述第一播放边缘服务器获取对应的解码程序和显示界面布局数据;
所述远程控制终端利用所述解码程序对所述第四音视频数据进行解码得到第五音视频数据;
将所述第五音视频数据与所述显示界面布局数据进行整合后在显示屏显示所述直播画面;
所述远程控制终端接收所述用户基于所述直播画面所输入的第一控制指令。
可选地,所述云服务器将所述第一控制指令进行解析后得到第二控制指令的步骤,包括:
所述云服务器接收所述第一控制指令,并从所述第一控制指令中确定需要执行所述第一控制指令的所述相机组中的第二直播相机,同时提取所述第二直播相机的第二唯一标识符;
所述云服务器查找在预设时间范围内接收到的携带有相同的所述第二唯一标识符的第三控制指令;
当发出所述第三控制指令对应的所述远程控制终端的数量达到第一预设阈值时,所述云服务器解析所述第一控制指令,从中提取出包括角度数据、距离数据、工作时间计划数据、运动轨迹数据和风格数据的相机控制指令;
将所述第二唯一标识符、所述角度数据、所述距离数据、工作时间计划数据、所述运动轨迹数据和所述风格数据输入控制指令生成器,得到所述第二控制指令。
可选地,所述云服务器将所述第二控制指令通过通信网络发送至所述直播边缘服务器群中对应的第二直播边缘服务器的步骤,包括:
所述云服务器根据所述第二控制指令中的所携带的直播边缘服务器唯一标识符,从所述直播边缘服务器中确定第二直播边缘服务器;
所述云服务器将所述第二控制指令发送至所述第二直播边缘服务器。
可选地,所述第二直播边缘服务器根据所述第二控制指令对所述多个直播相机进行调节的步骤,包括:
所述第二直播边缘服务器根据所述第二控制指令从所述相机组中选择对应的N个所述第二直播相机;
所述第二直播边缘服务器根据每个所述第二直播相机的N个第二属性特征,对所述第二控制指令进行转换,生成N个第四控制指令;
将N个所述第四控制指令的每一个分别发送至N个所述第二直播相机中对应的每一个;
N个所述第二直播相机中的每一个接受对应的所述第四控制指令,并根据所述第四控制指令设置好自身与所述直播对象间的角度和距离、包含时空信息的运动轨迹、拍摄工作起始时间、音视频数据采集范围和拍摄风格参数。
采用本发明的技术方案,用于直播相机的远程智能控制方法将所述相机组内的多个直播相机按第一预设规则设置于直播对象周围;将所述多个直播相机、所述多个直播边缘服务器、所述内容服务器和所述多个播放边缘服务器分别在所述云服务器上进行注册,由所述云服务器分别配置唯一标识符;所述云服务器根据第二预设规则从所述多个直播相机中选择出第一直播相机,并根据第三预设规则从所述多个直播边缘服务器中选择出第一直播边缘服务器;所述第一直播相机采集所述直播对象的第一音视频数据,并将所述第一音视频数据发送至所述第一直播边缘服务器;所述第一直播边缘服务器对所述第一音视频数据进行处理后得到第二音视频数据,并将所述第二音视频数据发送至所述云服务器;所述云服务器根据接入的所述远程控制终端的第一属性特征,对所述第二音视频数据进行处理得到第三音视频数据;所述云服务器根据所述第一属性特征从所述多个播放边缘服务器中选择出第一播放边缘服务器并将所述第三音视频数据发送至所述内容服务器进行登记;所述内容服务器将所述第三音视频数据发送至所述第一播放边缘服务器;所述第一播放边缘服务器对所述第三音视频数据进行处理,得到第四音视频数据,并将所述第四音视频数据发送至所述远程控制终端;所述远程控制终端根据所述第四音视频数据显示直播画面,并接收用户基于所述直播画面所输入的第一控制指令;所述远程控制终端通过通信网络将所述第一控制指令发送至所述云服务器;所述云服务器将所述第一控制指令进行解析后得到第二控制指令;所述云服务器将所述第二控制指令通过通信网络发送至所述直播边缘服务器群中对应的第二直播边缘服务器;所述第二直播边缘服务器根据所述第二控制指令对所述多个直播相机进行调节。通过本发明的方案,不仅能保证数据处理与传输的通畅,还可以实现对直播相机的远程智能控制,提高了用户体验。
附图说明
图1是本发明一个实施例提供的用于直播相机的远程智能控制系统的示意框图;
图2是本发明一个实施例提供的用于直播相机的远程智能控制方法流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面参照图1至图2来描述根据本发明一些实施方式提供的一种用于直播相机的远程智能控制系统及方法。
如图1所示,本发明一个实施例提供一种用于直播相机的远程智能控制系统,包括:由多个直播相机组成且所述多个直播相机按第一预设规则设置于直播对象周围的相机组、用于接收和发送数据的第一通信模块、通过所述第一通信模块与所述相机组通信连接并包括多个直播边缘服务器的直播边缘服务器群、与所述直播边缘服务器群通信连接的云服务器、与所述云服务器通信连接的内容服务器、与所述内容服务器通信连接并包括多个播放边缘服务器的播放边缘服务器群、用于接收和发送数据的第二通信模块,以及通过所述第二通信模块与所述播放边缘服务器群通信连接的远程控制终端;其中,
所述云服务器被配置为:
接收所述多个直播相机、所述多个直播边缘服务器、所述内容服务器和所述多个播放边缘服务器分别发送的注册请求信息,分别对所述多个直播相机、所述多个直播边缘服务器、所述内容服务器和所述多个播放边缘服务器进行注册登记,并分别配置唯一标识符;
根据第二预设规则从所述多个直播相机中选择出第一直播相机,并根据第三预设规则从所述多个直播边缘服务器中选择出第一直播边缘服务器;
所述第一直播相机被配置为:采集所述直播对象的第一音视频数据,并将所述第一音视频数据发送至所述第一直播边缘服务器;
所述第一直播边缘服务器被配置为:对所述第一音视频数据进行处理后得到第二音视频数据,并将所述第二音视频数据发送至所述云服务器;
所述云服务器被配置为:根据接入的所述远程控制终端的第一属性特征,对所述第二音视频数据进行处理得到第三音视频数据;
所述云服务器被配置为:根据所述第一属性特征从所述多个播放边缘服务器中选择出第一播放边缘服务器并将所述第三音视频数据发送至所述内容服务器进行登记;
所述内容服务器被配置为:将所述第三音视频数据发送至所述第一播放边缘服务器;
所述第一播放边缘服务器被配置为:对所述第三音视频数据进行处理,得到第四音视频数据,并将所述第四音视频数据发送至所述远程控制终端;
所述远程控制终端被配置为:根据所述第四音视频数据显示直播画面,并接收用户基于所述直播画面所输入的第一控制指令;
所述远程控制终端被配置为:通过通信网络将所述第一控制指令发送至所述云服务器;
所述云服务器将被配置为:
将所述第一控制指令进行解析后得到第二控制指令;
将所述第二控制指令通过通信网络发送至所述直播边缘服务器群中对应的第二直播边缘服务器;
所述第二直播边缘服务器被配置为:根据所述第二控制指令对所述多个直播相机进行调节。
可以理解的是,在本发明实施例中,直播相机可以是带摄像模组的各种智能终端,如智能手机、摄像头、无人机、智能电视、平板电脑等。远程控制终端可以是能播放视频并接收控制指令输入的智能终端,如智能手机、智能电视、平板电脑、投影仪等,远程控制终端可以但不限于接收触摸输入指令、语音指令、配套的外设(如遥控器、键盘、控制笔等)输入的指令等。直播边缘服务器配置于距离直播相机较近一侧,用于对直播相机传输的数据进行初步处理,可以是物联网服务器;内容服务器为记录数据操作过程(如直播边缘服务器、云服务器等各终端对音视频数据的处理过程)并分发至用于进行安全登记的分布式网络中的网络节点,以保证数据操作的可溯源;播放边缘服务器设置于距离远程控制终端/视频播放终端较近一侧,用于对发往远程控制终端或者从远程控制终端发出的数据进行适配性处理。
直播相机与直播边缘服务器间根据直播相机的属性特征(如直播相机的拍摄性能、支持的音频/视频解码协议、支持的通信协议和数据处理能力等)、直播边缘服务器的功能、数据处理能力、支持的通信协议以及二者间的距离,建立二者间的对应关系。
所述第一预设规则可以根据历史直播数据经过大数据确定(如将历史直播评价效果最好的设置方式确定为第一预设规则),也可以根据各直播相机的性能确定,还可以根据直播需求/内容(如舞蹈、武术、小品等动作类直播与唱歌、演讲、相声等语言类直播对拍摄角度、距离、拍摄相机数量的需求不同,根据直播内容可以确定直播相机的配置数据、部署数据等)确定,例如可以在直播对象为中心、以半径为R的圆周上均匀间隔设置多个直播相机。
所述第二预设规则可以根据直播对象的历史直播效果(如不同拍摄角度/距离的直播视频得到的点赞数据、好评数据、转发数据、得到的虚拟礼物数据等表征的直播效果,并进一步确定对应的直播相机)、直播内容(如舞蹈、武术、小品等动作类直播与唱歌、演讲、相声等语言类直播对拍摄角度、距离、拍摄相机数量的需求不同,根据直播内容可以确定起主要拍摄作用的直播相机)、直播对象(如多个直播对象中的主次、得到好评的数据等可以确定对应的直播相机)等经过大数据训练得到,根据第二预设规则就可以从相机组内的多个直播相机中确定出第一直播相机。
所述第三预设规则可以是根据直播相机的属性、数据量、数据类型、直播相机所处位置、直播相机所采用的通信协议等条件与直播边缘服务器的性能、服务能力间的匹配关系确定,从而可以确定与第一直播相机相匹配的第一直播边缘服务器。所述第一直播边缘服务器对所述第一音视频数据进行编码以方便根据所述第一直播相机发送的编辑要求(如进行美颜、加滤镜、背景编辑等图像处理要求,和/或数据加密要求)对所述第一音视频数据进行处理,得到第二音视频数据。
所述云服务器根据接入的所述远程控制终端的第一属性特征(如远程控制终端的显示参数、支持的音频/视频解码协议、数据处理能力、远程控制终端使用者特征(如未成年人)等),将所述第二音视频数据进行丰富或精简以适应所述远程控制终端的数据处理能力,对所述第二音视频数据中的敏感信息(如不雅画面/动作、涉密画面、非正常支付信息等)进行屏蔽、遮挡、剔除等净化操作,并标记所述第二音视频数据中不可更改的基本数据(如主播基本信息、播放内容中可售买物品的基本信息、正规支付渠道信息等)以防止音视频数据在后续传输过程中被篡改,并将所述第二音视频数据转码成适合各个远程控制终端解码播放的格式,进而得到第三音视频数据。
所述云服务器根据所述第一属性特征(如远程控制终端的显示参数、支持的音频/视频解码协议、数据处理能力、远程控制终端使用者特征(如未成年人)等)从所述多个播放边缘服务器中选择出能进行前置数据处理以减轻远程控制终端的数据处理压力、保证播放质量同时又能提供音视频数据的个性化处理方案的第一播放边缘服务器(如专门为未成年人设立的对直播视频进行审核与处理的播放边缘服务器、或者根据远程控制终端的用户特征对直播视频进行个性化渲染处理的播放边缘服务器、或者对远程控制终端接收的音视频数据进行前置解码/解密的播放边缘服务器,或者根据远程控制终端的显示参数提前将音视频数据进行处理以适合远程控制终端显示的播放边缘服务器等)并将所述第三音视频数据发送至所述内容服务器进行登记。
所述第一控制指令包括但不限于要控制的直播相机(可为多个)的唯一标识符、直播边缘服务器的唯一标识符、直播相机与直播对象间的角度数据、直播相机与直播对象间的距离数据、直播相机的工作时间计划数据(如起始时间)、直播相机的运动轨迹数据(如无人机围绕直播对象的运动轨迹数据)和直播相机的风格数据(如拍摄出的图像的风格)等。所述第一控制指令除了可以由用户输入外,还可以根据用户的个性特征和历史输入的控制指令自动生成。
所述云服务器根据直播相机与直播边缘服务器间的对应关系将所述第二控制指令通过通信网络发送至所述直播边缘服务器群中对应的第二直播边缘服务器。
通过本发明的方案,不仅能保证数据处理与传输的通畅,还可以实现对直播相机的远程智能控制,提高了用户体验。
应当知道的是,图1所示的用于直播相机的远程智能控制系统的框图仅作示意,其所示出的各模块的数量并不对本发明的保护范围进行限定。
在本发明一些可能的实施方式中,在所述根据所述第四音视频数据显示直播画面,并接收用户基于所述直播画面所输入的第一控制指令的步骤中,所述远程控制终端具体被配置为:
根据所述第四音视频数据的属性特征,从所述第一播放边缘服务器获取对应的解码程序和显示界面布局数据;
利用所述解码程序对所述第四音视频数据进行解码得到第五音视频数据;
将所述第五音视频数据与所述显示界面布局数据进行整合后在显示屏显示所述直播画面;
接收所述用户基于所述直播画面所输入的第一控制指令。
可以理解的是,为了提高音视频数据在作为播放器的远程控制终端上的播放流畅度,同时保证较高的播放质量,在本发明的实施例中,所述远程控制终端根据所述第四音视频数据的属性特征,从所述第一播放边缘服务器获取对应的解码程序和显示界面布局数据;所述远程控制终端利用所述解码程序对所述第四音视频数据进行解码得到第五音视频数据;将所述第五音视频数据与所述显示界面布局数据进行整合后在显示屏显示所述直播画面以供用户观看并输入控制指令(如转换角度、远观、近看、局部细看等);所述远程控制终端接收所述用户基于所述直播画面所输入的第一控制指令。
在本发明一些可能的实施方式中,在所述将所述第一控制指令进行解析后得到第二控制指令的步骤中,所述云服务器具体被配置为:
接收所述第一控制指令,并从所述第一控制指令中确定需要执行所述第一控制指令的所述相机组中的第二直播相机,同时提取所述第二直播相机的第二唯一标识符;
查找在预设时间范围内接收到的携带有相同的所述第二唯一标识符的第三控制指令;
当发出所述第三控制指令对应的所述远程控制终端的数量达到第一预设阈值时,所述云服务器解析所述第一控制指令,从中提取出包括角度数据、距离数据、工作时间计划数据、运动轨迹数据和风格数据的相机控制指令;
将所述第二唯一标识符、所述角度数据、所述距离数据、工作时间计划数据、所述运动轨迹数据和所述风格数据输入控制指令生成器,得到所述第二控制指令。
可以理解的是,云服务器可以接收来自不同地点的多个远程控制终端的控制指令,每一条控制指令可以含一个远程控制终端的控制命令,也可以包含多个远程控制终端的控制命令。所述云服务器接收所述第一控制指令后,根据其携带的唯一标识符从所述第一控制指令中确定需要执行所述第一控制指令的所述相机组中的第二直播相机,同时提取所述第二直播相机的第二唯一标识符(多个第二直播相机对应有多个第二唯一标识符);所述云服务器查找在预设时间范围内接收到的携带有相同的所述第二唯一标识符的第三控制指令;当发出所述第三控制指令对应的所述远程控制终端的数量达到第一预设阈值时,所述云服务器解析所述第一控制指令,从中提取出包括角度数据、距离数据、工作时间计划数据、运动轨迹数据和风格数据的相机控制指令;将所述第二唯一标识符、所述角度数据、所述距离数据、工作时间计划数据、所述运动轨迹数据和所述风格数据输入控制指令生成器,得到所述第二控制指令以对直播相机进行精准而具有个性化的控制。
应当说明的是,所述控制指令生成器由云服务器上的神经网络训练而得,具体是:
选择包括输入层、第一隐蔽层、第一激活函数、模拟输出层、第二隐蔽层、第二激活函数、验证系数层和输出层的神经网络;
将所述远程控制终端历史控制指令按预设的比例分成训练集数据和测试集数据;
将所述训练集数据输入所述神经网络的所述输入层;
所述输入层将所述训练集数据传输至与所述输入层通过矩阵运算建立连接的所述第一隐蔽层;
所述第一隐蔽层接收第一输出数据后将所述第一输出数据通过所述第一激活函数进行激活得到第二输出数据,并将激活后的第二输出数据发送至所述模拟输出层;
所述模拟输出层将所述第二输出数据通过矩阵计算得出模拟输出值,并将所述模拟输出值输入所述第二隐蔽层;
所述第二隐蔽层将所述模拟输出值通过矩阵计算得出验证输出结果;
将所述输入层的所述第一输入数据与所述第二隐蔽层进行数据连接;
所述第二隐蔽层将所述第一输入数据通过所述第二激活函数进行激活后,再通过矩阵计算得出第三输出数据,将所述第三输出数据与所述验证输出结果发送至所述验证系数层进行验证得出正规化系数;
将所述正规化系数与所述模拟输出值发送至所述输出层,所述输出层对所述模拟输出值进行正规化处理得到拟态结果;
根据所述拟态结果生成初始控制指令生成器;
将所述测试集数据输入所述初始控制指令生成器,得到正反馈数据和逆反馈数据;
根据所述正反馈数据和所述逆反馈数据对所述初始控制指令生成器进行修正,生成所述控制指令生成器。
在本发明一些可能的实施方式中,在所述将所述第二控制指令通过通信网络发送至所述直播边缘服务器群中对应的第二直播边缘服务器的步骤中,所述云服务器具体被配置为:
根据所述第二控制指令中的所携带的直播边缘服务器唯一标识符,从所述直播边缘服务器中确定第二直播边缘服务器;
将所述第二控制指令发送至所述第二直播边缘服务器。
可以理解的是,为了方便管理直播相机,可以利用与直播相机具有对应关系的直播边缘服务器来对控制指令进行前置处理,在本发明实施例中,所述云服务器根据所述第二控制指令中的所携带的直播边缘服务器唯一标识符,从所述直播边缘服务器中确定第二直播边缘服务器;所述云服务器将所述第二控制指令发送至所述第二直播边缘服务器。
在本发明一些可能的实施方式中,在所述根据所述第二控制指令对所述多个直播相机进行调节的步骤中,所述第二直播边缘服务器具体被配置为:
根据所述第二控制指令从所述相机组中选择对应的N个所述第二直播相机;
根据每个所述第二直播相机的N个第二属性特征,对所述第二控制指令进行转换,生成N个第四控制指令;
将N个所述第四控制指令的每一个分别发送至N个所述第二直播相机中对应的每一个;
在N个所述第二直播相机中的每一个接受对应的所述第四控制指令后,控制N个所述第二直播相机根据所述第四控制指令设置好自身与所述直播对象间的角度和距离、包含时空信息的运动轨迹、拍摄工作起始时间、音视频数据采集范围和拍摄风格参数。
可以理解的是,本发明实施例通过对相机组中的多个直播相机进行调节以使其能高效协同工作,从而得到更好的控制效果以满足用户的个性化控制需求。所述第二直播边缘服务器根据所述第二控制指令从所述相机组中选择对应的N个所述第二直播相机;所述第二直播边缘服务器根据每个所述第二直播相机的N个第二属性特征,对所述第二控制指令进行转换,生成N个第四控制指令;将N个所述第四控制指令的每一个分别发送至N个所述第二直播相机中对应的每一个;N个所述第二直播相机中的每一个接受对应的所述第四控制指令,并根据所述第四控制指令设置好自身与所述直播对象间的角度和距离、包含时空信息的运动轨迹、拍摄工作起始时间、音视频数据采集范围和拍摄风格参数。
可以理解的是,在本发明一些可能的实施例中,所述直播相机具有光信号接收和发送模块、光信号转换模块,其可以与具备光通信功能的终端进行光通信(如智能路灯)进行数据传输,以避免在通信拥堵时切换成光通信保证通讯顺畅。
请参见图2,本发明的另一实施例提供一种用于直播相机的远程智能控制方法,应用于一种用于直播相机的远程智能控制系统,所述用于直播相机的远程智能控制系统包括由多个直播相机组成的相机组、用于接收和发送数据的第一通信模块、通过所述第一通信模块与所述相机组通信连接并包括多个直播边缘服务器的直播边缘服务器群、与所述直播边缘服务器群通信连接的云服务器、与所述云服务器通信连接的内容服务器、与所述内容服务器通信连接并包括多个播放边缘服务器的播放边缘服务器群、用于接收和发送数据的第二通信模块,以及通过所述第二通信模块与所述播放边缘服务器群通信连接的远程控制终端,所述方法包括:
将所述相机组内的多个直播相机按第一预设规则设置于直播对象周围;
将所述多个直播相机、所述多个直播边缘服务器、所述内容服务器和所述多个播放边缘服务器分别在所述云服务器上进行注册,由所述云服务器分别配置唯一标识符;
所述云服务器根据第二预设规则从所述多个直播相机中选择出第一直播相机,并根据第三预设规则从所述多个直播边缘服务器中选择出第一直播边缘服务器;
所述第一直播相机采集所述直播对象的第一音视频数据,并将所述第一音视频数据发送至所述第一直播边缘服务器;
所述第一直播边缘服务器对所述第一音视频数据进行处理后得到第二音视频数据,并将所述第二音视频数据发送至所述云服务器;
所述云服务器根据接入的所述远程控制终端的第一属性特征,对所述第二音视频数据进行处理得到第三音视频数据;
所述云服务器根据所述第一属性特征从所述多个播放边缘服务器中选择出第一播放边缘服务器并将所述第三音视频数据发送至所述内容服务器进行登记;
所述内容服务器将所述第三音视频数据发送至所述第一播放边缘服务器;
所述第一播放边缘服务器对所述第三音视频数据进行处理,得到第四音视频数据,并将所述第四音视频数据发送至所述远程控制终端;
所述远程控制终端根据所述第四音视频数据显示直播画面,并接收用户基于所述直播画面所输入的第一控制指令;
所述远程控制终端通过通信网络将所述第一控制指令发送至所述云服务器;
所述云服务器将所述第一控制指令进行解析后得到第二控制指令;
所述云服务器将所述第二控制指令通过通信网络发送至所述直播边缘服务器群中对应的第二直播边缘服务器;
所述第二直播边缘服务器根据所述第二控制指令对所述多个直播相机进行调节。
可以理解的是,在本发明实施例中,直播相机可以是带摄像模组的各种智能终端,如智能手机、摄像头、无人机、智能电视、平板电脑等。远程控制终端可以是能播放视频并接收控制指令输入的智能终端,如智能手机、智能电视、平板电脑、投影仪等,远程控制终端可以但不限于接收触摸输入指令、语音指令、配套的外设(如遥控器、键盘、控制笔等)输入的指令等。直播边缘服务器配置于距离直播相机较近一侧,用于对直播相机传输的数据进行初步处理,可以是物联网服务器;内容服务器为记录数据操作过程(如直播边缘服务器、云服务器等各终端对音视频数据的处理过程)并分发至用于进行安全登记的分布式网络中的网络节点,以保证数据操作的可溯源;播放边缘服务器设置于距离远程控制终端/视频播放终端较近一侧,用于对发往远程控制终端或者从远程控制终端发出的数据进行适配性处理。
直播相机与直播边缘服务器间根据直播相机的属性特征(如直播相机的拍摄性能、支持的音频/视频解码协议、支持的通信协议和数据处理能力等)、直播边缘服务器的功能、数据处理能力、支持的通信协议以及二者间的距离,建立二者间的对应关系。
所述第一预设规则可以根据历史直播数据经过大数据确定(如将历史直播评价效果最好的设置方式确定为第一预设规则),也可以根据各直播相机的性能确定,还可以根据直播需求/内容(如舞蹈、武术、小品等动作类直播与唱歌、演讲、相声等语言类直播对拍摄角度、距离、拍摄相机数量的需求不同,根据直播内容可以确定直播相机的配置数据、部署数据等)确定,例如可以在直播对象为中心、以半径为R的圆周上均匀间隔设置多个直播相机。
所述第二预设规则可以根据直播对象的历史直播效果(如不同拍摄角度/距离的直播视频得到的点赞数据、好评数据、转发数据、得到的虚拟礼物数据等表征的直播效果,并进一步确定对应的直播相机)、直播内容(如舞蹈、武术、小品等动作类直播与唱歌、演讲、相声等语言类直播对拍摄角度、距离、拍摄相机数量的需求不同,根据直播内容可以确定起主要拍摄作用的直播相机)、直播对象(如多个直播对象中的主次、得到好评的数据等可以确定对应的直播相机)等经过大数据训练得到,根据第二预设规则就可以从相机组内的多个直播相机中确定出第一直播相机。
所述第三预设规则可以是根据直播相机的属性、数据量、数据类型、直播相机所处位置、直播相机所采用的通信协议等条件与直播边缘服务器的性能、服务能力间的匹配关系确定,从而可以确定与第一直播相机相匹配的第一直播边缘服务器。所述第一直播边缘服务器对所述第一音视频数据进行编码以方便根据所述第一直播相机发送的编辑要求(如进行美颜、加滤镜、背景编辑等图像处理要求,和/或数据加密要求)对所述第一音视频数据进行处理,得到第二音视频数据。
所述云服务器根据接入的所述远程控制终端的第一属性特征(如远程控制终端的显示参数、支持的音频/视频解码协议、数据处理能力、远程控制终端使用者特征(如未成年人)等),将所述第二音视频数据进行丰富或精简以适应所述远程控制终端的数据处理能力,对所述第二音视频数据中的敏感信息(如不雅画面/动作、涉密画面、非正常支付信息等)进行屏蔽、遮挡、剔除等净化操作,并标记所述第二音视频数据中不可更改的基本数据(如主播基本信息、播放内容中可售买物品的基本信息、正规支付渠道信息等)以防止音视频数据在后续传输过程中被篡改,并将所述第二音视频数据转码成适合各个远程控制终端解码播放的格式,进而得到第三音视频数据。
所述云服务器根据所述第一属性特征(如远程控制终端的显示参数、支持的音频/视频解码协议、数据处理能力、远程控制终端使用者特征(如未成年人)等)从所述多个播放边缘服务器中选择出能进行前置数据处理以减轻远程控制终端的数据处理压力、保证播放质量同时又能提供音视频数据的个性化处理方案的第一播放边缘服务器(如专门为未成年人设立的对直播视频进行审核与处理的播放边缘服务器、或者根据远程控制终端的用户特征对直播视频进行个性化渲染处理的播放边缘服务器、或者对远程控制终端接收的音视频数据进行前置解码/解密的播放边缘服务器,或者根据远程控制终端的显示参数提前将音视频数据进行处理以适合远程控制终端显示的播放边缘服务器等)并将所述第三音视频数据发送至所述内容服务器进行登记。
所述第一控制指令包括但不限于要控制的直播相机(可为多个)的唯一标识符、直播边缘服务器的唯一标识符、直播相机与直播对象间的角度数据、直播相机与直播对象间的距离数据、直播相机的工作时间计划数据(如起始时间)、直播相机的运动轨迹数据(如无人机围绕直播对象的运动轨迹数据)和直播相机的风格数据(如拍摄出的图像的风格)等。所述第一控制指令除了可以由用户输入外,还可以根据用户的个性特征和历史输入的控制指令自动生成。
所述云服务器根据直播相机与直播边缘服务器间的对应关系将所述第二控制指令通过通信网络发送至所述直播边缘服务器群中对应的第二直播边缘服务器。
通过本发明的方案,不仅能保证数据处理与传输的通畅,还可以实现对直播相机的远程智能控制,提高了用户体验。
在本发明一些可能的实施方式中,所述远程控制终端根据所述第四音视频数据显示直播画面,并接收用户基于所述直播画面所输入的第一控制指令的步骤,包括:
所述远程控制终端根据所述第四音视频数据的属性特征,从所述第一播放边缘服务器获取对应的解码程序和显示界面布局数据;
所述远程控制终端利用所述解码程序对所述第四音视频数据进行解码得到第五音视频数据;
将所述第五音视频数据与所述显示界面布局数据进行整合后在显示屏显示所述直播画面;
所述远程控制终端接收所述用户基于所述直播画面所输入的第一控制指令。
可以理解的是,为了提高音视频数据在作为播放器的远程控制终端上的播放流畅度,同时保证较高的播放质量,在本发明的实施例中,所述远程控制终端根据所述第四音视频数据的属性特征,从所述第一播放边缘服务器获取对应的解码程序和显示界面布局数据;所述远程控制终端利用所述解码程序对所述第四音视频数据进行解码得到第五音视频数据;将所述第五音视频数据与所述显示界面布局数据进行整合后在显示屏显示所述直播画面以供用户观看并输入控制指令(如转换角度、远观、近看、局部细看等);所述远程控制终端接收所述用户基于所述直播画面所输入的第一控制指令。
在本发明一些可能的实施方式中,所述云服务器将所述第一控制指令进行解析后得到第二控制指令的步骤,包括:
所述云服务器接收所述第一控制指令,并从所述第一控制指令中确定需要执行所述第一控制指令的所述相机组中的第二直播相机,同时提取所述第二直播相机的第二唯一标识符;
所述云服务器查找在预设时间范围内接收到的携带有相同的所述第二唯一标识符的第三控制指令;
当发出所述第三控制指令对应的所述远程控制终端的数量达到第一预设阈值时,所述云服务器解析所述第一控制指令,从中提取出包括角度数据、距离数据、工作时间计划数据、运动轨迹数据和风格数据的相机控制指令;
将所述第二唯一标识符、所述角度数据、所述距离数据、工作时间计划数据、所述运动轨迹数据和所述风格数据输入控制指令生成器,得到所述第二控制指令。
可以理解的是,云服务器可以接收来自不同地点的多个远程控制终端的控制指令,每一条控制指令可以含一个远程控制终端的控制命令,也可以包含多个远程控制终端的控制命令。所述云服务器接收所述第一控制指令后,根据其携带的唯一标识符从所述第一控制指令中确定需要执行所述第一控制指令的所述相机组中的第二直播相机,同时提取所述第二直播相机的第二唯一标识符(多个第二直播相机对应有多个第二唯一标识符);所述云服务器查找在预设时间范围内接收到的携带有相同的所述第二唯一标识符的第三控制指令;当发出所述第三控制指令对应的所述远程控制终端的数量达到第一预设阈值时,所述云服务器解析所述第一控制指令,从中提取出包括角度数据、距离数据、工作时间计划数据、运动轨迹数据和风格数据的相机控制指令;将所述第二唯一标识符、所述角度数据、所述距离数据、工作时间计划数据、所述运动轨迹数据和所述风格数据输入控制指令生成器,得到所述第二控制指令以对直播相机进行精准而具有个性化的控制。
应当说明的是,所述控制指令生成器由云服务器上的神经网络训练而得,具体是:
选择包括输入层、第一隐蔽层、第一激活函数、模拟输出层、第二隐蔽层、第二激活函数、验证系数层和输出层的神经网络;
将所述远程控制终端历史控制指令按预设的比例分成训练集数据和测试集数据;
将所述训练集数据输入所述神经网络的所述输入层;
所述输入层将所述训练集数据传输至与所述输入层通过矩阵运算建立连接的所述第一隐蔽层;
所述第一隐蔽层接收第一输出数据后将所述第一输出数据通过所述第一激活函数进行激活得到第二输出数据,并将激活后的第二输出数据发送至所述模拟输出层;
所述模拟输出层将所述第二输出数据通过矩阵计算得出模拟输出值,并将所述模拟输出值输入所述第二隐蔽层;
所述第二隐蔽层将所述模拟输出值通过矩阵计算得出验证输出结果;
将所述输入层的所述第一输入数据与所述第二隐蔽层进行数据连接;
所述第二隐蔽层将所述第一输入数据通过所述第二激活函数进行激活后,再通过矩阵计算得出第三输出数据,将所述第三输出数据与所述验证输出结果发送至所述验证系数层进行验证得出正规化系数;
将所述正规化系数与所述模拟输出值发送至所述输出层,所述输出层对所述模拟输出值进行正规化处理得到拟态结果;
根据所述拟态结果生成初始控制指令生成器;
将所述测试集数据输入所述初始控制指令生成器,得到正反馈数据和逆反馈数据;
根据所述正反馈数据和所述逆反馈数据对所述初始控制指令生成器进行修正,生成所述控制指令生成器。
在本发明一些可能的实施方式中,所述云服务器将所述第二控制指令通过通信网络发送至所述直播边缘服务器群中对应的第二直播边缘服务器的步骤,包括:
所述云服务器根据所述第二控制指令中的所携带的直播边缘服务器唯一标识符,从所述直播边缘服务器中确定第二直播边缘服务器;
所述云服务器将所述第二控制指令发送至所述第二直播边缘服务器。
可以理解的是,为了方便管理直播相机,可以利用与直播相机具有对应关系的直播边缘服务器来对控制指令进行前置处理,在本发明实施例中,所述云服务器根据所述第二控制指令中的所携带的直播边缘服务器唯一标识符,从所述直播边缘服务器中确定第二直播边缘服务器;所述云服务器将所述第二控制指令发送至所述第二直播边缘服务器。
在本发明一些可能的实施方式中,所述第二直播边缘服务器根据所述第二控制指令对所述多个直播相机进行调节的步骤,包括:
所述第二直播边缘服务器根据所述第二控制指令从所述相机组中选择对应的N个所述第二直播相机;
所述第二直播边缘服务器根据每个所述第二直播相机的N个第二属性特征,对所述第二控制指令进行转换,生成N个第四控制指令;
将N个所述第四控制指令的每一个分别发送至N个所述第二直播相机中对应的每一个;
N个所述第二直播相机中的每一个接受对应的所述第四控制指令,并根据所述第四控制指令设置好自身与所述直播对象间的角度和距离、包含时空信息的运动轨迹、拍摄工作起始时间、音视频数据采集范围和拍摄风格参数。
可以理解的是,本发明实施例通过对相机组中的多个直播相机进行调节以使其能高效协同工作,从而得到更好的控制效果以满足用户的个性化控制需求。所述第二直播边缘服务器根据所述第二控制指令从所述相机组中选择对应的N个所述第二直播相机;所述第二直播边缘服务器根据每个所述第二直播相机的N个第二属性特征,对所述第二控制指令进行转换,生成N个第四控制指令;将N个所述第四控制指令的每一个分别发送至N个所述第二直播相机中对应的每一个;N个所述第二直播相机中的每一个接受对应的所述第四控制指令,并根据所述第四控制指令设置好自身与所述直播对象间的角度和距离、包含时空信息的运动轨迹、拍摄工作起始时间、音视频数据采集范围和拍摄风格参数。
可以理解的是,在本发明一些可能的实施例中,所述直播相机具有光信号接收和发送模块、光信号转换模块,其可以与具备光通信功能的终端进行光通信(如智能路灯)进行数据传输,以避免在通信拥堵时切换成光通信保证通讯顺畅。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,可轻易想到变化或替换,均可作各种更动与修改,包含上述不同功能、实施步骤的组合,包含软件和硬件的实施方式,均在本发明的保护范围。
Claims (10)
1.一种用于直播相机的远程智能控制系统,其特征在于,包括:由多个直播相机组成且所述多个直播相机按第一预设规则设置于直播对象周围的相机组、用于接收和发送数据的第一通信模块、通过所述第一通信模块与所述相机组通信连接并包括多个直播边缘服务器的直播边缘服务器群、与所述直播边缘服务器群通信连接的云服务器、与所述云服务器通信连接的内容服务器、与所述内容服务器通信连接并包括多个播放边缘服务器的播放边缘服务器群、用于接收和发送数据的第二通信模块,以及通过所述第二通信模块与所述播放边缘服务器群通信连接的远程控制终端;其中,
所述云服务器被配置为:
接收所述多个直播相机、所述多个直播边缘服务器、所述内容服务器和所述多个播放边缘服务器分别发送的注册请求信息,分别对所述多个直播相机、所述多个直播边缘服务器、所述内容服务器和所述多个播放边缘服务器进行注册登记,并分别配置唯一标识符;
根据第二预设规则从所述多个直播相机中选择出第一直播相机,并根据第三预设规则从所述多个直播边缘服务器中选择出第一直播边缘服务器;
所述第一直播相机被配置为:采集所述直播对象的第一音视频数据,并将所述第一音视频数据发送至所述第一直播边缘服务器;
所述第一直播边缘服务器被配置为:对所述第一音视频数据进行处理后得到第二音视频数据,并将所述第二音视频数据发送至所述云服务器;
所述云服务器被配置为:根据接入的所述远程控制终端的第一属性特征,对所述第二音视频数据进行处理得到第三音视频数据;
所述云服务器被配置为:根据所述第一属性特征从所述多个播放边缘服务器中选择出第一播放边缘服务器并将所述第三音视频数据发送至所述内容服务器进行登记;
所述内容服务器被配置为:将所述第三音视频数据发送至所述第一播放边缘服务器;
所述第一播放边缘服务器被配置为:对所述第三音视频数据进行处理,得到第四音视频数据,并将所述第四音视频数据发送至所述远程控制终端;
所述远程控制终端被配置为:根据所述第四音视频数据显示直播画面,并接收用户基于所述直播画面所输入的第一控制指令;
所述远程控制终端被配置为:通过通信网络将所述第一控制指令发送至所述云服务器;
所述云服务器将被配置为:
将所述第一控制指令进行解析后得到第二控制指令;
将所述第二控制指令通过通信网络发送至所述直播边缘服务器群中对应的第二直播边缘服务器;
所述第二直播边缘服务器被配置为:根据所述第二控制指令对所述多个直播相机进行调节。
2.根据权利要求1所述的用于直播相机的远程智能控制系统,其特征在于,在所述根据所述第四音视频数据显示直播画面,并接收用户基于所述直播画面所输入的第一控制指令的步骤中,所述远程控制终端具体被配置为:
根据所述第四音视频数据的属性特征,从所述第一播放边缘服务器获取对应的解码程序和显示界面布局数据;
利用所述解码程序对所述第四音视频数据进行解码得到第五音视频数据;
将所述第五音视频数据与所述显示界面布局数据进行整合后在显示屏显示所述直播画面;
接收所述用户基于所述直播画面所输入的第一控制指令。
3.根据权利要求2所述的用于直播相机的远程智能控制系统,其特征在于,在所述将所述第一控制指令进行解析后得到第二控制指令的步骤中,所述云服务器具体被配置为:
接收所述第一控制指令,并从所述第一控制指令中确定需要执行所述第一控制指令的所述相机组中的第二直播相机,同时提取所述第二直播相机的第二唯一标识符;
查找在预设时间范围内接收到的携带有相同的所述第二唯一标识符的第三控制指令;
当发出所述第三控制指令对应的所述远程控制终端的数量达到第一预设阈值时,所述云服务器解析所述第一控制指令,从中提取出包括角度数据、距离数据、工作时间计划数据、运动轨迹数据和风格数据的相机控制指令;
将所述第二唯一标识符、所述角度数据、所述距离数据、工作时间计划数据、所述运动轨迹数据和所述风格数据输入控制指令生成器,得到所述第二控制指令。
4.根据权利要求3所述的用于直播相机的远程智能控制系统,其特征在于,在所述将所述第二控制指令通过通信网络发送至所述直播边缘服务器群中对应的第二直播边缘服务器的步骤中,所述云服务器具体被配置为:
根据所述第二控制指令中的所携带的直播边缘服务器唯一标识符,从所述直播边缘服务器中确定第二直播边缘服务器;
将所述第二控制指令发送至所述第二直播边缘服务器。
5.根据权利要求1-4任一所述的用于直播相机的远程智能控制系统,其特征在于,在所述根据所述第二控制指令对所述多个直播相机进行调节的步骤中,所述第二直播边缘服务器具体被配置为:
根据所述第二控制指令从所述相机组中选择对应的N个第二直播相机;
根据每个所述第二直播相机的N个第二属性特征,对所述第二控制指令进行转换,生成N个第四控制指令;
将N个所述第四控制指令的每一个分别发送至N个所述第二直播相机中对应的每一个;
在N个所述第二直播相机中的每一个接受对应的所述第四控制指令后,控制N个所述第二直播相机根据所述第四控制指令设置好自身与所述直播对象间的角度和距离、包含时空信息的运动轨迹、拍摄工作起始时间、音视频数据采集范围和拍摄风格参数。
6.一种用于直播相机的远程智能控制方法,其特征在于,应用于如权利要求1-5任一所述的用于直播相机的远程智能控制系统,所述用于直播相机的远程智能控制系统包括由多个直播相机组成的相机组、用于接收和发送数据的第一通信模块、通过所述第一通信模块与所述相机组通信连接并包括多个直播边缘服务器的直播边缘服务器群、与所述直播边缘服务器群通信连接的云服务器、与所述云服务器通信连接的内容服务器、与所述内容服务器通信连接并包括多个播放边缘服务器的播放边缘服务器群、用于接收和发送数据的第二通信模块,以及通过所述第二通信模块与所述播放边缘服务器群通信连接的远程控制终端,所述方法包括:
将所述相机组内的多个直播相机按第一预设规则设置于直播对象周围;
将所述多个直播相机、所述多个直播边缘服务器、所述内容服务器和所述多个播放边缘服务器分别在所述云服务器上进行注册,由所述云服务器分别配置唯一标识符;
所述云服务器根据第二预设规则从所述多个直播相机中选择出第一直播相机,并根据第三预设规则从所述多个直播边缘服务器中选择出第一直播边缘服务器;
所述第一直播相机采集所述直播对象的第一音视频数据,并将所述第一音视频数据发送至所述第一直播边缘服务器;
所述第一直播边缘服务器对所述第一音视频数据进行处理后得到第二音视频数据,并将所述第二音视频数据发送至所述云服务器;
所述云服务器根据接入的所述远程控制终端的第一属性特征,对所述第二音视频数据进行处理得到第三音视频数据;
所述云服务器根据所述第一属性特征从所述多个播放边缘服务器中选择出第一播放边缘服务器并将所述第三音视频数据发送至所述内容服务器进行登记;
所述内容服务器将所述第三音视频数据发送至所述第一播放边缘服务器;
所述第一播放边缘服务器对所述第三音视频数据进行处理,得到第四音视频数据,并将所述第四音视频数据发送至所述远程控制终端;
所述远程控制终端根据所述第四音视频数据显示直播画面,并接收用户基于所述直播画面所输入的第一控制指令;
所述远程控制终端通过通信网络将所述第一控制指令发送至所述云服务器;
所述云服务器将所述第一控制指令进行解析后得到第二控制指令;
所述云服务器将所述第二控制指令通过通信网络发送至所述直播边缘服务器群中对应的第二直播边缘服务器;
所述第二直播边缘服务器根据所述第二控制指令对所述多个直播相机进行调节。
7.根据权利要求6所述的用于直播相机的远程智能控制方法,其特征在于,所述远程控制终端根据所述第四音视频数据显示直播画面,并接收用户基于所述直播画面所输入的第一控制指令的步骤,包括:
所述远程控制终端根据所述第四音视频数据的属性特征,从所述第一播放边缘服务器获取对应的解码程序和显示界面布局数据;
所述远程控制终端利用所述解码程序对所述第四音视频数据进行解码得到第五音视频数据;
将所述第五音视频数据与所述显示界面布局数据进行整合后在显示屏显示所述直播画面;
所述远程控制终端接收所述用户基于所述直播画面所输入的第一控制指令。
8.根据权利要求7所述的用于直播相机的远程智能控制方法,其特征在于,所述云服务器将所述第一控制指令进行解析后得到第二控制指令的步骤,包括:
所述云服务器接收所述第一控制指令,并从所述第一控制指令中确定需要执行所述第一控制指令的所述相机组中的第二直播相机,同时提取所述第二直播相机的第二唯一标识符;
所述云服务器查找在预设时间范围内接收到的携带有相同的所述第二唯一标识符的第三控制指令;
当发出所述第三控制指令对应的所述远程控制终端的数量达到第一预设阈值时,所述云服务器解析所述第一控制指令,从中提取出包括角度数据、距离数据、工作时间计划数据、运动轨迹数据和风格数据的相机控制指令;
将所述第二唯一标识符、所述角度数据、所述距离数据、工作时间计划数据、所述运动轨迹数据和所述风格数据输入控制指令生成器,得到所述第二控制指令。
9.根据权利要求8所述的用于直播相机的远程智能控制方法,其特征在于,所述云服务器将所述第二控制指令通过通信网络发送至所述直播边缘服务器群中对应的第二直播边缘服务器的步骤,包括:
所述云服务器根据所述第二控制指令中的所携带的直播边缘服务器唯一标识符,从所述直播边缘服务器中确定第二直播边缘服务器;
所述云服务器将所述第二控制指令发送至所述第二直播边缘服务器。
10.根据权利要求6-9任一所述的用于直播相机的远程智能控制方法,其特征在于,所述第二直播边缘服务器根据所述第二控制指令对所述多个直播相机进行调节的步骤,包括:
所述第二直播边缘服务器根据所述第二控制指令从所述相机组中选择对应的N个第二直播相机;
所述第二直播边缘服务器根据每个所述第二直播相机的N个第二属性特征,对所述第二控制指令进行转换,生成N个第四控制指令;
将N个所述第四控制指令的每一个分别发送至N个所述第二直播相机中对应的每一个;
N个所述第二直播相机中的每一个接受对应的所述第四控制指令,并根据所述第四控制指令设置好自身与所述直播对象间的角度和距离、包含时空信息的运动轨迹、拍摄工作起始时间、音视频数据采集范围和拍摄风格参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211680567.9A CN116017145B (zh) | 2022-12-27 | 2022-12-27 | 一种用于直播相机的远程智能控制系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211680567.9A CN116017145B (zh) | 2022-12-27 | 2022-12-27 | 一种用于直播相机的远程智能控制系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116017145A CN116017145A (zh) | 2023-04-25 |
CN116017145B true CN116017145B (zh) | 2023-08-01 |
Family
ID=86034841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211680567.9A Active CN116017145B (zh) | 2022-12-27 | 2022-12-27 | 一种用于直播相机的远程智能控制系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116017145B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101795297A (zh) * | 2010-03-19 | 2010-08-04 | 北京天天宽广网络科技有限公司 | 基于p2p技术的直播时移系统及其方法 |
CN105828174A (zh) * | 2015-01-05 | 2016-08-03 | 中兴通讯股份有限公司 | 一种分享媒体内容的方法和装置 |
CN113490007A (zh) * | 2021-07-02 | 2021-10-08 | 广州博冠信息科技有限公司 | 直播处理系统、方法、存储介质与电子设备 |
CN113747186A (zh) * | 2021-08-20 | 2021-12-03 | 北京奇艺世纪科技有限公司 | 一种数据处理方法、装置、终端及存储介质 |
WO2022000290A1 (zh) * | 2020-06-30 | 2022-01-06 | 深圳盈天下视觉科技有限公司 | 一种直播方法、直播装置及终端 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002074123A (ja) * | 2000-08-31 | 2002-03-15 | Sony Corp | サーバの使用予約方法、予約管理装置およびプログラム格納媒体 |
-
2022
- 2022-12-27 CN CN202211680567.9A patent/CN116017145B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101795297A (zh) * | 2010-03-19 | 2010-08-04 | 北京天天宽广网络科技有限公司 | 基于p2p技术的直播时移系统及其方法 |
CN105828174A (zh) * | 2015-01-05 | 2016-08-03 | 中兴通讯股份有限公司 | 一种分享媒体内容的方法和装置 |
WO2022000290A1 (zh) * | 2020-06-30 | 2022-01-06 | 深圳盈天下视觉科技有限公司 | 一种直播方法、直播装置及终端 |
CN113490007A (zh) * | 2021-07-02 | 2021-10-08 | 广州博冠信息科技有限公司 | 直播处理系统、方法、存储介质与电子设备 |
CN113747186A (zh) * | 2021-08-20 | 2021-12-03 | 北京奇艺世纪科技有限公司 | 一种数据处理方法、装置、终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116017145A (zh) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110597774B (zh) | 一种文件分享方法、系统、装置、计算设备及终端设备 | |
US10971144B2 (en) | Communicating context to a device using an imperceptible audio identifier | |
US11417341B2 (en) | Method and system for processing comment information | |
US10826949B2 (en) | Distributed control of media content item during webcast | |
Starkey | Radio: The resilient medium in today’s increasingly diverse multiplatform media environment | |
CN112423081B (zh) | 一种视频数据处理方法、装置、设备及可读存储介质 | |
CN106796496A (zh) | 显示设备及其操作方法 | |
CN103026681A (zh) | 基于视频的增值业务实现方法、服务器和系统 | |
CN105472401B (zh) | 在网络直播过程中播放广告的方法及系统 | |
CN104735480A (zh) | 移动终端与电视之间的信息发送方法及系统 | |
CN107370610A (zh) | 会议同步方法和装置 | |
CN103096128A (zh) | 一种实现视频互动的方法、服务器、终端及系统 | |
CA3091449A1 (en) | Methods and systems for intelligent content controls | |
CN111629222B (zh) | 一种视频处理方法、设备及存储介质 | |
US20170134806A1 (en) | Selecting content based on media detected in environment | |
CN112817553A (zh) | 一种语音交互方法、装置及系统 | |
CN112954426B (zh) | 视频播放方法、电子设备及存储介质 | |
CN106331763A (zh) | 无缝播放分片媒体文件的方法及实现该方法的装置 | |
CN103200451A (zh) | 电子设备和音频输出方法 | |
CN116017145B (zh) | 一种用于直播相机的远程智能控制系统及方法 | |
KR20130053218A (ko) | 인터렉티브 영상컨텐츠 제공방법 | |
CN105100891B (zh) | 音频数据获取方法和装置 | |
CN110113670A (zh) | 一种权限控制方法、终端及计算机存储介质 | |
KR20220135203A (ko) | 스트리밍 방송에서의 자동 추천 음악 지원 시스템 | |
CN103888788A (zh) | 一种基于双向机顶盒的虚拟旅游服务系统及实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |