CN113453021A - 人工智能导播方法、系统、服务器和计算机可读存储介质 - Google Patents
人工智能导播方法、系统、服务器和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113453021A CN113453021A CN202110383464.5A CN202110383464A CN113453021A CN 113453021 A CN113453021 A CN 113453021A CN 202110383464 A CN202110383464 A CN 202110383464A CN 113453021 A CN113453021 A CN 113453021A
- Authority
- CN
- China
- Prior art keywords
- stream
- code
- low
- artificial intelligence
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000033001 locomotion Effects 0.000 claims description 72
- 238000013507 mapping Methods 0.000 claims description 22
- 239000000463 material Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种人工智能导播方法、系统、服务器和计算机可读存储介质。通过接收多路视频源信号,将每路视频源信号的低码流视频信号进行拼接,以获取低码流拼接图,并将每路视频源信号的高码流视频信号进行拼接,以获取高码流拼接图,从低码流拼接图中选取多个低码流画面,对其中一个低码流画面进行预判构图,获取低码流构图画面,以输出低码流节目信号,根据低码流节目信号获取对应的高码流节目信号,将高码流节目信号推送至云转播服务器以便云转播服务器将高码流节目信号作为公共节目信号输出,从而实现了基于人工智能的方式进行视频源信号的拼接、选图、构图,并输出节目信号,避免采用转播车进行导播,节省大量的人力物力,降低了成本。
Description
本申请基于申请号为:202110312324.9,申请日为2021年03月24日的中国专利申请提出,并要求该中国专利申请的优先权,该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本发明涉及导播技术领域,尤其涉及一种人工智能导播方法、系统、服务器和计算机可读存储介质。
背景技术
传统的转播需要在现场架设多个机位,通过多路SDI(serial digitalinterface,数字串行接口)物理线将采集到的视频信号传输到转播车,在转播车进行节目导播切换、配图文慢动作等加工制作后,通过卫星、网络专线等方式传输到电视台进行实况转播。传统的传播方式缺点在于需要在现场配置SDI物理线,且转播车成本高、资源难以复用,导致传统的转播方式需要依赖大量的人力物力进行,投入大、成本高。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的第一个目的在于提出一种工智能导播方法,能够降低人力物力成本。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种人工智能导播服务器。
本发明的第四个目的在于提出一种人工智能导播系统。
为达到上述目的,本发明第一方面实施例提出了一种人工智能导播方法,包括:接收多路视频源信号,将每路所述视频源信号的低码流视频信号进行拼接,以获取低码流拼接图,并将每路所述视频源信号的高码流视频信号进行拼接,以获取高码流拼接图,其中,属于同一视频源信号的低码流视频信号和高码流视频信号之间具有一一对应的映射关系;根据预设的运动模型,从所述低码流拼接图中选取多个低码流画面,并根据所述运动模型对其中一个所述低码流画面进行预判构图,获取低码流构图画面,以输出低码流节目信号;根据所述低码流节目信号和所述映射关系,获取对应的高码流节目信号;将所述高码流节目信号推送至云转播服务器,以便所述云转播服务器将所述高码流节目信号作为公共节目信号输出。
根据本发明实施例的人工智能导播方法,通过接收多路视频源信号,将每路视频源信号的低码流视频信号进行拼接,以获取低码流拼接图,并将每路视频源信号的高码流视频信号进行拼接,以获取高码流拼接图,根据预设的运动模型,从低码流拼接图中选取多个低码流画面,并根据运动模型对其中一个低码流画面进行预判构图,获取低码流构图画面,以输出低码流节目信号,根据低码流节目信号和映射关系,获取对应的高码流节目信号,将高码流节目信号推送至云转播服务器,以便云转播服务器将高码流节目信号作为公共节目信号输出,从而实现了基于人工智能的导播方法,智能进行视频源信号的拼接、选图、构图,并输出节目信号,相较于传统方案中基于转播车进行导播,利用人工智能进行导播的方式可以节省大量的人力物力,降低成本。
根据本发明的一个实施例,所述根据预设的运动模型,从所述低码流拼接图中选取多个低码流画面,包括:根据所述运动模型,从所述低码流拼接图中选取多个特征点;根据所述特征点,选取所述特征点对应的多个低码流画面。根据本发明的一个实施例,
根据本发明的一个实施例,所述根据所述运动模型对其中一个所述低码流画面进行预判构图,包括:根据所述运动模型,对所述低码流画面中的运动目标进行运动预测,以获得所述运动目标下一时刻的目标位置;根据所述运动目标下一时刻的目标位置,从所述低码流拼接图中选取下一时刻的低码流构图画面。
根据本发明的一个实施例,所述根据所述运动模型,对所述低码流画面中的运动目标进行运动预测包括:根据所述运动目标的运动速度对所述运动目标进行运动预测,以获取所述运动目标下一时刻的目标位置。
根据本发明的一个实施例,还包括:根据所述多个低码流画面和所述映射关系,获取与所述低码流画面对应的多个高码流画面;根据所述多个低码流画面模拟多个低码流虚拟镜头,以及根据多个所述高码流画面模拟多个高码流虚拟镜头;将所述多个低码流虚拟镜头推送至导播客户端,并将所述多个高码流虚拟镜头推送至云转播服务器,以便所述导播客户端在接收到人工导切信号时根据所述人工导切信号将人工选择的低码流虚拟镜头发送至所述云转播服务器,使所述云服务器根据人工选择的所述低码流虚拟镜头获取相应的高码流虚拟镜头,并将所述高码流虚拟镜头对应的高码流节目信号作为公共节目信号输出。
根据本发明的一个实施例,还包括:根据所述低码流构图画面中运动目标的运动速度,预判下一时刻特征点的选取位置,以便根据重新选取的特征点选取下一时刻的低码流画面,并模拟对应的低码流虚拟镜头。
根据本发明的一个实施例,还包括:将所述低码流节目信号推送至导播客户端。
为达到上述目的,本发明第二方面实施例提出了一种计算机可读存储介质,其上存储有人工智能导播程序,该人工智能导播程序被处理器执行时实现前述人工智能导播方法。
根据本发明实施例的计算机可读存储介质,通过前述人工智能导播方法,智能进行视频源信号的拼接、选图、构图,并输出节目信号,相较于传统方案中基于转播车进行导播,利用人工智能进行导播的方式可以节省大量的人力物力,降低成本。
为达到上述目的,本发明第三方面实施例提出的一种人工智能导播服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的人工智能导播程序,所述处理器执行所述人工智能导播程序时,实现前述人工智能导播方法。
根据本发明实施例的人工智能导播服务器,通过前述人工智能导播方法,智能进行视频源信号的拼接、选图、构图,并输出节目信号,相较于传统方案中基于转播车进行导播,利用人工智能进行导播的方式可以节省大量的人力物力,降低成本。
为达到上述目的,本发明第四方面实施例提出的一种人工智能导播系统,包括:人工智能导播服务器,所述人工智能导播服务器用于接收多路视频源信号,将每路所述视频源信号的低码流视频信号进行拼接,以获取低码流拼接图,并将每路所述视频源信号的高码流视频信号进行拼接,以获取高码流拼接图,其中,属于同一视频源信号的低码流视频信号和高码流视频信号之间具有一一对应的映射关系;根据预设的运动模型,从所述低码流拼接图中选取多个低码流画面,并根据所述运动模型对其中一个所述低码流画面进行预判构图,获取低码流构图画面,以输出低码流节目信号;根据所述低码流节目信号和所述映射关系,获取对应的高码流节目信号;云转播服务器,所述云转播服务器与所述人工智能导播服务器相连,所述云转播服务器用于接收所述高码流节目信号,并将所述高码流节目信号作为公共节目信号输出;播放终端,所述播放终端与所述云转播服务器相连,所述播放终端用于播放所述公共节目信号。
根据本发明实施例的人工智能导播系统,通过人工智能导播服务器接收多路视频源信号,将每路视频源信号的低码流视频信号进行拼接,以获取低码流拼接图,并将每路视频源信号的高码流视频信号进行拼接,以获取高码流拼接图,根据预设的运动模型,从低码流拼接图中选取多个低码流画面,并根据运动模型对其中一个低码流画面进行预判构图,获取低码流构图画面,以输出低码流节目信号;根据低码流节目信号和映射关系,获取对应的高码流节目信号,通过云转播服务器接收高码流节目信号,并将高码流节目信号作为公共节目信号输出,以及通过播放终端播放公共节目信号,从而实现了通过人工智能的方式进行视频源信号的拼接、选图、构图,并输出节目信号,相较于传统方案中基于转播车进行导播,利用人工智能进行导播的方式可以节省大量的人力物力,降低成本。
根据本发明的一个实施例,所述人工智能导播系统还包括导播客户端,所述导播客户端与所述人工智能导播服务器相连,所述导播客户端用于接收所述低码流构图画面并显示。
根据本发明的一个实施例,所述人工智能导播服务器还用于根据所述多个低码流画面模拟多个低码流虚拟镜头,以及根据多个所述高码流画面模拟多个高码流虚拟镜头,将所述多个低码流虚拟镜头推送至导播客户端,并将所述多个高码流虚拟镜头推送至云转播服务器;所述导播客户端还与所述云转播服务器相连,所述导播客户端用于在接收到人工导切信号时,根据所述人工导切信号将人工选择的低码流虚拟镜头发送至所述云转播服务器;所述云转播服务器用于根据人工选择的所述低码流虚拟镜头获取相应的高码流虚拟镜头,并将所述高码流虚拟镜头对应的高码流节目信号作为公共节目信号输出。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1为根据本发明实施例的人工智能导播系统的架构图;
图2为根据本发明实施例的人工智能导播方法的流程图;
图3为根据本发明实施例的视频采集器的结构示意图;
图4为根据本发明实施例的人工智能导播系统的交互图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例提出的人工智能导播方法、系统、服务器和计算机可读存储介质。
在本申请中,参考图1所示,人工智能导播系统包括多个视频采集器10、人工智能导播服务器20、云转播服务器30、导播客户端40和播放终端50。其中,视频采集器10可以是高清摄像机,多个视频采集器10用于分别采集视频源信号,并将采集到的视频源信号发送至人工智能导播服务器20。人工智能导播服务器20接收多路视频源信号,并对每路视频源信号的低码流视频信号进行人工智能导播处理输出低码流节目信号,根据低码流节目信号输出高码流节目信号,将低码流节目信号发送至导播客户端40,以便导播客户端的工作人员监看,并将高码流节目信号输出至云转播服务器30,以便云转播服务器30将高码流节目信号发送至播放终端50,供观众观看。
图2为根据本发明实施例的人工智能导播方法的流程图,该方法可以由图1所示的人工智能导播服务器执行。参考图2所示,该方法可包括以下步骤:
步骤S101,接收多路视频源信号,将每路视频源信号的低码流视频信号进行拼接,以获取低码流拼接图,并将每路视频源信号的高码流视频信号进行拼接,以获取高码流拼接图,其中,属于同一视频源信号的低码流视频信号和高码流视频信号之间具有一一对应的映射关系。
具体地,如图3所示,多个视频采集器10用于分别从不同角度采集视频源信号,每个视频采集器10均包括采集模块11和编码模块12,其中,采集模块11可以是高清摄像头,用于采集高清视频源信号。编码模块12包括高码流编码单元111和低码流编码单元112,高码流编码单元111用于将接收到的视频源信号编码为高码流视频信号,低码流编码单元112用于将接收到的视频源信号编码为低码流视频信号,高码流编码单元111和低码流编码单元112通过通讯网络将高码流视频信号和低码流视频信号分别发送至人工智能导播服务器,相较于传统技术中采用SDI物理线进行视频信号的传输,本实施例通过将视频信号IP化通过通讯网络发送至人工智能导播服务器,可以降低现场布线的复杂度,降低人力物力成本。
本实施例中,同一视频源信号的高码流视频信号和低码流视频信号之间具有一一对应的映射关系。具体来说,高码流视频信号和低码流信号的视频内容相同,两者之间仅码率不同。其中,高码流视频信号的码率较大,图像画面清晰度高,占用的带宽也较高。低码流视频信号在高码流视频信号的图像环境下降低了码率,低码流视频信号的图像画面的清晰度较高码流视频信号的图像画面要低,但占用带宽小。
人工智能导播服务器分别接收每个视频采集器10发送的低码流视频信号和高码流视频信号,并将每个视频采集器10发送的低码流视频信号进行拼接获取低码流拼接图,以及将每个视频采集器10发送的高码流视频信号进行拼接获取高码流拼接图。可以理解的是,在直播现场通常会架设多个视频采集器10,每个视频采集器10从不同角度采集直播画面,并将采集到的视频源信号进行高码流编码和低码流编码后发送至人工智能导播服务器。人工智能导播服务器将接收到的每路视频信号进行拼接,可以获得一幅完整的能够体现全局画面的拼接图像。本实施例中,人工智能导播服务器拼接低码流视频信号和拼接高码流视频信号的拼接方式相同,从而低码流拼接图的图像内容与高码流拼接图的图像内容相同,区别在于高码流拼接图的分辨率高于低码流拼接图的分辨率。
步骤S102,根据预设的运动模型,从低码流拼接图中选取多个低码流画面,并根据运动模型对其中一个低码流画面进行预判构图,获取低码流构图画面,以输出低码流节目信号。
本实施例中,人工智能导播服务器根据接收到的低码流视频信号进行选图、构图处理,以输出低码流节目信号,由于低码流视频信号码率低、占用带宽小,通过对低码流视频信号进行处理获取节目信号,可以降低人工智能导播服务器的计算资源并节省带宽。获取低码流节目信号后,根据低码流视频信号和高码流视频信号之间的映射关系可以获取对应的高码流节目信号。
人工智能导播服务器在获取低码流拼接图后,从低码流拼接图中智能选取N幅低码流拼接画面,并根据其中一路低码流画面进行预判构图以输出低码流节目信号,后续将低码流节目信号和选取的低码流画面对应的低码流虚拟镜头一并发送至导播客户端,以实现画中画智能导播。例如,人工智能导播服务器接收8路4K分辨率的画面,并将8路4K分辨率的画面进行拼接,并智能地从一整副拼接画面中选择4幅4K分辨率的画面,将4幅4K分辨率的画面对应的虚拟镜头均输出至导播客户端,以实现画中画的虚拟镜头中导播,同时,选取4幅画面中的一幅进行构图输出低码流节目信号。
具体来说,人工智能导播服务器从低码流拼接图中智能地选取至少一个观众感兴趣的低码流画面,通常在视频场景中,观众感兴趣的部分常为图像中的运动目标,因此,人工智能导播服务器可以根据运动模型从低码流拼接图中选取低码流画面,作为产生低码流节目信号的依据。
在其中一个实施例中,根据预设的运动模型,从低码流拼接图中选取多个低码流画面包括:根据运动模型,从低码流拼接图中选取多个特征点;根据特征点,选取特征点对应的多个低码流画面。
具体地,不同的运动类型具有不同的运动模型,例如球的运动具有球类的运动模型,跑步运动具有对应的跑步运动模型,驾驶运动具有对应的驾驶运动模型。运动模型已经过预先训练并存储于人工智能导播服务器中。人工智能导播服务器在接收到低码流拼接图后,根据预设的运动模型,从低码流拼接图中选取至少一个运动目标对应的多个特征点。举例来说,人工智能导播服务器接收到的低码流信号中可能具有多个运动目标,例如运动员、足球等,则预设的运动模型可以包括足球的运动模型和运动员的跑动运动模型。人工智能导播服务器根据足球的运动模型和运动员的跑动运动模型从拼接图中获取多个特征点,其中,部分特征点用于标识足球,部分特征点用于标识运动员。进而,人工智能导播服务器可以根据特征点从低码流拼接图中选取至少一个低码流画面,每个低码流画面中可以包括至少一个运动目标。
在其中一个实施例中,根据运动模型,对其中一个低码流画面进行预判构图包括:根据运动模型,对低码流画面中的运动目标进行运动预测,以获得运动目标下一时刻的目标位置;根据运动目标下一时刻的目标位置,从低码流拼接图中选取下一时刻的低码流构图画面。
具体地,在进行预判构图时,可以选取其中一个低码流画面进行预判构图,选取的低码流画面可以是观众较为感兴趣的画面,例如足球比赛直播视频中,可以选取足球所在的画面作为预判构图的画面,以便后续根据构图结果输出最终的节目信号。在进行预判构图时,根据选取的低码流画面中运动目标的运动模型,对运动目标进行运动预测,获取下一时刻运动目标的目标位置,根据目标位置从低码流拼接图中选取目标位置对应的画面内容,以获得下一时刻的低码流构图画面,并产生相应的低码流节目信号。本实施例中,可以根据运动目标的运动速度,预测运动目标在下一时刻的运动位置,以便为预判构图提供依据。
进一步地,在其中一个实施例中,人工智能导播服务器还将产生的低码流节目信号推送至导播客户端,以便导播客户端的工作人员监看。同时,人工智能导播服务器还将选取的多个低码流画面对应的低码流镜头推送到导播客户端,实现画中画智能导播,以便导播客户端的工作人员发挥二次创作能力,实现个性化导播。
步骤S103,根据低码流节目信号和映射关系,获取对应的高码流节目信号。
人工智能导播服务器在根据低码流视频信号产生低码流节目信号后,根据低码流信号和高码流信号之间的映射关系,产生与低码流节目信号对应的高码流节目信号。
步骤S104,将高码流节目信号推送至云转播服务器,以便云转播服务器将高码流节目信号作为公共节目信号输出。
上述实施例提供的人工智能导播方法,通过接收多路视频源信号,将每路视频源信号的低码流视频信号进行拼接,以获取低码流拼接图,并将每路视频源信号的高码流视频信号进行拼接,以获取高码流拼接图,根据预设的运动模型,从低码流拼接图中选取多个低码流画面,并根据运动模型对其中一个低码流画面进行预判构图,获取低码流构图画面,以输出低码流节目信号,根据低码流节目信号和映射关系,获取对应的高码流节目信号,将高码流节目信号推送至云转播服务器,以便云转播服务器将高码流节目信号作为公共节目信号输出,从而实现了基于人工智能的导播方法,智能进行视频源信号的拼接、选图、构图,并输出节目信号,相较于传统方案中基于转播车进行导播,利用人工智能进行导播的方式可以节省大量的人力物力,降低成本。
在其中一个实施例中,人工智能导播方法还包括:根据多个低码流画面和映射关系,获取与低码流画面对应的多个高码流画面;根据多个低码流画面模拟多个低码流虚拟镜头,以及根据多个高码流画面模拟多个高码流虚拟镜头;将多个低码流虚拟镜头推送至导播客户端,并将多个高码流虚拟镜头推送至云转播服务器,以便导播客户端在接收到人工导切信号时根据人工导切信号将人工选择的低码流虚拟镜头发送至云转播服务器,使云服务器根据人工选择的低码流虚拟镜头获取相应的高码流虚拟镜头,并将高码流虚拟镜头对应的高码流节目信号作为公共节目信号输出。
具体地,人工智能导播服务器在从拼接图中获取多个低码流画面后,根据每个低码流华民对应模拟一个低码流虚拟镜头。其中,低码流虚拟镜头并非真实的物理镜头,而是根据低码流画面模拟出的虚拟镜头,可以看作该低码流画面是由该低码流虚拟镜头采集的。
人工智能导播服务器智能选取其中一个低码流画面进行构图以产生低码流节目信号,并将低码流画面对应的低码流虚拟镜头和低码流节目信号同时推送至导播客户端。人工智能导播服务器还根据选取的低码流画面获取对应的高码流画面,根据高码流画面模拟对应的高码流虚拟镜头,并将高码流虚拟镜头和高码流节目信号一同输出至云转播服务器。当导播客户端没有接收到人工导切信号时,云转播服务器将人工智能导播服务器输出的高码流节目信号作为公共信号输出至播放终端,供观众观看。当导播客户端收到人工导切信号时,导播客户端将人工选择的低码流虚拟镜头发送至云转播服务器,云转播服务器根据接收到的低码流虚拟镜头获取对应的高码流虚拟镜头,并将高码流虚拟镜头对应的高码流节目信号作为公共节目信号输出,从而在有人工导切时输出人工选择的高码流节目信号。
进一步地,人工智能导播服务器在进行选图、构图之后,还根据低码流构图画面中的运动目标的运动速度,预判下一时刻特征点的选取位置,以便根据重新选取的特征点从低码流拼接图中选取下一时刻的地码流画面,并模拟对应的低码流虚拟镜头,然后将对应的低码流虚拟镜头在发送至导播客户端,实现低码流虚拟镜头中画面的连续播放,从而在不移动视频采集器的情况下,可以模拟视频采集器的推拉摇移。
下面参考图4描述本发明的一个具体实施例:
步骤S401,多路视频采集器将采集到的视频源信号分别编码为高码流视频信号和低码流视频信号并发送至人工智能导播服务器;
步骤S402,将每路视频源信号的低码流视频信号进行拼接,以获取低码流拼接图,并将每路视频源信号的高码流视频信号进行拼接,以获取高码流拼接图;
步骤S403,从低码流拼接图中选取多个低码流画面,并模拟多个低码流虚拟镜头;根据低码流拼接图选取对应的高码流拼接图,并模拟多个高码流虚拟镜头;
步骤S404,人工智能导播服务器智能选取其中一路低码流画面进行预判构图,并输出低码流节目信号pgm_ai,以及根据低码流节目信号输出对应的高码流节目信号PGM_AI;
步骤S405,人工智能导播服务器将多个高码流虚拟镜头和高码流节目信号推送至导播服务器;
步骤S406,人工智能导播服务器将多个低码流虚拟镜头和低码流节目信号推送至导播客户端;
步骤S407,人工智能导播服务器根据各路低码流画面中运动目标的运动速度智能选取下一帧的特征点的位置,并反馈至步骤S403,以便获取下一帧低码流画面、低码流节目信号以及对应的高码流画面和高码流节目信号;
步骤S408,导播客户端在接收到多个低码流虚拟镜头和低码流节目信号后,判断是否有人工导切信号;
步骤S409,如果有人工导切信号,导播客户端将人工选择的低码流模拟镜头发送至云转播服务器,以便云转播服务器根据低码流进行获取对应的高码流镜头并输出高码流节目信号;
步骤S410,如果有人工导切信号,云转播服务器根据人工导切信号输出人工选择的高码流节目信号;如果没有人工导切信号,云转播服务器输出人工智能导播服务器发送的高码流节目信号。
上述人工智能导播方法,通过人工智能导播服务器远程接收视频源信号,避免了在直播现场拉设多根SDI物理线,人工智能导播服务器可以对接收到的多路视频源信号进行人工智能选图、构图,以输出多路低码流虚拟镜头和多路高码流虚拟镜头,并根据运动目标的运动模型实现多路场景的自动构图,可以减少甚至避免现场摄像人员的推拉摇移镜头的操作。并且,远程导播客户端的工作人员不需要参与现场调度,也无需采用专用的转播车,节约了大量的人力、物力资源,降低了成本。并且,人工智能导播服务器以人工智能的方式从一整副拼接的画面中智能选取几幅画面并输出,实现了画中画虚拟镜头导播,以充分发挥远程导播客户端的工作人员的二次创作能力,实现个性化导播创作。
此外,本申请的又一实施例提供一种计算机可读存储介质,其上存储有人工智能导播程序,该人工智能导播程序被处理器执行时实现前述人工智能导播方法。
上述计算机可读存储介质,通过前述人工智能导播方法,智能进行视频源信号的拼接、选图、构图,并输出节目信号,相较于传统方案中基于转播车进行导播,利用人工智能进行导播的方式可以节省大量的人力物力,降低成本。
此外,本申请的又一实施例提供一种人工智能导播服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的人工智能导播程序,处理器执行人工智能导播程序时,实现前述人工智能导播方法。
上述人工智能导播服务器,通过前述人工智能导播方法,智能进行视频源信号的拼接、选图、构图,并输出节目信号,相较于传统方案中基于转播车进行导播,利用人工智能进行导播的方式可以节省大量的人力物力,降低成本。
如图1所示,本申请的又一实施例提供一种人工智能导播系统,包括人工智能导播服务器20、云转播服务器30和导播客户端40。
其中,人工智能导播服务器20用于接收多路视频源信号,将每路视频源信号的低码流视频信号进行拼接,以获取低码流拼接图,并将每路视频源信号的高码流视频信号进行拼接,以获取高码流拼接图,其中,属于同一视频源信号的低码流视频信号和高码流视频信号之间具有一一对应的映射关系;根据预设的运动模型,从低码流拼接图中选取多个低码流画面,并根据运动模型对其中一个低码流画面进行预判构图,获取低码流构图画面,以输出低码流节目信号;根据低码流节目信号和映射关系,获取对应的高码流节目信号。
云转播服务器30与人工智能导播服务器20相连,云转播服务器30用于接收高码流节目信号,并将高码流节目信号作为公共节目信号输出。
播放终端50与云转播服务器30相连,播放终端50用于播放公共节目信号。
如图1所示,在其中一个实施例中,人工智能导播系统还包括导播客户端40,导播客户端40与人工智能导播服务器20相连,导播客户端40用于接收低码流构图画面并显示。
在其中一个实施例中,人工智能导播服务器20还用于根据多个低码流画面模拟多个低码流虚拟镜头,以及根据多个高码流画面模拟多个高码流虚拟镜头,将多个低码流虚拟镜头推送至导播客户端,并多个高码流虚拟镜头推送至云转播服务器。导播客户端40还与云转播服务器30相连,导播客户端40用于在接收到人工导切信号时,根据人工导切信号将人工选择的低码流虚拟镜头发送至云转播服务器30。云转播服务器30用于根据人工选择的低码流虚拟镜头获取相应的高码流虚拟镜头,并将高码流虚拟镜头对应的高码流节目信号作为公共节目信号输出。
需要说明的是,关于本申请中的人工智能导播系统的描述,请参考本申请中关于人工智能导播方法的描述,具体这里不再赘述。
上述人工智能导播系统,通过人工智能导播服务器接收多路视频源信号,将每路视频源信号的低码流视频信号进行拼接,以获取低码流拼接图,并将每路视频源信号的高码流视频信号进行拼接,以获取高码流拼接图,根据预设的运动模型,从低码流拼接图中选取多个低码流画面,并根据运动模型对其中一个低码流画面进行预判构图,获取低码流构图画面,以输出低码流节目信号;根据低码流节目信号和映射关系,获取对应的高码流节目信号,通过云转播服务器接收高码流节目信号,并将高码流节目信号作为公共节目信号输出,以及通过播放终端播放公共节目信号,从而实现了通过人工智能的方式进行视频源信号的拼接、选图、构图,并输出节目信号,相较于传统方案中基于转播车进行导播,利用人工智能进行导播的方式可以节省大量的人力物力,降低成本。
需要说明的是,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种人工智能导播方法,其特征在于,包括:
接收多路视频源信号,将每路所述视频源信号的低码流视频信号进行拼接,以获取低码流拼接图,并将每路所述视频源信号的高码流视频信号进行拼接,以获取高码流拼接图,其中,属于同一视频源信号的低码流视频信号和高码流视频信号之间具有一一对应的映射关系;
根据预设的运动模型,从所述低码流拼接图中选取多个低码流画面,并根据所述运动模型对其中一个所述低码流画面进行预判构图,获取低码流构图画面,以输出低码流节目信号;
根据所述低码流节目信号和所述映射关系,获取对应的高码流节目信号;
将所述高码流节目信号推送至云转播服务器,以便所述云转播服务器将所述高码流节目信号作为公共节目信号输出。
2.根据权利要求1所述的人工智能导播方法,其特征在于,所述根据预设的运动模型,从所述低码流拼接图中选取多个低码流画面,包括:
根据所述运动模型,从所述低码流拼接图中选取多个特征点;
根据所述特征点,选取所述特征点对应的多个低码流画面。
3.根据权利要求1所述的人工智能导播方法,其特征在于,所述根据所述运动模型对其中一个所述低码流画面进行预判构图,包括:
根据所述运动模型,对所述低码流画面中的运动目标进行运动预测,以获得所述运动目标下一时刻的目标位置;
根据所述运动目标下一时刻的目标位置,从所述低码流拼接图中选取下一时刻的低码流构图画面。
4.根据权利要求3所述的人工智能导播方法,其特征在于,所述根据所述运动模型,对所述低码流画面中的运动目标进行运动预测包括:
根据所述运动目标的运动速度对所述运动目标进行运动预测,以获取所述运动目标下一时刻的目标位置。
5.根据权利要求1所述的人工智能导播方法,其特征在于,还包括:
根据所述多个低码流画面和所述映射关系,获取与所述低码流画面对应的多个高码流画面;
根据所述多个低码流画面模拟多个低码流虚拟镜头,以及根据多个所述高码流画面模拟多个高码流虚拟镜头;
将所述多个低码流虚拟镜头推送至导播客户端,并将所述多个高码流虚拟镜头推送至云转播服务器,以便所述导播客户端在接收到人工导切信号时根据所述人工导切信号将人工选择的低码流虚拟镜头发送至所述云转播服务器,使所述云服务器根据人工选择的所述低码流虚拟镜头获取相应的高码流虚拟镜头,并将所述高码流虚拟镜头对应的高码流节目信号作为公共节目信号输出。
6.根据权利要求5所述的人工智能导播方法,其特征在于,还包括:
根据所述低码流构图画面中运动目标的运动速度,预判下一时刻特征点的选取位置,以便根据重新选取的特征点选取下一时刻的低码流画面,并模拟对应的低码流虚拟镜头。
7.根据权利要求1所述的人工智能导播方法,其特征在于,还包括:将所述低码流节目信号推送至导播客户端。
8.一种计算机可读存储介质,其特征在于,其上存储有人工智能导播程序,该人工智能导播程序被处理器执行时实现如权利要求1-7中任一项所述的人工智能导播方法。
9.一种人工智能导播服务器,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的人工智能导播程序,所述处理器执行所述人工智能导播程序时,实现如权利要求1-7中任一项所述的人工智能导播方法。
10.一种人工智能导播系统,其特征在于,包括:
人工智能导播服务器,所述人工智能导播服务器用于接收多路视频源信号,将每路所述视频源信号的低码流视频信号进行拼接,以获取低码流拼接图,并将每路所述视频源信号的高码流视频信号进行拼接,以获取高码流拼接图,其中,属于同一视频源信号的低码流视频信号和高码流视频信号之间具有一一对应的映射关系;根据预设的运动模型,从所述低码流拼接图中选取多个低码流画面,并根据所述运动模型对其中一个所述低码流画面进行预判构图,获取低码流构图画面,以输出低码流节目信号;根据所述低码流节目信号和所述映射关系,获取对应的高码流节目信号;
云转播服务器,所述云转播服务器与所述人工智能导播服务器相连,所述云转播服务器用于接收所述高码流节目信号,并将所述高码流节目信号作为公共节目信号输出;
播放终端,所述播放终端与所述云转播服务器相连,所述播放终端用于播放所述公共节目信号。
11.根据权利要求10所述的人工智能导播系统,其特征在于,所述人工智能导播系统还包括导播客户端,所述导播客户端与所述人工智能导播服务器相连,所述导播客户端用于接收所述低码流构图画面并显示。
12.根据权利要求11所述的人工智能导播系统,其特征在于,所述人工智能导播服务器还用于根据所述多个低码流画面模拟多个低码流虚拟镜头,以及根据多个所述高码流画面模拟多个高码流虚拟镜头,将所述多个低码流虚拟镜头推送至导播客户端,并将所述多个高码流虚拟镜头推送至云转播服务器;
所述导播客户端还与所述云转播服务器相连,所述导播客户端用于在接收到人工导切信号时,根据所述人工导切信号将人工选择的低码流虚拟镜头发送至所述云转播服务器;
所述云转播服务器用于根据人工选择的所述低码流虚拟镜头获取相应的高码流虚拟镜头,并将所述高码流虚拟镜头对应的高码流节目信号作为公共节目信号输出。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110312324 | 2021-03-24 | ||
CN2021103123249 | 2021-03-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113453021A true CN113453021A (zh) | 2021-09-28 |
CN113453021B CN113453021B (zh) | 2022-04-29 |
Family
ID=77809489
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110383464.5A Active CN113453021B (zh) | 2021-03-24 | 2021-04-09 | 人工智能导播方法、系统、服务器和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113453021B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1404302A (zh) * | 2001-09-05 | 2003-03-19 | 北京中科大洋科技发展股份有限公司 | 一种使用双码率视频流制作电视节目的系统和方法 |
JP2007243367A (ja) * | 2006-03-07 | 2007-09-20 | Osamu Sato | 動画配信システム |
CN104639916A (zh) * | 2015-03-04 | 2015-05-20 | 合肥巨清信息科技有限公司 | 一种大场景多目标跟踪拍摄视频监控系统及其监控方法 |
CN106251334A (zh) * | 2016-07-18 | 2016-12-21 | 华为技术有限公司 | 一种摄像机参数调整方法、导播摄像机及系统 |
CN106961568A (zh) * | 2017-03-09 | 2017-07-18 | 广州盈可视电子科技有限公司 | 一种画面切换方法、装置和系统 |
CN107087121A (zh) * | 2017-04-20 | 2017-08-22 | 广州华多网络科技有限公司 | 一种基于运动检测的自动导播方法及装置 |
CN109151313A (zh) * | 2018-09-10 | 2019-01-04 | 合肥巨清信息科技有限公司 | 一种基于大场景视频监控的视频联动系统 |
CN109391822A (zh) * | 2017-08-10 | 2019-02-26 | 徐文波 | 线上视频导播方法、装置及终端设备 |
CN109785368A (zh) * | 2017-11-13 | 2019-05-21 | 腾讯科技(深圳)有限公司 | 一种目标跟踪方法和装置 |
CN110166651A (zh) * | 2019-05-23 | 2019-08-23 | 软通智慧科技有限公司 | 一种导播方法、装置、终端设备及存储介质 |
US20190391254A1 (en) * | 2018-06-20 | 2019-12-26 | Rapsodo Pte. Ltd. | Radar and camera-based data fusion |
-
2021
- 2021-04-09 CN CN202110383464.5A patent/CN113453021B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1404302A (zh) * | 2001-09-05 | 2003-03-19 | 北京中科大洋科技发展股份有限公司 | 一种使用双码率视频流制作电视节目的系统和方法 |
JP2007243367A (ja) * | 2006-03-07 | 2007-09-20 | Osamu Sato | 動画配信システム |
CN104639916A (zh) * | 2015-03-04 | 2015-05-20 | 合肥巨清信息科技有限公司 | 一种大场景多目标跟踪拍摄视频监控系统及其监控方法 |
CN106251334A (zh) * | 2016-07-18 | 2016-12-21 | 华为技术有限公司 | 一种摄像机参数调整方法、导播摄像机及系统 |
CN106961568A (zh) * | 2017-03-09 | 2017-07-18 | 广州盈可视电子科技有限公司 | 一种画面切换方法、装置和系统 |
CN107087121A (zh) * | 2017-04-20 | 2017-08-22 | 广州华多网络科技有限公司 | 一种基于运动检测的自动导播方法及装置 |
CN109391822A (zh) * | 2017-08-10 | 2019-02-26 | 徐文波 | 线上视频导播方法、装置及终端设备 |
CN109785368A (zh) * | 2017-11-13 | 2019-05-21 | 腾讯科技(深圳)有限公司 | 一种目标跟踪方法和装置 |
US20190391254A1 (en) * | 2018-06-20 | 2019-12-26 | Rapsodo Pte. Ltd. | Radar and camera-based data fusion |
CN109151313A (zh) * | 2018-09-10 | 2019-01-04 | 合肥巨清信息科技有限公司 | 一种基于大场景视频监控的视频联动系统 |
CN110166651A (zh) * | 2019-05-23 | 2019-08-23 | 软通智慧科技有限公司 | 一种导播方法、装置、终端设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113453021B (zh) | 2022-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101854529B (zh) | 一种细分受众的多画面网络直播方法 | |
CN109862388A (zh) | 直播视频集锦的生成方法、装置、服务器及存储介质 | |
CN101500150B (zh) | 一种视频信息显示内容的监控方法 | |
JP2002534010A (ja) | ビデオシークエンスの中に画像を挿入するためのシステム | |
CN113453086A (zh) | 多机位同步云导播方法、系统、存储介质和视频编码器 | |
CN104822045A (zh) | 采用预置位实现观察画面分布式联动显示的方法及装置 | |
CN104506840B (zh) | 一种实时立体视频拼接装置及特写方法 | |
CN113411647A (zh) | 云导播方法、系统、服务器和计算器可读存储介质 | |
CN105635675A (zh) | 一种全景播放方法和装置 | |
CN113315980B (zh) | 智能直播方法及直播物联网系统 | |
CN113507574A (zh) | 一种超高清视频的制播处理系统 | |
CN113115110A (zh) | 视频合成方法、装置、存储介质与电子设备 | |
CN110933350A (zh) | 一种电子云镜录播系统、方法及装置 | |
CN113453021B (zh) | 人工智能导播方法、系统、服务器和计算机可读存储介质 | |
CN107317952B (zh) | 一种视频图像处理方法及基于电子地图的拼图方法 | |
CN103051866B (zh) | 网络3d 视频监控系统、方法和视频处理平台 | |
CN111314663A (zh) | 一种基于5g的智能虚拟窗系统 | |
CN113810609B (zh) | 视频传输方法、服务器、用户终端及视频传输系统 | |
CN213693842U (zh) | 一种视频转播系统 | |
CN111510678B (zh) | 一种无人机图像传输控制方法、装置和系统 | |
CN114745501A (zh) | 一种基于以太网网络拓扑结构的数据采集方法及系统 | |
CN111614969A (zh) | 无人机巡视视频直播方法及系统 | |
CN107835433B (zh) | 一种赛事宽视角直播系统、相关联的设备和直播方法 | |
CN115567494A (zh) | 一种云端视频交互系统、方法及装置 | |
CN201667698U (zh) | 一种基于ip网络的高清视频监控系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |