CN115336282A - 实时视频制作系统、实时视频制作方法和云服务器 - Google Patents
实时视频制作系统、实时视频制作方法和云服务器 Download PDFInfo
- Publication number
- CN115336282A CN115336282A CN202180023716.1A CN202180023716A CN115336282A CN 115336282 A CN115336282 A CN 115336282A CN 202180023716 A CN202180023716 A CN 202180023716A CN 115336282 A CN115336282 A CN 115336282A
- Authority
- CN
- China
- Prior art keywords
- video
- cloud server
- real
- production system
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 382
- 238000003384 imaging method Methods 0.000 claims abstract description 78
- 230000009471 action Effects 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims description 201
- 238000004891 communication Methods 0.000 claims description 144
- 238000000034 method Methods 0.000 claims description 135
- 230000008569 process Effects 0.000 claims description 78
- 238000004458 analytical method Methods 0.000 claims description 22
- 230000007246 mechanism Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 7
- 230000006870 function Effects 0.000 description 251
- 238000010586 diagram Methods 0.000 description 38
- 238000009826 distribution Methods 0.000 description 30
- 238000003860 storage Methods 0.000 description 27
- 238000011161 development Methods 0.000 description 24
- 230000005540 biological transmission Effects 0.000 description 22
- 239000000470 constituent Substances 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 17
- 238000012544 monitoring process Methods 0.000 description 14
- 239000002131 composite material Substances 0.000 description 12
- 230000010365 information processing Effects 0.000 description 11
- 239000013307 optical fiber Substances 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 9
- 206010065042 Immune reconstitution inflammatory syndrome Diseases 0.000 description 8
- 230000001413 cellular effect Effects 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000002360 preparation method Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 230000004931 aggregating effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2228—Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2181—Source of audio or video content, e.g. local disk arrays comprising remotely distributed storage units, e.g. when movies are replicated over a plurality of video servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/633—Control signals issued by server directed to the network components or client
- H04N21/6332—Control signals issued by server directed to the network components or client directed to client
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
Abstract
根据本公开的实时视频制作系统包括根据远程控制信号控制其成像动作的多个照相机和接收通过多个照相机的成像获得的单独视频信号并传送基于单独视频信号的主线视频信号的云服务器。云服务器根据作为从外部接收的与视频的编辑相关的操作信号的第一操作信号、通过基于接收的多个单独视频信号的视频的输出控制、获得主线视频信号,并且根据作为从外部接收的与照相机的控制相关的操作信号的第二操作信号、传送对于多个照相机中的至少一个的远程控制信号。
Description
技术领域
本公开涉及实时视频制作系统、实时视频制作方法和云服务器。
背景技术
用于制作视频内容的技术是已知的。其中,用于通过使用云服务器上的虚拟功能(例如,编辑功能等)制作视频内容的技术是已知的。
引文列表
专利文件
专利文件1:日本专利申请公开No.2015-056761
发明内容
本发明要解决的问题
根据现有技术,通过用户终端和内容制作设备之间的通信,通过云计算实现现有内容的编辑。
然而,在现有技术中,目的是就通过减少用户编辑现有内容的负担提高效率,例如,不考虑实时广播或分发由布置在体育场等中的照相机成像的视频时的视频制作。还希望提高这种实时视频制作的效率。
因此,本公开提出了可以提高实时视频制作的效率的实时视频制作系统、实时视频制作方法和云服务器。
问题的解决方案
为了解决上述问题,根据本公开的某个方面的实时视频制作系统包括根据远程控制信号控制其成像动作的多个照相机和接收通过多个照相机的成像获得的单独视频信号并传送基于单独视频信号的主线视频信号的云服务器,其中,云服务器根据作为从外部接收的与视频的编辑相关的操作信号的第一操作信号、通过基于接收的多个单独视频信号的视频的输出控制、获得主线视频信号,并且根据作为从外部接收的与照相机的控制相关的操作信号的第二操作信号、传送对于多个照相机中的至少一个的远程控制信号。
附图说明
图1是示出根据本公开的第一实施例的实时视频处理的示例的示图。
图2是示出根据本公开的第一实施例的实时视频制作系统的配置示例的示图。
图3是示出根据本公开的第一实施例的实时视频制作系统的示例的示图。
图4是示出根据本公开的第一实施例的云服务器的配置示例的示图。
图5是示出根据第一实施例的实时视频制作系统的处理示例的流程图。
图6是示出根据本公开的第二实施例的实时视频制作系统的示例的示图。
图7是示出根据本公开的第二实施例的实时视频制作系统的配置示例的示图。
图8A是示出对于视频照相机的电力供给的示例的示图。
图8B是示出对于视频照相机的电力供给的示例的示图。
图8C是示出对于视频照相机的电力供给的示例的示图。
图9是示出实时视频制作系统中的处理的示例的示图。
图10是示出CCU硬件中的处理的示例的示图。
图11是示出单板方法中的显像处理的示例的示图。
图12是示出三板方法的视频照相机中的处理的示例的示图。
图13是示出三板方法中的显像处理的示例的示图。
图14是示出根据本公开的第三实施例的实时视频制作系统的示例的示图。
图15是示出根据本公开的第三实施例的实时视频制作系统的配置示例的示图。
图16是示出本公开的实时视频制作系统的配置示例的示图。
图17是示出实现云服务器功能的计算机的示例的硬件配置图。
具体实施方式
以下,将基于附图详细描述本公开的实施例。注意,根据本申请的实时视频制作系统、实时视频制作方法和云服务器不受本实施例的限制。并且,在以下实施例中的每一个中,相同的部分由相同的附图标记表示,并且将省略冗余描述。
将按照以下的项目顺序描述本公开。
1.第一实施例
1-1.根据本公开的第一实施例的实时视频系统的概要
1-1-1.本公开的实时视频制作系统的部分1
1-1-1-1.成像
1-1-1-2.制作
1-1-1-3.广播
1-1-1-4.分发
1-1-2.本公开的实时视频系统的部分2
1-1-3.比较和效果等
1-2.根据第一实施例的实时视频制作系统的配置
1-2-1.根据第一实施例的实时视频制作系统的示例
1-2-1-1.根据第一实施例的云服务器的配置
1-2-2.各操作员的操作和各功能的动作
1-2-2-1.回放(Replay)
1-2-2-2.GFX
1-2-2-3.编辑(Edit)
1-2-2-4.SWer(切换器)
1-2-2-5.VE
1-2-2-6.CO
1-2-3.实时视频制作系统中的另一功能示例
1-2-3-1.云服务器的功能
1-2-3-2.主控制室中的功能
1-2-3-3.工作室中的功能
1-2-4.其它
1-2-4-1.数据通信
1-2-4-2.信号的同步
1-2-4-3.VE/CO辅助功能(对讲机)
1-3.根据第一实施例的实时视频处理的过程
2.第二实施例
2-1.根据本公开的第二实施例的实时视频制作系统的概要
2-2.根据第二实施例的实时视频制作系统的配置
2-3.对于视频照相机的电力供给的示例
2-3-1.第一个供给示例
2-3-2.第二个供给示例
2-3-3.第三个供给示例
2-4.实时视频制作系统中的处理实例
2-4-1.实时视频制作系统中的处理
2-4-2.CCU硬件中的处理
2-4-3.显像处理
2-4-4.三板方法
2-4-5.显像处理(三板方法)
3.第三实施例
3-1.根据本公开的第三实施例的实时视频制作系统的概要
3-2.根据第三实施例的实时视频制作系统的配置
4.其它实施例
4-1.其它构成示例
4-2.其它
5.根据本公开的效果
6.硬件配置
[1.第一实施例]
[1-1.根据本公开的第一实施例的实时视频系统概述]
图1是示出根据本公开的第一实施例的实时视频系统的示例的示图。并且,图1是示出根据本公开的第一实施例的实时视频制作系统1的构成示例的示图。根据本公开的第一实施例的实时视频处理由图1所示的实时视频制作系统1实现。注意,尽管下面将实时视频制作描述为体育制作的示例,但实时视频制作系统1不限于体育制作,并且可以用于制作各种对象的实时视频。
[1-1-1.本公开的实时视频制作系统的部分1]
首先,将参考图16描述本公开的实时视频制作系统5。图16是示出本公开的实时视频制作系统的配置示例的示图。
实时视频制作系统5包括诸如多个视频照相机500和实况转播车(OBVAN)600的与成像PL相关的各种设备、与制作BS相关的各种设备、与分发DL相关的各种设备以及与广播BR相关的各种设备。首先,将简要描述在实时视频制作系统5中示出的设备中的每一个。在实时视频制作系统5中,就位置而言,设备被布置在诸如体育场的现场、广播站、过顶传(over-the-top,OTT)、或者在广播站内或外的具有终端设备10的基地等。与成像PL相关的设备被布置在现场,与制作BS或广播BR相关的设备被布置在广播站,并且,与分发DL相关的设备被布置在OTT设施处。连接诸如图16中的设备的各个构成要素的点线指示视频信号。并且,图16所示的设备是包含于实时视频制作系统5中的设备的一部分,并且,实时视频制作系统5不限于图16所示的设备并且包括实现功能所必需的各种设备。通过成像PL侧的传送接收设备RX/TX 604和制作BS侧的传送接收设备RX/TX 201的功能,在成像PL和制作BS之间执行通信。并且,通过成像PL侧的传送接收设备RX/TX 604和分发DL侧的传送接收设备RX/TX 401的功能,在成像PL和分发DL之间执行通信。例如,从成像PL侧到制作BS或分发DL侧的传送是通过使用设置在OBVAN 600中的无线中继传送设备(场拾取单元(FPU))的超高频(UHF)或微波的传送。
实时视频制作系统5包括多个视频照相机500和OBVAN 600等作为与成像PL相关的各种设备。视频照相机500对被照体进行成像。例如,成像PL的视频照相机500是布置在比赛场馆(体育场)中的视频照相机。注意,尽管图16示出了用于成像PL的三个视频照相机500,但用于成像PL的视频照相机500的数量不限于三个,并且可以是四个或更多个或两个或更少。例如,实时视频制作系统5可以在相同时间(同时)为广播站和OTT制作实时视频。实时视频制作系统5可以通过同时为广播站和OTT制作实时视频来提高实时视频制作的效率。
OBVAN 600是上面安装用于记录和传送实时视频的设备的汽车,即外部广播车。在OBVAN 600中,安装诸如多个照相机控制单元(CCU)601、SWer 602和存储器603的各种设备。注意,尽管在图16中仅示出多个CCU 601、SWer 602和存储器603,但是除了多个CCU 601、SWer 602和存储器603之外,与实时视频制作相关的各种设备也被安装在OBVAN 600中。稍后将详细描述该点。
CCU 601是用于向各个视频照相机供电并执行与各个视频照相机相关的控制和调整的设备。在图16的示例中,示出分别对应于三个视频照相机500的三个CCU 601,但是成像PL的CCU 601的数量不限于三个,并且可以是两个或更少。
SWer 602是切换视频信号的设备,即所谓的切换器。SWer 602切换要在视频制作或中继现场传送(发送)的视频信号。注意,“视频信号的切换”意味着从多个视频信号选择并输出一个视频信号。存储器603是存储各种类型的信息(数据)的存储设备。例如,存储器603存储由各视频照相机500成像的视频和元数据等。SWer 602切换要传送到制作BS的SWer21的视频信号。并且,SWer 602切换要传送到分发DL的MasterSWer 41的视频信号。
实时视频制作系统5包括视频照相机500、SWer 21和CCU 22等作为与制作BS相关的各种设备。例如,制作BS的视频照相机500是布置在工作室SD中的视频照相机(系统照相机)。SWer 21是切换器,并且被布置在子工作室SS中。CCU 22被布置在子工作室SS中。注意,制作BS的各个设备的布置是示例,并且各个设备根据制作BS等的配置被布置在各个位置。
实时视频制作系统5包括MasterSWer 31等作为与广播BR相关的各种设备。例如,MasterSWer 31是切换器,并且被布置在诸如主调整室(主控制室)MC的提供广播服务的商业运营商的设施中。
实时视频制作系统5包括MasterSWer 41和分发服务器等作为与分发DL相关的各种设备。例如,MasterSWer 41是切换器,并且被布置在提供OTT服务的商业运营商的设施中。
[1-1-1-1.成像]
现在将描述实时视频制作系统5的各构成要素的细节。首先,将描述成像PL。与成像PL相关的各种设备由制作实时视频的商业运营商使用。与成像PL相关的各种设备被例如广播站或制作公司使用。以下,将描述使用与成像PL相关的各种设备的商业运营商是制作公司的情况作为示例。
制作公司从拥有广播权的内容持有人或与内容持有人签订了广播权合同的广播电台收到视频制作的请求。例如,接收了视频制作请求的制作公司在举行目标比赛的比赛场馆中准备视频制作所需的设备,诸如视频照相机500,并制作期望的视频。在图1的示例中,制作公司将视频照相机500布置在比赛场馆内,并将OBVAN 600布置在比赛场馆的附近。
安装在比赛场馆中的视频照相机500经由光纤线缆或专用同轴线缆连接到OBVAN600。在这种情况下,在图16的示例中,视频照相机500和OBVAN 600经由光纤线缆或专用同轴线缆被连接。注意,视频照相机500和OBVAN 600可以被直接连接,或者可以通过将视频照相机500连接到安装在比赛场馆中的输入终端并连接也安装在比赛场馆和OBVAN 600中的分发板而被间接连接。
视频照相机500以外的视频制作所需的设备被安装在OBVAN 600中。图16所示的OBVAN 600具有省略CCU 601和SWer 602以外的构成要素的构成,但是OBVAN 600包括CCU和SWer以外的各种设备。例如,OBVAN 600具有CCU、切换器(SWer/Mixier/Tally)、视频服务器(Video)、回放服务器(Replay)、编辑器(Edit)、图形(GFX)、监视器和同步信号发生器。注意,在图16中,视频服务器(Video)、回放服务器(Replay)、编辑器(Edit)、图形(GFX)和监视器的图示被省略。
CCU 601具有向各相应的视频照相机供给电力以及操作和管理光圈(Iris)等的设定信息的功能,并且,操作员(例如,视频工程师(VE))执行必要的图像质量调整,以不在切换各视频信号时产生不适感。VE是执行视频照相机和各种视频设备的调整和设定等的操作员。例如,VE操作多个CCU,同时观看显示于与各视频照相机对应地安装在OBVAN中的多个监视器上的各视频照相机的视频。注意,基于来自CCU的控制命令的图像质量调整本身由视频照相机执行。在图16的示例中,VE作为操作员登上OBVAN 600并执行如上所述的各种操作。如上所述,在实时视频制作系统5中,大量VE登上OBVAN 600并被发送到成像现场的附近。
并且,各视频照相机500的视频信号从相应的CCU 601经由路由器被输入到切换器、视频服务器、回放服务器或编辑器,并且,通过各设备的操作员的操作执行必要的处理。这里,视频信号基于从同步信号发生器输出的同步信号被同步(发生器锁定)。
作为切换器的SWer 602根据操作员的操作切换各视频照相机500的视频信号(还包括通过Edit和GFX处理的视频信号)或由回放服务器产生的高亮视频或慢视频的信号,并将切换的信号传送到广播站(工作室)或分发服务器(OTT)。以下,通过视频照相机500和200的成像获得的视频信号可以被称为单独视频信号或视频信号,并且,通过Edit、GFX或Replay处理的视频信号可以被称为经处理的视频信号或经编辑的视频信号。另外,从后面描述的云服务器100的SWer 103或OBVAN 600的SWer 602输出并输入到制作站BS的SWer 21的视频信号可以被称为主线视频信号或第一主线视频信号。并且,从MasterSWers 31和41输出并且通过无线电塔RW等作为电视广播传送或经由云CL分发到设备DV1的视频信号可以被描述为主线视频信号或第二主线视频信号。注意,在没有特别区分地描述视频信号的情况下,例如,诸如附图中的点线等的情况,视频信号被描述为视频信号。注意,在显示等的情况的描述中,视频信号可以被简单地称为视频。
注意,在图16的示例中,它被配置为使得视频信号(第一主线视频信号)从OBVAN600的传送器(TX)被传送到工作室的接收器(RX),并且经由工作室的切换器从主控制室(主调整室)中的主切换器被输出为用于广播的视频信号(第二主线视频信号)。即,在图16的示例中,来自OBVAN 600的第一主线视频信号经由制作BS的SWer 21被传送到广播BR的MasterSWer 31。然而,例如,根据制作的内容,OBVAN 600的切换器(SWer 602)可以在不经过工作室的情况下直接供给用于广播的视频。在这种情况下,例如,来自OBVAN 600的第一主线视频信号可以在不经过工作室(制作BS)的情况下被直接传送到广播BR的MasterSWer31。
[1-1-1-2.制作]
接下来,将描述制作BS。与制作BS相关的各种设备被制作与实时视频相关的内容的商业运营商使用。与制作BS相关的各种设备被例如广播站使用。与制作BS相关的各种设备被例如广播站的制作部门或附属站使用。
从OBVAN 600的TX传送的第一主线视频信号(由制作公司制作的视频)由广播站(制作BS)的RX接收。在比赛场馆外的视频也包含于视频制作中的情况下,还执行工作室中的成像。例如,在还包括诸如解说场景的视频的情况下,在图16所示的工作室SD等中还执行成像。在这种情况下,从OBVAN 600输出的工作室视频信号和第一主线视频信号被输入到工作室(子)的切换器21。工作室(子)也被称为子调整室(接收子)。通过工作室SS的视频照相机500的成像获得的单独视频信号或从OBVAN 600输出的第一主线视频信号被输入到子工作室SS的SWer 21,该子工作室SS是图16所示的工作室(子)。
并且,工作室(子)可以具有与OBVAN中的功能的一部分相同的功能(Replay、Edit和GFX等),并且,通过这些功能处理的经处理的视频信号也被输入到切换器。切换器(例如,SWer 21)切换诸如输入的单独视频信号和经处理的视频信号的视频信号,并将第一主线视频信号输出到主控制(主调整室)的主切换器(例如,MasterSWer 31)。主切换器是输出用于广播的第二主线视频信号的切换器。
[1-1-1-3.广播]
接下来,将描述广播BR。与广播BR相关的各种设备由广播实时视频的商业运营商使用。与广播BR相关的各种设备由例如广播站使用。与广播BR相关的各种设备由例如广播站的传送部门或关键站使用。
从主切换器(例如,MasterSWer 31)输出的第二主线视频信号被传送为电视广播。例如,从MasterSWer 31输出的第二主线视频信号作为电视广播由无线电塔RW等传送。从主切换器输出的第二主线视频信号可以经由云服务器被网络广播。例如,从主切换器输出的第二主线视频信号被分发到设备DV1,该设备DV1是观看者经由云CL使用的终端设备。注意,云CL可能在广播BR外面,而不是在广播BR内。例如,设备DV1可以是诸如笔记本个人计算机(PC)、台式PC、智能电话、平板终端、移动电话或个人数字助理(PDA)的设备。
[1-1-1-4.分发]
接下来,将描述分发DL。与分发DL相关的各种设备由分发实时视频的商业运营商使用。与分发DL相关的各种设备由例如分发商使用。与分发DL相关的各种设备由例如提供OTT服务的商业运营商使用。
从OBVAN 600输出的第一主线视频信号被输入到OTT服务器。与广播站(传送部门)类似,OTT服务器通过使用因特网分发经由主切换器制作的视频。在图16的示例中,经由作为分发DL的主切换器的MasterSWer 41分发视频。例如,输入到主切换器的视频信号(第一主线视频信号)经由云CL被分发到设备DV2,该设备DV2是由观看者使用的终端设备。
这里,在分发DL中,与上述的广播站(制作部门)类似,可以单独设置工作室,并且,成像视频也可以包含于制作的视频中。并且,制作和分发的视频的数量不限于一个,并且可以是多个。
[1-1-2.本公开的实时视频系统的部分2]
回到图1,现在将描述本公开的实时视频制作系统1。注意,在实时视频制作系统1中,将适当地省略与实时视频制作系统5的点类似的点的描述。在以下示例中,能够通过使用云或后面描述的多接入边缘计算(MEC)提高实时视频制作的效率。例如,实时视频制作系统1可以通过使用云服务器100提高实时视频制作的效率。
实时视频制作系统1包括诸如多个视频照相机200的与成像PL相关的各种设备、云服务器100、终端设备10、与制作BS相关的各种设备、与分发DL相关的各种设备以及与广播BR相关的各种设备。首先,将简要描述在实时视频制作系统1中示出的各设备。注意,连接诸如图1中的设备的各个构成要素的点线指示视频信号。并且,图1所示的设备是包含于实时视频制作系统1中的设备的一部分,并且实时视频制作系统1不限于图1所示的设备,并且包括实现功能所需要的各种设备。
实时视频制作系统1包括视频照相机200-1、200-2和200-3等作为与成像PL相关的各种设备。在没有特别区别地描述视频照相机200-1、200-2和200-3等的情况下,它们被称为视频照相机200。例如,成像PL的视频照相机200是布置在比赛场馆中的视频照相机(系统照相机)。注意,尽管在图1中对成像PL示出三个视频照相机200,但是用于成像PL的视频照相机200的数量不限于三个,并且可以是四个或更多个或两个或更少。
视频照相机200对被照体进行成像。各视频照相机200通过无线通信经由因特网与云服务器100通信。各视频照相机200通过无线通信将成像的单独视频信号传送到云服务器100。只要可以确保其中可以传送视频信号的频带,无线通信的通信方法可以是任何通信方法。例如,无线通信的通信方法可以是蜂窝网络,诸如第三代移动通信标准(3G)、第四代移动通信标准(4G)、长期演进(LTE)或第五代移动通信标准(5G),或者可以是Wi-Fi(注册商标)(Wireless Fidelity)等。在无线通信的通信方法是蜂窝网络的情况下,各视频照相机200与蜂窝网络通信并进一步经由因特网与云服务器100通信,并且,在无线通信的通信方法是Wi-Fi的情况下,各视频照相机200经由因特网直接连接到云服务器。注意,将在后面描述视频照相机200的细节。
云服务器100是用于提供云服务的服务器设备(计算机)。云服务器100具有作为接收设备的RX 101的功能。云服务器100通过RX101的功能向以及从远程定位的视频照相机200传送和接收信息(信号)。
云服务器100具有CCU的功能中的至少一部分。云服务器100具有实现CCU的功能中的至少一部分的CCU 102。如上所述,云服务器100被用于在云上实现CCU的功能。以下,由云服务器100实现的CCU的功能可以被称为CCU软件。
并且,云服务器100具有切换视频信号的切换器的功能。云服务器100具有SWer103。例如,云服务器100通过SWer 103实现作为切换器的功能。
云服务器100通过SWer 103切换要传送到制作BS的SWer 21的视频信号。例如,云服务器100通过SWer 21在从各个视频照相机200接收的单独视频信号中选择要传送到制作BS的SWer 103的视频信号。云服务器100通过云切换器的功能切换要传送到分发DL的MasterSWer 41的视频信号。例如,云服务器100通过云切换器的功能在从各个视频照相机200接收的单独视频信号中选择要传送到分发DL的MasterSWer 41的视频信号。
例如,成像PL和云之间的关系是经由基站或核心网(核心网络)的关系。无线通信由照相机和基站执行,并且,基站、核心网和因特网通过有线被连接,并且,在此期间,执行优先通信。在照相机和基站之间执行无线通信,并且,在基站、核心网和因特网经由有线被连接的同时执行有线通信。在图1的示例中,如两点链线所示,成像PL和云服务器100具有经由基站50或核心网的关系。例如,视频照相机200和云服务器100经由基站或核心网彼此通信。例如,视频照相机200和云服务器100经由基站50彼此通信。例如,基站50可以是提供5G通信的基站(5G基站)。例如,在视频照相机200和基站50之间执行无线通信,并且,在基站50、核心网和因特网经由有线被连接的同时执行有线通信。例如,视频照相机200经由基站50或核心网将成像的单独视频信号传送到云服务器100。云服务器100接收多个单独视频信号,并经由基站50或核心网传送远程控制信号。例如,云服务器100通过5G通信接收多个单独视频信号。例如,云服务器100通过5G通信传送远程控制信号。注意,在图1以外的附图中,与图1同样地,成像PL与云或MEC之间的关系由两点链线指示,并且,将省略其描述。
云服务器100具有作为存储各种类型的信息(数据)的存储设备的功能。例如,云服务器100通过Storage 104实现作为存储设备的功能。云服务器100通过存储设备的功能存储由各视频照相机200成像的视频。
实时视频制作系统1包括视频照相机500、SWer 21和CCU 22等作为与制作BS相关的各种设备。SWer 21从云服务器100接收第一主线视频信号。SWer 21被布置在广播站(制作BS)中,并且用作从云服务器100接收第一主线视频信号的接收设备。
实时视频制作系统1包括MasterSWer 31等作为与广播BR相关的各种设备。实时视频制作系统1包括MasterSWer 41和分发服务器等作为与分发DL相关的各种设备。MasterSWer 41从云服务器100接收第一主线视频信号。
终端设备10是用于实现诸如VE的操作员的远程操作的计算机。终端设备10例如被用于广播站或广播站以外的另一个基地(成像现场以外)中。终端设备10经由无线通信向云服务器100传送和从云服务器100接收信息。终端设备10具有作为远程控制器的RC 11的功能。终端设备10将关于通过RC 11的功能从操作员接收的操作的信息传送到云服务器100。注意,将在后面描述由各操作员使用的终端设备10的细节。
终端设备10具有作为显示设备的监视器12的功能。终端设备10显示通过监视器12的功能从云服务器100接收的视频。注意,将在后面描述终端设备10的细节。并且,在图1的示例中,示出由终端设备10实现RC 11的功能和监视器12的功能的情况,但是实现RC 11的功能的设备和实现监视器12的功能的设备可以是单独的主体。例如,RC 11的功能可以由操作员的笔记本PC、台式PC、智能电话、平板终端、移动电话和PDA等实现,并且,监视器12的功能可以由与RC 11的设备分离的大显示器实现。
[1-1-3.比较和效果等]
如上所述,在实时视频制作系统1中,通过使用云服务器100,能够灵活安排参与实时视频制作的人员的物理位置,并因此能够提高实时视频制作的效率。
在图16的实时视频制作系统5中,诸如VE ride的操作员所在的OBVAN 600被发送到诸如比赛场馆的视频被成像的地方(也称为“现场”),并且,执行实时视频制作。如上所述,在实时视频制作系统5中,必须将OBVAN 600移动到现场,并且,诸如VE的操作员被绑定的时间变得更长。如下文所述,实时视频制作系统1可以比实时视频制作系统5进一步提高实时视频制作的效率。
在实时视频制作系统1中,实时视频制作系统5中的OBVAN 600的功能被设置在云上,使得可以提高实时视频制作的效率。在实时视频制作系统1中,云(云服务器100)具有与基于多个视频的视频输出控制相关的功能(云切换器等)和与远程控制相关的功能。
通过如上所述的构成,在实时视频制作系统1中,视频照相机的各视频信号被输入到云服务器100而不是OBVAN,并且,各操作员可以在与现场(比赛场馆)不同的远程位置操作。在实时视频制作系统1中,由于可以在不去现场的情况下在预定的基地处聚合资源,因此现场处的资源减少。还存在希望与受限的导演一起高效运作的问题,通过在一个地方集成VE等,导演只需要在基地,而无需让导演去现场。另外,在实时视频制作系统1中,能够减少现场的视频照相机与CCU之间的连接、布线以及布线后测试的初步准备等,并因此也能够提高工作流的效率。并且,在实时视频制作系统1中,通过聚合制作人员,每天可以由相同的人员制作多条内容。
如上所述,实时视频制作系统1可以通过使用云服务器100在不使用OBVAN的情况下执行实时视频制作。因此,实时视频制作系统1允许灵活安排参与实时视频制作的人员的物理位置,并且可以提高实时视频制作的效率。
[1-2.根据第一实施例的实时视频制作系统的配置]
将描述图2中所示的实时视频制作系统1。如图2所示,实时视频制作系统1包括云服务器100、视频照相机200和终端设备10。云服务器100、视频照相机200和终端设备10经由预定通信网络(网络RN)以无线或有线方式可通信地连接。在图2中,视频照相机200经由基站50通信,并且进一步经由作为因特网的网络RN与云服务器100通信。例如,在视频照相机200和基站50之间执行无线通信,并且,在通过有线连接基站50、核心网和作为因特网的网络RN的同时执行有线通信。注意,在通信方法是Wi-Fi的情况下,视频照相机200经由作为因特网的网络RN直接与云服务器100通信。并且,图2的示例示出核心网不包含于网络RN中的情况。注意,网络RN可以包括核心网。图2是示出根据第一实施例的实时视频制作系统的配置示例的示图。
注意,图2所示的实时视频制作系统1可以包括多个云服务器100、多个视频照相机200和多个终端设备10。例如,图1的示例示出实时视频制作系统1包括三个视频照相机200的情况。例如,实时视频制作系统1可以包括分别对应于多个操作员的多个终端设备10。注意,尽管在图2中仅示出云服务器100、视频照相机200和终端设备10,但实时视频制作系统1不限于云服务器100、视频照相机200和终端设备10,并且可以包括如图1和图3所示的各种设备。
云服务器100是用于在实时视频制作系统1中实现云计算的信息处理设备。云服务器100是设置在与视频照相机200所在的成像地点(现场)不同的点(基地)处的设备。云服务器100执行与由视频照相机200成像的视频相关的信号处理。云服务器100经由无线通信连接到视频照相机200。
云服务器100经由无线通信接收多个视频照相机200通过成像获得的单独视频信号,并传送基于单独视频信号的主线视频信号(第一主线视频信号)。云服务器100根据作为从外部接收的与视频的编辑相关的操作信号的第一操作信号、通过基于接收的多个单独视频信号的视频的输出控制、获得主线视频信号。云服务器100根据作为与从外部接收的视频照相机200的控制相关的操作信号的第二操作信号,经由无线通信传送对于多个视频照相机200中的至少一个的远程控制信号。
云服务器100执行对应于从终端设备10接收的操作信号的处理。云服务器100执行对于操作员与操作由操作员(VE)选择的视频照相机200的摄像师之间的通信启用通过语音的通信的处理。云服务器100使用其中多个视频照相机200中的每一个和操作多个视频照相机200中的每一个的摄像师彼此关联的信息,以指定操作由操作员选择的视频照相机200的摄像师,并且执行通过对讲机等在操作员与摄像师之间启用通过语音的通信的处理。
云服务器100执行包括输出切换、视频合成、静止图像生成、运动图像制作或回放视频制作中的至少一个的输出控制。云服务器100执行包括切换器(Switcher)、编辑(Edit)、图形(GFX)或回放(Replay)中的至少一个的处理。
云服务器100将用于远程控制视频照相机200的远程控制信号传送到多个视频照相机200中的至少一个。云服务器100传送用于调整摇摄、倾斜或变焦中的至少一个的远程控制信号。云服务器100将用于远程控制视频照相机200的位置的远程控制信号传送到视频照相机200的位置改变机构。云服务器100具有视频分析功能,并且通过使用分析结果提取或生成诸如Stats信息的信息。并且,云服务器100具有将单独视频信号、主线视频信号、编辑的视频信号、STATS和用于CMS的元信息等聚合于数据库(DB)中的功能。
云服务器100实现照相机控制单元的功能。并且,云服务器100是执行与由视频照相机成像的视频相关的信号处理的信号处理设备。例如,云服务器100与视频照相机通信并向视频照相机供给基准信号。基准信号在云服务器100中生成并用于稍后描述的同步。并且,例如,云服务器100从视频照相机接收信号,对接收的信号执行处理,并以预定格式输出信号。例如,云服务器100具有控制视频照相机的光圈、视频信号的白电平和黑电平、以及色调等的功能。例如,云服务器100向视频照相机传送用于控制视频照相机的光圈、视频信号的白电平和黑电平、以及色调等的控制信号。
例如,云服务器100或制作BS的设备具有用于连接控制/管理功能的软件(连接控制管理软件,Connection Control Manager software),该软件控制和管理视频照相机200和云服务器100之间的连接以及由视频照相机200获取的视频的实时传送(实时流)。该软件包括与用户界面(UI)显示控制相关的程序,该用户界面(UI)显示控制用于显示对应于从连接到云服务器100的多个视频照相机200传送的视频的缩略图,并监视来自各接收器的输出状态。并且,包括用于显示用于控制视频照相机200的连接、传送比特率和延迟量的UI的程序。并且,用于确保与诸如视频照相机200的设备的通信质量的服务质量(QoS)被安装在云服务器100或制作BS的设备上。例如,通过使用包括用于QoS的前向纠错(FEC)的MPEG-2TS或MPEG媒体传输(MMT)等传送视频等。并且,例如,在QoS中,根据传送路径的情况或特性执行传送频带的调整或缓冲区大小的调整。
视频照相机200具有无线通信的功能,并且经由无线通信连接到云服务器100。根据远程控制信号控制视频照相机200的成像动作。视频照相机200无线传送成像的单独视频信号。视频照相机200将成像的单独视频信号传送到云服务器100。
视频照相机200包括例如互补金属氧化物半导体(CMOS)图像传感器(也称为“CMOS”)作为图像传感器(成像元件)。注意,视频照相机200不限于CMOS,并且可以包括各种图像传感器,诸如电荷耦合器件(CCD)图像传感器。
视频照相机200具有由诸如中央处理单元(CPU)、微处理单元(MPU)、专用集成电路(ASIC)或现场可编程门阵列(FPGA)的集成电路实现的控制单元。例如,通过使用随机存取存储器(RAM)等作为工作区执行存储在视频照相机200内的程序,实现视频照相机200的控制单元。注意,视频照相机200的控制单元不限于CPU、MPU、ASIC或FPGA,并且可以通过各种手段实现。
视频照相机200包括例如由网络接口卡(NIC)或通信电路等实现的通信单元,以有线或无线方式连接到网络RN(因特网等),并经由网络RN向以及从诸如云服务器100的其它设备传送和接收信息。在图2的示例中,视频照相机200以无线的方式向以及从云服务器100传送和接收视频信号和远程控制信号等。注意,视频照相机200可以通过可拆卸地附着的无线传送盒而具有通信功能。在这种情况下,无线传送盒可拆卸地附着到视频照相机200,并且,成像的单独视频信号通过无线传送盒通过使用预定的通信方法被传送到最近的通信基站或接入点,并且经由因特网由安装在广播站中的接收器(Rx)接收。注意,无线传送盒的功能可以内置在视频照相机200中。在可拆卸的配置的情况下,能够在发生故障等时容易地执行维护和升级软件。另一方面,在无线传送盒的功能内置于视频照相机200中的情况下,能够减小整个设备的尺寸并降低其成本。
并且,视频照相机200可以具有位置改变机构。例如,位置改变机构可以具有例如轮胎和驱动轮胎的电动机(驱动单元)等,并且可以被配置为使视频照相机200用作车辆。例如,位置改变机构可以具有例如螺旋桨(推进器)和驱动螺旋桨的电动机(驱动单元)等,并且可以被配置为使视频照相机200用作诸如无人机的无人空中交通工具(UAV)。视频照相机200的位置改变机构从云服务器100接收用于远程控制视频照相机200的位置的远程控制信号。视频照相机200的位置改变机构基于接收的远程控制信号移动。
终端设备10是用于远程操作的计算机(信息处理设备)。终端设备10对于各操作员可能不同,或者可能相同。例如,终端设备10可以是诸如笔记本PC、台式PC、智能电话、平板终端、移动电话或PDA的设备。终端设备10由操作员使用,并将对应于操作员的操作的操作信号传送到云服务器100。终端设备10将指示由操作员在多个视频照相机200中选择的视频照相机200的信息传送到云服务器100。
终端设备10是由诸如VE的操作员使用的设备。终端设备10接收来自操作员的输入。终端设备10通过操作员的操作接收输入。终端设备10显示信息以向操作员通知该信息。终端设备10根据操作员的输入显示信息。终端设备10从诸如云服务器100的外部设备接收信息。只要可以执行如上所述的诸如接收、传送和显示的处理,终端设备10就可以是任何设备。
终端设备10具有对应于图1中的RC 11的控制单元。终端设备10通过控制单元控制各种类型的处理。终端设备10的控制单元由诸如CPU、MPU、ASIC或FPGA的集成电路实现。例如,通过使用RAM等为工作区执行存储在终端设备10中的程序,实现终端设备10的控制单元。注意,终端设备10的控制单元不限于CPU、MPU、ASIC或FPGA,并且可以由各种手段实现。
终端设备10包括例如由NIC或通信电路等实现的通信单元,以有线或无线方式连接到网络RN(因特网等),并经由网络RN向以及从诸如云服务器100的另一设备等传送和接收信息。在图2的示例中,终端设备10以无线或有线方式经由网络RN向以及从云服务器100传送和接收操作信号等。
终端设备10具有对应于图1中的监视器12的显示单元。终端设备10在显示单元上显示各种类型的信息。终端设备10的显示单元由例如液晶显示器或有机电致发光(EL)显示器等实现。终端设备10具有接收诸如VE的操作员的操作的输入单元。终端设备10的输入单元可以由设置在终端设备10中的按钮、连接到终端设备10的键盘、鼠标或触摸面板实现。
[1-2-1.根据第一实施例的实时视频制作系统的示例]
实时视频制作系统1不限于终端设备10、云服务器100和视频照相机200,并且可以包括各种构成要素。实时视频制作系统1可以包括设置在工作室或子工作室等中的设备、设置在诸如主控制室的与广播相关的设施中的设备、或者设置在诸如OTT的与分发相关的设施中的设备等。
就此,将描述根据第一实施例的云服务器100的配置。图3是示出对应于根据本公开的第一实施例的实时视频制作系统的功能块(由软件实现)的示例的示图。注意,与图1和图2的点类似的点的描述将被适当地省略。
首先,将根据图1更详细地简要描述在实时视频制作系统1中示出的各设备。注意,连接诸如图3中的设备的各个构成要素的点线表示视频信号。另外,连接诸如图3中的设备的各个构成要素的一点链线指示控制信号。并且,连接诸如图3中的设备的各个构成要素的实线指示视频信号和控制信号以外的信息,例如,诸如元信息的其它信息。图3所示的箭头的方向示出信息流的示例,并且,视频信号、控制信号或元信息等的流不限于箭头的方向。例如,视频信号、控制信号或元信息等可以从箭头处的构成要素被传送到箭体处的构成要素,或者可以在没有箭头的构成要素之间传送和接收信息。例如,在图3中,在云服务器100的云切换器(SWer 103等)和通过没有箭头的点线连接的制作BS的SWer 21之间执行主线视频信号等的传送和接收。并且,图3所示的设备是包含于实时视频制作系统1中的设备的一部分,并且实时视频制作系统1不限于图3所示的设备,并且包括实现功能所必需的各种设备。
[1-2-1-1.根据第一实施例的云服务器的配置]
首先,在描述图3之前,将参考图4描述云服务器100的配置。图4是示出根据本公开的第一实施例的云服务器的配置示例的示图。
如图4所示,云服务器100具有通信单元110、存储单元120、控制单元130和DB 140。注意,云服务器100可以具有从云服务器100的管理员等接收各种操作的输入单元(例如,键盘或鼠标等)和显示各种类型的信息的显示单元(例如,液晶显示器等)。
通信单元110由例如NIC等实现。然后,通信单元110连接到网络RN(参见图2),并向以及从实时视频制作系统1的各设备传送和接收信息。通信单元110经由无线通信向以及从远程定位的视频照相机200传送和接收信号。通信单元110从视频照相机200接收单独视频信号(成像信号)。通信单元110向视频照相机200传送控制信号。
存储单元120由例如诸如RAM或快擦写存储器的半导体存储元件或诸如硬盘或光盘的存储设备实现。存储单元120具有存储各种信息的功能。可以在存储单元120中聚合单独视频信号、主线视频信号、编辑的视频信号、STATS和用于CMS的元信息等。并且,这些信息可用于数据归档和新闻视频制作等。
存储单元120存储多个视频照相机200中的每一个与操作多个视频照相机200中的每一个的摄像师相关联的信息。存储单元120存储用于输出切换、视频合成、静止图像生成、运动图像制作和回放视频制作的信息。存储单元120存储用于实现作为切换器(Switcher)、编辑(Edit)、图形(GFX)、回放(Replay)或CMS的功能的信息。并且,存储单元120存储用于实现作为CCU的功能的信息。
控制单元130通过例如使用RAM等作为工作区执行存储在云服务器100内的程序(例如,根据本公开的信息处理程序等)的CPU或MPU等实现。并且,控制单元130是控制器,并且由诸如ASIC或FPGA的集成电路实现。
如图4所示,控制单元130具有通信控制单元131和处理单元132,并且实现或执行下面描述的信息处理的功能和作用。注意,控制单元130的内部配置不限于图4所示的配置,并且,只要执行后面描述的信息处理,就可以是另一配置。并且,包含于控制单元130中的各处理单元的连接关系不限于图4所示的连接关系,并且可以是另一连接关系。
通信控制单元131控制通过通信单元110的通信。通信单元110在通信控制单元131的控制下执行通信。
处理单元132执行与视频信号相关的信号处理。处理单元132分析由视频照相机200成像的视频。处理单元132提取各种类型的信息,诸如Stats信息。处理单元132生成各种类型的信息,诸如Stats信息。处理单元132执行切换输出的处理。处理单元132执行合成视频的处理。处理单元132执行生成静止图像的处理。处理单元132执行生成运动图像的处理。处理单元132执行生成回放视频的处理。
处理单元132执行SWer 103的功能。处理单元132执行Edit 107的功能。处理单元132执行GFX 108的功能。处理单元132执行Replay 106的功能。
DB 140包括统计(stats)112和事件相关信息DB。DB 140是存储stats信息和事件相关信息的数据库。注意,DB 140可以包含于存储单元120中。
以下,将参考图3进行描述。云服务器100具有作为通信单元110的RX/TX 105。RX/TX 105是更详细地描述图1的RX 101的配置。
云服务器100的CCU 102提供转换视频信号以及操作和管理系统照相机的设定信息的功能。
云服务器100的SWer 103切换输入到云服务器100的视频信号(单独视频信号)和在云服务器100中生成的视频信号(处理的视频信号),并将信号输出到云服务器100的外部。例如,云服务器100的SWer 103可以在该切换时叠加诸如telop(卡片)和logo(徽标)的图形。并且,云服务器100的SWer 103具有在切换时向视频给予特殊效果(擦除、图形、淡入/淡出)的功能。
并且,云服务器100具有用于制作回放视频的Replay 106。例如,云服务器100通过Replay 106生成诸如高亮显示的视频。
例如,Replay 106基于从外部(用户)输入到云服务器100的操作信息,生成基于输入到云服务器100并存储在其中的视频信号(单独视频信号)的回放视频。注意,将在后面描述Replay 106的功能和负责Replay 106的操作员的细节。
并且,云服务器100具有用于编辑运动图像等的Edit 107。例如,通过Edit 107,云服务器100将诸如对球员的采访或介绍的运动图像插入到视频中,或者将运动图像叠加到视频上。
例如,Edit 107基于从外部(终端设备10)输入到云服务器的操作信息,执行输入到云服务器100的视频信号的编辑,并生成经编辑的处理视频信号(经编辑的视频信号)。注意,将在后面描述Edit 107的功能和负责Edit 107的操作员的细节。
并且,云服务器100具有用于使用静止图像或运动图像等的图形的GFX 108。例如,云服务器100使GFX 108在视频上叠加记分板、telop或球员的照片等。云服务器100的GFX通过使用诸如由云服务器100的Stats 112保持的Stats信息的信息执行叠加。
例如,GFX 108基于从外部(终端设备10)输入到云服务器100的操作信息,执行输入到云服务器100的视频信号(单独视频信号)的编辑,并生成添加了图形的视频信号(经处理的视频信号)。例如,GFX 108与SWer 103(云上的视频切换器)协作地叠加图形。注意,将在后面描述GFX 108的功能和负责GFX 108的操作员的细节。
并且,云服务器100具有用于分析视频并且通过使用分析结果提取或生成诸如Stats信息的信息的Analytics 109。例如,云服务器100可以通过分析(Analytics)109分析体育场的传感器(例如,附着到球员的GPS等)或视频,并执行可视化(例如,球员的移动等)的处理。云服务器100可以通过Analytics 109识别球员的面部,并且执行基于识别结果显示指定球员的信息的处理。云服务器100可以通过Analytics 109自动生成回放视频。并且,云服务器100可以通过Analytics 109使用与机器学习或人工智能(AI)相关的技术执行分析处理。云服务器100可以通过Analytics 109使用操作员操作的历史信息,通过与机器学习或人工智能(AI)相关的技术,执行与由人执行的操作相关的自动化。例如,作为实现Analytics 109的功能的方法的示例,云服务器100可以通过使用由高技能操作员(专家)操作的历史信息,通过与机器学习或人工智能(AI)相关的技术,执行关于由人执行的操作的自动化。
云服务器100具有CMS 111。云服务器100的CMS 111用作内容管理系统(ContentsManagement System)。云服务器100的CMS 111是与Storage 104协作并管理内容数据的控制单元。CMS 111提供从各种系统和功能接收与覆盖、处理、传送和分发相关的视频、音频和各种元数据,将视频、音频和各种元数据保持在存储器中,并且高效地执行其搜索、浏览和编辑的功能。
云服务器100的Stats 112对应于图1中的云服务器100的Storage 104。云服务器100的Stats 112从体育场中的传感器或从外部服务器接收游戏信息等,并存储游戏信息等。在图3的示例中,云服务器100的Stats 112从外部服务器NW1接收游戏信息等。例如,云服务器100的Stats 112可以从由托管游戏的组织管理的外部服务器NW1接收游戏信息等。Stats 112可以包括Analytics 109的分析结果。
云服务器100的数据Mng 113对应于图1中的云服务器100的Storage 104。云服务器100的数据Mng 113主要提供存储和管理通过分析视频生成的数据和诸如从外部系统接收的天气的数据的功能。在图3的示例中,云服务器100的数据Mng 113从云服务器100的Analytics 109或外部服务器NW2接收诸如分析结果的信息。例如,云服务器100的数据Mng113接收诸如Analytics 109的分析结果的信息。例如,云服务器100的数据Mng 113向云服务器100的Stats 112提供诸如接收的分析结果的信息。
制作BS的Edit 23提供与云服务器100的Edit 107的功能类似的功能。制作BS的Edit 23是提供与云服务器100的Edit 107的功能类似的与编辑相关的功能的设备。并且,制作BS的GFX 24提供与云服务器100的GFX 108的功能类似的功能。制作BS的GFX 24是提供云服务器100的GFX 108的功能类似的与编辑相关的功能的设备。制作BS的数据库DB存储在制作BS中使用的各种类型的信息(包括作为存档的过去视频)。制作BS的数据库DB可以具有与云服务器100的Storage 104、Stats 112和Data Mng 113等类似的信息。
广播BR的数据库DB存储在广播BR中使用的各种类型的信息。广播BR的数据库DB可以具有与云服务器100的Storage 104、Stats 112和Data Mng 113等类似的信息。分发DL的数据库DB存储在广播BR中使用的各种类型的信息。分发DL的数据库DB可以具有与云服务器100的Storage 104、Stats 112和Data Mng 113等的信息类似的信息。
根据各操作员的操作和各功能的动作,使用多个终端设备10。例如,为各操作员准备终端设备10。在图3中,一个终端设备10被示为控制多个功能,但各终端设备10控制相应的功能。
[1-2-2.各操作员的操作和各功能的动作]
现在将描述各操作员使用终端设备10的操作和通过各功能的动作。首先,将描述视频制作系统的操作员。注意,一个操作员也可以充当多个角色。在这种情况下,各个操作员的终端设备可以是统一的。
[1-2-2-1.回放(Replay)]
将描述操作员的操作和与Replay相关的功能的动作。以下,与Replay相关的操作员可以被称为“RO”。
例如,用于RO的终端设备10包括显示各个视频照相机视频的监视器(可以集成到一个监视器中)和用于编辑Replay视频的操作单元(例如,操作面板)。操作面板包括用于生成或再现Replay视频的功能,例如,用于切换照相机视频的功能、用于在时间轴(入点/出点)上剪切相机视频的功能、用于裁剪和放大/缩小相机视频的功能、用于倒带或快进照相机视频的功能、以及用于使照相机视频以慢动作再现的功能等。并且,用于RO的终端设备10包括对应于各功能的操作单元。RO对对应于这些功能的操作单元执行操作,并且诸如当发生预定事件(例如,得分场景等)时制作Replay视频。
根据需要,从各视频照相机200接收的照相机视频被存储在云服务器100(存储功能)中。终端设备10经由云服务器100(存储功能)实时接收各个照相机视频,在监视器上并排显示照相机视频,并显示用于编辑的视频。RO在检查在监视器上显示的视频的同时,在操作面板上对对应于上述各功能中的每一个的操作单元执行操作,并且在云服务器100上通过使用例如桌面即服务(DaaS)功能制作Replay视频。此时,终端设备10将对应于通过操作单元的操作的操作信号传送到云(云服务器100等),并且根据操作信号在云服务器100中对视频执行各种类型的处理。
云服务器100可以下变换各视频,然后执行流式分发,或者可以并行分发下变换视频(HD等)和非下变换视频(4K等)。在这种情况下,例如,在终端设备10与各操作员的监视器分离地包括主监视器的情况下,可以为主监视器输出非下变换视频。
[1-2-2-2.图形(GFX)]
将描述操作员的操作以及与GFX相关的功能的动作。以下,与GFX相关的操作员可以被称为“GFXO”。注意,云服务器100(Stats功能)将要添加到视频的Stats信息存储为诸如球员信息的图形。Stats信息可以被预先注册,或者可以经由网络被获取。
例如,用于GFXO的终端设备10包括显示主线视频的监视器和用于编辑GFX视频的操作面板。操作面板包括用于切换照相机视频的功能、用于指定在照相机视频上叠加图形的区域的功能、用于读取Stats信息的功能和用于在指定区域上叠加预定信息(例如,读取的Stats信息)的功能等。并且,用于RO的终端设备10包括对应于各功能的操作单元(包括触摸UI)。GFXO操作对应于这些功能的操作单元,并在发生预定事件(球员进入场景和得分场景等)时制作GFX视频。注意,整个处理可以部分自动化,而不是由GFXO的操作执行。例如,可以基于图像识别检测得分场景等,并且可以根据检测结果自动叠加得分。
例如,用于GFXO的终端设备10通过无线通信或有线通信实时接收从云服务器100(SWer功能)输出的主线视频,并在监视器上显示主线视频。在检查在监视器上显示的视频的同时,GFXO在操作面板上对对应于上述各功能的操作单元执行操作,并且通过在云服务器上使用DaaS功能制作GFX视频。此时,终端设备10将对应于通过操作单元的操作的操作信号传送到云(云服务器100等),并且根据操作信号在云服务器100中对视频执行各种类型的处理。
例如,在用于GFXO的终端设备10与用于操作员的监视器分离地包括主监视器的情况下,可以为主监视器分发和输出非下变换视频。
[1-2-2-3.编辑(Edit)]
将描述操作员的操作和与Edit相关的功能的动作。以下,编辑操作员(EditOperator)操作员可以被称为“EditO”。注意,将省略与上述GFX类似的点的描述。
例如,EditO的终端设备10包括显示主线视频的监视器和用于编辑GFX视频的操作面板。例如,EditO主要执行与运动图像的编辑相关的操作。例如,EditO执行与采访视频和球员介绍视频等的编辑相关的操作。
在确认在监视器上显示的视频的同时,EditO在操作面板上对对应于上述运动图像编辑功能的操作单元执行操作,并且通过使用DaaS功能在云服务器上制作视频。此时,终端设备10将对应于通过操作单元的操作的操作信号传送到云(云服务器100等),并且根据操作信号在云服务器100中对视频执行各种类型的处理。例如,在用于EditO的终端设备10与操作员的监视器分离地包括主监视器的情况下,可以为主监视器分发和输出非下变换视频。注意,运动图像编辑基本上是预先离线准备的(存储在DB中),但是可以在实时观看游戏等的情况时执行运动图像编辑。EditO可以以与RO相同的方式实时执行编辑。
[1-2-2-4.SWer(切换器)]
将描述操作员的操作以及与SWer相关的功能的动作。以下,与SWer相关的操作员可以被称为“SWerO”。
SWer(切换器)具有执行视频信号的切换处理和诸如叠加的合成处理的功能。例如,用于SWerO的终端设备10包括显示各自的照相机视频、Replay视频和GFX视频的监视器(可以集成到一个中)以及用于通过切换各种视频生成主线视频的操作面板。操作面板具有切换各种视频(各自的照相机视频、Replay视频和GFX视频)的功能,并且包括对应于该功能的操作单元。SWerO对对应于该功能的操作单元执行操作,并且通过切换视频制作主线视频。注意,整个处理可以部分自动化,而不是由SWerO的操作执行。例如,用于SWerO的终端设备10可以基于图像识别检测得分场景等,并且执行根据检测结果自动切换视频的处理。例如,用于SWerO的终端设备10执行在体育实时广播中将评论员的视频叠加到游戏视频上的叠加(合成)处理。
例如,用于SWerO的终端设备10通过无线通信或有线通信实时接收从云服务器100(SWer功能)输出的各个照相机视频、Replay视频和GFX视频,并在监视器上并排显示各个照相机视频、Replay视频和GFX视频。SWerO在确认在监视器上显示的视频的同时,在操作面板上在视频切换定时对操作单元执行操作(例如切换)。终端设备10根据操作向云服务器100(SWer功能)传送切换(触发)信号。云服务器100(SWer功能)根据切换信号切换视频(视频信号),并输出主线视频(第一主线视频信号)。例如,在用于SWerO的终端设备10与用于操作员的监视器分离地包括主监视器的情况下,可以为主监视器分发和输出非下变换视频。
[1-2-2-5.VE]
现在将描述控制系统的操作员。将描述作为控制系统的操作员的视频工程师(Video Engineer,VE)的操作和功能的动作。
例如,用于VE的终端设备10包括对应于各个照相机视频的监视器(以照相机的数量)和用于各个视频照相机的远程操作的操作面板(以照相机的数量)。作为VE,一个人可以负责一个视频照相机,或者一个人可以负责多个(例如,三个)视频照相机。注意,这里的远程操作指示例如用于控制视频照相机200的IRIS(光圈)的远程操作。VE通过远程操作控制视频照相机的IRIS以调整照相机视频的亮度。注意,监视器和操作面板中的每一个可以由多个视频照相机共享。
注意,远程操作的对象不限于IRIS(光圈),并且可以是各种对象。远程操作的对象可以是与亮度和色调相关的各种对象。远程操作的对象可以是增益、颜色平衡(色调调整和色度/饱和度校正)、白平衡或焦点等。例如,在焦点被设定为远程操作的对象的情况下,如下文所述,可以由视频照相机的操作员(CO)最终调整焦点。
例如,用于VE的终端设备10通过无线通信或有线通信实时接收从云服务器100(SWer功能)输出的各个照相机视频,并在相应的监视器上显示各个照相机视频。VE实时检查在监视器上显示的照相机视频,并且基于来自导演的指示在操作面板上执行用于调整诸如IRIS的远程操作的对象的操作。操作面板通过无线通信或有线通信将对应于操作的操作信号传送到云服务器100(CCU功能)。云服务器100(CCU功能)生成对应于操作信号的控制信号,并基于控制信号控制远程操作的对象,诸如视频照相机的IRIS。
注意,用于VE的终端设备10可以包括用于基准视频(被设定为基准亮度的视频)的监视器。在这种情况下,VE检查在用于基准视频的监视器上显示的基准视频,以执行用于将远程操作的对象(诸如操作面板上的IRIS)调整为匹配基准视频的亮度的操作。例如,在用于VE的终端设备10与用于操作员的监视器分离地包括主监视器的情况下,可以为主监视器分发和输出非下变换视频。
[1-2-2-6.CO]
接下来,将描述作为控制系统的操作员的Camera Operator(CO)的操作以及功能的动作。
例如,用于CO的终端设备10包括对应于各个视频照相机200的监视器(以视频照相机的数量)和用于各个视频照相机200的远程操作的操作面板(以视频照相机的数量)。作为CO,一个人可以负责一个视频照相机,或者一个人可以负责多个(例如,三个)视频照相机。注意,这里的远程操作指示例如用于控制视频照相机200的摇摄-倾斜变焦(PTZ)的远程操作。CO通过远程操作控制视频照相机200的PTZ以调整照相机视频的视角。
注意,远程操作的对象不限于视频照相机200的PTZ,并且可以是各种对象。远程操作的对象可能是焦点(的调整)。并且,远程操作的对象不限于视频照相机200,并且可以是附着到视频照相机200的各种配置,诸如安装视频照相机200的照相机平台三脚架。例如,远程操作的对象可以是安装视频照相机200的移动体的XYZ控制。此时,移动体可以是无人空中交通工具,诸如小车或无人机,或者沿着在诸如体育场的设施中的场地上拉伸的线缆移动的设备。并且,根据视频照相机200的配置,远程操作的对象可以是各种对象。
例如,用于CO的终端设备10通过无线通信或有线通信实时接收从云服务器(SWer功能)输出的各个照相机视频,并在相应的监视器上显示各个照相机视频。CO实时检查在监视器上显示的照相机视频,并且基于来自导演的指示在操作面板上执行用于调整远程操作的对象(诸如PTZ)的操作。操作面板通过无线通信或有线通信将对应于操作的操作信号传送给云服务器(CCU功能)。云服务器(CCU功能)生成对应于操作信号的控制信号,并且基于控制信号控制诸如视频照相机的PTZ的远程操作对象。例如,在用于CO的终端设备10与用于操作员的监视器分离地包括主监视器的情况下,可以为主监视器分发和输出非下变换视频。
[1-2-3.实时视频制作系统中的另一功能示例]
如上所述,实时视频制作系统1不限于图1~3所示的功能,并且可能包括各种功能。将在后面描述这一点。注意,下面描述的功能是可以包含于实时视频制作系统1中的功能的示例,并且,根据实时视频制作系统1的目的或用途,可以被包含或者可以不被包含。
[1-2-3-1.云服务器的功能]
云服务器100可以具有自动化(Automation)的功能。云服务器100具有作为基于自动分析结果对各种功能(诸如切换器)进行自动控制的功能的Automation的功能。云服务器100的Automation提供一般自动化功能。
例如,Automation基于与视频处理和传送/分发相关的功能和元数据提供自动控制。例如,Automation提供基于由AI生成的场景切换信息的自动切点编辑功能和使用发送列表数据的自动发送。诸如切换器、编辑、图形和回放的各种功能由Automation自动控制。例如,云服务器100自动执行要传送的视频信号的切换工作。例如,云服务器100自动生成回放视频。
云服务器100可以具有混合器(Mixier)的功能。云服务器100的Mixier针对音频信号对各输入语音信道执行输出的存在或不存在的切换、电平控制和信道切换等,并执行音频输出。
云服务器100可以具有监视(Monitoring)的功能。云服务器100的Monitoring提供监视功能。Monitoring提供与各种系统相关的监视功能。例如,Monitoring基于由各系统或构成要素生成的日志或警报通知,执行云上的过程监视、网络监视和与物理资源的连接监视等。尤其是在网络(Network)的情况下,Monitoring提供使用通用通信技术(简单网络管理协议(SNMP)等)的监视功能。通过包含于监视功能中的UI功能,作为初步准备,各照相机与相应的操作设备或监视器关联,并且,构建连接关系。
云服务器100可以具有计数主机(Tally Master)的功能。云服务器100的TallyMaster提供与计数信号(tally signal)相关的功能。Tally Master提供这样一种功能,即,对设备通过GPI(电信号)的输入开/关管理的设备的状态通知被IP转换,并在网络云系统(实时视频制作系统1等)中被处理。
注意,上述云上的所有各种功能不限于在云上实现,并且根据实时视频制作系统1的目的或用途,可以在云外执行功能的一部分。例如,上述云上的各种功能不限于由一个云服务器100实现的情况,并且可以由多个云服务器100实现。并且,功能的一部分可以由物理CCU硬件实现。
[1-2-3-2.主控制室中的功能]
具有流量/调度(Trafic/Scheduling)系统的功能的设备可以被布置在实时视频制作系统1的主控制室(例如,广播BR等的主调整室)中。Trafic/Scheduling系统是生成和管理一天的程序配置并用适于系统的内容将其数据适当地分发给下级系统的最高阶系统。
具有自动程序控制器(Automatic Program Controller,APC)的功能的设备可以被布置在实时视频制作系统1的主控制室(例如,广播BR等的主调整室)中。APC根据通过Trafic/Scheduling系统管理的程序配置控制各种设备。
具有摄取/QC(Ingest/QC)的功能的设备可以被布置在实时视频制作系统1的主控制室(例如,广播BR等的主调整室)中。Ingest/QC基于APC的控制经由路由器捕获视频信号,并将视频信号存储在存储器中。并且,通过制作创建的程序内容被数字化并被加载到存储器中。此时,在监视器上执行用于数字化视频的质量检查的视频输出。
具有标签/索引(Tag/index)的功能的设备可以被布置在实时视频制作系统1的主控制室(例如,广播BR等的主调整室)中。Tag/index例如通过AI等对存储在存储器中的视频(也称为“视频内容”)执行分析,并向视频内容添加标签索引。视频内容是指例如以视频媒体格式存储在存储器等中的内容。或者,Tag/index将存储在存储器中的视频内容输出到监视器,并基于检查视频内容的用户的输入添加标签索引。
具有内置广告(AD-in)的功能的设备可以被布置在实时视频制作系统1的主控制室(例如,广播BR等的主调整室)中。AD-in基于APC的控制将存储在存储器中的CM(商业消息)输出到读取切换器。
具有盒中频道(Channel In-A-Box,CIAB)的功能的设备可以被布置在实时视频制作系统1的主控制室(例如,广播BR等的主调整室)中。CIAB从存储器读取视频内容,并基于APC的控制将视频内容输出到切换器。
[1-2-3-3.工作室中的功能]
在实时视频制作系统1的工作室(例如,制作BS的工作室SD或子工作室SS等)中,可以布置具有新闻室控制系统(News Room Control System,NRCS)的功能的设备。NRCS是管理各新闻节目的配置(传送列表)的专用于新闻的高阶数据系统。NRCS具有创建取材信息的计划并与传送列表一起分发计划的功能,并且具有将适当形式的信息分发给下级系统的功能。
具有新闻自动化(News Automation,NA)的功能的设备可以被布置在实时视频制作系统1的工作室(例如,制作BS的工作室SD或子工作室SS等)中。NA根据由NRCS管理的配置控制各种设备(诸如切换器)。
[1-2-4.其它]
以下,将描述上面关于实时视频制作系统1描述的点以外的点。视频的图像质量可以是各种图像质量(多格式),诸如标准动态范围(SDR)和高动态范围(HDR)。例如,可以根据通信或处理等在SDR和HDR之间转换视频的图像质量。
[1-2-4-1.数据通信]
只要可以实现实时视频制作系统1中的处理,就可以在任何模式下执行实时视频制作系统1中的数据通信。注意,在实时视频制作系统包括作为物理设备的CCU(CCU硬件)的情况下,除了视频照相机200和CCU硬件之间的信号通信,各块(构成要素)之间的信号可以是IP转换信号的通信。例如,在如在后面描述的实时视频制作系统1A中那样包括作为物理设备的CCU 300-1~300-3的情况下,除了视频照相机200和CCU 300-1~300-3之间的信号通信,各个块(构成要素)之间的信号可以是IP转换信号的通信。
[1-2-4-2.信号的同步]
只要可以实现实时视频制作系统1中的处理,就可以以任何方式执行实时视频制作系统1中的同步。
对于视频信号的同步,通过使用基准信号(主时钟)执行视频照相机200之间的同步。视频信号基于诸如从云服务器100供给的基准信号的同步信号被同步化。由于图像之间的时间可能由于云服务器100中的延迟而偏移,因此在这种情况下,在云服务器100中存在执行同步的功能。输入到SWer 103的来自多个视频照相机200的单独照相机视频(单独视频信号)彼此被同步。在该同步中,例如,通过包含于各视频的帧中的时间戳等同步视频。通过在将视频输入到SWer 103之前缓冲存储器中的各视频,例如,基于最慢的视频执行同步。例如,在SWer 103中执行上述视频信号的同步,但是可以由SWer 103以外的设备执行同步。
并且,关于操作员的操作的同步,各操作员经由终端设备10(RC 11)对视频执行的操作(诸如SWer/Edit/GFX)和对其执行操作的视频被同步。在该同步中,例如,基于包含于根据操作员的操作生成的操作信号中的时间戳和作为远程控制对象的视频的时间戳,操作信号和视频彼此同步。例如,在云中的各功能块(云服务器100等)中执行上述的操作员的操作的同步。
[1-2-4-3.VE/CO辅助功能(对讲机)]
实时视频制作系统1可以提供通过使用对讲机的功能辅助VE和CO的功能。实时视频制作系统1可以具有用于在云(云服务器100等)中为对讲机的音频数据建立/切换通信线路(在VE或CO与摄像师之间)的功能。例如,当VE或CO为了对视频照相机执行远程操作(IRIS/焦点等)而执行由终端设备10(RC 11)选择视频照相机200的操作时,云(云服务器100等)的上述功能通过使用选择操作作为触发器与选择的视频照相机200的摄像师建立音频通信线路。
云服务器100可以具有网络语音(Voice Over IP)(VoIP(因特网协议))的功能。云服务器100的VoIP提供用于传送和接收音频信号作为IP流的机制。提供VoIP以实现广播工作期间所需的双向语音通信。例如,VoIP用于游戏场所等中的本地人、远程场所的导演或操作员等之间的通信。VoIP用于诸如取材现场的实地中的人与工作室中的人之间的通信等。云服务器100可以对使用实时视频制作系统1的各用户(人)执行权限管理。例如,云服务器100可以关于VoIP的使用执行各用户(人)的权限管理。例如,云服务器100可以根据各用户(人)的权限限制可以通过VoIP执行语音通信的伙伴。
为了实现以上功能,例如,在云(云服务器100等)的存储(CMS)功能中,设备(视频照相机)的ID和与设备成套使用的对讲机的ID被相互关联地管理。然后,云服务器100通过借助于VE选择视频照相机的操作指定视频照相机的ID,并执行控制以连接与对应于ID的视频照相机相关联的对讲机和VE的所选对讲机之间的通信线路。注意,CMS可以进一步相关联地管理操作员的ID。
另外,实时视频制作系统1可以显示辅助诸如VE和CO的操作员的信息。例如,用于VE的终端设备10可以计算各照相机视频的亮度指标(数值)作为VE的基准信息。并且,用于VE的终端设备10可以显示计算的指标(数值)。终端设备10在亮度指标的计算中使用记录在Data Mng 113中的日期和时间信息以及天气信息。
[1-3.根据第一实施例的实时视频处理的过程]
接下来,将参考图5描述根据第一实施例的处理。图5是示出根据第一实施例的实时视频制作系统的处理示例的流程图。
如图5所示,云服务器100经由无线通信接收通过多个视频照相机200的成像获得的单独视频信号(步骤S101)。然后,云服务器100传送基于单独视频信号的主线视频信号(步骤S102)。云服务器100将生成的主线视频信号传送到制作BS的设备(SWer 21)。
[2.第二实施例]
实时视频制作系统的系统配置不限于上述第一实施例,并且可以是各种系统配置。在后面将描述这一点。在上述第一实施例中,已经描述了云服务器100通过CCU软件实现CCU功能的情况,但是实时视频制作系统可以包括实现CCU功能的一部分的信号处理设备。在这种情况下,实时视频制作系统可以包括与多个视频照相机200中的至少一个以及与云服务器100通信并执行作为与视频照相机200相关的处理的照相机相关处理的信号处理设备。
如上所述,第二实施例的实时视频制作系统1A包括通过CCU软件实现CCU功能的云服务器100以及作为通过使用物理硬件外壳配置的CCU(CCU硬件)并实现CCU功能的CCU300。CCU硬件可以执行第二处理,该第二处理是诸如增益调整、颜色平衡和白平衡的处理(视频处理过程),并且,CCU软件可以执行第一处理,该第一处理是非视频处理过程,诸如调整IRIS(光圈)和聚焦等的处理(例如,机械控制处理)。在这种情况下,除了诸如光圈驱动和聚焦透镜驱动的机械控制以外,CCU软件还可以执行控制处理,例如向执行视频处理的CCU硬件给予控制命令。注意,云服务器100和CCU 300之间的CCU功能的共享不限于以上示例,并且可以是任何共享。
以下,将描述分别与多个视频照相机200相关联地设置多个CCU 300的情况。如上所述,在第二实施例中,描述作为物理CCU(CCU硬件)的CCU 300被布置在云服务器100和视频照相机200之间的实时视频制作系统1A。注意,CCU硬件的功能可以由基带处理单元(BPU)实现。并且,与第一实施例类中的点似的点的描述将被适当地省略。
[2-1.根据本公开的第二实施例的实时视频制作系统的概要]
将参考图6描述根据第二实施例的实时视频制作系统的概要。图6是示出根据本公开的第二实施例的实时视频制作系统的示例的示图。将描述图6所示的实时视频制作系统1A的配置。注意,在实时视频制作系统1A中,与实时视频制作系统1类似的点的描述将被适当地省略。
实时视频制作系统1A包括诸如多个视频照相机200和多个CCU 300的与成像PL相关的各种设备、云服务器100、终端设备10、与制作BS相关的各种设备、与分发DL相关的各种设备以及与广播BR相关的各种设备。注意,连接诸如图6中的设备的各个构成要素的点线指示视频信号。另外,连接诸如图6中的设备的各个构成要素的一点链线指示控制信号。并且,连接诸如图6中的设备的各个构成要素的实线指示视频信号和控制信号以外的信息,例如,诸如元信息的其它信息。图6所示的箭头的方向示出信息流的示例,并且,视频信号、控制信号和元信息等的流不限于箭头的方向。并且,图6所示的设备是包含于实时视频制作系统1A中的设备的一部分,并且实时视频制作系统1A不限于图6所示的设备,并且包括实现功能所必需的各种设备。
实时视频制作系统1A的云服务器100执行照相机相关处理中的作为第一处理的照相机光学系统控制(非视频处理过程)。照相机光学系统控制包括调整作为视频照相机200的光学系统的光圈或焦点中的至少一个的控制。光学系统控制主要是对诸如光圈驱动机构和聚焦透镜驱动机构的机械机构的控制。
云服务器100通过RX/TX 105经由无线通信向以及从远程定位的远程CCU 300传送和接收信息(信号)。云服务器100通过RX/TX 105向以及从CCU 300传送和接收视频信号和控制信号。
实时视频制作系统1A包括视频照相机200-1、200-2和200-3以及CCU 300-1、300-2和300-3等作为与成像PL相关的各种设备。在没有特别区别地描述CCU 300-1、300-2和300-3等的情况下,它们被称为CCU 300。注意,尽管示出三个CCU 300,但CCU 300的数量不限于三个,并且可以是两个或更少。图6示出一个CCU 300与视频照相机200中的每一个相关联的情况,但一个CCU 300可以与两个或更多个视频照相机200相关联。
实时视频制作系统1A的视频照相机200与CCU 300通信。各视频照相机200与通过导线连接的CCU 300通信。各视频照相机200向以及从相应的CCU 300传送和接收视频信号和控制信号。注意,将在后面描述视频照相机200和CCU 300之间的连接和通信的模式的细节。
CCU 300是用于执行与视频照相机相关的控制的信号处理设备。CCU 300与多个视频照相机200中的至少一个以及与云服务器100通信,并且,执行作为与视频照相机200相关的处理的照相机相关处理的CCU 300执行照相机相关处理中的作为与第一处理不同的第二处理的视频处理过程。第二处理是对视频信号的信号处理(视频处理过程),并且包括调整增益、颜色平衡或白平衡中的至少一个的处理。并且,各CCU 300向相应的视频照相机200传送视频信号和控制信号以及从相应的视频照相机200接收视频信号和控制信号。
如上所述,实时视频制作系统1A具有通过CCU软件实现CCU功能的云服务器100和作为物理CCU(CCU硬件)的CCU 300,使得可以在构成要素之间适当地共享CCU功能。因此,实时视频制作系统1A可以通过使用云服务器提高实时视频制作的效率。
[2-2.根据第二实施例的实时视频制作系统的配置]
图7是示出根据本公开的第二实施例的实时视频制作系统的配置示例的示图。将描述图7所示的实时视频制作系统1A。如图7所示,实时视频制作系统1A包括云服务器100、视频照相机200、CCU 300和终端设备10。云服务器100、CCU 300和终端设备10经由预定通信网络(网络RN)以无线或有线方式可通信地连接。在图7中,CCU 300经由基站50通信,并且进一步经由作为因特网的网络RN与云服务器100通信。视频照相机200可通信地连接到CCU300。例如,在CCU 300和基站50之间执行无线通信,并且,在基站50、核心网和作为因特网的网络RN通过有线连接的同时执行有线通信。
注意,图7所示的实时视频制作系统1A可以包括多个云服务器100、多个视频照相机200、多个CCU 300和多个终端设备10。例如,图6的示例示出实时视频制作系统1A包括三个视频照相机200和三个CCU 300的情况。例如,实时视频制作系统1A可以包括分别对应于多个操作员的多个终端设备10。注意,图7中仅示出云服务器100、视频照相机200和终端设备10,但实时视频制作系统1A不限于云服务器100、视频照相机200和终端设备10,并且可以包括与图6所示的设备类似的各种设备。
云服务器100是用于在实时视频制作系统1A中实现云计算的信息处理设备。云服务器100是设置在远离视频照相机200所在的成像地点(现场)的预定点(基地)处的设备。云服务器100具有无线通信的功能,并且执行与由视频照相机200成像的视频相关的信号处理。云服务器100无线连接到CCU 300。
云服务器100通过无线通信从CCU 300接收通过多个视频照相机200的成像获得的单独视频信号,并将基于单独视频信号的主线视频信号传送到SWer 21、MasterSWer 31和MasterSWer 41中的任何一个。云服务器100根据作为从外部接收的与视频的编辑相关的操作信号的第一操作信号、通过基于接收的多个单独视频信号的视频的输出控制、获得主线视频信号。云服务器100根据作为与从外部接收的视频照相机200的控制相关的操作信号的第二操作信号,经由无线通信将多个视频照相机200中的至少一个的远程控制信号传送到相应的CCU 300。
视频照相机200与CCU 300通信。根据远程控制信号,经由CCU 300控制视频照相机200的成像操作。成像操作包括对应于非视频处理过程的操作和用于PTZ控制的操作。视频照相机200经由CCU 300传送成像的单独视频信号。视频照相机200经由CCU 300将成像的单独视频信号传送到云服务器100。并且,视频照相机200以各种模式被供电,将在后面描述这一点。
CCU 300具有执行与视频照相机相关的控制的控制单元。CCU 300通过控制单元执行各种类型的控制。CCU 300的控制单元由诸如CPU、MPU、ASIC或FPGA的集成电路实现。例如,CCU 300的控制单元通过使用RAM等为工作区执行存储在CCU 300中的程序执行各种控制。注意,CCU 300的控制单元不限于CPU、MPU、ASIC或FPGA,并且可以由各种手段实现。
CCU 300包括例如由NIC或通信电路等实现的通信单元,以有线或无线方式连接到网络RN(因特网等),并且经由网络RN向以及从云服务器100传送和接收信息。在图7的示例中,CCU 300经由网络RN向以及从云服务器100经由无线通信传送和接收单独视频信号和控制信号等。并且,CCU 300通过有线或无线连接向以及从视频照相机200传送和接收单独视频信号和控制信号等。
[2-3.对于照相机的电力供给的示例]
对于视频照相机的电力供给可以是多方面的。将参考图8A~8C描述这一点。
[2-3-1.第一个供给示例]
首先,将参考图8A描述电力供给的第一供给示例。图8A是示出对于视频照相机的电力供给的示例的示图。
在图8A的示例中,视频照相机200和CCU 300通过光电复合线缆CB1连接,在光电复合线缆CB1中,光通信线缆和电通信线缆被捆绑成一个线缆。光电复合线缆CB1是能够供给电力的线缆。例如,光电复合线缆CB1的长度可长达数百米(例如600米等)。在图8A的示例中,例如,通过光电复合线缆CB1从CCU 300向视频照相机200供给AC电力供给。
并且,视频照相机200和CCU 300经由光电复合线缆CB1彼此通信,并且通过诸如12G串行数字接口(SDI)方法的SDI方法传送和接收各视频信号和控制信号等。
[2-3-2.第二供给示例]
接下来,将参考图8B描述电力供给的第二供给示例。图8B是示出对于视频照相机的电力供给的示例的示图。
在图8B的示例中,视频照相机200和CCU 300由单模光纤线缆CB2连接。光纤线缆CB2是没有电力供给的光纤线缆。例如,光纤线缆CB2的最大长度可以是数公里(例如,10km等)。在图8B的示例中,通过本地电力供给向视频照相机200供给电力。例如,与光纤线缆CB2不同的电力供给线缆连接到视频照相机200,并且,由电力供给线缆供给电力。例如,通过具有电力插头等的电力供给线缆向视频照相机200供给电力。例如,向视频照相机200供给直流(DC)电力。
并且,视频照相机200和CCU 300经由光纤线缆CB2彼此通信。通过光纤线缆CB2在视频照相机200和CCU 300之间传送和接收单独视频信号和控制信号等。
[2-3-3.第三供给示例]
接下来,将参考图8C描述电力供给的第三供给示例。图8C是示出对于视频照相机的电力供给的示例的示图。第三供给示例示出在视频照相机200和CCU 300之间布置电力供给单元UT1的示例。
在图8C的示例中,CCU 300和电力供给单元UT1由光纤线缆CB2连接。光纤线缆CB2是没有电力供给的单模光纤线缆。例如,光纤线缆CB2的最大长度可以是数公里(例如,10km等)。
另外,CCU 300和电力供给单元UT1经由光纤线缆CB2彼此通信,以传送和接收单独视频信号和控制信号等。
并且,在图8C的示例中,视频照相机200和电力供给单元UT1由光电复合线缆CB1连接。光电复合线缆CB1是能够供电的光电复合线缆。例如,光电复合线缆CB1的长度可长达数百米(例如350m等)。在图8C的示例中,例如,通过光电复合线缆CB1从电力供给单元UT1向视频照相机200供给AC电力。
并且,视频照相机200和电力供给单元UT1经由光电复合线缆CB1彼此通信。通过光电复合线缆CB1在视频照相机200和电力供给单元UT1之间传送和接收单独视频信号和控制信号等。因此,视频照相机200和CCU 300经由电力供给单元UT1彼此通信。
注意,上述的第一到第三供给示例仅仅是示例,并且可以以各种模式向视频照相机200供给电力。例如,可以从安装在视频照相机200上的电池供给电力。
[2-4.实时视频制作系统中的处理示例]
现在将描述实时视频制作系统中的各种类型的处理的示例。
[2-4-1.实时视频制作系统中的处理]
首先,将参考图9描述实时视频制作系统中的各设备的配置和处理的概要。图9是示出实时视频制作系统中的处理示例的示图。注意,以下是配置为具有物理外壳的硬件产品的CCU硬件1002的示例。注意,CCU硬件1002不意味着所有处理都通过硬件处理执行,并且,处理的一部分可以由软件处理执行。
在图9的描述中,将描述使用使用一个图像传感器(例如,CMOS)的单板类型(单板类型)视频照相机200的情况作为示例。注意,视频照相机200不限于单板方法,并且可以采用诸如使用三个图像传感器(例如,CMOS)的三板方法(三板类型)的另一种方法,但这一点将在后面描述。
如图9所示,实时视频制作系统1A包括CCU软件1001、CCU硬件1002和照相机头单元CHU。照相机头单元CHU是视频照相机200。例如,CCU软件1001的功能由云服务器100实现。例如,CCU硬件1002是CCU 300。以这种方式,在图9的示例中,划分CCU的功能。在图9的示例中,功能被划分为由云服务器100在云上实现的功能和由CCU 300作为硬件配置实现的功能。
首先,将描述从照相机头单元CHU到CCU硬件1002和CCU软件1001的信息(数据)流,同时描述照相机头单元CHU的配置和处理。
照相机头单元CHU包括诸如成像元件1010、CPU 1020和RX/TX 1030的构成要素。
可互换透镜1040具有调整焦点、虹膜(光圈)和变焦的功能。
成像元件1010是图像传感器。CPU 1020是控制整个视频照相机的动作并调整例如可互换镜头1040的焦距、虹膜(光圈)和变焦的处理器。并且,CPU 1020通过控制诸如照相机平台1050的Pan/Tilter调整摇摄和倾斜。
例如,照相机头单元CHU附着到Pan/Tilter。Pan/Tilter具有调整摇摄和倾斜的功能。Pan/Tilter可以与照相机头单元CHU分离,并且照相机头单元CHU可以从Pan/Tilter拆卸。例如,Pan/Tilter可以与照相机头单元CHU集成。例如,作为Pan/Tilter的替代,可以使用小车或无人机来调整摇摄/倾斜等。
RX/TX 1030具有作为通信单元(传送单元和接收单元)的功能。RX/TX 1030是NIC或通信电路等。
成像元件1010包括例如CMOS或CCD,光电转换通过可互换透镜1040入射的来自被照体的光学图像,并输出视频数据。
图9示出了单板方法的情况,并且从成像元件1010输出的作为视频数据的原始(RAW)数据是其中成像元件1010上的滤色器阵列的位置关系被保持的视频数据。例如,滤色器阵列是Bayer阵列。RAW数据不包括后面描述的YC。注意,在本实施例中,通过从成像元件1010输出的视频数据的颜色分离的红色(R)、绿色(G)和蓝色(B)三个平面的视频数据也被称为RAW数据。并且,在三板方法的情况下,从各成像元件1010输出的R、G和B三个视频数据的组合也被称为RAW数据。
并且,在单板方法和三板方法的任一情况下,RAW数据不经受YC转换(即,将RGB数据转换为作为YC方法的亮度数据Y和色差数据C的处理),并且是没经受与后面描述的颜色/亮度调整相关的部分或全部处理的视频。注意,作为YC方法,可以使用各种方法,诸如YCbCr、YUV和YIQ。
对从成像元件1010输出的RAW数据执行缺陷校正1011,并然后执行压缩1012的处理。注意,不是必须执行缺陷校正1011和压缩1012的处理。
RX/TX 1030的TX将RAW数据传送到CCU硬件1002。
接收了RAW数据的CCU硬件1002执行YC转换。然后,CCU硬件1002将通过对RAW数据执行YC转换获得的数据(称为“YC”或“YC数据”)传送到CCU软件1001。注意,YC可以采用各种色度格式。例如,可以采用4:4:4、4:2:2或4:2:0作为色度格式。
现在将描述从CCU软件1001到CCU硬件1002和照相机头单元CHU的信息(数据)流。
CCU软件1001接收VE的用户操作。在图9的示例中,CCU软件1001接收VE对照相机头单元CHU的焦点、虹膜(光圈)和变焦的调整。CCU软件1001将通过VE的用户操作的操作信息(操作信号)传送到CCU硬件1002。
CCU硬件1002通过在图8中描述的光缆等将从CCU软件1001接收的操作信息传送到照相机头单元CHU。CCU硬件1002可以确定由CPU 1020经由RX/TX 1030的RX从CCU软件1001接收的操作信息,生成用于调整照相机头单元CHU的焦点、虹膜(光圈)和变焦的控制信息(控制信号),并将生成的控制信息传送给照相机头单元CHU。
注意,CCU硬件1002可以将从CCU软件1001接收的操作信息本身作为控制信息(控制信号)传送给照相机头单元CHU。
RX从CCU硬件1002接收信息(单独视频信号等)。例如,在接收单独视频信号作为返回视频的情况下,单独视频信号显示在未示出的VF(取景器)中。RX/TX 1030向CPU 1020传送(传达)用于调整可互换透镜1040的焦点、虹膜(光圈)和变焦的信息(信号)。
注意,尽管在示图中单独地配置RX 1021和RX/TX 1023,但是可以采用仅配置RX/TX 1023并且由RX/TX 1023接收RAW数据的配置。
当接收用于调整可互换镜头1040的焦距、虹膜(光圈)和变焦的操作信号时,CPU1020基于接收的操作信号调整照相机头单元CHU的焦距、虹膜(光圈)和变焦。
[2-4-2.CCU硬件中的处理]
将参考图10描述CCU硬件1002中的处理。图10是示出CCU硬件中的处理的示例的示图。注意,与图9类似的点的描述将被适当地省略。图10示出CCU硬件1002的内部配置。
CCU硬件1002包括诸如RX 1021、控制单元1022和RX/TX1023的配置。RX 1021具有作为接收单元的功能。作为CCU 300的通信单元的RX 1021是NIC或通信电路等。控制单元1022为例如处理器,并且控制各功能块。控制单元1022通过控制显像处理单元实现对RGB信息执行YC转换的功能。控制单元1022将来自云的操作控制信息(也称为“操作信息”)分离为要由其自身处理的信息和要传送到照相机头单元CHU的信息。即,控制单元1022具有确定来自云的操作控制信息是由其自身处理还是被传送到照相机头单元CHU的功能。
RX/TX 1023具有作为传送设备和接收设备的功能。作为CCU 300的通信单元的RX/TX 1023是NIC或通信电路等。RX/TX 1023向以及从CCU软件1001和照相机头单元CHU传送和接收单独视频信号和控制信号等。
RX从视频照相机200接收RAW数据。显像处理单元对接收的RAW数据执行显像处理。注意,将在后面描述显像处理的细节。
然后,RX/TX 1023的TX将通过对RAW数据执行YC转换获得的YC(YC数据)传送到CCU软件1001。接收了YC(YC数据)的CCU软件1001通过使用YC数据执行各种处理。
CCU硬件1002从CCU软件1001接收信息,例如,通过VE的用户操作的操作信息(操作信号)。
RX/TX 1023将从CCU软件1001接收的操作信息(操作信号)传送(传达)到控制单元1022。控制单元1022从操作信息(操作信号)确定要在CCU硬件1002中处理的操作信息和要在照相机头单元CHU中处理的操作信息。然后,控制单元1022将要由照相机头单元CHU处理的操作信息(操作信号)从TX传送(传达)到照相机头单元CHU。
[2-4-3.显像处理]
这里,将参考图11描述显像处理的细节。图11是示出单板方法中的显像处理的示例的示图。注意,与图9和10中的点类似的点的描述将被适当地省略。
显像1031的处理中的DEC 1032通过与压缩编码方法兼容的方法对RAW数据(RAW信号)进行解码。通过调整作为DEC 1032的解码结果获得的RAW数据的增益,显像1031的处理中的增益1033基于RAW数据调整视频的亮度。
显像1031的处理中的WB 1034调整RAW数据的白平衡。注意,在显像处理中,增益1033和WB 1034的处理顺序可以颠倒。
显像1031的处理中的颜色分离1035是在Bayer(马赛克滤色器)的情况下执行的颜色分离(去马赛克)的处理。
显像1031的处理中的颜色平衡1036是对RGB信息(信号)执行的色调调整的处理。颜色平衡1036是对通过颜色分离分离的RGB 3平面视频信号执行的色调调整的处理。注意,尽管图11示出在YC转换1037之前调整颜色平衡的情况,但是可以在YC转换1037之后调整颜色平衡、或者在YC转换1037之前和之后皆调整颜色平衡。
显像1031的处理中的YC转换1037将RGB信息(信号)转换为诸如YCbCr的YC信息(信号)。
在显像处理之后,RX/TX 1038的TX将YC(YC数据)传送到CCU软件1001。
[2-4-4.三板方法]
在上述示例中,将单板方法的情况描述为示例,但下文将描述三板方法的情况。图12是示出三板方法的视频照相机中的处理示例的示图。注意,与图9~11中的点类似的点的描述将被适当地省略。
图12所示的配置与图9所示的照相机头单元CHU的不同在于具有包括三个成像元件的成像元件组1110。
成像元件组1110包括三个(三件)图像传感器(成像元件),并输出分别对应于红色(R)、绿色(G)和蓝色(B)的视频信号。在本说明书中,在三板方法的情况下,包括RGB的三个信道的视频信号被统称为RAW数据。
对从成像元件组1110输出的RAW数据执行缺陷校正1111和压缩1112的处理。
[2-4-5.显像处理(三板方法)]
接下来,将描述在三板方法的情况下的显像处理。图13是示出三板方法中的显像处理的示例的示图。注意,与图9~12中的点类似的点的描述将被适当地省略。图13所示的显像处理与图11中的显像处理的不同在于:不存在颜色分离处理并且对RAW数据执行DEC1132、增益1133和WB 1134的处理。
显像1131的处理中的DEC 1132通过对应于编码方法的方法对RAW数据(RAW信号)进行解码。显像1131的处理中的增益1133调整作为DEC 1132的解码结果获得的RAW数据的增益(亮度)。
显像1131处理中的WB 1134调整RAW数据的白平衡。注意,在显像处理中,增益1133和WB 1134的处理顺序可以颠倒。
显像1131的处理中的YC转换1135是对红色(R)、绿色(G)和蓝色(B)三个信道的视频数据执行的转换处理。
显像1131的处理中的颜色平衡1136是对由YC转换1135生成的YC信息(信号)执行的色调调整的处理。注意,尽管图12示出在YC转换1135之后调整颜色平衡的情况,但是可以在YC转换1135之前调整颜色平衡、或者在YC转换1135之前或之后皆调整颜色平衡。
在显像处理之后,RX/TX 1137的TX将YC(YC数据)传送到CCU软件1001。
[3.第三实施例]
实时视频制作系统的系统配置不限于上述第一和第二实施例,并且可以是各种系统配置。例如,实时视频制作系统可以包括位于诸如MEC的蜂窝网络中的计算环境。因此,在根据第三实施例的实时视频制作系统中,云功能可以被划分为MEC(蜂窝网络侧)和云。在这种情况下,CCU功能可能位于MEC中(蜂窝网络侧),而不是云服务器侧。
并且,另外,在这种情况下,例如,MEC侧和云侧皆具有除CCU功能之外的所有功能,并且可以根据需要打开/关闭这些功能。如上所述,CCU功能被设置在MEC侧。注意,可以在MEC侧和云侧皆仅仅设置要执行的功能所需的最小化配置。
例如,优选由MEC执行需要低延迟的视频编辑相关处理。并且,优选由云执行不需要低延迟且具有大处理负载的处理等。例如,在需要实时属性的情况下,诸如在体育广播期间,MEC可以生成回放视频,并且在不需要实时属性的情况下,例如对于新闻节目,公共的云可以生成突出显示视频。并且,关于STATS,优选由MEC执行基于图像识别实时生成STATS的功能。并且,对于STATS,优选由云执行从网络获取STATS的功能。
下面将参考图14和图15描述包括MEC服务器400的实时视频制作系统1B。注意,与第一实施例和第二实施例类中的点似的点的描述将被适当地省略。
[3-1.根据本公开的第三实施例的实时视频制作系统的概要]
将参考图14描述根据第三实施例的实时视频制作系统的概要。图14是示出根据本公开的第三实施例的实时视频制作系统的示例的示图。将描述图14所示的实时视频制作系统1B的配置。如图14所示,实时视频制作系统1B包括诸如多个视频照相机200的与成像PL相关的各种设备、MEC服务器400、云服务器100、终端设备10、与制作BS相关的各种设备、与分发DL相关的各种设备以及与广播BR相关的各种设备。首先,将描述在实时视频制作系统1B中示出的各设备。
注意,连接诸如图14中的设备的各个构成要素的点线指示视频信号。并且,连接诸如图14中的设备的各个构成要素的一点链线指示控制信号。并且,连接诸如图14中的设备的各个构成要素的实线指示视频信号和控制信号以外的信息,例如,诸如元信息的其它信息。图14所示的箭头的方向示出信息流的示例,并且视频信号、控制信号或元信息等的流不限于箭头的方向。并且,图14所示的设备是包含于实时视频制作系统1B中的设备的一部分,并且实时视频制作系统1B不限于图14所示的设备,并且包括实现功能所必需的各种设备。
首先,将描述MEC服务器400。MEC服务器400与多个视频照相机200和云服务器100通信,并将从多个视频照相机200接收的信号传送到云服务器100。并且,从云服务器100接收的信号(例如,另一视频照相机的视频或包括主线视频的返回视频、或者从终端设备10接收的信号等)被传送到多个视频照相机200中的至少一个。并且,从终端设备10接收的信号被传送到多个视频照相机200中的至少一个。MEC服务器400具有无线传送和接收视频信号的功能以及执行输出控制的功能。
例如,MEC服务器400具有与根据第一实施例的云服务器100的功能类似的功能。MEC服务器400执行根据从终端设备10接收的操作信号的处理。MEC服务器400执行在操作员与操作由操作员选择的视频照相机200的摄像师之间启用通过语音的通信的处理。MEC服务器400具有无线通信的功能,并且执行与由视频照相机200成像的视频相关的信号处理。并且,MEC服务器400具有将单独视频信号、主线视频信号、编辑的视频信号、STATS和用于CMS的元信息等聚合到数据库(DB)中的功能。
MEC服务器400具有用作通信单元的RX/TX 405。MEC服务器400通过RX/TX 405向以及从视频照相机200传送和接收信息(信号)。MEC服务器400通过RX/TX 405向视频照相机200传送视频信号和控制信号以及从视频照相机200接收视频信号和控制信号。
MEC服务器400具有CCU的功能中的至少一部分。MEC服务器400具有实现CCU的功能中的至少一部分的CCU 402。通过MEC服务器400的CCU软件向系统照相机(视频照相机200等)提供转换视频信号并且操作和管理系统照相机的设定信息的功能。
并且,MEC服务器400具有切换视频信号的切换器的功能。MEC服务器400具有SWer403。MEC服务器400通过SWer 403切换要传送到云服务器100的视频。例如,MEC服务器400通过SWer403从从各个视频照相机200接收的单独视频信号选择要传送到云服务器100的视频信号。
MEC服务器400的SWer 403切换输入的视频信号(单独视频信号)和在MEC服务器400中生成的视频信号(经处理的视频信号),并将信号输出到MEC服务器400的外部(云服务器100等)。由于MEC服务器400的SWer 403的功能与云服务器100的SWer 103的功能类似,因此将省略其描述。
并且,由于MEC服务器400的Replay 406的功能与在图3中描述的云服务器100的Replay 106的功能类似,因此将省略其描述。由于MEC服务器400的Edit 407的功能与在图3中描述的云服务器100的Edit 107的功能类似,因此将省略其描述。由于MEC服务器400的GFX 408的功能与在图3中描述的云服务器100的GFX 108的功能类似,因此将省略其描述。由于MEC服务器400的Analytics409的功能与在图3中描述的云服务器100的Analytics 109的功能类似,因此将省略其描述。
MEC服务器400存储各种类型的信息(数据)。例如,MEC服务器400具有用作存储单元的存储器404。例如,MEC服务器400将由各视频照相机200成像的视频存储在存储器404中。并且,由于MEC服务器400的CMS 411的功能与在图3中描述的云服务器100的CMS 111的功能类似,因此将省略其描述。由于MEC服务器400的Stats 412的功能与在图3中描述的云服务器100的Stats 112的功能类似,因此将省略其描述。由于MEC服务器400的Data Mng413的功能与在图3中描述的云服务器100的Data Mng 113的功能类似,因此将省略其描述。
各视频照相机200经由无线通信与MEC服务器400通信。各视频照相机200经由无线通信向MEC服务器400传送单独视频信号。
根据第三实施例的云服务器100与根据第一实施例的云服务器100的不同之处在于不具有CCU功能。云服务器100与MEC服务器400通信。云服务器100通过RX/TX 105的功能经由无线通信向以及从远程定位的MEC服务器400传送和接收视频信号和控制信号等。
终端设备10是用于实现诸如VE的操作员的远程操作的计算机。终端设备10以无线的方式向以及从MEC服务器400传送和接收信息。终端设备10将通过RC 11的功能从操作员接收的关于操作的信息传送到MEC服务器400。
终端设备10具有作为监视器12的功能。终端设备10通过监视器12的功能显示从MEC服务器400接收的视频。
[3.-2.根据第三实施例的实时视频制作系统的配置]
将描述图15所示的实时视频制作系统1B。图15是示出根据本公开的第三实施例的实时视频制作系统的配置示例的示图。如图15所示,实时视频制作系统1B包括MEC服务器400、云服务器100、视频照相机200和终端设备10。MEC服务器400、云服务器100、视频照相机200和终端设备10经由预定的通信网络以无线或有线方式可通信地连接。在图15中,视频照相机200和MEC服务器400经由蜂窝侧的网络N1以无线或有线方式可通信地连接。在图15中,视频照相机200经由基站50通信,并且进一步经由网络N1与MEC服务器400通信。例如,在视频照相机200和基站50之间执行无线通信,并且在通过有线连接基站50、核心网和作为因特网的网络N1的同时执行有线通信。并且,图15的示例示出核心网不包含于网络N1中的情况。注意,网络N1可以包括核心网。并且,云服务器100和MEC服务器400经由公共侧的网络N2以无线或有线方式可通信地连接。终端设备10连接到网络N1或网络N2,并且可通信地连接到云服务器100、MEC服务器400和视频照相机200。图15是示出根据第一实施例的实时视频制作系统的配置示例的示图。
注意,图15所示的实时视频制作系统1B可以包括多个MEC服务器400、多个云服务器100、多个视频照相机200和多个终端设备10。例如,图14的示例示出实时视频制作系统1B包括三个视频照相机200的情况。例如,实时视频制作系统1B可以包括分别对应于多个操作员的多个终端设备10。注意,图15仅示出MEC服务器400、云服务器100、视频照相机200和终端设备10,但实时视频制作系统1B不限于MEC服务器400、云服务器100、视频照相机200和终端设备10,并且可以包括图14所示的各种设备。
云服务器100是用于在实时视频制作系统1B中实现云计算的信息处理设备。云服务器100是设置在远离视频照相机200所在的成像地点(现场)的预定点(基地)处的设备。云服务器100连接到MEC服务器400。
MEC服务器400是用于在实时视频制作系统1B中实现CCU软件的信息处理设备。MEC服务器400的设备配置与图4中的云服务器100的设备配置类似。MEC服务器400是设置在远离视频照相机200所在的成像地点(现场)的预定点(基地)处的无线基站。MEC服务器400执行与视频相关的信号处理。MEC服务器400经由无线通信连接到视频照相机200。
MEC服务器400经由无线通信接收通过多个视频照相机200的成像获得的单独视频信号,并且传送基于单独视频信号的主线视频信号。MEC服务器400向云服务器100传送主线视频信号。MEC服务器400根据作为从外部接收的与视频的编辑相关的操作信号的第一操作信号,执行基于接收的多个单独视频信号的视频的输出控制。MEC服务器400根据作为与从外部接收的视频照相机200的控制相关的操作信号的第二操作信号,无线传送对于多个视频照相机200中的至少一个的远程控制信号。
视频照相机200无线连接到MEC服务器400。视频照相机200通过无线通信向以及从MEC服务器400传送和接收单独视频信号和控制信号等。各视频照相机200通过无线通信将成像的单独视频信号传送到MEC服务器400。
终端设备10由操作员使用,并将对应于操作员的操作的操作信号传送到MEC服务器400。终端设备10将指示由操作员在多个视频照相机200中选择的视频照相机200的信息传送到MEC服务器400。
[4.其它实施例]
可以以上述各实施例以外的各种不同形式(变更示例)执行根据上述各实施例的处理。
[4-1.其它构成示例]
例如,实时视频制作系统可以包括云服务器100、CCU 300(或BPU)和MEC服务器400。即,实时视频制作系统可以具有其中组合了第二实施例和第三实施例的系统配置。在这种情况下,MEC服务器400和CCU 300(或BPU)可以通信。
[4-2.其它]
并且,在在上述实施例中描述的各个处理中,可以手动执行被描述为自动执行的处理中的全部或一部分,或者可以通过已知方法自动执行被描述为手动执行的处理中的全部或一部分。并且,除非另有规定,否则可以任意改变在上述文件和附图中示出的包括处理过程、特定名称以及各种数据和参数的信息。例如,附图中示出的各种类型的信息不限于示出的信息。
并且,附图中所示的各设备的各构成要素在功能上是概念性的,并且不必如图示那样被物理配置。即,各设备的分布和集成的特定形式不限于示出的形式,并且可以根据各种负载和使用条件等以功能或物理分布和集成的方式在任意单元中配置其全部或一部分。
并且,如上所述的实施例和变更示例可以在处理内容彼此不冲突的范围内适当地组合。
并且,在本说明书中描述的效果仅仅是示例并且不受限制,并且,可以提供其它效果。
[5.根据本公开的效果]
如上所述,根据实施例的实时视频制作系统1、1A和1B包括多个视频照相机200和云服务器100。视频照相机200的成像动作根据远程控制信号被控制。云服务器100接收通过多个视频照相机200的成像获得的单独视频信号,并且传送基于单独视频信号的主线视频信号(第一主线视频信号)。云服务器100根据作为从外部接收的与视频的编辑相关的操作信号的第一操作信号、通过基于接收的多个单独视频信号的视频的输出控制、获得主线视频信号。云服务器100根据作为与从外部接收的视频照相机200的控制相关的操作信号的第二操作信号,传送对于多个视频照相机200中的至少一个的远程控制信号。
如上所述,根据实施例的实时视频制作系统1、1A和1B具有云服务器100,该云服务器100无线传送用于远程控制多个视频照相机200的远程控制信号,并传送基于单独视频信号的主线视频信号。实时视频制作系统1、1A和1B向云服务器100提供与视频输出控制相关的功能和与视频照相机200的远程控制相关的功能。因此,在实时视频制作系统1、1A和1B中,例如,可以在预定的基地处聚合资源,而无需通过OBVAN等进入现场(例如,诸如视频照相机200所在的体育场的地方),并因此可以抑制现场的资源的增加。例如,实时视频制作系统1、1A和1B允许在诸如具有终端设备10的基地的与诸如体育场的现场不同的位置聚合资源,并且能够以有限的人员制作多个实时视频。并且,在实时视频制作系统1、1A和1B中,能够减少现场的视频照相机与CCU之间的连接、布线以及布线后测试的初步准备等,并因此也能够提高工作流的效率。如上所述,实时视频制作系统1、1A和1B可以通过使用云服务器100提高实时视频制作的效率。
并且,实时视频制作系统1、1A和1B中的每一个包括由操作员使用并将对应于操作员的操作的操作信号传送到云服务器100的终端设备10。云服务器100执行对应于从终端设备10接收的操作信号的处理。在实时视频制作系统1、1A和1B中,云服务器100执行对应于从终端设备10接收的操作信号的处理,使得使用终端设备10执行操作的操作员可以在远离现场的远程位置工作。因此,实时视频制作系统1、1A和1B可以抑制诸如例如通过OBVAN等在现场安排的人员的资源的增加。例如,实时视频制作系统1、1A和1B使得操作员能够使用终端设备10在与云服务器100的布置位置不同的位置工作,并且允许灵活地布置人员的物理位置。如上所述,实时视频制作系统1、1A和1B可以通过使用云服务器100提高实时视频制作的效率。
并且,终端设备10将指示操作员在多个视频照相机200中选择的视频照相机200的信息传送到云服务器100。云服务器100执行在操作员与操作由操作员选择的视频照相机200的摄像师之间启用通过语音的通信的处理。实时视频制作系统1、1A和1B可以根据利用终端设备10操作的操作员的选择,在操作员和操作视频照相机200的摄像师之间启动语音通信,并且可以容易地允许系统用户执行语音通信。如上所述,实时视频制作系统1、1A和1B可以通过使用云服务器100提高实时视频制作的效率。
并且,云服务器100使用多个视频照相机200中的每一个与操作多个视频照相机200中的每一个的摄像师相关联的信息,以指定操作由操作员选择的视频照相机200的摄像师,并执行启用在操作员与摄像师之间的通过语音的通信的处理。在实时视频制作系统1、1A和1B中,云服务器100可以指定摄像师,启动所指定的摄像师和所选操作员之间的语音通信,并且可以容易地允许系统用户执行语音通信。因此,实时视频制作系统1、1A和1B可以顺利地执行操作员和摄像师之间的通信。如上所述,实时视频制作系统1、1A和1B可以通过使用云服务器100提高实时视频制作的效率。
并且,实时视频制作系统1、1A和1B具有被布置在广播站中并从云服务器100接收主线视频信号的SWer 21。在实时视频制作系统1、1A和1B中,云服务器100将主线视频信号(第一主线视频信号)传送到广播站,使得可以通过使用云服务器100适当地执行实时广播。如上所述,实时视频制作系统1、1A和1B可以通过使用云服务器100提高实时视频制作的效率。
并且,实时视频制作系统1A和1B包括CCU 300,该CCU 300与多个视频照相机200中的至少一个和云服务器100通信,并执行作为与视频照相机200相关的处理的照相机相关处理。实时视频制作系统1A和1B具有与视频照相机200和云服务器100通信并执行作为与视频照相机200相关的处理的照相机相关处理的CCU 300,使得可以将处理和功能分发给云服务器100和CCU 300中的每一个。因此,实时视频制作系统1A和1B可以根据处理和功能的目的等,启用云服务器100和CCU 300之间的处理和功能的最佳布置。如上所述,实时视频制作系统1、1A和1B可以通过使用云服务器100提高实时视频制作的效率。
并且,信号处理设备是照相机控制单元(CCU)300或基带处理单元(BPU)。例如,由于实时视频制作系统1A和1B具有CCU或BPU,因此包含于在常规CCU或BPU中的功能可以分布到云服务器100和CCU 300中的每一个。因此,实时视频制作系统1A和1B可以根据处理和功能的目的等,启用云服务器100和CCU 300之间的处理和功能的最佳布置。如上所述,实时视频制作系统1A和1B可以通过使用云服务器100提高实时视频制作的效率。
并且,云服务器100执行照相机相关处理当中的第一处理(非视频处理过程)。例如,CCU 300执行照相机相关处理中的非视频处理过程以外的第二处理(视频处理过程)。实时视频制作系统1A和1B可以通过使云服务器100在照相机相关处理中执行非视频处理过程并使CCU 300或BPU执行非视频处理过程以外的视频处理过程,分发处理。如上所述,实时视频制作系统1A和1B可以通过使用云服务器100提高实时视频制作的效率。
并且,非视频处理过程包括与视频照相机200的控制相关的过程。视频处理过程包括对由视频照相机200成像的视频的处理。例如,实时视频制作系统1A和1B可以通过使云服务器100执行与视频照相机200的控制相关的处理以及使CCU 300对由视频照相机200成像的视频执行处理,分发处理。因此,例如,实时视频制作系统1A和1B可以使CCU 300执行诸如视频处理(图像处理)的视频处理过程,并使云服务器100执行诸如控制处理(控制)的照相机控制处理,由此实现根据处理内容的最佳处理共享。如上所述,实时视频制作系统1A和1B可以通过使用云服务器100提高实时视频制作的效率。
并且,非视频处理过程包括调整视频照相机200的光圈或焦点中的至少一个的处理。视频处理过程包括对作为对象的由视频照相机200成像的视频调整增益、颜色平衡或白平衡中的至少一个的处理。实时视频制作系统1A和1B可以使云服务器100执行针对视频照相机200的结构(诸如视频照相机200的光圈或焦点)的处理,并使CCU 300或BPU执行针对由视频照相机200成像的视频的处理,由此实现根据处理和功能的目的等的最佳布置。如上所述,实时视频制作系统1A和1B可以通过使用云服务器100提高实时视频制作的效率。
并且,分别与多个视频照相机200相关联地设置多个CCU 300。如上所述,由于实时视频制作系统1A和1B具有分别与多个视频照相机200相关联的多个信号处理设备,因此能够对各视频照相机200启用适当的处理。
并且,云服务器100执行对应于输出切换、视频合成、静止图像生成、运动图像生成和回放视频生成中的至少一个的输出控制。因此,实时视频制作系统1、1A和1B可以将执行关于输出切换、视频合成、静止图像生成、运动图像生成或回放视频生成等的操作的操作员安排在远程位置,诸如具有终端设备10的基地。如上所述,在实时视频制作系统1、1A和1B中,云服务器100执行各种类型的输出控制,使得不必通过例如OBVAN等在现场安排操作员。因此,实时视频制作系统1、1A和1B可以抑制现场资源的增加。如上所述,实时视频制作系统1、1A和1B可以通过使用云服务器100提高实时视频制作的效率。
并且,云服务器100执行对应于切换器(切换器)、编辑(Edit)、图形(GFX)或回放(Replay)中的至少一个的输出控制。因此,实时视频制作系统1、1A和1B可以将执行与切换器、编辑、GFX和回放等相关的操作的操作员安排在远程位置,诸如具有终端设备10的基地。如上所述,在实时视频制作系统1A和1B中,由于云服务器100执行诸如切换器、编辑、GFX和回放的各种类型的处理,因此变得不必通过例如OBVAN等在现场安排操作员。因此,实时视频制作系统1A和1B可以抑制现场资源的增加。如上所述,实时视频制作系统1A和1B可以通过使用云服务器100提高实时视频制作的效率。
并且,云服务器100向多个视频照相机200中的至少一个传送用于远程控制视频照相机200的远程控制信号。因此,实时视频制作系统1、1A和1B可以将VE布置在远离视频照相机200的远程位置。在实时视频制作系统1、1A和1B中,云服务器100将用于远程控制视频照相机200的远程控制信号传送到视频照相机200,使得不必通过例如OBVAN等在现场安排用于控制视频照相机200等的人员。因此,实时视频制作系统1、1A和1B可以抑制现场资源的增加。如上所述,实时视频制作系统1、1A和1B可以通过使用云服务器100提高实时视频制作的效率。
并且,云服务器100传送用于调整摇摄、倾斜或变焦中的至少一个的远程控制信号。因此,实时视频制作系统1、1A和1B可以将VE布置在离开视频照相机200的远程位置。在实时视频制作系统1A和1B中,云服务器100将用于远程控制视频照相机200的PTZ的远程控制信号传送到视频照相机200,使得不必通过例如OBVAN等在现场安排用于控制视频照相机200等的人员。因此,实时视频制作系统1A和1B可以抑制现场资源的增加。如上所述,实时视频制作系统1A和1B可以通过使用云服务器100提高实时视频制作的效率。
并且,云服务器100向视频照相机200的位置改变机构传送用于远程控制视频照相机200的位置的远程控制信号。例如,实时视频制作系统1A和1B可以远程且容易地控制现场的视频照相机200的位置。因此,实时视频制作系统1、1A和1B可以远程改变视频照相机200的位置,并且可以减少操作视频照相机200的摄像师的数量。因此,实时视频制作系统1A和1B可以抑制现场资源的增加。如上所述,实时视频制作系统1A和1B可以通过使用云服务器100提高实时视频制作的效率。
并且,实时视频制作系统1B包括MEC服务器400,该MEC服务器400与多个视频照相机200和云服务器100通信,将从多个视频照相机200接收的信号传送到云服务器100,并将从云服务器100接收的信号传送到多个视频照相机200中的至少一个。实时视频制作系统1B具有MEC服务器400,该MEC服务器400与视频照相机200和云服务器100通信,并执行视频照相机200和云服务器100之间的通信,使得例如可以将处理和功能分发到云服务器100和MEC服务器400中的每一个。因此,实时视频制作系统1B可以根据处理和功能的目的等,实现云服务器100和MEC服务器400之间的处理和功能的最佳布置。如上所述,实时视频制作系统1B可以通过使用云服务器100提高实时视频制作的效率。
并且,多接入边缘计算(MEC)服务器400具有无线传送和接收视频信号的功能以及执行输出控制的功能。实时视频制作系统1B可以通过在云服务器100之外设置MEC服务器400,将处理和功能分发给云服务器100和MEC服务器400中的每一个。因此,实时视频制作系统1B可以在云服务器100和MEC服务器之间分发处理。例如,实时视频制作系统1B可以使MEC服务器400执行需要低延迟的视频编辑相关处理(例如SWer/GFX/Edit)。并且,实时视频制作系统1B可以使云服务器100执行不需要低延迟且具有大处理负载的处理等。如上所述,实时视频制作系统1B可以通过使用云服务器100提高实时视频制作的效率。
并且,云服务器100具有视频分析功能,并且通过使用分析结果提取或生成信息。例如,云服务器100可以分析视频,并且通过使用分析结果提取或生成诸如Stats信息的信息。在实时视频制作系统1B中,云服务器100具有视频分析功能,并且通过使用分析结果提取或生成信息,使得能够通过使用云服务器100的分析结果制作实时视频。因此,实时视频制作系统1B可以通过使用云服务器100提高实时视频制作的效率。
云服务器100以无线的方式接收多个单独视频信号,并且以无线的方式传送远程控制信号。如上所述,在实时视频制作系统1、1A和1B中,云服务器100可以以无线的方式传送各种信号。
云服务器100通过5G通信接收多个单独视频信号,并通过5G通信传送远程控制信号。如上所述,在实时视频制作系统1、1A和1B中,云服务器100可以通过5G通信高速传送各种信号。
云服务器100以无线的方式接收通过根据远程控制信号控制其成像动作的多个照相机的成像获得的多个单独视频信号,传送基于多个单独视频信号的主线视频信号,根据作为从外部接收的与视频的编辑相关的操作信号的第一操作信号、通过基于接收的多个单独视频信号的视频的输出控制、获得主线视频信号,并且,根据作为与从外部接收的照相机的控制有关的操作信号的第二操作信号,以无线的方式传送对多个照相机中的至少一个的远程控制信号。如上所述,云服务器100以无线的方式传送用于远程控制多个视频照相机200的远程控制信号,并传送基于单独视频信号的主线视频信号。云服务器100具有与视频输出控制相关的功能和与视频照相机200的远程控制相关的功能。因此,在使用云服务器100的实时视频制作系统(实时视频制作系统1、1A、1B等)中,可以在预定的基地处聚合资源,而无需通过例如OBVAN等到达现场,使得可以抑制现场资源的增加。例如,使用云服务器100的实时视频制作系统1、1A和1B允许在诸如具有终端设备10的基地的与诸如体育场的现场不同的位置处聚合资源,并且可以用有限的人员制作多个实时视频。并且,在使用云服务器100的实时视频制作系统1、1A和1B中,能够减少现场的视频照相机和CCU之间的连接、布线和布线后测试的初步准备等,并因此也能够提高工作流的效率。以这种方式,云服务器100可以提高实时视频制作的效率。
[6、硬件配置]
例如,根据上述各实施例的诸如云服务器100或CCU 300的信号处理设备、MEC服务器400或终端设备10由具有如图17所示的配置的计算机1000实现。图17是示出实现云服务器的功能的计算机1000的示例的硬件配置图。下文中,将描述云服务器100作为示例。计算机1000具有CPU 1100、RAM 1200、只读存储器(ROM)1300、硬盘驱动器(HDD)1400、通信接口1500和输入输出接口1600。计算机1000的各单元由总线1050连接。
CPU 1100基于存储在ROM 1300或HDD 1400中的程序动作,并且控制各单元。例如,CPU 1100在RAM 1200中展开存储在ROM 1300或HDD 1400中的程序,并执行对应于各种程序的处理。
ROM 1300存储诸如当计算机1000被激活时由CPU 1100执行的基本输入输出系统(BIOS)的引导程序和取决于计算机1000的硬件的程序等。
HDD 1400是非瞬时记录由CPU 1100执行的程序和由程序使用的数据等的计算机可读记录介质。具体地,HDD 1400是记录信息处理程序(诸如根据本公开的信号处理程序)的记录介质,该信息处理程序是程序数据1450的示例。
通信接口1500是用于计算机1000连接到外部网络1550(例如,因特网)的接口。例如,CPU 1100经由通信接口1500从另一设备接收数据或将由CPU 1100生成的数据传送到另一设备。
输入输出接口1600是用于连接输入输出设备1650和计算机1000的接口。例如,CPU1100经由输入输出接口1600从诸如键盘和鼠标的输入设备接收数据。另外,CPU 1100经由输入输出接口1600将数据传送到输出设备,诸如显示器、扬声器或打印机。并且,输入输出接口1600可以用作读取记录在预定记录介质()中的程序等的媒体接口。预定记录介质为例如诸如数字多功能盘(DVD)或相变可重写盘(PD)的光记录介质、诸如磁光盘(MO)的磁光记录介质、磁带介质、磁记录介质或半导体存储器等。
例如,在计算机1000用作根据本实施例的云服务器100的情况下,计算机1000的CPU 1100通过执行加载在RAM 1200上的信息处理程序实现控制单元130等的功能。并且,HDD 1400存储根据本公开的信息处理程序和云服务器100的存储单元中的数据。注意,CPU1100从HDD 1400读取程序数据1450并执行程序数据,但作为另一示例,可以经由外部网络1550从另一设备获取这些程序。
注意,本技术可以具有如下的配置。
(1)
一种实时视频制作系统,包括:
多个照相机,其成像动作根据远程控制信号被控制;和
云服务器,接收通过多个照相机的成像获得的多个单独视频信号并传送基于多个单独视频信号的主线视频信号,其中,
云服务器根据作为从外部接收的与视频的编辑相关的操作信号的第一操作信号、通过基于接收的多个单独视频信号的视频的输出控制、获得主线视频信号,并且根据作为从外部接收的与照相机的控制相关的操作信号的第二操作信号、传送对于多个照相机中的至少一个的远程控制信号。
(2)
根据(1)所述的实时视频制作系统,还包括:
由操作员使用并向云服务器传送对应于操作员的操作的操作信号的终端设备,其中,
云服务器执行对应于从终端设备接收的操作信号的处理。
(3)
根据(2)所述的实时视频制作系统,其中,
终端设备将指示操作员从多个照相机中选择的照相机的信息传送到云服务器,以及
云服务器执行启用在操作员与操作由操作员选择的照相机的摄像师之间的通过语音的通信的处理。
(4)
根据(3)所述的实时视频制作系统,其中,
云服务器使用多个照相机中的每一个和操作多个照相机中的每一个的摄像师彼此关联的信息以指定操作由操作员选择的照相机的摄像师,并执行启用在操作员与摄像师之间的通过语音的通信的处理。
(5)
根据(1)~(4)中的任一项所述的实时视频制作系统,还包括:
接收设备,被布置在广播站中并从云服务器接收主线视频信号。
(6)
根据(1)所述的实时视频制作系统,还包括:
信号处理设备,与多个照相机中的至少一个和云服务器通信,并执行作为与照相机相关的处理的照相机相关处理。
(7)
根据(6)所述的实时视频制作系统,其中,
信号处理设备是照相机控制单元(CCU)或基带处理单元(BPU)。
(8)
根据(6)或(7)所述的实时视频制作系统,其中,
云服务器执行照相机相关处理当中的第一处理,以及
信号处理设备执行照相机相关处理当中的除第一处理以外的第二处理。
(9)
根据(8)所述的实时视频制作系统,其中,
第一处理包括与照相机的控制相关的处理,以及
第二处理包括对由照相机成像的视频的处理。
(10)
根据(8)或(9)所述的实时视频制作系统,其中,
第一处理包括调整照相机的光圈或焦点中的至少一个的处理,以及
第二处理包括对作为对象的由照相机成像的视频调整增益、颜色平衡或白平衡中的至少一个的处理。
(11)
根据(6)~(10)中的任一项所述的实时视频制作系统,其中,
分别与多个照相机相关联地设置多个信号处理设备。
(12)
根据(1)~(11)中的任一项所述的实时视频制作系统,其中,
云服务器执行对应于输出切换、视频合成、静止图像生成、运动图像生成或回放视频生成中的至少一个的输出控制。
(13)
根据(1)~(12)中的任一项所述的实时视频制作系统,其中,
云服务器执行对应于切换器(Switcher)、编辑(Edit)、图形(GFX)或回放(Replay)中的至少一个的输出控制。
(14)
根据(1)~(13)中的任一项所述的实时视频制作系统,其中,
云服务器将远程控制照相机的远程控制信号传送到多个照相机中的至少一个。
(15)
根据(14)所述的实时视频制作系统,其中,
云服务器传送调整摇摄、倾斜或变焦中的至少一种的远程控制信号。
(16)
根据(1)~(15)中的任一项所述的实时视频制作系统,其中,
云服务器将用于远程控制照相机的位置的远程控制信号传送到该照相机的位置改变机构。
(17)
根据(1)~(16)中的任一项所述的实时视频制作系统,还包括:
与多个照相机和云服务器通信、将从多个照相机接收的信号传送到云服务器、并且将从云服务器接收的信号传送到多个照相机中的至少一个的另一服务器。
(18)
根据(17)所述的实时视频制作系统,其中,
另一服务器是具有无线传送和接收视频信号的功能以及执行输出控制的功能的多接入边缘计算(MEC)服务器。
(19)
根据(1)~(18)中的任一项所述的实时视频制作系统,其中,
云服务器具有视频分析功能,并且通过使用分析结果提取或生成信息。
(20)
根据(1)~(19)中的任一项所述的实时视频制作系统,其中,
云服务器以无线的方式接收多个单独视频信号,并以无线的方式传送远程控制信号。
(21)
根据(20)所述的实时视频制作系统,其中,
云服务器通过第五代技术标准(5G)通信接收多个单独视频信号,并通过5G通信传送远程控制信号。
(22)
一种用于执行处理的实时视频制作方法,包括:
根据远程控制信号控制多个照相机的成像动作;和
通过云服务器,接收通过多个照相机的成像获得的单独视频信号并传送基于单独视频信号的主线视频信号,根据作为从外部接收的与视频的编辑相关的操作信号的第一操作信号、通过基于接收的多个单独视频信号的视频的输出控制、获得主线视频信号,并且根据作为从外部接收的与照相机的控制相关的操作信号的第二操作信号、传送对于多个照相机中的至少一个的远程控制信号。
(23)
一种云服务器,其中,
云服务器以无线的方式接收通过根据远程控制信号控制其成像动作的多个照相机的成像获得的多个单独视频信号,传送基于多个单独视频信号的主线视频信号,根据作为从外部接收的与视频的编辑相关的操作信号的第一操作信号、通过基于接收的多个单独视频信号的视频的输出控制、获得主线视频信号,并且根据作为从外部接收的与照相机的控制相关的操作信号的第二操作信号、以无线的方式传送对于多个照相机中的至少一个的远程控制信号。
附图标记列表
1 实时视频制作系统
10 终端设备(远程控制器)
100 云服务器
110 通信单元
120 存储单元
130 控制单元
131 通信控制单元
132 处理单元
200 视频照相机(照相机)
Claims (23)
1.一种实时视频制作系统,包括:
多个照相机,其成像动作根据远程控制信号被控制;和
云服务器,接收通过多个照相机的成像获得的多个单独视频信号并传送基于多个单独视频信号的主线视频信号,其中,
云服务器根据作为从外部接收的与视频的编辑相关的操作信号的第一操作信号、通过基于接收的多个单独视频信号的视频的输出控制、获得主线视频信号,并且根据作为从外部接收的与照相机的控制相关的操作信号的第二操作信号、传送对于多个照相机中的至少一个的远程控制信号。
2.根据权利要求1所述的实时视频制作系统,还包括:
由操作员使用并向云服务器传送对应于操作员的操作的操作信号的终端设备,其中,
云服务器执行对应于从终端设备接收的操作信号的处理。
3.根据权利要求2所述的实时视频制作系统,其中,
终端设备将指示操作员从多个照相机中选择的照相机的信息传送到云服务器,以及
云服务器执行启用在操作员与操作由操作员选择的照相机的摄像师之间的通过语音的通信的处理。
4.根据权利要求3所述的实时视频制作系统,其中,
云服务器使用多个照相机中的每一个和操作多个照相机中的每一个的摄像师彼此关联的信息以指定操作由操作员选择的照相机的摄像师,并执行启用在操作员与摄像师之间的通过语音的通信的处理。
5.根据权利要求1所述的实时视频制作系统,还包括:
接收设备,被布置在广播站中并从云服务器接收主线视频信号。
6.根据权利要求1所述的实时视频制作系统,还包括:
信号处理设备,与多个照相机中的至少一个和云服务器通信,并执行作为与照相机相关的处理的照相机相关处理。
7.根据权利要求6所述的实时视频制作系统,其中,
信号处理设备是照相机控制单元(CCU)或基带处理单元(BPU)。
8.根据权利要求6所述的实时视频制作系统,其中,
云服务器执行照相机相关处理当中的第一处理,以及
信号处理设备执行照相机相关处理当中的除第一处理以外的第二处理。
9.根据权利要求8所述的实时视频制作系统,其中,
第一处理包括与照相机的控制相关的处理,以及
第二处理包括对由照相机成像的视频的处理。
10.根据权利要求8所述的实时视频制作系统,其中,
第一处理包括调整照相机的光圈或焦点中的至少一个的处理,以及
第二处理包括对作为对象的由照相机成像的视频调整增益、颜色平衡或白平衡中的至少一个的处理。
11.根据权利要求6所述的实时视频制作系统,其中,
分别与多个照相机相关联地设置多个信号处理设备。
12.根据权利要求1所述的实时视频制作系统,其中,
云服务器执行对应于输出切换、视频合成、静止图像生成、运动图像生成或回放视频生成中的至少一个的输出控制。
13.根据权利要求1所述的实时视频制作系统,其中,
云服务器执行对应于切换器、编辑、图形或回放中的至少一个的输出控制。
14.根据权利要求1所述的实时视频制作系统,其中,
云服务器将远程控制照相机的远程控制信号传送到多个照相机中的至少一个。
15.根据权利要求14所述的实时视频制作系统,其中,
云服务器传送调整摇摄、倾斜或变焦中的至少一种的远程控制信号。
16.根据权利要求1所述的实时视频制作系统,其中,
云服务器将用于远程控制照相机的位置的远程控制信号传送到该照相机的位置改变机构。
17.根据权利要求1所述的实时视频制作系统,还包括:
与多个照相机和云服务器通信、将从多个照相机接收的信号传送到云服务器、并且将从云服务器接收的信号传送到多个照相机中的至少一个的另一服务器。
18.根据权利要求17所述的实时视频制作系统,其中,
另一服务器是具有无线传送和接收视频信号的功能以及执行输出控制的功能的多接入边缘计算(MEC)服务器。
19.根据权利要求1所述的实时视频制作系统,其中,
云服务器具有视频分析功能,并且通过使用分析结果提取或生成信息。
20.根据权利要求1所述的实时视频制作系统,其中,
云服务器以无线的方式接收多个单独视频信号,并以无线的方式传送远程控制信号。
21.根据权利要求20所述的实时视频制作系统,其中,
云服务器通过第五代技术标准(5G)通信接收多个单独视频信号,并通过5G通信传送远程控制信号。
22.一种用于执行处理的实时视频制作方法,包括:
根据远程控制信号控制多个照相机的成像动作;和
通过云服务器,接收通过多个照相机的成像获得的单独视频信号并传送基于单独视频信号的主线视频信号,根据作为从外部接收的与视频的编辑相关的操作信号的第一操作信号、通过基于接收的多个单独视频信号的视频的输出控制、获得主线视频信号,并且根据作为从外部接收的与照相机的控制相关的操作信号的第二操作信号、传送对于多个照相机中的至少一个的远程控制信号。
23.一种云服务器,其中,
云服务器以无线的方式接收通过根据远程控制信号控制其成像动作的多个照相机的成像获得的多个单独视频信号,传送基于多个单独视频信号的主线视频信号,根据作为从外部接收的与视频的编辑相关的操作信号的第一操作信号、通过基于接收的多个单独视频信号的视频的输出控制、获得主线视频信号,并且根据作为从外部接收的与照相机的控制相关的操作信号的第二操作信号、以无线的方式传送对于多个照相机中的至少一个的远程控制信号。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-065090 | 2020-03-31 | ||
JP2020065090 | 2020-03-31 | ||
PCT/JP2021/011571 WO2021200304A1 (ja) | 2020-03-31 | 2021-03-22 | ライブ映像制作システム、ライブ映像制作方法及びクラウドサーバ |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115336282A true CN115336282A (zh) | 2022-11-11 |
Family
ID=77928558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180023716.1A Pending CN115336282A (zh) | 2020-03-31 | 2021-03-22 | 实时视频制作系统、实时视频制作方法和云服务器 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230362315A1 (zh) |
EP (1) | EP4131977A4 (zh) |
JP (1) | JPWO2021200304A1 (zh) |
CN (1) | CN115336282A (zh) |
WO (1) | WO2021200304A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023171347A1 (ja) * | 2022-03-09 | 2023-09-14 | パナソニックIpマネジメント株式会社 | 映像処理方法、及び映像処理サーバ |
JP7279839B1 (ja) | 2022-08-17 | 2023-05-23 | 凸版印刷株式会社 | 遠隔映像配信システム、および遠隔映像配信方法 |
CN116320515B (zh) * | 2023-03-06 | 2023-09-08 | 北京车讯互联网股份有限公司 | 一种基于移动摄像设备的实时直播方法与系统 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000209576A (ja) * | 1999-01-14 | 2000-07-28 | Minolta Co Ltd | アクセス制御装置およびアクセス制御プログラムを記録した記録媒体 |
JP3975909B2 (ja) * | 2002-12-17 | 2007-09-12 | 株式会社日立製作所 | 撮像装置、記録装置および再生装置 |
JP4243140B2 (ja) * | 2003-06-11 | 2009-03-25 | 日本放送協会 | データ送信装置、データ送信プログラムおよびデータ受信装置、データ受信プログラムならびにデータ送受信方法 |
JP2005318445A (ja) * | 2004-04-30 | 2005-11-10 | Funai Electric Co Ltd | 遠隔見守りシステムの宅内装置 |
JP2008131379A (ja) * | 2006-11-21 | 2008-06-05 | Yamaha Corp | 配信システム、および端末装置 |
JP2012129716A (ja) * | 2010-12-14 | 2012-07-05 | Sony Corp | カメラ操作装置、カメラ制御方法、及びカメラシステム |
US20130198044A1 (en) * | 2012-01-27 | 2013-08-01 | Concert Window LLC | Automated broadcast systems and methods |
JP6334873B2 (ja) | 2013-09-11 | 2018-05-30 | 日本放送協会 | コンテンツ制作装置及びコンテンツ制作プログラム |
JP2018026712A (ja) * | 2016-08-10 | 2018-02-15 | キヤノン株式会社 | カメラ制御システム |
CN108737769A (zh) * | 2017-04-14 | 2018-11-02 | 杭州登虹科技有限公司 | 将直播视频流接入视频监控的方法 |
JP2019062469A (ja) * | 2017-09-27 | 2019-04-18 | 富士通株式会社 | 基地局装置、無線通信システム及び優先制御方法 |
KR102449670B1 (ko) * | 2018-01-16 | 2022-09-30 | 삼성전자주식회사 | 복수의 카메라를 이용하여 영상 데이터를 생성하는 방법 및 서버 |
FI20185104A1 (en) * | 2018-02-06 | 2019-08-07 | Nokia Technologies Oy | Manage power consumption of portable devices |
US10966001B2 (en) * | 2018-04-05 | 2021-03-30 | Tvu Networks Corporation | Remote cloud-based video production system in an environment where there is network delay |
US11070712B2 (en) * | 2019-08-30 | 2021-07-20 | Puwell Technology Llc | Method and system for control of a digital camera system |
-
2021
- 2021-03-22 CN CN202180023716.1A patent/CN115336282A/zh active Pending
- 2021-03-22 EP EP21781836.8A patent/EP4131977A4/en active Pending
- 2021-03-22 WO PCT/JP2021/011571 patent/WO2021200304A1/ja unknown
- 2021-03-22 JP JP2022511939A patent/JPWO2021200304A1/ja active Pending
- 2021-03-22 US US17/908,157 patent/US20230362315A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021200304A1 (ja) | 2021-10-07 |
EP4131977A1 (en) | 2023-02-08 |
US20230362315A1 (en) | 2023-11-09 |
EP4131977A4 (en) | 2023-06-07 |
JPWO2021200304A1 (zh) | 2021-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230362315A1 (en) | Live video production system, live video production method, and cloud server | |
US10123070B2 (en) | Method and system for central utilization of remotely generated large media data streams despite network bandwidth limitations | |
US10911694B2 (en) | System and method for creating metadata model to improve multi-camera production | |
JP4178634B2 (ja) | 映像信号伝送装置、映像信号伝送方法、映像信号撮像装置および映像信号処理装置 | |
EP3515070B1 (en) | Encoding color component prediction mode when using intra block copy | |
US20170213577A1 (en) | Device for generating a video output data stream, video source, video system and method for generating a video output data stream and a video source data stream | |
KR101577409B1 (ko) | 데이터 저장용량을 절약할 수 있도록 촬영 영역별 차별적 해상도를 적용한 cctv 시스템 | |
CN104662911A (zh) | 解码设备和解码方法、编码设备和编码方法 | |
EP2538670B1 (en) | Data processing unit | |
EP2725489A1 (en) | Method of operating a video processing apparatus | |
US11699462B2 (en) | Method, apparatus and computer program | |
EP3687180B1 (en) | A method, device and computer program | |
Wang et al. | Investigation and design of 4K ultra high definition television production and broadcasting system | |
US20230274525A1 (en) | Information processing system, information processing method, and information processing program | |
Sakiyama et al. | 8K-UHDTV production equipment and workflow which realize an unprecedented video experience | |
KR101553928B1 (ko) | Hdmi가 적용된 eng 카메라의 용도변환 시스템 | |
CN113315932B (zh) | 云转播平台、无人混合采访系统与方法 | |
US20230239421A1 (en) | System for Remote Production of Audiovisual Contents | |
KR101414796B1 (ko) | 디지털 중계 방송용 시스템의 신호 변환 및 복수의 카메라 원격 제어 장치 | |
CN114422735B (zh) | 一种录像机、视频数据处理方法、装置及电子设备 | |
KR101634342B1 (ko) | 데이터 저장용량을 절약할 수 있도록 배경 이미지에 오버레이 된 이벤트 영상을 이용한 cctv 시스템 | |
CN117978940A (zh) | 一种录像机、视频数据处理方法、装置及电子设备 | |
JP2000101867A (ja) | 映像信号伝送装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |