CN115836517B - 信息处理装置、信息处理程序及记录介质 - Google Patents
信息处理装置、信息处理程序及记录介质 Download PDFInfo
- Publication number
- CN115836517B CN115836517B CN202180047947.6A CN202180047947A CN115836517B CN 115836517 B CN115836517 B CN 115836517B CN 202180047947 A CN202180047947 A CN 202180047947A CN 115836517 B CN115836517 B CN 115836517B
- Authority
- CN
- China
- Prior art keywords
- video
- image
- data
- information processing
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 87
- 230000005540 biological transmission Effects 0.000 claims abstract description 30
- 239000000463 material Substances 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 40
- 230000007704 transition Effects 0.000 description 31
- 238000009826 distribution Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 23
- 238000003860 storage Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 18
- 230000008859 change Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000003825 pressing Methods 0.000 description 6
- 239000000872 buffer Substances 0.000 description 5
- 238000007667 floating Methods 0.000 description 5
- 238000004091 panning Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 101150039623 Clip1 gene Proteins 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000004513 sizing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007562 laser obscuration time method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010010 raising Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
- H04H60/04—Studio equipment; Interconnection of studios
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/64322—IP
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Circuits (AREA)
- Debugging And Monitoring (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明的信息处理装置进行以包括网络摄像机的多个影像源的影像作为素材输出(制作或发布)影像内容的信息处理,包括:切换单元,根据传送的影像信号进行切换,所述影像信号以发送节点不确认接收节点的接收即从所述影像源传送数据的传送方式进行传送;以及信息处理单元,根据哪一影像源在哪一时刻被所述切换单元切换的相关信息以及通过所述影像源输出的影像数据,输出(制作或发布)影像内容。
Description
技术领域
本发明涉及一种进行与影像内容的制作或发布有关的信息处理的信息处理装置,该影像内容以包括网络摄像机的多个影像源的影像为素材。
背景技术
通常,电视节目等的影像内容的制作是通过在显示器屏幕上显示多个成像设备从不同方向(视场角)相对于拍摄对象拍摄的影像信号,由切换器(影像切换单元)通过切换按钮等的操作进行供观众观看的影像内容所使用的影像和不使用的影像之间的切换(Switching)。
但是,与以往相比,通过如因特网或局域网(LAN)等计算机网络发送影像信号的网络摄像机正在普及。此外,近年来,在用于业务、广播和一般摄影用的摄影机和数码摄像机中,还出现了能够通过计算机网络发送所拍摄的影像的摄影机和数码摄像机。
因此,存在如下课题和需求:想要使用这样的网络摄像机(能够通过计算机网络发送影像的摄像机),通过切换影像源来进行影像内容的制作,以减少设置线路的时间、精力以及器材成本,使影像内容制作简便化、迅速化并实现成本降低。
此外,近年来,因特网的影像发布中,基于HTTP(HyperText Transfer Protocol,超文本传输协议)发送影像的HTTP流式传输(HTTP Streaming)发布成为主流。HTTP流式传输将影像数据分段(细分)成微小时间(例如10秒)的TS(Transport Stream)文件,与进行播放指示的播放列表(M3U文件、MPD文件等格式)一起传送HTTP数据,在观众终端中根据播放列表连续播放接收到的TS文件。
HTTP流式传输包括HLS(HTTP Live Streaming,HTTP实时流式传输)和MPEG-DASH(Dynamic Adaptive Streaming over HTTP,基于HTTP的动态自适应流式传输)等格式。
在计算机网络中的数据发送中,有如下方式:使用TCP(Transmission ControlProtocol,传输控制协议)的方式,该方式在确认到接收节点的接收通知之前持续再次发送相同的数据(数据包);使用UDP(User Datagram Protocol,用户数据报协议)的方式,该方式中发送节点不确认接收节点的接收即传送数据。
由于HTTP流式传输的数据传送使用TCP(Transmission Control Protocol,传输控制协议),因此抑制了数据传送引起的信号质量的劣化。此外,由于TCP是与WEB服务器中的一般的文件传送相同的传送方式,因此能够实现发布成本的降低等。
在专利文献1中,公开了一种摄像机系统的技术,该摄像机系统具有:多个摄像机装置,将通过摄像获取的影像信号分组化并输出;以及转播装置,与多个摄像机装置连接并对从多个摄像机装置传送的所述影像信号进行转播。转播装置具备:接收部,接收基于同步信号在多个摄像机装置间同步的各个影像信号;以及切换部,基于用于选择影像的控制信号来选择并输出从多个摄像机装置输出的影像信号,由此,从来自多个摄像机装置的影像中选择所希望的影像,并且简化系统结构。
此外,在专利文献2中,公开了一种可适用于基于IP的广播系统的影像传送装置及监视系统的技术,包括:影像传送装置,接收非压缩影像信号,在生成非压缩影像数据的IP分组流的同时,压缩非压缩信号,生成压缩影像数据的IP分组流;影像发布系统,从由多个所述影像传输装置接收到的IP分组流中,将非压缩影像数据的IP分组流作为高品质影像发布的同时,将压缩影像数据的IP分组流发布给用于监视影像的监视器系统;以及监视器系统,从所述压缩影像数据的IP分组流中选择显示在监视器上的IP分组流并显示在监视器上。
此外,在专利文献3中公开了一种信息处理装置的技术,通过对输入的文本的部分分配包括摄像装置的影像源或摄影操作,就能够通过观看构成脚本或采访记录等内容构成的文本(文字、文章)来确定形成怎样的构图、如何切换包括多个摄像机的影像源。
此外,在专利文献4中公开了一种影像流传输发布装置的技术,通过生成确定从流数据提取的播放用影像剪辑的剪辑信息文件、和用于指示构成剪辑的多个分段文件的播放的播放指示文件,编辑包括所述播放指示文件的所述剪辑信息文件并将所述剪辑信息文件传送到公开用站点,例如在体育实况转播中,能够一边实时发布该影像,一边在Web上公开包括定义与高光场景对应的剪辑的播放列表的剪辑信息文件。
此外,专利文献5公开了一种内容发布技术,包括:播放单元,用于播放包括多个TS分组的视频文件;UDP分组接收单元,分解包括多个TS分组的视频文件并接收IP多播发送的UDP分组;以及视频文件重构单元,将从上述UDP分组接收单元接收到UDP分组重构为上述视频文件并基于HTTP提供给上述播放单元。上述视频文件重构单元通过在不接收与上述视频文件对应的多个UDP分组中的至少一个UDP分组的情况下,以仅包括完整的TS分组的方式重构上述视频文件,从而,在基于HTTP发布视频的情况下,使用IP多播通信,进而尽可能地减少播放损失。
现有技术文献
专利文献
专利文献1:日本特开2015-62311号公报
专利文献2:日本特开2016-9881号公报
专利文献3:日本特开2012-14420号公报
专利文献4:日本特许5909546号公报
专利文献5:日本特许6490284号公报
发明内容
发明要解决的问题
为了从网络摄像机实时传送影像信号,使用以发送节点不确认接收节点的接收即传送数据的UDP(User Datagram Protocol,用户数据报协议)为基础的RTP(Real-timeTransport Protocol,实时传输协议)。然而,由于在RTP通信中,即使对方未接收到发送数据也不会重新发送,因此在网络上发生传送数据的一部分丢失的丢包(Packet Lost)的情况下,影像或声音会劣化。所以,不能将这样的数据作为供观众观看的影像内容的素材直接使用。
另一方面,由于在计算机网络中标准地使用的TCP/IP(Transmission ControlProtocol/Internet Protocol,传输控制协议/网际协议)优先数据品质,实时性较差(时间偏差),因此存在由TCP/IP传送的影像数据不适合作为用于切换或摄影操作控制的实时取景影像的问题。
此外,根据上述的HTTP流式传输,能够发布没有噪声的高品质的影像/声音。但是,由于在由各个网络摄像机或影像源生成、输出的数据中不反映切换,因此用于进行反映了切换的HTTP流式传输发布的数据处理是必要的。
但是,在包括上述文献中公开的技术的现有技术中,没有解决这些问题。
本发明是为了解决上述问题而完成的,其目的在于提供一种适于切换包括网络摄像机的多个影像源的影像并输出(制作或发布)影像内容的信息处理装置。
解决问题的方案
本发明的信息处理装置,进行以包括网络摄像机的多个影像源的影像作为素材输出(制作或发布)影像内容的信息处理,所述信息处理装置包括:切换单元,根据传送的影像信号进行切换,所述影像信号以发送节点不确认接收节点的接收即从所述影像源传送数据的传送方式进行传送;以及信息处理单元,根据哪一影像源在哪一时刻被所述切换单元切换的相关信息以及从所述影像源输出的影像数据,输出(制作或发布)影像内容。
发明效果
根据本发明,能够实现一种适于切换包括网络摄像机的影像源并输出(制作或发布)影像内容的信息处理装置。
附图说明
图1是示出了本实施方式的信息处理装置的主要部分结构的框图。
图2是示出了本实施方式的信息处理装置的使用状态的一个示例的图。
图3是示出了本实施方式的信息处理装置的功能模块构成的框图。
图4是示出了切换器终端的功能模块构成的框图。
图5是示出了本实施方式的信息处理装置在切换器终端的触摸面板显示器上显示的WEB应用程序画面的示例的图。
图6是示出了本实施方式的信息处理装置在切换器终端的触摸面板显示器上显示的摄像机操作面板的示例的图。
图7是示出了本实施方式的信息处理装置生成并输出序列数据的处理流程的流程图。
图8是示出了本实施方式的信息处理装置基于哪一影像源在哪一时刻被切换的相关信息来生成并发布播放列表的信息处理的示例的流程图。
图9是示出了随着按下编程摄影操作按钮523而显示的编程摄影操作面板的一个示例的图。
图10是示出了编程摄影操作功能的处理流程的流程图。
图11是说明镜头的“尺寸”的图。
图12是示出了本实施方式的信息处理装置输出的序列数据的一个示例的图。
图13是示出了播放列表的一个示例的图。
图14是示出了EDL数据的一个示例的图。
图15是示出了能够连接到本实施方式的信息处理装置的网络摄像机的主要部分结构的框图。
图16是示出了能够连接到本实施方式的信息处理装置的观众终端的内容接收播放的功能模块的结构的框图。
具体实施方式
在本说明书中,所谓“切换”是指切换(来自)影像源(的影像信号),包括作为瞬时的切换的“剪切(Cut)切换”和作为花费了一定程度的时间的切换的“过渡(Transition)”。
此外,将使摄像机的视场角在水平方向上移动的“横移(Pan)”、使摄像机的视场角在垂直方向上移动的“纵移(Tit)”、使视场角放大/缩小的“变焦(Zoom)”统称为“PTZ”。
此外,将切换(剪切切换和过渡)以及PTZ控制(横移、纵移、变焦的控制)一起称为“摄影操作(Camerawork)”。
此外,从最初到最后,用一个摄像机,将中间没有开始/停止而连续拍摄的影像的单位称为“镜头(Shot)”。
此外,对于一个场景,将通过镜头或与之相应的单位影像的切换、组合而构成的一系列影像称为“场景(Scene)”。
此外,对于相同构成的场景进行的1次收录称为“镜次(Take)”。
此外,将供观众观看的影像制作物称为“节目”、“节目内容”、“影像内容”等。
此外,将表示上述“影像内容”中场景登场的顺序的编号称为“场景编号”。
此外,将正在被切换的影像源的影像称为“PGM”。
此外,将被切换的切换的(切换前的)影像源的影像称为“PST”。
下面,参照附图对本发明的优选实施方式进行说明。
图1是示出了本发明的实施方式的信息处理装置100的主要部分结构的框图。
在信息处理装置100中,CPU 110、RAM 120、ROM 130、显示器160、操作部170和网络I/F 190经由内部总线180相互连接。
110为CPU,除了控制信息处理装置100自身的动作(用于发挥功能的各部分的动作)之外,还进行控制影像源的动作等的信号的生成、各种数据的处理。
RAM 120为可写入的高速存储装置,加载有OS、各种程序及各种数据。此外,也作为OS或各种程序的作业区域使用。
ROM130为具有非易失性的只读存储装置,作为BIOS、各种基本程序以及各种基本数据的永久存储区域使用。
显示器160为LCD(液晶显示面板)等的显示装置。
操作部170为键盘、鼠标、操纵杆、遥控器、或者触摸面板(包括触摸显示器)等。
用户可以在触摸显示器上通过用手指或触笔等对图标等GUI(Graphical UserInterface,图形用户界面)部件进行点击(按下然后松开,touch down then up)或轻拂(在触摸的状态下快速移动并松开)等触摸手势,操作机器来执行各种功能。
网络I/F 190是用于与网络连接的I/F(接口),用于使网络摄像机1500等的影像源、观众终端1600、或者切换器终端400能够经由网络连接。
网络包括例如因特网、有线LAN、无线LAN、移动电话网等。
图2是示出了包括本发明的实施方式的信息处理装置的、内容输出系统的整体结构的图。在图2中,100是进行内容输出(制作或发布)的信息处理装置,经由网络向观众终端1600发布影像内容,此外,向切换器终端400提供基于切换的内容制作功能。
观众终端1600、切换器终端400是例如个人计算机(Personal Computer,以下称为“PC”)、平板电脑、智能手机等信息终端。
在图示的例子中,典礼、体育、游戏、音乐演奏、科学实验、报道、社会信息、会议、电视剧(戏剧)等“活动”(210)由多个摄像机1500-1、1500-2、...从不同的方向(视场角)进行拍摄。
切换器终端400包括例如显示器和触摸面板一体化的触摸面板显示器,接收用户(内容制作者)的GUI操作。该触摸面板显示器上显示的操作画面(GUI)通过信息处理装置100的WEB服务器功能,在由切换器终端400启动的WEB浏览器上作为WEB应用程序显示。
在切换器终端400上经由网络连接了网络摄像机1500等影像源,通过设备的IP地址、用户名、或者密码进行认证,能够进行数据访问、或者横移纵移等设备控制。
内容制作者一边通过发出提示(适时地发出信号)等使活动进行,一边根据从影像源UDP传送到切换器终端400的影像信号(实时的实时取景)来切换影像源并进行影像内容的制作。此时,生成记录了哪一影像源在哪一时刻被切换的序列数据,传送、保存在信息处理装置100的RAM 120等中。
另一方面,摄像机1500-1、1500-2、...等影像源的影像数据(影像剪辑)首先存储(包括高速缓存或缓冲)到该影像源所具有的存储单元(RAM、SD卡等存储介质)中。
在该影像源被切换时,进行将该存储的影像数据(影像剪辑)进行分段数据(TS文件)化的细分处理,传送、保存到特定的存储区域(例如在线存储器上的文件夹)。需要说明的是,根据需要,在该存储单元(或负责该存储单元的控制单元)中导入用于数据细分、或者传送、保存等的功能模块。
或者,在影像源本身具有HTTP流式传输的功能等的情况下,在各影像源内生成、保持分段数据(TS文件)。然后,将作为元数据附加在分段数据(TS文件)中的时间码等时间信息与该影像源被切换的时刻进行参照、比较,将与被切换的时刻有关的分段数据(TS文件)传送并保存到特定的存储区域(例如在线存储器上的文件夹)。
接下来,本发明的实施方式的信息处理装置100生成上述的、记录了影像源被切换的时刻的分段数据的文件路径和时间长度的播放列表(M3U文件、MPD文件等索引文件),并发布给观众终端1600(将播放列表登记在发布用目录中)。
观众终端1600通过参照播放列表(M3U文件、MPD文件等)请求分段数据,执行切换了多影像源的影像内容的流传输发布。
需要说明的是,也可以将从各个影像源的影像生成的分段数据记录并保存在该影像源主体或不经由计算机网络与该影像源主体连接的记录装置(记录介质)中,并从那里向观众终端1600发布数据(获取数据)。这样做的时候,改善了至观众终端1600等能够获取到分段数据的延迟(Latency)(延迟降低)。
如上所述,由于在UDP传送中实时性优先,数据品质下降(产生噪声),因此不适合将UDP传送的影像信号直接发布给观众观看,或者作为影像内容制作的素材使用。因此,在切换器终端400中,通过从各影像源进行UDP传送的影像信号(实时取景),在实时性良好地确认活动的进行的同时进行切换,将哪一影像数据(影像源)在哪一时刻被切换的信息作为“序列数据”生成并输出。该序列数据包括从影像源送出的影像数据(影像剪辑)的ID(识别符),且与影像数据相关联。此外,通过入点(切换插入开始时刻)、出点(插入结束时刻)的时间码,具有哪一影像数据(影像源)在哪一时刻被切换的信息。也就是说,可以参照在影像内容的场景中作为镜头而被采用的影像数据部分。
用户(内容制作者)能够在与记录介质230连接的影像编辑用终端240上,通过根据上述的序列数据编辑质量不下降的影像数据,适当地添加音乐效果、字幕、影像效果等,完成供观众观看的影像内容。
此外,本实施方式的信息处理装置100生成记载了影像源被切换的时刻的影像的分段数据的文件路径的播放列表。由于在分段数据的传送、发布中使用了TCP,因此确保了数据品质,在观众终端1600上进行没有噪声的高品质的影像、声音发布。也就是说,本实施方式的信息处理装置100基于从包括网络摄像机的多个影像源UDP传送的实时取景影像,进行影像源的切换(Switching),根据哪一影像源在哪一时刻被切换的信息,生成内容发布的播放列表,根据生成的播放列表,通过TCP传送使观众终端1600获取被切换的影像源的影像数据。
通过采用上述结构,根据本实施方式的信息处理装置100,能够一边随着婚丧嫁娶等典礼或电视剧(戏剧)等“活动”的进行,大致实时地切换影像源,一边输出(制作或发布)由网络传输的以品质降低少的影像数据为素材的影像内容供观众观看。
需要说明的是,近年来,作为用于在WEB浏览器中使用UDP进行实时影像通信的技术,出现了WebRTC(Web Real-Time Communication,网络实时通信),作为从影像源传送用于切换的实时取景影像的方法,也可以使用该WebRTC。
此外,在WEB浏览器不能通过UDP显示影像流时,也可以向网络摄像机发送上述的ONVIF规定的快照(Snapshot)获取命令,连续地获取静止图像(JPEG图像),并基于此进行切换。
由于静止图像(JPEG图像)即使连续,帧速率(每单位时间的显示帧数)也不够高,因此,不能直接供观众观看,但是,基于此,根据被切换时、哪一影像源在哪一时刻被切换的相关信息和从所述影像源输出的影像数据,就能够输出(制作或发布)没有噪声和帧速率降低的影像内容供观众观看。
即,实现一种信息处理方法,即使在WEB浏览器不支持(Support)基于UDP的影像流传输时,也能够在WEB浏览器上显示切换单元以使用户切换影像源,输出(制作或发布)影像内容。
图3是示出了本实施方式的信息处理装置100的功能模块构成的框图。信息处理装置100包括存储单元301、通信单元302、分段数据生成单元303、播放列表生成单元304、播放列表发布单元305、分段数据发布单元306、切换器单元307和系统时钟308。
图3所示的各功能中,利用各处的硬件资源来实现由存储在装置内的软件进行的信息处理。例如切换器单元307中,CPU 110通过存储在信息处理装置100的ROM 130中的软件进行信息处理,实现在切换器终端400的触摸面板显示器上显示WEB应用程序的触摸GUI。
存储单元301将影像内容以从影像源输出的影像剪辑文件和记录了该切换时刻的序列数据的组合的形式、或者将影像剪辑文件细分后的分段数据等的形式进行保持。
此外,将切换器终端的利用者(WEB应用程序的使用者)、内容观众、广告主的ID(识别符)或密码等分别作为制作者数据库、观众数据库、广告主数据库等进行保持。
通信单元302进行与切换器终端400或观众终端1600等之间的各种数据或命令的收发。例如,与切换器终端400的WEB浏览器通信来显示WEB应用程序。此外,根据来自观众终端1600的WEB浏览器的请求,对内容进行流传输发布。
分段数据生成单元303例如基于“MPEG-2TS”等标准格式,生成将从影像源输出的影像数据以微小时间(例如10秒)细分后的分段数据(TS文件)。另外,此时,将影像源的ID、拍摄影像数据的时刻的时间数据、生成的分段的文件路径等,作为分段数据信息储存在存储单元301中。
播放列表生成单元304在由分段数据生成单元303生成的分段数据中,生成记录了被切换的影像源的被切换的时刻的分段数据的文件路径和时间长度的播放列表。
播放列表发布单元305根据观众终端1600的请求,将播放列表发布到观众终端1600。具体而言,在发布用目录(文件夹)中注册并保存播放列表。
分段数据发布单元306将分段数据(TS文件)发布给观众终端1600。具体而言,将分段数据(TS文件)注册并保存在特定的目录(文件夹)中,将该文件路径记载在播放列表中。
切换器单元307根据活动的进展,通过内容制作者用户的指示,将与切换器终端400连接的影像源中的任意一个作为在该活动的影像内容的该时刻的构成素材进行选择切换。
系统时钟308与时间服务器同步地进行计时。
图15是示出了能够连接到本实施方式的信息处理装置100的网络摄像机1500的主要部分结构的框图。
网络摄像机1500的CPU 1510、RAM 1520、ROM 1530、摄像部1540、存储器I/F 1550、网络I/F 1560、PTZ控制部1570、外部I/F 1580经由内部总线1590相互连接。
1510是CPU,控制网络摄像机1500的动作。
RAM 1520是可写入的高速存储装置,加载有OS、各种程序以及各种数据。此外,也作为OS或各种程序的作业区域使用。
ROM 1530是具有非易失性的只读存储装置,作为BIOS、各种基本程序及各种基本数据的永久存储区域使用。
用于识别网络摄像机1500的识别ID(IP地址等)保持在RAM 1520或ROM 1530中。
摄像部1540利用CCD或CMOS等摄像传感器,对光学图像进行光电转换并传送给CPU。
存储器I/F 1550与SD卡或HDD等记录介质连接,进行影像信号或各种数据的写入或读出。
网络I/F 1560经由网络基于因特网协议或ONVIF等协议,承担用于与信息处理装置100或各种客户端进行通信的I/F。其中,ONVIF是由标准化团体Open Network VideoInterface Forum制定的、安装指示设备控制、图像、或者元数据的发布的开始等的命令等的协议。
PTZ控制部1570在具有横移、纵移、变焦机构的PTZ摄像机中,得到横移、纵移、变焦状态,或根据操作指示进行PTZ控制。
外部I/F 1580连接有麦克风、取景器等附属设备。也可以不必直接附属于摄像机主体,经由电缆通过端子连接,也可以无线连接。在通过麦克风拾取声音时,记录为与影像信号一体的音轨。
图16是示出了能够连接到本实施方式的信息处理装置100的观众终端1600的内容接收播放的功能模块的结构的框图。
观众终端1600包括通信单元1601、播放列表获取单元1602、分段数据获取单元1603、缓冲单元1604、以及播放单元1605。
通信单元1601通过HTTP等协议与信息处理装置100进行通信。
播放列表获取单元1602对信息处理装置100进行播放列表获取请求,从信息处理装置100获取播放列表。然后,在所获取的播放列表中记载的全部的分段数据的播放完成之前,再次发送播放列表获取请求,重新获取(重新加载)播放列表。在获取的播放列表中记载了表示是最后的播放列表的情况下,结束播放列表的获取。
分段数据获取单元1603按照在所获取的播放列表中记载的顺序获取分段数据。即,向表示播放列表中记载的TS文件的文件路径的URL(Uniform Resource Locator,统一资源定位符)发送获取请求。
缓冲单元1604对所获取的分段数据进行一定时间长度的缓冲(临时保持)。
播放单元1605按照播放列表中记载的顺序读出并播放在缓冲单元1604中缓冲的分段数据。
图4是示出了切换器终端400的功能模块构成的框图。
在图4中,401是影像源缩略图显示单元,根据与信息处理装置100连接的影像源的影像信号(实时取景)生成缩略图图像,并显示在切换器终端400的触摸面板显示器上。
402是主菜单显示单元,在切换器终端400上显示主菜单。
403是音量级别显示单元,在切换器终端400的触摸面板显示器上显示与信息处理装置100连接的影像源中用户选择(切换)的影像源(以下称为“PGM”)的声音信号的音量级别。
404是“ON AIR”指示器显示单元,在切换器终端400的触摸面板显示器上显示由用户指示开始的、输出由正在被切换的影像源或被切换的时刻等信息构成的序列数据等。
405是输出开始结束控制单元,控制序列数据等的输出开始、结束。
406是影像监视单元,在切换器终端400触摸面板显示器上的监视部506上显示被用户选择(切换)的影像源的影像信号(PGM)。
407是影像源检索、添加、删除单元,进行能够与信息处理装置100连接的影像源的检索、添加、删除。
408是切换单元,通过用户指示选择(切换)与信息处理装置100连接的影像源中的任一个作为PGM,将该影像信号显示在切换器终端400触摸面板显示器上的监视部506上。
409是摄像机控制单元,根据用户操作生成摄像机控制命令并将摄像机控制命令发送给目标摄像机。
410是过渡单元,控制从作为PGM被选择的影像源向其它影像源经过一定时间的切换。
411是属性单元,进行对影像源的序列(时间线)的属性的写入、读出。
412是设备设定单元,进行在切换器终端400触摸面板显示器上的显示文本尺寸、画面的亮度、音量、或者WiFi连接等的设定、调整。
413是系统时钟,与时间服务器同步进行计时。
414是数据输出单元,将生成的序列数据以SMIL(Synchronized MultimediaIntegration Language,同步多媒体集成语言)、CSV(Comma Separated Value,逗号分隔值)、EDL(Edit Decision List,编辑决策列表)、AAF(Advanced Authoring Format,高级创作格式)等数据格式输出。
415是编程摄影操作单元,对每个场景的一系列摄影操作(切换和PTZ控制)进行编程。
416是摄影操作执行单元,根据用户指示,依次执行由编程摄影操作单元415编程的摄影操作。
网络摄像机中包括能够进行横移、纵移、或变焦中的任意一种的摄像机。本实施方式的信息处理装置100包括控制这样的网络摄像机的横移、纵移、变焦的PTZ控制单元。
通过采用这样结构,能够一边随着婚丧嫁娶或电视剧(戏剧)等“活动”的进行,大致实时地控制网络摄像机的横移、纵移、变焦,一边制作以网络传输的品质降低少的影像数据为素材的影像内容供观众观看。
此外,在本实施方式中,一体地提供切换单元和PTZ控制单元。
通过采用这样的结构,随着婚丧嫁娶等典礼和电视剧(戏剧)等的“活动”的进行,能够进行联合了切换和PTZ控制的影像内容制作上的“演出”。例如,为如下“演出”:在拍摄婚礼而制作的影像内容中,当新娘宣读“给父母的感谢信”时,逐渐放大新娘的特写,在信的阅读结束的瞬间切换到拍摄父母的摄像机。
图5是示出了本发明的本实施方式的信息处理装置100在切换器终端400的触摸面板显示器上显示的WEB应用程序画面的示例的图。
501是切换器应用的GUI。
502是调用主菜单的菜单按钮。
503是表示音量级别的音频计(Audio meter)。
504是显示是否处于收录(序列数据记录)或广播(流式传输)状态的“ON AIR”指示器。
505是指示“ON AIR”开始(收录或广播开始)的开始按钮。需要说明的是,当按下开始按钮505并开始收录或广播时,开始按钮505被切换为停止按钮505-2。
506是监视部,是显示正在被选择(切换)的影像源的影像(PGM)的区域。
507是影像源部,是显示可切换的影像源的缩略图的区域。在影像源部507上显示影像源缩略图5071、5072、...。影像源缩略图是表示与信息处理装置100网络连接的多个影像源的缩略图图标,对各影像源输出的影像进行缩略图显示。在图2的例子中,摄像机1500-1、1500-2、...是影像源,这些影像源拍摄的影像作为影像源缩略图被实时地显示。在没有进行拍摄的情况下,将之前的最终帧以静止状态显示,或者显示所谓的“黑屏(全黑的画面)”。
在图5所示的例子中,显示有3个PTZ(横移、纵移、变焦)摄像机拍摄的影像和1个视频影像。这里所说的视频影像是指例如预先拍摄的、保存在信息处理装置100的RAM 120或在线存储器等记录介质中的影像数据。这样的视频影像也可以作为影像内容的素材使用。
508是加号按钮,是用于检索并添加在影像源部507上显示的影像源的按钮。
509是用于控制各影像源的摄像机控制按钮。当用户按下摄像机控制按钮509时,显示摄像机操作面板600。摄像机操作面板600显示在每个摄像机上。另外,作为所谓的浮动窗口,可以移动位置来显示。
510是变更切换种类的切换种类按钮,由选择作为瞬时的切换的“剪切”的剪切选择按钮510-1以及选择伴随效果的逐渐的切换的“过渡”的过渡选择按钮510-2构成。剪切选择按钮510-1和过渡选择按钮510-2是相互排他(择一)地选择,也就是所谓的双态按钮(Toggle button)。
511是用户(内容制作者)用于对收录的镜次进行评级(评价)的评级按钮。
512是显示所谓的“胶片条(构成场景的镜头的缩略图序列)”的时间线区域。
513是时间线区域的注释区域,514是时间码刻度,515是在时间线区域中显示在该时间码的时刻切换了的影像源(的缩略图)的影像源缩略图显示区域。沿着各个影像源缩略图的时间码刻度514的长度对应于该“镜头”的时间长度。在注释区域513中显示由用户输入的注释文本。
516是播放按钮,当按下播放按钮516时,从时间码刻度514上的序列标记517所示的时刻开始,播放所收录的影像序列(连接来自各影像源的实时取景并记录在RAM 120中的序列),并显示在监视部506上。需要说明的是,当按下播放按钮516时,切换到播放停止按钮516-2。此外,在不存在可播放的影像序列的情况下(未收录影像序列的情况),播放按钮516被无效化(变灰,Gray out)。
518是属性按钮,能够显示属性面板,在时间线区域512中对显示时间线的影像序列赋予或变更场景标题或镜次编号等。此外,也可以从属性面板调用、播放至此制作的场景或镜次等。
519是调整显示时间线的倍率的倍率滑块。
520是渐变器,用于进行过渡时的切换操作的切换滑块。
521是显示场景标题的场景标题组合框。
522是显示镜次编号的镜次编号文本框。
523是显示用于进行编程摄影操作功能的编程摄影操作面板的编程摄影操作按钮。编程摄影操作功能将在后面叙述。
由于切换器终端400的显示器作为与触摸面板一体的触摸面板显示器构成,因此,用户可以通过用手指或触笔等对图标等GUI部件进行点击(按下然后松开,touch downthen up)或轻拂(在触摸的状态下快速移动并松开)等触摸手势来执行各种功能。
例如,可以通过点击影像源部507的缩略图5071、5072、...,选择(切换)与该缩略图对应的影像源作为PGM。此时,对该缩略图附加红色框,表示选择了对应的影像源。此外,在监视部506上显示该影像源的影像。此外,作为序列数据,记录该影像源(或由该影像源生成的影像剪辑)的ID和被点击的时刻(时间码)。
当用户点击开始按钮505时,开始序列数据的记录和影像序列(将切换后的影像源的实时取景连接成一个连续的序列)的记录。
当用户在触摸着影像源部分507中的一个缩略图的状态下触摸另一个缩略图时,与随后触摸到的缩略图相对应的影像源被设置为下一个被切换的影像也就是所谓的预设影像(以下称为“PST”)。然后,在最后触摸的缩略图被触摸的状态下松开之前触摸的缩略图,则通过过渡单元410从显示在监视器部506上的PGM影像(之前触摸的缩略图的影像源的影像),伴随着效果(过渡效果)而逐渐变更成设定为PST的影像源的影像(之后触摸的缩略图的影像源的影像)。
也就是说,在本实施方式中,能够通过对触摸显示单元的触摸手势来指示过渡。通过采用这样的结构,用户能够根据“单点触摸”和“两点触摸”的不同,来区分操作“剪切(瞬间的切换)”和“过渡”,操作方法容易理解且方便。
用户还可以通过操作渐变器520来执行过渡。即,当用户操作渐变器520时,根据渐变器520的滑动量,通过过渡单元410将显示在监视器部506上的PGM影像逐渐切换为设定为PST的影像源的影像。这种基于渐变器操作的过渡控制符合以往的切换装置的操作性,能够在用户希望的时刻进行过渡,很方便。
当执行影像源的切换(剪切和过渡)时,将影像源(或影像剪辑)的ID以及切换开始和结束的时刻(时间码)作为序列数据被记录。
524是用于选择过渡效果的过渡效果下拉列表。过渡效果中有“渐隐(Dissolve)”、“擦除(Wipe)”、“滑动(Slide)”、“挤压(Squeeze)”、“划像(Iris)”、“缩放(Zoom)”等。过渡效果下拉列表521是通过选择过渡选择按钮510-2来有效化的(当未选择过渡选择按钮510-2时,该下拉列表变灰)。
525是设定作为过渡的切换时间的持续时间(Duration Time)的上下持续时间(Duration time up down)。通过选择过渡选择按钮510-2来有效化上下持续时间522(当过渡选择按钮510-2没有被选择时变灰)。
图6是示出了本实施方式的信息处理装置在切换器终端400的触摸面板显示器上显示的摄像机操作面板的示例的图。
摄像机操作面板600包括影像显示部601、“被摄体跟踪”复选框602、“PGM时也跟踪”单选按钮603a、“PGM时不跟踪”单选按钮603b、“尺寸设定跟踪”复选框604、“尺寸设定”下拉列表605、“连接调整”复选框606、关闭按钮607、被摄体指定框608、横移纵移控制器609、变焦控制器610、聚焦控制器611和设定菜单按钮612。
影像显示部601是显示对应的摄像机正在拍摄的影像的区域。
横移纵移控制器609是用于对对应的摄像机进行横移纵移控制的、模仿操纵杆的GUI。
变焦控制器610是用于对对应的摄像机进行变焦控制的滑块。
用户也能够通过对影像显示部601进行捏缩(Pinch in)或捏放(Pinch out)的操作,对对应的摄像机进行PTZ控制。也就是说,通过同时对影像显示部601上的两点进行手指按下(Touch down)并使彼此的触摸位置接近的触摸操作(捏缩),在手指按下时与在影像显示部601整个区域显示的范围对应的视场角(角度)可以对对应的摄像机进行PTZ控制,以向两个触摸位置的中间点的位置进行变焦和横移纵移(参照图6中的(b))。此外,通过同时对影像显示部601上的两点进行手指按下而使彼此的触摸位置远离的触摸操作(捏放),可以进行变焦和横移纵移的PTZ控制,以使两个手指按下位置的中间点的位置附近的范围扩大到在影像显示部601整个区域上显示的范围(参照图6中的(c))。
通过采用这样的操作方法,用户能够通过触摸手势一体地进行横移纵移操作和变焦操作,十分方便。
在进行这样的操作方法时,例如,向网络摄像机发送如下的ONVIF命令。
Area Zoom=x1-x0,y1-y0,w1-w0,h1-h0
其中,x1、y1是捏拉(Pinch)操作后的两点触摸的中间点的坐标,x0、y0是捏拉操作前的两点触摸的中间点的坐标,w1、h1是捏拉操作后的触摸点间的宽度、高度,w0、h0是捏拉操作前的触摸点间的宽度、高度。其中,将影像显示部601整体的宽度、高度分别设为200、200。
需要说明的是,PTZ一般为“开始缓慢动作并逐渐加速,从中间进一步减速而停止”,这样所谓的EASE IN/EASE OUT动作流畅且适宜。因此,在进行基于上述捏拉操作的PTZ控制时,也可以在PTZ动作的持续时间内自动发送成为EASE IN/EASE OUT的PTZ动作的速度控制命令。
此外,在一体地进行横移纵移和变焦时,通过横移纵移暂时进入视场角的被摄体通过放大(Zoom in)再次从视场角被切掉(不进入视场角),或者通过缩小(Zoom out)而暂时进入视场角的被摄体通过横移纵移再次从视场角被切掉,这被形容为“时隐时现”等,一般被认为是不适合的。因此,也可以以不存在这样的被摄体的出入的方式计算并控制横移纵移的光轴角度变更以及变焦引起的焦距变更。
但是,在用户进行PTZ控制时,如果能够知道相对于此时拍摄的视场角有多少可进行PTZ的余地的话会很方便。因此,在进一步操作时,接近变焦或横移纵移停止的极限时,能够通过使影像显示部601的显示框的各个边的显示与未接近那样的极限的情况不同,在视觉上通知用户可进行PTZ的余地小。
例如,将包围影像显示部601的框以使内侧的图像边缘变模糊的方式不清楚地显示边界,当接近无法再缩小的广角端或无法再放大的望远端时,降低模糊程度以清楚地显示表示框的边界线。同样地,在接近能够进行横移或纵移的极限时,明确地显示表示该横移方向或纵移方向的边的边界线。通过这样显示,用户能够一边考虑可以进行PTZ的余地一边适当地进行PTZ控制。需要说明的是,基于上述显示部的框的表现的通知方法是向用户直观地通知PTZ极限的一种方法,也可以是例如显示“接近能够缩小的极限”等的文本等的其它通知方法。
聚焦控制器604是用于对对应的摄像机进行聚焦控制的滑块。需要说明的是,根据对应的摄像机的性能,也可以设为自动聚焦模式。
设定菜单按钮612是用于显示设定对应的摄像机的白平衡、光圈、帧速率等的菜单的按钮。需要说明的是,根据对应的摄像机的性能,也可以设为自动白平衡或自动光圈等。
“被摄体跟踪”复选框602是用于将特定的被摄体设定为自动进行PTZ跟踪的复选框。
控制横移/纵移以在画面中央附近持续捕捉在画面中检测出的运动体的自动跟踪功能的技术已经在监视摄像机等领域开始实用化。用户通过选择(勾选)“被摄体跟踪”复选框602,能够设定对应的摄像机自动跟踪特定的被摄体。当选择(勾选)“被摄体跟踪”复选框602时,在影像显示部601中,被摄体指定框608被重叠显示,用户通过触摸操作等移动框,能够将框的位置的被摄体设定为跟踪对象的被摄体。
“PGM时也跟踪”单选按钮603a、“PGM时不跟踪”单选按钮603b是用于设定在对应摄像机被切换时是否进行上述自动跟踪(自动PTZ)的单选按钮,通过选择(勾选)“被摄体跟踪”复选框602而被有效化(在未选择(勾选)“被摄体跟踪”复选框602时变灰)。上述的被摄体跟踪的主要目的是在画面内持续捕捉被摄体,作为摄影操作有可能变得生硬而不自然。因此,通过在作为观众观看的影像的PGM时不进行追踪,能够消除不自然的摄影操作的可能性。
“尺寸设定跟踪”复选框604是用于设定为保持“尺寸”来跟踪特定被摄体的复选框,通过选择(勾选)“被摄体跟踪”复选框602而被有效化(在未选择(勾选)“被摄体跟踪”复选框602时变灰)。
其中,“尺寸”是指以人物被摄体为基准表示被摄体在画面内是多大的,包括全景镜头(Full Shot,FS)、全身镜头(Full Figure,FF)、膝上镜头(Knee Shot,KS)、腰上镜头(Waist Shot,WS)、胸上镜头(Bust Shot,BS)、仰视镜头(Up Shot,US)、特写镜头(Close-up,CU)(参照图11)。
“尺寸设定”下拉列表605是用于选择、设定上述“尺寸”的下拉列表,“尺寸设定跟踪”复选框604是通过选择(勾选)而被有效化的(“尺寸设定跟踪”复选框604未被选择(勾选)时变灰)。
“连接调整”复选框606是用于在对应的摄像机的影像被切换时(设为PGM时),设定是否进行调整后的自动PTZ,以使与之前为PGM的影像源的影像的切换(回切)合适的复选框,“尺寸设定跟踪”复选框604是通过选择(勾选)而被有效化的(“尺寸设定跟踪”复选框604未被选择(勾选)时变灰)。当从PGM切换图像时,在切换前后的镜头的“尺寸”相同的情况下(例如在切换前后都是“腰上镜头”的情况等),如果从人物被摄体头顶到画面上端的长度不同,则会给人连接(切换)不自然的印象。此外,在切换后的镜头的“尺寸”比切换前的镜头的“尺寸”更紧(tight)的情况下(例如从“腰上镜头”切换为“胸上镜头”的情况等),如果从人物被摄体头顶到画面上端的长度在切换前后不变短,则同样地连接(切换)变得不自然。此外,在切换后的镜头的“尺寸”比切换前的镜头的“尺寸”松散(loose)的情况下(例如从“胸上镜头”切换为“腰上镜头”的情况等),如果从人物被摄体头顶到画面上端的长度在切换前后不变长,则不自然。
因此,在选择了“连接调整”复选框606时,分析成为PGM影像源的图像,认定或推定“尺寸”以及从人物被摄体头顶到画面上端的长度,当PGM的“尺寸”和“尺寸设定”下拉列表605的设定尺寸相同时,对对应的摄像机进行纵移控制,以使从人物被摄体头顶到画面上端的长度也相同。此外,当“尺寸设定”下拉列表605的设定尺寸比PGM的“尺寸”更紧时,对对应的摄像机进行纵移控制,以使从人物被摄体头顶到画面上端的长度比PGM的长度短。此外,在“尺寸设定”下拉列表605的设定尺寸比PGM的“尺寸”松散(loose)时,对对应的摄像机进行纵移控制,以使从人物被摄体头顶到画面上端的长度比PGM的长度长。
通过这种方式,能够消除从PGM切换图像时切换前后的镜头的连接变得不自然的可能性。
关闭按钮607是用于关闭(隐藏)摄像机操作面板600的按钮。
被摄体指定框608是用于使用户将框的位置的被摄体指示、设定为跟踪对象的被摄体的标识(GUI)。
摄像机操作面板600可以显示在每个摄像机上。此外,作为所谓的浮动窗口,可以移动位置来显示。
如上所述,在本实施方式的信息处理装置100中,可以通过对触摸显示单元的触摸手势,向能够进行PTZ的网络摄像机指示PTZ。通过采用这样的结构,用户能够一体地进行横移纵移操作和变焦操作,此外,通过PTZ控制如何改变视场角直观易懂,非常方便。
此外,本实施方式的信息处理装置100基于以发送节点不确认接收节点的接收即从能够进行PTZ的网络摄像机传送数据的传送方式传送的影像信号检测图像中的运动体,对所述网络摄像机进行PTZ控制,以能够在画面中央附近持续捕捉所述检测出的运动体。
由于这样的PTZ控制需要基于大致实时的实时取景影像来进行,但如已经说明的那样,UDP传送的实时取景影像不适合用于供观众观看的影像内容,因此,通过对与实时取景影像不同的影像数据进行TCP/IP传送或HTTP流传输等信息处理,能够输出(制作或发布)高品质的影像内容。
图11是说明“尺寸”的图。
全景镜头(FS)是该摄像机的最广角的视场角尺寸。
全身镜头(FF)是从脚尖到头顶的尺寸。
膝上镜头(KS)是从膝盖到头顶的尺寸。
腰上镜头(WS)是从腰部到头顶的尺寸。
胸上镜头(BS)是从胸部到头顶的尺寸。
仰视镜头(US)是脸部全部进入画面的尺寸。
特写镜头(CU)是眼睛、嘴、手、脚等身体部分全部进入画面的尺寸。
图7是示出了本实施方式的信息处理装置100显示与影像源相对应的影像源缩略图,接收用户的切换操作(包括渐变器操作)来变更在监视器部506上显示的影像,同时,在处于REC状态时生成并记录序列数据的处理流程的流程图。该流程图的处理通过信息处理装置100的CPU 110根据输入信号或程序控制各部分来实现。
CPU 110在切换器终端400的触摸面板显示器上显示图5所示的GUI 501(步骤S701)。其中,信息处理装置100处于接受用户的GUI操作的状态。
在用户的操作为按下了加号按钮508的情况下(S702中为“是”),CPU110检索能够网络连接的影像源并列表显示(S703)。当用户选择了一个以上的影像源并关闭列表时(S704中为“是”),将所选择的影像源的影像源缩略图追加显示在影像源部507中(S705)。
在用户的操作为按下PTZ摄像机的摄像机控制按钮的情况下(S706中为“是”),CPU110显示摄像机操作面板600(S707)。如上所述,摄像机操作面板600包括影像显示部601、横移纵移控制器602、变焦控制器603、聚焦控制器604、设定菜单按钮605和关闭按钮606。需要说明的是,变焦广角端、望远端的镜头焦距、横移纵移可动范围等参数在PTZ摄像机作为影像源被追加时,使用上述的ONVIF协议等来获取。此外,根据用户在摄像机操作面板600上的操作,生成ONVIF命令等,进行PTZ摄像机控制(S708)。
当用户按下关闭按钮606时(S709中为“是”),摄像机操作面板600关闭(S710)。
在用户操作为按下开始按钮505的情况下(S711中为“是”),CPU 110将指示开始向在线存储器或记录介质等录像的命令发送到与信息处理装置100网络连接的影像源(在影像源部507中显示缩略图的影像源)(S712)。此外,在场景标题组合框515为空栏时(S713中为“是”),显示场景标题输入面板,提示用户输入场景标题(S714)。其中,场景标题是组合了作为“完成品”的影像内容的标题(程序标题)和场景编号(number)的标题,例如为“渡边家婚礼场景1”。
此外,将镜次编号文本框516的镜次编号设为在该场景标题的最新镜次编号加1后的数字(S715)。此外,将开始按钮505更换为停止按钮505-2(S716)。此外,此时开始由正在被切换的影像源(或影像剪辑)的ID和被切换的时刻(时间码)构成的序列数据的生成、记录(S717)。需要说明的是,影像源和影像剪辑的ID可以使用URL(Uniform Resource Locator,统一资源定位符)。此外,在时间线区域512中,显示被切换了的影像源的名称或缩略图沿时间码排列而成的所谓的胶片条(S718)。
在用户点击了其中一个影像源缩略图的情况下(S719中为“是”),CPU110在监视器部506上显示与该影像源缩略图对应的影像源的影像(S720)。此外,在该缩略图上附加红色框(S721)以表示选择了对应的影像源(所谓的“Tally显示”)。此外,从系统时钟413获取时刻(时间码)(S722)。
当用户保持触摸影像源部507的缩略图之一的状态下按下其它缩略图的情况下(S723中为“是”),切换为与之前触摸的缩略图对应的影像源(S724),将与之后触摸的缩略图对应的影像源设定为PST(预设影像)(S725)。对于被设定了PST的缩略图,例如也可以附加闪烁的红色框来显示。
当被触摸的两个缩略图大致同时被松开且用户操作了渐变器520时(S726中为“是”),根据渐变器520的滑动量,将显示在监视器部506上的PGM影像逐渐切换为PST的影像(S727)。切换时的效果(过渡效果)使用由用户按下效果变更按钮510而选择的效果。需要说明的是,过渡效果的初始值也可以设定为“渐隐”。因为这是一般常用的过渡效果。
当用户未操作渐变器520(S726中为“否”),且在触摸着之后触摸的缩略图的状态下从之前触摸的缩略图松开时(S728中为“是”),以用户指定的Duration Time(切换所需的时间)将PGM影像逐渐切换为PST的影像(S729)。
然后,将影像源的切换记录为序列数据(S730)。需要注意的是,Duration Time的指定是在按下效果变更按钮510后显示的切换效果选择面板的“自动过渡的DurationTime”组合框中选择数值来进行的。
当用户按下停止按钮505-2时(S731中为“是”),向与信息处理装置100网络连接的影像源(在影像源部507上缩略图显示的影像源)发送指示停止向记录介质录像的命令(S732)。此外,将停止按钮505-2更换为开始按钮505(S733)。此外,停止序列数据的记录(S734)。
当用户按下菜单按钮502时(S735中为“是”),显示主菜单(S736)。
当用户选择主菜单的“数据保存”命令时(S737中为“是”),将序列数据保存或输出到用户指定的位置(S738)。
此外,当用户选择了“结束”命令时(S739中为“是”),结束本流程的处理。
图12是示出了本实施方式的信息处理装置100记录或输出的序列数据的一个示例的图。在图12中,数据具有以SMIL(Synchronized Multimedia Integration Language,同步多媒体集成语言)格式描述的结构。其中,SMIL是由W3C(World Wide Web Consortium,万维网联盟)建议标准化的、使视频、声音、文字等各种数据格式的播放同步的语言。
在图12的示例性序列数据中,首先在<head>元素中描述与时间行为无关的信息。
<head>元素的meta属性用于定义数据的属性(程序标题、场景编号、镜次编号、评级、备注、注释等),并为这些属性赋值。
<head>元素的layout属性用于确定对象的显示位置。需要说明的是,通过描述为<layout type=“text/smil-basic-layout”></layout>,可以将默认布局值应用于所有对象。
与时间行为相关的信息描述在<body>元素中。此外,在该子层级的<seq>元素下描述了在时间上连续播放的对象。也就是说,被切换的影像源(的影像剪辑)的序列被描述为<seq>元素的子层级的<video>元素。
每个<video>元素通过src属性指定确定来自影像源的输出文件的唯一ID。对于这样的ID,例如也可以使用SMPTE(Society of Motion Picture and TelevisionEngineers,美国电影电视工程师协会)所规定的UMID(Unique Material Identifier,唯一素材识别码)等。或者,也可以使用保存输出文件的位置的文件路径(例如,src=“D:\cam1\Clip1.avi”)指定src属性。
用clipBegin属性指定影像剪辑(来自影像源的各个输出文件)中的切换插入开始位置(入点),用clipEnd属性指定插入结束位置(出点)。clipBegin属性和clipEnd属性可以用时间码指定,例如clipBegin=“hh:mm:ss:ff”。
当影像剪辑的切换伴随过渡效果时,例如使用<transition>元素来描述。
<transition>元素的type属性可以描述效果的类型,dur属性可以描述转变的持续时间。
图12的数据格式仅是示例,也可以是其它各种格式。例如,可以是CSV(CommaSeparated Value,逗号分隔值)格式、EDL(Edit Decision List,编辑决策列表)、AAF(Advanced Authoring Format,高级创作格式)等数据格式,也可以是新规定的数据格式。
当以EDL(Edit Decision List,编辑决策列表)格式输出序列数据时,可以用现有的视频编辑应用程序读入数据并进行视频编辑。作为视频编辑应用的代表,有美国Adobe公司的Premiere Pro和美国苹果公司的Final Cut Pro。
图14示出了EDL数据的示例。
图14示出了从各影像源的影像数据输出开始20秒后开始节目收录(序列数据的记录)的情况的例子。
在图中,1401表示序列的标题。
此外,1402表示编辑后的序列的时间码是丢帧(Drop frame)格式还是非丢帧(no-drop frame)格式。
此外,1403表示各影像源的影像剪辑的序列的时间码是丢帧格式还是非丢帧格式。
此外,1404表示镜头编号。
此外,1405表示影像源的ID。
此外,1406表示“音频2声道/视频”的构成。
此外,1407表示切换种类。
此外,1408表示影像源的影像剪辑的入点的时间码。
此外,1409表示影像源的影像剪辑的出点的时间码。
此外,1410表示编辑后的影像剪辑(影像内容)的入点的时间码。
此外,1411表示编辑后的影像剪辑(影像内容)的出点的时间码。
这样,在以EDL这样的兼容的数据格式输出序列数据时,能够通过现有的视频编辑应用程序进行切换了包括网络摄像机的影像源的影像内容的制作。
图8是示出了本发明的实施方式的信息处理装置100基于哪一影像源在哪一时刻被切换的相关信息来生成并发布播放列表的信息处理的示例的流程图。
当在用户终端(PC、平板电脑、智能手机等)上启动浏览器,输入或指示本发明的实施方式的信息处理装置100提供的“影像内容制作服务”的URL(Uniform ResourceLocator,统一资源定位符)时,信息处理装置100在用户终端(的显示部)上显示主页(S801)。此外,显示“制作者用户登录”按钮(S802)。
当用户指示了“制作者用户登录”按钮时(S803中为“是”),通过用户ID、密码等进行认证(S804),在认证结果为肯定时(S805中为“是”),在用户终端的显示器上显示图5中的501那样的切换器应用的GUI(S806)。
在用户的操作为按下了加号按钮508的情况下(S807中为“是”),检索能够连接网络的影像源并列表显示(S808)。当用户选择了一个以上的影像源并关闭列表时(S809中为“是”),将所选择的影像源的影像源缩略图追加显示在影像源部507上(S810)。
在用户的操作为按下PTZ摄像机的摄像机控制按钮的情况下(S811中为“是”),显示摄像机操作面板600(S812)。如上所述,摄像机操作面板600包括影像显示部601、“被摄体跟踪”复选框602、“PGM时也跟踪”单选按钮603a、“PGM时不跟踪”单选按钮603b、“尺寸设定跟踪”复选框604、“尺寸设定”下拉列表605、“连接调整”单选按钮606a、“不连接调整”单选按钮606b、关闭按钮607、被摄体指定框608。
在用户对影像显示部601进行了触摸手势操作时(S813中为“是”),发送与操作对应的控制命令,对对应的摄像机进行PTZ摄像机控制(S814)。
此外,在设定了被摄体跟踪时(S815中为“是”),将对应的PTZ摄像机设定为跟踪模式(S816)。需要说明的是,在影像源部507的对应的PTZ摄像机的缩略图上,显示为跟踪模式的内容。
当用户指示关闭按钮607时(S817中为“是”),关闭摄像机操作面板600(S818)。
在用户的操作为按下开始按钮505的情况下(S819中为“是”),向与用户终端网络连接的影像源(在影像源部507上缩略图显示的影像源)发送指示向特定的存储区域输出影像数据的命令(S820)。此外,生成将输出到存储区域的影像数据细分后的分段数据(S821)。
此外,此时,生成记载了参照从此时正在被切换的影像源的影像数据生成的分段数据的文件路径的播放列表(S822),并登录、保存在发布用目录(文件夹)中(S823)。此外,将开始按钮505更换为停止按钮505-2(S824)。
此外,此时开始由正在被切换的影像源(或影像剪辑)的ID和被切换的时刻(时间码)构成的序列数据的生成、记录(S825)。
当用户点击了一个影像源缩略图时(S826中为“是”),首先,从系统时钟308获取切换的时刻T1(S827)。
然后,判定由切换种类按钮510设定的切换种类,在选择了”剪切”时(S828中为“是”),首先,在监视器部506上显示与该影像源缩略图对应的影像源的影像(S829)。此外,对该缩略图附加红色框(S830)以表示选择了对应的影像源(所谓的“Tally显示”)。然后,将附加于由正在被切换的影像源生成的分段数据的摄像时刻与切换时刻T1进行比较,记载与在时刻T1以后摄像到的影像有关的分段数据的文件路径,生成播放列表(S831)。
在选择了“过渡”作为切换种类按钮510的切换种类时(S828中为“否”),将显示在监视器部506上的PGM影像在用户指定的Duration Time(切换时间)内,根据用户指定的效果(切换效果)逐渐切换为被点击的影像源缩略图对应的影像源的影像(PST)(S832)。此外,在被点击的影像源缩略图上附加红色框(S833)。此外,将之前被切换的影像源的影像(PGM)和新切换的影像源的影像(PST)的、与从时刻T1到Duration Time(切换时间)之间拍摄到的分段数据,生成以用户指定的用户指定的效果(切换效果)加工、合成的切换影像的分段数据(S834),登录并保存在特定的目录(文件夹)中(S835)。然后,记载该切换影像的分段数据的文件路径,生成播放列表(S836)。
然后,根据新生成的播放列表,覆盖并更新发布用目录(文件夹)的播放列表(S837)。
当用户按下停止按钮505-2时(在S838中为“是”),向连接的影像源(在影像源部507上缩略图显示的影像源)发送指示停止向特定存储区域输出影像数据的命令(S839)。此外,在播放列表中记载为最后的播放列表的内容,覆盖、更新发布用目录(文件夹)的播放列表(S840)。此外,将停止按钮505-2更换为开始按钮505(S841)。此外,停止序列数据的记录(S842)。
当用户按下菜单按钮502时(S843中为“是”),显示主菜单(S844)。
当用户选择主菜单的“数据保存”命令时(S845中为“是”),将序列数据保存或输出到用户指定的位置(S846)。
此外,当用户选择了“结束”命令时(S847中为“是”),结束本流程的处理。
图13示出了m3u格式的播放列表的例子。
图13示出了在节目开始999秒(16分39秒)的时刻,从Camera_1切换到Camera_2的情况的例子。
与Camera_1、Camera_2的影像相关的分段数据分别在
http://www.contentsvision.com/sample/ts/camera_1/
http://www.contentsvision.com/sample/ts/camera_2/
中注册并保存。此外,在分段数据中,将与该数据有关的影像的摄像开始时的以毫秒(1/1000)为单位的秒数作为文件名称附加。
在图中,1301表示文件格式。
此外,1302表示文件格式的版本号。
此外,1303表示列表的开头的分段数据(TS文件)在整体上是第几个。
此外,1304表示各个分段数据(TS文件)被分割成几秒以下。
此外,1305表示下一行的文件路径所表示的分段数据(TS文件)的时间长度。
此外,1306表示分段数据(TS文件)的文件路径(URL)。
如上所述,能够对切换了包括网络摄像机的多个影像源的影像内容进行HTTP流传输发布。在HTTP流传输中的影像数据的传送中使用TCP,能够使观众观看抑制了噪声的高品质的影像内容。
(编程摄影操作功能)
以下,对本实施方式的信息处理装置所具有的编程摄影操作功能进行说明。
一般来说,婚礼这样的典礼和戏剧(电视剧)有预先准备好的进度表和剧本,与典礼和戏剧(电视剧)有关的影像内容的摄影操作(切换和PTZ)就是按照这样的进度表和剧本进行的。因此,如果能够预先对一系列的摄影操作进行编程,并随着活动的进行执行指示,就可以减轻摄影操作的错误和负担,非常方便。
本实施方式的信息处理装置的编程摄影操作功能是使用户预先对一系列摄影操作进行编程(输入),根据用户指示依次执行该编程后的摄影操作的功能。
通过显示编程摄影操作面板来进行摄影操作输入和执行指示。
图9示出了编程摄影操作面板的一个示例。编程摄影操作面板通过用户按下编程摄影操作按钮523,在切换器终端400的显示器上作为所谓的浮动窗口显示。
编程摄影操作面板901包括监视器部902、录像(REC)按钮903、编辑(EDIT)按钮904、下一个(NEXT)按钮905、摄影操作栏906、活动编号栏907、文本栏908、后退(BACK)按钮909、跳过(SKIP)按钮910、弹出窗口911。
摄影操作栏906是按照进行顺序表示摄影操作的栏。其中,摄影操作是指影像源的剪切切换、过渡、或对PTZ摄像机的PTZ控制。
活动编号栏907是表示执行摄影操作的顺序的数字的栏。
文本栏908是显示作为执行摄影操作的时刻的基准的文本(剧本、进度表、剧本等)的栏。显示的文本可以是例如歌曲的歌词、音阶进行、拍数、小节数等。此外,可以由用户从键盘等操作部输入,也可以是从文件读入的、从纸张原稿扫描的、拍摄的。在读入的文件或原稿具有表组、构图等时,可以仅提取文本并读入,也可以保持表组、构图并粘贴。此外,也可以粘贴所谓的分镜(continuity、storyboard)。
监视部902是显示正在被选择(切换)的影像源的影像信号(PGM)的区域。
REC按钮903是用于指示开始收录(序列数据记录)的按钮。
EDIT按钮904是用于使摄影操作栏或文本栏成为能够编辑(变更、插入、删除、顺序替换)的模式的按钮。
NEXT按钮905是用于执行聚焦的摄影操作并将焦点移动到下一个摄影操作的按钮。
BACK按钮909是用于将焦点移动到上一个摄影操作的按钮。
SKIP按钮910是用于将焦点移动到下一个摄影操作的按钮。
弹出窗口911在文本内的光标位置附近显示,是包括“BS按钮”、“改块按钮”、“键盘按钮”的“对话框”,是为了编辑文本而显示的。
用户能够将编程摄影操作面板901设为EDIT模式(可编辑的模式),并在摄影操作栏中设定“影像源切换(Switching)”或“PTZ控制”。
此外,在主窗口(图5的GUI 501)中执行的摄影操作能够被保持为数据,读入到编程摄影操作面板901中,作为编程摄影操作而被挪用。也就是说,例如对于某个场景,在以第一个镜次进行了切换或PTZ控制之后,在之后的镜次(重拍)中将该摄影操作作为编程摄影操作来利用,能够减少摄影操作的工作量和错误。
图10是示出了本实施方式的信息处理装置100的编程摄影操作功能的处理流程的流程图。
当用户按下编程摄影操作按钮523时,编程摄影操作面板901显示为所谓的浮动窗口(S1001)。
信息处理装置100首先判定是否存在在主窗口中执行的摄影操作的数据,当存在该数据时(S1002中为“是”),将该数据与编程摄影操作数据(在编程摄影操作面板上显示的摄影操作的数据)进行比较(S1003)。
然后,当在主窗口中执行的摄影操作的数据与编程摄影操作数据不同时(S1004中为“是”),显示“将执行的摄影操作设为编程摄影操作吗?”,并等待用户“是”/“否”的选择(S1005)。
当用户选择了“是”时(S1006中为“是”),将执行的摄影操作作为编程摄影操作,显示在摄影操作栏中(S1007)。
当用户按下EDIT按钮时(S1008中为“是”),编程摄影操作面板设置为EDIT模式(S1009)。具体而言,使REC按钮、NEXT按钮无效化(变灰)。
在EDIT模式下用户点击了摄影操作栏中的空白位置时(S1010中为“是”),在该位置显示包括“影像源切换”“PTZ”的选项(单选按钮)的对话框(S1011)。但是,在摄影操作栏的该位置没有分配能够进行PTZ的影像源时,“PTZ”的选择项被设置为不可选择(变灰)。
在选择了“影像源切换”时(S1012中为“是”),显示包括“剪切”“过渡”的选项(单选按钮)、选择影像源的下拉列表、以及与摄像机控制面板601同样的GUI的对话框(S1013)。
当用户选择了“剪切”和影像源之一,并确定了切换后的影像源的视场角时(S1014中为“是”),在摄影操作栏中追加显示表示切割线、该影像源的名称、以及切换后的影像源的视场角的缩略图(S1015)。
当用户选择了“过渡”和影像源之一,并确定了切换后的影像源的视场角时(S1016中为“是”),在摄影操作栏中追加显示表示切割线、所选择的影像源的名称、以及切换后的影像源的视场角的缩略图(S1017)。此外,显示表示过渡的带、表示切换时间的组合框、表示过渡效果的种类的图标(S1018)。表示切换时间的组合框、表示过渡效果的种类的图标具有默认值。用户可以点击组合框或图标来变更值。
需要说明的是,任意对话框都包括取消或关闭按钮,在用户指示取消/关闭时,返回到上一个状态。
当用户选择了“PTZ”时(S1019中为“是”),显示具有与摄像机控制面板601相同的GUI的PTZ对话框(S1020)。
当用户在PTZ对话框上进行GUI操作并确定了PTZ实施后的视场角时(S1021中为“是”),在摄影操作栏中显示表示切割线及PTZ的带、表示切换时间的组合框、表示PTZ实施后的视场角的缩略图(S1022)。需要说明的是,表示切换时间的组合框具有默认值。用户可以点击组合框来更改值。
当用户长按文本栏时(S1023中为“是”),在文本内显示光标(S1024)。此外,显示弹出窗口(对话框)(S1025)。弹出按钮包括BS按钮、改块按钮和键盘按钮。
当用户指示BS按钮时(S1026中为“是”),进行删除光标前一个字符的退格(BackSpace)(S1027)。需要说明的是,当删除对象不是文字而是“剪切线”时,光标所在的文本块中的文本与前一个块结合,与以后的活动编号对应的文本块逐个向前移动。
当用户指示了改块按钮时(S1028中为“是”),该文本块的光标位置之后的文本移动到紧接在该文本块之后新设的块,与以后的活动编号对应的文本块逐个向后移动(S1029)。
当用户按下键盘按钮时(S1030中为“是”),显示浮动键盘,从而能够进行文本的插入(S1031)。
当用户指示MENU按钮时(S1032中为“是”),显示菜单(S1033)。菜单具有“文本读入”、“编程摄影操作数据保存”、“编程摄影操作数据读入”的命令。
当用户指示“文本读入”时(S1034中为“是”),显示文件读入窗口(S1035)。文件读入窗口包括“覆盖”和“插入”的选项(单选按钮)、以及“OK”“取消”按钮。需要说明的是,在窗口内未选择文件时,“OK”按钮被无效化(变灰)。
当用户选择了“覆盖”并进行了文件读入时(S1036中为“是”),文本栏的文本全部由读入的文件的文本覆盖(S1037)。
当用户选择了“插入”并进行了文件读入时(S1038中为“是”),在光标的位置插入读入的文件的文本(S1039)。
当用户指示“编程摄影操作数据保存”时(S1040中为“是”),显示数据保存窗口(S1041)。
当用户指示“编程摄影操作数据读入”时(S1042中为“是”),显示数据文件读入窗口(S1043)。数据文件读入窗口包括“读入已执行的摄影操作”的复选框和“OK”“取消”按钮。需要说明的是,在未选中复选框或在窗口内未选择文件时,“OK”按钮被无效化(变灰)。另外,在复选框被选中时,窗口内的文件选择被无效化(变灰)。
在读入了摄影操作数据时(S1044中为“是”),覆盖摄影操作栏(S1045)。
当用户结束EDIT模式时(在按下状态下显示的EDIT按钮再次被点击时)(S1046中为“是”),将编程摄影操作面板设为执行模式(S1047)。具体而言,使REC按钮、NEXT按钮有效化。
当用户点击了NEXT按钮时(S1048中为“是”),执行聚焦的行的摄影操作,并将焦点移动到下一行(S1049)。
当执行了最后一行的摄影操作时(S1050中为“是”),使任何一行都不聚焦,此外,使NEXT按钮无效化(变灰)(S1051)。
当用户点击了REC按钮时(S1052中为“是”),开始REC(S1053)。REC时的动作与在图7的步骤S711中指示REC时相同。
当用户点击了“摄影操作栏”、“活动编号栏”、“文本栏”中的任一行时(S1054中为“是”),将焦点移动到该行(S1055)。
当用户按下了关闭按钮时,或者,主面板的任意位置被点击时(S1056中为“是”),关闭编程摄影操作面板(S1057)。需要说明的是,REC/REC停止和编程摄影操作面板的显示/隐藏是各自独立的。例如,即使在关闭编程摄影操作面板时处于REC中,REC也继续。
用于编程摄影操作的保存、读入的数据是对影像源的切换和PTZ控制附加编号(活动编号),并与进度表文本和分镜进行时间上的关联记述的数据。
由于在记述“影像源的切换”这一点上与序列数据相同,所以也可以使用扩展序列数据的格式。
以下,对将以SMIL(Synchronized Multimedia Integration Language,同步多媒体集成语言)格式记述的序列数据扩展为编程摄影操作数据的例子进行说明。
首先,将event_Num属性添加到每个<video>元素,并且描述执行摄影操作的顺序(活动编号)。
<video src=″D:\cam1\Clip1.mxf″clipBegin=″hh:mm:ss:ff clipEnd=″hh:mm:ss:ff″event_Num=″1″/>
此外,在<seq>元素的子层级中,例如将PTZ控件描述为<onvif>元素。
<onvif CamID=″cam1″AbsolutePanTilt=″X,Y″AreaZoom=″x,y,w,h″dur=″hh:mm:ss:ff″event_Num=″2″/>
此外,对应于执行摄影操作的顺序(活动编号),将执行该摄影操作的时刻的基准(进度表、剧本等)的文本记述为<text_block>元素。
<text_block=“非常感谢各位今天光临XXX的婚礼。新郎新娘现在入场。请用热烈的掌声欢迎。event_Num=″1″/>
如上所述,用户能够预先编程一系列的摄影操作,通过指示NEXT按钮,按照预先设定的顺序依次执行。由此,能够降低摄影操作的工作量和操作错误。
此外,用户能够对照进度表或脚本,来实现摄影操作执行指示的时刻,进一步提高操作性。
此外,可以将在主窗口中执行的摄影操作用作编程摄影操作。由此,减少了摄影操作的程序(输入、设定)的工作量。
此外,挪用上述的(剧本、进度表、脚本、歌曲的歌词、画面分镜、乐谱等)文本公开、说明影像内容或者企划、计划等,以募集或匹配广告商、合作者、工作人员等的实施方式也是优选的。在这样做的时候,能够以影像内容制作为核心构筑、运营企划、资金筹措、制作、发布、流通等的平台。
此外,与上述的(剧本、进度表、脚本、歌曲的歌词、画面分镜、乐谱等)文本对照并执行已编程的摄影操作,能够在制作影像内容时,挪用该文本以通知匹配等的广告商、合作者、工作人员,或访问所制作的影像内容的全部或一部分的实施方式也是优选的。在这样做的时候,能够以该通知或对影像内容的全部或一部分的访问(播放、浏览、确认等)为契机,促进广告商、合作者、工作人员等的动作(行动、执行),起到加速影像内容制作、发布的项目进展的效果。
(影像内容的制作)
如上所述,当本实施方式的信息处理装置100切换多个影像源并录制活动时,制作记录了来自影像源的影像信号的影像剪辑,以及按照被切换的顺序参照影像剪辑中的被切换的部分切换的序列数据。
由于该序列数据还具有作为表示多个视频剪辑(部分)的播放顺序的所谓“播放列表”的性质,所以如果由视频播放器根据序列数据播放视频剪辑(部分),则能够观看、播放所收录的活动的影像内容。例如,在序列数据以SMIL格式被记述时,能够将WEB浏览器作为视频播放器进行影像内容播放。
此外,当序列数据是影像编辑装置(影像编辑应用程序)能够读入的数据格式时,能够将来自影像源的影像剪辑作为素材数据,将收录的活动的影像内容作为单一的影像文件导出(输出)。
由于序列数据是每一次收录(一个场景的一个镜次)就生成,所以在影像内容由多个场景构成时,使每个场景的序列数据对应于多个场景(序列数据的结合)。
例如,在图12的序列数据示例(以SMIL格式描述的序列数据的示例)中,如果按照<head>元素的meta属性中记载的“场景编号”的顺序,将<body>元素之下的层级中的元素结合,就是作为按照场景编号顺序依次播放多个场景的播放列表而结合。
此外,对场景进行“重拍”,且每个场景中可能存在多个镜次时,如果参照<head>元素的meta属性中记载的“评级”,将评级的值最高的镜次(在有多个的情况下,例如为后面收录的镜次)按照场景编号的顺序连接起来的评级作为“播放列表”,能够观看播放由采用了用户所希望的镜次的场景构成的影像内容。在像戏剧(电视剧)的影像内容那样一般被“重拍”的情况下,能够使确定针对每个场景的采用镜次并进行影像编辑的工序高效化,很方便。
由于对序列数据(包括结合的数据)进行文本编辑,其本身产生与影像编辑同样的结果,因此能够简化、轻量化影像编辑装置(影像编辑应用程序)的结构和所需资源。例如,能够通过具有编辑SMIL的文本编辑器的区域和播放显示该SMIL的监视器区域的网页,构成影像编辑的WEB应用程序。
此外,如果本实施方式的信息处理装置100在视频服务器侧参照写入序列数据的文件,并基于该数据依次送出写入了影像源的影像数据的影像剪辑的、由信息处理装置100切换后的部分的影像,即使在活动收录中(写入序列数据中),也能够进行(稍微延迟的)实时发布。
本实施方式的信息处理装置100根据以发送节点不确认接收节点的接收即从包括网络摄像机的多个影像源传送数据的传送方式传送的大致实时的实时取景影像,进行影像源的切换(Switching),根据哪一影像源在哪一时刻被切换的相关信息和从所述影像源输出的影像数据,制作或发布影像内容。通过采用这样的结构,能够一边随着婚丧嫁娶等典礼或电视剧(戏剧)等“活动”的进行大致实时地切换影像源,一边制作或发布网络传输的品质降低少的影像数据为素材的影像内容。
这样,能够降低线路设置等的工作量和器材成本等,实现影像内容制作的简便化、迅速化、成本的降低。即,实现适合切换包括网络摄像机的影像源来制作或发布影像内容的信息处理装置。
(其它实施方式)
本发明不限于上述的实施方式,只要不脱离本发明的主旨和范围,可以进行各种变更和变形。
此外,本发明可以将实现上述实施方式的功能的软件(程序)经由网络或各种存储介质提供给系统或装置,通过该系统或装置的计算机(或CPU或MPU等)读出程序并执行的处理来实现。
因此,为了由计算机实现本发明的功能处理,安装在所述计算机上的程序代码本身也实现本发明。也就是说,本发明还包括用于实现本发明的功能处理的计算机程序本身。在该情况下,如果具有程序功能,也可以是对象代码、由解释器执行的程序、由WEB浏览器等应用程序执行的脚本或宏、API(Application Programming Interface,应用程序编程接口)等的形式。此外,也可以通过“Mashup(糅合)”这样的WEB编程技术等,作为SNS(SocialNetworking Service,社交网络服务)等其它WEB服务的一部分而被组合实施。
此外,本发明也可以作为利用WEB浏览器的所谓的Web应用程序来实现。因此,该URL(Uniform Resource Locator,统一资源定位符)所指的WEB服务器,不管是不是单一的硬件,都构成本发明的实施。
附图标记说明
100信息处理装置
110CPU
120RAM
130ROM
160显示器
170操作部
190网络I/F
180内部总线
210活动
400交换器终端
1500网络摄像机等影像源
1600观众终端
301存储单元
302通信单元
303分段数据生成单元
304播放列表生成单元
305播放列表发布单元
306分段数据发布单元
307切换器单元
308系统时钟
401影像源缩略图显示单元
402菜单显示单元
403音量级别显示单元
404REC指示器显示单元
405序列记录开始结束控制单元
406PGM影像显示单元
407影像源检索、追加、删除单元
408切换单元
409摄像机控制单元
410过渡单元
411属性单元
412设备设定单元
413系统时钟
414序列数据输出单元
415编程摄影操作单元
416摄影操作执行单元
501GUI
502菜单按钮
503音频计
504ON AIR指示器
505开始按钮
506监视器部
507影像源部
508加号按钮
509摄像机控制按钮
510切换种类按钮
511评级按钮
512时间线区域
513注释区域
514时间码刻度
515影像源缩略图显示区域
516播放按钮
517序列标记
518属性按钮
519倍率滑块
520渐变器
521场景标题组合框
522镜次编号文本框
523编程摄影操作按钮
524过渡效果下拉列表
525上下持续时间
600摄像机操作面板
601影像显示部
602“被摄体跟踪”复选框
603a“PGM时也跟踪”单选按钮
603b“PGM时不跟踪”单选按钮
604“尺寸设定跟踪”复选框
605“尺寸设定”下拉列表
606“连接调整”复选框
607关闭按钮
608被摄体指定框
609横移纵移控制器
610变焦控制器
611聚焦控制器
612设定菜单按钮
901编程摄影操作面板
902监视器部
903REC按钮
904EDIT按钮
905NEXT按钮
906摄影操作栏
907活动编号栏
908文本栏
909BACK按钮
910SKIP按钮
911弹出窗口(对话框)
1510CPU(摄像机)
1520RAM(摄像机)
1530ROM(摄像机)
1540摄像部(摄像机)
1550存储器I/F(摄像机)
1560网络I/F(摄像机)
1570PTZ控制部(摄像机)
1580外部I/F(摄像机)
1590内部总线(摄像机)
1601观众终端通信单元
1602播放列表获取单元
1603分段数据获取单元
1604缓冲单元
1605播放单元
Claims (3)
1.一种信息处理装置,进行以包括网络摄像机的多个影像源的影像作为素材输出影像内容的信息处理,所述信息处理装置的特征在于,包括:
切换单元,根据传送的影像信号进行切换,所述影像信号以发送节点不确认接收节点的接收即从所述影像源传送数据的传送方式进行传送,
被摄体跟踪单元,基于以发送节点不确认接收节点的接收即从能够进行PTZ的网络摄像机传送数据的传送方式传送的影像信号检测图像中的运动体,对所述网络摄像机进行PTZ控制,以能够在画面中央附近持续捕捉所述检测出的运动体;以及
信息处理单元,根据哪一影像源在哪一时刻被所述切换单元切换的相关信息以及通过所述影像源输出的影像数据,以TCP方式输出影像内容,其中,所述输出包括制作或发布。
2.一种信息处理方法,进行以包括网络摄像机的多个影像源的影像作为素材输出影像内容的信息处理,所述方法包括:
根据传送的影像信号进行切换,所述影像信号以发送节点不确认接收节点的接收即从所述影像源传送数据的传送方式进行传送,
基于以发送节点不确认接收节点的接收即从能够进行PTZ的网络摄像机传送数据的传送方式传送的影像信号检测图像中的运动体,对所述网络摄像机进行PTZ控制,以能够在画面中央附近持续捕捉所述检测出的运动体,
根据哪一影像源在哪一时刻被切换的相关信息以及通过所述影像源输出的影像数据,以TCP方式输出影像内容,其中,所述输出包括制作或发布。
3.一种计算机可读承载介质,存储计算机程序,所述计算机程序被处理器执行以实现以下步骤:
根据传送的影像信号进行切换,所述影像信号以发送节点不确认接收节点的接收即从影像源传送数据的传送方式进行传送,
基于以发送节点不确认接收节点的接收即从能够进行PTZ的网络摄像机传送数据的传送方式传送的影像信号检测图像中的运动体,对所述网络摄像机进行PTZ控制,以能够在画面中央附近持续捕捉所述检测出的运动体,
根据哪一影像源在哪一时刻被切换的相关信息以及通过所述影像源输出的影像数据,以TCP方式输出影像内容,其中,所述输出包括制作或发布。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311794498.9A CN117544739A (zh) | 2020-08-11 | 2021-08-02 | 信息处理装置、信息处理程序及记录介质 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020135599 | 2020-08-11 | ||
JP2020-135599 | 2020-08-11 | ||
JP2020-164204 | 2020-09-30 | ||
JP2020164204 | 2020-09-30 | ||
PCT/JP2021/028523 WO2022034814A1 (ja) | 2020-08-11 | 2021-08-02 | 情報処理装置、情報処理プログラムおよび記録媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311794498.9A Division CN117544739A (zh) | 2020-08-11 | 2021-08-02 | 信息处理装置、信息处理程序及记录介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115836517A CN115836517A (zh) | 2023-03-21 |
CN115836517B true CN115836517B (zh) | 2024-01-26 |
Family
ID=80247829
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180047947.6A Active CN115836517B (zh) | 2020-08-11 | 2021-08-02 | 信息处理装置、信息处理程序及记录介质 |
CN202311794498.9A Pending CN117544739A (zh) | 2020-08-11 | 2021-08-02 | 信息处理装置、信息处理程序及记录介质 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311794498.9A Pending CN117544739A (zh) | 2020-08-11 | 2021-08-02 | 信息处理装置、信息处理程序及记录介质 |
Country Status (6)
Country | Link |
---|---|
US (2) | US12003882B2 (zh) |
EP (1) | EP4199383A4 (zh) |
JP (4) | JP7178035B2 (zh) |
CN (2) | CN115836517B (zh) |
AU (2) | AU2021325471B2 (zh) |
WO (1) | WO2022034814A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114840776B (zh) * | 2022-07-04 | 2022-09-20 | 北京拓普丰联信息科技股份有限公司 | 一种数据发布源收录的方法、装置、电子设备及存储介质 |
JP7531677B1 (ja) | 2023-10-13 | 2024-08-09 | セーフィー株式会社 | システム、方法、及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009200965A (ja) * | 2008-02-22 | 2009-09-03 | Canon Inc | 映像配信装置及びその制御方法、並びに映像配信システム |
JP2018170770A (ja) * | 2018-06-01 | 2018-11-01 | 株式会社インフォシティ | コンテンツ配信システム |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3684525B2 (ja) * | 1998-02-19 | 2005-08-17 | 富士通株式会社 | 多画面合成方法及び多画面合成装置 |
GB2388266B (en) * | 2002-04-30 | 2005-07-27 | Hewlett Packard Co | Improvements in and relating to camera controls |
WO2008086423A2 (en) * | 2007-01-09 | 2008-07-17 | Vidyo, Inc. | Improved systems and methods for error resilience in video communication systems |
JP2009200966A (ja) * | 2008-02-22 | 2009-09-03 | Canon Inc | 表示処理装置及びその制御方法と映像記録装置及び表示処理システム |
JP5288827B2 (ja) | 2008-02-22 | 2013-09-11 | キヤノン株式会社 | 表示処理装置及びその制御方法並びに表示処理システム、プログラム |
JP5185794B2 (ja) * | 2008-12-01 | 2013-04-17 | シャープ株式会社 | 無線伝送システム |
JP5675188B2 (ja) | 2010-06-30 | 2015-02-25 | キヤノン株式会社 | 映像コンテンツ作成装置、方法及びプログラム |
US20140101700A1 (en) * | 2011-01-31 | 2014-04-10 | New Vad, Llc | Touch screen video switching system |
JP2012257173A (ja) | 2011-06-10 | 2012-12-27 | Canon Inc | 追尾装置、追尾方法及びプログラム |
JP5979550B2 (ja) | 2012-02-24 | 2016-08-24 | パナソニックIpマネジメント株式会社 | 信号処理装置 |
US8917309B1 (en) * | 2012-03-08 | 2014-12-23 | Google, Inc. | Key frame distribution in video conferencing |
JP5909546B2 (ja) | 2012-04-03 | 2016-04-26 | 株式会社ビットメディア | 映像ストリーミング配信のための装置及び方法 |
JP2014204279A (ja) * | 2013-04-04 | 2014-10-27 | ソニー株式会社 | 映像切替え装置、映像切替え方法、プログラム、及び、情報処理装置 |
JP6327809B2 (ja) | 2013-08-20 | 2018-05-23 | キヤノン株式会社 | 受信装置、制御方法及びプログラム |
JP6166692B2 (ja) | 2014-06-20 | 2017-07-19 | 日本放送協会 | Ipベースの映像伝送装置および放送システム |
DE102014220423A1 (de) * | 2014-10-08 | 2016-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung zum Erzeugen eines Videoausgangsdatenstroms, Videoquelle, Videosystem und Verfahren zum Erzeugen eines Videoausgangsdatenstroms bzw. eines Videoquellendatenstroms |
JP5928561B2 (ja) | 2014-11-26 | 2016-06-01 | ソニー株式会社 | カメラシステム、映像選択装置及び映像選択方法 |
KR102101438B1 (ko) * | 2015-01-29 | 2020-04-20 | 한국전자통신연구원 | 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법 |
WO2016132864A1 (ja) * | 2015-02-18 | 2016-08-25 | 株式会社日立国際電気 | 映像監視システムおよび映像監視方法 |
JP6920578B2 (ja) | 2016-03-02 | 2021-08-18 | パナソニックIpマネジメント株式会社 | 映像ストリーミング装置、映像編集装置および映像配信システム |
JP6622650B2 (ja) * | 2016-05-18 | 2019-12-18 | キヤノン株式会社 | 情報処理装置及びその制御方法、撮影システム |
EP3520422B1 (en) | 2016-09-30 | 2022-11-02 | British Telecommunications public limited company | Viewer importance adaptive bit rate delivery |
US20180160025A1 (en) * | 2016-12-05 | 2018-06-07 | Fletcher Group, LLC | Automatic camera control system for tennis and sports with multiple areas of interest |
US10645463B2 (en) | 2017-05-31 | 2020-05-05 | Cisco Technology, Inc. | Efficient multicast ABR reception |
EP3528469B1 (en) | 2018-02-14 | 2021-06-30 | Tata Consultancy Services Limited | Adaptive restful real-time live media streaming |
JP2019201266A (ja) | 2018-05-15 | 2019-11-21 | マクセル株式会社 | 自動追尾録画システムおよび録画制御装置 |
-
2021
- 2021-08-02 CN CN202180047947.6A patent/CN115836517B/zh active Active
- 2021-08-02 US US18/011,040 patent/US12003882B2/en active Active
- 2021-08-02 CN CN202311794498.9A patent/CN117544739A/zh active Pending
- 2021-08-02 EP EP21855893.0A patent/EP4199383A4/en active Pending
- 2021-08-02 AU AU2021325471A patent/AU2021325471B2/en active Active
- 2021-08-02 JP JP2022542801A patent/JP7178035B2/ja active Active
- 2021-08-02 WO PCT/JP2021/028523 patent/WO2022034814A1/ja active Application Filing
-
2022
- 2022-11-02 JP JP2022175911A patent/JP2023011811A/ja active Pending
-
2023
- 2023-03-10 JP JP2023037178A patent/JP7299665B2/ja active Active
- 2023-05-22 AU AU2023203194A patent/AU2023203194B2/en active Active
- 2023-07-10 JP JP2023112744A patent/JP7569055B2/ja active Active
- 2023-11-07 US US18/387,716 patent/US20240146863A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009200965A (ja) * | 2008-02-22 | 2009-09-03 | Canon Inc | 映像配信装置及びその制御方法、並びに映像配信システム |
JP2018170770A (ja) * | 2018-06-01 | 2018-11-01 | 株式会社インフォシティ | コンテンツ配信システム |
Also Published As
Publication number | Publication date |
---|---|
US20230199138A1 (en) | 2023-06-22 |
EP4199383A4 (en) | 2024-02-21 |
EP4199383A1 (en) | 2023-06-21 |
AU2021325471A1 (en) | 2023-02-02 |
JP2023081991A (ja) | 2023-06-13 |
CN117544739A (zh) | 2024-02-09 |
US12003882B2 (en) | 2024-06-04 |
JP7569055B2 (ja) | 2024-10-17 |
JPWO2022034814A1 (zh) | 2022-02-17 |
WO2022034814A1 (ja) | 2022-02-17 |
JP7299665B2 (ja) | 2023-06-28 |
AU2023203194B2 (en) | 2024-09-12 |
JP2023011811A (ja) | 2023-01-24 |
JP7178035B2 (ja) | 2022-11-25 |
CN115836517A (zh) | 2023-03-21 |
AU2023203194A1 (en) | 2023-06-15 |
AU2021325471B2 (en) | 2023-08-24 |
JP2023126967A (ja) | 2023-09-12 |
US20240146863A1 (en) | 2024-05-02 |
NZ795958A (en) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10735798B2 (en) | Video broadcast system and a method of disseminating video content | |
US10728354B2 (en) | Slice-and-stitch approach to editing media (video or audio) for multimedia online presentations | |
JP7569055B2 (ja) | 情報処理装置、情報処理プログラムおよび記録媒体 | |
US11570415B2 (en) | Methods, systems, and media for generating a summarized video using frame rate modification | |
JP2008172582A (ja) | 議事録作成再生装置 | |
US8750685B2 (en) | Image processing apparatus | |
US20190019533A1 (en) | Methods for efficient annotation of audiovisual media | |
JP4142382B2 (ja) | コンテンツ作成システム及びコンテンツ作成方法 | |
US8249425B2 (en) | Method and apparatus for controlling image display | |
JP6569876B2 (ja) | コンテンツ生成方法及び装置 | |
JP4129162B2 (ja) | コンテンツ作成実演システム及びコンテンツ作成実演方法 | |
NZ795958B2 (en) | Information processing device, information processing program, and recording medium | |
US20170068650A1 (en) | Method for presenting notifications when annotations are received from a remote device | |
Ichimura et al. | Web-based video editing system for sharing clips collected from multi-users | |
JP2005260512A (ja) | コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム | |
JP2009021883A (ja) | オンライン動画編集システム | |
KR20160105173A (ko) | 소셜 네트워크 서비스에 기반한 영상 제작, 편집 및 공유를 위한 사용자 단말 및 서버의 동작 방법 | |
JP2007267396A (ja) | データ処理装置とデータ処理方法およびプログラム | |
JP2009071791A (ja) | マルチメディアの同期再生ウェブベースソリューション。 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |