CN109104552B - 摄像设备、摄像设备的处理方法和存储介质 - Google Patents

摄像设备、摄像设备的处理方法和存储介质 Download PDF

Info

Publication number
CN109104552B
CN109104552B CN201810638768.XA CN201810638768A CN109104552B CN 109104552 B CN109104552 B CN 109104552B CN 201810638768 A CN201810638768 A CN 201810638768A CN 109104552 B CN109104552 B CN 109104552B
Authority
CN
China
Prior art keywords
moving image
distribution
request
image stream
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810638768.XA
Other languages
English (en)
Other versions
CN109104552A (zh
Inventor
坂井友洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109104552A publication Critical patent/CN109104552A/zh
Application granted granted Critical
Publication of CN109104552B publication Critical patent/CN109104552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

本发明涉及一种摄像设备、摄像设备的处理方法和存储介质。所述摄像设备包括：分发单元，用于在接收到播放列表的分发请求的情况下分发所述播放列表，其中在所述播放列表中能够描述与多个运动图像流有关的信息；以及编码单元，用于在接收到所述播放列表的分发请求的情况下，在接收到特定运动图像流的分发请求之前，通过帧内编码来对与在所述播放列表中描述的运动图像流相对应的运动图像帧进行编码，其中，在接收到所述特定运动图像流的分发请求的情况下，所述分发单元分发与所述特定运动图像流相对应的、包括通过帧内编码进行编码后的运动图像帧的运动图像流。

Description

摄像设备、摄像设备的处理方法和存储介质
技术领域
本发明涉及摄像设备、用于该摄像设备的处理方法和存储介质。
背景技术
近年来，使用用于根据客户端的通信状况来调整图像质量并分发运动图像的自适应流式传输技术的系统已经普及。作为自适应流式传输技术的典型示例，存在两个技术。第一个技术是由运动图像专家组(MPEG)标准化的基于HTTP的动态自适应流式传输(DASH)。第二个技术是HTTP实时流式传输 (HLS)。在上述技术中，使用超文本传输协议(HTTP)作为通信方法，并且分发服务器将运动图像流分割成被称为片段(segment)的多个运动图像文件并将这些片段分发至客户端。
更具体地，在DASH分发中，首先，客户端获取包括与利用分发服务器可分发的运动图像流有关的信息的媒体呈现描述(MPD)文件。然后，客户端根据客户端的显示性能和/或通信条件来从运动图像流中选择具有适当分辨率和/或比特率的运动图像流。然后，客户端根据MPD的描述来以片段为单位下载并再现采用MPEG2-TS或MP4的格式的运动图像。利用采用 MPEG2-TS和MP4的格式的运动图像的运动图像编解码器，生成通过帧内编码进行编码后的运动图像帧(即，I帧)和通过帧间编码进行编码后的运动图像帧(即，P帧和B帧)。客户端开始从I帧开始再现运动图像。
根据在日本特表2016-531466中论述的方法，从在MPD中描述的片段中，在从客户端接收到运动图像的分发请求之前通报随后要分发至客户端的片段，并且在该分发之前从客户端接收到取消分发的请求或者改变分发顺序的请求。此外，根据在日本特开2002-344932中论述的方法，为了使得客户端能够迅速地开始再现运动图像，在从客户端发送运动图像的分发请求时，生成I帧。
然而，在日本特表2016-531466和日本特开2002-344932所描述的方法中，没有注意在使用诸如具有摄像单元和分发服务器的网络照相机等的系统进行实时形式的DASH分发(DASH实时分发)时的运动图像帧的摄像方法。因此，可能会延长用于创建包括客户端开始再现运动图像所需的I帧的片段的延迟时间。
日本特表2016-531466没有提供关于以下情况的描述：在开始向客户端的DASH实时分发时，在分发服务器中不存在包括I帧的片段。在这种情况下，延迟时间将延长了客户端等待分发服务器新创建包括I帧的片段以获取该片段的时间段。
此外，在日本特开2002-344932所论述的方法中，由于分发服务器在从客户端接收到运动图像分发请求之后生成I帧，因此延迟时间将延长了客户端发送运动图像分发请求以获取包括I帧的片段的时间段。
发明内容
为了缩短在接收到运动图像流的分发请求和分发运动图像流之间的延迟时间，一种摄像设备，包括：分发单元，用于在接收到播放列表的分发请求的情况下分发所述播放列表，其中在所述播放列表中能够描述与多个运动图像流有关的信息；以及编码单元，用于在接收到所述播放列表的分发请求的情况下，在接收到特定运动图像流的分发请求之前，通过帧内编码来对与在所述播放列表中描述的运动图像流相对应的运动图像帧进行编码，其中，在接收到所述特定运动图像流的分发请求的情况下，所述分发单元分发与所述特定运动图像流相对应的、包括通过帧内编码进行编码后的运动图像帧的运动图像流。
一种摄像设备的处理方法，包括以下步骤：在接收到播放列表的分发请求的情况下分发所述播放列表，其中在所述播放列表中能够描述与多个运动图像流有关的信息；在接收到所述播放列表的分发请求的情况下，在接收到特定运动图像流的分发请求之前，通过帧内编码来对与在所述播放列表中描述的运动图像流相对应的运动图像帧进行编码；以及在接收到所述特定运动图像流的分发请求的情况下，分发与所述特定运动图像流相对应的、包括通过帧内编码进行编码后的运动图像帧的运动图像流。
一种非暂时性计算机可读存储介质，用于存储用于使计算机执行方法的程序，所述方法包括以下步骤：在接收到播放列表的分发请求的情况下分发所述播放列表，其中在所述播放列表中能够描述与多个运动图像流有关的信息；在接收到所述播放列表的分发请求的情况下，在接收到特定运动图像流的分发请求之前，通过帧内编码来对与在所述播放列表中描述的运动图像流相对应的运动图像帧进行编码；以及在接收到所述特定运动图像流的分发请求的情况下，分发与所述特定运动图像流相对应的、包括通过帧内编码进行编码后的运动图像帧的运动图像流。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据第一典型实施例的摄像系统的结构示例的图。
图2是示出根据第一典型实施例的摄像设备的硬件结构示例的框图。
图3是示出根据第一典型实施例的摄像设备的功能结构示例的框图。
图4是示出基于HTTP的动态自适应流式传输(DASH)实时分发所使用的媒体呈现描述(MPD)的示例的图。
图5是示出运动图像帧和片段之间的关系的框图。
图6是示出管理单元所进行的处理的流程图。
图7是示出摄像设备和客户端之间的相互作用的示例的序列图。
图8是示出根据第一典型实施例的分发单元所进行的处理的流程图。
图9是示出第二典型实施例的分发单元所进行的处理的流程图。
图10是示出根据第三典型实施例的分发单元所进行的处理的流程图。
图11是示出根据第三典型实施例的分发单元所进行的处理的流程图。
图12是示出根据第四典型实施例的分发单元所进行的处理的流程图。
图13是示出在摄像设备和客户端之间所进行的处理的序列图。
图14是示出根据第五典型实施例的分发单元所进行的处理的流程图。
图15是示出根据第六典型实施例的分发单元所进行的处理的流程图。
图16是示出根据第六典型实施例的分发单元所进行的处理的流程图。
具体实施方式
图1是示出根据本发明第一典型实施例的摄像系统的结构示例的图。该摄像系统包括摄像设备101、客户端102和网络103。例如，摄像设备101可以是网络照相机，并且网络103可以是诸如局域网(LAN)等的因特网协议(IP)网络。摄像设备101和客户端102经由网络103相互连接并且可通信。摄像设备101将所拍摄图像经由网络103分发至客户端102。客户端102是摄像设备101 的外部装置。客户端102向摄像设备101发送各种请求命令。摄像设备101将针对这些命令的响应发送到客户端102。网络103包括满足诸如
Figure BDA0001701703720000041
(以太网)等的通信标准的多个路由器、交换机和线缆。只要网络103允许可执行摄像设备101和客户端102之间的通信，就不限制其通信标准、规模和结构。对于网络103，可应用从因特网到无线LAN的网络。另外，为了说明简单，尽管在图1中例示出一个摄像设备101，但摄像设备的数量可以为两个以上。此外，可以存在除客户端102以外的连接到摄像设备101的客户端。
图2是示出根据本典型实施例的摄像设备101的硬件结构示例的框图。在摄像设备101中，中央处理单元(CPU)201、主存储装置202、辅助存储装置 203、摄像接口206和网络接口207经由内部总线204相互连接。摄像设备101 包括图像传感器205。主存储装置202是加载有操作系统(OS)、各种程序和各种数据的、诸如随机存取存储器(RAM)等的可写高速存储装置。主存储装置 202还用作OS或各种程序的工作区域。辅助存储装置203是诸如闪速存储器、硬盘驱动器(HDD)或安全数字(SD)卡等的非易失性存储装置。辅助存储装置 203用作OS、各种程序和各种数据的永久存储区域，或者用作各种数据的短期存储区域。通过CPU201将辅助存储装置203中所存储的程序加载到主存储装置202并执行该程序，来进行摄像设备101的处理。
图像传感器205是用于通过光电转换来生成运动图像数据的、电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。摄像接口206连接到图像传感器205，并将从图像传感器205获取到的运动图像数据转换成预定格式。然后，摄像接口206对转换得到的运动图像数据进行压缩并将该图像数据作为运动图像帧传送到主存储装置202。网络接口207经由网络103连接到客户端102，并且负责与从摄像设备101请求图像的客户端102的通信。
图3是示出根据本典型实施例的摄像设备101的功能结构示例的框图。摄像设备101包括临时存储单元301、分发单元302、摄像处理单元303、管理单元304和通信单元305。临时存储单元301与图2中的主存储装置202相对应。图2中的CPU 201执行程序，以使分发单元302、摄像处理单元303、管理单元 304和通信单元305用作为各处理单元。
摄像处理单元303经由摄像接口206获取由图像传感器205生成的运动图像帧。然后，摄像处理单元303对该运动图像帧进行编码，并将该运动图像帧连同诸如序列参数集(SPS)或图片参数集(PPS)等的再现运动图像所需的运动图像元信息一起保存在临时存储单元301中。例如，可以使用H.264/高级视觉通信(AVC)或者H.265/高效视频编码(HEVC)作为编码方法。然而，编码方法不限于此。此外，摄像处理单元303可以从多个编码方法中选择编码方法以执行编码。临时存储单元301临时存储所生成的运动图像元信息和运动图像帧。
然后，管理单元304根据由摄像处理单元303中保存在临时存储单元301 中的运动图像元信息和运动图像帧来分别生成初始化片段(initialization segment)信息和片段信息，并向分发单元302通知该初始化片段信息和片段信息。初始化片段信息是用于根据临时存储单元301中所保存的运动图像元信息生成初始化段的信息。例如，初始化片片段信息可以是作为文件保存的运动图像元信息的路径。片段信息是用于根据临时存储单元301中所保存的运动图像帧生成片段的信息。例如，可以使用按从最小运动图像编号起的顺序描述片段中所包括的运动图像帧的数据文件的路径的文本。各片段中所包括的运动图像帧是基于该片段中所包括的运动图像帧的数量(即，片段帧数)所判断出的，并且片段帧数是在从分发单元302输出运动图像流的开始请求时指定的。在说明图4中的片段时间信息414时将具体说明其指定方法。管理单元304保持临时存储单元301中的运动图像帧，直到分发单元302释放片段信息为止。
分发单元302响应于来自客户端102的请求而经由通信单元305向客户端 102分发描述与所有可分发的运动图像流有关的信息的播放列表、以及管理单元304所生成的初始化片段和片段。作为播放列表的示例，使用由国际标准化组织/国际电工通信(ISO/IEC)23009-1:2014定义的MPD文件。分发单元 302生成初始化片段和片段各自的头部分，并且将头部与在由管理单元304生成的初始化片段信息和片段信息中描述的运动图像元信息以及运动图像帧的数据部分组合，以生成初始化片段和片段。然后，分发单元302将该初始化片段和片段经由通信单元305分发至客户端102。
尽管说明了管理单元304在接收到来自客户端102的分发请求之后分发片段的典型实施例，但不限于此。管理单元304可以在没有接收到请求的情况下生成运动图像帧，并且在片段完成时通过超文本传输协议版本2 (HTTP/2)或WebSocket协议来顺次地分发片段。
图4是示出从摄像设备101分发至客户端102的MPD文件400的结构示例的图。以可扩展标记语言(XML)格式描述MPD文件400，并且模式信息401 包括由xmlns属性指定的名称空间和由xsi属性指定的模式文档，以定义MPD 文件400的描述方法。
配置文件信息402指定由ISO/IEC 23009-1:2014定义的“urn:mpeg:dash:profile:isoff-live:2011”。该配置文件是针对DASH实时分发设计的。通过该配置文件，可以根据从客户端102向摄像设备101输出的流设置的改变请求、诸如主存储装置202的带使用率等的摄像设备101的操作状况或者网络103的通信频带，来在运动图像的分发期间更新MPD文件400。
例如，摄像设备101的摄像处理单元303输出三个可分发的运动图像流1、 2和3的运动图像帧。在MPD文件400中，由数据结构Representation(表现) 405、406和407定义与通过运动图像流1、2和3所分发的运动图像有关的信息。 MPD文件400是可以描述与多个运动图像流有关的信息的播放列表。
Representation 405包括编码信息409、分辨率信息410、帧速率信息411 和分发比特率信息412。编码信息409将H.264/AVC和主配置文件级别3.1描述为运动图像的编码方法。分辨率信息410描述运动图像的宽度和高度(分别为 480和270)。帧速率信息411描述每秒显示的运动图像帧的数量(30)。分发比特率信息412描述运动图像的分发比特率的值(680000bps)。此外， Representation 405还包括片段时间信息414，其中该片段时间信息414如下所述描述片段被划分的时间单位(即，片段时间)。
(Representation 405的片段时间)＝(片段时间信息414的持续时间(Duration))/(片段时间信息414的时间标度(Timescale))＝300/3000秒＝0.1秒。
因此，可以通过以下公式来推导并指定上述的从分发单元302向管理单元304输出的片段帧数。
(Representation 405的片段帧数)＝(Representation 405的帧速率信息)＝0.1秒×30(1/秒)×(Representation 405的片段时间)＝3
Representation 405还包括运动图像流1的初始化片段统一资源标识符 (URI)信息416和片段URI信息415。客户端102使用包括摄像设备101的IP地址的MPDBaseURI信息403和包括运动图像流1的标识符的 RepresentationBaseURI信息413来访问以下的URI。然后，客户端102获取运动图像流1的初始化片段和片段。
(Representation 405的初始化片段URI)＝(MPDBaseURI信息403)+(RepresentationBaseURI信息413)+(初始化片段URI信息416)＝“http://192.169.100.1:80/video/stream1/init1.mp4”
(Representation 405的片段URI)＝(MPDBaseURI信息403)+(RepresentationBaseURI信息413)+(片段URI信息415)＝“http://192.169.100.1:80/video/stream1/media1_$Number$.m4s”
在上述各公式中，“A+B”表示使元素B的字符串连接到元件A的字符串的右侧。“$Number$”是模板表达式，并且针对各片段，使评价值从在片段 URI信息415中描述的“startNumber”的值起递增。
运动图像流1的各片段的实际URI是
“http://192.169.100.1:80/video/stream1/media1_1.m4s”、
“http://192.169.100.1:80/video/stream1/media1_2.m4s”、或者
“http://192.169.100.1:80/video/stream1/media1_3.m4s”。
此外，作为URI的模板表达式，可以使用$RepresentationID$可作为Representation 405的Representation ID 408。此外，$BandWidth$可以用于Representation 405的分发比特率412的值。此外，还可以使用这些表达式的组合。
Representation 406包括编码信息418、分辨率信息419、帧速率信息420、分发比特率信息421和片段时间信息423。Representation 406还包括 Representation ID 417、初始化片段URI信息425和片段URI信息424。
Representation 407包括编码信息427、分辨率信息428、帧速率信息429、分发比特率信息430和片段时间信息432。Representation 407还包括 Representation ID 426、初始化片段URI信息434和片段URI信息433。
与表现与运动图像流1有关的信息的Representation 405的情况相同，Representation 406和407表现与运动图像流2和3有关的各种值。为了简单，尽管在本典型实施例中定义了三个运动图像流，但要定义的运动图像流的数量不必是三个，并且可以根据客户端102的请求而定义仅一个运动图像流。
图5是示出运动图像流1和运动图像流1的各片段之间的关系的框图。在摄像处理单元303接收到运动图像流1的开始请求时，摄像处理单元303连续地生成包括SPS和PPS的运动图像元信息501、以及运动图像帧511～516，并且同时，向管理单元304输出生成通知。运动图像帧511和514各自表示包括构成完整运动图像帧所需的运动图像信息的I帧，并且其它运动图像帧表示包括与相对于紧前图像的差异有关的运动图像信息的P帧。I帧是通过帧内编码进行编码后的运动图像帧，而P帧是通过帧间编码进行编码后的运动图像帧。摄像处理单元303通过帧内编码或帧间编码对所拍摄到的运动图像帧进行编码。摄像处理单元303在生成运动图像帧516之后继续生成运动图像帧，并且在生成各运动图像帧片段的同时向管理单元304输出生成通知。
管理单元304首先生成包括运动图像元信息501的初始化片段500，随后生成包括运动图像帧511、512和513的片段1-1 520，并且还生成包括运动图像帧514、515和516的片段1-2 530。管理单元304用作生成单元，并且在生成片段1-2 530之后，针对由摄像处理单元303生成的运动图像帧继续生成片段。
同样，关于其它运动图像流，管理单元304还根据所指定的片段帧数将摄像处理单元303所生成的各运动图像帧分割成片段。本典型实施例中，尽管P帧是与差异有关的运动图像信息，但B帧也可以是与差异有关的运动图像信息。此外，片段中所包括的第一个运动图像帧不必是I帧。
图6是示出管理单元304的处理示例的流程图。通过紧接在摄像处理单元 302启动之后摄像处理单元302输出开始请求，来启动管理单元304。在步骤 S600中，管理单元304等待事件的发生，并且根据发生事件的确定来切换处理操作。如果管理单元304判断为发生事件是从摄像处理单元303输出的运动图像元信息生成事件(在步骤S600中为“运动图像元信息生成事件”)，则处理进入步骤S601。如果管理单元304判断为发生事件是从摄像处理单元303输出的运动图像帧生成事件(在步骤S600中为“运动图像帧生成事件”)，则处理进入步骤S605。如果管理单元304判断为发生事件是从分发单元302输出的片段释放指示事件(在步骤S600中为“片段释放指示事件”)，则处理进入步骤S616。如果管理单元304判断为发生事件是从分发单元302输出的运动图像流结束请求事件(在步骤S600中为“运动图像流结束请求事件”)，则处理进入步骤 S617。
在步骤S601中，管理单元304保存运动图像元信息。在步骤S602中，管理单元304生成包括运动图像元信息的初始化片段，并将生成通知输出至分发单元302。在步骤S603中，管理单元304保存诸如在接收到运动图像流的开始请求时指定的片段帧数等的片段结构信息。在步骤S604中，管理单元304 将自身状态设置为I帧等待状态。然后，处理返回至步骤S600。
在步骤S605中，管理单元304判断自身状态。然后，如果管理单元304 判断为自身状态是I帧等待状态(步骤S605中为“是”)，则处理进入步骤S606。如果管理单元304判断为自身状态是下一帧等待状态(步骤S605中为“否”)，则处理进入步骤S612。
在步骤S606中，管理单元304判断所生成的运动图像帧是否是I帧。如果管理单元304判断为运动图像帧是I帧(步骤S606中为“是”)，则处理进入步骤 S607。如果管理单元304判断为运动图像帧不是I帧(步骤S606中为“否”)，则处理返回至步骤S600。
在步骤S607中，管理单元304保存运动图像帧信息。在步骤S608中，管理单元304判断是否生成了与在步骤S603中保存的片段结构信息中所包括的片段帧数等同的数量的运动图像帧。然后，如果管理单元304判断为生成了与片段帧数等同的数量的运动图像帧(步骤S608中为“是”)，则处理进入步骤 S609。如果管理单元304判断为没有生成与片段帧数等同的数量的运动图像帧(步骤S608中为“否”)，则处理返回至步骤S600。
在步骤S609中，管理单元304保存片段编号和该片段中所包括的运动图像帧信息。在步骤S610中，管理单元304向分发单元302通知该片段已生成。在步骤S611中，管理单元304将自身状态设置为下一个帧等待状态。然后，处理返回至步骤S600。
在上述的步骤S609和S610中，管理单元304应仅保存片段信息和运动图像帧信息并输出通知，这很重要。如果管理单元304根据运动图像帧的运动图像数据部分生成片段，则由于除执行数据的复制处理以外还需要针对各客户端102保存片段，因此临时存储单元301可能不足。
在步骤S612中，管理单元304保存运动图像帧信息。在步骤S613中，管理单元304判断是否生成了与在步骤S603中保存的片段结构信息中所包括的片段帧数等同的数量的运动图像帧。然后，如果管理单元304判断为生成了与片段帧数等同的数量的运动图像帧(步骤S613中为“是”)，则处理进入步骤 S614。如果管理单元304判断为没有生成与片段帧数等同的数量的运动图像帧(步骤S613中为“否”)，则处理返回至步骤S600。
在步骤S614中，管理单元304保存片段编号和该片段中所包括的运动图像帧信息。在步骤S615中，管理单元304向分发单元302通知该片段已生成。然后，处理返回至步骤S600。
已经基于始终连续地生成运动图像帧的假设说明了本典型实施例。然而，如果存在运动图像帧不是连续生成的可能性，则管理单元304可以判断运动图像帧是否是连续生成的，并且在运动图像帧不是连续生成的情况下，可以执行再次使状态返回至I帧等待状态的处理。
在步骤S616中，管理单元304删除所保存的片段信息和该片段中所包括的运动图像帧。然后，处理返回至步骤S600。
在步骤S617中，管理单元304删除所有所保存的片段信息和该片段中所包括的运动图像帧。在步骤S618中，管理单元304判断所有的运动图像流是否都结束了。如果管理单元304判断为所有的运动图像流都结束了(步骤S618 中为“是”)，则处理结束。如果管理单元304判断为并非所有的运动图像流都结束了(步骤S618中为“否”)，则处理返回至步骤S600。
在本典型实施例中，在分发单元302输出运动图像流的开始请求时，管理单元304在摄像处理单元303启动的同时启动。然而，管理单元304可以始终启动，使得所有客户端102的片段信息都由单个管理单元304管理。
图7是示出在客户端102接收到从摄像设备101分发的运动图像时的处理的序列图。以下将说明客户端102和摄像设备101的处理方法。摄像设备101 包括用于执行摄像处理的摄像处理单元303、用于基于摄像处理单元303所生成的运动图像元信息和运动图像帧来生成和管理片段的管理单元304、以及用于执行针对客户端102的分发处理的分发单元302。
首先，在步骤S700中，客户端102将整体包括运动图像信息的MPD文件 400的分发请求发送至摄像设备101。在步骤S701中，在摄像设备101的分发单元302接收到MPD文件400的分发请求时，分发单元302生成整体包括可分发的运动图像流的MPD文件400，并将MPD文件400分发至客户端102。
在步骤S709中，分发单元302将在MPD文件400中描述的运动图像流1的流开始请求输出至摄像处理单元303。然后，在步骤S710中，分发单元302 将在MPD文件400中描述的运动图像流2的流开始请求输出至摄像处理单元 303。然后，在步骤S711中，分发单元302将在MPD文件400中描述的运动图像流3的流开始请求输出至摄像处理单元303。
在摄像处理单元303接收到步骤S709中的运动图像流1的开始请求时，在步骤S721中，图像处理单元303针对运动图像流1生成包括SPS和PPS的运动图像元信息，并将生成通知输出至管理单元304。在摄像处理单元303接收到步骤S710中的运动图像流2的开始请求时，在步骤S722中，摄像处理单元303 针对运动图像流2生成包括SPS和PPS的运动图像元信息，并将生成通知输出至管理单元304。在摄像处理单元303接收到步骤S711中的运动图像流3的开始请求时，在步骤S722中，摄像处理单元303针对运动图像流3生成包括SPS 和PPS的运动图像元信息，并将生成通知输出至管理单元304。然后，在步骤 S724中，摄像处理单元303连续地生成运动图像帧，并将生成通知输出至管理单元304。
在管理单元304接收到步骤S721中的运动图像元信息的生成通知时，在步骤S712中，管理单元304生成初始化片段1，并且在该生成完成的情况下，将生成通知输出至分发单元302。在管理单元304接收到步骤S722中的运动图像元信息的生成通知时，在步骤S713中，管理单元304生成初始化片段2，并且在该生成完成的情况下，将生成通知输出至分发单元302。在管理单元304 接收到步骤S723中的运动图像元信息的生成通知时，在步骤S714中，管理单元304生成初始化片段3，并且在该生成完成的情况下，将生成通知输出至分发单元302。
接着，在步骤S715～S720的各步骤中，管理单元304基于在被输出了运动图像流的开始请求时所指定的片段结构信息来生成片段。更具体地，管理单元304针对运动图像流1生成片段1-1、1-2、...、等，针对运动图像流2生成片段2-1、2-2、...、等，并且针对运动图像流3生成片段3-1、3-2、...、等。然后，管理单元304在各片段的生成完成时向分发单元302输出生成通知。
客户端102分析在步骤S701中获取到的MPD文件400，并且基于自身设备的CPU能力、显示分辨率和通信频带来选择要接收的运动图像流。在步骤 S702中，客户端102向摄像设备101发送包括执行再现所需的信息的初始化片段的分发请求。在图7中，客户端102选择运动图像流1并将初始化片段1的分发请求发送至摄像设备101。另外，客户端102可以发送在MPD文件400中描述的其它运动图像流的初始化片段的分发请求，或者可以通过服务器推送方法从摄像设备101获取初始化片段。
在步骤S703中，分发单元302将所指定的初始化片段分发至客户端102。在图7中，分发单元302将初始化片段1分发至客户端102。
在接收到初始化片段1之后，在步骤S704中，客户端102将片段1-1的分发请求发送至摄像设备101。在步骤S705中，在步骤S715中生成片段1-1时，分发单元302将片段1-1分发至客户端102。在步骤S708中，客户端102在接收到片段1-1之后再现运动图像。在需要的情况下，客户端102可以在开始运动图像的再现之前将片段1-1缓冲一定时间段。
在步骤S706中，客户端102将下一片段1-2的分发请求发送至摄像设备 101。在步骤S707中，在步骤S718中生成片段1-2时，分发单元302将片段1-2 分发至客户端102。在再现片段1-1中所包括的运动图像帧之后，客户端102 顺次再现片段1-2中所包括的运动图像帧，使得不会中断运动图像的再现。然后，客户端102同样顺次地从摄像设备101获取片段并再现运动图像。
图8是示出根据本典型实施例的分发单元302的处理示例的流程图。在步骤S800中，分发单元302等待事件的发生，并且基于发生事件的判断来切换处理操作。如果分发单元302判断为发生事件是从客户端102发送来的MPD 分发请求事件(在步骤S800中为“MPD分发请求事件”)，则处理进入步骤 S801。如果分发单元302判断为发生事件是从管理单元304输出的片段生成通知事件(在步骤S800中为“片段生成通知事件”)，则处理进入步骤S806。如果分发单元302判断为发生事件是从客户端102发送来的初始化片段或片段的分发请求(在步骤S800中为“初始化片段/片段分发请求事件”)，则处理进入步骤S807。如果分发单元302判断为发生事件是运动图像流的分发结束请求事件(在步骤S800中为“分发结束请求事件”)，则处理进入步骤S811。
在步骤S801中，分发单元302生成整体包括与一个或多个当前可分发的运动图像流有关的MPD文件400。在步骤S802中，分发单元302将MPD文件 400分发至客户端102。在步骤S803中，分发单元302判断在MPD文件400中描述的所有运动图像流是否已开始。然后，如果分发单元302判断为所有的运动图像流都已开始(步骤S803中为“是”)，则处理进入步骤S804。如果分发单元302判断为并非所有的运动图像流都已开始(步骤S803中为“否”)，则处理进入步骤S805。
在步骤S804中，分发单元302将所有运动图像流的I帧的生成请求输出至摄像处理单元303，并且处理返回至步骤S800。在步骤S805中，分发单元302 将在MPD文件400中描述的所有运动图像流的开始请求同时输出至摄像处理单元303，并且处理返回至步骤S800。这里，尽管在步骤S805中分发单元302 同时输出所有运动图像流的开始请求，但如图5所示，生成I帧作为在运动图像流的开始之后要生成的第一帧。运动图像流的开始请求和I帧的生成请求可以不是针对所有的运动图像流同时执行，而是顺次执行。分发单元302将 MPD文件400(即，播放列表)中所包括的所有运动图像流的通过帧内编码进行编码后的运动图像帧的生成请求同时或顺序地输出至摄像处理单元303。
例如，在步骤S803中，在客户端102已完成了最初的步骤S801～S803和步骤S805的处理的情况下，所有的运动图像流都已开始(步骤S803中为“是”)。除上述情况以外，如果除客户端102以外的客户端已连接到摄像设备101、并且步骤S801～S803和步骤S805的处理完成，则所有的运动图像流都已开始。
在步骤S806中，分发单元302保存包括运动图像帧的片段信息。然后，处理返回至步骤S800。
在步骤S807中，分发单元302判断所请求的初始化片段或所请求的片段是否已生成。然后，如果分发单元302判断为该初始化片段或片段已生成(步骤S807中为“是”)，则处理进入步骤S808。如果分发单元302判断为该初始化片段或片段尚未生成(步骤S807中为“否”)，则处理进入步骤S810。
在步骤S808中，分发单元302生成片段的头部分，并且将该头部分被附加至运动图像帧的数据部分的片段经由通信单元305分发至客户端102。在步骤S809中，分发单元302指示管理单元304释放所分发的片段。然后，处理返回至步骤S800。为了不增加复制处理负荷和存储器使用量，在步骤S808中，分发单元302仅生成头部分、并且在将该头部分附加至运动图像帧的数据部分的同时分发片段，这很重要。
在步骤S810中，分发单元302将错误响应分发至客户端102。然后，处理返回至步骤S800。在上文，尽管在不存在所请求的片段的情况下分发单元302 分发错误响应，但分发单元302可以等待，直到生成该片段为止。
在步骤S811中，分发单元302将运动图像流的结束请求输出至管理单元 304以停止运动图像流的片段的生成。在步骤S812中，分发单元302判断所有的运动图像流是否都已结束。如果分发单元302判断为所有的运动图像流都已结束(步骤S812中为“是”)，则处理结束。如果分发单元302判断为并非所有运动图像流都已结束(步骤S812中为“否”)，则处理返回至步骤S800。另外，尽管在步骤S812中分发单元302判断为所有的运动图像流都已经结束的情况下处理结束，但可以继续执行步骤S800的事件判断，直到从摄像设备101的其它处理单元接收到结束请求为止。
如上所述，在步骤S700中接收到MPD文件400的分发请求时，摄像处理单元303在步骤S702中接收到特定运动图像流的分发请求之前，在步骤S724 中对MPD文件400中所包括的运动图像流进行编码。更具体地，摄像处理单元303用作编码单元，并且通过帧内编码对与在MPD文件400中描述的运动图像流相对应的运动图像帧进行编码。在分发单元302接收到特定运动图像流 (即，初始化片段或片段)的分发请求时，分发单元302分发与该特定运动图像流相对应的、包括通过帧内编码进行编码后的运动图像帧的运动图像流。
如上所述，摄像设备101在接收到MPD文件400的分发请求时，开始所有运动图像流的生成，使得即使客户端102选择任何运动图像流，也可以立即发送初始化片段或片段。通过该处理，摄像设备101可以按短的延迟时间向客户端102分发运动图像。
图9是示出根据本发明第二典型实施例的分发单元302的处理示例的一部分的流程图。在本典型实施例中，分发单元302执行步骤S900～S905的处理来代替在第一典型实施例中分发单元302所执行的步骤S803～S805的处理。省略了针对第一典型实施例和本典型实施例共通的部分的说明，并且将说明在第一典型实施例和本典型实施例中有所不同的部分。
图9是示出分发单元302所执行的处理的流程图，其中在该处理中，按从最低的分发比率特起的顺序执行运动图像流的开始请求。在步骤S900中，分发单元302参考在MPD文件400中描述的运动图像流1、2和3的分发比特率 412、421和430，并且使用数组OBW[j]来按从最低的分发比特率起的顺序对运动图像流1～3的id(标识编号)进行排序。另外，可以使用诸如冒泡排序或二叉树排序等的任何排序选法作为该排序方法。如下所述例示运动图像流1、2 和3的比特率以及数组OBW[j]的排序示例。
(运动图像流1的分发比特率680000[bps])<(运动图像流2的分发比特率 1360000[bps])<(运动图像流3的分发比特率5680000[bps])
OBW[1]＝1
OBW[2]＝2
OBW[3]＝3
在步骤S901中，分发单元302针对变量j，从值1开始，执行在MPD文件 400中描述的运动图像流的总数的循环处理。在针对所有运动图像流的处理已完成时，分发单元302结束运动图像流的总数的循环处理。
在步骤S902中，分发单元302判断在MPD文件400中描述的运动图像流中的数组OBW[j]的运动图像流是否已开始。如果分发单元302判断为数组 OBW[j]的运动图像流已开始(步骤S902中为“是”)，则处理进入步骤S903。如果分发单元302判断为数组OBW[j]的运动图像流尚未开始(步骤S902中为“否”)，则处理进入步骤S905。
在步骤S903中，分发单元302将数组OBW[j]的运动图像流的I帧的生成请求输出至摄像处理单元303。然后，处理返回至步骤S904。
在步骤S905中，分发单元302将数组OBW[j]的运动图像流的开始请求输出至摄像处理单元303。然后，处理返回至步骤S904。此时，分发单元302 在步骤S905中输出运动图像流的开始请求，并且如图5所示，生成I帧作为在运动图像流的开始之后要生成的第一帧。
在步骤S904中，如果变量j不等于运动图像流的总数，则分发单元302使变量j递增，并且处理返回至步骤S901。如果变量j等于运动图像流的总数，则处理返回至图8的步骤S800。
如上所述，分发单元302将在MPD文件400中描述的所有运动图像流的通过帧内编码进行编码后的运动图像帧的生成请求按从最低的分发比特率起的顺序输出至摄像处理单元303。
摄像设备101在接收到MPD文件的分发请求时，按从最低的分发比特率起的顺序输出运动图像流的开始请求。利用该结构，预期在摄像设备101按短的延迟时间向客户端102分发运动图像的同时，从每单位时间的处理数据大小小的数据起的运动图像流的开始准备完成。因此，可以减少摄像设备101 的每单位时间的存储器使用量。
图10是示出根据本发明第三典型实施例的分发单元302的处理示例的一部分的流程图。在本典型实施例中，分发单元302执行步骤S1000～S1006的处理来代替在第一典型实施例中分发单元302所执行的步骤S803～S805的处理。省略了针对第一典型实施例和本典型实施例共通的部分的说明，并且将说明在第一典型实施例和本典型实施例中有所不同的部分。
图10是示出分发单元302所执行的处理的流程图，其中在该处理中，按从最高的分发比率特起的顺序输出运动图像流的开始请求。在步骤S1000中，分发单元302读出临时存储单元301中所保存的各运动图像流1、2和3的(以下所述的)分发历史信息，计算各运动图像流“i”的分发频率评价值val(i)，并将该分发频率评估值val(i)存储在临时存储单元301中。作为运动图像流i的分发频率评价值val(i)的示例，将从时间Tm起直到时间TM为止的运动图像流i的总分发时间的计算公式表示为公式1。
Figure BDA0001701703720000191
在公式1中，符号“s”表示包括一系列运动图像流分发的分发元信息的结构。符号“strm(s)”表示一系列运动图像流分发的运动图像流id。符号“To(s)”表示一系列运动图像流分发的分发开始时间。符号“Tc(s)”表示一系列运动图像流分发的分发结束时间。这里，尽管运动图像流i的分发频率评价值val(i) 由公式1定义，但也可以使用利用从客户端102向运动图像流i的访问次数的其它定义。
在步骤S1001中，分发单元302从临时存储单元301参考在MPD文件400 中描述的各运动图像流1、2和3的分发频率评价值val(i)。然后，分发单元302 使用数组OTM[j]，按从最高的分发频率评价值val(i)起的顺序对运动图像流的id进行排序。另外，可以使用诸如冒泡排序或二叉树排序等的任何排序算法作为该排序方法。
在步骤S1002中，分发单元302针对变量j，从值1开始，执行MPD文件400 中的运动图像流的总数的循环处理。在针对所有运动图像流的处理都已完成时，分发单元302结束运动图像流的总数的循环处理。
在步骤S1003中，分发单元302判断在MPD 400中描述的数组OTM[j]的运动图像流是否已开始。如果分发单元302判断为数组OTM[j]的运动图像流已开始(步骤S1003中为“是”)，则处理进入步骤S1004。如果分发单元302判断为数组OTM[j]的运动图像流尚未开始(步骤S1003中为“否”)，则处理进入步骤 S1006。
在步骤S1004中，分发单元302将数组OTM[j]的运动图像流的I帧的生成请求输出至摄像处理单元303。然后，处理返回至步骤S1005。
在步骤S1006中，分发单元302将数组OTM[j]的运动图像流的I帧的开始请求输出至摄像处理单元303。然后，处理返回至步骤S1005。此时，分发单元302在步骤S1006中输出运动图像流的开始请求，并且如图5所示，生成I帧作为在运动图像流的开始之后要生成的第一帧。
在步骤S1005中，如果变量j不等于运动图像流的总数，则分发单元302 使变量j递增，并且处理返回至步骤S1002。如果变量j等于运动图像流的总数，则处理返回至步骤S800。
图11是示出根据本发明第三典型实施例的分发单元302的处理示例的另一部分的流程图。在本典型实施例中，分发单元302执行步骤S1100和S1101 的处理来代替在第一典型实施例中分发单元302所执行的步骤S811的处理。
图11是示出分发单元302所进行的用于结束运动图像流并保存流分发历史信息的处理的流程图。在步骤S1100中，分发单元302向管理单元304输出从客户端102接收到分发结束请求所针对的运动图像流的结束请求，并且停止运动图像流的片段的生成。在步骤S1101中，分发单元302将在步骤S1100 中所结束的运动图像流的分发历史信息保存在临时存储单元301中。例如，作为运动图像流的分发历史信息，可以针对一系列运动图像流分发来保存运动图像流的分发开始时间和分发结束时间。
如上所述，分发单元302将在MPD文件400中描述的所有运动图像流的通过帧内编码进行编码后的运动图像帧的生成请求按从最高的分发频率起的顺序输出至摄像处理单元303。
如上所述，摄像设备101在接收到MPD文件400的分发请求时，按从最高的分发频率起的顺序输出运动图像流的开始请求，使得可以按短的延迟时间向客户端102分发运动图像。此外，存在以下情况：由于施加于CPU 201的高负荷或者存储器使用量的增加，因此摄像设备101不能按所指定的帧速率对一部分运动图像流进行摄像的情况(即，丢帧)。即使在这种情况下，摄像设备101也可以在不会丢帧的情况下分发具有高分发频率的运动图像流，使得客户端102可以平滑地执行运动图像的再现。
图12是示出根据本发明第四典型实施例的分发单元302的处理示例的流程图。即使在接收到MPD文件400的分发请求之后经过了特定时间段、摄像设备101也没有从客户端102接收到初始化片段的分发请求事件的情况下，摄像设备101生成所有运动图像流的I帧。在步骤S1200中，分发单元302等待事件的发生，并且基于发生事件的判断来切换处理操作。如果分发单元302判断为发生事件是从客户端102发送来的MPD分发请求事件(在步骤S1200中为“MPD分发请求事件”)，则处理进入步骤S1201。如果分发单元302判断为发生事件是从管理单元304输出的片段生成通知事件(在步骤S1200中为“片段生成通知事件”)，则处理进入步骤S1207。如果分发单元302判断为发生事件是从客户端102发送来的初始化片段/片段分发事件(在步骤S1200中的“初始化片段/片段请求事件”)，则处理进入步骤S1208。如果分发单元302判断为发生事件是运动图像流的分发结束请求事件(在步骤S1200中为“分发结束请求事件”)，则处理进入步骤S1214。
在步骤S1201中，分发单元302生成整体包括与一个或多个当前可分发的运动图像流有关的MPD文件400。在步骤S1202中，分发单元302将MPD文件 400分发至客户端102。在步骤S1203中，分发单元302判断在MPD文件400中描述的所有运动图像流是否都已开始。如果分发单元302判断为所有的运动图像流都已开始(步骤S1203中为“是”)，则处理进入步骤S1204。如果分发单元302判断为并非所有的运动图像流都已开始(步骤S1203中为“否”)，则处理进入步骤S1205。
在步骤S1204中，分发单元302将所有运动图像流的I帧的生成请求输出至摄像处理单元303。然后，处理返回至步骤S1206。
在步骤S1205中，分发单元302将在MPD文件400中描述的所有运动图像流的开始请求同时输出至摄像处理单元303。然后，处理进入步骤S1206。这里，尽管分发单元302在步骤S1205中同时输出所有运动图像流的开始请求，但如图5所示，生成I帧作为在运动图像流的开始之后要生成的第一帧。运动图像流的开始请求和I帧的生成请求可以不是针对所有的运动图像流同时执行，而是顺次执行。
例如，在步骤S1203中，在客户端102已完成了最初的步骤S1201～S1202 和S1205的处理的情况下，所有的运动图像流都已开始(步骤S1203中为“是”)。除上述情况以外，如果除客户端102以外的客户端已连接到摄像设备101、并且步骤S1201～S1203和S1205的处理已完成，则所有的运动图像流都已开始。
在步骤S1206中，分发单元302将计时器计数值T设置为0，并开始计时器的计数。然后，处理返回至步骤S1200。
在步骤S1200中，如果分发单元302判断为计时器计数值T是阈值以上(在步骤S1200中为“T是阈值以上”)，则处理进入步骤S1203。
在步骤S1207中，分发单元302保存包括运动图像帧的片段信息。然后，处理返回至步骤S1200。
在步骤S1208中，分发单元302判断所请求的初始化片段或所请求的片段是否已生成。如果分发单元302判断为该初始化片段或片段已生成(步骤 S1208中为“是”)，则处理进入步骤S1209。如果分发单元302判断为该初始化片段或片段尚未生成(步骤S1208中为“否”)，则处理进入步骤S1213。
在步骤S1209中，分发单元302判断发生事件是否是初始化片段的分发请求事件。如果分发单元302判断为发生事件是初始化片段的分发请求事件(步骤S1209中为“是”)，则处理进入步骤S1210。如果分发单元302判断为发生事件不是初始化片段的分发请求事件(步骤S1209中为“否”)，则处理进入步骤 S1211。
在步骤S1210中，分发单元302结束计时器的计数。在步骤S1211中，分发单元302生成片段的头部分，并且将头部分被附加至运动图像帧的数据部分的片段经由通信单元305分发至客户端102。在步骤S1212中，分发单元302 指示管理单元304释放所分发的片段。然后，处理返回至步骤S1200。
在步骤S1213中，分发单元302将错误响应分发至客户端102。然后，处理返回至步骤S1200。
在步骤S1214中，分发单元302将运动图像流的结束请求输出至管理单元 304，以结束请求停止运动图像流的片段的生成。在步骤S1215中，分发单元 302判断所有的运动图像流是否都已结束。如果分发单元302判断为所有的运动图像流都已结束(步骤S1215中为“是”)，则处理结束。如果分发单元302判断为并非所有运动图像流都已结束(步骤S1215中为“否”)，则处理返回至步骤 S1200。另外，尽管在步骤S1215中分发单元302判断为所有运动图像流都已经结束的情况下处理结束，但可以继续执行步骤S1200的事件判断，直到从摄像设备101的其它处理单元接收到结束请求为止。
在本典型实施例中，尽管针对所有的运动图像流同时输出运动图像流的开始请求和I帧的生成请求，但可以向各运动图像流顺次输出该开始请求和生成请求。
如上所述，分发单元302在将在MPD文件400中描述的所有运动图像流的通过帧内编码进行编码后的运动图像帧的生成请求输出至摄像处理单元303 之后，在步骤S1206中将计时器计数值T设置为0。然后，在用于接收特定运动图像流(即，初始化片段或片段)的分发请求的等待时间已经变为阈值以上的情况下，处理进入步骤S1203。在步骤S1204或S1205中，分发单元302再次将在MPD文件400中描述的所有运动图像流的通过帧内编码进行编码后的运动图像帧的生成请求输出至摄像处理单元303。
如上所述，摄像设备101按各阈值时间间隔生成所有运动图像流的I帧，直到摄像设备101在接收到MPD文件400的分发请求之后接收到初始化片段的分发请求为止。利用该结构，即使在客户端102由于分析MPD文件400所花费的时间因而需要用以发送初始化片段的分发请求的时间段的情况下，摄像设备101也可以按短的延迟时间向客户端102分发运动图像。
图13是示出根据本发明第五典型实施例的用于执行运动图像的分发的摄像设备101和客户端102之间的相互作用的示例的序列图。通过该序列，客户端102接收到从摄像设备101分发的运动图像。本典型实施例与第一典型实施例的不同之处在于：分发单元302在步骤S1300和S1301中的序列、管理单元304在步骤S718及其后续步骤中的用于生成片段的序列、以及摄像处理单元303在步骤S1302及其后续步骤中的用于生成运动图像帧的序列。省略了针对第一典型实施例和本典型实施例共通的部分的说明，并且将说明在第一典型实施例和本典型实施例中有所不同的部分。
在步骤S704中，客户端102将运动图像流1的片段1-1的分发请求发送至摄像设备101。分发单元301接收到运动图像流1的片段1-1的分发请求，并且将来自MPD文件400的运动图像流2和3指定为除运动图像流1以外的运动图像流。在步骤S1300中，分发单元302将所指定的运动图像流2的结束请求输出至摄像处理单元303和管理单元304。在步骤S1301中，分发单元302将所指定的运动图像流3的结束请求输出至摄像处理单元303和管理单元304。
摄像处理单元303接收到运动图像流2和3的结束请求。然后，摄像处理单元303结束在步骤S724及其后续步骤中执行的运动图像帧的生成中的、运动图像流2和3的运动图像帧的生成，并且在步骤S1302及其后续步骤中继续执行运动图像流1的运动图像帧的生成。
管理单元304接收到步骤S1300和S1301中的运动图像流2和3的结束请求。然后，管理单元304结束运动图像流2和3的片段的生成。从步骤S718的序列起，管理单元304继续生成运动图像流1的片段。
图14是在分发单元302接收到初始化片段的分发请求时所执行的处理的流程图。在从客户端102接收到初始化片段的分发请求时，分发单元302输出除与该初始化片段相对应的运动图像流以外的运动图像流的结束请求。在本典型实施例中，分发单元302在第一典型实施例中分发单元302所执行的步骤 S807和S808的处理之间的定时附加地执行步骤1400～S1405的处理。省略了针对第一典型实施例和本典型实施例共通的部分的说明，并且将说明在第一典型实施例和本典型实施例中有所不同的部分。
在步骤S1400中，分发单元302判断发生事件是否是初始化片段的分发请求事件。如果分发单元302判断为发生事件是初始化片段的分发请求事件(步骤S1400中为“是”)，则处理进入步骤S1401。如果分发单元302判断为发生事件不是初始化片段的分发请求事件(步骤S1400中为“否”)，则处理进入图8的步骤S808。
在步骤S1401中，分发单元302将包括运动图像流的id的分发流信息保存在临时存储单元301中。在步骤S1402中，分发单元302针对变量i，从值1开始，执行MPD文件400中的运动图像流的总数的循环处理。在针对所有运动图像流的处理已完成时，分发单元302结束运动图像流的总数的循环处理。在步骤S1403中，分发单元302读出临时存储单元301中所保存的分发流信息，并判断该分发流信息是否包括运动图像流i的id。如果分发单元302判断为分发流信息包括运动图像流i的id(步骤S1403中为“是”)，则处理进入步骤 S1404。如果分发单元302判断为分发流信息不包括运动图像流i的id(步骤 S1403中为“否”)，则处理进入步骤S1405。在步骤S1405中，分发单元302将运动图像流i的结束请求输出至摄像处理单元303，并且处理进入步骤S1404。在步骤S1404中，如果变量i不等于运动图像流的总数，则分发单元302使变量i递增，并且处理返回至步骤S1402。如果变量i等于运动图像流的总数，则处理进入步骤S808。
在上述典型实施例中，在步骤S1400中，分发单元302判断发生事件是否是初始化片段的分发请求事件。然而，在步骤S1301和S1302之间的定时，存在客户端102或者除客户端102以外的客户端发送除运动图像流1以外的运动图像流的初始化片段的分发请求的情况。在这种情况下，为了优化分发延迟，在步骤S1400中，分发单元302可以判断发生事件是否是第一个片段的分发请求事件。
分发单元302接收到特定运动图像流(初始化片段或片段)的分发请求，并将MPD文件400中的除该特定运动图像流以外的运动图像流的生成结束请求输出至摄像处理单元303。
如上所述，摄像设备101在接收到MPD文件400的分发请求时，开始所有的运动图像流，并且在客户端102发送初始化片段的分发请求时，结束除要分发的运动图像流以外的运动图像流。利用该结构，摄像设备101可以在减少每单位时间的存储器使用量的同时，按短的延迟时间向客户端102分发运动图像。
图15是示出在根据本发明第六典型实施例的分发单元302接收到MPD分发请求事件时的处理示例的流程图。在本典型实施例中，分发单元302执行步骤S1500～S1505的处理来代替在第一典型实施例中分发单元302所执行的步骤S803～S805的处理。省略了针对第一典型实施例和本典型实施例共通的部分的说明，并且将说明在第一典型实施例和本典型实施例中有所不同的部分。
图15是示出用于在MPD文件400仅定义了一个运动图像流的情况下、输出分发单元302所执行的运动图像流的开始请求的处理的流程图。在步骤 S1500中，分发单元302判断在MPD文件400中定义的运动图像流的数量是否是1。如果分发单元302判断为在MPD文件400中定义的运动图像流的数量是1 (步骤S1500中为“是”)，则处理进入步骤S1501。如果分发单元302判断为在 MPD文件400中定义的运动图像流的数量不是1(步骤S1500中为“否”)，则处理进入步骤S1505。
在步骤S1501中，分发单元302将多流标志设置成OFF(关闭)。在步骤 S1502中，分发单元302判断在MPD文件400中描述的运动图像流是否已经开始。如果分发单元302判断为该运动图像流已开始(步骤S1502中为“是”)，则处理进入步骤S1503。如果分发单元302判断为该运动图像流尚未开始(步骤 S1502中为“否”)，则处理进入步骤S1504。
在步骤S1503中，分发单元302将运动图像流的I帧的生成请求输出至摄像处理单元303，并且处理返回图8的步骤S800。在步骤S1504中，分发单元 302将运动图像流的开始请求输出至摄像处理单元303，并且处理返回至图8 的步骤S800。此时，分发单元302在步骤S1504中输出运动图像流的开始请求，并且如图5所示，生成I帧作为在运动图像流开始之后要生成的第一帧。例如，在步骤S1502中，在客户端102已完成了最初的步骤S1500～S1502和步骤S1504 的处理的情况下，运动图像流已开始。除上述情况以外，如果除客户端102 以外的客户端已连接到摄像设备101、并且步骤S1500～S1502和步骤S1504中的处理已完成，则运动图像流已开始。在步骤S1505中，分发单元302将多流标记设置成ON(开启)，并且处理返回至图8的步骤S800。
图16是示出在分发单元302接收到初始化片段的分发请求的事件时要执行的处理的示例的流程图。在本典型实施例中，分发单元302紧挨在执行在第一典型实施例中分发单元302所执行的步骤S807的处理之前，附加地执行步骤S1600～S1604的处理。分发单元302在从客户端102接收到初始化片段的分发请求事件时，输出运动图像流的开始请求。
在步骤S1600中，分发单元302判断发生事件是否是初始化片段的分发请求事件。如果分发单元302判断为发生事件是初始化片段的分发请求事件(步骤S1600中为“是”)，则处理进入步骤S1601。如果分发单元302判断为发生事件不是初始化片段的分发请求事件(步骤S1600中为“否”)，则处理进入图8的步骤S807。
在步骤S1601中，分发单元302判断多流标志是否为ON。如果分发单元 302判断为多流标记为ON(步骤S1601中为“是”)，则处理进入步骤S1602。如果分发单元302判断为多流标记不是ON(步骤S1601中为“否”)，则处理返回至图8的步骤S800。
在步骤S1602中，分发单元302判断在步骤S1600中判断出的初始化片段的运动图像流已开始。如果分发单元302判断为该运动图像流已开始(步骤 S1602中为“是”)，则处理进入步骤S1603。如果分发单元302判断为该运动图像流尚未开始(步骤S1602中为“否”)，则处理进入步骤S1604。
在步骤S1603中，分发单元302将在步骤S1600中判断出的初始化片段的运动图像流的I帧的生成请求输出至图像处理单元303，并且处理进入图8的步骤S807。在步骤S1604中，分发单元302向摄像处理单元303输出在步骤 S1600中判断出的初始化片段的运动图像流的开始请求，并且处理进入图8 的步骤S807。此时，分发单元302在步骤S1604中输出运动图像流的开始请求，并且如图5所示，生成I帧作为在运动图像流的开始之后要生成的第一帧。
如上所述，如果在MPD文件400中描述了与一个运动图像流有关的信息，则分发单元302在接收到特定运动图像流(初始化片段或片段)的分发请求之前，输出该一个运动图像流的I帧的生成请求。更具体地，分发单元302将在 MPD文件400中描述的一个运动图像流的通过帧内编码进行编码后的运动图像帧的生成请求输出至摄像处理单元303。
此外，如果在MPD文件400中描述了与多个运动图像流有关的信息，则分发单元302在接收到特定运动图像流(初始化片段或片段)的分发请求之后，输出该特定运动图像流的I帧的生成请求。更具体地，分发单元302将特定运动图像流的通过帧内编码进行编码后的运动图像帧的生成请求输出至摄像处理单元303。
如上所述，由于在指定了要分发至客户端102的运动图像流时摄像设备 101开始该运动图像流，因此可以使摄像设备101的存储器使用量最小化。
其它典型实施例
在上述典型实施例中，尽管采用DASH分发作为示例，但本发明还可应用于诸如HLS分发等的其它自适应流式传输技术。
本发明可以以如下方式实现：将用于实现上述典型实施例中的一个或多个功能的程序经由网络或存储介质供给至系统或设备，并且该系统或设备中的一个或多个处理器读取并执行该程序。此外，本发明还可以利用实现一个或多个功能的电路(例如，专用集成电路(ASIC))来实现。
另外，上述典型实施例仅是体现本发明的示例，并且不应被解释为限制本发明的技术范围。换句话说，在没有背离本发明的技术精神或主要特征的情况下，可以以多种方式实现本发明。
根据上述典型实施例，可以缩短在接收到运动图像流的分发请求和分发运动图像流之间的延迟时间。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (10)

1.一种摄像设备，用于生成运动图像流并且用于分发所生成的运动图像流，所述摄像设备包括：
分发单元，用于在所述摄像设备接收到针对播放列表的请求的情况下分发所述播放列表，其中在所述播放列表中能够描述与多个运动图像流有关的信息；以及
编码单元，用于在所述摄像设备接收到针对所述播放列表的请求的情况下，在接收到针对所述多个运动图像流中所包括的特定运动图像流的分发请求之前，通过使用帧内编码来对分别与在所述播放列表中描述的所述多个运动图像流中的每一个相对应的多个帧进行编码，
其中，在所述摄像设备接收到针对所述特定运动图像流的分发请求的情况下，所述分发单元分发包括在所述摄像设备已接收到针对所述特定运动图像流的分发请求之前通过使用帧内编码已经进行了编码的帧的所述特定运动图像流，以及
其中，在所述摄像设备接收到针对所述特定运动图像流的分发请求的情况下，停止生成所述多个运动图像流中所包括的除所述特定运动图像流以外的运动图像流。
2.根据权利要求1所述的摄像设备，其中，
所述编码单元通过使用帧内编码或帧间编码来对所拍摄到的帧进行编码，
所述摄像设备还包括生成单元，所述生成单元用于生成编码后的帧的片段，以及
在所述摄像设备接收到针对所述特定运动图像流的分发请求的情况下，所述分发单元分发所述片段。
3.根据权利要求1所述的摄像设备，其中，与所述运动图像流有关的信息包括运动图像的分辨率、编码方法、分发比特率和帧率中的至少任一个。
4.根据权利要求1所述的摄像设备，其中，所述分发单元将在所述播放列表中描述的所有运动图像流的、通过使用帧内编码进行编码后的帧的生成请求同时或顺次地输出至所述编码单元。
5.根据权利要求1所述的摄像设备，其中，所述分发单元将在所述播放列表中描述的所有运动图像流的、通过使用帧内编码进行编码后的帧的生成请求按从最低的分发比特率起的顺序输出至所述编码单元。
6.根据权利要求1所述的摄像设备，其中，所述分发单元将在所述播放列表中描述的所有运动图像流的、通过使用帧内编码进行编码后的帧的生成请求按从最高的分发频率起的顺序输出至所述编码单元。
7.根据权利要求4所述的摄像设备，其中，在所述分发单元将在所述播放列表中描述的所有运动图像流的通过使用帧内编码进行编码后的帧的生成请求输出至所述编码单元之后、用于接收针对所述特定运动图像流的分发请求的等待时间是阈值以上的情况下，所述分发单元再次将在所述播放列表中描述的所有运动图像流的通过使用帧内编码进行编码后的帧的生成请求输出至所述编码单元。
8.根据权利要求1所述的摄像设备，其中，
在所述播放列表中描述与一个运动图像流有关的信息的情况下，所述分发单元在接收到针对所述特定运动图像流的分发请求之前，将针对在所述播放列表中描述的所述一个运动图像流的通过使用帧内编码进行编码后的帧的生成请求输出至所述编码单元，以及
在所述播放列表中描述与多个运动图像流有关的信息的情况下，所述分发单元在接收到针对所述特定运动图像流的分发请求之后，将针对所述特定运动图像流的通过使用帧内编码进行编码后的帧的生成请求输出至所述编码单元。
9.一种摄像设备的处理方法，所述摄像设备用于生成运动图像流并且用于分发所生成的运动图像流，所述处理方法包括以下步骤：
在所述摄像设备接收到针对播放列表的请求的情况下分发所述播放列表，其中在所述播放列表中能够描述与多个运动图像流有关的信息；
在所述摄像设备接收到针对所述播放列表的请求的情况下，在接收到针对所述多个运动图像流中所包括的特定运动图像流的分发请求之前，通过使用帧内编码来对分别与在所述播放列表中描述的所述多个运动图像流中的每一个相对应的多个帧进行编码；
在所述摄像设备接收到针对所述特定运动图像流的分发请求的情况下，分发包括在所述摄像设备已接收到针对所述特定运动图像流的分发请求之前通过使用帧内编码已经进行了编码的帧的所述特定运动图像流；以及
在所述摄像设备接收到针对所述特定运动图像流的分发请求的情况下，停止生成所述多个运动图像流中所包括的除所述特定运动图像流以外的运动图像流。
10.一种非暂时性计算机可读存储介质，用于存储用于使计算机执行摄像设备的处理方法的程序，所述摄像设备用于生成运动图像流并且用于分发所生成的运动图像流，所述处理方法包括以下步骤：
在所述摄像设备接收到针对播放列表的请求的情况下分发所述播放列表，其中在所述播放列表中能够描述与多个运动图像流有关的信息；
在所述摄像设备接收到针对所述播放列表的请求的情况下，在接收到针对所述多个运动图像流中所包括的特定运动图像流的分发请求之前，通过使用帧内编码来对分别与在所述播放列表中描述的所述多个运动图像流中的每一个相对应的多个帧进行编码；
在所述摄像设备接收到针对所述特定运动图像流的分发请求的情况下，分发包括在所述摄像设备已接收到针对所述特定运动图像流的分发请求之前通过使用帧内编码已经进行了编码的帧的所述特定运动图像流；以及
在所述摄像设备接收到针对所述特定运动图像流的分发请求的情况下，停止生成所述多个运动图像流中所包括的除所述特定运动图像流以外的运动图像流。
CN201810638768.XA 2017-06-20 2018-06-20 摄像设备、摄像设备的处理方法和存储介质 Active CN109104552B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-120595 2017-06-20
JP2017120595A JP6797755B2 (ja) 2017-06-20 2017-06-20 撮像装置、撮像装置の処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN109104552A CN109104552A (zh) 2018-12-28
CN109104552B true CN109104552B (zh) 2021-10-08

Family

ID=62067472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810638768.XA Active CN109104552B (zh) 2017-06-20 2018-06-20 摄像设备、摄像设备的处理方法和存储介质

Country Status (4)

Country Link
US (1) US10951887B2 (zh)
EP (1) EP3419294B1 (zh)
JP (1) JP6797755B2 (zh)
CN (1) CN109104552B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7327953B2 (ja) * 2019-03-11 2023-08-16 キヤノン株式会社 動画配信装置、動画配信方法及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7178159B1 (en) * 1999-04-27 2007-02-13 Matsushita Electric Industrial Co., Ltd. Information providing apparatus
CN101803291A (zh) * 2007-09-11 2010-08-11 Nxp股份有限公司 内容编码转换方法、编码转换单元和upnp网络系统
CN102428698A (zh) * 2009-03-23 2012-04-25 生命力有限公司 基于来自客户端设备的反馈信息压缩视频帧或其部分的系统及方法
CN103873882A (zh) * 2012-12-10 2014-06-18 佳能株式会社 信息处理装置、摄像装置及其控制方法
CN104539948A (zh) * 2013-07-16 2015-04-22 香港科技大学 视频处理系统和视频处理方法
CN104735470A (zh) * 2015-02-11 2015-06-24 海信集团有限公司 一种流媒体数据传输方法及装置
CN106537923A (zh) * 2014-09-08 2017-03-22 苹果公司 自适应视频流的技术

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257466A (ja) * 1997-03-12 1998-09-25 Matsushita Electric Ind Co Ltd 有料放送送信システムおよび方法
JP4721028B2 (ja) 2001-05-22 2011-07-13 株式会社メガチップス 動画像配信システム、動画像配信方法及びそれらのプログラム
US7936819B2 (en) * 2005-07-08 2011-05-03 Tag Networks, Inc. Video encoder with latency control
JP2008079061A (ja) * 2006-09-22 2008-04-03 Matsushita Electric Ind Co Ltd 画像ストリーミングシステム
GB201105502D0 (en) * 2010-04-01 2011-05-18 Apple Inc Real time or near real time streaming
KR101528991B1 (ko) * 2011-01-11 2015-06-15 애플 인크. 실시간 또는 준 실시간 스트리밍
US8769576B2 (en) * 2011-04-01 2014-07-01 Mixaroo, Inc. System and method for real-time processing, storage, indexing, and delivery of segmented video
US8813116B2 (en) * 2011-04-27 2014-08-19 Morega Systems Inc. Adaptive video server with virtual file system and methods for use therewith
RU2635895C2 (ru) * 2012-06-22 2017-11-16 Вилос Медиа Интернэшнл Лимитед Способ кодирования изображения, способ декодирования изображения, устройство кодирования изображения, устройство декодирования изображения и устройство кодирования и декодирования изображения
JP6116240B2 (ja) * 2012-12-28 2017-04-19 キヤノン株式会社 送信装置、送信方法、及びプログラム
US8869218B2 (en) * 2013-03-15 2014-10-21 Wowza Media Systems, LLC On the fly transcoding of video on demand content for adaptive streaming
WO2014145011A2 (en) * 2013-03-15 2014-09-18 General Instrument Corporation Method and apparatus for streaming video
US9674251B2 (en) * 2013-06-17 2017-06-06 Qualcomm Incorporated Mediating content delivery via one or more services
US9756369B2 (en) * 2013-06-19 2017-09-05 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for streaming media data segments of different lengths wherein the segment of different length comprising data not belonging to the actual segment and beginning with key frames or containing key frames only
EP3020208B1 (en) 2013-07-12 2022-03-09 Canon Kabushiki Kaisha Adaptive data streaming with push messages control
US10051294B2 (en) * 2015-03-31 2018-08-14 Avago Technologies General Ip (Singapore) Pte. Ltd. Compressed video buffering
US10114835B2 (en) * 2015-04-29 2018-10-30 Box, Inc. Virtual file system for cloud-based shared content
ES2791332T3 (es) * 2015-06-18 2020-11-03 Sky Italia S R L Sistema, método y dispositivos para transmisión de baja latencia
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
US10148989B2 (en) * 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
US10063612B2 (en) * 2016-09-30 2018-08-28 Amazon Technologies, Inc. Request-based encoding for streaming content portions

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7178159B1 (en) * 1999-04-27 2007-02-13 Matsushita Electric Industrial Co., Ltd. Information providing apparatus
CN101803291A (zh) * 2007-09-11 2010-08-11 Nxp股份有限公司 内容编码转换方法、编码转换单元和upnp网络系统
CN102428698A (zh) * 2009-03-23 2012-04-25 生命力有限公司 基于来自客户端设备的反馈信息压缩视频帧或其部分的系统及方法
CN103873882A (zh) * 2012-12-10 2014-06-18 佳能株式会社 信息处理装置、摄像装置及其控制方法
CN104539948A (zh) * 2013-07-16 2015-04-22 香港科技大学 视频处理系统和视频处理方法
CN106537923A (zh) * 2014-09-08 2017-03-22 苹果公司 自适应视频流的技术
CN104735470A (zh) * 2015-02-11 2015-06-24 海信集团有限公司 一种流媒体数据传输方法及装置

Also Published As

Publication number Publication date
US10951887B2 (en) 2021-03-16
JP6797755B2 (ja) 2020-12-09
CN109104552A (zh) 2018-12-28
EP3419294B1 (en) 2020-11-18
US20180367792A1 (en) 2018-12-20
EP3419294A1 (en) 2018-12-26
JP2019009492A (ja) 2019-01-17

Similar Documents

Publication Publication Date Title
KR102324326B1 (ko) 상이한 인코딩 파라미터를 이용해 인코딩되는 복수의 인코딩 스트리밍
CN108605160B (zh) 信息处理设备和信息处理方法
US20080143875A1 (en) Method and system for synchronous video capture and output
JP5147278B2 (ja) 映像配信装置およびキーフレーム配信方法
CN108696505B (zh) 视频分发设备、视频接收设备、视频分发方法和记录介质
CN109104552B (zh) 摄像设备、摄像设备的处理方法和存储介质
US9571790B2 (en) Reception apparatus, reception method, and program thereof, image capturing apparatus, image capturing method, and program thereof, and transmission apparatus, transmission method, and program thereof
US10498787B2 (en) Communication apparatus, communication method, and program
US11496535B2 (en) Video data transmission apparatus, video data transmitting method, and storage medium
JP2020113922A (ja) 動画配信装置、動画配信方法及びプログラム
JP6890977B2 (ja) 送信装置、送信方法、およびプログラム
JP2007267144A (ja) 情報配信方法、サーバ装置およびプログラム
US10778740B2 (en) Video image distribution apparatus, control method, and recording medium
JP7292901B2 (ja) 送信装置、送信方法、及びプログラム
JP7327953B2 (ja) 動画配信装置、動画配信方法及びプログラム
US20240086451A1 (en) Information processing apparatus, reception apparatus, information processing method, and storage medium
CN113315997B (zh) 发送装置、服务器装置、发送方法以及程序
KR102291293B1 (ko) 송신 디바이스, 통신 시스템, 송신 방법, 및 비일시적 컴퓨터 판독가능 기록 매체
KR20210004877A (ko) 미디어 데이터 프로세싱 방법 및 장치
CN113542747A (zh) 服务器装置、通信系统以及存储介质
KR20210130092A (ko) 서버 디바이스, 정보 처리 방법, 및 비일시적 컴퓨터 판독가능 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant