JP2020113922A - Video distribution device, video distribution method, and program - Google Patents

Video distribution device, video distribution method, and program Download PDF

Info

Publication number
JP2020113922A
JP2020113922A JP2019004401A JP2019004401A JP2020113922A JP 2020113922 A JP2020113922 A JP 2020113922A JP 2019004401 A JP2019004401 A JP 2019004401A JP 2019004401 A JP2019004401 A JP 2019004401A JP 2020113922 A JP2020113922 A JP 2020113922A
Authority
JP
Japan
Prior art keywords
segment
moving image
transmission
target
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019004401A
Other languages
Japanese (ja)
Inventor
大澤 隆治
Takaharu Osawa
隆治 大澤
勝敏 田尻
Katsutoshi Tajiri
勝敏 田尻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019004401A priority Critical patent/JP2020113922A/en
Publication of JP2020113922A publication Critical patent/JP2020113922A/en
Pending legal-status Critical Current

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

To reliably buffer necessary video image data even when the number of types of generated video image data increases.SOLUTION: A video distribution device includes generation means for generating a plurality of different types of video image data on the basis of a captured image, storage means for storing the plurality of pieces of video image data generated by the generation means in temporary storage means, transmitting means for transmitting a segment which is a part of the data of one piece of video data in the time axis direction of the plurality of pieces of video data, and deleting means for deleting the segment that has been transmitted from the temporary storage means when the transmitting means has completed transmitting the segment.SELECTED DRAWING: Figure 7

Description

本発明は、動画配信装置、動画配信方法及びプログラムに関する。 The present invention relates to a moving picture distribution device, a moving picture distribution method, and a program.

近年、IP(Internet Protocol)ネットワークを利用した配信システムが増加してきている。こうした配信システムとしては、スキー場や動物園の状況を配信するシステムや、店舗・ビル監視のシステムがある。 In recent years, distribution systems using an IP (Internet Protocol) network have been increasing. Such distribution systems include systems that distribute the status of ski resorts and zoos, and systems that monitor stores and buildings.

動画サービスでは、HTTP(Hyper Text Transfer Protocol)を用いたAdaptive Bitrate Streaming技術が普及してきている。Adaptive Bitrate Streaming技術としては、DASH(Dynamic Adaptive Streaming over HTTP)やHLS(HTTP Live Streaming)がある。DASHは、MPEG(Moving Picture Experts Group)によって規格化された技術である。HLSは、Appleが主導して規格化している技術である。 In video services, Adaptive Bitrate Streaming technology using HTTP (Hyper Text Transfer Protocol) has become widespread. The Adaptive Bitrate Streaming technology includes DASH (Dynamic Adaptive Streaming over HTTP) and HLS (HTTP Live Streaming). DASH is a technology standardized by MPEG (Moving Picture Experts Group). HLS is a technology standardized by Apple.

一般的なDASH配信では、配信サーバ側で解像度やビットレートが異なる複数の動画データを数秒単位のセグメントと言われる動画ファイルに分割する。一方、クライアントは、配信サーバから動画の全体情報が記載されているMPD(Media Presentation Description)ファイルを取得し、ファイルを参照し、適切な解像度やビットレートの動画ストリームを選択する。そして、クライアントは、MPDの記載に従って、MPEG2 TSストリームまたはMP4ファイルの動画データをセグメント単位でダウンロードして再生する。 In general DASH distribution, a plurality of moving image data having different resolutions and bit rates are divided on the distribution server side into moving image files called segments of several seconds. On the other hand, the client acquires an MPD (Media Presentation Description) file in which the entire information of the moving image is described from the distribution server, refers to the file, and selects a moving image stream having an appropriate resolution and bit rate. Then, the client downloads and reproduces the moving image data of the MPEG2 TS stream or MP4 file in segment units according to the description of MPD.

特許文献1には、複数の動画ストリームをそれぞれ時分割し、各ストリームのデータサイズと再生時間からなるトラフィック情報と、配信開始までの猶予時間と、を考慮することで、送信するスケジューリングを決定する方法が開示されている。 In Patent Document 1, a plurality of moving image streams are time-divided, and traffic information including the data size and reproduction time of each stream and a grace time until the start of distribution are taken into consideration to determine transmission scheduling. A method is disclosed.

特開2007−318470号公報JP, 2007-318470, A

しかしながら、Adaptive Bitrate Streaming技術を用いた動画配信サービスでは、複数の動画データを生成し、クライアントアプリケーションが必要なデータを取得するまで動画データをバッファリングしなければならない。このため、生成される動画データの種類が増えた場合には、メモリ使用量が増加することによって、必要な動画データをバッファリングすることができないという問題があった。 However, in the moving image distribution service using the Adaptive Bitrate Streaming technology, it is necessary to generate a plurality of moving image data and buffer the moving image data until the client application obtains necessary data. Therefore, when the number of types of moving image data to be generated increases, there is a problem that the required moving image data cannot be buffered due to an increase in memory usage.

本発明はこのような問題点に鑑みなされたもので、生成される動画データの種類が増えた場合にも、必要な動画データを確実にバッファリングすることを目的とする。 The present invention has been made in view of such problems, and an object thereof is to reliably buffer necessary moving image data even when the types of moving image data to be generated increase.

そこで、本発明は、動画配信装置であって、撮影画像に基づいて、種類の異なる複数の動画データを生成する生成手段と、前記生成手段により生成された前記複数の動画データを一時記憶手段に格納する格納手段と、前記複数の動画データのうち一の動画データを時間軸に沿ってセグメント化したセグメントを送信する送信手段と、前記送信手段が前記セグメントの送信を完了した場合に、送信が完了した前記セグメントを前記一時記憶手段から削除する削除手段とを有することを特徴とする。 Therefore, the present invention is a moving image distribution apparatus, wherein a generation unit that generates a plurality of different types of moving image data based on a captured image, and the plurality of moving image data generated by the generation unit are temporarily stored in a storage unit. Storing means for storing, transmitting means for transmitting a segment obtained by segmenting one of the plurality of moving image data along the time axis, and transmitting when the transmitting means completes transmission of the segment And deleting means for deleting the completed segment from the temporary storage means.

本発明によれば、生成される動画データの種類が増えた場合にも、必要な動画データを確実にバッファリングすることができる。 According to the present invention, it is possible to reliably buffer necessary moving image data even when the number of types of generated moving image data increases.

動画配信システムの全体構成図である。1 is an overall configuration diagram of a moving image distribution system. カメラサーバ装置のハードウェア構成図である。It is a hardware block diagram of a camera server apparatus. カメラサーバ装置の機能構成図である。It is a functional block diagram of a camera server apparatus. 配信データの構成図である。It is a block diagram of distribution data. 動画ストリーム1〜3とセグメントの関係図である。FIG. 3 is a relationship diagram between moving image streams 1 to 3 and segments. 動画配信処理を示すシーケンス図である。It is a sequence diagram which shows a moving image delivery process. 配信管理処理を示すフローチャートである。It is a flow chart which shows distribution management processing. 第2の実施形態に係る配信管理処理を示すフローチャートである。It is a flowchart which shows the delivery management process which concerns on 2nd Embodiment.

以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

(第1の実施形態)
図1は、本実施形態に係る動画配信システムの全体構成図である。動画配信システムは、カメラサーバ装置100とクライアント装置120とを有している。カメラサーバ装置100とクライアント装置120は、ネットワーク140を介して相互に接続されている。カメラサーバ装置100は、カメラを備え、カメラにより得られた撮影画像(動画)を、ネットワーク140を介して配信する。本実施形態のカメラサーバ装置100は、DASH配信により、種類が異なる複数の動画を生成し、クライアント装置120の表示性能や通信帯域に応じた種類の動画をセグメント単位でクライアント装置120に送信する。ここで、種類の異なる複数の動画としては、解像度やビットレートが異なる複数の動画が挙げられる。また、セグメントとは、所定の分割単位で分割(セグメント化)された動画データのファイルである。すなわち、セグメントは、動画のうち時間軸方向の一部のデータを含んだ動画ファイルである。クライアント装置120は、カメラサーバ装置100から受信した動画を表示する。
(First embodiment)
FIG. 1 is an overall configuration diagram of a moving image distribution system according to the present embodiment. The moving image distribution system has a camera server device 100 and a client device 120. The camera server device 100 and the client device 120 are connected to each other via a network 140. The camera server device 100 includes a camera, and delivers a captured image (moving image) obtained by the camera via the network 140. The camera server device 100 according to the present embodiment generates a plurality of moving images of different types by DASH distribution, and transmits to the client device 120 a moving image of a type that corresponds to the display performance of the client device 120 and the communication band. Here, as the plurality of different types of moving images, there are a plurality of moving images having different resolutions and bit rates. A segment is a file of moving image data divided (segmented) in a predetermined division unit. That is, the segment is a moving image file including some data in the time axis direction of the moving image. The client device 120 displays the moving image received from the camera server device 100.

図1においては、説明の簡略化のためにカメラサーバ装置100を1台のみ示しているが、動画配信システムは、複数のカメラサーバ装置100を有してもよい。すなわち、複数のカメラサーバ装置100が一のクライアント装置120に対し動画を配信してもよい。また、他の例としては、一のカメラサーバ装置100が複数のクライアント装置120に動画を配信してもよい。 Although only one camera server device 100 is shown in FIG. 1 for simplification of description, the moving image distribution system may include a plurality of camera server devices 100. That is, a plurality of camera server devices 100 may deliver a moving image to one client device 120. Further, as another example, one camera server device 100 may deliver a moving image to a plurality of client devices 120.

ネットワーク140は、Ethernet(登録商標)等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。なお、ネットワーク140は、装置間の通信が支障なく行えるものであればその通信規格、規模、構成を問わない。故にインターネットからLAN(Local Area Network)にまで適用可能である。 The network 140 is composed of a plurality of routers, switches, cables, etc. that satisfy communication standards such as Ethernet (registered trademark). The network 140 may have any communication standard, scale, and configuration as long as communication between devices can be performed without any trouble. Therefore, it can be applied from the Internet to a LAN (Local Area Network).

図2は、カメラサーバ装置100のハードウェア構成図である。カメラサーバ装置100は、CPU201、一次記憶装置202、二次記憶装置203、画像キャプチャI/F204、画像センサ205及びネットワークI/F206を有している。CPU201、一次記憶装置202、二次記憶装置203、画像キャプチャI/F204及びネットワークI/F206は、内部バス207を介して相互に接続されている。 FIG. 2 is a hardware configuration diagram of the camera server device 100. The camera server device 100 includes a CPU 201, a primary storage device 202, a secondary storage device 203, an image capture I/F 204, an image sensor 205, and a network I/F 206. The CPU 201, the primary storage device 202, the secondary storage device 203, the image capture I/F 204, and the network I/F 206 are connected to each other via an internal bus 207.

CPU201は、カメラサーバ装置100の全体を制御する。一次記憶装置202は、RAMに代表される書き込み可能な高速の記憶装置で、OSや各種プログラム及び各種データがロードされ、またOSや各種プログラムの作業領域としても使用される。二次記憶装置203は、フラッシュメモリ、HDD、SDカード等に代表される不揮発性記憶装置で、OSや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。 The CPU 201 controls the entire camera server device 100. The primary storage device 202 is a writable high-speed storage device represented by a RAM, and is loaded with an OS and various programs and various data, and is also used as a work area of the OS and various programs. The secondary storage device 203 is a non-volatile storage device represented by a flash memory, an HDD, an SD card, etc., and is used as a permanent storage area for the OS, various programs, and various data, as well as various short-term data. It is also used as a storage area.

画像キャプチャI/F204には、CCDやCMOSからなる画像センサ205が接続されている。画像キャプチャI/F204は、画像センサ205から取得した画像データを所定のフォーマットに変換・圧縮し、変換・圧縮後の画像データを一次記憶装置202に転送する。ネットワークI/F206は、前述のネットワーク140と接続するためのI/Fであり、Ethernet等の通信媒体を介してクライアント装置120等との通信を担う。 An image sensor 205 composed of CCD or CMOS is connected to the image capture I/F 204. The image capture I/F 204 converts/compresses the image data acquired from the image sensor 205 into a predetermined format, and transfers the converted/compressed image data to the primary storage device 202. The network I/F 206 is an I/F for connecting to the above-described network 140, and is responsible for communication with the client device 120 and the like via a communication medium such as Ethernet.

図3は、カメラサーバ装置100の機能構成図である。カメラサーバ装置100は、撮像処理部301と、配信管理部302と、通信処理部303と、を有している。なお、これらの機能は、CPU201が、OSを含む各種プログラムを実行することにより実現されるものである。撮像処理部301は、画像キャプチャI/F204を経由して、画像センサ205で生成された動画フレームを取得する。そして、撮像処理部301は、取得した動画フレームに対し、符号化処理を行う。さらに、撮像処理部301は、SPS(Sequence Parameter Set)やPPS(Picture Parameter Set)などの動画再生に必要な動画メタ情報と共に、符号化後の動画フレームを一次記憶装置202に格納する。 FIG. 3 is a functional configuration diagram of the camera server device 100. The camera server device 100 includes an imaging processing unit 301, a distribution management unit 302, and a communication processing unit 303. Note that these functions are realized by the CPU 201 executing various programs including the OS. The imaging processing unit 301 acquires the moving image frame generated by the image sensor 205 via the image capture I/F 204. Then, the imaging processing unit 301 performs an encoding process on the acquired moving image frame. Further, the imaging processing unit 301 stores the encoded moving image frame in the primary storage device 202 together with moving image meta information necessary for moving image playback such as SPS (Sequence Parameter Set) and PPS (Picture Parameter Set).

配信管理部302は、DASH配信により、一次記憶装置202に記憶されている動画フレームをクライアント装置120に配信する処理を制御する。配信管理部302は、一次記憶装置202に記憶されている動画フレームから、種類の異なる複数の動画フレームを生成する。具体的には、配信管理部302は、解像度の異なる複数の動画フレームを生成する。さらに、配信管理部302は、一次記憶装置202に記憶されている動画メタ情報と動画フレームとに基づいて、初期化セグメント情報及びセグメント情報を作成する。ここで、初期化セグメント情報は、動画ストリームの再生に必要な情報である。セグメント情報は、動画フレームに含まれる各セグメントの再生に必要な情報である。セグメント情報は、セグメントに含まれる単数又は複数の動画フレームと、セグメントのヘッダー部とを含む。通信処理部303は、外部装置との通信を制御する。通信処理部303は、例えば、配信管理部302の制御の下、セグメント情報をクライアント装置120に送信する。 The distribution management unit 302 controls the process of distributing the moving image frame stored in the primary storage device 202 to the client device 120 by DASH distribution. The distribution management unit 302 generates a plurality of moving image frames of different types from the moving image frames stored in the primary storage device 202. Specifically, the distribution management unit 302 generates a plurality of moving image frames with different resolutions. Further, the distribution management unit 302 creates initialization segment information and segment information based on the moving picture meta information and the moving picture frame stored in the primary storage device 202. Here, the initialization segment information is information necessary for reproducing the moving image stream. The segment information is information necessary for reproducing each segment included in the moving image frame. The segment information includes a single or a plurality of moving image frames included in the segment and a header portion of the segment. The communication processing unit 303 controls communication with an external device. The communication processing unit 303 transmits the segment information to the client device 120 under the control of the distribution management unit 302, for example.

図4は、DASH配信に利用される配信データの構成図である。配信データの最上位には、動画情報を束ねるMPDファイル400が存在する。MPDファイル400には、動画ストリーム情報として、解像度や符号化情報、セグメントの情報が定義されている。なお、映像ストリームは、単数でも複数でもよい。本実施形態においては、MPDファイル400において、解像度の異なる3つの動画ストリーム(動画ストリーム1、動画ストリーム2及び動画ストリーム3)が定義されているものとする。 FIG. 4 is a configuration diagram of distribution data used for DASH distribution. An MPD file 400 that bundles moving image information exists at the highest level of the distribution data. In the MPD file 400, resolution, coding information, and segment information are defined as moving image stream information. The video stream may be single or plural. In the present embodiment, it is assumed that the MPD file 400 defines three moving image streams with different resolutions (moving image stream 1, moving image stream 2, and moving image stream 3).

動画ストリーム1は、最も解像度の大きい動画ファイルである。動画ストリーム1が配信された場合、クライアント装置120がダウンロードするデータ量は大きくなるが高画質な動画の再生が可能である。動画ストリーム3は、最も解像度が小さい動画ファイルである。動画ストリーム2は、解像度が中程度の動画ファイルである。動画ストリーム2は、動画ストリーム1よりもデータ量が小さく、動画ストリーム3よりもデータ量が大きい。 The moving image stream 1 is a moving image file having the highest resolution. When the moving picture stream 1 is distributed, the amount of data downloaded by the client device 120 is large, but it is possible to reproduce a high quality moving picture. The moving image stream 3 is a moving image file having the smallest resolution. The moving picture stream 2 is a moving picture file having a medium resolution. The moving image stream 2 has a smaller data amount than the moving image stream 1 and has a larger data amount than the moving image stream 3.

図5は、動画ストリーム1〜3とセグメントの関係図である。ここでは、理解し易くするため、1秒当たりに生成される動画フレームを3フレームとし、3フレームを1セグメントとする。撮像処理部301は、動画ストリーム1として、連続した動画フレーム500〜508を生成する。このうち、動画フレーム500,503,506は、Iフレームである。これ以外の動画フレーム501,502,504,505,507,508は、Pフレームである。ここで、Iフレームは、完全な映像を構成するために必要な映像情報を有するフレームである。Pフレームは、直前の画像との差分の映像情報を有するフレームである。同様に、撮像処理部301は、動画ストリーム2として、動画フレーム510〜518を生成し、動画ストリーム3として、動画フレーム520〜528を生成する。 FIG. 5 is a relationship diagram between the moving image streams 1 to 3 and the segments. Here, for ease of understanding, the moving image frames generated per second are 3 frames, and the 3 frames are 1 segment. The imaging processing unit 301 generates continuous moving image frames 500 to 508 as the moving image stream 1. Of these, the moving image frames 500, 503, and 506 are I frames. Other moving image frames 501, 502, 504, 505, 507, 508 are P frames. Here, the I frame is a frame having image information necessary to form a complete image. The P frame is a frame having video information of a difference from the immediately preceding image. Similarly, the imaging processing unit 301 generates moving image frames 510 to 518 as the moving image stream 2 and generates moving image frames 520 to 528 as the moving image stream 3.

各セグメントは、3つの動画フレームを含んでいる。すなわち、動画ストリーム1の最初のセグメント(セグメント1)には、動画フレーム500〜502が含まれ、続くセグメント2には、動画フレーム503〜505が含まれ、続くセグメント3には、動画フレーム506〜508が含まれている。同様に、動画ストリーム2のセグメント1には、動画フレーム510〜512が含まれ、セグメント2には、動画フレーム513〜515が含まれ、セグメント3には、動画フレーム516〜518が含まれている。動画ストリーム3も同様である。なお、本実施形態においては、差分の動画情報をPフレームとしたが、Bフレームとしてもよい。 Each segment contains three video frames. That is, the first segment (segment 1) of the moving image stream 1 includes moving image frames 500 to 502, the following segment 2 includes moving image frames 503 to 505, and the following segment 3 includes moving image frames 506 to. 508 is included. Similarly, the segment 1 of the video stream 2 includes video frames 510 to 512, the segment 2 includes video frames 513 to 515, and the segment 3 includes video frames 516 to 518. .. The same applies to the moving image stream 3. In the present embodiment, the moving image information of the difference is the P frame, but it may be the B frame.

図6は、動画配信処理を示すシーケンス図である。動画配信処理は、カメラサーバ装置100がクライアント装置120に動画を配信する処理である。S601において、クライアント装置120は、MPDファイル400の取得要求をカメラサーバ装置100に送信する。カメラサーバ装置100は、MPDファイル400の取得要求を受信すると、処理をS602へ進める。S602において、配信管理部302は、MPDファイル400を作成し、MPDファイル400を、通信処理部303を介してクライアント装置120に送信する。 FIG. 6 is a sequence diagram showing the moving image distribution process. The moving image distribution process is a process in which the camera server device 100 distributes a moving image to the client device 120. In step S<b>601, the client device 120 sends an acquisition request for the MPD file 400 to the camera server device 100. Upon receiving the acquisition request for the MPD file 400, the camera server device 100 advances the process to S602. In step S<b>602, the distribution management unit 302 creates the MPD file 400 and sends the MPD file 400 to the client device 120 via the communication processing unit 303.

クライアント装置120は、MPDファイル400を受信すると、処理をS603へ進める。S603において、クライアント装置120は、MPDファイル400を参照し、自装置のCPU能力や表示解像度及び通信状態等に基づいて、受信する動画ストリームを選択する。本実施形態においては、クライアント装置120は、通信状態に応じて自動的に動画ストリーム、すなわち動画の種類を選択するものとする。なお、他の例としては、クライアント装置120は、ユーザ操作に応じて入力された選択指示に従い動画ストリームを選択してもよい。クライアント装置120は、選択された種類の動画ストリームを指定した初期化セグメント情報の取得要求をカメラサーバ装置100に送信する。ここで、初期化セグメント情報は、選択された動画ストリームの再生に必要な情報である。なお、本実施形態においては、クライアント装置120により図4に示す3つの動画ストリームのうち、動画ストリーム1が選択された場合を例に以降の処理を説明する。 Upon receiving the MPD file 400, the client device 120 advances the process to S603. In step S603, the client device 120 refers to the MPD file 400 and selects a moving image stream to be received based on its own CPU capability, display resolution, communication state, and the like. In the present embodiment, the client device 120 automatically selects a moving image stream, that is, a type of moving image according to the communication state. Note that, as another example, the client device 120 may select a video stream according to a selection instruction input according to a user operation. The client device 120 transmits to the camera server device 100 a request for acquiring initialization segment information that specifies the selected type of moving image stream. Here, the initialization segment information is information necessary for reproducing the selected moving picture stream. It should be noted that in the present embodiment, the following processing will be described by taking as an example the case where the video stream 1 is selected from the three video streams shown in FIG. 4 by the client device 120.

カメラサーバ装置100の配信管理部302は、S601においてMPDファイル400の取得要求を受信すると、S610において、初期化セグメントを送信するために、撮像処理部301に動画ストリームの生成開始を要求する。なお、S602の処理とS610の処理の処理順番は問わないものとする。 Upon receiving the acquisition request for the MPD file 400 in S601, the distribution management unit 302 of the camera server apparatus 100 requests the imaging processing unit 301 to start generation of a moving image stream in order to transmit the initialization segment in S610. The processing order of the processing of S602 and the processing of S610 does not matter.

撮像処理部301は、動画ストリームの生成開始の要求を受け付けると処理をS611へ進める。S611において、撮像処理部301は、SPS/PPSと最初の動画フレームであるIフレームを生成する。なお、撮像処理部301は、Iフレームとして、3つの動画ストリーム(動画ストリーム1、動画ストリーム2、動画ストリーム3)それぞれに対応した、解像度の異なる3つのフレームを生成する。図5の例では、動画フレーム500,510,520が生成される。撮像処理部301は、生成したIフレームを一次記憶装置202に格納する。 When the imaging processing unit 301 receives a request to start generating a moving image stream, the processing proceeds to step S611. In step S611, the imaging processing unit 301 generates SPS/PPS and an I frame that is the first moving image frame. Note that the imaging processing unit 301 generates, as I frames, three frames having different resolutions corresponding to the three moving image streams (moving image stream 1, moving image stream 2, and moving image stream 3). In the example of FIG. 5, moving image frames 500, 510 and 520 are generated. The imaging processing unit 301 stores the generated I frame in the primary storage device 202.

撮像処理部301は、その後、S612、S613において、順次、3つの動画ストリームそれぞれに対応した3つの動画フレームを生成し、これらを一次記憶装置202に格納する。撮像処理部301は、動画フレームを生成する度に、生成完了を配信管理部302に通知する。なお、撮像処理部301による動画フレーム生成の処理(S611〜S613等)は、配信管理部302の処理とは独立に実行される。 Thereafter, in S612 and S613, the imaging processing unit 301 sequentially generates three moving image frames corresponding to the three moving image streams, and stores these in the primary storage device 202. The imaging processing unit 301 notifies the distribution management unit 302 of completion of generation each time a moving image frame is generated. It should be noted that the processing of moving image frame generation by the imaging processing unit 301 (S611 to S613, etc.) is executed independently of the processing of the distribution management unit 302.

一方、配信管理部302は、S603において初期化セグメント情報の取得要求を受信すると、処理をS604へ進める。S604において、カメラサーバ装置100は、SPS/PPSを含む動画メタ情報を初期化セグメント情報としてクライアント装置120に送信する。 On the other hand, when the distribution management unit 302 receives the initialization segment information acquisition request in S603, the process proceeds to S604. In step S604, the camera server device 100 transmits the moving image meta information including SPS/PPS to the client device 120 as the initialization segment information.

また、配信管理部302は、複数の動画ストリームそれぞれに対応したセグメントの生成が完了すると、処理をS614へ進める。本実施形態においては、配信管理部302は、S613の処理が完了すると、処理をS614へ進める。S614において、配信管理部302は、動画フレーム1〜3を結合し、セグメント1を生成する。これにより、配信管理部302は、動画ストリーム1〜3それぞれに対応した3つのセグメント1を生成する。 Further, when the generation of the segment corresponding to each of the plurality of moving image streams is completed, the distribution management unit 302 advances the process to S614. In the present embodiment, when the processing of S613 is completed, the distribution management unit 302 advances the processing to S614. In S614, the distribution management unit 302 combines the moving image frames 1 to 3 to generate the segment 1. As a result, the distribution management unit 302 generates three segments 1 corresponding to the moving image streams 1 to 3, respectively.

一方、クライアント装置120は、S604において初期化セグメントを受信すると、処理をS605へ進める。S605において、クライアント装置120は、動画ストリーム1の最初のセグメント(セグメント1)のセグメント情報の取得要求をカメラサーバ装置100に送信する。カメラサーバ装置100の配信管理部302は、S605においてセグメント1のセグメント情報の取得要求を受信すると、処理をS606へ進める。S606において、配信管理部302は、取得要求に係るセグメントを送信対象のセグメントとして決定し、決定したセグメントのセグメント情報をクライアント装置120に送信する。ここで、取得要求に係る動画ストリームのセグメントを対象セグメントと称する。本例においては、配信管理部302は、対象セグメントのセグメント情報としてストリーム1のセグメント1のセグメント情報を送信する。クライアント装置120は、S606において、ストリーム1のセグメント1のセグメント情報を受信すると、処理をS609へ進める。S609において、クライアント装置120は、動画再生を行う。クライアント装置120は必要であれば一定時間バッファリングしてから動画再生を開始してもよい。 On the other hand, when the client device 120 receives the initialization segment in S604, the process proceeds to S605. In step S605, the client apparatus 120 transmits to the camera server apparatus 100 a request to acquire the segment information of the first segment (segment 1) of the moving image stream 1. When the distribution management unit 302 of the camera server device 100 receives the segment information acquisition request for the segment 1 in S605, the process proceeds to S606. In step S606, the distribution management unit 302 determines the segment related to the acquisition request as the transmission target segment, and transmits the segment information of the determined segment to the client device 120. Here, the segment of the moving image stream related to the acquisition request is referred to as a target segment. In this example, the distribution management unit 302 transmits the segment information of the segment 1 of the stream 1 as the segment information of the target segment. Upon receiving the segment information of segment 1 of stream 1 in S606, the client apparatus 120 advances the process to S609. In step S609, the client device 120 plays back a moving image. If necessary, the client device 120 may buffer the video for a predetermined time and then start playing the video.

S606の処理の後、配信管理部302は、S615において、対応セグメントを一時記憶部としての一次記憶装置202から削除(解放)する。ここで、対応セグメントとは、取得要求に係る対象セグメントと異なる種類のセグメントで、対象セグメントに対応したタイミングのセグメントである。本実施形態においては、対応ストリームは、取得要求に係るセグメントと同一のタイミングのセグメントである。ストリーム1のセグメント1が対象セグメントの場合、ストリーム1のセグメント1と同一タイミングのセグメントである、未配信のストリーム2、3のセグメント1が対応セグメントとなる。配信管理部302は、対応セグメント(ストリーム2、3のセグメント1)を削除する。なお、本実施形態においては、配信管理部302は、対象セグメントの取得要求を受信したタイミングで、対応セグメントを削除することとする。他の例としては、配信管理部302は、対象セグメントの取得要求を受信した後に対応セグメントを削除すればよく、そのタイミングは実施形態に限定されるものではない。 After the processing of S606, the distribution management unit 302 deletes (releases) the corresponding segment from the primary storage device 202 as a temporary storage unit in S615. Here, the corresponding segment is a segment of a type different from the target segment relating to the acquisition request, and is a segment of a timing corresponding to the target segment. In the present embodiment, the corresponding stream is a segment having the same timing as the segment related to the acquisition request. When the segment 1 of the stream 1 is the target segment, the segment 1 of the undelivered streams 2 and 3, which is the segment having the same timing as the segment 1 of the stream 1, becomes the corresponding segment. The delivery management unit 302 deletes the corresponding segment (segment 1 of streams 2 and 3). In the present embodiment, the distribution management unit 302 deletes the corresponding segment at the timing when the acquisition request for the target segment is received. As another example, the distribution management unit 302 may delete the corresponding segment after receiving the acquisition request for the target segment, and the timing is not limited to the embodiment.

なお、S606の処理とS615の処理は、S605の後にそれぞれ独立して行われる処理であり、両処理の順序は実施形態に限定されるものではない。すなわち、S606の処理とS615の処理は同時に行われてもよい。 Note that the processing of S606 and the processing of S615 are processing performed independently after S605, and the order of both processings is not limited to the embodiment. That is, the processing of S606 and the processing of S615 may be performed at the same time.

さらに、ストリーム1のセグメント1の送信が完了すると、配信管理部302は、処理をS616へ進める。S616において、配信管理部302は、配信済みのストリーム1のセグメント1を一次記憶装置202から削除(解放)する。このように、配信管理部302は、対象セグメントの送信が完了したタイミングで対象セグメントを削除する。なお、他の例としては、配信管理部302は、対象セグメントの送信完了した後で対象セグメントを削除すればよく、そのタイミングは実施形態に限定されるものではない。 Further, when the transmission of the segment 1 of the stream 1 is completed, the distribution management unit 302 advances the process to S616. In step S616, the distribution management unit 302 deletes (releases) segment 1 of stream 1 that has been distributed from the primary storage device 202. In this way, the delivery management unit 302 deletes the target segment at the timing when the transmission of the target segment is completed. Note that, as another example, the distribution management unit 302 may delete the target segment after the transmission of the target segment is completed, and the timing is not limited to the embodiment.

以降、配信管理部302は、クライアント装置120から取得要求を受信する度に、セグメント単位で動画フレームをクライアント装置120に送信する処理を繰り返す。これにより、動画配信が継続する。さらに、動画配信中において、カメラサーバ装置100とクライアント装置120の間の通信状態が変わり、種類(解像度)の異なる動画ストリームを指定したセグメントの取得要求がクライアント装置120から送信される場合がある。例えば、通信速度が落ちた場合には、クライアント装置120は、より低解像度の動画を要求する。以下においては、図6のS621以降を参照しつつ、上記S606の処理の後に、動画ストリーム3のセグメント2の取得要求が送信された場合の処理について説明する。 After that, the distribution management unit 302 repeats the process of transmitting the moving image frame to the client device 120 on a segment basis each time an acquisition request is received from the client device 120. As a result, video distribution continues. Furthermore, during video distribution, the communication state between the camera server apparatus 100 and the client apparatus 120 may change, and the client apparatus 120 may send a segment acquisition request specifying video streams of different types (resolutions). For example, when the communication speed decreases, the client device 120 requests a lower resolution moving image. In the following, with reference to S621 and subsequent steps in FIG. 6, description will be given of processing in the case where an acquisition request for the segment 2 of the moving image stream 3 is transmitted after the processing in S606.

S621において、クライアント装置120は、動画ストリーム3のセグメント2のセグメント情報の取得要求をカメラサーバ装置100に送信する。配信管理部302は、S621においてセグメント2のセグメント情報の取得要求を受信すると、処理をS622へ進める。S622において、配信管理部302は、通信処理部303を介して、取得要求に係る動画ストリーム(動画ストリーム3)のセグメント2のセグメント情報を送信する。さらに、S623において、配信管理部302は、取得要求に係る動画ストリーム以外の動画ストリームのセグメント2を一次記憶装置202から削除する。本例においては、動画ストリーム1、2それぞれのセグメント2を削除する。さらに、動画ストリーム3のセグメント2の送信が完了すると、配信管理部302は、処理をS624へ進める。S624において、配信管理部302は、配信済みの動画ストリーム3のセグメント2を一次記憶装置202から削除(解放)する。 In step S<b>621, the client apparatus 120 transmits a segment information acquisition request for the segment 2 of the moving image stream 3 to the camera server apparatus 100. When the distribution management unit 302 receives the acquisition request for the segment information of the segment 2 in S621, the distribution management unit 302 advances the process to S622. In S622, the distribution management unit 302 transmits the segment information of the segment 2 of the moving image stream (moving image stream 3) related to the acquisition request via the communication processing unit 303. Further, in S623, the distribution management unit 302 deletes the segment 2 of the video stream other than the video stream related to the acquisition request from the primary storage device 202. In this example, the segment 2 of each of the moving image streams 1 and 2 is deleted. Further, when the transmission of the segment 2 of the moving image stream 3 is completed, the distribution management unit 302 advances the process to S624. In step S<b>624, the delivery management unit 302 deletes (releases) the segment 2 of the delivered moving image stream 3 from the primary storage device 202.

図7は、配信管理部302による配信管理処理を示すフローチャートである。配信管理処理は、カメラサーバ装置100がクライアント装置120からMPDファイル400の取得要求を受信した場合に開始される。S701において、配信管理部302は、撮像処理部301に対し、動画ストリームの生成開始を要求する。本処理は、図6を参照しつつ説明したS610の処理に対応する。次に、S702において、配信管理部302は、通信処理部303を介してクライアント装置120にMPDファイルを送信する。本処理は、S602の処理に対応する。なお、S701の処理とS702の処理の処理順は特に限定されない。 FIG. 7 is a flowchart showing the distribution management process by the distribution management unit 302. The distribution management process is started when the camera server device 100 receives an acquisition request for the MPD file 400 from the client device 120. In step S<b>701, the distribution management unit 302 requests the imaging processing unit 301 to start generating a moving image stream. This process corresponds to the process of S610 described with reference to FIG. Next, in step S<b>702, the distribution management unit 302 transmits the MPD file to the client device 120 via the communication processing unit 303. This process corresponds to the process of S602. The processing order of the processing of S701 and the processing of S702 is not particularly limited.

次に、S703において、配信管理部302は、イベントが発生するまで待機する。次に、S704において、配信管理部302は、イベントが発生した場合に、イベントの内容を確認する。配信管理部302は、イベントの内容が、撮像処理部301からの動画フレームの生成完了である場合には(S704でフレーム生成完了)、処理をS705へ進める。また、配信管理部302は、イベントの内容がクライアント装置120からのセグメントの取得要求の場合には(S704でセグメントの取得要求)、処理をS709へ進める。 Next, in S703, the delivery management unit 302 waits until an event occurs. Next, in S704, the distribution management unit 302 confirms the content of the event when the event occurs. When the content of the event is the completion of the moving image frame generation from the imaging processing unit 301 (frame generation completion in S704), the distribution management unit 302 advances the process to S705. If the content of the event is a segment acquisition request from the client device 120 (segment acquisition request in S704), the distribution management unit 302 advances the process to S709.

S705において、配信管理部302は、1つのセグメントを構成するすべての動画フレームが生成されたか否かを判定する。本実施形態においては、配信管理部302は、3つの動画フレームが生成されたか否かを判定する。配信管理部302は、セグメント分の動画フレームが生成された場合には(S705でYES)、処理をS706へ進める。配信管理部302は、セグメント分の動画フレームが生成されていない場合には(S705でNO)、処理をS708へ進める。 In step S705, the distribution management unit 302 determines whether all moving image frames included in one segment have been generated. In the present embodiment, the delivery management unit 302 determines whether or not three moving image frames have been generated. If the moving image frames for the segments have been generated (YES in S705), the distribution management unit 302 advances the process to S706. When the moving image frames for the segments have not been generated (NO in S705), the distribution management unit 302 advances the process to S708.

S706において、配信管理部302は、セグメントを生成する。具体的には、配信管理部302は、生成された動画フレームを含むセグメントを生成し、生成したセグメントを識別するセグメント番号とセグメントに含まれる動画フレームの情報を一次記憶装置202に格納する。次に、S707において、配信管理部302は、生成したセグメントのセグメント番号を送信待ちリストに追加し、その後処理をS703へ進める。また、S708においては、配信管理部302は、新たに生成された動画フレームの情報を一次記憶装置202に格納し、その後処理をS703へ進める。 In step S706, the delivery management unit 302 creates a segment. Specifically, the distribution management unit 302 generates a segment including the generated moving image frame, and stores the segment number for identifying the generated segment and the information of the moving image frame included in the segment in the primary storage device 202. Next, in S707, the delivery management unit 302 adds the segment number of the generated segment to the transmission waiting list, and then advances the process to S703. Further, in S708, the distribution management unit 302 stores the information of the newly generated moving image frame in the primary storage device 202, and then advances the processing to S703.

S709において、配信管理部302は、取得要求に係るセグメントが既に生成されているか否かを判定する。配信管理部302は、取得要求に係るセグメントが生成されている場合には(S709でYES)、処理をS710へ進める。配信管理部302は、取得要求に係るセグメントである対象セグメントが生成されていない場合には(S709でNO)、処理をS714へ進める。 In S709, the distribution management unit 302 determines whether the segment related to the acquisition request has already been generated. When the segment related to the acquisition request has been generated (YES in S709), the distribution management unit 302 advances the process to S710. When the target segment that is the segment relating to the acquisition request has not been generated (NO in S709), the distribution management unit 302 advances the process to S714.

S710において、配信管理部302は、取得要求に係る対象セグメントのクライアント装置120への送信を開始する。次に、S711において、配信管理部302は、対象セグメントに対応した対応セグメントを一次記憶装置202から削除する。なお、S710の処理は、S606やS622の処理に対応する。また、S711の処理は、S615やS623の処理に対応する。ここで、S711の処理は、対象セグメントの取得要求を受信した場合に、取得要求を受信したタイミングにおいて、対象セグメントに対応した対応セグメントを一時記憶装置から削除する削除処理の一例である。なお、S710の処理とS711の処理の処理順は実施形態に限定されるものではない。 In step S710, the distribution management unit 302 starts transmission of the target segment related to the acquisition request to the client device 120. Next, in S711, the distribution management unit 302 deletes the corresponding segment corresponding to the target segment from the primary storage device 202. The processing of S710 corresponds to the processing of S606 and S622. Further, the processing of S711 corresponds to the processing of S615 and S623. Here, the process of S711 is an example of a deletion process of deleting the corresponding segment corresponding to the target segment from the temporary storage device at the timing of receiving the acquisition request when the acquisition request of the target segment is received. The processing order of the processing of S710 and the processing of S711 is not limited to the embodiment.

続いて、S712において、配信管理部302は、対象セグメントの送信が完了したか否かを確認する。配信管理部302は、送信が完了するまで待機し、送信が完了した場合には(S712でYES)、処理をS713へ進める。S713において、配信管理部302は、対象セグメントを一次記憶装置202から削除し、その後処理をS703へ進める。S713の処理は、図6のS616やS624の処理に対応する。なお、上述の通り、対象セグメントを削除するタイミングは、S710の処理の直後である必要はない。例えば、配信管理部302は、S710の処理をS713の処理の後に行うこととしてもよい。すなわち、配信管理部302は、対象セグメントを削除した後で、対応セグメントを削除することとしてもよい。また他の例としては、配信管理部302は、対象セグメントの削除と対応セグメントの削除を同時に行うこととしてもよい。なお、S714においては、配信管理部302は、クライアント装置120にエラーレスポンスを送信し、その後処理をS703へ進める。なお、S714において、配信管理部302は、エラーレスポンスを送信するのに変えて、セグメントが生成されるまで待機することとしてもよい。なお、第2の実施形態に係る動画配信システムのこれ以外の構成及び処理は、第1の実施形態に係る動画配信システムの構成及び処理と同様である。 Subsequently, in S712, the delivery management unit 302 confirms whether or not the transmission of the target segment is completed. The delivery management unit 302 waits until the transmission is completed, and if the transmission is completed (YES in S712), the process proceeds to S713. In S713, the delivery management unit 302 deletes the target segment from the primary storage device 202, and then advances the process to S703. The processing of S713 corresponds to the processing of S616 and S624 of FIG. As described above, the timing of deleting the target segment does not have to be immediately after the process of S710. For example, the distribution management unit 302 may perform the process of S710 after the process of S713. That is, the distribution management unit 302 may delete the corresponding segment after deleting the target segment. As another example, the distribution management unit 302 may delete the target segment and the corresponding segment at the same time. Note that in S714, the delivery management unit 302 transmits an error response to the client device 120, and then advances the process to S703. Note that in S714, the delivery management unit 302 may wait for a segment to be generated instead of transmitting an error response. The other configurations and processes of the moving image distribution system according to the second embodiment are similar to those of the moving image distribution system according to the first embodiment.

以上のように、本実施形態のカメラサーバ装置100は、セグメントの取得要求を受信したタイミングで、対象セグメントに対応したタイミングの対応セグメントを一次記憶装置202から削除する。さらに、カメラサーバ装置100は、対象セグメントの送信が完了すると、対象セグメントも一次記憶装置202から削除する。したがって、メモリ使用量を低減することができるので、生成される動画データの種類が増えた場合にも、必要な動画データを確実にバッファリングすることができる。 As described above, the camera server device 100 of the present embodiment deletes the corresponding segment of the timing corresponding to the target segment from the primary storage device 202 at the timing of receiving the segment acquisition request. Furthermore, when the transmission of the target segment is completed, the camera server device 100 also deletes the target segment from the primary storage device 202. Therefore, the amount of memory used can be reduced, so that even if the number of types of moving image data generated increases, the necessary moving image data can be reliably buffered.

第1の実施形態の第1の変形例について説明する。本実施形態においては、DASH配信を利用する場合を例に、動画配信処理を説明したが、配信方法は実施形態に限定されるものではない。他の例としては、動画配信に、HLS配信など他のAdaptive Bitrate Streaming技術を用いてもよい。 A first modification of the first embodiment will be described. In the present embodiment, the moving image distribution process has been described by taking the case of using DASH distribution as an example, but the distribution method is not limited to the embodiment. As another example, other Adaptive Bitrate Streaming technology such as HLS distribution may be used for moving image distribution.

第2の変形例としては、送信対象となる対象セグメントに対応した対応セグメントを削除するタイミングは実施形態に限定されるものではない。他の例としては、配信管理部302は、セグメントの取得要求を受信したことに替えて、対象セグメントの送信を開始したことを条件に、取得要求に係る対象セグメントに対応した対応セグメントを削除してもよい。 As a second modified example, the timing of deleting the corresponding segment corresponding to the target segment to be transmitted is not limited to the embodiment. As another example, the delivery management unit 302 deletes the corresponding segment corresponding to the target segment related to the acquisition request on condition that the transmission of the target segment is started instead of receiving the acquisition request for the segment. May be.

(第2の実施形態)
次に、第2の実施形態に係る動画配信システムについて、第1の実施形態に係る動画配信システムと異なる点を主に説明する。第2の実施形態においては、カメラサーバ装置100において、セグメントを解放するまでの最大バッファリング時間が予め設定されている。最大バッファリング時間はMPDファイル400に記載されているものとする。
(Second embodiment)
Next, the moving image distribution system according to the second embodiment will be described mainly with respect to differences from the moving image distribution system according to the first embodiment. In the second embodiment, in the camera server device 100, the maximum buffering time until the segment is released is set in advance. The maximum buffering time shall be described in the MPD file 400.

図8は、第2の実施形態に係る配信管理部302による配信管理処理を示すフローチャートである。なお、図8に示す配信管理処理の各処理のうち、図7を参照しつつ説明した第1の実施形態に係る配信管理処理と同一の処理には、同一の番号を付している。配信管理部302は、S710の処理の後、処理をS801へ進める。S801において、配信管理部302は、対象セグメントの送信が完了したか否かを確認する。配信管理部302は、対象セグメントの送信が完了した場合には(S801でYES)、処理をS802へ進める。配信管理部302は、対象セグメントの送信が完了していない場合には(S801でNO)、処理をS804へ進める。 FIG. 8 is a flowchart showing distribution management processing by the distribution management unit 302 according to the second embodiment. It should be noted that, of the respective processes of the delivery management process shown in FIG. 8, the same processes as the delivery management process according to the first embodiment described with reference to FIG. 7 are given the same numbers. The distribution management unit 302 advances the process to S801 after the process of S710. In S801, the delivery management unit 302 confirms whether or not the transmission of the target segment is completed. When the transmission of the target segment is completed (YES in S801), the delivery management unit 302 advances the process to S802. When the transmission of the target segment is not completed (NO in S801), the delivery management unit 302 advances the process to S804.

S802において、配信管理部302は、対象セグメントに対応した対応セグメントを一次記憶装置202から削除する。このように、本実施形態に係る配信管理部302は、対象セグメントの送信が完了した場合に、対応セグメントを削除する。次に、S803において、配信管理部302は、対応セグメントを一次記憶装置202から削除し、その後処理をS703へ進める。なお、S802の処理とS803の処理の処理順は実施形態に限定されるものではない。他の例としては、配信管理部302は、S803の処理を先に行ってもよく、S802の処理とS803の処理を同時に行ってもよい。 In step S<b>802, the delivery management unit 302 deletes the corresponding segment corresponding to the target segment from the primary storage device 202. In this way, the delivery management unit 302 according to the present embodiment deletes the corresponding segment when the transmission of the target segment is completed. Next, in S803, the distribution management unit 302 deletes the corresponding segment from the primary storage device 202, and then advances the process to S703. Note that the processing order of the processing of S802 and the processing of S803 is not limited to the embodiment. As another example, the distribution management unit 302 may perform the process of S803 first, or may perform the process of S802 and the process of S803 at the same time.

一方、S804において、配信管理部302は、対応セグメントが生成された時点からの経過時間が、最大バッファリング時間を超えたか否かを確認する。配信管理部302は、経過時間が最大バッファリング時間を超えた場合には(S804でYES)、処理をS805へ進める。配信管理部302は、経過時間が最大バッファリング時間を超えていない場合には(S804でNO)、処理をS801へ進める。例えば、通信状態の悪化により対応セグメントの送信に時間がかかる場合がある。このような場合に、対応セグメントの送信完了前に最大バッファリング時間が経過してしまうことがある。なお、最大バッファリング時間は、所定時間の一例である。 On the other hand, in S804, the delivery management unit 302 confirms whether the elapsed time from the time when the corresponding segment is generated exceeds the maximum buffering time. When the elapsed time exceeds the maximum buffering time (YES in S804), the delivery management unit 302 advances the process to S805. When the elapsed time does not exceed the maximum buffering time (NO in S804), the delivery management unit 302 advances the process to S801. For example, it may take time to transmit the corresponding segment due to deterioration of the communication state. In such a case, the maximum buffering time may elapse before the transmission of the corresponding segment is completed. The maximum buffering time is an example of the predetermined time.

S805において、配信管理部302は、対応セグメントを一次記憶装置202から削除する。次に、S806において、配信管理部302は、再び対象セグメントの送信が完了したか否かを確認する。配信管理部302は、対象セグメントの送信が完了するまで待機し、完了した場合には(S806でYES)、処理をS807へ進める。S807において、配信管理部302は、対象セグメントを一次記憶装置202から削除する。 In step S805, the delivery management unit 302 deletes the corresponding segment from the primary storage device 202. Next, in S806, the delivery management unit 302 confirms again whether or not the transmission of the target segment is completed. The delivery management unit 302 waits until the transmission of the target segment is completed, and when the transmission is completed (YES in S806), advances the process to S807. In step S807, the distribution management unit 302 deletes the target segment from the primary storage device 202.

以上のように、第2の実施形態に係るカメラサーバ装置100は、対象セグメントの送信が完了した場合に対応セグメントを一次記憶装置202から削除する。すなわち、対象セグメントの送信が完了するまでは、一次記憶装置202は、対応セグメントを保持する。したがって、配信管理部302は、対象セグメントの送信に失敗した場合に、対象セグメントに対応した対応セグメントを送信することができる。さらに、カメラサーバ装置100は、対象セグメントの送信が完了しない状態で、最大バッファリング時間が経過した場合にも、対応セグメントを一次記憶装置202から削除する。これにより、対象セグメントの送信に時間が掛ってしまう場合にも、対象セグメントの送信完了を待つことなく、メモリを解放することができる。 As described above, the camera server device 100 according to the second embodiment deletes the corresponding segment from the primary storage device 202 when the transmission of the target segment is completed. That is, the primary storage device 202 holds the corresponding segment until the transmission of the target segment is completed. Therefore, when the transmission of the target segment fails, the delivery management unit 302 can transmit the corresponding segment corresponding to the target segment. Further, the camera server device 100 deletes the corresponding segment from the primary storage device 202 even when the maximum buffering time has elapsed while the transmission of the target segment is not completed. As a result, even if the transmission of the target segment takes time, the memory can be released without waiting for the completion of the transmission of the target segment.

第2の実施形態の第1の変形例としては、配信管理部302は、取得要求に係る対象セグメントの送信開始から所定時間経過したことを条件に、対応セグメントを削除してもよい。 As a first modified example of the second embodiment, the delivery management unit 302 may delete the corresponding segment on condition that a predetermined time has elapsed from the start of transmission of the target segment related to the acquisition request.

また、第2の変形例としては、配信管理部302は、対象セグメントの送信が完了したか否かに関わらず、最大バッファリング時間が経過したことを条件に対応セグメントを削除することとしてもよい。すなわち、配信管理部302は、最大バッファリング時間が経過する前に対象セグメントの送信が完了した場合においても、最大バッファリング時間が経過したことを条件に対応セグメントを削除してもよい。 Further, as a second modification, the distribution management unit 302 may delete the corresponding segment on condition that the maximum buffering time has elapsed, regardless of whether or not the transmission of the target segment is completed. .. That is, the delivery management unit 302 may delete the corresponding segment even if the transmission of the target segment is completed before the maximum buffering time has elapsed, on the condition that the maximum buffering time has elapsed.

(第3の実施形態)
次に、第3の実施形態に係る動画配信システムについて、他の実施形態に係る動画配信システムと異なる点を主に説明する。第3の実施形態においては、カメラサーバ装置100は、複数のクライアント装置120に対して動画配信を行うものとする。
(Third Embodiment)
Next, the moving image distribution system according to the third embodiment will be described mainly regarding differences from the moving image distribution system according to the other embodiments. In the third embodiment, the camera server device 100 is assumed to perform video distribution to a plurality of client devices 120.

カメラサーバ装置100は、複数のクライアント装置120から同一の種類の同一のタイミングのセグメントの取得要求を受信しているとする。この場合、カメラサーバ装置100は、要求に係る対象セグメントを、取得要求の送信元のすべてのクライアント装置120に送信する。そして、カメラサーバ装置100は、すべてのクライアント装置120への対象セグメントの送信が完了した場合に、対象セグメントを一次記憶装置202から削除する。 It is assumed that the camera server device 100 has received the acquisition requests of the same type and the same timing segment from the plurality of client devices 120. In this case, the camera server device 100 transmits the target segment related to the request to all the client devices 120 that are the transmission sources of the acquisition request. Then, the camera server device 100 deletes the target segment from the primary storage device 202 when the transmission of the target segment to all the client devices 120 is completed.

さらに、カメラサーバ装置100においては、送信先のクライアント装置120が予め登録されているものとする。さらに、カメラサーバ装置100は、登録されているすべてのクライアント装置120から、あるタイミングのセグメントの取得要求を受信したとする。この場合、カメラサーバ装置100は、いずれのクライアント装置120からも要求されていないセグメント(対応セグメント)を一次記憶装置202から削除する。なお、第3の実施形態に係る動画配信システムのこれ以外の構成及び処理は、他の実施形態に係る動画配信システムの構成及び処理と同様である。 Furthermore, in the camera server device 100, the client device 120 of the transmission destination is assumed to be registered in advance. Furthermore, it is assumed that the camera server device 100 receives a segment acquisition request at a certain timing from all the registered client devices 120. In this case, the camera server device 100 deletes the segment (corresponding segment) not requested by any of the client devices 120 from the primary storage device 202. The other configurations and processes of the moving image distribution system according to the third embodiment are similar to those of the moving image distribution system according to the other embodiments.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the preferred embodiments of the present invention have been described above in detail, the present invention is not limited to the specific embodiments, and various modifications are possible within the scope of the gist of the present invention described in the claims. -Can be changed.

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

100 カメラサーバ装置
120 クライアント装置
301 撮像処理部
302 配信管理部
303 通信管理部
100 camera server device 120 client device 301 imaging processing unit 302 delivery management unit 303 communication management unit

Claims (14)

撮影画像に基づいて、種類の異なる複数の動画データを生成する生成手段と、
前記生成手段により生成された前記複数の動画データを一時記憶手段に格納する格納手段と、
前記複数の動画データのうち一の動画データの時間軸方向の一部のデータであるセグメントを送信する送信手段と、
前記送信手段が前記セグメントの送信を完了した場合に、送信が完了した前記セグメントを前記一時記憶手段から削除する削除手段と
を有することを特徴とする動画配信装置。
Generating means for generating a plurality of different types of moving image data based on the captured image;
Storage means for storing in the temporary storage means the plurality of moving image data generated by the generation means,
Transmitting means for transmitting a segment which is a part of data of one moving image data in the time axis direction of the plurality of moving image data,
A moving image distribution apparatus comprising: a deletion unit that deletes the segment, which has been transmitted, from the temporary storage unit, when the transmission unit has completed transmission of the segment.
前記削除手段は、前記セグメントの送信が完了したタイミングで前記セグメントを削除することを特徴とする請求項1に記載の動画配信装置。 The moving image distribution apparatus according to claim 1, wherein the deletion unit deletes the segment at the timing when the transmission of the segment is completed. 前記複数の動画データのうち一の動画データのセグメントを、送信対象の対象セグメントとして決定する決定手段をさらに有し、
前記送信手段は、前記対象セグメントを送信し、
前記削除手段は、前記決定手段により前記対象セグメントが決定された場合に、前記対象セグメントに対応したタイミングのセグメントで、前記対象セグメントと異なる種類のセグメントである対応セグメントを、前記一時記憶手段から削除することを特徴とする請求項1又は2に記載の動画配信装置。
A segment of one video data of the plurality of video data is further determined as a target segment of the transmission target,
The transmitting means transmits the target segment,
When the target segment is determined by the determining unit, the deleting unit deletes, from the temporary storage unit, a corresponding segment that is a segment of a type different from the target segment at a timing corresponding to the target segment. The moving image distribution apparatus according to claim 1, wherein the moving image distribution apparatus is a moving image distribution apparatus.
前記削除手段は、前記対象セグメントの取得要求を受信したタイミングにおいて、前記対応セグメントを削除することを特徴とする請求項3に記載の動画配信装置。 The moving image distribution apparatus according to claim 3, wherein the deleting unit deletes the corresponding segment at a timing when the acquisition request for the target segment is received. 前記削除手段は、前記対象セグメントの送信が開始したタイミングにおいて、前記対応セグメントを削除することを特徴とする請求項3に記載の動画配信装置。 The moving image distribution apparatus according to claim 3, wherein the deleting unit deletes the corresponding segment at a timing when the transmission of the target segment is started. 前記削除手段は、前記対象セグメントの送信が開始した後、所定の時間が経過したタイミングにおいて、前記対応セグメントを削除することを特徴とする請求項3に記載の動画配信装置。 The moving image distribution apparatus according to claim 3, wherein the deletion unit deletes the corresponding segment at a timing when a predetermined time has elapsed after the transmission of the target segment has started. 前記削除手段は、前記対象セグメントの送信が完了したタイミングにおいて、前記対応セグメントを削除することを特徴とする請求項3に記載の動画配信装置。 The moving image distribution apparatus according to claim 3, wherein the deleting unit deletes the corresponding segment at a timing when the transmission of the target segment is completed. 前記削除手段は、前記対象セグメントの送信が開始した後、所定の時間が経過する前に前記対象セグメントの送信が完了した場合に、前記対象セグメントの送信が完了したタイミングで前記対応セグメントを削除し、前記対象セグメントの送信が完了しない状態で、所定の時間が経過した場合には、前記所定の時間が経過したタイミングで、前記対応セグメントを削除することを特徴とする請求項3に記載の動画配信装置。 The deletion means deletes the corresponding segment at the timing when the transmission of the target segment is completed, when the transmission of the target segment is completed before a predetermined time elapses after the transmission of the target segment is started. The moving image according to claim 3, wherein, when a predetermined time has elapsed while the transmission of the target segment is not completed, the corresponding segment is deleted at a timing when the predetermined time has elapsed. Delivery device. 前記削除手段は、複数のクライアント装置それぞれに対し、第1のセグメントが送信された場合には、前記複数のクライアント装置すべてに対し、前記第1のセグメントの送信が完了したタイミングにおいて、前記第1のセグメントを削除することを特徴とする請求項2に記載の動画配信装置。 When the first segment is transmitted to each of the plurality of client devices, the deleting unit is configured to transmit the first segment to all of the plurality of client devices at a timing when the transmission of the first segment is completed. 3. The moving image distribution apparatus according to claim 2, wherein the segment is deleted. 前記削除手段は、複数のクライアント装置に対し、異なる種類のセグメントで、対応したタイミングのセグメントが対象セグメントとして決定された場合には、前記対象セグメントと対応したタイミングのセグメントで、かついずれのクライアント装置への送信対象にもなっていないセグメントを、前記一時記憶手段から削除することを特徴とする請求項3に記載の動画配信装置。 The deleting unit is a segment of a different timing for a plurality of client devices, and when a segment of corresponding timing is determined as a target segment, a segment of timing corresponding to the target segment, and which client device 4. The moving image distribution apparatus according to claim 3, wherein the segment that is not a transmission target to is deleted from the temporary storage unit. 前記生成手段は、解像度の異なる複数の動画データを生成することを特徴とする請求項1乃至10の何れか1項に記載の動画配信装置。 The moving image distribution apparatus according to any one of claims 1 to 10, wherein the generating unit generates a plurality of moving image data having different resolutions. 撮影画像に基づいて、種類の異なる複数の動画データを生成する生成手段と、
前記生成手段により生成された前記複数の動画データを一時記憶手段に格納する格納手段と、
前記複数の動画データのうち一の動画データを時間軸に沿ってセグメント化した一のセグメントを、送信対象の対象セグメントとして決定する決定手段と、
前記対象セグメントを送信する送信手段と、
前記決定手段により対象セグメントが決定された場合に、前記対象セグメントに対応したタイミングのセグメントで、前記対象セグメントと異なる種類のセグメントである対応セグメントを、前記一時記憶手段から削除する削除手段と
を有することを特徴とする動画配信装置。
Generating means for generating a plurality of different types of moving image data based on the captured image;
Storage means for storing in the temporary storage means the plurality of moving image data generated by the generation means,
A determining unit that determines one segment obtained by segmenting one moving image data along the time axis among the plurality of moving image data as a target segment to be transmitted,
Transmitting means for transmitting the target segment,
When the target segment is determined by the determining unit, a deleting unit that deletes from the temporary storage unit a corresponding segment that is a segment of a type different from the target segment at a timing corresponding to the target segment A video distribution device characterized by the above.
動画配信装置が実行する動画配信方法であって、
撮影画像に基づいて、種類の異なる複数の動画データを生成する生成ステップと、
前記生成ステップにおいて生成された前記複数の動画データを一時記憶手段に格納する格納ステップと、
前記複数の動画データのうち一の動画データの時間軸方向の一部のデータであるセグメントを送信する送信ステップと、
前記セグメントの送信を完了した場合に、送信が完了した前記セグメントを前記一時記憶手段から削除する削除ステップと
を含むことを特徴とする動画配信方法。
A video distribution method executed by a video distribution device,
A generation step of generating a plurality of different types of moving image data based on the captured image,
A storage step of storing in the temporary storage means the plurality of moving image data generated in the generation step;
A transmitting step of transmitting a segment which is a part of data in the time axis direction of one moving image data of the plurality of moving image data;
And a deletion step of deleting, when the transmission of the segment is completed, the segment, the transmission of which is completed, from the temporary storage means.
コンピュータを、請求項1乃至12の何れか1項に記載の動画配信装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each unit of the moving image distribution apparatus according to claim 1.
JP2019004401A 2019-01-15 2019-01-15 Video distribution device, video distribution method, and program Pending JP2020113922A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019004401A JP2020113922A (en) 2019-01-15 2019-01-15 Video distribution device, video distribution method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019004401A JP2020113922A (en) 2019-01-15 2019-01-15 Video distribution device, video distribution method, and program

Publications (1)

Publication Number Publication Date
JP2020113922A true JP2020113922A (en) 2020-07-27

Family

ID=71667788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019004401A Pending JP2020113922A (en) 2019-01-15 2019-01-15 Video distribution device, video distribution method, and program

Country Status (1)

Country Link
JP (1) JP2020113922A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640904A (en) * 2022-05-17 2022-06-17 杭州芝兰健康有限公司 Data transmission method and medication monitoring system
CN115396691A (en) * 2021-05-21 2022-11-25 北京金山云网络技术有限公司 Data stream processing method and device and electronic equipment

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115396691A (en) * 2021-05-21 2022-11-25 北京金山云网络技术有限公司 Data stream processing method and device and electronic equipment
CN114640904A (en) * 2022-05-17 2022-06-17 杭州芝兰健康有限公司 Data transmission method and medication monitoring system

Similar Documents

Publication Publication Date Title
RU2652099C2 (en) Transmission device, transmission method, reception device and reception method
US9288250B2 (en) Mobile multimedia real-time transcoding system, apparatus, storage medium and method
JP6981257B2 (en) Information processing equipment and information processing method
CN108696505B (en) Video distribution apparatus, video reception apparatus, video distribution method, and recording medium
US11843792B2 (en) Dynamic decoder configuration for live transcoding
JP2020072461A (en) Transmission device, server device, transmission method, and program
JP2020113922A (en) Video distribution device, video distribution method, and program
US7720067B2 (en) Data transfer apparatus and transfer control method
JP6797755B2 (en) Imaging device, processing method and program of imaging device
JP4213697B2 (en) Image reproduction apparatus and method for moving picture stream
JP7327953B2 (en) Video distribution device, video distribution method and program
US20050068976A1 (en) Data transmitting apparatus, data transmitting/receiving system, and data transmitting/receiving method
JP7292901B2 (en) Transmission device, transmission method, and program
KR101568317B1 (en) System for supporting hls protocol in ip cameras and the method thereof
JP6907104B2 (en) Video distribution device, control method and program
JP2019029931A (en) Video transmitter, video receiver, video transmission/reception system, control method, and program
WO2022253561A1 (en) Buffer management for live video streaming
JP2017143475A (en) Distribution management apparatus, reception apparatus, distributed processing system, and program
US20080062869A1 (en) Method and an apparatus for data streaming
EP3376769A1 (en) Systems and methods for adaptive streaming using jpeg 2000
JP2024026687A (en) Server device, information processing method, and program
JP2022125359A (en) Transmission device, server device, transmission method, and program
CN113542747A (en) Server device, communication system, and storage medium
JP2017220713A (en) Unicast distribution device, reproduction synchronous system, unicast distribution method, and unicast distribution program
JP2012253615A (en) Network-type video recording system