JP2008187505A - Video transmission device, reception terminal, and moving picture recording system - Google Patents

Video transmission device, reception terminal, and moving picture recording system Download PDF

Info

Publication number
JP2008187505A
JP2008187505A JP2007019810A JP2007019810A JP2008187505A JP 2008187505 A JP2008187505 A JP 2008187505A JP 2007019810 A JP2007019810 A JP 2007019810A JP 2007019810 A JP2007019810 A JP 2007019810A JP 2008187505 A JP2008187505 A JP 2008187505A
Authority
JP
Japan
Prior art keywords
video
recording
audio
receiving
receiving terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007019810A
Other languages
Japanese (ja)
Other versions
JP5006659B2 (en
Inventor
Tomoyoshi Fukuoka
朋美 福岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007019810A priority Critical patent/JP5006659B2/en
Publication of JP2008187505A publication Critical patent/JP2008187505A/en
Application granted granted Critical
Publication of JP5006659B2 publication Critical patent/JP5006659B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To enable a user who views to quickly acquire a recording image by requesting recording at a desired timing in live distribution not for recording. <P>SOLUTION: A video distribution server 102 receives information on a recording start point or a recording end point from a portable terminal 104. Then, a packet in a range from the recording start point to the end point is read from a buffer 11, and transmitted to the portable terminal 104 with an HTTP streaming, and an MP4 file is generated, and attached to mail for transmission, and the download of the generated MP4 file is promoted and presented. In live distribution not for recording, a viewing user is able to quickly acquire a recording image by requesting recording at a desired timing. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は映像送信装置、受信端末、動画像記録システム、映像送信方法、受信端末の制御方法、プログラム及び記憶媒体に関し、特に、リアルタイム性を重視した映像を配信する際に、ユーザが所望するタイミングで確実に保存できるようにするために用いて好適な技術に関する。   The present invention relates to a video transmission device, a reception terminal, a moving image recording system, a video transmission method, a control method for a reception terminal, a program, and a storage medium, and in particular, a timing desired by a user when distributing video with an emphasis on real-time characteristics. The present invention relates to a technique suitable for use in order to ensure storage.

近年の通信システムの発展により、カメラのライブ映像や蓄積された動画映像をインターネットなどの通信回線を通じて見ることが一般的に行われるようになってきた。また、無線通信機器が安価になったことや、通信回線が大容量化されてきたことにより、家庭内や職場内においても、ネットワークで接続された機器から動画映像を参照する機会も増加している。   With the recent development of communication systems, it has become common to view live video from cameras and stored video images through communication lines such as the Internet. Also, because wireless communication devices have become cheaper and communication lines have become larger in capacity, opportunities to refer to video images from devices connected via the network have increased at home and in the workplace. Yes.

特に、ライブ映像に関しては、監視カメラや定点カメラ、またはコンサートやイベントの映像の配信を行い、それらのライブ映像を携帯電話やPDAのような携帯機器で視聴する形態も普及してきた。   In particular, with regard to live video, it has become popular to distribute surveillance video, fixed-point camera, video of concerts and events, and view these live video on mobile devices such as mobile phones and PDAs.

一般に、記録済みのコンテンツを視聴する場合には、ダウンロード再生のように視聴しながらコンテンツを取得し、市販のアプリケーションを用いて編集を行う目的で使用される場合もある。ところが、ライブ映像の場合は、記録を伴わない映像配信機器も多く、その場合、過去に戻った編集を行うことができない。   In general, when viewing recorded content, the content may be used for the purpose of obtaining the content while viewing and downloading and editing using a commercially available application. However, in the case of live video, there are many video distribution devices that do not involve recording, and in this case, editing that has been performed in the past cannot be performed.

また、記録を並行して行うライブ配信においても、特に監視カメラや定点カメラの場合には記録指定範囲が明確でないため、記録するには巨大な記録領域が必要である。このように、ライブ映像を携帯機器で視聴する際には、携帯電話やPDAのような携帯機器では、蓄積容量がPCや動画像蓄積機器と比較して一般的に小さいということもあり、視聴のみを目的とした手段として考えられている。   Even in live distribution in which recording is performed in parallel, a recording specification range is not clear particularly in the case of a surveillance camera or a fixed point camera, and thus a huge recording area is required for recording. Thus, when viewing live video on a mobile device, the storage capacity of a mobile device such as a mobile phone or PDA is generally smaller than that of a PC or moving image storage device. It is considered as a means only for the purpose.

しかし、そのような携帯機器で視聴しているユーザにとっては、稀に視聴したライブ映像の部分的な動画像データを必要とする場合がある。例えば、監視カメラを視聴していたら異常部分を確認し、その状況が治まる期間の映像を取得したかったり、イベントやコンサートで知り合いや自分の好きなタレントが出演する部分のみを取得したかったりといった状況が考えられる。   However, a user who is viewing with such a portable device rarely needs partial moving image data of the viewed live video. For example, if you are watching a surveillance camera, check the abnormal part and want to get a video of the period when the situation subsides, or get only the part where acquaintances and your favorite talent appear at events and concerts The situation is possible.

従来、そのような場合には、ライブ視聴目的のストリームと並行して蓄積機器へ記録を行う。そして、その蓄積された全体の映像から所望する部分の抽出を行うステップを要する。このように、常時記録された映像やイベントを記録した全体の映像からある部分を抽出するには、旧型のビデオテープによる記録方法の場合は、その蓄積機器の設置場所に赴く必要がある。もしくはそのテープを入手して蓄積された映像から所望の映像の凡その時間を参考に再生を行い、所望部分の映像を取得する必要がある。また、電子データの場合でも、データファイルを自分の動画像編集可能なPC等の機器に一度取り込み、専用のアプリケーションにより再生を行いながら同様に時間などを参考にして、所望の部分を確認し編集作業を行う必要がある。   Conventionally, in such a case, recording to a storage device is performed in parallel with a stream for live viewing purposes. Then, a step of extracting a desired portion from the accumulated entire video is required. As described above, in order to extract a certain part from the video recorded at all times or the entire video recording the event, in the case of the recording method using the old video tape, it is necessary to go to the place where the storage device is installed. Alternatively, it is necessary to acquire the video of the desired portion by reproducing the tape from the video accumulated by acquiring the tape with reference to the approximate time of the desired video. Also, even in the case of electronic data, the data file is once imported into a PC or other device that can edit the moving image, and the desired portion is checked and edited in the same way while referring to the time etc. while playing back with a dedicated application. Need to do work.

このように、従来、ライブ映像の部分抽出を行う場合には、一度記録した動画像データが存在することが前提としている。さらに、再生を行って再度確認してから編集するといった作業が必要となるので、リアルタイムな画像を視聴してから所望する動画像を実際に取得するまでには、手間がかかるとともに大きなタイムラグが発生する問題点があった。   Thus, conventionally, when performing partial extraction of a live video, it is premised that there is moving image data recorded once. In addition, since it is necessary to perform playback, reconfirm and then edit, it takes time and a large time lag between viewing a real-time image and actually acquiring the desired moving image. There was a problem to do.

そこで、前記のようなライブ映像を一度記録した後に、データファイルを自分の端末に取り込むことなく編集を行うために、記録済みの動画像コンテンツが保存されているサーバ装置からストリーミング再生する。そして、再生を行っているプレーヤに編集ポイントのイベントを送出して、編集点の時間長を取得するといった処理を行い、それら編集情報をサーバに送信する。これにより、データファイルの送受信を行わずに編集を可能とする編集方法が提案されている(例えば、特許文献1参照)。   Therefore, after the live video as described above is recorded once, it is stream-played from the server device in which the recorded moving image content is stored in order to edit without importing the data file into its own terminal. Then, an editing point event is sent to the player who is playing, and processing such as acquiring the editing point time length is performed, and the editing information is transmitted to the server. Thus, an editing method has been proposed that enables editing without transmitting and receiving data files (see, for example, Patent Document 1).

特開2003−125339号公報JP 2003-125339 A

しかしながら、特許文献1に記載の編集方法では、記録済みコンテンツをネットワーク上に保存しておく蓄積容量が必要であり、また、記録済みのファイルに関してのみ有効であるため、記録を行わないライブ配信に関しては適用されなかった。さらに、それぞれの編集点を算出し、編集点の算出が完了した上で、サーバへ情報配信が行われて初めてコンテンツの編集が可能となる。このため、編集点を算出してから編集した動画像を取得するまでに長い時間がかかってしまうという問題点があった。   However, the editing method described in Patent Document 1 requires a storage capacity for storing recorded content on the network, and is effective only for recorded files. Did not apply. Further, each edit point is calculated, and after the edit point calculation is completed, the content can be edited only after the information is distributed to the server. For this reason, there is a problem in that it takes a long time to calculate the edited moving image after calculating the editing point.

本発明は前述の問題点に鑑み、視聴しているユーザが所望する範囲の動画像を、ユーザが所望するタイミングで確実に保存可能とすることを、大容量の蓄積領域や装置を用いることなく実現できるようにすることを目的とする。   In view of the above-described problems, the present invention makes it possible to reliably save a moving image in a range desired by a user who is viewing the video at a timing desired by the user without using a large-capacity storage area or device. The purpose is to make it possible.

本発明の映像送信装置は、受信端末に対して映像及び音声をストリーミング配信する映像送信装置であって、前記受信端末に対してストリーミング配信する映像及び音声をバッファに記録する制御を行う記録制御手段と、前記映像及び音声の記録開始点または記録終了点に係わる情報を前記受信端末から受信する受信手段と、前記受信手段によって受信された情報における記録開始点から記録終了点までの範囲の映像及び音声を前記バッファから読み出して前記受信端末に提供する提供手段とを有することを特徴とする。   The video transmission apparatus according to the present invention is a video transmission apparatus for streaming video and audio to a receiving terminal, and recording control means for performing control to record the video and audio to be streamed to the receiving terminal in a buffer Receiving means for receiving information relating to the recording start point or recording end point of the video and audio from the receiving terminal; and a video in a range from the recording start point to the recording end point in the information received by the receiving means; And providing means for reading out the audio from the buffer and providing the audio to the receiving terminal.

本発明の受信端末は、映像及び音声をストリーミング配信する映像送信装置に対して前記映像及び音声を要求する受信端末であって、前記映像送信装置から配信される映像及び音声を受信する映像受信手段と、前記映像送信装置から配信される映像及び音声を記録する際に、前記映像及び音声の記録開始点または記録終了点を入力する入力手段と、前記入力手段によって入力された記録開始点または記録終了点に係わる情報を前記映像送信装置に送信する送信手段とを有することを特徴とする。   The receiving terminal of the present invention is a receiving terminal that requests the video and audio to a video transmitting device that distributes video and audio in a streaming manner, and receives video and audio distributed from the video transmitting device. And an input means for inputting a recording start point or a recording end point of the video and audio when recording the video and audio distributed from the video transmission device, and the recording start point or recording input by the input means. Transmission means for transmitting information relating to the end point to the video transmission apparatus.

本発明の動画像記録システムは、前記に記載の映像送信装置と、前記に記載の受信端末とを有することを特徴とする。   The moving image recording system of the present invention includes the video transmission device described above and the reception terminal described above.

本発明の映像送信方法は、受信端末に対して映像及び音声をストリーミング配信する映像送信方法であって、前記受信端末に対してストリーミング配信する映像及び音声をバッファに記録する制御を行う記録制御工程と、前記映像及び音声の記録開始点または記録終了点に係わる情報を前記受信端末から受信する受信工程と、前記受信工程おいて受信した情報における記録開始点から記録終了点までの範囲の映像及び音声を前記バッファから読み出して前記受信端末に提供する提供工程とを有することを特徴とする。   The video transmission method of the present invention is a video transmission method for streaming and delivering video and audio to a receiving terminal, and a recording control step for performing control to record the video and audio to be streamed to the receiving terminal in a buffer A reception step of receiving information related to the recording start point or the recording end point of the video and audio from the receiving terminal, a video in a range from the recording start point to the recording end point in the information received in the reception step, and A providing step of reading the voice from the buffer and providing the voice to the receiving terminal.

本発明の受信端末の制御方法は、映像及び音声をストリーミング配信する映像送信装置に対して前記映像及び音声を要求する受信端末の制御方法であって、前記映像送信装置から配信される映像及び音声を受信する映像受信工程と、前記映像送信装置から配信される映像及び音声を記録する際に、前記映像及び音声の記録開始点または記録終了点を入力する入力工程と、前記入力工程において入力した記録開始点または記録終了点に係わる情報を前記映像送信装置に送信する送信工程とを有することを特徴とする。   The receiving terminal control method according to the present invention is a receiving terminal control method for requesting the video and audio to a video transmitting apparatus for streaming distribution of video and audio, and the video and audio distributed from the video transmitting apparatus. A video receiving step, an input step of inputting a recording start point or a recording end point of the video and audio when recording video and audio distributed from the video transmitting device, and input in the input step A transmission step of transmitting information related to a recording start point or a recording end point to the video transmission device.

本発明のプログラムは、受信端末に対して映像及び音声をストリーミング配信する映像送信方法の各工程をコンピュータに実行させるプログラムであって、前記受信端末に対してストリーミング配信する映像及び音声をバッファに記録する制御を行う記録制御工程と、前記映像及び音声の記録開始点または記録終了点に係わる情報を前記受信端末から受信する受信工程と、前記受信工程おいて受信した情報における記録開始点から記録終了点までの範囲の映像及び音声を前記バッファから読み出して前記受信端末に提供する提供工程とをコンピュータに実行させることを特徴とする。
本発明のプログラムの他の特徴とするところは、映像及び音声をストリーミング配信する映像送信装置に対して前記映像及び音声を要求する受信端末の制御方法の各工程をコンピュータに実行させるプログラムであって、前記映像送信装置から配信される映像及び音声を受信する映像受信工程と、前記映像送信装置から配信される映像及び音声を記録する際に、前記映像及び音声の記録開始点または記録終了点を入力する入力工程と、前記入力工程において入力した記録開始点または記録終了点に係わる情報を前記映像送信装置に送信する送信工程とをコンピュータに実行させることを特徴とする。
The program of the present invention is a program for causing a computer to execute each step of a video transmission method for streaming delivery of video and audio to a receiving terminal, and recording the video and audio to be streamed to the receiving terminal in a buffer. A recording control step for performing control, a receiving step for receiving information related to the recording start point or recording end point of the video and audio from the receiving terminal, and recording end from the recording start point in the information received in the receiving step And a providing step of reading video and audio in a range up to a point from the buffer and providing them to the receiving terminal.
Another aspect of the program of the present invention is a program that causes a computer to execute each step of the control method of the receiving terminal that requests the video and audio to the video transmission device that distributes video and audio by streaming. A video reception step for receiving video and audio distributed from the video transmission device, and a recording start point or recording end point of the video and audio when recording the video and audio distributed from the video transmission device. The computer is caused to execute an input step of inputting and a transmitting step of transmitting information related to the recording start point or the recording end point input in the input step to the video transmitting apparatus.

本発明の記憶媒体は、前記の何れかに記載のプログラムを記憶したことを特徴とする。   A storage medium according to the present invention stores any one of the programs described above.

本発明によれば、受信端末において指定された記録開始点または記録終了点と付帯情報とを含む情報を受信した場合には、前記記録開始点から前記記録終了点までの範囲のパケットをバッファから読み出して前記受信端末に提供するようにした。これにより、記録を目的としないライブ配信において、視聴しているユーザが所望する範囲の動画像を、ユーザが所望するタイミングで確実に保存できるようにすることを、大容量の蓄積領域や装置を用いることなく実現することができる。   According to the present invention, when information including the recording start point or recording end point designated by the receiving terminal and the accompanying information is received, packets in the range from the recording start point to the recording end point are read from the buffer. The data is read and provided to the receiving terminal. As a result, in live distribution not intended for recording, a moving image in a range desired by the viewing user can be reliably stored at a timing desired by the user. It can be realized without using it.

(第1の実施形態)
以下、図面を参照しながら本発明の実施形態について説明する。
図1は、本実施形態における映像視聴システム(動画像記録システム)の構成例を示す図である。図1に示すように、カメラ101で撮像した映像及び音声からなる動画像データを映像配信サーバ102でストリーミング配信を行い、ネットワーク103を介して携帯端末104で視聴するという構成を例に説明する。
(First embodiment)
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating a configuration example of a video viewing system (moving image recording system) in the present embodiment. As shown in FIG. 1, a configuration in which moving image data composed of video and audio captured by a camera 101 is streamed by a video distribution server 102 and viewed on a mobile terminal 104 via a network 103 will be described as an example.

なお、映像配信サーバ102から携帯端末104へ映像の配信に使用されるプロトコルとして、本実施形態ではRTP(Real-time Transport Protocol、RFC 3550、The Internet Society)を利用する。また、RTP制御プロトコルとして同様にRFC3500で定義されているRTCP(RTP Control Protocol)も用いるものとする。   In this embodiment, RTP (Real-time Transport Protocol, RFC 3550, The Internet Society) is used as a protocol used for video distribution from the video distribution server 102 to the mobile terminal 104. Similarly, RTCP (RTP Control Protocol) defined in RFC3500 is used as the RTP control protocol.

RTCPのパケットは、受信レポート(RR:Receiver Report)、送信レポート(SR:Sender Report)、ソース記述(SDES:Source Description)、メンバシップ管理(BYE)、及びアプリケーション定義(APP:Application-Defined)の5種類で定義されている。本実施形態では主に受信レポートを使用するため、図3を参照しながらRTCPパケットのRRタイプの構成を説明する。   The RTCP packet includes a reception report (RR), a transmission report (SR), a source description (SDES), membership management (BYE), and an application definition (APP). Five types are defined. Since this embodiment mainly uses reception reports, the configuration of the RR type of the RTCP packet will be described with reference to FIG.

RTCPパケット(RR)は、前述したように受信レポートと呼ばれており、ストリーム受信装置からストリーム送信装置へ送信される。RTCPパケットは、RTCPヘッダ301とRTCPヘッダ301のRC(Reception Report Count)306に示す個数分の「reception report block」302とプロファイル依存拡張部分303とから構成される。   As described above, the RTCP packet (RR) is called a reception report, and is transmitted from the stream reception device to the stream transmission device. The RTCP packet includes an RTCP header 301, “reception report blocks” 302 corresponding to the number indicated by RC (Reception Report Count) 306 of the RTCP header 301, and profile-dependent extension portions 303.

「reception report block」302は、ストリーム受信装置がストリーム送信装置へ報告するストリームの受信状態を表しており、パケット廃棄率やジッタ等の情報を含む。また、LSR304は最後に受信した送信レポート(SR)のタイムスタンプを表し、DLSR305は最後に受信した送信レポート(SR)から経過した経過時間を表している。このLSR304、及びDLSR305を用いることによってサーバとクライアントとの間のネットワークの往復時間も取得することができる。   The “reception report block” 302 represents a reception state of a stream that the stream reception device reports to the stream transmission device, and includes information such as a packet discard rate and jitter. LSR 304 represents the time stamp of the last received transmission report (SR), and DLSR 305 represents the elapsed time elapsed from the last received transmission report (SR). By using the LSR 304 and the DLSR 305, the round trip time of the network between the server and the client can also be acquired.

[視聴端末からサーバに対する記録指示及びその処理の概要]
以下、本実施形態に関わる携帯端末104から映像配信サーバ102に対する記録指示及びその処理の概要について説明する。図11は、本実施形態における映像配信サーバ102及び携帯端末104の機能構成例を示すブロック図である。
[Overview of recording instruction and processing from viewing terminal to server]
Hereinafter, a recording instruction from the mobile terminal 104 according to the present embodiment to the video distribution server 102 and an outline of the processing will be described. FIG. 11 is a block diagram illustrating a functional configuration example of the video distribution server 102 and the mobile terminal 104 in the present embodiment.

ライブ配信を行う映像配信サーバ102には、リングバッファのような小さなデータ保存領域(バッファ)11を確保する。このバッファ11は、ストリーミング配信を行ったパケットを一定期間保存しておく領域として使用される。そして、通信部10を介して行われるストリーミング配信と同時に、送信するパケットを記録制御部12がバッファ11にコピーして保存する。   The video distribution server 102 that performs live distribution secures a small data storage area (buffer) 11 such as a ring buffer. The buffer 11 is used as an area for storing a packet for which streaming distribution has been performed for a certain period. At the same time as streaming distribution performed via the communication unit 10, the recording control unit 12 copies and stores the packet to be transmitted to the buffer 11.

ユーザが配信データの記録を希望した場合には、ライブ配信を視聴しているクライアント側で記録開始イベントを設定する。イベント設定に関しては、図2に示すように、携帯端末104に「記録開始ボタン」201、及び「記録終了ボタン」202が予め割り当てられている。そして、ライブ動画像データ(映像データ及び音声データ)を視聴中にこれらのボタン201、202が押下された時に、それぞれ、記録開始イベント、記録終了イベントが発生する。   When the user desires to record distribution data, a recording start event is set on the client side who is viewing live distribution. Regarding event setting, as shown in FIG. 2, a “recording start button” 201 and a “recording end button” 202 are assigned to the mobile terminal 104 in advance. When these buttons 201 and 202 are pressed during viewing of live moving image data (video data and audio data), a recording start event and a recording end event occur, respectively.

記録開始イベントが発生すると、携帯端末104は、その視聴時点のパケットの情報であるシーケンスナンバとTimeStampとを取得し、開始点(以下、INという)を設定する。また、記録終了イベントが発生すると、同様にその時点のパケットの情報を取得して終了点(以下、OUTという)を設定する。   When the recording start event occurs, the mobile terminal 104 acquires the sequence number and TimeStamp, which are information of the packet at the time of viewing, and sets the start point (hereinafter referred to as IN). Further, when a recording end event occurs, similarly, information on the packet at that time is acquired and an end point (hereinafter referred to as OUT) is set.

次に、携帯端末104の「記録開始ボタン」201が押下された場合の処理の詳細を説明する。前述したように、携帯端末104の「記録開始ボタン」201が押下されると、入力部22から入力される信号に基づいて記録開始イベントが発生し、IN/OUT設定部23で視聴時点のパケットの情報を取得してINを設定する。そのINの関する情報は、図4に示すような記述として文字列を生成し、RTCPパケットのプロファイル依存拡張部分303に付加する。   Next, details of processing when the “recording start button” 201 of the portable terminal 104 is pressed will be described. As described above, when the “recording start button” 201 of the portable terminal 104 is pressed, a recording start event is generated based on a signal input from the input unit 22, and the IN / OUT setting unit 23 views a packet at the time of viewing. Information is acquired and IN is set. For the information related to the IN, a character string is generated as a description as shown in FIG. 4 and added to the profile dependent extension 303 of the RTCP packet.

図4に示す記述の内容には、付帯情報として記録を行うか否かの制御(Control)とその制御内容を表す文字列と、記録のポイント(Point)をそのポイント内容を表す文字列とがある。さらに、その該当するパケットのシーケンスナンバ(SeqNo)やタイムスタンプ(TimeStamp)のようなパケットを識別する値がある。   The content of the description shown in FIG. 4 includes control (control) on whether or not to record as supplementary information, a character string representing the control content, and a character string representing the point content of the recording (Point). is there. Further, there is a value for identifying a packet such as a sequence number (SeqNo) or a time stamp (TimeStamp) of the corresponding packet.

映像配信サーバ102から携帯端末104へ送信するパケットの流れと、携帯端末104から映像配信サーバ102に対する記録指示の処理の概念図を図5に示す。映像配信サーバ102側は、携帯端末104から通信部21を介して送られたRTCPパケットのプロファイル依存拡張部分303に記述された記録開始命令、及びその該当するパケットのシーケンスナンバやTimeStampを判断する。そして、バッファ11から該当するパケットを読み出す。そして、提供方法としては、蓄積可能な容量が確保された視聴クライアントに対して、別セッションにてその読み出したパケットをHTTPストリーミングで送信する。   FIG. 5 shows a conceptual diagram of a flow of a packet transmitted from the video distribution server 102 to the mobile terminal 104 and a recording instruction process from the mobile terminal 104 to the video distribution server 102. The video distribution server 102 determines the recording start command described in the profile-dependent extension 303 of the RTCP packet sent from the mobile terminal 104 via the communication unit 21, and the sequence number and TimeStamp of the corresponding packet. Then, the corresponding packet is read from the buffer 11. Then, as a providing method, the read packet is transmitted by HTTP streaming in a separate session to a viewing client for which a storable capacity is secured.

このHTTPストリーミングで送信する視聴クライアントの指定は、視聴開始前に予め映像配信サーバ102へ通知される。記録終了ポイントの場合も同様にRTCPパケットのプロファイル依存拡張部分303に、図4の記述例に従って終了を指示する文字列を付加して映像配信サーバ102に通知される。これにより、HTTPストリーミングを終了する。   The designation of the viewing client to be transmitted by HTTP streaming is notified to the video distribution server 102 in advance before the viewing is started. Similarly, in the case of the recording end point, a character string instructing the end according to the description example of FIG. Thereby, HTTP streaming is complete | finished.

また、他の提供方法として、終了が決定した時点で、ファイル生成部13でMP4ファイルとして動画像コンテンツファイルを生成し、視聴クライアントへその生成したMP4ファイルを添付してメールを送信してもよい。もしくはMP4ファイルのダウンロードを促す方法を例えばメールで提供したりしてもよい。   As another providing method, when the end is determined, the file generation unit 13 may generate a moving image content file as an MP4 file, and send the mail with the generated MP4 file attached to the viewing client. . Alternatively, a method for prompting the download of the MP4 file may be provided by e-mail, for example.

なお、最終的な区間指定を行った記録ファイルの取得方法において、前述のHTTPストリーミング、MP4ファイルのメール送信、MP4ファイルのダウンロードの何れかの方法を選択させる機能を携帯端末104に持たせてもよい。   In addition, in the method for acquiring a recording file in which final section designation is performed, the portable terminal 104 may have a function of selecting any one of the above-described HTTP streaming, MP4 file mail transmission, and MP4 file download method. Good.

なお、前述した記録ファイルの取得方法のうち、記録範囲の指定が完了してからMP4ファイルを映像配信サーバ102上で予め生成する方法に関しては、INからOUTまでのパケットを映像配信サーバ102内で保存しておくことが必要となる。このため、バッファ11のサイズによっては、INからOUTまでのパケットを同一バッファ11内で保存できない場合がある。その場合には、INからバッファ11が満たされた時点までのパケットで仮のMP4ファイルを生成し、この生成を繰り返して最終的にOUTを受け取った際に、それまでの分割された複数のMP4ファイルを連結するようにしてもよい。   Of the above-described recording file acquisition methods, regarding the method of generating the MP4 file in advance on the video distribution server 102 after the specification of the recording range is completed, packets from IN to OUT are stored in the video distribution server 102. It is necessary to save it. For this reason, depending on the size of the buffer 11, packets from IN to OUT may not be stored in the same buffer 11. In that case, a temporary MP4 file is generated with packets from IN to the time when the buffer 11 is filled, and when this output is repeated and finally OUT is received, a plurality of MP4s divided up to that point are received. You may make it connect a file.

また、同じユーザで同一カメラにおける複数の記録要求をMP4ファイルで希望する場合には、その都度作成された断片の映像を時系列に従って自動連結するようにしてもよい。この場合、煩雑なファイルの整理と再視聴の利便性とにおいて有効である。   In addition, when the same user desires a plurality of recording requests from the same camera in the MP4 file, the video of the fragment created each time may be automatically connected in time series. In this case, the arrangement of complicated files and the convenience of re-viewing are effective.

[バッファのサイズ]
映像配信サーバ102側のバッファ11のサイズに関しては、時間/サイズ算出部14において記録に必要なバッファサイズを算出し、記録制御部12がバッファサイズを変更する。すなわち、システムとして固定値あるいは前述のRTCPパケットの送信間隔やRTCP情報による映像配信サーバ102と携帯端末104との間の遅延情報から動的にバッファサイズを変更することができる。
[Buffer size]
Regarding the size of the buffer 11 on the video distribution server 102 side, the time / size calculation unit 14 calculates the buffer size necessary for recording, and the recording control unit 12 changes the buffer size. That is, as a system, the buffer size can be dynamically changed from a fixed value or the delay information between the video distribution server 102 and the mobile terminal 104 based on the RTCP packet transmission interval or the RTCP information.

[バッファのクリア]
映像受信側(携帯端末104側)から送られる記録開始を通知するRTCPパケットのプロファイル依存拡張部分303に記録開始の記述が無い場合には、記録制御部12はバッファ11内に記録されたパケットをクリアする手段を有するようにしている。また、クリアするパケットの範囲に関しては、時間/サイズ算出部14において算出する。前述のRTCPパケットの送信間隔や、映像を配信する映像配信サーバ102側(映像配信側)と、映像を受信する携帯端末104側(映像受信側)との間の遅延情報から、次に受信するRTCPパケットでINの指定の可能性がないパケットの範囲を計算できる。さらに、映像配信サーバ102側にTimeOut値を予め設定し、そのTimeOut時間を超えた場合には該当データ(パケット)を削除することができる。
[Clear buffer]
If there is no description of the recording start in the profile dependent extension portion 303 of the RTCP packet notifying the start of recording sent from the video receiving side (portable terminal 104 side), the recording control unit 12 transmits the packet recorded in the buffer 11. It has a means to clear. Further, the time / size calculation unit 14 calculates the range of packets to be cleared. Next, the RTCP packet transmission interval and delay information between the video distribution server 102 (video distribution side) that distributes video and the mobile terminal 104 (video reception side) that receives video are received next. It is possible to calculate the range of RTCP packets that have no possibility of specifying IN. Furthermore, a TimeOut value is set in advance on the video distribution server 102 side, and when the TimeOut time is exceeded, the corresponding data (packet) can be deleted.

[複数クライアント接続時の処理]
複数のクライアントと接続する場合には、映像配信サーバ102側で確保可能なバッファ11のサイズには上限があるため、接続クライアントが1つの場合にはバッファ11をフルに使用し、ある程度の画像データの保存が可能である。しかし、複数の場合には、最少でもRTCPの送信間隔分のバッファ11が確保できるクライアント数を決定し、そのクライアント数を超過した場合には、その旨のエラーメッセージを表示し、接続不可能にする。そして、バッファ11に保存したパケットを用いて、前述の携帯端末104から映像配信サーバ102に対する記録指示に従い処理を行うようにする。
[Processing when connecting multiple clients]
When connecting to a plurality of clients, there is an upper limit on the size of the buffer 11 that can be secured on the video distribution server 102 side. Therefore, when there is one connected client, the buffer 11 is fully used and a certain amount of image data is used. Can be stored. However, in a plurality of cases, the number of clients that can secure the buffer 11 corresponding to the RTCP transmission interval is determined at least. When the number of clients is exceeded, an error message to that effect is displayed and the connection is impossible. To do. Then, the packet stored in the buffer 11 is used to perform processing according to the recording instruction from the mobile terminal 104 to the video distribution server 102 described above.

また、複数のクライアントを管理する場合には、映像配信サーバ102側は図6に示すような記録指示情報を含んだ管理テーブルを保持する。図6に示す管理テーブルには、ユーザ名、セッションID、カメラID、IN(DATE、TimeStamp)、OUT(DATE、TimeStamp)、記録済みフラグの情報等のような、記録指示情報が含まれる。   When managing a plurality of clients, the video distribution server 102 holds a management table including recording instruction information as shown in FIG. The management table shown in FIG. 6 includes recording instruction information such as user name, session ID, camera ID, IN (DATE, TimeStamp), OUT (DATE, TimeStamp), recorded flag information, and the like.

次に、複数のクライアントに対する管理テーブルを用いた処理について説明する。映像配信サーバ102がINの要求を受け取った場合には、パケットの保存と同時にその情報を管理テーブルに書き込む。記録コンテンツの提供方法がHTTPストリーミングの場合には、INの指定パケットからHTTPストリーミングで送信する。そして、他のクライアントからIN要求を受け取り、かつそのINの指定パケットがバッファ11に記録済みの場合には、管理テーブルに情報の書き込みを行い、クライアント指定のHTTPストリーミングを開始する。   Next, processing using a management table for a plurality of clients will be described. When the video distribution server 102 receives the IN request, the information is written into the management table simultaneously with the storage of the packet. When the recording content providing method is HTTP streaming, the packet is transmitted by HTTP streaming from an IN designated packet. When an IN request is received from another client and the designated packet of the IN is already recorded in the buffer 11, information is written into the management table and HTTP streaming designated by the client is started.

次に、OUTの処理に関して、クライアントが複数存在する時におけるOUTイベント発生時の映像配信サーバ102における処理の詳細について、図10に示すフローチャートを参照しながら説明する。
映像配信サーバ102がRTCPパケットのOUT指示を受けると、まず、記録コンテンツの提供方法がHTTPストリーミングの場合には、HTTPストリーミングを終了する。また、MP4ファイル形式で提供する場合には、指定区間のMP4ファイルを生成する(ステップS1001)。
Next, regarding OUT processing, details of processing in the video distribution server 102 when an OUT event occurs when there are a plurality of clients will be described with reference to the flowchart shown in FIG.
When the video distribution server 102 receives an RTCP packet OUT instruction, first, when the recording content providing method is HTTP streaming, the HTTP streaming is terminated. Further, in the case of providing in the MP4 file format, an MP4 file for a specified section is generated (step S1001).

次に、映像配信サーバ102が保持する管理テーブル内の該当するユーザに送信するデータへOUTのデータを挿入する(ステップS1002)。次に、ステップS1001でHTTPストリーミングが終了するか、またはMP4ファイルが生成されたので、ステップS1002で完了したオーダに関して管理テーブル上の記録済みフラグを「Y」に変更する。もしくは管理テーブルからデータの削除を行う(ステップS1003)。   Next, OUT data is inserted into the data to be transmitted to the corresponding user in the management table held by the video distribution server 102 (step S1002). Next, since HTTP streaming ends in step S1001 or an MP4 file is generated, the recorded flag on the management table is changed to “Y” for the order completed in step S1002. Alternatively, data is deleted from the management table (step S1003).

次に、バッファ11内に保存されているパケットのうち、管理テーブル内の最も古いTimeStampよりも古いTimeStampのパケットが存在するか否かチェックする(ステップS1004)。このチェックの結果、存在しない場合は、処理を終了する。   Next, it is checked whether or not there is a TimeStamp packet older than the oldest TimeStamp in the management table among the packets stored in the buffer 11 (step S1004). If the check does not exist, the process is terminated.

一方、ステップS1004のチェックの結果、存在する場合は、バッファ11内に保存されているパケットのうち、管理テーブル内の記録済みフラグが「N」で最も古いTimeStampよりも古いパケットを全て削除する(ステップS1005)。そして、処理を終了する。   On the other hand, if it exists as a result of the check in step S1004, all packets older than the oldest TimeStamp with the recorded flag in the management table being “N” are deleted from the packets stored in the buffer 11 ( Step S1005). Then, the process ends.

以上、図10に示すフローチャートを参照しながら説明したクライアントが複数存在する時におけるOUTイベント発生時の映像配信サーバ102による処理の概念図を図9に示す。映像配信サーバ102においてパケットの記録中901に、第1のユーザからOUTイベントが発生903した場合、第1のユーザの分のパケットのうち、他の記録中のユーザと重複しない部分のパケットをバッファ11から削除する。そして、第2のユーザ及び第3のユーザの分のパケットの記録902を継続する。   FIG. 9 shows a conceptual diagram of processing performed by the video distribution server 102 when an OUT event occurs when there are a plurality of clients described with reference to the flowchart shown in FIG. When an OUT event occurs 903 from the first user during packet recording 901 in the video distribution server 102, a portion of the first user's packet that does not overlap with other recording users is buffered. 11 to delete. Then, the packet recording 902 for the second user and the third user is continued.

[通信エラーにおける対処]
クライアントからIN/OUTが指定されて記録を行うにあたり、映像配信サーバ102がINを受け取った後、クライアントがOUTを送信する前にネットワーク接続が切断される場合、または、OUTのパケットがパケットロスする場合がある。この場合には、映像配信サーバ102側で予め設定したTimeOut値により記録終了地点を決定する。すなわち、指定されたINにTimeOut値を加算したTimeStampのパケットを強制的にOUTのパケットとする。
[Actions for communication errors]
When recording is performed by specifying IN / OUT from the client, the network connection is disconnected before the client transmits OUT after the video distribution server 102 receives IN, or the OUT packet is lost. There is a case. In this case, the recording end point is determined by the TimeOut value preset on the video distribution server 102 side. That is, the TimeStamp packet obtained by adding the TimeOut value to the designated IN is forcibly set as the OUT packet.

このように、このTimeOut値は、記録指定時間の最大値として用いられるとともに、通信エラー時において強制的にOUTのパケットを決定する際に用いられることも可能である。または、クライアントからINを送る場合に、クライアントが予め設定したTimeOut値を付加して送ることにより、OUT無しの場合にはその送られたTimeOut値を使用するようにしてもよい。   As described above, the TimeOut value is used as the maximum value of the designated recording time, and can also be used when forcibly determining an OUT packet at the time of a communication error. Alternatively, when sending IN from the client, the client may add a preset TimeOut value and send it, and when there is no OUT, the sent TimeOut value may be used.

また、反対に映像配信サーバ102がINを受け取らずにOUTのみを受信した場合には、バッファ11に保存されている部分のみを記録し、映像配信サーバ102からRTCPパケットにエラーメッセージを付加して送信する。または、独自パケットを用いてクライアントへ記録不可能な状態にあることを通知するようにしてもよい。   On the other hand, when the video distribution server 102 receives only OUT without receiving IN, only the portion stored in the buffer 11 is recorded, and an error message is added from the video distribution server 102 to the RTCP packet. Send. Alternatively, a unique packet may be used to notify the client that recording is not possible.

以上のように本実施形態においては、映像配信サーバ102は、記録開始点または記録終了点についての情報を携帯端末104から受信する。そして、記録開始点から前記記録終了点までの範囲のパケットをバッファ11から読み出して携帯端末104に提示するようにした。これにより、記録を目的としないライブ配信において、視聴しているユーザから、録画が要求された際には、ユーザが所望する範囲の動画像を素早く配信することが可能となるので、ユーザは録画画像を速やかに取得することができる。   As described above, in the present embodiment, the video distribution server 102 receives information about the recording start point or the recording end point from the portable terminal 104. A packet in the range from the recording start point to the recording end point is read from the buffer 11 and presented to the portable terminal 104. Thus, in live distribution not intended for recording, when recording is requested by a viewing user, it is possible to quickly distribute a moving image in a range desired by the user. Images can be acquired quickly.

(第2の実施形態)
第1の実施形態において、クライアントからIN、OUTによる記録区間が指定されることにより記録範囲を決定した。これに対し、本実施形態では、センサが何かを検知したら記録するカメラサーバシステムについて説明する。記録範囲はセンサによって決定され、決定された記録範囲における記録の要/不要をクライアントが指定する。
(Second Embodiment)
In the first embodiment, the recording range is determined by designating the recording section by IN and OUT from the client. In contrast, in the present embodiment, a camera server system that records when a sensor detects something will be described. The recording range is determined by the sensor, and the client designates whether or not recording is necessary in the determined recording range.

また、本実施形態では、記録と並行してユーザが携帯端末で視聴している時に、センサによる記録の指示の有無も合わせて取得できる。そして、その記録範囲において記録を行うか否かの通知をクライアント(携帯端末)からサーバ側に行い、不要の場合にはサーバ側での記録を中止し、必要な場合には記録を要求する。   Further, in the present embodiment, when the user is viewing on the mobile terminal in parallel with the recording, it is possible to acquire the presence / absence of a recording instruction from the sensor. Then, the client (portable terminal) notifies the server side whether or not to perform recording within the recording range. If unnecessary, recording on the server side is stopped, and if necessary, recording is requested.

これにより、センサの記録要因の検知をした上で、さらにクライアントから記録の指示要求が発生した場合のみサーバ側で記録を行うようにすることが可能となり、不要な記録が行われるのをリアルタイムで制御できる。これにより、記録領域の節約が可能となる。   As a result, after the recording factor of the sensor is detected, it is possible to perform recording on the server side only when a recording instruction request is issued from the client, and unnecessary recording can be performed in real time. Can be controlled. Thereby, the recording area can be saved.

本実施形態のシステム構成について図7に示す。カメラ101で撮像したデータを映像配信サーバ102でネットワーク103を介して携帯端末104に配信する点は、第1の実施形態のシステム構成と同じである。本実施形態では、第1の実施形態のシステム構成に加え、センサ701がカメラ101に接続されており、バッファとは別に映像を記録する記録装置702が映像配信サーバ102に接続されている。なお、機能構成については第1の実施形態と同じであるため、説明は省略する。   The system configuration of this embodiment is shown in FIG. The point that data captured by the camera 101 is distributed to the portable terminal 104 by the video distribution server 102 via the network 103 is the same as the system configuration of the first embodiment. In the present embodiment, in addition to the system configuration of the first embodiment, a sensor 701 is connected to the camera 101, and a recording device 702 that records video separately from the buffer is connected to the video distribution server 102. Since the functional configuration is the same as that of the first embodiment, description thereof is omitted.

まず、センサ701により何らかの要因を検知した場合に記録するシステムについて説明する。まず、カメラ101で撮像した映像を携帯端末104にて視聴している際に、センサ701により記録指示が発生している場合には、記録対象区間であることを示す情報であるイベント番号や開始時刻が携帯端末104に通知される。通知方法については第1の実施形態と同様にRTCPパケットの送信レポート(SR)を利用する。あるいは、RTPパケットのヘッダ拡張部分を利用することも可能である。   First, a system for recording when some factor is detected by the sensor 701 will be described. First, when a recording instruction is generated by the sensor 701 while viewing a video captured by the camera 101 on the mobile terminal 104, an event number or start that is information indicating a recording target section is generated. The mobile terminal 104 is notified of the time. As for the notification method, an RTCP packet transmission report (SR) is used as in the first embodiment. Alternatively, the header extension part of the RTP packet can be used.

クライアント側の携帯端末104では、「記録不要ボタン」、「記録要求ボタン」が予め設定されている。この「記録不要ボタン」が押下された場合には、図4の記述の例に従い、制御指示(Control)を「CANCEL」にする。また、本実施形態では、記録ポイント(Point)はセンサ701が判断するシステムであるため、第1の実施形態とは異なり「NONE」に設定する。   In the mobile terminal 104 on the client side, a “recording unnecessary button” and a “recording request button” are set in advance. When this “recording unnecessary button” is pressed, the control instruction (Control) is set to “CANCEL” according to the example of the description of FIG. In this embodiment, since the recording point (Point) is a system determined by the sensor 701, the recording point (Point) is set to “NONE” unlike the first embodiment.

さらに、映像配信サーバ102から取得したイベント番号を「EventNo=X」として付加して文字列の生成を行い、第1の実施形態と同様にRTCPパケット(RR)のプロファイル依存拡張部分303を用いて記録の中止命令を送信する。映像配信サーバ102は、この中止命令を受信した場合には、該当するイベント番号の記録を中止する。または、記録済みの場合には該当イベント番号の記録部分の削除を行う。   Further, the event number acquired from the video distribution server 102 is added as “EventNo = X” to generate a character string, and the profile dependent extension portion 303 of the RTCP packet (RR) is used as in the first embodiment. Send a record stop command. When the video distribution server 102 receives this cancel command, the video distribution server 102 cancels the recording of the corresponding event number. Or, if it has been recorded, the recorded part of the event number is deleted.

次に、センサ701により何らかの要因を検知はするが、基本的に記録は行わず、クライアント側から指示された場合に記録が初めて開始されるようなシステム構成の場合に関して説明する。
クライアント側の携帯端末104で視聴を行うと同時に、センサ701の検知イベントが発生している通知を受信している際に、その部分の記録を希望する場合には、図4の記述の例に従い、制御指示(Control)を「REC」に設定する。
Next, a description will be given of a system configuration in which some factor is detected by the sensor 701, but basically recording is not performed, and recording is started for the first time when instructed from the client side.
When the client-side mobile terminal 104 is viewing and receiving a notification that a detection event of the sensor 701 has occurred, and wants to record that part, follow the example in FIG. The control instruction (Control) is set to “REC”.

また、記録ポイント(Point)を「NONE」に設定する。さらに、映像配信サーバ102から取得したイベント番号を「EventNo=X」として付加して文字列の生成を行い第1の実施形態と同様にRTCPパケット(RR)のプロファイル依存拡張部分303を用いて記録命令を送信する。なお、イベントの記録範囲の管理は、図6で示した映像配信サーバ102上の管理テーブルにイベント番号の項目を追加した形式で管理が可能である。   Further, the recording point (Point) is set to “NONE”. Further, the event number acquired from the video distribution server 102 is added as “EventNo = X”, and a character string is generated and recorded using the profile dependent extension portion 303 of the RTCP packet (RR) as in the first embodiment. Send instructions. The event recording range can be managed in a format in which an event number item is added to the management table on the video distribution server 102 shown in FIG.

(第3の実施形態)
第1の実施形態における記録開始、及び記録終了の指定方法においては、クライアントで設定されたボタンが押下されたタイミングで記録開始、及び記録終了を指示した。これに対し、本実施形態では、ボタンを押下したタイミングよりも長く時間的に余裕を持たせて記録を行ったり、その都度タイミングを微妙に変更したりすることができる。
(Third embodiment)
In the recording start and recording end designation method in the first embodiment, the recording start and recording end are instructed at the timing when the button set on the client is pressed. On the other hand, in the present embodiment, recording can be performed with a time margin longer than the timing when the button is pressed, or the timing can be slightly changed each time.

[記録開始、終了時間の秒数指定方法]
サーバに開始点(IN)に余裕を持たせた時間(X秒)と終了点(OUT)に余裕を持たせた時間(Y秒)とを予め設定しておき、それぞれのIN、OUT要求に設定値を加減して記録を行う。これにより、クライアントの開始指示タイミングの遅れや終了指示が早かった場合の補填が可能となる。また、携帯端末104で「記録開始ボタン」が押下されることによるIN指定の場合に、図8に示すような操作画面801を表示し、INからの記録調節位置を秒数で指定できるようにする。終了点(OUT)も同様の操作で記録終了位置を秒数指定により操作できるものとする。
[How to specify the recording start and end time in seconds]
A time (X seconds) in which the server has room for the start point (IN) and a time (Y seconds) in which the server has room for the end point (OUT) are set in advance. Record by adjusting the set value. As a result, it is possible to compensate when the start instruction timing delay or the end instruction of the client is early. Further, in the case of IN designation by pressing the “record start button” on the portable terminal 104, an operation screen 801 as shown in FIG. 8 is displayed so that the recording adjustment position from the IN can be designated in seconds. To do. It is assumed that the end point (OUT) can be operated by designating the recording end position by the same operation.

(本発明に係る他の実施形態)
第1〜第3の実施形態では、ストリーミング方法としてRTP(リアルタイムデータ転送プロトコル)を用いて説明してきた。一方、HTTPを用いたストリーミングにおいての記録指示の場合には、映像配信サーバ102に記録処理を行うプログラム(CGI)を作成し、そのプログラムをGETメソッドを用いて、図4で示されるような文字列を付加する方法で同様の機能を提供できる。
(Other embodiments according to the present invention)
In the first to third embodiments, description has been made using RTP (Real Time Data Transfer Protocol) as a streaming method. On the other hand, in the case of a recording instruction in streaming using HTTP, a program (CGI) for performing recording processing is created in the video distribution server 102, and the program uses the GET method to generate characters as shown in FIG. A similar function can be provided by adding columns.

以上、本発明を好適な実施形態に基づいて説明してきた。しかし、前述した実施形態は本発明の単なる例示に過ぎず、何ら本発明を限定するものではない。例えば、サーバへの通知方法はRTP/RTCPを用いたり、HTTPを用いたりして説明したが、これに限らずに独自のパケットによる開始点(IN)、終了点(OUT)の通知も可能とする。   The present invention has been described based on the preferred embodiments. However, the above-described embodiment is merely an example of the present invention and does not limit the present invention. For example, the notification method to the server has been described using RTP / RTCP or HTTP, but the present invention is not limited to this, and the start point (IN) and end point (OUT) can be notified by a unique packet. To do.

前述した本発明の実施形態における映像送信装置、受信端末を構成する各手段、並びに映像送信方法、受信端末の制御方法の各工程は、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。   A program stored in a RAM, a ROM, or the like of a computer operates in each step of the above-described video transmission device, each unit constituting the reception terminal, the video transmission method, and the reception terminal control method in the embodiment of the present invention. Can be realized. This program and a computer-readable storage medium storing the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。   In addition, the present invention can be implemented as, for example, a system, apparatus, method, program, storage medium, or the like. Specifically, the present invention may be applied to a system including a plurality of devices. The present invention may be applied to an apparatus composed of a single device.

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム(実施形態では図10に示すフローチャートに対応したプログラム)を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   The present invention includes a case where a software program (in the embodiment, a program corresponding to the flowchart shown in FIG. 10) for realizing the functions of the above-described embodiments is directly or remotely supplied to a system or apparatus. This includes the case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。   In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などもある。   Examples of the storage medium for supplying the program include a flexible disk, a hard disk, an optical disk, and a magneto-optical disk. Further, there are MO, CD-ROM, CD-R, CD-RW, magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R) and the like.

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。   As another program supply method, there is a method of connecting to a homepage on the Internet using a browser of a client computer. It can also be supplied by downloading the computer program itself of the present invention or a compressed file including an automatic installation function from a homepage to a storage medium such as a hard disk.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。   It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.

また、その他の方法として、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。   As another method, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and encrypted from a homepage via the Internet to users who have cleared predetermined conditions. Download the key information to be solved. It is also possible to execute the encrypted program by using the key information and install the program on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。   Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。   As another method, the program read from the recording medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.

本発明の第1の実施形態のシステム構成例を示すブロック図である。It is a block diagram which shows the system configuration example of the 1st Embodiment of this invention. 本発明の第1の実施形態の携帯端末における操作及び画面の構成を示す図である。It is a figure which shows operation and the structure of a screen in the portable terminal of the 1st Embodiment of this invention. RTCPパケット(RRタイプ)の構成を示す図である。It is a figure which shows the structure of a RTCP packet (RR type). 本発明の第1の実施形態のRTCPパケットへ記述する文字列の一例を示す図である。It is a figure which shows an example of the character string described to the RTCP packet of the 1st Embodiment of this invention. 本発明の第1の実施形態のサーバ側とクライアント側とでの処理及び操作の一例の概要を示す図である。It is a figure which shows the outline | summary of an example of the process and operation by the server side and client side of the 1st Embodiment of this invention. 本発明の第1の実施形態の映像配信サーバの管理テーブルの一例を示す図である。It is a figure which shows an example of the management table of the video delivery server of the 1st Embodiment of this invention. 本発明の第2の実施形態のシステム構成例を示すブロック図である。It is a block diagram which shows the system configuration example of the 2nd Embodiment of this invention. 本発明の第3の実施形態の携帯端末における操作及び画面の構成を示す図である。It is a figure which shows operation and the structure of a screen in the portable terminal of the 3rd Embodiment of this invention. 本発明の第1の実施形態において、クライアントが複数存在する時における処理の概要を示す図である。In the 1st Embodiment of this invention, it is a figure which shows the outline | summary of a process when there exist two or more clients. 本発明の第1の実施形態において、クライアントが複数存在する時におけるOUTイベント発生時の映像配信サーバによる処理手順の一例を示すフローチャートである。6 is a flowchart illustrating an example of a processing procedure performed by the video distribution server when an OUT event occurs when there are a plurality of clients in the first embodiment of the present invention. 本発明の第1の実施形態における映像配信サーバと携帯端末との機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of the video delivery server and portable terminal in the 1st Embodiment of this invention.

符号の説明Explanation of symbols

10 通信部
11 バッファ
12 記録制御部
13 ファイル生成部
14 時間/サイズ算出部
21 通信部
22 入力部
23 IN/OUT設定部
101 カメラ
102 映像配信サーバ
103 ネットワーク
104 携帯端末
DESCRIPTION OF SYMBOLS 10 Communication part 11 Buffer 12 Recording control part 13 File generation part 14 Time / size calculation part 21 Communication part 22 Input part 23 IN / OUT setting part 101 Camera 102 Image | video delivery server 103 Network 104 Portable terminal

Claims (13)

受信端末に対して映像及び音声をストリーミング配信する映像送信装置であって、
前記受信端末に対してストリーミング配信する映像及び音声をバッファに記録する制御を行う記録制御手段と、
前記映像及び音声の記録開始点または記録終了点に係わる情報を前記受信端末から受信する受信手段と、
前記受信手段によって受信された情報における記録開始点から記録終了点までの範囲の映像及び音声を前記バッファから読み出して前記受信端末に提供する提供手段とを有することを特徴とする映像送信装置。
A video transmission device for streaming video and audio to a receiving terminal,
Recording control means for performing control to record in a buffer video and audio to be streamed to the receiving terminal;
Receiving means for receiving information relating to the recording start point or recording end point of the video and audio from the receiving terminal;
A video transmitting apparatus comprising: a providing unit that reads out video and audio in a range from a recording start point to a recording end point in the information received by the receiving unit from the buffer and provides the received terminal to the receiving terminal.
前記受信手段によって受信された情報を用いて前記記録制御手段が記録に要する時間を算出する算出手段を有し、
前記記録制御手段は、前記算出手段により算出された記録に要する時間に応じて前記バッファからパケットを削除することを特徴とする請求項1に記載の映像送信装置。
A calculating means for calculating the time required for recording by the recording control means using the information received by the receiving means;
The video transmission apparatus according to claim 1, wherein the recording control unit deletes the packet from the buffer according to the time required for recording calculated by the calculating unit.
前記算出手段は、前記受信手段によって受信された情報を用いて前記記録制御手段が記録に必要なバッファサイズを算出し、
前記記録制御手段は、前記バッファを前記算出手段により算出された記録に必要なバッファサイズに変更することを特徴とする請求項2に記載の映像送信装置。
The calculating means calculates the buffer size required for recording by the recording control means using the information received by the receiving means;
The video transmission apparatus according to claim 2, wherein the recording control unit changes the buffer to a buffer size necessary for recording calculated by the calculation unit.
前記記録開始点から記録終了点までの範囲のパケットをファイル形式で生成するファイル生成手段を有することを特徴とする請求項1に記載の映像送信装置。   2. The video transmission apparatus according to claim 1, further comprising file generation means for generating a packet in a range from the recording start point to the recording end point in a file format. 前記受信端末からの記録指示情報を含む管理テーブルを有し、
前記記録制御手段は、前記管理テーブルを用いて記録の制御と前記バッファの制御とを行うことを特徴とする請求項1に記載の映像送信装置。
A management table including recording instruction information from the receiving terminal;
The video transmission apparatus according to claim 1, wherein the recording control unit performs recording control and buffer control using the management table.
映像及び音声をストリーミング配信する映像送信装置に対して前記映像及び音声を要求する受信端末であって、
前記映像送信装置から配信される映像及び音声を受信する映像受信手段と、
前記映像送信装置から配信される映像及び音声を記録する際に、前記映像及び音声の記録開始点または記録終了点を入力する入力手段と、
前記入力手段によって入力された記録開始点または記録終了点に係わる情報を前記映像送信装置に送信する送信手段とを有することを特徴とする受信端末。
A receiving terminal for requesting the video and audio to a video transmission device for streaming video and audio;
Video receiving means for receiving video and audio distributed from the video transmitting device;
An input means for inputting a recording start point or a recording end point of the video and audio when recording the video and audio distributed from the video transmission device;
A receiving terminal comprising: transmitting means for transmitting information relating to a recording start point or a recording end point input by the input means to the video transmitting apparatus.
前記記録開始点または記録終了点が他の装置により設定されている場合は、前記入力手段は、前記記録開始点から前記記録終了点までの範囲のパケットを要求するか否かを入力し、
前記送信手段は、前記入力手段によって入力された、前記パケットを要求するか否かに係わる情報を前記映像送信装置に送信することを特徴とする請求項6に記載の受信端末。
When the recording start point or the recording end point is set by another device, the input means inputs whether to request a packet in a range from the recording start point to the recording end point,
The receiving terminal according to claim 6, wherein the transmitting unit transmits, to the video transmitting apparatus, information related to whether to request the packet, which is input by the input unit.
請求項1〜5の何れか1項に記載の映像送信装置と、請求項6または7に記載の受信端末とを有することを特徴とする動画像記録システム。   A moving image recording system comprising: the video transmission device according to any one of claims 1 to 5; and the reception terminal according to claim 6 or 7. 受信端末に対して映像及び音声をストリーミング配信する映像送信方法であって、
前記受信端末に対してストリーミング配信する映像及び音声をバッファに記録する制御を行う記録制御工程と、
前記映像及び音声の記録開始点または記録終了点に係わる情報を前記受信端末から受信する受信工程と、
前記受信工程おいて受信した情報における記録開始点から記録終了点までの範囲の映像及び音声を前記バッファから読み出して前記受信端末に提供する提供工程とを有することを特徴とする映像送信方法。
A video transmission method for streaming video and audio to a receiving terminal,
A recording control step of performing control to record video and audio to be streamed to the receiving terminal in a buffer;
A receiving step of receiving information related to the recording start point or recording end point of the video and audio from the receiving terminal;
A video transmission method comprising: a providing step of reading out video and audio in a range from a recording start point to a recording end point in the information received in the receiving step from the buffer and providing them to the receiving terminal.
映像及び音声をストリーミング配信する映像送信装置に対して前記映像及び音声を要求する受信端末の制御方法であって、
前記映像送信装置から配信される映像及び音声を受信する映像受信工程と、
前記映像送信装置から配信される映像及び音声を記録する際に、前記映像及び音声の記録開始点または記録終了点を入力する入力工程と、
前記入力工程において入力した記録開始点または記録終了点に係わる情報を前記映像送信装置に送信する送信工程とを有することを特徴とする受信端末の制御方法。
A control method of a receiving terminal for requesting the video and audio to a video transmission device for streaming video and audio,
A video receiving step of receiving video and audio distributed from the video transmitting device;
An input step of inputting a recording start point or a recording end point of the video and audio when recording the video and audio distributed from the video transmission device;
And a transmission step of transmitting information relating to the recording start point or recording end point input in the input step to the video transmission device.
受信端末に対して映像及び音声をストリーミング配信する映像送信方法の各工程をコンピュータに実行させるプログラムであって、
前記受信端末に対してストリーミング配信する映像及び音声をバッファに記録する制御を行う記録制御工程と、
前記映像及び音声の記録開始点または記録終了点に係わる情報を前記受信端末から受信する受信工程と、
前記受信工程おいて受信した情報における記録開始点から記録終了点までの範囲の映像及び音声を前記バッファから読み出して前記受信端末に提供する提供工程とをコンピュータに実行させることを特徴とするプログラム。
A program for causing a computer to execute each step of a video transmission method for streaming video and audio to a receiving terminal,
A recording control step of performing control to record video and audio to be streamed to the receiving terminal in a buffer;
A receiving step of receiving information related to the recording start point or recording end point of the video and audio from the receiving terminal;
A program for causing a computer to execute a providing step of reading out video and audio in a range from a recording start point to a recording end point in the information received in the receiving step from the buffer and providing the same to the receiving terminal.
映像及び音声をストリーミング配信する映像送信装置に対して前記映像及び音声を要求する受信端末の制御方法の各工程をコンピュータに実行させるプログラムであって、
前記映像送信装置から配信される映像及び音声を受信する映像受信工程と、
前記映像送信装置から配信される映像及び音声を記録する際に、前記映像及び音声の記録開始点または記録終了点を入力する入力工程と、
前記入力工程において入力した記録開始点または記録終了点に係わる情報を前記映像送信装置に送信する送信工程とをコンピュータに実行させることを特徴とするプログラム。
A program that causes a computer to execute each step of a control method of a receiving terminal that requests the video and audio to a video transmission device that performs streaming distribution of video and audio,
A video receiving step of receiving video and audio distributed from the video transmitting device;
An input step of inputting a recording start point or a recording end point of the video and audio when recording the video and audio distributed from the video transmission device;
A program causing a computer to execute a transmission step of transmitting information related to a recording start point or a recording end point input in the input step to the video transmission device.
請求項11または12に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。   A computer-readable storage medium storing the program according to claim 11 or 12.
JP2007019810A 2007-01-30 2007-01-30 Video transmission device, video transmission method, program, and storage medium Active JP5006659B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007019810A JP5006659B2 (en) 2007-01-30 2007-01-30 Video transmission device, video transmission method, program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007019810A JP5006659B2 (en) 2007-01-30 2007-01-30 Video transmission device, video transmission method, program, and storage medium

Publications (2)

Publication Number Publication Date
JP2008187505A true JP2008187505A (en) 2008-08-14
JP5006659B2 JP5006659B2 (en) 2012-08-22

Family

ID=39730244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007019810A Active JP5006659B2 (en) 2007-01-30 2007-01-30 Video transmission device, video transmission method, program, and storage medium

Country Status (1)

Country Link
JP (1) JP5006659B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013500652A (en) * 2009-11-09 2013-01-07 ▲ホア▼▲ウェイ▼技術有限公司 Method, system and network device for implementing HTTP-based streaming media services
JP2014507084A (en) * 2010-12-27 2014-03-20 ▲華▼▲為▼▲終▼端有限公司 Method and mobile phone for capturing audio or video files
JP2014086861A (en) * 2012-10-23 2014-05-12 Needs Co Ltd Data distribution system and data distribution method
JP5656304B1 (en) * 2014-04-09 2015-01-21 パナソニック株式会社 Surveillance camera system used for home security
JP2015220674A (en) * 2014-05-20 2015-12-07 キヤノン株式会社 Video supply device, video acquisition device, control method therefor, and video supply system
US10529384B2 (en) 2016-02-17 2020-01-07 Tencent Technology (Shenzhen) Company Limited Video recording method and apparatus for mobile terminal

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003125339A (en) * 2001-10-12 2003-04-25 Ntt Comware Corp Method for editing synchronizing multi-media presentation and its program and its server and recording medium with its program recorded
JP2003199031A (en) * 2001-12-28 2003-07-11 Canon Inc Data processor, data processing server, data processing system, method of controlling data processor, method of controlling data processing server, computer program and computer-readable storage medium
JP2004015752A (en) * 2002-06-11 2004-01-15 Ntt Comware Corp Decorative moving image creation apparatus and method, decorative moving image creation program, and recording medium with program recorded thereon
JP2006074541A (en) * 2004-09-03 2006-03-16 Casio Comput Co Ltd Image transmitter, image processing device, and image transmission and reception system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003125339A (en) * 2001-10-12 2003-04-25 Ntt Comware Corp Method for editing synchronizing multi-media presentation and its program and its server and recording medium with its program recorded
JP2003199031A (en) * 2001-12-28 2003-07-11 Canon Inc Data processor, data processing server, data processing system, method of controlling data processor, method of controlling data processing server, computer program and computer-readable storage medium
JP2004015752A (en) * 2002-06-11 2004-01-15 Ntt Comware Corp Decorative moving image creation apparatus and method, decorative moving image creation program, and recording medium with program recorded thereon
JP2006074541A (en) * 2004-09-03 2006-03-16 Casio Comput Co Ltd Image transmitter, image processing device, and image transmission and reception system

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013500652A (en) * 2009-11-09 2013-01-07 ▲ホア▼▲ウェイ▼技術有限公司 Method, system and network device for implementing HTTP-based streaming media services
US9338216B2 (en) 2009-11-09 2016-05-10 Snaptrack, Inc. Method, system and network device for implementing HTTP-based streaming service
JP2014507084A (en) * 2010-12-27 2014-03-20 ▲華▼▲為▼▲終▼端有限公司 Method and mobile phone for capturing audio or video files
JP2014086861A (en) * 2012-10-23 2014-05-12 Needs Co Ltd Data distribution system and data distribution method
JP5656304B1 (en) * 2014-04-09 2015-01-21 パナソニック株式会社 Surveillance camera system used for home security
JP2015201088A (en) * 2014-04-09 2015-11-12 パナソニック株式会社 Monitoring camera system used for home security
US9947191B2 (en) 2014-04-09 2018-04-17 Panasonic Intellectual Property Management Co., Ltd. Monitoring system
JP2015220674A (en) * 2014-05-20 2015-12-07 キヤノン株式会社 Video supply device, video acquisition device, control method therefor, and video supply system
US10529384B2 (en) 2016-02-17 2020-01-07 Tencent Technology (Shenzhen) Company Limited Video recording method and apparatus for mobile terminal
US10796726B2 (en) 2016-02-17 2020-10-06 Tencent Technology (Shenzhen) Company Limited Video recording method and apparatus for mobile terminal

Also Published As

Publication number Publication date
JP5006659B2 (en) 2012-08-22

Similar Documents

Publication Publication Date Title
US7639943B1 (en) Computer-implemented system and method for automated image uploading and sharing from camera-enabled mobile devices
US20190069047A1 (en) Methods and systems for sharing live stream media content
WO2017197001A1 (en) System for video playback using a server generated manifest
JP4100421B2 (en) Computer system
JP5006659B2 (en) Video transmission device, video transmission method, program, and storage medium
JP5269208B2 (en) Data distribution method and apparatus
JP2005217791A (en) Image display method, device, and program
US10180776B2 (en) Image grouping with audio commentaries system and method
WO2017092258A1 (en) Method for prompting key point in live broadcast, server, user terminal and system
JP5909546B2 (en) Apparatus and method for streaming video
JP2009124693A (en) Recorder and content management method
WO2018224839A2 (en) Methods and systems for generating a reaction video
JP2007259128A (en) Distribution server device, client device and program used therefor
JP5921852B2 (en) Distribution device
JP7290260B1 (en) Servers, terminals and computer programs
JP2008048091A (en) Motion picture tagging program, motion picture tag system, and motion picture distributing method
US8788940B2 (en) System for generating and distributing content editing information
JP2005323068A (en) Home network av server and home network av server program
JP4680648B2 (en) Video registration and editing method and apparatus using mobile phone
JP2012156808A (en) Image transmission system and image reproducing device
TWI599218B (en) System for transferring real-time audio/video stream
JP4803501B2 (en) Content sending device
KR101947186B1 (en) Content reproduction method and system
JP2013021430A (en) Thumbnail image provision apparatus, method and system
JP5537968B2 (en) Relay server

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120525

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150601

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5006659

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150601

Year of fee payment: 3