JP4767443B2 - ネットワーク蓄積型ビデオカメラシステム - Google Patents
ネットワーク蓄積型ビデオカメラシステム Download PDFInfo
- Publication number
- JP4767443B2 JP4767443B2 JP2001204113A JP2001204113A JP4767443B2 JP 4767443 B2 JP4767443 B2 JP 4767443B2 JP 2001204113 A JP2001204113 A JP 2001204113A JP 2001204113 A JP2001204113 A JP 2001204113A JP 4767443 B2 JP4767443 B2 JP 4767443B2
- Authority
- JP
- Japan
- Prior art keywords
- packet
- moving image
- time
- network
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/27—Server based end-user applications
- H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
- H04N21/2747—Remote storage of video programs received via the downstream path, e.g. from the server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/4147—PVR [Personal Video Recorder]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42661—Internal components of the client ; Characteristics thereof for reading from or writing on a magnetic storage medium, e.g. hard disk drive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
- H04N7/17309—Transmission or handling of upstream communications
- H04N7/17318—Direct or substantially direct transmission and handling of requests
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワーク蓄積型ビデオカメラシステム即ち、ビデオカメラで撮影した映像や音声データを、有線或いは無線の通信ネットワークにより伝送し、ネットワーク上のサーバに蓄積保存するシステムに関するものである。
【０００２】
さらに、本発明は、カメラで撮像された動画像データをネットワーク上に蓄積する際、録画終了時の欠損データを修復可能とするネットワーク蓄積型ビデオカメラシステムに関する。
【０００３】
【従来の技術】
近年の動画像圧縮技術及びハードウエアデバイス技術の進歩により、デジタル動画像データを扱える民生機器が増えてきている。これらの機器では、大量の動画像データを蓄積するために大容量のハードディスク（ＨＤＤ）を装備して長時間録画を意図するものがある。一方、逆に数１０ＭＢのフラッシュ（FLASH）メモリを蓄積媒体とすることで小型化を図ったものがある。
【０００４】
しかし、前者は大容量ＨＤＤの搭載のため小型化が難しく、後者は録画時間が短く、記録時間を延ばすためには画質を犠牲にして圧縮率を上げる必要があるといった問題があり、一長一短である。
【０００５】
そこで、カメラ端末の小型化と長時間録画の両立のための解決策として、画像蓄積を、端末に内蔵される記録デバイスに行うのではなく、通信機能により接続した外部の記録デバイスに蓄積することが考えられる。記録デバイスを外部に置くことで、カメラ端末の小型化が実現する。また記録デバイスの容量を十分大きいものとすることで、長時間の録画が可能となる。
【０００６】
しかし、無線網のようにビットエラーが多く信頼性の低いネットワークを用いて正確にデータを転送するためには、データをパケット化し、通信経路の両端でパケットの到着を監視する。そして、到着していないパケットがあった場合は再送処理を行って、転送の前後でのデータの同一性の保証をする必要がある。
【０００７】
これを実現する手段としてＡＲＱ（Automatic Repeat Request:自動再送要求）技術がある。ＡＲＱはデータをフレームに分割して送信し、誤りフレームがあった場合に再送信の依頼を出すエラーフリー技術である。
【０００８】
しかし、ＡＲＱ技術により再送処理を行った場合、パケット消失が多い場合は、再送処理によりネットワーク上を再送パケットが頻繁に転送されて帯域を圧迫する。場合によっては輻輳を起こしてデータ転送そのものが不可能になってしまう。このためにＡＲＱ技術は、リアルタイムデータ転送には適さないとされている。
【０００９】
特にデジタルビデオカメラが生成するデジタル動画像データは、実時間で、且つ絶え間なく生成されるものである。このために輻輳に至らなくても実時間でのデータ転送完了が保証されなければ、送信できないデータがカメラ端末上に溜まってしまい、通信がボトルネックとなり、録画そのものが不可能となる。
【００１０】
逆にデータの正確さを犠牲にして実時間での転送を保証するなら、消失したパケットを再送しなければよい。しかし、その場合はカメラが符号化したデータを正確に転送出来ないので、ネットワーク上のサーバに蓄積された動画像データは正確に再生することができなくなる。このことは、デジタルビデオカメラの目的である動画像の記録機能を完全に実現できていないことを意味する。
【００１１】
【発明が解決しようとする課題】
したがって、本発明の目的は、動画像データをネットワーク上のサーバに蓄積するネットワーク蓄積型ビデオカメラシステムであって、特に信頼性の低いネットワーク上にあるサーバであっても、実時間で動画像データの蓄積を可能にすると同時に、完全な画像データをサーバ上に復元できるネットワーク蓄積型ビデオカメラシステムを提供することにある。
【００１２】
【課題を解決するための手段】
上記本発明の課題を解決する本発明に従うネットワーク蓄積型ビデオカメラシステムは、第１の態様として、動画像データを生成するカメラ端末装置と、
ネットワークと、前記ネットワークを通して前記カメラ端末装置に接続される動画像蓄積サーバを有し、前記カメラ端末装置は、生成した動画像データをパケットに変換してリアルタイムに前記動画像蓄積サーバに送信し、前記動画像蓄積サーバは、受信されるパケットを蓄積し、受信パケットの情報を前記カメラ端末装置に通知し、更に、前記カメラ端末装置は、通知された受信パケットの情報に基づき、送信時の欠落パケットを前記パケットのリアルタイム送信の終了後に前記動画像蓄積サーバに供給することを特徴とする。
【００１３】
上記本発明の課題を解決する本発明に従うネットワーク蓄積型ビデオカメラシステムは、第２の態様として、動画像データを生成するカメラ端末装置と、
ネットワークと、前記ネットワークを通して前記カメラ端末装置に接続される動画像蓄積サーバを有し、前記カメラ端末装置は、生成した動画像データをパケットに変換してリアルタイムに前記動画像蓄積サーバに送信し、前記動画像蓄積サーバは、受信されるパケットを蓄積し、受信パケットの情報を前記カメラ端末装置に通知し、更に、前記カメラ端末装置は、通知された受信パケットの情報に基づき、送信時の欠落パケットを前記パケットのリアルタイム送信と並行して別回線ルートで前記動画像蓄積サーバに供給することを特徴とする。
【００１４】
上記本発明の課題を解決する本発明に従うネットワーク蓄積型ビデオカメラシステムは、第３の態様として、前記第１又は第２の態様において、前記動画像蓄積サーバは、前記パケットのリアルタイムの送信時に蓄積したパケットと、前記カメラ端末装置からリアルタイム送信の終了後に供給される欠落パケットにより前記動画像データを復元することを特徴とする。
【００１５】
上記本発明の課題を解決する本発明に従うネットワーク蓄積型ビデオカメラシステムは、第４の態様として、前記第１の形態において、前記カメラ端末装置に、パケットのリアルタイム送信の終了後に前記動画像蓄積サーバに供給される前記送信時の欠落パケットを記憶する記憶媒体を受けるドライブ機構を有し、前記動画像蓄積サーバに、前記記憶媒体を受け、記憶されている前記送信時の欠落パケットを読み出すドライブ機構を有することを特徴とする。
【００１６】
上記本発明の課題を解決する本発明に従うネットワーク蓄積型ビデオカメラシステムは、第５の態様として、前第１又は第２の態様において、前記カメラ端末装置は、送信時に送信されるパケットを保持する記憶手段を有し、前記動画像蓄積サーバから通知される受信パケットの情報に基づき、前記動画像蓄積サーバで受信されたパケットを前記記憶手段から削除することにより、前記パケットのリアルタイム送信の終了後に前記動画像蓄積サーバに供給する欠落パケットを求めることを特徴とする。
【００１７】
上記本発明の課題を解決する本発明に従うネットワーク蓄積型ビデオカメラシステムは、第６の態様として、前記第５の態様において、前記カメラ端末装置は、ユーザにより撮像指示が入力されるユーザインタフェースを有し、前記カメラ端末装置の記憶手段の記憶可能残容量と、前記動画像蓄積サーバのパケット蓄積残容量と、前記ネットワークにおける過去のデータ転送速度及びデータ欠損率とに基づいて録画可能時間を推定し、前記推定される録画可能時間を前記ユーザインタフェースに表示することを特徴とする。
【００１８】
上記本発明の課題を解決する本発明に従うネットワーク蓄積型ビデオカメラシステムは、第７の態様として、前記第６の形態において、時刻Ｔにおける、前記カメラ端末装置の記憶手段の記憶可能残容量をＲｓ（Ｔ）バイト、前記動画像蓄積サーバのパケット蓄積残容量をＲｃ（Ｔ）バイト、時刻Ｔまでの一定時間に前記ネットワーク上で転送しようとする送信バイト数をＰｓ（Ｔ）バイト／秒とし、更に、前記ネットワーク上の欠損データ量をＰｌ（Ｔ）バイト／秒とする時、前記録画可能時間Ａ（Ｔ）を
Ａ（Ｔ）＝ＭＩＮ（Ａｓ（Ｔ），Ａｃ（Ｔ））
但し、Ａｓ（Ｔ）＝Ｒｓ（Ｔ）／（Ｐｓ（Ｔ）−Ｐｌ（Ｔ））
Ａｃ（Ｔ）＝Ｒｃ（Ｔ）／Ｐｌ（Ｔ）
により推定することを特徴とする。
【００１９】
上記本発明の課題を解決する本発明に従うネットワーク蓄積型ビデオカメラシステムは、第８の態様として、前記第３の態様において、さらに、前記動画像蓄積サーバにネットワークを通して、動画像再生端末が接続され、前記リアルタイム録画時には蓄積される動画像を前記動画像再生端末装置に配信し、録画終了後は復元されたデータ欠損のない動画像を配信することを特徴とする。
【００２０】
本発明の更なる特徴は、以下に図面に従い説明される実施の形態から明らかになる。
【００２１】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。なお、以下の説明において、同一又は類似の機能を有するものには、図において同一の参照数字又は記号を付して説明する。
【００２２】
なお、ここで本発明の理解を容易とするために、発明の実施の形態例に先だって先に言及した従来のシステム例を、図面を参照して説明する。
［実時間転送を保証するシステム例］
図１は、既存技術の組み合わせにより実現した動画像のネットワークサーバ蓄積システムの一例である。図１において、デジタルビデオカメラ端末装置１が、動画像伝送ネットワーク２を通して動画像蓄積サーバ装置３に接続されている。
【００２３】
図１に示すシステムは、デジタルビデオカメラ端末装置１と動画像蓄積サーバ装置３の間で動画像転送を実時間で行うことに主眼を置いた構成である。この場合は、動画像蓄積サーバ装置３に蓄積されるデータが完全であることを保証しない。
【００２４】
図１において、デジタルビデオカメラ端末装置１は、画像入力部１１及び音声入力部１２から入力される画像と音声データを、動画像符号化部１３により圧縮された動画像データに符号化し、送信プロトコル処理部１４に送る。
【００２５】
画像入力部１１はＣＣＤやＣＭＯＳなどの撮像素子を持ったカメラデバイスであり、音声入力部１２は、マイクロフォンとＡ／Ｄ変換デバイスにより実現される。動画像符号化部１３では、ＭＰＥＧ−４などの動画像圧縮形式により音声と画像データを圧縮し、バイナリデータを生成する機能を有するものである。
【００２６】
送信プロトコル処理部１４及び、動画像蓄積サーバ装置３内部の受信プロトコル処理部３２は、リアルタイム・データ転送用プロトコルであって、欠損データ再送無しに、データ転送を行う。例えば、インターネット上のプロトコルであるＲＴＰ（Real-time Transport Protocol）とＵＤＰ（User Datagram Protocol）を組み合わせることによって、これらのリアルタイム・データ転送用プロトコルとして適用できる。
【００２７】
送信プロトコル処理部１４は、データをパケットに変換するデータ／パケット変換部１４１、送信パケットバッファ１４２、パケット送信部１４３により構成される。データ／パケット変換部１４１は符号化されたバイナリデータを転送プロトコル用のパケット形式に変換し、送信パケットバッファ１４２に格納する。
【００２８】
送信パケットバッファ１４２はＦＩＦＯの構造を持ち、パケット送信部１４３は送信パケットバッファ１４２から最古のパケットを読み出し、送受信手段１５によりネットワーク２へと送信する。
【００２９】
動画像蓄積サーバ装置３では、送受信手段３１によってネットワーク２から送られてくるパケットを受信し、受信プロトコル処理部３２によってパケットをバイナリデータに変換し、動画像蓄積部３３に格納する。受信プロトコル処理部３２は、パケット受信部３２１、受信パケットバッファ３２２、パケット／データ変換部３２３から構成されている。受信プロトコル処理部３２は、送信プロトコル処理部１４と対になってデータの転送を行う。
【００３０】
上記の構成の場合、動画像転送ネットワーク２によってパケットの欠損が起きても、欠損をデジタルビデオカメラ端末装置１に通知する仕組みがない。また送信済みのパケットは送信パケットバッファ１４２から送信の都度削除されてしまうため、欠損したパケットを復元することができず、符号化した動画像のバイナリデータを完全な形で動画像データ蓄積部３３に格納できる保証はない。
［動画像データの欠落がないことを保証するシステム例］
図２は、別の既存技術の組み合わせにより実現した動画像のネットワークサーバ蓄積システムの一例であり、動画像蓄積サーバ装置３に蓄積されるデータが完全であることを保証するが、実時間の転送を保証しないシステム構成である。
【００３１】
図２の（Ａ）と（Ｂ）は、それぞれ図１のシステムにおける（Ａ）と（Ｂ）に対応しており、送信プロトコル処理部１４，受信プロトコル処理部３２を除いて、図１と図２は同様の構造をとる。したがって、図２において、画像入力部１１，音声入力部１２及び動画像データ蓄積部３３は、図示省略されている。以下に図１の構成と比較しながら図２の構成の特徴について説明する。
【００３２】
図１の場合と基本的に同様に動作するが、図１における欠損パケットの再送を行わない送信プロトコル処理部１４及び受信プロトコル処理部３２の代わりに、図２の例では再送処理を行う送信プロトコル処理部１４及び受信プロトコル処理部３２を用いる。再送処理を行う信頼性の高い伝送プロトコルとしては、例えばコネクション型のＴＣＰ(Transmission Control Protocol)などが適用できる。
【００３３】
データ／パケット変換部１４１は、動画像のバイナリデータからパケットを生成し、送信パケットバッファ１４２に格納する。パケットにはパケットの順番を示すシーケンス番号が含まれている。パケットはパケット送信部１４３によって送受信手段１５に送られる。同時に、再送パケットバッファ１４４にコピーされる。
【００３４】
動画像蓄積サーバ装置３側の送受信手段３１を通して受信されたパケットについて、パケット受信部３２１は受信したパケットのシーケンス番号を参照し、パケットの欠損を検出する。
【００３５】
シーケンス番号が連番であるときはパケットの欠損がないものとして受信パケットバッファ３２２にパケットを格納する。また、定期的に最後に受信したシーケンス番号（受信済みシーケンス番号）を、送信プロトコル処理部１４の受信通知処理部１４５に通知する。
【００３６】
受信通知処理部１４５は、受信済みシーケンス番号を参照して、そのシーケンス番号とそれ以前のシーケンス番号を持つパケットを、再送パケットバッファ１４４から削除する。
【００３７】
一方、パケット受信部３２１でシーケンス番号の不連続が検知された場合は、最後に連続して受信したシーケンス番号を受信通知処理部１４５に通知すると共に、パケットの再送要求を通知する。
【００３８】
受信通知処理部１４５は受信済みシーケンス番号以前のパケットを再送パケットバッファ１４から削除する。同時に、パケット再送部１４６により再送パケットバッファ１４４からのパケットの再送を行う。この時、パケットはパケット再送部１４６に送られると共に、再び再送パケットバッファ１４４に格納され、パケット受信部３２１から受信確認が通知されるまでバッファに留められる。
【００３９】
以上のように、図２にシステムでは、パケットの欠損の監視手段と欠損パケットの再送機構を設けることで、動画像バイナリデータは欠落なく動画像データ蓄積部３３に格納される。しかし再送処理を行っている間にも送信パケットバッファ１４２には送信すべきパケットが蓄積される。これにより、動画像転送ネットワーク２の帯域が十分に広くない場合は、送信パケットバッファ１４２のオーバフローが生じるという欠点がある。
【００４０】
したがって、本発明は、上記図１，図２のシステム例における欠点を解消するネットワーク蓄積型ビデオカメラシステムを提供することを目的とする。本発明の解決原理は、実時間での動画像蓄積と欠損のない完全な動画像データを得るために、リアルタイムのデータ蓄積と欠損データの復元を分けて処理することで課題を解決するものである。
【００４１】
すなわち、データの蓄積はリアルタイムに行う必要があるので、ネットワーク上でのパケット欠損を無視してパケット再送なしで転送を行う。そして、欠損したパケットの情報を送信側に通知する。
【００４２】
送信側では通知される欠損したパケットをローカルに保存しておき、リアルタイム録画が終了した後に欠損パケットと受信できたパケットを用いて元データを復元するものである。
【００４３】
図３は、上記本発明の解決原理を適用するネットワーク蓄積型ビデオカメラシステムの実施の形態例を示す図である。
【００４４】
図３に上記本発明の解決原理を適用した動画像のネットワークサーバ蓄積システムの構成例を示す。図３におけるネットワークサーバ蓄積システムは、デジタルビデオカメラ端末装置１、動画像転送ネットワーク２、動画像蓄積サーバ装置３及び、欠損パケット転送手段４を有して構成される。
【００４５】
デジタルビデオカメラ端末装置１において、画像入力部１１、音声入力部１２から入力した画像及び音声は、動画像符号化部１３によってバイナリデータへと変換される。変換されたバイナリデータは、送信プロトコル処理部１４に読み込まれる。送信プロトコル処理部１４に読み込まれたバイナリデータは、データ／パケット変換部１４１により連番となるシーケンス番号の付されたパケットに分割される。
【００４６】
分割されたパケットは、送信パケットバッファ１４２に順次に格納される。送信パケットバッファ１４２は複数のパケットを格納し、ＦＩＦＯ(First In First Out)の順番でデータをパケット送信部１４３に送出する。これと同時に、送出したパケットのコピーを欠損パケットバッファ１４７に格納する。
【００４７】
パケット送信部１４３から出力されるパケットは、送受信手段１５により動画像転送ネットワーク２に送り出される。動画像転送ネットワーク２は、有線公衆網や無線公衆網、無線ＬＡＮやインターネットなどが想定される。したがって、送受信手段１５及び動画像蓄積サーバ装置３側の送受信手段３１として、適宜のネットワーク２の形態に対応する通信に必要な機能装置が選択される。
【００４８】
動画像蓄積サーバ装置３において、受信したパケットはパケット受信部３２１によって受信される。そして、受信されたパケットは受信パケットバッファ３２２に格納され、次いでＦＩＦＯ順に読み出されて受信パケット蓄積部３４に格納される。
【００４９】
同時にパケット受信部３２１は、パケットのシーケンス番号をチェックする。シーケンス番号に不連続が発見されない場合は、パケット受信部３２１は定期的に最後に受信したシーケンス番号（受信済みシーケンス番号）を、デジタルビデオカメラ端末装置１側の受信通知処理部１４８に通知する。
【００５０】
受信通知処理部１４８は、受信済みシーケンス番号により、この受信済みシーケンス番号より前のパケットは、動画像蓄積サーバ装置３側で受信できていることが確認できるので、これらのパケットを欠損パケットバッファ１４７から削除する。
【００５１】
一方、パケット受信部３２１がパケットシーケンス番号の不連続を発見した場合、シーケンス番号の不連続区間の最後となるシーケンス番号（欠損シーケンス番号）を受信通知処理部１４８に通知する。受信通知処理部１４８は、欠損シーケンス番号より小さい、即ち欠損シーケンス番号を含む欠損シーケンス番号以前のシーケンス番号のパケットを、欠損パケット蓄積部１６にコピーすると同時に欠損パケットバッファ１４７から削除する。
【００５２】
以上の動作によりデータ／パケット変換部１４１が生成したパケットは、すべて受信パケット蓄積部３４もしくは欠損パケット蓄積部１６に格納されたことになる。また、再送処理を行わないため受信パケット蓄積部３４に対し、リアルタイム録画処理が実現可能となる。
【００５３】
一方、録画終了後等、リアルタイムの動画像転送が終了した後に受信パケット蓄積部３４と欠損パケット蓄積部１６に格納されたパケットにより動画像データを復元処理を行う。すなわち、復元処理を開始すると、パケット／データ変換部３２３は、受信パケット蓄積部３４と欠損パケット蓄積部１６からシーケンス番号順にパケットを読み出し、バイナリデータに変換してから動画像データ蓄積部３３に格納する。
【００５４】
欠損パケット蓄積部１６からのパケットは欠損パケット転送手段４を経由してパケット／データ変換部３２３により参照される。欠損パケット転送手段４としてはケーブル接続、ＴＣＰなどの信頼性の高いネットワークなどであり、データの欠損が生じない手段であればよく、リアルタイム性は問わない。
【００５５】
以上の処理により最終的に動画像データ蓄積部３３に欠損なく動画像データが蓄積されることが保証され、図１及び図２における課題が解消される。
【００５６】
図４は、本発明を動画像ライブ配信システムに適用したときの、実施例構成図である。図５は、図４のシステムの録画開始までの処理フローである。
【００５７】
本システムはネットワークカメラ端末１、メモリカード２、ネットワーク３、動画像サーバ４、ネットワーク５、クライアント再生端末６から構成される。本システムの目的は、ネットワークカメラ端末１が撮影した画像を、リアルタイムに動画像サーバ３に録画する機能とともに、クライアント再生端末６に配信する機能を提供することである。
【００５８】
また動画像サーバ３上に録画した動画像を、クライアント再生端末６からの要求に応じて再配信する機能も有する。
【００５９】
かかる機能実現のためにネットワークカメラ端末１は、ネットワーク２を通して動画像サーバ３に接続し、複数のクライアント再生端末６が、ネットワーク２又は別個のネットワーク５を通して、動画像サーバ３に接続される。
【００６０】
図５の処理フローを参照して図４のシステムの動作を以下に説明する。先ず、ネットワークカメラ端末１において、ユーザインタフェース１０１からユーザの録画指示を受けると（処理工程Ｐ１）、端末制御部１０２は無線通信装置１０３を起動する（処理工程Ｐ２）。
【００６１】
ユーザインタフェース１０１は、図６に実施例として示されるように液晶ディスプレイ１１１を有し、その上にメニュー１１２と画像表示領域１１３に撮影している画像を表示する。また、液晶ディスプレイ１１１に重ねて透明なタッチパネル１１４が配置され、タッチペン１１５で画面をタップすると、その位置はタッチパネルドライバ１１６により検知され、コマンド処理部１１７によってタップした位置と選択したメニューに相当する処理が実行される。
【００６２】
端末制御部１０２は制御ソフトウエア及びマイクロプロセッサにより構成される。無線通信装置１０３は端末制御部１０２から出力する通信コマンド（ＡＴコマンド等）を解釈し、指定された無線ゲイトウエイ３０２との間に無線網３０１上に無線経路を接続する。これにより、端末制御部１０２はネットワーク通信装置４０２を通してサーバ制御部４０１と通信を確立し（処理工程Ｐ３）、サーバ制御部４０１は端末制御部１０２と通信を確立する（処理工程Ｐ４）。
【００６３】
ついで、端末制御部１０２はネットワーク２を構成する、無線網３０１と無線ゲイトウエイ３０３及び有線ネットワーク３０３を経由して動画像サーバ４のサーバ制御部４０１との間で、録画に関するネゴシエーションを行う。
【００６４】
ネゴシエーションは次の手順で行われる。端末制御部１０２からサーバ制御部４０１に端末ＩＤを送信する（処理工程Ｐ５）。サーバ制御部４０１で端末ＩＤ確認を行い成功すると、認証成功が端末制御部１０２側に通知される（処理工程Ｐ６）。認証が成功すると、端末制御部１０２から録画開始要求がサーバ制御部４０１に送られる（処理工程Ｐ７）。
【００６５】
ついで、サーバ制御部４０１は録画するコンテンツＩＤを端末制御部１０２に送信する（処理工程Ｐ８）。コンテンツＩＤは、録画する動画像を識別するための番号であり、動画像データ毎に一意に設定されるものである。
【００６６】
このようにして、ネゴシエーションが終了すると、次いで端末制御部１０２とサーバ制御部４０１は動画像リアルタイム送信用セッションを開始する（処理工程Ｐ９）。端末制御部１０２は、動画像符号化装置１３と送信プロトコル処理部１４を起動する（処理工程Ｐ１０，Ｐ１１）。一方、サーバ制御部４０１は受信プロトコル処理部３２を起動する（処理工程Ｐ１２）。
【００６７】
端末制御部１０２から送信プロトコル処理部１４に、先に処理工程Ｐ８でサーバ制御部４０１から通知されたコンテンツＩＤを送り（処理工程Ｐ１３）、サーバ制御部４０１から受信プロトコル処理部３２に同様にコンテンツＩＤを送り（処理工程Ｐ１４）録画を開始する（処理工程Ｐ１５）。
【００６８】
ここで、上記カメラ１１はＣＭＯＳやＣＣＤデバイスを用いたビデオカメラであり、撮影したデジタルＹＵＶ信号を動画像符号化装置１３に送る。マイクロフォン１２も同様に音声をサンプリングしたＰＣＭ信号を生成し、動画像符号化装置１３に送る。動画像符号化装置１３は、ＭＰＥＧ-4やＨ.263などのフォーマットで動画像を符合化する装置であり、ハードウエアにより構成してもよいし、ソフトウエアで実現することも可能である。
【００６９】
送信プロトコル処理部１４と受信プロトコル処理部３２の機能構成を図７に示す。図７において、送信プロトコル処理部１４と受信プロトコル装置３２の機能構成以外の部分は省略して示している。図７の左側部が送信プロトコル処理部１４の機能構成であり、右側部が受信プロトコル処理部３２の機能構成である。
【００７０】
動画像符号化装置１３が生成した動画像データのビットストリームは、ＲＴＰパケットジェネレータ１５１によりＲＴＰ（Real-time Transport Protocol）パケットに変換される。ＲＴＰパケットはヘッダ部分にパケットの送信順に振られた自然数のシーケンス番号（１６bit）と、パケットの先頭バイトが送信された時間を示すタイムスタンプ（３２bit）を持つ。
【００７１】
ＲＴＰパケットの構造を図８に示す。タイムスタンプＩは録画時刻を示し、タイムスタンプジェネレータ１５２により管理され、シーケンス番号はパケットの順序を示し、シーケンス番号ジェネレータ１５３により管理され、それぞれ適宜パケットに付加される。
【００７２】
ＲＴＰパケットは送信ＲＴＰパケットバッファ１５４に格納される。パケットバッファ１５４はＦＩＦＯ構造をとり、最初に書込まれたパケットが最初に読みだされる構造であり、読み出されたパケットはパケットバッファ１５４から消去されるように動作する。
【００７３】
送信ＲＴＰパケットバッファ１５４は、パケット送信部１５５によりパケットが読み出されるときに、同時に欠損ＲＴＰパケットバッファ１５６にパケットのコピーを書き込む。これにより動画像サーバ３に送信されたＲＴＰパケットのコピーは、一時的に欠損ＲＴＰパケットバッファ１５６にバックアップ保存される。
【００７４】
パケット送信部１５５から受信プロトコル処理部３２のパケット受信部４３１へ、ネットワーク２及び通信装置１０３，４０２を介してＲＴＰパケット転送を行う。パケット受信部４３１は受信したＲＴＰパケットを受信ＲＴＰパケットバッファ４３２に格納する。格納されたＲＴＰパケットは、順次ハードディスク装置（ＨＤＤ）４０３に転送保存される。
【００７５】
受信ＲＴＰパケットバッファ４３２の出力は、同時にパケットメモリ４３３にも保存される。パケットメモリ４３３には、最新のパケットを２個だけ格納するように制御されている。シーケンスチェッカ４３４は、パケットバッファ４３３に新しいパケットが格納されると、２つのＲＴＰパケットのヘッダ部のシーケンス番号とタイムスタンプを比較し、それらが連続していればパケット欠損なし、不連続であればパケットの欠損ありと判断する。
【００７６】
受信パケットカウンタ４３５は受信したパケットの数をカウントしており、一定数Ｐ（Ｐ＜欠損ＲＴＰパケットバッファ１５６に格納できるパケット数）に達すると、シーケンスチェッカ４３４に割り込みをかける。割り込みが発生するとシーケンスチェッカ４３４はパケットメモリ４３３を参照し、最新のＲＴＰパケットのタイムスタンプＴaとシーケンス番号Ｓaから、図９に例示する受信通知情報を作成する。この受信通知情報が受信通知処理部１５７に送信されると共に、受信パケットカウンタ４３５が０にクリアされる。
【００７７】
シーケンスチェッカ４３４はパケットの欠損を発見した場合、以下の処理を行う。まずパケットメモリ４３３に格納されている古いＲＴＰパケット（シーケンス番号及びタイムスタンプの値が小さい方のパケット）のタイムスタンプＴb, シーケンス番号Ｓbから、図１０の受信通知情報を作成し、受信通知処理部１５７に送信する。
【００７８】
次にパケットメモリ４３３中の新しいＲＴＰパケット（シーケンス番号及びタイムスタンプの値が大きい方のパケット）のタイムスタンプＴc, シーケンス番号Ｓcから、図１１の受信通知情報を作成し、受信通知処理部１５７に送信する。
【００７９】
以上、２個の受信通知情報（図１０，図１１）を受信通知処理部１５７に送信した後、シーケンスチェッカ４３４は受信パケットカウンタ４３５をクリアする。
【００８０】
受信通知処理部１５７は、シーケンスチェッカ４３４が生成する２種類の受信通知情報に応じて、次の処理を行う。
【００８１】
受信通知情報の第１ワード（Word）の１Bit目が０で、受信通知情報のタイムスタンプをＴd、シーケンス番号をＳdとした場合の処理を図１２に示す。このとき受信通知処理部１５７は、欠損ＲＴＰパケットバッファ１５６を参照して、Ｔd、Ｓdのタイムスタンプとシーケンス番号を持つＲＴＰパケットを探す。
【００８２】
該当のＲＴＰパケット及び、ＦＩＦＯ上で前記該当のパケットよりも先に格納されているＲＴＰパケット分（図１２のａ参照）は送信成功とみなし、欠損ＲＴＰパケットバッファ１５６から削除する。したがって、パケット削除後の欠損ＲＴＰパケットバッファ１５６の内容は、図１２のｂに示す如くになる。
【００８３】
なお、該当パケットがみつからない場合、すでに欠損ＲＴＰパケットバッファ１５６から消去されているとみなし処理を行わない。
【００８４】
受信通知の第１ワード（Word）の１Bit目が１、受信通知情報のタイムスタンプをＴe、シーケンス番号をＳeとした場合の処理を図１３に示す。このとき受信通知処理部１５７は、欠損ＲＴＰパケットバッファ１５６を参照して、Ｔe、Ｓeのタイムスタンプとシーケンス番号を持つＲＴＰパケットを探す。
【００８５】
そして、該当のＲＴＰパケットだけを欠損ＲＴＰパケットバッファ１５６から削除し（図１３のａ参照）、ＦＩＦＯ上で該当のパケットよりも先に格納されているＲＴＰパケットは受信失敗したものとみなしてカードスロット１０４に挿入されているメモリカード１０に格納する（図１３のｂ、図４参照）。したがって、欠損ＲＴＰパケットバッファ１５６の内容は、図１３のｃに示す如くになる。
【００８６】
なお、該当パケットがみつからない場合、すでに欠損ＲＴＰパケットバッファ１５６から消去されているとみなし処理を行わない。
【００８７】
パケットバッファ監視部１５８は、欠損ＲＴＰパケットバッファ１５６に関して、バッファオーバフローとＲＴＰパケットのタイムアウトを監視している。
【００８８】
欠損ＲＴＰパケットバッファ１５６のバッファ残容量が一定割合（例えば、１０％）を下回った場合、オーバーフローを防ぐために、一定数（例えば、１０％）のＲＴＰパケットを読み出し、メモリカード１０に格納する。また格納されているＲＴＰパケットのタイムスタンプを監視しており、一定時間（例えば、１秒）以上古いパケットをメモリカード１０に格納する。
【００８９】
メモリカード１０は、メモリカードスロット１０４によってネットワークカメラ端末１と接続している。メモリカード１０は、コンテンツＩＤとＲＴＰパケットを格納するものであり、例えばスマートメディア、コンパクトフラッシュ、メモリスティック（商標）などの記録デバイスが適用出来る。
【００９０】
ここで、ネットワークカメラ端末１の録画時間は、ネットワーク上の蓄積媒体であるＨＤＤ４０４の容量及び、メモリカード１０の容量に依存する。ネットワークカメラ端末１の録画時間は、ネットワーク２におけるＲＴＰパケットの欠損率によって決定する。しかし将来におけるパケット欠損率は不明であるため、正確に残りの録画時間を算出することができない。そこで残りの録画時間を以下の処理によって算出してユーザに表示する。
【００９１】
時刻ＴにおけるＨＤＤ４０４の書き込み可能容量をＲｓ(Ｔ)(Byte)、メモリカード１０の書き込み可能容量をＲｃ(Ｔ)(Byte)とし、時刻Ｔまでの一定時間（例えば、１０秒）における１秒あたりのＲＴＰパケットの総送信バイト数をＰｓ(Ｔ)(Byte/sec)、１秒あたりのＲＴＰパケットの欠損バイト数Ｐｌ(Ｔ)(Byte/sec)とする。このとき、このパケット欠損比率で録画が行われるならば、ＨＤＤ４０４が録画出来る時間は、下記の式により計算されるＡｓ（Ｔ）秒である。すなわち、Ａｓ（Ｔ）秒に録画不能となる。
【００９２】
Ａs（Ｔ）＝Ｒs（Ｔ）／(Ｐs(Ｔ)-Ｐl(Ｔ)) ・・・式１
同様にメモリカード１０に欠損パケットが蓄積不可能になるのは時間Ａc（Ｔ）秒後である。
【００９３】
Ａc（Ｔ）＝Ｒc（Ｔ）／Ｐl（Ｔ） ・・・式２
したがって、時刻Ｔにおける残り録画時間Ａ(Ｔ)（秒）は、Ａs（Ｔ）又は、Ａc（Ｔ）のいずれか小さい方の時間であり、次式の関係で示される。
【００９４】
Ａ(Ｔ)＝ＭＩＮ（Ａs(Ｔ),Ａc(Ｔ)） ・・・式３
ネットワーク２におけるパケットの欠損率の変動に伴い、残り録画時間も変動する。ネットワーク２が切断された場合は、すべてのパケットをメモリカード１０に蓄積するため、ローカル録画に相当する時間が残り録画時間となる。
【００９５】
また、パケット欠損がまったくない場合はＨＤＤ４０４にすべてのパケットを格納することになるので、録画時間はメモリカード１０の容量に依存しなくなる。
【００９６】
端末制御部１０２は定期的に上記の残り録画時間を計算し、ユーザインタフェース１０１の液晶ディスプレイ１１１上の状態表示領域１１８にテキストもしくはグラフで表示する。
【００９７】
ＨＤＤ４０３は、受信したコンテンツＩＤとＲＴＰパケットをリアルタイムで格納する。このＲＴＰパケットは、同時にネットワーク配信装置４０５により、リアルタイムにネットワーク５を通してクライアント再生端末６に配信される（ライブ配信サービス）。
【００９８】
ネットワーク５に接続したクライアント再生端末６は、動画像サーバ３に対して端末ＩＤを送る。動画像サーバ３は接続認証手段４０４により端末ＩＤを認証し、認証成功した場合はコネクションを確立し、ＲＴＰセッションによる動画像配信を開始する。
【００９９】
ユーザインタフェース１０１で、ユーザがメニュー１１２から録画終了のメニューを選択すると、端末制御部１０２がサーバ制御部４０１に録画の終了を通知する。その後、動画像通信を行っていたＲＴＰセッションを終了し、無線通信装置１０３が接続していた回線を切断する。
【０１００】
欠損ＲＴＰパケットバッファ１５６（図７）にＲＴＰパケットが残っている場合、パケットをメモリカード１０に保存して、すべての処理を終了する。
【０１０１】
動画像サーバ３では、サーバ制御部４０１が録画終了を受信すると、受信ＲＴＰバッファ４３２に格納されたＲＴＰパケットを全てＨＤＤ４０３に格納し、ＲＴＰセッションの終了処理を行い、録画処理を終了する。
【０１０２】
リアルタイム録画が終了した後、メモリカード１０はネットワークカメラ１のメモリカードスロット１０４から取り外され、動画像サーバ３のメモリカードスロット４０６に接続されると、欠損パケット復元部４０７が起動する。
【０１０３】
欠損パケット復元部４０７はメモリカード１０に格納されているコンテンツＩＤを参照し、同じコンテンツＩＤを持つＲＴＰパケット群をＨＤＤ４０３から検索する。メモリカード１０中のＲＴＰパケットとタイムスタンプ及びシーケンス番号参照して、パケットの生成された順にソートを行う。
【０１０４】
ソートされたＲＴＰパケットからペイロードを抽出して動画像のビットストリームに構成し直し、ＨＤＤ４０８に格納する。このビットストリームは、動画像符号化装置１０４が生成したものに等しい。
【０１０５】
ＨＤＤ４０８に格納されたビットストリームをクライアント再生端末６に配信する時は、配信プロトコル処理部４０９が、ビットストリームをＲＴＰパケットに変換する。変換されたＲＴＰパケットは、ライブ配信時と同様にネットワーク配信装置４０５から配信されるが、欠損パケットの修復後のビットストリームからＲＴＰパケットが生成されている。このため、ネットワーク５による欠損を除き、欠損のない動画像を配信することができる。
【０１０６】
上記実施例において、メモリカード１０を物理的に動画像サーバ３のメモリカードスロット４０６に接続する代わりに、録画終了後にネットワーク経由で欠損パケットを動画像サーバ３に転送するように構成しても良い。また録画終了後ではなく、録画中に欠損パケットの転送処理を行っても良い。
【０１０７】
図１４は、上記の録画終了後にネットワーク経由で欠損パケットを動画像サーバ３に転送する場合及び、欠損パケット５の転送処理を録画中に行う場合の実施例を説明する構成図である。
【０１０８】
ネットワークカメラ１は先に説明した図４の実施例の構成に加え、欠損パケット転送手段１０７を有する。また、動画像サーバ３は欠損パケット受信手段４１０とＨＤＤ４１１を有する。メモリカード１０に蓄積されている欠損パケットは、録画中に、欠損パケット転送手段１０７と欠損パケット受信手段４１０の間でネットワーク２を介してＴＣＰ／ＩＰなどのコネクション型転送プロトコルにより転送される。
［録画終了後に欠損パケットを転送する場合］
録画終了後、欠損パケット転送手段１０７と欠損パケット受信手段４１０によりメモリカード１０の欠損パケットとコンテンツＩＤがＨＤＤ４１１に転送される。
【０１０９】
転送が終了した時点で、欠損パケット復元部４０８７起動し、ＨＤＤ４０３とＨＤＤ４１１に蓄積されたパケットのうち、同じコンテンツＩＤのパケットをタイムスタンプとシーケンス番号を参照してソートして、ＲＴＰパケットからペイロードを抽出して動画像のビットストリームに構成し直し、ＨＤＤ４０８に格納する。
【０１１０】
これにより物理的に離れた動画像サーバ３に対しても、メモリカード１０の差し替えなしに動画像データの復元を行うことができる。
［録画中に欠損パケットを転送する場合］
録画中にも欠損パケット１０７と欠損パケット受信手段４１０によりメモリカード１０の欠損パケットとコンテンツＩＤがＨＤＤ４１１に転送してもよい。この転送はリアルタイム性を必要とせず、またリアルタイム転送を行っているＲＴＰセッションを圧迫しない程度の帯域で行われる。
【０１１１】
送信された欠損パケットは、メモリカード１０から削除され、ＨＤＤ４１１に蓄積される。メモリカード１０からＨＤＤ４１１に転送されたパケット分だけ、先に示した式２により計算される、ネットワークカメラ端末１にローカル録画可能な残り録画時間が長くなる。録画可能な残り時間は先の式１，２，３により適宜計算されユーザインタフェース１０１に表示される。
【０１１２】
録画終了時点でメモリカード１０上に欠損パケットがある場合は、メモリカード１０をメモリカードスロット４０６に挿入して欠損パケットを復元してもよいし、ネットワーク２を経由して復元してもよい。
【０１１３】
（付記１）
動画像データを生成するカメラ端末装置と、
ネットワークと、
前記ネットワークを通して前記カメラ端末装置に接続される動画像蓄積サーバを有し、
前記カメラ端末装置は、生成した動画像データをパケットに変換してリアルタイムに前記動画像蓄積サーバに送信し、
前記動画像蓄積サーバは、受信されるパケットを蓄積し、受信パケットの情報を前記カメラ端末装置に通知し、
更に、前記カメラ端末装置は、通知された受信パケットの情報に基づき、送信時の欠落パケットを前記パケットのリアルタイム送信の終了後に前記動画像蓄積サーバに供給する
ことを特徴とするネットワーク蓄積型ビデオカメラシステム。
【０１１４】
（付記２）
動画像データを生成するカメラ端末装置と、
ネットワークと、
前記ネットワークを通して前記カメラ端末装置に接続される動画像蓄積サーバを有し、
前記カメラ端末装置は、生成した動画像データをパケットに変換してリアルタイムに前記動画像蓄積サーバに送信し、
前記動画像蓄積サーバは、受信されるパケットを蓄積し、受信パケットの情報を前記カメラ端末装置に通知し、
更に、前記カメラ端末装置は、通知された受信パケットの情報に基づき、送信時の欠落パケットを前記パケットのリアルタイム送信と並行して別回線ルートで前記動画像蓄積サーバに供給する
ことを特徴とするネットワーク蓄積型ビデオカメラシステム。
【０１１５】
（付記３）付記１又は２において、
前記動画像蓄積サーバは、前記パケットのリアルタイムの送信時に蓄積したパケットと、前記カメラ端末装置からリアルタイム送信の終了後に供給される欠落パケットにより前記動画像データを復元することを特徴とするネットワーク蓄積型ビデオカメラシステム。
【０１１６】
（付記４）付記１において、
前記カメラ端末装置に、パケットのリアルタイム送信の終了後に前記動画像蓄積サーバに供給される前記送信時の欠落パケットを記憶する記憶媒体を受けるドライブ機構を有し、
前記動画像蓄積サーバに、前記記憶媒体を受け、記憶されている前記送信時の欠落パケットを読み出すドライブ機構を有することを特徴とするネットワーク蓄積型ビデオカメラシステム。
【０１１７】
（付記５）付記１又は２において、
前記カメラ端末装置は、送信時に送信されるパケットを保持する記憶手段を有し、前記動画像蓄積サーバから通知される受信パケットの情報に基づき、前記動画像蓄積サーバで受信されたパケットを前記記憶手段から削除することにより、前記パケットのリアルタイム送信の終了後に前記動画像蓄積サーバに供給する欠落パケットを求めることを特徴とするネットワーク蓄積型ビデオカメラシステム。
【０１１８】
（付記６）付記５において、
前記カメラ端末装置は、ユーザにより撮像指示が入力されるユーザインタフェースを有し、
前記カメラ端末装置の記憶手段の記憶可能残容量と、前記動画像蓄積サーバのパケット蓄積残容量と、前記ネットワークにおける過去のデータ転送速度及びデータ欠損率とに基づいて録画可能時間を推定し、
前記推定される録画可能時間を前記ユーザインタフェースに表示することを特徴とするネットワーク蓄積型ビデオカメラシステム。
【０１１９】
（付記７）付記６において、
時刻Ｔにおける、前記カメラ端末装置の記憶手段の記憶可能残容量をＲｓ（Ｔ）バイト、前記動画像蓄積サーバのパケット蓄積残容量をＲｃ（Ｔ）バイト、時刻Ｔまでの一定時間に前記ネットワーク上で転送しようとする送信バイト数をＰｓ（Ｔ）バイト／秒とし、更に、前記ネットワーク上の欠損データ量をＰｌ（Ｔ）バイト／秒とする時、前記録画可能時間Ａ（Ｔ）を
Ａ（Ｔ）＝ＭＩＮ（Ａｓ（Ｔ），Ａｃ（Ｔ））
但し、Ａｓ（Ｔ）＝Ｒｓ（Ｔ）／（Ｐｓ（Ｔ）−Ｐｌ（Ｔ））
Ａｃ（Ｔ）＝Ｒｃ（Ｔ）／Ｐｌ（Ｔ）
により推定することを特徴とするネットワーク蓄積型ビデオカメラシステム。
【０１２０】
（付記８）付記３において、
さらに、前記動画像蓄積サーバにネットワークを通して、動画像再生端末が接続され、前記リアルタイム録画時には蓄積される動画像を前記動画像再生端末装置に配信し、録画終了後は復元されたデータ欠損のない動画像を配信することを特徴とするネットワーク蓄積型ビデオカメラシステム。
【０１２１】
【発明の効果】
上記に図面に従い説明したように、本発明により動画像及び音声をリアルタイムにネットワーク上のサーバに録画することができる。これにより、ネットワーク上のサーバにリアルタイム録画を行うためにビデオカメラの小型化と長時間録画を同時に実現することができる。
【０１２２】
さらに、録画時間の残りをネットワークのパケット欠損率より推定して表示するため、不確定なネットワーク状態を意識させずにユーザに録画時間の残りを通知でき、ユーザ利便性が向上する。
【０１２３】
また、本発明によれば、リアルタイム録画すると同時にライブ配信を行うことができる。ライブ配信のように画質クオリティよりもリアルタイム性が要求される用途のみならず、動画像のＶＯＤ（Video On Demand）配信やダウンロードサービスなどのように画像品質が重要なサービス向けのコンテンツも作成することができる。
【図面の簡単な説明】
【図１】既存技術の組み合わせにより実現した動画像のネットワークサーバ蓄積システムの一例を示す図である。
【図２】別の既存技術の組み合わせにより実現した動画像のネットワークサーバ蓄積システムの一例を示す図である。
【図３】上記本発明の解決原理を適用するネットワーク蓄積型ビデオカメラシステムの実施の形態例を示す図である。
【図４】本発明を動画像ライブ配信システムに適用したときの、実施例構成図である。
【図５】図４のシステムの処理フローを示す図である。
【図６】ユーザインタフェース１０１の実施例を示す図である。
【図７】送信プロトコル処理部１４と受信プロトコル処理部３２の機能構成を示す図である。
【図８】ＲＴＰパケットの構造を示す図である。
【図９】受信通知情報の一例（その１）を示す図である。
【図１０】受信通知情報の一例（その２）を示す図である。
【図１１】受信通知情報の一例（その３）を示す図である。
【図１２】受信通知情報のタイムスタンプをＴd、シーケンス番号をＳdとした場合の送信成功時の処理を示す図である。
【図１３】受信通知情報のタイムスタンプをＴe、シーケンス番号をＳeとした場合の送信失敗時の処理を示す図である。
【図１４】録画終了後に欠損パケットを動画像サーバ３に転送する場合及び、欠損パケット５の転送処理を録画中に行う場合の実施例を説明する構成図である。
【符号の説明】
１ デジタルビデオ端末装置
２ ネットワーク
３ 動画像蓄積サーバ装置
４ 欠損パケット転送手段
１１ 画像入力部
１２ 音歳入力部
１４ 送信プロトコル処理部
１５、３１ 送受信手段
３２ 受信プロトコル処理部
【発明の属する技術分野】
本発明は、ネットワーク蓄積型ビデオカメラシステム即ち、ビデオカメラで撮影した映像や音声データを、有線或いは無線の通信ネットワークにより伝送し、ネットワーク上のサーバに蓄積保存するシステムに関するものである。
【０００２】
さらに、本発明は、カメラで撮像された動画像データをネットワーク上に蓄積する際、録画終了時の欠損データを修復可能とするネットワーク蓄積型ビデオカメラシステムに関する。
【０００３】
【従来の技術】
近年の動画像圧縮技術及びハードウエアデバイス技術の進歩により、デジタル動画像データを扱える民生機器が増えてきている。これらの機器では、大量の動画像データを蓄積するために大容量のハードディスク（ＨＤＤ）を装備して長時間録画を意図するものがある。一方、逆に数１０ＭＢのフラッシュ（FLASH）メモリを蓄積媒体とすることで小型化を図ったものがある。
【０００４】
しかし、前者は大容量ＨＤＤの搭載のため小型化が難しく、後者は録画時間が短く、記録時間を延ばすためには画質を犠牲にして圧縮率を上げる必要があるといった問題があり、一長一短である。
【０００５】
そこで、カメラ端末の小型化と長時間録画の両立のための解決策として、画像蓄積を、端末に内蔵される記録デバイスに行うのではなく、通信機能により接続した外部の記録デバイスに蓄積することが考えられる。記録デバイスを外部に置くことで、カメラ端末の小型化が実現する。また記録デバイスの容量を十分大きいものとすることで、長時間の録画が可能となる。
【０００６】
しかし、無線網のようにビットエラーが多く信頼性の低いネットワークを用いて正確にデータを転送するためには、データをパケット化し、通信経路の両端でパケットの到着を監視する。そして、到着していないパケットがあった場合は再送処理を行って、転送の前後でのデータの同一性の保証をする必要がある。
【０００７】
これを実現する手段としてＡＲＱ（Automatic Repeat Request:自動再送要求）技術がある。ＡＲＱはデータをフレームに分割して送信し、誤りフレームがあった場合に再送信の依頼を出すエラーフリー技術である。
【０００８】
しかし、ＡＲＱ技術により再送処理を行った場合、パケット消失が多い場合は、再送処理によりネットワーク上を再送パケットが頻繁に転送されて帯域を圧迫する。場合によっては輻輳を起こしてデータ転送そのものが不可能になってしまう。このためにＡＲＱ技術は、リアルタイムデータ転送には適さないとされている。
【０００９】
特にデジタルビデオカメラが生成するデジタル動画像データは、実時間で、且つ絶え間なく生成されるものである。このために輻輳に至らなくても実時間でのデータ転送完了が保証されなければ、送信できないデータがカメラ端末上に溜まってしまい、通信がボトルネックとなり、録画そのものが不可能となる。
【００１０】
逆にデータの正確さを犠牲にして実時間での転送を保証するなら、消失したパケットを再送しなければよい。しかし、その場合はカメラが符号化したデータを正確に転送出来ないので、ネットワーク上のサーバに蓄積された動画像データは正確に再生することができなくなる。このことは、デジタルビデオカメラの目的である動画像の記録機能を完全に実現できていないことを意味する。
【００１１】
【発明が解決しようとする課題】
したがって、本発明の目的は、動画像データをネットワーク上のサーバに蓄積するネットワーク蓄積型ビデオカメラシステムであって、特に信頼性の低いネットワーク上にあるサーバであっても、実時間で動画像データの蓄積を可能にすると同時に、完全な画像データをサーバ上に復元できるネットワーク蓄積型ビデオカメラシステムを提供することにある。
【００１２】
【課題を解決するための手段】
上記本発明の課題を解決する本発明に従うネットワーク蓄積型ビデオカメラシステムは、第１の態様として、動画像データを生成するカメラ端末装置と、
ネットワークと、前記ネットワークを通して前記カメラ端末装置に接続される動画像蓄積サーバを有し、前記カメラ端末装置は、生成した動画像データをパケットに変換してリアルタイムに前記動画像蓄積サーバに送信し、前記動画像蓄積サーバは、受信されるパケットを蓄積し、受信パケットの情報を前記カメラ端末装置に通知し、更に、前記カメラ端末装置は、通知された受信パケットの情報に基づき、送信時の欠落パケットを前記パケットのリアルタイム送信の終了後に前記動画像蓄積サーバに供給することを特徴とする。
【００１３】
上記本発明の課題を解決する本発明に従うネットワーク蓄積型ビデオカメラシステムは、第２の態様として、動画像データを生成するカメラ端末装置と、
ネットワークと、前記ネットワークを通して前記カメラ端末装置に接続される動画像蓄積サーバを有し、前記カメラ端末装置は、生成した動画像データをパケットに変換してリアルタイムに前記動画像蓄積サーバに送信し、前記動画像蓄積サーバは、受信されるパケットを蓄積し、受信パケットの情報を前記カメラ端末装置に通知し、更に、前記カメラ端末装置は、通知された受信パケットの情報に基づき、送信時の欠落パケットを前記パケットのリアルタイム送信と並行して別回線ルートで前記動画像蓄積サーバに供給することを特徴とする。
【００１４】
上記本発明の課題を解決する本発明に従うネットワーク蓄積型ビデオカメラシステムは、第３の態様として、前記第１又は第２の態様において、前記動画像蓄積サーバは、前記パケットのリアルタイムの送信時に蓄積したパケットと、前記カメラ端末装置からリアルタイム送信の終了後に供給される欠落パケットにより前記動画像データを復元することを特徴とする。
【００１５】
上記本発明の課題を解決する本発明に従うネットワーク蓄積型ビデオカメラシステムは、第４の態様として、前記第１の形態において、前記カメラ端末装置に、パケットのリアルタイム送信の終了後に前記動画像蓄積サーバに供給される前記送信時の欠落パケットを記憶する記憶媒体を受けるドライブ機構を有し、前記動画像蓄積サーバに、前記記憶媒体を受け、記憶されている前記送信時の欠落パケットを読み出すドライブ機構を有することを特徴とする。
【００１６】
上記本発明の課題を解決する本発明に従うネットワーク蓄積型ビデオカメラシステムは、第５の態様として、前第１又は第２の態様において、前記カメラ端末装置は、送信時に送信されるパケットを保持する記憶手段を有し、前記動画像蓄積サーバから通知される受信パケットの情報に基づき、前記動画像蓄積サーバで受信されたパケットを前記記憶手段から削除することにより、前記パケットのリアルタイム送信の終了後に前記動画像蓄積サーバに供給する欠落パケットを求めることを特徴とする。
【００１７】
上記本発明の課題を解決する本発明に従うネットワーク蓄積型ビデオカメラシステムは、第６の態様として、前記第５の態様において、前記カメラ端末装置は、ユーザにより撮像指示が入力されるユーザインタフェースを有し、前記カメラ端末装置の記憶手段の記憶可能残容量と、前記動画像蓄積サーバのパケット蓄積残容量と、前記ネットワークにおける過去のデータ転送速度及びデータ欠損率とに基づいて録画可能時間を推定し、前記推定される録画可能時間を前記ユーザインタフェースに表示することを特徴とする。
【００１８】
上記本発明の課題を解決する本発明に従うネットワーク蓄積型ビデオカメラシステムは、第７の態様として、前記第６の形態において、時刻Ｔにおける、前記カメラ端末装置の記憶手段の記憶可能残容量をＲｓ（Ｔ）バイト、前記動画像蓄積サーバのパケット蓄積残容量をＲｃ（Ｔ）バイト、時刻Ｔまでの一定時間に前記ネットワーク上で転送しようとする送信バイト数をＰｓ（Ｔ）バイト／秒とし、更に、前記ネットワーク上の欠損データ量をＰｌ（Ｔ）バイト／秒とする時、前記録画可能時間Ａ（Ｔ）を
Ａ（Ｔ）＝ＭＩＮ（Ａｓ（Ｔ），Ａｃ（Ｔ））
但し、Ａｓ（Ｔ）＝Ｒｓ（Ｔ）／（Ｐｓ（Ｔ）−Ｐｌ（Ｔ））
Ａｃ（Ｔ）＝Ｒｃ（Ｔ）／Ｐｌ（Ｔ）
により推定することを特徴とする。
【００１９】
上記本発明の課題を解決する本発明に従うネットワーク蓄積型ビデオカメラシステムは、第８の態様として、前記第３の態様において、さらに、前記動画像蓄積サーバにネットワークを通して、動画像再生端末が接続され、前記リアルタイム録画時には蓄積される動画像を前記動画像再生端末装置に配信し、録画終了後は復元されたデータ欠損のない動画像を配信することを特徴とする。
【００２０】
本発明の更なる特徴は、以下に図面に従い説明される実施の形態から明らかになる。
【００２１】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。なお、以下の説明において、同一又は類似の機能を有するものには、図において同一の参照数字又は記号を付して説明する。
【００２２】
なお、ここで本発明の理解を容易とするために、発明の実施の形態例に先だって先に言及した従来のシステム例を、図面を参照して説明する。
［実時間転送を保証するシステム例］
図１は、既存技術の組み合わせにより実現した動画像のネットワークサーバ蓄積システムの一例である。図１において、デジタルビデオカメラ端末装置１が、動画像伝送ネットワーク２を通して動画像蓄積サーバ装置３に接続されている。
【００２３】
図１に示すシステムは、デジタルビデオカメラ端末装置１と動画像蓄積サーバ装置３の間で動画像転送を実時間で行うことに主眼を置いた構成である。この場合は、動画像蓄積サーバ装置３に蓄積されるデータが完全であることを保証しない。
【００２４】
図１において、デジタルビデオカメラ端末装置１は、画像入力部１１及び音声入力部１２から入力される画像と音声データを、動画像符号化部１３により圧縮された動画像データに符号化し、送信プロトコル処理部１４に送る。
【００２５】
画像入力部１１はＣＣＤやＣＭＯＳなどの撮像素子を持ったカメラデバイスであり、音声入力部１２は、マイクロフォンとＡ／Ｄ変換デバイスにより実現される。動画像符号化部１３では、ＭＰＥＧ−４などの動画像圧縮形式により音声と画像データを圧縮し、バイナリデータを生成する機能を有するものである。
【００２６】
送信プロトコル処理部１４及び、動画像蓄積サーバ装置３内部の受信プロトコル処理部３２は、リアルタイム・データ転送用プロトコルであって、欠損データ再送無しに、データ転送を行う。例えば、インターネット上のプロトコルであるＲＴＰ（Real-time Transport Protocol）とＵＤＰ（User Datagram Protocol）を組み合わせることによって、これらのリアルタイム・データ転送用プロトコルとして適用できる。
【００２７】
送信プロトコル処理部１４は、データをパケットに変換するデータ／パケット変換部１４１、送信パケットバッファ１４２、パケット送信部１４３により構成される。データ／パケット変換部１４１は符号化されたバイナリデータを転送プロトコル用のパケット形式に変換し、送信パケットバッファ１４２に格納する。
【００２８】
送信パケットバッファ１４２はＦＩＦＯの構造を持ち、パケット送信部１４３は送信パケットバッファ１４２から最古のパケットを読み出し、送受信手段１５によりネットワーク２へと送信する。
【００２９】
動画像蓄積サーバ装置３では、送受信手段３１によってネットワーク２から送られてくるパケットを受信し、受信プロトコル処理部３２によってパケットをバイナリデータに変換し、動画像蓄積部３３に格納する。受信プロトコル処理部３２は、パケット受信部３２１、受信パケットバッファ３２２、パケット／データ変換部３２３から構成されている。受信プロトコル処理部３２は、送信プロトコル処理部１４と対になってデータの転送を行う。
【００３０】
上記の構成の場合、動画像転送ネットワーク２によってパケットの欠損が起きても、欠損をデジタルビデオカメラ端末装置１に通知する仕組みがない。また送信済みのパケットは送信パケットバッファ１４２から送信の都度削除されてしまうため、欠損したパケットを復元することができず、符号化した動画像のバイナリデータを完全な形で動画像データ蓄積部３３に格納できる保証はない。
［動画像データの欠落がないことを保証するシステム例］
図２は、別の既存技術の組み合わせにより実現した動画像のネットワークサーバ蓄積システムの一例であり、動画像蓄積サーバ装置３に蓄積されるデータが完全であることを保証するが、実時間の転送を保証しないシステム構成である。
【００３１】
図２の（Ａ）と（Ｂ）は、それぞれ図１のシステムにおける（Ａ）と（Ｂ）に対応しており、送信プロトコル処理部１４，受信プロトコル処理部３２を除いて、図１と図２は同様の構造をとる。したがって、図２において、画像入力部１１，音声入力部１２及び動画像データ蓄積部３３は、図示省略されている。以下に図１の構成と比較しながら図２の構成の特徴について説明する。
【００３２】
図１の場合と基本的に同様に動作するが、図１における欠損パケットの再送を行わない送信プロトコル処理部１４及び受信プロトコル処理部３２の代わりに、図２の例では再送処理を行う送信プロトコル処理部１４及び受信プロトコル処理部３２を用いる。再送処理を行う信頼性の高い伝送プロトコルとしては、例えばコネクション型のＴＣＰ(Transmission Control Protocol)などが適用できる。
【００３３】
データ／パケット変換部１４１は、動画像のバイナリデータからパケットを生成し、送信パケットバッファ１４２に格納する。パケットにはパケットの順番を示すシーケンス番号が含まれている。パケットはパケット送信部１４３によって送受信手段１５に送られる。同時に、再送パケットバッファ１４４にコピーされる。
【００３４】
動画像蓄積サーバ装置３側の送受信手段３１を通して受信されたパケットについて、パケット受信部３２１は受信したパケットのシーケンス番号を参照し、パケットの欠損を検出する。
【００３５】
シーケンス番号が連番であるときはパケットの欠損がないものとして受信パケットバッファ３２２にパケットを格納する。また、定期的に最後に受信したシーケンス番号（受信済みシーケンス番号）を、送信プロトコル処理部１４の受信通知処理部１４５に通知する。
【００３６】
受信通知処理部１４５は、受信済みシーケンス番号を参照して、そのシーケンス番号とそれ以前のシーケンス番号を持つパケットを、再送パケットバッファ１４４から削除する。
【００３７】
一方、パケット受信部３２１でシーケンス番号の不連続が検知された場合は、最後に連続して受信したシーケンス番号を受信通知処理部１４５に通知すると共に、パケットの再送要求を通知する。
【００３８】
受信通知処理部１４５は受信済みシーケンス番号以前のパケットを再送パケットバッファ１４から削除する。同時に、パケット再送部１４６により再送パケットバッファ１４４からのパケットの再送を行う。この時、パケットはパケット再送部１４６に送られると共に、再び再送パケットバッファ１４４に格納され、パケット受信部３２１から受信確認が通知されるまでバッファに留められる。
【００３９】
以上のように、図２にシステムでは、パケットの欠損の監視手段と欠損パケットの再送機構を設けることで、動画像バイナリデータは欠落なく動画像データ蓄積部３３に格納される。しかし再送処理を行っている間にも送信パケットバッファ１４２には送信すべきパケットが蓄積される。これにより、動画像転送ネットワーク２の帯域が十分に広くない場合は、送信パケットバッファ１４２のオーバフローが生じるという欠点がある。
【００４０】
したがって、本発明は、上記図１，図２のシステム例における欠点を解消するネットワーク蓄積型ビデオカメラシステムを提供することを目的とする。本発明の解決原理は、実時間での動画像蓄積と欠損のない完全な動画像データを得るために、リアルタイムのデータ蓄積と欠損データの復元を分けて処理することで課題を解決するものである。
【００４１】
すなわち、データの蓄積はリアルタイムに行う必要があるので、ネットワーク上でのパケット欠損を無視してパケット再送なしで転送を行う。そして、欠損したパケットの情報を送信側に通知する。
【００４２】
送信側では通知される欠損したパケットをローカルに保存しておき、リアルタイム録画が終了した後に欠損パケットと受信できたパケットを用いて元データを復元するものである。
【００４３】
図３は、上記本発明の解決原理を適用するネットワーク蓄積型ビデオカメラシステムの実施の形態例を示す図である。
【００４４】
図３に上記本発明の解決原理を適用した動画像のネットワークサーバ蓄積システムの構成例を示す。図３におけるネットワークサーバ蓄積システムは、デジタルビデオカメラ端末装置１、動画像転送ネットワーク２、動画像蓄積サーバ装置３及び、欠損パケット転送手段４を有して構成される。
【００４５】
デジタルビデオカメラ端末装置１において、画像入力部１１、音声入力部１２から入力した画像及び音声は、動画像符号化部１３によってバイナリデータへと変換される。変換されたバイナリデータは、送信プロトコル処理部１４に読み込まれる。送信プロトコル処理部１４に読み込まれたバイナリデータは、データ／パケット変換部１４１により連番となるシーケンス番号の付されたパケットに分割される。
【００４６】
分割されたパケットは、送信パケットバッファ１４２に順次に格納される。送信パケットバッファ１４２は複数のパケットを格納し、ＦＩＦＯ(First In First Out)の順番でデータをパケット送信部１４３に送出する。これと同時に、送出したパケットのコピーを欠損パケットバッファ１４７に格納する。
【００４７】
パケット送信部１４３から出力されるパケットは、送受信手段１５により動画像転送ネットワーク２に送り出される。動画像転送ネットワーク２は、有線公衆網や無線公衆網、無線ＬＡＮやインターネットなどが想定される。したがって、送受信手段１５及び動画像蓄積サーバ装置３側の送受信手段３１として、適宜のネットワーク２の形態に対応する通信に必要な機能装置が選択される。
【００４８】
動画像蓄積サーバ装置３において、受信したパケットはパケット受信部３２１によって受信される。そして、受信されたパケットは受信パケットバッファ３２２に格納され、次いでＦＩＦＯ順に読み出されて受信パケット蓄積部３４に格納される。
【００４９】
同時にパケット受信部３２１は、パケットのシーケンス番号をチェックする。シーケンス番号に不連続が発見されない場合は、パケット受信部３２１は定期的に最後に受信したシーケンス番号（受信済みシーケンス番号）を、デジタルビデオカメラ端末装置１側の受信通知処理部１４８に通知する。
【００５０】
受信通知処理部１４８は、受信済みシーケンス番号により、この受信済みシーケンス番号より前のパケットは、動画像蓄積サーバ装置３側で受信できていることが確認できるので、これらのパケットを欠損パケットバッファ１４７から削除する。
【００５１】
一方、パケット受信部３２１がパケットシーケンス番号の不連続を発見した場合、シーケンス番号の不連続区間の最後となるシーケンス番号（欠損シーケンス番号）を受信通知処理部１４８に通知する。受信通知処理部１４８は、欠損シーケンス番号より小さい、即ち欠損シーケンス番号を含む欠損シーケンス番号以前のシーケンス番号のパケットを、欠損パケット蓄積部１６にコピーすると同時に欠損パケットバッファ１４７から削除する。
【００５２】
以上の動作によりデータ／パケット変換部１４１が生成したパケットは、すべて受信パケット蓄積部３４もしくは欠損パケット蓄積部１６に格納されたことになる。また、再送処理を行わないため受信パケット蓄積部３４に対し、リアルタイム録画処理が実現可能となる。
【００５３】
一方、録画終了後等、リアルタイムの動画像転送が終了した後に受信パケット蓄積部３４と欠損パケット蓄積部１６に格納されたパケットにより動画像データを復元処理を行う。すなわち、復元処理を開始すると、パケット／データ変換部３２３は、受信パケット蓄積部３４と欠損パケット蓄積部１６からシーケンス番号順にパケットを読み出し、バイナリデータに変換してから動画像データ蓄積部３３に格納する。
【００５４】
欠損パケット蓄積部１６からのパケットは欠損パケット転送手段４を経由してパケット／データ変換部３２３により参照される。欠損パケット転送手段４としてはケーブル接続、ＴＣＰなどの信頼性の高いネットワークなどであり、データの欠損が生じない手段であればよく、リアルタイム性は問わない。
【００５５】
以上の処理により最終的に動画像データ蓄積部３３に欠損なく動画像データが蓄積されることが保証され、図１及び図２における課題が解消される。
【００５６】
図４は、本発明を動画像ライブ配信システムに適用したときの、実施例構成図である。図５は、図４のシステムの録画開始までの処理フローである。
【００５７】
本システムはネットワークカメラ端末１、メモリカード２、ネットワーク３、動画像サーバ４、ネットワーク５、クライアント再生端末６から構成される。本システムの目的は、ネットワークカメラ端末１が撮影した画像を、リアルタイムに動画像サーバ３に録画する機能とともに、クライアント再生端末６に配信する機能を提供することである。
【００５８】
また動画像サーバ３上に録画した動画像を、クライアント再生端末６からの要求に応じて再配信する機能も有する。
【００５９】
かかる機能実現のためにネットワークカメラ端末１は、ネットワーク２を通して動画像サーバ３に接続し、複数のクライアント再生端末６が、ネットワーク２又は別個のネットワーク５を通して、動画像サーバ３に接続される。
【００６０】
図５の処理フローを参照して図４のシステムの動作を以下に説明する。先ず、ネットワークカメラ端末１において、ユーザインタフェース１０１からユーザの録画指示を受けると（処理工程Ｐ１）、端末制御部１０２は無線通信装置１０３を起動する（処理工程Ｐ２）。
【００６１】
ユーザインタフェース１０１は、図６に実施例として示されるように液晶ディスプレイ１１１を有し、その上にメニュー１１２と画像表示領域１１３に撮影している画像を表示する。また、液晶ディスプレイ１１１に重ねて透明なタッチパネル１１４が配置され、タッチペン１１５で画面をタップすると、その位置はタッチパネルドライバ１１６により検知され、コマンド処理部１１７によってタップした位置と選択したメニューに相当する処理が実行される。
【００６２】
端末制御部１０２は制御ソフトウエア及びマイクロプロセッサにより構成される。無線通信装置１０３は端末制御部１０２から出力する通信コマンド（ＡＴコマンド等）を解釈し、指定された無線ゲイトウエイ３０２との間に無線網３０１上に無線経路を接続する。これにより、端末制御部１０２はネットワーク通信装置４０２を通してサーバ制御部４０１と通信を確立し（処理工程Ｐ３）、サーバ制御部４０１は端末制御部１０２と通信を確立する（処理工程Ｐ４）。
【００６３】
ついで、端末制御部１０２はネットワーク２を構成する、無線網３０１と無線ゲイトウエイ３０３及び有線ネットワーク３０３を経由して動画像サーバ４のサーバ制御部４０１との間で、録画に関するネゴシエーションを行う。
【００６４】
ネゴシエーションは次の手順で行われる。端末制御部１０２からサーバ制御部４０１に端末ＩＤを送信する（処理工程Ｐ５）。サーバ制御部４０１で端末ＩＤ確認を行い成功すると、認証成功が端末制御部１０２側に通知される（処理工程Ｐ６）。認証が成功すると、端末制御部１０２から録画開始要求がサーバ制御部４０１に送られる（処理工程Ｐ７）。
【００６５】
ついで、サーバ制御部４０１は録画するコンテンツＩＤを端末制御部１０２に送信する（処理工程Ｐ８）。コンテンツＩＤは、録画する動画像を識別するための番号であり、動画像データ毎に一意に設定されるものである。
【００６６】
このようにして、ネゴシエーションが終了すると、次いで端末制御部１０２とサーバ制御部４０１は動画像リアルタイム送信用セッションを開始する（処理工程Ｐ９）。端末制御部１０２は、動画像符号化装置１３と送信プロトコル処理部１４を起動する（処理工程Ｐ１０，Ｐ１１）。一方、サーバ制御部４０１は受信プロトコル処理部３２を起動する（処理工程Ｐ１２）。
【００６７】
端末制御部１０２から送信プロトコル処理部１４に、先に処理工程Ｐ８でサーバ制御部４０１から通知されたコンテンツＩＤを送り（処理工程Ｐ１３）、サーバ制御部４０１から受信プロトコル処理部３２に同様にコンテンツＩＤを送り（処理工程Ｐ１４）録画を開始する（処理工程Ｐ１５）。
【００６８】
ここで、上記カメラ１１はＣＭＯＳやＣＣＤデバイスを用いたビデオカメラであり、撮影したデジタルＹＵＶ信号を動画像符号化装置１３に送る。マイクロフォン１２も同様に音声をサンプリングしたＰＣＭ信号を生成し、動画像符号化装置１３に送る。動画像符号化装置１３は、ＭＰＥＧ-4やＨ.263などのフォーマットで動画像を符合化する装置であり、ハードウエアにより構成してもよいし、ソフトウエアで実現することも可能である。
【００６９】
送信プロトコル処理部１４と受信プロトコル処理部３２の機能構成を図７に示す。図７において、送信プロトコル処理部１４と受信プロトコル装置３２の機能構成以外の部分は省略して示している。図７の左側部が送信プロトコル処理部１４の機能構成であり、右側部が受信プロトコル処理部３２の機能構成である。
【００７０】
動画像符号化装置１３が生成した動画像データのビットストリームは、ＲＴＰパケットジェネレータ１５１によりＲＴＰ（Real-time Transport Protocol）パケットに変換される。ＲＴＰパケットはヘッダ部分にパケットの送信順に振られた自然数のシーケンス番号（１６bit）と、パケットの先頭バイトが送信された時間を示すタイムスタンプ（３２bit）を持つ。
【００７１】
ＲＴＰパケットの構造を図８に示す。タイムスタンプＩは録画時刻を示し、タイムスタンプジェネレータ１５２により管理され、シーケンス番号はパケットの順序を示し、シーケンス番号ジェネレータ１５３により管理され、それぞれ適宜パケットに付加される。
【００７２】
ＲＴＰパケットは送信ＲＴＰパケットバッファ１５４に格納される。パケットバッファ１５４はＦＩＦＯ構造をとり、最初に書込まれたパケットが最初に読みだされる構造であり、読み出されたパケットはパケットバッファ１５４から消去されるように動作する。
【００７３】
送信ＲＴＰパケットバッファ１５４は、パケット送信部１５５によりパケットが読み出されるときに、同時に欠損ＲＴＰパケットバッファ１５６にパケットのコピーを書き込む。これにより動画像サーバ３に送信されたＲＴＰパケットのコピーは、一時的に欠損ＲＴＰパケットバッファ１５６にバックアップ保存される。
【００７４】
パケット送信部１５５から受信プロトコル処理部３２のパケット受信部４３１へ、ネットワーク２及び通信装置１０３，４０２を介してＲＴＰパケット転送を行う。パケット受信部４３１は受信したＲＴＰパケットを受信ＲＴＰパケットバッファ４３２に格納する。格納されたＲＴＰパケットは、順次ハードディスク装置（ＨＤＤ）４０３に転送保存される。
【００７５】
受信ＲＴＰパケットバッファ４３２の出力は、同時にパケットメモリ４３３にも保存される。パケットメモリ４３３には、最新のパケットを２個だけ格納するように制御されている。シーケンスチェッカ４３４は、パケットバッファ４３３に新しいパケットが格納されると、２つのＲＴＰパケットのヘッダ部のシーケンス番号とタイムスタンプを比較し、それらが連続していればパケット欠損なし、不連続であればパケットの欠損ありと判断する。
【００７６】
受信パケットカウンタ４３５は受信したパケットの数をカウントしており、一定数Ｐ（Ｐ＜欠損ＲＴＰパケットバッファ１５６に格納できるパケット数）に達すると、シーケンスチェッカ４３４に割り込みをかける。割り込みが発生するとシーケンスチェッカ４３４はパケットメモリ４３３を参照し、最新のＲＴＰパケットのタイムスタンプＴaとシーケンス番号Ｓaから、図９に例示する受信通知情報を作成する。この受信通知情報が受信通知処理部１５７に送信されると共に、受信パケットカウンタ４３５が０にクリアされる。
【００７７】
シーケンスチェッカ４３４はパケットの欠損を発見した場合、以下の処理を行う。まずパケットメモリ４３３に格納されている古いＲＴＰパケット（シーケンス番号及びタイムスタンプの値が小さい方のパケット）のタイムスタンプＴb, シーケンス番号Ｓbから、図１０の受信通知情報を作成し、受信通知処理部１５７に送信する。
【００７８】
次にパケットメモリ４３３中の新しいＲＴＰパケット（シーケンス番号及びタイムスタンプの値が大きい方のパケット）のタイムスタンプＴc, シーケンス番号Ｓcから、図１１の受信通知情報を作成し、受信通知処理部１５７に送信する。
【００７９】
以上、２個の受信通知情報（図１０，図１１）を受信通知処理部１５７に送信した後、シーケンスチェッカ４３４は受信パケットカウンタ４３５をクリアする。
【００８０】
受信通知処理部１５７は、シーケンスチェッカ４３４が生成する２種類の受信通知情報に応じて、次の処理を行う。
【００８１】
受信通知情報の第１ワード（Word）の１Bit目が０で、受信通知情報のタイムスタンプをＴd、シーケンス番号をＳdとした場合の処理を図１２に示す。このとき受信通知処理部１５７は、欠損ＲＴＰパケットバッファ１５６を参照して、Ｔd、Ｓdのタイムスタンプとシーケンス番号を持つＲＴＰパケットを探す。
【００８２】
該当のＲＴＰパケット及び、ＦＩＦＯ上で前記該当のパケットよりも先に格納されているＲＴＰパケット分（図１２のａ参照）は送信成功とみなし、欠損ＲＴＰパケットバッファ１５６から削除する。したがって、パケット削除後の欠損ＲＴＰパケットバッファ１５６の内容は、図１２のｂに示す如くになる。
【００８３】
なお、該当パケットがみつからない場合、すでに欠損ＲＴＰパケットバッファ１５６から消去されているとみなし処理を行わない。
【００８４】
受信通知の第１ワード（Word）の１Bit目が１、受信通知情報のタイムスタンプをＴe、シーケンス番号をＳeとした場合の処理を図１３に示す。このとき受信通知処理部１５７は、欠損ＲＴＰパケットバッファ１５６を参照して、Ｔe、Ｓeのタイムスタンプとシーケンス番号を持つＲＴＰパケットを探す。
【００８５】
そして、該当のＲＴＰパケットだけを欠損ＲＴＰパケットバッファ１５６から削除し（図１３のａ参照）、ＦＩＦＯ上で該当のパケットよりも先に格納されているＲＴＰパケットは受信失敗したものとみなしてカードスロット１０４に挿入されているメモリカード１０に格納する（図１３のｂ、図４参照）。したがって、欠損ＲＴＰパケットバッファ１５６の内容は、図１３のｃに示す如くになる。
【００８６】
なお、該当パケットがみつからない場合、すでに欠損ＲＴＰパケットバッファ１５６から消去されているとみなし処理を行わない。
【００８７】
パケットバッファ監視部１５８は、欠損ＲＴＰパケットバッファ１５６に関して、バッファオーバフローとＲＴＰパケットのタイムアウトを監視している。
【００８８】
欠損ＲＴＰパケットバッファ１５６のバッファ残容量が一定割合（例えば、１０％）を下回った場合、オーバーフローを防ぐために、一定数（例えば、１０％）のＲＴＰパケットを読み出し、メモリカード１０に格納する。また格納されているＲＴＰパケットのタイムスタンプを監視しており、一定時間（例えば、１秒）以上古いパケットをメモリカード１０に格納する。
【００８９】
メモリカード１０は、メモリカードスロット１０４によってネットワークカメラ端末１と接続している。メモリカード１０は、コンテンツＩＤとＲＴＰパケットを格納するものであり、例えばスマートメディア、コンパクトフラッシュ、メモリスティック（商標）などの記録デバイスが適用出来る。
【００９０】
ここで、ネットワークカメラ端末１の録画時間は、ネットワーク上の蓄積媒体であるＨＤＤ４０４の容量及び、メモリカード１０の容量に依存する。ネットワークカメラ端末１の録画時間は、ネットワーク２におけるＲＴＰパケットの欠損率によって決定する。しかし将来におけるパケット欠損率は不明であるため、正確に残りの録画時間を算出することができない。そこで残りの録画時間を以下の処理によって算出してユーザに表示する。
【００９１】
時刻ＴにおけるＨＤＤ４０４の書き込み可能容量をＲｓ(Ｔ)(Byte)、メモリカード１０の書き込み可能容量をＲｃ(Ｔ)(Byte)とし、時刻Ｔまでの一定時間（例えば、１０秒）における１秒あたりのＲＴＰパケットの総送信バイト数をＰｓ(Ｔ)(Byte/sec)、１秒あたりのＲＴＰパケットの欠損バイト数Ｐｌ(Ｔ)(Byte/sec)とする。このとき、このパケット欠損比率で録画が行われるならば、ＨＤＤ４０４が録画出来る時間は、下記の式により計算されるＡｓ（Ｔ）秒である。すなわち、Ａｓ（Ｔ）秒に録画不能となる。
【００９２】
Ａs（Ｔ）＝Ｒs（Ｔ）／(Ｐs(Ｔ)-Ｐl(Ｔ)) ・・・式１
同様にメモリカード１０に欠損パケットが蓄積不可能になるのは時間Ａc（Ｔ）秒後である。
【００９３】
Ａc（Ｔ）＝Ｒc（Ｔ）／Ｐl（Ｔ） ・・・式２
したがって、時刻Ｔにおける残り録画時間Ａ(Ｔ)（秒）は、Ａs（Ｔ）又は、Ａc（Ｔ）のいずれか小さい方の時間であり、次式の関係で示される。
【００９４】
Ａ(Ｔ)＝ＭＩＮ（Ａs(Ｔ),Ａc(Ｔ)） ・・・式３
ネットワーク２におけるパケットの欠損率の変動に伴い、残り録画時間も変動する。ネットワーク２が切断された場合は、すべてのパケットをメモリカード１０に蓄積するため、ローカル録画に相当する時間が残り録画時間となる。
【００９５】
また、パケット欠損がまったくない場合はＨＤＤ４０４にすべてのパケットを格納することになるので、録画時間はメモリカード１０の容量に依存しなくなる。
【００９６】
端末制御部１０２は定期的に上記の残り録画時間を計算し、ユーザインタフェース１０１の液晶ディスプレイ１１１上の状態表示領域１１８にテキストもしくはグラフで表示する。
【００９７】
ＨＤＤ４０３は、受信したコンテンツＩＤとＲＴＰパケットをリアルタイムで格納する。このＲＴＰパケットは、同時にネットワーク配信装置４０５により、リアルタイムにネットワーク５を通してクライアント再生端末６に配信される（ライブ配信サービス）。
【００９８】
ネットワーク５に接続したクライアント再生端末６は、動画像サーバ３に対して端末ＩＤを送る。動画像サーバ３は接続認証手段４０４により端末ＩＤを認証し、認証成功した場合はコネクションを確立し、ＲＴＰセッションによる動画像配信を開始する。
【００９９】
ユーザインタフェース１０１で、ユーザがメニュー１１２から録画終了のメニューを選択すると、端末制御部１０２がサーバ制御部４０１に録画の終了を通知する。その後、動画像通信を行っていたＲＴＰセッションを終了し、無線通信装置１０３が接続していた回線を切断する。
【０１００】
欠損ＲＴＰパケットバッファ１５６（図７）にＲＴＰパケットが残っている場合、パケットをメモリカード１０に保存して、すべての処理を終了する。
【０１０１】
動画像サーバ３では、サーバ制御部４０１が録画終了を受信すると、受信ＲＴＰバッファ４３２に格納されたＲＴＰパケットを全てＨＤＤ４０３に格納し、ＲＴＰセッションの終了処理を行い、録画処理を終了する。
【０１０２】
リアルタイム録画が終了した後、メモリカード１０はネットワークカメラ１のメモリカードスロット１０４から取り外され、動画像サーバ３のメモリカードスロット４０６に接続されると、欠損パケット復元部４０７が起動する。
【０１０３】
欠損パケット復元部４０７はメモリカード１０に格納されているコンテンツＩＤを参照し、同じコンテンツＩＤを持つＲＴＰパケット群をＨＤＤ４０３から検索する。メモリカード１０中のＲＴＰパケットとタイムスタンプ及びシーケンス番号参照して、パケットの生成された順にソートを行う。
【０１０４】
ソートされたＲＴＰパケットからペイロードを抽出して動画像のビットストリームに構成し直し、ＨＤＤ４０８に格納する。このビットストリームは、動画像符号化装置１０４が生成したものに等しい。
【０１０５】
ＨＤＤ４０８に格納されたビットストリームをクライアント再生端末６に配信する時は、配信プロトコル処理部４０９が、ビットストリームをＲＴＰパケットに変換する。変換されたＲＴＰパケットは、ライブ配信時と同様にネットワーク配信装置４０５から配信されるが、欠損パケットの修復後のビットストリームからＲＴＰパケットが生成されている。このため、ネットワーク５による欠損を除き、欠損のない動画像を配信することができる。
【０１０６】
上記実施例において、メモリカード１０を物理的に動画像サーバ３のメモリカードスロット４０６に接続する代わりに、録画終了後にネットワーク経由で欠損パケットを動画像サーバ３に転送するように構成しても良い。また録画終了後ではなく、録画中に欠損パケットの転送処理を行っても良い。
【０１０７】
図１４は、上記の録画終了後にネットワーク経由で欠損パケットを動画像サーバ３に転送する場合及び、欠損パケット５の転送処理を録画中に行う場合の実施例を説明する構成図である。
【０１０８】
ネットワークカメラ１は先に説明した図４の実施例の構成に加え、欠損パケット転送手段１０７を有する。また、動画像サーバ３は欠損パケット受信手段４１０とＨＤＤ４１１を有する。メモリカード１０に蓄積されている欠損パケットは、録画中に、欠損パケット転送手段１０７と欠損パケット受信手段４１０の間でネットワーク２を介してＴＣＰ／ＩＰなどのコネクション型転送プロトコルにより転送される。
［録画終了後に欠損パケットを転送する場合］
録画終了後、欠損パケット転送手段１０７と欠損パケット受信手段４１０によりメモリカード１０の欠損パケットとコンテンツＩＤがＨＤＤ４１１に転送される。
【０１０９】
転送が終了した時点で、欠損パケット復元部４０８７起動し、ＨＤＤ４０３とＨＤＤ４１１に蓄積されたパケットのうち、同じコンテンツＩＤのパケットをタイムスタンプとシーケンス番号を参照してソートして、ＲＴＰパケットからペイロードを抽出して動画像のビットストリームに構成し直し、ＨＤＤ４０８に格納する。
【０１１０】
これにより物理的に離れた動画像サーバ３に対しても、メモリカード１０の差し替えなしに動画像データの復元を行うことができる。
［録画中に欠損パケットを転送する場合］
録画中にも欠損パケット１０７と欠損パケット受信手段４１０によりメモリカード１０の欠損パケットとコンテンツＩＤがＨＤＤ４１１に転送してもよい。この転送はリアルタイム性を必要とせず、またリアルタイム転送を行っているＲＴＰセッションを圧迫しない程度の帯域で行われる。
【０１１１】
送信された欠損パケットは、メモリカード１０から削除され、ＨＤＤ４１１に蓄積される。メモリカード１０からＨＤＤ４１１に転送されたパケット分だけ、先に示した式２により計算される、ネットワークカメラ端末１にローカル録画可能な残り録画時間が長くなる。録画可能な残り時間は先の式１，２，３により適宜計算されユーザインタフェース１０１に表示される。
【０１１２】
録画終了時点でメモリカード１０上に欠損パケットがある場合は、メモリカード１０をメモリカードスロット４０６に挿入して欠損パケットを復元してもよいし、ネットワーク２を経由して復元してもよい。
【０１１３】
（付記１）
動画像データを生成するカメラ端末装置と、
ネットワークと、
前記ネットワークを通して前記カメラ端末装置に接続される動画像蓄積サーバを有し、
前記カメラ端末装置は、生成した動画像データをパケットに変換してリアルタイムに前記動画像蓄積サーバに送信し、
前記動画像蓄積サーバは、受信されるパケットを蓄積し、受信パケットの情報を前記カメラ端末装置に通知し、
更に、前記カメラ端末装置は、通知された受信パケットの情報に基づき、送信時の欠落パケットを前記パケットのリアルタイム送信の終了後に前記動画像蓄積サーバに供給する
ことを特徴とするネットワーク蓄積型ビデオカメラシステム。
【０１１４】
（付記２）
動画像データを生成するカメラ端末装置と、
ネットワークと、
前記ネットワークを通して前記カメラ端末装置に接続される動画像蓄積サーバを有し、
前記カメラ端末装置は、生成した動画像データをパケットに変換してリアルタイムに前記動画像蓄積サーバに送信し、
前記動画像蓄積サーバは、受信されるパケットを蓄積し、受信パケットの情報を前記カメラ端末装置に通知し、
更に、前記カメラ端末装置は、通知された受信パケットの情報に基づき、送信時の欠落パケットを前記パケットのリアルタイム送信と並行して別回線ルートで前記動画像蓄積サーバに供給する
ことを特徴とするネットワーク蓄積型ビデオカメラシステム。
【０１１５】
（付記３）付記１又は２において、
前記動画像蓄積サーバは、前記パケットのリアルタイムの送信時に蓄積したパケットと、前記カメラ端末装置からリアルタイム送信の終了後に供給される欠落パケットにより前記動画像データを復元することを特徴とするネットワーク蓄積型ビデオカメラシステム。
【０１１６】
（付記４）付記１において、
前記カメラ端末装置に、パケットのリアルタイム送信の終了後に前記動画像蓄積サーバに供給される前記送信時の欠落パケットを記憶する記憶媒体を受けるドライブ機構を有し、
前記動画像蓄積サーバに、前記記憶媒体を受け、記憶されている前記送信時の欠落パケットを読み出すドライブ機構を有することを特徴とするネットワーク蓄積型ビデオカメラシステム。
【０１１７】
（付記５）付記１又は２において、
前記カメラ端末装置は、送信時に送信されるパケットを保持する記憶手段を有し、前記動画像蓄積サーバから通知される受信パケットの情報に基づき、前記動画像蓄積サーバで受信されたパケットを前記記憶手段から削除することにより、前記パケットのリアルタイム送信の終了後に前記動画像蓄積サーバに供給する欠落パケットを求めることを特徴とするネットワーク蓄積型ビデオカメラシステム。
【０１１８】
（付記６）付記５において、
前記カメラ端末装置は、ユーザにより撮像指示が入力されるユーザインタフェースを有し、
前記カメラ端末装置の記憶手段の記憶可能残容量と、前記動画像蓄積サーバのパケット蓄積残容量と、前記ネットワークにおける過去のデータ転送速度及びデータ欠損率とに基づいて録画可能時間を推定し、
前記推定される録画可能時間を前記ユーザインタフェースに表示することを特徴とするネットワーク蓄積型ビデオカメラシステム。
【０１１９】
（付記７）付記６において、
時刻Ｔにおける、前記カメラ端末装置の記憶手段の記憶可能残容量をＲｓ（Ｔ）バイト、前記動画像蓄積サーバのパケット蓄積残容量をＲｃ（Ｔ）バイト、時刻Ｔまでの一定時間に前記ネットワーク上で転送しようとする送信バイト数をＰｓ（Ｔ）バイト／秒とし、更に、前記ネットワーク上の欠損データ量をＰｌ（Ｔ）バイト／秒とする時、前記録画可能時間Ａ（Ｔ）を
Ａ（Ｔ）＝ＭＩＮ（Ａｓ（Ｔ），Ａｃ（Ｔ））
但し、Ａｓ（Ｔ）＝Ｒｓ（Ｔ）／（Ｐｓ（Ｔ）−Ｐｌ（Ｔ））
Ａｃ（Ｔ）＝Ｒｃ（Ｔ）／Ｐｌ（Ｔ）
により推定することを特徴とするネットワーク蓄積型ビデオカメラシステム。
【０１２０】
（付記８）付記３において、
さらに、前記動画像蓄積サーバにネットワークを通して、動画像再生端末が接続され、前記リアルタイム録画時には蓄積される動画像を前記動画像再生端末装置に配信し、録画終了後は復元されたデータ欠損のない動画像を配信することを特徴とするネットワーク蓄積型ビデオカメラシステム。
【０１２１】
【発明の効果】
上記に図面に従い説明したように、本発明により動画像及び音声をリアルタイムにネットワーク上のサーバに録画することができる。これにより、ネットワーク上のサーバにリアルタイム録画を行うためにビデオカメラの小型化と長時間録画を同時に実現することができる。
【０１２２】
さらに、録画時間の残りをネットワークのパケット欠損率より推定して表示するため、不確定なネットワーク状態を意識させずにユーザに録画時間の残りを通知でき、ユーザ利便性が向上する。
【０１２３】
また、本発明によれば、リアルタイム録画すると同時にライブ配信を行うことができる。ライブ配信のように画質クオリティよりもリアルタイム性が要求される用途のみならず、動画像のＶＯＤ（Video On Demand）配信やダウンロードサービスなどのように画像品質が重要なサービス向けのコンテンツも作成することができる。
【図面の簡単な説明】
【図１】既存技術の組み合わせにより実現した動画像のネットワークサーバ蓄積システムの一例を示す図である。
【図２】別の既存技術の組み合わせにより実現した動画像のネットワークサーバ蓄積システムの一例を示す図である。
【図３】上記本発明の解決原理を適用するネットワーク蓄積型ビデオカメラシステムの実施の形態例を示す図である。
【図４】本発明を動画像ライブ配信システムに適用したときの、実施例構成図である。
【図５】図４のシステムの処理フローを示す図である。
【図６】ユーザインタフェース１０１の実施例を示す図である。
【図７】送信プロトコル処理部１４と受信プロトコル処理部３２の機能構成を示す図である。
【図８】ＲＴＰパケットの構造を示す図である。
【図９】受信通知情報の一例（その１）を示す図である。
【図１０】受信通知情報の一例（その２）を示す図である。
【図１１】受信通知情報の一例（その３）を示す図である。
【図１２】受信通知情報のタイムスタンプをＴd、シーケンス番号をＳdとした場合の送信成功時の処理を示す図である。
【図１３】受信通知情報のタイムスタンプをＴe、シーケンス番号をＳeとした場合の送信失敗時の処理を示す図である。
【図１４】録画終了後に欠損パケットを動画像サーバ３に転送する場合及び、欠損パケット５の転送処理を録画中に行う場合の実施例を説明する構成図である。
【符号の説明】
１ デジタルビデオ端末装置
２ ネットワーク
３ 動画像蓄積サーバ装置
４ 欠損パケット転送手段
１１ 画像入力部
１２ 音歳入力部
１４ 送信プロトコル処理部
１５、３１ 送受信手段
３２ 受信プロトコル処理部
Claims (5)
- 動画像データを生成するカメラ端末装置と、
ネットワークと、
前記ネットワークを通して前記カメラ端末装置に接続される動画像蓄積サーバを有し、
前記カメラ端末装置は、生成した動画像データをパケットに変換してリアルタイムに前記動画像蓄積サーバに送信し、
前記動画像蓄積サーバは、受信されるパケットを蓄積し、受信パケットの情報を前記カメラ端末装置に通知し、
前記カメラ端末装置は、更に前記受信パケットの情報に基づき、欠落パケットを蓄積しておき、前記蓄積された送信時の欠落パケットを前記パケットのリアルタイム送信の終了後に前記動画像蓄積サーバに供給することを特徴とするネットワーク蓄積型ビデオカメラシステム。 - 動画像データを生成するカメラ端末装置と、
ネットワークと、
前記ネットワークを通して前記カメラ端末装置に接続される動画像蓄積サーバを有し、
前記カメラ端末装置は、生成した動画像データをパケットに変換してリアルタイムに前記動画像蓄積サーバに送信し、
前記動画像蓄積サーバは、受信されるパケットを蓄積し、受信パケットの情報を前記カメラ端末装置に通知し、
前記カメラ端末装置は、更に前記受信パケットの情報に基づき、欠落パケットを蓄積しておき、前記蓄積された送信時の欠落パケットを前記パケットのリアルタイム送信と並行して別回線ルートで前記動画像蓄積サーバに供給する
ことを特徴とするネットワーク蓄積型ビデオカメラシステム。 - 請求項１又は２において、
前記動画像蓄積サーバは、前記パケットのリアルタイムの送信時に蓄積したパケットと、前記カメラ端末装置からリアルタイム送信の終了後に供給される欠落パケットにより前記動画像データを復元することを特徴とするネットワーク蓄積型ビデオカメラシステム。 - 請求項１において、
前記カメラ端末装置に、パケットのリアルタイム送信の終了後に前記動画像蓄積サーバに供給される前記送信時の欠落パケットを記憶する記憶媒体を受けるドライブ機構を有し、
前記動画像蓄積サーバに、前記記憶媒体を受け、記憶されている前記送信時の欠落パケットを読み出すドライブ機構を有することを特徴とするネットワーク蓄積型ビデオカメラシステム。 - 請求項１又は２において、
前記カメラ端末装置は、送信時に送信されるパケットを保持する記憶手段を有し、前記動画像蓄積サーバから通知される受信パケットの情報に基づき、前記動画像蓄積サーバで受信されたパケットを前記記憶手段から削除することにより、前記パケットのリアルタイム送信の終了後に前記動画像蓄積サーバに供給する欠落パケットを求めることを特徴とするネットワーク蓄積型ビデオカメラシステム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001204113A JP4767443B2 (ja) | 2001-07-04 | 2001-07-04 | ネットワーク蓄積型ビデオカメラシステム |
| US10/033,210 US7386872B2 (en) | 2001-07-04 | 2001-12-28 | Network storage type video camera system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001204113A JP4767443B2 (ja) | 2001-07-04 | 2001-07-04 | ネットワーク蓄積型ビデオカメラシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003018525A JP2003018525A (ja) | 2003-01-17 |
| JP4767443B2 true JP4767443B2 (ja) | 2011-09-07 |
Family
ID=19040629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001204113A Expired - Fee Related JP4767443B2 (ja) | 2001-07-04 | 2001-07-04 | ネットワーク蓄積型ビデオカメラシステム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7386872B2 (ja) |
| JP (1) | JP4767443B2 (ja) |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001218194A (ja) * | 1999-11-15 | 2001-08-10 | Canon Inc | 撮像装置及び画像配信システムの制御方法、撮像装置の制御装置、画像配信システム及び装置、データ配信装置及び方法 |
| US20040128531A1 (en) * | 2002-12-31 | 2004-07-01 | Rotholtz Ben Aaron | Security network and infrastructure |
| DE10301457A1 (de) * | 2003-01-10 | 2004-07-29 | Vcs Video Communication Systems Ag | Aufzeichnungsverfahren für Video-/Audiodaten |
| DE10301455A1 (de) * | 2003-01-10 | 2004-07-29 | Vcs Video Communication Systems Ag | Verfahren zur Aufzeichnung von Video-/Audiodaten |
| JP2004266504A (ja) * | 2003-02-28 | 2004-09-24 | Sony Corp | 送受信システム、送信装置および方法、受信装置および方法、記録媒体、並びにプログラム |
| KR20040079596A (ko) * | 2003-03-08 | 2004-09-16 | 주식회사 성진씨앤씨 | 허브를 내장한 네트워크 카메라 |
| WO2004093445A1 (ja) * | 2003-04-16 | 2004-10-28 | Fujitsu Limited | Ｉｐ画像伝送装置 |
| US7496114B2 (en) | 2003-04-16 | 2009-02-24 | Fujitsu Limited | IP image transmission apparatus |
| JP4447860B2 (ja) | 2003-06-30 | 2010-04-07 | ソニー株式会社 | ネットワークカメラ |
| WO2005013136A1 (ja) * | 2003-08-04 | 2005-02-10 | Mitsubishi Denki Kabushiki Kaisha | 映像情報装置及びモジュールユニット |
| GB2406014B (en) * | 2003-09-10 | 2007-01-31 | Thales Uk Plc | Video system |
| US7522528B2 (en) * | 2004-11-18 | 2009-04-21 | Qvidium Technologies, Inc. | Low-latency automatic repeat request packet recovery mechanism for media streams |
| JP2006165942A (ja) * | 2004-12-07 | 2006-06-22 | Sony Corp | 携帯電子機器、情報処理方法、並びにプログラム |
| JP2006174195A (ja) * | 2004-12-17 | 2006-06-29 | Hitachi Ltd | 映像サービスシステム |
| JP4646668B2 (ja) * | 2005-03-29 | 2011-03-09 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| WO2006112176A1 (ja) * | 2005-03-31 | 2006-10-26 | Pioneer Corporation | データ記録システム、データ取得装置、データ記録装置、データ取得装置制御プログラム、およびデータ記録装置制御プログラム |
| JP4396567B2 (ja) * | 2005-04-15 | 2010-01-13 | ソニー株式会社 | 素材記録装置および素材記録方法 |
| JP4914127B2 (ja) * | 2005-07-11 | 2012-04-11 | キヤノン株式会社 | ネットワークカメラ装置およびネットワークカメラ装置の映像フレームの送信方法 |
| JP4712537B2 (ja) * | 2005-11-18 | 2011-06-29 | パナソニック株式会社 | ネットワークカメラ、ネットワークカメラシステム、監視方法 |
| JP2009520380A (ja) * | 2005-12-19 | 2009-05-21 | パナソニック株式会社 | コンテンツ管理システム |
| JP5072261B2 (ja) * | 2006-05-02 | 2012-11-14 | キヤノン株式会社 | 撮像装置、通信装置、システム、通信方法及びプログラム |
| US7877777B2 (en) | 2006-06-23 | 2011-01-25 | Canon Kabushiki Kaisha | Network camera apparatus and distributing method of video frames |
| KR100772194B1 (ko) | 2006-07-26 | 2007-11-01 | 한국전자통신연구원 | 피사체의 움직임 여부에 기초하여 영상의 선택적 출력이가능한 네트워크 기반 지능형 이동 로봇 및 그 방법 |
| JP2008042511A (ja) * | 2006-08-07 | 2008-02-21 | Opt Kk | カメラシステム、カメラ装置およびカメラサーバ |
| JP2008109364A (ja) * | 2006-10-25 | 2008-05-08 | Opt Kk | カメラサーバシステム、データの処理方法、およびカメラサーバ |
| EP2137900B1 (en) * | 2007-04-26 | 2015-10-28 | Telefonaktiebolaget LM Ericsson (publ) | Precise delivering of frames for video on demand streaming |
| JP5197991B2 (ja) * | 2007-05-09 | 2013-05-15 | 株式会社東芝 | 受信機器、コンテンツデータの転送方法 |
| JP2008311831A (ja) | 2007-06-13 | 2008-12-25 | Panasonic Corp | 動画像通信装置、動画像通信システムおよび動画像通信用の半導体集積回路 |
| US8180029B2 (en) * | 2007-06-28 | 2012-05-15 | Voxer Ip Llc | Telecommunication and multimedia management method and apparatus |
| JP4915350B2 (ja) * | 2008-01-16 | 2012-04-11 | 日本電気株式会社 | エントロピ符号化器、映像符号化装置、映像符号化方法および映像符号化プログラム |
| JP5383117B2 (ja) * | 2008-08-21 | 2014-01-08 | キヤノン株式会社 | 記録装置及びその制御方法、並びに、プログラム |
| US8300098B1 (en) * | 2008-09-16 | 2012-10-30 | Emc Corporation | Techniques for providing access to video data using a network attached storage device |
| JP5469842B2 (ja) * | 2008-10-02 | 2014-04-16 | 日立コンシューマエレクトロニクス株式会社 | コンテンツ送信装置、コンテンツ受信装置 |
| EP2374241B1 (en) | 2008-12-22 | 2012-08-29 | Telecom Italia S.p.A. | Measurement of data loss in a communication network |
| US20110069179A1 (en) * | 2009-09-24 | 2011-03-24 | Microsoft Corporation | Network coordinated event capture and image storage |
| ITVI20090268A1 (it) * | 2009-11-02 | 2011-05-03 | Nicola Brunelli | Sistema e metodo di comunicazione tra realta' aziendali ed utenti di una rete informatica |
| CN103262471B (zh) * | 2010-11-05 | 2015-12-16 | 意大利电信股份公司 | 通信网络和对通信网络中的数据流执行测量的方法 |
| US8972925B2 (en) * | 2011-05-27 | 2015-03-03 | Adobe Systems Incorporated | Tracking application development and distribution |
| EP2538672B1 (en) * | 2011-06-21 | 2020-08-12 | Axis AB | Method for configuring networked cameras |
| JP6180780B2 (ja) * | 2013-04-22 | 2017-08-16 | 三菱電機ビルテクノサービス株式会社 | 映像データ送信装置及び映像データ管理システム |
| JP2013255265A (ja) * | 2013-08-05 | 2013-12-19 | Hitachi Consumer Electronics Co Ltd | データ送信装置 |
| TWI531219B (zh) * | 2014-07-21 | 2016-04-21 | 元智大學 | 即時影音傳輸方法及其系統 |
| JP6021120B2 (ja) | 2014-09-29 | 2016-11-09 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | データをストリーム処理する方法、並びに、そのコンピュータ・システム及びコンピュータ・システム用プログラム |
| JP6486654B2 (ja) * | 2014-11-06 | 2019-03-20 | 株式会社キッズウェイ | 画像表示システム |
| CN105262996A (zh) * | 2015-10-14 | 2016-01-20 | 深圳市飞图视讯有限公司 | 飞图录播系统 |
| CN105872613A (zh) * | 2016-03-30 | 2016-08-17 | 乐视控股（北京）有限公司 | 进行hls丢片补偿的方法及系统 |
| US20170288816A1 (en) * | 2016-03-30 | 2017-10-05 | Le Holdings (Beijing) Co., Ltd. | Method and system for compensating hls slice loss |
| US11463421B2 (en) | 2016-08-08 | 2022-10-04 | Record Sure Limited | Method of generating a secure record of a conversation |
| JP7085846B2 (ja) * | 2018-01-15 | 2022-06-17 | 株式会社キッズウェイ | 映像表示システム |
| CN110620889B (zh) * | 2018-06-20 | 2022-04-05 | 杭州海康威视数字技术股份有限公司 | 视频监控系统、网络硬盘录像机及数据传送方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5553083B1 (en) * | 1995-01-19 | 2000-05-16 | Starburst Comm Corp | Method for quickly and reliably transmitting frames of data over communications links |
| JPH10126772A (ja) * | 1996-10-18 | 1998-05-15 | Chokosoku Network Computer Gijutsu Kenkyusho:Kk | 動画像データ転送方法 |
| JP3529016B2 (ja) * | 1997-05-19 | 2004-05-24 | 日本電信電話株式会社 | 映像再生システム |
| JPH10336651A (ja) | 1997-05-28 | 1998-12-18 | Matsushita Electric Ind Co Ltd | 画像通信装置及び画像通信方法 |
| JPH1175176A (ja) * | 1997-07-02 | 1999-03-16 | Matsushita Electric Ind Co Ltd | 遠隔監視システムおよび遠隔監視方法 |
| JPH11150720A (ja) * | 1997-11-17 | 1999-06-02 | Matsushita Electric Ind Co Ltd | リアルタイムデータ再生装置及びシステム |
| JPH11177477A (ja) * | 1997-12-16 | 1999-07-02 | Matsushita Electric Ind Co Ltd | データ通信方法およびシステム |
| JP2000059460A (ja) * | 1998-08-12 | 2000-02-25 | Fuji Xerox Co Ltd | データ通信方法及びデータ通信装置 |
| US6587985B1 (en) * | 1998-11-30 | 2003-07-01 | Matsushita Electric Industrial Co., Ltd. | Data transmission method, data transmission apparatus, data receiving apparatus, and packet data structure |
| US6564380B1 (en) * | 1999-01-26 | 2003-05-13 | Pixelworld Networks, Inc. | System and method for sending live video on the internet |
| US6850559B1 (en) * | 1999-06-28 | 2005-02-01 | At&T Corp. | System and methods for transmitting data |
| JP2001016585A (ja) * | 1999-06-30 | 2001-01-19 | Kdd Corp | ビデオ蓄積再生方法および装置 |
| US6978306B2 (en) * | 2000-08-10 | 2005-12-20 | Pts Corporation | Multi-tier video delivery network |
| JP2002199019A (ja) * | 2000-12-27 | 2002-07-12 | Toshiba Corp | 通信制御装置、通信制御方法、及び通信制御プログラムが記録された記録媒体 |
| JP4427912B2 (ja) * | 2001-02-21 | 2010-03-10 | 日本電気株式会社 | ビデオパケットの受信復号システムおよび送信システム |
-
2001
- 2001-07-04 JP JP2001204113A patent/JP4767443B2/ja not_active Expired - Fee Related
- 2001-12-28 US US10/033,210 patent/US7386872B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20030007785A1 (en) | 2003-01-09 |
| US7386872B2 (en) | 2008-06-10 |
| JP2003018525A (ja) | 2003-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4767443B2 (ja) | ネットワーク蓄積型ビデオカメラシステム | |
| KR100954253B1 (ko) | 데이터 전송 시스템, 동작 방법 및 디지털 미디어 캐리어 | |
| US8214708B2 (en) | Video transmitting apparatus, video receiving apparatus, and video transmission system | |
| US20050071491A1 (en) | Multimedia streaming service system and method | |
| US8559788B2 (en) | Process for placing a multimedia object in memory, data structure and associated terminal | |
| US7663665B2 (en) | Communication device and method for transferring video-stream data to a display device and a storage device | |
| US7319698B2 (en) | Recovery system for restoring preserved regeneration data | |
| EP1379051B1 (en) | Data sending/receiving system and method for a defect-free data transmission | |
| WO2021197008A1 (zh) | 音视频通信方法、终端、服务器、计算机设备和存储介质 | |
| JPH10126772A (ja) | 動画像データ転送方法 | |
| JP2007110395A (ja) | ストリームデータ転送装置、ストリームデータ転送方法、及びそれらに用いるプログラム及び記録媒体 | |
| KR101022078B1 (ko) | 비디오 정보의 스트리밍을 용이하게 하는 방법 및 장치, 컴퓨터 판독가능 매체 및 비디오 정보를 포함하는 파일을 처리하는 방법 및 장치 | |
| JP4488958B2 (ja) | 映像伝送システム及び映像伝送方法 | |
| US10694213B1 (en) | Overcoming lost or corrupted slices in video streaming | |
| JP2010011287A (ja) | 映像伝送方法および端末装置 | |
| JP4242581B2 (ja) | データ変換装置 | |
| JP2006279436A (ja) | マルチメディア通信システムおよび再送用データ削除方法 | |
| JP2003264790A (ja) | 動画像伝送および記録装置 | |
| JP5488694B2 (ja) | リモート型携帯通信システム、サーバ装置及びリモート型携帯通信システム制御方法 | |
| JP2004349743A (ja) | 映像ストリーム切替システム、方法、映像ストリーム切替システムを含む映像監視、映像配信システム | |
| JP4266733B2 (ja) | 映像受信装置 | |
| JP3880438B2 (ja) | 画像通信装置 | |
| JP3923959B2 (ja) | 通信装置、通信方法およびプログラムを記録した記録媒体 | |
| JP4350638B2 (ja) | 映像記録装置 | |
| JPH11261536A (ja) | エラー判別処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110520 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110614 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110615 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |