JP4261934B2 - Video clip generation device, video clip generation method, program, and storage medium - Google Patents

Description

【００３７】
上述したＨＴＴＰのリクエスト例について詳細を説明する。『ｖｉｄｅｏｅｎｃｏｄｅｐａｒａｍ＝』に続く部分は、映像変換サーバ４００がカメラサーバ１０１から受け取ったソース映像を携帯電話端末６０１向けにエンコードする際のパラメータ情報を指示するものである。また、『ｃａｍｅｒａｓｅｒｖｅｒｓ＝』に続く部分は、映像変換サーバ４００が接続するカメラサーバ１０１を指定している（カメラサーバ識別子）。また、『ＰＴＺ＝』に続く部分は、映像変換サーバ４００がカメラサーバ１０１に関して実行すべきカメラ制御のコマンドを並べたＰＴＺシーケンスを指定している。また、『ｍｏｖｉｅｓｉｚｅｍａｘ＝』に続く部分は、携帯電話端末６０１あるいは携帯電話網が規定する映像クリップの最大サイズを指定している。また、『ｎｏｔｉｆｙｔｏ＝』に続く部分は、映像クリップ作成時に通知すべき連絡先である。典型的には、携帯電話端末６０１の利用者の電子メールアドレスを指定する。また、『ｕｓｅｒｉｄ＝』と『ｕｓｅｒｐｗ＝』とに続く部分は、それぞれ、ユーザ識別子とパスワードである。
【００３８】
また、上述したＰＴＺシーケンスの構成要素は、以下のような意味を持つ。nは、数値データ（正負あり）である。
Ｐｎ パン（水平方向カメラ制御）指定。
Ｔｎ チルト（垂直方向カメラ制御）指定。
Ｚｎ ズーム指定。
Ｂｎ 逆光補正。逆光補正のＯＮ／ＯＦＦ。
Ｈ ホームポジション指定。
Ｓｎ プリセット位置指定。ｎ番目のプリセット位置。
Ｃｎ カメラサーバ接続切換え指定。ｎ番目のカメラサーバ。
Ｋｎ カメラサーバ内カメラ切換え指定。ｎ番目のカメラ。
＿ｎ 時間経過を指定。０．１秒単位。
【００３９】
次に、ステップＳ６０５において、携帯電話端末６０１は、ステップＳ６０４で送信した映像クリップのリクエストに対する映像変換サーバ４００からのレスポンスを待つ。ここで、映像変換サーバ４００が上述した映像クリップのリクエストに応じてカメラサーバ１０１のカメラ装置１１を制御して撮影した映像を取得可能であるか否かについて携帯電話端末６０１へ返信（以下、レスポンスとする）したとする。
【００４０】
次に、ステップＳ６０６において、映像表示部６１１は、映像変換サーバ４００から受信したレスポンスを基に携帯電話端末６０１のディスプレイ装置６３に例えば、図１０（ａ）に示すようなレスポンス結果を表示する。図１０（ａ）は、携帯電話端末に表示されるレスポンスの画面例を示す図である。図１０（ａ）の６３ａは、ディスプレイ装置６３の画面であり、文字や映像を表示する。尚、図１０（ａ）においては、すぐに映像クリップを送信できない旨のレスポンスであるが、この限りではなく、すぐに映像クリップを送信できる場合は、その旨を伝えるレスポンス結果が画面６３ａに表示される。
【００４１】
次に、映像変換サーバ４００からのレスポンスが、何らかの理由からすぐに映像クリップを生成できないことを示す内容であった場合（ステップＳ６０７のＮｏ）には、ステップＳ６０８に進む。反対に、映像をすぐに生成できたことを示す内容であった場合（ステップＳ６０７のＹｅｓ）には、ステップＳ６０９に進む。
【００４２】
次に、ステップＳ６０８においては、携帯電話端末６０１は、映像変換サーバ４００からのメール通知を待ち受ける。メール通知は、例えば、ＳＭＴＰ （Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）によるが、ＳＭＳ（Ｓｈｏｒｔ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ）であってもよい。メール通知を受け取った場合（ステップＳ６０８のＹｅｓ）には、そのメール内容を映像変換サーバ４００からのレスポンスとして画面６３ａに例えば図１０（ｂ）に示すように表示し、ステップＳ６０９に進む。図１０（ｂ）は、携帯電話端末６０１においてメール通知を表示した画面例を示す図である。また、図１０（ｂ）において、６３ｂは、映像クリップ一覧であり、４つの映像クリップが１〜４までの番号を付与されて選択肢として表示されている。
【００４３】
ここで、図１０（ｂ）に示した映像クリップ一覧６３ｂより利用者が任意の一つを選択したとする。これにより、ステップＳ６０９において、映像表示部６１１は、選択された映像クリップを映像変換サーバ４００よりダウンロードしてディスプレイ装置６３に図１０（ｃ）に示すように再生表示する。図１０（ｃ）は、携帯電話端末６０１において映像クリップを再生表示した画面例を示す図である。図１０（ｃ）において、６３ｃは、映像表示エリアであり、再生された映像クリップが表示されるエリアである。６３ｄは、前（上述した番号で一つ前）の映像クリップを再生表示させるためのリンクである。６３ｅは、次（上述した番号で次）の映像クリップを再生表示させるためのリンクである。
【００４４】
尚、本実施形態では、映像クリップをダウンロードしてから再生しているが、この限りではなく、映像クリップの再生表示処理は、ダウンロードの終了を待たずに、ダウンロードしながら映像クリップを再生表示処理しても良い。
【００４５】
次に、図５に示した映像通信システムにおけるカメラサーバ１０１内のカメラ制御サーバ１１０の動作について説明する。
図７は、図５に示したカメラサーバ１０１内のカメラ制御サーバ１１０の動作を示すフロー図である。尚、図７には、カメラサーバ１０１内のカメラ制御サーバ１１０が起動して、クライアントからの接続を受け付け、クライアントからのコマンドに応じたカメラ制御を行い、カメラ制御の状態をクライアントである携帯電話端末６０１などへ通知し、クライアントからの接続が終了するまでの動作を示している。
【００４６】
図７に示すように、ステップＳ７００において、カメラ制御サーバ１１０は、起動時に特定のファイル（カメラ制御サーバ１１０のＯＳ（オペレーティング システム）によってはレジストリなどのシステムデータベース）からカメラ制御サーバ１１０の動作設定情報を読み出して、それに基づき動作を開始する。次に、ステップＳ７０１において、カメラ制御サーバ１１０は、クライアントであるビューワプログラム（例えば携帯電話端末６０１に内蔵されるプログラム）や映像変換サーバ４００からのリクエスト（接続リクエストや操作コマンドリクエストなど）を受け付けるポートを開き、リクエスト受付状態に入る。
【００４７】
次に、ステップＳ７０２において、カメラ制御サーバ１１０は、例えば映像変換サーバ４００から接続リクエストを受け付ける。次に、ステップＳ７０３において、カメラ制御サーバ１１０は、受け付けた接続リクエストに応じて映像変換サーバ４００に対する接続の可否の判定を行う。ここで接続許可が否である場合（ステップＳ７０３のＮｏ）には、接続拒否のエラーコードを返して、ステップＳ７０１に戻る。また、接続許可が可である場合（ステップＳ７０３のＹｅｓ）には、ステップＳ７０４へ進み、カメラ制御サーバ１１０は接続処理を行う。この接続処理の具体例を示すと、カメラ制御サーバ１１０は、クライアントからのコマンドの受付処理を行うスレッドを生成し、クライアントの登録を行い、ステップＳ７０１に戻る。また、ステップＳ７０７において、カメラ制御サーバ１１０は、各スレッドに対応するクライアントからのコマンドを受け付ける。
【００４８】
上述したカメラ制御サーバ１１０が接続処理において生成したスレッドは、ステップＳ７０７で対応するクライアント（登録したクライアント）から受け付けたコマンド（本実施形態においては操作コマンド）を、操作コマンドリクエストとして受け付ける処理を行う。すなわち、ステップＳ７０１において、カメラ制御サーバ１１０は、操作コマンドリクエストを受け付けると、それに含まれる操作コマンドをカメラ操作用（カメラ制御用）の主プログラムへ受け渡す。
【００４９】
これにより、ステップＳ７０１において、カメラ操作用の主プログラムは操作コマンドを受けて、ステップＳ７０５へ進み、カメラ制御サーバ１１０は、操作コマンドを発行したスレッドが接続しているクライアントの権限に応じてカメラ操作を行う。この時、カメラ制御サーバ１１０は、カメラ操作の結果（操作が成功か失敗かを示すコードなど）についてカメラの操作コマンドを受け付けたクライアント対応のスレッドへ伝える。これにより、カメラ操作の結果を伝えられたクライアント対応のスレッドは、ステップＳ７０８において、そのカメラ操作の結果をクライアントへ通達する。
【００５０】
次に、ステップＳ７０６において、カメラ制御サーバ１１０のカメラ操作用の主プログラム部分では、カメラの操作により変化した状態（たとえば、パン・チルト・ズームの値、および、禁止エリア検出の有無などを含むカメラ状態情報など）をすべてのクライアント対応のスレッドに伝える。これにより、各クライアント対応のスレッドは、ステップＳ７０９において、カメラ制御状態の変化をクライアントへ通達する。次に、クライアント対応のスレッドはクライアントから接続終了のコマンドを受け付けると、それを主プログラムへ通達し、さらにステップＳ７１０で自身のスレッドを終了する。
【００５１】
尚、カメラを操作するための操作コマンドの扱いにおいては、具体的な操作コマンドの発行の前に、利用者別のカメラ操作権の割り当て要求を必要とすることも可能である。これにより、複数の利用者がカメラの操作を要求するような状況での混乱を無くすことができる。具体的には、まず、クライアントからはカメラ操作権取得の要求コマンドが発行され、これに対して、カメラ制御サーバ１１０は現在のカメラ制御権の割り当て状態から、拒絶・割り当て・順番待ちのいずれかを選択してクライアントへ返答する。尚、カメラ制御権は前もって定められた特定の時間か、クライアントが接続を終了するまでの短いほうの時間で剥奪され、次の順番待ちの人に割り当てられる。順番待ち人数はやはり前もって定められた人数（たとえば５人）に制限され、それ以上の接続リクエストは拒絶される。
【００５２】
また、上述したクライアントはカメラ制御権が取得されてから剥奪されるまでの間だけ、上記操作コマンドをカメラ制御サーバ１１０へ発行する。また、カメラ制御サーバ１１０はカメラ制御権が付与されているクライアントからの操作コマンドのみを受け付ける。また、特権ユーザからの接続に関しては、優先的にカメラ操作権を割り当てることができる。また、特権ユーザからの操作コマンドは、禁止エリアを含む撮像領域へのカメラ制御であっても許可される。但し、通常ユーザには、接続の優先や禁止エリアを含むカメラ制御の許可を与えないとする。
【００５３】
次に、図５に示した映像通信システムにおけるカメラサーバ１０１内の映像サーバ１１１の動作について説明する。
図８は、図５に示したカメラサーバ１０１内の映像サーバ１１１の動作を示すフロー図である。尚、図８には、カメラサーバ１０１内の映像サーバ１１１が起動して、クライアントからの接続を受け付け、クライアントからのコマンドに応じたクライアントである携帯電話端末６０１などへの映像配信を行い、クライアントからの接続が終了するまでの動作を示している。
【００５４】
図８に示すように、ステップＳ８００において、映像サーバ１１１は、起動時に特定のファイル（映像サーバ１１１のＯＳによってはレジストリなどのシステムデータベース）から映像サーバ１１１の動作設定情報を読み出して、それに基づき動作を開始する。次に、ステップＳ８０１において、映像サーバ１１１は、カメラ制御サーバ１１０より映像データを取得し符号化し蓄積するためのスレッドを生成し（最初このスレッドは休止状態）、クライアントであるビューワプログラム（例えば、携帯電話端末６０１に内蔵するプログラム）や映像変換サーバ４００からのリクエスト（接続リクエストや操作コマンドリクエストや映像処理コマンドリクエストなど）を受け付けるポートを開くことで、リクエスト受付状態に入る。
【００５５】
次に、映像サーバ１１１は、接続リクエストならばステップＳ８０２に進み、これを受け付ける。次に、ステップＳ８０３において、映像サーバ１１１は、接続リクエストに応じて接続を許すか否かの判定を行う。ここで、接続許可が否である場合（ステップＳ８０３のＮｏ）には、映像サーバ１１１は、クライアントへ接続拒否のエラーコードを返し、ステップＳ８０１に戻る。また、接続許可が可である場合（ステップＳ８０３のＹｅｓ）には、映像サーバ１１１は、ステップＳ８０４に進み、接続処理を行い、ステップＳ８０１に戻る。その接続処理とは具体的には、映像サーバ１１１が、クライアントごとのセッションを識別するためのセッション識別子を生成し、クライアントからのコマンドの受付処理を行うスレッドを生成し、接続リクエストを発行したクライアントのアクセス権情報などに則してクライアントの登録（映像の配送先としての登録でもある）を行う処理である。
【００５６】
尚、接続リクエスト内容がライブ映像を提供するポートへの接続要求であり、かつ、上述した映像データを取得し符号化し蓄積するためのスレッドが休止状態ならば、映像サーバ１１１は、ステップＳ８０１の処理に戻る前に、該スレッドの動作開始を指示する。また、ステップＳ８０８において映像サーバ１１１は、各スレッドに対応するクライアントからのコマンドを受け付ける。
【００５７】
上述したステップＳ８０４の接続処理により生成されたクライアント対応のスレッドは、ステップＳ８０８で対応するクライアント（登録したクライアント）から受け付けたコマンド（本実施形態においては映像処理コマンド）を、映像処理コマンドリクエストとして受け付ける処理を行う。すなわち、ステップＳ８０１において、映像サーバ１１１は、映像処理コマンドリクエストを受け付けると、それに含まれる映像処理コマンドを映像処理用の主プログラムへ受け渡す。
【００５８】
また、ステップＳ８０１において操作コマンドリクエストを受け付けた場合には、映像処理用の主プログラムは、操作コマンドに対してはステップＳ８０５へ進み、映像データの取得や符号化・送信などに関する設定の変更操作を行う。また、映像サーバ１１１は、変更操作の結果（操作の成功か失敗を示すコード）についてコマンド要求を受け付けたクライアント対応のスレッドへ伝える。これにより、変更操作の結果を伝えられたクライアント対応のスレッドは、ステップＳ８０９において、その変更操作の結果をクライアントへ通達する。
【００５９】
また、上述したように映像データの取得と符号化を行うスレッドへの動作開始の指示を出した後に映像処理コマンドが受け渡された映像処理の主プログラム部分は、ステップＳ８０６に進み、前もって設定された時間間隔で映像データを映像キャプチャボード１５を使って取得し、取得した映像データを符号化などにより圧縮処理して圧縮データを生成する。次に、映像サーバ１１１は、生成した圧縮データを、ライブ映像用のポートに接続しているすべてのクライアント対応している各スレッドに伝える。これにより、各クライアント対応のスレッドは、ステップＳ８１０において、クライアントからの次映像フレーム送信要求の有無を判定し、要求があるならば、圧縮データをクライアントへ配送する。
【００６０】
尚、上述したように圧縮データをクライアントへ配送する際に、禁止エリアが検出されている場合には、登録されているクライアント情報に照らして、映像サーバ１１１は、例えば特権ユーザの接続以外には、禁止エリアに該当しているため圧縮データを配信できない旨（禁止エリア検出通知）を該当するクライアントへ通知する。そして、ライブ映像用のポートに接続しているクライアント対応のスレッドが、クライアントからの次映像フレーム送信要求（これはクライアントでの圧縮映像データの受け取り完了に対して、送り返されるのが一般的である）を受け取った場合には、映像サーバ１１１は、映像フレーム送信要求のフラグを設定する。すなわち、ステップＳ８１０において次映像フレームの送信要求の有無の判定はこのフラグを参照することで行う。また、クライアントから接続終了のコマンドを受けたならば、それを主プログラムへ通達し、さらにステップＳ８１１で自身のスレッドを終了する。
【００６１】
次に、図５に示した映像通信システムの携帯電話端末６０１におけるＰＴＺシーケンスの作成例について説明する。
図９は、図５に示した映像通信システムの携帯電話端末６０１におけるＰＴＺシーケンスを作成する画面例およびキーの割当例を示す図である。図９に示すように、ＰＴＺシーケンスを作成する際には、携帯電話端末６０１の画面６３ａに映像表示エリア６３ｃとＰＴＺシーケンス表示エリア６３ｆとが表示される。この時、各キー（ボタン類６２）に図示のように、パン（カメラの横振り）、チルト（カメラの縦振り）、ズーム（拡大倍率変更）、逆光補正などの機能が割り当てられる。尚、本実施形態の携帯電話端末６０１は、ボタン類６２として、上下左右の矢印キーと、数字・記号キーを具備する。
【００６２】
図９においては、↑キーにはチルトアップ、←キーにはパン左、→キーにはパン右、↓キーにはチルトダウン、１キーにはズームイン、２キーにはズームアウト、３キーにはホームポジション指定、４キーには逆光補正トグル、５キーにはプリセット指定、６キーには時間経過指定、７キーにはカメラサーバ内カメラ切換え指定、＊キーにはＰＴＺシーケンス末に追加、＃キーにはＰＴＺシーケンス末を削除、０キーにはビューワ終了が割り当てられている。
【００６３】
なお、図９に示した画面例は、図６の処理において説明したＰＴＺシーケンスの入力操作を行うためのユーザインタフェース例を示すものであり、これにより作成されたＰＴＺシーケンスは、図６に示したステップＳ６０２で利用される。また、上述した画面６３ａの表示制御は映像表示部６１１が行う。
【００６４】
次に、図６に示したステップＳ６０２においてＰＴＺシーケンスを作成する処理について説明する。
図１１は、携帯電話端末６０１においてＰＴＺシーケンスを作成する処理を示す図である。図１１に示すように、まず、ステップＳ９０１において、携帯電話端末６０１のカメラ制御入力部６１０は、図６のステップＳ６０２において取得したカメラサーバ１０１の識別子を使って、カメラサーバ１０１のカメラ制御によって可視範囲に入る画像を合成したパノラマ画像データと、事前にカメラサーバ１０１に設定されているカメラ制御情報（プリセット情報）と、現在のカメラ状態パラメータ（パン角、チルト角、ズーム値など）とを、カメラサーバ１０１から取得する。
【００６５】
次に、ステップＳ９０２において、カメラ制御入力部６１０は、ＰＴＺシーケンスの初期値として空データを設定し、また、表示用カメラ状態パラメータおよび設定用カメラ状態パラメータとして取得した現在のカメラ状態パラメータを設定する。
【００６６】
次に、ステップＳ９０３において、カメラ制御入力部６１０は、ステップＳ９０２で設定した表示用カメラ状態パラメータに応じて、可視領域を計算し、可視領域に相当する画像をパノラマ画像データから切り出して携帯電話端末６０１の画面６３ａに表示する。
【００６７】
次に、ステップＳ９０４において、カメラ制御入力部６１０は、利用者からのキー入力を受け取る。尚、このキー入力は、図９に示したような機能が割り当てられている。ここでステップＳ９０４における利用者のキー入力が、カーソルキー（矢印キー）による可視領域の変更、あるいは、プリセット位置への移動の指示であった場合（ステップＳ９０５のＹｅｓ）には、ステップＳ９０６に進み、表示用カメラ状態パラメータを変更して、ステップＳ９０３に戻る。また、ステップＳ９０４における利用者のキー入力が、カーソルキー（矢印キー）による可視領域の変更や、プリセット位置への移動の指示ではない場合（ステップＳ９０５のＮｏ）には、ステップＳ９０７へ進む。
【００６８】
次に、ステップＳ９０４における利用者のキー入力が、ＰＴＺシーケンスを追加／修正などの編集指示であった場合（ステップＳ９０７のＹｅｓ）には、ステップＳ９０８に進み、カメラ制御入力部６１０は、ＰＴＺシーケンスの値を変更し、ステップＳ９０３に戻る。具体的には、ＰＴＺシーケンス追加の場合には、カメラ制御入力部６１０は、その時点の表示用カメラ状態パラメータと設定用カメラ状態パラメータとの差分から制御すべきカメラ制御値を計算し、計算したカメラ制御値をＰＴＺシーケンスに追加する。そして、カメラ制御入力部６１０は、表示用カメラ状態パラメータを設定用カメラ状態パラメータの新しい値とする。また、ステップＳ９０４における利用者のキー入力が、ＰＴＺシーケンスを追加／修正などの編集指示でない場合（ステップＳ９０７のＮｏ）には、ステップＳ９０９へ進む。
【００６９】
次に、ステップＳ９０４における利用者のキー入力が、ＰＴＺシーケンス作成の終了を指示する場合（ステップＳ９０９のＹｅｓ）には、カメラ制御入力部６１０は、ステップＳ９１０に進み、上述した可視領域の変更や編集指示に応じたＰＴＺシーケンスの追加／修正に対して決定かキャンセルかを判定し、決定である場合には、追加／修正後のＰＴＺシーケンスをステップＳ６０２の処理を行うプログラムへ渡して、ＰＴＺシーケンスの作成処理を終了する。
【００７０】
次に、カメラサーバ１０１が図７のステップＳ７００で用いる設定値の設定方法について一例を示し説明する。
図１２は、カメラサーバ１０１が図７のステップＳ７００で用いる設定値を設定する際の画面例を示す図である。尚、図１２に示す設定画面は、カメラサーバ１０１が具備するカメラサーバ設定プログラムの処理によりカメラサーバ１０１の具備する表示装置の画面１９に表示され、カメラ制御サーバ１１０や映像サーバ１１１が読み出す動作設定情報を特定のファイル（ＯＳによってはレジストリなどのシステムデータベース）に設定するための画面である。
【００７１】
図１２に示すように、カメラサーバ１０１の画面１９に表示された設定画面において、カメラ制御サーバ設定画面１Ａ、映像サーバ設定画面１Ｂ、動画品質設定画面１Ｃ、接続制限設定画面１Ｄのいずれかを選択して各種のパラメータを設定できる。尚、図１２で示しているのは、カメラ制御サーバ設定画面１Ａを選択してパラメータを設定中の画面である。図１２に示すようにカメラ制御サーバ設定画面１Ａで設定できる事項は、ＴＣＰポート設定欄１Ａａにてカメラ制御の通信用のＴＣＰポート番号の設定ができ、ＣＯＭポート設定欄１Ａｂにてカメラと接続するＣＯＭ（シリアル）ポートの設定ができ、シャッター速度設定欄１Ａｃにてシャッター速度の設定ができ、ログ設定欄１Ａｄにてカメラ制御関連のログ情報を取るか否かおよびログファイル名の指定ができる。また、ＯＫボタン１Ａｅを押下すると設定した値が特定のファイルあるいはレジストリに書き込まれる。また、キャンセルボタン１Ａｆを押下すると設定した値は書き込まれずに終了する。
【００７２】
尚、上述した映像サーバ設定画面１Ｂにおいては、例えば映像をキャプチャする時間間隔を規定するフレームレートなどを設定する。また、上述した動画品質設定画面１Ｃにおいては、例えば圧縮の品質を決めるＱ−Ｆａｃｔｏｒや、圧縮の元データの画面サイズなどを設定する。また、上述した接続制限設定画面１Ｄにおいては、例えば１つのクライアントビューワの最大接続時間や、カメラ制御に関する制御権の順番待ち人数や、１つのビューワの制御権保持占有時間や、映像とカメラ制御に関する接続可能な最大クライアント数などを設定する。
【００７３】
次に、図１２に示した設定画面を用いてカメラサーバ設定プログラムの動作について説明する。図１３は、図１２に示した設定画面を表示するカメラサーバ１０１のカメラサーバ設定プログラムの動作を示すフロー図である。尚、図１３に示す動作は、カメラサーバ１０１が起動してから設定処理を終了するまでの動作である。
【００７４】
図１３に示すように、ステップＳ１１００において、カメラサーバ設定プログラムは、起動時にカメラ制御サーバ１１０および映像サーバ１１１に関する設定情報を格納した特定のファイル（ＯＳによってはレジストリなどのシステムデータベース）から設定情報を読み出し、図１２に示すような画面を表示する。次に、利用者からの操作入力がある場合（ステップＳ１１０１のＹｅｓ）には、それを受け取り次のステップ（ステップＳ１１０２またはステップＳ１１０５）へ進む。また、利用者からの操作入力がない場合（ステップＳ１１０１のＮｏ）には、利用者からの操作入力を待ち受けるループに入る。
【００７５】
次に、ステップＳ１１０２において、カメラサーバ設定プログラムは、入力された値が適正範囲内であるか否かを判定する。データが適正でない場合（ステップＳ１１０２のＮｏ）には、カメラサーバ設定プログラムは、ステップＳ１１０３に進み、エラーメッセージを出力して、利用者が変更しようとした値を元に戻して、ステップＳ１１０１へ戻る。また、データが適正範囲内である場合（ステップＳ１１０２のＹｅｓ）には、カメラサーバ設定プログラムは、ステップＳ１１０４に進み、内部データを更新して、ステップＳ１１０１に戻る。以上のステップＳ１１０１〜Ｓ１１０４に示す、利用者の操作入力を受け取り、内部データを更新する処理のループを、利用者からの操作入力に応じて繰り返す。
【００７６】
次に、利用者の操作入力として、例えば、図１２のＯＫボタン１Ａｅを押下した場合（ステップＳ１１０１のＹｅｓ）には、ステップＳ１１０５に進み、更新された内部データをカメラ制御サーバ１１０および映像サーバ１１１に関する設定情報を格納する特定のファイルなどへ書き出す。次に、ステップＳ１１０６に進み、変更を反映するためにカメラサーバ１０１を再起動するか否かを利用者に尋ねるパネルを表示する。
【００７７】
ここで、利用者の選択により再起動する場合（ステップＳ１１０７のＹｅｓ）には、ステップＳ１１０８に進み、カメラ制御サーバ１１０や映像サーバ１１１などを再起動する。次に、再起動が終るとステップＳ１１０９に進み、カメラサーバ設定プログラムを終了する。また、利用者の選択により再起動しない場合（ステップｓ１１０７のＮｏ）には、ステップＳ１１０９に進み、カメラサーバ設定プログラムを終了する。また、ステップＳ１１０１で利用者の操作入力として、例えば、図１２のキャンセルボタン１Ａｆを押下した場合（ステップＳ１１０１のＹｅｓ）には、ステップＳ１１０９に進み、カメラサーバ設定プログラムを終了する。
【００７８】
次に、図５に示した映像通信システムにおける映像変換サーバ４００の動作について説明する。
図１４は、図５に示した映像通信システムの映像変換サーバ４００における映像データの大まかな流れを模式化した図である。図１４において、４２０は、カメラサーバ用通信スタック（通信階層）であり、ＴＣＰ／ＩＰおよびＷｅｂＶｉｅｗ映像の階層より構成されている。４２１は、ＪＰＥＧデコーダであり、Ｍｏｔｉｏｎ ＪＰＥＧ形式の映像データをデコードする。４２２は、ＭＰＥＧ−４エンコーダであり、ＪＰＥＧデコーダ４２１がデコードした映像データをＭＰＥＧ−４形式の映像データへエンコードする。４２３は、携帯電話用通信スタックであり、ＨＴＴＰおよびＴＣＰ／ＩＰの階層より構成されている。
【００７９】
以上の構成により、図１４の矢印線に示すように、カメラサーバ１０１より受信したソース映像データ（本実施形態ではＭｏｔｉｏｎ ＪＰＥＧ、ＱＶＧＡサイズ３２０×２４０とする）は、映像変換サーバ４００のカメラサーバ用通信スタック４２０を経由して受信され、ＪＰＥＧデコーダ４２１に渡されデコードされ、携帯電話端末６０１向けに設定されたＭＰＥＧ−４エンコーダ４２２に渡され、携帯電話端末６０１向けの映像データ（ＭＰＥＧ−４ ｓｉｍｐｌｅｐｒｏｆｉｌｅ、ＱＣＩＦサイズ１７６×１４４、６４Ｋｂｐｓ）に加工された上で、映像クリップとして、携帯電話網向けの携帯電話用通信スタック４２３を経由して、携帯電話端末６０１へと送信される。
【００８０】
次に、映像変換サーバ４００のより詳細な動作について説明する。
図１５は、図５に示した映像通信システムにおける映像変換サーバ４００の動作を示したフロー図である。尚、図１５に示す処理は、映像変換サーバ４００における起動から携帯電話端末６０１と接続する接続処理が終了するまでの処理である。
【００８１】
図１５に示すように、ステップＳ１３００において、映像変換サーバ４００は、起動時に特定のファイル（ＯＳによってはレジストリなどのシステムデータベース）から映像変換サーバ４００の動作設定情報を読み出して、それに基づき動作を開始する。次に、ステップＳ１３０１において、映像変換サーバ４００は、クライアントである携帯電話ビューワプログラム（携帯電話端末６０１に内蔵されるプログラム）からのリクエスト（ＨＴＴＰリクエストのメッセージなど）を受け付けるポートを開き、リクエスト受付状態に入る。
【００８２】
次に、ステップＳ１３０２において、映像変換サーバ４００は、例えば携帯電話端末６０１からＨＴＴＰリクエストを受け付ける。次に、ステップＳ１３０３において、映像変換サーバ４００は、受け付けたＨＴＴＰリクエストに応じて携帯電話端末６０１に対する接続の可否の判定を行う。ここで接続許可が否である場合（ステップＳ１３０３のＮｏ）には、接続拒否のエラーコードを返して、ステップＳ１３０１に戻る。また、接続許可が可である場合（ステップＳ１３０３のＹｅｓ）には、ステップＳ１３０４へ進み、映像変換サーバ４００は、接続処理を行う。この接続処理の具体例を示すと、映像変換サーバ４００は、クライアントとの情報の受渡しを行うクライアント対応スレッドを生成し、クライアントの登録を行い、ステップＳ１３０１に戻る。
【００８３】
次に、上述した映像変換サーバ４００が接続処理において生成したクライアント対応スレッドの処理について説明する。上述したクライアント対応スレッドでは、ステップＳ１３１１において、対応するクライアントからのＨＴＴＰリクエストを読み込み、内容を解析する。尚、携帯電話端末６０１からのリクエストは、本実施形態においてはＨＴＴＰリクエストとして、映像変換サーバ４００に渡されるがこの限りではなく、種々のリクエストを用いてよい。また、ＨＴＴＰリクエストには、上述したＰＯＳＴメソッドが使われる場合もあり、ＧＥＴメソッドが利用される場合もある。
【００８４】
次に、ステップＳ１３１２において、映像変換サーバ４００は、リクエスト内容から、エンコードパラメータ情報（映像変換パラメータ）、カメラサーバ１０１への接続情報（ソース映像情報）、ＰＴＺシーケンス、映像クリップの最大サイズ（映像クリップ上限値）、通知先情報（通知先アドレス）、および、ユーザ識別子やパスワードなどユーザ識別情報などの属性情報を取り出す。これらは、上述したＨＴＴＰのリクエスト例（ＰＯＳＴメソッドの場合）に示すように『ｖｉｄｅｏｅｎｃｏｄｅｐａｒａｍ＝』、『ｃａｍｅｒａｓｅｒｖｅｒｓ＝』、『ＰＴＺ＝』、『ｍｏｖｉｅｓｉｚｅｍａｘ＝』、『ｎｏｔｉｆｙｔｏ＝』、『ｕｓｅｒｉｄ＝』、『ｕｓｅｒｐｗ＝』の値として指示されている。
【００８５】
『ｖｉｄｅｏｅｎｃｏｄｅｐａｒａｍ＝』で指示される映像変換パラメータは、映像変換サーバ４００が変換を行う際の変換用コーデックの選択やそのコーデックへのパラメータ、および、コーデック入力用／出力用のデータ形式などを記述している。『ｃａｍｅｒａｓｅｒｖｅｒｓ＝』で指示されるソース映像情報とは、例えば、ライブ映像を提供するカメラサーバ１０１のネットワークアドレスとポート番号などの通信属性情報である。『ｎｏｔｉｆｙｔｏ＝』で指示される通知先アドレスとは、典型的には、利用者の携帯電話端末６０１を指定した電子メールアドレスである。
【００８６】
次に、ステップＳ１３１３において、映像変換サーバ４００は、ＨＴＴＰリクエストに対するＨＴＴＰレスポンスを携帯電話端末６０１へ返信する。具体的には、映像変換サーバ４００は、映像クリップ生成に所定の時間を要する場合には、『すぐに映像を生成できないので、しばらくしてメール連絡します』との旨を示す情報を携帯電話端末６０１へ返信する。次に、ステップＳ１３１４において、映像変換サーバ４００は、ＨＴＴＰリクエストより取り出した属性情報であるソース映像情報およびユーザ識別情報に応じて、映像取得部４１１を初期化する。具体的には、ソース映像を提供するカメラサーバ１０１に接続し、映像取得部４１１にソース映像取得を開始させる。
【００８７】
次に、ステップＳ１３１５に進み、映像変換サーバ４００は、ＨＴＴＰリクエストより取り出した属性情報である映像変換パラメータに応じて映像変換部４１２を初期化する。この映像変換部４１２は、図１４に示したＭＰＥＧ−４エンコーダ４２２などから構成される。
【００８８】
次に、ステップＳ１３１６に進み、映像変換サーバ４００は、映像送信部４１３を初期化する。この際、映像変換サーバ４００は、ＨＴＴＰリクエストより取り出した属性情報を基に、映像送信部４１３に映像クリップ上限値、および、通知先アドレスを指示する。
【００８９】
次に、ステップＳ１３１７に進み、映像変換サーバ４００は、映像取得部４１１から映像変換部４１２へ、映像変換部４１２から映像送信部４１３へとそれぞれの処理データが受渡しされるように相互の関連付けを行う。同時に、映像変換サーバ４００のカメラ制御部４１０が、ＨＴＴＰリクエストより取得した属性情報であるＰＴＺシーケンスに従って制御指示をカメラサーバ１０１のカメラ制御サーバ１１０へ伝える。これにより、カメラサーバ１０１において上記ＰＴＺシーケンスに応じたカメラ制御が行われる。
【００９０】
次に、ステップＳ１３１８に進み、映像変換サーバ４００は、映像取得部４１１、映像変換部４１２、映像送信部４１３の後処理を行う。次に、ステップＳ１３１９に進み、映像変換サーバ４００は、クライアント対応スレッドを終了する。以上により、映像変換サーバ４００は、カメラサーバ１０１より映像データを取得し、携帯電話端末６０１用の映像クリップを生成する処理を行うことができる。
【００９１】
次に、映像変換サーバ４００の中で機能している映像取得部４１１、映像変換部４１２、映像送信部４１３、カメラ制御部４１０の詳細な動作について順次説明する。
まず、映像取得部４１１の初期化の動作について説明する。映像取得部４１１は、まず、初期化時に受け取ったソース映像情報およびユーザ識別情報に従って、ライブ映像を提供するカメラサーバ１０１に接続する。次に、映像取得部４１１は、カメラサーバ１０１から映像データを取得し、取得時のタイムスタンプを付与して映像データを映像変換部４１２へ渡す。尚、本実施形態におけるカメラサーバ１０１は、映像データをモーションＪＰＥＧ形式で提供するので、タイムスタンプが付与されるのは、個々のＪＰＥＧデータに対してである。また、カメラサーバ１０１から禁止エリア検出を通知された場合には、映像取得部４１１は、映像データに代えて禁止エリア検出通知を映像変換部４１２へ渡す。
【００９２】
次に、映像変換部４１２の初期化の動作について説明する。映像変換部４１２は、まず、初期化時に受け取ったコーデックへのパラメータ、および、コーデック入力用／出力用のデータ形式などをＭＰＥＧ−４エンコーダ４２２に設定する。そして、映像取得部４１１から受け取ったソース映像データを、コーデック入力用のデータ形式および画像サイズに整えてからＭＰＥＧ−４エンコーダ４２２に入力し、その処理結果を、映像送信部４１３へ渡す。尚、本実施形態における映像変換部４１２は、ＪＰＥＧ形式のソース映像データを、予め、ＪＰＥＧデコーダ４２１によりＱＣＩＦサイズかつＹＵＶ４１１形式に整えてからＭＰＥＧ−４エンコーダ４２２へ入力し、生成されたＭＰＥＧ−４データ（Ｉ−ｆｒａｍｅまたはＰ−ｆｒａｍｅ）を映像送信部４１３へ受け渡す。この際、映像取得部４１１で付与されたタイムスタンプも併せてＭＰＥＧ−４エンコーダ４２２へ入力される。
【００９３】
尚、映像取得部４１１から禁止エリア検出が通知されている場合には、映像変換部４１２は、カメラ制御を制限された領域であって映像を表示できない旨を示す合成画面の映像データ（代替映像データ）を、ソース映像データに代えて、ＭＰＥＧ−４エンコーダ４２２へ入力することで、合成画面のＭＰＥＧ−４データを生成し映像送信部４１３へ渡す。次に、映像送信部４１３は生成された合成画面のＭＰＥＧ−４データ（携帯用代替映像データ）を、携帯電話端末６０１へ送信する。これにより、携帯電話端末６０１の画面６３ａには、図１６に示すような映像を表示できない旨を示す合成画面が表示される。
【００９４】
次に、映像送信部４１３の動作について説明する。映像送信部４１３は、まず、初期化時に受け取った映像クリップ上限値に応じたメモリ領域を確保する。そして、映像変換部４１２が生成した携帯電話向け映像データを受け取り、確保したメモリ領域に保持する。また、映像送信部４１３は、禁止エリア検出通知を受け取った時点で、メモリ領域の利用率をも加味した上で、映像クリップの分割点を決定する。そして、分割点と判断した場合には、携帯電話端末６０１向け映像クリップのデータフォーマットに準拠したヘッダー情報を前置して、メモリ領域に保持している映像データをファイルとして保存し、メモリ領域を再利用する。これによって、映像クリップが複数のファイルに分割保存される。
【００９５】
次に、映像送信部４１３は、カメラ制御部４１０からＰＴＺシーケンスの終了を通知された時点で、メモリ領域に保持している映像データの残りを同様にファイルとして保存した上で、それまでに保存している複数の映像クリップへのリンク情報を埋め込んだ携帯電話端末６０１への通知情報を作成し、初期化時に受け取った通知先アドレスへ通知する。これによって、通知情報を受け取った携帯電話端末６０１において、利用者がリンク情報を選択することで、各映像クリップへのダウンロード要求を可能とする。尚、通知画面例は図１０（ｂ）に示した通りである。また、映像送信部４１３は、ＨＴＴＰサーバ機能を備えており、携帯電話端末６０１からのＨＴＴＰ利用の映像クリップのダウンロード要求に対応することができる。
【００９６】
次に、カメラ制御部４１０の動作について説明する。カメラ制御部４１０は、ＰＴＺシーケンスを解釈して、カメラサーバ１０１に送るべきカメラ制御コマンドを作成し、ＰＴＺシーケンスに指示されたタイミングで作成したカメラ制御コマンドをカメラサーバ１０１に送信する。これにより、カメラサーバ１０１のカメラ制御サーバ１１０は、受信したカメラ制御コマンドに応じたカメラ制御を行う。そして、カメラ制御部４１０は、ＰＴＺシーケンスを解釈し終えた時点で、ＰＴＺシーケンスの終了を映像送信部４１３に通知する。
【００９７】
以上に示した映像変換サーバ４００の構成により、携帯電話端末６０１上に実装された映像クリップビューワを使う利用者は、映像変換サーバ４００に映像クリップを要求することができる。そして、映像変換サーバ４００の機能により、カメラサーバ１０１に設定された禁止エリアの映像を特権ユーザのみに限定して提供することが可能であり、一方で、通常ユーザには、禁止エリアの存在を認識させることが可能である。
【００９８】
以上に示すように本実施形態における映像通信システムは、ネットワーク上に配置されたカメラサーバ１０１から送られるライブ映像を、携帯電話端末６０１向け映像クリップに変換して利用者に提供する事ができる。特に、本実施形態の映像変換サーバ４００は、カメラサーバ１０１に設定された禁止エリアを反映した映像クリップを生成する点に特徴がある。これにより、カメラサーバ１０１に装備されたアクセス制御機能やカメラ制御権を適切に反映して映像クリップを生成する事ができ、例えば禁止エリア（カメラ制御を制限された領域）の映像を保護しつつ、利用者の利便性を向上させた映像配信が可能となる。
【００９９】
尚、上述した本実施形態においては、図１に示すように携帯電話網とネットワークとを結ぶゲートウェイ５００とは独立に、ネットワーク上に映像変換サーバ４００が実装される例について説明しているが、この限りではなく、映像変換サーバ４００の機能が、ゲートウェイ５００の一部の機能として実装されても良い。また、図１の映像変換サーバ４００とゲートウェイ５００とが、ＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用線で接続されるような接続形態であってもよい。
【０１００】
また、上述した本実施形態においては、ＨＴＴＰ通信を用いて、携帯電話端末６０１、６０２と映像変換サーバ４００とが通信する例について説明しているが、この限りではなく、この通信は、ＳＭＴＰ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）を用いた通信など、セッション指向の通信方法を用いて好適である。また、携帯電話端末６０１、６０２と映像変換サーバ４００とのＨＴＴＰ通信やＳＭＴＰ通信は、例えばＳＳＬ（Ｓｅｃｕｒｅ Ｓｏｃｋｅｔ Ｌａｙｅｒ）などの併用により、安全な通信を行うことができる。
【０１０１】
また、上述した本実施形態では、携帯電話端末６０１、６０２が、カメラ制御コマンド列（ＰＴＺシーケンス）を発行するので、カメラ制御を行う利用者と映像クリップ要求する利用者とが同一であるが、この限りではなく、カメラ制御コマンドを発行する利用者は、映像クリップを要求する利用者と別の利用者であっても良い。例えば、ある利用者がビューワ２００などを利用してカメラ制御を行っている際に、別の利用者が携帯電話端末６０１から映像クリップを要求するような利用形態である。
【０１０２】
さらに、ＳＭＴＰ通信などを利用して映像クリップを要求する場合には、映像クリップを要求する利用者端末と映像クリップを受信する利用者端末とが異なっていることも考えられる。この場合には、映像クリップを要求する利用者端末の利用者に与えられたアクセス権限と映像クリップを受信する利用者端末の利用者に与えられたアクセス権限との一方あるいは両方を評価して、映像クリップ生成に反映することが考えられる。尚、上述した利用者端末とは、例えば携帯電話端末６０１、６０２やビューワ２００などである。
【０１０３】
また、上述した本実施形態においては、特権ユーザのアクセス権の識別に携帯電話端末６０１、６０２側でのパスワード入力を用いる例について説明しているが、この限りではなく、利用者の契約状況や課金の有無や、携帯電話端末６０１、６０２の個体番号や性能などに応じて、異なったアクセス権を設定するように映像変換サーバ４００を設計しても良い。
【０１０４】
また、上述した本実施形態においては、携帯電話端末６０１、６０２から指定されたユーザ識別子を使ってカメラサーバ１０１、１０２に接続し、禁止エリア判定をカメラサーバ１０１、１０２側で行う例について説明しているが、この限りではなく、映像変換サーバ４００が、常に特権ユーザ権限でカメラサーバ１０１、１０２に接続し、禁止エリア判定を映像変換サーバ４００で行っても良い。この場合には、事前に各カメラサーバ１０１、１０２に設定されている撮像領域制限情報およびアクセス制御情報（ユーザ識別情報を含む）を、映像変換サーバ４００側に共有する事で本実施形態と同様に実施可能である。
【０１０５】
例えば、映像変換サーバ４００がカメラサーバ１０１、１０２との接続を確立したタイミングで、撮像領域制限情報およびアクセス制御情報（登録されているユーザ情報）を共有する。次に、映像変換サーバ４００が、カメラサーバ１０１、１０２から提示されるカメラ制御の状態情報と携帯電話端末６０１、６０２から指定されたユーザ識別情報とを判断して、禁止エリア検出を行う事により、その状況を本実施形態と同様に映像クリップに反映する事が可能となる。
【０１０６】
また、本実施形態では、禁止エリア検出の時点で、禁止エリア検出を表示する画面を合成し、かつ、映像クリップを分割する例について説明しているが、この限りではなく、禁止エリア検出の時点では、その一方のみを実施する形態でもよい。すなわち、単純に禁止エリア検出を表現する画面を挿入するのみで、映像クリップを分割しないように映像変換サーバ４００を設計しても良い。また、反対に、映像クリップを分割するのみで、禁止エリア検出を表現する画面を挿入しないように映像変換サーバ４００を設計しても良い。
【０１０７】
また、本実施形態では、カメラサーバ１０１、１０２から取得した映像を携帯電話向け映像クリップに変換して送信する例について説明したが、この限りではなく、映像クリップの形式は、携帯電話向け映像クリップ以外の映像クリップであってもよい。例えば、ネットワークに接続可能なコンピュータ端末に、映像クリップの再生ソフトウェアＡがインストールされており、この再生ソフトウェアＡが標準のＭＰＥＧ−４にも対応する場合の変換方法について説明する。この場合、本実施形態の映像送信部４１３が映像クリップを生成する時点で、再生ソフトウェアＡで処理可能なデータ形式に準拠したデータフォーマットに整形し、かつ、そのフォーマットの中でＭＰＥＧ−４コーデックを指定して変換を行う。これにより、コンピュータ端末において再生ソフトウェアＡでの映像クリップの再生が可能となる。同様にして、例えば上述したコンピュータ端末とＯＳの異なるコンピュータ端末用の再生ソフトウェアＢに対しては、再生ソフトウェアＢに準拠するデータフォーマットに整形することで対応可能である。
【０１０８】
［第２の実施形態］
次に、本発明の第２の実施形態として、特権ユーザへのアクセス許可依頼を禁止エリア表示画面に組み込むことができる映像通信システムについて説明する。第２の実施形態の映像通信システムにおいてシステム構成や各装置のハードウェア構成や機能構成は、図１〜図５や図１４に示した第１の実施形態と同様であるので、説明を簡略に行う。すなわち、第２の実施形態の映像通信システムは、インターネット上に配置されたカメラサーバ１０１、１０２から取得したライブ映像を、携帯電話端末６０１、６０２向け映像クリップに変換して送信することができる。特に、第２の実施形態において第１の実施形態と異なる点は、映像変換サーバ４００が、禁止エリア検出を示す合成画面を挿入した際に、その合成画面部分に特権ユーザへのアクセス許可依頼を組み込む機能を有する点であり、その点に本実施形態の特徴がある。
【０１０９】
上述したように第２の実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第１の実施形態で説明した通りである。ただし、第１の実施形態において図１５で示した映像変換サーバ４００の一部の動作が異なるので、その異なる部分を中心に第２の実施形態における映像通信システムの動作を説明する。
具体的には、第２の実施形態における映像変換サーバ４００の映像変換部４１２と映像送信部４１３とが、第１の実施形態の映像変換部４１２とは、禁止エリア検出時の動作が異なっており、第１の実施形態の映像送信部４１３とは、映像クリップ生成時の動作に追加の処理がある点が異なっている。尚、以下の説明において、第２の実施形態の映像変換部４１２と第２の実施形態の映像送信部４１３を単に映像変換部４１２と映像送信部４１３と呼ぶ。
【０１１０】
映像変換部４１２は、まず、初期化時に受け取ったコーデックへのパラメータ、および、コーデック入力用／出力用のデータ形式などをＭＰＥＧ−４エンコーダ４２２に設定する。そして、映像取得部４１１から受け取ったソース映像データを、ＪＰＥＧデコーダ４２１などによりコーデック入力用のデータ形式および画像サイズに整えてからＭＰＥＧ−４エンコーダ４２２に入力し、その処理結果を、映像送信部４１３へ渡す。本実施形態における映像変換部４１２では、ＪＰＥＧ形式のソース映像データを、ＪＰＥＧデコーダ４２１で、予め、ＱＣＩＦサイズかつＹＵＶ４１１形式に整えてからＭＰＥＧ−４エンコーダ４２２へ入力し、生成されたＭＰＥＧ−４データ（Ｉ−ｆｒａｍｅまたはＰ−ｆｒａｍｅ）を映像送信部へ受け渡す。この際、映像取得部で付与されたタイムスタンプも併せてＭＰＥＧ−４エンコーダ４２２へ入力される。
【０１１１】
尚、映像取得部４１１から禁止エリア検出が通知されている場合には、「カメラ制御を制限された領域であって映像を表示できないので管理者（特権ユーザ）へ映像クリップへのアクセス許可を依頼する」という旨を示す管理者へのアクセス許可依頼を組み込んだ合成画面を、ソース映像データに代えて、ＭＰＥＧ−４エンコーダ４２２へ入力することで、合成画面のＭＰＥＧ−４データを生成し映像送信部４１３へ渡す。次に、映像送信部４１３は生成された合成画面のＭＰＥＧ−４データを、携帯電話端末６０１へ送信する。これにより、携帯電話端末６０１の画面６３ａには、図１７に示すような「カメラサーバ管理者に映像クリップの発行を依頼します」というアクセス許可依頼を組み込んだ合成画面が表示される。
【０１１２】
次に、映像クリップのタイムライン上での合成画面のポイント（クリップ開始時点からの経過時間）を記録し、このポイントと、特権ユーザへのアクセス許可依頼を行うＵＲＬとからなるタプルを、映像クリップのコマンドリストに追加する。この結果作成される映像クリップのコマンドリストは、例えば、次のような内容となる。なお、本実施形態では、映像クリップのタイムラインをミリ秒単位で記述するものとする。また、特権ユーザへのアクセス許可依頼は、映像変換サーバ４００経由で依頼する。
但し、下記のｗｖｃｌｉｐｐｅｒ．ｘ．ｃｏ．ｊｐは、映像変換サーバ４００を示すネットワーク上の識別子である。
【０１１３】
［経過時間］ ６９００ｍｓ
［ＵＲＬ］ＨＴＴＰ：／／ｗｖｃｌｉｐｐｅｒ．ｘ．ｃｏ．ｊｐ／ｓｖｃ／ａｓｋ＿ｆｏｒ＿ｆ．ｃｇｉ？ｕｓｅｒｉｄ＝３３ｘｘｘ、ｎｏｔｉｆｙｔｏ＝ｍａｉｌｔｏ：ｒｉｙｏｕｓｈａ３＠ｘｘ．ｘｘ．ｃｏ．ｊｐ，ｃａｍｅｒａｓｅｒｖｅｒｓ＝ｗｅｂｖｉｅｗ：／／ｖｂ＿Ｘ．ｃｏ．ｊｐ，ＰＴＺ=Ｐ−１６Ｔ３２Ｚ１５，ｔｉｍｅ＝ＪＳＴ２００２ｓｅｐ２５＿１００６５８
…
［経過時間］ １３２００ｍｓ
［ＵＲＬ］ＨＴＴＰ：／／ｗｖｃｌｉｐｐｅｒ．ｘ．ｃｏ．ｊｐ／ｓｖｃ／ａｓｋ＿ｆｏｒ＿ｆ．ｃｇｉ？ｕｓｅｒｉｄ＝３３ｘｘｘ，ｎｏｔｉｆｙｔｏ＝ｍａｉｌｔｏ：ｒｉｙｏｕｓｈａ３＠ｘｘ．ｘｘ．ｃｏ．ｊｐ，ｃａｍｅｒａｓｅｒｖｅｒｓ＝ｗｅｂｖｉｅｗ：／／ｖｂ＿Ｘ．ｃｏ．ｊｐ，ＰＴＺ＝Ｐ０Ｔ０Ｚ１２０，ｔｉｍｅ＝ＪＳＴ２００２ｓｅｐ２５＿１００７０４
…
【０１１４】
次に、映像送信部４１３は、第１の実施形態における映像送信部４１３の処理に加えて、映像変換部４１２が生成したコマンドリストを映像クリップに組み入れる処理を行う。例えば、ＡＳＦ形式に準拠した映像クリップである場合には、ＡＳＦ形式の映像クリップの“ｓｃｒｉｐｔ ｃｏｍｍａｎｄ ｏｂｊｅｃｔ”として、コマンドリストを組み入れる。
【０１１５】
次に、映像変換サーバ４００が上記ＵＲＬで示された特権ユーザへのアクセス許可依頼を受け取った際の動作について説明する。
図１８は、映像変換サーバ４００が、上記ＵＲＬで示された特権ユーザへのアクセス許可依頼を受け取った際の処理を示すフロー図である。尚、図１８に示す処理は、図１５で説明したステップＳ１３１１において映像変換サーバ４００が解析したリクエスト内容が、特権ユーザへのアクセス許可依頼である場合に実行される。
【０１１６】
まず、ステップＳ１８３１において、映像変換サーバ４００は、ＨＴＴＰリクエストに含まれるクライアントのユーザ識別情報（ｕｓｅｒｉｄ）、カメラ識別情報（ｃａｍｅｒａｓｅｒｖｅｒｓ）、カメラ制御情報（ＰＴＺ）などを取り出す。本実施形態の場合、映像変換サーバ４００が受け取るＨＴＴＰリクエストが、上記コマンドリストの第一のＵＲＬ（経過時間が６９００ミリ秒のＵＲＬ）であるとすると、次のような内容を取得する。
【０１１７】

【０１１８】
次に、ステップＳ１８３２で、映像変換サーバ４００は、ユーザ識別情報からユーザ名称を取得する。ユーザ名称情報は、映像変換サーバ４００が独自に管理しているデータベースに保存してあっても、ネットワーク上のユーザ名称データベースに問い合わせても良い。本実施形態では、ユーザ識別子が“３３ｘｘｘ”である利用者のユーザ名称 “利用者３” が取得されたとして説明する。
【０１１９】
次に、ステップＳ１８３３において、映像変換サーバ４００は、対象となっているカメラサーバ１０１に接続し、カメラ識別情報とカメラ制御情報とから、アクセス許可を求められているカメラ制御に相当する画像データ（指定画像データ）を取得する。次に、ステップＳ１８３４において、映像変換サーバ４００は、カメラサーバ１０１より取得した画像データを添付した上で、取得したユーザ名称の利用者がアクセス許可を求めている旨のメッセージのメールを、特権ユーザに送信する。この時、メッセージ内容は、例えば、以下の通りである。
【０１２０】
「あなたが管理しているカメラサーバ（の禁止エリア）へ下記のようなアクセス許可依頼が来ています。御回答願います。」
カメラ： ｗｅｂｖｉｅｗ：／／ｖｂ＿Ｘ．ｃｏ．ｊｐ
エリア： Ｐａｎ＝−１６，Ｔｉｌｔ＝３２，Ｚｏｏｍ＝１５
日時等：２００２ Ｓｅｐ ２５ １０：０６：５８ ＪＳＴ
利用者：“利用者３”
返答先：ｍａｉｌｔｏ：ｒｉｙｏｕｓｈａ３＠ｘｘ．ｘｘ．ｃｏ．ｊｐ
【０１２１】
本実施形態では、合成画像に関連付けた特権ユーザへのアクセス許可依頼を、映像変換サーバ４００経由で処理する例について説明しているが、この限りではなく、このアクセス許可依頼の処理は、映像変換サーバ４００を経由しない処理方法であっても良い。例えば、次のようなＵＲＬを関連付けることによって、特権ユーザに電子メール送信あるいは電話（インターネット電話を含む）による音声通話する方法も考えられる。
ｍａｉｌｔｏ：ｓｕｐｅｒｕｓｅｒ１＠ｘｘ．ｘｘ．ｃｏ．ｊｐ
ｐｈｏｎｅｔｏ：０５０−ｘｘ５８−ｘｘ１１
【０１２２】
［第３の実施形態］
本発明の第３の実施形態として、ファイル生成してＷＷＷサーバのファイルアクセス情報を生成する映像通信システムについて説明する。
第３の実施形態の映像通信システムにおいてシステム構成や各装置のハードウェア構成や機能構成は、図１〜図５や図１４に示した第１の実施形態とほぼ同様であるので、異なる構成を主に説明する。すなわち、第３の実施形態の映像通信システムは、インターネット上に配置されたカメラサーバ１０１、１０２から取得したライブ映像を、携帯電話端末６０１、６０２向け映像クリップに変換して送信することができる。特に、第３の実施形態において第１の実施形態と異なる点は、広く普及しているＨＴＴＰサーバを利用して、携帯電話端末６０１、６０２への送信を実施する点に特徴がある。
【０１２３】
上述したように本実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第１の実施形態で説明した通りである。ただし、第３の実施形態における映像通信システムは、図５に示した第１の実施形態における映像通信システムと構成の異なる部分がある。図１９は、第３の実施形態における映像通信システムの接続構成および機能構成の概略を示す図である。図１９に示すように、図５に示した映像通信システムと比べて、映像変換サーバ４００と携帯電話端末６０１の間にＷＷＷサーバ（本実施形態ではＨＴＴＰサーバ）７００が接続されている点が異なる。この、ＨＴＴＰサーバ７００は、例えば、Ａｐａｃｈｅなどのプログラムにより実現される。
【０１２４】
また、第３の実施形態の映像通信システムにおいては、第１の実施形態の映像通信システムと、図１５で示した映像変換サーバ４００の一部の動作が異なる。具体的には、映像変換サーバ４００は、携帯電話端末６０１から発行された映像クリップ要求を、ＨＴＴＰサーバ７００から受け取る。ＨＴＴＰサーバ７００は、受け取ったＨＴＴＰリクエストのうち、映像クリップに関するリクエストを映像変換サーバ４００へリダイレクトする。
【０１２５】
この時、本実施形態の映像変換サーバ４００の映像送信部４１３は、第１の実施形態の映像送信部４１３とは、映像クリップ生成時の手順が以下のように異なる。第３の実施形態の映像送信部４１３は、まず、初期化時に受け取った映像クリップ上限値にしたがってメモリ領域を確保する。次に、映像変換部４１２が生成した携帯電話向け映像データを受け取り、確保したメモリ領域に保持する。次に、映像送信部４１３は、禁止エリア検出通知を受け取った時点で、メモリ領域の利用率をも加味した上で、映像クリップの分割点を決定する。この時、映像送信部４１３は、映像クリップの分割点と判断した場合には、携帯電話向け映像クリップのデータフォーマットに準拠したヘッダー情報を前置して、メモリ領域に保持している映像データをファイルとして保存し、メモリ領域を再利用する。また、保存するファイルは、ＨＴＴＰサーバ７００からアクセス可能な領域に配置される。例えば、映像変換サーバ４００とＨＴＴＰサーバ７００との共有ファイルシステム上である。
【０１２６】
次に、カメラ制御部４１０からＰＴＺシーケンスの終了を通知された時点で、映像送信部４１３は、メモリ領域に保持している映像データの残りを同様にファイルとして保存した上で、それまでに保存している複数の映像クリップへのリンク情報を埋め込んだ携帯電話端末６０１への通知情報を作成し、初期化時に受け取った通知先アドレスへ通知する。これによって、通知情報を受け取った携帯電話端末６０１において、利用者がリンク情報を選択することにより、ＨＴＴＰサーバ７００を介して各映像クリップをダウンロードすることができる。
【０１２７】
次に、本実施形態における禁止エリアを含む映像クリップへのアクセス制限について説明する。本実施例では、Ａｐａｃｈｅ相当のＨＴＴＰサーバ７００を利用して、ファイルとして生成された映像クリップへのアクセス制限を行う例について説明する。
本実施例の説明では、“．ｈｔａｃｃｅｓｓ”ファイルと“．ｈｔｐａｓｓｗｄ”ファイルとを使ってディレクトリ単位でアクセス制限する。まず、携帯電話端末６０１などを利用して映像クリップにアクセスする利用者別の権限に応じてグループ分けし、パスワード情報を“．ｈｔｐａｓｓｗｄ”ファイルに登録する。登録には、例えば、Ａｐａｃｈｅに付属するｈｔｐａｓｓｗｄコマンドを用いる。そして、禁止エリアを含まない映像クリップをファイルとして生成するディレクトリの“．ｈｔａｃｃｅｓｓ”ファイルの内容に次のような情報を記述する。
【０１２８】
ＡｕｔｈＴｙｐｅ Ｂａｓｉｃ
ＡｕｔｈＮａｍｅ “ｎｏｓｐｅｃｉａｌ ｃａｍｅｒａ ｃｏｎｔｒｏｌ ｇｒｏｕｐ”
ＡｕｔｈＵｓｅｒＦｉｌｅ ／ｅｔｃ／．ｈｔｐａｓｓｗｄ
＜ＬＩＭＩＴ ＧＥＴ＞
ｒｅｑｕｉｒｅ ｖａｌｉｄ−ｕｓｅｒ
＜／ＬＩＭＩＴ＞
【０１２９】
一方で、禁止エリアを含む映像クリップをファイルとして生成するディレクトリの“．ｈｔａｃｃｅｓｓ”ファイルの内容に次のような情報を記述する。ただし、ｓｕｐｅｒｕｓｅｒ１、ｓｕｐｅｒｕｓｅｒ２、ｓｕｐｅｒｕｓｅｒ３は、特権ユーザのユーザ識別子であるとする。
【０１３０】
ＡｕｔｈＴｙｐｅ Ｂａｓｉｃ
ＡｕｔｈＮａｍｅ “ｃａｍｅｒａ ｃｏｎｔｒｏｌ ｐｒｉｖｉｌｅｇｅｄｇｒｏｕｐ”
ＡｕｔｈＵｓｅｒＦｉｌｅ ／ｅｔｃ／．ｈｔｐａｓｓｗｄ
＜ＬＩＭＩＴ ＧＥＴ＞
ｒｅｑｕｉｒｅ ｕｓｅｒ ｓｕｐｅｒｕｓｅｒ１ ｓｕｐｅｒｕｓｅｒ２ ｓｕｐｅｒｕｓｅｒ３
＜／ＬＩＭＩＴ＞
【０１３１】
尚、本実施形態では、ディレクトリ毎にアクセス制限を適用する例について説明しているが、この限りではなく、別途ユーザ単位のアクセス制限を可能とするデータベースシステムを併用して映像クリップを管理してもよい。
【０１３２】
また、本実施形態では、ユーザ単位の認証を行う例について説明しているが、この限りではなく、複数の特権ユーザをグループ登録しておくことにより、グループ単位の認証であってもよい。
【０１３３】
また、本実施形態では、携帯電話端末６０１からの映像クリップ要求に応じて、映像クリップを生成する例について説明しているが、映像クリップの生成方法は、この限りではない。例えば、生成すべき映像クリップのカメラ情報、カメラ制御情報、生成スケジュールなどを、事前に映像変換サーバ４００に設定しておき、映像変換サーバ４００は、設定されたスケジュールに従い定期的に映像クリップを生成し、ＨＴＴＰサーバ７００からアクセス可能な領域に配置してもよい。
【０１３４】
［第４の実施形態］
本発明の第４の実施形態として、映像変換サーバと一体型のカメラサーバを備える映像通信システムについて説明する。
第４の実施形態の映像通信システムにおいてシステム構成や各装置のハードウェア構成や機能構成は、図１〜図５に示した第１の実施形態とほぼ同様であるので、異なる構成を主に説明する。すなわち、第４の実施形態の映像通信システムは、インターネット上に配置された映像変換サーバと一体型のカメラサーバ１０１およびカメラサーバ１０２から取得したライブ映像を、携帯電話端末６０１、６０２向け映像クリップに変換して送信することができる。特に、第４の実施形態において第１の実施形態と異なる点は、第１の実施形態における映像変換サーバ４００とカメラサーバ１０１とが一体化したカメラサーバ１０１ａを具備する点である。
【０１３５】
上述したように、本実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第１の実施形態で説明した通りである。ただし、第４の実施形態における映像通信システムは、図１や図５に示した第１の実施形態における映像通信システムと構成の異なる部分がある。図２０は、第４の実施形態における映像通信システムの接続構成の概略を示す図である。図２０に示すように、図１および図５に示した第１の実施形態における映像通信システムと比べて、映像変換サーバと一体化したカメラサーバ１０１ａがネットワークに接続されている点が異なる。また、カメラサーバ１０１ａと一体化された映像変換サーバは、第１の実施形態の映像変換サーバ４００と同様の機能を有する。以上より、以下の説明において映像変換サーバ４００とは、カメラサーバ１０１と一体化されたものであるとする。
【０１３６】
また、第３の実施形態の映像通信システムにおいては、第１の実施形態の映像通信システムと、図１５で示した映像変換サーバ４００の一部の動作（本実施形態においてはカメラサーバ１０１ａの一部の動作）が異なる。本実施形態では、カメラサーバ１０１ａに映像変換サーバ４００が一体化しているため、以下のような動作を行う。
【０１３７】
まず、映像変換サーバ４００の映像取得部４１１は、図８に示した映像サーバ１１１のステップＳ８０６と同様に、ハードウェア構成の映像キャプチャボード１５を利用して映像データをカメラ制御サーバ１１０より取得する。尚、本実施形態では、映像変換サーバ４００が、ハードウェア構成の映像キャプチャボード１５を使って映像データを取得する例について説明したが、この限りではなく、カメラサーバ１０１ａと一体化した映像変換サーバ４００であっても、第１の実施形態と同様に、他のカメラサーバ１０２の映像サーバ１１１からも映像データを取得できるよう設計することもできる。これにより、カメラサーバ１０１ａのエンコード処理の負荷分散、映像データの配送処理の負荷分散、および、ネットワーク通信インフラにおける輻輳防止などの効果がある。
【０１３８】
［第５の実施形態］
本発明の第５の実施形態として、禁止エリア映像に代えて説明文を合成することができる映像通信システムについて説明する。
第５の実施形態の映像通信システムにおいてシステム構成や各装置のハードウェア構成や機能構成は、図１〜図５や図１４に示した第１の実施形態とほぼ同様であるので、異なる構成を主に説明する。すなわち、第５の実施形態の映像通信システムは、インターネット上に配置されたカメラサーバ１０１、１０２から取得したライブ映像を、携帯電話端末６０１、６０２向け映像クリップに変換して送信することができる。特に、第５の実施形態において第１の実施形態と異なる点は、映像変換サーバ４００が、禁止エリア検出を画面合成する際に、禁止エリアの属性を、その合成画面に盛り込み、一般ユーザに提供する点である。
【０１３９】
上述したように本実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第１の実施形態で説明した通りである。ただし、第５の実施形態の映像通信システムにおいては、第１の実施形態の映像通信システムと、図１５で示した映像変換サーバ４００の一部の動作が異なる。具体的には、映像変換サーバ４００の映像変換部４１２が、第１の実施形態の映像変換部４１２とは、禁止エリア検出時に挿入する合成画面の合成方法において異なっている。尚、以下の説明において、第５の実施形態の映像変換部４１２を単に映像変換部４１２と呼ぶ。
【０１４０】
図２１は、第５の実施形態における映像変換部４１２の禁止エリア検出時に挿入する合成画面の生成処理を示すフロー図である。尚、図２１に示す映像変換部４１２の処理は、映像変換サーバ４００の映像変換部４１２における処理の一部であって、映像変換サーバ４００の映像変換部４１２が、映像取得部４１１から禁止エリア検出を通知された場合に実行される処理である。
【０１４１】
図２１に示すように、まず、ステップＳ２１６１において、映像変換部４１２は、現在のカメラ制御状態情報（パン、チルト、ズームの状態を示す数値情報など）を取得する。次に、ステップＳ２１６２において、映像変換部４１２は、カメラサーバ１０１が接続するカメラ装置１１の機種情報から、現在のカメラ制御状態が、カメラ装置１１の全視野に占める位置を計算する。
【０１４２】
次に、ステップＳ２１６３において、映像変換部４１２は、カメラ装置１１の全視野に占める位置の計算結果、日時情報、および、カメラ制御状態情報などを反映して、禁止エリアを示す画面を合成する。次に、ステップＳ２１６４において、映像変換部４１２は、合成画面を、ソース映像データに代えて、ＭＰＥＧ−４エンコーダ４２２へ入力する。次に、ステップＳ２１６５において、映像変換部４１２は、ＭＰＥＧ−４エンコーダ４２２の処理結果を、映像送信部４１３へ渡す。次に、映像送信部４１３は生成された合成画面のＭＰＥＧ−４データを、携帯電話端末６０１へ送信する。これにより、携帯電話端末６０１の画面６３ａには、図２２に示すような禁止エリア６３ｇを示す合成画面が表示される。また、カメラ制御状態情報表示エリア６３ｈには、現在のカメラ制御状態情報が表示されている。
【０１４３】
尚、上述した実施形態では、現在のカメラ制御状態情報を、禁止エリア検出画面に合成する例について説明したが、禁止エリア検出画面に合成する情報は、これに限定されない。例えば、この映像クリップ要求を発行した利用者（つまり、カメラ制御を制限された利用者）の情報、特権ユーザへの連絡先情報（メールアドレスや携帯電話番号など）、あるいは、映像変換サーバ４００に保持される類似映像クリップの有無などの情報を合成することが考えられる。また、上述した実施形態では、携帯電話端末を用いた映像通信システムを示したが、この限りではなく、ＰＤＡなどのネットワークに接続可能な携帯端末であってもよい。
【０１４４】
また、図５、図１４、図１９に示した各処理部は、専用のハードウェアにより実現されるものであってもよく、また、各処理部はメモリおよびＣＰＵにより構成され、各処理部の機能を実現する為のプログラムをメモリに読み込んで実行することによりその機能を実現させるものであってもよい。
また、上記メモリは、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性のメモリ、あるいはこれらの組み合わせによるコンピュータ読み取り、書き込み可能な記録媒体より構成されるものとする。
【０１４５】
また、図５、図１４、図１９において各種処理を行う処理部の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１４６】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【０１４７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１４８】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【０１７１】
【発明の効果】
以上説明したように、本発明によれば、カメラからの映像情報を、アクセス制御やカメラ制御権を含めて、端末装置向けに適切に配信可能にすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における映像通信システムの概略構成を示す図である。
【図２】図１に示した映像変換サーバ４００のハードウェア構成の一例を示す図である。
【図３】図１に示したカメラサーバ１０１、１０２のハードウェア構成の一例を示す図である。
【図４】図１に示した携帯電話端末６０１、６０２のハードウェア構成の一例を示す図である。
【図５】図１に示した映像通信システムにおけるカメラサーバ１０１や、映像変換サーバ４００や、携帯電話端末６０１の機能構成の概略を示す図である。
【図６】図５に示した映像通信システムにおける携帯電話端末６０１の動作を示すフロー図である。
【図７】図５に示したカメラサーバ１０１内のカメラ制御サーバ１１０の動作を示すフロー図である。
【図８】図５に示したカメラサーバ１０１内の映像サーバ１１１の動作を示すフロー図である。
【図９】図５に示した映像通信システムの携帯電話端末６０１におけるＰＴＺシーケンスを作成する画面例およびキーの割当例を示す図である。
【図１０】携帯電話端末６０１においてレスポンス、メール通知、映像クリップの再生表示を表示した３つの画面例を示す図である。
【図１１】携帯電話端末６０１においてＰＴＺシーケンスを作成する処理を示す図である。
【図１２】カメラサーバ１０１が図７のステップＳ７００で用いる設定値を設定する際の画面例を示す図である。
【図１３】図１２に示した設定画面を表示するカメラサーバ１０１のカメラサーバ設定プログラムの動作を示すフロー図である。
【図１４】図５に示した映像通信システムの映像変換サーバ４００における映像データの大まかな流れを模式化した図である。
【図１５】図５に示した映像通信システムにおける映像変換サーバ４００の動作を示したフロー図である。
【図１６】携帯電話端末６０１の画面６３ａに表示される合成画面例を示す図である。
【図１７】携帯電話端末６０１の画面６３ａに表示されるアクセス許可依頼を組み込んだ合成画面例を示す図である。
【図１８】映像変換サーバ４００が、ＵＲＬで示された特権ユーザへのアクセス許可依頼を受け取った際の処理を示すフロー図である。
【図１９】第３の実施形態における映像通信システムの接続構成および機能構成の概略を示す図である。
【図２０】第４の実施形態における映像通信システムの接続構成の概略を示す図である。
【図２１】第５の実施形態における映像変換部４１２の禁止エリア検出時に挿入する合成画面の生成処理を示すフロー図である。
【図２２】携帯電話端末６０１の画面６３ａに表示される禁止エリア６３ｇを含む合成画面例を示す図である。
【符号の説明】
１０ コンピュータ
１１ カメラ装置
６１ スイッチ類
６２ ボタン類
６３ ディスプレイ装置
１０１、１０２ カメラサーバ
１０１ａ カメラサーバ（映像変換サーバを含む）
１１０ カメラ制御サーバ
１１１ 映像サーバ
２００ ビューワ
３００ 中継サーバ
４００ 映像変換サーバ
４１０ カメラ制御部
４１１ 映像取得部
４１２ 映像変換部
４１３ 映像送信部
５００ ゲートウェイ
６０１、６０２ 携帯電話端末
６１０ カメラ制御入力部
６１１ 映像表示部
７００ ＨＴＴＰサーバ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video clip generation device, a video clip generation method, a program, and a storage medium.
[0002]
[Prior art]
The existing technologies related to the present invention are as follows.
[Live video communication system]
Live video shot with a video camera is distributed from a camera server equipped with a video camera to a PC (personal computer) using a communication infrastructure such as the Internet, and camera settings and camera operations for shooting from the PC. A technology for instructing a video camera via a camera server has been established and products are provided. For example, in a video communication system in which a plurality of the above-described camera servers and PCs are connected via a network, in addition to video distribution from the camera server to the PC, panning, tilting, zooming, and backlighting with respect to the video camera provided in the camera server There is provided a system capable of performing camera control such as correction via a network from a PC. The video communication system described above has an access control function, and can control camera control and video distribution according to the access authority of the user.
[0003]
Also, a video information distribution system that distributes video information captured by the applicant through a computer network, etc., and adopts an image compression method with little loss or deterioration of image information between the distribution server and the video server. Thus, a video information distribution system is disclosed that can deliver or store a beautiful video with less image quality degradation when the image is decompressed and recompressed by a delivery server (see, for example, Patent Document 1). ).
[0004]
Furthermore, in the above-described video communication system, it is possible to limit the area imaged by camera control from the PC. For example, when the PC user is a privileged user, all of the zoom functions provided in the video camera can be used. However, when the PC user is a normal user, a part of the zoom function (for example, tele end This is a restriction that allows only use. The pan function and tilt function can be controlled in the same manner.
[0005]
[Third generation mobile phone technology]
In recent years, third-generation (3G) mobile phone services have been provided as mobile phone services having higher radio wave use efficiency and communication bandwidth than second-generation mobile phone services. For example, in a third generation (3G) mobile phone terminal, data communication such as Internet access is possible while making a telephone call. It prepares a connection form called multi-access, and by using this, it is possible to make a telephone call while performing data communication such as web browsing.
[0006]
Further, in the third-generation mobile phone terminal, the processing capability of the mobile phone terminal itself has been enhanced, so that the work that has been performed by a PC (personal computer) or the like can be processed by the mobile phone terminal. For example, mobile phone terminals having functions such as e-mail, web browsing, and video transmission / reception are provided. In the third generation mobile phone service, video distribution service is also provided.
[0007]
[MPEG-4 codec]
High compression coding efficiency covering a wide bit rate from several tens of kbps to several tens of Mbps in response to the spread of video transmission / reception terminals from portable information terminals connected to mobile communication networks to PCs connected to broadband Internet, and As a moving image compression coding system having strong resistance against transmission path errors such as wireless and the Internet, a standard called MPEG-4 was established in 1999 by ISO.
In addition, a video distribution service using MPEG-4 is provided for personal information terminals (PDAs) and mobile phone terminals. For example, the third generation (3G) mobile phone service provides a service for transmitting and receiving video between mobile phone terminals (visual terminals) using MPEG-4.
[0008]
[MPEG-4 clip technology for mobile phones]
A technique for displaying a video clip (video file) on a mobile phone terminal is provided. For example, in these services, video data (video clip or video file) compressed and encoded by the MPEG-4 codec or the like is stored in the server and downloaded from the server using a data communication function built in the mobile phone terminal. Then, the video is displayed on the screen of the mobile phone terminal using the decoder built in the mobile phone terminal.
[0009]
The data format of these video clips is connected to the Internet, such as the Microsoft (registered trademark) Advanced Streaming Format (ASF) format or the ISO standard MP4 format (ISO / IEC 14496-1 Amd1 MPEG-4 system version 2). It conforms to a format that is widely used in PCs that can be used. In these services, the upper limit of the video clip is determined, and for example, 240 kbytes is the upper limit.
[0010]
[Link to video clip and command association technology]
In the above-described ASF format, QuickTime File Format, and the like, a hyperlink function such as a URL can be associated with a video clip. In the ASF format, “Script Command Object” can be defined, and link information set to synchronize with the timeline at the time of ASF file reproduction can be listed in this object. Furthermore, in the ASF format, not only link information but also command information such as a script can be described using Script Command Object.
[0011]
It also has a function for adding a text telop (caption) with a hyperlink function to a video clip. As this telop description language, STML (Synchronous Telop Mark-up Language) is used. With this function, the user can associate voice calls, e-mail transmissions, homepage links, and the like with video clips.
[0012]
[Patent Document 1]
JP 2000-59776 A
[0013]
[Problems to be solved by the invention]
However, as described above, the access control function and the camera control right provided in the camera server are assigned to the mobile phone terminal when providing a service for distributing the video stored in the camera server being serviced on the Internet to the mobile phone terminal. There was a problem that it cannot be used properly. Or, compared with the use of the camera control right by dedicated display software executed on a PC or the like, the mobile phone terminal has a problem that information regarding access control is not appropriately expressed.
[0014]
The present invention has been made in consideration of the above-described circumstances, and an object thereof is to allow video information from a camera to be appropriately distributed to a terminal device including access control and camera control rights.
[0015]
[Means for Solving the Problems]
The present invention has been made to solve the above-described problems, and has an acquisition means for acquiring video data from a camera capable of controlling the imaging direction, and control of the camera to an imaging prohibited area. Is detected Divide the video data acquired by the acquisition means This divided video data Video clip As Generating means for generating, and a video clip generated by the generating means, Depending on the access control information of the user requesting the video clip, Distribution means for distributing to a terminal device communicable via a network.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
As a first embodiment of the present invention, video communication is performed by converting live video acquired from a plurality of camera servers arranged on a network into video data (hereinafter referred to as a video clip) for a mobile phone terminal and transmitting the video. The system will be described. An example in which a video conversion server having a function of converting a live video to generate a video clip generates an appropriate video clip according to access control information set in the camera server will be described. In particular, in the video conversion server of the present embodiment, access by a user having a special access control right (hereinafter referred to as a privileged user) and use having a normal access control right according to the set access control information. The feature is that the content of the generated video clip is changed by an access by a user (hereinafter referred to as a normal user).
[0018]
In the present embodiment, as an example of access control information, a restriction regarding an area imaged by camera control, that is, an imaging area restriction will be described. An area where imaging is prohibited due to imaging area restrictions is referred to as a prohibited area.
[0019]
FIG. 1 is a diagram showing a schematic configuration of a video communication system according to the first embodiment of the present invention. In FIG. 1, reference numerals 101 and 102 denote camera servers, which have a moving image camera capable of capturing live video, and provide live video from the moving image camera via a network. A viewer 200 is a computer terminal that is installed with software capable of displaying live video provided from the camera servers 101 and 102 via the network and can be connected to the network.
[0020]
With the above configuration, a live video display request (hereinafter referred to as a request) is sent from the viewer 200 via the network to the camera servers 101 and 102. When this request is accepted, video data is sent from the camera servers 101 and 102 to the viewer 200. The live video can be displayed by reproducing the video data that has been delivered and received by the viewer 200. When a camera control command is sent from the viewer 200 to the camera server 101 or 102, control operations such as zoom, pan, and tilt can be performed on the moving image camera included in the camera server 101 or 102. Furthermore, a relay server 300 may be placed on the network to relay communication between the viewer 200 and the camera servers 101 and 102.
[0021]
Reference numeral 400 denotes a video conversion server that converts video data provided by the camera servers 101 and 102 into a video clip (portable video data) for a mobile phone terminal and distributes the video data to the mobile phone. Reference numeral 500 denotes a gateway that mediates between the network and the mobile phone network. Reference numerals 601 and 602 denote mobile phone terminals, which have a function of connecting to a network via the gateway 500 and a viewer function of displaying a video clip converted by the video conversion server 400. With the above configuration, the mobile phone terminals 601 and 602 can communicate with devices connected to the network via the gateway 500.
[0022]
In the mobile phone terminals 601 and 602, the viewer function is realized by executing a viewer program. This viewer program is typically installed at the time of shipment from the factory, but for example, a Java (R) program. In this manner, it may be downloaded and executed via a network at the time of execution (when used). The network shown in FIG. 1 may be an intranet operated in a company or organization, or may be the Internet that widely connects the world. The relay server 300 and the video conversion server 400 are typically arranged in an Internet exchange or a data center (IDC: Internet Data Center) and designed to reduce communication load.
[0023]
Next, a hardware configuration example of the video conversion server 400, the camera servers 101 and 102, and the mobile phone terminals 601 and 602 illustrated in FIG. 1 will be described with reference to the drawings.
FIG. 2 is a diagram illustrating an example of a hardware configuration of the video conversion server 400 illustrated in FIG. 1. As shown in FIG. 2, the video conversion server 400 is a computer for a server, and more specifically, a storage device for storing programs and data, a network I / F (interface) 43 for connecting to a network, The computer includes a CPU (Central Processing Unit) 41 that executes various processes according to a program. As shown in FIG. 1, the video conversion server 400 has a memory 42 as a main storage device, a secondary storage device such as a flash memory or an HD (hard disk) device 45 as shown in FIG. An FD (flexible disk) device 44 for loading is provided.
[0024]
FIG. 3 is a diagram illustrating an example of a hardware configuration of the camera servers 101 and 102 illustrated in FIG. As shown in FIG. 3, the camera servers 101 and 102 include a camera device 11 that actually captures live video and a computer 10 that processes video output from the camera device 11. As shown in FIG. 3, the computer 10 includes a storage device for storing programs and data, a video capture board 15 for capturing video data, and a serial I / F (interface) for sending commands to the camera device 11. 16, a network I / F 14 for connecting to a network, and a CPU 12 that executes various processes according to a program. Here, as shown in FIG. 3, the storage device includes a memory 13 as a main storage device, a secondary storage device including a flash memory and an HD device 18, and an FD device 17 for loading a program from a medium. Etc.
[0025]
Although not shown, the camera servers 101 and 102 and the video conversion server 400 may include an input / output device for performing various settings. Specifically, it includes a display device such as a CRT (Cathode Ray Tube) and a liquid crystal display, an input device such as a keyboard and a mouse, and the like. That is, the camera servers 101 and 102 and the video conversion server 400 have interface functions for controlling the display device and processing input signals from the keyboard and mouse. The configuration of the camera server 101 is not limited to the above, and may be a server built-in network camera in which a camera device and a computer are integrated.
[0026]
FIG. 4 is a diagram illustrating an example of a hardware configuration of the mobile phone terminals 601 and 602 illustrated in FIG. Further, as described above, the mobile phone terminals 601 and 602 store programs for realizing the viewer function. As shown in FIG. 4, the mobile phone terminals 601 and 602 include a data processing unit 60 that performs processing within the terminals and processing of data received by wireless communication, and peripheral devices such as a display device 63 that is a liquid crystal display, for example. It has. The data processing unit 60 includes a storage device 68 for storing programs and data, a wireless communication I / F (interface) 69 for connecting to a mobile phone network, a CPU 67 for executing various processes by programs, and peripheral devices. A peripheral controller 65 for controlling and a display controller 66 for controlling the display device 63 are provided. The above-described storage device 68 is, for example, a memory that becomes a main storage device of the CPU 67, a flash memory that holds various data, and the like. Further, the above-described peripheral devices are input devices such as buttons 62 and switches 61 arranged on the mobile phone terminals 601 and 602 as shown in FIG. 4, and voice input / output devices such as microphones and speakers, for example. 64.
[0027]
FIG. 5 is a diagram showing an outline of functional configurations of the camera server 101, the video conversion server 400, and the mobile phone terminal 601 in the video communication system shown in FIG. Note that the camera server 102 and the mobile phone terminal 602 have the same functions as the camera server 101 and the mobile phone terminal 601. In the present embodiment, the functions shown in FIG. 5 are realized by the CPUs 41, 12, and 67 included in the devices described above executing programs for realizing the functions. However, the present invention is not limited to this. The processing of a part of the function may be processed by dedicated hardware.
[0028]
As shown in FIG. 5, the camera server 101 includes two functional modules: a camera control server 110 that controls the camera device 11 and a video server 111 that delivers video. In addition, the mobile phone terminal 601 controls the display controller 63 by controlling the camera control input unit 610 corresponding to the issuance of camera control commands and camera status notification and the display controller 66 shown in FIG. 4 based on the received video clip. And a video display unit 611 that performs display processing for displaying video.
[0029]
The video conversion server 400 includes the following functional modules. The camera control unit 410 interprets a camera control command sequence (hereinafter referred to as a PTZ (pan / tilt / zoom) sequence) issued by the camera control input unit 610 of the mobile phone terminal 601 and issues a camera control command to the camera server. To do. The video acquisition unit 411 acquires video from the video server 111 of the camera server 101. The video conversion unit 412 converts the video acquired by the video acquisition unit 411 into a data format that can be displayed on the mobile phone terminal 601, and edits the converted video into a video clip for the mobile phone network. The video transmission unit 413 transmits the video clip generated by the video conversion unit 412 to the mobile phone terminal 601 via the network. As a result, the video display unit 611 of the mobile phone terminal 601 displays the received video clip on the display device 63.
[0030]
Next, the operation of the mobile phone terminal 601 in the video communication system shown in FIG. 5 will be described.
FIG. 6 is a flowchart showing the operation of the mobile phone terminal 601 in the video communication system shown in FIG. FIG. 6 shows an operation until the mobile phone terminal 601 downloads a video clip and displays it.
[0031]
As shown in FIG. 6, in step S601, the video display unit 611 first acquires an identifier that identifies the video conversion server 400 (hereinafter referred to as a conversion server identifier). This acquisition method may be, for example, a method in which the user of the mobile phone terminal 601 inputs the conversion server identifier by key operation of the switches 61 and buttons 62, or selects a conversion server identifier included in an e-mail or a web page It may be a method to do. The conversion server identifier in this case is typically a URL (Uniform Resource Locator) that identifies the video conversion server 400.
[0032]
Next, in step S <b> 602, the video display unit 611 uses a camera server identifier for identifying the camera server 101 to which the video conversion server 400 is to be connected and a camera control instruction that instructs the camera server 101 to control the camera device 11. And a user identification information for access control including a user identifier for identifying the user and a password. This acquisition method may be, for example, a method of inputting a camera control command by a key operation as described above for a camera server identifier or a PTZ sequence, or a camera server identifier included in an e-mail or a web page Alternatively, a method of selecting a PTZ sequence may be used.
[0033]
Note that the video display unit 611 does not necessarily acquire the PTZ sequence. In this case, the video display unit 611 receives a video clip shot without camera control from the camera server 101 specified by the camera server identifier. The user identification information is normally input by a user's key operation. However, in the present embodiment, the user identification information may not be input except for a privileged user. In this case, it means connecting from the mobile phone terminal 601 to the camera server 101 as a normal user.
[0034]
Next, in step S603, the video display unit 611 transmits the video of the video conversion server 400 via the mobile phone network, the gateway 500, and the network based on the conversion server identifier that identifies the video conversion server 400 acquired in step S601. Connected to the unit 413.
[0035]
Next, in step S604, the mobile phone terminal 601 requests (requests) a video clip from the video conversion server 400. This request includes designation of a method for creating a requested video clip, and is typically transmitted using the HTTP protocol. At this time, if the PTZ sequence is obtained, the PTZ sequence is transmitted to the video conversion server 400. The transmission of the request and the PTZ sequence may be incorporated in the URL by an HTTP connection GET method, or may be transmitted by an HTTP connection POST method. Here, a case where an HTTP connection POST method is used as a video clip request will be described. For example, a request example of a video clip in the present embodiment is as follows. In practice, URL encoding is applied. However, for the sake of explanation, there is a portion where URL encoding is not applied.
[0036]

[0037]
Details of the above-described HTTP request example will be described. The part following “videoencodeparam =” instructs parameter information when the video conversion server 400 encodes the source video received from the camera server 101 for the mobile phone terminal 601. The part following “cameraservers =” designates the camera server 101 to which the video conversion server 400 is connected (camera server identifier). The part following “PTZ =” designates a PTZ sequence in which commands for camera control to be executed by the video conversion server 400 regarding the camera server 101 are arranged. The part following “moviesizemax =” designates the maximum size of the video clip defined by the mobile phone terminal 601 or the mobile phone network. Further, the part following “notifyto =” is a contact to be notified when creating a video clip. Typically, the e-mail address of the user of the mobile phone terminal 601 is designated. The portions following “userid =” and “userpw =” are a user identifier and a password, respectively.
[0038]
Further, the components of the PTZ sequence described above have the following meanings. n is numerical data (positive and negative).
Pn pan (horizontal camera control) designation.
Tn tilt (vertical camera control) designation.
Zn Zoom designation.
Bn Backlight correction. ON / OFF for backlight compensation.
H Specify home position.
Sn Preset position designation. nth preset position.
Cn Camera server connection switching specification. The nth camera server.
Kn Specify camera switching within the camera server. nth camera.
_N Specify the passage of time. 0.1 second unit.
[0039]
Next, in step S605, the mobile phone terminal 601 waits for a response from the video conversion server 400 to the request for the video clip transmitted in step S604. Here, the video conversion server 400 replies to the mobile phone terminal 601 as to whether or not it is possible to acquire a video shot by controlling the camera device 11 of the camera server 101 in response to the video clip request described above (hereinafter referred to as a response). And).
[0040]
Next, in step S606, the video display unit 611 displays a response result as shown in FIG. 10A on the display device 63 of the mobile phone terminal 601 based on the response received from the video conversion server 400, for example. FIG. 10A is a diagram illustrating an example of a response screen displayed on the mobile phone terminal. Reference numeral 63a in FIG. 10A denotes a screen of the display device 63, which displays characters and images. In FIG. 10A, the response indicates that the video clip cannot be transmitted immediately. However, the response is not limited to this. If the video clip can be transmitted immediately, a response result indicating that is displayed on the screen 63a. Is done.
[0041]
Next, when the response from the video conversion server 400 indicates that the video clip cannot be generated immediately for some reason (No in step S607), the process proceeds to step S608. On the other hand, if the content indicates that the video can be generated immediately (Yes in step S607), the process proceeds to step S609.
[0042]
Next, in step S608, the mobile phone terminal 601 waits for a mail notification from the video conversion server 400. The mail notification is based on, for example, SMTP (Simple Mail Transfer Protocol), but may be SMS (Short Message Service). If an e-mail notification is received (Yes in step S608), the e-mail content is displayed as a response from the video conversion server 400 on the screen 63a as shown in FIG. 10B, for example, and the process proceeds to step S609. FIG. 10B is a diagram showing an example of a screen on which a mail notification is displayed on the mobile phone terminal 601. In FIG. 10B, reference numeral 63b denotes a video clip list, in which four video clips are assigned with numbers 1 to 4 and displayed as options.
[0043]
Here, it is assumed that the user selects an arbitrary one from the video clip list 63b shown in FIG. Accordingly, in step S609, the video display unit 611 downloads the selected video clip from the video conversion server 400, and reproduces and displays it on the display device 63 as shown in FIG. FIG. 10C shows an example of a screen on which a video clip is reproduced and displayed on the mobile phone terminal 601. In FIG. 10C, reference numeral 63c denotes a video display area, which is an area where a reproduced video clip is displayed. 63d is a link for playing back and displaying the previous video clip (the previous video number). Reference numeral 63e denotes a link for reproducing and displaying the next video clip (next with the above-mentioned number).
[0044]
In this embodiment, the video clip is downloaded and then played back. However, the present invention is not limited to this, and the video clip playback and display processing is performed while the video clip is played and displayed without downloading. You may do it.
[0045]
Next, the operation of the camera control server 110 in the camera server 101 in the video communication system shown in FIG. 5 will be described.
FIG. 7 is a flowchart showing the operation of the camera control server 110 in the camera server 101 shown in FIG. In FIG. 7, the camera control server 110 in the camera server 101 is activated, accepts connection from the client, performs camera control according to the command from the client, and changes the camera control status to the mobile phone as the client The operation until the terminal 601 is notified and the connection from the client is terminated is shown.
[0046]
As shown in FIG. 7, in step S700, the camera control server 110 starts operation information of the camera control server 110 from a specific file (a system database such as a registry depending on the OS (operating system) of the camera control server 110) at startup. Is read out, and the operation is started based on this. Next, in step S701, the camera control server 110 receives a client viewer program (for example, a program built in the mobile phone terminal 601) or a request (such as a connection request or an operation command request) from the video conversion server 400. Open the request acceptance state.
[0047]
Next, in step S702, the camera control server 110 receives a connection request from the video conversion server 400, for example. Next, in step S703, the camera control server 110 determines whether or not connection to the video conversion server 400 is possible according to the received connection request. If the connection is not permitted (No in step S703), a connection rejection error code is returned and the process returns to step S701. If connection permission is permitted (Yes in step S703), the process proceeds to step S704, and the camera control server 110 performs connection processing. As a specific example of this connection process, the camera control server 110 generates a thread for receiving a command from the client, registers the client, and returns to step S701. In step S707, the camera control server 110 receives a command from a client corresponding to each thread.
[0048]
The thread generated in the connection process by the camera control server 110 described above performs a process of receiving the command (operation command in the present embodiment) received from the corresponding client (registered client) in step S707 as an operation command request. That is, in step S701, when receiving the operation command request, the camera control server 110 transfers the operation command included in the request to the main program for camera operation (camera control).
[0049]
Thereby, in step S701, the main program for camera operation receives the operation command, and the process proceeds to step S705. The camera control server 110 operates the camera according to the authority of the client to which the thread that issued the operation command is connected. I do. At this time, the camera control server 110 transmits the camera operation result (a code indicating whether the operation is successful or unsuccessful) to the thread corresponding to the client that has received the camera operation command. As a result, the thread corresponding to the client that has been notified of the result of the camera operation notifies the client of the result of the camera operation in step S708.
[0050]
Next, in step S706, the main program portion for camera operation of the camera control server 110 includes a state changed by the camera operation (for example, the pan / tilt / zoom values and the presence / absence of the prohibited area detection). State information, etc.) to all client-capable threads. Thereby, the thread corresponding to each client notifies the client of the change in the camera control state in step S709. Next, when a thread corresponding to the client receives a connection termination command from the client, the thread notifies the main program, and terminates its own thread in step S710.
[0051]
In handling the operation command for operating the camera, it is possible to require a camera operation right assignment request for each user before issuing a specific operation command. Thereby, the confusion in the situation where a plurality of users request the operation of the camera can be eliminated. Specifically, first, a request command for acquiring the camera operation right is issued from the client, and the camera control server 110 responds to any of rejection, assignment, and waiting from the current camera control right assignment state. Select to reply to the client. The camera control right is deprived at a predetermined time or a shorter time until the client ends the connection, and assigned to the next waiting person. The number of people waiting for the turn is still limited to a predetermined number (for example, 5 people), and further connection requests are rejected.
[0052]
Further, the above-described client issues the operation command to the camera control server 110 only during the period from when the camera control right is acquired until it is deprived. In addition, the camera control server 110 accepts only operation commands from clients to which camera control rights are granted. In addition, with respect to connections from privileged users, camera operation rights can be preferentially assigned. Further, an operation command from a privileged user is permitted even for camera control to an imaging area including a prohibited area. However, it is assumed that the normal user is not given permission for camera control including connection priority and prohibited areas.
[0053]
Next, the operation of the video server 111 in the camera server 101 in the video communication system shown in FIG. 5 will be described.
FIG. 8 is a flowchart showing the operation of the video server 111 in the camera server 101 shown in FIG. In FIG. 8, the video server 111 in the camera server 101 is activated, accepts a connection from the client, distributes the video to the mobile phone terminal 601 that is a client according to the command from the client, and the client. This shows the operation until the connection from is terminated.
[0054]
As shown in FIG. 8, in step S800, the video server 111 reads the operation setting information of the video server 111 from a specific file (a system database such as a registry depending on the OS of the video server 111) at the time of startup, and operates based on the read setting information. To start. Next, in step S801, the video server 111 generates a thread for acquiring, encoding, and storing video data from the camera control server 110 (this thread is initially in a dormant state), and a viewer program (for example, a mobile phone) The request reception state is entered by opening a port for receiving a request (a program built in the telephone terminal 601) and a request (connection request, operation command request, video processing command request, etc.) from the video conversion server 400.
[0055]
Next, if it is a connection request, the video server 111 proceeds to step S802 and accepts it. Next, in step S803, the video server 111 determines whether or not to permit connection in response to the connection request. If the connection is not permitted (No in step S803), the video server 111 returns a connection refusal error code to the client and returns to step S801. If connection permission is permitted (Yes in step S803), the video server 111 proceeds to step S804, performs connection processing, and returns to step S801. Specifically, the connection process is a process in which the video server 111 generates a session identifier for identifying a session for each client, generates a thread for receiving a command from the client, and issues a connection request. This is a process for registering a client (also registering as a video delivery destination) in accordance with the access right information.
[0056]
If the content of the connection request is a connection request to a port that provides live video, and the thread for acquiring, encoding, and storing the above-described video data is in a dormant state, the video server 111 performs processing in step S801. Before returning to, the operation start of the thread is instructed. In step S808, the video server 111 receives a command from a client corresponding to each thread.
[0057]
The thread corresponding to the client generated by the connection process in step S804 described above receives the command (video processing command in this embodiment) received from the corresponding client (registered client) in step S808 as a video processing command request. Process. That is, in step S801, when the video server 111 receives a video processing command request, the video server 111 transfers the video processing command included in the request to the main program for video processing.
[0058]
If an operation command request is received in step S801, the video processing main program proceeds to step S805 in response to the operation command, and performs a setting change operation related to acquisition of video data, encoding / transmission, and the like. Do. Also, the video server 111 notifies the client-compatible thread that has received the command request about the result of the change operation (a code indicating the success or failure of the operation). Thus, the thread corresponding to the client that has been notified of the result of the change operation notifies the client of the result of the change operation in step S809.
[0059]
Further, as described above, the main program portion of the video processing to which the video processing command is delivered after issuing the operation start instruction to the thread for acquiring and encoding the video data proceeds to step S806 and is set in advance. Video data is acquired at a predetermined time interval using the video capture board 15, and the acquired video data is compressed by encoding or the like to generate compressed data. Next, the video server 111 transmits the generated compressed data to each thread corresponding to all clients connected to the live video port. Thereby, in step S810, the thread corresponding to each client determines whether or not there is a next video frame transmission request from the client, and if there is a request, delivers the compressed data to the client.
[0060]
As described above, when the prohibited area is detected when the compressed data is delivered to the client, the video server 111, for example, in addition to the connection of the privileged user in light of the registered client information, The client is notified that the compressed data cannot be distributed because it corresponds to the prohibited area (prohibition area detection notification). Then, a thread corresponding to the client connected to the live video port is generally sent back in response to the next video frame transmission request from the client (this is the completion of reception of the compressed video data at the client). ), The video server 111 sets a video frame transmission request flag. That is, in step S810, the presence / absence of a next video frame transmission request is determined by referring to this flag. If a connection termination command is received from the client, it is notified to the main program, and its thread is terminated in step S811.
[0061]
Next, an example of creating a PTZ sequence in the mobile phone terminal 601 of the video communication system shown in FIG. 5 will be described.
FIG. 9 is a diagram showing an example of a screen for creating a PTZ sequence and an example of key assignment in the cellular phone terminal 601 of the video communication system shown in FIG. As shown in FIG. 9, when a PTZ sequence is created, a video display area 63c and a PTZ sequence display area 63f are displayed on the screen 63a of the mobile phone terminal 601. At this time, as shown in the figure, functions such as pan (horizontal camera shake), tilt (vertical camera shake), zoom (magnification change), and backlight correction are assigned to each key (buttons 62). The cellular phone terminal 601 of this embodiment includes up / down / left / right arrow keys and numeric / symbol keys as buttons 62.
[0062]
In FIG. 9, the ↑ key tilts up, the ← key pans left, the → key pans right, the ↓ key tilts down, the 1 key zooms in, the 2 key zooms out, and the 3 key Home position designation, 4 key for backlight compensation toggle, 5 key for preset designation, 6 key for time lapse designation, 7 key for camera switching within camera server, * key added at end of PTZ sequence, # key Is deleted from the end of the PTZ sequence, and the viewer end is assigned to the 0 key.
[0063]
The screen example shown in FIG. 9 shows an example of a user interface for performing the input operation of the PTZ sequence described in the processing of FIG. 6, and the PTZ sequence created thereby is shown in FIG. Used in step S602. The display control of the screen 63a described above is performed by the video display unit 611.
[0064]
Next, processing for creating a PTZ sequence in step S602 shown in FIG. 6 will be described.
FIG. 11 is a diagram showing processing for creating a PTZ sequence in the mobile phone terminal 601. As shown in FIG. 11, first, in step S901, the camera control input unit 610 of the mobile phone terminal 601 is visible by camera control of the camera server 101 using the identifier of the camera server 101 acquired in step S602 of FIG. Panorama image data obtained by combining images that fall within the range, camera control information (preset information) set in the camera server 101 in advance, and current camera state parameters (pan angle, tilt angle, zoom value, etc.) Obtained from the camera server 101.
[0065]
Next, in step S902, the camera control input unit 610 sets empty data as the initial value of the PTZ sequence, and sets the current camera state parameter acquired as the display camera state parameter and the setting camera state parameter. .
[0066]
Next, in step S903, the camera control input unit 610 calculates a visible area according to the display camera state parameter set in step S902, cuts out an image corresponding to the visible area from the panoramic image data, and the mobile phone terminal. 601 is displayed on the screen 63a.
[0067]
Next, in step S904, the camera control input unit 610 receives a key input from the user. This key input is assigned a function as shown in FIG. If the user's key input in step S904 is an instruction to change the visible region using the cursor key (arrow key) or move to the preset position (Yes in step S905), the process proceeds to step S906. Then, the display camera state parameter is changed, and the process returns to step S903. If the user's key input in step S904 is not an instruction to change the visible area using the cursor key (arrow key) or move to the preset position (No in step S905), the process proceeds to step S907.
[0068]
Next, when the user's key input in step S904 is an editing instruction such as adding / modifying a PTZ sequence (Yes in step S907), the process proceeds to step S908, and the camera control input unit 610 determines that the PTZ sequence is Is changed, and the process returns to step S903. Specifically, in the case of adding a PTZ sequence, the camera control input unit 610 calculates a camera control value to be controlled from the difference between the display camera state parameter and the setting camera state parameter at that time, and calculates Add camera control values to the PTZ sequence. Then, the camera control input unit 610 sets the display camera state parameter as a new value of the setting camera state parameter. If the user's key input in step S904 is not an editing instruction such as adding / modifying a PTZ sequence (No in step S907), the process proceeds to step S909.
[0069]
Next, when the user's key input in step S904 instructs the end of PTZ sequence creation (Yes in step S909), the camera control input unit 610 proceeds to step S910, and the above-described change of the visible region or It is determined whether to add or modify the PTZ sequence in accordance with the editing instruction, and if it is determined, the PTZ sequence after the addition / modification is transferred to the program that performs the process of step S602, and the PTZ sequence is determined. The creation process ends.
[0070]
Next, an example of the setting method for setting values used by the camera server 101 in step S700 of FIG. 7 will be described.
FIG. 12 is a diagram illustrating a screen example when the camera server 101 sets the setting value used in step S700 of FIG. The setting screen shown in FIG. 12 is displayed on the screen 19 of the display device included in the camera server 101 by the processing of the camera server setting program included in the camera server 101, and is read by the camera control server 110 and the video server 111. This is a screen for setting information in a specific file (a system database such as a registry depending on the OS).
[0071]
As shown in FIG. 12, on the setting screen displayed on the screen 19 of the camera server 101, any one of the camera control server setting screen 1A, the video server setting screen 1B, the moving image quality setting screen 1C, and the connection restriction setting screen 1D is selected. Various parameters can be set. Note that FIG. 12 shows a screen in which the camera control server setting screen 1A is selected and parameters are being set. As shown in FIG. 12, the items that can be set on the camera control server setting screen 1A are that the TCP port number for camera control communication can be set in the TCP port setting column 1Aa, and the camera is connected in the COM port setting column 1Ab. The COM (serial) port can be set, the shutter speed can be set in the shutter speed setting field 1Ac, and whether or not log information related to camera control can be taken and the log file name can be specified in the log setting field 1Ad. When the OK button 1Ae is pressed, the set value is written in a specific file or registry. If the cancel button 1Af is pressed, the set value is not written and the process ends.
[0072]
In the video server setting screen 1B described above, for example, a frame rate that defines a time interval for capturing video is set. In the moving picture quality setting screen 1C described above, for example, a Q-Factor that determines the quality of compression, the screen size of the original data for compression, and the like are set. In the connection restriction setting screen 1D described above, for example, the maximum connection time of one client viewer, the number of people waiting for the control right related to camera control, the control right holding occupation time of one viewer, video and camera control Set the maximum number of clients that can be connected.
[0073]
Next, the operation of the camera server setting program will be described using the setting screen shown in FIG. FIG. 13 is a flowchart showing the operation of the camera server setting program of the camera server 101 that displays the setting screen shown in FIG. Note that the operation shown in FIG. 13 is an operation from the start of the camera server 101 to the end of the setting process.
[0074]
As shown in FIG. 13, in step S1100, the camera server setting program obtains setting information from a specific file (system database such as a registry depending on the OS) that stores setting information regarding the camera control server 110 and the video server 111 at the time of activation. Reading is performed and a screen as shown in FIG. 12 is displayed. Next, when there is an operation input from the user (Yes in step S1101), it is received and proceeds to the next step (step S1102 or step S1105). If there is no operation input from the user (No in step S1101), a loop for waiting for the operation input from the user is entered.
[0075]
Next, in step S1102, the camera server setting program determines whether or not the input value is within an appropriate range. If the data is not appropriate (No in step S1102), the camera server setting program proceeds to step S1103, outputs an error message, returns the value that the user tried to change, and returns to step S1101. . If the data is within the appropriate range (Yes in step S1102), the camera server setting program proceeds to step S1104, updates the internal data, and returns to step S1101. The loop of the process of receiving the user operation input and updating the internal data shown in steps S1101 to S1104 is repeated according to the operation input from the user.
[0076]
Next, as an operation input by the user, for example, when the OK button 1Ae in FIG. 12 is pressed (Yes in Step S1101), the process proceeds to Step S1105, and the updated internal data is transferred to the camera control server 110 and the video server 111. Write to a specific file that stores the setting information about. Next, the process advances to step S1106 to display a panel asking the user whether to restart the camera server 101 in order to reflect the change.
[0077]
Here, when restarting by the user's selection (Yes of step S1107), it progresses to step S1108 and restarts the camera control server 110, the image | video server 111, etc. Next, when the restart is completed, the process proceeds to step S1109, and the camera server setting program is terminated. If the user does not restart due to the user's selection (No in step s1107), the process advances to step S1109 to end the camera server setting program. If, for example, the cancel button 1Af in FIG. 12 is pressed as a user operation input in step S1101 (Yes in step S1101), the process proceeds to step S1109, and the camera server setting program ends.
[0078]
Next, the operation of the video conversion server 400 in the video communication system shown in FIG. 5 will be described.
FIG. 14 is a diagram schematically showing a rough flow of video data in the video conversion server 400 of the video communication system shown in FIG. In FIG. 14, reference numeral 420 denotes a camera server communication stack (communication layer), which is composed of layers of TCP / IP and WebView video. Reference numeral 421 denotes a JPEG decoder, which decodes motion JPEG format video data. Reference numeral 422 denotes an MPEG-4 encoder that encodes the video data decoded by the JPEG decoder 421 into video data in the MPEG-4 format. Reference numeral 423 denotes a mobile phone communication stack, which is composed of HTTP and TCP / IP layers.
[0079]
With the above configuration, as indicated by the arrow line in FIG. 14, the source video data (in this embodiment, Motion JPEG, QVGA size 320 × 240) received from the camera server 101 is used for the camera server of the video conversion server 400. Received via the communication stack 420, passed to the JPEG decoder 421, decoded, passed to the MPEG-4 encoder 422 set for the mobile phone terminal 601, and video data (MPEG-4 simple profile) for the mobile phone terminal 601. , QCIF size 176 × 144, 64 Kbps), and then transmitted as a video clip to the mobile phone terminal 601 via the mobile phone communication stack 423 for the mobile phone network.
[0080]
Next, a more detailed operation of the video conversion server 400 will be described.
FIG. 15 is a flowchart showing the operation of the video conversion server 400 in the video communication system shown in FIG. Note that the processing shown in FIG. 15 is processing from activation in the video conversion server 400 until connection processing for connecting to the mobile phone terminal 601 ends.
[0081]
As shown in FIG. 15, in step S1300, the video conversion server 400 reads the operation setting information of the video conversion server 400 from a specific file (a system database such as a registry depending on the OS) at the time of startup, and starts an operation based on the read setting information. To do. Next, in step S1301, the video conversion server 400 opens a port for receiving a request (such as an HTTP request message) from a mobile phone viewer program (a program built in the mobile phone terminal 601), which is a client, to go into.
[0082]
Next, in step S1302, the video conversion server 400 receives an HTTP request from the mobile phone terminal 601, for example. Next, in step S1303, the video conversion server 400 determines whether or not connection to the mobile phone terminal 601 is possible according to the received HTTP request. If the connection is not permitted (No in step S1303), a connection rejection error code is returned and the process returns to step S1301. If the connection permission is permitted (Yes in step S1303), the process proceeds to step S1304, and the video conversion server 400 performs a connection process. To give a specific example of this connection process, the video conversion server 400 generates a client-compatible thread for exchanging information with the client, registers the client, and returns to step S1301.
[0083]
Next, the processing of the client-compatible thread generated by the above-described video conversion server 400 in the connection processing will be described. In the above-described client-compatible thread, in step S1311, the HTTP request from the corresponding client is read and the content is analyzed. In this embodiment, the request from the mobile phone terminal 601 is passed to the video conversion server 400 as an HTTP request. However, the request is not limited to this, and various requests may be used. Further, the above-described POST method may be used for the HTTP request, and the GET method may be used.
[0084]
Next, in step S1312, the video conversion server 400 determines the encoding parameter information (video conversion parameter), the connection information to the camera server 101 (source video information), the PTZ sequence, and the maximum size of the video clip (video clip) from the request content. Upper limit value), notification destination information (notification destination address), and attribute information such as user identification information such as a user identifier and a password are extracted. As shown in the above HTTP request example (in the case of the POST method), “videoencodeparam =”, “cameraservers =”, “PTZ =”, “moviesizemax =”, “notifyto =”, “userid =”, “userid =”, “userid =”, “userid =”, “userid =”, “userid =” It is indicated as a value of “userpw =”.
[0085]
The video conversion parameter indicated by “videoencodeparam =” describes the selection of the conversion codec when the video conversion server 400 performs conversion, the parameter to the codec, the data format for codec input / output, and the like. ing. The source video information indicated by “cameraservers =” is, for example, communication attribute information such as the network address and port number of the camera server 101 that provides live video. The notification destination address indicated by “notifyto =” is typically an e-mail address that designates the user's mobile phone terminal 601.
[0086]
In step S <b> 1313, the video conversion server 400 returns an HTTP response to the HTTP request to the mobile phone terminal 601. Specifically, when a predetermined time is required for generating the video clip, the video conversion server 400 displays information indicating that “the video cannot be generated immediately and will be notified by e-mail after a while”. Reply to the terminal 601. In step S <b> 1314, the video conversion server 400 initializes the video acquisition unit 411 according to the source video information and user identification information that are attribute information extracted from the HTTP request. Specifically, it connects to the camera server 101 that provides the source video, and causes the video acquisition unit 411 to start acquiring the source video.
[0087]
In step S1315, the video conversion server 400 initializes the video conversion unit 412 according to the video conversion parameter that is attribute information extracted from the HTTP request. The video conversion unit 412 is composed of the MPEG-4 encoder 422 shown in FIG.
[0088]
Next, proceeding to step S1316, the video conversion server 400 initializes the video transmission unit 413. At this time, the video conversion server 400 instructs the video transmission unit 413 about the video clip upper limit value and the notification destination address based on the attribute information extracted from the HTTP request.
[0089]
In step S1317, the video conversion server 400 associates the processing data with each other so that the processing data is transferred from the video acquisition unit 411 to the video conversion unit 412 and from the video conversion unit 412 to the video transmission unit 413. Do. At the same time, the camera control unit 410 of the video conversion server 400 transmits a control instruction to the camera control server 110 of the camera server 101 according to the PTZ sequence that is attribute information acquired from the HTTP request. Thereby, camera control corresponding to the PTZ sequence is performed in the camera server 101.
[0090]
In step S1318, the video conversion server 400 performs post-processing of the video acquisition unit 411, the video conversion unit 412, and the video transmission unit 413. Next, proceeding to step S1319, the video conversion server 400 ends the client-corresponding thread. As described above, the video conversion server 400 can perform processing for acquiring video data from the camera server 101 and generating a video clip for the mobile phone terminal 601.
[0091]
Next, detailed operations of the video acquisition unit 411, the video conversion unit 412, the video transmission unit 413, and the camera control unit 410 functioning in the video conversion server 400 will be sequentially described.
First, the initialization operation of the video acquisition unit 411 will be described. The video acquisition unit 411 first connects to the camera server 101 that provides a live video according to the source video information and user identification information received at the time of initialization. Next, the video acquisition unit 411 acquires video data from the camera server 101, adds a time stamp at the time of acquisition, and passes the video data to the video conversion unit 412. Note that since the camera server 101 in this embodiment provides video data in the motion JPEG format, a time stamp is given to individual JPEG data. If the camera server 101 is notified of the prohibited area detection, the video acquisition unit 411 passes the prohibited area detection notification to the video conversion unit 412 instead of the video data.
[0092]
Next, the initialization operation of the video conversion unit 412 will be described. First, the video conversion unit 412 sets the parameters for the codec received at initialization, the data format for codec input / output, and the like in the MPEG-4 encoder 422. The source video data received from the video acquisition unit 411 is input to the MPEG-4 encoder 422 after adjusting the data format and image size for codec input, and the processing result is passed to the video transmission unit 413. Note that the video conversion unit 412 in the present embodiment prepares the source video data in JPEG format in advance in the QCIF size and YUV411 format by the JPEG decoder 421 and inputs the generated MPEG-4 encoder 422. Data (I-frame or P-frame) is transferred to the video transmission unit 413. At this time, the time stamp given by the video acquisition unit 411 is also input to the MPEG-4 encoder 422.
[0093]
If the prohibited area detection is notified from the video acquisition unit 411, the video conversion unit 412 displays video data (alternative video) indicating that the video cannot be displayed because the camera control is limited. Data) is input to the MPEG-4 encoder 422 instead of the source video data, thereby generating MPEG-4 data of the composite screen and passing it to the video transmission unit 413. Next, the video transmission unit 413 transmits the generated MPEG-4 data (portable substitute video data) of the composite screen to the mobile phone terminal 601. As a result, a composite screen indicating that the video as shown in FIG. 16 cannot be displayed is displayed on the screen 63a of the mobile phone terminal 601.
[0094]
Next, the operation of the video transmission unit 413 will be described. The video transmission unit 413 first secures a memory area corresponding to the video clip upper limit value received at the time of initialization. The mobile phone video data generated by the video conversion unit 412 is received and held in the secured memory area. In addition, when receiving the prohibited area detection notification, the video transmission unit 413 determines the division point of the video clip in consideration of the usage rate of the memory area. When the division point is determined, the header information conforming to the data format of the video clip for the mobile phone terminal 601 is prefixed, the video data held in the memory area is saved as a file, and the memory area is saved. Reuse. As a result, the video clip is divided and saved into a plurality of files.
[0095]
Next, when the video transmission unit 413 is notified of the end of the PTZ sequence from the camera control unit 410, the video transmission unit 413 similarly saves the rest of the video data held in the memory area as a file, and saves it until then. Notification information to the mobile phone terminal 601 in which link information to a plurality of video clips being embedded is embedded is notified to the notification destination address received at initialization. As a result, the mobile phone terminal 601 that has received the notification information allows the user to make a download request to each video clip by selecting the link information. An example of the notification screen is as shown in FIG. In addition, the video transmission unit 413 has an HTTP server function, and can respond to an HTTP-based video clip download request from the mobile phone terminal 601.
[0096]
Next, the operation of the camera control unit 410 will be described. The camera control unit 410 interprets the PTZ sequence, creates a camera control command to be sent to the camera server 101, and transmits the created camera control command to the camera server 101 at the timing instructed by the PTZ sequence. Thereby, the camera control server 110 of the camera server 101 performs camera control according to the received camera control command. Then, the camera control unit 410 notifies the video transmission unit 413 of the end of the PTZ sequence when the interpretation of the PTZ sequence is completed.
[0097]
With the configuration of the video conversion server 400 described above, a user who uses a video clip viewer mounted on the mobile phone terminal 601 can request the video conversion server 400 for a video clip. The function of the video conversion server 400 can provide the video of the prohibited area set in the camera server 101 to only the privileged user, while the normal user has the presence of the prohibited area. It can be recognized.
[0098]
As described above, the video communication system in the present embodiment can convert a live video sent from the camera server 101 arranged on the network into a video clip for the mobile phone terminal 601 and provide it to the user. In particular, the video conversion server 400 according to the present embodiment is characterized in that a video clip that reflects the prohibited area set in the camera server 101 is generated. As a result, it is possible to generate a video clip by appropriately reflecting the access control function and camera control right installed in the camera server 101. For example, while protecting the video in the prohibited area (the area where camera control is restricted) Thus, video distribution with improved user convenience is possible.
[0099]
In the above-described embodiment, an example in which the video conversion server 400 is mounted on the network independently of the gateway 500 connecting the mobile phone network and the network as illustrated in FIG. 1 is described. Not limited to this, the function of the video conversion server 400 may be implemented as a partial function of the gateway 500. 1 may be connected to the video conversion server 400 and the gateway 500 of FIG. 1 via a dedicated line such as a VPN (Virtual Private Network).
[0100]
In the present embodiment described above, an example in which the mobile phone terminals 601 and 602 communicate with the video conversion server 400 using HTTP communication has been described. However, the communication is not limited to this, and SMTP ( It is suitable to use a session-oriented communication method such as communication using Simple Mail Transfer Protocol. In addition, HTTP communication and SMTP communication between the mobile phone terminals 601 and 602 and the video conversion server 400 can be performed safely by using, for example, SSL (Secure Socket Layer).
[0101]
In the above-described embodiment, since the mobile phone terminals 601 and 602 issue a camera control command sequence (PTZ sequence), the user who performs the camera control and the user who requests the video clip are the same. However, the user who issues the camera control command may be a user other than the user who requests the video clip. For example, when a user performs camera control using the viewer 200 or the like, another user requests a video clip from the mobile phone terminal 601.
[0102]
Furthermore, when a video clip is requested using SMTP communication or the like, it is conceivable that the user terminal that requests the video clip is different from the user terminal that receives the video clip. In this case, evaluate one or both of the access authority given to the user of the user terminal requesting the video clip and the access authority given to the user of the user terminal receiving the video clip, It can be reflected in the video clip generation. The above-described user terminals are, for example, mobile phone terminals 601, 602, viewer 200, and the like.
[0103]
Further, in the above-described embodiment, an example is described in which password input on the mobile phone terminals 601 and 602 is used to identify privileged user access rights. However, the present invention is not limited to this. The video conversion server 400 may be designed so that different access rights are set according to the presence / absence of charging, the individual number and performance of the mobile phone terminals 601 and 602, and the like.
[0104]
Further, in the present embodiment described above, an example will be described in which a user identifier specified from the mobile phone terminals 601 and 602 is used to connect to the camera server 101 or 102 and the prohibited area determination is performed on the camera server 101 or 102 side. However, the present invention is not limited to this, and the video conversion server 400 may always connect to the camera servers 101 and 102 with the privileged user authority and perform the prohibited area determination by the video conversion server 400. In this case, imaging area restriction information and access control information (including user identification information) set in advance in each camera server 101 and 102 are shared with the video conversion server 400 side in the same manner as in this embodiment. Can be implemented.
[0105]
For example, the imaging area restriction information and the access control information (registered user information) are shared at the timing when the video conversion server 400 establishes connection with the camera servers 101 and 102. Next, when the video conversion server 400 determines the camera control status information presented from the camera servers 101 and 102 and the user identification information specified from the mobile phone terminals 601 and 602, and detects the prohibited area. The situation can be reflected in the video clip as in the present embodiment.
[0106]
In this embodiment, an example in which a screen displaying prohibited area detection is synthesized and a video clip is divided at the time of detection of the prohibited area is described. However, the present invention is not limited to this. Then, only one of them may be implemented. In other words, the video conversion server 400 may be designed so that the video clip is not divided by simply inserting a screen expressing detection of the prohibited area. On the other hand, the video conversion server 400 may be designed so as to divide the video clip and not insert a screen expressing detection of the prohibited area.
[0107]
In this embodiment, the example in which the video acquired from the camera servers 101 and 102 is converted into a video clip for a mobile phone and transmitted has been described. However, the video clip format is not limited to this, and the video clip format is not limited to this. Other video clips may be used. For example, a description will be given of a conversion method in the case where video clip playback software A is installed in a computer terminal connectable to a network, and the playback software A also supports standard MPEG-4. In this case, when the video transmission unit 413 of the present embodiment generates a video clip, it is shaped into a data format that conforms to a data format that can be processed by the playback software A, and the MPEG-4 codec is included in the format. Specify and perform conversion. As a result, the video clip can be played back by the playback software A on the computer terminal. Similarly, for example, the reproduction software B for a computer terminal having a different OS from the above-described computer terminal can be dealt with by shaping it into a data format conforming to the reproduction software B.
[0108]
[Second Embodiment]
Next, as a second embodiment of the present invention, a video communication system capable of incorporating an access permission request for a privileged user into a prohibited area display screen will be described. In the video communication system of the second embodiment, the system configuration and the hardware configuration and functional configuration of each device are the same as those in the first embodiment shown in FIGS. 1 to 5 and FIG. Do. That is, the video communication system according to the second embodiment can convert the live video acquired from the camera servers 101 and 102 arranged on the Internet into a video clip for the mobile phone terminals 601 and 602 and transmit the video clip. In particular, the second embodiment is different from the first embodiment in that when the video conversion server 400 inserts a composite screen indicating forbidden area detection, an access permission request to a privileged user is made to the composite screen portion. This is a point having a built-in function, and this is a feature of this embodiment.
[0109]
As described above, in the second embodiment, many of the network connection modes, hardware configurations, and operations of each software are as described in the first embodiment. However, since the operation of a part of the video conversion server 400 shown in FIG. 15 in the first embodiment is different, the operation of the video communication system in the second embodiment will be described focusing on the different part.
Specifically, the video conversion unit 412 and the video transmission unit 413 of the video conversion server 400 in the second embodiment are different from the video conversion unit 412 of the first embodiment in the operation when a prohibited area is detected. However, it differs from the video transmission unit 413 of the first embodiment in that there is an additional process in the operation at the time of video clip generation. In the following description, the video conversion unit 412 of the second embodiment and the video transmission unit 413 of the second embodiment are simply referred to as a video conversion unit 412 and a video transmission unit 413.
[0110]
First, the video conversion unit 412 sets the parameters for the codec received at initialization, the data format for codec input / output, and the like in the MPEG-4 encoder 422. The source video data received from the video acquisition unit 411 is input to the MPEG-4 encoder 422 after adjusting the data format and image size for codec input by the JPEG decoder 421 and the like, and the processing result is input to the video transmission unit 413. To pass. In the video conversion unit 412 according to the present embodiment, the source video data in JPEG format is preliminarily arranged in the QCIF size and YUV411 format by the JPEG decoder 421 and then input to the MPEG-4 encoder 422 to generate the generated MPEG-4 data. (I-frame or P-frame) is transferred to the video transmission unit. At this time, the time stamp given by the video acquisition unit is also input to the MPEG-4 encoder 422.
[0111]
When the prohibited area detection is notified from the video acquisition unit 411, “the camera control is restricted and the video cannot be displayed, so the administrator (privileged user) is requested to permit access to the video clip. The composite screen incorporating the access permission request to the administrator indicating "Yes" is input to the MPEG-4 encoder 422 instead of the source video data, thereby generating MPEG-4 data of the composite screen and transmitting the video. To part 413. Next, the video transmission unit 413 transmits the generated MPEG-4 data of the composite screen to the mobile phone terminal 601. As a result, a composite screen incorporating an access permission request such as “I request the camera server administrator to issue a video clip” as shown in FIG. 17 is displayed on the screen 63 a of the mobile phone terminal 601.
[0112]
Next, a point on the composition screen on the timeline of the video clip (elapsed time from the start of the clip) is recorded, and a tuple consisting of this point and a URL for requesting access permission to the privileged user is displayed as a video clip. Add to the command list. The command list of the video clip created as a result is, for example, as follows. In the present embodiment, the timeline of the video clip is described in units of milliseconds. Further, an access permission request for a privileged user is requested via the video conversion server 400.
However, the following wvclipper. x. co. jp is an identifier on the network indicating the video conversion server 400.
[0113]
[Elapsed time] 6900ms
[URL] HTTP: // wvclipper. x. co. jp / svc / ask_for_f. cgi? userid = 33xxx, notifyto = mailto: riyousha3 @ xx. xx. co. jp, cameraservers = webview: // vb_X. co. jp, PTZ = P-16T32Z15, time = JST2002sep25_100658
...
[Elapsed time] 13200ms
[URL] HTTP: // wvclipper. x. co. jp / svc / ask_for_f. cgi? userid = 33xxx, notifyto = mailto: riyousha3 @ xx. xx. co. jp, cameraservers = webview: // vb_X. co. jp, PTZ = P0T0Z120, time = JST2002 sep25_100704
...
[0114]
Next, the video transmission unit 413 performs processing for incorporating the command list generated by the video conversion unit 412 into the video clip, in addition to the processing of the video transmission unit 413 in the first embodiment. For example, in the case of a video clip compliant with the ASF format, a command list is incorporated as “script command object” of the ASF format video clip.
[0115]
Next, an operation when the video conversion server 400 receives an access permission request for the privileged user indicated by the URL will be described.
FIG. 18 is a flowchart showing processing when the video conversion server 400 receives an access permission request for the privileged user indicated by the URL. The process shown in FIG. 18 is executed when the request content analyzed by the video conversion server 400 in step S1311 described in FIG. 15 is an access permission request to a privileged user.
[0116]
First, in step S1831, the video conversion server 400 extracts client user identification information (userid), camera identification information (cameraservers), camera control information (PTZ), and the like included in the HTTP request. In the case of the present embodiment, if the HTTP request received by the video conversion server 400 is the first URL of the command list (URL with an elapsed time of 6900 milliseconds), the following contents are acquired.
[0117]

[0118]
Next, in step S1832, the video conversion server 400 acquires the user name from the user identification information. The user name information may be stored in a database uniquely managed by the video conversion server 400 or may be inquired of a user name database on the network. In the present embodiment, it is assumed that the user name “user 3” of the user whose user identifier is “33xxx” has been acquired.
[0119]
Next, in step S1833, the video conversion server 400 connects to the target camera server 101, and from the camera identification information and the camera control information, image data corresponding to the camera control for which access permission is requested ( Get specified image data). Next, in step S1834, the video conversion server 400 attaches the image data acquired from the camera server 101, and sends a message email indicating that the user with the acquired user name requests access permission to the privileged user. Send to. At this time, the message content is, for example, as follows.
[0120]
“The following access permission request has been received for the camera server you are managing (forbidden area). Please reply.”
Camera: webview: // vb_X. co. jp
Area: Pan = -16, Tilt = 32, Zoom = 15
Date and time: 2002 Sep 25 10:06:58 JST
User: “User 3”
Reply to: mailto: riyousha3 @ xx. xx. co. jp
[0121]
In the present embodiment, an example in which an access permission request to a privileged user associated with a composite image is processed via the video conversion server 400 is described. However, the present invention is not limited to this. A processing method that does not pass through the server 400 may be used. For example, by associating the following URLs, a method of making a voice call by e-mail transmission or telephone (including Internet telephone) to a privileged user can be considered.
mailto: superuser1 @ xx. xx. co. jp
phoneto: 050-xx58-xx11
[0122]
[Third Embodiment]
As a third embodiment of the present invention, a video communication system for generating a file and generating file access information of a WWW server will be described.
In the video communication system of the third embodiment, the system configuration and the hardware configuration and functional configuration of each device are substantially the same as those of the first embodiment shown in FIGS. 1 to 5 and FIG. Mainly explained. That is, the video communication system according to the third embodiment can convert the live video acquired from the camera servers 101 and 102 arranged on the Internet into a video clip for the mobile phone terminals 601 and 602 and transmit the video clip. In particular, the third embodiment is different from the first embodiment in that transmission to the mobile phone terminals 601 and 602 is performed using a widely used HTTP server.
[0123]
As described above, in this embodiment, many of the network connection modes, hardware configurations, and operations of each software are as described in the first embodiment. However, the video communication system in the third embodiment has a different configuration from the video communication system in the first embodiment shown in FIG. FIG. 19 is a diagram illustrating an outline of a connection configuration and a functional configuration of a video communication system according to the third embodiment. As shown in FIG. 19, the WWW server (HTTP server in this embodiment) 700 is connected between the video conversion server 400 and the mobile phone terminal 601 as compared with the video communication system shown in FIG. . The HTTP server 700 is realized by a program such as Apache, for example.
[0124]
Further, in the video communication system of the third embodiment, part of the operation of the video conversion server 400 shown in FIG. 15 is different from that of the video communication system of the first embodiment. Specifically, the video conversion server 400 receives a video clip request issued from the mobile phone terminal 601 from the HTTP server 700. The HTTP server 700 redirects the request related to the video clip among the received HTTP requests to the video conversion server 400.
[0125]
At this time, the video transmission unit 413 of the video conversion server 400 of the present embodiment differs from the video transmission unit 413 of the first embodiment in the procedure for generating a video clip as follows. The video transmission unit 413 according to the third embodiment first secures a memory area according to the video clip upper limit value received at the time of initialization. Next, the mobile phone video data generated by the video conversion unit 412 is received and held in the secured memory area. Next, when the video transmission unit 413 receives the prohibited area detection notification, the video transmission unit 413 determines the division point of the video clip in consideration of the utilization rate of the memory area. At this time, if the video transmission unit 413 determines that the video clip is divided, the video data stored in the memory area is prefixed with header information conforming to the data format of the video clip for mobile phones. Save as a file and reclaim memory space. Further, the file to be stored is arranged in an area accessible from the HTTP server 700. For example, it is on a shared file system between the video conversion server 400 and the HTTP server 700.
[0126]
Next, when the end of the PTZ sequence is notified from the camera control unit 410, the video transmission unit 413 similarly stores the rest of the video data held in the memory area as a file, and stores it until then. Notification information to the mobile phone terminal 601 in which link information to a plurality of video clips being embedded is embedded is notified to the notification destination address received at initialization. Accordingly, in the mobile phone terminal 601 that has received the notification information, each video clip can be downloaded via the HTTP server 700 when the user selects link information.
[0127]
Next, access restriction to a video clip including a prohibited area in this embodiment will be described. In the present embodiment, an example will be described in which an HTTP equivalent to Apache is used to restrict access to a video clip generated as a file.
In the description of the present embodiment, the access is restricted on a directory basis using the “.htaccess” file and the “.htpasswd” file. First, grouping is performed according to the authority of each user who accesses the video clip using the mobile phone terminal 601 and the password information is registered in the “.httppasswd” file. For the registration, for example, an htmlpass command attached to Apache is used. Then, the following information is described in the contents of the “.htaccess” file of the directory in which the video clip that does not include the prohibited area is generated as a file.
[0128]
AuthType Basic
AuthName “nospecial camera control group”
AuthUserFile / etc /. htpasswd
<LIMIT GET>
request valid-user
</ LIMIT>
[0129]
On the other hand, the following information is described in the contents of the “.htaccess” file of the directory for generating a video clip including the prohibited area as a file. However, it is assumed that superuser1, superuser2, superuser3 are user identifiers of privileged users.
[0130]
AuthType Basic
AuthName “camera control privileged group”
AuthUserFile / etc /. htpasswd
<LIMIT GET>
request user superuser1 superuser2 superuser3
</ LIMIT>
[0131]
In this embodiment, an example in which access restrictions are applied for each directory has been described. However, the present invention is not limited to this example, and video clips are managed in combination with a database system that allows access restrictions on a per-user basis. Also good.
[0132]
In this embodiment, an example of performing authentication in units of users has been described. However, the present invention is not limited to this, and group-based authentication may be performed by registering a plurality of privileged users in groups.
[0133]
In this embodiment, an example in which a video clip is generated in response to a video clip request from the mobile phone terminal 601 has been described. However, the video clip generation method is not limited to this. For example, camera information, camera control information, a generation schedule, and the like of a video clip to be generated are set in the video conversion server 400 in advance, and the video conversion server 400 periodically generates a video clip according to the set schedule. However, it may be arranged in an area accessible from the HTTP server 700.
[0134]
[Fourth Embodiment]
As a fourth embodiment of the present invention, a video communication system including a camera server integrated with a video conversion server will be described.
In the video communication system according to the fourth embodiment, the system configuration and the hardware configuration and functional configuration of each device are substantially the same as those of the first embodiment shown in FIGS. To do. That is, in the video communication system of the fourth embodiment, live video acquired from the camera server 101 and the camera server 102 integrated with the video conversion server arranged on the Internet is used as a video clip for the mobile phone terminals 601 and 602. Can be converted and sent. In particular, the fourth embodiment is different from the first embodiment in that it includes a camera server 101a in which the video conversion server 400 and the camera server 101 in the first embodiment are integrated.
[0135]
As described above, in the present embodiment, many of the network connection modes and hardware configurations, and the operations of the respective software are as described in the first embodiment. However, the video communication system according to the fourth embodiment has a different configuration from the video communication system according to the first embodiment shown in FIGS. FIG. 20 is a diagram illustrating an outline of a connection configuration of a video communication system according to the fourth embodiment. As shown in FIG. 20, compared to the video communication system in the first embodiment shown in FIGS. 1 and 5, the camera server 101a integrated with the video conversion server is connected to the network. The video conversion server integrated with the camera server 101a has the same function as the video conversion server 400 of the first embodiment. As described above, in the following description, it is assumed that the video conversion server 400 is integrated with the camera server 101.
[0136]
Further, in the video communication system according to the third embodiment, the video communication system according to the first embodiment and a part of the operation of the video conversion server 400 shown in FIG. 15 (one camera server 101a in this embodiment). Part operation) is different. In this embodiment, since the video conversion server 400 is integrated with the camera server 101a, the following operation is performed.
[0137]
First, the video acquisition unit 411 of the video conversion server 400 acquires video data from the camera control server 110 by using the video capture board 15 having a hardware configuration, similarly to step S806 of the video server 111 shown in FIG. . In the present embodiment, an example in which the video conversion server 400 acquires video data using the video capture board 15 having a hardware configuration has been described. However, the present invention is not limited to this, and the video conversion server integrated with the camera server 101a is used. Even in the case of 400, it can be designed so that video data can be acquired from the video server 111 of another camera server 102 as in the first embodiment. Thereby, there are effects such as load distribution of the encoding process of the camera server 101a, load distribution of the distribution process of video data, and prevention of congestion in the network communication infrastructure.
[0138]
[Fifth Embodiment]
As a fifth embodiment of the present invention, a video communication system capable of synthesizing a description instead of a prohibited area video will be described.
In the video communication system of the fifth embodiment, the system configuration and the hardware configuration and functional configuration of each device are substantially the same as those of the first embodiment shown in FIGS. 1 to 5 and FIG. Mainly explained. That is, the video communication system of the fifth embodiment can convert live video acquired from the camera servers 101 and 102 arranged on the Internet into video clips for the mobile phone terminals 601 and 602 and transmit the video clips. In particular, the fifth embodiment is different from the first embodiment in that when the video conversion server 400 synthesizes the prohibited area detection on the screen, the prohibited area attribute is included in the composite screen and provided to the general user. It is a point to do.
[0139]
As described above, in this embodiment, many of the network connection modes, hardware configurations, and operations of each software are as described in the first embodiment. However, the video communication system according to the fifth embodiment differs from the video communication system according to the first embodiment in part of the operation of the video conversion server 400 shown in FIG. Specifically, the video conversion unit 412 of the video conversion server 400 is different from the video conversion unit 412 of the first embodiment in the synthesis method of the composite screen inserted when the prohibited area is detected. In the following description, the video conversion unit 412 of the fifth embodiment is simply referred to as a video conversion unit 412.
[0140]
FIG. 21 is a flowchart showing a composite screen generation process to be inserted when the prohibited area is detected by the video conversion unit 412 according to the fifth embodiment. 21 is a part of the process in the video conversion unit 412 of the video conversion server 400, and the video conversion unit 412 of the video conversion server 400 is prohibited from the video acquisition unit 411. This process is executed when notification of detection is given.
[0141]
As shown in FIG. 21, first, in step S2161, the video conversion unit 412 acquires current camera control state information (numerical information indicating pan, tilt, zoom states, etc.). Next, in step S2162, the video conversion unit 412 calculates the position of the current camera control state in the entire visual field of the camera device 11 from the model information of the camera device 11 to which the camera server 101 is connected.
[0142]
Next, in step S 2163, the video conversion unit 412 synthesizes a screen indicating the prohibited area, reflecting the calculation result of the position in the entire visual field of the camera device 11, date / time information, camera control state information, and the like. In step S2164, the video conversion unit 412 inputs the composite screen to the MPEG-4 encoder 422 instead of the source video data. Next, in step S <b> 2165, the video conversion unit 412 passes the processing result of the MPEG-4 encoder 422 to the video transmission unit 413. Next, the video transmission unit 413 transmits the generated MPEG-4 data of the composite screen to the mobile phone terminal 601. As a result, a composite screen showing the prohibited area 63g as shown in FIG. 22 is displayed on the screen 63a of the mobile phone terminal 601. In addition, the current camera control state information is displayed in the camera control state information display area 63h.
[0143]
In the above-described embodiment, the example in which the current camera control state information is combined with the prohibited area detection screen has been described. However, the information combined with the prohibited area detection screen is not limited thereto. For example, information on the user who issued this video clip request (that is, a user whose camera control is restricted), contact information to a privileged user (e-mail address, mobile phone number, etc.), or video conversion server 400 It is conceivable to combine information such as presence / absence of similar video clips to be held. In the above-described embodiment, a video communication system using a mobile phone terminal is shown. However, the present invention is not limited to this, and a mobile terminal that can be connected to a network such as a PDA may be used.
[0144]
Each of the processing units shown in FIGS. 5, 14, and 19 may be realized by dedicated hardware, and each processing unit includes a memory and a CPU. The function may be realized by reading a program for realizing the function into a memory and executing the program.
The memory includes a nonvolatile memory such as a hard disk device, a magneto-optical disk device, and a flash memory, a recording medium such as a CD-ROM that can only be read, and a volatile memory such as a RAM (Random Access Memory). Or a computer-readable / writable recording medium based on a combination thereof.
[0145]
In addition, a program for realizing the functions of the processing units for performing various processes in FIGS. 5, 14, and 19 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system. Each process may be carried out by executing. Here, the “computer system” includes an OS and hardware such as peripheral devices.
[0146]
The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in the computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding a program for a certain period of time are also included.
[0147]
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
[0148]
A program product such as a computer-readable recording medium in which the above program is recorded can also be applied as an embodiment of the present invention. The above program, recording medium, transmission medium, and program product are included in the scope of the present invention.
The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
[0171]
【The invention's effect】
As described above, according to the present invention, video information from a camera can be appropriately distributed to a terminal device including access control and camera control right.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of a video communication system according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of a hardware configuration of a video conversion server 400 illustrated in FIG.
FIG. 3 is a diagram illustrating an example of a hardware configuration of camera servers 101 and 102 illustrated in FIG. 1;
4 is a diagram showing an example of a hardware configuration of mobile phone terminals 601 and 602 shown in FIG. 1. FIG.
5 is a diagram showing an outline of functional configurations of a camera server 101, a video conversion server 400, and a mobile phone terminal 601 in the video communication system shown in FIG.
6 is a flowchart showing the operation of the mobile phone terminal 601 in the video communication system shown in FIG.
7 is a flowchart showing the operation of the camera control server 110 in the camera server 101 shown in FIG.
8 is a flowchart showing the operation of the video server 111 in the camera server 101 shown in FIG.
9 is a diagram showing an example of a screen for creating a PTZ sequence and an example of key assignment in the cellular phone terminal 601 of the video communication system shown in FIG.
FIGS. 10A and 10B are diagrams showing three screen examples displaying a response, mail notification, and video clip playback display on the mobile phone terminal 601. FIGS.
FIG. 11 is a diagram showing processing for creating a PTZ sequence in the mobile phone terminal 601;
12 is a diagram showing an example of a screen when the camera server 101 sets a setting value used in step S700 of FIG.
13 is a flowchart showing the operation of the camera server setting program of the camera server 101 that displays the setting screen shown in FIG.
14 is a diagram schematically showing a rough flow of video data in the video conversion server 400 of the video communication system shown in FIG. 5. FIG.
15 is a flowchart showing the operation of the video conversion server 400 in the video communication system shown in FIG.
16 is a diagram showing an example of a composite screen displayed on the screen 63a of the mobile phone terminal 601. FIG.
FIG. 17 is a diagram showing a composite screen example in which an access permission request displayed on the screen 63a of the mobile phone terminal 601 is incorporated.
FIG. 18 is a flowchart showing processing when the video conversion server 400 receives an access permission request for a privileged user indicated by a URL.
FIG. 19 is a diagram illustrating an outline of a connection configuration and a functional configuration of a video communication system according to a third embodiment.
FIG. 20 is a diagram illustrating an outline of a connection configuration of a video communication system according to a fourth embodiment.
FIG. 21 is a flowchart showing a composite screen generation process to be inserted when a prohibited area is detected by the video conversion unit 412 in the fifth embodiment.
22 is a diagram showing an example of a composite screen including a prohibited area 63g displayed on the screen 63a of the mobile phone terminal 601. FIG.
[Explanation of symbols]
10 Computer
11 Camera device
61 Switches
62 Buttons
63 Display device
101, 102 Camera server
101a Camera server (including video conversion server)
110 Camera control server
111 Video server
200 viewer
300 Relay server
400 Video conversion server
410 Camera control unit
411 Video acquisition unit
412 Video converter
413 Video transmission unit
500 gateways
601 and 602 mobile phone terminals
610 Camera control input unit
611 video display
700 HTTP server

Claims (5)

Acquisition means for acquiring video data from a camera capable of controlling the imaging direction;
When the control of the camera to the imaging inhibited area is detected, it divides the image data obtained by the obtaining unit, a generation unit that generates the divided image data as a video clip,
A distribution unit that distributes the video clip generated by the generation unit to a terminal device that can communicate via a network according to access control information of a user who requests the video clip ;
A video clip generation device comprising: It said generating means before Symbol instead video data of the imaging inhibited area, a video clip generating apparatus according to claim 1, characterized in that for generating a video clip for distributing alternate video data before SL terminal. A video clip generation method in a video clip generation device, comprising:
An acquisition step get the image data of the capturing direction from the controllable camera,
When the control of the camera to the imaging inhibited area is detected, it divides the image data acquired in the acquisition step, a generation step that generates the divided image data as a video clip,
A distribution step of distributing the video clip generated in the generation step to a terminal device capable of communicating via a network according to access control information of a user requesting the video clip ;
A video clip generation method characterized by comprising:   A program for causing a computer to execute the video clip generation method according to claim 3.   A computer-readable storage medium storing the program according to claim 4.

Images