JP2006222720A - 映像通信システム、情報処理装置、映像通信方法及びそのプログラム - Google Patents

映像通信システム、情報処理装置、映像通信方法及びそのプログラム Download PDF

Info

Publication number
JP2006222720A
JP2006222720A JP2005033957A JP2005033957A JP2006222720A JP 2006222720 A JP2006222720 A JP 2006222720A JP 2005033957 A JP2005033957 A JP 2005033957A JP 2005033957 A JP2005033957 A JP 2005033957A JP 2006222720 A JP2006222720 A JP 2006222720A
Authority
JP
Japan
Prior art keywords
video
camera
server
information
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005033957A
Other languages
English (en)
Inventor
Takahiro Kurosawa
貴弘 黒澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005033957A priority Critical patent/JP2006222720A/ja
Publication of JP2006222720A publication Critical patent/JP2006222720A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】 適切なアクセス制御の下、ネットワーク上に流通しているカメラサーバの映像情報(映像クリップ)を、カメラ制御情報やカメラ制御権を利用可能な状態で提供する。
【解決手段】 映像通信システムは、ネットワークに接続可能で映像再生可能な管理者ビューワ201と、映像データを配信するカメラサーバ101とを少なくとも具備する。映像取得部411は、カメラサーバ101の配信する映像データを取得する。映像変換部412は、管理者ビューワ201において再生可能な端末用映像データを生成し、生成した端末用映像データに対してカメラサーバ101のアクセス制御情報を設定する。映像送信部413は、アクセス制御情報を含む端末用映像データを管理者ビューワ201へ送信する。
【選択図】 図5

Description

本発明は、通信によって映像データの配信などを行う映像通信システム、情報処理装置、映像通信方法及びそのプログラムに関するものである。
本発明に関係する既存の技術は、以下の通りである。
[ライブ映像通信システム]
動画用カメラで撮影したライブ映像を、動画用カメラを具備するカメラサーバよりインターネットなどの通信インフラストラクチャを使ってPC(パーソナルコンピュータ)へ配信するとともに、PCから撮影のためのカメラ設定やカメラ操作などをカメラサーバ経由で動画用カメラへ指示する技術が確立され、製品が提供されている。例えば、複数の上述したカメラサーバおよびPCがネットワークで接続された映像通信システムにおいて、カメラサーバからPCへの映像配信に加えて、カメラサーバの備える動画用カメラに対してパン、チルト、ズーム、逆光補正といったカメラ制御を、PCよりネットワークを介して行うことが可能なシステムが提供されている。また、上述した映像通信システムは、アクセス制御機能を備え、利用者のアクセス権限に応じて、カメラ制御や映像配信の制限を行うことができる。
更に、上述した映像通信システムにおいて、カメラ制御によって撮像される領域に関してもPCより制限することが可能になっている。例えば、PCの利用者が特権ユーザである場合は、動画用カメラに備わるズーム機能のすべてを利用できるが、PCの利用者が通常ユーザである場合は、ズーム機能の一部(たとえば、テレ端を使い切れない)のみ利用可能とするような制限である。また、パン機能やチルト機能についても同様に制御可能である。
[第三世代携帯電話技術]
また、近年において、第二世代の携帯電話サービスよりも高い電波利用効率と通信帯域を備えた携帯電話サービスとして、第三世代(3G)の携帯電話サービスが提供されるようになっている。例えば、第三世代(3G)の携帯電話端末では、電話通話しながらインターネットアクセスなどのデータ通信が可能となっている。それは、マルチアクセスと呼ばれる接続形態を用意しており、これを利用することで、ウェブブラウジングなどのデータ通信を行いながら、電話通話を可能にしている。
さらに、第三世代の携帯電話端末では、携帯電話端末自体の処理能力も強化されており、これまでPC(パーソナルコンピュータ)などで行っていた作業を携帯電話端末で処理可能になっている。例えば、電子メールやウェブブラウジングおよび映像送受信などの機能を実装している携帯電話端末が提供されている。また、第三世代の携帯電話サービスでは、映像配信のサービスも行われている。
[MPEG−4コーデック]
移動体通信網に接続する携帯情報端末から広帯域インターネットに接続するPCまでの映像送受信端末の広がりを受けて、数十kpbsから数十Mbpsの広いビットレートをカバーする高圧縮符号化効率、および、無線やインターネットなどの伝送路誤りに対する強い耐性などを備えた動画像圧縮符号化方式として、ISOで1999年にMPEG−4という規格が制定されている。
また、MPEG−4を用いた映像配信サービスが、個人情報端末(PDA)や携帯電話端末向けに提供されている。例えば、第三世代(3G)携帯電話サービスでは、携帯電話端末(ビジュアル端末)間でMPEG−4を用いて相互に映像を送受信するサービスを提供している。
[携帯電話向け映像技術]
携帯電話端末に映像クリップ(映像ファイル)を表示する技術が提供されている。これらのサービスでは、MPEG−4コーデックなどで圧縮符号化された映像データ(映像クリップあるいは映像ファイル)をサーバに保存し、携帯電話端末に内蔵するデータ通信機能を使ってサーバからダウンロードした上で、同じく携帯電話端末に内蔵するデコーダを使って映像を携帯電話端末の画面に表示する。
また、これらの映像クリップのデータフォーマットは、マイクロソフト(登録商標)社のASF(Advanced Streaming Format)形式や、ISO標準のMP4形式(ISO/IEC14496−1 Amd1 MPEG−4システム Version2)など、インターネットに接続可能なPCなどで広く普及している形式に準拠している。また、多くの携帯電話向け映像サービスでは、いずれも映像クリップの上限サイズが決められており、例えば、240kbytesが上限となっている。
[映像クリップへのリンクやコマンドの関連付け技術]
上述したASF形式やQuickTime File Formatなどでは、映像クリップにURLなどのハイパーリンク機能を関連付けることができる。また、ASF形式では、゛Script Command Object゛を定義することが可能であり、このオブジェクト内に、ASFファイル再生時のタイムラインに同期するように設定したリンク情報をリストできる。さらに、ASF形式では、Script Command Objectを利用して、リンク情報ばかりでなく、スクリプトなどのコマンド情報も記述可能となっている。
また、映像クリップにハイパーリンク機能付きのテキストテロップ(字幕)を追加する機能が備わっている。このテロップ記述言語には、STML(Synchronous Telop Mark−up Language)を利用する。この機能により、ユーザは、音声通話やメール送信やホームページリンクなどを、映像クリップと関連付けることができる。
[バイオメトリクス応用技術]
眼球の虹彩や指紋などに代表されるバイオメトリクス(生体依存情報)は、個人認証のキー情報として利用可能であることが知られている。そして、これらの情報を簡単に取込み、情報処理に応用するための入力機器が入手可能になってきている。例えば、虹彩情報に基づく高精度の本人認証技術が提供されている。この技術では、標準的なビデオカメラを用いて1メートルほどの距離から撮影し、そこから虹彩の画像情報を抽出/コード化して、256バイトにまでデータ圧縮して、本人認証用コードとしている。また、指紋認証モジュールを開発するとともに、そのモジュールをPCMCIAインターフェースのPCカードに実装するなど小型化を行って販売しているメーカもある。
[暗号技術/認証技術]
暗号アルゴリズムを使って、データを秘匿、あるいは、安全に通信する方法が確立している。暗号アルゴリズムは、一般に、暗号化と復号化に同一の鍵情報を用いる対象鍵方式、ならびに、暗号化と復号化に異なった鍵情報を用いる非対称鍵方式とに分類される。それぞれに、DES暗号方式やAES暗号方式やRC4暗号方式、ならびに、RSA暗号方式などが利用されている。さらに、非対称暗号方式(公開鍵暗号方式)を用いることで、情報に電子署名、あるいは、その正当性確認をすることが可能になっている。
例えば、大きな数の素因数分解の困難さを安全性の原理とするRSA暗号方式のアルゴリズムでは、事前に、公開鍵Kpと秘密鍵Ksと鍵組を生成し、秘密鍵Ksを本人のみが秘匿する。そして、公開鍵Kpを公開して、本人に暗号情報を送信する際には、その公開鍵Kpを用いて暗号化することで、秘密鍵Ksを保持する本人のみが復号できる。この非対称性を逆方向に利用して、秘密鍵Ksを使って情報に署名し、その署名を公開鍵Kpを使って確認することが可能になっている。通常、秘密鍵Ksを本人のみが秘匿するので、署名の正当性により本人確認(真正性)をする事が可能となる。
なお、秘密鍵と対をなす公開鍵が本当に本人のものである点は、CA(Certification Authority)と呼ばれる認証機関が発行する公開鍵証明書によって証明される信頼体系が構築されている。この信頼体系は、PKI(Public Key Infrastructure)と呼ばれている。一方で、公開鍵と対をなす秘密鍵を、セキュアに保管する方法に関しては、『暗号通信の普及・高度化に関する研究会(郵政省)』報告書(2000年7月4日発表)など複数の資料で技術的課題として指摘されている。
[セキュア通信技術]
また、HTTPによるWebアクセスなどの通信において安全性を提供するプロトコルとしてSSL(Secure Socket Layer)が、提案されブラウザソフトウェアをはじめとして多くのソフトウェアに実装されている。SSLは、TCP/IPの上位、かつ、HTTPやFTPなどアプリケーションプロトコルの下位に位置し、サーバ認証、通信データの暗号化、ならびに、クライアント認証(オプショナル)の機能を提供する。
また、ワイヤレス通信において、安全性を提供する方式としては、WAP(Wireless Application Protocol)プロトコルの一部として、WTLS(Wireless Transport Layer Security)がWAP Forumによって定義されている。これは、SSLをベースに設計されており、データインテグリティ、暗号化、および、端末認証など、SSLとほぼ同様の機能を提供する。なお、通信における認証機能を提供する方法としては、RFC1334として定義されているCHAP(Challenge−Handshake Authentication Protocol)方式が知られている。この方式は、主に、PPP(Point−to−Point Protocol;RFC 1661で定義されている)で利用されている。
[電子チケット技術]
暗号技術や認証技術を使って、電子的なチケットが提供可能になっている。
例えば、DDSA(Digital Document Security Architecture)技術では、コンテンツ利用権を認証する暗号技術とプログラム実行を保護するプログラム実行制御技術の二つによって、コンテンツ利用権の設定、コンテンツ保護(カプセル化)、利用プログラム保護、および、コンテンツ利用への課金までの機能を提供している。
そして、コンテンツ利用あるいはプログラム実行のためには、アクセスチケットに相当する電子的な゛鍵情報゛を入手する必要があり、アクセスチケットを利用者の身分証明書゛トークン゛毎に限定的に提供することで、コンテンツあるいはプログラムを保護する仕組みとなっている。これによって、従来のデジタルコンテンツの流通方法がデータの゛所有権゛を売買するものだったのに対し、コンテンツを閲覧・再生する゛利用権゛を電子チケットとして売買することを可能にしている。また、同様の技術は、DRM(Digital Right Management)目的でも利用されている。
例えば、ISO/IECのMPEG標準の中では、IPMP (Intellectual Property Management and Protection)が検討され、標準的なコンテンツ管理/保護を可能としている(゛ISO/IEC 14496−1:1999 MPEG−4/System゛、゛ISO/IEC 14496−1 PDAM3−IPMP extension゛、あるいは、MPEG゛IPMP Overview゛MPEG/n2614)。
また、映像データに電子透しや電子署名等を埋め込むための技術が開示されている(例えば、特許文献1を参照)。
特開2000−165805号公報
しかしながら、インターネット上でサービスされているカメラ制御可能なカメラサーバの映像情報を映像クリップ(ファイル)としてサービスする場合、映像情報に付帯するカメラ制御情報(パン、チルト、ズーム、あるいは、制御権などの情報)が適切に利用できないという問題がある。あるいは、利用できた場合でも、ネットワーク上の様々なユーザへ適切なアクセス制御の下でカメラサーバのサービスを提供する事が難しいという問題がある。
本発明は、上述した事情を考慮してなされたもので、ネットワーク上に流通しているカメラサーバの映像情報(映像クリップ)を、カメラ制御情報やカメラ制御権を利用可能な状態で提供することが可能な映像通信システム、情報処理装置、映像通信方法及びそのプログラムを提供することを目的とする。
この発明は、上述した課題を解決すべくなされたもので、本発明による映像通信システムにおいては、ネットワークに接続可能で映像再生可能な端末と、映像データを配信するカメラサーバとを少なくとも具備する映像通信システムであって、カメラサーバの配信する映像データを取得する映像取得手段と、端末の属性情報と映像取得手段の取得した映像データとを基に端末において再生可能な端末用映像データを生成する映像変換手段と、映像変換手段が生成した端末用映像データに対してカメラサーバのアクセス制御情報を設定する制御情報設定手段と、制御情報設定手段の設定によりアクセス制御情報を含む端末用映像データを端末へ送信する映像送信手段とを具備することを特徴とする。
また、本発明による情報処理装置においては、ネットワーク上に配置されるカメラサーバと接続して、カメラサーバが送信する映像データを表示する情報処理装置であって、映像データを取得する映像取得手段と、映像データ内に組み込まれたカメラ状態情報からカメラ制御コマンドを抽出するカメラ制御コマンド抽出手段と、カメラコマンド抽出手段が抽出したカメラ制御コマンドをカメラサーバへ送信する制御コマンド送信手段とを具備することを特徴とする
また、本発明による映像通信方法においては、ネットワークに接続可能で映像再生可能な端末と、映像データを配信するカメラサーバとを少なくとも具備する映像通信システムを用いた映像通信方法であって、カメラサーバの配信する映像データを取得する映像取得ステップと、端末の属性情報と映像取得ステップで取得した映像データとを基に端末において再生可能な端末用映像データを生成する映像変換ステップと、映像変換ステップで生成した端末用映像データに対してカメラサーバのアクセス制御情報を設定する制御情報設定ステップと、制御情報設定ステップで設定したアクセス制御情報を含む端末用映像データを端末へ送信する映像送信ステップとを有することを特徴とする。
また、本発明によるプログラムは、ネットワークに接続可能で映像再生可能な端末と、映像データを配信するカメラサーバとを少なくとも具備する映像通信システム用のプログラムであって、カメラサーバの配信する映像データを取得する映像取得ステップと、端末の属性情報と映像取得ステップで取得した映像データとを基に端末において再生可能な端末用映像データを生成する映像変換ステップと、映像変換ステップで生成した端末用映像データに対してカメラサーバのアクセス制御情報を設定する制御情報設定ステップと、制御情報設定ステップで設定したアクセス制御情報を含む端末用映像データを端末へ送信する映像送信ステップとをコンピュータに実行させるためのプログラムである。
本発明による映像通信システム、情報処理装置、映像通信方法及びそのプログラムは、適切なアクセス制御の下、ネットワーク上に流通しているカメラサーバの映像情報(映像クリップ)を、カメラ制御情報やカメラ制御権を利用可能な状態で提供することができる。
以下、図面を参照して本発明の実施形態について詳細に説明する。
[第1の実施形態]
本発明の第1の実施形態として、ネットワーク上に配置された複数のカメラサーバから取得したライブ映像を、携帯電話端末向けの映像データ(以下、映像クリップとする)に変換して送信する映像変換サーバ(情報処理装置)を含む映像通信システムについて説明する。
また、ライブ映像データを変換して映像クリップを生成する映像変換サーバが、映像に付帯するカメラ制御状態情報(パン、チルト、ズーム、あるいは、制御権などの情報)を反映して、適切な映像クリップを生成する例についても説明する。特に、本実施形態の映像変換サーバは、映像クリップが作成された時点のカメラ制御状態情報を使って、現在のカメラサーバにアクセスできるよう映像クリップを作成する点に特徴がある。
さらに、映像変換サーバは、携帯電話端末に備わる標準的な映像ビューワ(以下、カメラ制御機能などを備えない意味で『非専用ビューワプログラム』とする)を用いて再生表示可能な映像クリップを生成した上で、その映像クリップ中に適切なリンク情報を組み込むことで、リンク情報を参照した場合に、カメラ制御機能などを備える映像ビューワ(以下、専用ビューワプログラムとする)に、適切なカメラ制御情報を引き渡すことを可能とする。
さらに、カメラサーバの管理者が実行する管理者ビューワによって、映像クリップに適切なアクセス制御情報を付与した上で、生成された映像クリップの一部あるいは全部に電子署名(以下、単に署名とする)することで、この署名付き映像クリップを受け取ったユーザに、アクセス制御情報に指定された限定的なカメラサーバへのアクセスあるいはカメラ制御を許可する例について説明する。
図1は、本発明の第1の実施形態における映像通信システムの概略構成を示す図である。図1において、101および102は、カメラサーバであり、ライブ映像を撮像可能な動画用カメラを具備し、その動画用カメラによるライブ映像をネットワーク経由で提供する。200は、ビューワであり、カメラサーバ101、102よりネットワーク経由で提供されるライブ映像を表示可能なソフトウェアをインストールしており、ネットワークに接続可能なコンピュータ端末である。尚、ビューワ200は、カメラサーバ101に対するカメラ制御機能を有する専用ビューワプログラムを実行する。
以上の構成により、ビューワ200よりネットワークを介してライブ映像の表示要求(以下、リクエストとする)がカメラサーバ101、102へ送られ、これが受け入れられるとカメラサーバ101、102からビューワ200へ映像データが配送され、ビューワ200で受信した映像データを再生することでライブ映像を表示することが可能となる。またビューワ200からカメラ制御コマンドがカメラサーバ101または102へ送られると、カメラサーバ101または102が具備する動画用カメラに対してズーム、パン、チルトなどの制御操作が可能となる。さらに、ネットワーク上には、中継サーバ300が置かれビューワ200とカメラサーバ101、102との通信を中継することがある。
また、400は、映像変換サーバであり、カメラサーバ101、102が提供するライブ映像の映像データを映像クリップ(携帯用映像データ)に変換した上で、携帯電話向けに配信する。また、500は、ゲートウェイであり、ネットワークと携帯電話回線網とを仲介する。601および602は、携帯電話端末であり、ゲートウェイ500を介してネットワークに接続する機能や、映像変換サーバ400が変換した映像クリップを表示するビューワ機能(少なくとも非専用ビューワプログラムの機能)を搭載している。以上の構成により、携帯電話端末601、602は、ゲートウェイ500を介してネットワークに接続された機器と通信可能となる。
201は、管理者ビューワであって、カメラサーバ101、102の管理者によって利用されるビューワ機能を有する携帯電話端末である。管理者ビューワ201は、上記の携帯電話端末601、602と比べて、カメラサーバ接続情報やカメラサーバ制御情報や管理者固有情報などを反映した署名情報を映像クリップへ付与する機能を更に有する点が異なる。
尚、携帯電話端末601、602や管理者ビューワ201において、ビューワ機能はビューワプログラムが実行されることで実現されるが、このビューワプログラムは、典型的には、工場出荷時にインストールされるが、例えばJava(登録商標)プログラムのように実行時(利用時)にネットワーク経由でダウンロードされて実行される形態であっても良い。つまり、工場出荷時には、非専用ビューワプログラムのみを備え、必要に応じて、専用ビューワプログラムとしての機能を実現するJava(登録商標)プログラムをダウンロードするような実施形態である。また、図1のネットワークは企業あるいは組織内で運用されるイントラネットであってもよく、広く世界をつないでいるインターネットであってもよい。また、中継サーバ300や映像変換サーバ400は、典型的には、インターネットイクスチェンジやデータセンタ(IDC:Internet Data Center)に配置され、通信負荷の軽減を図るよう設計される。
次に、図1に示した映像変換サーバ400や、カメラサーバ101、102や、携帯電話端末601、602のハードウェア構成例について図を用いて説明する。
図2は、図1に示した映像変換サーバ400のハードウェア構成の一例を示す図である。図2に示すように、映像変換サーバ400は、サーバ向けコンピュータであり、より詳細には、プログラムやデータを格納する記憶装置や、ネットワークと接続するためのネットワークI/F(インターフェース)43や、プログラムによる各種の処理を実行するCPU(中央演算装置)41などから構成されるコンピュータである。また、映像変換サーバ400は、記憶装置として、図1に示すように主記憶装置となるメモリ42や、フラッシュメモリやHD(ハードディスク)装置45などからなる二次記憶装置、および、プログラムを媒体からロードするためのFD(フレキシブルディスク)装置44などを具備する。
図3は、図1に示したカメラサーバ101、102のハードウェア構成の一例を示す図である。図3に示すように、カメラサーバ101、102は、実際にライブ映像の撮像を行うカメラ装置11と、カメラ装置11の出力する映像を処理するコンピュータ10から構成される。また、図3に示すようにコンピュータ10は、プログラムやデータを格納する記憶装置と、映像データを取り込むための映像キャプチャボード15と、カメラ装置11にコマンドを送るためのシリアルI/F(インターフェース)16と、ネットワークと接続するためのネットワークI/F14と、プログラムによる各種の処理を実行するCPU12とを具備する。ここで、記憶装置とは、図3に示すように主記憶装置となるメモリ13や、フラッシュメモリやHD装置18などからなる二次記憶装置、および、プログラムを媒体からロードするためのFD装置17などである。
尚、図示していないが、カメラサーバ101、102および映像変換サーバ400は、各種設定などを行うための入出力装置を備える場合もある。具体的には、CRT(Cathode Ray Tube)や液晶ディスプレイなどの表示装置やキーボードやマウスなどの入力装置などを具備しても良い。すなわち、カメラサーバ101、102および映像変換サーバ400は、表示装置を制御したり、キーボードやマウスからの入力信号を処理したりするインターフェース機能を具備する。また、カメラサーバ101の構成は上述した限りではなく、カメラ装置とコンピュータとが一体化されたサーバ内蔵型ネットワークカメラ等であっても良い。
図4は、図1に示した携帯電話端末601、602及び管理者ビューワ201のハードウェア構成の一例を示す図である。また、上述したように携帯電話端末601、602及び管理者ビューワ201には、ビューワ機能を実現するプログラムが格納されている。図4に示すように携帯電話端末601、602及び管理者ビューワ201は、端末内の制御や無線通信により受信するデータの処理などを行うデータ処理部60と、例えば液晶ディスプレイであるディスプレイ装置63などの周辺装置とを具備する。データ処理部60は、プログラムやデータを格納する記憶装置68と、携帯電話網と接続するための無線通信I/F(インターフェース)69と、プログラムによる各種の処理を実行するCPU67と、周辺装置を制御する周辺コントローラ65と、ディスプレイ装置63を制御する表示コントローラ66とを具備する。上述した記憶装置68とは、例えばCPU67の主記憶装置となるメモリや、各種データを保持するフラッシュメモリなどである。また、上述した周辺装置とは、図4に示すように携帯電話端末601、602及び管理者ビューワ201上に配置されたボタン類62やスイッチ類61などの入力装置や、例えばマイクロフォンやスピーカなどである音声入出力装置64である。
図5は、図1に示した映像通信システムにおけるカメラサーバ101や、映像変換サーバ400や、管理者ビューワ201の機能構成の概略を示す図である。尚、カメラサーバ102もカメラサーバ101と同様の機能を有する。また、本実施形態においては図5に示す各機能は、上述した各装置が内蔵する上記CPU41、12、67が各機能を実現するためのプログラムを実行することで実現するが、この限りではなく、機能の一部の処理を専用のハードウェアにより処理してもよい。
図5に示すように、カメラサーバ101は、カメラ装置11の制御を行うカメラ制御サーバ110、映像の配送を行う映像サーバ111、及び要求内に付与された署名の正当性を確認する署名正当性確認部112の3つの機能モジュールを具備する。また、管理者ビューワ201は、非専用ビューワプログラムの機能をもち、カメラ制御シーケンスを入力するカメラ制御入力部210と、受信した映像クリップを基に図4に示した表示コントローラ66を制御してディスプレイ装置63に映像を表示する表示処理を行う映像表示部211と、PTZシーケンスなど署名対象についての署名を生成し付与する署名付与部212とを具備する。また、図1に示した携帯電話端末601、602には、図5に示した管理者ビューワ201のカメラ制御入力部210と映像表示部211の機能のみを実現する非専用ビューワプログラムがインストールされている。
また、映像変換サーバ400には、以下に示す機能モジュールが具備される。カメラ制御部410は、管理者ビューワ201のカメラ制御入力部210が発行するカメラ制御コマンド列(以下、PTZ(パン・チルト・ズーム)シーケンスと呼ぶ)を解釈し、カメラサーバ101にカメラ制御命令を発行する。映像取得部411は、カメラサーバ101の映像サーバ111から映像を取得する。映像変換部412は、映像取得部411が取得した映像を携帯電話端末601に表示可能なデータ形式に変換し、変換後の映像を携帯電話網向け映像クリップに編集する。映像送信部413は、映像変換部412が生成した映像クリップをネットワーク経由で管理者ビューワ201へ送信する。これにより、管理者ビューワ201の映像表示部211は、受信した映像クリップをディスプレイ装置63に表示する。
また、ビューワ200は、専用ビューワプログラムがインストールされたコンピュータ端末であり、カメラ制御入力部220及び映像表示部221を備える構成である。カメラ制御入力部220は、カメラサーバ101のカメラ制御サーバ110へコマンドを発行する機能を有する。すなわち、
次に、図1に示した映像通信システムにおける携帯電話端末601及び管理者ビューワ201の動作について説明する。
図6は、図1に示した映像通信システムにおける携帯電話端末601及び管理者ビューワ201の動作を示すフロー図である。即ち、図6は、携帯電話端末601及び管理者ビューワ201上で映像クリップを再生表示する非専用ビューワプログラムの動作を示す図である。尚、図6には、携帯電話端末601及び管理者ビューワ201が映像クリップをダウンロードして再生表示するまでの動作を示している。
図6に示すように、ステップS601で、まず、映像表示部211は、映像変換サーバ400を特定する識別子(以下、変換サーバ識別子とする)を取得する。この取得方法は、例えば携帯電話端末601及び管理者ビューワ201の利用者がスイッチ類61やボタン類62のキー操作により上記変換サーバ識別子を入力する方法でも良いし、電子メールやウェブページに含まれる変換サーバ識別子を選択する方法であっても良い。また、この場合の変換サーバ識別子は、典型的には、映像変換サーバ400を識別するURL(Uniform Resource Locator)である。
次に、ステップS602において、映像表示部211は、映像変換サーバ400が接続すべきカメラサーバ101を識別するためのカメラサーバ識別子と、そのカメラサーバ101にカメラ装置11の制御を指示するカメラ制御用のPTZシーケンスと、利用者を識別するためのユーザ識別子およびパスワードなどを含むアクセス制御用のユーザ識別情報とを取得する。この取得方法は、例えばカメラサーバ識別子やPTZシーケンスについては、利用者が上述したようなキー操作によりカメラ制御コマンドを構成するよう入力する方法でも良いし、電子メールやウェブページに含まれるカメラサーバ識別子やPTZシーケンスを選択する方法であっても良い。
尚、映像表示部211は、必ずしもPTZシーケンスを取得しなくてもよい。この場合、映像表示部211は、カメラサーバ識別子で指定したカメラサーバ101からカメラ制御せずに撮影した映像クリップを受信することになる。また、ユーザ識別情報は、通常、利用者のキー操作により入力するが、本実施形態においては、特権ユーザ以外はユーザ識別情報を入力しなくてもよい。この場合、通常ユーザとして携帯電話端末601からカメラサーバ101へ接続することを意味する。一方で、管理者ビューワ201から管理者権限(特権ユーザ)で接続する場合には、管理者権限を与えられたユーザのユーザ識別情報を入力する必要がある。
次に、ステップS603において、映像表示部211は、ステップS601で取得した映像変換サーバ400を特定する変換サーバ識別子に基づき携帯電話回線網とゲートウェイ500とネットワークを経由して映像変換サーバ400の映像送信部413に接続する。
次に、ステップS604において、携帯電話端末601又は管理者ビューワ201は、映像変換サーバ400に映像クリップを要求(リクエスト)する。このリクエストは、要求する映像クリップの作成方法の指定などを含み、典型的には、HTTPプロトコルを利用して送信される。この際、PTZシーケンスを入手している場合には、そのPTZシーケンスを映像変換サーバ400に送信する。このリクエストおよびPTZシーケンスの送信は、HTTP接続のGETメソッドでURLに組み込んでも良いし、HTTP接続のPOSTメソッドで送信されても良い。ここでは、映像クリップのリクエストとしてHTTP接続のPOSTメソッドを用いる場合について説明する。例えば、本実施形態における映像クリップのリクエスト例は以下の通りである。尚、実際には、URLエンコードが適用されるが、以下では、説明の都合上URLエンコードを適用していない部分もある。
HTTPのリクエスト例(POSTメソッドの場合)
POST /getvideoclip/ HTTP/1.1
Host: 202.28.30.208:8080
User-Agent: MozilePhone/2.0 C2101V(c100)
Pragma: no-cache
videoencodeparam=QCIF:fps15.0:bps64000:intraframe5:me8
cameraservers=webview://vb101_4.x-zone.xxx.co.jp:34560+34561+34562
PTZ=HZ15_30S3_40S4_40P-10_20
moviesizemax=240kbytes
notifyto=mailto:riyousha3@mailserver.usersite.co.jp
userid=331245
userpw=15215294
上述したHTTPのリクエスト例について詳細を説明する。『videoencodeparam=』に続く部分は、映像変換サーバ400がカメラサーバ101から受け取ったソース映像を携帯電話端末601及び管理者ビューワ201向けにエンコードする際のパラメータ情報を指示するものである。また、『cameraservers=』に続く部分は、映像変換サーバ400が接続するカメラサーバ101を指定している(カメラサーバ識別子)。また、『PTZ=』に続く部分は、映像変換サーバ400がカメラサーバ101に関して実行すべきカメラ制御のコマンドを並べたPTZシーケンスを指定している。また、『moviesizemax=』に続く部分は、携帯電話端末601あるいは携帯電話網が規定する映像クリップの最大サイズを指定している。また、『notifyto=』に続く部分は、映像クリップ作成時に通知すべき連絡先である。典型的には、携帯電話端末601及び管理者ビューワ201の利用者の電子メールアドレスを指定する。また、『userid=』と『userpw=』とに続く部分は、それぞれ、ユーザ識別子とパスワードである。
また、上述したPTZシーケンスの構成要素は、以下のような意味を持つ。nは、数値データ(正負あり)である。
Pn パン(水平方向カメラ制御)指定。
Tn チルト(垂直方向カメラ制御)指定。
Zn ズーム指定。
Bn 逆光補正。逆光補正のON/OFF。
H ホームポジション指定。
Sn プリセット位置指定。n番目のプリセット位置。
Cn カメラサーバ接続切換え指定。n番目のカメラサーバ。
Kn カメラサーバ内カメラ切換え指定。n番目のカメラ。
_n 時間経過を指定。0.1秒単位。
次に、ステップS605において、携帯電話端末601又は管理者ビューワ201は、ステップS604で送信した映像クリップのリクエストに対する映像変換サーバ400からのレスポンスを待つ。ここで、映像変換サーバ400が上述した映像クリップのリクエストに応じてカメラサーバ101のカメラ装置11を制御して撮影した映像を取得可能であるか否かについて携帯電話端末601へ返信(以下、レスポンスとする)する。
次に、ステップS606において、映像表示部211は、映像変換サーバ400から受信したレスポンスを基に携帯電話端末601のディスプレイ装置63に例えば、図15(a)に示すようなレスポンス結果を表示する。図15(a)は、携帯電話端末又は管理者ビューワ201に表示されるレスポンスの画面例を示す図である。図15(a)の63aは、ディスプレイ装置63の画面であり、文字や映像を表示する。尚、図15(a)においては、すぐに映像クリップを送信できない旨のレスポンスであるが、この限りではなく、すぐに映像クリップを送信できる場合は、その旨を伝えるレスポンス結果が画面63aに表示される。
次に、映像変換サーバ400からのレスポンスが、何らかの理由からすぐに映像クリップを生成できないことを示す内容であった場合(ステップS607のNo)には、ステップS608に進む。反対に、映像をすぐに生成できたことを示す内容であった場合(ステップS607のYes)には、ステップS609に進む。
次に、ステップS608においては、携帯電話端末601又は管理者ビューワ201は、映像変換サーバ400からのメール通知を待ち受ける。メール通知は、例えば、SMTP(Simple Mail Transfer Protocol)によるが、SMS(Short Message Service)であってもよい。メール通知を受け取った時点で、そのメール内容を映像変換サーバ400からのレスポンスとして画面63aに例えば図15(b)に示すように表示し、ステップS609に進む。図15(b)は、携帯電話端末601又は管理者ビューワ201においてメール通知を表示した画面例を示す図である。また、図15(b)において、63bは、映像クリップ一覧であり、4つの映像クリップが1〜4までの番号を付与されて選択肢として表示されている。
ここで、図15(b)に示した映像クリップ一覧63bより利用者が任意の一つを選択したとする。これにより、ステップS609において、映像表示部211は、選択された映像クリップを映像変換サーバ400よりダウンロードしてディスプレイ装置63に図15(c)に示すように再生表示する。図15(c)は、携帯電話端末601又は管理者ビューワ201において映像クリップを再生表示した画面例を示す図である。図15(c)において、63cは、映像表示エリアであり、再生された映像クリップが表示されるエリアである。63dは、前(上述した番号で一つ前)の映像クリップを再生表示させるためのリンクである。63eは、次(上述した番号で次)の映像クリップを再生表示させるためのリンクである。
尚、本実施形態では、映像クリップをダウンロードしてから再生しているが、この限りではなく、映像クリップの再生表示処理は、ダウンロードの終了を待たずに、表示再生可能な映像クリップデータが揃った時点で、再生表示処理を開始しても良い。
また、携帯電話端末601又は管理者ビューワ201のビューワでの映像クリップ表示中に、携帯電話端末ユーザがクリックした場合には、クリック時点に表示中の映像データ(映像区間、または、映像セグメントと呼ぶ事がある)に対応するリンク情報が映像クリップから抽出され、携帯電話端末601又は管理者ビューワ201に備わるブラウザ機能を使って、そのリンク情報が示すリンク先情報にアクセスする。リンク先情報へのアクセスでは、典型的には、カメラ制御を可能とする専用ビューワプログラムを起動するが、携帯電話端末601の設定によっては、設定されたアクションを行う場合もある。例えば、アクセスされたリンク情報を電子メールに添付した電子メールの発信である。
また、管理者ビューワ201の署名付与部212は、ビューワの映像クリップ取得後の表示再生(ステップS609)に続いて、カメラサーバ101への接続情報ならびにカメラ制御情報を反映した署名情報の付与を行うための処理を更に行う。図14は、図6に示したステップS609に続く署名情報の付与処理例を示すフロー図である。図14に示すように、ステップS621において、署名付与部212は、取得した映像クリップから、リンク情報として組み込まれているカメラサーバ接続情報およびPTZシーケンス情報部分を取り出す。
次に、ステップS622において、署名付与部212は、管理者の秘密情報(カメラサーバ101に登録済みの公開鍵と非対称鍵方式のペアをなす秘密鍵部分)を用いて、カメラサーバ接続情報およびPTZシーケンス情報を署名対象として、署名情報を生成し、署名情報を追加したリンク情報を映像クリップに組み入れる。具体的には、上記のカメラサーバ情報およびPTZシーケンス部分について、有効期限『2003年10月1日17時30分』を設定し、ユーザ識別子『331245』のユーザ(管理者)によって、署名情報『ca82xcdde1821Aa2a5cde3ba0944B83f』が生成される。実際のリンク情報としては、これらの項目をURLエンコードした形態となる。
cameraservers=webview://vb101_4.x-zone.xxx.co.jp:34560+34561+34562
PTZ=HZ15_30S3_40S4_40P-10_20
expires=2003oct01.17:30:00
userid=331245
signature=ca828cdde1821aa2a5cde3ba0944b83f
そして、ステップS623において、署名付与部212は、署名情報が付与されたリンク情報を組み入れた映像クリップ(以下、署名付き映像クリップ)を、VPNなどのセキュア通信、電子メール、あるいはオフライン媒体などを介して、限定的なユーザに提供する。
携帯電話端末601などの一般ユーザが利用する非専用ビューワプログラムでは、署名付き映像クリップを、通常の映像クリップ同様に、再生表示する、加えて、リンク情報が選択された際に、リンク情報から、カメラサーバ情報およびPTZシーケンス部分、ならびに、ユーザ識別子、署名情報を取得し、ビューワ200などの専用ビューワプログラムに引き渡す。専用ビューワプログラムは、受け取ったユーザ識別子、署名情報を使って、許可された権限で、カメラサーバ101へ接続し、カメラ制御を行う。具体的には、ビューワ200(専用ビューワプログラムをインストール済み)のカメラ制御入力部220は、取得したPTZシーケンス部分を、署名情報(有効期限、署名を生成したユーザのユーザ識別子、および、署名)と共に、カメラ制御サーバ110に指示する。
図19は、専用ビューワプログラムの動作の流れを示すフロー図である。図19に示すように、ステップS651において、起動時に指示されたカメラサーバ101を構成する映像サーバ111のアドレスおよび接続ポートの情報に従い、映像サーバ111へ接続する。ここで、接続以降の処理を行うための動作プログラム(実現方法としては、スレッドあるいはプロセスの起動となる)が起動され、このプログラムは終了までステップS661を繰り返す。ステップS661では、ビューワ200の映像表示部221は、映像サーバ111からの映像データが届くたびにそれを受け取り表示する。
さらにメインのプログラムは、ステップS652で、同じく起動時に指示されたカメラ制御サーバ110のアドレスおよび接続ポートの情報に従い、カメラ制御サーバ110へ接続する。そして、これ以降メインプログラムは、ユーザからの操作要求を受けつけ、実行するメインループへ続く。まず、ステップS653でユーザの操作をキーボタン操作などから受け取る。この操作がカメラ制御に関する操作である場合には、ビューワ200のカメラ制御入力部220は、ステップS654において、カメラ制御サーバ110へコマンドを発行する。また、映像サーバ111に関する操作である場合には、ステップS655で映像サーバ111へコマンドを発する。
また、ユーザの操作がビューワの状態を変更する操作(たとえば表示サイズの変更操作など)の場合にはステップS656で内部状態を更新する。そして、ユーザの操作が終了の場合には、ステップS657でビューワの動作に関連する各プログラムを順次終了する。ステップS654〜S657の処理が完了するとステップS653へ戻り、ユーザの操作入力を待つ。
ビューワ200で動作する専用ビューワプログラムは、ビューワ200の出荷時に備わるソフトウェアとして実装される場合もあるが、Java(登録商標)プログラムのようにネットワークからダウンロードして実装されるソフトウェアである場合もある。同様に、携帯電話端末601、602及び管理者ビューワ201で動作する専用ビューワプログラムは、携帯電話端末601、602及び管理者ビューワ201の出荷時に備わるソフトウェアとして実装される場合もあるが、Java(登録商標)プログラムのようにネットワークからダウンロードして実装されるソフトウェアである場合もある。
次に、図5に示した映像通信システムにおけるカメラサーバ101内のカメラ制御サーバ110の動作について説明する。
図7は、図5に示したカメラサーバ101内のカメラ制御サーバ110の動作を示すフロー図である。尚、図7には、カメラサーバ101内のカメラ制御サーバ110が起動して、クライアントからの接続を受け付け、クライアントからのコマンドに応じたカメラ制御を行い、カメラ制御の状態をクライアントである携帯電話端末601や管理者ビューワ201などへ通知し、クライアントからの接続が終了するまでの動作を示している。
図7に示すように、ステップS700において、カメラ制御サーバ110は、起動時に特定のファイル(カメラ制御サーバ110のOS(オペレーティング システム)によってはレジストリなどのシステムデータベース)からカメラ制御サーバ110の動作設定情報を読み出して、それに基づき動作を開始する。次に、ステップS701において、カメラ制御サーバ110は、クライアントであるビューワプログラム(例えば携帯電話端末601に内蔵されるプログラム)や映像変換サーバ400からのリクエスト(接続リクエストや操作コマンドリクエストなど)を受け付けるポートを開き、リクエスト受付状態に入る。
次に、ステップS702において、カメラ制御サーバ110は、例えば映像変換サーバ400から接続リクエストを受け付ける。次に、ステップS703において、カメラ制御サーバ110は、受け付けた接続リクエストに応じて映像変換サーバ400に対する接続の可否の判定を行う。ここで接続許可が否である場合(ステップS703のNo)には、接続拒否のエラーコードを返して、ステップS701に戻る。また、接続許可が可である場合(ステップS703のYes)には、ステップS704へ進み、カメラ制御サーバ110は接続処理を行う。この接続処理の具体例を示すと、カメラ制御サーバ110は、クライアントからのコマンドの受付処理を行うスレッドを生成し、クライアントの登録を行い、ステップS701に戻る。また、ステップS707において、カメラ制御サーバ110は、各スレッドに対応するクライアントからのコマンドを受け付ける。
上述したカメラ制御サーバ110が接続処理において生成したスレッドは、ステップS707で対応するクライアント(登録したクライアント)から受け付けたコマンド(本実施形態においては操作コマンド)を、操作コマンドリクエストとして受け付ける処理を行う。すなわち、ステップS701において、カメラ制御サーバ110は、操作コマンドリクエストを受け付けると、それに含まれる操作コマンドをカメラ操作用(カメラ制御用)の主プログラムへ受け渡す。
これにより、ステップS701において、カメラ操作用の主プログラムは操作コマンドを受けて、ステップS705へ進み、カメラ制御サーバ110は、操作コマンドを発行したスレッドが接続しているクライアントの権限に応じてカメラ操作を行う。この時、カメラ制御サーバ110は、カメラ操作の結果(操作が成功か失敗かを示すコードなど)についてカメラの操作コマンドを受け付けたクライアント対応のスレッドへ伝える。これにより、カメラ操作の結果を伝えられたクライアント対応のスレッドは、ステップS708において、そのカメラ操作の結果をクライアントへ通達する。
次に、ステップS706において、カメラ制御サーバ110のカメラ操作用の主プログラム部分では、カメラの操作により変化した状態(たとえば、パン・チルト・ズームの値、および、禁止エリア検出の有無などを含むカメラ状態情報など)をすべてのクライアント対応のスレッドに伝える。これにより、各クライアント対応のスレッドは、ステップS709において、カメラ制御状態の変化をクライアントへ通達する。次に、クライアント対応のスレッドはクライアントから接続終了のコマンドを受け付けると、それを主プログラムへ通達し、さらにステップS710で自身のスレッドを終了する。
尚、カメラを操作するための操作コマンドの扱いにおいては、具体的な操作コマンドの発行の前に、利用者別のカメラ操作権の割り当て要求を必要とすることも可能である。これにより、複数の利用者がカメラの操作を要求するような状況での混乱を無くすことができる。具体的には、まず、クライアントからはカメラ操作権取得の要求コマンドが発行され、これに対して、カメラ制御サーバ110は現在のカメラ制御権の割り当て状態から、拒絶・割り当て・順番待ちのいずれかを選択してクライアントへ返答する。尚、カメラ制御権は前もって定められた特定の時間か、クライアントが接続を終了するまでの短いほうの時間で剥奪され、次の順番待ちの人に割り当てられる。順番待ち人数はやはり前もって定められた人数(たとえば5人)に制限され、それ以上の接続リクエストは拒絶される。
また、上述したクライアントはカメラ制御権が取得されてから剥奪されるまでの間だけ、上記操作コマンドをカメラ制御サーバ110へ発行する。また、カメラ制御サーバ110はカメラ制御権が付与されているクライアントからの操作コマンドのみを受け付ける。また、特権ユーザからの接続に関しては、優先的にカメラ操作権を割り当てることができる。また、特権ユーザからの操作コマンドは、禁止エリアを含む撮像領域へのカメラ制御であっても許可される。但し、通常ユーザには、接続の優先や禁止エリアを含むカメラ制御の許可を与えないとする。
また、図19のステップS654で指示されたPTZシーケンスも、ステップS705で解釈実行されるので、署名付きの映像クリップから取得した署名情報が、カメラサーバ101内に保持する管理者認証情報に照らして正当であった場合には、許可されたユーザ識別子のユーザ権限で、PTZシーケンスのカメラ制御が実行される。なお、管理者認証情報の正当性とは、カメラサーバ101に登録済みの公開鍵(管理者の秘密鍵と非対称鍵方式のペアをなす公開鍵部分)による正当性確認処理を意味する。
次に、図5に示した映像通信システムにおけるカメラサーバ101内の映像サーバ111の動作について説明する。
図8は、図5に示したカメラサーバ101内の映像サーバ111の動作を示すフロー図である。尚、図8には、カメラサーバ101内の映像サーバ111が起動して、クライアントからの接続を受け付け、クライアントからのコマンドに応じたクライアントである携帯電話端末601などへの映像配信を行い、クライアントからの接続が終了するまでの動作を示している。
図8に示すように、ステップS800において、映像サーバ111は、起動時に特定のファイル(映像サーバ111のOSによってはレジストリなどのシステムデータベース)から映像サーバ111の動作設定情報を読み出して、それに基づき動作を開始する。次に、ステップS801において、映像サーバ111は、カメラ制御サーバ110より映像データを取得し符号化し蓄積するためのスレッドを生成し(最初このスレッドは休止状態)、クライアントであるビューワプログラム(例えば、携帯電話端末601及び管理者ビューワ201が内蔵するプログラム)や映像変換サーバ400からのリクエスト(接続リクエストや操作コマンドリクエストや映像処理コマンドリクエストなど)を受け付けるポートを開くことで、リクエスト受付状態に入る。
次に、映像サーバ111は、接続リクエストならばステップS802に進み、これを受け付ける。次に、ステップS803において、映像サーバ111は、接続リクエストに応じて接続を許すか否かの判定を行う。ここで、接続許可が否である場合(ステップS803のNo)には、映像サーバ111は、クライアントへ接続拒否のエラーコードを返し、ステップS801に戻る。また、接続許可が 可である場合(ステップS803のYes)には、映像サーバ111は、ステップS804に進み、接続処理を行い、ステップS801に戻る。その接続処理とは具体的には、映像サーバ111が、クライアントごとのセッションを識別するためのセッション識別子を生成し、クライアントからのコマンドの受付処理を行うスレッドを生成し、接続リクエストを発行したクライアントのアクセス権情報などに則してクライアントの登録(映像の配送先としての登録でもある)を行う処理である。
尚、接続リクエスト内容がライブ映像を提供するポートへの接続要求であり、かつ、上述した映像データを取得し符号化し蓄積するためのスレッドが休止状態ならば、映像サーバ111は、ステップS801の処理に戻る前に、該スレッドの動作開始を指示する。また、ステップS808において映像サーバ111は、各スレッドに対応するクライアントからのコマンドを受け付ける。
上述したステップS804の接続処理により生成されたクライアント対応のスレッドは、ステップS808で対応するクライアント(登録したクライアント)から受け付けたコマンド(本実施形態においては映像処理コマンド)を、映像処理コマンドリクエストとして受け付ける処理を行う。すなわち、ステップS801において、映像サーバ111は、映像処理コマンドリクエストを受け付けると、それに含まれる映像処理コマンドを映像処理用の主プログラムへ受け渡す。
また、ステップS801において操作コマンドリクエストを受け付けた場合には、映像処理用の主プログラムは、操作コマンドに対してはステップS805へ進み、映像データの取得や符号化・送信などに関する設定の変更操作を行う。また、映像サーバ111は、変更操作の結果(操作の成功か失敗を示すコード)についてコマンド要求を受け付けたクライアント対応のスレッドへ伝える。これにより、変更操作の結果を伝えられたクライアント対応のスレッドは、ステップS809において、その変更操作の結果をクライアントへ通達する。
また、上述したように映像データの取得と符号化を行うスレッドへの動作開始の指示を出した後に映像処理コマンドが受け渡された映像処理の主プログラム部分は、ステップS806に進み、前もって設定された時間間隔で映像データを映像キャプチャボード15を使って取得し、取得した映像データを符号化などにより圧縮処理して圧縮データを生成する。次に、映像サーバ111は、生成した圧縮データを、ライブ映像用のポートに接続しているすべてのクライアント対応している各スレッドに伝える。これにより、各クライアント対応のスレッドは、ステップS810において、クライアントからの次映像フレーム送信要求の有無を判定し、要求があるならば、圧縮データをクライアントへ配送する。
尚、上述したように圧縮データをクライアントへ配送する際に、禁止エリアが検出されている場合には、登録されているクライアント情報に照らして、映像サーバ111は、例えば特権ユーザの接続以外には、禁止エリアに該当しているため圧縮データを配信できない旨(禁止エリア検出通知)を該当するクライアントへ通知する。そして、ライブ映像用のポートに接続しているクライアント対応のスレッドが、クライアントからの次映像フレーム送信要求(これはクライアントでの圧縮映像データの受け取り完了に対して、送り返されるのが一般的である)を受け取った場合には、映像サーバ111は、映像フレーム送信要求のフラグを設定する。すなわち、ステップS810において次映像フレームの送信要求の有無の判定はこのフラグを参照することで行う。また、クライアントから接続終了のコマンドを受けたならば、それを主プログラムへ通達し、さらにステップS811で自身のスレッドを終了する。
次に、図1に示した映像通信システムの携帯電話端末601及び管理者ビューワ201におけるPTZシーケンスの作成例について説明する。
図9は、図1に示した映像通信システムの携帯電話端末601及び管理者ビューワ201におけるPTZシーケンスを作成する画面例およびキーの割当例を示す図である。図9に示すように、PTZシーケンスを作成する際には、携帯電話端末601の画面63aに映像表示エリア63cとPTZシーケンス表示エリア63fとが表示される。この時、各キー(ボタン類62)に図示のように、パン(カメラの横振り)、チルト(カメラの縦振り)、ズーム(拡大倍率変更)、逆光補正などの機能が割り当てられる。尚、本実施形態の携帯電話端末601は、ボタン類62として、上下左右の矢印キーと、数字・記号キーを具備する。
図9においては、↑キーにはチルトアップ、←キーにはパン左、→キーにはパン右、↓キーにはチルトダウン、1キーにはズームイン、2キーにはズームアウト、3キーにはホームポジション指定、4キーには逆光補正トグル、5キーにはプリセット指定、6キーには時間経過指定、7キーにはカメラサーバ内カメラ切換え指定、*キーにはPTZシーケンス末に追加、#キーにはPTZシーケンス末を削除、0キーにはビューワ終了が割り当てられている。
なお、図9に示した画面例は、図6の処理において説明したPTZシーケンスの入力操作を行うためのユーザインタフェース例を示すものであり、これにより作成されたPTZシーケンスは、図6に示したステップS602で利用される。また、上述した画面63aの表示制御は映像表示部211が行う。
次に、図6に示したステップS602においてPTZシーケンスを作成する処理について説明する。
図16は、携帯電話端末601及び管理者ビューワ201においてPTZシーケンスを作成する処理を示す図である。図16に示すように、まず、ステップS901において、携帯電話端末601又は管理者ビューワ201のカメラ制御入力部210は、図6のステップS602において取得したカメラサーバ101の識別子を使って、カメラサーバ101のカメラ制御によって可視範囲に入る画像を合成したパノラマ画像データと、事前にカメラサーバ101に設定されているカメラ制御情報(プリセット情報)と、現在のカメラ状態パラメータ(パン角、チルト角、ズーム値など)とを、カメラサーバ101から取得する。
次に、ステップS902において、カメラ制御入力部210は、PTZシーケンスの初期値として空データを設定し、また、表示用カメラ状態パラメータおよび設定用カメラ状態パラメータとして取得した現在のカメラ状態パラメータを設定する。
次に、ステップS903において、カメラ制御入力部210は、ステップS902で設定した表示用カメラ状態パラメータに応じて、可視領域を計算し、可視領域に相当する画像をパノラマ画像データから切り出して携帯電話端末601又は管理者ビューワ201の画面63aに表示する。
次に、ステップS904において、カメラ制御入力部210は、利用者からのキー入力を受け取る。尚、このキー入力は、図9に示したような機能が割り当てられている。ここでステップS904における利用者のキー入力が、カーソルキー(矢印キー)による可視領域の変更、あるいは、プリセット位置への移動の指示であった場合(ステップS905のYes)には、ステップS906に進み、表示用カメラ状態パラメータを変更して、ステップS903に戻る。また、ステップS904における利用者のキー入力が、カーソルキー(矢印キー)による可視領域の変更や、プリセット位置への移動の指示ではない場合(ステップS905のNo)には、ステップS907へ進む。
次に、ステップS904における利用者のキー入力が、PTZシーケンスを追加/修正などの編集指示であった場合(ステップS907のYes)には、ステップS908に進み、カメラ制御入力部210は、PTZシーケンスの値を変更し、ステップS903に戻る。具体的には、PTZシーケンス追加の場合には、カメラ制御入力部210は、その時点の表示用カメラ状態パラメータと設定用カメラ状態パラメータとの差分から制御すべきカメラ制御値を計算し、計算したカメラ制御値をPTZシーケンスに追加する。そして、カメラ制御入力部210は、表示用カメラ状態パラメータを設定用カメラ状態パラメータの新しい値とする。また、ステップS904における利用者のキー入力が、PTZシーケンスを追加/修正などの編集指示でない場合(ステップS907のNo)には、ステップS909へ進む。
次に、ステップS904における利用者のキー入力が、PTZシーケンス作成の終了を指示する場合(ステップS909のYes)には、カメラ制御入力部210は、ステップS910に進み、上述した可視領域の変更や編集指示に応じたPTZシーケンスの追加/修正に対して決定かキャンセルかを判定し、決定である場合には、追加/修正後のPTZシーケンスをステップS602の処理を行うプログラムへ渡して、PTZシーケンスの作成処理を終了する。
次に、カメラサーバ101が図7のステップS700で用いる設定値の設定方法について一例を示し説明する。
図10は、カメラサーバ101が図7のステップS700で用いる設定値を設定する際の画面例を示す図である。尚、図10に示す設定画面は、カメラサーバ101が具備するカメラサーバ設定プログラムの処理によりカメラサーバ101の具備する表示装置の画面19に表示され、カメラ制御サーバ110や映像サーバ111が読み出す動作設定情報を特定のファイル(OSによってはレジストリなどのシステムデータベース)に設定するための画面である。
図10に示すように、カメラサーバ101の画面19に表示された設定画面において、カメラ制御サーバ設定画面1A、映像サーバ設定画面1B、動画品質設定画面1C、接続制限設定画面1Dのいずれかを選択して各種のパラメータを設定できる。尚、図10で示しているのは、カメラ制御サーバ設定画面1Aを選択してパラメータを設定中の画面である。図10に示すようにカメラ制御サーバ設定画面1Aで設定できる事項は、TCPポート設定欄1Aaにてカメラ制御の通信用のTCPポート番号の設定ができ、COMポート設定欄1Abにてカメラと接続するCOM(シリアル)ポートの設定ができ、シャッター速度設定欄1Acにてシャッター速度の設定ができ、ログ設定欄1Adにてカメラ制御関連のログ情報を取るか否かおよびログファイル名の指定ができる。また、OKボタン1Aeを押下すると設定した値が特定のファイルあるいはレジストリに書き込まれる。また、キャンセルボタン1Afを押下すると設定した値は書き込まれずに終了する。
尚、上述した映像サーバ設定画面1Bにおいては、例えば映像をキャプチャする時間間隔を規定するフレームレートなどを設定する。また、上述した動画品質設定画面1Cにおいては、例えば圧縮の品質を決めるQ−Factorや、圧縮の元データの画面サイズなどを設定する。また、上述した接続制限設定画面1Dにおいては、例えば1つのクライアントビューワの最大接続時間や、カメラ制御に関する制御権の順番待ち人数や、1つのビューワの制御権保持占有時間や、映像とカメラ制御に関する接続可能な最大クライアント数などを設定する。
次に、図10に示した設定画面を用いてカメラサーバ設定プログラムの動作について説明する。図11は、図10に示した設定画面を表示するカメラサーバ101のカメラサーバ設定プログラムの動作を示すフロー図である。尚、図11に示す動作は、カメラサーバ101が起動してから設定処理を終了するまでの動作である。
図11に示すように、ステップS1100において、カメラサーバ設定プログラムは、起動時にカメラ制御サーバ110および映像サーバ111に関する設定情報を格納した特定のファイル(OSによってはレジストリなどのシステムデータベース)から設定情報を読み出し、図10に示すような画面を表示する。次に、利用者からの操作入力がある場合(ステップS1101のYes)には、それを受け取り次のステップ(ステップS1102またはステップS1105)へ進む。また、利用者からの操作入力がない場合(ステップS1101のNo)には、利用者からの操作入力を待ち受けるループに入る。
次に、ステップS1102において、カメラサーバ設定プログラムは、入力された値が適正範囲内であるか否かを判定する。データが適正でない場合(ステップS1102のNo)には、カメラサーバ設定プログラムは、ステップS1103に進み、エラーメッセージを出力して、利用者が変更しようとした値を元に戻して、ステップS1101へ戻る。また、データが適正範囲内である場合(ステップS1102のYes)には、カメラサーバ設定プログラムは、ステップS1104に進み、内部データを更新して、ステップS1101に戻る。以上のステップS1101〜S1104に示す、利用者の操作入力を受け取り、内部データを更新する処理のループを、利用者からの操作入力に応じて繰り返す。
次に、利用者の操作入力として、例えば、図10のOKボタン1Aeを押下した場合(ステップS1101のYes)には、ステップS1105に進み、更新された内部データをカメラ制御サーバ110および映像サーバ111に関する設定情報を格納する特定のファイルなどへ書き出す。次に、ステップS1106に進み、変更を反映するためにカメラサーバ101を再起動するか否かを利用者に尋ねるパネルを表示する。
ここで、利用者の選択により再起動する場合(ステップS1107のYes)には、ステップS1108に進み、カメラ制御サーバ110や映像サーバ111などを再起動する。次に、再起動が終るとステップS1109に進み、カメラサーバ設定プログラムを終了する。また、利用者の選択により再起動しない場合(ステップs1107のNo)には、ステップS1109に進み、カメラサーバ設定プログラムを終了する。また、ステップS1101で利用者の操作入力として、例えば、図10のキャンセルボタン1Afを押下した場合(ステップS1101のYes)には、ステップS1109に進み、カメラサーバ設定プログラムを終了する。
次に、図5に示した映像通信システムにおける映像変換サーバ400の動作について説明する。
図12は、図5に示した映像通信システムの映像変換サーバ400における映像データの大まかな流れを模式化した図である。図12において、420は、カメラサーバ用通信スタック(通信階層)であり、TCP/IPおよびWebView映像の階層より構成されている。421は、JPEGデコーダであり、Motion JPEG形式の映像データをデコードする。422は、MPEG−4エンコーダであり、JPEGデコーダ421がデコードした映像データをMPEG−4形式の映像データへエンコードする。423は、携帯電話用通信スタックであり、HTTPおよびTCP/IPの階層より構成されている。
以上の構成により、図12の矢印線に示すように、カメラサーバ101より受信したソース映像データ(本実施形態ではMotion JPEG、QVGAサイズ320×240とする)は、映像変換サーバ400のカメラサーバ用通信スタック420を経由して受信され、JPEGデコーダ421に渡されデコードされ、携帯電話端末601向けに設定されたMPEG−4エンコーダ422に渡され、携帯電話端末601向けの映像データ(MPEG−4 simpleprofile、QCIFサイズ176×144、64Kbps)に加工された上で、映像クリップとして、携帯電話網向けの携帯電話用通信スタック423を経由して、携帯電話端末601(又は管理者ビューワ201)へと送信される。
次に、映像変換サーバ400のより詳細な動作について説明する。
図13は、図5に示した映像通信システムにおける映像変換サーバ400の動作を示したフロー図である。尚、図13に示す処理は、映像変換サーバ400における起動から携帯電話端末601と接続する接続処理が終了するまでの処理である。
図13に示すように、ステップS1300において、映像変換サーバ400は、起動時に特定のファイル(OSによってはレジストリなどのシステムデータベース)から映像変換サーバ400の動作設定情報を読み出して、それに基づき動作を開始する。次に、ステップS1301において、映像変換サーバ400は、クライアントである携帯電話ビューワプログラム(携帯電話端末601又は管理者ビューワ201に内蔵されるプログラム)からのリクエスト(HTTPリクエストのメッセージなど)を受け付けるポートを開き、リクエスト受付状態に入る。
次に、ステップS1302において、映像変換サーバ400は、例えば携帯電話端末601からHTTPリクエストを受け付ける。次に、ステップS1303において、映像変換サーバ400は、受け付けたHTTPリクエストに応じて携帯電話端末601に対する接続の可否の判定を行う。ここで接続許可が否である場合(ステップS1303のNo)には、接続拒否のエラーコードを返して、ステップS1301に戻る。また、接続許可が可である場合(ステップS1303のYes)には、ステップS1304へ進み、映像変換サーバ400は、接続処理を行う。この接続処理の具体例を示すと、映像変換サーバ400は、クライアントとの情報の受渡しを行うクライアント対応スレッドを生成し、クライアントの登録を行い、ステップS1301に戻る。
次に、上述した映像変換サーバ400が接続処理において生成したクライアント対応スレッドの処理について説明する。上述したクライアント対応スレッドでは、ステップS1311において、対応するクライアントからのHTTPリクエストを読み込み、内容を解析する。尚、携帯電話端末601からのリクエストは、本実施形態においてはHTTPリクエストとして、映像変換サーバ400に渡されるがこの限りではなく、種々のリクエストを用いてよい。また、HTTPリクエストには、上述したPOSTメソッドが使われる場合もあり、GETメソッドが利用される場合もある。
次に、ステップS1312において、映像変換サーバ400は、リクエスト内容から、エンコードパラメータ情報(映像変換パラメータ)、カメラサーバ101への接続情報(ソース映像情報)、PTZシーケンス、映像クリップの最大サイズ(映像クリップ上限値)、通知先情報(通知先アドレス)、および、ユーザ識別子やパスワードなどユーザ識別情報などの属性情報を取り出す。これらは、上述したHTTPのリクエスト例(POSTメソッドの場合)に示すように『videoencodeparam=』、『cameraservers=』、『PTZ=』、『moviesizemax=』、『notifyto=』、『userid=』、『userpw=』の値として指示されている。
『videoencodeparam=』で指示される映像変換パラメータは、映像変換サーバ400が変換を行う際の変換用コーデックの選択やそのコーデックへのパラメータ、および、コーデック入力用/出力用のデータ形式などを記述している。『cameraservers=』で指示されるソース映像情報とは、例えば、ライブ映像を提供するカメラサーバ101のネットワークアドレスとポート番号などの通信属性情報である。『notifyto=』で指示される通知先アドレスとは、典型的には、利用者の携帯電話端末601を指定した電子メールアドレスである。
次に、ステップS1313において、映像変換サーバ400は、HTTPリクエストに対するHTTPレスポンスを携帯電話端末601へ返信する。具体的には、映像変換サーバ400は、映像クリップ生成に所定の時間を要する場合には、『すぐに映像を生成できないので、しばらくしてメール連絡します』との旨を示す情報を携帯電話端末601へ返信する。次に、ステップS1314において、映像変換サーバ400は、HTTPリクエストより取り出した属性情報であるソース映像情報およびユーザ識別情報に応じて、映像取得部411を初期化する。具体的には、ソース映像を提供するカメラサーバ101に接続し、映像取得部411にソース映像取得を開始させる。
次に、ステップS1315に進み、映像変換サーバ400は、HTTPリクエストより取り出した属性情報である映像変換パラメータに応じて映像変換部412を初期化する。この映像変換部412は、図12に示したMPEG−4エンコーダ422などから構成される。
次に、ステップS1316に進み、映像変換サーバ400は、映像送信部413を初期化する。この際、映像変換サーバ400は、HTTPリクエストより取り出した属性情報を基に、映像送信部413に映像クリップ上限値、および、通知先アドレスを指示する。
次に、ステップS1317に進み、映像変換サーバ400は、映像取得部411から映像変換部412へ、映像変換部412から映像送信部413へとそれぞれの処理データが受渡しされるように相互の関連付けを行う。同時に、映像変換サーバ400のカメラ制御部410が、HTTPリクエストより取得した属性情報であるPTZシーケンスに従って制御指示をカメラサーバ101のカメラ制御サーバ110へ伝える。これにより、カメラサーバ101において上記PTZシーケンスに応じたカメラ制御が行われる。
次に、ステップS1318に進み、映像変換サーバ400は、映像取得部411、映像変換部412、映像送信部413の後処理を行う。次に、ステップS1319に進み、映像変換サーバ400は、クライアント対応スレッドを終了する。以上により、映像変換サーバ400は、カメラサーバ101より映像データを取得し、携帯電話端末601用の映像クリップを生成する処理を行うことができる。
次に、映像変換サーバ400の中で機能している映像取得部411、映像変換部412、映像送信部413、カメラ制御部410の詳細な動作について順次説明する。
まず、映像取得部411の初期化の動作について説明する。映像取得部411は、まず、初期化時に受け取ったソース映像情報およびユーザ識別情報に従って、ライブ映像を提供するカメラサーバ101に接続する。次に、映像取得部411は、カメラサーバ101から映像データを取得し、取得時のタイムスタンプを付与して映像データを映像変換部412へ渡す。尚、本実施形態におけるカメラサーバ101は、映像データをモーションJPEG形式で提供するので、タイムスタンプが付与されるのは、個々のJPEGデータに対してである。また、カメラサーバ101から禁止エリア検出を通知された場合には、映像取得部411は、映像データに代えて禁止エリア検出通知を映像変換部412へ渡す。
次に、映像変換部412の初期化の動作について説明する。映像変換部412は、まず、初期化時に受け取ったコーデックへのパラメータ、および、コーデック入力用/出力用のデータ形式などをMPEG−4エンコーダ422に設定する。そして、映像取得部411から受け取ったソース映像データを、コーデック入力用のデータ形式および画像サイズに整えてからMPEG−4エンコーダ422に入力し、その処理結果を、映像送信部413へ渡す。尚、本実施形態における映像変換部412は、JPEG形式のソース映像データを、予め、JPEGデコーダ421によりQCIFサイズかつYUV411形式に整えてからMPEG−4エンコーダ422へ入力し、生成されたMPEG−4データ(I−vopまたはP−vop)を映像送信部413へ受け渡す。この際、映像取得部411で付与されたタイムスタンプも併せてMPEG−4エンコーダ422へ入力される。
尚、映像取得部411から禁止エリア検出が通知されている場合には、映像変換部412は、カメラ制御を制限された領域であって映像を表示できない旨を示す合成画面の映像データ(代替映像データ)を、ソース映像データに代えて、MPEG−4エンコーダ422へ入力することで、合成画面のMPEG−4データを生成し映像送信部413へ渡す。次に、映像送信部413は生成された合成画面のMPEG−4データ(携帯用代替映像データ)を、携帯電話端末601へ送信する。
次に、映像送信部413の動作について説明する。映像送信部413は、まず、初期化時に受け取った映像クリップ上限値に応じたメモリ領域を確保する。そして、映像変換部412が生成した携帯電話向け映像データを受け取り、確保したメモリ領域に保持する。また、映像送信部413は、禁止エリア検出通知を受け取った時点で、メモリ領域の利用率をも加味した上で、映像クリップの分割点を決定する。そして、分割点と判断した場合には、携帯電話端末601向け映像クリップのデータフォーマットに準拠したヘッダー情報を前置して、メモリ領域に保持している映像データをファイルとして保存し、メモリ領域を再利用する。これによって、映像クリップが複数のファイルに分割保存される。
また、映像送信部413では、映像取得部411で得られるカメラ制御状態情報を受け取り、時間軸に沿って保持する。そして、予め設定されている時間周期でカメラ制御状態情報から、カメラ制御状態情報に相当するカメラ制御コマンドを生成して、そのカメラ制御コマンドをパラメータとする専用ビューワプログラムの起動指示をリンク情報として映像クリップに組み込む。典型的には、隣接するカメラ制御状態情報の差分からカメラ制御コマンドを構成するが、カメラ制御コマンド初期値を指定する場合やプリセット位置やホームポジションなどと一致する場合には、絶対値指定を指示する。
次に、映像送信部413は、カメラ制御部410からPTZシーケンスの終了を通知された時点で、メモリ領域に保持している映像データの残りを同様にファイルとして保存した上で、それまでに保存している複数の映像クリップへのリンク情報を埋め込んだ携帯電話端末601への通知情報を作成し、初期化時に受け取った通知先アドレスへ通知する。これによって、通知情報を受け取った携帯電話端末601において、利用者がリンク情報を選択することで、各映像クリップへのダウンロード要求を可能とする。尚、通知画面例は図15(b)に示した通りである。また、映像送信部413は、HTTPサーバ機能を備えており、携帯電話端末601からのHTTP利用の映像クリップのダウンロード要求に対応することができる。
次に、カメラ制御部410の動作について説明する。カメラ制御部410は、PTZシーケンスを解釈して、カメラサーバ101に送るべきカメラ制御コマンドを作成し、PTZシーケンスに指示されたタイミングで作成したカメラ制御コマンドをカメラサーバ101に送信する。これにより、カメラサーバ101のカメラ制御サーバ110は、受信したカメラ制御コマンドに応じたカメラ制御を行う。そして、カメラ制御部410は、PTZシーケンスを解釈し終えた時点で、PTZシーケンスの終了を映像送信部413に通知する。
以上に示した映像変換サーバ400の構成により、携帯電話端末601及び管理者ビューワ201上に実装された映像クリップビューワを使う利用者は、映像変換サーバ400に映像クリップを要求することができる。そして、映像変換サーバ400の機能により、映像クリップが作成された時点のカメラ制御状態情報を、映像クリップ再生ユーザが利用可能となる。
特に、本実施形態では、管理者による署名情報を映像クリップに組み入れる事で、映像クリップを受け取った一般ユーザの端末のビューワプログラムが、管理者が署名時に許可した権限でカメラサーバ101へのアクセスおよびカメラ制御を実行可能となる点に特徴がある。しかも、権限を付与されるカメラ制御が、そのカメラ制御による映像を反映した映像クリップ内に組み入れられている事により、映像クリップを、『映像プレビュー付きの電子チケット』として扱う事ができる。
本実施形態では、管理者の署名正当性確認用の管理者公開鍵(管理者の秘密鍵と非対称鍵方式のペアをなす公開鍵部分)を、予めカメラサーバ101内に登録保持している例について説明しているが、ネットワークを介して、カメラサーバ101上の認証情報を管理する手段を用意しても良い。また、管理者認証情報の保持、あるいは、認証確認処理を、ネットワーク接続された別装置で行うことも容易に想像できる。例えば、商用の課金サーバなどである。
また、本実施形態では、チケット情報として、映像クリップに組み入れる情報として、カメラサーバ接続情報、カメラ制御情報、有効期限、などを説明しているが、特権レベルやカメラ制御執行者限定、カメラ制御執行回数限定などの情報が組み入れられても良い。例えば、指定IPアドレスをもつ専用ビューワプログラムからの接続要求のみを許可するような制限を追加した署名情報を生成することも考えられる。
本実施形態では、映像クリップのリンク情報部分を対象に署名する例について説明しているが、署名対象は、リンク情報に限定されない。例えば、リンク情報に含まれる接続先カメラサーバ情報のみを対象に署名することで、カメラサーバ接続のみに管理者権限を付与し、カメラ制御は、実際の映像クリップ利用者の権限で実行しても良い。
本実施形態では、取得された映像クリップのリンク情報に含まれるカメラサーバ接続情報およびカメラ制御情報を、そのまま署名対象として利用しているが、署名対象は、これに限定されない。署名前に、管理者が、映像クリップをプレビュー(内容確認)し、必要に応じて編集改変の上、より限定的なカメラ制御のみを許しても良い。つまり、映像クリップ中の映像とカメラ制御情報とが必ずしも一致せず、管理者によって、一部制限されたPTZシーケンス、あるいは、故意に差し替えられたPTZシーケンスを対象として署名する事も考えられる。
尚、上述した本実施形態においては、図1に示すように携帯電話網とネットワークとを結ぶゲートウェイ500とは独立に、ネットワーク上に映像変換サーバ400が実装される例について説明しているが、この限りではなく、映像変換サーバ400の機能が、ゲートウェイ500の一部の機能として実装されても良い。また、図1の映像変換サーバ400とゲートウェイ500とが、VPN(Virtual Private Network)などの専用線で接続されるような接続形態であってもよい。
また、上述した本実施形態においては、HTTP通信を用いて、携帯電話端末601、602と映像変換サーバ400とが通信する例について説明しているが、この限りではなく、この通信は、SMTP(Simple Mail Transfer Protocol)を用いた通信など、セッション指向の通信方法を用いて好適である。また、携帯電話端末601、602と映像変換サーバ400とのHTTP通信やSMTP通信は、例えばSSL(Secure Socket Layer)などの併用により、安全な通信を行うことができる。
また、本実施形態では、カメラサーバ101から取得したライブ映像データを、映像変換サーバ400により、携帯電話向け映像クリップに変換して送信する例について説明したが、映像クリップの形式は、携帯電話向け映像クリップに限定されない。例えば、MediaPlayerでは、ISO標準のMPEG−4コーデックにも対応しているので、本実施形態の映像送信部が映像クリップを生成する時点で、ASF形式に準拠したデータフォーマットに整形することで、MediaPlayerでの再生が可能となる。同様にして、QuickTimeのファイルフォーマットに準拠することで、QuickTimePlayerにも対応可能である。
[第2の実施形態]
本発明の第2の実施形態として、カメラサーバ101側にチケット識別子の管理表を保持する形態について説明する。図18は、第2の実施形態における署名識別子管理表の一例を示す図である。第2の実施形態の映像通信システムにおいてシステム構成や各装置のハードウェア構成や機能構成は、図1〜図5に示した第1の実施形態とほぼ同様であるので、異なる構成を主に説明する。主に異なる点として、第2の実施形態の映像通信システムは、カメラサーバが署名付き映像クリップを個別に識別する点に特徴がある。具体的には、図6で示した管理者ビューワ201の一部の動作、および、図7で示したカメラ制御サーバ110の一部の動作が、第1の実施形態とは異なる。
本実施形態では、管理者ビューワ201のステップS622が次のように動作する。つまり、ユニークな署名識別子情報『videoclipID=』を生成して、署名情報に追加する点で、第1の実施形態と異なる。署名識別子情報は、管理者が署名した個々の映像クリップを識別可能な情報である。例えば、管理者が映像クリップに署名する毎にインクリメントされるシリアル番号で実現される。
cameraservers=webview://vb101_4.x−zone.xxx.co.jp:34560+34561+34562
PTZ=HZ15_30S3_40S4_40P−10_20
videoclipID=18029
expires=2003oct01.17:30:00
userid=331245
signature=6827413e5b8d799523ffb5e1a97123c4
本実施形態では、カメラ制御サーバ110は、ステップS705において以下のように動作する。つまり、管理者ビューワ201によって署名情報に組み込まれた署名識別子情報を使って、署名付き映像クリップのリンク情報として組み込まれたカメラ制御などの執行履歴や執行状況を管理する点で、第1の実施形態と異なる。執行履歴や執行状況の管理は、執行されているカメラサーバ接続、カメラ制御、あるいは、過去に執行されたカメラサーバアクセス、カメラ制御を把握する。例えば、図17に示すようにチケットによるカメラ制御が執行される際、管理者ビューワ201が接続中ならば、チケット執行情報を管理者ビューワ201のメッセージ表示欄に表示する。図17は、管理者ビューワ201におけるビューワ画面例を示す図である。図17において、メッセージ欄に記載の゛木谷野太郎゛は、ユーザ識別子userid=331245のユーザ登録名とする。
以上の構成により、携帯電話端末601や管理者ビューワ201上に実装された映像クリップ用ビューワを使うユーザは、映像変換サーバ400に映像クリップを要求することができる。そして、映像変換サーバ400の機能により、映像クリップが作成された時点のカメラ制御状態情報を、映像クリップ再生ユーザが利用可能となる。
特に、本実施形態では、映像クリップに組み入れる管理者による署名情報を個別に識別する事で、署名付き映像クリップによるカメラ制御の執行状況を、カメラサーバ101によって把握することが可能となる。これは、映像クリップが複数のユーザ間でメールなどにより受渡し可能な状況下で効果がある。
本実施形態では、識別子によって、署名付き映像クリップによるカメラ制御の執行状況を把握する例について説明しているが、それ以外にも、署名付き映像クリップによるカメラ制御の執行履歴を、カメラサーバ101内に保存管理することによって、署名付き映像クリップの執行回数制限を行うことも容易に想像できる。反対に、署名付き映像クリップによるカメラ制御の執行が、複数回許される状況で、カメラ制御の執行統計から、映像クリップの人気度を計測し、それをプリセットやカメラ制御許可時間などに反映する事も容易に想像できる。
本実施形態では、カメラサーバ101自身が、署名識別子ならびに制御履歴を管理する例について説明しているが、署名識別子ならびに制御履歴管理は、別のデータベースサーバなどが管理しても良い。
[第3の実施形態]
本発明の第3の実施形態として、利用者端末(ビューワ200、管理者ビューワ201、携帯電話端末601など)から映像クリップに対して多重署名することによって権限をプロモーションする形態について説明する。第3の実施形態の映像通信システムにおいてシステム構成や各装置のハードウェア構成や機能構成は、図1〜図5に示した第1の実施形態とほぼ同様であるので、異なる構成を主に説明する。主に異なる点として、第3の実施形態の映像通信システムは、管理者以外にも複数のユーザが、映像クリップに署名を付与する事で、映像クリップの権限を上昇させる点に特徴がある。具体的には、図6で示した管理者ビューワ201の一部の動作、および、図7で示したカメラ制御サーバ110の一部の動作が、第1の実施形態とは異なる。また、管理者ビューワ201は、管理者に限らず、署名を付与する複数のユーザによって実行される。
本実施形態では、管理者ビューワ201のステップS622が次のように動作する。つまり、管理者に限らず署名実行者の秘密情報(カメラサーバ101に登録済みの公開鍵と非対称鍵方式のペアをなす秘密鍵部分)を用いて署名を生成し、映像クリップのリンク情報に署名情報を追加するように組み入れる点で、第1の実施形態と異なる。署名情報の追加は、個々の署名実行者のuseridとsignatureとが区別可能な状態で追加される。
例えば、ユーザ識別子(userid)331245、309547、308458、304229の署名(signature)が、それぞれ、゛6827413e5b8d799523ffb5e1a97123c4゛、゛8bec1a472866adc03dee30e74r689039゛、゛bec1a472866adc00f9e9c2df46573230゛、゛9f4402dbe7b25add9722af1be82cc6f0゛となる。実際のリンク情報としては、これらの項目をURLエンコードした形態となる点は、第1の実施形態と同様である。
cameraservers=webview://vb101_4.x−zone.xxx.co.jp:34560+34561+34562
PTZ=HZ15_30S3_40S4_40P−10_20
expires=2003oct01.17:30:00
userid=331245、309547、308458、304229
signature=6827413e5b8d799523ffb5e1a97123c4、8bec1a472866adc03dee30e74a689039、bec1a472866adc00f9e9c2df46573230、9f4402dbe7b25add9722af1be82cc6f0
本実施形態では、カメラ制御サーバ110は、ステップS705において以下のように動作する。つまり、複数の署名の正当性を確認して、それらの正当な署名から与えられたユーザ権限の加算(論理和)で、PTZシーケンスのカメラ制御を実行する点で、第1の実施形態と異なる。
以上の構成により、ビューワ200上に実装された専用ビューワプログラムが、映像クリップ内に組み込まれたカメラ状態情報を抽出して、カメラサーバ101のカメラ制御することができる。特に、本実施形態では、管理者以外にも複数のユーザが、映像クリップに署名を付与する事で、映像クリップの権限を上昇させる点に特徴があり、一つのカメラサーバ101に複数のユーザから同時にカメラ制御が要求された場合の制御権の競合調停に利用できる。
また、本実施形態では、正当な署名から与えられたユーザ権限の加算(論理和)で、PTZシーケンスのカメラ制御が実行される例について説明しているが、複数署名の利用方法は、これに限定されない。例えば、管理者クラスのユーザに5点、一般クラスのユーザに1点などのように、各署名者が署名時に点数を映像クリップの署名情報に付与して、その点数を加算(算術和)し、閾値との比較によって正当性を確認する事も容易に想像できる。
[第4の実施形態]
本発明の第4の実施形態として、映像変換サーバと一体型のカメラサーバを備える映像通信システムについて説明する。
第4の実施形態の映像通信システムにおいてシステム構成や各装置のハードウェア構成や機能構成は、図1〜図5に示した第1の実施形態とほぼ同様であるので、異なる構成を主に説明する。すなわち、第4の実施形態の映像通信システムは、インターネット上に配置された映像変換サーバと一体型のカメラサーバ101およびカメラサーバ102から取得したライブ映像を、携帯電話端末601や管理者ビューワ201向け映像クリップに変換して送信することができる。特に、第4の実施形態において第1の実施形態と異なる点は、第1の実施形態における映像変換サーバ400とカメラサーバ101とが一体化したカメラサーバ101aを具備する点である。
上述したように、本実施形態では、ネットワークの接続形態やハードウェア構成、および、各ソフトウェアの動作の多くは、第1の実施形態で説明した通りである。ただし、第4の実施形態における映像通信システムは、図1や図5に示した第1の実施形態における映像通信システムと構成の異なる部分がある。図20は、第4の実施形態における映像通信システムの接続構成の概略を示す図である。図20に示すように、図1および図5に示した第1の実施形態における映像通信システムと比べて、映像変換サーバと一体化したカメラサーバ101aがネットワークに接続されている点が異なる。また、カメラサーバ101aと一体化された映像変換サーバは、第1の実施形態の映像変換サーバ400と同様の機能を有する。以上より、以下の説明において映像変換サーバ400とは、カメラサーバ101と一体化されたものであるとする。
また、第4の実施形態の映像通信システムにおいては、第1の実施形態の映像通信システムと、図13で示した映像変換サーバ400の一部の動作(本実施形態においてはカメラサーバ101aの一部の動作)が異なる。本実施形態では、カメラサーバ101aに映像変換サーバ400が一体化しているため、以下のような動作を行う。
まず、映像変換サーバ400の映像取得部411は、図8に示した映像サーバ111におけるステップS806の処理と同様に、ハードウェア構成の映像キャプチャボード15を利用して映像データを取得する。尚、本実施形態では、映像変換サーバ400が、ハードウェア構成の映像キャプチャボード15を使って映像データを取得する例について説明したが、この限りではなく、カメラサーバ101aと一体化した映像変換サーバ400であっても、第1の実施形態と同様に、他のカメラサーバ102の映像サーバ111からも映像データを取得できるよう設計することもできる。これにより、カメラサーバ101aのエンコード処理の負荷分散、映像データの配送処理の負荷分散、および、ネットワーク通信インフラにおける輻輳防止などの効果がある。
以上説明したように、上述した第1〜第4の実施形態によれば、カメラサーバ101に装備されたカメラ制御機能を適切に反映して映像クリップを生成する事ができる。これにより、携帯電話端末601に広く実装されている映像クリップ再生表示機能とカメラ制御機能付きカメラサーバ101との連携を向上させることが可能となる。更に、権限を付与されるカメラ制御が、そのカメラ制御による映像を反映した映像クリップ内に組み入れられている事により、映像クリップを、『映像プレビュー付きの電子チケット』として扱う事ができるという効果も得られる。尚、上述した実施形態では、携帯電話端末を用いた映像通信システムを示したが、この限りではなく、PDAなどのネットワークに接続可能な携帯端末であってもよい。
また、図5に示した各機能は、専用のハードウェアにより実現されるものであってもよく、また、各処理部はメモリおよびCPUにより構成され、各処理部の機能を実現する為のプログラムをメモリに読み込んで実行することによりその機能を実現させるものであってもよい。
また、上記メモリは、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、CD−ROM等の読み出しのみが可能な記録媒体、RAM(Random Access Memory)のような揮発性のメモリ、あるいはこれらの組み合わせによるコンピュータ読み取り、書き込み可能な記録媒体より構成されるものとする。
また、図5に示した各機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
本発明の第1の実施形態における映像通信システムの概略構成を示す図である。 図1に示した映像変換サーバ400のハードウェア構成の一例を示す図である。 図1に示したカメラサーバ101、102のハードウェア構成の一例を示す図である。 図1に示した携帯電話端末601、602及び管理者ビューワ201のハードウェア構成の一例を示す図である。 図1に示した映像通信システムにおけるカメラサーバ101や、映像変換サーバ400や、管理者ビューワ201の機能構成の概略を示す図である。 図1に示した映像通信システムにおける携帯電話端末601及び管理者ビューワ201の動作を示すフロー図である。 図5に示したカメラサーバ101内のカメラ制御サーバ110の動作を示すフロー図である。 図5に示したカメラサーバ101内の映像サーバ111の動作を示すフロー図である。 図5に示した映像通信システムの携帯電話端末601におけるPTZシーケンスを作成する画面例およびキーの割当例を示す図である。 カメラサーバ101が図7のステップS700で用いる設定値を設定する際の画面例を示す図である。 図10に示した設定画面を表示するカメラサーバ101のカメラサーバ設定プログラムの動作を示すフロー図である。 図5に示した映像通信システムの映像変換サーバ400における映像データの大まかな流れを模式化した図である。 図5に示した映像通信システムにおける映像変換サーバ400の動作を示したフロー図である。 図6に示したステップS609に続く署名情報の付与処理例を示すフロー図である。 携帯電話端末601又は管理者ビューワ201の画面63aに表示される合成画面例を示す図である。 携帯電話端末601及び管理者ビューワ201においてPTZシーケンスを作成する処理を示すフロー図である。 管理者ビューワ201におけるビューワ画面例を示す図である。 第2の実施形態における署名識別子管理表の一例を示す図である。 専用ビューワプログラムの動作の流れを示すフロー図である。 第4の実施形態における映像通信システムの接続構成の概略を示す図である。
符号の説明
10 コンピュータ
11 カメラ装置
61 スイッチ類
62 ボタン類
63 ディスプレイ装置
101、102 カメラサーバ
101a カメラサーバ(映像変換サーバを含む)
110 カメラ制御サーバ
111 映像サーバ
112 署名正当性確認部
200 ビューワ
201 管理者ビューワ
210、220 カメラ制御入力部
211、221 映像表示部
212 署名付与部
300 中継サーバ
400 映像変換サーバ
410 カメラ制御部
411 映像取得部
412 映像変換部
413 映像送信部
500 ゲートウェイ
601、602 携帯電話端末

Claims (15)

  1. ネットワークに接続可能で映像再生可能な端末と、映像データを配信するカメラサーバとを少なくとも具備する映像通信システムであって、
    前記カメラサーバの配信する前記映像データを取得する映像取得手段と、
    前記端末の属性情報と前記映像取得手段の取得した前記映像データとを基に前記端末において再生可能な端末用映像データを生成する映像変換手段と、
    前記映像変換手段が生成した前記端末用映像データに対して前記カメラサーバのアクセス制御情報を設定する制御情報設定手段と、
    前記制御情報設定手段の設定により前記アクセス制御情報を含む前記端末用映像データを前記端末へ送信する映像送信手段と
    を具備することを特徴とする映像通信システム。
  2. 前記映像変換手段は、前記カメラサーバに対するカメラ制御指示を前記端末用映像データの一部あるいは全体に関連付けて変換し、
    前記制御情報設定手段は、前記端末用映像データに関連付けられた前記カメラ制御情報を用いて前記アクセス制御情報を設定することを特徴とする請求項1に記載の映像通信システム。
  3. 前記制御情報設定手段は、電子署名によって生成された署名情報を含むアクセス制御情報を前記端末用映像データに設定し、
    前記端末用映像データに含まれる署名情報により前記アクセス制御情報の正当性確認する制御情報確認手段を更に具備することを特徴とする請求項1又は2に記載の映像通信システム。
  4. 前記制御情報設定手段は、署名対象となる接続先カメラサーバ情報やカメラ制御情報を含む前記端末用映像データに組み込まれるリンク情報を、署名前に、制限あるいは差し替えによって改変することを特徴とする請求項1〜3のいずれか1項に記載の映像通信システム。
  5. 前記制御情報確認手段は、接続先カメラサーバ情報やカメラ制御情報などを含む前記端末用映像データに組み込まれるリンク情報を署名対象として電子署名することを特徴とする請求項3に記載の映像通信システム。
  6. 前記制御情報確認手段は、個々の署名情報に組み入れた署名識別子を使って、署名対象となる前記接続先カメラサーバ情報や前記カメラ制御情報を含む前記端末用映像データに組み込まれるリンク情報の利用履歴を管理することを特徴とする請求項5に記載の映像通信システム。
  7. 前記制御情報確認手段は、個々の署名情報に組み入れた署名識別子を使って、署名対象となる前記接続先カメラサーバ情報や前記カメラ制御情報を含む前記端末用映像データに組み込まれるリンク情報の利用回数を限定することを特徴とする請求項5に記載の映像通信システム。
  8. 前記制御情報確認手段は、個々の署名情報に組み入れた署名識別子を使って、署名対象となる前記接続先カメラサーバ情報や前記カメラ制御情報を含む前記端末用映像データに組み込まれるリンク情報の利用統計を測定し、プリセット設定などカメラサーバの内部状態を変更することを特徴とする請求項5に記載の映像通信システム。
  9. 前記制御情報確認手段は、複数のユーザによる多重署名の内容に応じて前記カメラ制御情報に含まれるカメラ制御指示の実施方法を変化させることを特徴とする請求項5に記載の映像通信システム。
  10. 前記制御情報確認手段は、管理者をはじめとする複数のユーザが多重署名することで、アクセス権限を変更し、前記カメラサーバへの同時アクセスあるいは同時カメラ制御の競合調整を行うことを特徴とする請求項5に記載の映像通信システム。
  11. 前記映像送信手段は、セッション指向の通信方式で通信することを特徴とする請求項1〜10のいずれか1項に記載の映像通信システム。
  12. 前記映像送信手段は、非セッション指向の通信方式で通信することを特徴とする請求項1〜10のいずれか1項に記載の映像通信システム。
  13. ネットワーク上に配置されるカメラサーバと接続して、カメラサーバが送信する映像データを表示する情報処理装置であって、
    前記映像データを取得する映像取得手段と、
    映像データ内に組み込まれたカメラ状態情報からカメラ制御コマンドを抽出するカメラ制御コマンド抽出手段と、
    前記カメラコマンド抽出手段が抽出した前記カメラ制御コマンドを前記カメラサーバへ送信する制御コマンド送信手段と
    を具備することを特徴とする情報処理装置。
  14. ネットワークに接続可能で映像再生可能な端末と、映像データを配信するカメラサーバとを少なくとも具備する映像通信システムを用いた映像通信方法であって、
    前記カメラサーバの配信する前記映像データを取得する映像取得ステップと、
    前記端末の属性情報と前記映像取得ステップで取得した前記映像データとを基に前記端末において再生可能な端末用映像データを生成する映像変換ステップと、
    前記映像変換ステップで生成した前記端末用映像データに対して前記カメラサーバのアクセス制御情報を設定する制御情報設定ステップと、
    前記制御情報設定ステップで設定した前記アクセス制御情報を含む前記端末用映像データを前記端末へ送信する映像送信ステップと
    を有することを特徴とする映像通信方法。
  15. ネットワークに接続可能で映像再生可能な端末と、映像データを配信するカメラサーバとを少なくとも具備する映像通信システム用のプログラムであって、
    前記カメラサーバの配信する前記映像データを取得する映像取得ステップと、
    前記端末の属性情報と前記映像取得ステップで取得した前記映像データとを基に前記端末において再生可能な端末用映像データを生成する映像変換ステップと、
    前記映像変換ステップで生成した前記端末用映像データに対して前記カメラサーバのアクセス制御情報を設定する制御情報設定ステップと、
    前記制御情報設定ステップで設定した前記アクセス制御情報を含む前記端末用映像データを前記端末へ送信する映像送信ステップと
    をコンピュータに実行させるためのプログラム。
JP2005033957A 2005-02-10 2005-02-10 映像通信システム、情報処理装置、映像通信方法及びそのプログラム Pending JP2006222720A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005033957A JP2006222720A (ja) 2005-02-10 2005-02-10 映像通信システム、情報処理装置、映像通信方法及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005033957A JP2006222720A (ja) 2005-02-10 2005-02-10 映像通信システム、情報処理装置、映像通信方法及びそのプログラム

Publications (1)

Publication Number Publication Date
JP2006222720A true JP2006222720A (ja) 2006-08-24

Family

ID=36984735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005033957A Pending JP2006222720A (ja) 2005-02-10 2005-02-10 映像通信システム、情報処理装置、映像通信方法及びそのプログラム

Country Status (1)

Country Link
JP (1) JP2006222720A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008050620A1 (fr) * 2006-10-25 2008-05-02 Opt Corporation Serveur de caméra
JP2014164722A (ja) * 2013-02-27 2014-09-08 Toshiba Corp 健診指導支援装置および健診指導支援方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008050620A1 (fr) * 2006-10-25 2008-05-02 Opt Corporation Serveur de caméra
JP2014164722A (ja) * 2013-02-27 2014-09-08 Toshiba Corp 健診指導支援装置および健診指導支援方法

Similar Documents

Publication Publication Date Title
CN101427316B (zh) 组播多媒体内容分发系统
JP2006222721A (ja) 情報処理装置、情報処理方法及びそのプログラム
US8370498B2 (en) Method of using server, server reservation control apparatus and program storage medium
US7856468B2 (en) Server reservation method, reservation control apparatus and program storage medium
US8108489B2 (en) Server reservation method, reservation control apparatus and program storage medium
JP4026944B2 (ja) 映像発信装置及びその制御方法
TW524015B (en) Contents signal distribution method, reservation management device, and program acceptance medium
JP5469628B2 (ja) 機器登録方法及び機器登録システム
US7909255B2 (en) Mobile information retrieval over wireless network
JP2013538384A (ja) デバイス・コミュニケーション
US7792928B2 (en) Method for establishing secure remote access over a network
JP2004193979A (ja) 映像配信システム
CN100583938C (zh) 图像输入及输出设备、客户端设备、信息处理方法
JP2000151704A (ja) 機器制御装置、端末装置、ネットワークシステム、制御方法、及び記憶媒体
JP5687455B2 (ja) サーバ、端末、プログラムおよびサービス提供方法
JP4401672B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2006222720A (ja) 映像通信システム、情報処理装置、映像通信方法及びそのプログラム
JP2002135867A (ja) 遠隔操作システム
JPH1173391A (ja) データ通信システムおよび方法
JP4261934B2 (ja) 映像クリップ生成装置、映像クリップ生成方法、プログラム及び記憶媒体
US20040218064A1 (en) Image sensing apparatus and control method therefor
JP4510519B2 (ja) 映像通信装置、映像通信方法及びコンピュータプログラム
KR20080035875A (ko) 프리뷰 컨텐츠에 대한 보안화된 제공 시스템 및 방법
JP4250449B2 (ja) 映像通信システム、映像通信装置、端末及び端末のカメラ制御方法
JP2005227830A (ja) 画像サーバとプログラム