JP2004193979A - Video distribution system - Google Patents

Video distribution system Download PDF

Info

Publication number
JP2004193979A
JP2004193979A JP2002359651A JP2002359651A JP2004193979A JP 2004193979 A JP2004193979 A JP 2004193979A JP 2002359651 A JP2002359651 A JP 2002359651A JP 2002359651 A JP2002359651 A JP 2002359651A JP 2004193979 A JP2004193979 A JP 2004193979A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
data
annotation
video
server
embodiment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002359651A
Other languages
Japanese (ja)
Inventor
Tomoaki Kawai
Takahiro Kurosawa
Yuichi Sakauchi
祐一 坂内
智明 河合
貴弘 黒澤
Original Assignee
Canon Inc
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To appropriately give comment to a video. <P>SOLUTION: When a request for registering the comment to the video photographed by camera servers 101 and 102 is given from terminals 200, 601 and 602, a comment server 400 creates a synchronous description for synchronizing the comment with the video so as to display them, and preserves the created synchronous description and comment data. When the request for acquiring the comment from the terminals 200, 601 and 602 is given, preserved sound comment data and the synchronous description are delivered to the requested terminals 200, 601 and 602. In the terminals 200, 601 and 602, the video distributed from the camera servers 101 and 102 is displayed on a picture and the appropriate comment can be given if need. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、映像配信システムに関し、特に映像に注釈を付与するために用いて好適なものである。 The present invention relates to a video distribution system, it is suitable for use in particular for annotate the images.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
本発明に関係する既存の技術は、以下の通りである。 Existing technologies related to the present invention is as follows.
[映像通信システム] [Video Communication System]
インターネットなどの通信インフラストラクチャを使って、撮影した映像を配信するとともに、撮影のためのカメラ設定やカメラ操作などを指示する技術が確立され、製品が販売されている。 Using the communication infrastructure such as the Internet, as well as deliver the captured video, the established technology to instruct and camera settings and camera operations for shooting, products are sold.
【0003】 [0003]
例えば、キヤノン社の映像配信システム「WebView/LiveScope」、および同社のネットワークカメラサーバ「VB101」などである。 For example, Canon's video delivery system "WebView / LiveScope", and the company's network camera server "VB101" and the like.
【0004】 [0004]
[第三世代携帯電話技術] Third-generation mobile phone technology]
第三世代(3G)の携帯電話では、電話通話しながらインターネットアクセスなどのデータ通信が可能となっている。 In the mobile phone of the third generation (3G), which enables data communication, such as Internet access with phone calls.
【0005】 [0005]
例えば、インターネット上の映像データにアクセス(映像再生)しながら、通話することができる。 For example, while accessing the video data on the Internet (video playback), it is possible to call. 例えば、NTTDoCoMo社によるFOMAサービスでは、マルチアクセスと呼ばれる接続形態を用意しており、これを利用することで、データ通信を行いながら、電話通話を可能にしている。 For example, the FOMA service by NTTDoCoMo Inc. has prepared topology called multi-access, By using this, while data communication, allowing the telephone call.
【0006】 [0006]
さらに、第三世代の携帯電話端末では、端末自体の処理能力も強化されており、これまでPC(パーソナルコンピュータ)などで行っていた作業を携帯電話端末で処理することが可能になっている。 In addition, the mobile phone terminal of the third generation, processing capability of the terminal itself has also been enhanced, it becomes possible to process the work that has been done in such as a PC (personal computer) in the mobile phone terminal so far. 例えば、メイルやウェブブラウジングなどの機能を実装している携帯電話端末が普及している。 For example, a mobile phone terminal is widespread that implement features such as mail and web browsing.
【0007】 [0007]
[同期記述] [Synchronization descriptor]
W3C(the World Wide Web Consortium)の規定するSMIL(the Synchronized Multimedia Integration Language)を使って、一連の独立したマルチメディアオブジェクト(映像や音声、あるいは、テキストや静止画など)を1つの同期マルチメディア表現に統合することができる。 Using the SMIL (the Synchronized Multimedia Integration Language) to the provisions of the W3C (the World Wide Web Consortium), a series of independent multimedia objects (video, audio, or, such as text and still images) one of the Synchronized Multimedia express it can be integrated into.
【0008】 [0008]
SMILなどの同期記述に対応したプレーヤも実装されている。 Player corresponding to the synchronization descriptor such as SMIL have also been implemented. 例えば、RealNetworks社のRealPlayerである。 For example, a RealNetworks's RealPlayer.
【0009】 [0009]
[音声のテキスト化]。 [Text of the speech].
音声解析モデル、コンピュータの計算能力の向上や、大規模コーパス(言語分析用の言語の資料)の充実などの相乗効果により、音声のテキスト化については、飛躍的な向上が見られている。 Voice analysis model, improvement of computing power of a computer, due to the synergistic effects such as enhancement of large-scale corpus (language of the documentation for the language analysis), for the text of the speech, dramatic improvement is seen. 例えば、PC用音声認識ソフトウェアとして、日本電気社のSmartVoiceや、IBM社のViaVoiceなどが商品化されている。 For example, as the speech recognition software for the PC, NEC's and SmartVoice, such as IBM's ViaVoice have been commercialized.
【0010】 [0010]
[セキュア通信技術] Secure communications technology]
HTTPによるWebアクセスなどの通信において安全性を提供するプロトコルとして、SSL(Secure Socket Layer)が、ネットスケープ社から提案され、同社のブラウザソフトウェアを初めとして多くのソフトウェアに実装されている。 As a protocol that provides a safety in communication, such as Web access by HTTP, SSL (Secure Socket Layer) is, is proposed from Netscape, it has been implemented in a number of software as the beginning of the company's browser software.
【0011】 [0011]
SSLは、TCP/IP(Transmission Control Protocol/Internet Protocol)の上位に位置し、なおかつHTTP(Hyper Text Transfer Protocol)やFTP(File Transfer Protocol)などアプリケーションプロトコルの下位に位置し、サーバ認証、通信データの暗号化、及びクライアント認証(オプショナル)の機能を提供する。 SSL is located on top of TCP / IP (Transmission Control Protocol / Internet Protocol), yet located in the lower of the HTTP (Hyper Text Transfer Protocol) and FTP (File Transfer Protocol), such as an application protocol, server authentication, the communication data to provide the function of encryption, and client authentication (optional).
【0012】 [0012]
また、ワイヤレス通信において、安全性を提供する方式としては、WAP(Wireless Application Protocol)プロトコルの一部として、WTLS(Wireless Transport Layer Security)がWAPフォーラムによって定義されている。 Further, in a wireless communication, the method for providing security, as part of the WAP (Wireless Application Protocol) protocol, WTLS (Wireless Transport Layer Security) is defined by the WAP Forum.
【0013】 [0013]
これは、SSLをベースに設計されており、データインテグリティ、暗号化、及び端末認証など、SSLとほぼ同様の機能を提供するものである。 It is designed based on SSL, there is provided a data integrity, encryption, and the like terminal authentication, the substantially same function as SSL.
なお、通信における認証機能を提供する方法としては、RFC1334として定義されているCHAP(Challenge-Handshake Authentication Protocol)方式が知られている。 As a method for providing an authentication function in communication Defined CHAP (Challenge-Handshake Authentication Protocol) method is known as RFC1334.
【0014】 [0014]
この方式は、主に、PPP(Point-to-Point Protocol:RFC1661で定義されている)で利用されている。 This method, mainly, PPP: are available in (Point-to-Point Protocol is defined in RFC1661).
【0015】 [0015]
[MPEG−7] [MPEG-7]
MPEG(Motion Picture Expert Group)では、映像や静止画などのメディアデータ(コンテンツ)に関するメタデータを、XML準拠の記述とするための規格として、MPEG−7を定めている。 In MPEG (Motion Picture Expert Group), the metadata for the media data such as video and still images (content), as a standard for an XML-compliant description defines a MPEG-7. このMPEG−7では、記述子や記述子間の関係を定義できるようになっている。 In the MPEG-7, and to be able to define relationships between descriptors and descriptors. MPEG−7は、メタデータの仕様であって、コンテンツ自体のコーデックや蓄積方法には、依存しない。 MPEG-7 is a specification of the metadata, the codecs and storage method of content itself, not dependent.
【0016】 [0016]
コンテンツのメタデータを記述する類似の規格として、テレビ番組コンテンツを検索する目的のメタデータ記述方式の規格である「TV Anytime」、主に著作権管理を目的とする「Content ID」などがある。 As the similarity of the standard describes the metadata of the content, which is a standard of the purpose of the meta-data description method to search for TV program content "TV Anytime", mainly for the purpose of copyright management, and the like "Content ID".
【0017】 [0017]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
ところで、近年、上述した従来の技術を用いて、カメラで映像された映像に、多人数がアクセスすることが可能な構成の映像配信システムが考えられている。 In recent years, with the prior art described above, the images that are images in the camera, multiplayer is considered configuration video distribution system that can be accessed. また、ユーザが映像にアクセスして、その映像に注釈を付与するようにすることも考えられている。 Further, the user accesses the video is also contemplated that so as to add annotation to the video.
【0018】 [0018]
しかしながら、映像に注釈を付与する際に上述した従来の技術を用いると、適切なタイミングで映像に注釈を付与することが困難であるなど、映像に適切な注釈を付与することが困難であるという問題点があった。 However, using the prior art described above when annotate the image, such as it is difficult to annotate the image at the right time, that it is difficult to impart appropriate annotation to the video there is a problem.
本発明は、このような問題に鑑みなされたものであり、映像に注釈を適切に付与することができるようにすることを目的とする。 The present invention has been made in view of such problems, and an object thereof is to make it possible to appropriately add annotation to the image.
【0019】 [0019]
【課題を解決するための手段】 In order to solve the problems]
上記課題を解決するため、本発明は、撮影された映像データを配信するための映像配信装置と、上記映像データに付与する注釈データを配信するための注釈配信装置と、上記映像配信装置から配信された映像データに基づく映像と、上記注釈配信装置から配信された注釈データに基づく注釈とを再生する再生装置とをネットワークを介して通信可能に接続した映像配信システムであって、上記注釈配信装置は、上記注釈データを含む関連データを取得するデータ取得手段と、上記データ取得手段により取得された注釈データを記録媒体に保存する注釈保存手段と、上記データ取得手段により取得された関連データに基づいて、上記映像データと、上記注釈保存手段により保存された注釈データとを対応付けるための情報を記述した同期記述を To solve the above problems, the present invention provides a video distribution system for distributing captured image data, and annotation distribution device for distributing an annotation data to be added to the video data, distributed from the video distribution device a video based on video data, a video distribution system that communicably connected via a network and a reproducing apparatus for reproducing annotations and based on the annotation data delivered from the annotation distribution system, the annotation distribution system includes a data acquisition means for acquiring related data including the annotation data, the annotation storage means for storing annotation data acquired by the data acquisition means into a recording medium, based on the related data acquired by the data acquisition means Te, and the video data, the synchronization descriptor describing information for associating the annotation data stored by the annotation storage means 成する同期記述作成手段とを有し、上記再生装置は、上記同期記述作成手段により作成された同期記述に基づいて、上記映像配信装置から配信された映像データに基づく映像と、上記注釈保存手段により保存された注釈データに基づく注釈とを同期させて再生する再生手段を有することを特徴としている。 And a synchronization descriptor creating means for forming, the reproducing apparatus in accordance with the synchronization description created by the synchronization descriptor creating means, a video based on the video data distributed from the video distribution device, the annotation storage means It is characterized by having a reproducing means for reproducing by synchronizing annotations and based on the stored annotation data by.
かかる構成では、映像データと注釈データとを対応付ける同期記述に基づいて、上記映像データに基づく映像に、上記注釈データに基づく注釈を同期させて付与する。 In such a configuration, based on the synchronization descriptor associating the image data and annotation data, the video based on the video data, to impart to synchronize the annotations based on the annotation data.
【0020】 [0020]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
(第1の実施形態) (First Embodiment)
以下、本発明の映像配信システムの第1の実施形態を、図面を参照して説明する。 Hereinafter, a first embodiment of a video distribution system of the present invention will be described with reference to the drawings.
第1の実施形態では、カメラサーバ101、102から送られる映像に、携帯電話端末601、602から入力した音声注釈を連動させる例について説明する。 In the first embodiment, the image sent from the camera server 101, examples for interlocking the voice annotation input from the mobile phone terminal 601 will be described.
【0021】 [0021]
この中で、注釈サーバ400が音声注釈を収集し、それを蓄積映像再生と合わせてユーザに提供するための同期記述を生成する例についても説明する。 In this, the annotation server 400 collects the voice annotation, also describes an example of generating a synchronization descriptor for providing a user combined it with stored video playback. 特に、本実施形態の注釈サーバ400では、カメラ制御権をもつユーザによる音声注釈を、他ユーザによる注釈と区別するための手段を提供する点に特徴がある。 In particular, the annotation server 400 of the present embodiment, a voice annotation by the user with the camera control right is characterized in that it provides a means for distinguishing and annotations by other users.
【0022】 [0022]
図1は、本発明の実施の形態を示し、映像配信装置を適用した映像配信システムの構成の一例を示した図である。 Figure 1 shows an embodiment of the present invention and shows an example of a video distribution system configuration to which the video distribution device.
101および102はカメラサーバ、200はクライアント端末(ビューワ)である。 101 and 102 camera server, 200 is a client terminal (viewer). カメラサーバ101、102と、クライアント端末200とはそれぞれネットワークに接続される。 A camera server 101 are connected to each client terminal 200 network. クライアント端末200からネットワークを介してリクエストがカメラサーバ101、102へ送られる。 Request from the client terminal 200 through the network are sent to the camera server 101.
【0023】 [0023]
カメラサーバ101、102でこのリクエストが受け入れられると、カメラサーバ101、102からクライアント端末200へ映像データが配送される。 If this request is accepted by the camera server 101, video data is delivered from the camera server 101 to the client terminal 200. これにより、クライアント端末200でカメラ映像を見ることが可能となる。 This makes it possible to view camera images on the client terminal 200.
【0024】 [0024]
また、クライアント端末200からカメラ制御コマンドがカメラサーバ101、102へ送られる。 The camera control command is sent to the camera server 101 from the client terminal 200. これにより、カメラのズーム、パン、チルトなどの操作が可能となる。 As a result, the camera zoom, pan, and can be operated, such as tilt. さらに、ネットワーク上には、中継サーバ300が置かれ、クライアント端末200とカメラサーバ101、102との通信を中継することがある。 Further, on the network, the relay server 300 is placed, it is possible to relay communication between the client terminal 200 and the camera server 101.
【0025】 [0025]
さらに、400は注釈サーバであり、カメラサーバ101、102が提供する映像データに関する注釈を収集および管理する。 Further, 400 is an annotation server, collecting and managing annotations related to the video data by the camera server 101 provides.
また、500はネットワークと携帯電話回線網とを仲介するルータである。 In addition, 500 is a router that mediates the network and the mobile telephone network. 601および602は、ビューワプログラムを搭載した携帯電話端末である。 601 and 602, a mobile phone terminal equipped with the viewer program. このルータ500を介して、ネットワークに接続された機器と携帯電話端末601、602とが通信する。 Via the router 500, a device connected to the network and the mobile phone terminal 601 and 602 to communicate.
【0026】 [0026]
なお、携帯電話端末601、602上のビューワプログラムは、典型的には、工場出荷時にインストールされるが、Java(登録商標)プログラムのように、実行時にダウンロードされて実行される形態であっても良い。 It should be noted that the viewer program on the mobile phone terminal 601 and 602, typically, but is installed at the factory, such as Java (registered trademark) program, be in the form executed by being downloaded at run time good.
【0027】 [0027]
図1に示したネットワークは、企業あるいは組織内で運用されるイントラネットである場合もあり、また、広く世界をつないでいるインターネットである場合もある。 Network shown in Figure 1, in some cases an intranet operating at the enterprise or the organization, and in some cases the Internet that connects the wide world.
【0028】 [0028]
また、中継サーバ300や注釈サーバ400は、典型的には、インターネットイクスチェンジ(IX)やデータセンター(IDC:Internet Data Center)に配置され、通信負荷の軽減を図るよう設計されている。 The relay server 300 and annotation server 400 is typically the Internet Ickx change (IX) and data center is located (IDC Internet Data Center), and is designed to achieve a reduction of communication load.
【0029】 [0029]
図2は、図1の映像配信システムに、広く普及したWeb技術を併用した映像配信システムの構成の一例を示した図である。 Figure 2 is a video distribution system of FIG. 1 is a diagram showing an example of the configuration of a widespread video distribution system in combination with Web technology.
図2に示した映像配信システムシステムでは、ネットワークに接続されたWWWサーバ700が必要となる。 The video distribution system system shown in FIG. 2, WWW server 700 connected to the network is required.
【0030】 [0030]
WWWサーバ700内のWebページデータには、どのアドレスでカメラサーバ101、102へ接続できるかを示すリンクが配置されている。 The Web page data in the WWW server 700, the link indicating whether it is able to connect to the camera server 101 in which addresses are arranged. これにより、所望のカメラサーバ101、102へ容易に接続することが可能となる。 Thus, it is possible to easily connect to the desired camera server 101.
【0031】 [0031]
図3は、カメラサーバ101のハードウェア構成の一例を示した図である。 Figure 3 is a diagram showing an example of a hardware configuration of the camera server 101. なお、カメラサーバ102は、カメラサーバ101と同じ構成であるので、ここではカメラサーバ101について説明を行う。 The camera server 102 has the same configuration as the camera server 101, a description is given of the camera server 101 here.
図3において、カメラサーバ101は、実際に撮像を行うカメラ装置301と、コンピュータ302とを備えている。 3, the camera server 101 includes indeed a camera apparatus 301 for imaging, and a computer 302.
【0032】 [0032]
コンピュータ302は、より詳細には、プログラムやデータを格納する記憶装置303と、映像データを取り込むための映像キャプチャボード304と、カメラ装置301にコマンドを送るためのシリアルI/F305と、ネットワークと接続するためのネットワークI/F306と、プログラムによる各種の処理を実行するCPU307とを有している。 Computer 302 is, more specifically, connected to the storage device 303 for storing programs and data, a video capture board 304 for capturing video data, and a serial I / F305 to send the command to the camera apparatus 301, the network and a network I / F 306 for, and a CPU307 for executing various processing by the program.
【0033】 [0033]
上記において、記憶装置303は、主記憶装置となるRAM(メモリ)303a、フラッシュメモリやHD装置などからなる二次記憶装置(HD装置)303b、およびプログラムを媒体からロードするためのFD装置303cなどから構成される。 In the above, the storage device 303, a main storage unit and comprising RAM (memory) 303a, a secondary storage device comprising a flash memory or the HD device (HD device) 303b, and programs such as FD device 303c for loading the medium It consists of.
【0034】 [0034]
また、図示しないが、コンピュータ302は、各種の設定などを行うための入出力装置を備える場合もある。 Although not shown, the computer 302 may also include various input and output devices for performing such settings.
上記入出力装置は、具体的には、ディスプレイを接続する表示装置や、キーボードおよびマウスなどのコントローラなどである。 The output device, specifically, a display device and to connect the display, and the like controller, such as a keyboard and a mouse.
【0035】 [0035]
図12は、注釈サーバ400を動作させるハードウェア構成の一例を示した図である。 Figure 12 is a diagram showing an example of a hardware configuration for operating the annotation server 400.
図12において、注釈サーバ400は、サーバ向けコンピュータにより構成される。 12, the annotation server 400 is composed of a server for the computer.
【0036】 [0036]
より詳細には、注釈サーバ400は、プログラムやデータを格納する記憶装置1201と、ネットワークと接続するためのネットワークI/F1202と、プログラムによる各種の処理を実行するCPU1203とを備えている。 More particularly, the annotation server 400, a storage device 1201 for storing programs and data, and a network I / F1202 for connection to the network, and CPU1203 to execute various processes by the program.
【0037】 [0037]
上記において、記憶装置1201は、主記憶装置となるRAM(メモリ)1201a、フラッシュメモリやHD装置などからなる二次記憶装置(HD装置)1201b、およびプログラムを媒体からロードするためのFD装置1201cなどから構成される。 In the above, the storage device 1201, a main storage unit and comprising RAM (memory) 1201a, a secondary storage device comprising a flash memory or the HD device (HD system) 1201b, and programs such as FD device 1201c for loading the medium It consists of.
【0038】 [0038]
また、図示しないが、注釈サーバ400は、各種の設定などを行うための入出力装置を備える場合もある。 Although not shown, the annotation server 400 may also include various input and output devices for performing such settings.
上記入出力装置は、具体的には、ディスプレイを接続する表示装置や、キーボードやマウスなどのコントローラなどである。 The output device, specifically, a display device and to connect the display, and the like controller, such as a keyboard or a mouse.
【0039】 [0039]
図4は、ビューワプログラムを動作させるハードウェア構成の一例を示した図である。 Figure 4 is a diagram showing an example of a hardware configuration for operating the viewer program. すなわち、図4は、クライアント端末200のハードウェア構成の一部を示した図である。 That is, FIG. 4 is a diagram showing a part of the hardware configuration of the client terminal 200.
図4において、ビューワプログラムを動作させるハードウェアは、一般のコンピュータにより構成される。 4, the hardware for operating the viewer program is composed of a general computer.
【0040】 [0040]
このコンピュータは、より詳細には、プログラムやデータを格納する記憶装置401と、ネットワークと接続するためのネットワークI/F402と、プログラムによる各種の処理を実行するCPU403と、周辺装置404とを備えている。 This computer, and more particularly, a storage device 401 for storing programs and data, a network I / F402 for connecting to the network, the CPU403 for executing various processing by the programs, and a peripheral device 404 there.
【0041】 [0041]
上記において、記憶装置401は、主記憶装置となるRAM(メモリ)401a、フラッシュメモリやHD装置などからなる二次記憶装置(HD装置)401b、およびプログラムを媒体からロードするためのFD装置401cなどから構成される。 In the above, the storage device 401, a main storage unit and comprising RAM (memory) 401a, a secondary storage device comprising a flash memory or the HD device (HD device) 401b, and programs such as FD device 401c for loading the medium It consists of.
【0042】 [0042]
周辺装置404は、マウス404aやキーボード404bなどの入力装置、ディスプレイ装置404cなどの表示出力装置、あるいはマイクロフォンやスピーカなどの音声入出力装置404dを含む。 Peripheral device 404 includes an input device such as a mouse 404a and a keyboard 404b, a display output device such as a display device 404c, or the audio input and output device 404d such as a microphone and a speaker. なお、マウス404a、キーボード404b、および音声入出力装置404dは、周辺コントローラ405を介して内部と接続される。 Incidentally, a mouse 404a, a keyboard 404b, and the audio output device 404d is connected to the inside through the peripheral controller 405. また、ディスプレイ装置404cは、表示ボード406を介して内部と接続される。 Further, the display device 404c is connected to the inside through the display board 406.
【0043】 [0043]
なお、携帯電話端末601、602を使ってビューワプログラムを動作させる場合にも、ほぼ同様の構成である。 Incidentally, in the case of operating the viewer program using a mobile phone terminal 601 and 602 it is also substantially the same structure. しかしながら、サイズおよび携帯性などの制約から、記憶装置は、RAMやフラッシュメモリなどに限定され、また、入力装置も、携帯電話端末601、602上に配置されたボタンやスイッチ類に限定される。 However, due to restrictions such as the size and portability, storage is limited, such as in RAM or flash memory, also an input device is limited to placed buttons and switches on the mobile phone terminal 601 and 602.
【0044】 [0044]
図5は、図1及び図2に示した映像配信システムを動作させる際のプログラムを構成する部分を模式化して示した図である。 Figure 5 is a diagram showing a part of the program in operating a video distribution system shown in FIG. 1 and FIG. 2 is a schematic of.
図5において、カメラサーバ101内には、カメラの制御をつかさどるカメラ制御サーバ501と、映像の配送をつかさどる映像サーバ502との2つのモジュールを含む。 In Figure 5, the camera server 101 includes a camera control server 501 for controlling the camera, the two modules of the video server 502 responsible for delivery of video.
【0045】 [0045]
同様に、クライアント端末200及び携帯電話端末601、602内には、カメラ制御の指令や状態通知に対応するカメラ制御部503と、カメラ映像の表示を担当する映像表示部504と、コメントなどの音声注釈データを注釈サーバ400に送付する注釈入力部505と、蓄積映像の再生時に対応する注釈などを同期させる同期再生部506とが含まれている。 Similarly, the client terminal 200 and the cellular phone terminal 601 and 602, a camera control unit 503 corresponding to the command and status notification of the camera control, an image display unit 504 in charge of the display of the camera images, audio such as comments an annotation input unit 505 sends the annotation data to the annotation server 400 includes a synchronous playback unit 506 for synchronizing the like annotations corresponding to reproducing the recorded picture.
【0046】 [0046]
さらに、注釈サーバ400には、得られた注釈を蓄えるデータベース部507と、対応する映像に対する同期記述を生成する同期生成部508とがある。 Furthermore, the annotation server 400 is a database unit 507 for storing the resulting annotations, a synchronization generation unit 508 for generating a synchronization descriptor for the corresponding video.
【0047】 [0047]
図6は、クライアント端末200や携帯電話端末601、602の動作の一例を説明するフローチャートである。 Figure 6 is a flowchart for explaining an example of operation of the client terminal 200 or portable telephone terminal 601 and 602. なお、以下では、クライアント端末200及び携帯電話端末601、602を総称してビューワマシンと称する。 In the following, referred to as the viewer machine collectively client terminal 200 and the portable telephone terminal 601 and 602.
【0048】 [0048]
ステップS601において、ビューワマシン上のWebブラウザが、指示されたURLに対応するWWWサーバ700に接続し、HTML形式で記述されたWebページデータをリクエストする。 In step S601, Web browser on the viewer machine, connected to the WWW server 700 corresponding to the designated URL, and request a Web page data that is written in HTML format.
【0049】 [0049]
続いて、ステップS602において、ビューワマシンは、WWWサーバ700からWebページデータを受け取り、これをWebブラウザに表示し始める。 Then, in step S602, the viewer machine, receives the Web page data from the WWW server 700, it begins to display it to the Web browser. ここで受け取ったWebページデータの中には、本実施形態の映像配信システムのビューワを起動し、カメラサーバ101、102や注釈サーバ400などへ接続するための接続情報が含まれる。 Here, in the Web page data is received, to start the viewer of the video distribution system of the present embodiment includes the connection information for connecting to a camera server 101 and annotation server 400.
【0050】 [0050]
また、この接続情報は、ビューワの実装形態によって異なる方法で提供される。 Further, the connection information is provided in different ways by an implementation of the viewer. ビューワの実装形態としては、Java(登録商標)アプレット、外部プログラム、およびプラグインなどを用意している。 The implementation of the viewer, Java (registered trademark) applet, are prepared, such as an external program, and plug-ins. 例えば、外部プログラムを利用する場合には、次のようなハイパーリンクを用いて上記接続情報を指定する。 For example, when using an external program specifies the connection information using a hyperlink as follows.
<a href="camera1.wvh"> <a href="camera1.wvh">
【0051】 [0051]
また、プラグインを利用してwebページに上記接続情報を埋め込む場合には、次のようなembedタグを用いる。 Also, to embed the connection information to the web page for the plug-in, using the embed tag as follows.
<embed src="camera1.wvp" width=480 height=320> <Embed src = "camera1.wvp" width = 480 height = 320>
次に、ステップS603において、ビューワマシン上のWebブラウザは、WWWサーバ700へアクセスして指定された上記接続情報を取得する。 Next, in step S603, Web browser on the viewer machine acquires the connection information specified by accessing the WWW server 700.
【0052】 [0052]
次に、ステップS604において、ビューワマシンは、上記取得した接続情報の識別子に対応するプログラム、すなわち本映像配信システムのビューワプログラムを起動する。 Next, in step S604, the viewer machine, boot program, namely a viewer program of the video distribution system corresponding to the identifier of the acquired connection information.
【0053】 [0053]
次に、ステップS605において、上記起動したビューワプログラムにより、上記取得(ダウンロード)した接続情報を読み出す。 Next, in step S605, by the activation was viewer program reads the connection information the acquired (downloaded). そして、上記読み出した接続情報に記載されているカメラサーバ101、102を構成する映像サーバ502のアドレスおよび接続ポートの情報に従い、ビューワマシンを映像サーバ502へ接続する。 Then, according to the information of the address and the connection port of the video server 502 constituting the camera server 101 that is described in the read connection information, connecting the viewer machine to the video server 502.
【0054】 [0054]
ここで、接続以降の処理を行うための動作プログラム(実現方法としては、スレッドあるいはプロセスの起動となる)が起動され、この映像表示用スレッドは、終了までステップS631の処理を繰り返す。 Here, (as the implementation method, the thread or the start of the process) operation program for performing processing after the connection is started, the video display thread repeats the processing of steps S631 to end. すなわち、ビューワマシンは、映像サーバ502からの映像データが届くたびにそれを受け取り、ディスプレイ装置404cなどに表示する。 That is, the viewer machine receives it each time to reach the video data from the video server 502, and displays on a display device 404c.
【0055】 [0055]
さらに、ステップS606において、上記起動したビューワプログラムは、上記接続情報に記載されている注釈サーバ400のアドレスおよび接続ポートの情報に従い、ビューワマシンを注釈サーバ400へ接続する。 Further, in step S606, the viewer program mentioned above started, in accordance with the address and information of the connection port of the annotation server 400 that is described in the connection information, connecting the viewer machine to annotation server 400.
【0056】 [0056]
ここで、接続以降の処理を行うための動作プログラムが(スレッドあるいはプロセスとして)起動され、この注釈用スレッドは、終了までステップS621からステップS624までの処理を繰り返す。 The operation program for performing processing after connection (as a thread or process) is started, the annotation thread repeats the processing from step S621 to step S624 until the end. すなわち、ビューワマシンは、注釈サーバ400との間で注釈データの受け渡しをする。 That is, the viewer machine, the transfer of the annotation data with the annotation server 400. なお、この動作の詳細に関しては、後述する。 Regarding the details of this operation will be described later.
【0057】 [0057]
さらに、ステップS607において、ビューワマシンのメインのプログラムは、上記ダウンロードした接続情報に記載されているカメラ制御サーバ501のアドレスおよび接続ポートの情報に従い、ビューワマシンをカメラ制御サーバ501へ接続する。 Further, in step S607, the main program of the viewer machine, in accordance with the address and information of the connection port of the camera control server 501 as described in connection information downloaded above, connecting the viewer machine to the camera control server 501. これ以降ビューワマシンのメインプログラムは、ユーザからの操作要求を受け付けて実行するメインループへ続く。 The main program of the subsequent viewer machine, continues to the main loop that executes receives an operation request from the user.
【0058】 [0058]
このメインループでは、まず、ステップS608において、マウス404aの操作、あるいはキーボード404bの操作によってユーザが行ったメニュー操作などの操作内容を受け取る。 In the main loop, first, at step S608, the receiving operation content such as a menu operation performed by the user by operating the mouse 404a, or the operation of the keyboard 404b.
【0059】 [0059]
この受け取ったユーザの操作内容が、カメラ制御に関する場合には、ステップS609に進み、カメラ制御サーバ501へコマンドを発する。 Operation contents of the received user if a camera control proceeds to step S609, issues a command to the camera control server 501.
また、上記受け取ったユーザの操作内容が、上記映像サーバ502に関する場合には、ステップS610に進み、映像サーバ502へコマンドを発する。 The operation content of the user received above, when referring to the video server 502, the process proceeds to step S610, the issues commands to the video server 502.
【0060】 [0060]
さらに、上記受け取ったユーザの操作内容が、ビューワの状態を変更する(たとえば表示サイズを変更する)ものの場合には、ステップS611に進み、内部状態を更新する。 Further, the operation content of the user receiving above, in the case of changing the state of the viewer (for example, change the display size) ones, the process proceeds to step S611, and updates the internal state.
【0061】 [0061]
そして、上記ユーザの操作が終了したと判断した場合には、ビューワマシンの動作に関連する各プログラムを順次終了する。 Then, if it is determined that operation of the user is completed, sequentially terminates the programs related to the operation of the viewer machine. このようにして、ステップS609〜S611の処理が完了するとステップS608へ戻り、ユーザの操作入力を待つ。 In this manner, if the process of step S609~S611 are completed returns to step S608, the wait for the user's operation input.
【0062】 [0062]
ビューワマシンを注釈サーバ400へ接続する処理(ステップS606)で起動する上記注釈用スレッドでは、まず、ステップS621において、ビューワマシン上の音声入出力装置404dを初期化する。 In the annotation thread to start the process (step S606) connecting the viewer machine to annotation server 400, first, in step S621, initializing the audio input and output device 404d on the viewer machine.
【0063】 [0063]
次に、ステップS622において、一定時間(例えば、1秒間)音声データを取得(キャプチャ)する。 Next, in step S622, a predetermined time (e.g., 1 second) to obtain the audio data (captured).
そして、ステップS623において、上記取得した音声データのホワイトノイズを除去した上で、一定レベル(音量)以上の音声データが所定の処理結果から得られた場合には、それをエンコード/圧縮して、ステップS624に進む。 Then, in step S623, after removing the white noise of the audio data acquired above, if the constant level (volume) or more of the audio data has been obtained from the predetermined processing result, which was encoded / compressed, the process proceeds to step S624. 一方、一定レベル(音量)以上の音声データが得られない場合には、ステップS622に戻る。 On the other hand, when the constant level (volume) or more of the audio data can not be obtained, the process returns to step S622.
【0064】 [0064]
そして、ステップS624において、上記得られた一定レベル以上の音声データと合わせて、映像サーバ502の識別子(典型的には、前記接続情報に記載されている映像サーバのアドレスおよび接続ポート情報である)、映像サーバ502との接続のセッション識別子、現在表示している映像のタイムスタンプ、カメラ制御権の有無、パンやズームや逆光補正などカメラ制御パラメータなどの情報を注釈サーバ400に送信する。 Then, in step S624, together with the resulting constant level or more audio data, the identifier of the video server 502 (typically an address and the connection port information of the video server, which is described in the connection information) , and transmits the session identifier of the connection to the video server 502, the time stamp of the image that is currently displayed whether the camera control right, information such as the camera control parameters such as panning and zooming or backlight compensation in the annotation server 400. そして、最後に、ステップS622に戻る。 And, finally, the process returns to step S622.
【0065】 [0065]
なお、本実施形態では、ユーザからの音声注釈の有無をレベル(音量)から自動判別しているが、ユーザが明示的に注釈の開始と終了を指定してもよい。 In the present embodiment, although automatically determine the presence or absence of voice annotations from the user from the level (volume), the user may specify the start and end of explicit annotation. この場合、例えば、予め設定したキーボード404b上のキーや、ディスプレイ装置404cの画面上に表示されているボタンを押し下げた(KeyDown)時点で、注釈音声の取得を開始し、キーを上げた(KeyUp)時点で注釈音声の取得を終了するようにすればよい。 In this case, for example, keys on the keyboard 404b set in advance, the screen (KeyDown) the time of depressing the button displayed on the display device 404c, to begin retrieving annotation speech, raised key (KeyUp ) it may be to terminate the acquisition of annotation speech at this point.
【0066】 [0066]
蓄積映像にアクセスする際のビューワマシンにおける動作の流れも、図6に示したものと同様である。 The sequence of the operation in the viewer machine for accessing the stored video is also similar to that shown in FIG. 異なる部分は、カメラ制御サーバ501への接続を行わない点と、映像サーバ502への接続に先立って注釈サーバ400に接続し同期記述を取得する点である。 Different parts are that not connect to the camera control server 501, a point to get connected to the annotation server 400 prior to connection to the video server 502 synchronization descriptor.
【0067】 [0067]
一方、ディスプレイ装置404cの表示画面の内容は大きく異なり、カメラ制御インターフェースに変わって、蓄積映像の再生制御インターフェースを表示する(図14を参照)。 On the other hand, the contents of the display screen of the display device 404c may vary widely, on behalf of the camera control interface, to display the playback control interface of the accumulation image (see Figure 14).
【0068】 [0068]
また、再生映像に関するタイムスケールを表示し、再生している映像が、どの映像であるのかをユーザに伝える。 In addition, to display the time scale on the playback video, the video you are playing is, tell whether it is what the video to the user. さらに、注釈音声の存在を明示するためのアイコン(図14のビューワ画面1400の左下に表示されているベルのマーク)を表示する。 Furthermore, an icon for indicating the presence of the annotation speech (mark bell is displayed in the lower left of the viewer screen 1400 in FIG. 14).
【0069】 [0069]
図7は、カメラサーバ101内のカメラ制御サーバ501の動作の一例を説明するフローチャートである。 Figure 7 is a flowchart illustrating an example of an operation of the camera control server 501 of the camera server 101.
カメラ制御サーバ501は、まず起動時にステップS701において、特定のファイル(OSによってはレジストリなどのシステムデータベース)からカメラ制御サーバ501の動作設定情報を読み出して、それに基づき動作を開始する。 Camera control server 501 in step S701 is first at startup, reads the operation setting information of the camera control server 501 (a system database such as a registry depending on an OS) specific file starts operation based thereon. ここで、クライアントであるビューワプログラム(ビューワマシン)からのリクエストを受け付けるポートを開く。 Here, open a port that accepts a request from the viewer program (viewer machine) is a client.
【0070】 [0070]
続いて、ステップS702において、ビューワプログラムからのリクエストを受け付ける状態に入る。 Subsequently, in step S702, it enters a state of accepting a request from the viewer program. リクエスト(接続リクエストもしくは操作コマンドリクエスト)が受け付けられたら、ステップS702を抜けて、ステップS703に進み、リクエストが接続リクエストならば接続の可否を判定する。 Once the request (connection request or operation command request) is accepted, exits the step S702, the process proceeds to step S703, determines whether the connection if the request is a connection request.
【0071】 [0071]
この判定の結果、接続を拒否するならば、接続拒否のエラーコードをビューワマシンに返してステップS702に戻る。 If the result of this decision, to reject the connection, and returns to step S702 the error code of the connection refusal to return to the viewer machine. 一方、接続を許可するならば、ステップS704に進んでビューワマシンとカメラ制御サーバ501との接続処理を行う。 On the other hand, if allowed to connect wirelessly connects between the viewer machine and camera control server 501 proceeds to step S704.
【0072】 [0072]
そして、クライアント(ビューワマシン)からのコマンドの受付処理を行うスレッドを生成し、クライアントの登録を行ってから、ステップS702に戻る。 Then, to generate a thread to perform the reception processing of commands from the client (viewer machine), make the registration of the client, the process returns to step S702.
【0073】 [0073]
このステップS704で生成されたスレッドは、ステップS707において、対応するクライアント(ビューワマシン)からのコマンドの受付処理を行う。 Was produced thread in step S704, in step S707, the performing process of accepting commands from the corresponding client (viewer machine). そして、コマンドが届いたならば、それを受け付けて、カメラ操作を行う主プログラムへ受け渡す。 And, if the command is received, accepted it, passed to the main program to perform the camera operation.
【0074】 [0074]
そして、ステップS702において、主プログラムは、ステップS704で生成されたスレッドから、上記コマンドを受け取る。 Then, in step S702, the main program, the thread that is generated in step S704, receipt of the command. 受け取ったコマンドが操作コマンドである場合には、ステップS705へ進み、カメラ操作を行う。 If the received command is an operation command, the processing proceeds to step S705, the perform camera operation. そして、その結果(操作が成功か失敗かを示すコードなど)を、カメラ操作の要求(リクエスト)を行ったクライアント(ビューワマシン)に対応しているスレッドへ伝える。 Then, tell the result (operations such as code indicating the success or failure), to the thread that is corresponding to the client that made the request of the camera operation (request) (viewer machine).
【0075】 [0075]
次に、ステップS708において、上記リクエスト(上記カメラの操作の要求)を行ったクライアント(ビューワマシン)に対応しているスレッドは、ステップS705で行われたカメラ操作の結果を、上記カメラ操作の要求を行ったクライアント(ビューワマシン)へ送り返す。 Next, in step S 708, the thread that corresponds to the client that made the request (request for operation of the camera) (viewer machine), the results of the performed camera operated at step S705, the request for the camera operation the back to the client (viewer machine) was carried out.
【0076】 [0076]
また、ステップS706において、主プログラムは、ステップS705で行ったカメラ操作により変化した制御状態(たとえば、パン・チルト・ズームの値)を、各クライアント(ビューワマシン)に対応する全てのスレッドに伝える。 Further, in step S706, the main program communicates the control state changed by a camera operation performed in step S705 (e.g., the value of the pan-tilt-zoom), all the threads corresponding to each client (viewer machine).
【0077】 [0077]
そして、ステップS709において、各クライアントに対応する全てのスレッドは、カメラ操作により生じた制御状態の変化を、該当するクライアント(ビューワマシン)へ通達する。 Then, in step S709, all threads that correspond to each client, a change in the control state caused by camera operation and issue to the corresponding client (viewer machine).
【0078】 [0078]
また、各クライアントに対応するスレッドは、クライアント(ビューワマシン)から接続終了のコマンドを受け取ると、それを主プログラムへ通達し、さらにステップS710において、自身のスレッドを終了する。 Further, the thread corresponding to each client receives the connection termination command from the client (viewer machine), and Circular it to the main program, further in step S710, and terminates the thread itself.
【0079】 [0079]
なお、上記操作コマンドの扱いにおいては、具体的な操作コマンドを発行する前に、カメラ操作権の割り当て要求を必要とすることも可能である。 In the handling of the operation command, before issuing a specific operation command, it is possible to require an allocation request of the camera operation right. このようにすれば、複数の人間がカメラの操作を要求するような状況での混乱を無くすようにすることができる。 Thus, a plurality of humans to eliminate confusion in a situation to require the operation of the camera.
【0080】 [0080]
この場合、まず、クライアント(ビューワマシン)は、カメラ操作権の獲得を要求するためのコマンドをカメラ制御サーバ501に発行する。 In this case, first, the client (viewer machine) issues a command for requesting the acquisition of the camera operation right to the camera control server 501. 上記カメラ操作権の獲得を要求するためのコマンドを受け取ったカメラ制御サーバ501は、カメラ制御権の現在の割り当て状態から、拒絶、割り当て、順番待ちの何れかを選んでクライアント(ビューワマシン)へ返答する。 Camera control server 501 which has received the command for requesting the acquisition of the camera operation right answer, the current allocation status of the camera control right, rejection, allocation, choose either waiting to client (viewer machine) to.
【0081】 [0081]
カメラ制御権は、前もって定められた特定の時間と、クライアント(ビューワマシン)が接続を終了するまでの時間とのうち、短いほうの時間が経過することで剥奪され、次の順番待ちの人に割り当てられる。 The camera control rights, specific time and which is determined in advance, out of the time until the client (viewer machine) to terminate the connection, stripped by the passage of the shorter time, the people of the next waiting assigned.
【0082】 [0082]
順番待ち人数は、やはり前もって定められた人数(たとえば5人)に制限され、それ以上のリクエストは拒絶される。 Waiting number of people is limited again to the pre-defined number of people (for example, 5 people), more of the request is rejected.
クライアント(ビューワマシン)は、カメラ制御権が獲得されてから剥奪されるまでの間だけ、上記操作コマンドを発行する。 Client (viewer machine), only until the camera control right is deprived from being acquired, and issues the operation command. カメラ制御サーバ501は、カメラ制御権が付与されているクライアント(ビューワマシン)からの操作コマンドのみを受け付ける。 The camera control server 501 accepts only the operation command from the client (viewer machine) to the camera control rights have been granted.
【0083】 [0083]
図8は、カメラサーバ101内の映像サーバ502の動作の一例を説明するフローチャートである。 Figure 8 is a flowchart for explaining an example of operation of the video server 502 of the camera server 101.
映像サーバ502は、まず起動時にステップS801において、特定のファイル(OSによってはレジストリなどのシステムデータベース)から映像サーバ502の動作設定情報を読み出して、それに基づき動作を開始する。 Video server 502 in step S801 is first at startup, from a specific file (a system database such as a registry depending on an OS) reads the operation setting information of the video server 502 starts operation based thereon.
【0084】 [0084]
ここで、映像の獲得と符号化と蓄積とを行うスレッドを生成する(最初このスレッドは休止状態)。 Here, to generate the thread that performs the storage and acquisition and coding of the video (the first the thread hibernation). そして、クライアントであるビューワプログラム(ビューワマシン)からのリクエストを受け付けるポートを開く。 Then, open a port that accepts a request from the viewer program (viewer machine) is a client.
【0085】 [0085]
続いて、ステップS802において、ビューワプログラムからのリクエストを受け付ける状態に入る。 Subsequently, in step S802, the enter a state of accepting a request from the viewer program. リクエスト(接続リクエストもしくはコマンドリクエスト)が受け付けられたら、ステップS802を抜けて、ステップS803に進み、リクエストが接続リクエストならば接続の可否を判定する。 Once the request (connection request or command request) is accepted, exits the step S802, the process proceeds to step S803, determines whether the connection if the request is a connection request.
【0086】 [0086]
この判定の結果、接続を拒否するならば、接続拒否のエラーコードをビューワプログラムに返して、ステップS802に戻る。 If this result of judgment, reject the connection, the error code connection rejection returns the viewer program returns to step S802. 一方、接続を許可するならば、ステップS804に進んでビューワマシンと映像サーバ502との接続処理を行う。 On the other hand, if allowed to connect wirelessly connects between the viewer machine and the video server 502 proceeds to step S804.
【0087】 [0087]
そして、クライアント(ビューワマシン)ごとのセッションを識別するためのセッション識別子を生成するとともに、クライアント(ビューワマシン)からのコマンドの受付処理を行うスレッドを生成し、クライアントの登録を行ってから、ステップS802に戻る。 Then, to generate a session identifier for identifying a session for each client (viewer machine), it generates a thread that performs reception processing of the command from the client (viewer machine), after performing the registration of the client, step S802 Back to.
【0088】 [0088]
なお、この際、リクエストの内容がライブ映像への接続であり、かつ映像の獲得と符号化とを行うスレッドが休止状態ならば、ステップS802に戻る前に、動作開始を指示する。 At this time, a connection of the content of the request is the live video, and if acquisition and coding and threads dormant performing video, before returning to step S802, the instructing operation start.
【0089】 [0089]
このステップS804で生成された各クライアントに対応する各スレッドは、ステップS807において、対応するクライアント(ビューワマシン)からのコマンドの受付処理を行う。 Each thread corresponding to each client that is generated in step S804, in step S807, performs a process of accepting a command from the corresponding client (viewer machine). そして、コマンドが届いたならば、それを受け付けて、映像処理を行う主プログラムへ受け渡す。 And, if the command is received, accepted it, passed to the main program that performs the image processing.
【0090】 [0090]
そして、ステップS802において、主プログラムは、ステップS804で生成されたスレッドから、上記コマンドを受け取る。 Then, in step S802, the main program, the threads created by step S804, the receipt of the command. 受け取ったコマンドが操作コマンドである場合には、ステップS805へ進み、映像の獲得や符号化・送信などに関する設定の変更操作を行う。 If the received command is an operation command, the processing proceeds to step S805, the make changes operation settings for such image acquisition and coding and transmission. そして、その結果(操作の成功か失敗を示すコード)を、リクエスト(映像の取得要求)を行ったクライアント(ビューワマシン)に対応しているスレッドへ伝える。 Then, tell the result (code indicating the success or failure of the operation), to the threads that are corresponding to the request the client that made the (request for acquisition of the video) (viewer machine).
【0091】 [0091]
次に、ステップS808において、上記リクエスト(映像の取得要求)を行ったクライアントに対応しているスレッドは、ステップS805で行われた設定の変更操作の結果を、上記リクエスト(映像の取得要求)を行ったクライアント(ビューワマシン)へ送り返す。 Next, in step S808, the thread corresponds to the client that made the request (image acquisition request), the results of the performed setting change operation in step S805, the said request (image acquisition request) I went back to the client (viewer machine).
【0092】 [0092]
また、ステップS806において、主プログラムは、ステップS804における映像の獲得と符号化とを行うスレッドへの動作開始の指示により、前もって設定された時間間隔で映像データを、映像キャプチャボードを使って獲得し、これを圧縮データに変換する。 Further, in step S806, the main program, the operation start instruction to the thread that performs the acquisition and encoding of video at step S804, the video data at preset time intervals, acquired using the image capture board and converts it into compressed data.
【0093】 [0093]
さらに、この圧縮データをタイムスタンプと合わせて、映像蓄積処理を行い、さらに、ライブ映像に接続している各クライアント(ビューワマシン)に対応する全てのスレッドに伝える。 Furthermore, combined the compressed data and the time stamp, it performs the image storage processing, further, transmitted to all threads corresponding to each client (viewer machine) connected to the live image.
【0094】 [0094]
なお、この映像蓄積処理では、受け取ったタイムスタンプ付き圧縮データを、動作設定情報に指定された時間間隔、レート、および圧縮方式などで、記憶装置に蓄積する。 In this picture recording process, a time-stamped compressed data received, operation set time intervals specified in the information rate, and compression method, etc., accumulates in the storage device.
【0095】 [0095]
そして、ステップS809において、各クライアントに対応しているスレッドは、クライアント(ビューワマシン)から、次の映像フレームの送信要求があるか否かを判定する。 Then, the thread in step S809, corresponds to each client, determines the client (viewer machine), whether there is a request for transmission of the next video frame. この判定の結果、送信要求があるならば、タイムスタンプ付き圧縮データをクライアント(ビューワマシン)へ配送する。 If the result of this determination, there is a transmission request, to deliver the compressed data with a time stamp to the client (viewer machine).
【0096】 [0096]
ライブ映像に接続しているクライアント(ビューワマシン)に対応するスレッドが、クライアント(ビューワマシン)から、次の映像フレームの送信要求(これはクライアント(ビューワマシン)での圧縮映像データの受け取り完了に対して、送り返されるのが一般的である)を受け取った場合には、映像フレームの送信要求のフラグを設定する。 Thread corresponding to the client (viewer machine) connected to the live video, the client (viewer machine), to receive the completion of the compressed video data at the next request to send image frame (which is the client (viewer machine) Te, if the sent back has received is common) sets the flag of the request to send image frame.
【0097】 [0097]
一方で、蓄積映像に接続しているクライアント(ビューワマシン)に対応するスレッドが、クライアント(ビューワマシン)から、次の映像フレームの送信要求を受け取った場合には、この送信要求で指定された映像フレームを記憶装置から単純に取り出し、映像データをクライアント(ビューワマシン)に配送する。 On the other hand, a thread corresponding to the client connecting to stored video (viewer machine), video from a client (viewer machine), when receiving a request for transmission of the next video frame is specified by the transmission request simply removed frame from the storage unit and delivers the video data to the client (viewer machine).
【0098】 [0098]
また、各クライアント(ビューワマシン)に対応するスレッドは、クライアント(ビューワマシン)から接続終了のコマンドを受け取ると、それを主プログラムへ通達し、さらにステップS810において、自身のスレッドを終了する。 Further, the thread corresponding to each client (viewer machine) receives the connection termination command from the client (viewer machine), and Circular it to the main program, further in step S810, and terminates the thread itself.
【0099】 [0099]
図9は、ビューワプログラムが動作している時のクライアント(ビューワマシン)における表示画面の一例を示した図である。 Figure 9 is a diagram showing an example of a display screen in the client (viewer machine) when the viewer program is running.
【0100】 [0100]
図9において、901はWebブラウザプログラムであり、NetScape社のNavigatorや、MicroSoft社のInternet Explorerなどがある。 9, 901 is a Web browser program, and NetScape's Navigator, and the like MicroSoft Corporation Internet Explorer of.
902は、Webブラウザプログラム901の表示領域内で動作するビューワプログラムである。 902 is a viewer program operating within the display area of ​​the Web browser program 901.
903は映像表示部である。 903 is a video display unit. 904はパン(カメラの横振り)用のスクロールバーである。 904 is a scroll bar for bread (lateral swing of the camera). 905はチルト(カメラの縦振り)用のスクロールバーである。 905 is a scroll bar for tilting (vertical swing of the camera). 906はズーム用のスクロールバーである。 906 is a scroll bar for zoom. 907はカメラ制御権の要求のためのボタンである。 907 is a button for the camera control right request. 908はカメラ制御権の状態を表示する部分である。 908 is a part for displaying the status of the camera control right. 909は逆光補正用のボタンである。 909 is a button for the backlight compensation.
【0101】 [0101]
図9に示したビューワは、ユーザが操作を行うためのGUIであり(図6のステップS608)、ステップS631において受け取った映像データは映像表示部903に表示され、スクロールバー904〜906や操作ボタンからの指示は、ステップS608で受け取られ、ステップS609〜S611で処理され、カメラ制御サーバ501などへ送られる。 Viewer of FIG. 9 is a GUI for allowing a user to perform an operation (step S608 in FIG. 6), the image data received in step S631 are displayed on the video display unit 903, the scroll bars 904-906, operation buttons instruction from is received in step S608, the processed in step S609~S611, it is sent to a camera control server 501.
【0102】 [0102]
図10は、カメラサーバ101の用いる設定値、すなわちステップS701、S801でカメラ制御サーバ501や映像サーバ502が読み出す動作設定情報を特定のファイル(OSによってはレジストリなどのシステムデータベース)に設定するカメラサーバ設定プログラムの表示画面の一例を示した図である。 Figure 10 is a camera server settings using the camera server 101, i.e., the operation setting information by the camera control server 501 and video server 502 reads a specific file in step S701, S801 (by the OS system database such as registry) is set to is a diagram showing an example of a display screen of the setting program.
【0103】 [0103]
図10に示した表示画面1000により、カメラ制御サーバ501、映像サーバ502、動画品質、及び接続制限事項などに関する各種のパラメータを設定することができるようになっている。 The display screen 1000 shown in FIG. 10, the camera control server 501, video server 502, so that it is possible to set various parameters relating to such video quality, and the connection limitations.
【0104】 [0104]
OKボタン1001を押すと設定した値が特定のファイルあるいはレジストリに書き込まれ、キャンセルボタン1002を押してキャンセルすると、各種パラメータは書き込まれずに終了する。 The value set by pressing the OK button 1001 is written to a specific file or registry, and to cancel, press the cancel button 1002, the various parameters to the end without being written.
【0105】 [0105]
図11は、図10に示したカメラサーバ101の設定プログラムの動作の一例を説明するフローチャートである。 Figure 11 is a flowchart illustrating an example of the operation of the setup program of the camera server 101 shown in FIG. 10.
設定プログラムは、起動時にまずステップS1101において、カメラ制御サーバ501および映像サーバ502に関する設定情報を格納した特定のファイル(OSによってはレジストリなどのシステムデータベース)から設定情報を読み出し、内部データとして設定する。 Configuration program, first in step S1101 at startup (depending OS system database such as registry) specific file storing setting information related to the camera control server 501 and video server 502 reads the setting information from is set as the internal data.
【0106】 [0106]
以降、ユーザからの操作入力を受け取り、設定プログラムを実施するループを繰り返す。 Later receives an operation input from a user to repeat the loop to implement the configuration program.
ステップS1102において、ユーザからの操作入力を待ち、入力があればそれを受け取る。 In step S1102, wait for operation input from a user, you receive it if any input.
【0107】 [0107]
続いてステップS1103において、ステップS1102で入力された値が適正範囲内であるか否かを判定する。 Then in step S1103, whether the value entered in step S1102 is within a proper range or not. この判定の結果、入力された値が適正範囲内でなければステップ1104に進み、エラーメッセージを出力する。 As a result of the determination, the input value is the flow proceeds to step 1104 if not within the appropriate range, an error message is output. そして、入力された値を元の値を戻して、ユーザからの操作入力を待つステップS1102へ戻る。 Then, return the original value the value entered, the process returns to step S1102 to wait for an operation input from a user.
【0108】 [0108]
一方、入力された値が適正範囲内であるならば、内部データを更新して、ユーザからの操作入力を待つステップS1102に戻る。 On the other hand, if the input value is within the proper range, and updates the internal data, the flow returns to step S1102 to wait for an operation input from a user.
【0109】 [0109]
ここで、ユーザからの操作入力に基づいて設定できる値は、例えば、次の項目のものである。 Here, the value that can be set based on an operation input from the user, for example, of the following items.
すなわち、カメラ制御の通信用のTCPポート番号、カメラと接続するCOM(シリアル)ポート、シャッタースピード、カメラ制御関連のログ情報の有無とログファイル名、映像関連の通信用のTCPポート番号、ログ情報の有無とログファイル名、映像をキャプチャする時間間隔を規定するフレームレートと圧縮の品質を決めるQ-Factor、圧縮の元データの画面サイズ、1つのクライアントビューワの最大接続時間、カメラ制御に関する制御権の順番待ち人数、1つのビューワの制御権保持占有時間、及び映像とカメラ制御に関する接続可能な最大クライアント数などである。 That, TCP port number for communication of the camera control, COM (serial) port that is connected to the camera, shutter speed, presence or absence and log file name of the camera control related log information, TCP port number for communication of the video-related log information the existence and log file name, determines the quality of the compression and frame rate defining a time interval for capturing an image Q-Factor, the screen size of the original data to be compressed, the maximum connection time of one client viewer, control a camera control waiting number of is control right holding time occupied one viewer, and the video camera control maximum number of clients that can connect regarding such.
【0110】 [0110]
また、ステップS1102において、ユーザからの操作入力がOKボタン1001の押下によるものであると判定した場合には、ステップS1105に進み、カメラ制御サーバ501および映像サーバ502に関する設定情報を格納する特定のファイルなどへ更新された内部データを書き出す。 Further, in step S1102, when the operation input from the user is determined to be due to depression of the OK button 1001, the process proceeds to step S1105, certain files that store setting information related to the camera control server 501 and image server 502 write the internal data that has been updated to like.
【0111】 [0111]
そして、ステップS1106において、更新された内部データをその後の処理に反映させるために、カメラサーバ101を再起動するか否かを尋ねるパネルを出力する。 Then, in step S1106, in order to reflect the internal data updated subsequent processing, and outputs the panel asking whether to restart the camera server 101.
【0112】 [0112]
ユーザがこのパネルの表示内容に基づいて、再起動することを選択した場合には、ステップS1107に進み、カメラ制御サーバ501や映像サーバ502などを再起動して、ステップS1108で設定プログラムを終了する。 User based on the display contents of this panel, if you choose to restart, the process proceeds to step S1107, and then restart a camera control server 501 and video server 502, and ends the setting program in step S1108 .
【0113】 [0113]
一方、再起動しないことを選択した場合には、ステップS1106からステップS1108に直接進み、設定プログラムを終了する。 On the other hand, if you choose not to restart, the process proceeds directly from step S1106 to step S1108, and ends the configuration program.
【0114】 [0114]
また、ステップS1102において、ユーザからの操作入力がキャンセルボタン1102である場合には、ステップS1108に直接進み、設定プログラムを終了する。 Further, in step S1102, when the operation input from the user is cancel button 1102, the process proceeds directly to step S1108, and ends the configuration program.
【0115】 [0115]
図13は、注釈サーバ400の動作の一例を説明するフローチャートである。 Figure 13 is a flowchart illustrating an example of the operation of the annotation server 400.
【0116】 [0116]
注釈サーバ400は、まず起動時にステップS1301において、特定のファイル(OSによってはレジストリなどのシステムデータベース)から注釈サーバ400の動作設定情報を読み出して、それに基づき動作を開始する。 Annotation server 400 in step S1301 first startup, certain (depending OS system database such as registry) file reads the operation setting information of the annotation server 400 from starting the operation based thereon. ここで、クライアントであるビューワマシンからのリクエストを受け付けるポートを開く。 Here, open a port that accepts a request from the viewer machine is a client.
【0117】 [0117]
続いて、ステップS1302において、ビューワマシンからのリクエストを受け付ける状態に入る。 Then, in step S1302, it enters a state that accepts a request from the viewer machine. リクエスト(注釈保存リクエストもしくは注釈検索リクエスト)が受け付けられたら、ステップS1302を抜けて、ステップS1303に進み、接続の可否の判定する。 When the request (annotation storage request or annotation search request) is accepted, missing a step S1302, the process proceeds to step S1303, to determine the propriety of the connection.
【0118】 [0118]
この判定の結果、接続を拒否するならば、接続拒否のエラーコードをビューワマシンに返して、ステップS1302に戻る。 If the result of this decision, to reject the connection, the error code of the connection refusal to return to the viewer machine, the flow returns to step S1302. 一方、接続を許可するならば、ステップS1304に進んでビューワマシンと注釈サーバ400との接続処理を行う。 On the other hand, if allowed to connect, a connection process with the annotation server 400 and the viewer machine proceeds to step S1304.
【0119】 [0119]
そして、クライアント(ビューワマシン)との間で情報の受け渡しを行うスレッドを生成し、クライアントの登録を行ってから、ステップS1302に戻る。 Then, to generate a thread for transferring the information between the client (viewer machine), make the registration of the client, the process returns to step S1302.
【0120】 [0120]
このステップS1304で生成された各クライアントに対応する各スレッドは、ステップS1307において、対応するクライアント(ビューワマシン)からのリクエストの受付処理を行う。 Each thread corresponding to each client that is generated in step S1304, in step S1307, performs reception processing requests from corresponding client (viewer machine). そして、リクエストが届いたならば、それを受け付け、リクエスト内容に応じて処理を行う。 And, if the request is received, accepted it, carry out the process in accordance with the request contents.
【0121】 [0121]
リクエスト内容が、音声注釈データの登録である場合には、ステップS1310に進み、リクエストに付随する映像サーバ502とのセッション識別子、タイムスタンプ、カメラ制御権の有無、および音声注釈データなどの情報を取り出す。 Request content, in the case of registration of a voice annotation data, the process proceeds to step S1310, retrieving session identifier the video server 502 associated with the request, the time stamp, the presence of the camera control right, and the information such as voice annotation data . そして、それらの情報から同期記述を生成し、受け取った音声注釈データとともにデータベース部を介して保存する。 Then generates a synchronization descriptor from the information, stores via the database portion with voice annotation data received.
【0122】 [0122]
この時、カメラ制御権が有であった場合には、予め設定された予鈴音(ジングル)データを、受け取った音声注釈データに前置きするよう合成する。 At this time, when the camera control right is a chromatic combines to prelude a preset first bell sound (jingle) data, the voice annotation data received.
また、この同期記述の生成に際して、同じ時刻に複数の音声注釈データが発生した場合には、カメラ制御権をもつ注釈を最優先とする。 Further, in generating the synchronization description, when a plurality of voice annotation data at the same time occurs, the annotation with the camera control right to the highest priority. それ以外の場合には、後から登録された注釈を優先し、排他的に再生するような同期記述を生成する。 Otherwise, the registered annotation preferentially later, generates an exclusive reproduction to such synchronization described.
【0123】 [0123]
一方、リクエスト内容が、音声注釈データの検索である場合には、ステップS1311に進み、リクエストで要求された映像サーバ識別子に関して、指定された時間帯の注釈データを、データベース部を介して抽出する。 On the other hand, the request contents, when the search of the audio annotation data, the process proceeds to step S1311, with respect to the video server identifier requested in the request, the annotation data for the specified time period, extracted via the database unit. そして、得られた同期記述と注釈データとをクライアント(ビューワマシン)に配送する。 Then, to deliver the resulting synchronization described as the annotation data to the client (viewer machine).
【0124】 [0124]
また、クライアント(ビューワマシン)から接続終了リクエストを受けたならば、ステップS1312に進み、ビューワマシンとの接続終了を主プログラムへ通達し、自身のスレッドを終了する。 In addition, if receives a connection termination request from the client (viewer machine), the process proceeds to step S1312, the termination of the connection with the viewer machine and notification to the main program, to terminate a thread of its own.
【0125】 [0125]
なお、本実施の形態の映像配信システムで生成される同期記述の一例は、図15に示す通りである。 Incidentally, an example of a synchronization descriptor that is generated by the video distribution system of this embodiment is as shown in FIG. 15.
この図15に示す同期記述1500には、アドレス(bar.xyz.co.jp)に配置されたカメラサーバ101のカメラ装置camera0の2000年10月21日10時30分45秒から2000年10月21日10時45分20秒までの期間の蓄積映像について、アドレス(foo.xyz.co.jp)に配置されている注釈サーバ400から4つの音声注釈データを取り出して同期再生することが記述されている. The synchronization descriptor 1500 illustrated in FIG. 15, the address October 2000 2000 October 21, 30 minutes and 45 seconds at 10 camera device camera0 of the camera server 101 arranged in (bar.xyz.co.jp) the stored video time to 45 minutes and 20 seconds at 21 days 10, it is described that synchronous reproduction from the annotation server 400 that is located at address (foo.xyz.co.jp) Remove the four voice annotation data ing.
【0126】 [0126]
以上の構成で、携帯電話端末601、602上に実装されたビューワを使う複数のユーザは、映像サーバ502が提供する映像データを携帯電話端末601、602上の画面に見ながら、必要に応じて、リアルタイムで適切な注釈を音声で入力する。 In the above configuration, a plurality of users using a viewer that is mounted on the cellular phone terminal 601 and 602, while viewing the video data the video server 502 provides a screen on the cellular phone terminal 601 and 602, if necessary , it is entered in the voice of the appropriate annotation in real time. そして、ビューワに内蔵された注釈用スレッドが、入力した注釈を注釈サーバ400に転送し、注釈サーバ400が適切な同期記述を生成した上で、入力した注釈を保存する。 The annotation thread incorporated in the viewer, to transfer the entered each annotation server 400, on the annotation server 400 has generated the appropriate synchronization description, to save the entered annotations.
【0127】 [0127]
これによって、蓄積映像を参照するユーザは、映像に同期する形で、それに付随する適切な注釈を得ることが可能となる。 This allows a user to refer to the stored video in the form synchronized with the video, it is possible to obtain an appropriate annotation associated therewith.
特に、カメラ制御権を取得してカメラ制御を行うユーザの注釈に、予鈴音声を合成するようにしたので、他の傍観者の注釈と区別することができるとともに、カメラ制御を行った意図を示す注釈を、容易に認識することが可能となる。 In particular, shown to the user's annotations to acquire to the camera controls the camera control right. Thus synthesize first bell sound, it is possible to distinguish it from other bystanders annotation, an intention of performing camera control annotations, it is possible to easily recognize.
【0128】 [0128]
このように本実施形態では、映像に付与された注釈を分別して再生することが可能になり、映像アーカイブの作成や、映像を介したコミュニティ形成を効果的に進めることが可能となる。 As described above, in this embodiment, it is possible to play fractionated annotations given to the image, creation and video archives, it is possible to advance the community formation via video effectively.
【0129】 [0129]
例えば、本実施形態の映像配信システムを利用して、結婚式会場の映像を中継および蓄積する際に、カメラを制御するユーザによって行われた映像のパンやズームなどの意図と、結婚式映像を見ている傍観者ユーザの祝辞や感想とを、適切に再現し、これらを明確に区別することが可能となる。 For example, by using a video distribution system of the present embodiment, when relaying and storing an image of the wedding hall, the intent of such video panning and zooming made by the user to control the camera, a wedding video and congratulations and comments of bystanders user looking, properly reproduced, it is possible to distinguish between these clearly.
【0130】 [0130]
以上で、映像蓄積機能を備えるカメラサーバ101がネットワークを介して映像を配信する映像に、複数のユーザが携帯電話端末601、602を介してリアルタイムで音声注釈を付与することができる。 Above, in video camera server 101 comprising a picture recording function distributes video over a network, it is possible to impart a voice annotation in real time a plurality of users via the mobile phone terminal 601 and 602. しかも、本実施形態の注釈サーバ400では、カメラ制御権をもつユーザを識別し、その音声注釈データには、予鈴音声を挿入(前置きに)するようにしたので、カメラ制御権をもつユーザによる注釈と、他の傍観者ユーザによる注釈とを再生時に区別できる。 Moreover, the annotation server 400 of the present embodiment, to identify the user with the camera control right, in its voice annotation data, since to insert the first bell sound (the preamble), the annotation by the user with the camera control right and, it can distinguish between comments by other bystanders user at the time of reproduction. また、注釈が付与された映像を再生する場合にも、それらの注釈を区別できる。 Further, when reproducing video annotation has been applied can also distinguish their annotations.
【0131】 [0131]
なお、本実施形態では、カメラサーバ101とは独立に注釈サーバ400が実装される例について説明したが、注釈サーバ400が、カメラサーバ101とビューワマシンとを中継する位置に配置されても良い。 In the present embodiment, although the camera server 101 has been described the example in which the annotation server 400 is implemented independently, the annotation server 400, and a camera server 101 and the viewer machine may be located in a position to be relayed. この場合のネットワークシステムの構成は、例えば、図16のようにすればよい。 Configuration of a network system in this case may be, for example, as shown in FIG. 16.
【0132】 [0132]
すなわち、カメラ制御サーバ501とカメラ制御部503とを中継する制御中継部1601と、映像サーバ502と映像表示部504とを中継する映像中継部1602とを備える中継サーバ300と、注釈サーバ400とを有する中継マシン1604をカメラサーバ101とビューワマシンとの間に配置するようにする。 That is, a control relay unit 1601 relays the camera control server 501 and the camera control unit 503, the relay server 300 and a video relay unit 1602 which relays the video server 502 and the video display unit 504, and a comment server 400 the relay machine 1604 having to be disposed between the camera server 101 and the viewer machine.
【0133】 [0133]
また、本実施形態では、音声注釈データをビューワマシン側でエンコード/圧縮してから注釈サーバ400に登録する例について説明したが、音声注釈データのエンコード/圧縮を、注釈サーバ400で行うようにしても良い。 Further, in the present embodiment, an example has been described to be registered in the annotation server 400 audio annotation data from the encoding / compression by the viewer machine side, the encoding / compression of speech annotation data, and to perform annotation server 400 it may be. また、携帯電話網とネットワークとのゲートウェイになっているルータ装置500においてエンコード/圧縮を行うことも考えられる。 It is also conceivable to perform the encoding / compression in the router apparatus 500 that is a gateway between the mobile telephone network and the network.
【0134】 [0134]
また、本実施形態では、カメラサーバ101の映像サーバ502が自身の記憶装置に映像を蓄積する例について説明したが、映像を蓄積するのは、カメラサーバ101の近傍などに設置されたホームサーバであっても良い。 Further, in the present embodiment, the video server 502 of the camera server 101 has been described an example of storing an image in its own storage device, for storing video, the home server that is installed in the vicinity of the camera server 101 it may be. また、データセンターなどに設置されたストーレージサーバやWebサーバ(wwwサーバ700など)に映像を蓄積するようにしてもよい。 Further, in the installed Stow storage servers and Web servers, etc. to the data center (www server 700, etc.) may be accumulated images. そして、これらのサーバへ映像データを送信する際には、FTP(File Transfer Protocol)やHTTP(HyperText Transfer Protocol)などのPOSTメソッドなどを利用するようにすればよい。 Then, when transmitting the image data to these servers may be such as to utilize an FTP (File Transfer Protocol) or HTTP (HyperText Transfer Protocol), etc. POST method.
【0135】 [0135]
また、本実施形態では、時間軸上で音声注釈の重複があった場合、優先順位をつけて、排他的に再生するような同期記述を生成していたが、他と区別することが可能な形式で音声注釈を合成することも考えられる。 Further, in the present embodiment, when there is duplication of voice annotations on a time axis, prioritize, it had been produced exclusively reproduced to such synchronization description, which can be distinguished from other it is also conceivable to synthesize a voice annotation in the format. 例えば、ステレオ音声合成技術を用いて、優先順位の高い注釈の仮想音源位置を近くに配置し、優先順位が低くなるに従い、遠くに配置するようにすることが考えられる。 For example, by using a stereo sound synthesis techniques, to place the virtual sound source position of the high priority note near accordance priority is lower, it is considered to be arranged far away.
【0136】 [0136]
また、本実施形態では、ライブ映像に音声注釈を付与する例について説明しているが、同様の手法で、テキスト注釈を付与することも可能である。 Further, in the present embodiment has described the example of applying the voice annotation to the live video, the same technique, it is also possible to provide the text annotation. この場合には、ビューワを実装するプログラム上での注釈の扱いにおいて、音声注釈データの処理に加えて(あるいは、代えて)、テキスト注釈データの処理を実装すればよい。 In this case, the handling of notes on the program that implements the viewer, in addition to the processing of voice annotation data (or place of), may be mounted to the processing of text annotation data.
【0137】 [0137]
近年では、メイルやSMS(Short Message Service)の普及から、多くの携帯電話端末において、テキスト作成/表示機能が実装されており、これを利用してテキスト注釈の入力/再生を実現することができる。 In recent years, from the spread of mail and SMS (Short Message Service), in many of the mobile phone terminal, text creation / display function is implemented, it is possible to use it to realize the input / playback of text annotations .
【0138】 [0138]
また、本実施形態では、予鈴音声を合成することで、カメラ制御中の注釈を他の注釈と区別するようにしたが、これらを区別する方法は、予鈴音声の合成に限定されない。 Further, in the present embodiment, by combining the first bell sound has been annotated in the camera control so as to distinguish it from other annotations, how to distinguish them is not limited to the synthesis of first bell sound. 例えば、携帯電話端末のバイブレーション機能を使う方法や、図17のように表示画面1700上へテロップを挿入する方法や、図18のように表示画面1800上でふきだし表示する際のふきだしの形状を変える方法や「、音声注釈データのエンコード時にフィルターを適用して他の音声との区別を図る方法などを用いてカメラ制御中の注釈を他の注釈と区別するようにしてもよい。 For example, changing a method of using the vibration function of the mobile telephone terminal, a method of inserting a ticker onto the display screen 1700 as shown in FIG. 17, the shape of the balloon when the balloon is displayed on the display screen 1800 as shown in FIG. 18 methods and ", may be an annotation in the camera control to distinguish from other annotations by using a method of applying a filter to the encoding of audio annotation data achieved distinguish it from other sounds.
【0139】 [0139]
また、本実施形態では、携帯電話端末601、602からの注釈を注釈サーバ400が受け付けた時点で予鈴音声の合成を行うようにしたが、予鈴音声を合成するタイミングは、これに限定されない。 In the present exemplary embodiment it has been to perform the synthesis of first bell sound when a note from the mobile phone terminal 601 and 602 annotated server 400 has accepted the timing of synthesizing first bell sound is not limited thereto. 例えば、注釈サーバ400が注釈を受け付けた時点では、予鈴音データへの参照のみを挿入し、注釈データが参照された時点で実際の予鈴音データを合成するようにして、予鈴音データの合成を遅らせるようにしてもよい。 For example, at the time when the annotation server 400 has accepted the annotation, to insert the only references to first bell sound data, so as to synthesize the actual first bell sound data at the time the annotation data is referenced, the synthesis of first bell sound data it may be delayed.
これによって、注釈データの参照時点までの間に、予鈴音データを差し替えることが可能になり、利用形態の柔軟性を増すことが可能となる。 Thus, until the reference point in the annotation data, it is possible to replace the first bell sound data, it is possible to increase the flexibility of the use form.
【0140】 [0140]
また、本実施形態では、すべてのユーザが注釈を付与/参照することができる場合について説明したが、注釈の付与/参照を限定的に行うようにしてもよい。 Further, in this embodiment, all the user has described the case where it is possible to impart / reference annotations may be performed to grant / reference notes limiting. 例えば、カメラ制御権を持つユーザの注釈付与のみを許可するようにしてもよい。 For example, it is also possible to allow only annotating user with the camera control right. また、ユーザ単位の認証手段を設けることにより注釈の付与/参照を限定してもよい。 It may also limit the grant / reference notes by providing the authentication means of the user units. 典型的には、特定グループに登録されたユーザにのみ注釈を提供し、それ以外のユーザには、ソース映像のみを提供する。 Typically, only provide annotations to the user who is registered to a particular group, the other users, provide only source image. 特定グループのユーザとは、例えば、課金されたユーザである。 The users of a particular group, for example, a charging user.
【0141】 [0141]
(第2の実施形態) (Second Embodiment)
次に、本発明の第2の実施形態について説明する。 Next, a description will be given of a second embodiment of the present invention. なお、本実施形態においても、上述した第1の実施形態と同様に、カメラサーバから送られる映像に、携帯電話端末から入力した音声注釈を連動させる例について説明する。 Also in this embodiment, as in the first embodiment described above, the image sent from the camera server, examples that links voice annotation input from the mobile phone terminal will be described.
【0142】 [0142]
本実施形態では、特に、カメラ制御パラメータが、事前に指定された範囲内にある際に行われた音声注釈には、複数種類の予鈴音データの中から、カメラ制御パラメータに応じた予鈴音データを選択し、それを音声注釈に合成する点に特徴がある。 In the present embodiment, in particular, the camera control parameters, the voice annotation made during in the range specified in advance, first bell sound data corresponding from among a plurality of types of first bell sound data, a camera control parameter select is characterized it that synthesizes the voice annotation. このように、本実施形態と第1の実施形態とでは、図13に示した注釈サーバ400の動作の一部が、第1の実施形態と異なる。 Thus, in the present embodiment and the first embodiment, the part of the operation of the annotation server 400 shown in FIG. 13 differs from the first embodiment. したがって、第1の実施形態と同一の部分については図1〜図17と同一の符号を付して詳細な説明を省略する。 Therefore, a detailed description thereof will be omitted for the first embodiment and the same parts of the same reference numerals as FIGS. 1-17.
【0143】 [0143]
本実施形態では、音声注釈データの登録を行う図13のステップS1310の処理を、以下のステップS1350のように変更することで、音声注釈の登録リクエストを受けた際のカメラ制御パラメータに応じて予鈴音データを選択し、注釈音声データに合成する。 In the present embodiment, the processing of step S1310 in FIG. 13 for registering the voice annotation data, by changing as the following steps S1350, in accordance with the camera control parameters when receiving the registration request of the voice annotation pre select the Suzuon data, to synthesize the annotation voice data.
【0144】 [0144]
このステップS1350では、リクエストに付随する映像サーバ502とのセッション識別子、タイムスタンプ、カメラ制御権の有無、パンやズームや逆光補正などカメラ制御パラメータ、および音声注釈データなどの情報を取り出す。 In step S1350, retrieving session identifier the video server 502 associated with the request, the time stamp, the presence of the camera control right, the camera control parameters such as pan and zoom, backlight correction, and information such as voice annotation data. そして、それらの情報から同期記述を生成し、受け取った音声注釈データとともにデータベース部を介して保存する。 Then generates a synchronization descriptor from the information, stores via the database portion with voice annotation data received.
【0145】 [0145]
この時、カメラ制御パラメータが、事前に指定された範囲内にある場合には、事前に設定された予鈴音(ジングル)データを選択的に、受け取った音声注釈データに合成する。 At this time, the camera control parameter, if within the range specified in advance, the pre-configured first bell sound (jingle) data selectively, synthesized the received voice annotation data.
【0146】 [0146]
なお、同じ時刻に複数の音声注釈データが発生した場合の同期記述の生成に関しては、ステップS1310と同様である。 Regarding the generation of the synchronization descriptor when multiple voice annotation data is generated at the same time, the same as step S1310.
【0147】 [0147]
カメラ制御パラメータが、事前に指定された範囲内にあるか否かの判定には、次の表1に示すような事前登録の表を利用する。 The camera control parameters, the determination of whether within the range specified in advance, using a table of pre-registration, as shown in the following Table 1.
【0148】 [0148]
【表1】 [Table 1]
【0149】 [0149]
表1中の略語の意味は、以下の通りである。 The meaning of abbreviations in Table 1 are as follows.
true:値の如何に関わらず条件を満たすと見做す。 true: it is regarded as satisfying the conditions and regardless of the value.
P:水平方向制御角(パン角度). P: horizontal control angle (pan angle). ±170°。 ± 170 °.
T:垂直方向制御角(チルト角度). T: vertical control angle (tilt angle). −30°〜+90°。 -30 ° ~ + 90 °.
Z:ズーム値. Z: zoom value. ×1〜×16ズーム。 ×. 1 to × 16 zoom.
BC:逆光補正値。 BC: backlight compensation value.
SND:予鈴音データ。 SND: first bell sound data.
【0150】 [0150]
以上のようにして、カメラ制御パラメータが事前に指定された範囲内にある際に行われた音声注釈には、カメラ制御パラメータに応じた予鈴音データを選択的に合成し、映像に付与するようにしたので、上述した第1の実施の形態の効果に加え、予鈴音データをより適切に選択することができ、ユーザの使い勝手を向上させることができるという効果を有する。 As described above, the voice annotation camera control parameters is performed when in the range specified in advance, the first bell sound data corresponding to the camera control parameter selectively synthesized, to impart to the video having to, in addition to the effects of the first embodiment described above, it is possible to select a first bell sound data more appropriately, has the effect that it is possible to enhance the usability of the user.
【0151】 [0151]
なお、本実施形態では、予め設定された複数の予鈴音データを、登録される音声注釈データに合成する例について説明したが、合成する予鈴音データは、事前に登録されたものに限定されない。 In the present embodiment, a plurality of first bell sound data set in advance, an example has been described for synthesizing a voice annotation data registered, first bell sound data synthesizing is not limited to the one previously registered. 例えば、別途設置した広告サーバと連動することによって、広告内容を含む音声を予鈴音データとして音声注釈データに合成し、映像に付与することも考えられる。 For example, by association with the advertisement server which is separately installed, synthesized voice annotation data voice including advertising content as first bell sound data, it is also conceivable to impart to the image.
【0152】 [0152]
また、本実施形態では、予鈴音データの選択に、カメラ制御パラメータを利用するようにしたが、カメラ制御パラメータに関する条件を、音声注釈データの付与/参照の許可条件に適用することも考えられる。 Further, in the present embodiment, the selection of the first bell sound data, but so as to utilize the camera control parameters, the condition related to the camera control parameters, it is conceivable to apply to the permit conditions for applying / reference voice annotation data.
【0153】 [0153]
また、本実施形態では、カメラ制御パラメータのみを条件判定に用いるようにしたが、合成すべき予鈴音データの選択条件は、これに限定されない。 Further, in the present embodiment, as adapted to use only the condition determining camera control parameters, selection criteria first bell sound data to be synthesized is not limited thereto. 例えば、注釈付与の頻度(時間軸上での出現率)を判定条件に加え、音声注釈が頻繁である場合には、短めの予鈴音データを選択し、反対に、音声注釈が少ない場合には、長めの音声データを合成することも考えられる。 For example, in addition to the determination condition the frequency of annotation (incidence on the time axis), when the voice annotation is frequently selects short first bell sound data, Conversely, if the voice annotation is small , it is also conceivable to synthesize a longer voice data.
【0154】 [0154]
(第3の実施形態) (Third Embodiment)
次に、本発明の第3の実施形態について説明する。 Next, a description will be given of a third embodiment of the present invention. なお、本実施形態においても、上述した第1の実施形態と同様に、カメラサーバから送られる映像に、携帯電話端末から入力した音声注釈を連動させる例について説明する。 Also in this embodiment, as in the first embodiment described above, the image sent from the camera server, examples that links voice annotation input from the mobile phone terminal will be described.
【0155】 [0155]
本実施形態では、特に、付与された音声注釈データに含まれるキーワードの出現頻度などに応じて、音声注釈データを評価し、音声注釈データの再生時にその評価結果を反映する点に特徴がある。 In the present embodiment, in particular, depending on the frequency of appearance of a keyword included in the granted voice annotation data, evaluate the voice annotation data is characterized in that reflect the evaluation results at the time of reproduction of voice annotation data. このように、本実施形態と第1の実施形態とでは、図13に示した注釈サーバ400の動作の一部が、第1の実施形態と異なる。 Thus, in the present embodiment and the first embodiment, the part of the operation of the annotation server 400 shown in FIG. 13 differs from the first embodiment. したがって、第1の実施形態と同一の部分については図1〜図17と同一の符号を付して詳細な説明を省略する。 Therefore, a detailed description thereof will be omitted for the first embodiment and the same parts of the same reference numerals as FIGS. 1-17.
【0156】 [0156]
本実施形態では、音声注釈データの登録を行う図13のステップS1310の処理を、以下のステップS1370のように変更することで、音声注釈データを評価する。 In the present embodiment, the processing of step S1310 in FIG. 13 for registering the voice annotation data, by changing as the following steps S1370, to evaluate the voice annotation data.
【0157】 [0157]
このステップS1370では、リクエストに付随する映像サーバ502とのセッション識別子、タイムスタンプ、カメラ制御権の有無、および音声注釈データなどの情報を取り出す。 In step S1370, retrieving session identifier the video server 502 associated with the request, the time stamp, the presence of the camera control right, and the information such as voice annotation data. そして、それらの情報から同期記述を生成し、受け取った音声注釈データとともにデータベース部を介して保存する。 Then generates a synchronization descriptor from the information, stores via the database portion with voice annotation data received.
【0158】 [0158]
この時、音声注釈データを、テキストデータに変換し、さらにそのテキストデータに含まれるキーワードの出現回数と重み付けに応じて、音声注釈データを評価する。 At this time, the voice annotation data is converted into text data, in accordance with the number of occurrences and weighting of keywords contained further in the text data to evaluate the voice annotation data. そして、この評価結果を、予鈴音データの選択や合成、並びに同期記述の生成に反映する。 Then, to reflect the results of the evaluation, first bell sound data selection and synthesis as well as the generation of synchronization descriptor.
【0159】 [0159]
具体的に、評価結果eは、次の(1式)で決定される。 Specifically, the evaluation result e is determined by the following expression (1).
【0160】 [0160]
【数1】 [Number 1]
【0161】 [0161]
ただし、上記(1式)において、O(Ki)は、i番目の登録キーワードの出現回数である。 However, in the above expression (1), O (Ki) is the i th number of occurrences of keywords. W(Ki)は、i番目の登録キーワードの重みである。 W (Ki) is the weight of the i-th registration keyword. nは、キーワードの登録数である。 n is the number of registered keyword.
また、登録キーワードと重み付けについては、次の表2を参照する。 As for the weighting and keywords, see the following table 2.
【0162】 [0162]
【表2】 [Table 2]
【0163】 [0163]
さらに、この評価結果に基づく、予鈴音の選択には、次の表3を参照する。 Furthermore, based on this evaluation result, the selection of the first bell sounds, see the following table 3.
【0164】 [0164]
【表3】 [Table 3]
【0165】 [0165]
ただし、評価結果が5以下の場合には、予鈴音データを合成しない。 However, in the case of the evaluation result is 5 or less, it does not synthesize the first bell sound data.
【0166】 [0166]
このように、本実施形態では、キーワードの出現回数と重み付けに基づいて、音声注釈データを評価し、音声注釈データの再生時にその評価結果を反映するようにしたので、上述した第1の実施形態の効果に加えて、予鈴音データをより適切に選択することができ、ユーザの使い勝手を向上させることができるという効果を有する。 Thus, in the present embodiment, based on the weight and number of occurrences of the keyword, and evaluate the voice annotation data, since to reflect the evaluation results at the time of reproduction of voice annotation data, the first embodiment described above in addition to the effects, it is possible to select a first bell sound data more appropriately, has the effect that it is possible to enhance the usability of the user.
【0167】 [0167]
なお、本実施形態では,音声注釈データをテキスト変換してからキーワードの抽出を行う例について説明したが、音声データの状態で、登録キーワードとのマッチングおよび抽出を行うようにしてもよい。 In the present embodiment, an example has been described for extracting a keyword from the text converting voice annotation data, in the form of voice data, may be performed matching and extraction of the keywords.
【0168】 [0168]
(本発明の他の実施形態) (Other embodiments of the present invention)
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、前記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ(CPUあるいはMPU)に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。 To operate the various devices to realize the functions of the above embodiments, to various devices and computers in the connected device or system, the program code of software for realizing the functions of the embodiments supplied, even those implemented by operating the various devices in accordance with the system or apparatus of a computer program stored in the (CPU or MPU), are included in the scope of the present invention.
【0169】 [0169]
また、この場合、前記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。 In this case, the program code itself of the software realizes the functions of the embodiments described above, means for supplying the program code itself, and the program code to the computer, for example, storing the program code recording medium constitute the present invention. かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。 As the recording medium for storing the program code may be, for example, a flexible disk, hard disk, optical disk, CD-ROM, magnetic tape, nonvolatile memory card, a ROM or the like.
【0170】 [0170]
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているOS(オペレーティングシステム)あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。 Further, by executing the program codes by the computer is supplied, not only the functions of the above-described embodiments are realized, OS (operating system) program code running in the computer or another application software or the like that jointly functions of the above-described embodiments the program code according to case realized are included in embodiments of the present invention and of course.
【0171】 [0171]
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。 Furthermore, after the supplied program code is stored in a memory provided in a function expansion unit connected to a function expansion board of a computer or computer, the function expansion board or function expansion unit based on instructions of the program code CPU etc. performs part or all of the actual processing, also of course included in the present invention when the functions of the embodiments described above are realized by those processes.
【0172】 [0172]
本発明の実施態様の例を以下に列挙する。 Listed examples of embodiments of the present invention are described below.
(実施態様1) 撮影された映像データを配信するための映像配信装置と、上記映像データに付与する注釈データを配信するための注釈配信装置と、上記映像配信装置から配信された映像データに基づく映像と、上記注釈配信装置から配信された注釈データに基づく注釈とを再生する再生装置とをネットワークを介して通信可能に接続した映像配信システムであって、上記注釈配信装置は、上記注釈データを含む関連データを取得するデータ取得手段と、上記データ取得手段により取得された注釈データを記録媒体に保存する注釈保存手段と、上記データ取得手段により取得された関連データに基づいて、上記映像データと、上記注釈保存手段により保存された注釈データとを対応付けるための情報を記述した同期記述を作成する同期記述作成 (Embodiment 1) and the video distribution device for distributing the captured image data, and annotation distribution device for distributing an annotation data to be added to the video data, based on the video data distributed from the video distribution device video, a video distribution system that communicably connected via a network and a reproducing apparatus for reproducing annotations and based on the annotation data delivered from the annotation distribution system, the annotation distribution device, the annotation data a data acquisition means for acquiring relevant data, including the annotation storage means for storing annotation data acquired by the data acquisition means into a recording medium, based on the associated data obtained by the data obtaining means, and the video data creating synchronization descriptor for creating a synchronous description information describing for associating the annotation data stored by the annotation storage means 手段とを有し、上記再生装置は、上記同期記述作成手段により作成された同期記述に基づいて、上記映像配信装置から配信された映像データに基づく映像と、上記注釈保存手段により保存された注釈データに基づく注釈とを同期させて再生する再生手段を有することを特徴とする映像配信システム。 And means, annotations the reproducing apparatus, based on the created synchronization described by the synchronization descriptor creating means, a video based on the video data distributed from the video distribution device, which is stored by the annotation storage means video distribution system, characterized in that it comprises a reproducing means for reproducing by synchronizing annotations and based on the data.
【0173】 [0173]
(実施態様2) 上記注釈配信装置は、上記データ取得手段により取得された関連データに基づいて、上記注釈データの発行者と、上記映像配信装置の接続状態とを識別する識別手段を有し、上記同期記述作成手段は、上記識別手段により識別された内容に基づいて、上記同期記述を作成することを特徴とする実施態様1に記載の映像配信システム。 (Embodiment 2) the annotation distribution system, based on the related data acquired by the data acquisition means includes a publisher of the annotation data, the identifying means for identifying the connection state of the video distribution device, the synchronization descriptor creating means based on the contents identified by the identifying means, the video distribution system of claim 1, characterized in that to create the synchronization descriptor.
【0174】 [0174]
(実施態様3) 上記識別手段は、上記注釈データが、カメラ制御権を有するユーザによって発行されたものであるか否かを識別することを特徴とする実施態様2に記載の映像配信システム。 (Embodiment 3) the identification means, the annotation data, video distribution system according to embodiment 2, wherein the identifying whether or not issued by a user with a camera control right.
【0175】 [0175]
(実施態様4) 上記識別手段は、上記注釈データが、カメラ制御パラメータが事前に設定された条件を満たす状況で発行されたものであるか否かを識別することを特徴とする実施態様2または3に記載の映像配信システム。 (Embodiment 4) the identification means, the annotation data, camera control parameters embodiment 2, wherein the identifying whether or not issued in satisfying conditions set in advance or video distribution system according to 3.
【0176】 [0176]
(実施態様5) 上記識別手段は、上記注釈データ内に事前に設定されたキーワードが含まれているか否かを識別することを特徴とする実施態様2〜4の何れか1態様に記載の映像配信システム。 (Embodiment 5) the identification means, the image according to any one of embodiments 2-4, characterized in that identifying whether or not contains the keyword set in advance in the annotation data delivery system.
【0177】 [0177]
(実施態様6) 上記再生装置は、上記撮影された映像データに付与する注釈データをユーザからの指示に基づいて入力する注釈入力手段を有し、上記データ取得手段は、上記注釈入力手段により入力された注釈データを取得することを特徴とする実施態様1〜5の何れか1態様に記載の映像配信システム。 (Embodiment 6) The reproducing apparatus includes an annotation input means for inputting, based on an instruction from the user annotation data to be added to the captured image data, the data acquisition means, input by the annotation input means video distribution system according to any one of embodiments 1 to 5, characterized in that to obtain the annotation data.
【0178】 [0178]
(実施態様7) 上記再生装置は、携帯電話端末であり、上記注釈入力手段は、上記携帯電話端末が有するデータ入力機能を利用して音声入力を行い、上記注釈データを音声データとして入力することを特徴とする実施態様1〜6の何れか1態様に記載の映像配信システム。 (Embodiment 7) The reproducing apparatus is a mobile telephone terminal, said annotation input unit performs a voice input using the data input functions of the mobile phone terminal has, to enter the annotation data as voice data video distribution system according to any one of embodiments 1 to 6, wherein.
【0179】 [0179]
(実施態様8) 上記データ取得手段により取得された関連データに基づいて、上記取得された注釈データを加工する注釈加工手段を有し、上記注釈保存手段は、上記注釈加工手段により加工された注釈データを記録媒体に保存することを特徴とする実施態様1〜7の何れか1態様に記載の映像配信システム。 Based on the associated data obtained by the (embodiment 8) The data acquiring means includes an annotation processing means for processing the annotation data the acquired, the annotation storage means, annotations that are processed by the annotation processing means video distribution system according to any one of embodiments 1 to 7, characterized in that storing data on a recording medium.
【0180】 [0180]
(実施態様9) 上記注釈加工手段は、上記データ取得手段により取得された注釈データの一部を選択的に加工することを特徴とする実施態様8に記載の映像配信システム。 (Embodiment 9) The annotation processing means, the video distribution system according to embodiment 8, wherein the selectively processing the portion of the annotation data acquired by the data acquisition means.
【0181】 [0181]
(実施態様10) 上記注釈データは音声注釈データであり、上記注釈加工手段は、事前に設定された予鈴音を上記音声注釈データに合成することを特徴とする実施態様8または9に記載の映像配信システム。 (Embodiment 10) above the annotation data is voice annotation data, the annotation processing means, the image according to pre-configured first bell sound embodiments 8 or 9, characterized in that the synthesis in the voice annotation data delivery system.
【0182】 [0182]
(実施態様11) 上記注釈データは音声注釈データであり、上記注釈加工手段は、別途設置された広告サーバに保存されている広告データを上記音声注釈データに合成することを特徴とする実施態様8〜10の何れか1態様に記載の映像配信システム。 (Embodiment 11) above the annotation data is voice annotation data, the annotation processing means embodiment is characterized in that the synthesis in the speech annotation data advertisement data stored in the advertisement server which is separately installed 8 10 video distribution system according to any one aspect.
【0183】 [0183]
(実施態様12) 上記注釈加工手段は、上記注釈データ内の音声注釈データを廃棄することを特徴とする実施態様8または9に記載の映像配信システム。 (Embodiment 12) above annotation processing means, video distribution system according to claim 8 or 9, characterized in that discarding the audio annotation data in the annotation data.
【0184】 [0184]
(実施態様13) 上記注釈加工手段は、上記注釈データの再生時における表現方法を加工することを特徴とする実施態様8〜12の何れか1態様に記載の映像配信システム。 (Embodiment 13) above annotation processing means, video distribution system according to any one of embodiments 8-12, wherein the processing the representation at the time of reproduction of the annotation data.
【0185】 [0185]
(実施態様14) 上記再生装置は、携帯電話端末であり、上記注釈加工手段は、上記携帯電話端末のバイブレーション機能により上記注釈データが再生されるように、上記注釈データを加工することを特徴とする実施態様13に記載の映像配信システム。 (Embodiment 14) The reproduction device is a mobile phone terminal, the annotation processing means, so that the annotation data is reproduced by vibration function of the mobile phone terminal, and characterized by processing the annotation data video distribution system according to embodiment 13.
【0186】 [0186]
(実施態様15) 上記注釈加工手段は、上記再生装置の表示装置の表示画面上へテロップが挿入されるように、上記注釈データを加工することを特徴とする実施態様13の映像配信システム。 (Embodiment 15) The annotation processing means, as a telop on the display screen of the display device of the reproducing apparatus is inserted, the video distribution system of embodiment 13, wherein the processing the annotation data.
【0187】 [0187]
(実施態様16) 上記映像配信装置は、上記撮影された映像データを記録媒体に蓄積する映像データ蓄積手段を有することを特徴とする実施態様1〜15の何れか1態様に記載の映像配信システム。 (Embodiment 16) above the video distribution device, a video distribution system according to any one of embodiments 1 to 15, characterized in that it comprises a video data storage means for storing a recording medium the video data the photographing .
【0188】 [0188]
(実施態様17) ネットワークを介して通信可能に接続された再生装置の表示装置に表示される映像に注釈を付与すべく、上記再生装置に注釈データを配信する注釈配信装置であって、上記注釈データを含む関連データを取得するデータ取得手段と、上記データ取得手段により取得された注釈データを記録媒体に保存する注釈保存手段と、上記データ取得手段により取得された関連データに基づいて、上記再生装置の表示装置に映像を表示するための映像データと、上記注釈保存手段により保存された注釈データとを対応付けるための情報を記述した同期記述を作成する同期記述作成手段と、上記同期記述作成手段により作成された同期記述を、上記再生装置からの要求に応じて配信する同期記述配信手段とを有することを特徴とする注釈配 (Embodiment 17) In order to add annotation to the image displayed on the display device communicatively coupled regenerative apparatus via a network, an annotation distribution system for distributing annotation data to the reproducing apparatus, the annotations a data acquisition means for acquiring relevant data, including data, and annotation storage means for storing annotation data acquired by the data acquisition means into a recording medium, based on the associated data obtained by the data acquisition means, the reproduction and video data for displaying an image on the display device of the device, the synchronization descriptor creating means for creating a synchronization descriptor describing information for associating the annotation data stored by the annotation storage means, the synchronization descriptor creating means annotations distribution of the synchronization descriptor created, and having a synchronization descriptor delivering device for delivering in response to a request from said reproducing apparatus by 信装置。 Communication apparatus.
【0189】 [0189]
(実施態様18) 上記データ取得手段により取得された関連データに基づいて、上記注釈データの発行者と、上記映像配信装置の接続状態とを識別する識別手段を有し、上記同期記述作成手段は、上記識別手段により識別された内容に基づいて、上記同期記述を作成することを特徴とする実施態様17に記載の注釈配信装置。 Based on the associated data obtained by the (embodiment 18) said data acquisition means, and the issuer of the annotation data having an identification means for identifying the connection state of the video distribution device, the synchronization descriptor creating means , based on the content identified by the identification means, the annotation distribution apparatus of claim 17, characterized in that to create the synchronization descriptor.
【0190】 [0190]
(実施態様19) 上記データ取得手段により取得された関連データに基づいて、上記注釈データを加工する注釈加工手段を有し、上記注釈保存手段は、上記注釈加工手段により加工された注釈データを記録媒体に保存することを特徴とする実施態様17または18に記載の注釈配信装置。 (Embodiment 19) based on the associated data obtained by the data obtaining means has an annotation processing means for processing the annotation data, the annotation storage means records the annotation data processed by the annotation processing means annotation distribution system according to embodiment 17 or 18, characterized in that stored in the medium.
【0191】 [0191]
(実施態様20) 上記注釈加工手段は、上記注釈データの再生時における表現方法を加工することを特徴とする実施態様19に記載の注釈配信装置。 (Embodiment 20) above annotation processing means, the annotation distribution apparatus of claim 19, wherein the processing the representation at the time of reproduction of the annotation data.
【0192】 [0192]
(実施態様21) ネットワークを介して配信された映像データに基づく映像と、注釈データに基づく注釈とを再生する再生装置であって、上記映像データと上記注釈データとを対応付けるための情報が記述された同期記述を取得する同期記述取得手段と、上記同期記述取得手段により取得された同期記述に基づいて、上記映像データに基づく映像と、上記注釈データに基づく注釈とを同期させて再生する再生手段とを有することを特徴とする再生装置。 A video based on the video data distributed via (Embodiment 21) network, a reproducing apparatus for reproducing annotations and based on the annotation data, information for associating the said image data and the annotation data is described a synchronization descriptor acquisition means for acquiring synchronization description was based on the synchronization description acquisition unit synchronously acquired by the description, the image based on the video data, reproducing means for reproducing by synchronizing the annotations based on the annotation data reproducing apparatus characterized by having and.
【0193】 [0193]
(実施態様22) 映像データに基づく映像と、上記映像データに対応する注釈データに基づく注釈とを再生する映像再生方法であって、上記注釈データを含む関連データを取得するデータ取得処理と、上記データ取得処理により取得された注釈データを記録媒体に保存する注釈保存処理と、上記データ取得処理により取得された関連データに基づいて、上記映像データと、上記注釈保存処理により保存された注釈データとを対応付けるための情報を記述した同期記述を作成する同期記述作成処理と、上記同期記述作成処理により作成された同期記述に基づいて、上記映像データに基づく映像と、上記注釈保存処理により保存された注釈データに基づく注釈とを同期させて再生する再生処理とを行うことを特徴とする映像再生方法。 A video based on (embodiment 22) video data, a video reproducing method for reproducing annotations and based on the annotation data corresponding to the video data, and the data acquisition process for acquiring related data including the annotation data, the and annotation storage process for storing the annotation data acquired by the data acquisition process on the recording medium, based on the associated data obtained by the data acquisition process, and the video data, and annotation data stored by the annotation storage process a synchronization descriptor creation process for creating a synchronous describing describing information for associating, based on the synchronization descriptor created by the synchronization descriptor generation process, the image based on the video data, stored by the annotation storage process method of reproducing video and performing a reproduction process of reproducing in synchronization annotations and based on the annotation data.
【0194】 [0194]
(実施態様23) 上記データ取得処理により取得された関連データに基づいて、上記注釈データの発行者と、上記映像配信装置の接続状態とを識別する識別処理を行い、上記同期記述作成処理は、上記識別処理により識別された内容に基づいて、上記同期記述を作成することを特徴とする実施態様22に記載の映像再生方法。 Based on the associated data obtained by the (embodiment 23) the data acquisition process, and the issuer of the annotation data, performs an identification process of identifying the connection state of the video distribution device, the synchronization descriptor creation process, based on the content identified by the identification process, the video reproduction method according to embodiment 22, wherein the creating the synchronization descriptor.
【0195】 [0195]
(実施態様24) 上記識別処理は、上記注釈データが、カメラ制御権を有するユーザによって発行されたものであるか否かを識別することを特徴とする実施態様23に記載の映像再生方法。 (Embodiment 24) the identification process, the annotation data, image reproducing method according to embodiment 23, wherein identifying whether or not issued by a user with a camera control right.
【0196】 [0196]
(実施態様25) 上記識別処理は、上記注釈データが、カメラ制御パラメータが事前に設定された条件を満たす状況で発行されたものであるか否かを識別することを特徴とする実施態様23または24に記載の映像再生方法。 (Embodiment 25) the identification process, the annotation data, embodiments 23 camera control parameter which is characterized in that identifying whether or not issued in satisfying conditions set in advance or video playback method according to 24.
【0197】 [0197]
(実施態様26) 上記識別処理は、上記注釈データ内に事前に設定されたキーワードが含まれているか否かを識別することを特徴とする実施態様23〜25の何れか1態様に記載の映像再生方法。 (Embodiment 26) the identification process, the image according to any one of embodiments 23 to 25, characterized in that identifying whether or not contains the keyword set in advance in the annotation data playback method.
【0198】 [0198]
(実施態様27) 上記撮影された映像データに付与する注釈データをユーザからの指示に基づいて入力する注釈入力処理を行い、上記データ取得処理は、上記注釈入力処理により入力された注釈データを取得することを特徴とする実施態様22〜26の何れか1態様に記載の映像再生方法。 (Embodiment 27) performs annotation input process of inputting based annotation data to be added to the captured image data to an instruction from a user, the data acquisition process, acquires the annotation data input by the annotation input processing image reproducing method according to any one of embodiments 22 to 26, characterized by.
【0199】 [0199]
(実施態様28) 上記注釈入力処理は、上記携帯電話端末が有するデータ入力機能を利用して音声入力を行い、上記注釈データを音声データとして入力することを特徴とする実施態様23〜27の何れか1態様に記載の映像再生方法。 (Embodiment 28) above the annotation input process, performs speech input using the data input functions of the mobile phone terminal has, either embodiment 23 to 27, characterized in that inputs the annotation data as voice data image reproducing method according to one embodiment.
【0200】 [0200]
(実施態様29) 上記データ取得処理により取得された関連データに基づいて、上記取得された注釈データを加工する注釈加工処理を行い、上記注釈保存処理は、上記注釈加工処理により加工された注釈データを記録媒体に保存することを特徴とする実施態様22〜28の何れか1態様に記載の映像再生方法。 Based on the associated data obtained by the (embodiment 29) the data acquisition process, performs annotation processing for processing the acquired annotation data, the annotation storing process, the annotation data processed by the annotation processing image reproducing method according to any one of embodiments 22 to 28, characterized in that stored in the recording medium.
【0201】 [0201]
(実施態様30) 上記注釈加工処理は、上記データ取得処理により取得された注釈データの一部を選択的に加工することを特徴とする実施態様29に記載の映像再生方法。 (Embodiment 30) above annotation processing the video reproducing method according to embodiment 29, wherein selectively processing the portion of the annotation data acquired by the data acquisition process.
【0202】 [0202]
(実施態様31) 上記注釈データは音声注釈データであり、上記注釈加工処理は、事前に設定された予鈴音を上記音声注釈データに合成することを特徴とする実施態様29または30に記載の映像再生方法。 (Embodiment 31) above the annotation data is voice annotation data, the annotation processing the video according to pre-configured first bell sound embodiments 29 or 30, characterized in that the synthesis in the voice annotation data playback method.
【0203】 [0203]
(実施態様32) 上記注釈データは音声注釈データであり、上記注釈加工処理は、別途設置された広告サーバに保存されている広告データを上記音声注釈データに合成することを特徴とする実施態様29〜31の何れか1態様に記載の映像再生方法。 (Embodiment 32) above the annotation data is voice annotation data, the annotation processing is embodiment is characterized in that synthesizes the advertisement data stored in the advertisement server which is separately installed in the voice annotation data 29 image reproducing method according to any one aspect of to 31.
【0204】 [0204]
(実施態様33) 上記注釈加工処理は、上記注釈データ内の音声注釈データを廃棄することを特徴とする実施態様29または30に記載の映像再生方法。 (Embodiment 33) above annotation processing the video reproduction method according to claim 29 or 30, characterized in that discarding the audio annotation data in the annotation data.
【0205】 [0205]
(実施態様34) 上記注釈加工処理は、上記注釈データの再生時における表現方法を加工することを特徴とする実施態様29〜33の何れか1態様に記載の映像再生方法。 (Embodiment 34) above annotation processing the video reproducing method according to any one of embodiments 29-33, wherein processing the representation at the time of reproduction of the annotation data.
【0206】 [0206]
(実施態様35) 上記注釈加工処理は、携帯電話端末のバイブレーション機能により上記注釈データが再生されるように、上記注釈データを加工することを特徴とする実施態様34に記載の映像再生方法。 (Embodiment 35) above annotation processing, as described above annotation data is reproduced by vibration function of the mobile telephone terminal, a video playback method according to embodiment 34, wherein the processing the annotation data.
【0207】 [0207]
(実施態様36) 上記注釈加工処理は、上記再生装置の表示装置の表示画面上へテロップが挿入されるように、上記注釈データを加工することを特徴とする実施態様35に記載の映像再生方法。 (Embodiment 36) above annotation processing, as the telop on the display screen of the display unit of the reproducing apparatus is inserted, the video reproducing method of claim 35, characterized in that processing the annotation data .
【0208】 [0208]
(実施態様37) 上記撮影された映像データを記録媒体に蓄積する映像データ蓄積処理を行うことを特徴とする実施態様22〜36の何れか1態様に記載の映像再生方法。 (Embodiment 37) video reproduction method according to any one of embodiments 22-36, wherein performing the image data accumulation processing for accumulating the said captured record medium the video data.
【0209】 [0209]
(実施態様38) 映像データに基づく映像と、上記映像データに対応する注釈データに基づく注釈とを再生するに際し、上記注釈データを含む関連データを取得するデータ取得処理と、上記データ取得処理により取得された注釈データを記録媒体に保存する注釈保存処理と、上記データ取得処理により取得された関連データに基づいて、上記映像データと、上記注釈保存処理により保存された注釈データとを対応付けるための情報を記述した同期記述を作成する同期記述作成処理と、上記同期記述作成処理により作成された同期記述に基づいて、上記映像データに基づく映像と、上記注釈保存処理により保存された注釈データに基づく注釈とを同期させて再生する再生処理とをコンピュータに実行させることを特徴とするコンピュータプログ A video based on (Embodiment 38) video data, when playing a note and based on the annotation data corresponding to the image data acquisition, and data acquisition processing for acquiring related data including the annotation data, by the data acquisition process and annotation storage process for storing the annotation data to the recording medium, based on the associated data obtained by the data acquisition process, information for associating the image data, and annotation data stored by the annotation storage process a synchronization descriptor creation processing for creating the described synchronous describe, based on the synchronization descriptor created by the synchronization descriptor generation process, the image based on the video data, the annotation based on annotation data stored by the annotation storage process computer programming, characterized in that to execute a regeneration process on the computer to play in synchronization bets ラム。 Lamb.
【0210】 [0210]
(実施態様39) 上記実施態様38に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。 (Embodiment 39) A computer-readable recording medium characterized by recording a computer program according to the embodiment 38.
【0211】 [0211]
【発明の効果】 【Effect of the invention】
以上説明したように本発明によれば、映像データと注釈データとを対応付けるための情報を記述した同期記述に基づいて、上記映像データに基づく映像と、上記注釈データに基づく注釈とを同期させて再生するようにしたので、上記映像に付与される注釈を分別して再生することが可能になり、映像アーカイブの作成や、映像を介したコミュニティ形成を効果的に進めることが可能となる。 According to the present invention described above, based on the description synchronization describing information for associating the image data and the annotation data, and video based on the video data, and is synchronized with the annotations based on the annotation data since to reproduce, it is possible to reproduce fractionated annotations applied to the video, the creation and video archives, it is possible to advance the community formation via video effectively.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の第1の実施形態を示し、映像配信装置を適用したネットワークシステムの構成の一例を示した図である。 [1] shows a first embodiment of the present invention and shows an example of a configuration of a network system to which the video distribution device.
【図2】本発明の第1の実施形態を示し、図1のネットワークシステムに、広く普及したWeb技術を併用したネットワークシステムの構成の一例を示した図である。 Figure 2 shows a first embodiment of the present invention, the network system of FIG. 1 is a diagram showing an example of the configuration of a widespread network system in combination with Web technology.
【図3】本発明の第1の実施形態を示し、カメラサーバのハードウェア構成の一例を示した図である。 Figure 3 shows a first embodiment of the present invention and shows an example of a hardware configuration of the camera server.
【図4】本発明の第1の実施形態を示し、ビューワを動作させるハードウェア構成の一例を示した図である。 Figure 4 shows a first embodiment of the present invention and shows an example of a hardware configuration for operating the viewer.
【図5】本発明の第1の実施形態を示し、ネットワークシステムを動作させる際のプログラムを構成する部分を模式化して示した図である。 Figure 5 shows a first embodiment of the present invention and shows a portion of the program in operating a network system schematic form.
【図6】本発明の第1の実施形態を示し、ビューワ側での動作の一例を説明するフローチャートである。 6 shows a first embodiment of the present invention, is a flowchart for explaining an example of operation at the viewer side.
【図7】本発明の第1の実施形態を示し、カメラサーバ内のカメラ制御サーバの動作の一例を説明するフローチャートである。 7 shows a first embodiment of the present invention, is a flow chart illustrating an example of an operation of the camera control server in the camera server.
【図8】本発明の第1の実施形態を示し、カメラサーバ内の映像サーバの動作の一例を説明するフローチャートである。 8 shows a first embodiment of the present invention, is a flowchart for explaining an example of operation of the video server in the camera server.
【図9】本発明の第1の実施形態を示し、ビューワプログラムが動作している時のクライアント(ビューワマシン)における表示画面の一例を示した図である。 9 shows a first embodiment of the present invention and shows an example of a display screen in the client (viewer machine) when the viewer program is running.
【図10】本発明の第1の実施形態を示し、カメラサーバ設定プログラムの表示画面の一例を示した図である。 [Figure 10] shows a first embodiment of the present invention and shows an example of a display screen of the camera server configuration program.
【図11】本発明の第1の実施形態を示し、カメラサーバの設定プログラムの動作の一例を説明するフローチャートである。 [Figure 11] shows a first embodiment of the present invention, is a flowchart illustrating an example of an operation of the camera server configuration program.
【図12】本発明の第1の実施形態を示し、注釈サーバを動作させるハードウェア構成の一例を示した図である。 [Figure 12] shows a first embodiment of the present invention and shows an example of a hardware configuration for operating the annotation server.
【図13】本発明の第1の実施形態を示し、注釈サーバの動作の一例を説明するフローチャートである。 [Figure 13] shows a first embodiment of the present invention, is a flowchart illustrating an example of the operation of the annotation server.
【図14】本発明の第1の実施形態を示し、蓄積映像を再生する際の表示画面(ビューワ画面)の一例を示した図である。 [Figure 14] shows a first embodiment of the present invention and shows an example of a display screen (viewer screen) when reproducing the stored video.
【図15】本発明の第1の実施形態を示し、同期記述の内容の一例を示した図である。 [Figure 15] shows a first embodiment of the present invention and shows an example of the content of the synchronization description.
【図16】本発明の第1の実施形態の変形例を示し、ネットワークシステムの構成の一例を示した図である。 [Figure 16] shows a modification of the first embodiment of the present invention and shows an example of a configuration of a network system.
【図17】本発明の第1の実施形態の変形例を示し、蓄積映像を再生する際にテロップ表示を挿入した表示画面(ビューワ画面)の一例を示した図である。 [Figure 17] shows a modification of the first embodiment of the present invention and shows an example of a display screen by inserting the telop display when reproducing the stored video (viewer screen).
【図18】本発明の第1の実施の形態の変形例を示し、蓄積映像を再生する際にふきだし表示を挿入した表示画面(ビューワ画面)の一例を示した図である。 [Figure 18] shows a modification of the first embodiment of the present invention and shows an example of a display screen by inserting a display balloon when reproducing the stored video (viewer screen).
【符号の説明】 DESCRIPTION OF SYMBOLS
101、102 カメラサーバ200 クライアント端末300 中継サーバ400 注釈サーバ500 ルータ501 カメラ制御サーバ502 映像サーバ503 カメラ制御部504 映像表示部505 注釈入力部506 同期再生部507 データベース部508 同期生成部601、602 携帯電話端末700 WWWサーバ 101,102 camera server 200 client terminal 300 the relay server 400 annotation server 500 router 501 camera control server 502 video server 503 camera control unit 504 display unit 505 annotation input unit 506 synchronized playback unit 507 database unit 508 synchronization generation unit 601 and 602 mobile telephone terminal 700 WWW server

Claims (1)

  1. 撮影された映像データを配信するための映像配信装置と、上記映像データに付与する注釈データを配信するための注釈配信装置と、上記映像配信装置から配信された映像データに基づく映像と、上記注釈配信装置から配信された注釈データに基づく注釈とを再生する再生装置とをネットワークを介して通信可能に接続した映像配信システムであって、 A video distribution apparatus for distributing captured image data, and annotation distribution device for distributing an annotation data to be added to the video data, and video based on the video data distributed from the video distribution device, the annotation a video distribution system that communicably connected via a network and a reproducing apparatus for reproducing annotations and based on the annotation data distributed from the distribution device,
    上記注釈配信装置は、上記注釈データを含む関連データを取得するデータ取得手段と、 The annotation distribution device, a data acquisition means for acquiring the associated data including the annotation data,
    上記データ取得手段により取得された注釈データを記録媒体に保存する注釈保存手段と、 And annotation storage means for storing annotation data acquired by the data acquisition means into a recording medium,
    上記データ取得手段により取得された関連データに基づいて、上記映像データと、上記注釈保存手段により保存された注釈データとを対応付けるための情報を記述した同期記述を作成する同期記述作成手段とを有し、 Yes it based on the associated data obtained by the data obtaining means, and the video data, and a synchronization descriptor creating means for creating a synchronization descriptor describing information for associating the annotation data stored by the annotation storage means and,
    上記再生装置は、上記同期記述作成手段により作成された同期記述に基づいて、上記映像配信装置から配信された映像データに基づく映像と、上記注釈保存手段により保存された注釈データに基づく注釈とを同期させて再生する再生手段を有することを特徴とする映像配信システム。 The reproducing apparatus, based on the created synchronization described by the synchronization descriptor creating means, a video based on the video data distributed from the video distribution device, the annotations and based on the annotation data stored by the annotation storage means video distribution system, characterized in that it comprises a reproducing means for reproducing in synchronization.
JP2002359651A 2002-12-11 2002-12-11 Video distribution system Pending JP2004193979A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002359651A JP2004193979A (en) 2002-12-11 2002-12-11 Video distribution system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002359651A JP2004193979A (en) 2002-12-11 2002-12-11 Video distribution system

Publications (1)

Publication Number Publication Date
JP2004193979A true true JP2004193979A (en) 2004-07-08

Family

ID=32758995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002359651A Pending JP2004193979A (en) 2002-12-11 2002-12-11 Video distribution system

Country Status (1)

Country Link
JP (1) JP2004193979A (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115046A (en) * 2004-10-13 2006-04-27 Canon Inc Video image distribution apparatus and client
JP2008136530A (en) * 2006-11-30 2008-06-19 Daiichikosho Co Ltd Automatic recorded data output system
WO2008090859A1 (en) * 2007-01-22 2008-07-31 Sony Corporation Information processing device and method, and program
US7555494B2 (en) 2004-08-05 2009-06-30 Kabushiki Kaisha Toshiba Reproducing a moving image in a media stream
JP2010109654A (en) * 2008-10-30 2010-05-13 Vibo Telecom Inc Framework, method and system of communication for providing audio and/or video signal on remotely-controlled real time basis
JP2010525497A (en) * 2007-05-11 2010-07-22 ジェネラル・インスツルメント・コーポレーションGeneral Instrument Corporation METHOD AND APPARATUS annotate video content by the metadata generated using speech recognition technology
JP2011023811A (en) * 2009-07-13 2011-02-03 Nec Corp Content processing apparatus
JP4774461B2 (en) * 2006-12-22 2011-09-14 グーグル インコーポレイテッドGoogle Inc. Video of the annotation framework
JP2014504760A (en) * 2011-03-16 2014-02-24 ペキン ユニバーシティ Superimposed annotation output
JP2014525084A (en) * 2011-06-30 2014-09-25 アマゾン・テクノロジーズ、インコーポレイテッド Remote browsing session management
JP2015057896A (en) * 2006-12-11 2015-03-26 株式会社ドワンゴ Comment distribution system, terminal device, comment distribution method, and program
US9336321B1 (en) 2012-01-26 2016-05-10 Amazon Technologies, Inc. Remote browsing and searching
US9621406B2 (en) 2011-06-30 2017-04-11 Amazon Technologies, Inc. Remote browsing session management
US10063618B2 (en) 2011-08-26 2018-08-28 Amazon Technologies, Inc. Remote browsing session management
US10089403B1 (en) 2011-08-31 2018-10-02 Amazon Technologies, Inc. Managing network based storage

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7555494B2 (en) 2004-08-05 2009-06-30 Kabushiki Kaisha Toshiba Reproducing a moving image in a media stream
JP4717408B2 (en) * 2004-10-13 2011-07-06 キヤノン株式会社 Video distribution system and method
JP2006115046A (en) * 2004-10-13 2006-04-27 Canon Inc Video image distribution apparatus and client
JP2008136530A (en) * 2006-11-30 2008-06-19 Daiichikosho Co Ltd Automatic recorded data output system
JP2015057896A (en) * 2006-12-11 2015-03-26 株式会社ドワンゴ Comment distribution system, terminal device, comment distribution method, and program
JP2016105600A (en) * 2006-12-11 2016-06-09 株式会社ドワンゴ Comment distribution server, comment distribution method, and program
US9805012B2 (en) 2006-12-22 2017-10-31 Google Inc. Annotation framework for video
JP4774461B2 (en) * 2006-12-22 2011-09-14 グーグル インコーポレイテッドGoogle Inc. Video of the annotation framework
US8151182B2 (en) 2006-12-22 2012-04-03 Google Inc. Annotation framework for video
WO2008090859A1 (en) * 2007-01-22 2008-07-31 Sony Corporation Information processing device and method, and program
JP5500334B2 (en) * 2007-01-22 2014-05-21 ソニー株式会社 An information processing apparatus and method, and program
JP2010525497A (en) * 2007-05-11 2010-07-22 ジェネラル・インスツルメント・コーポレーションGeneral Instrument Corporation METHOD AND APPARATUS annotate video content by the metadata generated using speech recognition technology
JP2010109654A (en) * 2008-10-30 2010-05-13 Vibo Telecom Inc Framework, method and system of communication for providing audio and/or video signal on remotely-controlled real time basis
JP2011023811A (en) * 2009-07-13 2011-02-03 Nec Corp Content processing apparatus
US9715326B2 (en) 2011-03-16 2017-07-25 Peking University Superimposed annotation output
JP2014504760A (en) * 2011-03-16 2014-02-24 ペキン ユニバーシティ Superimposed annotation output
US9621406B2 (en) 2011-06-30 2017-04-11 Amazon Technologies, Inc. Remote browsing session management
JP2014525084A (en) * 2011-06-30 2014-09-25 アマゾン・テクノロジーズ、インコーポレイテッド Remote browsing session management
US10063618B2 (en) 2011-08-26 2018-08-28 Amazon Technologies, Inc. Remote browsing session management
US10089403B1 (en) 2011-08-31 2018-10-02 Amazon Technologies, Inc. Managing network based storage
US9336321B1 (en) 2012-01-26 2016-05-10 Amazon Technologies, Inc. Remote browsing and searching

Similar Documents

Publication Publication Date Title
US20060087987A1 (en) Interactive video collaboration framework
US7020704B1 (en) System and method for distributing media assets to user devices via a portal synchronized by said user devices
US7508535B2 (en) Stand alone multimedia printer with user interface for allocating processing
US7177881B2 (en) Network media channels
US7823080B2 (en) Information processing apparatus, screen display method, screen display program, and recording medium having screen display program recorded therein
US20090327894A1 (en) Systems and methods for remote control of interactive video
US20090070840A1 (en) Terminal-Cooperated System, Terminal, Server and Method for Uninterrupted Reception of Contents
US20020105529A1 (en) Generation and display of multi-image video streams
US20060174026A1 (en) System and method for a remote user interface
US7177872B2 (en) Interface for media publishing
US20030001948A1 (en) Content distribution system and distribution method
US20090241149A1 (en) Content reproduction system, remote control device, and computer program
US20050228861A1 (en) Minute file creation method, minute file management method, conference server, and network conference system
JP2005130196A (en) Contents-providing service system
US20010053284A1 (en) Photographing apparatus for three-dimensional image and method therefor
JP2003076380A (en) Method of displaying videos of users&#39; own making as karaoke sing-along background videos with karaoke sing- along machines scattered in various places
JP2002238040A (en) Video conference system
JP2007074529A (en) Contents continuously viewing system
JP2006148730A (en) Conference system and conference information providing method
JP2006100885A (en) Streaming data receiving and reproducing terminal
CN103997688A (en) Intelligent interaction system, intelligent interaction device and intelligent interaction method
US20080307477A1 (en) Systems and methods for server-side filtering
JP2003244425A (en) Method and apparatus for registering on fancy pattern of transmission image and method and apparatus for reproducing the same
JP2004215126A (en) Multilanguage adaptive moving picture delivery system
JP2002176619A (en) Media editing method and apparatus thereof