JP2007142750A - 映像閲覧システム、コンピュータ端末並びにプログラム - Google Patents

映像閲覧システム、コンピュータ端末並びにプログラム Download PDF

Info

Publication number
JP2007142750A
JP2007142750A JP2005333028A JP2005333028A JP2007142750A JP 2007142750 A JP2007142750 A JP 2007142750A JP 2005333028 A JP2005333028 A JP 2005333028A JP 2005333028 A JP2005333028 A JP 2005333028A JP 2007142750 A JP2007142750 A JP 2007142750A
Authority
JP
Japan
Prior art keywords
video
user
information
event
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005333028A
Other languages
English (en)
Inventor
Tsutomu Miyaji
力 宮地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NAT AGENCY FOR ADVANCEMENT
National Agency For Advancement Of Sports & Health
Original Assignee
NAT AGENCY FOR ADVANCEMENT
National Agency For Advancement Of Sports & Health
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NAT AGENCY FOR ADVANCEMENT, National Agency For Advancement Of Sports & Health filed Critical NAT AGENCY FOR ADVANCEMENT
Priority to JP2005333028A priority Critical patent/JP2007142750A/ja
Priority to PCT/JP2006/322720 priority patent/WO2007058192A1/ja
Publication of JP2007142750A publication Critical patent/JP2007142750A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/745Browsing; Visualisation therefor the internal structure of a single video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4828End-user interface for program selection for searching program descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6581Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405Generation or processing of descriptive data, e.g. content descriptors represented by keywords

Abstract

【課題】ネットワークを利用してストリーミング映像に含まれるシーン及び当該シーンに付されたアノテーション情報を検索・閲覧可能とする。
【解決手段】ストリーミングサーバに登録されたストリーミング映像について、各ストリーミング映像に含まれる任意のイベントに関し少なくとも映像IDと当該映像における開始時間・終了時間とイベント内容とを登録した検索テーブルを有する検索サーバを備える。この検索サーバはユーザ端末からの要求に応じて条件に合致する映像シーンを検索し、少なくとも当該シーンに係る映像IDと開始時間・終了時間とを含むシーン情報をユーザ端末に送信する。ユーザ端末がいずれかのシーン情報を指定して映像配信要求を行うと、その映像のその時間幅がストリーミング配信される。また、任意のシーンについて別途作成されたコーチング等の付加情報が関連づけられており、シーン閲覧に際しこの付加情報も享受できるようにする。
【選択図】 図1

Description

本発明は、インターネットを介した映像閲覧システムに関し、特に、映像を用いたスポーツのコーチング及び習熟に有用な映像閲覧システムに関する。
スポーツの習熟、競技力向上やコーチングにおいて体の動かし方を直感的に把握するために、映像は非常に重要である。また、スポーツファンの人間であれば、好きな選手の名シーンを好きなときに見返したいと思うこともある。近年ではインターネット上の検索エンジンで映像検索技術が実用化され、ユーザが映像を検索できるようになっている。
また、例えば特許文献1では、指導を受ける受講者のビデオ映像を用いて体の動かし方を指導したり、手本となる指導者の映像と受講者の映像を並べて表示して、正しいフォームやタイミングを受講者に理解できるようにすることが提案されている。また、特許文献2には、指導者の模範的演技を図形や文字・音声で表示してウィークポイントの是正に役立たせようとすることが提案されている。
特開平7−144038号公報 特開2002−11132号公報
しかしながら、世の中には様々なスポーツ映像が存在し、これらがそれぞれ管理者により任意のファイル名で管理されているため、見たい映像を探し出すには困難が伴うことが多い。特に、例えば見たい映像が試合中の1シーンであるような場合にはこれを特定して検索するのは非常に困難である。一方、スポーツ指導者やその受講者等のユーザが自ら撮影した、あるいはインターネットを介して取得した映像をすべて自己のコンピュータに保存するには膨大な記憶容量が必要となりあまり現実的でない。また、例えばスポーツの指導現場では指導者が映像を受講者に見せながら音声や図示等を加えながら説明していくことが多いが、このコーチング情報を後に他人が利用できるようになれば広く競技力の向上につながると考えられる。また、例えば同じスポーツ映像を用いて複数の指導者が別途コーチングを行うこともあり、同じ映像について異なるまたは好みの指導者のコーチング情報を入手できるとすれば便宜となる。
本発明はこのような課題を解決するため、競技団体、スポーツクラブ、大学等さらには広く一般ユーザまで好適に利用可能なシステムを構築することを目的とし、ひいては国際競技力の向上に寄与することを目的とする。
この目的を達成すべく、本発明の映像閲覧システムは、映像ストリーミングサーバに登録された1以上のストリーミング映像について、各ストリーミング映像に含まれる任意のイベントに関し少なくとも映像IDと当該映像における開始時間・終了時間とイベント内容とが登録された検索テーブルと、ユーザ端末からの検索要求に応じて前記検索テーブルを参照して条件に合致する映像シーンを検索し、少なくとも当該シーンに係る映像IDと開始時間・終了時間とを含むシーン情報を作成してユーザ端末に送信する検索処理手段とを備え、ユーザ端末がいずれかのシーン情報を指定して映像配信要求を行うことにより、ユーザが所望するシーンをストリーミング閲覧可能としたことを最も主要な特徴とする。
前記検索処理手段は、前記検索要求に含まれるキーワードが完全一致又は部分一致するイベントを検索する機能と、検索抽出された2以上のイベントの時間幅が重複又は連続する映像シーンを検索する機能と、これらの条件をさらにand又はor検索する機能とを備え、前記検索要求に応じて条件に合致する映像シーンを特定することが有効である。
前記検索処理手段が、検索テーブルにおいて検索した映像シーンと同じ映像IDであって時間幅が重複するイベントのイベント内容をすべて抽出し、当該映像シーンのイベント内容として前記シーン情報に含めることが有効である。
本発明の映像閲覧システムがさらに、任意のイベントについて線画・音声・文字のいずれか1以上を含む付加情報が登録される付加情報格納手段を備えるとともに、各付加情報に係る映像IDと時間情報とアクセスパスとが前記検索テーブルに登録されており、前記検索処理手段が前記映像シーンの検索に加え、検索した映像シーンと映像IDが同じで映像時間が重複する付加情報を検索し、そのアクセスパスを前記シーン情報に含めることにより、ユーザが所望するシーンとともに当該シーンに付された付加情報を取得可能としたことが有効である。
さらに、前記映像ストリーミングサーバからユーザ端末への映像ストリーミング配信を中継する1以上のリレーゲート手段と、各ストリーミング映像の映像ID及びURLとこの映像を担当するリレーゲート手段へのアクセスパスとが登録された映像管理テーブルと、前記ユーザ端末から映像IDを含む映像配信要求を受けた場合に前記映像管理テーブルを参照して要求映像に対応するリレーゲート手段へのアクセスパスをユーザ端末に返信するマスタサーバとを備え、前記リレーゲート手段は前記ユーザ端末からアクセスを受けると当該ユーザ端末の識別情報を前記マスタサーバに送信し、これを受けて前記マスタサーバは前記映像管理テーブルを参照して前記ストリーミング映像のURLを前記リレーゲート手段に送信し、これにより前記リレーゲート手段が前記ストリーミング映像の中継を実行することが有効である。
前記映像管理テーブルには各映像について閲覧が許可されたユーザ及び/又はユーザグループのリストが登録されているとともに、前記マスタサーバは前記ユーザ端末から映像配信要求を受けた場合に当該ユーザ及び/又は当該ユーザが属するユーザグループがこの映像の閲覧を許可されているかを確認することが有効である。
さらに、ユーザごとのユーザID及びパスワードを登録するユーザ管理テーブルと、前記マスタサーバ等から問い合わせを受けた場合に前記ユーザ管理テーブルを参照してユーザ認証を行いその結果を返信するユーザ認証処理手段とを備えることが有効である。
前記映像管理テーブルに前記ストリーミング映像の元映像であるダウンロード用ファイルのアクセスパスが登録されており、前記マスタサーバがユーザ端末からダウンロード要求を受けた場合に所定条件の下に前記ダウンロード用ファイルへのアクセスパスを前記ユーザ端末に通知することが有効である。
また本発明は、上記の映像閲覧システムに用いられ、前記検索テーブルの登録内容を定義するイベント入力端末であって、前記ストリーミング映像を再生する映像再生部と、当該映像に含まれるイベントの内容を定義するイベント内容定義部と、前記ストリーミング映像における各イベントの開始時間及び終了時間を定義するイベント時間定義部とを備え、ユーザの操作又は自動処理により映像IDと、開始時間及び終了時間と、イベント内容とを含むイベント情報を作成することを特徴とするイベント入力端末に関する。
また本発明は、このイベント入力端末で動作するプログラムであって、前記ストリーミング映像を再生するステップと、ユーザの入力操作があった場合又は前記ストリーミング映像又は音声が所定条件を満たす場合にイベントを認識して予め設定された内容のイベント情報を定義するステップと、これと同時にストリーミング映像におけるイベント発生時を定義してこれらの情報を映像IDとともにXML形式のイベント情報として作成するステップと、をコンピュータに実行させることを特徴とするプログラムに関する。
また本発明は、上記の映像閲覧システムに用いられ、前記付加情報を作成するためのコンピュータ端末であって、前記ストリーミング映像を再生及び一時停止する映像表示部と、少なくとも文字・線画・音声のいずれか1以上を入力可能な付加情報入力部とを備え、一時停止されたストリーミング映像画面上に仮想レイヤを作成し、当該仮想レイヤの画面定義情報として前記入力された文字・線画・音声を定義してXML形式の付加情報を作成することを特徴とする付加情報入力端末に関する。
また本発明は、この付加情報入力端末で動作するプログラムであって、前記ストリーミング映像を再生するステップと、ユーザからの入力操作があった場合にストリーミング映像を一時停止するステップと、ユーザから文字・線画・音声いずれかの入力情報を取得して前記一時停止した映像画面上に仮想レイヤを作成し、当該仮想レイヤの画面定義情報として前記入力情報を含むXML形式の付加情報を作成するステップと、をコンピュータに実行させることを特徴とするプログラムに関する。
さらに本発明は、上記システムに用いるユーザ端末であって、ユーザの所望する映像シーンの検索条件を設定する検索条件設定部と、前記検索処理手段からのシーン情報をリスト表示するシーン情報表示部と、ユーザが選択したシーンのストリーミング映像を再生する映像再生部とを備え、前記検索条件設定部はユーザが直接入力又は選択した検索パラメータ又はその組み合わせを前記検索処理手段に送信し、前記シーン情報表示部は検索結果として表示したいずれかのシーン情報がユーザに選択された場合に当該シーン情報が含む映像IDと、開始時間及び終了時間と、予め取得しているユーザ識別情報及びパスワードとを前記マスタサーバに送信して映像配信要求を行うことを特徴とするユーザ端末に関する。
また本発明は、このユーザ端末で動作するプログラムであって、ユーザに選択可能に提示あるいは直接入力により検索パラメータ又はその組み合わせを取得して前記検索処理手段に送るステップと、前記検索処理手段からのシーン情報を選択可能に表示するステップと、ユーザに選択されたシーン情報に含まれる映像IDと、開始時間及び終了時間と、予め取得しているユーザ識別情報及びパスワードとを前記マスタサーバに送信して映像配信を要求するステップとをコンピュータに実行させることを特徴とするプログラムに関する。
このプログラムがさらに、前記ユーザに選択されたシーン情報が付加情報のアクセスパスを含んでいる場合に当該付加情報を取得してユーザに選択可能に提示するステップと、ユーザによりいずれかの付加情報が選択された場合、映像シーンの再生時に前記付加情報が示す時刻が到来したら前記ストリーミング映像を一時停止させ、前記付加情報に定義された文字・線画・音声等の情報を再生画面上に表示するステップとをコンピュータに実行させることが有効である。
このプログラムがさらに、予め1以上のパラメータ及び所定の処理手順を組み合わせて作成された検索条件ファイルを読み込んで、当該ファイルに定義されたパラメータをユーザに提示しユーザに選択入力あるいは直接入力されたパラメータを用いて検索要求を作成あるいは別の検索条件ファイルを取得するステップをコンピュータに実行させることが有効である。
本発明のシステムでは、システムで扱うストリーミング映像を任意のイベント群として把握し、各イベントにイベント内容を付して検索可能とすることにより、ストリーミング映像全体ではなく当該映像に含まれるユーザ所望のシーンを検索・閲覧できるようにしている。情報量が乏しい映像全体の情報からではなく、多数のイベント毎に付された情報から検索可能であるためユーザが所望の映像シーンを検索し易くなる。また、1つのストリーミング映像ファイルから多数の映像シーンを抽出して閲覧・配信可能であるため、多数の映像ファイルを個別に扱う場合に比して処理負担の低減と記憶資源の節約を達成することができる。
また、検索処理手段(検索サーバ)が行う映像シーンの検索を、完全一致又は部分一致検索、検索された2以上のイベントの時間幅が重複又は連続する場合を検索、これらの条件をさらにand又はor検索することにより、後に詳述するように、前述のイベントの枠を越えてユーザが所望するシーンを検索することができる。すなわち本発明でのシーン検索によれば、検索結果として提示されるシーンが1つのイベントの一部のみであったり、2つ以上のイベントをまとめたものであったりする。ユーザはこのようにして希望するシーンを検索・閲覧することができる。
また、検索処理手段がユーザ端末に提示するシーン情報には、この映像シーンと同じ映像IDであって時間幅が重複するイベントすべてのイベント内容を含めることにより、ユーザが検索結果のうちどのシーンを閲覧するかの判断材料が多くなり好適となる。
また、本願システムでは任意の映像に付されたコーチングやデータなどの付加情報(アノテーション情報)が別途存在し、ユーザが映像シーンとともにこの付加情報を取得して享受できるようにしている。これによりユーザがシーン閲覧とともにコーチング情報を得て、競技力の向上を図ることができる。
また、本発明のシステムでは各ストリーミング映像の情報を映像管理テーブルで一元管理し、各映像への案内をマスタサーバが担当するようにしたため、ストリーミング映像をネットワーク上の任意の場所に登録することができ、ストリーミングサーバの負荷分散やシステムの拡張性向上を図ることができる。また、ストリーミングサーバの前段にリレーゲートを設けこれを介してストリーミング配信を行うようにして、映像閲覧のセキュリティを高度に維持しつつ、ユーザの余計な認証の手間を軽減するようにしている。
さらに、本願システムでは映像管理テーブルで各映像の閲覧を許可するユーザ/グループを管理し、映像配信要求の際にユーザ又はグループを確認して映像閲覧の許可/不許可を判断することにより、ストリーミング映像を所望のユーザ/グループにのみ閲覧させることができ、安全性と利便性を向上することができる。
また、各ユーザをユーザIDおよびパスワードで管理し、システム利用の際にユーザ認証処理手段が認証を行うことにより、制限されたユーザにシステム利用及び映像閲覧を許可するようにしてセキュリティ性及び利便性を向上することができる。
さらに、ストリーミング映像の元映像をダウンロードサーバに登録して、希望するユーザが所定の手順でダウンロードできるように構成すると、例えば他の研究機関等が画質の良い映像を繰り返し利用したい場合等に便宜となる。
また本発明にかかるイベント入力端末またはそのプログラム(イベントエディタ)はオペレータが映像を見ながらイベント時間及び内容を定義する機能を備え、これによりシステム側で各映像を多数のイベント群として把握することができ、ユーザが希望するシーンを検索・閲覧することが可能となる。
また本発明にかかる付加情報入力端末(アノテーション端末)またはそのプログラムによれば、オペレータが映像を見ながら適宜の瞬間にコーチング等の付加情報(アノテーション情報)を作成することができるため、以降に他のユーザが映像とともにこの付加情報を閲覧・享受することができる。
また本発明にかかるユーザ端末またはそのプログラム(ビューワ)は、ユーザの所望するシーンの検索を補助して上述した検索処理手段に検索要求を行い、返信されるシーン情報(実施例におけるscenebit)を選択可能に提示し、ユーザが選択したシーン情報に定義されたシーンを取得して再生するため、ユーザはこれを用いて自らが希望するシーンを検索して閲覧することができる。
また、このプログラムは検索処理手段からのシーン情報(scenebit)が付加情報(アノテーション情報)を含む場合にユーザに提示し、選択された付加情報を取得してストリーミング再生時に画面上に仮想レイヤとして表示するようにしたため、ユーザは映像閲覧に際しシーンに付されたアノテーション情報を享受することができる。
また、このプログラムが予め用意された検索条件ファイル(実施例におけるsceneQuery)を読み込んで、ここに定義されたパラメータを提示し実行することにより、ユーザが所望シーンを検索する際の労力を軽減することができる。
本発明を実施するための最良の実施形態について図面を参照しながら以下に詳細に説明する。
図1は、本願にかかる映像閲覧システムの全体構成を示すイメージ図である。図に示すように、本発明の映像閲覧システムではマスタサーバ10、検索サーバ20、映像ストリーミングサーバ30、イベントサーバ40、アノテーションサーバ50、ダウンロードサーバ60、ユーザ管理サーバ70、イベント入力端末80、アノテーション入力端末90、クライアント端末100、ゲートウェイ端末であるリレーゲート110がインターネット等の広域ネットワーク1に接続されている。
本発明にかかる映像閲覧システムは、映像ストリーミングサーバ30に登録されたストリーミング映像を任意のイベント群として把握し、各ユーザ端末80、90、100でユーザが所望するシーンを閲覧可能とするとともに、当該映像シーンに関連づけられたコーチング等の付加情報(本願明細書中、アノテーション情報と称す。)を映像に重ねて出力可能とし、さらに、これらのイベントまたはアノテーション情報をユーザ端末から容易に検索、閲覧できるようにするものである。
各種サーバ10〜70は、インターネット1に接続された例えばワークステーションサーバであり、予めインストールされたプログラム制御により動作し、インターネット1を介してウェブサービスを提供する。また、マスタサーバ10、検索サーバ20、イベントサーバ40、アノテーションサーバ50等はインターネット1上にウェブサイトを公開し入力情報を取得するウェブサーバとしての機能も有している。ここで、図に示す各種サーバは本発明の動作を実現する機能群ごとに設けているが、他の実施例では1のサーバが図1に示す他の1以上のサーバの機能を兼ねてもよい。これに対しイベント入力端末80、アノテーション入力端末90、クライアント端末100は例えばスポーツの指導者や受講者といったユーザや、システム上に映像や後述するイベント情報を登録しようとする者が使用するコンピュータ端末であり、少なくともインターネットサイトを閲覧するウェブブラウザの他、必要に応じて後述する映像ビューワ101、イベントエディタ81、アノテーションエディタ91等のプログラムが搭載される。実際にはこれらのプログラムはそれぞれ機能モジュールとして1または2つのプログラムにまとめられていてもよい。
各サーバまたは端末の保有する情報や機能、処理手順について以下に個別に説明する。
(1)ユーザ管理サーバ70
ユーザ管理サーバ70は、本発明のシステムを利用するユーザ情報を管理するサーバである。このユーザ管理サーバ70は、各ユーザの情報を管理するとともに、ユーザからアクセスを受けた各サーバからの問い合わせに対して、ユーザ名とパスワードが正しいか否かを返答する。本実施例におけるユーザ管理サーバ70は少なくとも、ユーザ管理テーブル71とグループ管理テーブル72の2つのテーブルを管理している。ユーザ管理テーブル71の一例を図2に示す。本図に示すように、ユーザ管理テーブル71はユーザ毎に、ユーザID;ユーザ名;フルネーム;パスワード;クリエータ;グループリスト;ロールの登録欄を備えている。ユーザIDは本システムでユーザ毎に付与される固有のIDである。ユーザ名はシステム上で用いるユーザ名であって、本実施例ではユーザのメールアドレスが用いられる。クリエータ欄には当該ユーザをシステムに登録した者のユーザIDが登録される。グループリストは当該ユーザが所属するグループのIDリストであり、ユーザは必ず1以上のグループに属するものとする。ロールは本システムにおけるユーザごとの権限を示しており、本実施例ではスーパーユーザ/マネージャ/一般ユーザのいずれかが登録される。スーパーユーザとはシステム管理者に該当し、管理テーブル71,72の全権を有する。すなわち、新しいグループを作成したり、作成したグループのマネージャを設定したり、ユーザの所属グループを変更したりすることができる。マネージャはグループ毎に1以上設定され、当該グループに属するユーザを作成したり、削除したり、更新したりすることができる。一般ユーザは自己のユーザ名、フルネーム、パスワードの変更のみ許される。この他、ゲストユーザの概念を導入してもよく、この場合は例えば特別なユーザ/グループID(例えば”1”)が割り当てられる。これらの権限は予めユーザ管理サーバ70に登録されている。
図3にグループ管理テーブル72の一例を示す。本図に示すように、グループ管理テーブル72は、グループID;グループ名;マネージャリストの欄を備えている。グループIDは各グループに付与される固有のIDであり、グループ名は当該グループを表す任意の名前、マネージャリストは当該グループに設定されたマネージャのIDリストである。ユーザ管理サーバ70はウェブページとして作成されたログイン画面その他各種の登録/変更画面ファイルを備えており、ユーザからのアクセスを受けて認証した後、各ユーザに許可された権限の範囲内で情報の登録および変更を行う。
具体的に説明すると、任意のユーザ端末からアクセス要求を受けると、ユーザ管理サーバ70は予め用意されたログイン画面をユーザ端末に送信する。この画面にはユーザ名(メールアドレス)とパスワードの入力欄が設けられており、ユーザがこれらを入力してユーザ管理サーバ70に送信すると、ユーザ管理サーバ70はユーザ管理テーブル71を参照し、登録されているユーザ名とパスワードが、今回受信したユーザ名とパスワードと合致するかを判断する。この認証が成功したら、サーバ70はロール欄を参照してこのユーザの権限を確認し、権限に応じた登録/変更画面をユーザ端末に提示する。各ユーザの権限は上述のように予め定められており、各ユーザはこの権限の範囲内で管理テーブル71,72の情報の登録/変更/削除について入力しサーバ70に送信すると、サーバ70は要求に従いテーブル71または72の情報を更新する。本実施例ではグループの概念を採用しており、これにより例えば特定のスポーツ団体の構成員や大学の生徒を1つのグループとして、マネージャ権限を付与されたユーザが当該グループに属する人間全員にシステムを利用可能とする等の運用が可能である。また、ユーザ管理サーバ70は、他のサーバから問い合わせを受けた場合に、問い合わせに含まれるユーザ名とパスワードから当該ユーザの認証を行い、その成否および当該ユーザのユーザID、所属グループ等を問い合わせ元サーバに返信する。ここで設定されているユーザID、グループID等の情報は、本システムの利用可否の他、各映像ファイルの閲覧を個別に許可/不許可とするのに用いられる。
(2)マスタサーバ10
マスタサーバ10は、本発明に係る映像閲覧システムの中核をなすサーバコンピュータであり、映像管理テーブル11と、アクセスログテーブル13と、不正アクセスログテーブル14とを備えている。このマスタサーバ10はプログラムで動作することにより、システムに登録される映像ファイル毎にその詳細情報を管理し、ユーザ端末から要求があった場合にその認証およびストリーミング映像への案内を行い、さらにユーザ端末からのアクセスログを管理する。
マスタサーバ10が管理する映像管理テーブル11の一例を図4に示す。本図に示すように、映像管理テーブル11には、システムに登録される映像ファイル毎に、映像ID;リレーゲートアドレス;ストリーミング映像のURL;映像type;DL(ダウンロード)元映像アドレス;DLサーバアドレス;映像title;date(作成日);description(内容);place(作成場所);owner;AuthWriteUser;AuthReadUser;AuthWriteGroup;AuthReadGroup;AuthDLUser;AuthDLGroup;アクセス可否フラグ、等の情報が登録される。これら要素の内容は以下の通りである。
「映像ID」:登録される映像毎に付与される固有のIDであり、本願システムの映像はすべてこの映像IDを以て管理される。
「リレーゲートアドレス」:この映像が登録されたストリーミングサーバ30からユーザ端末へストリーミング送信を中継するリレーゲート35のアドレスである。後に詳細に説明するが、本実施例では各ストリーミングサーバに統一した認証方法を提供するとともに不用意にユーザにストリーミングファイルをダウンロードされるのを回避すべく、リレーゲート35を介在させてユーザ端末から直接ストリーミングサーバ30の映像ファイルへアクセスするのを防止している。
「ストリーミング映像のURL」:この映像が実際に登録されているストリーミングサーバ30の映像アドレスである。
「DL元映像アドレス」:ストリーミング映像の元となるオリジナル映像へアクセスするためのアドレスである。
「DLサーバアドレス」:ダウンロードを管理するサーバのアドレスである。
「type」:この映像の形式である。例えば映像はウィンドウズメディア(wm9)、リアルプレイヤー(real)、クイックタイム(qts)の形式(いずれも商標名)で用意される。ただし、本発明のシステムで扱う映像はこれらに限定されるものではない。
「date」:この映像が作成された日付が登録される。
「description」:映像の内容を簡単に記述したものである。
「place」:この映像を作成した場所が登録される。
「owner」:この映像を登録した者のIDが登録される。
「AuthReadUser」:この映像の閲覧を許可するユーザIDのリストが登録される。
「AuthReadGroup」:この映像の閲覧を許可するグループIDのリストが登録される。
「AuthWriteUser」:この映像に対して後述するイベント情報またはアノテーション情報を登録できるユーザIDのリストである。
「AuthWriteGroup」:この映像に対してイベント情報またはアノテーション情報を登録できるグループIDのリストである。
「AuthDLUser」:この映像のダウンロードを許可するユーザIDのリストである。
「AuthDLGroup」:この映像のダウンロードを許可するグループIDのリストである。
「アクセス可否フラグ」:この映像へのアクセス全般の許可/不許可を示すフラグであり、フラグがfalseになるとこの映像が消去されたものとして扱われる。
上記のうちdate, description, place等は必ずしも必須の要素ではない。また、本実施例では映像のストリーミング閲覧の他、ユーザの必要に応じて映像をダウンロードできるようにするため上記のダウンロード関連情報を管理するが、ダウンロード機能が不要であれば上記のうちDL元映像アドレス;DLサーバアドレス;AuthDLUser;AuthDLGroup等は不要となる。
アクセスログ13には、各端末80〜100からのアクセスを受けた場合にそのアクセス元および処理内容等が登録される。これはシステムの管理者が利用状況を管理したり各映像のアクセスランキングを作成したりするのに用いられる。また、マスタサーバ10は後述するように、ユーザ端末をストリーミング映像に案内する際にユーザ端末の情報をログに記録しておき、その後にリレーゲート110からの問い合わせの際に照合して、ストリーミング映像のセキュリティ性を向上させている。不正アクセスログ14は、マスタサーバ10への不正アクセスがあった場合にアクセス元やその内容が登録されるテーブルであり、必要に応じて記録された不正アクセス元からの今後のアクセスを禁止する等の目的で用いることができる。
マスタサーバ10の主となる機能は、各映像の情報の管理と、クライアント端末100等からの要求に対するストリーミング映像への案内である。以下に、映像情報の登録について説明する。システムに映像を登録したい者は、まず自己の保有する映像のストリーミングファイルを作成し、任意の映像ストリーミングサーバ30に登録する。この場合、映像ストリーミングサーバ30は映像のオーナー(映像を登録する者)が任意に決めてもよく、また本願システムで用意されたストリーミングサーバを用いてもよい。映像オーナーが決める場合、例えば自己が利用しているインターネットプロバイダが提供しているストリーミングサーバを用いたり、映像オーナー自身や任意の会社で構築・運営しているサーバを用いたりすることができる。映像をストリーミングデータで扱うのは、映像閲覧に際しクライアント端末に映像ファイルを格納するディスクスペースを必要とせず、クライアント端末にファイルが残らないので著作権等の管理が容易であり、またRTSPプロトコル等でクライアント側から映像配信に関する命令を送ることができる等の理由である。本実施例において、映像オーナーはオリジナルの映像データ(例えばAVI, mpeg形式が想定される)をストリーミング形式(例えばwm9, real, qts形式)に変換し、これをストリーミングサーバ30に登録するとともに、必要に応じてオリジナル映像データをダウンロードサーバ60に登録する。この場合のダウンロードサーバも、ストリーミングサーバと同じく映像オーナーが任意のサーバを用いることができる。この時点で映像オーナーは自己が登録したストリーミング映像およびオリジナル映像へのアクセスパスの情報を有しているものとする。その後、映像オーナーはアップロードした映像の情報を、ウェブサイトを介してマスタサーバ10に登録する。なお、映像オーナーがオリジナル映像を他人にダウンロードさせることを希望しない場合は、オリジナル映像はサーバ60に登録する必要はない。
マスタサーバ10にはウェブページとしてログイン画面の他、図4で説明した各種情報の入力画面が用意されており、映像オーナーが自己のPC端末からマスタサーバ10にアクセスすると、認証処理を経てから入力画面が表示される。この認証処理では、ユーザによりログイン画面に入力されたユーザ名(メールアドレス)およびパスワードをマスタサーバ10が受信すると、マスタサーバ10は即座に受信したユーザ名とパスワードをユーザ管理サーバ70に転送する。これを受けたユーザ管理サーバ70はユーザ管理テーブル71を参照し、ユーザ名をキーにパスワードが合致するかを判定し、その結果をマスタサーバ10に返信する。これらの通信はいずれも高度なセキュリティ性を有するSSL通信を用いて行うようにする。このようにしてユーザ認証が成功したら、マスタサーバ10は各種情報の入力画面をユーザ端末に提示する。この画面上で映像オーナーは、ストリーミングファイルのURLと、typeと、(もしあれば)DL元映像アドレスおよびDLサーバアドレスと、映像tytleと、作成日と、内容と、作成場所等を入力する。また、このストリーミング映像の閲覧を許可するユーザ/グループ名と、この映像に後述するイベント/アノテーション情報の付加を許可するユーザ/グループ名と、この映像のダウンロードを許可するユーザ/グループ名とを入力する。これらのユーザ/グループ名は直接入力する構成であってもよいし、予めマスタサーバ10がユーザ管理サーバ70からユーザ/グループ名のリストを取得してユーザに提示し、ユーザがリスト内から選択指定できるような構成であってもよい。また、閲覧可能ユーザ等を定めるのに際し、ユーザ端末からユーザ管理サーバ70にユーザ名からその所属グループ等を問い合わせできるように構成されていてもよい。映像オーナーはこれらの情報を入力して、送信ボタン押下等の手段によりマスタサーバ10に入力情報を送信する。
情報入力画面への入力情報がマスタサーバ10へ送信されると、マスタサーバ10は、これらの情報を検査した後、図4に示す映像管理テーブル71に必要な情報を登録する。この際、マスタサーバ10は映像毎に一意の映像IDを付与するとともに、この映像のストリーミングをサービスするリレーゲート110を任意に設定し、それぞれ映像管理テーブルの映像ID;リレーゲートアドレス欄に登録する。また、テーブル71のowner欄にはログイン手続で得たユーザ名または認証手続きでユーザ管理サーバ70から得たIDを登録する。このようにしてマスタサーバ10が映像情報を登録した後、この映像に付与した映像IDを映像オーナーのユーザ端末に提示する。
これと同時に、マスタサーバ10は映像管理テーブル11の登録情報のうちtitleとdescriptionの内容を検索サーバ20に送信する。検索サーバ20については後に詳細に説明するが、この説明はname/valueの形式をとっており、これらが映像全体を示すイベント情報として検索サーバ20に登録される。
次に、マスタサーバ10によるストリーミング映像への案内処理について説明する。マスタサーバ10はユーザ端末(図1においてクライアント端末100の他、イベント入力端末80やアノテーション入力端末90を含む)から映像IDを特定した映像リクエストを受けると、このリクエスト情報に含まれるユーザ名とパスワードをユーザ管理サーバ70に転送して認証をとるとともに、当該ユーザのユーザIDおよびグループIDを問い合わせる。次に、マスタサーバ10はリクエストで指定された映像IDをキーとして自身で管理する映像管理テーブル11を参照し、該当するレコードの"AuthReadUser"、"AuthReadGroup"を抽出し、ここで閲覧が許可されているユーザ/グループにリクエスト元ユーザが含まれるか否かを判定する。ここで当該ユーザに閲覧が許可されている場合、マスタサーバ10はユニークなキー(文字列)を作成し、映像ID、ユーザ名、ユーザ端末のIPアドレス、キー作成時の情報をアクセスログ13に保存する。また、このキーと、映像管理テーブル11に登録されている当該映像のリレーゲートアドレスとを含むURL_Keyを作成し、リクエスト元のユーザ端末に返信する。このURL_Keyは適切な方法で暗号化して送信され、これによってユーザの要求する映像を扱うリレーゲートアドレスがユーザ端末に返信される。
後に詳細に説明するが、URL_Keyに基づきユーザ端末が指定されたリレーゲート110にアクセスすると、リレーゲート110からマスタサーバ10に問い合わせが発信される。この問い合わせには、映像ID、ユーザ名、ユーザ端末のIPアドレスが含まれている。マスタサーバ10は問い合わせを受けると、先ほど登録したアクセスログ13を参照してユーザ名とIPアドレスを照合し、また先ほどのキー作成時から所定期間内(例えば数秒以内)であるかを判定する。ユーザ名とIPアドレスが一致し且つ所定期間内である場合、マスタサーバ10は映像管理テーブル11を参照し、映像IDをキーにこの映像が実際に保存されているURLを抽出し、リレーゲート110に返信する。また、アクセスログ13に一度アクセスがあったことを記録する。これによりリレーゲート110がストリーミング映像を中継し、ユーザ端末でストリーミング映像を閲覧することが可能となる。なお、リレーゲート110を介してストリーミング配信を行うことにより、2度の認証を行って映像閲覧許可のセキュリティを確実に保つことができ、またストリーミング映像の保管場所が直接ユーザ端末に分からないようにしてストリーミング映像の不正ダウンロードを防止することができる。さらに、この方法によればストリーミングサーバの仕様に拘わらずユーザに対する認証処理を統一した方法で実施することが可能になるため、例えば映像オーナーがストリーミングサーバを任意に定めた場合であってもユーザはマスタサーバ10に対する認証が成功すれば映像を閲覧することが可能となる。なお、マスタサーバ10はURL_Keyを作成してから所定期間経過後は不正アクセスとみなしてストリーミング映像の閲覧を許可しないようにする。
(3)イベント入力端末80
イベント入力端末80は、システムに登録されたストリーミング映像について、任意のイベントの時間情報とその内容を表すデータ(本願書類中、「イベント情報」と称す。)をシステムに登録するためのコンピュータ端末であり、イベント情報を作成するためのプログラム(本願書類中、「イベントエディタ」と称す。)81を備えている。このイベントエディタ81は、少なくともストリーミング映像の再生機能を備えており、その他にプログラムモジュールとしてのイベント時間定義部と、イベント内容定義部とを備えている。イベントエディタ81の画面例を図5に示す。本図に示すように、イベントエディタ81の画面にはストリーミング再生部81aと、イベント内容定義部82と、イベント時間定義部83とが設けられている。ストリーミング再生部81aはストリーミング映像の再生、停止、早送り、巻き戻し、コマ送り等の機能を備えるプログラムモジュールであり、公知のストリーミングプログラムをモジュールとして取り込むことにより実現される。
イベント情報は許可されたユーザであれば登録することができるが、最初はストリーミング映像の登録者が自身でイベント情報を登録することが想定される。イベント情報を作成するには、まず作成対象となるストリーミング映像をイベントエディタ81で再生する必要がある。イベントエディタ81には初期設定時にユーザ(この場合は映像オーナー)のユーザ名およびパスワードが登録されるものとする。映像オーナーはストリーミング映像の登録時に付与された映像IDをイベントエディタ81で指定してリクエストを実行すると、イベントエディタ81から映像ID、ユーザ名、パスワード、ユーザ端末のIPアドレス等を含むリクエストがマスタサーバ10に送信される。これによってマスタサーバ10が上述の処理を行い、リレーゲートアドレスを含むURL_Keyを返信する。イベントエディタ81は即時にURL_Keyに含まれるURLを用いてリレーゲート110へ再接続し、リレーゲート110を介してストリーミング映像をイベントエディタ81で閲覧することができる。ここまでの処理は後述するクライアント端末100で動作するビューワ101と同様である。
イベントエディタ81において、イベント内容定義部82はイベント内容を定義する機能を有し、本実施例ではボタン形式として表示される。本実施例においてイベント内容は(name, value)という形式を採用しており、「何々は、何々である」という形で登録される。この形式によると定義がシンプルとなり、データベースへの登録や検索に好適である。一例としては、ユーザがメニューリスト(図示せず)からイベントボタンの作成を指示すると、nameとvalueの入力欄のあるウィンドウが表示され、ここに入力したvalueの値を持つボタンが新規に作成される。具体的には(name:技名,value:背負い投げ)という値を入力すると、「背負い投げ」ボタンが作成される。これが図5で「イベント1」「イベント2」として図示するイベントボタン85である。イベントボタンは複数あってもよく、設定されるイベント内容はストリーミング映像にかかるスポーツで共通性を持つ定義となることが望ましいが、イベント情報は検索のために付する情報であり、必要以上にその内容を細かくする必要はない。具体的に柔道の試合を想定すると、大外刈りのシーンをイベント登録する場合には(name:技名,value:大外刈り)となり、審判が判定を出したときのシーンを登録する場合には(name:審判,value:判定)となる。
イベント時間定義部83は、ストリーミング映像における各イベントの開始時間(ts)と終了時間(te)を取得するモジュールである。本実施例のイベントエディタ81では、ストリーミング映像が流れている状態で任意のイベントボタンがクリックされると、ストリーミング映像における前後の所定期間をそのイベント期間として把握し、その開始時と終了時を取得する。具体的には、映像が流れている状態においてイベント(技名,背負い投げ)ボタンをクリックすると、イベントエディタ81はその時点でのストリーミング映像の現在時刻を取得し、ここから5秒引いた時刻を開始時間(ts)とし、その時点から5秒足した時刻を終了時間(te)とする。このようにしてイベント内容と開始/終了時とが設定された各イベントは、図5において個々のイベント表示バー84として表示される。図5に示すように、イベント時間定義部83において各イベント内容が行ごとに表示され、その横に映像再生時刻に対応する列が設けられており、各イベント作成時にそれぞれイベント表示バー84が作成される。本図に示されるように、例えば1つの柔道の試合でも技有りや有効など審判の判定が複数回出るように、1つの映像において同じイベントが複数回発生することもあり、これらはそれぞれ同じイベント内容で当該映像における開始時と終了時が異なる別個のイベントとして把握される。この実施例によれば、例えば映像を見ながら背負い投げが始まったと思ったらユーザが「背負い投げ」ボタンを1回押すことにより、この背負い投げが始まる数秒前から10秒間のシーンを1イベントとして定義することができる。
なお、イベントの開始/終了時刻の取得方法は上記の他に様々な方法が考えられ、そのいずれを採用しても構わない。上記具体例ではボタン押下時の5秒前と5秒後をイベント開始時/終了時としているが、この秒数はイベントボタン85の作成時にパラメータとしてユーザ側で設定可能とする。また、映像再生時にイベントボタンを1回クリックするとその時点をイベント開始時(ts)と把握し、再度クリックするとイベント終了時(te)と把握するように設定してもよい。また、図5に示す実施例ではイベント時間定義部83に各イベントを時間軸に対応させて視覚的に表示するとともに、この画面上でイベント表示バー84の左右いずれかの端部をマウスで左右にドラッグすることによりイベント開始時刻または終了時刻を変更できるように構成している。また、任意のイベント表示バー84を指定してメニューバー等で編集コマンドを指示すると編集画面が表示され、この画面上で開始時刻や終了時刻を変更できるようにしてもよい。あるいは、任意のイベント表示バー84を選択反転させると画面上にその開始/終了時刻が表示され、ここにユーザが数値を入力して修正できるようにしてもよい。
このようにして1つの映像につき複数のイベント情報を作成することができる。ユーザが一通りイベントを作成し転送ファイル作成コマンドを実行指定すると、イベントエディタ81は各イベント情報を1つのXMLファイルにまとめ、イベント入力端末80のローカルファイルに保存する。XMLはHTMLの後継言語として設計されたもので、拡張性に富み、柔軟にデータ構造に対応した表現が作れるので好適である。なお、イベントエディタ81には初期設定時に利用者のユーザ名が登録されており、作成されるXMLファイルにはイベント作成者の情報が含められる。
(4)イベントサーバ40
イベントサーバ40は、イベント入力端末80で作成されたイベント情報を検査し、検索サーバ20に登録するウェブサーバであり、プログラムにより動作する。このサーバは単体であっても複数あってもよく、また検索サーバ20がイベントサーバ40を兼ねてもよい。イベントサーバ40はウェブページとしてのログイン画面と、イベント情報のアップロード画面等を備えており、イベント入力端末80からのアクセスを受けるとログイン画面を提示し、ユーザの認証を行う。この認証も前述と同様に、ログイン画面にてユーザ名とパスワードをSSL通信で取得して、ユーザ管理サーバ70に転送して認証をとるとともに、当該ユーザのユーザID・グループIDを問い合わせる。認証が成功するとアップロード画面を提示して、イベント情報のアップロードを受け付ける。イベント情報(XML形式)を受信したら、イベントサーバ70は自己の記憶領域内に保存してイベント情報を解析し、データを検査するとともに、このユーザがストリーミング映像にイベント情報を登録できるユーザか否かをマスタサーバ10に問い合わせる。すなわち、認証処理の過程で得られた当該ユーザのユーザID・グループIDと、イベント情報に含まれている映像IDをマスタサーバ10に送信し、返事を待つ。マスタサーバ10は映像IDをキーにこの映像にイベント情報を付加できる者、すなわち"AuthWriteUser"、"AuthWriteGroup"の欄を参照し、ここにユーザのIDが登録されているかを判断し、その結果をイベントサーバ70に返答する。ユーザがイベント情報を登録できる者である場合、イベントサーバ70はイベント情報を検索サーバ20に送信して検索データベースへの登録を指示する。また、イベントサーバ70は受信したイベント情報をログ保存し、後にイベント情報の統計等に利用できるようにする。
(5)アノテーション入力端末90
アノテーション入力端末90は、ストリーミング映像の任意の時点において指導者のコーチングや競技データ等の有用な情報を付加するためのユーザのコンピュータ端末であり、アノテーションエディタ91が搭載されている。アノテーションエディタ91はこれ自身で独立したプログラムであってもよいが、後述するビューワ101等のプログラムと一体的に1つのユーザプログラムをなすモジュールとして構成されていてもよい。アノテーションエディタ91の画面例を図6に示す。本図に示すように、アノテーションエディタ91はストリーミング再生部92と、アノテーション入力部93とを備えている。ストリーミング再生部92はイベントエディタ81におけるストリーミング再生部81aと同様に、ストリーミング映像を再生、停止、早送り、巻き戻し、コマ送り等の機能を備えるプログラムモジュールであり、公知のストリーミングプログラムをモジュールとして取り込むことにより実現される。
アノテーション情報を作成するには、まず作成対象となるストリーミング映像をアノテーションエディタ91で再生する。ストリーミング映像は上述のイベントエディタ81と同様の方法で取り寄せることができ、ストリーミング再生画面にて再生される。そして、アノテーション作成ユーザがストリーミング映像のアノテーションを付けたい時点で「Edit」ボタン96を押下すると、エディタ91がこれを検知してストリーミング映像を一時停止させるとともに、ストリーミング映像の停止画面上に透明な仮想レイヤを作成する。アノテーションはこの仮想レイヤの画面情報として記述あるいは定義されることになる。
アノテーション入力部93は、少なくとも簡単な線図を描ける作画ツール群93aと、テキストや音声の他に有用な情報やコマンドを挿入できるその他ツール群93bとを備えている。図6に示すように、作画ツール群93aは直線、矢印、曲線、円、四角、ふき出し等のボタンを備えており、ユーザが任意のボタンを押下して映像画面上でマウス操作することにより仮想レイヤ上に線図を作画することができる。この処理は公知の作画ソフトの機能を用いることにより実現される。また、その他ツール群93bのテキスト入力ボタン94aを押下してから画面上の任意の箇所をクリックするとそこにテキスト入力欄が表示され、アノテーション入力端末90のキーボード等から文字を入力することができる。作画ペンの色や太さ、テキスト文字のフォントや色等も設定可能である。また、音声入力ボタン94bを押下して画面上の任意の箇所をクリックするとそこにスピーカのマークが表示され、さらにこれをクリックすると録音ボタンや停止ボタンを備える録音画面が表示され、これを操作することによりアノテーション入力端末90に接続されたマイク(図示せず)により音声を録音することができる。また、URL入力ボタン94cを押下して画面上をクリックするとそこにURLを挿入することができる。また、他のボタンでは画面上に他から持ってきた図面や動画ファイルを貼り付けられるようにしてもよい。
アノテーションエディタ91は入力されたコマンドおよびパラメータを取得し、映像画面上に作成した仮想レイヤを1つのXML画面としてこれらの情報を定義していく。この場合、音声データや別途貼付されたファイルは当該XML画面にリンクされた別ファイルとして保存する。例えば図6に示す画面例では、柔道の試合映像において一方の選手を円で囲むとともに矢印を付けてテキスト「手の動きに注目」と表示し、さらに音声ボタンを設けて例えば「ここで引き手をとって相手をコントロールしている」等の音声が登録される。アノテーション入力ユーザが一通りアノテーションの入力を終了してOKボタン95をクリックすると、アノテーションエディタ91はアノテーション入力端末90のローカルフォルダにXML形式のアノテーション情報と、必要に応じて音声ファイル等の添付ファイルを保存する。ここで作成されるXMLデータには、予めエディタ91に登録されているアノテーション作成者のユーザ名と、対象となるストリーミング映像の映像IDと、当該映像におけるアノテーション挿入時が含められる。本実施例の場合はストリーミング映像を一時停止させてアノテーション情報を付すためこの時刻は任意の瞬間であってもよいが、実際の映像では1つの動きでも時間幅があるため、アノテーションの時刻もある程度の時間幅を設けてその開始時と終了時が設定される。より具体的には、アノテーションエディタ91はeditボタン96が押下された映像時刻を取得し、この時刻の数秒前(例えば2秒前)を開始時間(ts)とするとともに、この時刻の数秒後(例えば2秒後)を終了時間(te)に設定する。このようにアノテーション情報にも時間幅を持たせることにより、後述する検索処理でのヒット率を高めてより適切な情報提供を行うことができる。なお、1つの映像においてアノテーションは時間差を設けて複数作成されてもよく、この場合は各アノテーションの時間(ts, te)とその内容とを含む複数のアノテーション情報が1つのXMLファイルにまとめて登録される。このようにして作成されたアノテーション情報は、以下の手続によりウェブサイトを介してアノテーションサーバ50に登録される。
(6)アノテーションサーバ50
アノテーションサーバ50は、アノテーション入力端末90で作成されたアノテーション情報を登録するウェブサーバであり、プログラムにより動作する。このサーバは単体であっても複数あってもよく、また他のサーバがアノテーションサーバ50を兼ねてもよい。アノテーションサーバ50はウェブページとしてのログイン画面と、アノテーション情報のアップロード画面等を備えており、アノテーション入力端末50からのアクセスを受けるとログイン画面を提示し、ユーザの認証を行う。この認証も前述のマスタサーバ10やイベントサーバ40と同様に、ログイン画面にてユーザのメールアドレスとパスワードをSSL通信で取得して、ユーザ管理サーバ70に転送するとともにユーザIDと所属グループIDを問い合わせる。この返信により認証が成功するとアノテーション入力端末90にアップロード画面を提示して、アノテーション情報のアップロードを受け付ける。アノテーション情報(XMLファイル及び必要に応じて音声ファイル等)を受信したら、アノテーションサーバ90は受信ファイルのウィルスチェック等を検査するとともに、ユーザIDとXMLファイルに含まれる映像IDをマスタサーバ10に送り、このユーザがこのストリーミング映像にアノテーション情報を登録できるユーザか否かを問い合わせる。マスタサーバ10は映像IDをキーにこの映像にイベント/アノテーション情報を付加できる者、すなわち"AuthWriteUser"、"AuthWriteGroup"の欄を参照し、ここにユーザ/グループIDが登録されているかを判断し、その結果をアノテーションサーバ50に返答する。
アノテーションサーバ50は、ユーザが映像にアノテーションを登録可能なユーザである場合、受信したアノテーション情報をインターネットアクセス可能な状態で自サーバの記憶領域に登録する。このとき、アノテーションXMLファイルが複数のアノテーションを含んでいる場合、アノテーションサーバ50はXMLファイルを個々のアノテーション情報に分解して自サーバ内に登録する。各アノテーションは映像ID,時間(ts, te),内容を備えるXMLファイルとしてサーバ50に蓄積される。また、アノテーション情報が音声ファイル等の添付ファイルを含む場合、アノテーションサーバ50は添付ファイルも保存するとともにアノテーションXMLファイルにそのアクセスパス(URL)をリンクさせて保存する。これと同時に、アノテーションサーバ50は検索用の情報を抽出して検索サーバ20に送信する。この情報には、アノテーション情報である旨と;このアノテーション情報へのアクセス用アドレス(アノテーションサーバ50上のURL)と;このアノテーション情報が対象とする映像IDと;映像におけるアノテーション情報の開始時間(ts)と;終了時間(te)と;ユーザ名またはユーザIDと;アノテーション情報にテキスト文書が含まれる場合は当該テキスト情報と;が含まれる。
(6)検索サーバ20
検索サーバ20は、インターネット上で検索サービスを提供するサーバコンピュータであり、プログラムにより動作し、マスタサーバ10、イベントサーバ40、アノテーションサーバ50から検索情報を受け付けて検索テーブルに登録するとともに、後述する処理によりユーザの所望のシーンまたはアノテーションを検索するものである。図7は、検索サーバ20が備える検索テーブル21の構成を示す図である。本図に示すように、検索テーブル21は、name;value;映像ID;ts(開始時間);te(終了時間);ユーザIDの欄を備えている。検索サーバ20は、マスタサーバ10やイベントサーバ40からイベント情報を受け取り、そこに含まれるイベント情報を分解して検索テーブル21に個別に登録する。ここでユーザIDはイベント情報やアノテーション情報を作成したユーザのIDが登録される。図7の例で示すように、本実施例では、映像終了まで続くイベント情報のte(終了時)は99:99:99として扱っている。
なお、最初に映像オーナーがマスタサーバ10に映像情報を登録した際、マスタサーバは図4に示す映像管理テーブル11の登録情報のうち、titleとdescriptionの内容を抽出して、映像IDとともに検索サーバ20に送信する。検索サーバ20はこれを受け取ると、nameが title(またはdescription)で、valueがその内容、開始時間ts: 00:00:00、終了時間te: 99:99:99のレコードを検索テーブル21に登録する。これにより映像全体についての内容が検索テーブルに登録される。
一方、図7のテーブル下側に示すように、検索サーバ20は、アノテーションサーバ50からアノテーション検索情報を受け取った場合、name欄にはアノテーション情報である旨「annotation」、value欄にはアノテーション情報のURLを入れてレコードを1つ作成する。また、当該アノテーション情報がテキスト内容を含む場合、テキストごとにレコードを別途作成し、nameにはアノテーションテキストである旨「annotation_text」、value欄には当該テキストの内容を登録する。このようにして、アノテーションがテキスト情報を含む場合は映像ID、ts、teが同一のレコードが2つ以上作成される。このようにして、検索サーバ20の検索テーブル21にはイベントとアノテーションの検索情報が多数登録されることになる。検索テーブル21において各レコードはID等で管理される必要はなく、また順番に並んでいる必要もない。
検索サーバ20は、ユーザ端末からパラメータとコマンドを組み合わせた検索文字列を受信し、これに従って検索テーブル21への検索を行い、後述するscenebitを作成してユーザ端末に返信する。この検索処理はウェブサービスで行われる。以下、具体的に検索サーバ20の検索処理について説明する。
図8は、図7に示す検索テーブル21の登録情報を視覚的に示したイメージ図である。上述のように、1つのストリーミング映像200を対象として複数のイベント情報が登録されている。本図にはストリーミング映像1つ分のみを示すが、実際にはシステムに登録される各ストリーミング映像についてこのようなイベント情報が多数登録される。検索テーブル21において各イベント情報は(ts, te, name, value, user)の値を持っており、ストリーミング映像200の時間軸に対して図8のような配置で存在している。図8では、nameとvalueが同じイベントをそれぞれ同じ列に配置し同じイベント名(イベント1〜3)で表示している。また、本図にはアノテーション情報も同様に示されており、同じ人物が作成したアノテーションを同じ列にしてアノテーション1,アノテーション2のように示している。同じ映像に対して複数の人間がアノテーションを作成する場合もあり、これらが同時に示されている。
検索サーバ20は、基本的にexact; match; anytext; sequence; includeといったコマンドをand、or、または括弧で組み合わせた検索文をユーザ端末から受け取り、これに従って検索テーブル21の検索を行う。ここで、「exact」はイベントのnameおよびvalueの値が完全一致するもの、「match」はnameが一致しvalueが部分一致するもの、「anytext」はnameに拘わらずvalueが部分一致するものを検索するコマンドである。これらのコマンドにより検索テーブル21に登録されているイベントそのものを検索することができる。
「sequence」および「include」は前段で行われた検索集合または括弧で括られた検索コマンドの結果に対して実行されるコマンドであり、「sequence」は同じ映像においてあるイベントに連続して次のイベントが発生した場合を検索し、「include」は同じ映像においてあるイベントの時間内に含まれるイベントを検索する。「sequence」コマンドでは後のイベントの開始時間が先のイベント開始時間より後であってその終了時間の所定期間内(例えば5秒以内)であり、且つ後のイベントの終了時間が先のイベントより後である場合を検索し、先のイベントの開始時間と後のイベントの終了時間をこのシーンの(ts, te)として出力する。「include」はあるイベントの開始時間と終了時間が他のイベントの開始時間−終了時間にそっくり含まれる場合を検索し、短い方のイベント時間をこのシーンの(ts, te)として出力する。
上述の処理を図8のイメージに当てはめて説明する。図9はexact、match、anytextコマンドによる検索を示すイメージ図である。例えばイベント3の(name, value)に該当する情報を指定してこれらいずれかのコマンドを実行したとする。検索サーバ20は検索テーブル21を参照し、(name, value)が完全一致または部分一致(コマンドにより変化する)するレコードを検索する。その結果、図9(a)に示すストリーミング映像200においてイベント3に対応した3つのシーンSC1〜SC3がヒットする。各シーンSC1〜SC3は当該映像200において飛び飛びに発生している。検索条件がこれ以外にない場合、検索サーバ20は3つの検索結果情報を作成する。この検索結果情報を、本願書類において便宜上「scenebit」と称す。scenebitもXMLファイルとして作成される。
図9(b)を用いてscenebitの内容を説明する。まず図9(a)に示すシーンSC1に関するscenebitSC1には、ストリーミング映像200の映像ID;SC1の開始時間(ts1);SC1の終了時間(te1)が基本情報として含められる。次に、検索サーバ20はこの基本情報(映像ID,ts,te)をキーとして再び検索テーブル21を参照し、映像IDが一致し、且つその開始時間または終了時間がts1からts2の間にあるイベント情報のイベント内容をすべて抽出する。これと同様に、映像IDが一致し、且つその時間幅がts1からts2の間に重複するアノテーション情報のURLをすべて抽出し、これらの情報をscenebitSB1に含める。これを図9で説明すると、図9(a)においてSC1の時間帯に重複するイベント1の要素201、イベント2の要素202、イベント3の要素203、アノテーション1の要素204、アノテーション2の要素205のイベント内容(name, value)およびアノテーションURLが抽出され、図9(b)に示すようにscenebitSB1に含められる。このように他のイベント情報のイベント内容をscenebitに含めるのは、これらのイベント内容は少なからずその映像のそのシーンの内容を示すものであるため、ユーザにとってこのscenebitがどのようなシーンを示すかを把握する有用な見出しとなるからである。また、アノテーションのURLを含めるのは、この映像のこのシーンにはアノテーションが付されていることをユーザに示すとともに、ユーザ端末からアノテーション情報を取得可能とするためである。同様に、この映像の時間ts2−te2に関するシーンSC2のscenebitSB2には、図9(b)に示すようにイベント1の要素206、イベント2の要素207、イベント3の要素208、アノテーション1の要素209のイベント内容およびアノテーションURLが含められる。また、時間ts3−te3に関するシーンSC3のscenebitSB3には、要素210〜214のイベント内容およびアノテーションURLが含められる。
上述のようなコマンドを組み合わせて検索することにより、例えば試合名と選手名とでand検索したり、さらに柔道の場合に技名「背負い投げ」があった直後に審判が「一本」と判定したシーンを検索したりすることができる。ここで特筆すべきは、検索サーバ20が生成するscenebitに示されるシーンの時間幅は、検索テーブル21に登録されたイベントごとの時間幅に拘束されない点である。すなわち、図10に「sequence」コマンドを用いてイベント2の後に連続してイベント3が発生したシーンの検索例を示すように、この検索結果のシーンSC4の時間幅はイベント2の要素202の開始時間(ts4)からイベント3の要素203の終了時間(te4)までとなるが、もともとこのシーン自体は1つのイベントとして検索テーブル21に登録されているものではない。このように、本願システムでは映像を任意の”イベント”群として把握する一方、ユーザの指定するコマンドやパラメータに応じて、各”イベント”の枠を越えてユーザが所望する”シーン”を案内することが可能である。
また、検索パラメータにアノテーション情報を指定することが可能である。アノテーション情報は、これを作成したユーザ名または画面上に書かれたテキスト情報から検索可能である。図7に示すマスタサーバ10の検索テーブル21において、アノテーション情報にはユーザIDが登録され、またテキスト情報がある場合には別途アノテーションテキスト用のレコードが作成されている。検索サーバ20は、検索パラメータとして(annotation_text, 任意の文字列)が指定された場合、検索テーブルにおいてnameがannotation_textで、valueが前記文字列のレコードを検索する。また、検索サーバ20は検索パラメータとして(user, 任意のID又は名前)が指定された場合、検索テーブル21のuser欄を検索対象とし、指定されたID又は名前が条件に合致するレコードを検索する。この場合、検索サーバ20はユーザ名とユーザIDの対象テーブルを有するものとし、これは定期的に検索サーバ20がユーザ管理サーバ70からユーザ管理テーブル71のデータ内容を取得することにより実現することができる。以上のようにしてアノテーションを付した人物を指定して映像シーンの検索を行うことができる。また、他のパラメータとand検索する場合に検索パラメータとして(annotation, any)が指定された場合、検索サーバ20が検索テーブル21の(name, value)欄に(annotation, 任意のURL)が登録されているものを抽出するようにして、アノテーションが付されているシーンのみを検索するように構成してもよい。このようにして検索サーバ20はユーザ端末(端末80,90,100)から検索要求を受け、scenebitをXMLファイルとして作成してユーザ端末に返信する。なお、検索条件に合致するものがなければその旨をユーザ端末に返信する。
(7)クライアント端末100
クライアント端末100は広くユーザが利用するコンピュータ端末であり、ビューワプログラム101が動作する。ビューワ101はこれ自身で独立したプログラムであってもよいが、上述のアノテーションエディタ91等と一体的に1つのユーザプログラムをなすモジュールとして構成されていてもよい。図11と図12は、ビューワ101の画面例を示す図であり、図11が検索画面の実施例、図12が閲覧画面の実施例である。これらの検索画面と閲覧画面は画面上のタブ102をクリックすることにより切り替わる。
図11に示すように、検索画面は、検索条件指定部103と、検索結果表示部104とを備えている。検索条件指定部103は検索テキストバー105を備えており、ここに上述した検索コマンドやパラメータを組み合わせてなる検索文が表示される。ここにユーザは自身で検索文を直接入力して検索要求することが可能である。しかしながらユーザが検索文を自ら作成するには知識と熟練が必要となるため、本実施例ではsceneQueryなる概念を導入してユーザの入力補助を達成している。このsceneQueryの詳細は後述する。ユーザが自ら検索文を検索テキストバー105に入力するか、sceneQueryの補助を受けて検索文を作成して検索ボタンを押下すると、検索文が検索サーバ20に送信される。検索サーバ20は上述のように検索テーブル21への検索を行い、ゼロ乃至複数のscenebitをクライアント端末100に返信する。ビューワ101は受信したscenebitを検索結果表示部104にリスト表示する。この場合、scenebit1つが1行に表示される。
本実施例における検索結果表示部104は、映像ID;開始時間;上映時間;タイトル;選手名:その他の表示欄を備えている。ビューワ101は受信したscenebitを解析し、含まれる映像IDと開始時間(ts)を該当欄に表示する。また、scenebitに含まれる終了時間(te)から開始時間(ts)を減算して得た値を上映時間欄に表示する。タイトル;選手名;その他の欄は、scenebitに含まれる各イベント情報から抽出されたイベント内容(name, value)の値が表示される。通常はストリーミング映像全体について内容を表すタイトルがイベント情報として検索テーブル21に登録されており、ビューワ101はこのイベント内容(title, ○○○)を抽出してその内容をタイトル欄に表示する。同様にして、選手名のイベント内容があれば選手名欄に表示し、その他に存在するイベント内容をその他欄に表示する。このようにして、ビューワ101の検索結果表示欄104にはゼロ乃至複数のscenebitが表示され、各scenebitは複数のイベント内容を表示する。
クライアント端末100のユーザは表示されたイベント内容を見て、閲覧を希望するscenebitを選択する。上述したように、1つのシーンであっても複数のイベント内容が表示されるためユーザの選択に便宜となる。ユーザがいずれかのscenebitをダブルクリック等で指定すると、ビューワ101は当該scenebitに含まれる映像IDと、ビューワ101に予め登録されているユーザ名とパスワードとをマスタサーバ10に送信し映像リクエストを実行する。この送信情報にはクライアント端末100のIPアドレスも含められる。
前述のように、マスタサーバ10はこのリクエストを受けると、ユーザ名とパスワードをユーザ管理サーバ70に転送して認証をとるとともに、このユーザのユーザIDおよびグループIDを問い合わせる。その後、マスタサーバ10は映像管理テーブル11を参照して当該ユーザが要求にかかるストリーミング映像を見る権利を有するかをチェックする。すなわち、要求にかかる映像IDのレコードを参照し、ここに登録されているAuthReadUserとAuthReadGroupに、リクエスト元ユーザのユーザIDまたはグループIDが含まれているかを確認する。なお、AuthReadUser欄にゲストユーザを示す”1”が登録されている場合は何人も閲覧可能として扱われる。映像閲覧が許可された場合、マスタサーバ10はリレーゲートアドレスを含むURL_Keyを作成してクライアント端末100に返信するとともに、アクセスログ13に現在時刻とともに記録する。
クライアント端末100のビューワ101はURL_Keyを受信すると、これに含まれるリレーゲートアドレス(URL)に即座に接続要求を実施する。この送信情報にはクライアント端末100のIPアドレスと、前記選択したscenebitで特定される映像ID、開始時間ts、終了時間teとが含まれる。リレーゲート110は接続要求を受けると、これに含まれる映像IDとIPアドレスをマスタサーバ10に送信し、返事を待つ。マスタサーバ10ではリレーゲート110からの情報に基づきアクセスログ13を参照して映像IDおよびIPアドレスを照合し、またクライアント端末100からの映像リクエストから所定期間以内であるかを確認する。すべてが問題なければ、マスタサーバ10は映像管理テーブル11にあるストリーミング映像のURLをリレーゲート110に返信する。これを受けたリレーゲート110はストリーミングサーバにアクセスし、該当するストリーミング映像における指定された開始時間tsから終了時間teまでのストリーミング配信を要求する。これによりユーザが所望するシーンのストリーミング映像がリレーゲート110を介してクライアント端末100に配信可能となる。
これに並行して、クライアント端末100のビューワ101は、図11に示す検索画面から図12に示す閲覧画面に切り換える。また、ユーザが選択したscenebitにアノテーションURLが含まれている場合、当該URLにアクセスしてアノテーション情報をダウンロードする。このとき、アノテーション情報にXMLファイル以外の添付ファイルが存在する場合でも、ビューワ101はこの時点ではXMLファイルのみをダウンロードする。XMLファイル自体はデータサイズが小さいため、複数のアノテーション情報が存在する場合でも迅速にダウンロードを完了することができる。そして、ビューワ101はダウンロードしたアノテーション情報を閲覧画面上でユーザに選択可能に表示する。図12に示すように、閲覧画面は、ストリーミング映像再生部106と、アノテーションリスト表示部107と、scenebitリスト表示部108とを備えている。ストリーミング映像再生部106は公知のストリーミング映像閲覧ソフトをモジュールとして組み込んだものであり、映像の再生、スロー再生、早送り、巻き戻し、コマ送り等が可能である。また音声出力機能を有し、クライアント端末100のスピーカ等を用いて音声を出力する。アノテーションリスト表示部107は、ダウンロードしたアノテーションXMLファイルの情報をリスト表示する部分であり、各行の左端にチェックボックス107aが設けられている。この表示部107にはアノテーション情報に含まれる作成者名やテキスト情報等が表示される。好適には、アノテーション情報の作成時にタイトル情報を入力できるように構成し、アノテーションリスト107にタイトル情報を表示するようにする。
ユーザは、表示されたアノテーションリストのなかに希望するアノテーションがある場合、チェックボックス107aにチェックしてから、ストリーミング映像の再生ボタンを押下する。ビューワ101はチェックされたアノテーション情報を読み込んでから、ストリーミングを再生する。アノテーション情報は当該映像におけるアノテーション挿入時の指定を含んでおり、ビューワ101はこの時刻となったらストリーミング映像を一時停止して、アノテーションの内容を映像画面に重ねた仮想レイヤとして表示する。これにより、一時停止された映像画面上に、アノテーション作成者が描いた線画やテキストが表示され、また音声ファイルや別の添付ファイルがある場合には当該ファイルのアイコンが画面上に表示される。このアイコンをユーザがクリックすると、ビューワ101はアノテーションサーバ50に再びアクセスして当該ファイルをダウンロードし、ユーザに対して出力する。すなわち音声ファイルの場合は再生し、テキストファイル等の場合は別のウィンドウを立ち上げて内容を表示する。ユーザがこれらの情報を確認して再び再生ボタンを押すと、ビューワ101はこのアノテーション情報を消去し、再びストリーミング映像を再生する。他にもアノテーション情報が指定されている場合はその映像時刻になるとアノテーションが挿入され、このようにしてユーザは所望のシーンを閲覧して、所望のアノテーション情報を享受することができる。なお、アノテーション情報の出力はアノテーションエディタ91に対応する描画ソフトや音声再生機能等をビューワ101に組み込むことにより達成される。また、ストリーミング映像再生部106は音声出力機能を有しており、映像音声やアノテーションの音声がクライアント端末100のスピーカ(図示せず)から出力される。
図11に戻り、sceneQueryについて説明する。sceneQueryは、予め検索条件となる1以上のパラメータまたはその組み合わせを備えて構成されるXMLファイルであり、ユーザに検索条件となる他のパラメータの入力を促すか選択可能に提示し、入力あるいは選択されたパラメータによって検索文の作成や別のsceneQueryファイルのダウンロード等の動作を規定するものである。このsceneQueryは、予め各種の競技団体や映像提供者等により作成され、例えば当該団体のホームページ等で無償配布されることが想定される。ユーザはsceneQueryを適宜ダウンロードして利用できるものとする。このようにダウンロードしたsceneQueryはユーザ端末において所定のローカルフォルダに保存され、ビューワ101の起動時に読み込まれて利用可能な状態となる。
図11の実施例では、検索条件指定部103がクエリーリスト欄103aと、パラメータ指定欄103bとを備えている。クエリーリスト欄103aにはビューワ101が読み込んだsceneQueryがリスト表示され、ユーザがいずれかをクリックすることによりそのsceneQueryに設定された選択/入力バーがパラメータ指定欄103bに表示される。図11の例では、sceneQuery「柔道技検索」を指定すると、「技のタイプ」選択欄として例えば「立ち技,寝技,投げ技」のプルダウンメニューが表示され、またさらに細分した技名の選択欄が表示される。このsceneQueryには予めタイトル「柔道技検索」と、技のタイプ「立ち技,寝技,投げ技」のパラメータと、それぞれの技タイプについてさらに複数の選択肢が予め登録されており、いずれかの技タイプがユーザによって選択された場合に当該技タイプに属する技名が選択欄に表示されるよう設定されている。ユーザが例えば技タイプ「投げ技」、技名「背負い投げ」を選択すると、ビューワ101はこのsceneQueryの記述に従い、"search match (競技名,柔道) and match (技タイプ,投げ技) and match (技名,背負い投げ)"のような検索文を作成し、クエリー欄105に表示する。この例では"search"が検索要求、"match"がコマンド名、これに続く括弧内が(name, value)の組み合わせであり、これらをandで繋げて検索文を作成している。この場合にsceneQueryには予め(競技名,柔道)等のパラメータが登録されており、ユーザがsceneQuery「柔道技検索」を選択した時点でこのパラメータを用いることが確定する。
なお、パラメータ選択の部分はユーザが直接入力するテキストバーとしてもよく、この場合はユーザが入力したテキストがそのまま検索文に転載されるよう設定される。さらに、複数のパラメータを選択可能に表示する場合において、各選択肢に対応するURLを予めsceneQueryに登録しておき、選択されたパラメータに応じて新たなsceneQueryをダウンロードするようsceneQueryおよびビューワ101を構成してもよい。具体的には、例えば予め最も広範な選択肢として競技名を選択指定するsceneQueryのみ最初にビューワ101に組み込んでおき、ユーザに選択された競技名に対応するURLにアクセスして次に大会名を選択するsceneQueryを読み込み、次にこのsceneQueryでの選択内容に応じて選手名を選択するsceneQueryをダウンロードし、さらに・・・と続けてウェブ上に用意されたsceneQueryを次々と利用していくことができる。このように構成すると、継続して開催されるようなスポーツ大会で必然的に増えていく選手名や技名等をsceneQueryを提供する競技団体等が随時反映させることができ、ユーザは常に最新情報を反映させたsceneQueryを利用して最新映像を検索することが可能となる。
sceneQueryはXMLファイルとしてユーザが所定のローカルフォルダに保存することができ、ビューワ101はこれを読み込んでクエリーリスト欄106に表示する。また、検索サーバ20から検索結果として送信されるscenebitもXMLファイルのまま所定のローカルフォルダに保存することができ、ビューワ101はこれを読み込んで図10に示すお気に入りシーン集の欄109に表示する。ユーザは気に入ったシーンのscenebitをここに登録して繰り返し閲覧することができる。なお、お気に入りシーン集109に登録されたscenebitを閲覧する手順とビューワ101の処理は、検索結果表示欄104に表示されたscenebitを閲覧する処理と同じである。また、ユーザは任意のscenebitをファイルとして自由に扱うことができ、例えば電子メールに添付して他のユーザに送信したりすることが可能である。
(8)リレーゲート110
リレーゲート110はネットワーク上に1以上配設されプログラム動作するサーバコンピュータであり、上記説明したようにユーザ端末80,90,100からアクセスを受けてマスタサーバ10と照合してから、ストリーミング映像をユーザ端末に中継する。リレーゲート110は映像ストリーミングサーバ30や他のサーバが兼ねてもよい。リレーゲート110は、ユーザ端末80,90,100から映像ID,ts,te,IPアドレスを含む配信要求を受けると、映像IDとIPアドレスの情報をマスタサーバ10に転送し、認証結果を待つ。マスタサーバ10で認証が成功すると実際のストリーミング映像へのアクセスパスがリレーゲート110に送信される。リレーゲート110はこのURLにアクセスし、ストリーミング映像における開始時間(ts)と終了時間(te)を指定して映像配信要求を行う。ストリーミングサーバ30はこの条件に従い映像シーンをリレーゲート110にストリーミング送信し、これがリレーゲート110を介してユーザ端末に配信される。ここで、リレーゲート110はユーザ端末からのアクセス毎にランダムなURLを作成して映像アドレスとしてユーザ端末に通知し、これによりユーザ端末で実際のストリーミング映像に直接アクセスされないようにする。
なお、このリレーゲート110は、各ストリーミングサーバ30の前段に1つづつ設置されていてもよく、また1つのリレーゲートが複数のストリーミングサーバ30のストリーミング配信を担当するようにしてもよい。また、リレーゲート110は上記動作を実行するプログラムを各ストリーミングサーバ30に組み込むことにより実現することもできる。
(9)映像ストリーミングサーバ30
映像ストリーミングサーバ30は実際のストリーミング映像が登録されるサーバであり、上記のとおり映像のオーナー(映像を登録する者)が任意に決めてもよく、また本願システムで用意されたストリーミングサーバを用いてもよい。映像ストリーミングサーバ30はリレーゲートからストリーミング映像のURLと、当該映像における開始時間(ts)および終了時間(te)とを含むストリーミング配信要求を受けると、そのURLに登録されたストリーミング映像のts−teで規定されるシーンを抽出してストリーミング配信する。ストリーミング配信自体は公知技術であり詳細な説明は省略する。
(10)ダウンロードサーバ60
ダウンロードサーバ60はストリーミング映像の元映像(AVI,mpeg等が想定される)が登録されるサーバであり、映像ストリーミングサーバ30と同様にユーザが任意に選択したサーバを用いることができる。ダウンロードサーバ60は必須の構成ではないが、例えば研究機関で画質の良い映像を繰り返し利用するために元映像自体を取得する必要がある場合等に、制限されたユーザまたはグループに元映像をダウンロード可能とするために設けられる。ダウンロードサーバ30に元映像を登録した映像オーナーは、前述の手順によりマスタサーバ10にそのURLとダウンロードサーバアドレスとを登録する。
元映像のダウンロードを希望するユーザは、例えばユーザ端末のビューワ101のメニュー項目からダウンロードコマンドを実行する(図示せず)。ビューワ101はこれを受けて映像IDと、初期設定でビューワ101に登録されたユーザ名およびパスワードとをマスタサーバ10に送信してダウンロード要求を行う。マスタサーバ10はユーザ名およびパスワードをユーザ管理サーバ70に転送して認証をとるとともにこのユーザのユーザIDおよびグループIDとを問い合わせる。この返信を受けたマスタサーバ10は、映像管理テーブル11を参照して当該ユーザがこの映像をダウンロード可能なユーザかを確認する。すなわち、映像IDを基にレコードを調べ、AuthDLUserまたはAuthDLGroup欄にこのユーザのユーザ/グループIDが登録されているかを確認する。ユーザのIDが登録されている場合、マスタサーバ10はストリーミング映像への案内処理とほぼ同様にして、ユニークなキー(文字列)を作成し、映像ID、ユーザ端末のIPアドレス、キー作成時とともにアクセスログ13に保存する。また、このキーと、映像管理テーブル11に登録されている当該映像のDLサーバアドレスと、映像IDとを含むダウンロード用のURL_Keyを作成し、リクエスト元のユーザ端末に返信する。このURL_Keyは適切な方法で暗号化して送信され、これによってユーザの要求する元映像のダウンロードを扱うサーバのアドレスがユーザ端末に返信される。
ダウンロード用のURL_Keyを受信したユーザ端末のビューワ101(場合によってはイベントエディタ81またはアノテーションエディタ91)は、即座にURL_Keyに示されるDLサーバアドレスにアクセス先を切り換え、映像要求を行う。これを受けたダウンロードサーバ60は当該ユーザ端末のIPアドレスと映像IDとをマスタサーバ10に送信する。マスタサーバ10は問い合わせを受けると、先ほど登録したアクセスログ13を参照してユーザ端末のIPアドレスを照合し、また先ほどのキー作成時から所定期間(例えば数秒以内に設定される)内であるかを判定する。ユーザIDとIPアドレスが一致し且つ所定期間内である場合、マスタサーバ10は映像管理テーブル11を参照し、映像IDをキーにこの元映像が実際に保存されているDL元映像アドレスを抽出し、ダウンロードサーバ60に返信する。また、アクセスログ13にアクセスログを記録する。これによりダウンロードサーバ60は元映像を抽出し、ユーザ端末に送信する。このようにダウンロードサーバ60が上述したリレーゲート110とほぼ同様の処理を行うことによって、ユーザ端末から元映像をダウンロードすることが可能となる。
以上に本発明のシステムを構成する各サーバおよびユーザ端末の処理について詳細に説明したが、本願発明の技術的範囲は上記実施例に限定されるものではなく、様々な変更や拡張を適用することができる。上述したように各サーバおよび端末の機能は他のサーバまたは端末が兼ねるよう構成してもよいし、別のサーバ等を用意してさらに機能を分散してもよい。また、上記実施例はスポーツ映像の閲覧システムについて説明しているが、本発明の閲覧システムはスポーツ映像以外にもあらゆるジャンルの映像に適用することが可能である。例えば科学分野の実験映像を本願システムで管理し、広く実験映像シーンの参照・閲覧に役立てることができる。また、例えば医療における手術の映像を本願システムで管理し、医師の技術力向上のために閲覧可能としてもよい。このような場合にも他人がアノテーションを付したり、それを他人が閲覧できたりすると非常に便宜となる。また、テレビ放送局が自局で放送した番組をストリーミング映像として登録し、制限されたユーザの所望するシーンを閲覧可能とするようにしてもよい。このようにジャンルの異なる映像であっても本願システムに適用することができる。
さらに、上記実施例ではイベント情報がイベント入力端末80のオペレータによる作業により登録されるようにしているが、この作業の一部をイベントエディタ81またはイベントサーバ40等が自動処理により行う構成とすることができる。すなわち、イベントエディタ81やイベントサーバ40が映像または音声の自動解析を行ってイベント情報を作成するよう構成する。例えば、スポーツの試合では観客の歓声が上がると音声が大きくなるため、イベントエディタ81等が任意の映像を自動再生し、音声が閾値を超えた部分を1つのイベントとして順次登録していくことによりイベント情報を自動作成することができる。また、イベントエディタ81等が映像再生中に流れる音声を自動解析し、特定の単語が出現した場合を当該単語に関連するイベント情報として登録するように構成してもよい。具体的には、例えば柔道の試合において「一本!」といった音声を自動検出して、(name, value)が(判定,一本)というイベント情報を作成し、試合中に「一本」の判定が行われたシーンについてのイベント情報を作成することができる。また、例えばサッカーの試合の映像中に実況アナウンサーが発声する「ゴーール!」といった音声を検出してゴールシーンのイベントを自動生成するようなことができる。なお、音声解析処理や音量検知処理については公知技術であるため詳細な説明は省略する。
また、上記実施例ではクライアント端末100のビューワ101側で検索文を作成し、検索サーバ20に送信する方法を採用しているが、これは例えば検索サーバ20または他に用意したウェブサーバに検索エンジンを搭載し、ウェブ上でシーン検索を行えるようにしてもよい。その他、各種機能の実現方法は上記実施例のものに限らず、添付の特許請求の範囲を越えない限りにおいて変更を施すことができる。
本発明の映像閲覧システムはスポーツ業界のみならず、映像を用いる各種業界で利用することができる。また、各種サーバの運営等はネットワーク情報処理産業で利用することができる。
本発明の映像閲覧システムの全体構成を示す概略図である。 ユーザ管理サーバ70のユーザ管理テーブル71の構成例を示す図である。 ユーザ管理サーバ70のグループ管理テーブル72の構成例を示す図である。 マスタサーバ10の映像管理テーブル11の構成例を示す図である。 イベント入力端末80のイベントエディタ81の画面例を示す図である。 アノテーション入力端末90のアノテーションエディタ91の画面例を示す図である。 検索サーバ20の検索テーブル21の構成例を示す図である。 検索サーバ20の検索処理のイメージを説明するための図である。 検索サーバ20の検索処理のイメージを説明するための図である。 検索サーバ20の検索処理のイメージを説明するための図である。 クライアント端末100のビューワ101の検索画面例を示す図である。 クライアント端末100のビューワ101の閲覧画面例を示す図である。
符号の説明
1 通信ネットワーク
10 マスタサーバ
11 映像管理テーブル
20 検索サーバ
21 検索テーブル
30 映像ストリーミングサーバ
40 イベントサーバ
50 アノテーションサーバ
60 ダウンロードサーバ
70 ユーザ管理サーバ
71 ユーザ管理テーブル
72 グループ管理テーブル
80 イベント入力端末
81 イベントエディタ
90 アノテーション入力端末
91 アノテーションエディタ
100 クライアント端末
101 ビューワ
110 リレーゲート

Claims (16)

  1. 映像ストリーミングサーバに登録された1以上のストリーミング映像について、各ストリーミング映像に含まれる任意のイベントに関し少なくとも映像IDと当該映像における開始時間・終了時間とイベント内容とが登録された検索テーブルと、ユーザ端末からの検索要求に応じて前記検索テーブルを参照して条件に合致する映像シーンを検索し、少なくとも当該シーンに係る映像IDと開始時間・終了時間とを含むシーン情報をユーザ端末に送信する検索処理手段とを備え、ユーザ端末がいずれかのシーン情報を指定して映像配信要求を行うことにより、ユーザが所望するシーンをストリーミング閲覧可能としたことを特徴とする映像閲覧システム。
  2. 請求項1に記載の映像閲覧システムにおいて、前記検索処理手段は、前記検索要求に含まれるキーワードが完全一致又は部分一致するイベントを検索する機能と、検索抽出された2以上のイベントの時間幅が重複又は連続する映像シーンを検索する機能と、これらの条件をさらにand又はor検索する機能とを備え、前記検索要求に応じて条件に合致する映像シーンを特定することを特徴とする映像閲覧システム。
  3. 請求項1又は2に記載の映像閲覧システムにおいて、前記検索処理手段が、検索テーブルにおいて検索した映像シーンと同じ映像IDであって時間幅が重複するイベントのイベント内容をすべて抽出し、当該映像シーンのイベント内容として前記シーン情報に含めることを特徴とする映像閲覧システム。
  4. 請求項1乃至3のいずれかに記載の映像閲覧システムがさらに、任意のイベントについて線画・音声・文字・URL情報のいずれか1以上を含む付加情報が登録される付加情報格納手段を備えるとともに、各付加情報に係る映像IDと時間情報とアクセスパスとが前記検索テーブルに登録されており、前記検索処理手段が前記映像シーンの検索に加え、検索した映像シーンと映像IDが同じで映像時間が重複する付加情報を検索し、そのアクセスパスを前記シーン情報に含めることにより、ユーザが所望するシーンとともに当該シーンに付された付加情報を取得可能としたことを特徴とする映像閲覧システム。
  5. 請求項1乃至4のいずれかに記載の映像閲覧システムがさらに、前記映像ストリーミングサーバからユーザ端末への映像ストリーミング配信を中継する1以上のリレーゲート手段と、各ストリーミング映像の映像ID及びURLとこの映像を担当するリレーゲート手段へのアクセスパスとが登録された映像管理テーブルと、前記ユーザ端末から映像IDを含む映像配信要求を受けた場合に前記映像管理テーブルを参照して要求映像に対応するリレーゲート手段へのアクセスパスをユーザ端末に返信するマスタサーバとを備え、前記リレーゲート手段は前記ユーザ端末からアクセスを受けると当該ユーザ端末の識別情報を前記マスタサーバに送信し、これを受けて前記マスタサーバは前記映像管理テーブルを参照して前記ストリーミング映像のURLを前記リレーゲート手段に送信し、これにより前記リレーゲート手段が前記ストリーミング映像の中継を実行することを特徴とする映像閲覧システム。
  6. 請求項5に記載の映像閲覧システムにおいて、前記映像管理テーブルには各映像について閲覧が許可されたユーザ及び/又はユーザグループのリストが登録されているとともに、前記マスタサーバは前記ユーザ端末から映像配信要求を受けた場合に当該ユーザ及び/又は当該ユーザが属するユーザグループがこの映像の閲覧を許可されているかを確認することを特徴とする映像閲覧システム。
  7. 請求項1乃至6に記載の映像閲覧システムがさらに、ユーザごとのユーザID及びパスワードを登録するユーザ管理テーブルと、前記マスタサーバ等から問い合わせを受けた場合に前記ユーザ管理テーブルを参照してユーザ認証を行いその結果を返信するユーザ認証処理手段とを備えることを特徴とする映像閲覧システム。
  8. 請求項5に記載の映像閲覧システムにおいて、前記映像管理テーブルに前記ストリーミング映像の元映像であるダウンロード用ファイルのアクセスパスが登録されており、前記マスタサーバがユーザ端末からダウンロード要求を受けた場合に所定条件の下に前記ダウンロード用ファイルへのアクセスパスを前記ユーザ端末に通知することを特徴とする映像閲覧システム。
  9. 請求項1乃至8のいずれかに記載の映像閲覧システムに用いられ、前記検索テーブルの登録内容を定義するイベント入力端末であって、前記ストリーミング映像を再生する映像再生部と、当該映像に含まれるイベントの内容を定義するイベント内容定義部と、前記ストリーミング映像における各イベントの開始時間及び終了時間を定義するイベント時間定義部とを備え、ユーザの操作又は自動処理により映像IDと、開始時間及び終了時間と、イベント内容とを含むイベント情報を作成することを特徴とするイベント入力端末。
  10. 請求項9に記載のイベント入力端末で動作するプログラムであって、前記ストリーミング映像を再生するステップと、ユーザの入力操作があった場合又は前記ストリーミング映像又は音声が所定条件を満たす場合にイベントを認識して予め設定された内容のイベント情報を定義するステップと、これと同時にストリーミング映像におけるイベント発生時を定義してこれらの情報を映像IDとともにXML形式のイベント情報として作成するステップと、をコンピュータに実行させることを特徴とするプログラム。
  11. 請求項4に記載の映像閲覧システムに用いられ、前記付加情報を作成するためのコンピュータ端末であって、前記ストリーミング映像を再生及び一時停止する映像表示部と、少なくとも文字・線画・音声・URL情報のいずれか1以上を入力可能な付加情報入力部とを備え、一時停止されたストリーミング映像画面上に仮想レイヤを作成し、当該仮想レイヤの画面定義情報として前記入力された文字・線画・音声・URLへのリンクを定義してXML形式の付加情報を作成することを特徴とする付加情報入力端末。
  12. 請求項11の付加情報入力端末で動作するプログラムであって、前記ストリーミング映像を再生するステップと、ユーザからの入力操作があった場合にストリーミング映像を一時停止するステップと、ユーザから文字・線画・音声・URL情報いずれかの入力情報を取得して前記一時停止した映像画面上に仮想レイヤを作成し、当該仮想レイヤの画面定義情報として前記入力情報を含むXML形式の付加情報を作成するステップと、をコンピュータに実行させることを特徴とするプログラム。
  13. 請求項1乃至8のいずれかに記載のユーザ端末であって、ユーザの所望する映像シーンの検索条件を設定する検索条件設定部と、前記検索処理手段からのシーン情報をリスト表示するシーン情報表示部と、ユーザが選択したシーンのストリーミング映像を再生する映像再生部とを備え、前記検索条件設定部はユーザが直接入力又は選択した検索パラメータ又はその組み合わせを前記検索処理手段に送信し、前記シーン情報表示部は検索結果として表示したいずれかのシーン情報がユーザに選択された場合に当該シーン情報が含む映像IDと、開始時間及び終了時間と、予め取得しているユーザ識別情報及びパスワードとを前記マスタサーバに送信して映像配信要求を行うことを特徴とするユーザ端末。
  14. 請求項13に記載のユーザ端末で動作するプログラムであって、ユーザに選択可能に提示あるいは直接入力により検索パラメータ又はその組み合わせを取得して前記検索処理手段に送るステップと、前記検索処理手段からのシーン情報を選択可能に表示するステップと、ユーザに選択されたシーン情報に含まれる映像IDと、開始時間及び終了時間と、予め取得しているユーザ識別情報及びパスワードとを前記マスタサーバに送信して映像配信を要求するステップとをコンピュータに実行させることを特徴とするプログラム。
  15. 請求項14に記載のプログラムがさらに、前記ユーザに選択されたシーン情報が前記付加情報のアクセスパスを含んでいる場合に当該付加情報を取得してユーザに選択可能に提示するステップと、ユーザによりいずれかの付加情報が選択された場合、映像シーンの再生時に前記付加情報が示す時刻が到来したら前記ストリーミング映像を一時停止させ、前記付加情報に定義された文字・線画・音声等の情報を再生画面上に表示するステップとをコンピュータに実行させることを特徴とするプログラム。
  16. 請求項13又は14に記載のプログラムがさらに、予め1以上のパラメータ及び所定の処理手順を組み合わせて作成された検索条件ファイルを読み込んで、当該ファイルに定義されたパラメータをユーザに提示しユーザに選択入力あるいは直接入力されたパラメータを用いて検索要求を作成あるいは別の検索条件ファイルを取得するステップをコンピュータに実行させることを特徴とするプログラム。
JP2005333028A 2005-11-17 2005-11-17 映像閲覧システム、コンピュータ端末並びにプログラム Pending JP2007142750A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005333028A JP2007142750A (ja) 2005-11-17 2005-11-17 映像閲覧システム、コンピュータ端末並びにプログラム
PCT/JP2006/322720 WO2007058192A1 (ja) 2005-11-17 2006-11-15 映像閲覧システム、コンピュータ端末並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005333028A JP2007142750A (ja) 2005-11-17 2005-11-17 映像閲覧システム、コンピュータ端末並びにプログラム

Publications (1)

Publication Number Publication Date
JP2007142750A true JP2007142750A (ja) 2007-06-07

Family

ID=38048577

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005333028A Pending JP2007142750A (ja) 2005-11-17 2005-11-17 映像閲覧システム、コンピュータ端末並びにプログラム

Country Status (2)

Country Link
JP (1) JP2007142750A (ja)
WO (1) WO2007058192A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008305134A (ja) * 2007-06-07 2008-12-18 Sony Ericsson Mobilecommunications Japan Inc 映像検索システム、映像検索サーバ、移動体端末および映像検索プログラム
JP2009152927A (ja) * 2007-12-21 2009-07-09 Sony Corp コンテンツの再生方法および再生システム
JP2011525668A (ja) * 2008-06-23 2011-09-22 アルカテル−ルーセント メタデータを提供するためのシステムおよび方法
JP2013164770A (ja) * 2012-02-13 2013-08-22 Nippon Telegr & Teleph Corp <Ntt> 関連情報提供方法、関連情報提供装置および関連情報提供プログラム
JP2014209733A (ja) * 2008-02-19 2014-11-06 グーグル インコーポレイテッド ビデオインターバルへの注釈
JP2016139934A (ja) * 2015-01-27 2016-08-04 国立大学法人電気通信大学 動画配信システム及び動画再生装置
US9684432B2 (en) 2008-06-03 2017-06-20 Google Inc. Web-based system for collaborative generation of interactive videos
US9805012B2 (en) 2006-12-22 2017-10-31 Google Inc. Annotation framework for video
WO2018111372A1 (en) * 2016-12-16 2018-06-21 Google Llc On-demand video surfing
JP2019041215A (ja) * 2017-08-24 2019-03-14 株式会社Jvcケンウッド 映像管理システム、映像管理方法、及び映像管理プログラム
JP2019159819A (ja) * 2018-03-13 2019-09-19 オムロン株式会社 アノテーション方法、アノテーション装置、アノテーションプログラム及び識別システム
JP2020095747A (ja) * 2020-03-10 2020-06-18 株式会社エクサウィザーズ コーチング支援装置及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201414292A (zh) * 2012-09-21 2014-04-01 Inst Information Industry 媒體場景播放系統、方法及其記錄媒體
CN103324682B (zh) * 2013-05-31 2017-06-06 百度在线网络技术(北京)有限公司 一种基于图片来搜索视频的方法及装置
CN106843912B (zh) * 2017-03-22 2021-01-01 武汉斗鱼网络科技有限公司 页面信息获取方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092031A (ja) * 2000-09-12 2002-03-29 Toshiba Corp クライアント装置
JP2003199030A (ja) * 2001-12-28 2003-07-11 Canon Inc データ処理装置、データ処理サーバ、データ処理システム、データ処理装置の制御方法、データ処理サーバの制御方法、コンピュータプログラム及びコンピュータ可読記憶媒体
JP2003199060A (ja) * 2001-12-26 2003-07-11 Bellsystem 24 Inc スポーツ映像配信システムおよび映像処理システム
JP2003203035A (ja) * 2002-01-07 2003-07-18 Digital Dream:Kk 情報配信方法および情報配信システム、情報配信プログラム、編集プログラムならびにコンピュータで読み取り可能な記録媒体
JP2004013283A (ja) * 2002-06-04 2004-01-15 Hitachi Ltd コンテンツ配信方法及びコンテンツ配信装置
JP2004364182A (ja) * 2003-06-06 2004-12-24 Nippon Telegr & Teleph Corp <Ntt> コンテンツ再生制御方法、コンテンツ再生制御システム、サーバ装置、コンテンツ再生制御装置、及びコンテンツ再生制御プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204536A (ja) * 2002-01-07 2003-07-18 Toshiba Corp コンテンツ配信システム及び方法
JP3909673B2 (ja) * 2002-03-06 2007-04-25 船井電機株式会社 番組検索方法、ディジタルテレビ、ディジタル放送受信システム及びディジタル放送チューナ
JP2004030327A (ja) * 2002-06-26 2004-01-29 Sony Corp コンテンツ関連情報提供装置及びコンテンツ関連情報提供方法、電子掲示板システム、並びにコンピュータ・プログラム
JP2005208781A (ja) * 2004-01-21 2005-08-04 Fuji Xerox Co Ltd コンテンツ管理システム及びコンテンツ管理方法、並びにコンピュータ・プログラム
JP4269980B2 (ja) * 2004-03-10 2009-05-27 富士ゼロックス株式会社 コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092031A (ja) * 2000-09-12 2002-03-29 Toshiba Corp クライアント装置
JP2003199060A (ja) * 2001-12-26 2003-07-11 Bellsystem 24 Inc スポーツ映像配信システムおよび映像処理システム
JP2003199030A (ja) * 2001-12-28 2003-07-11 Canon Inc データ処理装置、データ処理サーバ、データ処理システム、データ処理装置の制御方法、データ処理サーバの制御方法、コンピュータプログラム及びコンピュータ可読記憶媒体
JP2003203035A (ja) * 2002-01-07 2003-07-18 Digital Dream:Kk 情報配信方法および情報配信システム、情報配信プログラム、編集プログラムならびにコンピュータで読み取り可能な記録媒体
JP2004013283A (ja) * 2002-06-04 2004-01-15 Hitachi Ltd コンテンツ配信方法及びコンテンツ配信装置
JP2004364182A (ja) * 2003-06-06 2004-12-24 Nippon Telegr & Teleph Corp <Ntt> コンテンツ再生制御方法、コンテンツ再生制御システム、サーバ装置、コンテンツ再生制御装置、及びコンテンツ再生制御プログラム

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805012B2 (en) 2006-12-22 2017-10-31 Google Inc. Annotation framework for video
US11727201B2 (en) 2006-12-22 2023-08-15 Google Llc Annotation framework for video
US11423213B2 (en) 2006-12-22 2022-08-23 Google Llc Annotation framework for video
US10853562B2 (en) 2006-12-22 2020-12-01 Google Llc Annotation framework for video
US10261986B2 (en) 2006-12-22 2019-04-16 Google Llc Annotation framework for video
JP2008305134A (ja) * 2007-06-07 2008-12-18 Sony Ericsson Mobilecommunications Japan Inc 映像検索システム、映像検索サーバ、移動体端末および映像検索プログラム
JP2009152927A (ja) * 2007-12-21 2009-07-09 Sony Corp コンテンツの再生方法および再生システム
JP2016187195A (ja) * 2008-02-19 2016-10-27 グーグル インコーポレイテッド ビデオインターバルへの注釈
JP2014209733A (ja) * 2008-02-19 2014-11-06 グーグル インコーポレイテッド ビデオインターバルへの注釈
US9690768B2 (en) 2008-02-19 2017-06-27 Google Inc. Annotating video intervals
US9684644B2 (en) 2008-02-19 2017-06-20 Google Inc. Annotating video intervals
US9684432B2 (en) 2008-06-03 2017-06-20 Google Inc. Web-based system for collaborative generation of interactive videos
JP2011525668A (ja) * 2008-06-23 2011-09-22 アルカテル−ルーセント メタデータを提供するためのシステムおよび方法
JP2013164770A (ja) * 2012-02-13 2013-08-22 Nippon Telegr & Teleph Corp <Ntt> 関連情報提供方法、関連情報提供装置および関連情報提供プログラム
JP2016139934A (ja) * 2015-01-27 2016-08-04 国立大学法人電気通信大学 動画配信システム及び動画再生装置
WO2018111372A1 (en) * 2016-12-16 2018-06-21 Google Llc On-demand video surfing
JP2019041215A (ja) * 2017-08-24 2019-03-14 株式会社Jvcケンウッド 映像管理システム、映像管理方法、及び映像管理プログラム
JP2019159819A (ja) * 2018-03-13 2019-09-19 オムロン株式会社 アノテーション方法、アノテーション装置、アノテーションプログラム及び識別システム
CN111712840A (zh) * 2018-03-13 2020-09-25 欧姆龙株式会社 注释方法、注释装置、注释程序以及识别系统
US20200397346A1 (en) * 2018-03-13 2020-12-24 Omron Corporation Annotation method, annotation device, storage medium, and identification system
CN111712840B (zh) * 2018-03-13 2023-11-03 欧姆龙株式会社 注释方法、注释装置、存储介质以及识别系统
WO2019176991A1 (ja) * 2018-03-13 2019-09-19 オムロン株式会社 アノテーション方法、アノテーション装置、アノテーションプログラム及び識別システム
JP2020095747A (ja) * 2020-03-10 2020-06-18 株式会社エクサウィザーズ コーチング支援装置及びプログラム
JP6994722B2 (ja) 2020-03-10 2022-01-14 株式会社エクサウィザーズ コーチング支援装置及びプログラム

Also Published As

Publication number Publication date
WO2007058192A1 (ja) 2007-05-24

Similar Documents

Publication Publication Date Title
JP2007142750A (ja) 映像閲覧システム、コンピュータ端末並びにプログラム
US9043691B2 (en) Method and apparatus for editing media
US9560417B1 (en) Collaborative streaming of video content
US6968506B2 (en) Method of and system for composing, delivering, viewing and managing audio-visual presentations over a communications network
KR100723661B1 (ko) 화상파일을 기록한 컴퓨터 독출가능한 기록매체, 그기록매체의 작성장치, 화상파일 작성프로그램을 기록한매체, 화상파일 송신장치, 화상파일 처리장치 및 화상파일처리프로그램을 기록한 매체
US9684432B2 (en) Web-based system for collaborative generation of interactive videos
KR101377235B1 (ko) 개별적으로 레코딩된 장면의 순차적인 병렬 배치를 위한 시스템
US20020026521A1 (en) System and method for managing and distributing associated assets in various formats
US20080284910A1 (en) Text data for streaming video
US20040098754A1 (en) Electronic messaging synchronized to media presentation
JP2008219424A (ja) コメント配信システム、コメント配信サーバ、端末装置、コメント配信方法、及びプログラム
CA2388879A1 (en) System and method for record and playback of collaborative web browsing session
US8321452B2 (en) Information processing system, apparatus and method for information processing, and recording medium
JP2007318196A (ja) 情報処理システム、情報提供装置、情報提供方法、再生装置、情報処理方法、およびプログラム
JP2004350092A (ja) 映像視聴システム、および当該システムに用いられる映像再生端末、および当該映像再生端末における処理方法、および当該処理方法を実行するプログラム、および当該プログラムを記録した記録媒体
CN112235603B (zh) 视频分发系统、方法、计算设备、用户设备及视频播放方法
WO2008087742A1 (ja) 動画再生システム、情報端末装置および情報表示方法
KR20080006443A (ko) 멀티미디어 편집/재생 시스템 및 그 동작방법
JP2001054090A (ja) 情報受信装置および情報受信プログラムを記録したコンピュータ読み取り可能な記録媒体
CN108024152A (zh) 一种屏幕展示回看系统及实现方法
KR100826683B1 (ko) 주문형 비디오 시스템의 챕터 정보 제공 방법
JP2003189276A (ja) 途中再生可能なストリーミング情報配信システム
KR101664472B1 (ko) 동영상 마킹 처리 방법
JP2003216531A (ja) コンテンツ配信方法、コンテンツ配信システム及びコンテンツ視聴確認装置
KR101805302B1 (ko) 멀티미디어 컨텐츠 재생 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110816

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120306