JP2004112372A - 画像処理システム - Google Patents
画像処理システム Download PDFInfo
- Publication number
- JP2004112372A JP2004112372A JP2002272523A JP2002272523A JP2004112372A JP 2004112372 A JP2004112372 A JP 2004112372A JP 2002272523 A JP2002272523 A JP 2002272523A JP 2002272523 A JP2002272523 A JP 2002272523A JP 2004112372 A JP2004112372 A JP 2004112372A
- Authority
- JP
- Japan
- Prior art keywords
- data
- video data
- still image
- image data
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
- H04N7/17309—Transmission or handling of upstream communications
- H04N7/17318—Direct or substantially direct transmission and handling of requests
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4828—End-user interface for program selection for searching program descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
- H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】ユーザにとって判り易い容易な操作によって、ビデオデータの任意の再生時間位置に資料画像データを対応付けることができ、ユーザの意図するタイミングでビデオ画像と資料画像との同期表示を可能にする。
【解決手段】ビデオデータ５と資料画像データ７との対応付け処理を行うインタフェース画面は、ビデオプレイヤ７２によって再生されたビデオデータの画像を表示する画面７０と、対応付けようとする資料画像を表示する画面７３とを備えており、ビデオを再生しながらオペレータが２２のタイミングで操作部７４から指定入力をすると、画面表示されている資料画像のデータが当該ビデオ再生の時間位置に対応付けられる。
【選択図】 図１０
【解決手段】ビデオデータ５と資料画像データ７との対応付け処理を行うインタフェース画面は、ビデオプレイヤ７２によって再生されたビデオデータの画像を表示する画面７０と、対応付けようとする資料画像を表示する画面７３とを備えており、ビデオを再生しながらオペレータが２２のタイミングで操作部７４から指定入力をすると、画面表示されている資料画像のデータが当該ビデオ再生の時間位置に対応付けられる。
【選択図】 図１０
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオデータ（動画データ）と静止画同データとを同期再生させるために対応付け処理を行うシステムに関する。
【０００２】
【従来の技術】
パーソナルコンピュータやモバイル端末などの閲覧クライアントに対して種々なコンテンツを配信するサービスが、特定領域或いは広域のサービスとして広く実施されている。
このようなコンテンツ配信を行うシステムには種々な態様があるが、ネットワーク通信技術の発達により、ビデオデータを含むコンテンツデータも配信されている。
【０００３】
コンテンツ配信システムの概要は、配信サーバに種々なコンテンツデータを登録しておき、閲覧クライアントが配信サーバにアクセスして所望のコンテンツを選択して要求すると、これに応えて、配信サーバが該当するコンテンツデータを閲覧クライアントに提供すると言うものである。
【０００４】
ここで、ビデオデータを配信するシステムでは、コンテンツの選択を容易化するために、ビデオデータに加えて、コンテンツのタイトル、コンテンツを選択するためのキーワード、コンテンツを選択するための分類情報、コンテンツの作者情報などを含むコンテンツレコード（メタデータ）がビデオデータに対応付けられており、閲覧クライアントを利用してコンテンツを視聴するユーザの便利を図っている。
【０００５】
【発明が解決しようとする課題】
配信されるビデオデータは、映画などの娯楽を目的としたものから、教育、講演、プレゼンテーションなどといった多種多様なものに拡張されてきている。特に、資料を用いて行われる講義、講演、プレゼンテーションなどといったもののビデオについては、資料の静止画像もビデオ画像とともに閲覧クライアントに提供して、これら画像を同期再生することが提供情報の充実を図るなどのために求められている。
【０００６】
また、ビデオは多くの場面を含んでいるが、上記の講演などのビデオにあっては資料から、それが使用されたビデオ中の場面を頭出して再生させることも求められている。このような頭出しは、ビデオ中の代表的シーンの静止画像によって行うようにしても、見たい場面を直ぐに探し出すことができて便利である。
【０００７】
本発明は、上記従来の事情に鑑みなされたもので、ビデオデータとこれに関連する静止画像データとを対応付け処理して、これらデータの同期再生を可能ならしめることを目的としている。
なお、本発明の更なる目的は以下の説明において明らかなところである。
【０００８】
【課題を解決するための手段】
本発明は、画像処理システム、画像処理方法、これらをコンピュータによって実現するためのプログラムなどの種々な態様で捉えられ、いずれにあっても、ビデオデータと静止画像データとの同期再生可能な対応付けを実現する。
【０００９】
本発明に係る画像再生システムでは、ビデオ表示手段によりビデオデータを再生して画面表示し、画像表示手段により静止画像データを再生して画面表示し、ビデオデータの再生中に画面表示された静止画像を指定するユーザ入力を指定手段から受け付けると、対応付け手段により当該指定された静止画像データをビデオデータの再生時間位置に対応付ける処理を行う。
したがって、ビデオデータに対してユーザの好みに応じた自由な再生時間位置に資料画像データなどの静止画像データを対応付けることができる。なお、ビデオ画像と静止画像とは同一画面上に表示するのが好ましく、このようにすれば、ユーザは指定入力操作をより正確なタイミングで行うことができるようになる。
【００１０】
ここで、本発明の画像処理システムは、閲覧クライアントからの要求に応じてビデオデータ及び静止画像データを提供する配信サーバに、登録クライアントによって対応付けしたビデオデータと静止画像データを登録するシステム構成とすることもでき、この場合には、登録クライアントに上記の各機能手段が備えられる。
また、前記対応付けをプログラムに記述するようにしてもよく、また、配信サーバが閲覧クライアントからの要求に応じてビデオデータ及び当該プログラムを閲覧クライアントに提供し、閲覧クライアントはビデオデータの再生に伴ってプログラムを実行することにより再生時間位置に対応付けられた静止画像データを配信サーバに要求するようにしてもよい。
【００１１】
上記のシステムは、それぞれの機能を専用装置として構成してもよいが、本発明に係るプログラムをコンピュータによって実行することにより構成することができる。
また、本発明に係る方法は、例えば上記のシステムによって実施される。
【００１２】
【発明の実施の形態】
本発明を実施例に基づいて具体的に説明する。
図１には本発明を適用したコンテンツ配信システムを示してあり、当該システムはインターネットＮを介して接続される配信サーバ１、閲覧クライアント２、登録クライアント３を備えて構成される。なお、本発明はこの内の主に登録クライアント３に適用される。
これら配信サーバ１、閲覧クライアント２、登録クライアント２はそれぞれコンピュータハードウエアにより本発明に係るプログラムを実行することにより所定の処理を行うように構成されており、特に、閲覧クライアント２はコンテンツ閲覧をするためのブラウザ機能を有したパーソナルコンピュータにより構成されている。
【００１３】
配信サーバ１は、ビデオデータと、当該ビデオデータに対応付けたスライド画像データや資料画像データと言った静止画像データ、検索用の音声インデックスデータ、コンテンツタイトルなどのコンテンツレコード（メタデータ）を各コンテンツ毎のデータとして記憶保持しており、閲覧クライアント２からの要求に応じて該当するコンテンツデータを配信提供する。
【００１４】
図２（ａ）にはビデオデータ５とスライド画像データ６との対応付け関係を示し、図２（ｂ）にはビデオデータ６と資料画像データ７との対応付け関係を示してある。
なお、これらスライド画像データ６と資料画像データ７とはいずれか一方だけをビデオデータ５に付随させるようにしてもよく、本明細書の説明では、特に指摘する場合を除いて、スライド画像データ６と資料画像データ７との両方又はいずれか一方を画像データと記述することもある。
ここで、本例では、ビデオデータを再生させながら、オペレータ操作によって当該ビデオデータの任意の再生時間位置に対応付ける静止画像データを資料画像データ７としているが、スライド画像データ６についても同様にしてもよい。
【００１５】
登録されるビデオデータ５はＭＰＥＧなどの形式から配信用のストリーム形式に変換された動画像データであり、スライド画像データ６（Ａ〜Ｋ）は配置登録前の前処理によってビデオデータ５中から自動処理又はオペレータ操作によって抽出された静止画像データである。これらスライド画像データ６はビデオ中の或る時間幅を持った場面を代表的に表すシーンの画像であり、ビデオデータ５の該当する場面に対応付けられる。
なお、スライド画像データは、主に閲覧ユーザが所望のコンテンツを探したり又はコンテンツビデオ中の所望の場面を探したりする検索用として用いられる。
【００１６】
資料画像データ７（ａ〜ｎ）は配置登録前の登録クライアント３による前処理でオペレータがビデオデータ５を再生してビデオ画像を見ながら対応付け操作し、ビデオデータ５の任意の再生時間位置に対応付けた静止画像データであり、例えばプレゼンテーションや講義などを写したビデオデータ５に対して、当該プレゼンテーションにおいて使用された資料を写した静止画像データである。
後述するように、資料画像データ７は次の資料画像データが表示されるべき時間位置になるまで画面表示されるように対応付けられ、この結果、資料画像データ７は資料が用いられたビデオ中の或る時間幅を持った場面に対応付けられて、閲覧ユーザに対してビデオ画像データに同期して該当する資料画像データを再生表示できるようになっている。
【００１７】
上記のビデオデータ５や静止画像データ６、７と言ったコンテンツデータは、後述するように、ブラウザを使用する閲覧クライアント２からの要求に応答して配信クライアント１が配信処理を行い、要求元の閲覧クライアント２に提供されてその表示装置に画面表示される。
【００１８】
図３には、配信サーバ１に所定のＵＲＬでアクセスした閲覧クライアント２にデフォルト画面として表示されるコンテンツ一覧を示してある。このコンテンツ一覧画面は検索インタフェース１０と、コンテンツ毎の複数のコンテンツインタフェース２０とを含んでおり、閲覧ユーザがキー入力やポインティング入力で検索インタフェース１０に指示を入力することによって登録されているコンテンツの内から所望のコンテンツを検索することができ、また、閲覧ユーザがポインティング入力でコンテンツインタフェース２０に指示を入力することによって当該コンテンツデータの内容を画面に表示して閲覧することができる。
【００１９】
検索インタフェース１０は各コンテンツデータに対応付けて配信サーバ１に登録されたメタデータや音声インデックスデータを利用して検索を行うものであり、カテゴリ（分類）を選択入力するためのドロップダウンウインドウ部１１、所望のコンテンツデータを検索するためのキーワード入力部１２、これらの入力に基づいて配信サーバ１に検索処理及び検索結果の提供を要求するため指示を入力する検索ボタン１３、更には、音声インデックスデータを利用して所望のコンテンツデータを検索するためのキーワード入力部１４、その入力に基づいて配信サーバ１に検索処理及び検索結果の提供を要求するため指示を入力する検索ボタン１５が設けられている。
【００２０】
なお、コンテンツデータに対応付けて配信サーバ１に登録されている音声インデックスデータは当該コンテンツ中に含まれる音声波形データであり、配信サーバ１がキーワード入力部１４から入力されたキーワードを音声波形データに変換して、これら波形データを照合することにより入力キーワードを含むコンテンツを検索する。
【００２１】
コンテンツインタフェース２０は、前記メタデータに基づいたコンテンツ番号２１、コンテンツのタイトル２２、コンテンツの作者２３、コンテンツの著作者２４、コンテンツの分類２５を表示し、また、コンテンツビデオのタイムスケール２６、当該コンテンツビデオのスライド画像２７を表示する。なお、タイムスケール２６を提示する機能はプラグ２６ａをユーザ操作で移動させることにより、これに連動して、スライド画像２７として表示されるスライド画像データ（Ａ〜Ｋ）６を変更させることができ、ビデオデータの再生時間位置に応じたスライド画像を再生することができるようになっている。
【００２２】
また、コンテンツインタフェース２０には開始ボタン２８と詳細ボタン２９とが設けられており、開始ボタン２８をユーザがポインティング指示することによって当該コンテンツビデオデータを配信サーバ１から取得して閲覧クライアント２の画面に再生表示させることができ、また、詳細ボタン２９ユーザがポインティング指示することによって後述するように当該コンテンツのスライド画像や資料画像のデータを配信サーバ１から一括取得して閲覧クライアント２の画面に一覧表示させることができる。
【００２３】
このように閲覧クライアント２に、ビデオデータ５と、それに対応付けられた全ての静止画像データを提供する場合には、一覧表示されているスライド画像２７や資料画像３０をユーザがポインティング指示することによって、ビデオデータを該当する場面（すなわち、再生時間位置）から再生して画面表示させる機能も閲覧クライアント２に備えられている。
【００２４】
ここで、資料画面データが対応付け格納されているコンテンツについては当該資料画像データに基づくキーワード検索が可能であり、この検索結果としてのコンテンツインタフェース２０は図４に示すような態様となる。
図３のものとほぼ同様であるが、資料画像３０中に含まれている文字記述と入力キーワードとの照合により、該当する資料画像３０の一覧も表示され、表示されている資料画像３０をユーザがポインティング指示することによって、コンテンツビデオデータを該当する場面から同期再生して画面表示させる機能も閲覧クライアント２に備えられている。
【００２５】
上記のユーザ指示によって配信サーバ１にアクセスして所望のコンテンツデータが閲覧クライアント２へ配信されるが、この配信されたコンテンツデータは閲覧クライアント２で図５に示すようなコンテンツ閲覧画面として表示される。このコンテンツ閲覧画面は、再生されたビデオ画像を表示するビデオ画面３３及び再生や停止などの操作ボタンが配置されたビデオ操作部３４を有したビデオプレイヤ部３５と、コマ送り操作ボタンが配置された操作部３６を有した静止画像データを再生表示する画像表示部３７、コンテンツデータに関するプログラム記述などを表示するノート表示画面部３８を含んでいる。
したがって、閲覧ユーザがポインティング入力で操作することにより、ビデオ画面３３にビデオ画像を再生させ、後に詳述するような対応付け処理が施されている結果、画像表示部３７にビデオデータの再生時間位置に応じた資料画像（又は、スライド画像）を同期表示させることができる。
【００２６】
上記詳細ボタン２９の押下によって配信サーバ１にアクセスして所望のコンテンツの画像データが閲覧クライアント２へ一括配信されるが、この配信された画像データは閲覧クライアント２で図６又は図７に示すような詳細表示画面として表示される。
図６はスライド画像データ６の一覧表示を行った状態を示しており、レコードデータ表示部４０には当該コンテンツのメタデータの諸項目が表示され、スライド画像表示部４１には当該コンテンツに対応付けられた全てのスライド画像６が時系列に表示される。
【００２７】
ここで、各スライド画像６は該当する場面の時間長さに応じて大きくなるようにスライド画像表示部４１に表示される。例えば、図２（ａ）に示すように、他に較べて場面の長さが短いＣやＤのスライド画像６はスライド画像表示部４１において他のスライド画像より小さいサイズで表示される。このようなサイズ変換は、例えば、各スライド画像に場面長さに応じた情報を付加しておき、詳細表示の要求に応じて配信サーバ１において行うことができる。
なお、このような画像サイズに差を持たせて表示する態様は、場面の内容の変化の大きさに応じたり、作者の意図に応じたりと言ったように、場面の重要度に応じてサイズを設定するようにしてもよい。
【００２８】
図７は資料画像データ７の一覧表示を行った状態を示しており、レコードデータ表示部４２には当該コンテンツのメタデータの諸項目が表示され、資料画像表示部４３には当該コンテンツに対応付けられた全ての資料画像７が時系列に表示されるとともに、各資料画像７から抽出された内容の記述文字列７ａが画像表示される。この文字列７ａは資料画像データ６から必要に応じて文字認識処理などで抽出され、上記のように資料画像をキーワード検索する際に照合される。
【００２９】
図６や図７に示すように一覧表示されたスライド画像や資料画像に対して、上記のようにユーザがいずれかの静止画像をポインティング指示で選択することによって、ビデオプレイヤ３５が画面表示されて、ビデオデータを該当する時間位置から再生して画面表示させることができる。
【００３０】
次に、ビデオデータ５と画像データ等を対応付けて配信サーバ１に登録する処理を説明する。
図８に示すように、配置サーバ１には配置登録した各コンテンツのレコードを記憶管理するデータベース５０と、各コンテンツデータの実体を格納する複数の配置先セット５１が設けられている。
データベース５０は各コンテンツデータのメタデータ、配置先ファイルパス、配置先ＵＲＬなどを含むコンテンツ用レコード５２と共に当該コンテンツデータが配置登録されている配置先セットを特定する番号５３を記憶管理しており、当該データベース５０を参照することにより、配信可能に各コンテンツデータを配置先セット５１内のフォルダに配置登録し、また、閲覧クライアント２から要求された該当するコンテンツデータを配信することができる。
【００３１】
配置先セット５１はそれぞれが１又は複数のコンテンツデータを格納する記憶領域であり、これら配置先セット５１の集合として配置サーバ１のコンテンツデータ記憶領域が構成されている。
図示の例では、各配置先セット５１には、ビデオデータを格納するビデオデータフォルダ５４、ビデオデータの再生時間位置に対応付けされた静止画像データを格納するための画像データフォルダ５５、音声インデックスデータを格納するための音声インデックスフォルダ５６が設けられており、同じコンテンツのデータは同じ配置先セット５１となるように、これらフォルダ５４〜５６内に各コンテンツの対応するデータが登録格納される。
【００３２】
各配置先セット５１へのコンテンツデータの配置登録は、オペレータ操作に従って登録クライアント３が有するコンテンツ作成ツール６０によって行われる。コンテンツ作成ツール６０は、ＭＰＥＧなどの形式のビデオデータを配信用のストリーム形式のビデオデータに変換する処理、変換したビデオデータを登録する処理、ビデオデータ５にスライド画像データ６を対応付けて登録する処理、後述するようにビデオデータ５に資料画像データ７を対応付けて登録する処理、ビデオデータ５に音声インデックスデータを対応付けて登録する処理などを行う。
【００３３】
コンテンツデータ（ビデオデータ、画像データ、音声インデックスデータ）の配置登録処理は、図９に示すように、登録するコンテンツデータ６５を登録クライアント３に入力し（▲１▼）、登録クライアント３を配信サーバ１に接続することにより開始される。
そして、登録クライアント３はデータベース５０からセットレコード６２を参照して、アーカイブファイルのコンテンツデータの配置先セット番号、各メディアデータのファイルパス、各メディアデータのＵＲＬを設定し（▲２▼）、コンテンツデータを配信サーバ１に送信して登録する（▲３▼）。
【００３４】
また、この際に、上記のようにオペレータが入力したメタデータもコンテンツレコード５２に設定され、コンテンツレコード５２とセットレコード６２とが配置先セット番号で対応付けられる。
また、後述のように、登録クライアント３による資料画像データとビデオデータとの対応付け処理で作成される対応関係情報（本例では、プログラム形式）も配信サーバ１に送信されて登録され、閲覧クライアント２にビデオデータとともに配信される。
【００３５】
このようにして登録配置されたコンテンツデータは、閲覧クライアント２からの要求に応じてデータベース５０を参照することにより配信サーバ１から提供される。
すなわち、閲覧クライアント２が配信サーバ１に対してコンテンツを指定する情報を含む要求を送信すると、配信サーバ１はコンテンツレコード５２を参照して当該コンテンツデータを配置した配置先セット番号を割り出し、当該配置先セット番号からセットレコード６２を参照して該当するビデオデータやその画像データのＵＲＬを割り出して、閲覧クライアント２へ提供する。閲覧クライアント２では配信サーバ１から提供されたＵＲＬに基づいてコンテンツデータファイルにアクセスし、該当するビデオデータや画像データを取得して画面に表示出力する。
【００３６】
次に、上記登録クライアント３によるビデオデータ５と資料画像データ７との対応付け処理について説明する。
図１０には登録クライアント３の画面に表示される対応付け処理用のインタフェースを示してあり、上記の登録処理の前処理としてビデオデータ５の任意の時間位置にオペレータが資料画像データ７を対応付けるために用いられる。
【００３７】
対応付け処理は、登録クライアント３にビデオデータファイルと資料画像データファイルとを読み込み、対応付け処理用のインタフェースを画面表示してオペレータの操作に応じて行われる。
このインタフェース画面は、ビデオデータ５を再生したビデオ画像を表示するビデオ画面７０及び再生や停止などの操作ボタンが配置されたビデオ操作部７１を有したビデオプレイヤ部７２と、資料画像データ７を再生した資料画像を表示する画像画面７３及びコマ送り操作ボタンや決定ボタンが配置された操作部７４を有した静止画像データを再生表示する画像表示部７５、読み込んだ資料画像データファイルに含まれる複数の資料画像３０のサムネイルを表示する一覧表示部７６、対応付け操作によって得られる対応付け関係情報（プログラム記述）を表示するスクリプト表示画面部７７を同一画面上に含んでいる。
【００３８】
このインターフェース画面では、オペレータがポインティング入力で操作することによって、操作部７４のコマ送り操作ボタンで一覧表示部７６に表示された資料画像３０の内の任意の画像を画像画面７３に拡大表示してその詳細を確認することができ、また、ビデオ操作部７１の操作ボタンでビデオデータを再生させてビデオ画面７０にビデオ画像を表示させることができる。そして、ビデオデータの再生中に、操作部７４の決定ボタンをオペレータがポインティング入力で押下すると、ビデオデータの当該再生時間位置に画像画面７３に表示した資料画像データを対応付けることができる。
したがって、オペレータは同一画面上でビデオ画像と資料画像の両方を確認しながら操作することができ、ビデオ中の所望の時間位置に所望の資料画像を対応付けすることができる。
【００３９】
登録クライアント３は、これらオペレータの入力操作に基づいて対応付け関係を表すプログラムを記述する機能を有しており、上記のオペレータ操作を行うことにより、幾つもの資料画像データ７をビデオデータ５に任意の再生時間位置で対応付けることができ、これら対応付け関係情報が記述される。
ここで、図１１に示すように、登録クライアント３は、オペレータの入力操作に基づいて、資料画像３０に別途用意した矢印７８や注釈７９の画像を付加して表示させる機能も有しており、これら付加画像を表示する再生時間位置や表示位置の情報も対応付け関係情報に含め記述され、また、これら付加画像データも資料画像データと共に配信サーバ１に登録される。なお、図１１は（ａ）〜（ｃ）に順を追って、ビデオデータの再生に伴って資料画像３０に矢印７８と注釈７９の画像が付加される状態を示している。
【００４０】
上記のように登録クライアント３で記述された対応関係プログラムは配信サーバ１２登録されて、閲覧クライアント２にビデオデータと共に配信提供されるが、これに基づく閲覧クライアント２における同期再生処理を具体的に説明する。図１２は閲覧クライアント２のＷｅｂブラウザで画面表示されるＷｅｂページを示しており、このＷｅｂページには図５に示したようにビデオプレイヤ３５が埋め込まれているが、配信サーバ１から提供された上記対応関係プログラムも埋め込まれる。このプログラムはプログラムコード８０と複数の同期コマンドデータ８１を含んでいる。
プログラムコード８０は、再生しているビデオデータの再生時間位置情報を取得する動画再生位置取得プログラム、同期コマンドデータ８１をチェックする同期コマンドデータチェックプログラム、同期コマンドデータ８１に対応するコマンドを実行する同期コマンド実行プログラムを含んでいる。
【００４１】
同期コマンドデータ８１は、コマンド実行時刻としてのビデオデータ再生時間情報と、実行するコマンド情報を含んでいる。すなわち、ビデオデータに対応付けられている複数の資料画像データのそれぞれについて同期コマンドデータ８１が存在し、同期コマンドデータ８１は、当該資料画像データのビデオデータに対する対応付け位置を示す再生時間位置情報と、当該再生時間位置で所定の資料画像データを配信サーバ１に要求するコマンドを含んでいる。
【００４２】
したがって、ビデオプレイヤ３５によるビデオデータの再生と同期してプログラムコード８０が実行され、動画再生位置取得プログラムが再生されているビデオデータの再生時間位置を取得し、同期コマンドデータチェックプログラムが同期コマンドデータ８１に前記取得した再生時間位置に該当するものが存在するかを判定し、存在する場合にはコマンド実行プログラムが当該同期コマンドデータのコマンドを実行して、該当する資料画像データを配信サーバ１に要求すると言う処理が、ビデオデータの再生を行っている間に繰り返し行われる。そして、提供された資料画像データは閲覧クライアント２で即座に再生されて画像表示部３７に表示出力され、ビデオデータと資料画像データとが対応付け関係に基づいて図５に示すように同一画面上で同期して再生表示される。
【００４３】
ここで、本例では資料画像の表示は次の資料画像の表示時間位置になるまで画像表示部３７に表示出力するように設定してあるので、上記の対応付け処理では、ビデオデータに対してオペレータは資料画像データを表示させる開始時間位置を操作するだけでよいが、勿論、資料画像データを表示させる開始と終了の時間位置を操作入力して、当該時間幅で資料画像を表示するようにしてもよい。
また、本例では、対応関係情報を閲覧クライアント２が実行するプログラム形式としたが、例えば、対応関係テーブル形式とし、閲覧クライアント２に必要な資料画像データを全て保持させ、該当する再生時間位置になったところで対応する資料画像データを再生して画面表示するようにしてもよい。
【００４４】
【発明の効果】
以上説明したように、本発明によると、ビデオデータと静止画像データとを再生表示しながら、ユーザ操作に応じてビデオデータと静止画像データとの対応付けを行うようにしたため、ユーザにとって判り易い容易な操作によって、ビデオデータの任意の再生時間位置に静止画像データを対応付けることができ、ユーザの意図するタイミングでビデオ画像と共に静止画像を表示する同期表示を実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施例に係るシステム構成図である。
【図２】本発明の一実施例に係るビデオデータと画像データとの関係を説明する図である。
【図３】本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図４】本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図５】本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図６】本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図７】本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図８】本発明の一実施例に係る配信サーバを説明する図である。
【図９】本発明の一実施例に係るコンテンツデータの配置登録処理の手順を説明する図である。
【図１０】本発明の一実施例に係る登録クライアントの画面表示を示す図である。
【図１１】本発明の一例に係る資料画像の表示態様を説明する図である。
【図１２】本発明の一実施例に係る閲覧クライアントのＷｅｂ機能を説明する図である。
【符号の説明】
１：配信サーバ、 ２：閲覧クライアント、
３：登録クライアント、 ５：ビデオデータ、
６，７：静止画像データ、 ３０：資料画像、
３３、７０：ビデオ画面、 ３５、７２：ビデオプレイヤ、
３７、７３：画像表示部、 ６０：コンテンツ作成ツール、
７４：操作部、 ７７：スクリプト表示部、
８０：プログラムコード、 ８１：同期コマンドデータ、
【発明の属する技術分野】
本発明は、ビデオデータ（動画データ）と静止画同データとを同期再生させるために対応付け処理を行うシステムに関する。
【０００２】
【従来の技術】
パーソナルコンピュータやモバイル端末などの閲覧クライアントに対して種々なコンテンツを配信するサービスが、特定領域或いは広域のサービスとして広く実施されている。
このようなコンテンツ配信を行うシステムには種々な態様があるが、ネットワーク通信技術の発達により、ビデオデータを含むコンテンツデータも配信されている。
【０００３】
コンテンツ配信システムの概要は、配信サーバに種々なコンテンツデータを登録しておき、閲覧クライアントが配信サーバにアクセスして所望のコンテンツを選択して要求すると、これに応えて、配信サーバが該当するコンテンツデータを閲覧クライアントに提供すると言うものである。
【０００４】
ここで、ビデオデータを配信するシステムでは、コンテンツの選択を容易化するために、ビデオデータに加えて、コンテンツのタイトル、コンテンツを選択するためのキーワード、コンテンツを選択するための分類情報、コンテンツの作者情報などを含むコンテンツレコード（メタデータ）がビデオデータに対応付けられており、閲覧クライアントを利用してコンテンツを視聴するユーザの便利を図っている。
【０００５】
【発明が解決しようとする課題】
配信されるビデオデータは、映画などの娯楽を目的としたものから、教育、講演、プレゼンテーションなどといった多種多様なものに拡張されてきている。特に、資料を用いて行われる講義、講演、プレゼンテーションなどといったもののビデオについては、資料の静止画像もビデオ画像とともに閲覧クライアントに提供して、これら画像を同期再生することが提供情報の充実を図るなどのために求められている。
【０００６】
また、ビデオは多くの場面を含んでいるが、上記の講演などのビデオにあっては資料から、それが使用されたビデオ中の場面を頭出して再生させることも求められている。このような頭出しは、ビデオ中の代表的シーンの静止画像によって行うようにしても、見たい場面を直ぐに探し出すことができて便利である。
【０００７】
本発明は、上記従来の事情に鑑みなされたもので、ビデオデータとこれに関連する静止画像データとを対応付け処理して、これらデータの同期再生を可能ならしめることを目的としている。
なお、本発明の更なる目的は以下の説明において明らかなところである。
【０００８】
【課題を解決するための手段】
本発明は、画像処理システム、画像処理方法、これらをコンピュータによって実現するためのプログラムなどの種々な態様で捉えられ、いずれにあっても、ビデオデータと静止画像データとの同期再生可能な対応付けを実現する。
【０００９】
本発明に係る画像再生システムでは、ビデオ表示手段によりビデオデータを再生して画面表示し、画像表示手段により静止画像データを再生して画面表示し、ビデオデータの再生中に画面表示された静止画像を指定するユーザ入力を指定手段から受け付けると、対応付け手段により当該指定された静止画像データをビデオデータの再生時間位置に対応付ける処理を行う。
したがって、ビデオデータに対してユーザの好みに応じた自由な再生時間位置に資料画像データなどの静止画像データを対応付けることができる。なお、ビデオ画像と静止画像とは同一画面上に表示するのが好ましく、このようにすれば、ユーザは指定入力操作をより正確なタイミングで行うことができるようになる。
【００１０】
ここで、本発明の画像処理システムは、閲覧クライアントからの要求に応じてビデオデータ及び静止画像データを提供する配信サーバに、登録クライアントによって対応付けしたビデオデータと静止画像データを登録するシステム構成とすることもでき、この場合には、登録クライアントに上記の各機能手段が備えられる。
また、前記対応付けをプログラムに記述するようにしてもよく、また、配信サーバが閲覧クライアントからの要求に応じてビデオデータ及び当該プログラムを閲覧クライアントに提供し、閲覧クライアントはビデオデータの再生に伴ってプログラムを実行することにより再生時間位置に対応付けられた静止画像データを配信サーバに要求するようにしてもよい。
【００１１】
上記のシステムは、それぞれの機能を専用装置として構成してもよいが、本発明に係るプログラムをコンピュータによって実行することにより構成することができる。
また、本発明に係る方法は、例えば上記のシステムによって実施される。
【００１２】
【発明の実施の形態】
本発明を実施例に基づいて具体的に説明する。
図１には本発明を適用したコンテンツ配信システムを示してあり、当該システムはインターネットＮを介して接続される配信サーバ１、閲覧クライアント２、登録クライアント３を備えて構成される。なお、本発明はこの内の主に登録クライアント３に適用される。
これら配信サーバ１、閲覧クライアント２、登録クライアント２はそれぞれコンピュータハードウエアにより本発明に係るプログラムを実行することにより所定の処理を行うように構成されており、特に、閲覧クライアント２はコンテンツ閲覧をするためのブラウザ機能を有したパーソナルコンピュータにより構成されている。
【００１３】
配信サーバ１は、ビデオデータと、当該ビデオデータに対応付けたスライド画像データや資料画像データと言った静止画像データ、検索用の音声インデックスデータ、コンテンツタイトルなどのコンテンツレコード（メタデータ）を各コンテンツ毎のデータとして記憶保持しており、閲覧クライアント２からの要求に応じて該当するコンテンツデータを配信提供する。
【００１４】
図２（ａ）にはビデオデータ５とスライド画像データ６との対応付け関係を示し、図２（ｂ）にはビデオデータ６と資料画像データ７との対応付け関係を示してある。
なお、これらスライド画像データ６と資料画像データ７とはいずれか一方だけをビデオデータ５に付随させるようにしてもよく、本明細書の説明では、特に指摘する場合を除いて、スライド画像データ６と資料画像データ７との両方又はいずれか一方を画像データと記述することもある。
ここで、本例では、ビデオデータを再生させながら、オペレータ操作によって当該ビデオデータの任意の再生時間位置に対応付ける静止画像データを資料画像データ７としているが、スライド画像データ６についても同様にしてもよい。
【００１５】
登録されるビデオデータ５はＭＰＥＧなどの形式から配信用のストリーム形式に変換された動画像データであり、スライド画像データ６（Ａ〜Ｋ）は配置登録前の前処理によってビデオデータ５中から自動処理又はオペレータ操作によって抽出された静止画像データである。これらスライド画像データ６はビデオ中の或る時間幅を持った場面を代表的に表すシーンの画像であり、ビデオデータ５の該当する場面に対応付けられる。
なお、スライド画像データは、主に閲覧ユーザが所望のコンテンツを探したり又はコンテンツビデオ中の所望の場面を探したりする検索用として用いられる。
【００１６】
資料画像データ７（ａ〜ｎ）は配置登録前の登録クライアント３による前処理でオペレータがビデオデータ５を再生してビデオ画像を見ながら対応付け操作し、ビデオデータ５の任意の再生時間位置に対応付けた静止画像データであり、例えばプレゼンテーションや講義などを写したビデオデータ５に対して、当該プレゼンテーションにおいて使用された資料を写した静止画像データである。
後述するように、資料画像データ７は次の資料画像データが表示されるべき時間位置になるまで画面表示されるように対応付けられ、この結果、資料画像データ７は資料が用いられたビデオ中の或る時間幅を持った場面に対応付けられて、閲覧ユーザに対してビデオ画像データに同期して該当する資料画像データを再生表示できるようになっている。
【００１７】
上記のビデオデータ５や静止画像データ６、７と言ったコンテンツデータは、後述するように、ブラウザを使用する閲覧クライアント２からの要求に応答して配信クライアント１が配信処理を行い、要求元の閲覧クライアント２に提供されてその表示装置に画面表示される。
【００１８】
図３には、配信サーバ１に所定のＵＲＬでアクセスした閲覧クライアント２にデフォルト画面として表示されるコンテンツ一覧を示してある。このコンテンツ一覧画面は検索インタフェース１０と、コンテンツ毎の複数のコンテンツインタフェース２０とを含んでおり、閲覧ユーザがキー入力やポインティング入力で検索インタフェース１０に指示を入力することによって登録されているコンテンツの内から所望のコンテンツを検索することができ、また、閲覧ユーザがポインティング入力でコンテンツインタフェース２０に指示を入力することによって当該コンテンツデータの内容を画面に表示して閲覧することができる。
【００１９】
検索インタフェース１０は各コンテンツデータに対応付けて配信サーバ１に登録されたメタデータや音声インデックスデータを利用して検索を行うものであり、カテゴリ（分類）を選択入力するためのドロップダウンウインドウ部１１、所望のコンテンツデータを検索するためのキーワード入力部１２、これらの入力に基づいて配信サーバ１に検索処理及び検索結果の提供を要求するため指示を入力する検索ボタン１３、更には、音声インデックスデータを利用して所望のコンテンツデータを検索するためのキーワード入力部１４、その入力に基づいて配信サーバ１に検索処理及び検索結果の提供を要求するため指示を入力する検索ボタン１５が設けられている。
【００２０】
なお、コンテンツデータに対応付けて配信サーバ１に登録されている音声インデックスデータは当該コンテンツ中に含まれる音声波形データであり、配信サーバ１がキーワード入力部１４から入力されたキーワードを音声波形データに変換して、これら波形データを照合することにより入力キーワードを含むコンテンツを検索する。
【００２１】
コンテンツインタフェース２０は、前記メタデータに基づいたコンテンツ番号２１、コンテンツのタイトル２２、コンテンツの作者２３、コンテンツの著作者２４、コンテンツの分類２５を表示し、また、コンテンツビデオのタイムスケール２６、当該コンテンツビデオのスライド画像２７を表示する。なお、タイムスケール２６を提示する機能はプラグ２６ａをユーザ操作で移動させることにより、これに連動して、スライド画像２７として表示されるスライド画像データ（Ａ〜Ｋ）６を変更させることができ、ビデオデータの再生時間位置に応じたスライド画像を再生することができるようになっている。
【００２２】
また、コンテンツインタフェース２０には開始ボタン２８と詳細ボタン２９とが設けられており、開始ボタン２８をユーザがポインティング指示することによって当該コンテンツビデオデータを配信サーバ１から取得して閲覧クライアント２の画面に再生表示させることができ、また、詳細ボタン２９ユーザがポインティング指示することによって後述するように当該コンテンツのスライド画像や資料画像のデータを配信サーバ１から一括取得して閲覧クライアント２の画面に一覧表示させることができる。
【００２３】
このように閲覧クライアント２に、ビデオデータ５と、それに対応付けられた全ての静止画像データを提供する場合には、一覧表示されているスライド画像２７や資料画像３０をユーザがポインティング指示することによって、ビデオデータを該当する場面（すなわち、再生時間位置）から再生して画面表示させる機能も閲覧クライアント２に備えられている。
【００２４】
ここで、資料画面データが対応付け格納されているコンテンツについては当該資料画像データに基づくキーワード検索が可能であり、この検索結果としてのコンテンツインタフェース２０は図４に示すような態様となる。
図３のものとほぼ同様であるが、資料画像３０中に含まれている文字記述と入力キーワードとの照合により、該当する資料画像３０の一覧も表示され、表示されている資料画像３０をユーザがポインティング指示することによって、コンテンツビデオデータを該当する場面から同期再生して画面表示させる機能も閲覧クライアント２に備えられている。
【００２５】
上記のユーザ指示によって配信サーバ１にアクセスして所望のコンテンツデータが閲覧クライアント２へ配信されるが、この配信されたコンテンツデータは閲覧クライアント２で図５に示すようなコンテンツ閲覧画面として表示される。このコンテンツ閲覧画面は、再生されたビデオ画像を表示するビデオ画面３３及び再生や停止などの操作ボタンが配置されたビデオ操作部３４を有したビデオプレイヤ部３５と、コマ送り操作ボタンが配置された操作部３６を有した静止画像データを再生表示する画像表示部３７、コンテンツデータに関するプログラム記述などを表示するノート表示画面部３８を含んでいる。
したがって、閲覧ユーザがポインティング入力で操作することにより、ビデオ画面３３にビデオ画像を再生させ、後に詳述するような対応付け処理が施されている結果、画像表示部３７にビデオデータの再生時間位置に応じた資料画像（又は、スライド画像）を同期表示させることができる。
【００２６】
上記詳細ボタン２９の押下によって配信サーバ１にアクセスして所望のコンテンツの画像データが閲覧クライアント２へ一括配信されるが、この配信された画像データは閲覧クライアント２で図６又は図７に示すような詳細表示画面として表示される。
図６はスライド画像データ６の一覧表示を行った状態を示しており、レコードデータ表示部４０には当該コンテンツのメタデータの諸項目が表示され、スライド画像表示部４１には当該コンテンツに対応付けられた全てのスライド画像６が時系列に表示される。
【００２７】
ここで、各スライド画像６は該当する場面の時間長さに応じて大きくなるようにスライド画像表示部４１に表示される。例えば、図２（ａ）に示すように、他に較べて場面の長さが短いＣやＤのスライド画像６はスライド画像表示部４１において他のスライド画像より小さいサイズで表示される。このようなサイズ変換は、例えば、各スライド画像に場面長さに応じた情報を付加しておき、詳細表示の要求に応じて配信サーバ１において行うことができる。
なお、このような画像サイズに差を持たせて表示する態様は、場面の内容の変化の大きさに応じたり、作者の意図に応じたりと言ったように、場面の重要度に応じてサイズを設定するようにしてもよい。
【００２８】
図７は資料画像データ７の一覧表示を行った状態を示しており、レコードデータ表示部４２には当該コンテンツのメタデータの諸項目が表示され、資料画像表示部４３には当該コンテンツに対応付けられた全ての資料画像７が時系列に表示されるとともに、各資料画像７から抽出された内容の記述文字列７ａが画像表示される。この文字列７ａは資料画像データ６から必要に応じて文字認識処理などで抽出され、上記のように資料画像をキーワード検索する際に照合される。
【００２９】
図６や図７に示すように一覧表示されたスライド画像や資料画像に対して、上記のようにユーザがいずれかの静止画像をポインティング指示で選択することによって、ビデオプレイヤ３５が画面表示されて、ビデオデータを該当する時間位置から再生して画面表示させることができる。
【００３０】
次に、ビデオデータ５と画像データ等を対応付けて配信サーバ１に登録する処理を説明する。
図８に示すように、配置サーバ１には配置登録した各コンテンツのレコードを記憶管理するデータベース５０と、各コンテンツデータの実体を格納する複数の配置先セット５１が設けられている。
データベース５０は各コンテンツデータのメタデータ、配置先ファイルパス、配置先ＵＲＬなどを含むコンテンツ用レコード５２と共に当該コンテンツデータが配置登録されている配置先セットを特定する番号５３を記憶管理しており、当該データベース５０を参照することにより、配信可能に各コンテンツデータを配置先セット５１内のフォルダに配置登録し、また、閲覧クライアント２から要求された該当するコンテンツデータを配信することができる。
【００３１】
配置先セット５１はそれぞれが１又は複数のコンテンツデータを格納する記憶領域であり、これら配置先セット５１の集合として配置サーバ１のコンテンツデータ記憶領域が構成されている。
図示の例では、各配置先セット５１には、ビデオデータを格納するビデオデータフォルダ５４、ビデオデータの再生時間位置に対応付けされた静止画像データを格納するための画像データフォルダ５５、音声インデックスデータを格納するための音声インデックスフォルダ５６が設けられており、同じコンテンツのデータは同じ配置先セット５１となるように、これらフォルダ５４〜５６内に各コンテンツの対応するデータが登録格納される。
【００３２】
各配置先セット５１へのコンテンツデータの配置登録は、オペレータ操作に従って登録クライアント３が有するコンテンツ作成ツール６０によって行われる。コンテンツ作成ツール６０は、ＭＰＥＧなどの形式のビデオデータを配信用のストリーム形式のビデオデータに変換する処理、変換したビデオデータを登録する処理、ビデオデータ５にスライド画像データ６を対応付けて登録する処理、後述するようにビデオデータ５に資料画像データ７を対応付けて登録する処理、ビデオデータ５に音声インデックスデータを対応付けて登録する処理などを行う。
【００３３】
コンテンツデータ（ビデオデータ、画像データ、音声インデックスデータ）の配置登録処理は、図９に示すように、登録するコンテンツデータ６５を登録クライアント３に入力し（▲１▼）、登録クライアント３を配信サーバ１に接続することにより開始される。
そして、登録クライアント３はデータベース５０からセットレコード６２を参照して、アーカイブファイルのコンテンツデータの配置先セット番号、各メディアデータのファイルパス、各メディアデータのＵＲＬを設定し（▲２▼）、コンテンツデータを配信サーバ１に送信して登録する（▲３▼）。
【００３４】
また、この際に、上記のようにオペレータが入力したメタデータもコンテンツレコード５２に設定され、コンテンツレコード５２とセットレコード６２とが配置先セット番号で対応付けられる。
また、後述のように、登録クライアント３による資料画像データとビデオデータとの対応付け処理で作成される対応関係情報（本例では、プログラム形式）も配信サーバ１に送信されて登録され、閲覧クライアント２にビデオデータとともに配信される。
【００３５】
このようにして登録配置されたコンテンツデータは、閲覧クライアント２からの要求に応じてデータベース５０を参照することにより配信サーバ１から提供される。
すなわち、閲覧クライアント２が配信サーバ１に対してコンテンツを指定する情報を含む要求を送信すると、配信サーバ１はコンテンツレコード５２を参照して当該コンテンツデータを配置した配置先セット番号を割り出し、当該配置先セット番号からセットレコード６２を参照して該当するビデオデータやその画像データのＵＲＬを割り出して、閲覧クライアント２へ提供する。閲覧クライアント２では配信サーバ１から提供されたＵＲＬに基づいてコンテンツデータファイルにアクセスし、該当するビデオデータや画像データを取得して画面に表示出力する。
【００３６】
次に、上記登録クライアント３によるビデオデータ５と資料画像データ７との対応付け処理について説明する。
図１０には登録クライアント３の画面に表示される対応付け処理用のインタフェースを示してあり、上記の登録処理の前処理としてビデオデータ５の任意の時間位置にオペレータが資料画像データ７を対応付けるために用いられる。
【００３７】
対応付け処理は、登録クライアント３にビデオデータファイルと資料画像データファイルとを読み込み、対応付け処理用のインタフェースを画面表示してオペレータの操作に応じて行われる。
このインタフェース画面は、ビデオデータ５を再生したビデオ画像を表示するビデオ画面７０及び再生や停止などの操作ボタンが配置されたビデオ操作部７１を有したビデオプレイヤ部７２と、資料画像データ７を再生した資料画像を表示する画像画面７３及びコマ送り操作ボタンや決定ボタンが配置された操作部７４を有した静止画像データを再生表示する画像表示部７５、読み込んだ資料画像データファイルに含まれる複数の資料画像３０のサムネイルを表示する一覧表示部７６、対応付け操作によって得られる対応付け関係情報（プログラム記述）を表示するスクリプト表示画面部７７を同一画面上に含んでいる。
【００３８】
このインターフェース画面では、オペレータがポインティング入力で操作することによって、操作部７４のコマ送り操作ボタンで一覧表示部７６に表示された資料画像３０の内の任意の画像を画像画面７３に拡大表示してその詳細を確認することができ、また、ビデオ操作部７１の操作ボタンでビデオデータを再生させてビデオ画面７０にビデオ画像を表示させることができる。そして、ビデオデータの再生中に、操作部７４の決定ボタンをオペレータがポインティング入力で押下すると、ビデオデータの当該再生時間位置に画像画面７３に表示した資料画像データを対応付けることができる。
したがって、オペレータは同一画面上でビデオ画像と資料画像の両方を確認しながら操作することができ、ビデオ中の所望の時間位置に所望の資料画像を対応付けすることができる。
【００３９】
登録クライアント３は、これらオペレータの入力操作に基づいて対応付け関係を表すプログラムを記述する機能を有しており、上記のオペレータ操作を行うことにより、幾つもの資料画像データ７をビデオデータ５に任意の再生時間位置で対応付けることができ、これら対応付け関係情報が記述される。
ここで、図１１に示すように、登録クライアント３は、オペレータの入力操作に基づいて、資料画像３０に別途用意した矢印７８や注釈７９の画像を付加して表示させる機能も有しており、これら付加画像を表示する再生時間位置や表示位置の情報も対応付け関係情報に含め記述され、また、これら付加画像データも資料画像データと共に配信サーバ１に登録される。なお、図１１は（ａ）〜（ｃ）に順を追って、ビデオデータの再生に伴って資料画像３０に矢印７８と注釈７９の画像が付加される状態を示している。
【００４０】
上記のように登録クライアント３で記述された対応関係プログラムは配信サーバ１２登録されて、閲覧クライアント２にビデオデータと共に配信提供されるが、これに基づく閲覧クライアント２における同期再生処理を具体的に説明する。図１２は閲覧クライアント２のＷｅｂブラウザで画面表示されるＷｅｂページを示しており、このＷｅｂページには図５に示したようにビデオプレイヤ３５が埋め込まれているが、配信サーバ１から提供された上記対応関係プログラムも埋め込まれる。このプログラムはプログラムコード８０と複数の同期コマンドデータ８１を含んでいる。
プログラムコード８０は、再生しているビデオデータの再生時間位置情報を取得する動画再生位置取得プログラム、同期コマンドデータ８１をチェックする同期コマンドデータチェックプログラム、同期コマンドデータ８１に対応するコマンドを実行する同期コマンド実行プログラムを含んでいる。
【００４１】
同期コマンドデータ８１は、コマンド実行時刻としてのビデオデータ再生時間情報と、実行するコマンド情報を含んでいる。すなわち、ビデオデータに対応付けられている複数の資料画像データのそれぞれについて同期コマンドデータ８１が存在し、同期コマンドデータ８１は、当該資料画像データのビデオデータに対する対応付け位置を示す再生時間位置情報と、当該再生時間位置で所定の資料画像データを配信サーバ１に要求するコマンドを含んでいる。
【００４２】
したがって、ビデオプレイヤ３５によるビデオデータの再生と同期してプログラムコード８０が実行され、動画再生位置取得プログラムが再生されているビデオデータの再生時間位置を取得し、同期コマンドデータチェックプログラムが同期コマンドデータ８１に前記取得した再生時間位置に該当するものが存在するかを判定し、存在する場合にはコマンド実行プログラムが当該同期コマンドデータのコマンドを実行して、該当する資料画像データを配信サーバ１に要求すると言う処理が、ビデオデータの再生を行っている間に繰り返し行われる。そして、提供された資料画像データは閲覧クライアント２で即座に再生されて画像表示部３７に表示出力され、ビデオデータと資料画像データとが対応付け関係に基づいて図５に示すように同一画面上で同期して再生表示される。
【００４３】
ここで、本例では資料画像の表示は次の資料画像の表示時間位置になるまで画像表示部３７に表示出力するように設定してあるので、上記の対応付け処理では、ビデオデータに対してオペレータは資料画像データを表示させる開始時間位置を操作するだけでよいが、勿論、資料画像データを表示させる開始と終了の時間位置を操作入力して、当該時間幅で資料画像を表示するようにしてもよい。
また、本例では、対応関係情報を閲覧クライアント２が実行するプログラム形式としたが、例えば、対応関係テーブル形式とし、閲覧クライアント２に必要な資料画像データを全て保持させ、該当する再生時間位置になったところで対応する資料画像データを再生して画面表示するようにしてもよい。
【００４４】
【発明の効果】
以上説明したように、本発明によると、ビデオデータと静止画像データとを再生表示しながら、ユーザ操作に応じてビデオデータと静止画像データとの対応付けを行うようにしたため、ユーザにとって判り易い容易な操作によって、ビデオデータの任意の再生時間位置に静止画像データを対応付けることができ、ユーザの意図するタイミングでビデオ画像と共に静止画像を表示する同期表示を実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施例に係るシステム構成図である。
【図２】本発明の一実施例に係るビデオデータと画像データとの関係を説明する図である。
【図３】本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図４】本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図５】本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図６】本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図７】本発明の一実施例に係る閲覧クライアントの画面表示を示す図である。
【図８】本発明の一実施例に係る配信サーバを説明する図である。
【図９】本発明の一実施例に係るコンテンツデータの配置登録処理の手順を説明する図である。
【図１０】本発明の一実施例に係る登録クライアントの画面表示を示す図である。
【図１１】本発明の一例に係る資料画像の表示態様を説明する図である。
【図１２】本発明の一実施例に係る閲覧クライアントのＷｅｂ機能を説明する図である。
【符号の説明】
１：配信サーバ、 ２：閲覧クライアント、
３：登録クライアント、 ５：ビデオデータ、
６，７：静止画像データ、 ３０：資料画像、
３３、７０：ビデオ画面、 ３５、７２：ビデオプレイヤ、
３７、７３：画像表示部、 ６０：コンテンツ作成ツール、
７４：操作部、 ７７：スクリプト表示部、
８０：プログラムコード、 ８１：同期コマンドデータ、
Claims (8)
- 静止画像データをビデオデータに対応付ける画像処理システムであって、
ビデオデータを再生して画面表示するビデオ表示手段と、
静止画像データを再生して画面表示する画像表示手段と、
画面表示された静止画像を指定するユーザ入力を受け付ける指定手段と、
ビデオデータの再生中に入力されたユーザからの指定入力に応じて、当該指定された静止画像データをビデオデータの再生時間位置に対応付ける対応付け手段と、を備えたことを特徴とする画像処理システム。 - 静止画像データをビデオデータに対応付ける画像処理システムであって、
ビデオデータを再生して画面表示するビデオ表示手段と、静止画像データを再生して画面表示する画像表示手段と、画面表示された静止画像を指定するユーザ入力を受け付ける指定手段と、ビデオデータの再生中に入力されたユーザからの指定入力に応じて、当該指定された静止画像データをビデオデータの再生時間位置に対応付ける対応付け手段とを通する登録クライアントと、
対応付けされたビデオデータと静止画像データを保持し、閲覧クライアントからの要求に応じてビデオデータ及び静止画像データを提供する配信サーバと、を備えたことを特徴とする画像処理システム。 - 請求項２に記載の画像処理システムにおいて、
前記配信サーバはビデオデータと静止画像データとの対応関係情報を閲覧クライアントに提供し、閲覧クライアントから要求された静止画像データを提供することを特徴とする画像処理システム。 - ビデオデータの再生中に入力されたユーザからの指定入力に応じて、当該指定された静止画像データをビデオデータの再生時間位置に対応付ける対応付け処理のためのインタフェースであって、
ビデオデータを再生したビデオ画像を表示するビデオ表示部と、静止画像データを再生した静止画像を表示する画像表示部とが同一画面上に設けられていることを特徴とする画像処理用インタフェース。 - 静止画像データをビデオデータに対応付ける画像処理方法であって、
ビデオデータを再生して画面表示するとともに静止画像データを再生して画面表示し、
ビデオデータの再生中にユーザ入力された静止画像の指定に応じて、当該指定された静止画像データをビデオデータの再生時間位置に対応付けることを特徴とする画像処理方法。 - 閲覧クライアントからの要求に応じてビデオデータ及び静止画像データを提供する配信サーバに、静止画像データをビデオデータに対応付けて登録する画像処理方法であって、
登録クライアントは、ビデオデータを再生して画面表示するとともに静止画像データを再生して画面表示し、ビデオデータの再生中にユーザ入力された静止画像の指定に応じて、当該指定された静止画像データをビデオデータの再生時間位置に対応付け、当該対応付け関係情報とともにビデオデータ及び静止画像データを配信サーバに登録することを特徴とする画像処理方法。 - 請求項６に記載の画像処理方法において、
前記対応付け情報はビデオデータの再生時間位置に応じて配信サーバに対して所定の静止画像データを要求するためのプログラムであり、
配信サーバは、閲覧クライアントからの要求に応じてビデオデータ及び当該プログラムを閲覧クライアントに提供し、
閲覧クライアントは、ビデオデータの再生に伴ってプログラムを実行することにより、再生時間位置に対応付けられた静止画像データを配信サーバに要求することを特徴とする画像処理方法。 - 静止画像データをビデオデータに対応付ける画像処理をコンピュータに実行させるプログラムであって、
静止画像を画面表示して、ビデオデータの再生中に静止画像を指定する入力を受け付け、当該ユーザ指定された静止画像データを再生しているビデオデータの再生時間位置に対応付ける処理を、コンピュータに実施させることを特徴とするプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002272523A JP2004112372A (ja) | 2002-09-19 | 2002-09-19 | 画像処理システム |
| US10/625,700 US7873905B2 (en) | 2002-09-19 | 2003-07-24 | Image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002272523A JP2004112372A (ja) | 2002-09-19 | 2002-09-19 | 画像処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004112372A true JP2004112372A (ja) | 2004-04-08 |
| JP2004112372A5 JP2004112372A5 (ja) | 2005-11-10 |
Family
ID=32269517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002272523A Pending JP2004112372A (ja) | 2002-09-19 | 2002-09-19 | 画像処理システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7873905B2 (ja) |
| JP (1) | JP2004112372A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090126349A (ko) * | 2008-06-04 | 2009-12-09 | 주식회사 비즈모델라인 | 동영상 마킹정보 처리방법 및 시스템과 이를 위한 프로그램기록매체 |
| JP2010220057A (ja) * | 2009-03-18 | 2010-09-30 | Fuji Xerox Co Ltd | 情報配信装置および情報配信システム |
| JP2018082257A (ja) * | 2016-11-15 | 2018-05-24 | 株式会社フィール | 情報表示装置、情報表示プログラム、および情報提供システム |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004112372A (ja) | 2002-09-19 | 2004-04-08 | Fuji Xerox Co Ltd | 画像処理システム |
| JP2004112379A (ja) * | 2002-09-19 | 2004-04-08 | Fuji Xerox Co Ltd | 画像検索システム |
| US8090698B2 (en) * | 2004-05-07 | 2012-01-03 | Ebay Inc. | Method and system to facilitate a search of an information resource |
| JP2006041884A (ja) * | 2004-07-27 | 2006-02-09 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
| KR100883106B1 (ko) * | 2007-04-03 | 2009-02-11 | 삼성전자주식회사 | 비디오 데이터 표시 방법 및 이를 이용하는 휴대 단말기 |
| JP2010055559A (ja) * | 2008-08-29 | 2010-03-11 | Canon Inc | 文書管理装置、文書管理方法、及びプログラム |
| US8677240B2 (en) * | 2009-10-05 | 2014-03-18 | Harris Corporation | Video processing system providing association between displayed video and media content and related methods |
| JP5005835B2 (ja) * | 2009-10-22 | 2012-08-22 | パナソニック株式会社 | 再生装置、再生方法、プログラムおよび記録媒体 |
| JP5887123B2 (ja) | 2011-12-13 | 2016-03-16 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理システム、第１電子機器、第２電子機器、画像ファイル再生方法および提供方法 |
| US9092506B1 (en) | 2012-05-07 | 2015-07-28 | Google Inc. | Providing a report based on a negative keyword |
| US20140178047A1 (en) * | 2012-12-21 | 2014-06-26 | The Center for Digital Content, LLC | Gesture drive playback control for chromeless media players |
| US11403834B2 (en) * | 2017-09-28 | 2022-08-02 | Nec Corporation | Sound recording device, recording medium, and image recording device |
Family Cites Families (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05282379A (ja) | 1992-02-06 | 1993-10-29 | Internatl Business Mach Corp <Ibm> | 動画像の管理方法及び管理装置 |
| US5521841A (en) * | 1994-03-31 | 1996-05-28 | Siemens Corporate Research, Inc. | Browsing contents of a given video sequence |
| JPH0969165A (ja) | 1995-08-31 | 1997-03-11 | Dainippon Screen Mfg Co Ltd | 画像処理装置 |
| JPH09116740A (ja) | 1995-10-19 | 1997-05-02 | Toppan Printing Co Ltd | 自動色調修正装置 |
| US5760767A (en) * | 1995-10-26 | 1998-06-02 | Sony Corporation | Method and apparatus for displaying in and out points during video editing |
| US6332147B1 (en) * | 1995-11-03 | 2001-12-18 | Xerox Corporation | Computer controlled display system using a graphical replay device to control playback of temporal data representing collaborative activities |
| US5852435A (en) * | 1996-04-12 | 1998-12-22 | Avid Technology, Inc. | Digital multimedia editing and data management system |
| USRE38401E1 (en) * | 1997-01-16 | 2004-01-27 | Obvious Technology, Inc. | Interactive video icon with designated viewing position |
| JPH1139343A (ja) | 1997-07-17 | 1999-02-12 | Media Rinku Syst:Kk | 映像検索装置 |
| US6463444B1 (en) * | 1997-08-14 | 2002-10-08 | Virage, Inc. | Video cataloger system with extensibility |
| JP3134827B2 (ja) | 1997-11-07 | 2001-02-13 | 日本電気株式会社 | 画像レイアウトシステム、方法及び記録媒体 |
| JPH11184867A (ja) | 1997-12-19 | 1999-07-09 | Toshiba Corp | 映像情報検索再生方法ならびに装置及び同方法がプログラムされ記録される記録媒体 |
| US7954056B2 (en) * | 1997-12-22 | 2011-05-31 | Ricoh Company, Ltd. | Television-based visualization and navigation interface |
| JP3426960B2 (ja) | 1998-04-23 | 2003-07-14 | 日本電信電話株式会社 | 映像編集方法及び装置及びそのプログラムを記録した記録媒体 |
| US6789228B1 (en) | 1998-05-07 | 2004-09-07 | Medical Consumer Media | Method and system for the storage and retrieval of web-based education materials |
| WO2000017778A1 (fr) | 1998-09-17 | 2000-03-30 | Sony Corporation | Dispositif et procede de generation d'images |
| JP2000115736A (ja) | 1998-09-30 | 2000-04-21 | Mitsubishi Electric Corp | 情報配信システム及び情報送信装置及び情報受信装置 |
| US7209942B1 (en) | 1998-12-28 | 2007-04-24 | Kabushiki Kaisha Toshiba | Information providing method and apparatus, and information reception apparatus |
| US6912327B1 (en) | 1999-01-28 | 2005-06-28 | Kabushiki Kaisha Toshiba | Imagine information describing method, video retrieval method, video reproducing method, and video reproducing apparatus |
| JP2000278635A (ja) | 1999-03-26 | 2000-10-06 | Tokyo Electric Power Co Inc:The | 解説用素材作成編集装置および解説用素材提示装置ならびに解説支援システム |
| US6751776B1 (en) | 1999-08-06 | 2004-06-15 | Nec Corporation | Method and apparatus for personalized multimedia summarization based upon user specified theme |
| US7299405B1 (en) | 2000-03-08 | 2007-11-20 | Ricoh Company, Ltd. | Method and system for information management to facilitate the exchange of ideas during a collaborative effort |
| JP2001209361A (ja) | 2000-01-27 | 2001-08-03 | Matsushita Electric Ind Co Ltd | マルチメディア表示装置 |
| US6249281B1 (en) * | 2000-02-28 | 2001-06-19 | Presenter.Com | On-demand presentation graphical user interface |
| US6807361B1 (en) * | 2000-07-18 | 2004-10-19 | Fuji Xerox Co., Ltd. | Interactive custom video creation system |
| US6834371B1 (en) | 2000-08-31 | 2004-12-21 | Interactive Video Technologies, Inc. | System and method for controlling synchronization of a time-based presentation and its associated assets |
| JP2002229438A (ja) | 2001-01-31 | 2002-08-14 | Fuji Xerox Co Ltd | 遠隔学習支援方法および装置並びにプログラム |
| JP2002272567A (ja) | 2001-03-15 | 2002-09-24 | Minako Ishikawa | クリアケース |
| US6804684B2 (en) | 2001-05-07 | 2004-10-12 | Eastman Kodak Company | Method for associating semantic information with multiple images in an image database environment |
| US7068309B2 (en) | 2001-10-09 | 2006-06-27 | Microsoft Corp. | Image exchange with image annotation |
| US7203380B2 (en) * | 2001-11-16 | 2007-04-10 | Fuji Xerox Co., Ltd. | Video production and compaction with collage picture frame user interface |
| US7143362B2 (en) * | 2001-12-28 | 2006-11-28 | International Business Machines Corporation | System and method for visualizing and navigating content in a graphical user interface |
| US7149974B2 (en) * | 2002-04-03 | 2006-12-12 | Fuji Xerox Co., Ltd. | Reduced representations of video sequences |
| JP2004112372A (ja) | 2002-09-19 | 2004-04-08 | Fuji Xerox Co Ltd | 画像処理システム |
| US20030177115A1 (en) | 2003-02-21 | 2003-09-18 | Stern Yonatan P. | System and method for automatic preparation and searching of scanned documents |
-
2002
- 2002-09-19 JP JP2002272523A patent/JP2004112372A/ja active Pending
-
2003
- 2003-07-24 US US10/625,700 patent/US7873905B2/en active Active
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090126349A (ko) * | 2008-06-04 | 2009-12-09 | 주식회사 비즈모델라인 | 동영상 마킹정보 처리방법 및 시스템과 이를 위한 프로그램기록매체 |
| KR101664472B1 (ko) * | 2008-06-04 | 2016-10-11 | 주식회사 비즈모델라인 | 동영상 마킹 처리 방법 |
| JP2010220057A (ja) * | 2009-03-18 | 2010-09-30 | Fuji Xerox Co Ltd | 情報配信装置および情報配信システム |
| JP2018082257A (ja) * | 2016-11-15 | 2018-05-24 | 株式会社フィール | 情報表示装置、情報表示プログラム、および情報提供システム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040155898A1 (en) | 2004-08-12 |
| US7873905B2 (en) | 2011-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9235576B2 (en) | Methods and systems for selection of multimedia presentations | |
| US10102284B2 (en) | System and method for generating media bookmarks | |
| US8392834B2 (en) | Systems and methods of authoring a multimedia file | |
| US7631015B2 (en) | Interactive playlist generation using annotations | |
| US8762380B2 (en) | Correlating categories of attributes of contents with classification elements | |
| US20110060998A1 (en) | System and method for managing internet media content | |
| JP2001218160A (ja) | デジタルストーリー作成再生方法及びシステム | |
| JP2004112372A (ja) | 画像処理システム | |
| WO2010084585A1 (ja) | 情報案内システム | |
| US7848598B2 (en) | Image retrieval processing to obtain static image data from video data | |
| JP4686990B2 (ja) | コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム | |
| JP2003162543A (ja) | コンテンツ管理装置、コンテンツ管理方法、コンテンツ管理プログラム、及びコンテンツ管理プログラムを記録した記録媒体 | |
| JP4096670B2 (ja) | 画像再生システム | |
| JP4269980B2 (ja) | コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム | |
| WO2002023350A1 (fr) | Technique d'affichage par superposition d'informations supplementaires sur un ecran d'affichage | |
| WO2000073914A1 (en) | Synchronized spatial-temporal browsing of images for selection of indexed temporal multimedia titles | |
| JP4238662B2 (ja) | プレゼンテーション支援装置及びプレゼンテーション支援方法 | |
| Lyu et al. | A wireless handheld multi-modal digital video library client system | |
| JP4640564B2 (ja) | コンテンツ配信システム | |
| US20090319571A1 (en) | Video indexing | |
| JP4292902B2 (ja) | コンテンツ編集装置及びコンテンツ編集方法 | |
| JP4107027B2 (ja) | コンテンツ配信システム | |
| JP2005260512A (ja) | コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム | |
| JP2004045776A (ja) | 配信音声データの作成方法、配信音声データの作成システム、音声データの配信システム、および音声データの配信方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050914 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050914 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20071003 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080409 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080624 |