JP2007334526A - コンテンツメタデータ登録方法、システム及びプログラム - Google Patents

Abstract

【課題】 コンテンツの時間軸上の位置情報を誤り無く取得してメタデータの登録を行うことが可能な技術を提供する。
【解決手段】 コンテンツの時間軸上の特定位置に、検索時に利用する為のメタデータを登録するコンテンツメタデータ登録方法において、コンテンツ視聴時の配信開始時刻、配信開始時のタイムコード、再生方向及び再生速度を含む視聴ログを記憶装置に格納するステップと、メタデータの入力開始時刻と入力されたメタデータを含む情報を記憶装置に格納するステップと、前記記憶装置に格納したメタデータの入力開始時刻におけるタイムコードを前記記憶装置に格納した視聴ログの情報を元に算出し、その算出したタイムコードと共に前記メタデータを記憶装置に登録するステップとを有するものである。
【選択図】図１

Description

本発明はデジタルペンを使用して、ストリーミング配信された映像/音声コンテンツの時間軸上の特定位置に、検索時に利用する為のメタデータを登録するコンテンツメタデータ登録技術に関するものである。

近年、膨大な量の映像/音声コンテンツを保有するコンテンツホルダは、保有するコンテンツを如何に有効に活用するかが経営的な課題となっている。膨大な量のコンテンツを有効に活用する為には、効率的なコンテンツ検索を行う必要がある。

放送局等のコンテンツホルダにおいてコンテンツを検索する為の業務の流れは、現状以下の様な手順となっている。

(1)登録
取材等で作成された映像/音声コンテンツをコンピュータシステムに登録する為の手順である。

ユーザは、テープ媒体に記憶された映像/音声コンテンツを専用の再生機で再生し視聴する。ユーザは、内容情報（メタデータ）を記憶したいコンテンツ上の個所で、コンテンツの時間軸上の位置情報（タイムコード）及び、メタデータを記録する。記録されたタイムコード、メタデータをコンピュータシステム上で動作する登録用アプリケーションプログラムに入力する。本メタデータ記録作業は、専用再生機に接続されたコンピュータシステム上で行う事も可能である。この場合には、タイムコードは専用再生機に具備された時間軸上の位置情報取得コマンド（タイムコード取得コマンド）で取得する。メタデータは、コンピュータシステムで動作する登録用アプリケーションプログラムにキーボードを利用して入力する。登録用アプリケーションプログラムは、記録されたタイムコード、メタデータをデータベースサーバ（DBサーバ）に登録する。

検索時にコンテンツの視聴を可能としたい場合には、ユーザは、同時にテープ媒体に記憶された映像/音声コンテンツをコンピュータシステムで保存、再生可能なファイルフォーマット（MPEG等）に変換（エンコード）し、これをファイルサーバに保存する。

(2)検索（視聴）
複数のコンテンツから、ユーザが使用したいコンテンツを探し出す為の手順である。

ユーザは、コンピュータシステム上の検索用アプリケーションプログラムに、使用したいコンテンツを探し出す為のキーワードを入力する。検索用アプリケーションプログラムはDBサーバのメタデータを検索する。キーワード文字列がメタデータに含まれるコンテンツのリストを表示する。ユーザは、リストの中から使用したいコンテンツを特定する。登録時に視聴用のデータを作成してある場合には、コンピュータシステム上でこれを再生し、コンテンツが本当にユーザが使用したいものであるかを確認する。

その他、本発明の関連技術として、以下に挙げるものがある。
・ストリーミング配信技術
コンピュータネットワーク上に存在するサーバからクライアントに対し、映像/音声コンテンツを配信する為の技術である。クライアントはコンテンツが格納されたファイルの全体がダウンロードされる事を待たずに、コンテンツの再生を開始する事ができる。

・デジタルペン技術
筆記者が、筆記した筆跡と、筆記した紙媒体上の位置と、筆跡から認識されたテキストデータと、筆記した時刻を保持し、コンピュータシステムに無線または有線での接続を介して、これら情報を送信することが可能な筆記具。

登録時にコンテンツにメタ情報をつける際、メタデータ登録端末上のアプリケーションプログラムがメタデータ登録担当者に対して質問をし、それの回答をメタ情報とする対話型のメタデータ入力の一例として、回答方法をデジタルペンでの入力とする、メタデータ登録方法が、特許文献１等により提案されている。

特開２００３-１７８０７６号公報

前述の様に、近年、コンテンツホルダにおいては膨大な数の映像/音声コンテンツを所有している。映像/音声コンテンツはテープ媒体や、ハードディスク媒体にさまざまなフォーマットで格納されており、これらコンテンツを効率的に検索し使用、または別コンテンツホルダ、コンテンツ利用者に提供することが経営的な課題となっている。コンテンツを検索できる様にする為に、ユーザはコンテンツをコンピュータシステムに登録する際に、コンテンツの内容説明情報（メタデータ）を同時に登録する。

ここで、コンテンツのメタデータ登録作業を、複数の人、複数のサイトで行うことを考える。コンテンツをテープ媒体で記憶している場合には、テープ媒体でのコンテンツのダビング（複製作成作業）と、その媒体の移動が必要となる。またメタデータ登録対象のコンテンツと、各作業担当者に配布されたテープ媒体上のコンテンツが同一であることを確認する手間が必要となる。

コンテンツをハードディスク媒体に格納している場合でも、コンテンツをメタデータ登録作業担当者のコンピュータシステムにダウンロードする方式では、メタデータ登録対象のコンテンツと、各作業担当者のコンピュータシステムにダウンロードされたコンテンツの同一性を確認する手間が発生する。

またメタデータの登録対象を、コンテンツの時間軸上の特定位置とする場合、時間軸上の位置情報をユーザが意識して取得する必要があるため、取得誤りの可能性がある。
上記課題を解決する、コンテンツのメタデータ登録方法が必要であった。

デジタルペンを使用してコンテンツのメタデータを登録する方法として、特許文献１の様な方法が提案されているが、この様な手法ではテープを使用しているため、テープのダビングとその移動や、同一性確認による手間があるという課題を解決できない。

本発明の目的は上記問題を解決し、コンテンツの時間軸上の位置情報を誤り無く取得してメタデータの登録を行うことが可能な技術を提供することにある。

本発明は、コンテンツの時間軸上の特定位置に、検索時に利用する為のメタデータを登録するコンテンツメタデータ登録システムにおいて、コンテンツ視聴時の配信開始時刻、配信開始時のタイムコード、再生方向及び再生速度を含む視聴ログの情報を元にメタデータの入力開始時刻におけるタイムコードを算出してメタデータと共に登録するものである。

本発明のコンテンツメタデータ登録システムでは、コンテンツのメタデータを登録する際、メタデータ登録の対象となっているコンテンツの同一性を確認するという課題を、以下に示す手段で解決する。

まず、ユーザは取材等で作成したテープ媒体に記憶された映像/音声コンテンツをコンピュータシステムで保存、再生可能なファイルフォーマット（MPEG等）に変換（エンコード）し、これをファイルサーバに保存する。保存時には、別途登録用アプリケーションプログラムを使用し、DBサーバにコンテンツを一意に識別する為のコンテンツID、及びファイルの格納先ファイルパスを紐付けて格納する。

ついで、ユーザはクライアント上で動作する視聴用アプリケーションプログラム上で、メタデータ登録の対象となるコンテンツを選択する。ここで選択されたコンテンツのコンテンツIDに基づき、視聴用アプリケーションプログラムはストリーミング配信サーバに対し、コンテンツのストリーミング配信を要求する。ストリーミング配信サーバは、DBサーバから当該コンテンツIDを持つファイルのファイルパスを取得し、当該ファイルをクライアントに対しストリーミング配信を行う。本手段により、複数のユーザが複数のサイトで、一つのコンテンツにメタデータ登録の作業を行ったとしても、視聴しているコンテンツが同一である事を保証することができる。

メタデータを登録しようとするコンテンツ時間軸上の特定位置の位置情報を、誤り無く取得するという課題は、以下に示す手段で解決する。

まず、ユーザは上述の手段により、コンテンツのストリーミング配信を要求し、クライアント上の視聴用アプリケーションプログラムでコンテンツを視聴する。視聴用アプリケーションプログラムはコンテンツの再生を開始すると、再生を開始した時刻のシステム時間と再生を開始したコンテンツの時間軸上の位置情報（MPEGであればタイムスタンプ等）、再生方法（通常速度再生、通常速度逆再生、２倍速再生、２倍速逆再生、再生停止等）をストリーミング配信サーバに通知する。通知を受け、再生しているクライアントID、コンテンツ識別子、タイムスタンプ、再生方法をDBサーバに視聴ログとして格納する。

ユーザはクライアント上の視聴用アプリケーションプログラムで、ストリーミング配信されたコンテンツを視聴する。視聴中にメタデータを登録したいシーンが表示されると、デジタルペンでメタデータを紙媒体上に記述する。デジタルペンは、ユーザが筆記した筆跡と、筆記した紙媒体上の位置と、筆跡から認識されたテキストデータと、筆記した時刻を保持する。ユーザは、デジタルペンとクライアントを無線または有線で接続し、これら情報をクライアントのコンピュータシステムに送信する。クライアント上の登録用アプリケーションプログラムは、DBサーバから該クライアントが視聴していたコンテンツのコンテンツID、再生開始位置情報、再生方法を取得し、デジタルペンから送信された筆記時間に画面に表示されていたコンテンツの時間軸上の特定位置に対して、デジタルペンから送信された筆跡、筆記位置、テキストデータをメタデータとして結び付けクライアント画面上に表示する。本手段により、ユーザは意識してメタデータの登録時間を取得する必要が無いため、メタデータを登録しようとするコンテンツの時間軸上の位置情報を、誤り無く取得するという課題を解決することができる。

前記の様に本発明では、メタデータの登録対象となる映像/音声コンテンツが一つのファイルから読み出され、これが各メタデータ登録作業担当者のクライアント端末で視聴されるため、コンテンツの同一性を保証することができる。また、デジタルペンの筆記時刻を、メタデータ登録対象の映像/音声コンテンツの時間軸上の特定位置とするため、コンテンツの時間軸上の位置情報を誤り無く取得することができる。

本発明によれば、コンテンツの時間軸上の位置情報を誤り無く取得してメタデータの登録を行うことが可能である。

以下にストリーミング配信によるコンテンツ視聴時の視聴ログの情報を元にデジタルペンによるメタデータの筆記開始時刻におけるタイムコードを算出してメタデータと共に登録する一実施形態のコンテンツメタデータ登録システムについて説明する。

図１は本実施形態のデジタルペンを使用した映像/音声コンテンツメタデータ登録を実現する為の機器構成例、ネットワーク構成例を示す図である。本発明は、図１の様なデジタルペンを使用した映像/音声コンテンツメタデータ登録方法が適している。

以下に、本実施形態において、データベースサーバ１０６の持つ記憶装置１０８上に保持された視聴ログリスト１１５のレコード追加を、ストリーミング配信サーバ１０４の視聴ログ登録機能１１３のみで行う第１の処理例について説明する。

ユーザは、取材等で作成したテープ媒体に記憶された映像/音声コンテンツをコンピュータシステムで保存、再生可能なファイルフォーマット（MPEG等）に変換（エンコード）し、これをファイルサーバ１０７の持つ記憶装置１０９に格納する。保存時には、別途コンピュータシステム上で登録用アプリケーションプログラムを使用し、コンテンツを一意に識別する為のコンテンツID、ファイルの格納先パスを紐付けて、データベースサーバ１０６の持つ記憶装置１０８上に保持されたコンテンツリスト１１７にレコードを追加する。

ついで、ユーザはストリーミング視聴端末１０１または、ストリーミング視聴端末１０３のコンピュータシステム上で視聴用アプリケーションプログラムを起動する。視聴用アプリケーションプログラム上で、メタデータ登録の対象となるコンテンツを指定する。指定する為に、ユーザはコンテンツIDを直接入力するか、視聴用アプリケーションプログラム上にコンテンツリスト１１７のレコードを表示させ、コンテンツを指定する。視聴用アプリケーションプログラムは、ここで選択されたコンテンツのコンテンツIDに基づき、ストリーミング配信サーバ１０４に対し、コンテンツのストリーミング配信を要求する。

ストリーミング配信サーバ１０４は、データベースサーバ１０６の持つ記憶装置１０８上に保持されたコンテンツリスト１１７から、当該コンテンツIDを持つファイルのパスを取得する。ストリーミング配信サーバ１０４は、ファイルサーバ１０７の持つ記憶装置１０９上に保持された当該ファイルを読み出し、これをストリーミング視聴端末１０１または、ストリーミング視聴端末１０３に対してストリーミング配信を行う。

ストリーミング配信サーバ１０４の視聴ログ登録機能１１３は、コンテンツID、ストリーミング視聴端末を一意に識別する為の端末ID、ストリーミング配信を開始した配信開始時刻、ストリーミング配信をコンテンツの時間軸上の位置情報であるタイムコード、コンテンツの再生方向（順方向に再生するか、逆方向に作成するか）、コンテンツの再生速度（再生停止は再生速度０に相当）を紐付けて、データベースサーバ１０６の持つ記憶装置１０８上に保持された視聴ログリスト１１５にレコードを追加する。

ユーザが、視聴用アプリケーションプログラム上で、コンテンツ上の再生位置の移動、再生方向の変更、再生速度の変更（停止は再生速度０への変更に相当）を行うと、視聴用アプリケーションプログラムは、ストリーミング配信サーバ１０４に対し、コンテンツ上での再生位置の移動、再生方向の変更、再生速度の変更を通知する。ストリーミング配信サーバ１０４は、本通知に対応したストリーミング配信を行う。ストリーミング配信サーバ１０４の視聴ログ登録機能１１３は、コンテンツID、端末ID、配信開始時刻、タイムコード、再生方向、再生速度を紐付けて、データベースサーバ１０６の持つ記憶装置１０８上に保持された視聴ログリスト１１５にレコードを追加する。

ユーザは上述の手段により、ストリーミング視聴端末上の視聴用アプリケーションプログラムでコンテンツを視聴する。視聴中にメタデータを登録したいシーンが表示されると、デジタルペン１０２でメタデータとして登録したい内容をメタデータ登録用紙１１０上に記述する。デジタルペン１０２は、ユーザが筆記した筆跡データと、筆記したメタデータ登録用紙１１０上の筆記開始位置と、筆跡から認識されたテキストデータと、筆記開始時刻を保持する。ユーザが、デジタルペン１０２とストリーミング視聴端末を無線または有線で接続すると、筆記時刻、筆記開始位置、テキストデータ、筆跡データがストリーミング視聴端末に送信される。ここで、登録用紙１１０上の特定の位置でデジタルペン１０２による筆記を行うことにより、筆記の開始や終了を識別することが可能であるものとする。

ストリーミング視聴端末上のデジタルペン情報送信機能１１１は、ストリーミング視聴端末を一意に識別する為の端末ID、筆記開始時刻、筆記開始位置、テキストデータ、筆跡データをWeb/APサーバ１０５に送信する。筆跡データは、画像ファイルとして出力してから、Web/APサーバ１０５にFTP(File Transfer Protocol)またはファイルコピーで送信する。

Web/APサーバ１０５上のメタデータ登録機能１１４は、デジタルペン情報送信機能１１１から送信されたデータを受信する。メタデータ登録機能１１４は、筆跡データの画像ファイルをファイルサーバ１０７の持つ記憶装置１０９に格納する。筆跡データのファイルパスを取得する。またメタデータ登録機能１１４は、データベースサーバ１０６の持つ記憶装置１０８上に保持された視聴ログリスト１１５から、該ストリーミング視聴端末が視聴していたコンテンツのコンテンツID、配信開始時刻、タイムコード再生開始位置情報、再生方法を取得する。そして、筆記開始時刻に、該ストリーミング視聴端末が再生していたコンテンツのタイムコードを、視聴ログリスト１１５から取得した配信開始時刻、再生方向、再生速度を元に計算する。メタデータ登録機能１１４は、計算されたタイムコードを元に、コンテンツID、タイムコード、テキストデータ、筆跡データのファイルパス、筆跡開始位置を紐付け、データベースサーバ１０６の持つ記憶装置１０８上に保持されたコンテンツメタデータリスト１１６にレコードを追加する。

前記の第１の処理例では、データベースサーバ１０６の持つ記憶装置１０８上に保持された視聴ログリスト１１５のレコード追加を、ストリーミング配信サーバ１０４の視聴ログ登録機能１１３のみで行ったが、以下の第２の処理例の様に、ストリーミング視聴端末上の視聴用アプリケーションプログラムと連携して行う様にしても良い。第２の処理例では、前記の処理に比べてより正確な視聴ログリスト１１５のレコードが生成できるため、コンテンツメタデータリスト１１６のレコードにおけるタイムコードとテキストデータ、筆跡データのファイルパス、筆記開始位置の紐付けがより正確になる。

ストリーミング視聴端末上の視聴用アプリケーションプログラムは、ストリーミング配信サーバ１０４から配信されたコンテンツの再生を開始すると、再生を開始した再生開始時刻と、再生を開始したコンテンツ上のタイムコード、コンテンツの再生方向、コンテンツの再生速度（再生停止は再生速度０に相当）をストリーミング配信サーバ１０４に通知する。ストリーミング配信サーバ１０４の視聴ログ登録機能１１３は、該通知を受け、データベースサーバ１０６の持つ記憶装置１０８上に保持された視聴ログリスト１１５にレコードを追加する。

ユーザが、視聴用アプリケーションプログラム上で、コンテンツ上の再生位置の移動、再生方向の変更、再生速度の変更（停止は再生速度０への変更に相当）を行うと、視聴用アプリケーションプログラムは、ストリーミング配信サーバ１０４に対し、コンテンツ上での再生位置の移動、再生方向の変更、再生速度の変更を通知する。ストリーミング配信サーバ１０４は、本通知に対応したストリーミング配信を行う。ストリーミング視聴端末上の視聴用アプリケーションプログラムは、ストリーミング配信サーバ１０４から配信されたコンテンツの再生を開始すると、再生を開始した再生開始時刻と、再生を開始したコンテンツ上のタイムコード、コンテンツの再生方向、コンテンツの再生速度をストリーミング配信サーバ１０４に通知する。ストリーミング配信サーバ１０４の視聴ログ登録機能１１３は、該通知を受け、コンテンツID、端末ID、配信開始時刻、タイムコード、再生方向、再生速度を紐付けて、データベースサーバ１０６の持つ記憶装置１０８上に保持された視聴ログリスト１１５にレコードを追加する。

また前記の処理例では、データベースサーバ１０６の持つ記憶装置１０８上に保持されたコンテンツメタデータリスト１１６のレコード追加を、メタデータ登録機能１１４のみで行ったが、以下の第３の処理例の様に、ストリーミング視聴端末上のデジタルペン情報送信機能１１１と連携して行う様にしても良い。前記の処理例ではユーザは、テキストデータ、筆跡データ、筆跡開始位置が紐付けられるタイムコードを確認する事が出来ないが、第３の処理例ではこれを実現する事が出来る。

ストリーミング視聴端末上のデジタルペン情報送信機能１１１は、データベースサーバ１０６の持つ記憶装置１０８上に保持された視聴ログリスト１１５から、該ストリーミング視聴端末が視聴していたコンテンツのコンテンツID、配信開始時刻、タイムコード再生開始位置情報、再生方法を取得する。

そして、デジタルペン１０２から受信した筆記開始時刻に、該ストリーミング視聴端末が再生していたコンテンツのタイムコードを、視聴ログリスト１１５から取得した配信開始時刻、再生方向、再生速度を元に計算し、コンテンツID、タイムコード、テキストデータ、筆跡データ、筆跡開始位置の情報をストリーミング視聴端末上のアプリケーションプログラムに表示する。

ユーザがこれを確認し送信処理契機を発行すると、デジタルペン情報送信機能は、コンテンツID、タイムコード、テキストデータ、筆跡データ、筆跡開始位置の情報をWeb/APサーバ１０５に送信する。筆跡データは、画像ファイルとして出力してから、Web/APサーバ１０５にFTPまたはファイルコピーで送信する。

Web/APサーバ１０５上のメタデータ登録機能１１４は、デジタルペン情報送信機能１１１から送信されたデータを受信する。メタデータ登録機能１１４は、筆跡データの画像ファイルをファイルサーバ１０７の持つ記憶装置１０９に格納する。またメタデータ登録機能１１４は、受信したデータを、データベースサーバ１０６の持つ記憶装置１０８上に保持されたコンテンツメタデータリスト１１６にレコードを追加する。

本実施形態において、前記機能をコンピュータに実行させる為のプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録され磁気ディスク等に格納された後、メモリにロードされて実行されるものとする。なお前記プログラムを記録する記録媒体はＣＤ−ＲＯＭ以外の他の記録媒体でも良い。また前記プログラムを当該記録媒体から情報処理装置にインストールして使用しても良いし、ネットワークを通じて当該記録媒体にアクセスして前記プログラムを使用するものとしても良い。

また本実施形態の情報処理装置であるストリーミング視聴端末１０１、ストリーミング視聴端末１０３、ストリーミング配信サーバ１０４、Web/APサーバ１０５、データベースサーバ１０６やファイルサーバ１０７は、前記機能をコンピュータに実行させる為のプログラムや、ストリーミング配信、ＯＳ等の処理を実行するＣＰＵ、前記プログラムをロードしたり実行時のデータを一時的に格納するメモリ、それらのプログラムや前記情報を格納する磁気ディスク装置、操作指示やデータ等の入力を受け付ける入力装置、各種情報の出力等を行う出力装置、他のコンピュータとの通信を行う通信装置等のハードウェア資源を備えているものとする。

図２は本実施形態のデータベースサーバ１０６の持つ記憶装置１０８上に保持されるコンテンツリスト１１７の例を示す図である。図２に示す様に本実施形態では、ユーザがメタデータ登録対象の映像/音声コンテンツをコンピュータシステムで保存、再生可能なフォーマットにエンコードしファイルサーバ１０７に保存する際、同時に登録用アプリケーションプログラムを使用して、コンテンツリスト１１７に対して、コンテンツを一意に識別する為のコンテンツID１００１、ファイルの格納先であるファイルパス１００２を紐付けて格納する。コンテンツIDは、コンテンツを一意に特定できる識別子を連続採番等の方法で自動生成する。ファイルパスはネットワーク上にある別のコンピュータシステムがアクセス可能な形式（\\サーバ名\共有フォルダ名\ファイル名）とする。

格納後は、ユーザがメタデータ登録対象のコンテンツを視聴用アプリケーションプログラム上で選択させる際に、視聴用アプリケーションプログラムがコンテンツリスト１１７のレコードを取り出して画面に表示し、ユーザにコンテンツを指定させる。

また、ストリーミング配信サーバ１０４は、コンテンツリスト１１７から、当該コンテンツIDを持つファイルのパスを取得する。ストリーミング配信サーバ１０４は、当該ファイルパスを持つファイルを読み出し、これをストリーミング視聴端末に対してストリーミング配信を行う。

図３は本実施形態のデータベースサーバ１０６の持つ記憶装置１０８上に保持される視聴ログリスト１１５の例を示す図である。図３に示す様に、前記第１の処理例では、ストリーミング配信サーバ１０４は、ストリーミング視聴端末に対してストリーミング配信を開始すると、ストリーミング配信を行うコンテンツのコンテンツID１００３、ストリーミング視聴端末を一意に特定する為の端末ID１００４、ストリーミングサーバがコンテンツの配信を開始した配信開始時刻１００５、コンテンツの再生を開始するコンテンツ時間軸上での位置情報を示すタイムコード１００６、コンテンツ時間軸と同方向で再生を行うか、逆方向で再生を行うかを示す再生方向１００７、コンテンツ時間軸上での再生位置の移動速度の実時間からの倍率を示す再生速度１００８を紐付けて格納する。再生速度１００８は、例えば実時間が６０秒経過する間にコンテンツを１２０秒間分再生する場合には、２.０とする。再生を停止した場合には、再生速度１００８は、０とする。ここで配信開始時刻１００５は、対応する再生方向１００７及び再生速度１００８での配信を開始した際の日時を示しているものとする。

また前記第２の処理例の場合では、ストリーミング配信サーバ１０４は、ストリーミング視聴端末に対してストリーミング配信を開始し、ストリーミング視聴端末がこれを受信、端末上で再生を開始すると、ストリーミング配信サーバ１０４に対し、端末が再生を開始した配信開始時刻１００５、タイムコード１００６、再生方向１００７、再生速度１００８を通知する。ストリーミング配信サーバ１０４は該データを受信、紐付けし、視聴ログリスト１１５に格納する。

更に第１の処理例では、ユーザがストリーミング視聴端末上の視聴用アプリケーションプログラムでコンテンツ時間軸上での再生位置の移動、早送り、巻戻し、コマ送り、コマ戻し、再生停止指示を行うと、該指示はストリーミング配信サーバ１０４に通知される。ストリーミング配信サーバ１０４は、ストリーミング視聴端末に対して、通知された指示に従いストリーミング配信を開始、コンテンツID１００３、端末ID１００４、配信開始時刻１００５、タイムコード１００６、再生方向１００７、再生速度１００８を紐付けて格納する。

また第２の処理例では、ユーザがストリーミング視聴端末１０１上の視聴用アプリケーションプログラムでコンテンツ時間軸上での再生位置の移動、トリック再生、再生停止指示を行うと、該指示はストリーミング配信サーバ１０４に通知される。ストリーミング配信サーバ１０４は、ストリーミング視聴端末に対して、通知された指示に従いストリーミング配信を開始、ストリーミング配信サーバ１０４は、ストリーミング視聴端末に対してストリーミング配信を開始する。ストリーミング視聴端末がこれを受信、端末上で再生を開始すると、ストリーミング配信サーバ１０４に対し、端末が再生を開始した配信開始時刻１００５、タイムコード１００６、再生方向１００７、再生速度１００８を通知する。ストリーミング配信サーバ１０４は該データを受信、紐付けし、視聴ログリスト１１５に格納する。

更に前記第１の処理例ではWeb/APサーバ１０５上のメタデータ登録機能１１４は、ストリーミング視聴端末上のデジタルペン情報送信機能１１１から送信されたデジタルペンの筆記開始時刻に、該ストリーミング視聴端末上でどのコンテンツの、どのタイムコード部分が再生されていたかを算出するため、視聴ログリスト１１５から該ストリーミング視聴端末のIDを持ち、該筆記開始時間以前の至近のレコードを検索して取得する。取得したレコードの配信開始時刻１００５、タイムコード１００６、再生方向１００７、再生速度１００８から、デジタルペン情報送信機能１１１から送信されたテキストデータ、筆跡データ、筆記開始位置を、コンテンツ上のどのタイムコードに紐付けるかを決定する。

また前記第３の処理例ではストリーミング視聴端末上のデジタルペン情報送信機能１１１は、デジタルペンの筆記開始時刻に、該ストリーミング視聴端末上でどのコンテンツの、どのタイムコード部分が再生されていたかを算出するため、視聴ログリスト１１５から該ストリーミング視聴端末のIDを持ち、該筆記開始時間以前の至近のレコードを検索して取得する。取得したレコードの配信開始時刻１００５、タイムコード１００６、再生方向１００７、再生速度１００８から、デジタルペンのテキストデータ、筆跡データ、筆記開始位置を、コンテンツ上のどのタイムコードに紐付けるかを決定する。

図４は本実施形態のデータベースサーバ１０６の持つ記憶装置１０８上に保持されるコンテンツメタデータリスト１１６の例を示す図である。図４に示す様に本実施形態では、Web/APサーバ１０５上のメタデータ登録機能１１４が、コンテンツID１００９、メタデータを登録するコンテンツ時間軸上の位置であるタイムコード１０１０、デジタルペンが記述した筆跡から認識されたテキストデータ１０１１、デジタルペンが記述した筆跡を画像保存した筆跡データファイルのファイルパス１０１２、デジタルペンが筆記を開始した筆記開始位置１０１３を紐付けて格納する。

格納後は、コンピュータシステム上のコンテンツ検索用のアプリケーションプログラムでユーザが検索用文字列としてテキストデータを入力送信すると、Web/APサーバ１０５上の検索用プログラムがコンテンツメタデータリスト１１６のテキストデータ１０１１内を検索し、該テキストデータを持つコンテンツのリストを画面表示する。

図５は本実施形態のストリーミング配信サーバ１０４上の視聴ログ登録機能１１３の構成を示す図である。図５に示す様にストリーミング配信サーバ１０４上のストリーミング配信機能１１８は、ストリーミング視聴端末１０１からの、あるコンテンツの視聴要求、コンテンツ上の再生位置の移動、再生方向の変更、再生速度の変更コマンドに従い、ストリーミング視聴端末１０１にストリーミング配信を行う。

前記第１の処理例の場合には、ストリーミング配信機能１１８は、視聴ログ登録機能１１３の配信メッセージ受信部２０１に対して、コンテンツID、端末ID、配信開始時刻、タイムコード、再生方向、再生速度を通知する。配信メッセージ受信部２０１は配信時間算出部２０２に対して、コンテンツID、端末ID、配信開始時刻、タイムコード、再生方向、再生速度を通知する。

配信時間算出部２０２が受信した配信開始時刻は、ストリーミング配信機能１１８が、コンテンツの時間軸において、該タイムコードを持つ位置の配信を行った時間であって、ストリーミング視聴端末１０１が再生を開始した、すなわち、視聴者が当該タイムコードを持つコンテンツの位置を視聴した時間ではない。この時間の遅れは、ストリーミング配信機能１１８側で持つ配信バッファ、ネットワーク上の配信遅延、ストリーミング視聴端末１０１側で持つ受信バッファ等のパラメータにより決定される。配信遅延情報保持部２０３は、この時間遅れが何秒であるか、ストリーミング配信サーバ１０４のファイルシステムにファイルとして格納している。配信時間算出部２０２は、配信遅延情報保持部２０３からこの配信遅延時間を取得して、配信メッセージ受信部２０１から取得した配信開始時刻に配信遅延時間を加算し、この計算結果を新たな配信開始時刻とする。そして配信時間算出部２０２は、DBサーバアクセス部２０４に対して、コンテンツID、端末ID、新たに計算した配信開始時刻、タイムコード、再生方向、再生速度を通知する。DBサーバアクセス部２０４は、データベースサーバ１０６が持つ記憶装置１０８上に格納された視聴ログリスト１１５に、該データを紐付けて格納する。

前記第２の処理例の場合には、ストリーミング視聴端末１０１は、ストリーミング配信されたコンテンツの再生を開始すると、ストリーミング配信サーバ１０４のストリーミング配信機能に対して、コンテンツID、端末ID、配信開始時刻、タイムコード、再生方向、再生速度を通知する。配信メッセージ受信部２０１は配信時間算出部２０２に対して、コンテンツID、端末ID、配信開始時刻、タイムコード、再生方向、再生速度を通知する。

配信時間算出部２０２が受信した配信開始時刻は、ストリーミング視聴端末１０１が再生を開始した、すなわち、視聴者が当該タイムコードを持つコンテンツの位置を視聴した時間である。よってこの場合には、時間の遅れは存在しない。配信時間算出部２０２は、DBサーバアクセス部２０４に対して、コンテンツID、端末ID、配信開始時刻、タイムコード、再生方向、再生速度を通知する。DBサーバアクセス部２０４は、データベースサーバ１０６が持つ記憶装置１０８上に格納された視聴ログリスト１１５に、該データを紐付けて格納する。

図６は本実施形態のストリーミング視聴端末１０１上のデジタルペン情報送信機能１１１の構成を示す図である。図６に示す様にユーザがデジタルペンをストリーミング視聴端末１０１に無線または有線で接続すると、デジタルペン情報送信機能１１１のデジタルペン情報受信部２０５は、デジタルペン１０２からユーザが筆記した筆跡と、筆記した紙媒体上の位置と、筆跡から認識されたテキストデータと、筆記した時刻を取得する。

前記第１の処理例の場合には、デジタルペン情報受信部２０５はファイル書出部２０８に対して、ユーザが筆記した筆跡のデータ引き渡す。ファイル書出部２０８はこのデータを画像ファイルに書出し、ファイル送信部２１０に対して該画像ファイルを引き渡す。ファイル送信部２１０は、Web/APサーバに該画像ファイルをFTPまたはファイルコピーでアップロードし、アップロード先のファイルパスを保存しておく。

デジタルペン情報受信部２０５は、メッセージ送信部２０９に対して、ユーザが筆記した筆記開始位置、筆記開始時刻、筆跡から認識されたテキストデータを通知する。メッセージ送信部２０９は、ファイル送信部２１０から画像ファイルのアップロード先ファイルパスを取得し、Web/APサーバ１０５上のメタデータ登録機能１１４に対し、該ストリーミング視聴端末の端末ID、筆記開始時刻、筆記開始位置、テキストデータ、画像ファイルのファイルパスを通知する。

前記第３の処理例の場合には、デジタルペン情報受信部２０５はファイル書出部２０８に対して、ユーザが筆記した筆跡のデータ引き渡す。ファイル書出部２０８はこのデータを画像ファイルに書出し、ファイル送信部２１０に対して該画像ファイルを引き渡す。ファイル送信部２１０は、Web/APサーバに該画像ファイルをFTPまたはファイルコピーでアップロードし、アップロード先のファイルパスを保存しておく。

デジタルペン情報受信部２０５は、メタ・タイムコード割付部２０６に対し、ユーザが筆記した筆記開始位置、筆記開始時刻、筆跡から認識されたテキストデータを通知する。メタ・タイムコード割付部２０６はDBサーバアクセス部２０７に対し、該ストリーミング視聴端末に配信され、該筆記開始時刻以前で至近の視聴ログリストに格納された視聴ログレコードの取得を依頼する。

DBサーバアクセス部２０７は、データベースサーバ１０６が持つ記憶装置１０８上に保持された視聴ログリスト１１５から、該ストリーミング視聴端末に配信され、該筆記開始時刻以前で至近の視聴ログリストに格納された視聴ログレコードから、配信開始時刻、タイムコード、再生方向、再生速度を取得し、これをメタ・タイムコード割付部２０６に通知する。

メタ・タイムコード割付部２０６は、筆記開始時刻に該ストリーミング視聴端末で再生されていたコンテンツ位置を算出する。算出では、まず筆記開始時刻から配信開始時刻を減算し、配信開始時刻から筆記開始時刻までの経過時間を求める。ついで経過時間に再生速度を乗算、更に再生方向が逆方向の場合には-１を乗算し、経過時間内にストリーミング視聴端末での再生位置がコンテンツ時間軸上の位置で、どれだけ移動したか経過時間内移動時間を求める。至近の視聴ログレコードの再生速度が０（再生停止）の場合には、０が乗算される為、経過時間内移動時間は０となる。最後にタイムコードにこの経過時間内移動時間を加算し、ユーザがデジタルペンで筆記した時刻に、ストリーミング視聴端末で再生されていたコンテンツの時間軸上でのタイムコードを求める。

メタ・タイムコード割付部２０６は、メッセージ送信部２０９に対して、コンテンツID、算出したタイムコード、テキストデータ、筆記開始位置を通知する。メッセージ送信部２０９は、ファイル送信部２１０から画像ファイルのアップロード先ファイルパスを取得する。メッセージ送信部２０９は、Web/APサーバ１０５上のメタデータ登録機能１１４に対し、コンテンツID、算出したタイムコード、テキストデータ、筆記開始位置、画像ファイルのファイルパスを通知する。

図７は本実施形態のWeb/APサーバ１０５上のメタデータ登録機能１１４の構成を示す図である。図７に示す様に、前記第１の処理例の場合には、メッセージ受信部２１１はストリーミング視聴端末１０１上のデジタルペン情報送信機能１１１から、端末ID、筆記開始時刻、筆記開始位置、テキストデータ、画像ファイルのファイルパスを受信する。

ファイル取得部２１４は、ストリーミング視聴端末１０１上のデジタルペン情報送信機能１１１からアップロードされた画像ファイルを取得し、ファイル送信部２１５に対して該画像ファイルを引き渡す。ファイル送信部２１５は、ファイルサーバ１０７に該画像ファイルをFTPまたはファイルコピーでアップロードし、アップロード先のファイルパスを保存しておく。

メッセージ受信部２１１は、メタ・タイムコード割付部２１２に対し、端末ID、筆記開始位置、筆記開始時刻、テキストデータを通知する。メタ・タイムコード割付部２１２はDBサーバアクセス部２１３に対し、該端末IDを持つストリーミング視聴端末に配信され、該筆記開始時刻以前で至近の視聴ログリストに格納された視聴ログレコードの取得を依頼する。

DBサーバアクセス部２１３は、データベースサーバ１０６が持つ記憶装置１０８上に保持された視聴ログリスト１１５で、該ストリーミング視聴端末に配信され、該筆記開始時刻以前で至近の視聴ログリストに格納された視聴ログレコードから、配信開始時刻、タイムコード、再生方向、再生速度を取得し、これをメタ・タイムコード割付部２１２に通知する。

メタ・タイムコード割付部２１２は、筆記開始時刻に該ストリーミング視聴端末で再生されていたコンテンツ位置を算出する。算出では、まず筆記開始時刻から配信開始時刻を減算し、配信開始時刻から筆記開始時刻までに経過時間を求める。ついで経過時間に再生速度を乗算、更に再生方向が逆方向の場合には-１を乗算し、経過時間内にストリーミング視聴端末での再生位置がコンテンツ時間軸上の位置で、どれだけ移動したか経過時間内移動時間を求める。至近の視聴ログレコードの再生速度が０（再生停止）の場合には、０が乗算される為、経過時間内移動時間は０となる。最後にタイムコードにこの経過時間内移動時間を加算し、ユーザがデジタルペンで筆記した時刻に、ストリーミング視聴端末で再生されていたコンテンツの時間軸上でのタイムコードを求める。

またメタ・タイムコード割付部２１２は、ファイル送信部２１５から画像ファイルのアップロード先ファイルパスを取得する。メタ・タイムコード割付部２１２は、DBサーバアクセス部２１３に対して、コンテンツID、算出したタイムコード、テキストデータ、筆記開始位置、画像ファイルのファイルパスを通知する。DBサーバアクセス部２１３は、データベースサーバ１０６の持つ記憶装置１０８上に保持されたコンテンツメタデータリスト１１６にコンテンツID、算出したタイムコード、テキストデータ、筆記開始位置、画像ファイルのファイルパスを紐付けて格納する。

前記第３の処理例の場合には、メッセージ受信部２１１はストリーミング視聴端末１０１上のデジタルペン情報送信機能１１１から、コンテンツID、タイムコード、テキストデータ、筆記開始位置、画像ファイルのファイルパスを受信する。

ファイル取得部２１４は、ストリーミング視聴端末１０１上のデジタルペン情報送信機能１１１からアップロードされた画像ファイルを取得し、ファイル送信部２１５に対して該画像ファイルを引き渡す。ファイル送信部２１５は、ファイルサーバ１０７に該画像ファイルをFTPまたはファイルコピーでアップロードし、アップロード先のファイルパスを保存しておく。

メッセージ受信部２１１は、メタ・タイムコード割付部２１２に対し、コンテンツID、タイムコード、テキストデータ、筆記開始位置、画像ファイルのファイルパスを通知する。メタ・タイムコード割付部２１２は、ファイル送信部２１５から画像ファイルのアップロード先ファイルパスを取得する。

メタ・タイムコード割付部２１２は、DBサーバアクセス部２１３に対して、コンテンツID、タイムコード、テキストデータ、筆記開始位置、画像ファイルのファイルパスを通知する。DBサーバアクセス部２１３は、データベースサーバ１０６の持つ記憶装置１０８上に保持されたコンテンツメタデータリスト１１６にコンテンツID、算出したタイムコード、テキストデータ、筆記開始位置、画像ファイルのファイルパスを紐付けて格納する。

以上説明した様に本実施形態のコンテンツメタデータ登録システムによれば、コンテンツ視聴時の配信開始時刻、配信開始時のタイムコード、再生方向及び再生速度を含む視聴ログの情報を元にメタデータの入力開始時刻におけるタイムコードを算出してメタデータと共に登録するので、コンテンツの時間軸上の位置情報を誤り無く取得してメタデータの登録を行うことが可能である。

本実施形態のデジタルペンを使用した映像/音声コンテンツメタデータ登録を実現する為の機器構成例、ネットワーク構成例を示す図である。 本実施形態のデータベースサーバ１０６の持つ記憶装置１０８上に保持されるコンテンツリスト１１７の例を示す図である。 本実施形態のデータベースサーバ１０６の持つ記憶装置１０８上に保持される視聴ログリスト１１５の例を示す図である。 本実施形態のデータベースサーバ１０６の持つ記憶装置１０８上に保持されるコンテンツメタデータリスト１１６の例を示す図である。 本実施形態のストリーミング配信サーバ１０４上の視聴ログ登録機能１１３の構成を示す図である。 本実施形態のストリーミング視聴端末１０１上のデジタルペン情報送信機能１１１の構成を示す図である。 本実施形態のWeb/APサーバ１０５上のメタデータ登録機能１１４の構成を示す図である。

符号の説明

１０１…ストリーミング視聴端末、１０２…デジタルペン、１０３…ストリーミング視聴端末、１０４…ストリーミング配信サーバ、１０５…Web/APサーバ、１０６…データベースサーバ、１０７…ファイルサーバ、１０８…記憶装置、１０９…記憶装置、１１０…メタデータ登録用紙、１１１…デジタルペン情報送信機能、１１２…インターネット、１１３…視聴ログ登録機能、１１４…メタデータ登録機能、１１５…視聴ログリスト、１１６…コンテンツメタデータリスト、１１７…コンテンツリスト、１００１…コンテンツID、１００２…ファイルパス、１００３…コンテンツID、１００４…端末ID、１００５…配信開始時刻、１００６…タイムコード、１００７…再生方向、１００８…再生速度、１００９…コンテンツID、１０１０…タイムコード、１０１１…テキストデータ、１０１２…ファイルパス、１０１３…筆記開始位置、１１８…ストリーミング配信機能、２０１…配信メッセージ受信部、２０２…配信時間算出部、２０３…配信遅延情報保持部、２０４…DBサーバアクセス部、２０５…デジタルペン情報受信部、２０６…メタ・タイムコード割付部、２０７…DBサーバアクセス部、２０８…ファイル書出部、２０９…メッセージ送信部、２１０…ファイル送信部、２１１…メッセージ受信部、２１２…メタ・タイムコード割付部、２１３…DBサーバアクセス部、２１４…ファイル取得部、２１５…ファイル送信部。

Claims (9)

1. コンテンツの時間軸上の特定位置に、検索時に利用する為のメタデータを登録するコンテンツメタデータ登録方法において、
   コンテンツ視聴時の配信開始時刻、配信開始時のタイムコード、再生方向及び再生速度を含む視聴ログを記憶装置に格納するステップと、メタデータの入力開始時刻と入力されたメタデータを含む情報を記憶装置に格納するステップと、前記記憶装置に格納したメタデータの入力開始時刻におけるタイムコードを前記記憶装置に格納した視聴ログの情報を元に算出し、その算出したタイムコードと共に前記メタデータを記憶装置に登録するステップとを有することを特徴とするコンテンツメタデータ登録方法。
2. 選択されたコンテンツのコンテンツ識別子に基づいてストリーミング配信を行うことにより、当該コンテンツをコンテンツ視聴側の情報処理装置へ配信することを特徴とする請求項１に記載されたコンテンツメタデータ登録方法。
3. メタデータの入力をデジタルペンにより受け付けてその入力開始時刻と共にデジタルペンの記憶装置に保持した後、そのメタデータの入力開始時刻と受け付けたメタデータを含む情報を通信装置により送信することを特徴とする請求項１または請求項２のいずれかに記載されたコンテンツメタデータ登録方法。
4. コンテンツ視聴時の配信開始時刻及び配信開始時のタイムコードをコンテンツ配信側の情報処理装置で生成して前記視聴ログを記憶装置に格納することを特徴とする請求項１乃至請求項３のいずれか１項に記載されたコンテンツメタデータ登録方法。
5. コンテンツ視聴時の配信開始時刻及び配信開始時のタイムコードをコンテンツ視聴側の情報処理装置で生成して前記視聴ログを記憶装置に格納することを特徴とする請求項１乃至請求項４のいずれか１項に記載されたコンテンツメタデータ登録方法。
6. 入力開始時刻におけるタイムコードを前記視聴ログの情報を元にメタデータ登録側の情報処理装置で算出し、その算出したタイムコードと共に前記メタデータを記憶装置に登録することを特徴とする請求項１乃至請求項５のいずれか１項に記載されたコンテンツメタデータ登録方法。
7. 入力開始時刻におけるタイムコードを前記視聴ログの情報を元にコンテンツ視聴側の情報処理装置で算出し、その算出したタイムコードと共に前記メタデータを記憶装置に登録することを特徴とする請求項１乃至請求項６のいずれか１項に記載されたコンテンツメタデータ登録方法。
8. コンテンツの時間軸上の特定位置に、検索時に利用する為のメタデータを登録するコンテンツメタデータ登録システムにおいて、
   コンテンツ視聴時の配信開始時刻、配信開始時のタイムコード、再生方向及び再生速度を含む視聴ログを記憶装置に格納する視聴ログ登録機能と、メタデータの入力開始時刻と入力されたメタデータを含む情報を記憶装置に格納して通信装置により送信する情報送信機能と、前記記憶装置に格納したメタデータの入力開始時刻におけるタイムコードを前記記憶装置に格納した視聴ログの情報を元に算出し、その算出したタイムコードと共に前記メタデータを記憶装置に登録するメタデータ登録機能とを備えることを特徴とするコンテンツメタデータ登録システム。
9. コンテンツの時間軸上の特定位置に、検索時に利用する為のメタデータを登録するコンテンツメタデータ登録方法をコンピュータに実行させる為のプログラムにおいて、
   コンテンツ視聴時の配信開始時刻、配信開始時のタイムコード、再生方向及び再生速度を含む視聴ログを記憶装置に格納するステップと、メタデータの入力開始時刻と入力されたメタデータを含む情報を記憶装置に格納するステップと、前記記憶装置に格納したメタデータの入力開始時刻におけるタイムコードを前記記憶装置に格納した視聴ログの情報を元に算出し、その算出したタイムコードと共に前記メタデータを記憶装置に登録するステップとをコンピュータに実行させることを特徴とするプログラム。

Images