JP2018125702A - 映像制御システム及びプログラム - Google Patents

映像制御システム及びプログラム Download PDF

Info

Publication number
JP2018125702A
JP2018125702A JP2017016393A JP2017016393A JP2018125702A JP 2018125702 A JP2018125702 A JP 2018125702A JP 2017016393 A JP2017016393 A JP 2017016393A JP 2017016393 A JP2017016393 A JP 2017016393A JP 2018125702 A JP2018125702 A JP 2018125702A
Authority
JP
Japan
Prior art keywords
video
index
scene
videos
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017016393A
Other languages
English (en)
Inventor
小川 正和
Masakazu Ogawa
正和 小川
麻衣 鈴木
Mai Suzuki
麻衣 鈴木
潔 田代
Kiyoshi Tashiro
潔 田代
篤史 都甲
Atsushi Toko
篤史 都甲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2017016393A priority Critical patent/JP2018125702A/ja
Publication of JP2018125702A publication Critical patent/JP2018125702A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】同一画面内で複数の映像が再生されている際、各映像に対して指標が表示されていない場合に比して、ユーザが所望の映像を選択できる技術を提供すること。【解決手段】閲覧端末において、複数の映像と映像に関連付けられた指標とが同期して再生されるように、映像及び前記指標の出力を制御する通常表示制御部Xと、複数の映像が同一画面上で再生されている通常表示の際、閲覧端末からの指標の指定を受けた場合、指定を受けた指標に関連付けられた映像が強調されて再生されるように、前記映像の出力を制御する強調表示制御部Yとを有する映像制御システムである。【選択図】図1

Description

本発明は映像制御システム及びプログラムに関し、特に、複数の映像の再生を制御する映像制御システム及びプログラムに関する。
近年のデジタルビデオカメラ及びデジタルカメラ等の動画撮影装置の普及により、一つの場面を複数の動画撮影装置で同時に撮影する機会が増えている。また、ネットワーク利用技術の発達と共に、自宅や遠隔地で、撮影された複数の映像を視聴したり、複数の映像を用いて学習を行うeラーニングが行われたりするようになった。
特許文献1には、対象物を複数方向から撮影・録音し、夫々の映像及び音声を同一時刻毎に蓄積すると共に、同一時刻毎に複数映像を、メイン映像とサブ映像として出力し、再生する技術が開示されている。
また、特許文献2には、時間的に重複して記録された複数の動画を一画面で同時に再生する動画再生装置において、複数の動画の優先度を決定する優先順位決定手段と、優先度に従い複数の動画の表示位置を設定する表示位置設定手段とを備えた動画再生装置に関する技術が記載されている。
特開2004-173083号公報 特開2014-68160号公報
ところで、画面内で複数の映像が再生されている際に、ユーザが注目したい映像を選択する場合、映像を選択するための手がかりとなるようなものがなく、ユーザが注目したい映像を適切に選択できないという課題がある。
そこで、本発明は、同一画面内で複数の映像が再生されている際、各映像に対して指標が表示されていない場合に比して、ユーザが所望の映像を選択できる映像制御システム及びプログラムを提供することにある。
本願の請求項1に係る発明は、閲覧端末において、複数の映像と前記映像に関連付けられた指標とが同期して再生されるように、前記映像及び前記指標の出力を制御する通常表示制御部と、前記複数の映像が同一画面上で再生されている通常表示の際、前記閲覧端末からの前記指標の指定を受けた場合、指定を受けた指標に関連付けられた映像が強調されて再生されるように、前記映像の出力を制御する強調表示制御部とを有する映像制御システムである。
本願の請求項2に係る発明は、前記映像が少なくとも一以上のシーンの映像から構成されている場合、前記指標が前記シーンの映像に関連付けられている。
本願の請求項3に係る発明は、前記閲覧端末において、前記指標を含む資料画像が前記複数の映像と同期して再生されるように、前記資料画像の出力を制御する資料画像表示制御部を有する。
本願の請求項4に係る発明は、前記資料画像が、前記複数の映像に関する情報の概念図を含み、前記指標は、前記概念図の予め定められた位置に配置される。
本願の請求項5に係る発明は、前記強調表示制御部が、前記複数の映像の各映像を識別する識別情報と前記指標との関連付けの情報を含む映像メタデータを用いて、前記閲覧端末から指定を受けた指標に関連付けられている映像を取得し、取得した映像が前記閲覧端末に強調されて再生されるように、前記映像の出力を制御する。
本願の請求項6に係る発明は、前記強調表示制御部が、前記閲覧端末からの前記指標の指定を受けて、指定を受けた指標に関連付けられた映像のシーンの開始位置から、前記映像が強調されて前記閲覧端末に再生されるように、前記映像の出力を制御する。
本願の請求項7に係る発明は、前記通常表示制御部が、前記強調表示制御部による映像の再生の終了、又は、前記閲覧端末からの前記映像の強調表示の終了指示の受信により、前記閲覧端末において、前記通常表示で複数の前記映像が再生されるように、前記映像及び前記指標の出力を制御する。
本願の請求項8に係る発明は、関連付けられる映像の内容、又は、その映像がどのような視点又は観点で作成又は撮影されたかを表す文章、キーワード、アイコン、キャラクタ、サムネイル画像の少なくともいずれかである。
本願の請求項9に係る発明は、前記強調表示制御部が、前記閲覧端末において、前記指定を受けた指標に関連付けられた映像の表示を、前記指定を受けた指標に関連付けられていない映像に対して区別できる形式で再生されるように、前記映像の出力を制御する。
本願の請求項10に係る発明は、前記強調表示制御部が、前記指定を受けた指標に関連付けられた映像のみを表示する、前記指定を受けた指標に関連付けられた映像を他の映像の表示領域よりも広い表示領域で表示する、もしくは、前記指定を受けた指標に関連付けられた映像を他の映像と異なる表示形態で表示する、のいずれかで、前記指定を受けた指標に関連付けられた映像が強調して再生されるように前記映像の出力を制御する。
本願の請求項11に係る発明は、閲覧端末において、複数の映像と前記映像に関連付けられた指標とが同期して再生されるように、前記映像及び前記指標の出力を制御する処理と、前記複数の映像が同一画面上で再生されている通常表示の際、前記閲覧端末からの前記指標の指定を受けた場合、指定を受けた指標に関連付けられた映像が強調されて再生されるように、前記映像の出力を制御する処理とをコンピュータに実行させるプログラムである。
本願の請求項1及び請求項11に係る発明によれば、ユーザは映像と同期して再生される指標を手掛かりに、複数の映像から注目したい映像を選択でき、その映像を他の映像に比べて強調された形式で視聴することができる。
本願の請求項2に係る発明によれば、シーンの映像毎に適切な指標を関連付けることができる。
本願の請求項3に係る発明によれば、閲覧端末において、指標を含む資料画像と複数の映像とが同期して再生される。
本願の請求項4に係る発明によれば、ユーザは、資料画像の概念図を参考にしながら、指標を選択することができる。
本願の請求項5に係る発明によれば、閲覧端末から指定を受けた指標に関連付けられている映像を特定することができる。
本願の請求項6に係る発明によれば、ユーザは強調して表示したい映像のシーンの開始位置から映像を視聴することができる。
本願の請求項7に係る発明によれば、指標に関連付けられた映像の再生が終了した場合、又は、自ら映像の強調表示を中止した場合であっても、ユーザは通常表示の映像視聴を継続して行える。
本願の請求項8に係る発明によれば、指標は、関連付けられる映像の内容、又は、その映像がどのような視点又は観点で作成又は撮影されたかを表す文章、キーワード、アイコン、キャラクタ、サムネイル画像等であるので、ユーザが複数の映像から注目したい映像を選択できる目安とすることができる。
本願の請求項9に係る発明によれば、ユーザが注目したい映像が他の映像よりも区別できる形式で表示することができる。
本願の請求項10に係る発明によれば、ユーザが注目したい映像が他の映像よりも区別できる。
図1は本発明の映像制御システムの態様1のブロック図である。 図2は記憶部3に記憶されている映像メタデータの一例を示す図である。 図3は記憶部3に記憶されている映像メタデータの一例を示す図である。 図4は閲覧端末1の表示部12において表示される複数の映像及び指標の一例を示した図である。 図5は強調表示する映像のみを表示し、他の映像は表示しない強調表示の一例を示す図である。 図6は指標が二つ以上の映像と関連付けられている場合の強調表示の一例を示す図である。 図7は強調表示する映像のフレーム枠を他の映像のフレーム枠と異なるものにする場合の強調表示の一例を示す図である。 図8は本発明の映像制御システムの態様2のブロック図である。 図9は本発明の映像制御システムの態様3のブロック図である。 図10は本発明の映像制御システムの態様4のブロック図である。 図11は本発明の映像制御システムの態様4の変形例のブロック図である。 図12は第1の実施の形態の映像制御システムの構成を示すブロック図である。 図13は第1の実施の形態のコンテンツ配信サーバ100のブロック図である。 図14は閲覧端末300の表示部301に表示される映像と資料画像との一例を示す図である。 図15は記憶装置400に格納されている映像メタデータの具体例を示す図である。 図16は初期資料画像の一例を示す図である。 図17はコンテンツ配信サーバ100と閲覧端末300との処理や情報の流れを示すシーケンス図である。 図18はコンテンツ配信サーバ100で行われる通常表示制御のフローチャートである。 図19は通常表示映像データの生成の具体例を説明するための図である。 図20は各シーンの映像と同期する資料画像中の指標の遷移の例を示した図である。 図21は閲覧端末300の表示部301に表示される映像及び資料画像の一例を示す図である。 図22はコンテンツ配信サーバ100で行われる強調表示制御のフローチャートである。 図23は、図15の映像メタデータと通常表示及び強調表示との関係を時間軸上で表した概念図である。 図24閲覧端末300の表示部301に表示される映像及び資料画像の一例を示す図である。 図25は閲覧端末300の表示部301に表示される映像及び資料画像の一例を示す図である。 図26は資料画像中に表示される概念図の一例を示した図である。 図27は図26の資料画像が閲覧端末に表示される一例を示した図である。 図28は資料画像の一例を示した図である。 図29は第2の実施の形態の映像制御システムの構成を示すブロック図である。 図30は第2の実施の形態の閲覧端末300のブロック図である。 図31は閲覧端末300で行われる通常表示制御のフローチャートである。 図32は閲覧端末300で行われる強調表示制御のフローチャートである。 図33は第3の実施の形態の閲覧装置300のブロック図である。
本発明の映像制御システムは、閲覧端末において、複数の映像と映像に関連付けられた指標とが同期して再生されるように、映像及び指標の出力を制御する通常表示制御部Xと、複数の前記映像が同一画面上で再生されている通常表示の際、閲覧端末からの指標の指定を受けた場合、指定を受けた指標に関連付けられた映像が強調されて再生されるように、映像の出力を制御する強調表示制御部Yとを備える。
本発明の映像制御システムは、通常表示制御部Xと強調表示制御部Yとがいずれの装置に配置されるかによって、種々の態様が考えられる。以下、本発明の映像制御システムの態様及び概要を説明する。
(1)映像制御システムの態様1
本発明の映像制御システムの態様1は、ストリーミング配信に代表されるような、ネットワークを介して映像コンテンツを閲覧端末に配信する態様である。図1は本発明の映像制御システムの態様1のブロック図である。
図1中、1は閲覧端末であり、2はネットワーク、3は記憶部であり、4は映像制御装置である。
閲覧端末1は、映像制御装置4から配信される映像及び指標を閲覧(再生)する端末である。代表的な例として、パーソナルコンピュータ、タブレット、スマートフォン等がある。閲覧端末1は、表示制御部11と表示部12とを備える。表示制御部11は、映像制御装置4からの映像及び指標を、表示部12に表示するための制御を行うものであり、Webブラウザや、メディアプレイヤー等の機能を有する。表示部12は、液晶ディスプレイ等のディスプレイであり、表示されている項目を選択するタッチセンサを備えていていも良い。
ネットワーク2は、インターネット等のネットワークである。閲覧端末1と映像制御装置4とは、ネットワーク2を介して接続されている。
記憶部3は、閲覧端末1に配信される複数の映像の映像データ(音声データも含んでも良い)と、映像メタデータとが格納されている。
閲覧端末1に配信されて表示される複数の映像は、あるひとつの大きなテーマに基づいて作成又は撮影された映像である。そして、各映像は、そのテーマを互いに異なる視点又は観点に基づいて作成又は撮影された内容が異なる映像である。
具体的に説明すると、テーマが「包丁の切り方」である場合、複数の映像は「包丁の切り方」に関する内容の映像である。そして、その各映像は、「包丁の切り方」というテーマに基づいているが、例えば、ある映像は包丁を使用している料理人にフォーカスした映像であったり、他の映像は食材を包丁で切っている場面をその料理人の視点から撮影した映像であったり、更に他の映像は食材をどの程度を大きさで切っているかが確認しやすいように撮影された映像であったりする。このように、各映像は、テーマは共通するが、互いに異なる視点又は観点で作成又は撮影された内容が異なる映像である。
各映像は動画、静止画の種類は問わないが、その映像の映像データの代表的なファイルフォーマットとして、MPEG、AVI、MOV等がある。
映像メタデータは、映像の映像識別情報と指標との関連付けの情報である。
映像の映像識別情報は、記録部3に格納されている複数の映像データから各映像を一意に特定できるものであればよく、映像データのファイル名等の情報を、映像識別情報として用いることができる。
指標は、関連付けられる映像識別情報の映像の内容、又は、その映像がどのような視点又は観点で作成又は撮影されたか等を表す情報である。例えば、指標は、関連付けられる映像識別情報に対応する映像の内容、又は、その映像がどのような観点又は視点で作成又は撮影されたか等を要約した文章、キーワード、アイコン、キャラクタ、サムネイル画像等である。そして、指標は、同一画面上で表示される複数の映像の中から、ユーザが希望する映像を選択するための目安や手掛かりとなるものである。
次に、映像メタデータの一例を用いて、映像識別情報とその映像の指標との関連付けについて詳細に説明する。図2は、記憶部3に記憶されている映像メタデータの一例を示す図である。
図2では、記憶部3に記憶されている映像データの映像識別情報1から映像識別情報4と、指標とが関連付けられた映像メタデータの一例を示している。
例えば、映像識別情報1は、映像識別情報1の映像を選択するための目安や手掛かりとなる指標1と関連付けられている。
また、映像識別情報と指標とは一対一に対応している必要はない点に留意すべきである。例えば、映像識別情報2は、映像識別情報2の映像を選択するための目安や手掛かりとなる指標2及び指標3と関連付けられている。このように、ひとつの映像識別情報に複数の指標が関連付けられていても良い。
また、同時に表示される複数の映像全てに、かならずしも、指標が関連付けられている必要はない。例えば、映像識別情報3のように、関連付けられる指標がなくても良い。
また、ひとつの指標が複数の映像識別情報に関連付けられていても良い。例えば、指標2は、映像識別情報1と映像識別情報4とに関連付けられている。この場合、指標2は、映像識別情報1の映像と映像識別情報4の映像を選択するための目安や手掛かりとなる指標といえる。
このように、映像識別情報と指標とが関連付けられることにより、映像識別情報で特定される映像と指標とが関連付けられていることになる。
上述の例は、映像に関連付けられる指標が変化しない場合を説明した。しかし、映像の意味的な場面が時間の経過とともに変化する場合、場面毎の映像に関連付ける指標も変化させたい場合もある。そのような場合、ひとつの映像を、その場面に対応する同一又は異なる時間長の映像区間に分割し、その映像区間の映像と指標とを関連付けるようにしても良い。以下の説明において、映像区間をシーンと記載し、その映像区間の映像をシーンの映像と記載する。また、映像上の時間的なシーンの位置の特定は、映像上のシーンの開始時刻と終了時刻とからなる情報を用いることができる。尚、上述した図2の例は、シーンという観点からみると、ひとつのシーンの映像ともいえることに留意すべきである。
ひとつの映像が少なくとも1以上のシーンの映像から構成されている場合の映像メタデータの一例を、図3に示す。
図3の例では、映像識別情報1の映像がシーン1A〜1Nの映像から構成され、映像識別情報2の映像がシーン2A〜2Nの映像から構成され、映像識別情報3の映像がシーン3A〜3Nの映像から構成され、映像識別情報4の映像がシーン4Aの映像から構成されている例を示している。尚、以下の説明では、理解を容易にするために、映像上の時間的なシーンの位置を特定する情報として、シーンの開始時刻及び終了時刻を用いずに、単に、シーン1A〜1N、シーン2A〜2N、シーン3A〜3N及びシーン4Aと記載する。
図3の例では、映像識別情報1のシーン1Aと指標1とが関連付けられている。映像識別情報1のシーン1Bと指標2とが関連付けられている。映像識別情報1のシーン1Cと指標3とが関連付けられている。映像識別情報1のシーン1Nと指標4とが関連付けられている。その結果、シーン1Aの映像と指標1とが関連付けられ、シーン1Bの映像と指標2とが関連付けられ、シーン1Cの映像と指標3とが関連付けられ、シーン1Nの映像と指標4とが関連付けられていることになる。
また、シーンの映像と指標とは一対一に対応している必要はない点も留意すべきである。例えば、映像識別情報2のシーン2Cと、指標2及び指標3とが関連付けられている。このように、ひとつのシーンの映像に複数の指標が関連付けられていても良い。
また、全てのシーンに、かならずしも、指標が関連付けられている必要はない。例えば、映像識別情報3のシーン3Cのように、指標が関連付けられていなくても良い。
また、同一の指標が複数のシーンに関連付けられていても良い。例えば、指標2は、映像識別情報1のシーン1B、映像識別情報2のシーン2A,2B,2Cに関連付けられている。すなわち、同一の指標が複数のシーンの映像に関連付けられていても良い。
また、映像の意味的な場面が変化せず、映像に関連付けられる指標も変化していない映像の場合、映像の全区間をひとつのシーンとみなし、そのシーンの映像と指標とを関連付けても良い。例えば、映像識別情報4のシーン4Aには、指標4が関連付けられている。
このように、映像を複数のシーンの映像に分割し、シーンの映像に指標を関連付けることにより、映像の意味的な場面が時間の経過とともに変化するような場合であっても、場面毎(シーン毎)の映像に適切な指標を関連付けすることができる。
映像制御装置4は、閲覧端末1で表示される映像及び指標の出力を制御する装置であり、コンテンツ配信サーバの機能を有する。そして、態様1では、映像制御装置4が、通常表示制御部Xと強調表示制御部Yとを備え、映像制御システムとなる。また、映像制御装置4は、記憶部3とLANのようなネットワークを介して接続されているが、映像制御装置4が記憶部3を備えていても良い。尚、態様1の映像制御システムを実施する実施者は、コンテンツを配信するコンテンツ配信事業者や、コンテンツ配信サーバを運営する事業者等である。
通常表示制御部Xは、記憶部3から映像データと映像メタデータとを読み出し、複数の映像と指標とが同期して閲覧端末1に表示されるように、映像及び指標の出力を制御する。ここで、映像及び指標の出力の制御とは、単に、映像及び指標の出力のタイミング等を制御するだけではなく、映像及び指標の出力を制御することにより、結果として、閲覧端末1の表示部12の同一画面上に映像及び指標が同期して再生されるように制御することも含む概念である。映像及び指標の出力制御は、閲覧端末1に表示する複数の映像と指標とをひとつの映像に合成して閲覧端末1に出力する制御を行う。閲覧端末1ではその映像を再生することにより、表示部12の同一画面上で映像及び指標が同期して表示される。また、映像及び指標の出力制御は、スクリプト等の命令記述を、映像データ及び指標とともに送信することにより、実現することもできる。そして、閲覧端末1の表示制御部11が命令記述を実行することにより、閲覧端末1の表示部12の同一画面上で、複数の映像と指標とが同期して表示される。
ここで、通常表示制御部Xが行う通常表示制御について説明する。映像の通常表示制御又は通常表示とは、閲覧端末1の表示部12の同一画面上で表示されるいずれの映像も、他の映像と比べて著しく区別できるような表示をしない表示制御方法である。例えば、全ての映像が、閲覧端末1の表示部12において同様な大きさで表示されるような表示形態をいう。また、複数の映像と指標とが同期して表示とは、複数の映像と共に指標が、閲覧端末1の表示部12において表示されていればよく、かならずしも、時間的に完全に一致して表示される必要はない。また、映像とこの映像に関連付けられている指標とが同期されて表示されることが好ましいが、かならずしも、映像とこの映像に関連付けられている指標とが同期して表示される必要はない。例えば、映像が複数のシーンの映像に分割され、各シーンの映像に指標が関連付けられている場合、閲覧端末1の表示部12に、現在表示されているシーンの映像に関連付けられている指標のみならず、他の異なるシーンの映像に関連付けられている指標も表示するようにしても良い。
通常表示制御部Xによる通常表示制御により、閲覧端末1の表示部12において表示される複数の映像及び指標の一例を、図4に示す。図4では、映像1から映像4の4つの映像が大きさの等しい表示領域で表示されている様子を示している。映像1から映像4の各映像の右下には、映像1から映像4に関連付けられた指標が同期して表示される。
強調表示制御部Yは、閲覧端末1において複数の映像と指標とが同一画面上に再生されている通常表示状態で、閲覧端末の入力装置等により、ユーザが指標を指定すると、その指定に応答して、指定した指標に関連付けられた映像を強調表示させるため、映像の出力を制御する。強調表示制御部Yは、指定された指標に関連付けられた映像識別情報を、映像メタデータから検索する。そして、検索された映像識別情報で特定される映像の映像データを用いて、その映像の強調表示を行う。
強調表示制御部Yは、指標がシーンの映像と関連付けられている場合には、指定された指標に関連付けられたシーン及びそのシーンが属する映像の映像識別情報を映像メタデータから検索し、検索したシーン及び映像識別情報で特定される映像データを用いて、そのシーンの映像の強調表示を行う。
ここで、強調表示制御部Yが行う強調表示制御及び強調表示の方法について説明する。
強調表示制御は、指定した指標に関連付けられた映像を強調した映像データを生成して閲覧端末1に出力する。閲覧端末1ではその映像が再生される。また、検索された映像識別情報で特定される映像を強調表示するスクリプト等の命令記述を、映像データとともに、閲覧端末1に送信することにより、実現することもできる。そして、閲覧端末1の表示制御部11が命令記述を実行することにより、閲覧端末1の表示部12に、指定した指標に関連付けられた映像が強調表示される。
ここで、映像の強調表示とは、指定した指標に関連付けられた映像の表示形式を、他の映像の表示形式に対して区別できるように表示する表示方法である。強調表示の代表的なものに、強調表示する映像を、他の映像の表示領域よりも大きい表示領域で表示する方法がある。しかし、この方法に限られない。例えば、強調表示する映像のみを表示し、他の映像は表示しない方法や、強調表示する映像のフレーム枠を他の映像のフレーム枠と区別できるようなものにする等である。
強調表示制御部Yが行う強調表示の具体例を図5から図7を用いて説明する。
図5は、強調表示する映像のみを表示し、他の映像は表示しない強調表示の一例を示す図である。図5では、閲覧端末1の表示部12に、映像1から映像4が同一画面上で表示されている通常表示において、ユーザが指標1を指定した場合、指標1に関連付けられている映像1のみが、閲覧端末1の表示部12に表示されている。
図6は、指標が二つ以上の映像と関連付けられている場合の強調表示の一例を示す図である。図6では、閲覧端末1の表示部12に、映像1から映像4が同一画面上で表示されている通常表示において、ユーザが指標2を指定した場合、指標2に関連付けられている映像1と映像2とが、他の映像3、映像4の表示領域よりも大きい表示領域で表示されている。
図7は、強調表示する映像のフレーム枠を他の映像のフレーム枠と異なるものにする場合の強調表示の一例を示す図である。図7では、閲覧端末1の表示部12に、映像1から映像4が同一画面上で表示されている通常表示において、ユーザが指標1を指定した場合、指標1に関連付けられている映像1のフレーム枠が太く表示され、他の映像のフレーム枠と異なるものとなっている。
このように、映像制御システムの態様1は、閲覧端末において、同一画面上で複数の映像と、その映像の内容又はその映像がどのような観点で作成又は撮影されたか等を表す指標とが同期して表示される。ユーザは、閲覧端末において、映像と同期して再生される指標を手掛かりにし、複数の映像から注目したい映像を選択できる。そして、ユーザは指定した指標に関連付けられている映像を他の映像に比べて強調された形式で視聴することができる。従って、ユーザは注目したい映像を探すために、複数の映像を視聴して確認する必要がない。更に、ユーザが指標を指定することにより、注目したい映像が自動的に強調表示されるので、ユーザはそのまま視聴を継続することができる。
その結果、ユーザが注目したい映像を探すための視聴による映像の再生処理や、映像を確認するための映像の拡大などの処理を低減することができ、映像制御装置及び閲覧端末の処理の負担を低減することができる。また、それらの処理に必要となるデータの送受信にかかるネットワーク等の通信リソースも低減することができる。
映像制御システムの態様1は、映像制御装置が通常表示制御及び強調表示制御を行うので、端末側は特別な装置を用意する必要がないという利点を有する。
(2)映像制御システムの態様2
図8は本発明の映像制御システムの態様2のブロック図である。
図8中、1は閲覧端末であり、2はネットワーク、3は記憶部であり、5は配信装置である。尚、態様1と同様な構成のものについては、同じ符号を付した。
本発明の映像制御システムの態様2は、閲覧端末1が通常表示制御部Xと強調表示制御部Yとを備えている点で、態様1と異なる。従って、態様2では、閲覧端末1が、通常表示制御部Xと強調表示制御部Yとを備え、映像制御システムとなる。
閲覧端末1が通常表示制御部Xと強調表示制御部Yとを備える手法としては、通常表示制御部Xと強調表示制御部Yとの機能を有するプログラムを閲覧端末1にプレインストールしておく方法や、通常表示制御部Xと強調表示制御部Yとの機能を有するプログラムを、インターネット上のサイトからダウンロードして閲覧端末1にインストールする方法がある。
態様2の映像制御システムを実施する実施者は、主に閲覧端末1のユーザである。しかし、通常表示制御部Xと強調表示制御部Yとの機能を有するプログラムがインストールされた閲覧端末を譲渡等する者や、通常表示制御部Xと強調表示制御部Yとの機能を有するプログラムを提供する者も、映像制御システムを実施する者に該当する。
一方、配信装置5は、記憶部3に格納されている映像データ及び映像メタデータを、閲覧端末1に配信する機能を有する。閲覧端末1の通常表示制御部X及び強調表示制御部Yは、配信装置5から配信される映像データ及び映像メタデータを用いて、上述した態様1と同様に、閲覧端末1の表示部12に、複数の映像と指標とを同期して表示し、指定した指標に関連付けられた映像の強調表示を行う。
尚、映像データ及び映像メタデータを配信する配信装置5は、通常表示制御部X及び強調表示制御部Yを備えた閲覧端末1(映像制御システム)の実施に必要なものであり、通常表示制御部X及び強調表示制御部Yを備えた閲覧端末1(映像制御システム)と対応する特別な技術的特徴を有している点にも留意すべきである。
映像制御システムの態様2は、閲覧端末1において通常表示と強調表示との制御を行うが、配信装置5から映像メタデータの配信を受けることにより、態様1と同様な効果を得ることができる。
また、映像制御システムの態様2は、閲覧端末側で、通常表示制御及び強調表示制御を行う構成なので、配信側の処理が低減するという利点がある。
(3)映像制御システムの態様3
図9は本発明の映像制御システムの態様3のブロック図である。
本発明の映像制御システムの態様3は、閲覧端末1が通常表示制御部Xと強調表示制御部Yとを備えており、閲覧端末1がLAN等のネットワークを介して記憶部3と接続されている点が他の態様と異なる。尚、閲覧端末1が、記憶部3を備えていても良い。
記憶部3には、サイトなどからダウンロード又はDVD等の記録媒体から読み込まれた映像データと映像メタデータとが格納されている。そして、閲覧端末1の通常表示制御部Xと強調表示制御部Yとは、記憶部3から映像データと映像メタデータとを読み出すことにより、態様1と同様な制御を行う。
尚、閲覧端末1が通常表示制御部Xと強調表示制御部Yとを備える手法としては、通常表示制御部Xと強調表示制御部Yの機能を有するプログラムを閲覧端末1にプレインストールしておく方法や、通常表示制御部Xと強調表示制御部Yの機能を有するプログラムをインターネット上のサイトからダウンロードして閲覧端末1にインストールする方法がある。
態様3の映像制御システムを実施する実施者は、主に閲覧端末1のユーザである。しかし、通常表示制御部Xと強調表示制御部Yとの機能を有するプログラムがインストールされた閲覧端末1を譲渡等する者や、通常表示制御部Xと強調表示制御部Yとの機能を有するプログラムを提供する者も、映像制御システムを実施する者に該当する点に留意すべきである。
映像制御システムの態様3は、閲覧端末1が通常表示制御部Xと強調表示制御部Yと、記憶部3とを備えているが、態様1と同様な効果を得ることができる。
また、映像制御システムの態様3は、映像データ及び映像メタデータ等のデータを、ネットワークを介して受信することができないような環境下でも、実施することができるという利点がある。
(4)映像制御システムの態様4
図10は本発明の映像制御システムの態様4のブロック図である。
図10中、1は閲覧端末であり、2はネットワーク、3は記憶部であり、6は配信装置である。尚、態様1と同様な構成のものについては、同じ符号を付した。
本発明の映像制御システムの態様4は、配信装置6が通常表示制御部Xを備え、閲覧端末1が強調表示制御部Yを備えている点で、他の態様と異なる。すなわち、通常表示制御部Xと強調表示制御部Yとが分かれて配置されているのである。このような場合、閲覧端末1の通常表示制御部Xと配信装置6の強調表示制御部Yとから、映像制御システムが構成される。
配信装置6の通常表示制御部Xは、記憶部3から映像データと映像メタデータとを読み出し、複数の映像と指標とが同期して閲覧端末1に表示されるように、映像及び指標の出力を制御する。映像及び指標の出力制御は、閲覧端末1に表示する複数の映像と指標とをひとつの映像に合成して閲覧端末1に出力する制御を行う。閲覧端末1ではその映像を再生することにより、表示部12の同一画面上で映像及び指標が同期して表示される。また、映像及び指標の出力制御は、スクリプト等の命令記述を、映像データ及び指標とともに送信することにより、実現することもできる。
また、配信装置6は、通常表示制御部Xの通常表示の制御とは別に、映像メタデータを閲覧端末1に配信しておく。
閲覧端末1の強調表示制御部Yは、配信装置6から受信した映像メタデータを一時的に記憶しておく。そして、閲覧端末1において複数の映像と指標とが表示されている通常表示の状態で、ユーザが表示されている指標を指定した場合、記憶している映像メタデータから指定した指標に関連付けられた映像を検索し、その映像に対応する映像データを用いて強調表示を行う。
閲覧端末1が強調表示制御部Yを備える方法としては、強調表示制御部Yの機能を有するプログラムを閲覧端末1にプレインストールしておく方法や、強調表示制御部Yの機能を有するプログラムをインターネット上のサイトからダウンロードして閲覧端末1にインストールする方法がある。
このような場合、閲覧端末1の強調表示制御部Yは、本発明の映像制御システムの生産にのみ用いられる物の生産、譲渡等に該当する。また、閲覧端末1に強調表示制御部Yは、本発明の映像制御システムの課題の解決に不可欠なものである。そして、閲覧端末1に強調表示制御部Yをプレインストールする場合や、インターネット上のサイトに強調表示制御部Yの機能を有するプログラムをダウンロードさせる行為は、本発明の映像制御システムの実施に用いられることを知りながら行われる行為である。
更に、通常表示制御部Xと強調表示制御部Yとが分かれて配置される構成は、上記の態様に限られない。例えば、閲覧端末1が通常表示制御部Xを備え、配信装置6が強調表示制御部Yを備えても良い。
図11は本発明の映像制御システムの態様4の変形例のブロック図である。
配信装置6は、記憶部3に格納されている映像データ及び映像メタデータを、閲覧端末1に配信する機能を有する。閲覧端末1の通常表示制御部Xは、配信装置6から配信される映像データ及び映像メタデータを用いて、閲覧端末1の表示部12に、複数の映像と指標とを同期して表示する。
配信装置6の強調表示制御部Yは、閲覧端末1において複数の映像と指標とが表示されている通常表示状態で、ユーザが指標を指定すると、その指定に応答して、指定した指標に関連付けられた映像を、閲覧端末1の表示部12に強調表示するものである。強調表示制御は、スクリプト等の命令記述を、映像データとともに、閲覧端末1に送信することにより、実現することができる。そして、閲覧端末1の表示制御部11が命令記述を実行することにより、閲覧端末1の表示部12に、指定した指標に関連付けられた映像が強調表示される。また、指定した指標に関連付けられた映像を強調した映像データを生成して閲覧端末1に出力するようにしても良い。閲覧端末1ではその映像が再生される。
閲覧端末1が通常表示制御部Xを備える方法としては、上述したように、通常表示制御部Xの機能を有するプログラムを閲覧端末1にプレインストールしておく方法や、通常表示制御部Xの機能を有するプログラムをインターネット上のサイトからダウンロードして閲覧端末1にインストールする方法がある。
このような場合、閲覧端末1の通常表示制御部Xは、本発明の映像制御システムの生産にのみ用いられる物の生産、譲渡等に該当する。また、閲覧端末1に通常表示制御部Xは、本発明の映像制御システムの課題の解決に不可欠なものである。そして、閲覧端末1に通常表示制御部Xをプレインストールする場合や、インターネット上のサイトに通常表示制御部Xの機能を有するプログラムをダウンロードさせる行為は、本発明の映像制御システムの実施に用いられることを知りながら行われる行為である。
映像制御システムの態様4は、通常表示制御部Xと強調表示制御部Yとが分かれて配置されているが、配信装置6から、映像データ及び映像メタデータの配信を受けることにより、態様1と同様な効果を得ることができる。
また、映像制御システムの態様4は、通常表示制御と強調表示制御とを分散させているので、それぞれの装置が行う処理の負担が軽減されるという利点がある。
以下、具体的な本発明の実施の形態を説明する。
<第1の実施の形態>
本発明の第1の実施の形態について説明する。
第1の実施の形態は、上述した本発明の態様1に対応する実施の形態である。尚、第1の実施の形態では、指標が、関連付けられる映像の内容又はその映像がどのような視点又は観点で作成又は撮影されたかを表すキーワードである例を説明する。また、映像が複数のシーンの映像から構成され、各シーンの映像に指標が関連付けられている例を説明する。
まず、第1の実施の形態の映像制御システムについて図12を参照して説明を行う。図12は、第1の実施の形態の映像制御システムの構成を示すブロック図である。
第1の実施の形態の映像制御システムは、図12に示すように、コンテンツ配信サーバ100がネットワーク200に接続されており、閲覧端末300がネットワーク200に接続されて構成される。そして、コンテンツ配信サーバ100は、記憶装置400とLANのようなネットワークを介して接続されている。尚、コンテンツ配信サーバ100が記憶装置400を備えていても良い。
コンテンツ配信サーバ100は、通常表示制御部Xと強調表示制御部Yとを有し、閲覧端末300に複数の映像コンテンツを配信する機能を有する。
閲覧端末300は、表示部301、制御部302、記憶部303、通信部304及び入力部305を有する端末である。閲覧端末300の代表的な例として、パーソナルコンピュータ、タブレット、スマートフォン等がある。
表示部301は、液晶等のカラーディスプレイで構成され、閲覧者に映像及び情報を表示する。
制御部302は、CPU(Central Processing Unit)等で構成され、閲覧端末300を統括的に制御する。
記憶部303は、ハードディスク、フラッシュメモリ等の記憶装置で構成され、閲覧端末300を動作させるOS(Operating System)等の基本ソフトウェアや、Webブラウザのソフトウェア等を記憶する。
通信部304は、ネットワーク200を介して、コンテンツ配信サーバ100とデータの送受信を行う。
入力部305は、キーボードや、マウス、タッチパネル等で構成され、ユーザによってユーザの指示が入力される。
次に、コンテンツ配信サーバ100について図13を参照して説明する。
図13は、コンテンツ配信サーバ100のブロック図である。
コンテンツ配信サーバ100は、プロセッサ101、メモリ(ROMやRAM)102、記憶装置(ハードディスク、半導体ディスクなど)103、入力装置(キーボード、マウス、タッチパネルなど)104、表示装置105、通信装置106、LAN通信装置107などのハードウェア資源を有する汎用のコンピュータにより構成することができる。
コンテンツ配信サーバ100は、記憶装置103に格納されたプログラムがメモリ102にロードされ、プロセッサ101により実行されることにより、通常映像配信機能110、資料画像生成機能111、シーン検索機能112及び強調映像配信機能113が実現されるものである。
ここで、通常映像配信機能110及び資料画像生成機能111が通常表示制御部Xに対応し、シーン検索機能112及び強調映像配信機能113が強調表示制御部Yに対応する。
また、通常映像配信機能110、資料画像生成機能111、シーン検索機能112及び強調映像配信機能113は、通常映像配信部110、資料画像生成部111、シーン検索部112及び強調映像配信部113と言い換えることもできる。
なお、コンテンツ配信サーバ100は、一台のコンピュータにより構成してもよいし、複数台のコンピュータによる分散コンピューティングにより構成してもよい。また、処理の高速化のため、コンテンツ配信サーバ100の機能の一部または全部を専用のハードウェア(例えばGPUやFPGA、ASICなど)を用いて実現することも可能である。
資料画像生成機能111は、閲覧端末300において、同一画面上で複数の映像と同期して再生される資料画像を生成する機能を有する。資料画像は、配信される映像に関する資料の画像であり、映像と関連付けられているキーワード(指標)と、そのキーワード以外の映像の理解を助けるためのテキストや図を含む画像である。資料画像は、初期資料画像から生成される。初期資料画像は、映像の理解を助けるためのテキストや図の画像である。そして、初期資料画像には、映像に関連付けられるキーワードが埋め込まれるキーワード表示領域を備える。初期資料画像は、映像の全シーンについて共通して用いる場合は一つだけでも良いが、内容が異なる複数の初期資料画像を用意し、映像のシーン又は所定の時間長の区間毎に、使用する初期資料画像を変更しても良い。また、初期資料画像のメタデータには、通常映像配信機能110が、資料画像と複数の映像とを合成する際に用いられ同期情報を含む。同期情報は、同期させたい映像の時間長の区間を示す情報である。例えば、同期情報は、同期させたい映像の区間の開始時刻及び終了時刻等である。
資料画像生成機能111は、通常映像配信機能110が読み出した映像のタイムコードが位置するシーンに関連付けられているキーワードを、映像メタデータから取得する。資料画像生成機能111は、取得したキーワードを初期資料画像のキーワード表示領域に配置し、そのシーンの資料画像を生成する。このとき、閲覧端末300において、ユーザに指定されたキーワードを特定できるように、キーワードの画像中の位置情報を、資料画像に含めておく。そして、生成した資料画像と初期資料画像から得た同期情報とは、通常映像配信機能110に出力される。
通常映像配信機能110は、閲覧端末300において、同一画面上で、複数の映像と資料画像とが同期して表示される映像データを、ストリーミング技術を使って閲覧端末300に配信する機能を有する。通常映像配信機能110は、閲覧端末300に配信する映像データを記憶装置400から読み出す。そして、読み出した映像データと資料画像生成機能111により生成された資料画像とを、初期資料画像から得た同期情報に基づいて合成し、通常表示の映像であるひとつの映像データ(以下、通常表示映像データと記載する)を生成する。
通常映像配信機能110によって配信される映像データを閲覧端末300で再生した場合の表示部301に表示される表示例の一例を、図14に示す。図14では、映像1から映像4と資料画像とが同期して表示されている。
シーン検索機能112は、閲覧端末300から指定を受けたキーワードに関連付けられているシーン及びそのシーンが属する映像識別情報を、記憶装置400に格納されている映像メタデータから検索する機能を有する。
強調映像配信機能113は、閲覧端末300から指定を受けたキーワードに関連付けられているシーンの映像を強調した映像データを生成し、ストリーミング技術を使って閲覧端末300に配信する機能を有する。
強調映像配信機能113は、シーン検索機能112によって検索されたシーン及びそのシーンが属する映像識別情報に対応する映像データ(必要ならば強調しない他の映像の映像データも含む)を、記憶装置400から読み出し、読み出した映像データから、そのシーンの映像を強調した映像データを生成する。そして、生成された映像データと資料画像生成機能111により生成された資料画像とを、同期情報に基づいて合成し、ひとつの映像データ(以下、強調表示映像データと記載する)を生成する。尚、同期情報は、上述した同期情報と同様である。
記憶装置400には、閲覧端末に配信する映像データ、映像メタデータ及び初期資料画像のデータが格納されている。
次に、第1の実施の形態の動作を、具体例を用いながら説明する。
まず、動作の説明をする前に、記憶装置400に格納されている映像メタデータと、初期資料画像について説明する。
図15は記憶装置400に格納されている映像メタデータの具体例を示す図である。
図15の映像メタデータは、映像1から映像4が複数のシーンの映像から構成されている例を示したものである。そして、映像1〜映像4を一意に特定する映像識別情報1〜映像識別情報4と、各シーンと、キーワードとが関連付けられている。各シーンは、シーンの開始時刻及び終了時刻により特定される。例えば、映像識別情報1の時刻00:00:00−00:01:00で特定されるシーンは、キーワード「間合い、包丁」と関連付けられている。
図16は、初期資料画像の一例を示した図である。図16の例では、初期資料画像として、「切り方のポイント」のテキストと各シーンの映像に関連付けられているキーワードが埋め込まれるキーワード表示領域とからなる初期資料画像を示している。以下の動作の説明では、映像の全シーンを通して、図16の初期資料画像を用いるものとし、初期資料画像の同期情報は、映像1から映像4の開始時刻及び終了時刻となる。
続いて、コンテンツ配信サーバ100及び閲覧端末300の動作を説明する。
図17は、コンテンツ配信サーバ100と閲覧端末300との処理や情報の流れを示すシーケンス図である。
まず、閲覧端末300からコンテンツ配信サーバ100に、複数の映像及び資料画像から成るコンテンツの配信の要求を行う(Step 1)。
コンテンツの配信の要求を受けたコンテンツ配信サーバ100は、通常表示制御を行う(Step 2)。
通常表示制御により、通常表示映像データが配信される(Step 3)。
閲覧端末300は通常表示映像データを受信すると、閲覧端末300のWebブラウザは、通常表示映像データを用いて、同一画面上で複数の映像と資料画像とが同期した映像を表示部301に再生する(Step 4)。
映像を視聴しているユーザは、ここで、注目したい映像のキーワードを、入力部305により指定する(Step 5)。指定したキーワードの情報(例えば、指定したキーワードの映像中の位置情報)は、コンテンツ配信サーバ100に送信される(Step 6)。
コンテンツ配信サーバ100はキーワードの指定を受信すると、強調表示制御を行う(Step 7)。
コンテンツ配信サーバ100から、強調表示制御により、強調表示映像データが配信される(Step 8)。
閲覧端末300は強調表示映像データを受信すると、閲覧端末300のWebブラウザは、強調表示映像データを用いて、指定したキーワードに関連付けられている映像が強調された映像を再生する(Step 9)。
次に、コンテンツ配信サーバ100で行われるStep 2の通常表示制御の動作について説明する。
図18はコンテンツ配信サーバ100で行われる通常表示制御のフローチャートである。
まず、コンテンツ配信サーバ100がコンテンツの配信の要求を受信すると、通常映像配信機能110は、記憶装置400から配信する映像1〜映像4の映像データ及び映像メタデータを取得する(Step 10)。
次に、資料画像生成機能111は、通常映像配信機能110が読み出した映像データのタイムコードを含む同期情報を持つ初期資料画像を、記憶装置400から取得する(Step 11)。そして、映像データのタイムコードが位置するシーンに関連付けられたキーワードを映像メタデータから取得し、取得したキーワードを初期資料画像に配置してそのシーンの資料画像を生成する(Step 12)。
通常映像配信機能110は、映像1から映像4の映像データと資料画像生成機能111が生成した資料画像とを、同期情報を用いて合成し、通常表示映像データを生成する(Step 13)。
ここで、図19を用いて、資料画像生成機能111が行う資料画像の生成と、通常映像配信機能110が行う映像1〜映像4と資料画像との合成を具体的に説明する。尚、以下の説明に用いられる初期資料画像は、図16で示した初期資料画像である。また、同期情報は、映像1〜映像4の開始時刻と終了時刻の情報である。
まず、資料画像生成機能111が行う資料画像の生成について説明する。
例えば、読み出した映像データの映像のタイムコードが00:00:00である場合、タイムコード00:00:00がシーンの開始時刻と終了時刻との区間にある同期情報に対応する初期資料画像を取得する。本例では、取得される初期資料画像は、図16で示した初期資料画像である。
続いて、タイムコード00:00が位置するシーンに関連付けられているキーワードを取得する。図19の例では、映像のタイムコードが00:00であるので、映像識別情報1の開始時刻00:00:00−終了時刻00:01:00で特定されるシーンに関連付けられているキーワード「間合い、包丁」と、映像識別情報2の開始時刻00:00:00−終了時刻00:01:00で特定されるシーンに関連付けられているキーワード「姿勢、料理人」と、映像識別情報3の開始時刻00:00:00−終了時刻00:01:00で特定されるシーンに関連付けられているキーワード「視線、料理人」と、映像識別情報4の開始時刻00:00:00−終了時刻00:01:00で特定されるシーンに関連付けられているキーワード「間合い、包丁」を取得する。これらの取得したキーワード「間合い」、「包丁」、「姿勢」、「料理人」及び「視線」を、初期資料画像のキーワード表示領域に埋め込むことにより、開始時刻00:00:00−終了時刻00:01:00で特定されるシーンの資料画像1を生成する。尚、取得したキーワードのうち、重複したキーワードは除いている。
同様に、読み出した映像データの映像のタイムコードが00:01:01である場合、タイムコード00:01:01がシーンの開始時刻と終了時刻との区間にある同期情報に対応する初期資料画像を取得する。本例では、取得される初期資料画像は、図16で示した初期資料画像である。
続いて、タイムコード00:01:01が位置するシーンに関連付けられているキーワードを取得する。図19の例では、映像のタイムコードが00:00であるので、映像識別情報1の開始時刻00:01:01−0:02:00で特定されるシーンに関連付けられているキーワード「間合い」と、映像識別情報2の開始時刻00:01:01−0:02:00で特定されるシーンに関連付けられているキーワード「姿勢」と、映像識別情報3の開始時刻00:01:01−0:02:00で特定されるシーンに関連付けられているキーワード「視線」と、映像識別情報4の開始時刻00:01:01−0:02:00で特定されるシーンに関連付けられているキーワード「間合い、包丁」を取得する。これらの取得したキーワード「間合い」、「包丁」、「姿勢」及び「視線」を、初期資料画像のキーワード表示領域に埋め込むことにより、開始時刻00:01:01−0:02:00で特定されるシーンの資料画像2を生成する。尚、取得したキーワードのうち、重複したキーワードは除いている。尚、図19では、検索されたキーワードの全てを資料画像に表示するようにしたが、検索されたキーワードの一部、例えば、重要度に応じて適時減らすようにしても良い。
次に、通常映像配信機能110が行う映像1〜映像4と資料画像との合成について説明する。
図19の例では、タイムコードが00:00:00−00:01:00の映像1から映像4と資料画像1とを、同期情報を用いて合成し、通常表示映像データ1を生成している。同様に、タイムコードが00:01:01−0:02:00の映像1から映像4と資料画像2とを、同期情報を用いて合成し、通常表示映像データ2を生成している。
そして、通常映像配信機能110は、生成した通常表示映像データを閲覧端末300に配信する(Step 14)。
次いで、通常映像配信機能110は、後述する閲覧端末からのキーワードの指定を受信したかを判断する(Step 15)。キーワードの指定を受信した場合は、強調表示制御に移行する。
キーワードの指定を受信していない場合は、閲覧端末300に配信する通常表示映像データの配信位置が一定量移動(例えば、シーンの終了時刻まで移動)したかを判断する(Step 16)。通常表示映像データの配信が一定量移動した場合は、Step 10に戻り、通常表示制御の処理を行う。通常表示映像データの配信が一定量移動していない場合は、Step 15に戻る。
尚、Step 16における判定の条件である配信位置の一定量移動を、配信している複数の映像のシーンの中で、いずれかのシーンのシーンが終了するタイミングとしても良い。このようにすることにより、複数の映像間でシーンの長さが異なる場合であっても、各シーンとそのシーンの映像に関連付けられているキーワードとが同期した資料画像を表示することができる。
図20は、資料画像中の指標が各シーンの映像と同期して変化する例を示した図である。尚、図20の例において、初期資料画像は映像1から映像4の全シーンを通じてひとつの初期資料画像を用いるものとする。
図20の例において、映像1から映像4の配信開始から映像3のシーン3Aの映像が終了するまでの間(時刻0〜t1)に、初期資料画像から生成された資料画像は、資料画像Mである。資料画像Mに配置されるのは、指標1、指標2、指標3及び指標4である。
ここで、時刻t1に、シーン3Aの映像が終了すると、資料画像生成機能111は、映像メタデータから各指標の取得を行う。時刻t2において、資料画像生成機能111が取得する指標は、指標1、指標2及び指標4である。従って、指標1、指標2及び指標4が初期資料画像に配置された資料画像Nが生成される。
続いて、時刻t3に、シーン1A、シーン2A、シーン4Aが終了すると、映像メタデータから各映像の指標の取得が行われる。時刻t4において、資料画像生成機能111が取得する指標は、指標1、指標2及び指標3である。従って、指標1、指標2及び指標3が初期資料画像に配置された資料画像Oが生成される。
このように、各映像のシーンの長さが異なる場合であっても、資料画像中に表示される指標を各シーンの映像と同期して表示することができる。
尚、上述した資料画像生成機能111は、映像メタデータからキーワードを取得し、取得したキーワードを初期資料画像に配置することにより、映像と同期させる資料画像を生成する例を説明した。
しかし、映像と同期する指標が配置された資料画像を、シーンが切り替わるタイミング毎に予め用意しておいても良い。例えば、用意する資料画像は、図20の資料画像M、資料画像N、資料画像O等である。そして、用意した資料画像を同期させたい映像の区間の開始時刻及び終了時刻を、同期情報として付与しておく。このような資料画像の作成は、資料画像生成機能111が初期資料画像から予め作成しておいても良いし、別途作成した資料画像を記憶部400に記憶させておいても良い。
このようにすれば、通常映像配信機能110は、複数の映像と資料画像とを合成して通常表示データを生成する際、映像のタイムコードを含む同期情報が付与された資料画像を選択し、選択した資料画像とその複数の映像とを合成することにより、映像と同期した指標が配置された資料画像を含む通常表示データを生成することができる。
上述のように生成された通常表示データを用いて、閲覧端末300の表示部301に表示される映像及び資料画像の一例を、図21に示す。図21では、映像1から映像4と資料画像とが同期して表示されている様子を示している。
次に、Step7で行われるコンテンツ配信サーバ100の強調表示制御の動作について、図15、図22、図23及び図24を用いて説明する。
図22は、コンテンツ配信サーバ100で行われる強調表示制御のフローチャートである。図23は、図15の映像メタデータと通常表示及び強調表示との関係を時間軸上で表した概念図である。図24は、閲覧端末に表示される画像の一例を示す図である。
まず、コンテンツ配信サーバ100がキーワードの情報(例えば、指定したキーワードの映像中の位置情報)を受信すると、シーン検索機能112は、映像メタデータからそのキーワードに関連付けられたシーンを検索する(Step 20)。ここでは、図24に示される通常表示1の状態において、ユーザが、映像の再生位置がタイムコード00:00:30の時点で、キーワード「包丁」を指定したものとする。
シーン検索機能112は、キーワードに関連付けられたシーンがある場合(Step 21)、検索にヒットしたシーンの映像識別情報V1、そのシーンの開始時刻TS及び終了時刻TEを読み出す(Step 22)。図15の映像メタデータの例では、キーワード「包丁」にヒットしたシーンの映像識別情報V1は、映像識別情報1及び開始時刻TS00:00:00−終了時刻TE00:01:00のシーンと、映像識別情報4及び開始時刻TS00:00:00−終了時刻TE00:30:00のシーンである。
一方、キーワードに関連付けられたシーンがない場合、通常表示制御を維持する(Step 25)。
次に、強調映像配信機能113は、キーワードに関連付けられたシーンがある場合、シーン検索機能112から、シーンの映像識別情報V1、そのシーンの開始時刻TS及び終了時刻TEを受信する。強調映像配信機能113は、現在の閲覧端末における再生位置が、各シーンの開始時刻TSと終了時刻TEとの間に位置するかを判断する(Step 23)。現在の再生位置が、ヒットしたいずれかのシーンの開始時刻TSと終了時刻TEとの間にある場合、強調映像配信機能113は、映像識別情報V1の映像の現在位置からの映像を強調表示する強調表示映像データを生成する処理を行う(Step 24)。
強調表示は、映像識別情報V1の映像を、他の映像の表示と比べて区別できるように表示する。強調表示の代表的なものに、強調表示する映像を、他の映像の表示領域よりも大きくして表示する方法がある。しかし、この方法に限られない。例えば、強調表示する映像のみを表示し、他の映像は表示しない方法や、強調表示する映像のフレーム枠を他の映像と区別できるようなものにする等である。
図23を用いて強調表示映像データの生成を具体的に説明する。ここで、現在の再生位置のタイムコードが00:00:30である場合、タイムコード00:00:30が位置するシーンは映像識別情報1の開始時刻TS00:00:00−終了時刻TE00:01:00のシーンと、映像識別情報4の開始時刻TS00:00:00−終了時刻TE00:01:00のシーンである。そこで、映像識別情報1の映像のタイムコード00:00:30−00:01:00の期間の映像と、映像識別情報4の映像のタイムコード00:00:30−00:01:00の期間の映像と、資料画像1とを、同期情報を用いて合成し、強調表示映像データを生成する。この強調表示映像データにより閲覧端末300には、図23及び24に示される強調表示1が表示される。
尚、映像の強調表示の再生開始時刻であるが、上述のように、現在の再生位置から再生を開始しても良いが、そのシーンの最初から再生されるようにしても良い。上述の例では、シーンの開始時刻TS00:00:00−終了時刻TE00:01:00までの映像1及び映像4を用いて強調表示映像データを生成し、閲覧端末300において、そのシーンの開始から映像1及び映像4が強調表示されるようにしても良い。
また、強調表示時の資料画像の表示であるが、資料画像の表示を維持したままでも良いし、強調する映像のみを表示するようにしても良い。
強調映像配信機能113は、生成した強調表示映像データを、閲覧端末300に配信する(Step 25)。
一方、強調映像配信機能113は、閲覧端末300における現在の再生位置が、ヒットしたシーンの開始時刻TS及び終了時刻TEとの間にない場合、通常表示制御を維持する(Step 26)。
閲覧端末300再生位置が一定量移動すると(Step 27)、再度、強調映像配信機能113は、キーワードに関連付けられたシーンがあり、かつ、現在の再生位置が、そのシーンの開始時刻TSと終了時刻TEとの間にあるかを判断する(Step 28)。
キーワードに関連付けられたシーンがあり、かつ、現在の再生位置が、そのシーンの開始時刻TSと終了時刻TEとの間にある場合、強調映像配信機能113は、Step 24に戻り、映像識別情報V1の強調表示映像データの生成の処理を続行する。
例えば、図23及び図24の例の強調表示1の再生が進み、現在の再生位置がタイムコード00:01:01である場合、タイムコード00:01:01が位置するシーンは映像識別情報4の開始時刻TS00:00:00−終了時刻TE00:01:00のシーンのみとなる。そこで、映像識別情報4の映像のタイムコード00:00:30−00:01:00の期間の映像と、資料画像2とを、同期情報を用いて合成し、強調表示映像データを生成する。この強調表示映像データにより閲覧端末300には、図23及び図24に示されるような強調表示2が表示される。
尚、キーワードにヒットした映像識別情報が複数ある場合、強調表示する映像を増加、減少させたりする処理も、Step 24で行われる。
一方、キーワードに関連付けられたシーンがなく、かつ、現在の再生位置が、シーンの開始時刻TSと終了時刻TEとの間にない場合、強調表示制御を終了する。
以上で、コンテンツ配信サーバ100で行われる強調表示制御の動作の説明を終わる。
また、強調表示は上記のものに限られず、キーワードが二つ以上の映像と関連付けられている場合、図25に示すように、映像1と映像4を中心に配置し、映像2と映像3の表示領域を、映像1と映像4の表示領域よりも小さくしても良い。
尚、第1の実施の形態において、強調表示されているシーンの映像の終了を待つことなく、ユーザの指示により、通常表示の状態に遷移できるようにしても良い。この場合、ユーザが強制的に強調表示を中止させ、通常表示に遷移させる指示を受け付けるアイコン等を強調表示時に表示し、このアイコン等がユーザによりクリックされた場合、コンテンツ配信サーバ100が強調表示制御処理を中止し、通常表示制御処理に遷移するように構成しても良い。
また、第1の実施の形態では、コンテンツ配信サーバ100において、通常表示映像データ及び強調表示映像データを生成し、閲覧端末300において、通常表示映像データ及び強調表示映像データに基づいて通常表示映像及び強調表示映像を表示する例を説明した。しかし、複数の映像と資料画像とを通常表示するための通常表示レイアウト情報を生成し、スクリプト等の命令記述を用いて、閲覧端末300において、複数の映像と資料画像とが通常表示されるようにしても良い。同様に、指標に関連付けられた映像を強調するための強調表示レイアウト情報を生成し、スクリプト等の命令記述を用いて、閲覧端末300において、指標に関連付けられた映像が強調された映像が表示されるようにしても良い。
第1の実施の形態によれば、ユーザは、閲覧端末において、同一画面上で複数の映像が通常表示されている際、その複数の映像と同期して再生される指標を手掛かりに、複数の映像から注目したい映像を選択できる。そして、ユーザは指定した指標に関連付けられている映像を他の映像に比べて強調された形式で視聴することができる。従って、ユーザは注目したい映像を探すために、複数の映像を視聴して確認する必要がない。更に、ユーザが指標を指定することにより、注目したい映像が自動的に強調表示されるので、ユーザはそのまま視聴を継続することができる。
その結果、ユーザが注目したい映像を探すための視聴による映像の再生処理や、映像を確認するための映像の拡大などの処理を低減することができ、映像制御装置及び閲覧端末の処理の負担を低減することができる。また、それらの処理に必要となるデータの送受信にかかるネットワーク等の通信リソースも低減することができる。
更に、第1の実施の形態では、複数の映像と、その映像の理解を助けるための資料画像とが同期して表示され、その資料画像中に映像に関連付けられた指標が表示されるので、ユーザは、資料画像に注目すれば、注目したい映像に関連付けられた指標を探すことができる。
<第1の実施の形態の変形例>
第1の実施の形態の変形例を説明する。
第1の実施の形態の変形例では、資料画像に複数の映像に関する情報の概念図を含める例を説明する。
概念図は複数の映像に関するテーマや、視点又は撮影意図を表す情報の静止画である。複数の映像に関する情報の概念図の代表的なものに、複数の映像に映っている対象物や比較対象物を表す図、各映像の撮影位置や撮影方向(例えば、上、下、中央、右、左など)を表す図等がある。
図26は、資料画像中に表示される概念図の一例を示した図である。図26で示した例では、複数の映像の中に登場する料理人の図を概念図としたものである。そして、資料画像の料理人の図を中心に、映像に関連付けられた指標(例えば、キーワード)を対応する位置に配置している。資料画像における指標の配置位置は、予め定めておく。更に、概念図だけではなく、それぞれの映像を代表するサムネイル画像を配置しても良い。
図27は、図26で示した資料画像の実際の表示例を示した図である。
資料画像の概念図の他の例を図28に示す。
図28は、XXスタジアムで行われたサッカーの試合を、バックスタンド側から撮影した映像1と、ホームゴール裏側から撮影した映像2と、メインスタンド側から撮影した映像3と、アウェイゴール裏側から撮影した映像4とがあり、映像1から映像4と同期して表示される資料画像の例を示したものである。資料画像の概念図は、フィールド、各撮影方向(矢印)及び映像番号から成る概念図である。そして、各撮影方向に対応して指標配置位置が定められている。
資料画像生成機能111による指標配置位置に配置する指標を選択する方法であるが、最も簡単な方法として、各映像の映像識別情報と指標配置位置とを対応させておき、そこに配置する指標をその映像識別情報の映像の各シーンに関連付けられている指標から選択する方法がある。例えば、バックスタンド側から撮影した映像1の撮影方向に対応する指標配置位置に配置する指標は、映像1の各シーンに関連付けられた指標から選択するのである。具体的には、映像1の各シーンに関連付けられている指標が各シーンの映像に映っている選手名とすると、各シーンの映像に同期してその選手名を指標配置位置に配置するのである。
このように、資料画像中に映像に関連する情報を示す概念図を設けることにより、概念図が指標を選択する目安となる。例えば、ユーザは、概念図に示された撮影位置等を目安に、希望する映像の指標を容易に選択することができる。
<第2の実施の形態>
本発明の第2の実施の形態について説明する。
第2の実施の形態は、上述した本発明の態様2に対応するものである。また、第2の実施の形態では、第1の実施の形態と同様に、関連付けられる映像の内容又はその映像がどのような視点又は観点で、作成又は撮影されたかを表すキーワードである例を説明する。また、映像が複数のシーンの映像に分割され、各シーンの映像に指標が関連付けられている例を説明する。
まず、第2の実施の形態の映像制御システムについて図29を参照して説明を行う。図29は、第2の実施の形態の映像制御システムの構成を示すブロック図である。
第2の実施の形態の映像制御システムは、図29に示すように、コンテンツ配信サーバ100がネットワーク200に接続されており、閲覧端末300がネットワーク200に接続されて構成される。尚、コンテンツ配信サーバ100が記憶装置400を備えていても良い。
第2の実施の形態におけるコンテンツ配信サーバ100は、第1の実施の形態と異なり、記憶装置400に格納されている映像データ、映像メタデータ及び資料画像となるデータを配信する機能を備えているが、通常表示部Xと強調表示部Yとを備えていない。その代わりに、閲覧端末300が、通常表示部Xと強調表示部Yとを備えている。
次に、閲覧端末300について図30を参照して説明する。
図30は、閲覧端末300のブロック図である。
閲覧端末300は、プロセッサ301、メモリ(ROMやRAM)302、記憶装置(ハードディスク、半導体ディスクなど)303、入力装置(キーボード、マウス、タッチパネルなど)304、表示装置105、通信装置306などのハードウェア資源を有する汎用のコンピュータにより構成することができる。
閲覧端末300は、記憶装置303に格納されたプログラムがメモリ302にロードされ、プロセッサ301により実行されることにより、通常映像表示機能310、資料画像生成機能311、シーン検索機能312及び強調映像表示機能313が実現されるものである。
ここで、通常映像表示機能310及び資料画像生成機能311が通常表示制御部Xに対応し、シーン検索機能312及び強調映像表示機能313が強調表示制御部Yに対応する。
また、通常映像表示機能310、資料画像生成機能311、シーン検索機能312及び強調映像表示機能313は、通常映像表示部310、資料画像生成部311、シーン検索部312及び強調映像表示部313と言い換えることもできる。
なお、処理の高速化のため、閲覧端末300の機能の一部または全部を専用のハードウェア(例えばGPUやFPGA、ASICなど)を用いて実現することも可能である。
閲覧端末300は、コンテンツ配信サーバ100から配信される映像データ、映像メタデータ及び初期資料画像となるデータを受信し、記憶装置303に格納する。
資料画像生成機能311は、資料画像中に表示する各映像のキーワードを、記憶装置303に格納されている映像メタデータから取得し、取得したキーワード含む資料画像を生成する機能を有する。
資料画像生成機能311は、初期資料画像中に取得したキーワードを配置して、各映像と同期されて表示される資料画像を生成する。初期資料画像は、コンテンツ配信サーバ100から配信され、記憶装置303に格納されている。また、初期資料画像のメタデータには、第1の実施の形態と同様に、映像と資料画像との同期を取るための同期情報を含む。また、配置されるキーワードには、閲覧端末300において、ユーザが指定したキーワードを特定できるように特定情報(例えば、キーワードの映像中の位置情報)を含めておく。尚、初期資料画像、資料画像、初期資料画像にキーワードを配置する処理は、上述した第1の実施の形態及びその変形例と同様なものである。
通常映像表示機能310は、閲覧端末300において、同一画面上で、複数の映像と資料画像とが同期して表示される通常表示映像データを生成し、その通常表示映像データに基づき、表示装置305に映像を通常表示する機能を有する。通常映像表示機能310は、閲覧端末300の表示装置305に表示する映像データを記憶装置303から読み出す。そして、読み出した映像データと資料画像生成機能311により生成された資料画像とを、同期情報に基づいて合成し、通常表示の映像であるひとつの通常表示映像データを生成する。尚、同期情報は、第1の実施の形態と同様なものである。
シーン検索機能312は、入力装置304から指定を受けたキーワードに関連付けられているシーン及びそのシーンが属する映像識別情報を、記憶装置303に格納されている映像メタデータから検索する機能を有する。
強調映像表示機能313は、シーン検索機能312によって検索されたシーン及びそのシーンが属する映像識別情報から、そのシーンの映像を強調した強調表示映像データを生成し、その強調表示映像データに基づいて、表示装置305に表示する機能を有する。映像の強調方法は、第1の実施の形態と同様な方法を用いることができる。
次に、第2の実施の形態の動作を説明する。尚、記憶装置400に格納されている映像データと映像メタデータ及び資料画像とは、第1の実施の形態と同様なものとする。
まず、閲覧端末300の通常表示の動作を説明する。
図31は、閲覧端末300で行われる通常表示処理のフローチャートである。
まず、閲覧端末300は、コンテンツ配信サーバ100から、映像データと映像メタデータと初期資料画像とを受信し、記憶装置303に記憶する(Step 30)。
通常映像表示機能310は、記憶装置303から配信する映像1から映像4の映像データ及び映像メタデータを取得する(Step 31)。
次に、資料画像生成機能311は、通常映像配信機能110が読み出した映像データのタイムコードを含む同期情報を持つ初期資料画像を、記憶装置303から取得する(Step 32)。そして、映像データのタイムコードが位置するシーンに関連付けられた各映像のキーワードを映像メタデータから取得し、取得したキーワードを初期資料画像に配置してシーンの資料画像を生成する(Step 33)。資料画像の生成の具体例は、第1の実施の形態と同様である。
通常映像表示機能310は、映像1から映像4の映像データと、資料画像生成機能311が生成した資料画像とを、同期情報を用いて合成し、通常表示映像データを生成する(Step 34)。通常表示映像データの生成の具体例は、第1の実施の形態と同様である。
そして、通常映像表示機能310は、通常表示映像データに基づいて、映像1から映像4と資料画像とが同期した映像を表示装置305に表示する(Step 35)。
次いで、入力装置304からのキーワードの指定を受信したかを判断する(Step 36)。キーワードの指定を受信した場合は、強調表示制御に移行する。
キーワードの指定を受信していない場合は、表示装置305における映像及び資料画像の通常表示の再生位置が一定量移動(例えば、シーンの終了時刻まで移動)したかを判断する(Step 37)。映像及び資料画像の再生位置が一定量移動した場合は、Step 30に戻り、通常表示制御の処理を行う。映像及び資料画像の再生位置が一定量移動していない場合は、Step 36に戻る。
尚、Step 37における判定の条件である再生位置の一定量移動を、第1の実施の形態と同様に、再生している複数の映像のシーンの中で、いずれかのシーンの映像が終了するタイミングとしても良い。このようにすることにより、複数の映像間でシーンの長さが異なる場合であっても、各シーンとそのシーンの映像に関連付けられているキーワードとを、同期して資料画像中に表示することができる。
閲覧端末300の表示部301に表示される映像及び資料画像の例は図21に示したものと同様である。
以上で、閲覧端末300で行われる通常表示制御の動作の説明を終わる。
続いて、閲覧端末300で行われる強調表示制御の動作について説明する。
図32は、閲覧端末300で行われる強調表示制御のフローチャートである。
まず、閲覧端末300は、資料画像内のユーザがクリックした位置からキーワードを抽出する(Step 40)。
シーン検索機能312は、記憶装置303の映像メタデータから、そのキーワードに関連付けられたシーンを検索する(Step 41)。
シーン検索機能312は、映像メタデータ中に、キーワードに関連付けられたシーンがある場合(Step 42)、検索にヒットしたシーンの映像識別情報V1、そのシーンの開始時刻TS及び終了時刻TEを読み出す(Step 43)。
一方、キーワードに関連付けられたシーンがない場合、通常表示制御を維持する(Step 47)。
次に、強調映像表示機能313は、キーワードに関連付けられたシーンがある場合、シーン検索機能312から、シーンの映像識別情報V1、そのシーンの開始時刻TS及び終了時刻TEを受信する。強調映像表示機能313は、現在の再生位置が、各シーンの開始時刻TSと終了時刻TEとの間に位置するかを判断する(Step 44)。現在の再生位置が、ヒットしたいずれかのシーンの開始時刻TSと終了時刻TEとの間にある場合、強調映像表示機能313は、そのシーンの映像識別情報V1の映像の現在位置からの映像を強調表示する強調表示映像データを生成する処理を行う(Step 45)。尚、強調表示映像データの生成処理は、映像データ、映像メタデータ及び初期資料画像の各データが記憶装置303に格納されている点を除いて、第1の実施の形態と同様である。
尚、強調表示する映像の再生開始時刻であるが、上述のように、現在の再生位置から再生を開始しても良いが、第1の実施の形態と同様に、そのシーンの開始位置から再生を開始しても良い。
そして、生成した強調表示映像データに基づいて、キーワードに関連付けられた映像が強調された強調表示映像を表示装置305に表示する(Step 46)。
一方、強調映像表示機能313は、現在の再生位置が、ヒットしたシーンの開始時刻TS及び終了時刻TEとの間にない場合、通常表示制御を維持する(Step 47)。
再生位置が一定量移動すると(Step 48)、再度、強調映像表示機能313は、キーワードに関連付けられたシーンがあり、かつ、現在の再生位置が、そのシーンの開始時刻TSと終了時刻TEとの間にあるかを判断する(Step 49)。
キーワードに関連付けられたシーンがあり、かつ、現在の再生位置が、そのシーンの開始時刻TSと終了時刻TEとの間にある場合、強調映像表示機能313は、Step 45に戻り、映像識別情報V1の強調表示映像データの生成の処理を続行する。尚、キーワードにヒットした映像識別情報が複数ある場合、強調表示する映像を増加、減少させたりする処理も、Step 45で行う。
一方、キーワードに関連付けられたシーンがなく、かつ、現在の再生位置が、シーンの開始時刻TSと終了時刻TEとの間にない場合、強調表示制御を終了する。
尚、閲覧端末300の表示部301に表示される強調表示の例は、第1の実施の形態で説明した同様の方法を採用することができる。
また、資料画像についても、同期情報を含むキーワードが配置された資料画像をコンテンツ配信サーバ100側で予め用意しておき、映像データとともに、その資料画像を配信するようにしても良い。この場合、通常映像表示機能310は、複数の映像と資料画像とを合成して通常表示データを生成する際、合成する複数の映像のタイムコードを含む同期情報の資料画像を選択し、選択した資料画像とその複数の映像とを合成することにより、映像と同期した指標が配置された資料画像を含む通常表示データを生成することができる。
第2の実施の形態では、映像データ、映像メタデータ及び初期資料画像等をコンテンツ配信サーバから受信し、これらを用いて、閲覧端末側で、通常表示制御及び強調表示制御を行う場合を説明したが、このような形態であっても、第1の実施の形態と同様な効果を得ることができる。
また、第2の実施の形態では、閲覧端末側で、通常表示制御及び強調表示制御を行う構成なので、コンテンツ配信サーバの処理が低減するという効果もある。
尚、第2の実施の形態においても、適時、第1の実施の形態の変形例を適用することができる。
<第3の実施の形態>
本発明の第3の実施の形態について説明する。
第3の実施の形態は、上述した本発明の態様3に対応するものである。
図33は第3の実施の形態の閲覧装置500のブロック図である。
第3の実施の形態が、第2の実施の形態と異なる所は、映像データ、映像メタデータ及び資料画像などを、コンテンツ配信サーバから配信されるのではなく、閲覧装置500が保持しているところである。すなわち、記憶装置400に相当するものが記憶装置303になる点である。尚、閲覧装置500は、パーソナルコンピュータ、タブレット、スマートフォン等がある。
記憶装置303には、サイトなどからダウンロード又は、Blu-ray(登録商標)やDVD等の記録媒体から読み込まれた映像データ、映像メタデータ及び初期資料画像が格納される。尚、映像データ、映像メタデータ及び初期資料画像のみならず、通常映像表示機能310、資料画像生成機能311、シーン検索機能312及び強調映像表示機能313を、プロセッサ301に実行させるためのプログラムも、サイトなどからダウンロード又は、Blu-ray(登録商標)やDVD等の記録媒体から読み込んでも良い。
一方、通常映像表示機能310、資料画像生成機能311、シーン検索機能312及び強調映像表示機能313は、記憶装置303から映像データ、映像メタデータ及び初期資料画像を読み出す点を除いて、第2の実施の形態と同様な構成であるため、詳細な説明は省略する。
第3の実施の形態は、閲覧装置が、単独で、通常表示制御及び強調表示制御を行う場合を説明したが、このような形態であっても、第1の実施の形態と同様な効果を得ることができる。
また、第3の実施の形態は、映像データ、映像メタデータ及び初期資料画像等のデータを、ネットワークを介して受信することができないような環境下でも、実施することができるという利点がある。
尚、上述した第1の実施の形態から第3の実施の形態では、複数の映像、指標及び資料が、ひとつの表示装置に表示される例を説明したが、これに限られない。例えば、マルチスクリーンのような環境下において、映像と資料画像とを異なる表示装置に表示しても良い。また、各映像も異なる表示装置に表示しても良い。
また、本発明の態様4に対応する詳細な実施の形態は記載しないが、上述した第1の実施の形態から第3の実施の形態を、適時、組み合わせることにより、実施することができる。
更に、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
少なくとも一以上のハードウェアプロセッサを有し、
前記プロセッサは、
閲覧端末において、複数の映像と前記映像に関連付けられた指標とが同期して再生されるように、前記映像及び前記指標の出力を制御し、
前記複数の映像が同一画面上で再生されている通常表示の際、前記閲覧端末からの前記指標の指定を受けた場合、指定を受けた指標に関連付けられた映像が強調されて再生されるように、前記映像の出力を制御する
映像制御システム。
(付記2)
コンピュータが、
閲覧端末において、複数の映像と前記映像に関連付けられた指標とが同期して再生されるように、前記映像及び前記指標の出力を制御し、
前記複数の映像が同一画面上で再生されている通常表示の際、前記閲覧端末からの前記指標の指定を受けた場合、指定を受けた指標に関連付けられた映像が強調されて再生されるように、前記映像の出力を制御する
映像制御方法。
(付記3)
複数の映像の映像データと、
前記複数の映像と前記指標との関連付けの情報を含む映像メタデータと、
閲覧端末において、前記複数の映像と前記映像に関連付けられた指標とが同期して再生されるように、前記映像データと前記映像メタデータとを用いて前記映像及び前記指標の出力を制御する処理と、
前記複数の映像が同一画面上で再生されている通常表示の際、前記閲覧端末からの前記指標の指定を受けた場合、指定を受けた指標に関連付けられた映像が強調されて再生されるように、前記映像データと前記映像メタデータとを用いて前記映像の出力を制御する処理と
をコンピュータに実行させるプログラムと
が格納された記録媒体。
以上好ましい実施の形態及び変形例をあげて本発明を説明したが、全ての実施の形態又は変形例の構成を備える必要はなく、適時組合せて実施することができるばかりでなく、本発明は必ずしも上記実施の形態及び変形例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
1 閲覧端末
2 ネットワーク
3 記憶部
4 映像制御装置
X 通常表示制御部
Y 強調表示制御部

Claims (11)

  1. 閲覧端末において、複数の映像と前記映像に関連付けられた指標とが同期して再生されるように、前記映像及び前記指標の出力を制御する通常表示制御部と、
    前記複数の映像が同一画面上で再生されている通常表示の際、前記閲覧端末からの前記指標の指定を受けた場合、指定を受けた指標に関連付けられた映像が強調されて再生されるように、前記映像の出力を制御する強調表示制御部と
    を有する映像制御システム。
  2. 前記映像が少なくとも一以上のシーンの映像から構成されている場合、前記指標が前記シーンの映像に関連付けられている
    請求項1に記載の映像制御システム。
  3. 前記閲覧端末において、前記指標を含む資料画像が前記複数の映像と同期して再生されるように、前記資料画像の出力を制御する資料画像表示制御部を
    有する請求項1又は請求項2に記載の映像制御システム。
  4. 前記資料画像は、前記複数の映像に関する情報の概念図を含み、
    前記指標は、前記概念図の予め定められた位置に配置される
    請求項3に記載の映像制御システム。
  5. 前記強調表示制御部は、
    前記複数の映像の各映像を識別する識別情報と前記指標との関連付けの情報を含む映像メタデータを用いて、前記閲覧端末から指定を受けた指標に関連付けられている映像を取得し、取得した映像が前記閲覧端末に強調されて再生されるように、前記映像の出力を制御する
    請求項1から請求項4のいずれかに記載の映像制御システム。
  6. 前記強調表示制御部は、前記閲覧端末からの前記指標の指定を受けて、指定を受けた指標に関連付けられた映像のシーンの開始位置から、前記映像が強調されて前記閲覧端末に再生されるように、前記映像の出力を制御する
    請求項2から請求項5のいずれかに記載の映像制御システム。
  7. 前記通常表示制御部は、前記強調表示制御部による映像の再生の終了、又は、前記閲覧端末からの前記映像の強調表示の終了指示の受信により、前記閲覧端末において、前記通常表示で複数の前記映像が再生されるように、前記映像及び前記指標の出力を制御する
    請求項1から請求項6のいずれかに記載の映像制御システム。
  8. 前記指標は、関連付けられる映像の内容、又は、その映像がどのような視点又は観点で作成又は撮影されたかを表す文章、キーワード、アイコン、キャラクタ、サムネイル画像の少なくともいずれかである
    請求項1から請求項7のいずれかに記載の映像制御システム。
  9. 前記強調表示制御部は、前記閲覧端末において、前記指定を受けた指標に関連付けられた映像の表示が前記指定を受けた指標に関連付けられていない映像に対して区別できる形式で再生されるように、前記映像の出力を制御する
    請求項1から請求項8のいずれかに記載の映像制御システム。
  10. 前記強調表示制御部は、前記指定を受けた指標に関連付けられた映像のみを表示する、前記指定を受けた指標に関連付けられた映像を他の映像の表示領域よりも広い表示領域で表示する、もしくは、前記指定を受けた指標に関連付けられた映像を他の映像と異なる表示形態で表示する、のいずれかで、前記指定を受けた指標に関連付けられた映像が強調して再生されるように前記映像の出力を制御する
    請求項9のいずれかに記載の映像制御システム。
  11. 閲覧端末において、複数の映像と前記映像に関連付けられた指標とが同期して再生されるように、前記映像及び前記指標の出力を制御する処理と、
    前記複数の映像が同一画面上で再生されている通常表示の際、前記閲覧端末からの前記指標の指定を受けた場合、指定を受けた指標に関連付けられた映像が強調されて再生されるように、前記映像の出力を制御する処理と
    をコンピュータに実行させるプログラム。
JP2017016393A 2017-02-01 2017-02-01 映像制御システム及びプログラム Pending JP2018125702A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017016393A JP2018125702A (ja) 2017-02-01 2017-02-01 映像制御システム及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017016393A JP2018125702A (ja) 2017-02-01 2017-02-01 映像制御システム及びプログラム

Publications (1)

Publication Number Publication Date
JP2018125702A true JP2018125702A (ja) 2018-08-09

Family

ID=63110484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017016393A Pending JP2018125702A (ja) 2017-02-01 2017-02-01 映像制御システム及びプログラム

Country Status (1)

Country Link
JP (1) JP2018125702A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6955067B1 (ja) * 2020-08-25 2021-10-27 Kddi株式会社 表示制御装置、表示制御方法及び表示制御プログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05128166A (ja) * 1991-11-01 1993-05-25 Konica Corp 電子画像フアイリング装置
JPH11243512A (ja) * 1997-10-07 1999-09-07 Masanobu Kujirada 親子連携型表示システム
JP2004112379A (ja) * 2002-09-19 2004-04-08 Fuji Xerox Co Ltd 画像検索システム
JP2004120007A (ja) * 2002-09-20 2004-04-15 Canon Inc 撮像装置
JP2008204397A (ja) * 2007-02-22 2008-09-04 Sharp Corp コンテンツデータ変換装置、コンテンツ再生装置、コンテンツデータ配信装置、コンテンツデータ配信システム、コンテンツ再生システム、並びに、コンテンツデータ変換プログラム、コンテンツ再生プログラム、コンテンツデータ配信プログラム、およびそれらプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2009134688A (ja) * 2007-11-28 2009-06-18 Fuji Xerox Co Ltd センサデータ内の活動の地理分布に基づく時間のセグメント化
JP2009267999A (ja) * 2008-04-28 2009-11-12 Pasuteru Lab:Kk ライブ配信システム、動画撮影システム、及び動画配信方法
JP2010278824A (ja) * 2009-05-29 2010-12-09 Seiko Epson Corp 画像表示システム、画像表示装置、および画像表示方法
JP2011223327A (ja) * 2010-04-09 2011-11-04 Sony Corp コンテンツ検索装置および方法、並びにプログラム
WO2013132828A1 (ja) * 2012-03-05 2013-09-12 パナソニック株式会社 通信システムおよび中継装置
JP2014165530A (ja) * 2013-02-21 2014-09-08 Olympus Corp 画像処理システム
JP2015226089A (ja) * 2014-05-26 2015-12-14 株式会社日立国際電気 アプリケーション管理システム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05128166A (ja) * 1991-11-01 1993-05-25 Konica Corp 電子画像フアイリング装置
JPH11243512A (ja) * 1997-10-07 1999-09-07 Masanobu Kujirada 親子連携型表示システム
JP2004112379A (ja) * 2002-09-19 2004-04-08 Fuji Xerox Co Ltd 画像検索システム
JP2004120007A (ja) * 2002-09-20 2004-04-15 Canon Inc 撮像装置
JP2008204397A (ja) * 2007-02-22 2008-09-04 Sharp Corp コンテンツデータ変換装置、コンテンツ再生装置、コンテンツデータ配信装置、コンテンツデータ配信システム、コンテンツ再生システム、並びに、コンテンツデータ変換プログラム、コンテンツ再生プログラム、コンテンツデータ配信プログラム、およびそれらプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2009134688A (ja) * 2007-11-28 2009-06-18 Fuji Xerox Co Ltd センサデータ内の活動の地理分布に基づく時間のセグメント化
JP2009267999A (ja) * 2008-04-28 2009-11-12 Pasuteru Lab:Kk ライブ配信システム、動画撮影システム、及び動画配信方法
JP2010278824A (ja) * 2009-05-29 2010-12-09 Seiko Epson Corp 画像表示システム、画像表示装置、および画像表示方法
JP2011223327A (ja) * 2010-04-09 2011-11-04 Sony Corp コンテンツ検索装置および方法、並びにプログラム
WO2013132828A1 (ja) * 2012-03-05 2013-09-12 パナソニック株式会社 通信システムおよび中継装置
JP2014165530A (ja) * 2013-02-21 2014-09-08 Olympus Corp 画像処理システム
JP2015226089A (ja) * 2014-05-26 2015-12-14 株式会社日立国際電気 アプリケーション管理システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6955067B1 (ja) * 2020-08-25 2021-10-27 Kddi株式会社 表示制御装置、表示制御方法及び表示制御プログラム
JP2022037459A (ja) * 2020-08-25 2022-03-09 Kddi株式会社 表示制御装置、表示制御方法及び表示制御プログラム

Similar Documents

Publication Publication Date Title
JP5499331B2 (ja) ストリーミングメディアのトリックプレー
EP2891032B1 (en) Enhancing video content with extrinsic data
JP4622535B2 (ja) メディアプレゼンテーションを制作するためのシステム、方法、インターフェース装置、および統合システム
JP2019194904A (ja) 画像のグループについてのテキスト色を生成する方法及び装置
JP2005209196A5 (ja)
US9883243B2 (en) Information processing method and electronic apparatus
JP6475279B2 (ja) コンテンツ再生装置および方法、並びにコンテンツ提供装置および方法
KR102162714B1 (ko) 표시 제어 방법, 단말 및 프로그램을 기록한 기록 매체
KR20130072247A (ko) 텔레비전 디스플레이의 원격 제어
JP2021535656A (ja) ビデオ処理方法、装置、デバイスおよびコンピュータプログラム
WO2018159409A1 (ja) アプリケーションプログラム、端末装置の制御方法、端末装置、およびサーバ
JP2005033619A (ja) コンテンツ管理装置およびコンテンツ管理方法
JP2004126637A (ja) コンテンツ作成システム及びコンテンツ作成方法
JP6569876B2 (ja) コンテンツ生成方法及び装置
JP2018125702A (ja) 映像制御システム及びプログラム
JP4129162B2 (ja) コンテンツ作成実演システム及びコンテンツ作成実演方法
JP6346697B1 (ja) 情報提供システム
JP2011009958A (ja) ネットワーク制御装置、画像処理装置及びプログラム
JP6706129B2 (ja) 情報処理方法、情報処理装置、及びプログラム
JP2008090526A (ja) 会議情報保存装置、システム、会議情報表示装置及びプログラム
JP2017192074A (ja) 情報処理方法、端末、及びプログラム
JP2017192072A (ja) 情報処理方法、プログラム、及び端末
JP6472062B2 (ja) 文書の作成を支援するためのプログラム、方法および装置
KR20150034877A (ko) 스토리 서비스를 제공하는 방법, 장치, 단말기 그리고 기록매체
JP2019091476A (ja) 文書の作成を支援するためのプログラム、方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210420