JP2004128724A - Media editor, media editing method, media editing program, and recording medium - Google Patents

Media editor, media editing method, media editing program, and recording medium Download PDF

Info

Publication number
JP2004128724A
JP2004128724A JP2002287681A JP2002287681A JP2004128724A JP 2004128724 A JP2004128724 A JP 2004128724A JP 2002287681 A JP2002287681 A JP 2002287681A JP 2002287681 A JP2002287681 A JP 2002287681A JP 2004128724 A JP2004128724 A JP 2004128724A
Authority
JP
Japan
Prior art keywords
metadata
content
input
display area
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002287681A
Other languages
Japanese (ja)
Other versions
JP3710777B2 (en
Inventor
Takehiko Watanabe
渡邉 岳彦
Kazunari Ushiki
牛木 一成
Tomoko Ito
伊藤 智子
Koichi Nishio
西尾 浩一
Junya Ohori
大堀 順也
Makoto Nakamura
中村 誠
Masahiro Nishida
西田 真啓
Toru Ariga
有賀 透
Fumi Nakasuji
中筋 文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Comware Corp
Original Assignee
NTT Comware Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Comware Corp filed Critical NTT Comware Corp
Priority to JP2002287681A priority Critical patent/JP3710777B2/en
Publication of JP2004128724A publication Critical patent/JP2004128724A/en
Application granted granted Critical
Publication of JP3710777B2 publication Critical patent/JP3710777B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To improve the editing operability of contents, the retrieving operability of the contents, display modes of the contents, and reproduction operations of the contents. <P>SOLUTION: An initial template is stored in a catalog template storage part 35 in hyper-media display (production) terminals 2,3-1 to 3-3. Metadata are attached (generated) on a moving image reproduction screen by drag-and-drop operations of the initial template by a user. Also, the template exclusive for the user is prepared by editing on the initial template catalog or by dragging and dropping the metadata, which are already generated, from the moving image reproduction screen to the metadata catalog in the hyper-media display (production) terminals 2,3-1 to 3-3. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、メディア編集装置、メディア編集方法、メディア編集プログラムおよび記録媒体に関する。
【0002】
【従来の技術】
e−learning(e−ラーニング)システムにおいては、受講者がインターネットを通じて自分のパソコン内の再生プレーヤ等によりサーバ側の教材(動画教材)を再生して学習を進めていた。しかしながら、一方通行の学習形態では効率が上がらない。そこで、学習者が教材上に学習補助データを添付して教育者へ質問したり、学習者同士で、教材上で学習補助データを共有したり、教育者が学習者毎にカスタマイズされた教材を提供するなどの機能が検討されてきている(例えば、非特許文献1、非特許文献2)。
【0003】
従来のe−ラーニングシステムでは、学習者は、図17、図18に示すような構成において、図19に示すように、動画教材再生中に教材の外にある質問メモをマウスのドラッグ&ドロップで教材上に持ってきて添付し、テキスト入力を行っていた。学習者が質問メモの上に質問内容を入力すると、教師は端末で動画教材を再生し、表示された生徒の質問メモを確認し回答を書くことができるようになっている。
【0004】
【非特許文献1】
山田政寛、渡邉岳彦、伊藤智子、依田育生、「動画教育システムにおける学習補助データ処理方式の検討」、2001年、電子情報通信学会ソサイエティ大会
【非特許文献2】
伊藤智子、村岡政海、西尾浩一、依田育生、「動画教育システムにおける教材作成方式」、電子情報通信学会、2002年総合大会講演論文集、情報・システム(D−15−19)、pp208、Mar、2002
【0005】
【発明が解決しようとする課題】
しかしながら、上述した従来技術によるe−ラーニングシステムでは、教師は端末で動画教材を再生するまで、学習者の質問の存在に気づかない。また、生徒も教材を再生するまで、回答の有無を確認できなかった。また、上述した従来技術によるe−ラーニングシステムには以下に説明するような問題があった。
【0006】
(1)動画像メタデータの一連の操作(生成配置、編集、削除)を行う際、操作を簡略化しすぎたため、編集操作が制限されていて、ユーザが実際に使用するレベルまで達していなかった。
【0007】
(2)検索の場合、検索キー等の情報を入力しなければ検索できなかった。
【0008】
(3)メタデータの表示形式は1通りしかなく、アイコン表示ができなかった。
【0009】
(4)教材をメタデータでカスタマイズ(リピート、スキップ)した場合、再生時にバッファリングが起こっていた。これは、メタデータが行うプレーヤ制御が、プレーヤの外部から与えられる操作であるためである。
【0010】
この発明は上述した事情に鑑みてなされたもので、コンテンツの編集操作性、コンテンツの検索操作性、コンテンツの表示形態、コンテンツの再生動作を向上させることができるメディア編集装置、メディア編集方法、メディア編集プログラムおよび記録媒体を提供することを目的とする。
【0011】
【課題を解決するための手段】
上述した問題点を解決するために、請求項1記載の発明では、メディア配信装置からネットワークを介して配信されるコンテンツを編集するメディア編集装置であって、少なくとも前記コンテンツの再生制御を指示する制御情報と補助情報とからなるメタデータが予め設定されたテンプレートを記憶するテンプレート記憶手段と、前記コンテンツを再生表示するとともに、添付されたメタデータを表示する再生表示領域と、前記テンプレート記憶手段に記憶されているメタデータをカタログ表示するカタログ表示領域とを備える表示手段と、前記表示手段に表示されているデータに対する操作ないしデータが入力される入力手段と、前記再生表示領域に表示されているコンテンツ上に、前記カタログ表示領域に表示されているメタデータを教材に配置するという操作が、前記入力手段から入力されると、前記カタログ表示領域に表示されているメタデータを、前記再生表示領域に表示されているコンテンツに関連付ける制御手段とを具備することを特徴とする。
【0012】
また、請求項2記載の発明では、請求項1記載のメディア編集装置において、前記テンプレートは、一部が未設定の初期テンプレートを含み、前記制御手段は、前記初期テンプレートに対して、前記入力手段から所定の操作が入力されると、前記初期テンプレートの複製を生成し、ユーザ用テンプレートとして、前記テンプレート記憶手段に記憶することを特徴とする。
【0013】
また、請求項3記載の発明では、請求項1記載のメディア編集装置において、前記制御手段は、前記入力手段から入力されたテキストを、前記再生表示領域に表示されているメタデータの補助情報として表示することを特徴とする。
【0014】
また、請求項4記載の発明では、請求項1記載のメディア編集装置において、前記制御手段は、前記再生表示領域に表示されているメタデータの補助情報に対して、前記入力手段からの移動操作が行われると、前記メタデータの表示位置を移動操作に基づいて変更することを特徴とする。
【0015】
また、請求項5記載の発明では、請求項1記載のメディア編集装置において、前記入力手段から入力された操作により指定された、前記再生表示領域の指定領域に含まれるメタデータを検索する検索手段を具備することを特徴とする。
【0016】
また、請求項6記載の発明では、請求項5記載のメディア編集装置において、前記検索手段は、前記入力手段から入力された内容に合致するメタデータがあるか否かを、前記メタデータの制御情報に基づいて検索することを特徴とする。
【0017】
また、請求項7記載の発明では、請求項5記載のメディア編集装置において、前記検索手段は、前記コンテンツ配信側がコンテンツ受信側の質問内容に対する回答が存在するか否かを検索することを特徴とする。
【0018】
また、請求項8記載の発明では、請求項1記載のメディア編集装置において、前記制御手段は、前記入力手段から入力される操作に基づいて、入力操作位置に対応する箇所に関連付けられているメタデータのみを、前記再生表示領域に表示することを特徴とする。
【0019】
また、請求項9記載の発明では、請求項1記載のメディア編集装置において、前記コンテンツを配信する前に関連付けられたメタデータを、前記コンテンツに埋め込むべく、前記コンテンツの固定部分を再生成し、前記コンテンツ記憶手段に記憶する再生成手段を具備することを特徴とする。
【0020】
また、上述した問題点を解決するために、請求項10記載の発明では、メディア配信装置からネットワークを介して配信されるコンテンツを編集するメディア編集方法であって、少なくとも前記コンテンツの再生制御を指示する制御情報と補助情報とからなるメタデータが予め設定されたテンプレートを記憶しておき、前記コンテンツを再生表示するとともに、添付されたメタデータを表示する再生表示領域に表示されているコンテンツ上に、前記記憶されているメタデータをカタログ表示するカタログ表示領域に表示されているメタデータを教材に配置するという操作が入力されると、前記カタログ表示領域に表示されているメタデータを、前記再生表示領域に表示されているコンテンツに関連付けることを特徴とする。
【0021】
また、請求項11記載の発明では、請求項10記載のメディア編集方法において、前記テンプレートは、一部が未設定の初期テンプレートを含み、前記初期テンプレートに対して、所定の操作が入力されると、前記初期テンプレートの複製を生成し、ユーザ用テンプレートとして記憶する。
【0022】
また、請求項12記載の発明では、請求項10記載のメディア編集方法において、入力されたテキストを、前記再生表示領域に表示されているメタデータの補助情報として表示することを特徴とする。
【0023】
また、請求項13記載の発明では、請求項10記載のメディア編集方法において、前記再生表示領域に表示されているメタデータの補助情報に対して、移動操作が行われると、前記メタデータの表示位置を移動操作に基づいて変更することを特徴とする。
【0024】
また、請求項14記載の発明では、請求項10記載のメディア編集方法において、入力された操作により指定された、前記再生表示領域の指定領域に含まれるメタデータを検索することを特徴とする。
【0025】
また、請求項15記載の発明では、請求項14記載のメディア編集方法において、さらに、入力された内容に合致するメタデータがあるか否かを、前記メタデータの制御情報に基づいて検索することを特徴とする。
【0026】
また、請求項16記載の発明では、請求項14記載のメディア編集方法において、さらに、コンテンツ配信側がコンテンツ受信側の質問内容に対する回答が存在するか否かを検索することを特徴とする。
【0027】
また、請求項17記載の発明では、請求項10記載のメディア編集方法において、入力される操作に基づいて、入力操作位置に対応する箇所に関連付けられているメタデータのみを、前記再生表示領域に表示することを特徴とする。
【0028】
また、請求項18記載の発明では、請求項10記載のメディア編集方法において、前記コンテンツを配信する前に関連付けられた、少なくとも前記コンテンツの再生制御を指示する制御情報と補助情報とからなるメタデータを、前記コンテンツに埋め込むべく、前記コンテンツの固定部分を再生成することを特徴とする。
【0029】
また、上述した問題点を解決するために、請求項19記載の発明では、少なくともコンテンツの再生制御を指示する制御情報と補助情報とからなるメタデータが予め設定されたテンプレートを記憶しておくステップと、前記コンテンツを再生表示するとともに、添付されたメタデータを表示する再生表示領域に表示されているコンテンツ上に、前記メタデータをカタログ表示するカタログ表示領域に表示されているメタデータを教材に配置するという操作が入力されると、前記カタログ表示領域に表示されているメタデータを、前記再生表示領域に表示されているコンテンツに関連付けるステップとをコンピュータに実行させることを特徴とする。
【0030】
また、請求項20記載の発明では、請求項19記載のメディア編集プログラムにおいて、前記テンプレートは、一部が未設定の初期テンプレートを含み、前記初期テンプレートに対して、所定の操作が入力されると、前記初期テンプレートの複製を生成し、ユーザ用テンプレートとして記憶するステップをコンピュータに実行させることを特徴とする。
【0031】
また、請求項21記載の発明では、請求項19記載のメディア編集プログラムにおいて、入力されたテキストを、前記再生表示領域に表示されているメタデータの補助情報として表示するステップをコンピュータに実行させることを特徴とする。
【0032】
また、請求項22記載の発明では、請求項19記載のメディア編集プログラムにおいて、前記再生表示領域に表示されているメタデータの補助情報に対して、移動操作が行われると、前記メタデータの表示位置を移動操作に基づいて変更するステップをコンピュータに実行させることを特徴とする。
【0033】
また、請求項23記載の発明では、請求項19記載のメディア編集プログラムにおいて、入力された操作により指定された、前記再生表示領域の指定領域に含まれるメタデータを検索するステップをコンピュータに実行させることを特徴とする。
【0034】
また、請求項24記載の発明では、請求項23記載のメディア編集プログラムにおいて、さらに、入力された内容に合致するメタデータがあるか否かを、前記メタデータの制御情報に基づいて検索するステップをコンピュータに実行させることを特徴とする。
【0035】
また、請求項25記載の発明では、請求項23または24記載のメディア編集プログラムにおいて、さらに、コンテンツ配信側がコンテンツ受信側の質問内容に対する回答が存在するか否かを検索するステップをコンピュータに実行させることを特徴とする。
【0036】
また、請求項26記載の発明では、請求項19記載のメディア編集プログラムにおいて、入力される操作に基づいて、入力操作位置に対応する箇所に関連付けられているメタデータのみを、前記再生表示領域に表示するステップをコンピュータに実行させることを特徴とする。
【0037】
また、請求項27記載の発明では、請求項19記載のメディア編集プログラムにおいて、前記コンテンツを配信する前に関連付けられたメタデータを、前記コンテンツに埋め込むべく、前記コンテンツの固定部分を再生成するステップをコンピュータに実行させることを特徴とする。
【0038】
また、上述した問題点を解決するために、請求項28記載の発明では、請求項19ないし27のいずれかに記載のメディア編集プログラムをコンピュータ読み取り可能な記録媒体に記録したことを特徴とする。
【0039】
この発明では、少なくとも前記コンテンツの再生制御を指示する制御情報と補助情報とからなるメタデータが予め設定されたテンプレートをテンプレート記憶手段に記憶しておき、コンテンツを再生表示するとともに、添付されたメタデータを表示する再生表示領域に表示されているコンテンツ上に、前記メタデータをカタログ表示するカタログ表示領域に表示されているメタデータを教材に配置するという操作が、前記入力手段から入力されると、制御手段により、前記カタログ表示領域に表示されているメタデータを、前記再生表示領域に表示されているコンテンツに関連付ける。したがって、コンテンツの編集操作性、コンテンツの検索操作性、コンテンツの表示形態、コンテンツの再生動作を向上させることが可能となる。
【0040】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。
A.実施形態の構成
図1は、本発明の実施形態によるe−ラーニングシステムの構成を示すブロック図である。ハイパーメディア配信装置1は、ハイパーメディア制作端末2やハイパーメディア表示端末3−1〜3−3からの要求に応じて、教材である映像情報を、ネットワーク4を介して配信する。ハイパーメディア制作端末2は、教材である映像情報を制作するユーザにより用いられる。制作された映像情報は、上記ハイパーメディア配信装置1に蓄積される。ハイパーメディア表示端末3−1〜3−3は、上記ハイパーメディア配信装置1から配信される教材である映像情報を受信し、該映像情報とともに配信される制御情報に従って、映像情報を再生する。
【0041】
次に、図2は、本実施形態によるハイパーメディア配信装置およびハイパーメディア表示(制作)端末の構成を示すブロック図である。図2において、ハイパーメディア配信装置1は、教材データベース(DB)10、学習補助データベース(DB)11、表示管理データベース(DB)12、表示様式管理データベース(DB)13、制御情報データベース(DB)14、ユーザテンプレートデータベース(DB)15、映像出力部16、学習補助データ入出力部17、表示管理データ入出力部18、表示様式データ入出力部19、制御情報入出力部20、ユーザテンプレートデータ入出力部21、情報配信制御部22、通信部23、および教材加工部24を備えている。
【0042】
教材データベース10は、図3(a)に示すように、教材のうち制御情報を含まない部分(映像)を格納する。映像出力部16は、教材データベース10に格納されている教材データである映像を読み出して出力する。学習補助データベース11は、図3(b)に示すように、教材データを補足するための学習補助データを格納する。学習補助データ入出力部17は、外部からの要求に応じて学習補助データベース11に対し、学習補助データを入力するか、あるいはい学習補助データベース11から学習補助データを読み出して外部へ出力する。
【0043】
表示管理データベース12は、図3(c)に示すように、学習補助データをどのようなタイミングで表示するかを定義する表示管理データを格納する。表示管理データ入出力部18は、外部からの要求に応じて表示管理データベース12に対して学習補助データを入力するか、あるいは表示管理データベース12から表示管理データを読み出して外部へ出力する。
【0044】
表示様式データベース13は、図4(a)に示すように、教材毎にその教材のデータタイプ(テキスト、画像など)と、表示様式とを格納する。表示様式データ入出力部19は、外部からの要求に応じて、表示様式管理データベース13に対して表示様式データを入力するか、あるいは表示様式データベース13から表示様式データを読み出して外部へ出力する。
【0045】
制御情報データベース14は、図4(b)に示すように、教材毎にどのような制御がなされているかを示す制御情報を格納する。制御情報で示される制御内容には、リピート、ストップ、スキップが含まれる。制御情報入出力部20は、外部からの要求に応じて制御情報データベース14に対して制御情報データを入力するか、あるいは制御情報データベース14から制御情報データを読み出して外部へ出力する。
【0046】
ユーザテンプレートデータベース15は、図4(c)に示すように、ユーザ毎に予め汎用的に使用するテンプレートを定義するもので、学習補助データと表示様式データで構成されている。ユーザテンプレートデータ入出力部21は、外部からの要求に応じてユーザテンプレートデータベース15に対して学習補助データと表示様式データとを入力するか、あるいはユーザテンプレートデータベース15から学習補助データと表示様式データとを読み出して外部へ出力する。
【0047】
情報配信制御部22は、映像出力部16、学習補助データ入出力部17、表示管理データ入出力部18、表示様式データ入出力部19、制御情報入出力部20の動作を制御する。通信部23は、ハイパーメディア表示(制作)端末2、3−1〜3−3との間で、教材である映像情報や制御情報などを送信したり、各種指令を送受信したりする。教材加工部24は、制御系メタデータ(詳細は後述)が付加された固定教材に対し、付加された制御系メタデータを固定教材に埋め込み、固定教材を再生成する。
【0048】
次に、ハイパーメディア表示(制作)端末2(3−1〜3−3)は、通信部30、同期処理部31、表示データ加工部32、表示データ再生部33、表示装置34、カタログテンプレート記憶部35、状態管理部36、検索部37、表示制御部38、タイマ39、入力装置40、および入力検出部41を備えている。
【0049】
通信部30は、ハイパーメディア配信装置1との間で、教材である映像情報や制御情報などを受信したり、各種指令を送受信したりする。同期処理部31は、ハイパーメディア配信装置1(映像出力部16、学習補助データ入出力部17、表示管理データ入出力部18、および表示様式データ入出力部19)からの各種データを同期させる。
【0050】
表示データ加工部32は、学習補助データを表示管理テーブル、および表示様式データに基づいて表示データを加工する。表示データ再生部33は、表示データ加工部において加工された表示データを再生する。表示装置34は、表示データ再生部33により再生された表示データを表示する。表示装置34には、図5に示すような画面が表示される。画面は、メニューバー表示領域、コンテンツ再生&メタデータ表示領域、メタデータカタログ表示領域、タイムライン表示&プレーヤ制御領域およびメタデータリスト&検索結果表示領域からなる。
【0051】
カタログテンプレート記憶部35は、ハイパーメディア表示(製作)端末で固定的に記憶している初期の学習補助データと表示様式データとをメタデータカタログに表示する。また、カタログテンプレート記憶部35は、初期テンプレートを固定的に保存する。また、ユーザ専用テンプレートデータを一時的に記憶する。状態管理部36は、メタデータの編集状態や表示モードを保存し、読み出し要求があれば状態を通知し、変更要求があれば状態を変更する。検索部37は、検索要求に対し、学習補助データと表示管理データとを検索し、検索結果を要求元に返送する。
【0052】
表示制御部38は、入力検出部からの入力に基づいて同期制御部を制御する。状態管理部は、メタデータの編集状態と表示範囲を管理し、状態変更要求で状態を変更したり、状態参照要求で現状態を返送したりする。タイマ39は、教材の再生時間などを計測する。映像は、タイマ39と同期をとりながら再生される。入力装置40は、マウス、キーボードなどからなる。入力検出部41は、ユーザから入力装置24より入力されたイベントを検出する。
【0053】
次に、教材である映像情報(動画像教材)について説明する。動画像教材は、固定部分とメタデータとからなる。固定部分は、動画・静止画・文字を座標・時間軸にて同期制御したものである(例:SMIL)。また、メタデータは、学習補助データとプレーヤ制御データとからなる。学習補助データは、教材上に貼り付ける付箋紙のようなものである。また、プレーヤ制御データは、教材上に貼り付けた付箋紙に対して設定されるプレーヤ(教材再生機能)の制御を記述した情報であり、表示時に該プレーヤの制御を実施することで教材の再生を制御するようになっている。
【0054】
次に、ハイパーメディア配信装置1、ハイパーメディア表示(制作)端末2,3−1〜3−3における各種機能について詳細に説明する。
【0055】
(1)編集操作
(1−1)メタデータカタログ機能
ハイパーメディア表示(制作)端末2,3−1〜3−3では、オーサリングのメタデータカタログに初期テンプレートを用意し、ユーザは、それをドラック&ドロップ操作により動画像再生画面にメタデータを添付(生成)することができる。また、ユーザは、初期テンプレートカタログ上で編集するか、もしくは既に生成済みのメタデータを動画像再生画面からメタデータカタログへドラック&ドロップすることで、ユーザ専用のテンプレートを作成することも可能である。初期テンプレートは、ハイパーメディア表示(制作)端末2,3−1〜3−3側に予め用意されているが、ユーザ専用テンプレートは、ハイパーメディア配信装置1側へユーザ毎に保存され、ハイパーメディア表示(制作)端末2,3−1〜3−3の起動時に呼び出される。
【0056】
このように、カテゴリ分けされたテンプレートを使用することで、ユーザがメタデータを添付する際、始めから必要な項目を順次設定する必要がなくなり、メタデータ添付操作を容易に行うことが可能となる。
【0057】
(1−2)編集機能
ハイパーメディア表示(制作)端末2,3−1〜3−3において、メタデータカタログから生成されたメタデータが動画像に添付されると、編集モードとなり、簡単な操作(ビジュアル設定、簡単→詳細の階層構造)で各種情報を設定できる。一度添付されたメタデータは、プレーヤモードを変更することなく、再生中にクリックすることで編集モードへ移行することができる。1つのメタデータを編集している間は、編集作業が完了するまで、他の操作を無効とし、誤動作を防止するようになっている。また、メタデータの位置の変更やアイコンの変形などの作業は、メタデータのアイコンを直接ドラック&ドロップすることで編集が完了する。
【0058】
このように、編集の段階に「表示中の簡単編集」、「簡単編集」、および「詳細編集」を設けることで、ユーザの操作要求に的確に対応できる。また、時間等の設定においては、時刻指定バーと目盛りの拡大/縮小とを用いると、詳細な設定も簡単に行える。
【0059】
(2)検索機能
(2−1)リスト表示機能
リスト表示機能とは、検索キーを入力しなくても必要なメタデータを予め一覧表示しておく機能である。ハイパーメディア配信装置1からメタデータを受信し、用意されてあるメタデータ種別毎タブに一覧表示する。
【0060】
(2−2)リストからメタデータ位置へのジャンプ機能
ジャンプ機能とは、メタデータ一覧から対象のメタデータをダブルクリックすることで、対象のメタデータが添付されている時間位置までジャンプし、メタデータを表示して停止する機能である。
【0061】
(2−3)領域検索機能
領域検索機能とは、マウスのドラッグにより領域を指定し、その領域内に存在するメタデータをメタデータリスト画面に表示する機能である。
【0062】
(2−4)動画像制御の検索機能
動画像制御の検索機能とは、プレーヤ制御データに記述されている内容を検索することにより、N回リピートされた部分、重要個所として指定された部分など制御情報に基づいて検索を行う機能である。
【0063】
(2−5)コミュニケーション内容による検索機能
コミュニケーション内容による検索機能とは、本システムをe−ラーニングに応用した場合の機能であって、教師が生徒の質問内容に答えたかどうかを指定して検索する機能である。
【0064】
上述したように、予め分類されたメタデータをタブ毎に分けて一覧表示することで、検索キーを入力しなくても所望のメタデータを見つけることができる。また、一覧表示中のメタデータをダブルクリックすると、添付されている時間位置へジャンプしメタデータを表示できるので、動画像を再生して探す手間が省ける。また、検索キーの他に、領域や時間帯とメタデータ種別とをAND条件で検索できるため、検索対象を限定し、的確な検索結果が得られる。また、質問に対する回答が「未回答」であるか、「回答済み」であるかを指定できるので、学習者は、回答があったことを確認でき、教育者は、未回答の質問があることを確認できる。
【0065】
(3)表示機能
(3−1)マウスオーバーによる内容表示
メタデータは、アイコンのみを表示する場合と、アイコンとメタデータの内容との両方を表示する場合とをハイパーメディア表示端末3−1〜3−3で選択することができる。
【0066】
複数のメタデータが添付されている場合、アイコンとメタデータの内容との両方を表示すると、動画像が見られなくなるという問題が起きる。アイコンでメモの種別が分かるようにし、アイコンのみを表示する時に、マウスオーバーしたアイコンのみメタデータの内容を表示できるようにすることで、画面が隠れるのを防止し、かつメタデータの参照性も確保できる。
【0067】
(4)教材再生
(4−1)教材再生成
上述したように、動画像教材は、固定部分とメタデータ部分とで構成されている。メタデータを添付するタイミングとしては、
▲1▼教育者が、学習者へ公開する前に、教材固定部分にメタデータを添付する。
▲2▼学習者へ公開された後に、学習者および教育者が教材固定部分にメタデータを添付する。
【0068】
があり、▲1▼のタイミングで添付されたプレーヤ制御データについては、固定部分の再生成を行うことで、固定部分に埋め込むことができる。
【0069】
これにより、再生時にバッファリングを起すことを防止することができ、スムーズに再生させることができる。▲2▼のタイミングでは、既に複数の学習者により複数のプレーヤ制御データが添付されているため、固定部分を再生成することは不可能である。
【0070】
B.実施形態の動作
次に、本実施形態の動作について詳細に説明する。なお、以下で説明する動作は、ハイパーメディア制作端末2またはハイパーメディア表示端末3−1〜3−3のいずれにおいても可能である。
【0071】
B−1.編集操作
B−1−1.メタデータカタログ機能
(1)カタログ内表示
(a)ハイパーメディア表示(制作)端末3―iが起動されると、表示制御部38は、カタログテンプレート記憶部35にハイパーメディア表示(制作)端末3―i自身が固定的に記憶してあるメタデータの初期のテンプレート(表示時刻情報と領域情報とが未設定)を、メタデータカタログ内の対応するカテゴリ毎に表示する(図5のメタデータカタログ表示領域)。
【0072】
(b)上記(a)と同時に表示制御部38は、通信部30を介してハイパーメディア配信装置1の情報配信制御部22へ、ユーザ用テンプレートが登録されているか、もし登録されていれば送信するように指示を出す。このときユーザ識別番号を引き継ぐ。
【0073】
(c)ハイパーメディア配信装置1の情報配信制御部22では、ユーザテンプレートデータ入出力部21で問い合わせ、ユーザテンプレートデータベース15から該当するユーザのテンプレートがあるか否かの検索を行い、該当するユーザのテンプレートがあればユーザテンプレート情報をハイパーメディア表示端末3−i(i=1〜3)へ送信する。
【0074】
(d)ハイパーメディア表示端末3iの表示制御部38は、該当するユーザテンプレート情報を受信すると、カタログテンプレート記憶部35へ保存し、カタログテンプレートの対応するカテゴリにユーザテンプレートを表示させる(図5のメタデータカタログ表示領域)。
【0075】
(2)ユーザ用テンプレート作成
(a)表示制御部38では、カタログ内の初期テンプレートを監視し、クリック等の入力を検出すると、カタログテンプレート記憶部35に初期テンプレートの複製としてユーザテンプレートを作成する。
【0076】
(b)また、表示制御部38では、既に動画教材に添付されたメタデータがD&D(ドラッグ&ドロップ:または右クリックのコピー、貼り付け)でメタデータカタログのカテゴリへの移動を検出すると、ユーザ用テンプレートとしてカタログテンプレート記憶部35に作成する。
【0077】
B−1−2.編集機能
(1)生成配置
教材を再生中に、メタデータを添付したいとき、入力装置40より、図6に示すように、カタログ一覧からテンプレートをドラック&ドロップで表示領域へ配置するという操作を行う。表示制御部38では、入力検出部41からこの動作を受けると、状態管理部36へ他のメタデータが編集中でないか等、生成可能か問い合わせる。そして、生成可能であれば、表示制御部38は、表示データ再生部33へ再生の一時停止を指示し、状態管理部36では編集中という情報を保持する。配置直後、図9(a)、(b)に示すように、表示系メタデータは、簡易編集可能状態となり、制御系メタデータは、詳細編集可能状態となる。
【0078】
(2)簡易編集(表示状態)
図7(a)〜(c)、図8(a)、(b)に示すように、表示状態にあるメタデータに対し、表示中のまま、移動、変形を行う場合、入力装置40より、アイコンをドラック&ドロップする等の操作を行う。表示制御部38では、入力検出部41からこの動作を受けると、状態管理部36へ他のメタデータが編集中でないか等、変更可能か問い合わせる。そして、変更可能であれば、表示制御部38は、表示データ再生部33へ再生の一時停止を指示し、状態管理部36では編集中という情報を登録する。
【0079】
ドラック&ドロップが完了すると、表示制御部38は、メタデータの表示管理情報の更新を行うため、通信部30を介してハイパーメディア配信装置1へ送信し、状態管理部36では編集中を解除する。これを受けてハイパーメディア配信装置1の情報配信制御部22は、受信したデータを各データベースにそれぞれ登録する。
【0080】
(3)簡易編集
表示状態にあるメタデータに対し、簡易編集を行う場合、図9(a)に示すように、入力装置40より、対象メタデータのアイコンを左クリックする等の操作を行う。表示制御部38では、入力検出部41からこの動作を受けると、状態管理部36へ他のメタデータが編集中でないか等、編集可能か問い合わせる。そして、編集可能であれば、表示制御部38は、表示データ再生部33へ再生の一時停止を指示し、状態管理部36では編集中という情報を登録する。同時に表示制御部36は、表示中のメタデータの簡易編集が可能となるよう、図10に示すように、「テキスト変更可」、「OKボタン」、「詳細ボタン」、「削除ボタン」、「キャンセルボタン」を表示装置34に表示する。
【0081】
OKボタンで終了すると、表示制御部38は、メタデータの表示管理情報の更新を行うため通信部30を介してハイパーメディア配信装置1へ送信し、状態管理部36では編集中を解除する。これを受けてハイパーメディア配信装置1の情報配信制御部22は受信したデータを各データベースにそれぞれ登録する。
【0082】
(4)詳細編集
簡易編集状態にあるメタデータに対し、詳細編集を行う場合、図9(a)、(b)に示すように、入力装置40より、対象メタデータの詳細ボタンをクリックする等の操作を行う。表示制御部38では、入力検出部41からこの動作を受けると、状態管理部36へメタデータが簡易編集中であるか等、詳細編集可能であるか問い合わせる。そして、詳細編集可能であれば、状態管理部36では、詳細編集中という情報を登録する。
【0083】
同時に表示制御部38は、図11、図12に示すように、表示中のメタデータの詳細編集が可能となるよう、「各種詳細登録プロパティ表示」、「OKボタン」、「詳細ボタン」、「削除ボタン」、「キャンセルボタン」を表示装置34に表示する。各種詳細登録プロパティでは、メモ内容記述、移動、変形、に加え、時間情報、共通情報、メモ情報、枠情報、アイコン情報、質問/回答情報、プレーヤ制御情報、テスト情報、の各詳細情報の設定を行う。
【0084】
OKボタンで終了すると、表示制御部38は、メタデータの表示管理情報の更新を行うため、通信部30を介してハイパーメディア配信装置1へ送信し、状態管理部36では詳細編集中を解除する。これを受けてハイパーメディア配信装置1の情報配信制御部22は、受信したデータを各データベースにそれぞれ登録する。
【0085】
(5)削除
図10に示す簡易編集状態、または図11に示す詳細編集状態において、「削除ボタン」を検出すると、メタデータの削除を行う。表示制御部38は、メタデータの表示管理情報の削除を行うため、通信部30を介してハイパーメディア配信装置1へ送信し、状態管理部36では編集中を解除する。これを受けてハイパーメディア配信装置1の情報配信制御部22は、受信した削除データを各データベースにそれぞれ反映する。
【0086】
B−2.検索機能
B−2−1.リスト表示機能
入力装置40より教材要求を行ったあと、ハイパーメディア配信装置1より教材と教材に添付されている学習補助データが同期処理部31へ、表示管理データが表示制御部38へ保存される。検索部37は、この学習補助データと表示管理データから予め用意された検索キー(メタデータ種別)により検索を行い、結果を各メタデータ種別に分類し、タブ毎に一覧表示するために、表示制御部38へ送信する。表示制御部38は、図13(a)、(b)に示すように、分類されたメタデータを表示装置34に表示する。
【0087】
B−2−2.リストからメタデータ位置へのジャンプ機能
入力検出部41は、入力装置40を介してメタデータリストからのダブルクリックを検出し、表示制御部38へ通知する。表示制御部38では、ダブルクリックされたメタデータを元に、表示管理データからそのメタデータの表示開始時間を抽出する。次に、表示制御部38では、表示データ再生部33へ、抽出された表示開始時間と時間位置変更要求とを通知する。表示データ再生部33では、通知を受け、表示装置34に対して、指定された時間位置の再生データを送信し、停止状態にする。
【0088】
B−2−3.領域検索機能
入力検出部41は、入力装置40を介し、検索領域指定タブの検索領域を、図14に示す画面上で指定するためのボタン「画面で指定」のクリックを検出し、表示制御部38へ通知する。表示制御部38では、上記通知を受け、表示装置34に対し、再生画面上に領域指定をするための枠を表示する。表示された枠をドラックすることで範囲を変更することができ、ドロップすると、指定した範囲の座標が領域指定テキスト入力のフィールドへ反映される。これらは、入力装置40、入力検出部41、表示制御部38、表示装置34の連携によって実現される。
【0089】
領域指定が完了すれば、図14に示す画面上の検索ボタンを押すことで、入力検出部41より表示制御部38へ通知される。表示制御部38では、検索部37を起動し、表示領域データにより、学習補助データと表示管理データとを検索し、検索結果を表示制御部38へ送信する。表示制御部38では、受け取った検索結果を表示装置34へ送信して一覧表示する。
【0090】
B−2−4.動画像制御の検索機能
検索入力フォームで、キーワードとしてリピート回数を指定し、AND条件としてメタデータ種別をプレーヤ制御とし、検索ボタンを押下すると、入力検出部41は、入力装置40を介して検出し、表示制御部38へ通知する。表示制御部38では、検索部37を起動し、メタデータ種別とキーワードとにより、学習補助データと表示管理データとを検索し、検索結果を表示制御部38へ送信する。表示制御部38では、受け取った検索結果を表示装置34へ送信して一覧表示する。
【0091】
B−2−5.コミュニケーション内容による検索機能
メタデータリストの質問回答には、「質問者」、「未回答指定」、「回答済み指定」を選択でき、検索ボタンを押下すると、入力検出部41は、入力装置40を介して検出し、表示制御部38へ通知する。表示制御部38では、検索部37を起動し、メタデータ種別(質問回答)と「回答済み指定」とにより、学習補助データを検索し、検索結果を表示制御部38へ送信する。表示制御部38では、受け取った検索結果を表示装置34へ送信し一覧表示する。
【0092】
B−3.表示機能
B−3−1.マウスオーバーによる内容表示
表示制御部38は、入力装置40からの表示モードの変更を入力検出部41から検出し、状態管理部36へ保存する。表示モードは、図15に示すように、アイコンのみ表示の場合と、アイコンとメタデータの内容の両方を表示する場合(マウスオーバー)がある。アイコンとメタデータの内容の両方を表示する場合、従来通りの表示方法であるが、アイコンのみを表示の時には、表示制御部38は、表示データ加工部32へアイコンのみを表示するように指示する。アイコンのみの表示中に、アイコン上にマウスポインタが置かれると、表示制御部38は、入力検出部41からその動作を検出し、対応するメタデータの内容を表示するように表示データ加工部32へ指示する。
【0093】
B−4.教材再生
B−4−1.教材再生成
ハイパーメディア制作端末2は、添付した制御メタデータを教材固定部に埋め込むために、教材再生成要求をハイパーメディア配信装置1に教材識別番号を送信して指示する。ハイパーメディア配信装置1の教材加工部24は、ハイパーメディア制作端末2より、教材再生成要求を受け取ると、教材識別番号より、添付されている時間軸制御に関わる制御メタデータを抽出するように、制御情報入出力部20へ指示する。制御情報入出力部20では、教材識別番号に関連する制御メタデータを制御情報データベース14から抽出し、教材加工部24へ送信する。
【0094】
教材加工部24は、映像出力部16を介して、教材データベース10より教材固定部の情報を受け取る。教材加工部24では、図16に示すように、教材固定部に制御メタデータを埋め込んだ形で教材固定部の再生成を実行する。再生成した教材固定部は、映像出力部16を介して教材データベース10へ保存される。
【0095】
なお、上述した実施形態において、ハイパーメディア配信装置1の機能、ハイパーメディア制作端末2の機能、あるいはハイパーメディア表示端末3−1〜3−3の機能は、図示しない記憶部に記憶されたプログラムを実行することで実現するようになっている。記憶部は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性メモリやRAM(Random Access Memory)のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。また、上記記憶部とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含む。
【0096】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワークや電話回線等の通信回線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、上述した処理の一部を実現するためのものであってもよい。さらに、上述した処理をハイパーメディア配信装置1、ハイパーメディア制作端末2、あるいはハイパーメディア表示端末3−1〜3−3に既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0097】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成は、上記実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【0098】
【発明の効果】
以上説明したように、本発明によれば、少なくとも前記コンテンツの再生制御を指示する制御情報と補助情報とからなるメタデータが予め設定されたテンプレートをテンプレート記憶手段に記憶しておき、コンテンツを再生表示するとともに、添付されたメタデータを表示する再生表示領域に表示されているコンテンツ上に、前記メタデータをカタログ表示するカタログ表示領域に表示されているメタデータを教材に配置するという操作が、前記入力手段から入力されると、制御手段により、前記カタログ表示領域に表示されているメタデータを、前記再生表示領域に表示されているコンテンツに関連付けるようにしたので、コンテンツの編集操作性、コンテンツの検索操作性、コンテンツの表示形態、コンテンツの再生動作を向上させることができるという利点が得られる。
【図面の簡単な説明】
【図1】本発明の実施形態によるe−ラーニングシステムの構成を示すブロック図である。
【図2】本実施形態によるハイパーメディア配信装置およびハイパーメディア表示(制作)端末の構成を示すブロック図である。
【図3】本実施形態による教材データベース、学習補助データベース、表示管理データベースのデータ構成を示す概念図である。
【図4】本実施形態による表示様式データベース、制御情報データベース、ユーザテンプレートデータベースのデータ構成を示す概念図である。
【図5】本実施形態による表示画面の構成を示す模式図である。
【図6】本実施形態によるメタデータの教材への添付操作を説明するための模式図である。
【図7】本実施形態による編集モードにおける編集操作を説明するための模式図である。
【図8】本実施形態による編集モードにおける編集操作を説明するための模式図である。
【図9】本実施形態によるメタデータの状態遷移を示す模式図である。
【図10】本実施形態による簡易編集モードにおける画面構成、機能を説明するための模式図である。
【図11】本実施形態による詳細編集モードにおける画面構成、機能を説明するための模式図である。
【図12】本実施形態による詳細編集モードにおける画面構成、機能を説明するための模式図である。
【図13】本実施形態による検索機能を説明するための画面構成を説明するための模式図である。
【図14】本実施形態による領域検索機能を説明するための画面構成を説明するための模式図である。
【図15】本実施形態によるマウスオーバーによる内容表示を説明するための概念図である。
【図16】本実施形態による教材再生成を説明するための概念図である。
【図17】従来のe−ラーニングシステムの構成を示すブロック図である。
【図18】従来のe−ラーニングシステムの構成を示すブロック図である。
【図19】従来のe−ラーニングシステムの機能を示す模式図である。
【符号の説明】
1 ハイパーメディア配信装置
2 ハイパーメディア制作端末
3−1〜3−3 ハイパーメディア表示端末
4 ネットワーク
10 教材データベース
11 学習補助データベース
12 表示管理データベース
13 表示様式管理データベース
14 制御情報データベース
15 ユーザテンプレートデータベース
16 映像出力部
17 学習補助データ入出力部
18 表示管理データ入出力部
19 表示様式データ入出力部
20 制御情報入出力部
21 ユーザテンプレートデータ入出力部
22 情報配信制御部
23 通信部
24 教材加工部
30 通信部
31 同期処理部
32 表示データ加工部
33 表示データ再生部
34 表示装置(表示手段)
35 カタログテンプレート記憶部(テンプレート記憶手段)
36 状態管理部
37 検索部(検索手段)
38 表示制御部(制御手段、再生成手段)
39 タイマ
40 入力装置(入力手段)
41 入力検出部
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a media editing device, a media editing method, a media editing program, and a recording medium.
[0002]
[Prior art]
In the e-learning (e-learning) system, a student plays a server-side teaching material (moving-image teaching material) through a playback player or the like in his / her personal computer through the Internet, and advances learning. However, the efficiency is not improved in the one-way learning mode. Therefore, the learner attaches the learning auxiliary data to the teaching material and asks the educator.The learners can share the learning auxiliary data on the learning material, or the educator can use the learning material customized for each learner. Functions such as providing are being studied (for example, Non-Patent Documents 1 and 2).
[0003]
In the conventional e-learning system, in the configuration shown in FIGS. 17 and 18, the learner can drag and drop a question memo outside the teaching material during playback of the moving image teaching material as shown in FIG. They were brought to the teaching materials and attached, and text input was performed. When a learner inputs a question on the question memo, the teacher can play the video teaching material on the terminal, check the displayed student's question memo, and write an answer.
[0004]
[Non-patent document 1]
Masahiro Yamada, Takehiko Watanabe, Tomoko Ito, Ikuo Yoda, "Study of Auxiliary Data Processing Method for Video Education System", 2001 IEICE Society Conference
[Non-patent document 2]
Tomoko Ito, Masami Muraoka, Koichi Nishio, Ikuo Yoda, "Teaching Material Creation Method in Video Education System", The Institute of Electronics, Information and Communication Engineers, Proceedings of the 2002 General Conference, Information and Systems (D-15-19), pp208, Mar , 2002
[0005]
[Problems to be solved by the invention]
However, in the above-described e-learning system according to the related art, the teacher does not notice the presence of the learner's question until the terminal plays the moving image teaching material. Also, the students could not confirm the answer until they played the teaching materials. Further, the above-described conventional e-learning system has a problem as described below.
[0006]
(1) When performing a series of operations (generation arrangement, editing, and deletion) of moving image metadata, the operations are excessively simplified, so that the editing operation is restricted and does not reach the level actually used by the user. .
[0007]
(2) In the case of a search, a search could not be performed without inputting information such as a search key.
[0008]
(3) There is only one type of metadata display format, and icon display was not possible.
[0009]
(4) When the teaching material was customized (repeat or skipped) with metadata, buffering occurred during playback. This is because the player control performed by the metadata is an operation given from outside the player.
[0010]
The present invention has been made in view of the above circumstances, and has a media editing apparatus, a media editing method, and a medium capable of improving content editing operability, content search operability, content display mode, and content playback operation. It is an object to provide an editing program and a recording medium.
[0011]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the invention according to claim 1 is a media editing apparatus for editing content distributed from a media distribution apparatus via a network, wherein at least control for instructing playback control of the content is performed. A template storage unit for storing a template in which metadata including information and auxiliary information is set in advance; a reproduction display area for displaying and displaying the attached metadata while reproducing and displaying the content; Display means having a catalog display area for catalog-displaying the displayed metadata, input means for inputting an operation or data for data displayed on the display means, and content displayed in the reproduction display area Above, the metadata displayed in the catalog display area is taught. Control means for associating the metadata displayed in the catalog display area with the content displayed in the playback display area when the operation of arranging the metadata in the catalog display area is input from the input means. And
[0012]
In the media editing apparatus according to the second aspect, in the media editing apparatus according to the first aspect, the template includes an unset initial template, and the control unit controls the input unit based on the initial template. When a predetermined operation is input from the user, a copy of the initial template is generated and stored as a user template in the template storage unit.
[0013]
According to a third aspect of the present invention, in the media editing apparatus according to the first aspect, the control unit uses the text input from the input unit as auxiliary information of metadata displayed in the reproduction display area. It is characterized by displaying.
[0014]
According to a fourth aspect of the present invention, in the media editing apparatus according to the first aspect, the control unit performs a moving operation from the input unit on auxiliary information of metadata displayed in the reproduction display area. Is performed, the display position of the metadata is changed based on a moving operation.
[0015]
According to a fifth aspect of the present invention, in the media editing apparatus according to the first aspect, a search unit that searches for metadata included in a specified area of the reproduction display area specified by an operation input from the input unit. It is characterized by having.
[0016]
According to a sixth aspect of the present invention, in the media editing apparatus according to the fifth aspect, the search unit controls the metadata to determine whether there is metadata matching the content input from the input unit. It is characterized by searching based on information.
[0017]
According to a seventh aspect of the present invention, in the media editing apparatus according to the fifth aspect, the search means searches the content distribution side for an answer to the content of the content reception side. I do.
[0018]
Also, in the invention according to claim 8, in the media editing apparatus according to claim 1, the control unit is configured to associate a meta data associated with a position corresponding to an input operation position based on an operation input from the input unit. Only data is displayed in the reproduction display area.
[0019]
According to the ninth aspect of the present invention, in the media editing apparatus according to the first aspect, a fixed portion of the content is regenerated so as to embed metadata associated with the content before distributing the content, It is characterized by comprising a regenerating means for storing the content in the content storing means.
[0020]
In order to solve the above-mentioned problem, the invention according to claim 10 is a media editing method for editing a content distributed from a media distribution device via a network, and at least instructs playback control of the content. Metadata consisting of control information and auxiliary information to be stored in advance stores a template, and reproduces and displays the content, and displays the attached metadata on the content displayed in the reproduction display area. When an operation of arranging the metadata displayed in the catalog display area for displaying the stored metadata in the catalog on the teaching material is input, the metadata displayed in the catalog display area is reproduced. It is characterized in that it is associated with the content displayed in the display area.
[0021]
In the media editing method according to the eleventh aspect, in the media editing method according to the tenth aspect, the template includes an unset initial template, and a predetermined operation is input to the initial template. , A copy of the initial template is generated and stored as a user template.
[0022]
According to a twelfth aspect of the present invention, in the media editing method of the tenth aspect, the input text is displayed as auxiliary information of metadata displayed in the reproduction display area.
[0023]
According to a thirteenth aspect of the present invention, in the media editing method according to the tenth aspect, when a moving operation is performed on auxiliary information of metadata displayed in the playback display area, the display of the metadata is performed. The position is changed based on a moving operation.
[0024]
According to a fourteenth aspect of the present invention, in the media editing method according to the tenth aspect, meta data included in a specified area of the reproduction display area specified by an input operation is searched.
[0025]
According to a fifteenth aspect of the present invention, in the media editing method of the fourteenth aspect, it is further determined whether or not there is metadata matching the input content based on the metadata control information. It is characterized.
[0026]
According to a sixteenth aspect of the present invention, in the media editing method of the fourteenth aspect, the content distribution side further searches whether or not there is an answer to the question content of the content reception side.
[0027]
According to a seventeenth aspect of the present invention, in the media editing method according to the tenth aspect, based on the input operation, only the metadata associated with the location corresponding to the input operation position is stored in the reproduction display area. It is characterized by displaying.
[0028]
In the invention according to claim 18, in the media editing method according to claim 10, meta-data comprising at least control information for instructing reproduction control of the content and auxiliary information associated before distributing the content. Is embedded in the content, and the fixed part of the content is regenerated.
[0029]
In order to solve the above-mentioned problem, in the invention according to claim 19, a step of storing a template in which metadata including at least control information for instructing content reproduction control and auxiliary information is set in advance is stored. In addition to playing back and displaying the content, the metadata displayed in the catalog display area for catalog display of the metadata is displayed on the content displayed in the playback display area for displaying the attached metadata as a teaching material. When the operation of arranging is input, the computer is caused to execute a step of associating the metadata displayed in the catalog display area with the content displayed in the reproduction display area.
[0030]
In the media editing program according to the twentieth aspect, in the media editing program according to the nineteenth aspect, the template includes an unset initial template, and a predetermined operation is input to the initial template. Generating a duplicate of the initial template and storing the duplicate as a user template.
[0031]
According to a twenty-first aspect of the present invention, in the media editing program according to the nineteenth aspect, the program causes the computer to execute a step of displaying the input text as auxiliary information of metadata displayed in the reproduction display area. It is characterized.
[0032]
In the invention according to claim 22, in the media editing program according to claim 19, when a moving operation is performed on the auxiliary information of the metadata displayed in the reproduction display area, the display of the metadata is performed. The computer is caused to execute a step of changing the position based on the moving operation.
[0033]
According to a twenty-third aspect of the present invention, in the media editing program according to the nineteenth aspect, the computer is caused to execute a step of searching for metadata included in the designated area of the reproduction display area designated by the input operation. It is characterized by the following.
[0034]
According to a twenty-fourth aspect of the present invention, in the media editing program according to the twenty-third aspect, a step of further searching for whether there is metadata that matches the input content based on the metadata control information Is executed by a computer.
[0035]
According to a twenty-fifth aspect of the present invention, in the media editing program according to the twenty-third aspect or the twenty-fourth aspect, the content distribution side further causes the computer to execute a step of searching for an answer to the content of the content reception side. It is characterized by the following.
[0036]
According to a twenty-sixth aspect of the present invention, in the media editing program according to the nineteenth aspect, based on the input operation, only the metadata associated with the location corresponding to the input operation position is stored in the reproduction display area. The step of displaying is performed by a computer.
[0037]
According to a twenty-seventh aspect of the present invention, in the media editing program according to the nineteenth aspect, a step of regenerating a fixed portion of the content so as to embed metadata associated before distributing the content in the content. Is executed by a computer.
[0038]
In order to solve the above-mentioned problems, the invention according to claim 28 is characterized in that the medium editing program according to any one of claims 19 to 27 is recorded on a computer-readable recording medium.
[0039]
In the present invention, a template in which metadata including at least control information for instructing the reproduction control of the content and auxiliary information is set in a template storage means is stored, and the content is reproduced and displayed, and the attached meta data is stored. When the operation of arranging the metadata displayed in the catalog display area for catalog display of the metadata on the teaching material on the content displayed in the reproduction display area for displaying data is input from the input means. The control unit associates the metadata displayed in the catalog display area with the content displayed in the reproduction display area. Therefore, it is possible to improve the editing operability of the content, the operability of searching the content, the display mode of the content, and the operation of reproducing the content.
[0040]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
A. Configuration of the embodiment
FIG. 1 is a block diagram illustrating a configuration of an e-learning system according to an embodiment of the present invention. The hypermedia distribution device 1 distributes video information as educational materials via the network 4 in response to a request from the hypermedia production terminal 2 or the hypermedia display terminals 3-1 to 3-3. The hypermedia production terminal 2 is used by a user who produces video information as a teaching material. The produced video information is stored in the hypermedia distribution device 1. The hypermedia display terminals 3-1 to 3-3 receive the video information as the teaching material distributed from the hypermedia distribution device 1, and reproduce the video information according to the control information distributed together with the video information.
[0041]
Next, FIG. 2 is a block diagram illustrating a configuration of the hypermedia distribution device and the hypermedia display (production) terminal according to the present embodiment. In FIG. 2, the hypermedia distribution device 1 includes a teaching material database (DB) 10, a learning auxiliary database (DB) 11, a display management database (DB) 12, a display style management database (DB) 13, and a control information database (DB) 14. , User template database (DB) 15, video output unit 16, learning auxiliary data input / output unit 17, display management data input / output unit 18, display format data input / output unit 19, control information input / output unit 20, user template data input / output It comprises a unit 21, an information distribution control unit 22, a communication unit 23, and a teaching material processing unit 24.
[0042]
As shown in FIG. 3A, the teaching material database 10 stores a portion (video) of the teaching material that does not include control information. The video output unit 16 reads and outputs a video as learning material data stored in the learning material database 10. As shown in FIG. 3B, the learning auxiliary database 11 stores learning auxiliary data for supplementing the teaching material data. The learning auxiliary data input / output unit 17 inputs the learning auxiliary data to the learning auxiliary database 11 or reads out the learning auxiliary data from the learning auxiliary database 11 and outputs it to the outside in response to an external request.
[0043]
As shown in FIG. 3C, the display management database 12 stores display management data that defines when to display the learning auxiliary data. The display management data input / output unit 18 inputs learning auxiliary data to the display management database 12 in response to an external request, or reads out display management data from the display management database 12 and outputs it to the outside.
[0044]
As shown in FIG. 4A, the display style database 13 stores, for each teaching material, a data type (text, image, etc.) of the teaching material and a display style. The display format data input / output unit 19 inputs display format data to the display format management database 13 or reads out display format data from the display format database 13 and outputs it to the outside in response to an external request.
[0045]
As shown in FIG. 4B, the control information database 14 stores control information indicating what kind of control is performed for each teaching material. The control content indicated by the control information includes repeat, stop, and skip. The control information input / output unit 20 inputs control information data to the control information database 14 in response to a request from the outside, or reads out control information data from the control information database 14 and outputs it to the outside.
[0046]
As shown in FIG. 4 (c), the user template database 15 defines a template used for general purpose in advance for each user, and includes learning auxiliary data and display style data. The user template data input / output unit 21 inputs learning auxiliary data and display style data to the user template database 15 in response to an external request, or inputs learning auxiliary data and display style data from the user template database 15. And outputs it to the outside.
[0047]
The information distribution control unit 22 controls operations of the video output unit 16, the learning auxiliary data input / output unit 17, the display management data input / output unit 18, the display format data input / output unit 19, and the control information input / output unit 20. The communication unit 23 transmits video information and control information as teaching materials, and transmits and receives various commands to and from the hypermedia display (production) terminal 2 and 3-1 to 3-3. The teaching material processing unit 24 embeds the added control metadata in the fixed teaching material to the fixed teaching material to which the control metadata (details will be described later) is added, and regenerates the fixed teaching material.
[0048]
Next, the hypermedia display (production) terminal 2 (3-1 to 3-3) includes a communication unit 30, a synchronization processing unit 31, a display data processing unit 32, a display data reproduction unit 33, a display device 34, and a catalog template storage. It includes a unit 35, a state management unit 36, a search unit 37, a display control unit 38, a timer 39, an input device 40, and an input detection unit 41.
[0049]
The communication unit 30 receives video information and control information, which are teaching materials, and transmits and receives various commands to and from the hypermedia distribution device 1. The synchronization processing unit 31 synchronizes various data from the hypermedia distribution device 1 (the video output unit 16, the learning auxiliary data input / output unit 17, the display management data input / output unit 18, and the display format data input / output unit 19).
[0050]
The display data processing unit 32 processes the learning auxiliary data based on the display management table and the display style data. The display data reproducing unit 33 reproduces the display data processed by the display data processing unit. The display device 34 displays the display data reproduced by the display data reproducing unit 33. The display device 34 displays a screen as shown in FIG. The screen includes a menu bar display area, a content reproduction & metadata display area, a metadata catalog display area, a timeline display & player control area, a metadata list & search result display area.
[0051]
The catalog template storage unit 35 displays initial learning auxiliary data and display format data fixedly stored in the hypermedia display (production) terminal in a metadata catalog. The catalog template storage unit 35 stores the initial template in a fixed manner. Also, the user-specific template data is temporarily stored. The state management unit 36 stores the editing state and the display mode of the metadata, notifies the state when there is a read request, and changes the state when there is a change request. The search unit 37 searches the learning auxiliary data and the display management data in response to the search request, and returns the search result to the request source.
[0052]
The display control unit 38 controls the synchronization control unit based on the input from the input detection unit. The state management unit manages the editing state and display range of the metadata, changes the state by a state change request, and returns the current state by a state reference request. The timer 39 measures the playback time of the teaching material and the like. The video is reproduced in synchronization with the timer 39. The input device 40 includes a mouse, a keyboard, and the like. The input detection unit 41 detects an event input from the input device 24 by a user.
[0053]
Next, video information (moving image teaching material) as a teaching material will be described. The moving image teaching material includes a fixed part and metadata. The fixed part is obtained by synchronously controlling a moving image, a still image, and a character on a coordinate / time axis (for example, SMIL). Further, the metadata includes learning auxiliary data and player control data. The learning auxiliary data is like a sticky note pasted on a teaching material. The player control data is information describing control of a player (teaching material playback function) set for a sticky note pasted on the teaching material, and the playing of the teaching material is performed by controlling the player at the time of display. Is to be controlled.
[0054]
Next, various functions of the hypermedia distribution device 1 and the hypermedia display (production) terminals 2, 3-1 to 3-3 will be described in detail.
[0055]
(1) Editing operation
(1-1) Metadata catalog function
In the hypermedia display (production) terminals 2, 3-1 to 3-3, an initial template is prepared in the metadata catalog of the authoring, and the user attaches the metadata to the moving image reproduction screen by a drag and drop operation ( Generation). Also, the user can create a user-specific template by editing on the initial template catalog or by dragging and dropping already generated metadata from the moving image playback screen to the metadata catalog. . The initial template is prepared in advance on the hypermedia display (production) terminals 2-1, 3-1 to 3-3. (Production) Called when the terminals 2, 3-1 to 3-3 are activated.
[0056]
As described above, by using the categorized templates, when the user attaches the metadata, it is not necessary to sequentially set necessary items from the beginning, and the metadata attaching operation can be easily performed. .
[0057]
(1-2) Editing function
When the metadata generated from the metadata catalog is attached to a moving image at the hypermedia display (production) terminal 2, 3-1, 1-3-3, the editing mode is set and simple operations (visual setting, simple → details) are performed. Various types of information can be set in a hierarchical structure. The metadata once attached can be shifted to the edit mode by clicking during playback without changing the player mode. While one piece of metadata is being edited, other operations are invalidated until the editing operation is completed, thereby preventing a malfunction. In addition, for operations such as changing the position of metadata and deforming icons, editing is completed by directly dragging and dropping icons of metadata.
[0058]
As described above, by providing “simple editing during display”, “simple editing”, and “detailed editing” at the editing stage, it is possible to appropriately respond to a user's operation request. Further, in setting the time and the like, detailed settings can be easily performed by using a time designation bar and scale expansion / reduction.
[0059]
(2) Search function
(2-1) List display function
The list display function is a function of displaying a list of necessary metadata in advance without inputting a search key. The metadata is received from the hypermedia distribution device 1 and displayed in a list on the prepared tab for each metadata type.
[0060]
(2-2) Jump function from list to metadata position
The jump function is a function of double-clicking the target metadata from the metadata list to jump to a time position where the target metadata is attached, display the metadata, and stop.
[0061]
(2-3) Area search function
The area search function is a function of designating an area by dragging a mouse and displaying metadata existing in the area on a metadata list screen.
[0062]
(2-4) Search function of moving image control
The search function of the moving image control is a function of searching for the content described in the player control data, thereby performing a search based on control information such as a portion repeated N times and a portion designated as an important portion. .
[0063]
(2-5) Search function based on communication contents
The search function based on the content of communication is a function in a case where the present system is applied to e-learning, and is a function of performing a search by specifying whether or not the teacher has answered the content of a student's question.
[0064]
As described above, desired metadata can be found without inputting a search key by listing metadata sorted in advance for each tab and displaying the list. Further, when the metadata displayed in the list is double-clicked, the user can jump to the attached time position and display the metadata. Further, in addition to the search key, an area, a time zone, and a metadata type can be searched by an AND condition, so that a search target is limited and an accurate search result can be obtained. In addition, since it is possible to specify whether the answer to the question is "unanswered" or "answered", the learner can confirm that the answer has been answered, and the educator can confirm that there is an unanswered question Can be confirmed.
[0065]
(3) Display function
(3-1) Content display by mouse over
For the metadata, a case where only the icon is displayed or a case where both the icon and the content of the metadata are displayed can be selected by the hypermedia display terminals 3-1 to 3-3.
[0066]
When a plurality of pieces of metadata are attached, displaying both the icon and the content of the metadata causes a problem that a moving image cannot be seen. By displaying the memo type with the icon and displaying the contents of the metadata only with the mouse-over icon when displaying only the icon, it is possible to prevent the screen from being hidden and also to refer to the metadata. Can be secured.
[0067]
(4) Reproduction of teaching materials
(4-1) Regeneration of teaching materials
As described above, the moving image teaching material includes a fixed portion and a metadata portion. When to attach metadata,
(1) The educator attaches metadata to the fixed part of the teaching material before releasing it to the learner.
(2) After being released to the learner, the learner and the educator attach metadata to the fixed portion of the teaching material.
[0068]
The player control data attached at the timing (1) can be embedded in the fixed part by regenerating the fixed part.
[0069]
Thereby, it is possible to prevent buffering from occurring at the time of reproduction, and it is possible to reproduce smoothly. At timing (2), since a plurality of player control data has already been attached by a plurality of learners, it is impossible to regenerate the fixed part.
[0070]
B. Operation of the embodiment
Next, the operation of the present embodiment will be described in detail. The operation described below can be performed on any of the hypermedia production terminal 2 and the hypermedia display terminals 3-1 to 3-3.
[0071]
B-1. Editing operations
B-1-1. Metadata catalog function
(1) Display in catalog
(A) When the hypermedia display (production) terminal 3-i is activated, the display control unit 38 stores the hypermedia display (production) terminal 3-i itself in the catalog template storage unit 35 in a fixed manner. An initial template of metadata (display time information and area information are not set) is displayed for each corresponding category in the metadata catalog (metadata catalog display area in FIG. 5).
[0072]
(B) At the same time as the above (a), the display control unit 38 transmits the user template to the information distribution control unit 22 of the hypermedia distribution device 1 via the communication unit 30, or transmits the template if it is registered. Give instructions to do so. At this time, the user identification number is taken over.
[0073]
(C) In the information distribution control unit 22 of the hypermedia distribution device 1, the user template data input / output unit 21 makes an inquiry, searches the user template database 15 for a template for the user, and searches the user template database 15 for the user. If there is a template, the user template information is transmitted to the hypermedia display terminal 3-i (i = 1 to 3).
[0074]
(D) Upon receiving the corresponding user template information, the display control unit 38 of the hypermedia display terminal 3i stores the user template information in the catalog template storage unit 35, and causes the user template to be displayed in the corresponding category of the catalog template (meta in FIG. 5). Data catalog display area).
[0075]
(2) Creating templates for users
(A) The display control unit 38 monitors the initial template in the catalog, and when an input such as a click is detected, creates a user template in the catalog template storage unit 35 as a copy of the initial template.
[0076]
(B) When the display control unit 38 detects that the metadata already attached to the video teaching material has moved to the category of the metadata catalog by D & D (drag and drop: or right-click copy / paste), the user It is created in the catalog template storage unit 35 as an application template.
[0077]
B-1-2. Editing function
(1) Generation arrangement
When the user wants to attach metadata while playing the teaching material, the input device 40 performs an operation of dragging and dropping the template from the catalog list to the display area as shown in FIG. Upon receiving this operation from the input detection unit 41, the display control unit 38 inquires of the state management unit 36 whether or not other metadata can be generated, such as whether other metadata is being edited. Then, if it can be generated, the display control unit 38 instructs the display data reproduction unit 33 to pause reproduction, and the state management unit 36 holds information that editing is in progress. Immediately after the arrangement, as shown in FIGS. 9A and 9B, the display metadata is in a simple editable state, and the control metadata is in a detailed editable state.
[0078]
(2) Simple editing (display state)
As shown in FIGS. 7A to 7C, 8A, and 8B, when moving or deforming the metadata in the display state while the metadata is being displayed, the input device 40 Perform operations such as dragging and dropping icons. When the display control unit 38 receives this operation from the input detection unit 41, the display control unit 38 inquires of the state management unit 36 whether or not other metadata can be changed, such as whether other metadata is being edited. If the change is possible, the display control unit 38 instructs the display data reproduction unit 33 to pause the reproduction, and the state management unit 36 registers information that the editing is being performed.
[0079]
When the drag & drop is completed, the display control unit 38 transmits the metadata to the hypermedia distribution device 1 via the communication unit 30 in order to update the display management information, and the state management unit 36 cancels the editing. . In response to this, the information distribution control unit 22 of the hypermedia distribution device 1 registers the received data in each database.
[0080]
(3) Simple editing
When performing simple editing on the metadata in the display state, an operation such as left-clicking the icon of the target metadata from the input device 40 is performed as shown in FIG. 9A. When the display control unit 38 receives this operation from the input detection unit 41, the display control unit 38 inquires of the state management unit 36 whether or not other metadata can be edited. If the editing is possible, the display control unit 38 instructs the display data reproducing unit 33 to pause the reproduction, and the state management unit 36 registers the information that the editing is being performed. At the same time, the display control unit 36, as shown in FIG. 10, allows “text change allowed”, “OK button”, “detail button”, “delete button”, “delete button” so that the metadata being displayed can be easily edited. "Cancel button" is displayed on the display device 34.
[0081]
When the operation is completed with the OK button, the display control unit 38 transmits the metadata to the hypermedia distribution device 1 via the communication unit 30 in order to update the display management information, and the state management unit 36 cancels editing. In response, the information distribution control unit 22 of the hypermedia distribution device 1 registers the received data in each database.
[0082]
(4) Detailed editing
When performing detailed editing on the metadata in the simple editing state, as shown in FIGS. 9A and 9B, an operation such as clicking a detail button of the target metadata is performed from the input device 40. Upon receiving this operation from the input detection unit 41, the display control unit 38 inquires of the state management unit 36 whether the metadata can be edited in detail, such as whether the metadata is being simply edited. If the details can be edited, the status management unit 36 registers information that the details are being edited.
[0083]
At the same time, as shown in FIGS. 11 and 12, the display control unit 38 performs “various detailed registration property display”, “OK button”, “detail button”, “ A delete button "and a" cancel button "are displayed on the display device. In the various detailed registration properties, in addition to memo content description, movement, deformation, time information, common information, memo information, frame information, icon information, question / answer information, player control information, test information, and other detailed information settings I do.
[0084]
When the operation is completed with the OK button, the display control unit 38 transmits the metadata to the hypermedia distribution device 1 via the communication unit 30 in order to update the display management information, and the state management unit 36 cancels the detailed editing. . In response to this, the information distribution control unit 22 of the hypermedia distribution device 1 registers the received data in each database.
[0085]
(5) Delete
In the simple editing state shown in FIG. 10 or the detailed editing state shown in FIG. 11, when the “delete button” is detected, the metadata is deleted. The display control unit 38 transmits the metadata to the hypermedia distribution device 1 via the communication unit 30 to delete the display management information of the metadata, and the state management unit 36 cancels the editing. In response, the information distribution control unit 22 of the hypermedia distribution device 1 reflects the received deletion data in each database.
[0086]
B-2. Search function
B-2-1. List display function
After requesting the teaching material from the input device 40, the teaching material and the learning auxiliary data attached to the teaching material are stored in the synchronization processing unit 31 and the display management data is stored in the display control unit 38 from the hypermedia distribution device 1. The search unit 37 performs a search from the learning auxiliary data and the display management data using a search key (metadata type) prepared in advance, classifies the results into the respective metadata types, and displays the results in a list for each tab. It is transmitted to the control unit 38. The display control unit 38 displays the classified metadata on the display device 34 as shown in FIGS. 13A and 13B.
[0087]
B-2-2. Jump function from list to metadata position
The input detection unit 41 detects a double click from the metadata list via the input device 40, and notifies the display control unit 38. The display control unit 38 extracts a display start time of the metadata from the display management data based on the metadata double-clicked. Next, the display control unit 38 notifies the display data reproducing unit 33 of the extracted display start time and the time position change request. Upon receiving the notification, the display data reproducing unit 33 transmits the reproduction data at the designated time position to the display device 34, and sets the display device 34 to the stop state.
[0088]
B-2-3. Area search function
The input detection unit 41 detects, via the input device 40, a click of a button “designation on the screen” for designating the search area of the search area designation tab on the screen illustrated in FIG. 14 and notifies the display control unit 38 of the click. I do. The display control unit 38 receives the notification and displays a frame for specifying an area on the reproduction screen on the display device 34. The range can be changed by dragging the displayed frame, and when dropped, the coordinates of the specified range are reflected in the field for inputting the area specification text. These are realized by cooperation of the input device 40, the input detection unit 41, the display control unit 38, and the display device 34.
[0089]
When the area designation is completed, the input detection unit 41 notifies the display control unit 38 by pressing a search button on the screen shown in FIG. The display control unit 38 activates the search unit 37, searches the display area data for the learning auxiliary data and the display management data, and transmits the search result to the display control unit 38. The display control unit 38 transmits the received search results to the display device 34 and displays a list.
[0090]
B-2-4. Search function for video control
In the search input form, the number of repeats is specified as a keyword, the metadata type is set as player control as an AND condition, and when the search button is pressed, the input detection unit 41 detects the input via the input device 40 and sends the display control unit 38 Notice. The display control unit 38 activates the search unit 37, searches the learning auxiliary data and the display management data based on the metadata type and the keyword, and transmits the search result to the display control unit 38. The display control unit 38 transmits the received search results to the display device 34 and displays a list.
[0091]
B-2-5. Search function based on communication content
For the question answer in the metadata list, “questioner”, “unanswered designation”, and “answered designation” can be selected. When the search button is pressed, the input detection unit 41 detects via the input device 40, The display controller 38 is notified. The display control unit 38 activates the search unit 37, searches for the learning auxiliary data based on the metadata type (question answer) and “answered designation”, and transmits the search result to the display control unit 38. The display control unit 38 transmits the received search result to the display device 34 and displays it in a list.
[0092]
B-3. Display function
B-3-1. Content display by mouse over
The display control unit 38 detects a change in the display mode from the input device 40 from the input detection unit 41 and stores the change in the state management unit 36. As shown in FIG. 15, the display mode includes a case where only the icon is displayed and a case where both the icon and the content of the metadata are displayed (mouse over). When both the icon and the content of the metadata are displayed, the display method is the same as the conventional display method. However, when only the icon is displayed, the display control unit 38 instructs the display data processing unit 32 to display only the icon. . When the mouse pointer is placed on the icon while only the icon is displayed, the display control unit 38 detects the operation from the input detection unit 41 and displays the corresponding metadata content so as to display the corresponding metadata. To
[0093]
B-4. Reproduction of teaching materials
B-4-1. Regenerate teaching materials
The hypermedia production terminal 2 transmits a teaching material identification number to the hypermedia distribution device 1 and instructs the hypermedia distribution device 1 to embed the attached control metadata in the teaching material fixing unit. When the learning material processing unit 24 of the hypermedia distribution device 1 receives the learning material regeneration request from the hypermedia production terminal 2, it extracts control metadata related to the attached time axis control from the learning material identification number. An instruction is given to the control information input / output unit 20. The control information input / output unit 20 extracts control metadata related to the learning material identification number from the control information database 14 and transmits the control metadata to the learning material processing unit 24.
[0094]
The teaching material processing unit 24 receives information on the teaching material fixing unit from the teaching material database 10 via the video output unit 16. As shown in FIG. 16, the teaching material processing unit 24 regenerates the teaching material fixing unit in a form in which control metadata is embedded in the teaching material fixing unit. The regenerated learning material fixing unit is stored in the learning material database 10 via the video output unit 16.
[0095]
In the above-described embodiment, the function of the hypermedia distribution device 1, the function of the hypermedia production terminal 2, or the function of the hypermedia display terminals 3-1 to 3-3 correspond to a program stored in a storage unit (not shown). It is realized by executing. The storage unit is configured by a nonvolatile memory such as a hard disk device, a magneto-optical disk device, or a flash memory, a volatile memory such as a RAM (Random Access Memory), or a combination thereof. In addition, the above-mentioned storage unit is, for example, a volatile memory (RAM) in a computer system serving as a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line, for a certain period of time. Including those holding programs.
[0096]
Further, the above program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the "transmission medium" for transmitting a program refers to a medium having a function of transmitting information, such as a network such as the Internet or a communication line such as a telephone line. Further, the program may be for realizing a part of the processing described above. Furthermore, what can realize the above-described processing in combination with a program already recorded in the hypermedia distribution device 1, the hypermedia production terminal 2, or the hypermedia display terminals 3-1 to 3-3, a so-called difference file (difference file) Program).
[0097]
As described above, the embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to the above embodiment, and includes a design and the like within a range not departing from the gist of the present invention. .
[0098]
【The invention's effect】
As described above, according to the present invention, a template in which metadata including at least control information for instructing playback control of the content and auxiliary information is set in a template storage unit is stored in a template storage unit, and the content is played back. The operation of displaying the metadata displayed in the catalog display area for catalog display of the metadata on the content displayed in the playback display area for displaying the attached metadata is displayed on the teaching material. When input from the input unit, the control unit associates the metadata displayed in the catalog display area with the content displayed in the playback display area. Search operability, content display mode, and content playback operation. An advantage that it is can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an e-learning system according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of a hypermedia distribution device and a hypermedia display (production) terminal according to the present embodiment.
FIG. 3 is a conceptual diagram showing a data structure of a teaching material database, a learning auxiliary database, and a display management database according to the embodiment.
FIG. 4 is a conceptual diagram showing a data configuration of a display style database, a control information database, and a user template database according to the present embodiment.
FIG. 5 is a schematic diagram illustrating a configuration of a display screen according to the present embodiment.
FIG. 6 is a schematic diagram for explaining an operation of attaching metadata to a teaching material according to the embodiment;
FIG. 7 is a schematic diagram for explaining an editing operation in an editing mode according to the embodiment.
FIG. 8 is a schematic diagram for explaining an editing operation in an editing mode according to the embodiment.
FIG. 9 is a schematic diagram illustrating a state transition of metadata according to the present embodiment.
FIG. 10 is a schematic diagram for explaining a screen configuration and functions in a simple editing mode according to the embodiment.
FIG. 11 is a schematic diagram for explaining a screen configuration and functions in a detailed editing mode according to the embodiment.
FIG. 12 is a schematic diagram for explaining a screen configuration and functions in a detailed editing mode according to the embodiment.
FIG. 13 is a schematic diagram for explaining a screen configuration for explaining a search function according to the embodiment.
FIG. 14 is a schematic diagram for explaining a screen configuration for explaining an area search function according to the embodiment;
FIG. 15 is a conceptual diagram for explaining a content display by mouse over according to the present embodiment.
FIG. 16 is a conceptual diagram illustrating the regeneration of a teaching material according to the present embodiment.
FIG. 17 is a block diagram showing a configuration of a conventional e-learning system.
FIG. 18 is a block diagram showing a configuration of a conventional e-learning system.
FIG. 19 is a schematic diagram showing functions of a conventional e-learning system.
[Explanation of symbols]
1 Hypermedia distribution device
2 Hypermedia production terminal
3-1-3-3 Hypermedia display terminal
4 Network
10. Teaching material database
11 Learning assistance database
12 Display management database
13 display style management database
14 Control information database
15 User template database
16 Video output section
17 Learning auxiliary data input / output unit
18 Display management data input / output unit
19 Display format data input / output unit
20 Control information input / output unit
21 User template data input / output unit
22 Information distribution control unit
23 Communication unit
24 Teaching Material Processing Department
30 Communication unit
31 Synchronization processing unit
32 Display data processing unit
33 Display data playback unit
34 display device (display means)
35 Catalog template storage (template storage means)
36 State management unit
37 Search unit (search means)
38 display control unit (control means, regeneration means)
39 timer
40 input device (input means)
41 Input detector

Claims (28)

メディア配信装置からネットワークを介して配信されるコンテンツを編集するメディア編集装置であって、
少なくとも前記コンテンツの再生制御を指示する制御情報と補助情報とからなるメタデータが予め設定されたテンプレートを記憶するテンプレート記憶手段と、
前記コンテンツを再生表示するとともに、添付されたメタデータを表示する再生表示領域と、前記テンプレート記憶手段に記憶されているメタデータをカタログ表示するカタログ表示領域とを備える表示手段と、
前記表示手段に表示されているデータに対する操作ないしデータが入力される入力手段と、
前記再生表示領域に表示されているコンテンツ上に、前記カタログ表示領域に表示されているメタデータを教材に配置するという操作が、前記入力手段から入力されると、前記カタログ表示領域に表示されているメタデータを、前記再生表示領域に表示されているコンテンツに関連付ける制御手段と
を具備することを特徴とするメディア編集装置。
A media editing device that edits content distributed from a media distribution device via a network,
Template storage means for storing a template in which metadata including at least control information for instructing reproduction control of the content and auxiliary information is set in advance;
Display means for reproducing and displaying the content, a reproduction display area for displaying the attached metadata, and a catalog display area for catalog display of the metadata stored in the template storage means,
Input means for inputting an operation or data for the data displayed on the display means,
When the operation of arranging the metadata displayed in the catalog display area on the teaching material on the content displayed in the playback display area is input from the input means, the operation is performed in the catalog display area. Control means for associating existing metadata with the content displayed in the reproduction display area.
前記テンプレートは、一部が未設定の初期テンプレートを含み、
前記制御手段は、前記初期テンプレートに対して、前記入力手段から所定の操作が入力されると、前記初期テンプレートの複製を生成し、ユーザ用テンプレートとして、前記テンプレート記憶手段に記憶することを特徴とする請求項1記載のメディア編集装置。
The template includes a partially unset initial template,
The control means, when a predetermined operation is input to the initial template from the input means, generates a copy of the initial template, and stores the copy as a user template in the template storage means. The media editing device according to claim 1, wherein
前記制御手段は、前記入力手段から入力されたテキストを、前記再生表示領域に表示されているメタデータの補助情報として表示することを特徴とする請求項1記載のメディア編集装置。2. The media editing apparatus according to claim 1, wherein the control unit displays the text input from the input unit as auxiliary information of metadata displayed in the reproduction display area. 前記制御手段は、前記再生表示領域に表示されているメタデータの補助情報に対して、前記入力手段からの移動操作が行われると、前記メタデータの表示位置を移動操作に基づいて変更することを特徴とする請求項1記載のメディア編集装置。The control means changes a display position of the metadata based on the movement operation when a movement operation from the input means is performed on the auxiliary information of the metadata displayed in the reproduction display area. 2. The media editing device according to claim 1, wherein: 前記入力手段から入力された操作により指定された、前記再生表示領域の指定領域に含まれるメタデータを検索する検索手段を具備することを特徴とする請求項1記載のメディア編集装置。2. The media editing apparatus according to claim 1, further comprising a search unit configured to search for metadata included in a specified area of the reproduction display area specified by an operation input from the input unit. 前記検索手段は、前記入力手段から入力された内容に合致するメタデータがあるか否かを、前記メタデータの制御情報に基づいて検索することを特徴とする請求項5記載のメディア編集装置。6. The media editing apparatus according to claim 5, wherein the search unit searches for metadata that matches the content input from the input unit based on control information of the metadata. 前記検索手段は、前記コンテンツ配信側がコンテンツ受信側の質問内容に対する回答が存在するか否かを検索することを特徴とする請求項5または6記載のメディア編集装置。7. The media editing apparatus according to claim 5, wherein the search unit searches the content distribution side for an answer to the content of the question on the content reception side. 前記制御手段は、前記入力手段から入力される操作に基づいて、入力操作位置に対応する箇所に関連付けられているメタデータのみを、前記再生表示領域に表示することを特徴とする請求項1記載のメディア編集装置。2. The control unit according to claim 1, wherein only metadata associated with a location corresponding to an input operation position is displayed in the reproduction display area based on an operation input from the input unit. Media editing equipment. 前記コンテンツを配信する前に関連付けられたメタデータを、前記コンテンツに埋め込むべく、前記コンテンツの固定部分を再生成し、前記コンテンツ記憶手段に記憶する再生成手段を具備することを特徴とする請求項1記載のメディア編集装置。The system according to claim 1, further comprising a regenerating unit that regenerates a fixed part of the content and stores the metadata in the content storage unit so as to embed metadata associated with the content before distributing the content. 2. The media editing device according to 1. メディア配信装置からネットワークを介して配信されるコンテンツを編集するメディア編集方法であって、
少なくとも前記コンテンツの再生制御を指示する制御情報と補助情報とからなるメタデータが予め設定されたテンプレートを記憶しておき、
前記コンテンツを再生表示するとともに、添付されたメタデータを表示する再生表示領域に表示されているコンテンツ上に、前記記憶されているメタデータをカタログ表示するカタログ表示領域に表示されているメタデータを教材に配置するという操作が入力されると、前記カタログ表示領域に表示されているメタデータを、前記再生表示領域に表示されているコンテンツに関連付けることを特徴とするメディア編集方法。
A media editing method for editing content distributed from a media distribution device via a network,
A template in which metadata including at least control information for instructing reproduction control of the content and auxiliary information is set in advance is stored,
While playing back the content, the metadata displayed in the catalog display area for catalog display of the stored metadata is displayed on the content displayed in the playback display area for displaying the attached metadata. A media editing method, wherein when an operation of arranging in a teaching material is input, the metadata displayed in the catalog display area is associated with the content displayed in the reproduction display area.
前記テンプレートは、一部が未設定の初期テンプレートを含み、前記初期テンプレートに対して、所定の操作が入力されると、前記初期テンプレートの複製を生成し、ユーザ用テンプレートとして記憶する請求項10記載のメディア編集方法。11. The template includes a partially unset initial template, and when a predetermined operation is input to the initial template, a copy of the initial template is generated and stored as a user template. Media editing method. 入力されたテキストを、前記再生表示領域に表示されているメタデータの補助情報として表示することを特徴とする請求項10記載のメディア編集方法。11. The media editing method according to claim 10, wherein the input text is displayed as auxiliary information of metadata displayed in the reproduction display area. 前記再生表示領域に表示されているメタデータの補助情報に対して、移動操作が行われると、前記メタデータの表示位置を移動操作に基づいて変更することを特徴とする請求項10記載のメディア編集方法。11. The media according to claim 10, wherein, when a moving operation is performed on the auxiliary information of the metadata displayed in the reproduction display area, a display position of the metadata is changed based on the moving operation. Editing method. 入力された操作により指定された、前記再生表示領域の指定領域に含まれるメタデータを検索することを特徴とする請求項10記載のメディア編集方法。11. The media editing method according to claim 10, further comprising searching for metadata included in the designated area of the reproduction display area designated by the input operation. さらに、入力された内容に合致するメタデータがあるか否かを、前記メタデータの制御情報に基づいて検索することを特徴とする請求項14記載のメディア編集方法。15. The media editing method according to claim 14, further comprising: searching for metadata that matches the input content based on the control information of the metadata. さらに、コンテンツ配信側がコンテンツ受信側の質問内容に対する回答が存在するか否かを検索することを特徴とする請求項14または15記載のメディア編集方法。16. The media editing method according to claim 14, wherein the content distribution side searches for an answer to the content of the question on the content reception side. 入力される操作に基づいて、入力操作位置に対応する箇所に関連付けられているメタデータのみを、前記再生表示領域に表示することを特徴とする請求項10記載のメディア編集方法。11. The media editing method according to claim 10, wherein only the metadata associated with the position corresponding to the input operation position is displayed in the reproduction display area based on the input operation. 前記コンテンツを配信する前に関連付けられた、少なくとも前記コンテンツの再生制御を指示する制御情報と補助情報とからなるメタデータを、前記コンテンツに埋め込むべく、前記コンテンツの固定部分を再生成ることを特徴とする請求項10記載のメディア編集方法。The method includes regenerating a fixed part of the content in order to embed the metadata, which is associated with control information for instructing reproduction control of the content and auxiliary information at least before the content is distributed, in the content. The media editing method according to claim 10, wherein 少なくともコンテンツの再生制御を指示する制御情報と補助情報とからなるメタデータが予め設定されたテンプレートを記憶しておくステップと、
前記コンテンツを再生表示するとともに、添付されたメタデータを表示する再生表示領域に表示されているコンテンツ上に、前記メタデータをカタログ表示するカタログ表示領域に表示されているメタデータを教材に配置するという操作が入力されると、前記カタログ表示領域に表示されているメタデータを、前記再生表示領域に表示されているコンテンツに関連付けるステップと
をコンピュータに実行させることを特徴とするメディア編集プログラム。
A step of storing a template in which metadata including at least control information for instructing content reproduction control and auxiliary information is set in advance;
Along with playing back the content, the metadata displayed in the catalog display area for catalog display of the metadata is arranged on the teaching material on the content displayed in the playback display area for displaying the attached metadata. And a step of associating the metadata displayed in the catalog display area with the content displayed in the playback display area.
前記テンプレートは、一部が未設定の初期テンプレートを含み、前記初期テンプレートに対して、所定の操作が入力されると、前記初期テンプレートの複製を生成し、ユーザ用テンプレートとして記憶するステップをコンピュータに実行させることを特徴とする請求項19記載のメディア編集プログラム。The template includes a part including an unset initial template, and when a predetermined operation is input to the initial template, generating a copy of the initial template and storing the duplicate as a user template in a computer. 20. The media editing program according to claim 19, wherein the program is executed. 入力されたテキストを、前記再生表示領域に表示されているメタデータの補助情報として表示するステップをコンピュータに実行させることを特徴とする請求項19記載のメディア編集プログラム。20. The medium editing program according to claim 19, wherein the program causes the computer to execute a step of displaying the input text as auxiliary information of the metadata displayed in the reproduction display area. 前記再生表示領域に表示されているメタデータの補助情報に対して、移動操作が行われると、前記メタデータの表示位置を移動操作に基づいて変更するステップをコンピュータに実行させることを特徴とする請求項19記載のメディア編集プログラム。When a moving operation is performed on the auxiliary information of the metadata displayed in the reproduction display area, the computer is caused to execute a step of changing a display position of the metadata based on the moving operation. The media editing program according to claim 19. 入力された操作により指定された、前記再生表示領域の指定領域に含まれるメタデータを検索するステップをコンピュータに実行させることを特徴とする請求項19記載のメディア編集プログラム。20. The medium editing program according to claim 19, wherein the program causes the computer to execute a step of searching for metadata included in the designated area of the reproduction display area designated by the input operation. 入力された内容に合致するメタデータがあるか否かを、前記メタデータの制御情報に基づいて検索するステップをコンピュータに実行させることを特徴とする請求項23記載のメディア編集プログラム。24. The medium editing program according to claim 23, wherein the program causes a computer to execute a step of searching for metadata that matches the input content based on the control information of the metadata. さらに、コンテンツ配信側がコンテンツ受信側の質問内容に対する回答が存在するか否かを検索するステップをコンピュータに実行させることを特徴とする請求項23または24記載のメディア編集プログラム。25. The medium editing program according to claim 23, further comprising the step of causing the computer to execute a step in which the content distribution side searches for an answer to the content of the question on the content reception side. さらに、入力される操作に基づいて、入力操作位置に対応する箇所に関連付けられているメタデータのみを、前記再生表示領域に表示するステップをコンピュータに実行させることを特徴とする請求項19記載のメディア編集プログラム。20. The computer according to claim 19, further comprising causing the computer to execute a step of displaying, in the reproduction display area, only metadata associated with a portion corresponding to the input operation position based on the input operation. Media editing program. 前記コンテンツを配信する前に関連付けられたメタデータを、前記コンテンツに埋め込むべく、前記コンテンツの固定部分を再生成するステップをコンピュータに実行させることを特徴とする請求項19記載のメディア編集プログラム。20. The medium editing program according to claim 19, further comprising causing a computer to execute a step of regenerating a fixed portion of the content so as to embed metadata associated with the content before the content is distributed. 請求項19ないし27のいずれかに記載のメディア編集プログラムを記録したコンピュータ読み取り可能な記録媒体。A computer-readable recording medium on which the medium editing program according to claim 19 is recorded.
JP2002287681A 2002-09-30 2002-09-30 MEDIA EDITING DEVICE, MEDIA EDITING METHOD, MEDIA EDITING PROGRAM, AND RECORDING MEDIUM Expired - Fee Related JP3710777B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002287681A JP3710777B2 (en) 2002-09-30 2002-09-30 MEDIA EDITING DEVICE, MEDIA EDITING METHOD, MEDIA EDITING PROGRAM, AND RECORDING MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002287681A JP3710777B2 (en) 2002-09-30 2002-09-30 MEDIA EDITING DEVICE, MEDIA EDITING METHOD, MEDIA EDITING PROGRAM, AND RECORDING MEDIUM

Publications (2)

Publication Number Publication Date
JP2004128724A true JP2004128724A (en) 2004-04-22
JP3710777B2 JP3710777B2 (en) 2005-10-26

Family

ID=32280388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002287681A Expired - Fee Related JP3710777B2 (en) 2002-09-30 2002-09-30 MEDIA EDITING DEVICE, MEDIA EDITING METHOD, MEDIA EDITING PROGRAM, AND RECORDING MEDIUM

Country Status (1)

Country Link
JP (1) JP3710777B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033182A (en) * 2004-07-13 2006-02-02 Nippon Hoso Kyokai <Nhk> Device and program for generating and transmitting metadata template, and device and program for producing original metadata
JP2006040129A (en) * 2004-07-29 2006-02-09 Ntt Directory Service Co System and method for advertisement information registration/display
JP2007041861A (en) * 2005-08-03 2007-02-15 Sharp Corp Content editing device, computer-readable program, and recording medium with the same recorded
WO2007091510A1 (en) * 2006-02-07 2007-08-16 The Tokyo Electric Power Company, Incorporated Content distribution system
WO2012161118A1 (en) * 2011-05-20 2012-11-29 日本放送協会 Terminal coordination system, receiver, and receiving method
JP2020194399A (en) * 2019-05-29 2020-12-03 シャープ株式会社 Information processing device, information processing method and information processing program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3022388B1 (en) * 2014-06-16 2019-03-29 Antoine HUET CUSTOM FILM AND VIDEO MOVIE

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11133846A (en) * 1997-10-31 1999-05-21 Nippon Telegr & Teleph Corp <Ntt> Method and system for supporting teaching material generation and storage medium storing teaching material generation support program
JP2000098985A (en) * 1998-09-18 2000-04-07 Fuji Xerox Co Ltd Multimedia information processor
JP2000259650A (en) * 1999-03-08 2000-09-22 Nec Corp Scenario editing device, and recording medium recorded with scenario editing program
JP2002108892A (en) * 2000-09-29 2002-04-12 Canon Inc Data management system, data management method and recording medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11133846A (en) * 1997-10-31 1999-05-21 Nippon Telegr & Teleph Corp <Ntt> Method and system for supporting teaching material generation and storage medium storing teaching material generation support program
JP2000098985A (en) * 1998-09-18 2000-04-07 Fuji Xerox Co Ltd Multimedia information processor
JP2000259650A (en) * 1999-03-08 2000-09-22 Nec Corp Scenario editing device, and recording medium recorded with scenario editing program
JP2002108892A (en) * 2000-09-29 2002-04-12 Canon Inc Data management system, data management method and recording medium

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033182A (en) * 2004-07-13 2006-02-02 Nippon Hoso Kyokai <Nhk> Device and program for generating and transmitting metadata template, and device and program for producing original metadata
JP2006040129A (en) * 2004-07-29 2006-02-09 Ntt Directory Service Co System and method for advertisement information registration/display
JP2007041861A (en) * 2005-08-03 2007-02-15 Sharp Corp Content editing device, computer-readable program, and recording medium with the same recorded
JP4514671B2 (en) * 2005-08-03 2010-07-28 シャープ株式会社 CONTENT EDITING DEVICE, COMPUTER-READABLE PROGRAM, AND RECORDING MEDIUM CONTAINING THE SAME
WO2007091510A1 (en) * 2006-02-07 2007-08-16 The Tokyo Electric Power Company, Incorporated Content distribution system
WO2007091512A1 (en) * 2006-02-07 2007-08-16 The Tokyo Electric Power Company, Incorporated Summary generation system, summary generation method, and content distribution system using the summary
JPWO2007091512A1 (en) * 2006-02-07 2009-07-02 東京電力株式会社 Summary information generation system, summary information generation method, and content distribution system using summary information
JPWO2007091510A1 (en) * 2006-02-07 2009-07-02 東京電力株式会社 Content distribution system
WO2012161118A1 (en) * 2011-05-20 2012-11-29 日本放送協会 Terminal coordination system, receiver, and receiving method
US9215480B2 (en) 2011-05-20 2015-12-15 Nippon Hoso Kyokai Terminal cooperation system, receiver, and receiving method
JP2020194399A (en) * 2019-05-29 2020-12-03 シャープ株式会社 Information processing device, information processing method and information processing program
JP7356263B2 (en) 2019-05-29 2023-10-04 シャープ株式会社 Information processing device, information processing method, and information processing program

Also Published As

Publication number Publication date
JP3710777B2 (en) 2005-10-26

Similar Documents

Publication Publication Date Title
US6968506B2 (en) Method of and system for composing, delivering, viewing and managing audio-visual presentations over a communications network
US6473096B1 (en) Device and method for generating scenario suitable for use as presentation materials
US20010023450A1 (en) Authoring apparatus and method for creating multimedia file
US6084582A (en) Method and apparatus for recording a voice narration to accompany a slide show
US8006189B2 (en) System and method for web based collaboration using digital media
US20050071736A1 (en) Comprehensive and intuitive media collection and management tool
US20050069225A1 (en) Binding interactive multichannel digital document system and authoring tool
Madsen et al. Experiences using cooperative interactive storyboard prototyping
US20100332959A1 (en) System and Method of Capturing a Multi-Media Presentation for Delivery Over a Computer Network
JPH09179712A (en) System for acquiring and reproducing temporary data for expressing cooperative operation
JPWO2006028154A1 (en) Information management system, information management method, information management program and recording medium thereof
JP2006339878A (en) Editing terminal and editing method for multimedia content, and program
JP4010094B2 (en) Lecture information presentation device for remote locations
JP2000099524A (en) Multimedia information viewing device
JP3710777B2 (en) MEDIA EDITING DEVICE, MEDIA EDITING METHOD, MEDIA EDITING PROGRAM, AND RECORDING MEDIUM
JP3753748B2 (en) System for providing copyrighted material using a network
Clark et al. Captivate and Camtasia
WO2002023350A1 (en) Technique for superimposingly display additional information on display screen
JP3945081B2 (en) Document processing apparatus and processing method
JP4353483B2 (en) Digital content production system
JP2011095809A (en) Presentation support system
JP2008017171A (en) Recording device and method of multimedia data, and creation system and method of multimedia contents
Clarke Supporting pro-amateur composers using digital audio workstations
KR20020016509A (en) The multimedia electronic education system and the method thereof
KR101766527B1 (en) Method and system for providing post

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050419

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050810

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080819

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090819

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100819

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110819

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees