JP2004266578A

JP2004266578A - 動画像編集方法および装置

Info

Publication number: JP2004266578A
Application number: JP2003054868A
Authority: JP
Inventors: Mitsuru Nishimura; 満西村; Minoru Nakazawa; 実中沢; Michimitsu Hattori; 進実服部
Original assignee: Kanazawa Institute of Technology (KIT)
Current assignee: Kanazawa Institute of Technology (KIT)
Priority date: 2003-02-28
Filing date: 2003-02-28
Publication date: 2004-09-24

Abstract

【課題】原動画像の重要な部分を要約するように、原動画像を編集したい。
【解決手段】記憶部１４は、原動画像データ、音声データ、付属データを記憶する。原動画像データ入力部１６は、原動画像データとして会議の映像を入力する。付属データ入力部１８は、原動画像データを所定の時間間隔で分割した場合に生成される複数のブロックについての情報を入力する。管理部２０は、原動画像データと付属データを対応させて、記憶部１４に記憶する。動画像編集部２２は、原動画像データから再生用動画像データを生成する。インターフェース部２４は、原動画像データの編集に関する指示を閲覧者用ＰＣ１２から受けつける。動画像出力部２６は、再生用動画像データを閲覧者用ＰＣ１２に配信する。
【選択図】図１１

Description

【０００１】
【発明の属する技術分野】
本発明は、原動画像から再生用の動画像を生成する動画像編集技術に関する。特に、要求された再生時間の長さ程度となるような再生用の動画像を生成する動画像編集方法および装置に関する。
【０００２】
【従来の技術】
ビデオ会議システムの多くは、遠隔地同士において、リアルタイムな音声とビデオのやりとりや、ファイル転送、アプリケーションの共有を対象とするため、一般に、会議への全員参加を前提にして設計されている。
ビデオ会議システムは、経営的な側面からいえば、会議にかかる時間、距離、経費などを削減するとして注目されている。しかし、実際の現場の声に耳を傾けてみると、たとえビデオ会議といえども、一般に、その会議への全員参加は難しく、特に意思決定に大きな影響力を持っている人ほど、多忙で欠席するケースが多い。そういった欠席者による意思決定の先延ばしなどが、敏速な意思決定が要求される企業において大きな問題となる（例えば、非特許文献１参照。）。
【０００３】
【非特許文献１】
田中充，勅使河原可海，山田善靖，「同期型・非同期型の特徴を活かした会議不参加者支援のためのビデオ会議システムの設計」，情報処理学会研究報告「グループウェア」，Ｎｏ．０２８−０１２，１９９８
【０００４】
【発明が解決しようとする課題】
会議の欠席者は、一般に会議の内容を理解するために会議議事録を確認する。このような会議議事録は、欠席した場合だけでなく、後日会議の内容を確認したい場合にも必要であるため重要となる。
一方、近年、ＣＰＵ、ストレージ、ネットワークなどのコンピュータ技術の高性能化により、コンピュータで容易に映像・音声を取り扱う環境が整ってきた。映像・音声は視覚と聴覚という人間が頻繁に利用する感覚に訴えるため、現実世界を忠実に再現でき、多くの場面で重要なメディアとなる。個人のコミュニケーションの場面では映像チャットが利用され、教育の場面ではインターネットを利用した遠隔教育が利用されている。しかし、多くの場面で映像・音声が取り入れられる中、会議議事録に関しては未だテキストを利用したものが多い。
【０００５】
会議議事録を単に映像・音声化するには、会議の様子を撮影・録音すればよい。その手法ではテキスト議事録と違い、重要な部分が分からないため、実際の会議と同等の時間を費やし閲覧する。さらに、映像・音声には検索手段などの２次利用する手段がなく、記録された映像・音声が後日使われることはほとんど無い。
【０００６】
本発明はこうした状況に鑑みなされたものであり、その目的は原動画像を蓄積してそれを閲覧者希望の時間に要約する動画像編集方法および装置を提供することにある。また、原動画像を編集する際に、原動画像中の重要な部分を抽出する動画像編集方法および装置を提供することにある。また、動画像に加えて他のデータも同時に配信可能な動画像編集方法および装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明のある態様は、動画像編集装置に関する。この装置は、編集対象の原動画像データを入力する原動画像データ入力部と、原動画像データを複数のブロックに分割した場合において、それぞれのブロックについての重要度の情報を含んだ付属データを入力する付属データ入力部と、原動画像データから生成すべき再生用動画像データの再生時間の長さを入力する時間入力部と、入力した再生時間の長さに応じて、重要度の高いブロックに対応した原動画像データを優先的に選択して、原動画像データから再生用動画像データを生成する動画像編集部と、再生用動画像データを出力する出力部とを含む。
【０００８】
「ブロック」は、原動画像データを所定時間ごとに分割した原動画像データの一部分であるが、原動画像データを実際に分割する必要はなく、例えば、分割の対象となる時間のみが管理されることによって、編集の際に実質的に分割された原動画像データとして処理できればよい。また、所定時間も一定である必要はない。
【０００９】
入力した原動画像データと入力した付属データを対応づけて記憶する記憶部をさらに含んでもよい。付属データ入力部で入力した付属データは、複数のブロックのそれぞれに対応した状態の情報も含み、動画像編集部は、状態の情報をもとに複数のブロックのうち所定のブロックに対応した原動画像データの順序を入れ替えて、原動画像データから再生用動画像データを生成してもよい。
「状態」は、原動画像データの内容を示し、例えば、「発表、議題提示、議論、結論」や「起、承、転、結」のようなものでよく、それぞれの名称は任意でよい。
【００１０】
再生用動画像データを修正するための情報を入力する情報入力部をさらに含んでもよい。この装置において、動画像編集部は、入力した再生用動画像データを修正するための情報をもとにして、再生用動画像データを修正してもよい。
この装置によれば、原動画像データを複数に分割したブロックのそれぞれに重要度が定義され、重要度に応じて原動画像データを編集するため、重要な部分を優先した編集を可能にする。
【００１１】
本発明の別の態様は、動画像編集方法に関する。この方法は、複数のブロックに分割され、かつそれぞれのブロックに対して重要度が定義された原動画像データから、重要度の高いブロックに対応した原動画像データを優先的に選択して、所定の再生時間の長さとなる再生用動画像データを生成してもよい。
【００１２】
本発明のさらに別の態様も、動画像編集方法に関する。この方法は、編集対象の原動画像データを入力するステップと、原動画像データを複数のブロックに分割した場合において、それぞれのブロックについての重要度の情報を含んだ付属データを入力するステップと、原動画像データから生成すべき再生用動画像データの再生時間の長さを入力するステップと、入力した再生時間の長さに応じて、重要度の高いブロックに対応した原動画像データを優先的に選択して、原動画像データから前記再生用動画像データを生成するステップと、再生用動画像データを出力するステップとを含む。
【００１３】
入力した原動画像データと入力した付属データを対応づけて記憶するステップをさらに含んでもよい。付属データを入力するステップで入力した付属データは、複数のブロックのそれぞれに対応した状態の情報も含み、再生用動画像データを生成するステップは、状態の情報をもとに複数のブロックのうち所定のブロックに対応した原動画像データの順序を入れ替えて、原動画像データから再生用動画像データを生成してもよい。
【００１４】
再生用動画像データを修正するための情報を入力するステップをさらに含んでもよい。この装置において、再生用動画像データを生成するステップは、入力した再生用動画像データを修正するための情報をもとにして、再生用動画像データを修正してもよい。
【００１５】
本発明のさらに別の態様は、プログラムに関する。このプログラムは、編集対象の原動画像データを入力するステップと、原動画像データを複数のブロックに分割した場合において、それぞれのブロックについての重要度の情報を含んだ付属データを入力するステップと、原動画像データから生成すべき再生用動画像データの再生時間の長さを入力するステップと、入力した再生時間の長さに応じて、重要度の高いブロックに対応した原動画像データを優先的に選択して、原動画像データから前記再生用動画像データを生成するステップと、再生用動画像データを出力するステップとを含む。
【００１６】
入力した原動画像データと入力した付属データを対応づけて記憶するステップをさらに含んでもよい。付属データを入力するステップで入力した付属データは、複数のブロックのそれぞれに対応した状態の情報も含み、再生用動画像データを生成するステップは、状態の情報をもとに複数のブロックのうち所定のブロックに対応した原動画像データの順序を入れ替えて、原動画像データから再生用動画像データを生成してもよい。
【００１７】
再生用動画像データを修正するための情報を入力するステップをさらに含んでもよい。この装置において、再生用動画像データを生成するステップは、入力した再生用動画像データを修正するための情報をもとにして、再生用動画像データを修正してもよい。
【００１８】
なお、以上の構成要素の任意の組合せや組み替え、本発明を方法、コンピュータプログラムなどと表現したものもまた、本発明の態様として有効である。
【００１９】
【発明の実施の形態】
（実施の形態１）
［１］映像議事録システムについて
近年、ＣＰＵ・ストレージ・ネットワークなどのコンピュータ技術の高性能化により、コンピュータで容易に映像・音声を取り扱う環境が整ってきた。映像・音声は視覚と聴覚という人間が頻繁に利用する感覚に訴えるため、現実世界を忠実に再現でき、多くの場面で重要なメディアである。個人のコミュニケーションの場面では、映像チャットが利用されている。教育の場面ではインターネットを利用した遠隔教育がある。
【００２０】
多くの場面で映像・音声が取り入れられる中、会議議事録に関しては未だテキストを利用したものが大半である。会議議事録は会議に欠席した場合や、後日会議の内容を確認したい場合などに必要であり重要である。欠席者や途中参加者が会議にどのように参加すべきか研究はおこなわれている。
【００２１】
会議議事録を単に映像・音声化するには、会議の様子を撮影・録音すればよい。その手法ではテキスト議事録と違い、重要な部分が分からないため、実際の会議と同等の時間を費やし閲覧する。さらに、映像・音声には検索手段などの２次利用する手段がなく、記録された映像・音声が後日使われることはほとんど無い。
【００２２】
会議議事録において映像・音声を用いるには、短時間での閲覧を可能にする要約が必要になる。利用者に負担をかけないのは要約を自動化することである。その場合の判断材料は映像と音声になる。会議では配布資料による読み合わせであったり、ホワイトボードを使用したり、コンピュータを利用したりなどの様々な様式がありパターンが決まっておらず、動きがあまり無いので、映像から判断することは難しい。
【００２３】
音声から判断する場合は、音声認識や言語・意味解析などを組み合わせる方法がある。音声認識や言語・意味解析は現在も研究が進められ着実に進歩はしているが、これら熟成してない技術を連動させて稼動させた場合十分な性能を発揮することは困難である。さらに、会議では会話する相手は人間なので口語であり、次から次へと会話が進み、複数の人が同時に話している状態も想定され、専門用語が飛び交うことを考慮すると、現段階では時期尚早である。
【００２４】
よって、あらゆる会議を自動的に要約することは困難であり、人間によるサポートを必要とする。そこで、要約に必要となる会議メタデータを会議参加者の１人が入力し、閲覧時間の短縮を目指す。さらに、エンドユーザが利用できるように会議の登録から閲覧までに利用する会議メタデータ入力用のアプリケーション、会議コンテンツ登録、会議コンテンツ管理、コンテンツカスタマイズをシステムとして提案し実装を行った。
【００２５】
［２］要約手法の提案
会議の様子を映像・音声で記録して、後日その模様を閲覧者が要求した時間に要約し再生する映像議事録システムを提案する。
要約の判断材料となる情報である会議メタデータを記録するため、会議参加者の１人が会議メタデータ入力者を務める。これにより、会議がいかなる分野の内容であろうと、どのようなスタイルであろうと対応することが可能である。データ入力者は以下に説明する要約に必要となる会議メタデータの入力をおこなう。
【００２６】
会議の要約を行うベースは重要度である。会議メタデータ入力者の主観で評価をおこなう。図１に示すように時間ごとに重要度を判断する。要約は、閲覧者の要求してきた時間に合わせて重要度が高いブロックを優先的に構成し結合を行う。
【００２７】
会議は「発表」・「議題提示」・「議論」・「結論」の４つの状態から構成され、図２のように遷移する。長時間に及ぶ会議では、「議論」状態が多くを占める。「議論」の状態は「議題提示」から「結論」に至るまでの経過であるため、「結論」に何らかの影響を及ぼす。
【００２８】
そこで、図３のように「結論」と「議論」の順番を入れ替える。閲覧する時には「結論」を「議論」よりも先に見てもらい、その後に必要であれば「議論」を見てもらうという遷移をする。これにより、「議論」を削減できる可能性が出てくる。閲覧者は「議題提示」と「結論」を見て、その途中経過を補完できる場合は、「議論」状態はカットできる。補完できなかった場合や、補完経路が複数あり特定できなかった場合にのみ「議論」状態を確認すればよい。
【００２９】
学術論文においても、以前は「結論」が最後に書いてあったが、最近の学術論文などでは最初にサマリが存在しその中に「結論」が述べられており、本文中でそこに至るまでの経緯を記述してある。これは短時間に論文を理解するための知恵であると考えられる。
【００３０】
［３］システム構成
システム概略と流れを図４に示す。
はじめに、会議の様子をカメラとマイクで、映像・音声として記録する。それに伴い、会議参加者の１人が会議の区切り・重要度・内容などを記録する会議メタデータ入力者を務める。
次に、映像・音声データと会議メタデータが、サーバサイドに送信され蓄積される。
【００３１】
最後に、閲覧者がサーバサイドに蓄積された会議データを閲覧する。閲覧者は状況により閲覧に費やせる時間を入力し、システムはそれに適したシナリオを自動的に作成し閲覧者に提示する。そして、ストリーミングによって映像・音声を閲覧者に配信をおこなう。
【００３２】
［３．１］会議メタデータ編集アプリケーション
会議メタデータ編集アプリケーションは、会議参加者の１人が会議メタデータ入力者となり会議メタデータを入力・編集するＧＵＩアプリケーションである。
会議メタデータ編集アプリケーションは会議中と会議終了後の２つの場面で入力・編集を行う。会議メタデータ入力者は会議参加者の１人であるため、会議終了後にも編集できる機会を提供することで、会議中は可能な範囲で会議メタデータを入力するというスタンスになり、会議参加の障害にはならない。
会議メタデータ編集アプリケーションの実装には、マルチプラットフォーム稼動が可能でＧＵＩコンポーネントを標準ＡＰＩでサポートするＪａｖａ（登録商標）言語を使用した。
【００３３】
［３．１．１］会議メタデータ
入力する会議メタデータには区切れ・重要度・状態・テキスト情報がある。
区切れは会議の境目を示す。図５に示す重要度、状態、トピックの３種類の区切れを定義する。重要度区切れは重要度が異なる場合に区切る。状態区切れは状態が変化した場合に区切る。トピック区切りは話題が変わった場合に区切る。重要度が変わらずに状態が変化している場合は、同じ重要度であっても区別する。そのため、重要度区切れは状態区切れを含む。同様に、状態区切れはトピックス区切れを含む。区切れによって区切られた区間をブロックと定義し、トピックブロックには、１つ以上の状態ブロックを含む。同様に状態ブロックには、１つ以上の重要度ブロックを含む。
【００３４】
重要度は会議メタデータ入力者の主観で重要度ブロックそれぞれに対して会議中にどれだけの価値に値するか示すものであり、５段階で評価を行う。
状態は状態ブロックごとに「発表」、「議題提示」、「議論」、「結論」の４つの状態から最適な状態を選択する。
テキスト情報はブロックごとに、オプションとしてテキスト情報を付加できる。具体的には、タイトルと内容と入力が可能である。
【００３５】
［３．１．２］会議終了後会議メタデータ編集
会議終了後の会議メタデータ編集は、会議中と同様なユーザインタフェイスを使用することで会議メタデータ入力者への負担が軽減されるため会議メタデータ編集アプリケーションを流用する。
会議終了後の会議メタデータ編集では会議中に録画・録音した映像・音声を再生しながら編集する。そのためには、事前に映像・音声ファイルをサーバに登録しておき、ストリーミングで閲覧しながら編集をおこなう。
【００３６】
より使いやすくするには、会議メタデータ編集アプリケーションのアクティブな時間と映像・音声の再生時間が同期すればよい。会議メタデータ編集アプリケーションはＪａｖａ言語で実装し、映像・音声の再生はＲｅａｌＮｅｔｗｏｒｋｓ社の動画再生プレイヤＲｅａｌＯｎｅを用いたが、お互いが直接操作するのは困難である。
【００３７】
そこで、双方を操作可能な第三者に、双方の時間を操作できる権限を委譲する。具体的にはＷｅｂブラウザ上で稼動するＪａｖａＳｃｒｉｐｔに委託する。Ｊａｖａアプリケーションは直接ＪａｖａＳｃｒｉｐｔから操ることは無理であるが、Ａｐｐｌｅｔ化することで操作が可能となる。ＲｅａｌＯｎｅはＪａｖａＳｃｒｉｐｔから操作ができるＡＰＩが提供している。これにより、Ｗｅｂブラウザ上において双方の同期が可能となる。
会議メタデータ編集アプリケーションは編集の中断が可能なように、会議メタデータの出力機能と、インポート機能がある。
【００３８】
［３．１．３］会議メタデータ出力
会議メタデータ編集アプリケーションが出力する会議メタデータはＸＭＬ形式に準拠する。サーバサイドで最終的に出力されるのはＸＭＬ形式に準拠したＳＭＩＬであり変換がし易く、拡張性があるためＸＭＬ形式を採用した。会議メタデータを格納するために独自にＸＭＬ文書構造を定義した。会議メタデータの出力は、新たなウィンドウ上に文字列として表示する。閲覧者はその会議メタデータをコピーし、登録用のＷｅｂアプリケーションの入力フォームにペーストするか、ファイルにペーストして保存する。
【００３９】
［３．２］映像・音声
映像・音声を記録する機材はＷｅｂカメラやビデオカメラなど何でもよい。会議は多種多様な場所で行われるため、撮影・録音するにはそれに適した機材が必要となる。そのため、映像・音声コンテンツは最終出力のフォーマットを決めておく。映像・音声コンテンツの登録時に、サーバサイドで最終的なエンコードがおこなわれる。サーバサイドのエンコーダとしてＷｉｎｄｏｗｓ（登録商標）プラットフォームでのＲｅａｌＰｒｏｄｕｃｅｒを使用しているため、入力フォーマットとしてＡＶＩやＱｕｉｃｋＴｉｍｅなどをサポートしており、映像・音声はそれらのフォーマットで保存をおこなう。
【００４０】
［３．３］サーバサイド構成
サーバサイド構成を図６に示す。Ｗｅｂアプリケーションとして実装を行い、Ｔｏｍｃａｔ上で稼動する。
【００４１】
［３．３．１］アップロード・蓄積
会議メタデータと映像・音声ファイルを登録にはＷｅｂアプリケーションを利用する。会議メタデータ編集アプリケーションが出力したＸＭＬ形式の会議メタデータを、会議メタデータ入力者がＷｅｂアプリケーションの会議メタデータ登録ページの入力フォームにペーストし、送信ボタンを押すことでサーバ側に送信が行われる。映像・音声ファイルも同様にＷｅｂブラウザを使用し登録する。
【００４２】
アップロードされたＸＭＬ形式の会議メタデータ、映像・音声ファイルはサーバサイドで蓄積される。会議メタデータはＸＭＬ形式であり、ＸＭＬ形式のデータを保存する必要がある。
本システムでは、ＸＭＬデータとＲＤＢをマッピングが不必要な点と将来性の点からネイティブＸＭＬデータベースを利用した。将来的には、複数の会議を連結させて１つのシナリオを完成させること想定しているため、複数のＸＭＬ文書を検索・結合が高速に行えることが求められる。
【００４３】
ネイティブＸＭＬデータベースにはＸｉｎｄｉｃｅを使用した。Ｘｉｎｄｉｃｅは、ＴｈｅＡｐａｃｈｅＳｏｆｔｗａｒｅＦｏｕｎｄａｔｉｏｎのプロジェクトの１つとして開発されている。
映像・音声ファイルの管理には会議メタデータのネイティブＸＭＬデータベースとは別に、ＲＤＢを使用する。受信された映像・音声ファイルはＲｅａｌＰｒｏｄｕｃｅｒを使用しストリーミング配信可能なフォーマットにエンコードを行う。エンコードされた映像・音声はファイルとして保存して、そのファイルを示すパスをＲＤＢに格納する。
【００４４】
［３．３．２］シナリオ作成
会議の様子を利用者に合わせて構成したものをシナリオと呼ぶ。シナリオは会議メタデータと同等のＸＭＬ文書構造をしている。閲覧者はＷｅｂブラウザを介してシナリオを作成する。閲覧者は最初に会議のタイトルや実施日時などの会議情報が記述されている会議一覧のＷｅｂページにアクセスし、閲覧したい会議をクリックする。サーバサイドでは、クリックされた会議の会議メタデータを読み込まれデフォルトのシナリオが作成される。デフォルトのシナリオでは選択された会議全てのブロックを盛り込んでいる。デフォルトのシナリオの時点ですでに「議論」と「結論」が入れ変えており。次に会議詳細シナリオページを閲覧者に返す。
【００４５】
会議詳細シナリオページは閲覧者とシステムの対話を行い、シナリオをカスタマイズするページである。このページは、現在のシナリオと会議全般に関する情報が表示される。選択された会議のトピック・状態・重要度の全てのブロックがツリー構造でタイトルが表示される。重要度ブロックには重要度、状態には状態名も併せて表示する。木構造の末端である重要度ブロックの先頭にはチェックボックスが配置され、チェックされていれば現在のシナリオの構成要素であることを示している。現在選択されているシナリオのトータル時間なども表示する。
【００４６】
会議詳細シナリオページでは時間を入力することで、閲覧者の希望する時間に要約したシナリオをシステムが提案する。ここで入力された時間内で収まるシナリオを生成する。その手段としては、会議メタデータの重要度の高いブロックから構成していく。同等の重要度な場合は、閲覧者の閲覧履歴を参照して、閲覧頻度が頻繁なキーワードが入っているブロックを構成する。会議詳細シナリオページに移動して閲覧者に要約されたシナリオは見てもらう。
【００４７】
閲覧者の指定する時間に要約はおこなうが、最終的な決定をおこなうのは閲覧者である。閲覧者がチェックボックスを直接操作し、シナリオを構成するブロックを選ぶ。これは、閲覧者によっては会議中の一部のトピックだけ理解したい場合などがあるためである。
【００４８】
［３．３．３］ＳＭＩＬ出力
閲覧者がシナリオを作成しＯＫボタンをクリックすると、ＲｅａｌＮｅｔｗｏｒｋｓ社のＲｅａｌＯｎｅプレイヤでシナリオの閲覧が始まる。閲覧者それぞれがカスタマイズしたシナリオに沿って閲覧するためにＳＭＩＬ、ＲｅａｌＴｅｘｔ、ＲｅａｌＰｉｘを使用した。
【００４９】
ＳＭＩＬは、複数のマルチメディアデータの再生時間や配置などを定義するマークアップ言語である。ＲｅａｌＴｅｘｔとＲｅａｌＰｉｘはＲｅａｌＮｅｔｗｏｒｋｓ社のプレイヤだけで動作可能で、単体として利用できるが、ＳＭＩＬの構成要素としても利用できる。ＲｅａｌＴｅｘｔはテキスト、ＲｅａｌＰｉｘは静止画に特化したものである。ＳＭＩＬで映像コンテンツの再構成をすることで、閲覧者ごとに作り変えるのはＳＭＩＬファイルだけなので処理が軽く、映像・音声コンテンツ自体は変更しなくてよい。
【００５０】
画面構成としては、映像と、アクティブなブロックに関するテキスト情報と、頭出しを行うインデックスを表示する３つから構成される。テキスト情報はＲｅａｌＴｅｘｔを使用した。インデックスにはトピックス間を移動、状態間を移動する２つのインデックスを用意する。トピックス間移動のインデックスはアクティブなトピック、１つ前のトピック、１つ後ろのトピックへの頭出しを行える３つのイメージを用意する。状態間移動インデックスはＲｅａｌＴｅｘｔを使用し、シナリオの全てのブロックをタイトル付で表示し、クリックするとそのブロックの頭出しが行われる。
【００５１】
シナリオと会議メタデータのＸＭＬ文書構造は独自に定義したもので、最終的な出力であるＳＭＩＬ、ＲｅａｌＴｅｘｔ、ＲｅａｌＰｉｘに変換を行う。変換はサーバサイドにおいて、ＸＳＬスタイルシートを用意しておき、図７に示すようにシナリオにそれぞれのスタイルシートを適用し変換することで、表示するのに必要な全てのファイルを生成する。閲覧者側には変換されたＳＭＩＬ・ＲｅａｌＴｅｘｔ・ＲｅａｌＰｉｘが返され、シナリオに沿ったコンテンツが閲覧できる。
【００５２】
［４］実装
［４．１］実装環境
会議メタデータ編集アプリケーションはＪａｖａ２ＳＤＫ、ＳｔａｎｄａｒｄＥｄｉｔｉｏｎを使用し、Ｓｗｉｎｇコンポーネントを利用して実装をおこなった。
サーバは以下のソフトを使用した。
【００５３】
Ｗｅｂサーバ、Ｓｅｒｖｌｅｔコンテナ：Ｔｏｍｃａｔ４．１．１２
Ｊａｖａバーチャルマシーン：Ｊａｖａ２ＳＤＫ、ＳｔａｎｄａｒｄＥｄｉｔｉｏｎ、１．４．１−ｂｅｔａ
ＸＭＬネイティブデータベース：Ｘｉｎｄｉｃｅ１．０
リレーショナルデータベース：ＭｙＳＱＬ３．２３．３８
映像・音声エンコーダ：ＲｅａｌＰｒｏｄｕｃｅｒＰｌｕｓ８．５１
映像・音声配信サーバ：ＲｅａｌＳｅｒｖｅｒ８
クライアントは以下のソフトを使用した。
【００５４】
Ｗｅｂブラウザ：ＩｎｔｅｒｎｅｔＥｘｐｌｏｒｅｒ６．０ＳＰ１
映像・音声再生プレイヤ：ＲｅａｌＯｎｅＰｌａｙｅｒ２．０
［４．２］実行結果
前述の環境に実装をおこなった。会議中に会議メタデータ入力者が使用するのが図８の会議メタデータ編集アプリケーションである。マウス操作によって区切りを指定し、スライダコンポーネントで重要度を指定する。状態のタイプはプルダウンメニュから選択する。
【００５５】
図９は閲覧者がＷｅｂブラウザを介してシナリオ作成をしている画面である。ブロックの重要度は×△○などで示され、時間指定やカスタマイズをおこなう。閲覧者が作成したシナリオで会議を見る画面が図１０である。アクティブなトピックの全てのブロックが表示されており、再生中のブロックに関しては色が他のブロックとは違う。他のブロックをクリックすることで、そのブロックの頭出しが可能である。
以上、会議の様子を映像・音声で記録し、後日その模様を閲覧者が要求した時間に要約し再生する映像議事録システムの実装をおこなった。
【００５６】
会議中の会議メタデータ入力は、会議メタデータ入力者が会話に参加している場合は、区切れを入力する程度でテキスト情報までの入力は出来なかった。しかし、会議後に再編集できる機会があるので発言もなんら問題なくでき、会議に集中できた。会議後の編集では、会議の記憶が残っている間におこなえば、部分的にみるだけで内容が理解できるため、会議メタデータを入力できる。そのため、編集時間を短くしたい場合は、会議後早い段階で編集に取りかかるべきである。会議メタデータを編集してみると、会議の状態によって重要度の重みを決定する方法を使用しなくとも、「結論」の部分は重要度が増し、「議論」の部分は重要度が低い傾向であった。
【００５７】
会議コンテンツの閲覧時は、閲覧画面に頭出し機能を付けたため対話式であり、普通の映像・音声コンテンツを見る時のような受動的な姿勢ではなく、能動的な姿勢で取り組めるため理解が進む。
テキストによる議事録では人間による曖昧な記録に頼ることになるが、現実を忠実に再現できる映像・音声で記録していくことで大きなメリットがある。会議での発言が言った言わないという水掛け論が度々起こるが、映像・音声で確実に分かる。これは、ビジネスにおいては絶対に必要な事柄である。
【００５８】
（実施の形態２）
図１１は、実施の形態２に係る映像議事録システム１００の構成を示す。映像議事録システム１００は、サーバ１０、閲覧者用ＰＣ１２、記憶部１４を含む。またサーバ１０は、原動画像データ入力部１６、付属データ入力部１８、管理部２０、動画像編集部２２、インターフェース部２４、動画像出力部２６を含む。
【００５９】
サーバ１０は、原動画像データを編集し、さらに編集した原動画像データ（以下、「再生用動画像データ」という）を配信する。
閲覧者用ＰＣ１２は、閲覧者によって使用され、サーバ１０に対して再生用動画像データ生成の指示を出したり、再生用動画像データを再生する。また、これらの機能を実現するためのソフトウエアもインストールされている。
【００６０】
記憶部１４は、原動画像データ、音声データ、付属データを記憶する。なお、記憶部１４はサーバ１０の内部に設けられてもよい。以下、「音声データ」を記載せず、「原動画像データ」の記載に含まれるものとするが、このように記載された「原動画像データ」は、「音声データ」を含まない「原動画像データ」と区別しないものとする。
原動画像データ入力部１６は、原動画像データとして会議の映像を入力する。
【００６１】
付属データ入力部１８は、原動画像データを所定の時間間隔で分割した場合に生成される複数のブロックについての情報を入力する。例えば、時間０：００から１：００はブロック１、時間１：００から２：００はブロック２というような、ブロックの期間を指定可能な時間が情報に含まれる。また、それぞれのブロックについての重要度が、「高」、「中」、「低」のような段階で示されている。さらに、それぞれのブロックの状態が、「発表」、「議題提示」、「議論」、「結論」のように示されている。
【００６２】
管理部２０は、原動画像データと付属データを対応させて、記憶部１４に記憶する。また、所定の指示に従って、記憶部１４から原動画像データと付属データを読み出す。
動画像編集部２２は、後述する方法のとおりに原動画像データから再生用動画像データを生成する。
【００６３】
インターフェース部２４は、原動画像データを再生用動画像データに編集する際の再生時間の長さを、閲覧者用ＰＣ１２から受けつける。また、動画像編集部２２が編集した再生用動画像データのシナリオを閲覧者用ＰＣ１２に出力する。さらに、閲覧者用ＰＣ１２からシナリオの修正の要求を受けつけて、動画像編集部２２に出力する。
動画像出力部２６は、再生用動画像データを閲覧者用ＰＣ１２に配信する。あるいは、再生用動画像データそのものを閲覧者用ＰＣ１２に出力してもよい。
【００６４】
図１２は、原動画像データ編集手順を示すフローチャートである。インターフェース部２４は、閲覧者用ＰＣ１２から、原動画像データを再生用動画像データに編集した際の再生時間の長さを受けつける（Ｓ１０）。動画像編集部２２は、要求された再生時間の長さに応じて、記憶部１４に記憶されている付属データの情報をもとに、高重要度のブロックを選択する（Ｓ１２）。選択したブロックによる再生時間の長さと、要求された再生時間の長さの誤差が、許容値以内でなく（Ｓ１４のＮ）、選択したブロックによる再生時間の長さが、要求された再生時間の長さより短い場合（Ｓ１６のＹ）、動画像編集部２２は、記憶部１４に記憶されている付属データの情報をもとに、中重要度のブロックを選択する（Ｓ１８）。
【００６５】
選択したブロックによる再生時間の長さと、要求された再生時間の長さの誤差が、許容値以内でなく（Ｓ２０のＮ）、選択したブロックによる再生時間の長さが、要求された再生時間の長さより短い場合（Ｓ２２のＹ）、動画像編集部２２は、記憶部１４に記憶されている付属データの情報をもとに、低重要度のブロックを選択する（Ｓ２４）。選択したブロックによる再生時間の長さと、要求された再生時間の長さの誤差が、許容値以内でない場合（Ｓ２６のＮ）、さらに、これまでにおいても選択したブロックによる再生時間の長さが、要求された再生時間の長さより短くない場合（Ｓ１６のＮ、Ｓ２２のＮ）、動画像編集部２２は一部のブロックを削除する（Ｓ２８）。選択したブロックによる再生時間の長さと、要求された再生時間の長さの誤差が、許容値以内であれば（Ｓ１４のＹ、Ｓ２０のＹ、Ｓ２６のＹ）、動画像編集部２２は複数のブロックのうち「結論」と「議論」に相当する部分を入れ替える（Ｓ３０）。
【００６６】
以上の処理で生成された再生用動画像データのシナリオをインターフェース部２４が閲覧者用ＰＣ１２に対して表示する（Ｓ３２）。さらに、インターフェース部２４は閲覧者用ＰＣ１２からシナリオ変更の要求を受けつけ、当該要求に応じて動画像編集部２２が再生用動画像データを再編集する（Ｓ３４）。動画像出力部２６は、再編集された再生用動画像データを閲覧者用ＰＣ１２に配信する（Ｓ３６）。
【００６７】
本実施の形態によれば、付属データに含められたブロックの重要度に応じて、原動画像データを編集するため、重要度の高い部分を優先的に選択できる。さらに、結論と議論の順序を入れ替えて、結論を先に表示するため、結論を迅速に理解できる。
【００６８】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それら各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲であることは当業者に理解されるところである。そうした例を挙げる。
【００６９】
実施の形態１において本システムは、実際の会議だけではなく、ビデオ会議や講義やＴＶ番組などでも若干の変更を施すだけで利用が可能である。この変形例によれば、他の分野への適用が可能である。
【００７０】
実施の形態１において、あるユーザが作成したシナリオは、当該ユーザによって使用されているが、これに限らず、他のユーザと共有してもよい。この変形例によれば、シナリオ作成の時間を短縮できる。
【００７１】
実施の形態２において、原動画像データ入力部１６から原動画像データと音声データを入力しているが、これに限らず、例えば、原画像データのみを入力してもよい。すなわち、動画像と音声を個別に管理してもよい。
【図面の簡単な説明】
【図１】実施の形態１に係る重要度による要約を示す図である。
【図２】実施の形態１に係る会議における状態遷移を示す図である。
【図３】実施の形態１に係る閲覧時間を短縮するための状態遷移を示す図である。
【図４】実施の形態１に係るシステムの概略を示す図である。
【図５】実施の形態１に係る会議メタデータの区切りを示す図である。
【図６】実施の形態１に係るサーバサイド構成を示す図である。
【図７】図６の装置におけるデータ構造を示す図である。
【図８】図６の装置における会議メタデータ編集アプリケーションを示す図である。
【図９】図６の装置におけるシナリオ作成ページを示す図である。
【図１０】図６の装置における閲覧画面を示す図である。
【図１１】実施の形態２に係る映像議事録システムの構成を示す図である。
【図１２】図１１の原動画像データ編集手順を示すフローチャートである。
【符号の説明】
１０サーバ、１２閲覧者用ＰＣ、１４記憶部、１６原動画像データ入力部、１８付属データ入力部、２０管理部、２２動画像編集部、２４インターフェース部、２６動画像出力部、１００映像議事録システム。

Claims

編集対象の原動画像データを入力する原動画像データ入力部と、
前記原動画像データを複数のブロックに分割した場合において、それぞれのブロックについての重要度の情報を含んだ付属データを入力する付属データ入力部と、
前記原動画像データから生成すべき再生用動画像データの再生時間の長さを入力する時間入力部と、
前記入力した再生時間の長さに応じて、重要度の高いブロックに対応した原動画像データを優先的に選択して、前記原動画像データから前記再生用動画像データを生成する動画像編集部と、
前記再生用動画像データを出力する出力部と、
を含むことを特徴とする動画像編集装置。
前記入力した原動画像データと前記入力した付属データを対応づけて記憶する記憶部をさらに含むことを特徴とする請求項１に記載の動画像編集装置。
前記付属データ入力部で入力した前記付属データは、前記複数のブロックのそれぞれに対応した状態の情報も含み、
前記動画像編集部は、前記状態の情報をもとに前記複数のブロックのうち所定のブロックに対応した原動画像データの順序を入れ替えて、前記原動画像データから前記再生用動画像データを生成することを特徴とする請求項１または２に記載の動画像編集装置。
前記再生用動画像データを修正するための情報を入力する情報入力部をさらに含み、
前記動画像編集部は、前記入力した再生用動画像データを修正するための情報をもとにして、前記再生用動画像データを修正することを特徴とする請求項１から３のいずれかに記載の動画像編集装置。
複数のブロックに分割され、かつそれぞれのブロックに対して重要度が定義された原動画像データから、重要度の高いブロックに対応した原動画像データを優先的に選択して、所定の再生時間の長さとなる再生用動画像データを生成する動画像編集方法。
編集対象の原動画像データを入力するステップと、
前記原動画像データを複数のブロックに分割した場合において、それぞれのブロックについての重要度の情報を含んだ付属データを入力するステップと、
前記原動画像データから生成すべき再生用動画像データの再生時間の長さを入力するステップと、
前記入力した再生時間の長さに応じて、重要度の高いブロックに対応した原動画像データを優先的に選択して、前記原動画像データから前記再生用動画像データを生成するステップと、
前記再生用動画像データを出力するステップと、
をコンピュータに実行させるためのプログラム。