JP2007140199A - メタデータ制作装置 - Google Patents

Abstract

【課題】本発明は、映像・音声コンテンツに関連する詳細なキーワードデータを確実かつ簡単な操作で作成し、キーワード検索できる数多くのメタデータを的確かつ短時間で作成するメタデータ作成装置を提供する。
【解決手段】重要なキーワードデータはスイッチ手段８およびデータ発生手段９を用いて作成し、他のキーワードデータは音声で入力したキーワードの音声信号を音声認識手段５でキーワードデータに変換して作成することによって、キーワードで検索できる数多くのメタデータを的確かつ短時間で作成することを実現させた。
【選択図】図１

Description

本発明は、コンテンツ制作におけるメタデータ制作システム及び方法に関する
ものである。

近年、映像・音声コンテンツ（以下、略してコンテンツとも言う）の制作において、これらコンテンツに関連したメタデータの付与することが行われている。

しかしながら、上記メタデータの付与は、制作された映像・音声コンテンツのシナリオあるいはナレーション原稿をもとに制作された映像・音声コンテンツを再生しながらメタデータとすべき情報を確認し、手作業でコンピュータ入力することにより制作する方法が一般的であり、相当な労力の必要な方法であった。

具体的には、映像素材のＶＴＲを、手動で再生、停止を繰り返して、映像の開始時間情報、映像内容、映像の終了時間情報などを記載した一覧表を作成。その一覧表をタグ情報一覧表として、編集もしくは映像情報管理機材に情報を入力していた。これら作業の全てが手動で行われる為、平均作業時間は元素材の尺の5〜10倍の時間を必要とされていた。

そこで、キーワード作成の作業量を低減するために、コンテンツに含まれている音声を音声認識方法で認識し、認識された音声からキーワードを自動的に作成する方法が提案されている（特許文献１参照）。
特開平０９−１３０７３６号公報

本願発明は、上記従来の問題点に係る課題を解決することを目的とするものであって、制作された映像・音声コンテンツを再生することによりメタデータとすべき情報を確認し、音声入力及びゲームパッドや、テンキー、キーパッドなどスイッチ手段を用いたデータ入力手段でコンピュータに入力することにより、制作するシステム及び方法を提供することを目的とする。

上記課題を解決するために本願発明は、製作されたコンテンツの再生手段、上記再生手段で再生された映像信号を表示する映像モニタ手段、上記再生手段で再生された音声信号をモニタする音声モニタ手段、上記映像モニタ手段および上記音声モニタ手段でオペレータが確認した制作すべきメタデータ内容をオペレータの発声によりマイクで収録する音声入力手段、上記音声入力手段により入力された音声信号を認識する音声認識手段、ゲームパッドやテンキー、キーパッドの各ボタン、キーを押すスイッチ手段と上記スイッチ手段により作動するデータ発生手段、上記音声認識手段で認識された音声情報とスイッチ手段、データ発生手段で得られた出力情報をメタデータに変換することによりメタデータを生成するメタデータ制作手段、および上記コンテンツと上記メタデータとを関連付けるため、上記コンテンツに付与されているタイムコード情報と上記メタデータとを入力しタイムコ−ド付メタデータとするタイムコード付与手段とを備えたものである。

これにより、従来キーボードで入力し、制作していたメタデータを、音声認識及びゲームパッド、テンキーやキーパッドなどの入力機器を用いて入力し、自動的にタイムコードつきのメタデータを制作することが可能となる

本発明は、コンテンツに関連したメタデータの作成あるいはタグ付けを行うに当たり、音声入力による音声認識とスイッチ入力を組み合わせて用い、且つ、上記メタデータあるいはタグとコンテンツとの時間あるいはシーンとの関連付けを行うため、従来のようなキーボード入力より、効率的に、メタデータの作成やタグ付けを実施することが出来る。

本発明の請求項１に係る発明は、コンテンツに関連するメタデータの制作装置であって、音声入力手段と、音声認識手段と、スイッチ手段と、データ発生手段とメタデータ制作手段とを具備し、上記コンテンツに関連した情報を上記音声入力手段およびスイッチ手段により入力し、上記入力された音声信号を音声認識手段で認識したデータ、スイッチ手段により作動せられたデータ発生手段の出力データおよびコンテンツ自体の時間軸情報とを、上記メタデータ制作手段において組み合わせることにより、メタデータを制作することを特徴とするメタデータ制作装置である。

本発明の請求項２に係る発明は、上記コンテンツ自体の時間軸情報として、コンテンツに付与されているタイムコード情報を用いることを特徴とする請求項１に記載のメタデータ制作装置である。

本発明の請求項３に係る発明は、上記コンテンツ自体の時間軸情報として、コンテンツに付与されているいわゆる時間情報を用いることを特徴とする請求項１に記載のメタデータ制作装置である。

本発明の請求項４に係る発明は、上記コンテンツ自体の時間軸情報として、コンテンツに付与されているコンテンツの番地あるいは番号あるいはフレームナンバーを用いることを特徴とする請求項１に記載のメタデータ制作装置である。

以下、本発明の実施の形態について図面を用いて説明する。

（実施の形態１）
図１は、本発明の実施の形態1によるメタデータ制作装置の構成を示すブロック図である。図1において、１はコンテンツ再生手段、２は映像モニタ手段、３は音声モニタ手段、４は音声入力手段（マイク）、５は音声認識手段、６は辞書、７はメタデータ制作手段、８はスイッチ手段（ゲームパッド）、９はデータ発生手段である。

コンテンツ再生手段１は、たとえばＶＴＲ（あるいはハードディスクで構成された映像・音声信号再生装置、あるいは半導体メモリなどのメモリ手段を記録媒体とする映像・音声信号再生装置、あるいは光学記録式または磁気記録式などの回転型ディスクで構成された映像・音声信号再生装置、さらには伝送されてきたあるいは放送されてきた映像・音声信号を復調する映像・音声再生装置などのコンテンツ復調手段）である。上記コンテンツ再生手段1は、映像信号出力端子１０１、音声信号出力端子１０２およびタイムコード出力端子１０３を具備し、再生された映像信号は端子１０１および２０１を介して、映像モニタ手段２に供給され、再生された音声信号は端子１０２および３０１を介して、音声モニタ３に供給され、再生されたタイムコードは端子１０３および７０１を介してメタデータ制作手段７に供給される。

メタデータを制作する制作者（図示せず）は、映像モニタ手段２と音声モニタ手段３のいずれかあるいは両方を確認しながら、場合によればシナリオまたはナレーション原稿なども参照しながら、入力すべきメタデータの発声およびスイッチ入力を行う。

音声入力手段４は、上記制作者の発声を受付、音声信号に変換して、音声認識手段５に供給する。また、必要に応じて、音声認識用の辞書６も、音声認識手段５に供給される。音声認識手段５で認識された、音声データはメタデータ制作手段７に供給され、メタデータあるいはタグに変換される。 一方で制作者は映像の切り替わり点や重要なタグを確実に入力するためにスイッチ手段８で入力を行う。

入力された情報は、あらかじめ各スイッチに登録されたタグ情報を保有するデータ発生手段９を経由して、メタデータ制作手段７に供給され、音声入力手段４同様、メタデータあるいはタグに変換される。メタデータ制作手段７においては更に、制作されたメタデータあるいはタグと、コンテンツ自身の内容と時間関係あるいはシーンとの関係を略略一致させるため、コンテンツ再生手段１から供給されたタイムコードの情報が付与される。

より具体的に説明するため料理説明をする場面を一例として想定する。この場合オペレータが、映像モニタ手段２の表示画面を確認しながら、映像開始時にゲームパッドのスイッチ入力８２番を押すと、データ発生手段９にて、映像の開始点を表す"["の情報が生成され、メタデータ制作手段7に渡され"["というタグに変換された後、同メタデータ制作手段７において８２番スイッチを入力した時のタイムコード情報（時／分／秒／フレーム）が付与される。続いて音声入力手段（マイク）４を通じて“塩 １さじ”と発声すると、音声認識手段５にて、辞書６を参照しながら、“塩” “１さじ”と認識されメタデータ制作手段７に供給され、各々“塩”、“１さじ”というタグと発声時のタイムコード情報（時／分／秒／フレーム）が付与される。

最後にこの映像が終了した段階で、ゲームパッドのスイッチ入力８１番を押すと、データ発生手段９にて、映像の終了点を表す"]"の情報が生成され、メタデータ制作手段7に渡され"]"というタグに変換された後、同メタデータ制作手段７において８１番スイッチを入力した時のタイムコード情報（時／分／秒／フレーム）が付与される。同様に、次の映像開始時にゲームパッドのスイッチ入力８２番を押し、データ発生手段９にて、次の映像の開始点を表す"["の情報が生成され、メタデータ制作手段7に渡され"["というタグに変換された後、同メタデータ制作手段７において８２番スイッチを入力した時のタイムコード情報（時／分／秒／フレーム）が付与される。

続いて音声入力手段（マイク）４を通じて“砂糖 ２さじ”と発声すると、音声認識手段５にて、辞書６を参照しながら、“砂糖” “２さじ”と認識されメタデータ制作手段７に供給され、各々“砂糖”、“２さじ”というタグと発声時のタイムコード情報（時／分／秒／フレーム）が付与される。

最後にこの映像が終了した段階で、ゲームパッドのスイッチ入力８１番を押すと、データ発生手段９にて、映像の終了点を表す"]"の情報が生成され、メタデータ制作手段7に渡され"]"というタグに変換された後、同メタデータ制作手段７において８１番スイッチを入力した時のタイムコード情報（時／分／秒／フレーム）が付与される。以降も同様の手順にてオペレータはタグ付けを行っていく。なお、音声認識としては、上記音声認識手段５に限定されず、一般的に用いられている種々の手段を用いて音声認識し“しお”や“さとう”、“ひとさじ” 、“ふたさじ”とのデータを認識してもよい。

ちなみに上記にて映像開始時点につけられた“[”は映像編集を行うにあたって、映像もしくはクリップの開始点（In点）を表現する記号として、映像分野では広く知られた記号であり、これは映像もしくはクリップの終了点（Out点）を表現する"]"の記号も同様である。

また、ここではゲームパッドのスイッチ入力手段82番と81番を用いて、“[”と“]”の記号を入力したが、これは他のスイッチ入力手段でも同様に各ボタンを用いて入力することが可能である。 例えば、テンキーでは104番、ソフトキーボードでは106番、オリジナルキーパッドでは108番を押して“[”を入力する一方、テンキーの105番、ソフトキーボードの107番、オリジナルキーパッドの109番を押して“]”を入力することが可能である。

なお、一般には、メタデータとは、このようなタグの集合体を意味するものである。メタデータ制作手段７では、コンテンツ再生手段１０３からの信号をもとに、タイムコードが付与されたタイムコード付与メタデータが生成される。生成されたメタデータは、そのまま出力されても良く、またハードディスク等の記録媒体に蓄積しても良い。

さらに上述した実施例では、コンテンツとしてタイムコードの付与されている動画コンテンツの場合について説明したが、静止画コンテンツあるいは、デジタルデータコンテンツなどの場合には、上記静止画コンテンツあるいはデジタルデータコンテンツを識別するために、動画の場合のタイムコードに相当するコンテンツの番地、番号あるいはフレームナンバーを用いて上記コンテンツと生成された上記メタデータを関連づけてもよい。

なお一般的には、音声認識には何らかの影響で誤認識が生じる可能性がある。誤認識が生じた場合、制作されたメタデータ、タグをコンピュータ手段などの情報処理手段を用いて修正することは可能である一方で、映像の開始、終了点、重要な場面など誤認識が絶対に許されないタグに関しては、ゲームパッド、テンキー、キーパッドなどのボタンに、予め登録して入力することが可能である。

仮に、上記料理映像において、“塩”、“砂糖”、“１さじ”および“２さじ”が重要なキーワードであった場合、ゲームパッド上の83番を“塩”、84番を“砂糖”、85番を“１さじ”、そして86番を“２さじ”と登録することによって、上記４つのキーワードの確実な入力を行うことが出来る。尚、これらの登録は簡単に差し替えが可能であり、ジャンル毎に変更が可能となる。例えば撮影時のタグ付けの場合は、“ＯＫ”、“ＮＧ”、“ＫＥＥＰ”などが重要なキーワードであり、スポーツの場合は注目選手名以外に各スポーツの重要キーワード（野球の場合は、“ホームラン”、サッカーは“ゴール”、アメリカンフットボールでは“タッチダウン”など）が認識ミスを許されない重要キーワードであるため、それらのキーワードを各ボタンに登録する運用が考えられる。

また、これらの登録可能なボタンは、ゲームパッドに限らず、先にあげたテンキー、ソフトキーボード、オリジナルキーパッドの各ボタンに登録することが可能である。

本発明によるメタデータ作成装置は、映像・音声コンテンツに関連したメタデータの作成装置に適用できる。

本発明の実施の形態１に係るメタデータ制作装置の構成を示すブロック図 本発明の実施の形態１のブロック図（図１）上の８、９に関するスイッチ手段およびデータ発生手段の関連図 実施の形態１で紹介した例の、タグ付けイメージ図 スイッチ入力手段を行う、入力機器の例を示す図 重要キーワードのボタンへの登録に関する、本発明の実施の形態１のブロック図（図１）上の８、９に関するスイッチ手段およびデータ発生手段の関連図

符号の説明

１ コンテンツ再生手段
２ 映像モニタ手段
３ 音声モニタ手段
４ 音声入力手段
５ 音声認識手段
６ 辞書
７ メタデータ制作手段
８ スイッチ手段
９ データ発生手段
１０１ 映像出力端子
１０２ 音声出力端子
１０３ タイムコード出力端子
２０１ 映像入力端子
３０１ 音声入力端子
７０１ タイムコード入力端子
８１ 入力スイッチ１
８２ 入力スイッチ２
８３ 入力スイッチ３
８４ 入力スイッチ４
８５ 入力スイッチ５
８６ 入力スイッチ６

Claims (4)

1. コンテンツに関連するメタデータの制作装置であって、
   音声入力手段と、音声認識手段と、スイッチ手段と上記スイッチ手段により作動するデータ発生手段とメタデータ制作手段とを具備し、上記コンテンツに関連した情報を上記音声入力手段およびスイッチ手段により入力し、入力された音声信号を上記音声認識手段にて認識したデータ、スイッチ手段により作動せられたデータ発生手段の出力データおよびコンテンツ自体の時間軸情報とを、上記メタデータ制作手段において組み合わせることにより、メタデータを制作することを特徴とするメタデータ制作装置。
2. 上記コンテンツ自体の時間軸情報として、コンテンツに付与されているタイムコード情報を用いることを特徴とする請求項1に記載のメタデータ制作装置。
3. 上記コンテンツ自体の時間軸情報として、コンテンツに付与されているいわゆる時間情報を用いることを特徴とする請求項1に記載のメタデータ制作装置。
4. 上記コンテンツ自体の時間軸情報として、コンテンツに付与されているコンテンツの番地あるいは番号あるいはフレームナンバーを用いることを特徴とする請求項1に記載のメタデータ制作装置。

Images