JP2007104405A - 音声付き映像データ処理装置、音声付き映像データ処理方法及び音声付き映像データ処理用プログラム - Google Patents

Abstract

【課題】 撮影者の音声を再生時に有効に活用することができる音声付き映像データ処理装置、音声付き映像データ処理方法及び音声付き映像データ処理用プログラムを提供する。
【解決手段】 音声信号解析部５２は、撮影者音声信号記録部５０から読み出した撮影者音声データ６６から文字に変換可能な人の声を音声認識処理により文字化して発話内容情報として出力する。また、音声信号解析部５２は、上記文字化された音声が発せられている発話時間情報を取得する。この発話時間情報は、例えば、発話の開始時及び終了時の映像データ（動画）のフレームを特定する情報（フレーム）番号や、発話の開始時刻及び終了時刻等である。メタデータ生成部５４は、上記の発話時間情報、発話内容情報等を所定のファイル形式（例えば、ｘｍｌ形式）のメタデータに格納する。このメタデータは撮影者音声データ６６と関連付けられて撮影者音声信号記録部５０に記録される。
【選択図】 図２

Description

本発明は音声付き映像データ処理装置、音声付き映像データ処理方法及び音声付き映像データ処理用プログラムに係り、特に映像データと音声データとを同期させて記録する技術に関する。

従来、映像データと音声データとを同期させて記録する装置において、撮影者の音声を選択的に記録する技術が提案されている。例えば、特許文献１には、音声認識装置を用いて適応型フィルタの除去動作を制御することにより、撮影者（装置操作者）の音声を選択的に記録でき、しかも音声キーワードが記録されることがない音声記録系装置について開示されている。
実開平５−４３２００号公報

一般に、ホームユースのビデオカメラでは、集音用マイクはビデオカメラの本体に付属しており、撮影者側と被写体側の音声は同じマイクで同時に録音される。撮影時には、ビデオカメラを持つ撮影者は被写体よりもマイクに近いため、撮影者の声の方が被写体や周囲の音声よりも録音される際の音量が大きくなる。この撮影者の声は、撮影したビデオを視聴する際に往々にして邪魔になる。一方、撮影者の声は、例えば、「いま○○にいます」とか、「今日は運動会です」のように、撮影内容に関するボイスメモとして有効な場合もある。

本発明はこのような事情に鑑みてなされたもので、撮影者の音声を再生時に有効に活用することができる音声付き映像データ処理装置、音声付き映像データ処理方法及び音声付き映像データ処理用プログラムを提供することを目的とする。

上記目的を達成するために請求項１に係る音声付き映像データ処理装置は、映像データを取得する映像取得手段と、前記映像データの撮影者側の音声データを取得する第１の音声取得手段と、前記映像データの被写体側の音声データを取得する第２の音声取得手段と、前記撮影者側の音声データを文字化して発話内容情報を生成する発話内容情報生成手段と、前記映像データにおいて、前記発話内容情報に対応する前記撮影者側の音声データが発せられる時間を示す発話時間情報を取得する発話時間情報取得手段と、前記発話内容情報及び前記発話時間情報を含むメタデータを作成するメタデータ作成手段と、前記映像データ、前記撮影者側の音声データ、前記被写体側の音声データ及び前記メタデータを関連付けて記録するデータ記録手段とを備えることを特徴とする。

請求項１に係る音声付き映像データ処理装置によれば、撮影者側と被写体側の音声とを別々に保存することができるとともに、撮影者側の音声を文字化し発話内容情報をメタデータの中に保存することができる。

請求項２に係る音声付き映像データ処理装置は、請求項１において、前記第１の音声取得手段は、前記映像データの撮影者側の音声データの追加入力を受け付けることを特徴とする。

請求項２に係る音声付き映像データ処理装置によれば、映像の録画後にアフレコで音声（ナレーション、ボイスメモ）を追加できる。

請求項３に係る音声付き映像データ処理装置は、請求項１又は２において、前記映像データを出力する映像出力手段と、前記音声データを出力する音声出力手段と、前記撮影者側又は前記被写体側の音声データの音量を調整する音量調整手段とを更に備えることを特徴とする。

請求項３に係る音声付き映像データ処理装置によれば、撮影者側又は被写体側の音声を選択的に視聴することができる。

請求項４に係る音声付き映像データ処理装置は、請求項３において、前記音量調整手段は、前記被写体側の音声データの音量を前記撮影者側の音声データの音量に対して大きくするか、又は撮影者側の音声を出力しないようにすることを特徴とする。

請求項４に係る音声付き映像データ処理装置によれば、音声付き映像データの再生時に撮影者側の音声が邪魔にならない。

請求項５に係る音声付き映像データ処理装置は、請求項１又は２において、前記音声付き映像データを再生出力する再生出力手段と、前記メタデータから発話内容情報及び発話時間情報を取得する情報取得手段と、前記取得した発話内容情報に基づいてテロップを作成するテロップ作成手段と、前記取得した発話時間情報に基づいて、前記音声付き映像データの再生時に前記テロップを挿入するテロップ挿入手段とを更に備えることを特徴とする。

請求項５に係る音声付き映像データ処理装置によれば、撮影者の音声やナレーション、ボイスメモをテロップとして利用することができる。

請求項６に係る音声付き映像データ処理方法は、映像データを取得する映像取得工程と、前記映像データの撮影者側の音声データを取得する第１の音声取得工程と、前記映像データの被写体側の音声データを取得する第２の音声取得工程と、前記撮影者側の音声データを文字化して発話内容情報を生成する発話内容情報生成工程と、前記映像データにおいて、前記発話内容情報に対応する前記撮影者側の音声データが発せられる時間を示す発話時間情報を取得する発話時間情報取得工程と、前記発話内容情報及び前記発話時間情報を含むメタデータを作成するメタデータ作成工程と、前記映像データ、前記撮影者側の音声データ、前記被写体側の音声データ及び前記メタデータを関連付けて記録するデータ記録工程とを備えることを特徴とする。

また、請求項７に係る音声付き映像データ処理用プログラムは、映像データを取得する映像取得機能と、前記映像データの撮影者側の音声データを取得する第１の音声取得機能と、前記映像データの被写体側の音声データを取得する第２の音声取得機能と、前記撮影者側の音声データを文字化して発話内容情報を生成する発話内容情報生成機能と、前記映像データにおいて、前記発話内容情報に対応する前記撮影者側の音声データが発せられる時間を示す発話時間情報を取得する発話時間情報取得機能と、前記発話内容情報及び前記発話時間情報を含むメタデータを作成するメタデータ作成機能と、前記映像データ、前記撮影者側の音声データ、前記被写体側の音声データ及び前記メタデータを関連付けて記録するデータ記録機能とをコンピュータに実現させることを特徴とする。

請求項８に係る音声付き映像データ処理用プログラムは、請求項７において、前記映像データの撮影者側の音声データの追加入力を受け付ける機能をコンピュータに実現させることを特徴とする。

請求項９に係る音声付き映像データ処理用プログラムは、請求項７又は８において、前記映像データを出力する映像出力機能と、前記音声データを出力する音声出力機能と、前記撮影者側又は前記被写体側の音声データの音量を調整する音量調整機能とをコンピュータに実現させることを特徴とする。

請求項１０に係る音声付き映像データ処理用プログラムは、請求項７又は８において、前記メタデータから発話内容情報及び発話時間情報を取得する情報取得機能と、前記取得した発話内容情報に基づいてテロップを作成するテロップ作成機能と、前記取得した発話時間情報に基づいて、前記音声付き映像データの再生時に前記テロップを挿入して、前記音声付き映像データを再生出力する再生出力機能とをコンピュータに実現させることを特徴とする。

請求項７から１０に係る音声付き映像データ処理用プログラムを含むソフトウェアやファームウェアをパーソナルコンピュータ（ＰＣ）のほか、ビデオ再生装置（ビデオデッキ、テレビ）やデジタルカメラ、携帯電話等の映像再生機能を有する装置に適用することにより、本発明の音声付き映像データ処理装置及び音声付き映像データ処理方法を実現することができる。

本発明によれば、撮影者側と被写体側の音声とを別々に保存することができるとともに、撮影者側の音声を文字化し発話内容情報をメタデータの中に保存することができる。これにより、撮影者側又は被写体側の音声を選択的に視聴したり、撮影者の音声やナレーション、ボイスメモをテロップとして利用することができる。

以下、添付図面に従って本発明に係る音声付き映像データ処理装置、音声付き映像データ処理方法及び音声付き映像データ処理用プログラムの好ましい実施の形態について説明する。

図１は、本発明の一実施形態に係る音声付き映像データ処理装置を備える撮像装置の主要構成を示すブロック図である。図１に示す撮像装置１０は、例えば、動画撮影機能を有するカメラや電子カメラ、デジタルカメラ、ビデオカメラ、デジタルビデオカメラである。

ＣＰＵ１２は、バス１４を介して撮像装置１０内の各部に接続されており、操作スイッチ１６等からの操作入力に基づいて撮像装置１０の動作を制御する統括制御部である。操作スイッチ１６は、電源スイッチやレリーズスイッチ１６Ａ、十字キー等を含んでおり、ユーザからの操作入力を受け付ける。レリーズスイッチ１６Ａは２段階式に構成され、レリーズスイッチ１６Ａを軽く押して止める「半押し（Ｓ１＝ＯＮ）」の状態で自動ピント合わせ（ＡＦ）及び自動露出制御（ＡＥ）が作動してＡＦとＡＥをロックし、「半押し」から更に押し込む「全押し（Ｓ２＝ＯＮ）」の状態で撮影が実行される。

メモリ１８は、ＣＰＵ１２が処理するプログラム及び制御に必要な各種データ等が格納されるＲＯＭや、ＣＰＵ１２が各種の演算処理等を行う作業用領域及び映像処理領域となるＳＤＲＡＭ等を有している。

外部通信インターフェース（外部通信Ｉ／Ｆ）２０は、ネットワークや外部出力機器（例えば、パーソナルコンピュータやテレビジョン、ディスプレイ、プリンタ、外部記録装置）等と接続するための機器で、所定のプロトコルにしたがって各種データの送受信を行う。なお、データの送受信の方式は、例えば、インターネットや無線ＬＡＮ、有線ＬＡＮ、ＩｒＤＡ、Bluetooth等である。

撮像素子２４は、光学系（レンズ）２２を介して入射した光を受け止めて電気信号に変換する素子であり、例えばＣＣＤである。この電気信号は、図示せぬプリアンプによって増幅され、Ａ／Ｄ変換器２６によってデジタル信号に変換されて、映像処理部２８に入力される。

本実施形態の撮像装置１０は、映像（静止画、動画）を撮影するための撮影モードと、映像を表示、再生するための再生モードの複数の動作モードを備えており、ユーザは操作スイッチ１６からの操作入力により動作モードを設定する。

撮影モード時には、映像処理部２８によって撮像素子２４から出力された電気信号が処理されて画角確認用の映像データ（スルー画）が作成され、映像表示部（モニタ）３０に表示される。静止画を撮影する場合には、レリーズスイッチ１６Ａが操作されて静止画が撮影されると、撮像素子２４から出力された電気信号が映像処理部２８によって処理されて記録用の静止画データが作成される。この記録用の静止画データは、記録メディア３２に所定のファイル形式で記録される。ここで、記録メディア３２は、例えば、半導体メモリやビデオテープ、ハードディスクドライブ（ＨＤＤ）、ＤＶＤ等である。なお、マイク３４Ａ及び３４Ｂにより音声を入力して、上記静止画データと音声とを関連付けて記録することもできる。

一方、動画を撮影する場合には、レリーズスイッチ１６Ａにより動画の撮影が開始されると、撮影者側マイク３４Ａ及び被写体側マイク３４Ｂによりそれぞれ撮影者側及び被写体側の音声の取得が開始される。そして、映像処理部２８によって記録用の動画データが作成されるとともに、オーディオ処理回路３６によって記録用の音声データが作成される。この記録用の動画データ及び音声データは、記録メディア３２に所定のファイル形式の音声付き映像データに変換されて記録される。

一方、再生モード時において、静止画の再生時には、映像処理部２８によって記録メディア３２に記録された静止画データが読み出されて表示用の静止画データが作成され、モニタ３０に表示される。また、動画の再生時には、映像処理部２８によって記録メディア３２に記録された動画データが読み出されて表示用の動画データが作成されモニタ３０に表示されるとともに、上記動画データと関連付けられた音声データが読み出されてスピーカ３８から出力される。上述のように、モニタ３０は撮影時の画角確認用の電子ファインダとして用いられるとともに、撮影された映像データ（静止画データ、動画データ）の表示に用いられる。

次に、上記の撮像装置１０により撮像された音声付き映像データからメタデータを生成する処理について、図２を参照して説明する。図２は、撮像装置１０における音声付き映像データの生成処理の流れを示す機能ブロック図である。図２に示す録画指示・制御部４０は、録画開始の指示を行うレリーズスイッチ１６ＡやＣＰＵ１２を含む機能ブロックであり、レリーズスイッチ１６Ａからの操作入力によりＣＰＵ１２から映像・音声入力部４２、映像・音声信号符号化部４４、撮影者側マイク３４Ａ及び撮影者音声符号化部４６に、動画の撮影の開始信号を出力する。映像・音声入力部４２は、光学系２２、撮像素子２４及び被写体側マイク３４Ｂを含む機能ブロックであり、映像・音声信号符号化部４４は、映像処理部２８及びオーディオ処理回路３６を含む機能ブロックである。映像・音声入力部４２から出力された映像及び音声の電気信号は、映像・音声信号符号化部４４（動画コーデック）によって、図３に示すように、被写体音声データ６２と映像データ６４とを含む所定の形式（例えば、ＭＰＥＧ又はＡＶＩ）の音声付き映像データ６０に変換され、記録メディア３２の映像・音声信号記録部４６に記録される。また、撮影者音声信号符号化部４６は、オーディオ処理回路３６を含む機能ブロックである。撮影者側マイク３４Ａから出力された音声の電気信号は、撮影者音声信号符号化部４８によって、所定の形式（例えば、ＭＰ３）の撮影者音声データ６６に変換され、記録メディア３２の撮影者音声信号記録部５０に記録される。

ここで、音声付き映像データ６０と撮影者音声データ６６とを記録メディア３２に記録する方法について説明する。記録メディア３２がハードディスクドライブ（ＨＤＤ）や半導体メモリ等の場合には、例えば、音声付き映像データ６０と撮影者音声データ６６のファイル名に共通の識別符号を付して同じフォルダに記録する。例えば、音声付き映像データ６０を動画ファイル「ｎ＿ｍａｉｎ．ｍｐｇ」、撮影者音声データ６６を音声ファイル「ｎ＿ｃａｍｅｒａｍａｎ．ｍｐ３」とすれば、ファイル名中の識別符号ｎ（例えば、文字、番号、００１、００２、…）により音声付き映像データ６０と撮影者音声データ６６とを関連付けて保存することができる。また、音声付き映像データ６０と撮影者音声データ６６とを別々のフォルダに保存するようにしてもよい。この場合、例えば、ファイル名に共通の識別符号を付して、音声付き映像データ６０をフォルダ「ｍａｉｎ」に、撮影者音声データ６６をフォルダ「ｃａｍｅｒａｍａｎ」に保存する。例えば、音声付き映像データ６０を動画ファイル「ｎ．ｍｐｇ」、撮影者音声データ６６を音声ファイル「ｎ．ｍｐ３」とすれば、ファイル名中の識別符号ｎにより音声付き映像データ６０と撮影者音声データ６６とを関連付けて保存することができる。

一方、記録メディア３２がＤＶＤの場合、ＤＶＤ−Ｖｉｄｅｏは複数の音声チャンネルを持つことができるので、図４に示すように、ＤＶＤ−Ｖｉｄｅｏの規格に定められた記録方式（パックと呼ばれる、一例で２，０４８ｋｂのデータ単位の連なり）に従って、映像データ６４を含む映像ストリーム６４′、被写体音声データ６２を含む被写体音声ストリーム６２′、撮影者音声データ６６を含む撮影者音声ストリーム６６′をインターリーブで単一のＭＰＥＧ２（ＶＯＢ）ファイルとして記録する。

なお、音声付き映像データ６０を作成する際に、映像・音声信号符号化部４４は、被写体音声データ６２と撮影者音声データ６６を照合して、被写体側マイク３４Ｂから得られた被写体側音声データ６２に撮影者側の音声が含まれている場合に、被写体音声データ６２から撮影者側の音声を消去するようにしてもよい。ここで、被写体音声データ６２に含まれる撮影者側の音声を検出する方法としては、例えば、撮影者音声データ６６と被写体音声データ６２に含まれる同一の音声を検出し、この同一の音声が撮影者音声データ６６において音量が大きい場合に、撮影者側の音声と判断して被写体音声データ６２から消去すればよい。また、撮影者音声信号符号化部４８により、被写体音声データ６２と撮影者音声データ６６を照合して、上記と同様にして、撮影者音声データ６６から被写体側の音声を消去するようにしてもよい。

次に、音声信号解析部５２により撮影者音声信号記録部５０から撮影者音声データ６６が読み出される。音声信号解析部５２は、読み出した撮影者音声データ６６から文字に変換可能な人の声を音声認識処理により文字化して発話内容情報として出力する。

また、音声信号解析部５２は、上記文字化された音声が発せられている発話時間情報を取得する。この発話時間情報は、例えば、発話の開始時及び終了時の映像データ（動画）のフレームを特定する情報（フレーム）番号や、発話の開始時刻及び終了時刻等である。メタデータ生成部５４は、上記の発話時間情報、発話内容情報等を所定のファイル形式（例えば、ｘｍｌ形式）のメタデータに格納する。このメタデータは、図５に示すような情報を含んでおり、メタデータ中に撮影者音声データ６６を上記メタデータと撮影者音声データ６６とを指定する撮影者音声データ情報（ＵＲＬ）等により撮影者音声データ６６と関連付けられて撮影者音声信号記録部５０に記録される。

図６はｘｍｌ形式のメタデータの例を示す図であり、図７はｘｍｌのスキーマを示す図である。図６に示す例では、発話時間情報は、文字化された発話内容の開始時刻及び終了時刻がｖｏｉｃｅタグに開始フレーム番号（ｓｔａｒｔ＝””）、終了フレーム番号（ｅｎｄ＝””）で記述され、発話内容情報はｔｅｘｔタグで記述されている。発話者情報（ｐｅｒｓｏｎタグ）には、ｎａｍｅ属性に撮影者を示すｃａｍｅｒａｍａｎが記述される。

なお、図６及び図７に示す例では、撮影者音声データ６６とメタデータとをＵＲＬにより関連付けて保存するようにしたが、撮影者音声データ６６及びメタデータは、所定の形式で音声付き映像ファイル６０とまとめて保存するようにしてもよい。図８は、メタデータをＭＰＥＧ形式で記録する例を示す図である。図８に示すようにＭＰＥＧ−２形式では、映像データ６４を含む映像ストリーム６４′、被写体音声データ６２を含む被写体音声ストリーム６２′、撮影者音声データ６６を含む撮影者音声ストリーム６６′、メタデータ６８を含むメタデータストリーム６８′が規格に定められた記録方式（パックと呼ばれる、一例で２，０４８ｋｂのデータ単位の連なり）によって、インターリーブで単一のファイル７０として記録される。

図９は、メタデータをＡＶＩ形式で記録する例を示す図である。図９において、「ＲＩＦＦ ＡＶＩ」は、ＡＶＩファイル全体を示す。また、「ＬＩＳＴ ｈｄｒｌ」は、ＡＶＩファイルのヘッダ領域であり、映像用及び音声用の２つのヘッダ領域「ＬＩＳＴ ｓｔｒｌ」を含んでいる。本実施形態では、映像用のヘッダ領域「ＬＩＳＴ ｓｔｒｌ」内に太枠で示す「ｓｔｒｄ」及び「ｓｔｒｎ」という独自拡張データ用ストリームを設け、このストリーム内に図６に示すｘｍｌ形式のメタデータをそのままバイナリデータとして記録する。これにより、ＡＶＩファイル内にメタデータを記録することができる。

以下、音声付き映像データの処理方法について、図１０を参照して説明する。図１０は、本発明の一実施形態に係る音声付き映像データの処理方法を示すフローチャートである。まず、録画指示・制御部４０により録画が開始されると、映像・音声入力部４２によって録画及び被写体側の音声の録音が開始されるとともに、撮影者側マイク３４Ａによって撮影者側の音声の録音が開始される（ステップＳ１０）。そして、撮影者側マイク３４Ａによって録音された音声をリアルタイムで処理して、音声の特徴量に基づいて撮影者の発話の開始と終了を検知する（ステップＳ１２）。

次に、ステップＳ１２において検知した発話の開始と終了の間の音声データをバッファリングするとともに（ステップＳ１４）、メタデータに記録するために発話の開始、終了時間を確定する（ステップＳ１６）。なお、ステップＳ１６において、発話の開始、終了時間を動画のフレーム単位により記録する場合には、ステップＳ１０の録画開始時間からのオフセットをフレーム単位の数値として算出する処理を行う。

次に、ステップＳ１４においてバッファリングされた撮影者側の音声に対して音声認識処理を行って文字化して発話内容情報を生成する（ステップＳ１８）。ステップＳ１８では、音声データを文字化して得られた発話内容情報をさらに解析して１音節、１音、１文節又は１語等の適当な文字列のブロックに分割し、この文字列のブロックごとに発話時間情報（フレーム番号）を記憶しておく。そして、メタデータを生成して、この文字列のブロックと発話時間情報を対応させて格納する（ステップＳ２０）。

次に、ステップＳ１２からＳ２０の処理を繰り返す。そして、録画指示・制御部４０により録画終了のアクションが入力されると（ステップＳ２２のＹｅｓ）、音声付き映像データ６０が保存されるとともに、撮影者音声データ６６及びメタデータ６８が所定の形式で保存される（ステップＳ２４）。

本実施形態によれば、撮影者側と被写体側の音声とを別々に保存することができるとともに、撮影者側の音声を文字化してメタデータとして保存することができる。

なお、本実施形態では、撮影時にリアルタイムに撮影者側の音声の文字化処理を行うようにしたが、撮影後に音声付き映像データ撮影者側の音声データを文字化してメタデータを生成するようにしてもよい。また、撮影後に、ナレーションやボイスメモ等の音声をアフレコで追加して、追加された音声についてメタデータを作成してもよい。さらに、撮影者側だけでなく、被写体側の音声についてもメタデータを生成するようにしてもよい。この場合、例えば、被写体側の発話内容情報に発話時間情報に加えて、被写体の識別情報や映像中の位置等の発話者情報や、音声特徴量の情報をメタデータに記憶するようにしてもよい。上記の発話者情報については、例えば、あらかじめ登録された顔画像と照合して被写体の人物名を特定するようにしてもよいし、画像解析により被写体の性別や年齢を推定して記録するようにしてもよい。また、音声特徴量は、例えば、音声の大きさ、高低、抑揚、トーンに基づいて、ひそひそ声、大声、笑い声等の音声の種類を判別するようにしてもよい。

次に、上記音声付き映像データ処理装置を備える撮像装置１０の映像再生機能について、図１１及び図１２を参照して説明する。図１１は、音声付き映像データ処理装置の映像再生機能部の主要構成を示す機能ブロック図である。図１１に示すように、音声付き映像データ処理装置の映像再生機能部は、再生指示制御部８０、映像・音声信号復号再生部８２、撮影者音声信号復号再生部８４、映像・音声出力部８６、メタデータ読込部８８及びテロップ生成表示部９０を備える。

再生指示制御部８０は、映像データの再生指示を行う再生スイッチや再生停止指示を行う停止スイッチ、一時停止スイッチ、巻き戻し／早送りスイッチ、メニュースイッチ、リモコン等のユーザが映像再生に係る操作入力を行うための操作部材を含んでおり、各操作部材からの操作入力に応じて映像再生機能部の各ブロックに制御信号を送る。

映像・音声信号復号再生部８２は、再生指示制御部８０からの操作入力により指定された音声付き映像データ６０を映像・音声信号記録部４６から読み出して復号する。撮影者音声信号復号再生部８４は、上記音声付き映像データ６０に対応する撮影者音声データ６６を撮影者音声信号記録部５０から読み出して復号する。上記復号した音声付き映像データ６０及び撮影者音声データ６６は、映像・音声出力部８６に出力される。映像・音声出力部８６は、映像を表示する画像表示部３０及び音声を出力するスピーカ３８、又はビデオ／オーディオ出力端子等を含む機能ブロックであり、映像・音声信号復号再生部８２から入力された音声付き映像データ６０及び撮影者音声データ６６を再生する。なお、音声付き映像データ６０及び撮影者音声データ６６を再生する際には、例えば、再生指示制御部８０からの操作入力により、撮影者側及び被写体側の音声の音量を調整することができる。例えば、撮影者側の音量を被写体側より小さくするか、又はゼロにすることにより、撮影者の音声が被写体側の音声を視聴する際に邪魔にならないようにすることができる。また、被写体側の音量を小さくすることにより、例えば、撮影者による解説を視聴することができる。

メタデータ読込部８８は、撮影者音声データ６６に対応するメタデータを読み込んでテロップ生成表示部９０に出力する。テロップ生成表示部９０は、メタデータから発話内容情報及び発話時間情報を読み出して、上記発話時間情報に対応するフレームに、発話内容情報のテロップを挿入する指令を映像・音声信号復号再生部８２に出力する。なお、テロップを表示させるかどうかについては、再生指示制御部８０からの操作入力により指定できる。また、テロップを表示させる場合には、撮影者の音声を映像・音声出力部８６で再生出力しないようにしてもよい。

なお、被写体音声データ６２についても同様に、あらかじめ発話者情報や音声特徴量情報を含むメタデータを生成しておいて、テロップを生成表示するようにしてもよい。この場合、テロップ生成表示部９０は、上記メタデータから発話者情報を読み出して、上記発話時間情報に対応する全フレームにおける発話者の位置を特定し、テロップの挿入位置を指定することができる。また、テロップ生成表示部９０は、音声特徴量情報に基づいてテロップのフォント、フォントサイズ、文字色、背景色、文字装飾、段組又はテロップに付すかっこ、吹き出し、感嘆符、疑問符等の符号等を指定することができる。なお、被写体側の音声のテロップを表示する場合には、被写体側の音声を映像・音声出力部８６で再生しないようにしてもよい。また、テロップには、発話者の人物名等（ｐｅｒｓｏｎ属性の情報）を付して表示してもよい。

次に、メタデータが付与された音声付き映像データを再生する処理の流れについて、図１２を参照して説明する。図１２は、メタデータが付与された音声付き映像データを再生する処理の流れを示すフローチャートである。

まず、再生指示制御部８０により再生する音声付き映像データ６０が選択されると、映像・音声信号復号再生部８２及び撮影者音声信号復号再生部８４により、音声付き映像データ６０及び撮影者音声データ６６が読み込まれるとともに、メタデータ読込部８８により撮影者音声データ６６に関連付けられたメタデータが読み込まれる（ステップＳ３０）。ここで、図８及び図９に示すようにメタデータが音声付き映像データと同一ファイル内に格納押されている場合には、メタデータ読込部８８は、音声付き映像データからメタデータを読み込む。また、メタデータが音声付き映像データとは別ファイルで、ＵＲＬ等により相互に関連付けられて記録されている場合には、メタデータ読込部８８は、上記指定された音声付き映像データと関連付けられたメタデータのファイルを取得する。

次に、上記読み込んだメタデータに含まれる発話内容情報（図６のｔｅｘｔタグ）から発話内容情報を読み込んで、テロップの文字データを生成する（ステップＳ３２）。なお、テロップの文字属性（テロップのフォント、フォントサイズ、文字色、背景色、文字装飾、段組、かっこ、又は吹き出し、感嘆符、疑問符等の符号）や挿入位置はデフォルトで設定されていてもよいし、再生指示制御部８０等の操作部により変更可能であってもよい。また、ステップＳ３２では、ユーザが画面をみながら再生指示制御部８０等の操作部により、テロップの文字の修正、追加を手動で行えるようにしてもよい。

次に、上記メタデータの発話時間情報に対応するフレームにテロップが挿入され、音声付き映像データが再生される（ステップＳ３４）。ステップＳ３４では、例えば、被写体音声データ６２又は撮影者音声データ６６の音量が適切に調整される。なお、音声付き映像データの再生時には、上記図１２の処理を継続してリアルタイムにテロップを作成表示するようにしてもよいし、再生前にメタデータを先読みしてテロップをキャッシュしておき、再生時に表示してもよい。

本実施形態によれば、音声付き映像データの再生時に、撮影者側と被写体側の音量を調整することができるため、例えば、再生時に視聴したい側の音声を大きくすることができる。また、撮影者側の音声をテロップとして表示させることができる。

また、上記実施形態では、メタデータを利用してテロップを簡易に作成するようにしたが、メタデータの利用法はこれに限定されるものではない。例えば、上記音声付き映像データ処理装置にプリンタを接続し、上記メタデータを利用してテロップや台本、シナリオ、会議等の議事録等を容易に作成することができる。

なお、本実施形態では、音声付き映像データ処理装置を備える撮像装置の実施例について説明したが、例えば、パーソナルコンピュータやビデオレコーダ、ハードディスクレコーダ等の映像を再生する機能を有する装置にも本発明の音声付き映像データ処理装置を適用することができる。

本発明の一実施形態に係る音声付き映像データ処理装置を備える撮像装置の主要構成を示すブロック図 撮像装置１０における音声付き映像データの生成処理の流れを示す機能ブロック図 音声付き映像データを示すブロック図 音声付き映像データを示すブロック図 メタデータに含まれる情報の例を示すテーブル ｘｍｌ形式のメタデータの例を示す図 ｘｍｌのスキーマを示す図 メタデータをＭＰＥＧ形式で保存する例を示す図 メタデータをＡＶＩ形式で保存する例を示す図 本発明の一実施形態に係る音声付き映像データの処理方法を示すフローチャート 音声付き映像データ処理装置の映像再生機能部の主要構成を示すブロック図 メタデータが付与された音声付き映像データを再生する処理の流れを示すフローチャート

符号の説明

１０…撮像装置、１２…ＣＰＵ、１４…バス、１６…操作スイッチ、１８…メモリ、２０…外部通信インターフェース（外部通信Ｉ／Ｆ）、２２…光学系（レンズ）、２４…撮像素子、２６…Ａ／Ｄ変換器、２８…映像処理部、３０…映像表示部（モニタ）、３２…記録メディア、３４…マイク、３６…オーディオ処理回路、３８…スピーカ、４０…録画指示・制御部、４２…映像・音声入力部、４４…映像・音声信号符号化部、４６…映像・音声信号記録部、４８…撮影者音声信号符号化部、５０…撮影者音声信号記録部、５２…音声信号解析部、５４…メタデータ生成部、６０…音声付き映像データ、６２…被写体音声データ、６４…映像データ、６６…撮影者音声データ、６８…メタデータ、８０…再生指示制御部、８２…映像・音声信号復号再生部、８４…撮影者音声信号復号再生部、８６…映像・音声出力部、８８…メタデータ読込部、９０…テロップ生成表示部

Claims (10)

1. 映像データを取得する映像取得手段と、
   前記映像データの撮影者側の音声データを取得する第１の音声取得手段と、
   前記映像データの被写体側の音声データを取得する第２の音声取得手段と、
   前記撮影者側の音声データを文字化して発話内容情報を生成する発話内容情報生成手段と、
   前記映像データにおいて、前記発話内容情報に対応する前記撮影者側の音声データが発せられる時間を示す発話時間情報を取得する発話時間情報取得手段と、
   前記発話内容情報及び前記発話時間情報を含むメタデータを作成するメタデータ作成手段と、
   前記映像データ、前記撮影者側の音声データ、前記被写体側の音声データ及び前記メタデータを関連付けて記録するデータ記録手段と、
   を備えることを特徴とする音声付き映像データ処理装置。
2. 前記第１の音声取得手段は、前記映像データの撮影者側の音声データの追加入力を受け付けることを特徴とする請求項１記載の音声付き映像データ処理装置。
3. 前記映像データを出力する映像出力手段と、
   前記音声データを出力する音声出力手段と、
   前記撮影者側又は前記被写体側の音声データの音量を調整する音量調整手段と、
   を更に備えることを特徴とする請求項１又は２記載の音声付き映像データ処理装置。
4. 前記音量調整手段は、前記被写体側の音声データの音量を前記撮影者側の音声データの音量に対して大きくするか、又は撮影者側の音声を出力しないようにすることを特徴とする請求項３記載の音声付き映像データ処理装置。
5. 前記音声付き映像データを再生出力する再生出力手段と、
   前記メタデータから発話内容情報及び発話時間情報を取得する情報取得手段と、
   前記取得した発話内容情報に基づいてテロップを作成するテロップ作成手段と、
   前記取得した発話時間情報に基づいて、前記音声付き映像データの再生時に前記テロップを挿入するテロップ挿入手段と、
   を更に備えることを特徴とする請求項１又は２記載の音声付き映像データ処理装置。
6. 映像データを取得する映像取得工程と、
   前記映像データの撮影者側の音声データを取得する第１の音声取得工程と、
   前記映像データの被写体側の音声データを取得する第２の音声取得工程と、
   前記撮影者側の音声データを文字化して発話内容情報を生成する発話内容情報生成工程と、
   前記映像データにおいて、前記発話内容情報に対応する前記撮影者側の音声データが発せられる時間を示す発話時間情報を取得する発話時間情報取得工程と、
   前記発話内容情報及び前記発話時間情報を含むメタデータを作成するメタデータ作成工程と、
   前記映像データ、前記撮影者側の音声データ、前記被写体側の音声データ及び前記メタデータを関連付けて記録するデータ記録工程と、
   を備えることを特徴とする音声付き映像データ処理方法。
7. 映像データを取得する映像取得機能と、
   前記映像データの撮影者側の音声データを取得する第１の音声取得機能と、
   前記映像データの被写体側の音声データを取得する第２の音声取得機能と、
   前記撮影者側の音声データを文字化して発話内容情報を生成する発話内容情報生成機能と、
   前記映像データにおいて、前記発話内容情報に対応する前記撮影者側の音声データが発せられる時間を示す発話時間情報を取得する発話時間情報取得機能と、
   前記発話内容情報及び前記発話時間情報を含むメタデータを作成するメタデータ作成機能と、
   前記映像データ、前記撮影者側の音声データ、前記被写体側の音声データ及び前記メタデータを関連付けて記録するデータ記録機能と、
   をコンピュータに実現させることを特徴とする音声付き映像データ処理用プログラム。
8. 前記映像データの撮影者側の音声データの追加入力を受け付ける機能をコンピュータに実現させることを特徴とする請求項７記載の音声付き映像データ処理用プログラム。
9. 前記映像データを出力する映像出力機能と、
   前記音声データを出力する音声出力機能と、
   前記撮影者側又は前記被写体側の音声データの音量を調整する音量調整機能と、
   をコンピュータに実現させることを特徴とする請求項７又は８記載の音声付き映像データ処理用プログラム。
10. 前記メタデータから発話内容情報及び発話時間情報を取得する情報取得機能と、
    前記取得した発話内容情報に基づいてテロップを作成するテロップ作成機能と、
    前記取得した発話時間情報に基づいて、前記音声付き映像データの再生時に前記テロップを挿入して、前記音声付き映像データを再生出力する再生出力機能と、
    をコンピュータに実現させることを特徴とする請求項７又は８記載の音声付き映像データ処理用プログラム。

Images