JP2001069436A - 話者情報記録装置および検索装置 - Google Patents

話者情報記録装置および検索装置

Info

Publication number
JP2001069436A
JP2001069436A JP24255599A JP24255599A JP2001069436A JP 2001069436 A JP2001069436 A JP 2001069436A JP 24255599 A JP24255599 A JP 24255599A JP 24255599 A JP24255599 A JP 24255599A JP 2001069436 A JP2001069436 A JP 2001069436A
Authority
JP
Japan
Prior art keywords
speaker
information
program
video
coincidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP24255599A
Other languages
English (en)
Inventor
Hideki Sumiyoshi
英樹 住▲吉▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP24255599A priority Critical patent/JP2001069436A/ja
Publication of JP2001069436A publication Critical patent/JP2001069436A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

(57)【要約】 【課題】 テレビジョン番組の制作過程において、撮影
された映像素材に話者情報を付加する作業は、非常に時
間がかかるとともに、集中力が要求される作業となって
いる。 【解決手段】 録画、録音テープ等に収録されている映
像、音声の話者が誰であるのかの情報(話者情報)を、
テープ中でその話者が発話している時刻とともに自動的
に記録媒体に記録し、また、テープに収録されている複
数話者のうちから特定の話者が発話している時間帯を検
索し得るようにした。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、収録された映像ま
たは音声(または、撮影さた映像)に対して話者情報を
収録(または、撮影)開始からの時間とともに記録媒体
に記録する話者情報記録装置、および記録された記録媒
体から特定の話者が発話している時間帯を検索する話者
情報検索装置に関する。
【0002】
【従来の技術】テレビジョン番組の番組制作過程におい
ては、放送時間の10倍〜100倍程度の時間数の映像
素材を撮影しており、これら映像素材の蓄積、管理、検
索に大きな労力がかかっている。放送番組を制作するに
は、これらの映像素材の中から番組で使用する映像を抜
きだし、編集することで1つの番組に組み立てる。大量
の映像素材の中から必要な映像を探すためには、撮影内
容を情報(インデックス)として事前に記録しておくこ
とが必要になる。
【0003】現在、この作業は完全に人手で行われてお
り、「どの映像素材(テープ番号など)」の、「先頭か
らどのくらいの位置(時間的位置)」に、「何が写って
いる」か、などの情報を番組制作者がVTRテープを再
生して、映像を見ながらノートに書き起こし(記録)て
いる。これは非常に時間がかかるとともに、集中力が要
求される作業となっている。
【0004】また、上記のほか、完成番組の再利用を目
的に映像内容情報を検索システムに登録することも行わ
れているが、これら登録の作業に際しても、同様に人手
で「どこに」、「何が写っている」かの記録を行う必要
がある。
【0005】
【発明が解決しようとする課題】撮影内容を表現するに
際しては、撮影された「人物」、「物体」、「場所」お
よび「状況」などが用いられる。しかし、膨大な時間数
にのぼる撮影された映像に対して、これら情報の記録を
行うことはきわめて大きな作業負担となっている。
【0006】そのため、現在では番組制作者が映像、音
声の収録されたVTRテープを再生しながら書き起こし
ている「どの映像素材(テープ番号など)」の、「先頭
からどのくらいの位置(時間的位置)」に、「何が写っ
ている」かという情報の記録の自動化が渇望されてい
る。
【0007】本発明の目的は、収録された映像または音
声(または、撮影された映像)に対して上述した種類の
情報(特に、話者情報)の記録を自動化することにあ
る。
【0008】
【課題を解決するための手段】上記目的を達成するため
に、本発明話者情報記録装置および検索装置は、録画、
録音テープ等に収録されている映像、音声の話者が誰で
あるかの情報(話者情報)を、テープ中でその話者が発
話している時刻(テープ先頭からの時間)とともに自動
的に記録媒体に記録し、また、テープに収録されている
複数話者のうちから特定の話者が発話している時間帯を
検索し得るようにしたものである。
【0009】すなわち、本発明話者情報記録装置は、番
組素材または完成した番組中の任意所望の話者の音声の
特徴を抽出して当該話者を登録する手段、前記番組素材
または完成した番組、またはそれ以外の番組素材または
完成した番組中で発話しているすべての音声の特徴を抽
出しながら、前記登録された話者の音声の特徴と逐次比
較して登録された話者毎の一致度を検出する手段、およ
び該手段により検出された前記話者毎の一致度を、話者
名および前記番組素材または前記完成した番組における
時刻情報とともに記録媒体に記録する手段を少なくとも
具えてなることを特徴とするものである。
【0010】また、本発明話者情報検索装置は、話者情
報記録装置によって記録された前記話者毎の一致度、前
記話者名および前記時刻情報を前記記録媒体から再生す
る手段、および該手段により再生された前記話者毎の一
致度について、該一致度が前記登録された話者のうちで
最も高い値を示し、かつ予め定めた値以上である場合、
前記最も高い値を示す一致度に対応する登録された話者
名を出力する手段を少なくとも具えてなることを特徴と
するものである。
【0011】また、本発明話者情報検索装置は、さら
に、前記登録された話者名を出力する手段から出力され
た話者名と検索しようとする話者名とがある時間帯にお
いて一致したとき、当該時間帯を、前記検索しようとす
る話者が前記番組素材または完成した番組、またはそれ
以外の番組素材または完成した番組中で発話している時
間帯であると判定する手段を具えてなることを特徴とす
るものである。
【0012】
【発明の実施の形態】以下に添付図面を参照し、発明の
実施の形態に基づいて本発明を詳細に説明する。図1
は、本発明話者情報記録装置および検索装置の一実施形
態をブロック図にて示している。図1において、1は映
像音声蓄積再生装置、2は話者識別装置、3は識別結果
記録装置、4は検索装置、5は映像音声再生制御装置、
6は話者ラベル入力装置、7は話者ラベル指定装置、8
は発話区間表示装置、9は発話区間指定装置、および1
0は映像音声表示装置である。
【0013】以下に、符号1から4で示される本発明装
置中の主要構成要素について順を追って説明する。ま
ず、映像音声蓄積再生装置1は、映像と音声を同時に蓄
積し、かつ再生することのできる装置である。この装置
はまた、再生時の時刻情報を蓄積されている映像、音声
と同時に取り出す機能と、指定された時刻の映像を再生
する機能とを具えている。
【0014】話者識別装置2は、当該装置に入力される
音声に基づいて話者を登録する機能(後述する話者登録
モード参照)と、登録された話者の音声と入力音声とを
比較して数値などで表される一致度データを得る機能
(後述する識別データ入力モード参照)とを兼ね備えた
装置である。
【0015】上記において、話者登録は、話者の音声の
特徴をデータ化して登録することによって行われ、登録
と識別(入力音声が登録された話者の音声と同一である
か否かの識別)は、特別な言葉ではなく自由に会話した
自由音声を利用して行うことができる。
【0016】具体的には、話者の音声を一定時間(2分
程度)入力し、音声データから特徴を抽出して話者デー
タとして登録する(例えば、図1における話者登録デー
タXとして)。登録された話者の音声を含む音声を、例
えば、映像音声蓄積再生装置1から入力し、一定時間内
(10秒程度)の音声データから登録時と同様に音声デ
ータの特徴を抽出する。登録話者の音声データとの類似
度を数値で出力して一定値以上の場合にその登録話者が
発話しているものと判定することで、話者の識別を行う
ことができる。なお、本実施形態における話者識別装置
2はコンピュータによって構成するが、音声データから
の特徴抽出には話者認識ソフトウェアとして市販されて
いるものを利用することができる。
【0017】識別結果記録装置3は、話者識別装置2か
らの一致度データとそのデータを取り出したときの時刻
情報を(本実施形態においては、映像音声蓄積再生装置
1から入力される)を同時に記録する(これについて
も、後述する識別データ入力モード参照)装置である。
また、識別結果記録装置3は映像音声蓄積再生装置1の
記録形態に応じて、テープ番号やファイル名といった、
記録媒体を識別するための情報(媒体識別子)も同時に
記録することができる。
【0018】また、検索装置4は、登録された話者の番
号(後述する)や名前などを指定して、一致度データが
一定の条件を満たしたときの時刻情報を取り出し(後述
する検索モード参照)、さらに、必要に応じて映像音声
蓄積再生装置1から映像、音声を映像音声表示装置10
に入力して映像、音声の再生を行う装置である。
【0019】以下に、図1に示すスイッチSW1〜SW
7を用いて回路の接続替えを行い、話者登録、識別デー
タ入力および検索を行う場合の回路動作について説明す
る。まず、話者登録の場合の回路接続を図2に示してい
る。また、話者登録を行うモードのことを話者登録モー
ドと呼ぶ。
【0020】話者登録モードにおいては、 ・映像音声蓄積再生装置1に必要な番組素材の映像と音
声を入力する(図示しない)、 ・スイッチSW1およびSW2をそれぞれ図示の話者登
録モード側に切り替える、 ・映像音声再生制御装置5を操作し、登録したい話者が
発話している音声を話者識別装置2に2分程度(長さは
話者識別装置2に依存する)入力し、話者登録を行う、 ・登録時には、話者識別装置2に話者を特定する番号、
名前などのラベルを話者ラベル入力装置6から入力す
る、 ・複数の話者を登録する場合には、上記の話者登録操作
を話者の人数分だけ繰り返す、 の操作を行う。
【0021】次に、識別データ入力の場合の回路接続を
図3に示している。また、識別データ入力を行うモード
のことを識別データ入力モードと呼ぶ。識別データ入力
モードにおいては、 ・スイッチSW1,SW2,SW3およびSW4をそれ
ぞれ図示の識別データ入力モード側に切り替える、 ・映像音声蓄積再生装置1を映像音声再生制御装置5に
より操作して映像、音声を再生し、そのうちの音声を話
者識別装置2に入力する。このときに再生する映像、音
声は、登録時に使用したものでも他の番組素材映像、音
声でもよい、 ・話者識別装置2は、入力された音声とすでに登録され
ている話者データの音声の特徴を比較し、一致度を話者
のラベルとともにデータとして出力し、その一致度デー
タと話者のラベル、さらに映像音声蓄積再生装置1から
の時刻情報を識別結果記録装置3に入力して記録する、 ・映像が、複数の媒体(テープ、ディスクなど)や複数
のファイルなどに分割されている場合は、それらの媒体
識別子を付加して記録を繰り返す、の操作を行う。
【0022】次に、検索の場合の回路接続を図4に示し
ている。また、検索を行うモードのことを検索モードと
呼ぶ。 ・蓄積された映像音声の中から、特定の話者が発話して
いる部分を検索する場合に、スイッチSW5,SW6お
よびSW7をそれぞれ図示の検索モード側に切り替え
る。話者登録時に付加した番号、名前などのラベル情報
を話者ラベル指定装置7から入力し、検索する話者を指
定する、 ・検索装置4は、識別結果記録装置3から一致度データ
等の識別結果を読み出し、その中で「指定された話者の
一致度データが一番高く、また一定値以上である部分」
などの検索条件を満足する部分を見つけ、記録されてい
る媒体識別子と時刻情報を取り出して発話区間表示装置
8の画面に映し出して検索者に提示する、 ・映像音声蓄積再生装置1に、発話区間指定装置9によ
って指定される発話区間に対応する部分の映像、音声が
蓄積されているならば、検索装置4内の指定区間再生制
御装置により制御して、媒体識別子と時刻情報を用いて
発話区間の映像、音声を映像音声表示装置10に表示す
る、の操作を行う。
【0023】最後に、本発明話者情報記録装置および検
索装置は、上述した実施形態に限られるものでなく、各
種変形して実施することができる。以下に、上記以外の
5つの想定される実施形態を列挙する。 ・実施形態(その1) 映像音声蓄積再生装置1と識別結果記録装置3(図1参
照)を一体化し、話者ラベル、一致度データを映像、音
声と同期して記録するようにする。 ・実施形態(その2) 識別結果記録装置3に記録する情報が、話者ラベルと、
「指定された話者の一致度データが一番高く、また一定
値以上である部分」の条件を満足している時刻情報であ
る。 ・実施形態(その3) 実施形態(その2)で記録する形式のデータを、映像音
声蓄積再生装置1の記録内容管理情報として記録する。 ・実施形態(その4) 撮影装置(記録装置一体型テレビジョンカメラ装置な
ど)に本発明装置を一体化し、撮影時に話者情報を映
像、音声と同時に記録するようにする。 ・実施形態(その5) 映像音声蓄積再生装置1に音声情報のみ記録し、音声の
みで構成する番組制作時に指定話者の検索などに用い
る。
【0024】本発明話者情報記録装置および検索装置
は、音声信号により話者の識別を行うようにしているの
で、ラジオなどの音声信号のみを取り扱う番組の素材管
理、番組管理用に構成することも可能である。
【0025】
【発明の効果】本発明によれば、映像素材に対する情報
を作成するにあたり、発話者の特定により、音声、およ
び同時に撮影された映像への人物情報付与作業を自動化
することができる。また、映像、音声に付与される発話
者の情報は、媒体識別子、時刻情報とともに電子データ
として蓄積されるので、発話者を指定することにより映
像の検索が可能となる。
【図面の簡単な説明】
【図1】 本発明話者情報記録装置および検索装置の一
実施形態をブロック図にて示している。
【図2】 話者登録の場合の回路接続を示している。
【図3】 識別データ入力の場合の回路接続を示してい
る。
【図4】 検索の場合の回路接続を示している。
【符号の説明】
1 映像音声蓄積再生装置 2 話者識別装置 3 識別結果記録装置 4 検索装置 5 映像音声再生制御装置 6 話者ラベル入力装置 7 話者ラベル指定装置 8 発話区間表示装置 9 発話区間指定装置 10 映像音声表示装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G11B 27/10 G10L 3/00 545A 9A001 551G G11B 27/00 A 27/10 A Fターム(参考) 5B075 ND12 NK06 NK13 NR06 PQ02 UU34 5C052 AA01 AB02 AB10 AC08 DD04 5D015 AA02 AA03 KK02 5D077 AA02 BA08 CA02 CB07 DC22 DC32 EA13 5D110 AA02 AA27 DA04 DA12 DB17 DD11 DE05 EA06 EA07 9A001 BB01 BB03 BB04 FF03 HH15 HH16 HH17 HH23 HH28

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 番組素材または完成した番組中の任意所
    望の話者の音声の特徴を抽出して当該話者を登録する手
    段、 前記番組素材または完成した番組、またはそれ以外の番
    組素材または完成した番組中で発話しているすべての音
    声の特徴を抽出しながら、前記登録された話者の音声の
    特徴と逐次比較して登録された話者毎の一致度を検出す
    る手段、および該手段により検出された前記話者毎の一
    致度を、話者名および前記番組素材または前記完成した
    番組における時刻情報とともに記録媒体に記録する手段
    を少なくとも具えてなることを特徴とする話者情報記録
    装置。
  2. 【請求項2】 請求項1記載の話者情報記録装置によっ
    て記録された前記話者毎の一致度、前記話者名および前
    記時刻情報を前記記録媒体から再生する手段、および該
    手段により再生された前記話者毎の一致度について、該
    一致度が前記登録された話者のうちで最も高い値を示
    し、かつ予め定めた値以上である場合、前記最も高い値
    を示す一致度に対応する登録された話者名を出力する手
    段を少なくとも具えてなることを特徴とする話者情報検
    索装置。
  3. 【請求項3】 請求項2記載の話者情報検索装置におい
    て、該検索装置はさらに、 前記登録された話者名を出力する手段から出力された話
    者名と検索しようとする話者名とがある時間帯において
    一致したとき、当該時間帯を、前記検索しようとする話
    者が前記番組素材または完成した番組、またはそれ以外
    の番組素材または完成した番組中で発話している時間帯
    であると判定する手段を具えてなることを特徴とする話
    者情報検索装置。
JP24255599A 1999-08-30 1999-08-30 話者情報記録装置および検索装置 Pending JP2001069436A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24255599A JP2001069436A (ja) 1999-08-30 1999-08-30 話者情報記録装置および検索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24255599A JP2001069436A (ja) 1999-08-30 1999-08-30 話者情報記録装置および検索装置

Publications (1)

Publication Number Publication Date
JP2001069436A true JP2001069436A (ja) 2001-03-16

Family

ID=17090848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24255599A Pending JP2001069436A (ja) 1999-08-30 1999-08-30 話者情報記録装置および検索装置

Country Status (1)

Country Link
JP (1) JP2001069436A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057431A1 (ja) * 2003-12-15 2005-06-23 Matsushita Electric Industrial Co., Ltd. 制御信号を利用したインデックス付与システム
WO2014155652A1 (ja) * 2013-03-29 2014-10-02 株式会社日立製作所 話者検索システム、プログラム
CN114441029A (zh) * 2022-01-20 2022-05-06 深圳壹账通科技服务有限公司 语音标注系统的录音噪音检测方法、装置、设备及介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057431A1 (ja) * 2003-12-15 2005-06-23 Matsushita Electric Industrial Co., Ltd. 制御信号を利用したインデックス付与システム
JP2005204291A (ja) * 2003-12-15 2005-07-28 Matsushita Electric Ind Co Ltd 制御信号を利用したインデックス付与システム
US7873637B2 (en) 2003-12-15 2011-01-18 Panasonic Corporation Automatically imparting an index by using various kinds of control signals
WO2014155652A1 (ja) * 2013-03-29 2014-10-02 株式会社日立製作所 話者検索システム、プログラム
JPWO2014155652A1 (ja) * 2013-03-29 2017-02-16 株式会社日立製作所 話者検索システム、プログラム
CN114441029A (zh) * 2022-01-20 2022-05-06 深圳壹账通科技服务有限公司 语音标注系统的录音噪音检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US6970639B1 (en) System and method for editing source content to produce an edited content sequence
US6799180B1 (en) Method of processing signals and apparatus for signal processing
CN1738440B (zh) 用于处理信息的设备,方法
JP2001333379A (ja) オーディオ/ビデオ信号生成装置、及びオーディオ/ビデオ信号生成方法
US20050228665A1 (en) Metadata preparing device, preparing method therefor and retrieving device
JP4491700B2 (ja) 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置
CN101086741A (zh) 信息处理装置及信息处理方法
WO2001016935A1 (en) Information retrieving/processing method, retrieving/processing device, storing method and storing device
US20010046096A1 (en) Redactable recording apparatus
JP2003264786A (ja) デジタルビデオ編集装置および方法
JP3781715B2 (ja) メタデータ制作装置及び検索装置
JP3934780B2 (ja) 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体
JP2002245066A (ja) 情報検索装置及び方法、並びに記憶媒体
JP2001069436A (ja) 話者情報記録装置および検索装置
US7444068B2 (en) System and method of manual indexing of image data
US20060204940A1 (en) Recording/reproducing apparatus, recording/reproducing apparatus and program
JP2834148B2 (ja) 動画検索装置及び動画処理装置
US20030091334A1 (en) Optical disk recording apparatus and method
US20070223682A1 (en) Electronic device for identifying a party
JP2002324071A (ja) コンテンツ検索システム、コンテンツ検索方法
JP2005107617A (ja) 音声データ検索装置。
JP2006229293A (ja) 分類用データ生成プログラム及びデジタルカメラ並びに記録装置
JP2001265779A (ja) 音響検索方法
JP2005107617A5 (ja)
JP2007078985A (ja) データ検索装置及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070306