JP4662228B2 - マルチメディア記録装置および発言録作成装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、複数人が参加した会議における発言録を自動作成するマルチメディア記録装置および発言録作成装置に関する。
【０００２】
【従来の技術】
従来、複数人が発言する会議の発言を文字化する国内の公知資料は見出せなかった。唯一、２００１年５月に開催されたＡＴＲ音声言語通信研究所において、ハンズフリー通話に関する国際研究会のワークショップ（HSC2001,International Workshop of Hands-Free Speech Communication ）において、「カーネギー・メロン大学の開発したミーティング・プラウザは、簡単な議事録を自動的に作成することが出来るシステム」（http://www.is.cs.smu.edu/js/meeting.html）としてプロトタイプ報告がされている。この方法は全方位（３６０度）カメラを会議机の中央に１個設置し、画像処理により参加者の口元の動きがある人物が発言中と判断処理し、全体の音声を共通入力した中から選り分け、音声認識処理し、英文文字を作成するものである。
【０００３】
このアプローチで目新しいのは、「３６０度カメラ入力から複数人物の中から動きのある人物を選別すること」と「音声認識」を組み合わせたところであるが、３６０度カメラの入力画像を処理することは１９８８年頃、米国インテル社がすでに実施していたが、一部の軍事用途以外はアプリケーション用途が無かったので流行らなかった。また、複数人物の中から発言者を選別する手法としては、ふくすうのビデオ画像の中から口元を判定する手法として、特開平８−３１７３６３号公報の「画像伝送装置」、またその文献中においても公知であり、新規性はない。また、その性能はプロトタイプであるので、評価の段階ではないかもしれないが、マイクが発言者の各個人に専用化された「説話型」ではなく、数人分の共有型のオープン型、または「マイクロフォンアレー型」を想定したものであるので、音声認識制度についても現在の技術ではあまり期待できない。
【０００４】
一方、議事録作成ではなく、会議の模様を映像つきメモ撮りするアプローチとして、特開２００１−２１１４４０号公報の「対話記録システム」が公知であり、人物の頭にカメラを搭載し、廊下で話した内容を記録しその内容を、あとで再視聴して、アイデア化する、また会話中にひらめいたところだけを選択し、記録するものである。これによると、対話が記録されていると感じることが、人間のコミュニケーションに影響をあたえることがある。だから携帯型の対話記録装置を提供するとアプローチされている。
【０００５】
会話発言から議事録文字を精度よく作成するアプローチの実用化は、昨年ついに実施された。ＮＨＫのニュース番組を「聴覚障害者のために」文字化するもので、その方法は、特開２００１−１６６７９０号公報の「書き起こしテキスト自動生成装置、音声認識装置および記録媒体」にある。この手法の適用はアナウンサーという比較的、きちんと発音する人物を対象としたものであるが、認識精度としてはきわめて良好である。欠点としては一般人が話す言葉についての「あいまいさ」への対応がない点くらいであるが、重大欠点でない。
【０００６】
他の連続話者音声認識技術としては、特開平６−３１８０９６号公報の「言語モデリング・システム及び言語モデルを形成する方法」が優れている。これは音声の発音内容を単語認識する際の判定確立を高めるために言語（構文）モデルを使う方法の改良で、従来の言語モデルが所要するコンピュータのメモリ量の削減が可能となったものである。しかし、この手法がいわゆる「力づく方式」とＩＢＭ社自ら読んでいるように、アルゴリズムよりパターンマッチング辞書の量、および言語構文の多さで勝負するアプローチである。これを実用化してＰＣ向けの音声認識ソフトとその構文言語モデルに適用されている。
【０００７】
会議模様の映像・音声の多チャンネル同時録画について、従来、同時録画については、特開２０００−２１７０６３号公報の「番組情報提供システム、番組情報提供装置及び記録再生制御装置」ではデジタル放送の同一時間帯の複数コンテンツを同時に録画する際にコンテンツのビットレートの設定方法について提案されている。これは記録装置性能が不十分なものを有効利用するもので、データ量の多いデジタル放送番組の録画に適用されるものである。またこの発明の引用文献では複数のＶＴＲを用いた同時録画に関して、特開平１０−２４３３０３、特開平７−２１６１９、において検討され、また１本のＶＴＲテープを共用録画する方法が特開平９−３０７８４６において検討され、他に、ＤＩＳＫなどの記録媒体に適用できる技術として、特開平７−１０７４６１、特開平１１−９８４７８で提案された「一旦符号化圧縮した映像を再度圧縮しなおす映像符号化技術」の適応について検討されている。
【０００８】
また、最も現実的に複数ソースの映像を記録する方法として特開２００１−８１４４号公報の「ビデオ装置」においてＨＤＤを用いたＮＴＳＣ信号をＭＰＥＧ２信号変換し録画、同時再生、また２ソース同時録画する提案がある。この発明構成自体は、米国におけるＰＣベースの録画方法として本出願（平１１年）に既にＡＴＩ社製のＴＴＶチューナー内蔵のビデオカードを用い、「ＶＩＶＯ録画システム」として実施されていたもので新規性は乏しい。またＨＤＤをストライプ記録（ＲＡＩＤ- レベル２のこと）することも同様に新規性に乏しい。しかし構成動作の現実性は高く、２００１年春ごろから日本市場に、ＨＤＤ録画装置として登場している。
【０００９】
【発明が解決しようとする課題】
以上述べたように一般会議の発言内容を文字化する積極的なアプローチは近年、極めて少ない。また、会議の模様を映像付で記録するアプローチも少ない。しかし世の中でＣＰＵ、メモリ回路技術、大容量記憶媒体の技術が進展し、装置の小型化できること、さらに通信インフラが近年、急激に高速化、低廉可ＩＰ化しつつあり、もはや、設備設置スペースがないとは言い訳にならず、ましてはＴＶ会議利用の１０年ぶりの利用ブームに至っては、録画されているのは会話に影響するなどのアプローチは否定せざるを得ない。
【００１０】
また、ＶＴＲを用いた構成、ＨＤＤを用いた構成の提案は、いずれも映像エンターティメントを録画再生する目的での検討であり、入力ソースを可能な限り品質を下げないで、そのまま録画することにより、録画した内容を再生視聴して楽しむ、または、長時間記録する目的での検討である。つまり複数のソース間でのコンテンツ内容に相関関係は存在しない、前提での提案であるので２つのソース間の相関を処理するための考案点はない。
【００１１】
本発明は、上記事情に鑑みなされたものであり、複数人が参加した会議における発言録を自動作成する発言録作成装置を提供することを目的とする。
【００１２】
また、会議の模様を再現する際、文字化した発言録のテキスト文字と一緒に、会議の当事者または第三者が見聞き可能とすることを目的とする。
【課題を解決するための手段】
かかる目的を達成するために、請求項１記載の発明は、音声と映像とからなるマルチメディア情報を記録する装置において、入力されたアナログ映像とアナログ音声とをデジタル変換処理して映像データと音声データとを生成する第１及び第２の２系統の入力チャネル手段と、前記第１及び第２の２系統の時間情報を管理する日時管理手段と、前記２系統の入力チャネル手段から入力された映像データと音声データとが各々のセッション番号に基づいて記録される記録媒体と、前記各入力チャネル手段からの信号を受け取ると、前記日時管理手段からの各時間情報をあらかじめ規定された単位時間毎に区切り整形するとともに、チャネル番号とセッション番号と連続するシーケンス番号及び前記区切り整形された時間情報である日時情報を前記映像データ及び音声データに付加する第１及び第２の２系統の整形処理手段と、前記第１及び第２の２系統の整形処理手段からの映像データ及び音声データを、前記記録媒体に書き込み処理する手段とを備えることを特徴とする。
【００１３】
請求項２記載の発明は、さらに請求項１のマルチメディア記録装置が備える前記記録媒体から第１および第２の入力チャネルに相当するデータを交互に選択読み出しする手段（ＡＡ）と、第１の入力チャネルに対応する音声データを復元する手段と、前記音声データの音声途切れ位置から後の音声途切れ位置までの音声有音部を区切り、当該音声有音部をフレーズ単位化する手段（Ｂ１）と、フレーズ単位音声をテキストデータ化する音声認識手段（Ｃ１）と、区切りデータの日時情報を基にフレーズ単位のテキストデータに日時情報を付加作成する手段（Ｄ１）を有し、前記記録媒体から第２の入力チャネルに対応する音声データを復元する手段と、前記音声データの音声途切れ位置から後の音声途切れ位置までの音声有音部を区切り、当該音声有音部をフレーズ単位化する手段（Ｂ２）と、フレーズ単位音声をテキストデータ化する音声認識手段（Ｃ２）と、区切りデータの日時情報を基にフレーズ単位のテキストデータに付加作成する手段（Ｄ２）とを有し、（Ｄ１）と（Ｄ２）で作成したテキストデータを前記区切りデータの日時順に交互配列する手段（Ｆ）と、前記第１の入力チャネルと前記第２の入力チャネルの各々に対応する映像データを復元し、前記第１の音声データに基づくテキストデータと、前記第２の音声データに基づくテキストデータとともに出力するテキスト出力手段（Ｇ）を、備える発言録作成装置であることを特徴とする。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面を参照しながら詳細に説明する。
【００１９】
本発明は、複数人の会議において各人の発言を連続的にマイク・カメラで記録する。例えば３名の会議ならマイク・カメラの入力を３チャネル別々に同時録画する（ここでは２人の場合を説明する）。会議の発言は一部同時発言があるかも知れないが、基本的に誰かの代わりばんこの発言であり、各人の発言フレーズ部分の組み合わせで構成される。各人の録画発言フレーズ単位化したものに再編集し、発言内容を文字化するものである。
【００２０】
本発明は、図１または図２のブロック構成例に示すよう複数の入力ソースに時間情報を単位記録時間毎に付加し図３のフォーマットで記録する点が新しい。従来例として、ＶＣＲに記録する例を図１０、図１１に示す。
【００２１】
図１は複数のデジタルソースの映像、音声に時間情報を付加して記録する構成例を示す図であり、図２はアナログソースの映像、音声に時間情報を付加して記録する構成例を示す図である。図１と図２の違いは入力ソースの違いで図１は入力ソースがＤＶフォーマット、ＣＡＭコーダーなどの映像と音声がデジタル化された一つの入力ソースが複数ある場合である。図２はＳ信号、コンポジット、コンポーネントの（ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ）映像信号と音声信号が別々のオーソドックスな入力ソースが複数ある場合である。共に、入力チャネル１と、、日時管理ブロック２と、整形部３と、スイッチ４と、書き込み部５と、記録媒体６とから構成される。
【００２２】
各入力ソースは入力チャネル１により信号を受け取り、日時管理ブロック２からの時間情報を図３のフォーマット（３−１）にあらかじめ規定された単位時間毎に区切り整形する。これを記録手段がのように連続的に記録媒体に書き込む（３−２）ものである。ここで上記の単位記録時間は数百ミリ数から１０秒ぐらいの単位である。図１、図２における２チャンネルの情報を書き込む部分のスイッチ４は、時間分割による同時書き込みを説明したものである。
【００２３】
映像信号はＤＶ入力されたもの、Ｓ信号、コンポジット、コンポーネント信号ともでデジタル圧縮を行う。圧縮手法は公知のＭＰＥＧでもモーションＪＰＥＧでもＪＰＥＧ２０００の連続でも、いずれでも良い。音声情報は同様にデジタル化、または再デジタル化を行うが１９２ＫＨｚ帯域から９６ＫＨｚ程度の比較的、広帯域を使うが、モノラル入力が基本であり、映像情報量と比較するとはるかに少ない。
【００２４】
図３の記録媒体６は、ＨＤＤパック装置のほか、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭの大容量光ディスク、フラッシュメモリなどを含む。各単位時間情報には「入力チャネル番号」と同一媒体での何回目の記録かを示す「セッション番号」、単位時間の何番目かを示す「シーケンス番号」が付加され、これらを「Ｐｒｏｊｅｃｔ管理部」と呼ぶ、媒体の記録内容全体を管理するディレクトリ管理機能をもつ部分で「生録データ」として記録される。
【００２５】
なお、単位記録時間ｍの開始タイミングは複数の入力チャネルを同一タイミングで区切り、書き込みを遅延させるバッファーで調整し、書き込みをズラしても良い。ここでは、入力チャネル数ｎに応じで各入力チャネルからの入力をシーケンス区切りのタイミングをｍ／ｎ毎にズラす処理を行うブロック（図示せず）を設けたので、全体のメモリバッファの使用効率が良い。
【００２６】
図４は、発言の模様を映像、音声に同期して発言を文字化表示する構成例である。記録した媒体から１つのチャンネルに記録した生録データを再生しながら、発言をテキスト化し、その発言の実時間を付加し出力するものである。図４は、記録装置６と、データ読み出し部Ａと、音声デコーダ部Ｂと、テキストデータ化部Ｃと、フレーズ記憶部Ｄと、出力Ｉ／Ｆ部Ｇと、映像デコーダ部Ｖとを有し構成されている。
【００２７】
再生は、記録メディアから、チャンネル番号、セッション番号を指定し、シーケンス番号順に読み出しをデータ読み出し部Ａで行い、映像データを映像デコーダＶでデコードし、音声を音声デコーダＢでデコードして、音声と時間情報を分離し、映像、音声信号を入出力Ｉ／Ｆ部Ｇから外部ＴＶなどに行う。同時に音声デコーダＢからのシーケンス毎の時間情報を受け、タイマー計測開始する。そして音声デコーダＢから音声信号の音声有音部の検出通知を受け、有音部の開始位置時間を再計算する。この音声有音部単位を「フレーズ」と呼ぶ。フレーズ記憶部Ｄにおいて、そのフレーズ開始時間を一次記憶する。テキストデータ化部Ｃにおいては音声有音部を（特開平６−３１８０９６または特開２００１−１６６７９０の公知技術を用い）、音声認識文字コード化しフレーズ記憶部Ｄに送る。フレーズ記憶部Ｄにおいて一次記憶したフレーズ開始時間とフレーズ番号を音声認識文字コードに付加し図５の出力形式に整える。
【００２８】
文字コードの出力は入出力Ｉ／Ｆ部Ｇから外部のテキストモニタに出力され、テキストモニタで内部文字フォントから可視化されスクリーンに表示される。
【００２９】
本発明は映像・音声の再生と同時に音声認識文字を外部表示装置に出力した。次に、本発明では発言をフレーズ毎に文字コード化した情報と、発言フレーズ毎に映像・音声を再構成し記録する方法について説明する。
【００３０】
図６は発言の模様を映像・音声に同期して発言を文字化し、再記録する装置の構成例を示す図である。図７は、図６の記録媒体７の形式例を示す図である。本構成は、記録媒体６と、記録媒体７と、読み出し部Ａと、音声デコーダＢと、テキストデータ化部Ｃと、フレーズ記憶部Ｄと、映像デコーダＶと、入出力Ｉ／Ｆ部Ｇとから構成されている。図６に示すように、映像データはフレーズ処理部Ｅに一次記憶される。テキストデータ化部Ｃからのフレーズ検出通知を受け、フレーズ単位の映像データとして図７の７−１の形式に再構成される。同時にデータ化部Ｃから音声データとフレーズ記憶部Ｄからのフレーズ開始時間付の音声文字コード（テキスト）を含んだ形式となる。ここで音声データは、元データより間引き圧縮して媒体容量の節約を図る処理（図示せず）を行い、同様に映像データを間引き圧縮してもよい。
【００３１】
この形式の記録データは、図７の記録媒体７中に「Ｐｒｏｊｅｃｔ管理」と示すように、記録部分に「音フレ（音声フレーズ）形式」と記録され、「生録」と区別可能となる。
【００３２】
７−２には音フレーズ毎にフレーズ化された記録構成例を示している。これはフレーズ毎に継続時間が相違し、フレーズ・データ長が可変形式で記録され、その長さが異なることを示している。また、あらかじめ規定された最大フレーズ・データ長を超えるフレーズは７−１の「サブシーケンス番号」により適時、分割される。この分割されたフレーズ・データには音声認識出力の「テキスト」は包含せず「ＮＵＬＬ」データがパディングされる。
【００３３】
また、７−２の日時情報には各フレーズの開始時間の他に、各フレーズの終了時間かフレーズの継続時間情報を同時に記録しても良い。または次フレーズに、前フレーズの終了から現フレーズの開始までのブランク時間情報を記録することも可能である。
【００３４】
図８は、複数の発言者の模様を映像・音声に同期して発言を文字化表示する装置の構成例であり、図９はその表示例を示している。本構成は、記録媒体６と、データ選択読み出し部ＡＡと、音声デコーダＢ１、Ｂ２と、テキストデータ化部Ｃ１、Ｃ２と、フレーズ記憶部Ｄ１、Ｄ２と、フレーズ並べ替え部Ｆと、入出力Ｉ／Ｆ部Ｇと映像デコーダＶ１、Ｖ２とから構成されている。に示すように、複数の「生録」されたチャネル毎のデータ（図３）を「ＡＡ」の読み出しブロックでチャネル毎に交互読み出す。そしてチャネル毎の音声デコード、音声認識ブロック「Ｂ１、Ｃ１、Ｄ１」と「Ｂ２、Ｃ２、Ｄ２」を経て処理された、チャネル毎のフレーズ時間付の文字コードをフレーズ並べ替え部Ｆにおいて、時間順に並べ替えし、チャンネル番号を付加し図９の出力形式に整える。文字コードの出力はの入出力Ｉ／Ｆ部Ｇから外部のテキストモニタに出力され、テキストモニタで内部文字フォントから可視化されスクリーンに表示される。
【００３５】
ここでフレーズ並べ替え部Ｆにおけるフレーズコードの並べ替えは、同一チャネルのフレーズ間時間の判定を加え、複数のフレーズをつなぎ合わせた出力形式とすることもできる。これは、音声認識のためのフレーズ化と文章構成を可視化した際の読みやすさに配慮したもので、文章構成フレーズ時間は、音声有音部判定のための無音検出時間の１０倍程度に設定される。
【００３６】
【発明の効果】
以上の説明から明らかなように、本発明によれば、複数の入力ソースによる発言者を簡単な構成で、独立して録画可能となる。
【００３７】
また、本発明によれば、独立した入力ソースの発言者の音声から発言録を発言時間付で得ることが可能となる。
【００３８】
また、本発明によれば、独立した入力ソースの発言者の音声から発言録を発言時間付で得られ、映像、音声のデータを圧縮し再記録でき、記録媒体の節約が図れ、発言録の二次利用が可能となる。また複数入力ソースの発言者の音声を簡単な構成でバッチ処理でき、多ソース入力処理に適用が可能となる。
【００３９】
また、本発明によれば、複数の発言者の発言録を発言順に文字化表示でき、発言録の二次利用が可能となる。
【図面の簡単な説明】
【図１】複数のデジタル・ソースの映像・音声に時間情報を付加して記録する装置の構成例を示す図である。
【図２】複数のアナログ・ソースの映像・音声に時間情報を付加して記録する装置の構成例を示す図である。
【図３】複数のソースの映像・音声に時間情報を付加して記録する媒体の形式例を示す図である。
【図４】発言の模様を映像・音声に同期して発言を文字化表示する装置の構成例を示す図である。
【図５】 発言の模様を映像・音声に同期して発言を文字化表示する装置の表示例を示す図である。
【図６】発言の模様を映像・音声に同期して発言を文字化し、再記録する装置の構成例を示す図である。
【図７】発言の模様を映像・音声に同期して発言を文字化し、再記録する装置の構成例を記録する媒体の形式例である。
【図８】複数の発言者の模様を映像・音声に同期して発言を文字化表示する装置の構成例を示す図である。
【図９】 複数の発言者の模様を映像・音声に同期して発言を文字化表示する装置の表示例を示す図である。
【図１０】複数の映像・音声ソースを２台のＶＣＲに記録する従来例を示す図である。
【図１１】従来例として業務用ＶＣＲテープの記録形式例を示す図である。
【符号の説明】
１ 入力チャネル
２ 日時管理ブロック
３ 整形部
４ スイッチ
５ 書き込み部
６、７ 記録媒体
Ａ データ読み出し部
Ｂ 音声デコーダ
Ｃ テキストデータ化部
Ｄ フレーズ記憶部
Ｅ フレーズ処理部
Ｆ フレーズ並べ替え部
Ｇ 入出力Ｉ／Ｆ部
Ｈ 再構成部
Ｖ 映像デコーダ

Claims (2)

1. 音声と映像とからなるマルチメディア情報を記録する装置において、
   入力されたアナログ映像とアナログ音声とをデジタル変換処理して映像データと音声データとを生成する第１及び第２の２系統の入力チャネル手段と、
   前記第１及び第２の２系統の時間情報を管理する日時管理手段と、
   前記２系統の入力チャネル手段から入力された映像データと音声データとが各々のセッション番号に基づいて記録される記録媒体と、
   前記各入力チャネル手段からの信号を受け取ると、前記日時管理手段からの各時間情報をあらかじめ規定された単位時間毎に区切り整形するとともに、チャネル番号とセッション番号と連続するシーケンス番号及び前記区切り整形された時間情報である日時情報を前記映像データ及び音声データに付加する第１及び第２の２系統の整形処理手段と、
   前記第１及び第２の２系統の整形処理手段からの映像データ及び音声データを、前記記録媒体に書き込み処理する手段とを備えることを特徴とするマルチメディア記録装置。
2. さらに請求項１のマルチメディア記録装置が備える前記記録媒体から第１および第２の入力チャネルに相当するデータを交互に選択読み出しする手段（ＡＡ）と、
   第１の入力チャネルに対応する音声データを復元する手段と、
   前記音声データの音声途切れ位置から後の音声途切れ位置までの音声有音部を区切り、当該音声有音部をフレーズ単位化する手段（Ｂ１）と、
   フレーズ単位音声をテキストデータ化する音声認識手段（Ｃ１）と、
   区切りデータの日時情報を基にフレーズ単位のテキストデータに日時情報を付加作成する手段（Ｄ１）を有し、
   前記記録媒体から第２の入力チャネルに対応する音声データを復元する手段と、
   前記音声データの音声途切れ位置から後の音声途切れ位置までの音声有音部を区切り、当該音声有音部をフレーズ単位化する手段（Ｂ２）と、
   フレーズ単位音声をテキストデータ化する音声認識手段（Ｃ２）と、
   区切りデータの日時情報を基にフレーズ単位のテキストデータに付加作成する手段（Ｄ２）とを有し、
   （Ｄ１）と（Ｄ２）で作成したテキストデータを前記区切りデータの日時順に交互配列する手段（Ｆ）と、
   前記第１の入力チャネルと前記第２の入力チャネルの各々に対応する映像データを復元し、前記第１の音声データに基づくテキストデータと、前記第２の音声データに基づくテキストデータとともに出力するテキスト出力手段（Ｇ）とを備えることを特徴とする発言録作成装置。

Images