JP2002247489A - 記録装置、記録方法、記録プログラム、記録再生装置、記録再生プログラム、記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 経時的に変化するため一瞥することができな
い音声または画像の中の特に重要な部分を正確に、簡単
に取り出すことができる記録装置並びに記録再生装置を
提供する。 【解決手段】 音声または動画像をデータとして取り込
むデータ取込手段１１０と、この取り込まれたデータを
記録するデータ記憶手段３００と、データ記憶手段１１
０に記録されたデータの特定の部分を指定するマーク付
け入力手段１３０と、マーク付け入力手段１３０で指定
した特定の部分の時刻とこの時刻に付加する情報とを記
録するマーク付け記憶手段４００とを備え、音声または
動画像のデータの特定部分を正確に指定できるようにし
た。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声や動画像の記
録装置、記録方法、記録プログラムおよび記録媒体、並
びに記録再生装置、記録再生プログラムおよび記録媒体
に関し、特に、ビデオ記録システムの記録、再生、検索
技術に応用して好適なものである。

【０００２】

【従来の技術】会話や会議など人の行動を記録する手段
として、ビデオカメラなどによる動画や音声の記録が利
用されている。このような動画や音声など時間経過と共
に記録されている信号を再生する場合には、記録されて
いる信号を一瞥する手段がないため、必要な部位を選択
的に再生することができない。このため、最初から全て
を再生しなければならなかったり、高速再生により必要
な部位を検索しなければならなかったりするという問題
がある。そのためこれまでにも、動画や音声の一部分だ
けを再生するための索引付けなどの技術が提案されてい
る。例えば、特開平６−３４３１４６号公報には、音
声、動画などのデータを記録しながら、ユーザが何らか
の動作を行ったときの動作とその時刻等を音声、動画な
どのデータと対応付けて記憶しておき、音声、動画など
の再生時には、記憶した動作や時刻等から選択する（例
えば、書き込まれた文字を指定する）ことで、それに対
応する音声または動画を再生する技術が示されている。
これによれば、長時間の音声や動画が記録されている場
合でも、ユーザの再生したい部分だけを選択的に再生す
ることができる。また、特開２０００−１２５２７４公
報には、マイクロホン配列などを使って、発話者の位置
を検出し、時間順にその検出結果を表示することで、ユ
ーザの検索を補助する技術が示されている。これによれ
ば、再生時に、いつ、だれの発言かを確認しながら再生
個所を検索できるため、必要な部分を早く見つけること
ができる。

【０００３】

【発明が解決しようとする課題】しかし、特開平６−３
４３１４６号公報の技術では、書き込みなどの時刻は、
それに関連する発言と厳密には同期していない。例え
ば、次のような場合には、目的とする音声または動画
は、実際には書き込み時刻の前や後に存在することにな
る。 ＊音声で議論した後に、その結果をホワイトボード等に
書き込むと、その書き込んだ内容に対応する音声は、書
き込み時刻以前に発話されているので、同期が取れてい
ない。 ＊文字をホワイトボード等に書いた後、その書き込み内
容について音声で議論するときにも、書き込んだ内容に
対応する音声は、書き込み時刻以後に発話されているの
で対応が取れていない。 また、このような書き込み時刻と発話時刻のずれは、そ
の発言の内容、長さによって変化するため、あらかじめ
一定の時間だけオフセットを設定することでは解決でき
ない。

【０００４】従って、この方法では、大まかな位置は特
定できても、目的とする情報を得るためには、その前後
を試行錯誤的に探索しなければならない。例えば、ま
ず、書き込まれた特定の文字列を指定し、その後 １．それが書き込まれた時刻の音声を再生して聞く。 ２．それが目的とする発言より後のものだと判断する。 ３．再生時刻をもっと前に再設定する。 ４．再び音声を再生して聞く。 といった手順を繰り返すことによって、目的の音声や動
画にたどりつくことになる。また、特開２０００−１２
５２７４公報の技術では、発言者の区別だけでは、記録
された時間が長く人数が少ない場合、検索は困難であ
る。特に、記録された情報のうちどの部分が重要で、後
で見直す価値があるかということは、自動的に判別する
のは非常に困難であり、基本的に人間にしか決められな
い。この技術では、そのようなユーザの意図的な指定を
記録する手段を持たないことが問題である。本発明は、
上述の問題を解決するためのものであり、経時的に変化
するため一瞥することができない音声または画像の中の
特に重要な部分を正確に、簡単に取り出すことができる
小型軽量で取り扱いやすい記録装置、記録方法、記録プ
ログラムおよび記録媒体、並びに記録再生装置、記録再
生プログラムおよび記録媒体を提供することを目的とす
る。

【０００５】

【課題を解決するための手段】上記の問題を解決するた
めに、本願の請求項１記載の発明は、音声または動画像
をデータとして取り込むデータ取込手段と、この取り込
まれたデータを記録するデータ記憶手段と、前記データ
記憶手段に記録されたデータの特定の部分を指定するマ
ーク付け入力手段と、前記マーク付け入力手段で指定し
た特定の部分の時刻とこの時刻に付加する情報とを記録
するマーク付け記憶手段とを備え、音声または動画像の
データの特定部分を正確に指定できるようにしたことを
特徴とする。また、請求項２記載の発明は、請求項１に
記載の記録装置において、前記データ記憶手段に取り込
まれたデータのうち音声データから発言開始を検出して
その開始時刻を求める発言時刻検出手段と、この検出し
た発言時刻を記録する発言時刻記憶手段とを備え、前記
マーク付け入力手段は、この発言時刻記憶手段で記録さ
れた発言時刻から選択するようにしたことを特徴とす
る。また、請求項３記載の発明は、請求項１に記載の記
録装置において、前記データ記憶手段に記録された音声
データを経時的に表示する取込状況表示手段を備え、前
記マーク付け入力手段は、前記取込状況表示手段で表示
された特定の位置を指定し、この指定された位置に対応
する時刻を求め、これを特定の時刻としてマーク付け
し、前記マーク付記憶手段へ記憶させるようにしたこと
を特徴とする。

【０００６】また、請求項４記載の発明は、請求項３に
記載の記録装置において、前記データ取込手段で取込対
象となる音声の音源位置を計測する音源計測手段を備
え、前記取込状況表示手段は、前記音源計測手段で計測
された音源位置ごとに音声データを経時的に表示し、前
記マーク付け入力手段は、前記取込状況表示手段で表示
された特定の位置を指定し、この指定された位置に対応
する時刻を求め、これを特定の時刻としてマーク付け
し、前記マーク付記憶手段へ記憶させるようにしたこと
を特徴とする。また、請求項５記載の発明は、請求項４
に記載の記録装置において、前記取込状況表示手段は、
前記音源計測手段で計測された音源をその音声の発言者
と対応付け、この発言者ごとに音声データを経時的に表
示するようにしたことを特徴とする。また、請求項６記
載の発明は、請求項５に記載の記録装置において、撮影
した画像から特定の位置を指定して、この指定された位
置にいる発言者に名前を付与する発言者名入力手段を備
え、前記取込状況表示手段は、前記音源計測手段で計測
された音源位置から発言者の位置を特定し、この発言者
の名前ごとに音声データを経時的に表示するようにした
ことを特徴とする。

【０００７】また、請求項７記載の発明は、音声または
動画像を記録するデータ記録装置とユーザがそのデータ
記録装置で記録されたデータの特定の部分を指定する特
定部分記録装置とから構成される記録装置であって、前
記データ記録装置は、音声または動画像をデータとして
取り込むデータ取込手段と、この取り込まれたデータを
記録するデータ記憶手段とを備え、前記特定部分記録装
置は、前記データ記憶手段に記録されたデータの特定の
部分を指定するマーク付け入力手段と、前記マーク付け
入力手段で指定した特定の部分の時刻とこの時刻に付加
する情報とを記録するマーク付け記憶手段とを備え、音
声または動画像のデータの特定部分を正確に指定できる
ようにしたことを特徴とする。また、請求項８記載の発
明は、請求項１乃至請求項７のいずれか１つに記載の記
録装置と、前記マーク付記憶手段に記録されたマーク情
報のひとつを選択する再生指示手段と、前記データ記憶
手段に記録された音声または動画像データのうち前記再
生指示手段で選択されたマーク情報で指定された部分を
再生する再生手段とを備えたことを特徴とする。また、
請求項９記載の発明は、音声または動画像をデータとし
て記憶するデータ記憶手段の音声データから発言開始を
検出してその開始時刻を求める発言時刻検出手段と、こ
の検出した発言時刻を記録する発言時刻記憶手段と、こ
の記録された発言時刻から前記データ記憶手段に記録さ
れたデータの特定の部分を指定するマーク付け入力手段
と、前記マーク付け入力手段で指定した特定の部分の時
刻とこの時刻に付加する情報とを記録するマーク付け記
憶手段と、前記マーク付記憶手段に記録されたマーク情
報のひとつを選択する再生指示手段と、前記データ記憶
手段に記録された音声または動画像データのうち前記再
生指示手段で選択されたマーク情報で指定された部分を
再生する再生手段とを備えたことを特徴とする。

【０００８】また、請求項１０記載の発明は、音声また
は動画像をデータとして取り込んで、このデータをデー
タ記憶手段に記録し、この記録された音声データを経時
的に表示し、特定の位置を指定し、この指定された位置
に対応する時刻を求め、この特定の時刻とこの時刻に付
加する情報とをマーク付け記憶手段に記録することによ
り、音声または動画像のデータの特定部分を正確に指定
できるようにしたことを特徴とする。また、請求項１１
記載の発明は、音声または動画像を記録するためにコン
ピュータを、音声または動画像をデータとして取り込む
データ取込手段と、この取り込まれたデータを記録する
データ記憶手段と、前記データ記憶手段に記録されたデ
ータの特定の部分を指定するマーク付け入力手段と、前
記マーク付け入力手段で指定した特定の部分の時刻とこ
の時刻に付加する情報とを記録するマーク付け記憶手段
と、前記データ記憶手段に記録された音声データを経時
的に表示する取込状況表示手段を備え、前記マーク付け
入力手段は、前記取込状況表示手段で表示された特定の
位置を指定し、この指定された位置に対応する時刻を求
め、これを特定の時刻としてマーク付けし、前記マーク
付記憶手段へ記憶するように機能させる。

【０００９】また、請求項１２記載の発明は、記録され
たデータを再生させるためにコンピュータを、請求項９
に記載のプログラムにより記録された前記マーク付記憶
手段に記録されたマーク情報のひとつを選択する再生指
示手段と、前記データ記憶手段に記録された音声または
動画像データのうち前記再生指示手段で選択されたマー
ク情報で指定された部分を再生する再生手段として機能
させる。また、請求項１３記載の発明は、コンピュータ
を、音声または動画像を記録する記録装置として機能さ
せるためのプログラムを記録したコンピュータ読み取り
可能な記録媒体であって、音声または動画像をデータと
して取り込むデータ取込手段と、この取り込まれたデー
タを記録するデータ記憶手段と、前記データ記憶手段に
記録されたデータの特定の部分を指定するマーク付け入
力手段と、前記マーク付け入力手段で指定した特定の部
分の時刻とこの時刻に付加する情報とを記録するマーク
付け記憶手段と、前記データ記憶手段に記録された音声
データを経時的に表示する取込状況表示手段を備え、前
記マーク付け入力手段は、前記取込状況表示手段で表示
された特定の位置を指定し、この指定された位置に対応
する時刻を求め、これを特定の時刻としてマーク付け
し、前記マーク付記憶手段へ記憶させて、音声または動
画像のデータの特定部分を正確に指定できる機能を実現
するためのプログラムを記録した。また、請求項１４記
載の発明は、コンピュータを、記録されたデータを再生
させる記録再生装置として機能させるためのプログラム
を記録したコンピュータ読み取り可能な記録媒体であっ
て、請求項１１に記載のプログラムにより記録された前
記マーク付記憶手段に記録されたマーク情報のひとつを
選択する再生指示手段と、前記データ記憶手段に記録さ
れた音声または動画像データのうち前記再生指示手段で
選択されたマーク情報で指定された部分を再生する再生
手段として機能させるための記録再生プログラムを記録
した。

【００１０】

【発明の実施の形態】以下に、図面を用いて本発明の実
施の形態の構成および動作を詳細に述べる。 ＜第１の実施の形態＞図１は、本発明の記録装置と記録
再生装置の第１の実施の形態を示すブロック図である。 （１）記録装置１００の構成と動作 記録装置１００は、データ取込手段１１０、発言時刻検
出手段１２０、発言時刻記憶手段１４０、マーク付け入
力手段１３０、データ記憶手段３００、マーク付記憶手
段４００とから構成されている。データ取込手段１１０
は、ユーザからの指示によりビデオカメラ等から周囲の
画像と、マイクロホン等から音声とを取り込み、その取
り込んだ画像データと音声データをデジタルデータに変
換した後、ＭＰＥＧなど周知の動画・音声データ圧縮ア
ルゴリズムによって圧縮し、その結果をデータ記憶手段
３００へ記録すると同時に、動画・音声の記録を開始し
た時刻をマーク付記憶手段４００（図２）へ記録する。
この取り込みは、ユーザによって終了させられる。発言
時刻検出手段１２０は、音声データを記録するときに、
音声の有無を判断し、発言が開始されたかどうかを検出
し、発言の開始とみなされたときには、その各発言の開
始時刻を発言時刻記憶手段１４０へ順次記録する（図３
参照）。この発言の開始は、例えば、音声の大きさが所
定の値以下となる時間が所定の値以上連続したときに発
言が終了したとみなし、次に所定の大きさ以上の音声が
入力した時、発言が開始されたとみなす。

【００１１】マーク付け入力手段１３０は、音声・動画
像のデータを記録中に現在どのようなデータを記録中か
を示すマークを入力させる。このマークは、マークした
時刻とキーデータ（再生時に検索の目印となる文字列や
図形）とで表現してマーク付記憶手段４００へ記録する
（図２参照）。以下に、マーク付け入力手段１３０の動
作について、図面を参照して詳細に説明する。音声・動
画像の記録が始まると、図４に示すような二つのボタン
をディスプレイ等の表示装置へ表示する。このうち上の
ボタンが相対時間記録用であり、下のボタンが相対発言
記録用である。

【００１２】（イ）相対時間記録ボタンの動作 図４の画面で、「時刻マーク」ボタンが押されると、押
された時刻を一時的に記録した上で、図５のようなダイ
アログボックスを表示する。この中央のユーザ入力エリ
アに現在時刻との相対時間を秒単位で入力した後、「Ｏ
Ｋ」ボタンを押す。この操作により図４の相対時間記録
用ボタンを押した時刻から入力した時間だけ前にずらし
た時刻を記録する。例えば、図４のボタンを押した時刻
が１５時１２分５０秒であり、図５に示すように「２
０」秒が入力されたとすると、１５時１２分３０秒とい
う時刻が記録される。これにより、ユーザが再生すると
きに動画像を探すのに有効と思われる時刻を任意に記録
することができる。

【００１３】ユーザが時刻を入力すると、次に、図６の
ようなダイアログを画面に表示するので、この時刻に関
連のあるデータを入力する。このデータは、キーボード
等から入力する文字列やマウスやペン等を使って図形や
画像であって、この時刻を代表的に言い表すキーデータ
である。この図６の上部の四角の領域がキーデータを入
力するための領域であり、キーボードからテキストデー
タまたはマウス等により図形を入力する。左下の消去ボ
タンが押されると、入力をやり直すため現在入力中のデ
ータを消去する。また、右下の参照ボタンが押される
と、図７のダイアログが表示され、あらかじめ用意され
たまたは過去に入力したキーデータを表示し、その中か
らひとつをユーザが選択することでキーデータを入力す
ることができる。図７では、「重要」、「結論」、「質
問」という記録に良く使われるキーワードと、前回入力
した「８／３まで」という手書きの文字画像が表示され
ている。候補がたくさんある場合には、右側のスクロー
ルバーを使って、画面を上下にスクロールすることで表
示することができる。これによりキーボードを使わずに
キーデータを入力することができ、また同じキーデータ
を何度も入力する手間が省ける。このように入力された
マーク時刻とそのマークを表すキーデータは、図２のよ
うに入力された時刻とそのキーデータを格納した領域ま
たはファイルへのポインタの組としてマーク付記憶手段
４００へ記録される。

【００１４】（ロ）相対発言記録ボタンの動作 図４の画面で、「発言マーク」ボタンが押されると、そ
の時点の最新発言、つまり発言時刻記憶手段１４０（図
３参照）の最下端のデータへのポインタを一時的に記録
した上で、図８のようなダイアログボックスを表示す
る。ここで「現在の発言」ボタンが押されると、先ほど
記録した図３の最下端のデータの内容を指示時刻として
記録する。これにより、現在（「現在の発言」ボタンが
押された時刻）進行中の発言（または発言終了後、次の
発言の開始前であれば直前の発言）の開始時刻を簡単に
記録することができる。また、中央の四角い領域に数字
を入力した後、下の「ＯＫ」ボタンが押された場合は、
図３の発言時刻記憶手段１４０の配列を、入力された数
だけ遡ってから内容を読み出し、その時刻をマーク時刻
として記録する。これにより、正確な時間が分からなく
ても、例えば「二つ前の発言」などの指定方法で、時刻
を記録することができる。これらの時刻を指定後、「相
対時間記録」の場合と同様に、図６および図７の方法で
キーデータを入力させた後、マーク付記憶手段４００へ
マーク時刻とキーデータを記録する。

【００１５】（２）記録再生装置２００の構成と動作 また、記録再生装置２００は、再生手段２１０、再生指
示手段２２０、音声出力手段２３０、動画表示手段２４
０、データ記憶手段３００、マーク付記憶手段４００と
から構成されている。再生指示手段２２０は、マーク付
記憶手段４００に記録されたマーク情報をディスプレイ
等の表示装置へ表示し、キーボードやマウス等の入力装
置を利用して音声・画像データの再生位置を指定する。
再生手段２１０は、再生指示手段２２０で指示された位
置の圧縮された音声・動画像データをデータ記憶手段３
００から読み出し、復元してスピーカ等の音声出力手段
２３０およびディスプレイ等の動画表示手段２４０通し
て再生する。図９は、記録再生装置２００がデータ記憶
手段３００に記録された音声・動画像データを再生する
ときに使用するユーザインタフェースである。図９の右
側は、通常の動画再生ソフトウエアと同様のもので、上
に動画像が表示され、下の三角印のボタンを押すと再生
を開始し、四角印のボタンを押すと停止する。また、図
９の左側（再生指示手段２２０の機能）は、データの記
録開始から終了までにマークされた位置を表示してあ
り、この表示を見ることによって再生したい場所を特定
する。

【００１６】この図で縦軸が時間に対応し、左側に時刻
が表示される。ここでは絶対時刻を表示しているが、動
画記録開始時刻からの相対時間を表示してもよい。右側
には、動画記録時に記録したマークを、記録された時刻
に対応する位置に横線を引き、その上に対応するキーデ
ータの内容を表示してい。また、動画再生している現在
時刻に対応する位置に太い横線を表示する。このように
表示されたキーデータの表示されている領域をマウスで
クリックすると、動画表示を一時的に中止し、対応する
時刻までジャンプして再び再生を開始する。これによ
り、ユーザはあらかじめ記録したマークに対応する時刻
の動画データをすばやく再生することができる。また再
生時のユーザインタフェースを図１０のようにすること
もできる。これも通常の動画再生ソフトウエアの表示画
面と同様の働きをするが、右下に「マーク」ボタンが付
加される。このボタンを押すと、図１１に示すような画
面を表示し、マーク付記憶手段４００に記録されたマー
クの一覧を表示し、いずれかをユーザがマウスで選択し
て「ＯＫ」ボタンを押すと、再生される動画がそのマー
クに対応する時刻へジャンプして再生を再開する。上記
の第１の実施の形態の記録装置は、音声や動画像データ
の記録と、マーク付けの記録を１つの装置としている
が、これらを同期した時計機構を持つ別々の装置として
構成することもできる。即ち、この場合の記録装置は、
音声や動画像を取り込み、音声・動画像データとして記
録するデータ記録装置と、取り込んでいるデータに対し
て再生する特定の部分を示すマークを時刻とキーデータ
とを記録する特定部分記録装置とから構成される。この
場合の再生装置は、それぞれの記録後、相互に接続して
記録したデータを交換し、再生部分を指定して、それに
対応する音声・動画像データを再生する。

【００１７】＜第２の実施の形態＞第１の実施の形態の
記録装置１００において、マーク付けをする時刻を指定
する場合、例えば、「現在から１０個前の発言」のよう
に、現在から遠く離れれば離れるほど、その時刻を正確
に指定することは困難になってくる。そこで、第２の実
施の形態では、過去のデータ記録状態を画面に表示し、
それを参照して時刻を指定するようにして、この問題を
解消する。第２の実施の形態は、第１の実施の形態の記
録装置１００を図１２のような構成とする。第２の実施
の形態の記録装置１００は、データ取込手段１１０、発
言時刻検出手段１２０、マーク付け入力手段１３０、発
言時刻記憶手段１４０、取込状況表示手段１５０、デー
タ記憶手段３００、マーク付記憶手段４００から構成さ
れる。このうち第１の実施の形態と同じ機能を持つもの
は同じ符号をつけ、以下ではその相違点についてのみ説
明する。また、記録再生装置２００は、実施の形態１と
同じ構成であるのでここでの説明を省略する。

【００１８】取込状況表示手段１５０は、データ取込手
段１１０で音声や動画像を取り込むと同時に、その時点
までの過去の取り込み状態を図１３のような音声レベル
グラフでディスプレイ等の表示装置に表示する。例え
ば、符合付き８ビットデータとしてキャプチャした場
合、縦軸を−１２８から１２７までのサンプル値、横軸
を１５分前から現在までの時間とするグラフを描く。ま
た、発言時刻記憶手段１４０から発言開始と認識された
時刻を取り出し、その時刻に対応する位置に縦線を引
く。グラフ全体としては、時間とともに左方向へ移動
し、右端が常に現在の時刻を表すよう一定時間毎に（例
えば１秒毎）表示を更新する。マーク付け入力手段１３
０では、このように表示されたグラフ上の位置でマウス
ボタンをユーザにクリックさせることによって、マーク
付けしたい時刻を入力させ、このクリックされたときの
マウスの座標値から現在との相対時間を求め、

【００１９】以下、第１の実施の形態と同様に図６およ
び図７のユーザインタフェースを利用してキーデータを
入力し、その時刻とキーデータとをマーク付記録手段４
００へ記録する。このようにすると、ユーザは例えば、
「２〜３分前にあった３０秒位の大きな声での発言」あ
るいは、「１０分位前に始まった５分程度の長い発言」
など、曖昧な記憶からでも目的とする時刻を正確に指定
することができる。上述した各実施の形態のマーク付け
は、記録装置１００で行うように構成してあるが、記録
再生装置２００で行うように構成することもできる。例
えば、音声や動画像を記録したデータ記憶手段３００か
らデータを再生しながら、発言時刻検出を行い、これを
基にマーク付けを指定するようにする。ここでつけられ
たマークをマーク付記憶手段４００へ記録することによ
って、以後の再生動作を的確にすばやく行えるようにな
る。

【００２０】＜第３の実施の形態＞第３の実施の形態で
は、第２の実施の形態の取込状況表示手段１５０が音声
レベルグラフで表示した取り込み状態をより分かりやす
く表示することによって、マーク付けの対象を特定しや
すくするものである。第３の実施の形態は、第２の実施
の形態の記録装置１００をさらに図１４のような構成と
する。第３の実施の形態の記録装置１００は、データ取
込手段１１０、マーク付け入力手段１３０、取込状況表
示手段１５０、音源計測手段１６０、データ記憶手段３
００、マーク付記憶手段４００から構成される。このう
ち第１の実施の形態および第２の実施の形態と同じ機能
を持つものは同じ符号をつけ、以下ではその相違点につ
いてのみ説明する。また、記録再生装置２００は、第１
の実施の形態と同じ構成であるのでここでの説明を省略
する。音源計測手段１６０は、２本以上のマイクロホン
配列を使い、各マイクロホンへの入力データから各時刻
での音源の方向を検出する。２本のマクロホンが接続さ
れたビデオカメラの例として図１５に示した。この音源
の方向の検出には、例えば、特開２０００−１２５２７
４公報の技術を用いる。

【００２１】取込状況表示手段１５０は、音声や動画像
を取り込むと同時に、音源計測手段１６０で計測された
入力音声の音源方向と入力音声レベルとから図１６に示
すようなユーザインタフェースを用いてディスプレイ等
の表示装置へ表示する。このグラフでは、縦軸が時間を
表し、下端が現在の時刻、上端がその１０分前に対応す
る。また、横軸は音源の方向を表し、例えば音源方向検
出の範囲が左右６０度ずつであれば、中央が正面、左端
が左６０度、右端が右６０度を表す。このようなグラフ
上に、ある時刻、方向からの音声が所定のレベル以上の
大きさであれば、その位置に短い横線を引くようにする
と、一定の方向からの音声が一定の時間記録されれば、
対応する位置に縦線が引かれることになる。ただし、実
際には方向測定の誤差により、また発話者自身の動きに
より直線にはならず、波打つ線になる。このような場
合、あらかじめ特定の方向と許容範囲を指定し、その範
囲以内に音源を持つ音声をすべてその中心からの音声と
みなすことで、グラフを単純化し見易くするようにして
もよい。

【００２２】マーク付け入力手段１３０では、このよう
に表示されたグラフ上の位置でマウスボタンをユーザに
クリックさせることによって、マーク付けしたい時刻を
入力させ、このクリックされたときのマウスの座標値か
ら現在との相対時間を求め、以下、実施の形態１と同様
に図６および図７のユーザインタフェースを利用してキ
ーデータを入力し、その時刻とキーデータとをマーク付
記録手段４００へ記録する。このような表示とすること
によって、実施の形態２では全員の音声レベルによるグ
ラフであったため、個人を特定することができなかった
が、本実施の形態３では個人個人の音声レベルをグラフ
で表示したので、マーク付けの対象である個人を特定し
やすくなる。さらに、第３の実施の形態の変形例とし
て、図１７のような構成をとることによって発言者の名
前を表示させてマーク付けの特定をしやすくする。ユー
ザは、本記録装置１００を使用開始するときに、ビデオ
カメラを接続して、発言者名入力手段１７０を起動させ
る。

【００２３】発言者名入力手段１７０は、ビデオカメラ
で撮影した画像を図１８に示したようにディスプレイ等
の表示装置上に表示させ、その画面上の画像内の任意の
位置でマウスボタンがクリックされると、図１９のダイ
アログを表示し、名前をキーボードから入力させ、マウ
スボタンがクリックされた画像上の位置に対応する方向
と、入力された名前テキストを記録しておく。マイクロ
ホンは、図１５ようにカメラの左右に固定されているた
め、マイクロホン配列で検出される音源方向は、カメラ
で撮影される画像の横方向の座標値と一対一の関係にあ
る。よって、この関係をあらかじめ測定し記録しておけ
ば、図１８の画面内のマウスクリック位置を図１６画面
表示用の音源方向へ変換することができる。このように
画像の方向と音源の方向とを対応付けておけば、図１８
でマウスクリックして指定された方向から所定の範囲内
の角度、例えば、５度以内に音源を持つと判定された音
声は発言者名入力手段１７０で入力され記録されている
人の発言として認識される。図１８では、指定された範
囲の角度に対応する位置を設定画面上で四角で囲い、そ
の上に入力された名前を表示している。

【００２４】この発言者名入力手段１７０であらかじめ
入力しておいた発言者の名前を取込状況表示手段１５０
でそのデータ取込状況を表示する際に、グラフ上部に、
指定された方向に対応する人の名前を表示。図１６は、
正面左６０度方向に「Ａさん」、正面方向に「Ｂさん」
の二名が指定され、それ以外に右３０度付近に名前の指
定されていない発言者が存在する例である。マーク付け
入力手段１３０でのマーク付けは上述した実施の形態３
と同様になる。即ち、ユーザは、図１６の表示を見なが
ら、マークしたい時刻に対応する位置をマウスでクリッ
クし、その後キーデータを入力する（図６および図７参
照）。ここでマークをつけた時刻は、図１６のようにグ
ラフ上に横線を引き、キーデータをつけて表示する。図
１６では、７分ほど前に「重要」というキーデータのマ
ークが付けられた状態を示している。このように構成す
ることにより、いつ、だれが発言したかを観察しなが
ら、マーク付けできるので、目的とする時刻を簡単かつ
正確に指定することができる。なお、上述した各実施の
形態では、音声と動画像を記録し、再生する例を示した
が、画像の記録・再生を省略し、音声だけで利用するこ
ともできる。

【００２５】本発明を上記のような実施の形態の構成を
とることによって、以下のような効果を達成することが
できる。 ・音声または画像信号を記録するとともに、ユーザが指
定する任意の時刻を記録するので、記録された音声また
は画像の中の特に重要な部分を正確に、簡単に取り出す
ことができる。 ・操作時刻からの相対時間、または相対区分個数を記録
するので、音声または画像信号の記録中に、重要な個所
を正確に記録することができる。 ・記録される音声データ、音源位置、発話者などを図示
することによって、ユーザは重要な個所を正確に指定す
ることができる。 ・発言者名を入力するときに、カメラからの映像を見な
がら特定の範囲を指定するので、発話者を簡単に特定す
ることができる。 ・マーク付けにキーデータを記録するようにしたので、
このキーデータを検索することによって記録された重要
な部分を探すのが容易になる。 ・マーク付けのキーデータの入力時に、過去に入力され
たキーデータを表示するようにしたので、これを選択す
るだけでキーデータを容易に入力することができる。

【００２６】＜コンピュータ装置による実施の形態＞さ
らに、本発明は上述した実施の形態のみに限定されたも
のではない。上述した各実施の形態の記録装置または記
録再生装置を構成する各機能をそれぞれプログラム化
し、あらかじめＣＤ−ＲＯＭ等の記録媒体に書き込んで
おき、このＣＤ−ＲＯＭをＣＤ−ＲＯＭドライブのよう
な媒体駆動装置を搭載したコンピュータに装着して、こ
れらのプログラムをそれぞれのコンピュータのメモリあ
るいは記憶装置に格納し、それを実行することによっ
て、本発明の目的を達成することができる。なお、記録
媒体としては半導体媒体（例えば、ＲＯＭ、ＩＣメモリ
カード等）、光媒体（例えば、ＤＶＤ、ＭＯ、ＭＤ、Ｃ
Ｄ−Ｒ等）、磁気媒体（例えば、磁気テープ、フレキシ
ブルディスク等）のいずれであってもよい。上述した実
施の形態を実現するプログラムがＲＯＭ等のような半導
体の記録媒体である場合には、媒体駆動装置からではな
く、直接、メモリへロードして実行される。また、ロー
ドしたプログラムを実行することにより上述した実施の
形態の機能が実現されるだけでなく、そのプログラムの
指示に基づき、オペレーティングシステム等が実際の処
理の一部または全部を行い、その処理によって上述した
実施の形態の機能が実現される場合も含まれる。さら
に、上述した実施の形態の機能を実現するプログラム
が、機能拡張ボードや機能拡張ユニットに備わるメモリ
にロードされ、そのプログラムの指示に基づき、その機
能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが
実際の処理の一部または全部を行い、その処理によっ
て、上述した実施の形態の機能が実現される場合も含ま
れる。

【００２７】また、上述した各実施の形態の記録装置ま
たは記録再生装置を構成する各機能をそれぞれプログラ
ム化し、そのプログラムをサーバーコンピュータの磁気
ディスク等の記憶装置に格納しておき、ネットワークで
接続されたユーザのコンピュータからダウンロード等の
形式で頒布することも可能である。このネットワーク
は、サーバーコンピュータとユーザコンピュータとを結
合するための伝送路であって、一般には、ケーブルで実
現され、通信プロトコルにはＴＣＰ／ＩＰが使われる。
但し、伝送路としてはケーブルだけではなく、それらの
間の通信プロトコルが一致するものであれば無線、有線
および放送波のいずれでもよく、例えば、ＬＡＮ（Ｌｏ
ｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄ
ｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、ア
ナログ電話網、デジタル電話網（ＩＳＤＮ：Ｉｎｔｅｇ
ｒａｌ Ｓｅｒｖｉｃｅ Ｄｉｇｉｔａｌ Ｎｅｔｗｏ
ｒｋ）、ＰＨＳ（パーソナル ハンディ システム）、
携帯電話網、衛星通信網などを用いることができる。さ
らに、本発明の機能を実現するプログラムを放送波によ
って配布することで提供するようにしてもよい。

【００２８】本発明をコンピュータで構成する場合、一
台のコンピュータに全ての機器が接続される必要はな
く、複数のコンピュータを用いて構成してもよい。圧縮
のための高速ＣＰＵやデータ記録のための大容量の記憶
装置を持つ画像音声記録用の一台のコンピュータと、こ
のコンピュータと同期した時計機構を持つマーク付けの
ために使われるＬＣＤモニタとタッチパネルからなる他
の小型コンピュータで構成する。これらのコンピュータ
は時計だけを合わせておけば、接続されていなくてもよ
い。これは音声・動画像とマークとが時刻だけで表現さ
れる関係であるから実現できるものである。このマーク
付けをする小型コンピュータは、マーク付記憶手段の内
容だけを記憶しおき、再生時に互いを接続してそれぞれ
に記録したデータ（音声・動画像データとマーク付けの
データ）を統合して、記録データを再生する。このよう
な構成にすると、ユーザが指定する任意の時刻を記録す
る機器が音声または画像信号を記録する部分と分かれて
いるので、記録中にユーザが操作する部分が小型軽量で
扱いやすくなる。

【００２９】

【発明の効果】以上、説明したように、本発明によれ
ば、経時的に変化するため一瞥することができない音声
または画像の中の特に重要な部分を正確に、簡単に取り
出すことができる。

【図面の簡単な説明】

【図１】第１の実施の形態を示す機能ブロック図であ
る。

【図２】マーク付記憶手段のデータ構造を示す図であ
る。

【図３】発言時刻記憶手段のデータ構造を示す図であ
る。

【図４】マーク付けを指示するユーザインタフェースの
一例を示す図である。

【図５】発言時刻にマーク付けを指示する例を示した図
である。

【図６】発言時刻のマークに対するキーデータを入力す
るときのユーザインタフェースの一例を示す図である。

【図７】発言時刻のマークに対するキーデータを入力す
るときのユーザインタフェースの一例を示す図である。

【図８】発言時刻にマーク付けを指示する例を示した図
である。

【図９】記録再生装置の再生ユーザインタフェースの一
例を示す図である。

【図１０】記録再生装置の再生ユーザインタフェースの
一例を示す図である。

【図１１】再生時刻を指定するユーザインタフェースの
一例を示す図である。

【図１２】第２の実施の形態を示す機能ブロック図であ
る。

【図１３】発言時刻にマーク付けを指示するときのデー
タ取込状態の一例を示す図である。

【図１４】第３の実施の形態を示す機能ブロック図であ
る。

【図１５】マイクロホン配列を有するビデオカメラの模
式図である。

【図１６】発言時刻にマーク付けを指示するときのデー
タ取込状態の一例を示す図である。

【図１７】第３の実施の形態の変形例を示す機能ブロッ
ク図である。

【図１８】発言者名を入力する対象を指定するときのユ
ーザインターフェースの一例を示す図である。

【図１９】発言者名を入力するときのユーザインターフ
ェースの一例を示す図である。

【符号の説明】

１００ …… 記録装置 １１０ …… データ取込手段 １２０ …… 発言時刻検出手段 １３０ …… マーク付け入力手段 １４０ …… 発言時刻記憶手段 １５０ …… 取込状況表示手段 １６０ …… 音源計測手段 １７０ …… 発言者名入力手段 ２００ …… 記録再生装置 ２１０ …… 再生手段 ２２０ …… 再生指示手段 ２３０ …… 音声出力手段 ２４０ …… 動画像表示手段 ３００ …… データ記憶手段 ４００ …… マーク付記憶手段

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B075 ND12 ND14 NK10 PR01 5C052 AA01 AC08 DD04 DD06 5C053 FA14 FA23 HA29 JA01 JA21 JA22

Claims (14)

【特許請求の範囲】
1. 【請求項１】 音声または動画像をデータとして取り込
   むデータ取込手段と、この取り込まれたデータを記録す
   るデータ記憶手段と、前記データ記憶手段に記録された
   データの特定の部分を指定するマーク付け入力手段と、
   前記マーク付け入力手段で指定した特定の部分の時刻と
   この時刻に付加する情報とを記録するマーク付け記憶手
   段とを備え、音声または動画像のデータの特定部分を正
   確に指定できるようにしたことを特徴とする記録装置。
2. 【請求項２】 請求項１に記載の記録装置において、前
   記データ記憶手段に取り込まれたデータのうち音声デー
   タから発言開始を検出してその開始時刻を求める発言時
   刻検出手段と、この検出した発言時刻を記録する発言時
   刻記憶手段とを備え、前記マーク付け入力手段は、この
   発言時刻記憶手段で記録された発言時刻から選択するよ
   うにしたことを特徴とする記録装置。
3. 【請求項３】 請求項１に記載の記録装置において、前
   記データ記憶手段に記録された音声データを経時的に表
   示する取込状況表示手段を備え、前記マーク付け入力手
   段は、前記取込状況表示手段で表示された特定の位置を
   指定し、この指定された位置に対応する時刻を求め、こ
   れを特定の時刻としてマーク付けし、前記マーク付記憶
   手段へ記憶させるようにしたことを特徴とする記録装
   置。
4. 【請求項４】 請求項３に記載の記録装置において、前
   記データ取込手段で取込対象となる音声の音源位置を計
   測する音源計測手段を備え、前記取込状況表示手段は、
   前記音源計測手段で計測された音源位置ごとに音声デー
   タを経時的に表示し、前記マーク付け入力手段は、前記
   取込状況表示手段で表示された特定の位置を指定し、こ
   の指定された位置に対応する時刻を求め、これを特定の
   時刻としてマーク付けし、前記マーク付記憶手段へ記憶
   させるようにしたことを特徴とする記録装置。
5. 【請求項５】 請求項４に記載の記録装置において、前
   記取込状況表示手段は、前記音源計測手段で計測された
   音源をその音声の発言者と対応付け、この発言者ごとに
   音声データを経時的に表示するようにしたことを特徴と
   する記録装置。
6. 【請求項６】 請求項５に記載の記録装置において、撮
   影した画像から特定の位置を指定して、この指定された
   位置にいる発言者に名前を付与する発言者名入力手段を
   備え、前記取込状況表示手段は、前記音源計測手段で計
   測された音源位置から発言者の位置を特定し、この発言
   者の名前ごとに音声データを経時的に表示するようにし
   たことを特徴とする記録装置。
7. 【請求項７】 音声または動画像を記録するデータ記録
   装置とユーザがそのデータ記録装置で記録されたデータ
   の特定の部分を指定する特定部分記録装置とから構成さ
   れる記録装置であって、前記データ記録装置は、音声ま
   たは動画像をデータとして取り込むデータ取込手段と、
   この取り込まれたデータを記録するデータ記憶手段とを
   備え、前記特定部分記録装置は、前記データ記憶手段に
   記録されたデータの特定の部分を指定するマーク付け入
   力手段と、前記マーク付け入力手段で指定した特定の部
   分の時刻とこの時刻に付加する情報とを記録するマーク
   付け記憶手段とを備え、音声または動画像のデータの特
   定部分を正確に指定できるようにしたことを特徴とする
   記録装置。
8. 【請求項８】 請求項１乃至請求項７のいずれか１つに
   記載の記録装置と、前記マーク付記憶手段に記録された
   マーク情報のひとつを選択する再生指示手段と、前記デ
   ータ記憶手段に記録された音声または動画像データのう
   ち前記再生指示手段で選択されたマーク情報で指定され
   た部分を再生する再生手段とを備えたことを特徴とする
   記録再生装置。
9. 【請求項９】 音声または動画像をデータとして記憶す
   るデータ記憶手段の音声データから発言開始を検出して
   その開始時刻を求める発言時刻検出手段と、この検出し
   た発言時刻を記録する発言時刻記憶手段と、この記録さ
   れた発言時刻から前記データ記憶手段に記録されたデー
   タの特定の部分を指定するマーク付け入力手段と、前記
   マーク付け入力手段で指定した特定の部分の時刻とこの
   時刻に付加する情報とを記録するマーク付け記憶手段
   と、前記マーク付記憶手段に記録されたマーク情報のひ
   とつを選択する再生指示手段と、前記データ記憶手段に
   記録された音声または動画像データのうち前記再生指示
   手段で選択されたマーク情報で指定された部分を再生す
   る再生手段とを備えたことを特徴とする記録再生装置。
10. 【請求項１０】 音声または動画像をデータとして取り
    込んで、このデータをデータ記憶手段に記録し、この記
    録された音声データを経時的に表示し、特定の位置を指
    定し、この指定された位置に対応する時刻を求め、この
    特定の時刻とこの時刻に付加する情報とをマーク付け記
    憶手段に記録することにより、音声または動画像のデー
    タの特定部分を正確に指定できるようにしたことを特徴
    とする記録方法。
11. 【請求項１１】 音声または動画像を記録するためにコ
    ンピュータを、音声または動画像をデータとして取り込
    むデータ取込手段と、この取り込まれたデータを記録す
    るデータ記憶手段と、前記データ記憶手段に記録された
    データの特定の部分を指定するマーク付け入力手段と、
    前記マーク付け入力手段で指定した特定の部分の時刻と
    この時刻に付加する情報とを記録するマーク付け記憶手
    段と、前記データ記憶手段に記録された音声データを経
    時的に表示する取込状況表示手段を備え、前記マーク付
    け入力手段は、前記取込状況表示手段で表示された特定
    の位置を指定し、この指定された位置に対応する時刻を
    求め、これを特定の時刻としてマーク付けし、前記マー
    ク付記憶手段へ記憶するように機能させる記録プログラ
    ム。
12. 【請求項１２】 記録されたデータを再生させるために
    コンピュータを、請求項９に記載のプログラムにより記
    録された前記マーク付記憶手段に記録されたマーク情報
    のひとつを選択する再生指示手段と、前記データ記憶手
    段に記録された音声または動画像データのうち前記再生
    指示手段で選択されたマーク情報で指定された部分を再
    生する再生手段として機能させるための記録再生プログ
    ラム。
13. 【請求項１３】 コンピュータを、音声または動画像を
    記録する記録装置として機能させるためのプログラムを
    記録したコンピュータ読み取り可能な記録媒体であっ
    て、音声または動画像をデータとして取り込むデータ取
    込手段と、この取り込まれたデータを記録するデータ記
    憶手段と、前記データ記憶手段に記録されたデータの特
    定の部分を指定するマーク付け入力手段と、前記マーク
    付け入力手段で指定した特定の部分の時刻とこの時刻に
    付加する情報とを記録するマーク付け記憶手段と、前記
    データ記憶手段に記録された音声データを経時的に表示
    する取込状況表示手段を備え、前記マーク付け入力手段
    は、前記取込状況表示手段で表示された特定の位置を指
    定し、この指定された位置に対応する時刻を求め、これ
    を特定の時刻としてマーク付けし、前記マーク付記憶手
    段へ記憶させて、音声または動画像のデータの特定部分
    を正確に指定できる機能を実現するためのプログラムを
    記録したコンピュータ読み取り可能な記録媒体。
14. 【請求項１４】 コンピュータを、記録されたデータを
    再生させる記録再生装置として機能させるためのプログ
    ラムを記録したコンピュータ読み取り可能な記録媒体で
    あって、請求項１１に記載のプログラムにより記録され
    た前記マーク付記憶手段に記録されたマーク情報のひと
    つを選択する再生指示手段と、前記データ記憶手段に記
    録された音声または動画像データのうち前記再生指示手
    段で選択されたマーク情報で指定された部分を再生する
    再生手段として機能させるための記録再生プログラムを
    記録したコンピュータ読み取り可能な記録媒体。