JP3230569B2

JP3230569B2 - 情報蓄積装置、情報蓄積方法および情報蓄積再生装置

Info

Publication number: JP3230569B2
Application number: JP12789196A
Authority: JP
Inventors: 哲市村
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1996-04-24
Filing date: 1996-04-24
Publication date: 2001-11-19
Anticipated expiration: 2016-04-24
Also published as: JPH09294239A; US5926605A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えば会議録記
録システムや取材記録システムのように、会議や取材で
の会話音声、会議や取材風景の画像と、それらに関係す
る会議メモや取材メモなどの情報を記憶蓄積する情報蓄
積装置に関する。

【０００２】

【従来の技術】従来から、会議や講演、取材、インタビ
ュー、電話やテレビ電話を使用した会話、テレビ映像、
監視カメラ映像等の記録を、デジタルディスク、デジタ
ルスチルカメラ、ビデオテープ、半導体メモリなどに記
憶蓄積し、再生する装置が提案されている。これらの情
報蓄積装置を用いて情報の蓄積を行えば、記録すべき情
報の要点のみを記録者が筆記等して記録する方法に比
べ、入力情報である音声や画像を漏らさず記録できると
いう利点がある。

【０００３】これらの装置には、コンピュータネットワ
ークを介して伝送されたデジタル信号を蓄積媒体に記録
するものや、ビデオカメラやマイクからのアナログ入力
信号をそのまま蓄積媒体に記録するものや、符号化して
デジタル信号に変換し、記録するものなどがある。

【０００４】しかしながら、記録された音声や画像の中
から欲しい部分を瞬時に検索することが困難であるとい
う問題点があった。

【０００５】この問題点に対し、例えば、記録者が任意
のタイミングで特定のボタンを押すことによって、入力
音声信号または入力画像信号中の重要部分にチェックマ
ークを付け、重要部分を検索し易くするテープレコーダ
やＶＴＲが提案されている。

【０００６】しかし、この場合のチェックマークは、単
に、重要部分の位置を特定するためのものであり、それ
ぞれのチェックマークが音声信号または画像信号のいず
れの区間部分に対応しているか示すことはできないため
に、チェックした部分音声また画像信号を全て再生して
内容を確認しなければならないという問題があった。さ
らに、話しを聞いている時にボタンを押すという不自然
な行動をとらなければならず、話しに集中できないとい
う問題もあった。

【０００７】そのため、順次入力される音声信号または
画像信号と、任意のタイミングで記録者が入力したペン
やキーボードによるユーザ入力情報とを対応付けて蓄積
記録し、再生する装置が提案されている。これらの装置
を用いれば、記録者がメモを取るようにペンやキーボー
ドで入力を行なうとともに、音声信号または画像信号を
記録しておけば、後で、入力されたメモを参照すること
により、音声または画像信号の再生したい箇所を容易に
選択して再生することができる。

【０００８】例えば、特開平７−１８２３６５号公報、
特開平６−１７６１７１号公報、特開平６−３４３１４
６号公報、ＡＣＭＣＨＩ’９４プロシーディング
ｐｐ．５８−ｐｐ．６４（”Ｍａｒｑｕｅｅ：ＡＴ
ｏｏｌＦｏｒＲｅａｌ−ＴｉｍｅＶｉｄｅｏＬ
ｏｇｇｉｎｇ”）等には、記録の際に、音声信号または
画像信号とユーザ入力情報とを時間刻印に基づいて対応
付け、再生の際に、画面に表示されたユーザ入力情報の
一つを指定することにより、その指定されたユーザ入力
情報が記録された時刻に記録された、音声信号または画
像信号を再生する装置が記載されている。

【０００９】さらに、特開平６−２７６４７８公報に
は、順次入力される音声信号または画像信号と、任意の
タイミングで記録者が指示した瞬間の静止画映像とを、
時間刻印に基づいて対応付け、再生する装置が提案され
ている。

【００１０】また、特開平６−２０５１５１号公報に
は、ユーザ入力が一定時間途切れたことを検知したタイ
ミングで、入力音声信号または入力画像信号にインデッ
クスを付加して記録し、再生の際に、画面に表示された
特定のユーザ入力情報の一つを指定することにより、そ
の指定されたユーザ入力情報に対応したインデックス部
分からの音声信号または画像信号を再生する装置が記載
されている。

【００１１】

【発明が解決しようとする課題】しかしながら、前述の
特開平７−１８２３６５号公報、特開平６−１７６１７
１号公報、特開平６−２０５１５１号公報、ＡＣＭＣ
ＨＩ’９４プロシーディングｐｐ．５８−ｐｐ．６
４（”Ｍａｒｑｕｅｅ：ＡＴｏｏｌＦｏｒＲｅａ
ｌ−ＴｉｍｅＶｉｄｅｏＬｏｇｇｉｎｇ”）、特開
平６−２７６４７８公報に記載されている情報蓄積装置
では、入力される全ての音声信号または画像信号を圧縮
せずに記録する仕組みになっているため、限られた記録
容量の中に長時間の入力音声または画像信号を記録する
ことは困難であるという問題があった。一般に、順次入
力される音声信号または画像信号などの時系列データを
長時間に渡って記録する場合には、必要な記憶容量は膨
大なものになるからである。

【００１２】公知の方法として、音声信号や画像信号を
常に圧縮しながら記憶媒体に記憶する方法や、記憶する
際に無音区間を記憶しない音声記憶方法などが提案され
ているが、入力されたすべての音声信号または画像信号
は同じ圧縮率で記憶されるのが一般的である。このた
め、重要部分のみを高音質／高画質で再生するようにす
ることができないという問題がある。

【００１３】例えば、取材のインタビューによる音声と
画像とを、ＶｉｄｅｏｆｏｒＷｉｎｄｏｗｓ（”
ＭｉｃｒｏｓｏｆｔＶｉｄｅｏｆｏｒＷｉｎｄｏ
ｗｓ１．０ユーザーズガイド” ｐｐ．５７−５９，
ｐｐ．１０２−１０８）を用いて、長時間記録してい
るような場合、記憶容量を節約する目的で画像信号を５
秒間に１フレームだけ記憶するように間引き圧縮率を設
定していたとする。この時、記録者が、記録時に重要だ
と感じた部分を後から再生したいと思ったとしても、５
秒間に１フレームの画像信号しか再生できないため、話
者が話しながら行なった動き（ジェスチャなど）や、話
しぶりや、微妙なニュアンスを再現できないという問題
がある。逆に、入力される画像信号を、１秒間３０フレ
ームですべて記憶したとすると、記憶容量が膨大になる
ため、長時間のインタビューを記憶するのは非常に困難
である。

【００１４】また、特開平６−３４３１４６号公報に
は、ユーザ入力があったタイミングで一定時間だけ信号
を記録する方法が記載されている。しかし、この方法の
場合は、再生できるのは記録された一定時間内の信号に
厳密に限られるために、例えばインタビューによる音声
と画像とを記録しているような場合、記録者によるユー
ザ入力があったタイミングで定まる一定時間内の音声や
画像しか再生できず、この一定時間の部分以外の音声や
動画像を全く再生できないという問題がある。

【００１５】また、ユーザ入力と音声とは関連がないの
で、話者の発言を開始部分から記録することができなか
ったり、話者が話し終えないうちに記録が終了してしま
うという問題があった。

【００１６】また、さらに、特開平６−１５３１９９公
報には、センサからのトリガ信号が検出された時点の前
後の所定個数の画像フレームを保存する監視装置が記載
されている。この監視カメラ装置は、特開平６−３４３
１４６号公報記載の装置と同様、トリガを検出した時刻
の一定時間前の時点から、トリガを検出した時刻の一定
時間後の時点までの、入力画像を記憶する装置である。

【００１７】しかし、例えばインタビューによる音声お
よび画像を記録しようとした場合、ユーザの入力（トリ
ガ信号）が発生するのは話者が話し始めてから不定時間
が経過したタイミングであるので、トリガ時点の前後の
所定個数の画像フレームの区間を記憶するようにする特
開平６−１５３１９９号公報の監視カメラ装置の技術を
用いても、特開平６−３４３１４６号公報記載の装置と
同様、話者の発言を開始部分から記録することができな
いという問題や、話者が話し終えないうちに記録が終了
してしまうという問題が生じる。

【００１８】この発明は、上記の問題点を解決したもの
で、ユーザ入力と、音声変化と、画像変化とを関連付け
て、音声および画像の重要と思われる部分を確実に記録
蓄積することができる情報蓄積装置を提供することを目
的としている。

【００１９】

【課題を解決するための手段】請求項１の発明による情
報蓄積装置は、ユーザ入力情報を入力するためのユーザ
入力手段と、前記ユーザ入力手段により入力されるユー
ザ入力情報を検出するユーザ入力情報検出手段と、音声
情報または画像情報を入力するための情報入力手段と、
前記情報入力手段により入力された音声情報または画像
情報を一時記憶する一時記憶手段と、前記情報入力手段
により入力された前記音声情報または前記画像情報の中
から、予め設定された所定の条件に合致する音声情報区
間または画像情報区間を検出する条件一致区間検出手段
と、前記一時記憶手段に一時記憶された音声情報または
画像情報のうちの、少なくとも、前記ユーザ入力情報検
出手段での前記ユーザ入力情報の検出結果と前記条件一
致区間検出手段の検出結果とから定められる区間の音声
情報または画像情報を記憶する時系列情報記憶手段と、
を備えることを特徴とする。

【００２０】また、請求項２の発明は、前記時系列情報
記憶手段に記憶される音声情報または画像情報は、前記
ユーザ入力情報検出手段で前記ユーザ入力情報が検出さ
れたときに、前記一時記憶手段に一時記憶されている音
声情報または画像情報のうち、前記ユーザ入力情報が検
出された時点以前の前記条件一致区間検出手段で検出さ
れた区間の少なくとも先頭の時点からの前記音声情報で
あることを特徴とする。

【００２１】請求項３の発明は、前記時系列情報記憶手
段に記憶する音声情報または画像情報のデータ量を圧縮
する手段であって、圧縮方式あるいは圧縮率が変更可能
な圧縮手段（２７）を設け、前記条件一致区間検出手段
で検出された区間の前記音声情報または画像情報は、前
記圧縮手段により、他の区間の音声情報または画像情報
とは異なる圧縮方式あるいは圧縮率となるようにしたこ
とを特徴とする。

【００２２】

【作用】請求項１の発明のおいては、情報入力手段から
の音声情報または画像情報については、条件一致区間検
出手段で予め設定された所定の条件に合致する区間が検
出される。そして、ユーザ入力がユーザ入力情報検出手
段で検出されると、このユーザ入力情報の検出時点と条
件一致区間検出手段の検出出力とにより、ユーザ入力情
報に対応して時系列情報記憶手段に記憶する音声情報区
間または画像情報区間を決定する。

【００２３】例えば、請求項２の発明の場合であれば、
ユーザ入力情報が検出された時点以前の前記条件一致区
間検出手段で検出された区間の少なくとも先頭の時点か
らの前記音声情報または画像情報が、当該ユーザ入力情
報に対応するものとして時系列情報記憶手段に記憶され
る。

【００２４】例えば、条件一致区間検出手段での検出条
件が、「発言区間」である場合には、ユーザ入力情報が
検出された時点より前から発生している例えば会議の発
言者の発言内容またはその時の画像情報が、当該ユーザ
入力情報と対応するものとして初めから終りまで時系列
情報記憶手段に記憶される。そして、その対応関係は、
対応関係記憶手段に記憶される。

【００２５】また、請求項３の発明によれば、前記条件
一致区間検出手段で検出された区間の音声情報または画
像情報は、他の区間の音声情報または画像情報よりも、
例えば高品質で時系列情報記憶手段に記憶される。

【００２６】したがって、再生に当たっては、ユーザ入
力情報記憶手段の記憶内容を、例えば表示手段にて表示
して特定のユーザ入力情報を直接的または間接的に指定
すると、そのユーザ入力情報に対応する音声情報または
画像情報が、対応関係記憶手段に記憶されている対応関
係に基づいて、時系列情報記憶手段から読み出されて、
再生される。

【００２７】この再生された音声または画像情報は、前
述のように、条件一致区間検出手段での検出条件が「発
言区間」である場合には、例えば、ユーザ入力情報が入
力された時点よりも以前から発生する発言区間内のすべ
ての発言内容や画像情報となり、発言内容がその先頭か
ら、また、対応する画像情報が発言開始時に溯って再生
されることになる。そして、その条件一致区間の音声情
報や画像情報は、他の区間の情報と区別して高品質で再
生するようにすることができる。

【００２８】

【発明の実施の形態】以下、図面を参照して、この発明
の実施の形態について説明する。（第１の実施の形態）第１の実施の形態は、この発明に
よる情報蓄積再生装置を会議記録に適用した場合であ
る。

【００２９】図２は、この実施の形態の場合の会議風景
を示すもので、１０は、電子会議装置である。この電子
会議装置１０は、マーカーペンでホワイトボードに書き
込むのと同じ感覚で、プロジェクター・スクリーン上に
電子ペンを使用して自在に書き込みを行うことができ、
議論の過程や、結論を電子ファイルとして記憶蓄積する
ことができるものである。このため、電子会議装置１０
は、パーソナルコンピュータ（図示せず）を内蔵する。

【００３０】なお、パーソナルコンピュータを介して、
例えばＩＳＤＮによるネットワークに接続することによ
り、会議の過程の音声情報や画像情報を遠隔地間で同時
に共有し、あたかも同じ部屋で会議を行っているような
環境を実現することも可能である。

【００３１】そして、この電子会議装置１０は、表示画
面１１を備える。この表示画面１１への画像の表示方式
は、スクリーンに背面から画像を投射して表示する、い
わゆるプロジェクション方式である。

【００３２】この場合、表示画面１１には、タッチパネ
ル１２が貼着されており、このタッチパネル１２により
電子ペン１３によるユーザ１４の手書き入力情報が検出
される。タッチパネル１２の出力、すなわち、ユーザ入
力情報検出出力は、表示画面１１上の電子ペン１３の接
触入力座標位置である。このユーザ入力情報検出出力
は、後述するようにして、パーソナルコンピュータによ
り処理されて、記憶蓄積される。

【００３３】また、この電子会議装置１０は、オーディ
オ入力端子およびビデオ入力端子を備える。この実施の
形態においては、マイクロホン１５により収音された複
数の会議出席者の発言の音声信号がオーディオ入力端子
を通じて入力される。また、ビデオカメラ１６で撮影さ
れた紙文書や会議風景の画像信号がビデオ入力端子を通
じて入力される。

【００３４】そして、オーディオ入力端子を通じて入力
された音声情報は、スピーカ１７により放音されると共
に、後述のようにして、内蔵のパーソナルコンピュータ
により処理されて、ユーザ入力情報および画像情報と関
連付けられて記憶蓄積される。

【００３５】この電子会議装置１０の表示画面には、当
該電子会議装置１０のビデオ入力端子に接続されている
ビデオカメラからの画像情報による画像と、この電子会
議装置のパーソナルコンピュータを通じて入力される電
子文書の画像とが、図２に示すように、それぞれ別のウ
インドウ画像１８Ａ、１８Ｂとして表示される。この表
示画面１１に表示される画像情報も、前記のユーザ入力
情報および音声情報と関連付けされて記憶蓄積される。

【００３６】そして、この電子会議装置１０に内蔵のパ
ーソナルコンピュータは、機能的に情報蓄積再生装置を
その内部に備える。この情報蓄積再生装置は、前記ユー
ザ入力情報、音声情報、画像情報を、以下に説明するよ
うにして記憶蓄積し、再生する。図２において、１９
は、その情報蓄積部である。

【００３７】図１は、この実施の形態の情報蓄積再生装
置を、その機能を中心にして示したブロック図である。
すなわち、この実施の形態の情報蓄積再生装置は、シス
テムバス２０に対して、ユーザ入力情報検出部２１、第
１記憶部２２、第２記憶部２３、第３記憶部２４、表示
部２５、条件一致区間検出部２６、圧縮部２７、再生指
定部２８、再生部２９、制御部３０が、それぞれ接続さ
れて構成される。

【００３８】各部はそれぞれ別ブロックとして構成され
ていてもよいし、１つのブロックが幾つかの部を含むよ
うに構成されていてもよい。また、１つの部がいつかの
ブロックに分割されて実装されていてもかまわない。

【００３９】表示部２５は、前述したプロジェクション
方式の表示装置部分である。

【００４０】制御部３０は、全体の処理動作を制御す
る。

【００４１】ユーザ入力情報検出部２１は、前述したタ
ブレット１２により構成され、電子ペン１３によるユー
ザ入力を検出し、そのペン筆跡情報をユーザ入力情報と
して出力する。

【００４２】なお、ユーザ入力情報としては、ペン（ま
たはマウス／トラックボール／タッチパネルなど）から
の筆跡あるいは図形（線、四角形、円などのオブジェク
ト）の他に、筆跡データを文字認識したコード情報、キ
ーボードからのコード情報でもよい。また、表示されて
いるユーザ入力情報を移動／複写／削除したという編集
情報、ページ切り替えを行ったという情報、スチルカメ
ラのシャッターを押したという情報、仮想的な消しゴム
が用いられたという情報など、ユーザ入力情報が表示さ
れない性質のものであってもよく、この場合はそのユー
ザ入力情報の存在を示す所定のしるしを表示部２５に表
示する。

【００４３】すなわち、入力される時系列情報（例え
ば、音声または画像信号）が存在する間にユーザが計算
処理能力を持つ装置に対して行った入力は、いずれもこ
の発明でいうユーザ入力情報に相当する。

【００４４】図３は、このユーザ入力情報検出部２１の
動作を説明するフローチャートである。すなわち、タブ
レット１２がペン筆跡情報のユーザ入力を検出すると
（ステップＳ１０１）、その検出結果の情報は、表示部
２５に出力されて表示されると共に、第３記憶部２４に
出力される（ステップＳ１０２）。

【００４５】第１記憶部２２は、最終的に蓄積する音声
情報および画像情報の記憶部である。この第１記憶部２
２は、記憶媒体として、例えばディスク記憶媒体や半導
体メモリを用いる。

【００４６】第２記憶部２３は、ユーザ入力情報のそれ
ぞれと、それぞれのユーザ入力情報に対応して第１記憶
部２２に記憶される音声情報および画像情報の、前記第
１記憶部２２の記憶アドレスとを対応させて記憶するも
ので、対応関係記憶部を構成する。この第２記憶部２３
も、例えば半導体メモリや磁気ディスク等で構成され
る。

【００４７】第３記憶部２４は、例えば半導体メモリや
磁気ディスク等で構成され、この実施の形態では、画像
情報を、第１記憶部２２に記憶するに先立ち、一時記憶
すると共に、条件一致区間検出部２６により検出される
条件一致区間の開始点および終了点の情報を、入力画像
情報と対応付けて、一時記憶するものである。この第３
記憶部２４は、ユーザ入力情報検出部２１からのユーザ
入力検出出力を受けて、後述するように、一時記憶して
いる画像情報を、この例では、圧縮部２７を通じて第１
記憶部２２に送る。

【００４８】条件一致区間検出部２６には、入力端子３
１を通じたオーディオ入力信号がＡ／Ｄ変換器３２によ
りデジタル信号に変換されて供給されると共に、入力端
子３３を通じた画像信号がＡ／Ｄ変換器３４によりデジ
タル信号に変換されて供給される。

【００４９】この条件一致区間検出部２６は、これに入
力されるオーディオ信号または画像信号を監視して、予
め定められている条件に合致するオーディオ信号区間あ
るいは画像信号区間を検出する。

【００５０】この実施の形態では、所定レベル以上の音
声信号の有無を条件として条件一致区間を検出する。こ
れにより、会議出席者の発言の開始点から終了点間での
区間を条件一致区間として検出するようにする。

【００５１】この場合、その検出方法としては、図５に
ように、条件一致区間検出部２６は、入力される音声レ
ベルが所定のレベル以上になったことを検知して話者の
発言の開始点を認識し、音声レベルが所定の閾値レベル
以下になったことを検知して話者の発言の終了点を認識
する検出機能を持つ。ただし、図５に示すように、音声
レベルが閾値レベルと交差する音声レベル変化点Ｆ１０
１そのものを、発言の開始点／終了点とすると、発言の
最初部分と最後部分が記録できないので、音声レベルが
小レベルから大レベルに変化するときの変化点Ｆ１０１
よりも一定時間Ｔ１だけ前の時点Ｆ１００を発言開始点
とし、また、音声信号レベルが大レベルから小レベルに
変化するときの変化点Ｆ１０１よりも一定時間Ｔ２後の
時点Ｆ１０２を発言終了点とする。

【００５２】なお、この実施の形態において、ある時刻
における音声レベルとは、その時刻の前後の音声レベル
を平滑化した値であり、例えば、前後の２秒間の瞬間音
声レベルの平均値である。

【００５３】そして、この実施の形態においては、条件
一致区間検出部２６では、画像信号については、条件は
定めず、この条件一致区間検出部２６を画像情報はその
まま通過して、一時記憶部としての第３記憶部２４に送
られる。

【００５４】圧縮部２７は、この実施の形態において
は、画像情報のデータ圧縮を行う。この場合、圧縮部２
７は、第３記憶部２４からの条件一致区間を示す情報に
基づいて、データ圧縮量を動的に可変にできるように構
成されている。

【００５５】この実施の形態においては、圧縮部２７
は、動画の画像情報を想定して、この動画の画像情報を
所定時間長または所定フレーム数を一つの処理単位とし
て扱う。例えば連続した１０フレームを１つの単位部分
画像列として圧縮処理を行うが、前記条件一致区間以外
の区間の画像情報は、前記１０フレームのなかの先頭の
１フレームだけを残して、他のフレームの情報を破棄す
るという間引き圧縮処理を行い、一方、前記条件一致区
間では、画像情報についての前記の間引き圧縮処理を行
わず、前記１０フレーム全部を記憶するようにする。

【００５６】したがって、条件一致区間以外の区間の画
像情報を再生した場合、いわゆる駒落しであって、動き
がぎごちない動画となるが、情報量は非常に少なくな
る。一方、条件一致区間の画像情報を再生した場合、ス
ムースな動きの高品質の動画が再生されることになる。

【００５７】なお、各フレームの画像データについても
所定の圧縮処理、例えばベクトル量子化等を用いて圧縮
するようにしてもよい。

【００５８】なお、この実施の形態では、音声情報は圧
縮せずに記憶する。

【００５９】再生指定部２８は、蓄積記憶したユーザ入
力情報、音声情報、画像情報を、ユーザ入力情報を指定
して再生する際に使用される。この再生指定部２８は、
後述するように、画面１１に表示されたユーザ入力情報
のうちから、タブレット１２を通じてユーザが指定を行
ったときに、その指定部分を再生部分として検出するも
のである。

【００６０】再生部２９は、ユーザ入力情報を第２記憶
部２３から読み出して再生して表示部２５に表示すると
共に、このユーザー入力情報に対応する、再生指定部２
８で指定された音声情報、画像情報の再生部分を第１記
憶部２２から読み出して再生する。

【００６１】次に、以上のような構成の情報蓄積再生装
置における記録時の動作について説明する。

【００６２】図７は、この実施の形態における記録時の
動作を、その際の各種情報の流れ、および、各部の出力
の流れと共に説明する図である。

【００６３】マイクロホン１５からの音声情報およびビ
デオカメラ１６からの画像信号が、条件一致区間検出部
２６に入力されると、画像信号は第３記憶部２４に入力
されて一時記憶され、音声信号は第１記憶部２２に記憶
される。この実施の形態においては、音声情報は圧縮さ
れないため、直接、第１記憶部２２に入力される。

【００６４】そして、条件一致区間検出部２６は、前述
したように、マイクロホン１５からの音声情報の音声レ
ベルと所定の閾値レベルとを比較して、会議出席者の発
言開始点と発言終了点とを検出する。検出した発言開始
点および発言終了点の情報は、第３記憶部２４および圧
縮部２７に供給される。

【００６５】図４は、条件一致区間検出部２６の動作を
説明するフローチャートである。すなわち、前述した条
件一致区間検出処理は、ステップＳ２０１において実行
され、話者の発言開始点または終了点が検出された場合
には、ステップＳ２０２において、その検出結果を第３
記憶部２４と圧縮部２７に出力する。

【００６６】第３記憶部２４は、図６に示すように、リ
ングバッファ形式に構成され、順次入力される画像情報
と条件一致区間検出部２６の検出結果である発言開始点
および発言終了点の情報とを、書き込みアドレスを制御
することによりリング状に取り込み続けながら、古い情
報を新しい情報によって上書きしていく仕組みになって
いる。

【００６７】なお、この種の記録方法としては他にも、
待ち行列方式、ＦＩＦＯ方式等の公知の方法が適用でき
る。また、図７の例の場合のリングバッファのメモリ数
は１６個であるが、もちろんメモリ数に制限はなく、１
個のメモリの中に収容できる画像フレーム数（データ記
憶容量）にも制限はない。

【００６８】図６において、最古データアドレスＦ２０
０は、第３記憶部２４に記憶されている画像の中で最も
古い画像が格納されているメモリを指すポインタであ
り、最新データアドレスＦ２０１は、第３記憶部２４に
最も新しく入力された画像を格納しているメモリを指す
ポインタである。

【００６９】また、発言開始点Ｆ２０２およびＦ２０４
と発言終了点Ｆ２０３は、条件一致区間検出部２６の検
出結果を第３記憶部２４に記憶したものである。

【００７０】なお、発言開始点および発言終了点を示す
情報は、この例のように、リングバッファのメモリ中に
格納されてもよいし、別のメモリを用意してその中に格
納されてもよい。

【００７１】図８は、第３記憶部２４の動作を説明する
フローチャートである。

【００７２】ステップＳ３００で受信された単位時間あ
たりに入力された画像列、例えば１０フレーム分の画像
列は、ステップＳ３０１でユーザ入力情報検出部２１か
らの検出出力が入力されない間、および、ステップＳ３
０２において、リングバッファにおいて、最新データが
最古データを上書きしない間は、ステップＳ３０３にお
いて最新データアドレスＦ２０１の指すメモリに記憶さ
れる。

【００７３】そして、ステップＳ３０３からステップＳ
３０４に進み、条件一致区間検出部２６から発言開始点
または発言終了点を示す情報の入力があるか否か判別
し、発言開始点または発言終了点を示す情報の入力があ
った場合には、ステップＳ３０４から、ステップＳ３１
１に進み、条件一致区間検出部２６からの情報は発言開
始点か、あるいは発言終了点かを判別する。

【００７４】そして、音声レベルが所定レベル以上に変
化する発言開始点であれば、ステップＳ３１２に進み、
発言開始点マークを最新データアドレスの指し示すメモ
リ位置に記録し、音声レベルが所定レベル以下に変化す
る発言終了点であれば、ステップＳ３１３に進んで、発
言終了点マークを最新データアドレスの指し示すメモリ
位置に記録する。

【００７５】このステップＳ３１２あるいはステップＳ
３１３の処理の後、ステップＳ３０５に進んで、記憶し
たデータ量に応じて最新データアドレスを進める。

【００７６】一方、ステップＳ３０１で、ユーザ入力情
報検出部２１によってペン筆跡情報が入力されたことが
検出されると、これらのペン筆跡情報は表示部２５に表
示されると同時に、第１記憶部２２および第２記憶部２
３へのデータの記憶処理が開始される。

【００７７】すなわち、ユーザ入力情報検出部２１がペ
ン筆跡情報の入力を検出すると、図５に示すように、そ
の検出結果は第３記憶部２４に入力される。これによ
り、ステップＳ３０１の条件が満たされるので、ステッ
プＳ３０６に進んで、第３記憶部２４に記憶されていた
画像列のうち、ユーザ入力情報の検出時点である最新デ
ータアドレスＦ２０１の時点よりも前の発言開始点Ｆ２
０４によって示される画像フレームから、当該最新デー
タアドレスＦ２０１で示される画像フレームまでの画像
列が圧縮部２７に出力される。

【００７８】なお、この実施の形態では、図６におい
て、最新データアドレスＦ２０１に最も近い発言開始点
Ｆ２０４を圧縮画像列の先頭アドレスとして説明する
が、所定数前の発言開始点、例えばＦ２０２を圧縮画像
列の先頭アドレスとしてもよい。最新データアドレスか
らいくつ前の発言開始点を圧縮画像列の先頭アドレスと
するかをユーザが変更できるようにしてもよい。

【００７９】また、会議出席者の音声が検出されない時
に、ステップＳ３０１でペン筆跡情報が入力されたこと
を検知した場合には、そのペン筆跡情報が入力された時
点の直前の発言開始点を圧縮画像列の先頭アドレスとす
る。ただし、この場合に、いくつ前の発言開始点を圧縮
画像列の先頭アドレスとするかをユーザが変更できるよ
うにしてもよい。

【００８０】圧縮部２７は、第３記憶部２４から入力さ
れた条件一致区間検出部２６の検出結果に基づいて、第
３記憶部２４から入力された画像列を部分的に間引き圧
縮する。すなわち、前述したように、発言開始点から発
言終了点までの条件一致区間の画像情報は、間引き圧縮
せず、その他の区間の画像情報は、間引き圧縮する。

【００８１】圧縮部２７は、圧縮処理を終了すると、図
７に示すように、圧縮終了通知を第３記憶部２４に供給
するので、第３記憶部２４は、ステップＳ３０７におい
て、この圧縮終了通知を検知して、圧縮部２７の処理が
終了したことを判別する。そして、ステップＳ３０８に
進み、第３記憶部２４は、最古データアドレスＦ２００
を最新データアドレスＦ２０１と同じアドレスにするこ
とによって、第３記憶部２４をクリアする。その後、ス
テップＳ３０３以降の処理を前述のようにして行う。

【００８２】ステップＳ３０１で、ユーザ入力情報検出
部２１によってペン筆跡情報の入力が検出されないまま
に、ステップＳ３０２で、第３記憶部２４から消去され
るタイミング（最新データが最古データを上書きするタ
イミングである）がめぐってきた画像情報については、
ステップＳ３０９で予め定められた一定量の画像情報が
圧縮部２７に出力され、圧縮部２７によって間引き圧縮
された後、第１記憶部２２に記憶される。第３記憶部２
４では、その後、ステップＳ３１０において、最古デー
タアドレスを、圧縮部２７に送出したデータ量分だけ進
める。その後、ステップＳ３０３に進み、前述したよう
な処理を繰り返す。

【００８３】ステップ３０９およびステップ３１０での
処理動作について図９を用いて説明する。

【００８４】図９（Ａ）は、第３記憶部２４のアドレス
ａ１３に記憶されている最古画像が、次に入力される画
像情報によって上書きされる直前の状況を図解するもの
である。第３記憶部２４は、図８のステップＳ３０２に
よって、この状況を検出すると、最古データアドレスＦ
３００から一定量分の画像情報列を圧縮部２７に出力す
る。

【００８５】図９（Ｂ）は、アドレスａ１３およびアド
レスａ１４に記憶されていた画像情報列を圧縮部２７に
出力し、新しい最古データアドレス３１０をアドレスａ
１５にまで進めた例を説明する図である。これにより、
アドレスａ１３およびアドレスａ１４の空きメモリが作
られる。

【００８６】第３記憶部２４から消去されるタイミング
がめぐってきた画像列を圧縮部２７に出力する場合にお
いては、出力画像列が発言開始点または発言終了点を含
む含まないに関わらず、発言がない区間の画像列として
圧縮部２７に入力される。したがって、その場合に圧縮
部２７に入力された、アドレスａ１３およびアドレスａ
１４に記憶されていた画像情報列は、間引き圧縮されて
第１記憶部２２に記録される。

【００８７】なお、このとき、第３記憶部２４から消去
されるタイミングがめぐってきた時に、どれだけの量を
圧縮部２７に出力するかをユーザが変更できるようにし
てもよい。

【００８８】次に、圧縮部２７の動作を説明する。図１
０は、圧縮部２７の動作例を説明するフローチャートで
ある。

【００８９】まず、ステップＳ４００において初期化を
行い、圧縮点アドレスを、入力される画像情報列の先頭
アドレスにすると共に、圧縮完了を示すフラグを「０」
にリセットする。そして、次のステップＳ４０１では、
フラグが「１」であるか否か判別し、フラグが「１」で
なければステップＳ４０２に進み、入力画像列の圧縮が
完了したか否か判別する。

【００９０】このステップＳ４０２での判別の結果、圧
縮が完了していなければ、そのままステップＳ４０３に
進み、圧縮が完了していれば、ステップＳ４０８でフラ
グを「１」にした後、ステップＳ４０３に進む。

【００９１】また、ステップＳ４０１でフラグが「１」
であると判別したときには、ステップＳ４０６に進み、
条件一致区間検出部２６は発言終了を検出したか否か判
別し、発言終了と判別したときには、このフローチャー
トを終了し、発言終了と判別しなかったときには、図７
に示すように、新たにビデオ入力端子から入力される画
像情報列を、一時記憶部としての第３記憶部２４を介さ
ずに、圧縮部２７に取り込み、ステップＳ４０３に進
む。

【００９２】ステップＳ４０３では、圧縮すべき画像列
は、発言開始点から発言終了点までの間の発言区間中の
画像列か否か判別し、発言区間中の画像列であるときに
は、そのままステップＳ４０４に進み、発言区間中でな
い画像列のときには、ステップＳ４０３からステップＳ
４０９に進み、前述したフレーム間引き圧縮処理を行っ
た後、ステップＳ４０４に進む。

【００９３】ステップＳ４０４では、圧縮が完了した部
分画像列を第１記憶部２２に出力する。そして、ステッ
プＳ４０５に進み、圧縮点アドレスを圧縮したデータ量
に応じて進める。このステップＳ４０５の後はステップ
Ｓ４０１に戻り、以上の処理ステップを繰り返す。

【００９４】以上の圧縮部２７の処理内容を整理すると
次のようになる。すなわち、圧縮部２７に入力された画
像列は、先頭アドレスから順に、発言区間中の画像信号
かどうかが判定され、間引き圧縮処理を施された後、第
１記憶部２２に格納される。例えば、入力された画像列
が１００フレームの画像から構成されており、連続した
１０フレームを１つの部分画像列として、それぞれの部
分画像列毎に発言中の部分画像列かどうかを判定する。

【００９５】そして、この場合、発言区間中の部分画像
列でないと判定された部分画像列に対しては１０フレー
ムの中の先頭の１フレームだけを残して残りの９フレー
ムを破棄するという間引き圧縮処理が行われ（ステップ
Ｓ４０９）、他方、発言区間中の部分画像列であると判
定された部分画像列に対しては間引き圧縮処理は施され
ずに、第１記憶部２２に記憶される。

【００９６】なお、１つの部分画像列が含む画像フレー
ム数は必ずしも固定である必要はなく、入力された画像
列の量に応じて変化するようにしてもよいし、ユーザが
変更できるようにしてもよい。

【００９７】入力された画像列全体に対して以上の処理
を繰り返し実行し、画像列全体を処理し終わると、ステ
ップＳ４０８に進んでフラグをセットする。このフラグ
セットにより、圧縮終了通知を第３記憶部２４に送る。

【００９８】以上に説明した処理によって、話者の発言
が始まった時点からペン筆跡が入力された時点までの画
像列が第１記憶部２２に記憶されたことになるが、カメ
ラから取り込まれた画像信号の第１記憶部２２への記憶
処理は、ステップＳ４０６およびＳ４０７によって、話
者の発言終了点が検出されるまで継続する。

【００９９】なお、入力された画像列全体に対して圧縮
処理を施す間（Ｓ４００からＳ４０８に至るまでの間）
に処理時間が多大にかかる場合には、その間にカメラか
ら新たに取り込まれた画像信号と検出部１から取り込ま
れた検出結果とを、別のバッファメモリ（図示せず）に
一時記憶しておく。または、第３記憶部または第１記憶
部の一部をこのためのバッファメモリとして使用しても
よい。

【０１００】次に、第１記憶部２２の動作を説明する。
図１１は、この第１記憶部２２の動作例を説明するため
のフローチャートである。

【０１０１】第１記憶部２２は圧縮部２７からの画像列
と音声情報とを順次記憶するが、この実施の形態では、
前述したように、音声情報は圧縮せずに記憶するため、
入力音声情報は第３記憶部２４を介さずそのまま第１記
憶部２２に記憶される（ステップＳ５００）。

【０１０２】圧縮部２７から入力された画像列は、第２
記憶部２３からの再生要求がなければ（ステップＳ５０
１）、ステップＳ５０２によって検出され、ステップＳ
５０５に進んで、その画像情報が画像列の最初または最
後（そのときのユーザ入力情報検出に対応する画像列の
最初または最後）であるか否か判別され、最初あるいは
最後でなければ、ステップＳ５０６において順次記録さ
れる。また、最初または最後であれば、ステップＳ５０
７で、その最初あるいは最後のアドレスを第２の記憶部
２３に出力し、その後、ステップＳ５０６に進んで、そ
の最初あるいは最後の画像情報を第１記憶部２２に記録
する。

【０１０３】ステップＳ５０５およびステップＳ５０７
は、そのときのユーザ入力情報検出に対応する話者の発
言の開始点アドレスと発言の終了点アドレスとを第２記
憶部２３に出力するための処理である。

【０１０４】第２記憶部２３は、ユーザが入力したペン
筆跡情報と、このペン入力情報の画面上で表示位置を特
定する情報（例えば、Ｘ−Ｙ座標軸上の絶対座標や相対
座標など）と、このペン筆跡情報が入力された時に入力
された音声または画像信号の、第１記憶部２２内での記
憶アドレスとを対応付けて記憶する。

【０１０５】この実施の形態では、第２記憶部２３に
は、ペン筆跡情報が入力された時に入力された音声情報
または画像情報の記憶アドレスの代わりに、条件一致区
間検出部２６の検出結果に基づいて求められる話者の発
言の開始点アドレスと発言の終了点アドレスとを記憶す
るようにしている。

【０１０６】図１２は、第２記憶部２３の動作を説明す
るフローチャートである。

【０１０７】図１１のステップＳ５０５およびＳ５０７
によって、話者の発言の開始点アドレスと発言の終了点
アドレスとが第２記憶部２３に出力されると、それは図
１２のステップＳ６０１によって第２記憶部２３に入力
として検出される。その後、ステップＳ６０２に進み、
表示部２５上のペン筆跡情報と、表示部２５上の表示位
置と、第１記憶部２２からの発言の開始点アドレスと発
言の終了点アドレスが対応づけられて、第２記憶部２３
に記憶される。

【０１０８】図１３および図１４は、表示部２５上のペ
ン筆跡、入力音声レベル、第１記憶部２２のデータ記憶
構造および第２記憶部２３のデータ記憶構造を対応させ
て、本装置の記憶動作を説明する図である。

【０１０９】図１３の例は、入力音声レベルについて、
条件一致区間検出部２６で検出した結果、発言開始点と
して時点ｔ１が、発言終了時点として時点ｔ２が検出さ
れ、これら時点ｔ１〜時点ｔ２の区間中にユーザ入力と
してのペン筆跡入力が有った場合である。この場合、第
１記憶部２２には、画像情報は、区間ｔ１〜ｔ２の画像
情報が、アドレスａ１〜ａ２に記憶されるが、その画像
情報は、間引き圧縮処理されずに記憶されている。

【０１１０】一方、時点ｔ１より以前のアドレスａ０か
らアドレスａ１までに記憶されている画像情報および、
時点ｔ２以降のアドレスａ２〜アドレスａ３までに記憶
されている画像情報は、間引き圧縮されて第１記憶部２
２に記憶されている。

【０１１１】このときの第２記憶部２３の記憶情報は、
図１４に示すようなものであり、そのデータ記憶構造
は、ペン筆跡情報と、表示部２５上の表示位置情報と、
第１記憶部２２上の記憶アドレスとからなる。

【０１１２】そして、ユーザが入力したペン筆跡情報と
しては、ユーザ入力情報を一意に特定する識別子ＩＤ
と、ユーザ入力情報の種類を特定する情報とが記憶され
ており、表示部３上の表示位置情報としては、３つのＸ
−Ｙ座標、この例では、座標（２０、３０）、座標（３
０、４０）、座標（６０、１０）と、座標情報の終端を
表すｎｉｌとが記憶されており、第１記憶部２２上の記
憶アドレスとしては、話者の発言の開始点アドレスａ１
と発言の終了点アドレスａ２とが記憶されている。

【０１１３】もちろん、第２記憶部２３に記憶されるの
は、ペン筆跡情報、表示座標、記憶アドレスそのもので
はなくそれらを特定する特定情報であってもよいし、第
２記憶部２３のデータ記憶構造はテーブルの形式でな
く、リスト構造などの他の記憶構造で構成されていても
よい。

【０１１４】また、この実施の形態のように、ユーザ入
力情報の種類を特定する情報を筆跡情報に含ませ、マル
チプルラインなどを表現するまとまった座標点列を１つ
のペン筆跡情報として記憶させておけば、再生時にその
座標点列のうちいずれかが指定されれば、その座標点列
に対応するペン筆跡情報が特定できるようになり、同じ
記憶アドレスから音声または画像を再生できるようにな
る。

【０１１５】さらに、所定時間間隔内に連続入力された
複数の座標点列を１つのペン筆跡情報として記憶させて
おけば、１行の文字列を１つのペン筆跡情報と見なすこ
とができるため、文字列を構成する座標点列のうちいず
れかが指定されれば、同じ記憶アドレスから音声または
画像を再生できるようになり、便利である。

【０１１６】次に、再生時の動作について説明する。表
示部２５に表示された複数のペン筆跡情報の中の１つを
ユーザがペンを用いて指定（ポインティング）すること
により、第１記憶部２２に記憶された音声または画像信
号のうち、そのペン筆跡情報が入力された時点の前後に
入力された音声または画像信号のみを部分的に再生可能
である。

【０１１７】また、そのペン筆跡情報が入力された時点
の前後に入力された画像信号のうち、話者が発言してい
た部分の画像信号の最初にさかのぼって再生できる。こ
の場合に、再生指定に用いる再生指定部２８としては、
この実施の形態では入力用のペンと兼用されている。

【０１１８】なお、再生指定部２８は、マウス、トラッ
クボール、カーソルキー等を用いることもできる。ま
た、ペン筆跡情報の指定方法としては、ポインティング
による指定、囲み（閉曲線や楕円などによる囲み）によ
る指定、識別子入力による指定、表示されている項目の
下に線を引くような指定などによるものでもよい。

【０１１９】また、囲みによる指定や下線による指定を
行なった結果、複数のペン筆跡情報が選択された場合に
は、なんらかの優先順位に基づいて１つを特定してもよ
いし（例えば、選択された中で最も早く入力されたペン
筆跡情報や、最も左上に表示されたペン筆跡情報を自動
的に選ぶ等）、候補をリスト状に表示してユーザに再度
選択を求めるようにしてもよい。さらに、特開平６−２
７６４７８公報や特開平６−２０５１５１号公報に記載
されているように、特定の順番（例えば時系列）で静止
画画像を並べ、それら目次画像の中から１つを指定する
ようにしてもよい。

【０１２０】表示部２５上の表示位置はＸ−Ｙ座標によ
って特定できるので、ペンなどの再生指定部５によって
ある表示位置が指定されると、その表示位置に対応する
Ｘ−Ｙ座標が特定される。

【０１２１】このようにして、再生指定部２８から再生
要求があると、第２記憶部２３での動作の図１２のフロ
ーチャートのステップＳ６００において、それが検出さ
れ、ステップ６０３に進み、再生指定部２８から得られ
た指定座標と第２記憶部２３に記憶されているＸ−Ｙ座
標から算出されるＸ−Ｙ座標群（図１４のペン筆跡座標
を端点とするマルチプルラインを構成する全ての点座標
群）とを比較して、対応するペン筆跡情報を特定する。

【０１２２】続いて、ステップＳ６０４において、この
ペン筆跡情報に対応した音声情報または画像情報の再生
開始アドレスおよび再生終了アドレスを第２記憶部２３
から取得し、ステップＳ６０５に進んで、そのアドレス
と再生要求を第１記憶部２２に出力する。

【０１２３】その後、再生開始／終了アドレスと再生要
求とを受けとった第１記憶部２２は、図１１のフローチ
ャートのステップＳ５０１において、その入力を検知
し、ステップ５０４に進んで、再生部２９に出力する。

【０１２４】なお、Ｓ６０３での座標比較の時に、少し
ずれた座標ともマッチングするようにしておけば、指定
時に多少ずれた座標点を指定しても、所望の記憶アドレ
スを取得できる。

【０１２５】また、ユーザ入力情報が表示されない性質
のものであった場合にでも、そのユーザ入力情報の存在
を示す所定のしるしが表示部２５に表示されているの
で、同様の方法によって所望の記憶アドレスを取得でき
る。さらに、記録時の動作説明で述べたように、まとま
った座標点列を１つのペン筆跡情報に対応させて第２記
憶部２３に記憶させてあった場合には、その座標点列の
うちいずれかがマッチングすれば、所望の記憶アドレス
を取得できる。

【０１２６】再生部２９は、以上の動作によって求まっ
た第１記憶部２２内の再生開始アドレス（図１３におけ
るアドレスａ１）から再生終了アドレス（図１３におけ
るアドレスａ２）までの音声情報または画像情報の再生
を開始する。

【０１２７】再生時には再生速度を変化させたり、少し
巻き戻ししてゆっくり再生したい場合がよくあるので、
早送り機能、巻き戻し機能、スロー再生機能、一時停止
機能を再生部２９に具備してもよいし、時間軸上のスラ
イドバーを設け、現在再生している時刻を示すポインタ
をスライドバーに表示したり、バーをスライドさせるこ
とによって再生位置を指定できるようにしてもよい。

【０１２８】また、再現する速度に関して、必ずしも記
録された時刻情報の通りに再現する必要はなく、記録さ
れた順序関係だけは守って速度を上げて再現するように
してもよいし、話者の発言が記録されている区間だけを
間引いて再生するようにしてもよい。

【０１２９】例えば、図１３の時点ｔ０から時点ｔ１、
および、時点ｔ２から時点ｔ３の区間は倍速再生し、時
点ｔ１から時点ｔ２の区間は記憶された速度で、いわゆ
るノーマル再生するようなことができる。

【０１３０】さらに、再生を一時停止した後、再生指示
部２８によって再生を再び指示できるようにしてもよい
し、また、新たなユーザ入力情報を追記できるようにし
てもよい。

【０１３１】以上の実施形態では、音声は圧縮されない
場合について説明したが、画像信号同様、音声も圧縮し
て記憶することが可能である。その場合には、ビデオカ
メラとマイクロホンにより音声と画像が、この実施の形
態の情報蓄積再生装置に入力されると、これらは共に条
件一致区間検出部２６で処理された後、第３記憶部２４
に入力されて一時記憶される。

【０１３２】その後、ユーザ入力情報検出部２１によっ
てペン筆跡情報が入力されたことが検出されると、圧縮
部２７は、第３記憶部２４に一時記憶されていた条件一
致区間検出部２６の検出結果に基づいて、第３記憶部２
４に一時記憶されていた音声および画像を前述と同様に
して、部分的に圧縮し、圧縮した音声および画像を第１
記憶部２２に出力する。

【０１３３】なお、ユーザ入力情報検出部２１によって
ペン筆跡情報が入力されたことが検出されないままに、
第３記憶部から消去されるタイミングがめぐってきた音
声および画像については、前述の実施の形態と同様にし
て、高圧縮率で圧縮された音声および画像が第１記憶部
２２に出力される。音声の圧縮方法としては、記憶時
間、サンプリング周波数、符号化ビット数を変更するな
どの公知の方法を適用できる。

【０１３４】上述の例では、初期状態において表示部２
５上には何も表示情報がない場合について説明したが、
この例に限らず、例えば初期状態でいくらかのユーザ入
力情報が既に表示されており、それに追加や変更を施す
場合もこの発明の範囲に含まれる。ただし、この場合に
は、再生のために指定できるユーザ入力情報は、初期状
態からの変位部分のみとなる。

【０１３５】また、この例の情報蓄積再生装置の用途と
しては、記録していた音声または画像信号を再生する際
に、ユーザ入力情報をも画面上に順次再現させてゆく使
い方がある。表示部２５の表示を、再生指定部２８によ
って特定されたペン筆跡情報が入力された時点の表示に
一旦戻し、音声または画像情報とペン筆跡情報とを同期
させて再現するものである。

【０１３６】表示画面をその時点の表示に戻す方法とし
ては、表示画面のＵＮＤＯをその時点まで繰り返しても
よいし、画面を一旦消去した後、第２記憶部２３に記憶
されているユーザ入力情報をその時点まで高速に順次描
画してもよい。

【０１３７】なお、上述の実施の形態の例では、ユーザ
入力情報検出部２１は、ユーザがペンで書き込んだこと
を検出するようにしたが、ペンによる書き込みが一定時
間以上途絶えたことを検出して、その検出時点と音声情
報および画像情報とを対応させて記憶するようにしても
よい。

【０１３８】なお、圧縮部２７は、上述の例に限らず、
画像信号の圧縮時に、記憶時間、フレーム内圧縮の圧縮
率、フレーム間圧縮の圧縮率、間欠記録の時間間隔、色
情報間引き率、輝度情報間引き率の少なくとも一つを動
的に変更する装置、または、音声信号の圧縮時に、記憶
時間、サンプリング周波数、符号化ビット数の少なくと
も一つを動的に変更する装置であればよい。

【０１３９】また、動画像情報を圧縮する方法として
は、フレーム内での圧縮法とフレーム間の圧縮法があ
り、フレーム内の圧縮法としてはベクトル量子化を用い
た方法と離散コサイン変換を用いた方法などがあり、フ
レーム間の圧縮法としては前後フレームの画像情報の差
分のみを記録する方法などがあるが、これらの圧縮方法
を用いることもできる。すなわち、単位時間あたりの情
報量をより少ない情報量に変換する装置は、いずれもこ
の発明でいう圧縮部２７に相当する。

【０１４０】また、条件一致区間検出部２６が検出する
事象は、話者の発言の始まりと終わりに限られず、発言
者の交替、音声信号の中の予め登録されたキーワードの
出現、音声信号の中の予め登録された音声パターンの出
現、画像信号の中の予め登録された文字列の出現、画像
信号の中の状態変化、外部センサが検知した状態の変
化、カメラワークまたはカメラワークの変化などでもよ
い。すなわち、入力される時系列情報（例えば、音声ま
たは画像信号）の変化、または入力される時系列情報が
存在する間に外部センサが検知した信号の変化を検出す
る装置も、いずれもこの発明でいう条件一致区間検出部
２６に相当する。その変化点を検出条件とする場合に、
終了点としては、その変化点から予め定めた一定時間と
することができる。

【０１４１】また、順次記録される時系列情報は、カメ
ラ／マイク／ビデオデッキ／テープレコーダ／センサ等
から入力されたアナログ信号でもよいし、それを符号化
したデジタル信号でもよい。さらには、計算機ネットワ
ーク／計算機バスを通じて入力されるデジタル信号でも
よい。すなわち、時間の経過とともに順次入力される情
報は、いずれもこの発明でいう時系列情報に相当する。（第２の実施の形態）上述した第１の実施の形態では、
第３記憶部２４に記憶されていた画像列のうち、話者の
発言が始まった時点からペン筆跡が入力された時点まで
の画像列が圧縮部２７に出力される仕組みになっていた
が、第３記憶部２４の記憶容量に余裕がある場合には、
第３記憶部２４から圧縮部２７に出力する画像列を、話
者の発言が始まった時点から話者の発言が終った時点ま
でとするように構成できる。

【０１４２】この構成によれば、図１５で示されるよう
に、条件一致区間検出部２６の出力を圧縮部２７に出力
する必要がなくなり、条件一致区間検出部２６および圧
縮部２７の部分の構成を大幅に単純化することができ
る。

【０１４３】図１６〜図１８と図１９は、第３記憶部２
４から圧縮部２７に出力する画像列を発言開始点から発
言終了点までとする場合の、第３記憶部２４と圧縮部２
７の動作を説明したフローチャートである。このフロー
チャートにおいて、フラグが「１」のときにはユーザ入
力が検出済みであることを示し、フラグが「０」である
ときにはユーザ入力が未検出であることを示している。

【０１４４】まず、ステップＳ８００において、フラグ
が「０」にリセットされる。次に、単位時間あたりに入
力された画像列は、ステップＳ８０１で受け入れられ、
ステップＳ８０２でユーザ入力情報検出部２１からの検
出出力の入力があるか否か判別する。

【０１４５】そして、ユーザ入力情報が検出されたとき
には、ステップＳ８０７に進んで、フラグを「１」にセ
ットし、ステップＳ８０３に進む。ユーザ入力情報が検
出されないときには、フラグは「０」のままステップＳ
８０３に進む。そして、ステップＳ８０３で、リングバ
ッファにおいて、最新データが最古データを上書きしな
いと判別したときには、ステップＳ８０４に進んで、入
力画像列が第３記憶部２４の最新データアドレスの指す
メモリ部に記憶される。

【０１４６】また、ステップＳ８０４からステップＳ８
０５に進み、条件一致区間検出部２６から発言開始点ま
たは発言終了点を示す情報の入力があるか否か判別し、
発言開始点または発言終了点を示す情報の入力があった
場合には、ステップＳ８０５から、ステップＳ８１０に
進み、条件一致区間検出部２６からの情報が発言開始点
か、あるいは発言終了点かの種類を判別する。

【０１４７】そして、音声レベルが所定レベル以上に変
化する発言開始点であれば、ステップＳ８１１に進み、
発言開始点マークを最新データアドレスの指し示すメモ
リ位置に記録し、その後、ステップＳ８０６に進んで、
記憶したデータ量に応じて最新データアドレスを進め
る。

【０１４８】また、ステップＳ８１０の判別の結果、音
声レベルが所定レベル以下に変化する発言終了点であれ
ば、ステップＳ８１２に進んで、発言終了点マークを最
新データアドレスの指し示すメモリ位置に記録する。こ
のステップＳ８１２の後、ステップＳ８１３に進み、フ
ラグが「１」にセットされているか否か判別し、「１」
にセットされていなければ、ステップＳ８０６に進み、
前述のように、記憶したデータ量に応じて最新データア
ドレスを進める。その後、ステップＳ８０６からステッ
プＳ８０１に戻る。

【０１４９】また、ステップＳ８１３での判別の結果、
フラグが「１」にセットされているときにはステップＳ
８１４に進んで、第３記憶部２４に記憶されていた画像
列のうち、ユーザ入力情報の検出時点よりも前の発言開
始点の画像フレームから発言終了点の画像フレームまで
の画像列を圧縮部２７に出力する。

【０１５０】圧縮部２７は、圧縮が終了すれば、図１５
に示すように、圧縮終了通知を第３記憶部２４に供給す
るので、ステップＳ８１５において、この圧縮終了通知
を検知して、圧縮部２７の処理が終了したことを判別す
る。

【０１５１】そして、ステップＳ８１６に進み、第３記
憶部２４は、最古データアドレスを最新データアドレス
と同じアドレスにすることによって、第３記憶部をクリ
アする。その後、ステップＳ８１７に進んで、フラグを
「０」に戻し、ステップＳ８０１に戻る。

【０１５２】ステップＳ８０２で、ユーザ入力情報検出
部２１によってペン筆跡情報の入力が検出されないまま
に、ステップＳ８０３で、第３記憶部２４から消去され
るタイミング（最新データが最古データを上書きするタ
イミングである）がめぐってきた場合には、ステップＳ
８０８で、予め定めた一定量の画像情報が圧縮部２７に
出力され、圧縮部２７によって間引き圧縮された後、第
１記憶部２２に記憶される。第３記憶部２４では、その
後、ステップＳ８０９において、最古データアドレス
を、圧縮部２７に送出したデータ量分だけ進める。その
後、ステップＳ８０４に進み、前述したような処理を繰
り返す。

【０１５３】以上の説明から分かるように、ユーザ入力
情報検出部２１によってペン筆跡情報が入力されたこと
が検出されると、図１６のステップＳ８０７によってフ
ラグが「１」にセットされる。しかし、圧縮部２７への
出力処理はこの時点ではまだ開始されない。圧縮部２７
への出力処理が開始されるのは、条件一致区間検出部２
６が発言終了点を検出した時点、すなわち、ステップＳ
８１０によって音量レベルが所定レベル以下に変化した
ことが検出された時点である。

【０１５４】この第２の実施の形態の場合の圧縮部２７
の動作は、図１９に示すようなものとなり、第１の実施
の形態の圧縮部２７の動作である図１０のフローチャー
トよりも簡略化される。

【０１５５】すなわち、まず、ステップＳ９００におい
て初期化を行い、圧縮点アドレスを、入力される画像情
報列の先頭アドレスにする。そして、次のステップＳ９
０１では、入力画像列の圧縮が完了したか否か判別す
る。

【０１５６】このステップＳ９０１での判別の結果、圧
縮が完了していなければ、ステップＳ９０２に進み、圧
縮が完了していれば、この圧縮処理を終了する。

【０１５７】ステップＳ９０２では、入力された画像列
は、発言開始点から発言終了点までの間の発言区間中の
画像列か否か判別し、発言区間中の画像列であるときに
は、そのままステップＳ９０３に進み、発言区間中でな
い画像列のときには、ステップＳ９０２からステップＳ
９０５に進み、前述したフレーム間引き圧縮処理を行っ
た後、ステップＳ９０３に進む。

【０１５８】ステップＳ９０３では、圧縮が完了した部
分画像列を第１記憶部２２に出力する。そして、ステッ
プＳ９０４に進み、圧縮点アドレスを圧縮したデータ量
に応じて進める。このステップＳ９０４の後はステップ
Ｓ９０１に戻り、以上の処理ステップを繰り返す。

【０１５９】この第２の実施の形態の構成においても、
第１の実施の形態と同様、第３記憶部２４の最新データ
アドレスに最も近い発言開始点を圧縮画像列の先頭アド
レスとしてもよいし、所定数前の発言開始点を圧縮画像
列の先頭アドレスとしてもよい。

【０１６０】さらに、この例では、ペン筆跡情報の入力
を検出した直後の発言終了点を圧縮画像列の末尾アドレ
スとしたが、所定数後の発言終了点を圧縮画像列の末尾
アドレスとしてもよい。また、いくつ後の発言終了点を
圧縮画像列の末尾アドレスとするかをユーザが変更でき
るようにしてもよい。（第３の実施の形態）この第３の実施の形態では、条件
一致区間検出部２６の検出結果に基づいて入力される画
像信号を圧縮しながら第３記憶部２４に順次記憶するよ
うに構成する。

【０１６１】上述した第１の実施の形態および第２の実
施の形態では、入力される画像信号を圧縮せずに第３記
憶部２４に順次記憶していたが、第３記憶部２４からま
とめて出力した画像列を圧縮部２７によって圧縮する際
に長時間かかることがある。この場合には、圧縮中にカ
メラから新たに取り込まれた画像信号とユーザ入力情報
検出部２１から取り込まれた検出結果とを一時記憶する
ためのバッファメモリを多大に用意しなければならな
い。

【０１６２】この第３の実施の形態の構成によると、圧
縮部２７は一度に大量の画像列を圧縮する必要がなくな
るので、前述のようなバッファメモリを備えなくともよ
い。

【０１６３】図２０は、この第３の実施の形態の動作の
概要を説明する図である。この第３の実施の形態の場合
には、第３記憶部２４は、同一時間に入力された入力画
像の圧縮を施さない画像情報と、圧縮を施した画像情報
とを併せて記憶する構造とされている。

【０１６４】例えば単位時間に１０フレームの画像列が
入力されたとすると、圧縮されないそのままの１０フレ
ーム全部の画像列と、圧縮部２７により１／１０の情報
量に間引き圧縮された１フレームの画像とが第３記憶部
２４に併せて記憶される。すなわち、入力された１０フ
レームの単位の画像列を、第３記憶部２４から、その都
度、圧縮部２７に送って、前述のようにして間引き圧縮
処理をした後、圧縮部２７から第３記憶部２４に戻して
記憶する。さらに、第３記憶部２４は、条件一致区間検
出部２６からの発言開始点および発言終了点を示す情報
を併せて記憶する。

【０１６５】ユーザ入力情報の入力が検出されると、当
該ユーザ入力情報の入力が検出されたタイミングによっ
て特定される部分の画像情報が、第３記憶部２４から第
１記憶部２２に転送される、このとき、発言開始点から
発言終了点までの発言区間中の画像情報については、圧
縮されない１０フレーム全部の画像列が選択されて第１
記憶部２２に転送され、発言区間中以外の画像情報につ
いては、間引き圧縮された１フレームの画像が選択され
て第１記憶部２２に転送される仕組みになっている。

【０１６６】したがって、第３記憶部２４から第１記憶
部２２に、画像情報を転送する際に圧縮部２７を通っ
て、圧縮処理をする必要はなく、画像情報は、第３記憶
部２４から第１記憶部２２に直接的に転送される。

【０１６７】図２１は、第３の実施の形態における第３
記憶部２４の記憶構造を説明した図であり、図２２およ
び図２３は、その動作を説明したフローチャートであ
る。また、図２４は、第３の実施の形態における圧縮部
２７の動作を説明したフローチャートである。

【０１６８】このフローチャートにおいて、フラグが
「１」のときにはユーザ入力が検出済みであることを示
し、フラグが「０」であるときにはユーザ入力が未検出
であることを示している。

【０１６９】まず、ステップＳ１０００において、フラ
グが「０」にリセットされる。次に、単位時間あたりに
入力された画像列、例えば１０フレーム単位の画像列
は、ステップＳ１００１で受け入れられ、ステップＳ１
００２でユーザ入力情報検出部２１からの検出出力の入
力があるか否か判別する。そして、ユーザ入力情報が検
出されたときには、ステップＳ１０１０に進んで、フラ
グを「１」にセットし、ステップＳ１００３に進む。ユ
ーザ入力情報が検出されないときには、フラグは「０」
のままステップＳ１００３に進む。

【０１７０】そして、ステップＳ１００３で、リングバ
ッファにおいて、最新データが最古データを上書きしな
いと判別したときには、ステップＳ１００４に進んで、
入力された１０フレームの非圧縮画像列を第３記憶部２
４の最新データアドレスの指し示すメモリ位置に記憶
し、ステップＳ１００５に進む。次に、ステップＳ１０
０５で、入力された１０フレームの画像列を圧縮部２７
に出力し、ステップＳ１００６に進んで、圧縮部２７の
処理終了を待つ。

【０１７１】圧縮部２７は、この画像列を間引き圧縮し
て、１フレームの圧縮画像に変換した後、その圧縮画像
を第３記憶部２４に戻すので、ステップＳ１００７で第
３記憶部２４は、当該圧縮された画像情報を、ステップ
Ｓ１００４で記憶された１０フレームの非圧縮画像列
の、次のメモリ位置に記憶する。

【０１７２】図２１を用いて、ステップＳ１００４から
ステップＳ１００７までの処理について説明する。ステ
ップＳ１００４で第３記憶部２４に記憶された１０フレ
ームの非圧縮画像列が、最新データアドレスＦ４０１で
指し示されるメモリａ９に記憶されたとすると、圧縮部
２７によって間引き圧縮された１フレームの圧縮画像
は、ステップＳ１００７において、１０フレームの非圧
縮画像列の次のメモリａ１０に記憶される。ここで、メ
モリａ９とメモリａ１０の記憶容量は同一ではなく、メ
モリａ９がメモリａ１０の１０倍の記憶容量を持つ。

【０１７３】ステップＳ１００７の後、ステップＳ１０
０８では、条件一致区間検出部２６からの、発言開始点
または発言終了点を示す情報の入力があるか否か判別
し、発言開始点または発言終了点を示す情報の入力があ
った場合には、ステップＳ１００８からステップＳ１０
１３に進み、条件一致区間検出部２６からの情報は発言
開始点か、あるいは発言終了点かの種類を判別する。

【０１７４】そして、音声レベルが所定レベル以上に変
化する発言開始点であれば、ステップＳ１０１４に進
み、発言開始点マークを最新データアドレスの指し示す
メモリ位置に記録し、その後、ステップＳ１００９に進
む。

【０１７５】また、ステップＳ１０１３の判別の結果、
音声レベルが所定レベル以下に変化する発言終了点であ
れば、ステップＳ１０１５に進み、発言終了点マークを
最新データアドレスの指し示すメモリ位置に記録する。
このステップＳ１０１５の後、ステップＳ１０１６に進
み、フラグが「１」にセットされているか否か判別し、
「１」にセットされていなければ、ステップＳ１００９
に進む。

【０１７６】また、ステップＳ１０１６での判別の結
果、フラグが「１」にセットされているときには、すな
わち、ユーザ入力情報が検出済みであった場合には、ス
テップＳ１０１７に進んで、第３記憶部２４に記憶され
ていた画像列のうち、ユーザ入力情報の検出時点よりも
前の発言開始点の画像フレームから発言終了点の画像フ
レームまでの画像列を第１記憶部２２に出力する。そし
て、ステップＳ１０１８に進み、第３記憶部２４は、最
古データアドレスを最新データアドレスと同じにするこ
とによって、第３記憶部２４をクリアする。そして、ス
テップＳ１０１９に進んで、フラグを「０」に戻し、そ
の後、ステップＳ１００１に戻る。

【０１７７】ステップＳ１００８で、条件一致区間検出
部２６からの検出出力がないと判別されたときには、ス
テップＳ１００９に進む。ステップＳ１００９では、記
憶したデータ量に応じて最新データアドレスを進める。
そして、ステップＳ１００１に戻る。

【０１７８】図２１を用いて、ステップＳ１００９の処
理について説明する。画像情報の入力がない時点で、最
新データアドレスがメモリａ９を指し示していたとする
と、ステップＳ１００４で１０フレームの非圧縮画像列
をメモリａ９に記憶し、ステップＳ１００７で１フレー
ムの圧縮画像をメモリａ１０に記憶した場合には、ステ
ップＳ１００９によって、最新データアドレスはメモリ
ａ１１に進められることになる。

【０１７９】ステップＳ１００２で、ユーザ入力情報検
出部２１によってペン筆跡情報の入力が検出されないま
まで、ステップＳ１００３で、第３記憶部２４から消去
されるタイミング（最新データが最古データを上書きす
るタイミングである）がめぐってきた場合には、ステッ
プＳ１０１１で、予め定めた一定量の画像情報の中の、
間引き圧縮された圧縮画像だけが、第１記憶部２２に出
力される。すなわち、前記予め定めた一定量の画像情報
の中の、非圧縮画像列は、第１記憶部２２に出力されな
いまま、破棄される。その後、ステップＳ１０１２に進
んで、最古データアドレスを、前記予め定めた一定量分
だけ進める。その後、ステップＳ１００４に進み、前述
したような処理を繰り返す。

【０１８０】以上の実施の形態では、非圧縮画像列と、
圧縮部２７によって圧縮された圧縮画像列とを、同一記
憶部内の隣接したメモリ位置に記憶する場合について説
明したが、この例に限られず、例えば、非圧縮画像列と
圧縮された画像列とを、別々の一時記憶部に格納するよ
うにしてもよい。この場合、条件一致区間検出部２６か
らの、発言開始点または発言終了点を示す情報は、それ
ぞれの一時記憶部に入力される。

【０１８１】また、順次入力される画像情報を、常に圧
縮しながら第３記憶部２４に記憶すると同時に、圧縮し
ない非圧縮画像列を直接第１記憶部２２に記憶するよう
に構成し、ユーザ入力情報検出部２１によってペン筆跡
情報の入力が検出されたときには、第１記憶部２２に記
憶されていた非圧縮画像列はそのまま第１記憶部２２に
残し、第３記憶部２４に記憶されていた圧縮画像列は第
３記憶部２４から消去するようにしてもよい。

【０１８２】この場合、ユーザ入力情報検出器部２１に
よってペン筆跡情報の入力が検出されないまま、第３記
憶部２４から圧縮画像列が消去されるタイミングがめぐ
ってきたときには、その消去される圧縮画像列が記憶さ
れた時刻と同時刻に第１記憶部２２に記憶された非圧縮
画像列を、前記消去されるタイミングがめぐってきた圧
縮画像列によって上書きするようにする。このように構
成することで、第３記憶部２４から第１記憶部２２に大
量の画像情報をコピーする必要がなくなる。

【０１８３】さらに、順次入力される画像情報を、圧縮
せずに第３記憶部２４にそのまま記憶すると同時に、常
に間引き圧縮した圧縮画像列を第１記憶部２２に記憶す
るように構成し、ユーザ入力情報検出部２１によってペ
ン筆跡情報の入力が検出されたときには、第１記憶部２
２に記憶されていた圧縮画像列を、第３記憶部２４に記
憶されていた非圧縮画像列によって上書きするようにし
てもよい。

【０１８４】この場合、ユーザ入力情報検出器部２１に
よってペン筆跡情報の入力が検出されないまま、第３記
憶部２４から非圧縮画像列が消去されるタイミングがめ
ぐってきたときには、第１記憶部２２に記憶されていた
圧縮画像列はそのまま残し、前記消去されるタイミング
がめぐってきた非圧縮画像列を第３記憶部２４から消去
するようにする。このように構成した場合にも、第３記
憶部２４から第１記憶部２２に大量の画像情報をコピー
する必要がなくなる。

【０１８５】すなわち、同一時間に入力された入力画像
の、圧縮を施さない画像情報と、圧縮を施した画像情報
とを併せて、同一記憶部または別々の記憶部に記憶する
構成である場合は、いずれも、第３の実施の形態に含ま
れる。

【０１８６】この第３の実施の形態の場合の圧縮部２７
の動作は、図２４に示すようなものとなり、第１の実施
の形態の圧縮部２７の動作である図１０のフローチャー
トよりも簡略化される。

【０１８７】すなわち、まず、ステップＳ１１００にお
いて初期化を行い、圧縮点アドレスを、入力される画像
情報列の先頭アドレスにする。そして、次のステップＳ
１１０１では、入力画像列の圧縮が完了したか否か判別
する。

【０１８８】このステップＳ１１０１での判別の結果、
圧縮が完了していなければ、ステップＳ１１０２に進
み、圧縮が完了していれば、この圧縮処理を終了する。

【０１８９】ステップＳ１１０２では、前述したフレー
ム間引き圧縮処理を行った後、ステップＳ１１０３に進
む。ステップＳ１１０３では、圧縮が完了した部分画像
列を第３記憶部２２に出力する。そして、ステップＳ１
１０４に進み、圧縮点アドレスを圧縮したデータ量に応
じて進める。このステップＳ１１０４の後はステップＳ
１１０１に戻り、以上の処理ステップを繰り返す。

【０１９０】以上のように、この第３の実施の形態の構
成の場合には、ペン筆跡情報が入力されたタイミングに
関わらず、圧縮処理を実行する必要があり、圧縮部２７
は、圧縮した画像列を第３記憶部２４に対して出力する
構成になっている。圧縮部２７は画像の間引き圧縮を行
なった後、その圧縮画像を第３記憶部２４に書き込む
（図２４のステップＳ１１０３）。

【０１９１】この第３の実施の形態の構成においても、
第１の実施の形態および第２の実施の形態と同様に、第
３記憶部２４の最新データアドレスに最も近い発言開始
点を圧縮画像列の先頭アドレスとしてもよいし、所定数
前の発言開始点を圧縮画像列の先頭アドレスとしてもよ
い。さらに、ペン筆跡情報の入力を検出した直後の発言
終了点を圧縮画像列の末尾アドレスとしたが、所定数後
の発言終了点を圧縮画像列の末尾アドレスとしてもよ
い。（第４の実施の形態）前述した第１、第２、第３の実施
の形態では、条件一致区間検出部２６は、発言の始まり
と終わりを検出することを条件とし、その検出結果を特
徴的な事象が起きている区間を特定するために用いた
が、条件一致区間検出部２６が検出する事象はこれに限
られない。

【０１９２】この第４の実施の形態では、情報蓄積再生
装置が自動的に発言者を特定し、その特定された発言者
に応じた圧縮率で音声または画像信号を圧縮するように
構成する。

【０１９３】発言者を特定する方法としては、音声信号
の特徴（声紋など）から話者を特定してもよいし、画像
情報による顔や口の動きから発言者を特定してもよい。
また、マイクロホンを発言者毎に設置して、そのうちい
ずれかのマイクロホンを特定発言者用として特定した
り、あるいは発言者各自のマイクロホンからの音声入力
レベルを比較したり、音声信号の位相差を解析したりす
ることにより、複数のマイクロホンから入力される音声
信号を解析して音源の位置を検知して、発言者を特定し
てもよい。

【０１９４】今、例えば、話者Ａおよび話者Ｂの２人の
話者が存在しており、話者Ａの発言の方が話者Ｂの発言
に比べて重要度が高い場合について、この第４の実施の
形態の動作について説明する。

【０１９５】図２５は、この第４の実施の形態における
条件一致区間検出部２６の動作を説明する図である。こ
の第４の実施の形態の条件一致区間検出部２６は、話者
毎の発言開始点および発言終了点を検出する機能を持っ
ている。

【０１９６】また、この第４の実施の形態では、間引き
圧縮率を、話者毎に設定できるように構成されている。
これらの話者毎の設定情報は、制御部３０が管理する。
以下の説明では、たとえば、話者Ａの発言を記憶する場
合の画像間引き圧縮率は１０フレーム／秒、および、話
者Ｂの発言を記憶する場合の画像間引き圧縮率は５フレ
ーム／秒、とするように、予め、話者毎に間引き圧縮率
が設定されているものとする。

【０１９７】さらに、この第４の実施の形態では、複数
の話者の発言が重なったとき、いずれの話者の間引き圧
縮率を優先するかも設定可能とされている。これも制御
部３０が管理する。この例では、話者Ａの発言と話者Ｂ
の発言を同時に検知した場合には、話者Ａの発言を記憶
する場合の画像間引き圧縮率で入力画像を圧縮するよう
に設定してあるものとする。

【０１９８】このとき、例えば、図２５において、話者
Ａの発言区間である区間Ｔ２のいずれかの時点において
ペン筆跡情報が入力されたことが検出されると、この区
間Ｔ２の画像信号は１０フレーム／秒で記録され、残り
の、Ｔ０、Ｔ１、Ｔ３、Ｔ４、Ｔ５区間は１フレーム／
秒で記録される。話者Ａの発言開始点ｔ２から高画質で
画像信号の記録が始まっているので、話者Ａの発言を再
生する際に、話者Ａの発言開始点ｔ２から高画質で再生
することができる。

【０１９９】また、話者Ｂの発言区間である区間Ｔ４内
においてペン筆跡情報が入力されたことが検出されたす
ると、区間Ｔ４の画像信号は５フレーム／秒で記録さ
れ、残りの、Ｔ０、Ｔ１、Ｔ２、Ｔ３、Ｔ５区間は１フ
レーム／秒で記録される。同様に、話者Ｂの発言区間で
ある区間Ｔ１のいずれかの時点においてペン筆跡情報が
入力されたことが検出されたとすると、区間Ｔ６の画像
信号は５フレーム／秒で記録され、残りの、Ｔ０、Ｔ７
区間は１フレーム／秒で記録される。

【０２００】以上の実施例のように、特定の発言者の音
声または画像信号のみを最初から最後まで高音質／高画
質で記憶することができ、発言者が交代した時点にまで
さかのぼって再生を開始できる効果がある。

【０２０１】また、この第４の実施の形態の場合には、
前述したように、条件一致区間検出部２６が検出した検
出結果のいくつかを組み合わせて、ユーザ入力情報と対
応させて記憶する音声情報または画像情報の重要度を決
定し、この重要度に基づき、圧縮率を部分的に変更して
音声または画像信号を圧縮することが可能である。（第５の実施の形態）この第５の実施の形態は、条件一
致区間検出部２６での検出条件が、入力される音声信号
の中に予め登録されたキーワードが出現したこと、また
は、入力される音声信号の中に予め登録された音声パタ
ーンが出現したこと、である場合である。

【０２０２】まず、入力される音声信号の中に予め登録
されたキーワードが出現したことを条件一致区間検出部
２６が検出する場合について説明する。

【０２０３】この場合、条件一致区間検出部２６は、音
声認識手段と、登録されたキーワードを記憶するメモリ
と、音声認識結果とメモリに予め登録されたキーワード
とを比較して両者の一致を検出するキーワード一致検出
手段とを備える。メモリにはユーザが予めキーワードを
登録しておく。

【０２０４】そして、情報蓄積再生装置における情報蓄
積時には、条件一致区間検出部２６は、入力された音声
信号を音声認識手段により順次文字列情報に変換し、形
態素解析をするなどして、その文字列情報から語句を抽
出する。そして、この抽出した語句を、「宿題」「アク
ションアイテム」「課題」「結論」「決定」「重要」
「まとめ」などのメモリに予め登録されている文字列キ
ーワードと比較する。

【０２０５】入力音声信号から抽出された語句が、予め
登録されていた文字列キーワードのいずれかと一致した
場合には、第３記憶部２４は、画像情報と共に、その語
句が入力された時点（その語句が検出された時点）を指
すデータアドレスを一時記憶する。この場合、この文字
列キーワードの検出時点は、条件一致区間の開始点とな
る。

【０２０６】条件一致区間の終了点を定めるために、こ
の第５の実施の形態においては、各キーワード文字列毎
に、キーワードが検出された時からどれだけの時間の画
像信号を高画質で記録するかを決めるキーワード有効期
間が、キーワードと対応してメモリに設定されている。

【０２０７】図２６は、メモリに登録されたキーワード
と、有効期間のテーブルの例である。入力音声信号中の
キーワードが検出され、その検出時点を示すデータアド
レスが第３記憶部２４に記憶されている状態において、
その検出時点から当該キーワードに対して設定されてい
る有効期間内にペン筆跡情報などのユーザ入力情報が入
力されなかった場合には、有効期間切れ時点を示すしる
しが第３記憶部２４に記憶される。

【０２０８】図２７は、この第５の実施の形態におい
て、第３記憶部２４の動作を説明する図である。図２７
において、黒丸を付したメモリ部は、画像情報が記憶さ
れているメモリ部を示し、無印のメモリ部は、画像情報
が記録されていないメモリ部を示している。

【０２０９】ユーザ入力情報検出部２１によってペン筆
跡情報が入力されたことが検出されると（検出時点は最
新データアドレスの時点Ｆ５０１である）、第３記憶部
２４に記憶されていた画像列のうち、キーワード文字列
が検出された時点Ｆ５０４から、最新データアドレスの
時点Ｆ５０１で示される画像フレームまでの画像列を、
圧縮部２７に出力する。

【０２１０】圧縮部２７は、キーワード文字列が検出さ
れた時点Ｆ５０４から最新データアドレスＦ５０１で示
される画像フレームまでの画像列を、他の部分に比べて
低圧縮率で圧縮し、高画質で第１記憶部２２に記憶す
る。

【０２１１】なお、所定数前のキーワード文字列が入力
された時点（例えば時点Ｆ５０２）から、最新データア
ドレスＦ５０１で示される画像フレームまでの画像列
を、圧縮部２７に出力するようにしてもよい。その場合
には、キーワード文字列が検出された時点Ｆ５０２から
そのキーワード文字列の有効期間切れ時点Ｆ５０３まで
の画像列と、キーワード文字列が検出された時点Ｆ５０
４から最新データアドレスＦ５０１で示される画像フレ
ームまでの画像列とを、他の部分に比べて低圧縮率で圧
縮し、高画質で第１記憶部２２に記憶するようにする。

【０２１２】また、さらに、各キーワード文字列毎に重
要度を設定できるようにしておけば、前述の第４の実施
の形態と同様に、各キーワード文字列の重要度に応じた
異なる圧縮率で画像信号を記録することが可能である。

【０２１３】次に、入力される音声信号の中に予め登録
された音声パターンが出現したことを検出条件として、
条件一致区間検出部２６が条件一致区間を検出する場合
について説明する。

【０２１４】音声認識によってキーワードを検出するこ
とが困難な場合にも、笑い声のパターン、拍手のパター
ン、活発な対話のパターンなどの特徴的な音声信号パタ
ーンであれば、これらのパターンを認識できる場合があ
る。そこで、この第５の実施の形態では、この特徴的な
音声パターンが出現したことをも、検出条件として条件
一致区間検出部２６は条件一致区間を検出するようにす
る。

【０２１５】この場合には、条件一致区間検出部２６に
は、笑い声のパターン、拍手のパターン、活発な対話の
パターンなどの特徴的な音声信号パターンが予め登録さ
れて記憶されるメモリが設けられる。そして、公知のパ
ターン認識技術、例えば、音声信号のパワーまたは周波
数成分の時間的遷移を解析する技術などを用いて、パタ
ーン認識を行うパターン認識手段が設けられる。

【０２１６】例えば、このパターン認識手段では、１人
の話者が発言を終了してから、他の話者が発言を開始す
るまでの時間が短いほど、活発な対話が行なわれている
と判断する。また、予め登録されている特徴的な音声信
号のパターンと、順次入力される音声信号から抽出され
る音声信号のパターンとを比較して、その一致あるいは
その類似性から当該特徴パターンを認識するようにす
る。パターン認識の認識率を上げるために、話者ごと
に、音声パターンを登録しておいてもよい。

【０２１７】条件一致区間検出部２６において、入力音
声信号から抽出された音声信号のパターンが、予め登録
されていたパターンのいずれかと一致すると認識された
場合には、第３記憶部２４には、その音声信号パターン
が入力された時点を指すデータアドレスを記憶する。

【０２１８】このようにすることにより、特徴的な音声
信号が記憶されている期間の音声信号または画像信号を
最初から最後まで高画質で記憶でき、パターンを検出し
た時点にまでさかのぼって再生を開始できるようにな
る。もちろん、所定数前のパターンが入力された時点か
ら最新データアドレスで示される画像フレームまでの画
像列を、圧縮部２７に出力するようにしてもよい。

【０２１９】また、キーワードの場合と同様に、各特徴
音声パターン毎に、パターンが検出された時からどれだ
けの時間の画像信号を高画質で記録するかを決めるパタ
ーン有効期間を図２８のようなテーブルに設定してお
き、特徴音声パターンが検出された時点からそのパター
ンの有効期間切れ時点までの画像列を、高画質で第１記
憶部２２に記憶するようにしてもよい。

【０２２０】その場合には、入力音声のパターンを条件
一致区間検出部２６の音声認識手段によって認識判定
し、その判定結果と図２８のテーブルとに基づき、パタ
ーン有効期間を特定する。

【０２２１】また、各パターン毎に重要度を設定できる
ようにしておけば、第４の実施の形態と同様に、各特徴
音声パターンの重要度に応じた異なる圧縮率で画像信号
を記録することが可能である。

【０２２２】以上のように、この第５の実施の形態の場
合には、音声によるキーワードまたは特徴的なパターン
のいずれかが検出された区間を条件一致区間として検出
して、ユーザ入力情報と対応させて記憶することができ
る。（第６の実施の形態）第６の実施の形態は、条件一致区
間検出部２６での検出条件が、入力される画像信号の中
に予め登録された文字列が出現したこと、または、入力
される画像信号の中に状態変化が出現したこと、である
場合である。

【０２２３】まず、入力される画像信号の中に予め登録
されたキーワードが出現したことを条件一致区間検出部
２６が検出する場合について説明する。

【０２２４】この場合、条件一致区間検出部２６は、画
像認識手段と、登録された文字列のキーワードを記憶す
るメモリと、画像認識結果とメモリに予め登録されたキ
ーワードとを比較して両者の一致を検出するキーワード
一致検出手段とを備える。メモリにはユーザが予めキー
ワードを登録しておく。

【０２２５】そして、情報蓄積再生装置における情報蓄
積時には、条件一致区間検出部２６は、ホワイトボード
などに書かれた文字を画像認識手段により順次文字列情
報に変換し、その文字列情報から語句を抽出する。そし
て、この抽出した語句を、「宿題」「アクションアイテ
ム」「課題」「結論」「決定」「重要」「まとめ」など
の予め登録しておいた文字列キーワードと比較する。も
ちろん、コンピュータからの出力を表示する電子ホワイ
トボードのように、表示される画像信号がコンピュータ
からの出力である場合には、コンピュータから入力され
る情報（文字コード情報など）を入力画像信号としても
よい。

【０２２６】抽出された語句が、予め登録されていた文
字列キーワードのいずれかと一致した場合には、第３記
憶部２４には、その語句が入力された時点を指すデータ
アドレスを記憶する。この場合、この文字列キーワード
の検出時点は、条件一致区間の開始点となる。

【０２２７】条件一致区間の終了点を定めるために、こ
の第６の実施の形態においては、各キーワード文字列毎
に、キーワードが検出された時点からどれだけの時間の
画像信号を高画質で記録するかを決めるキーワード有効
期間が、前記図２６と同様にして、キーワードと対応し
てメモリに設定されている。

【０２２８】そして、入力画像信号中のキーワードが検
出され、その検出時点を示すデータアドレスが第３記憶
部２４に記憶されている状態において、その検出時点か
ら当該キーワードに対して設定されている有効期間内に
ペン筆跡情報などのユーザ入力情報が入力されなかった
場合には、有効期間切れ時点を示すしるしが第３記憶部
２４に記憶される。以下、第５の実施の形態と同様の処
理によって、入力される画像信号を第１記憶部２２に記
憶する。

【０２２９】次に、入力される画像信号の中に状態変化
が出現したことを検出条件として、条件一致区間検出部
２６が条件一致区間を検出する場合について説明する。

【０２３０】画像認識によって文字列キーワードを検出
することが困難な場合にも、入力される画像情報から動
き、輝度変化、色分布変化などの状態変化を検出できる
場合がある。そこで、この第６の実施の形態では、この
画像の前記のような状態変化をも、検出条件として条件
一致区間検出部２６は条件一致区間を検出するようにす
る。

【０２３１】この場合には、条件一致区間検出部２６に
は、画像信号の状態変化のパターンが予め登録されて記
憶されるメモリが設けられる。そして、公知のパターン
認識技術、状態変化のパターン認識を行うパターン認識
手段が設けられる。たとえば、ホワイトボードや書画映
像などを記録している際中に加筆やページ切り替えがあ
ったことを認識することは、特開平４−２８６２９３号
公報に記載されているように、公知のフレーム間差分検
出技術によって可能である。

【０２３２】そして、上記のように予め登録しておい
た、これらの画像信号の状態変化のパターンを、順次入
力される画像信号から抽出される画像信号の状態変化と
比較する。抽出された画像信号の状態変化のパターン
が、予め登録されていた状態変化のパターンのいずれか
と一致した場合には、第３記憶部２４は、その状態変化
のパターンが入力された時点を指すデータアドレスを記
憶する。以下、第５の実施の形態の場合と同様の処理に
よって、入力される画像信号を第１記憶部２２に記憶す
る。（第７の実施の形態）この第７の実施の形態本は、条件
一致区間検出部２６が、状態変化を外部センサによって
検出する場合である。

【０２３３】音声または画像信号からの状態変化の検出
が困難な事象が起きた場合や、入力される音声または画
像信号に含まれない情報に状態変化が起きた場合を検出
するために、外部センサを設ける。例えば、部屋の入口
に赤外線センサやドア開閉センサを取り付け、これらの
センサによって人の出入りを監視し、その監視出力を条
件一致区間の検出出力として使用する。なお、記録者に
よる手入力信号（ボタンを押したというような信号）を
センサによって検出するように構成してもよい。

【０２３４】この第７の実施の形態においては、条件一
致区間検出部２６では外部センサから順次入力される信
号から状態変化を検出し、予め登録しておいた状態変化
のパターンと比較する。検出された状態変化のパターン
が、予め登録されていた状態変化のパターンのいずれか
と一致した場合には、第３記憶部２４には、その状態変
化のパターンが入力された時点を指すデータアドレスを
記憶する。

【０２３５】そして、この第７の実施の形態において
も、各パターン毎にパターンが検出された時からどれだ
けの時間の画像信号を高画質で記録するかを決めるパタ
ーン有効期間を設定しておき、パターンが検出された時
点からそのパターンの有効期間切れ時点までの画像列
を、高画質で第１記憶部２２に記憶する。

【０２３６】さらに、各パターン毎に重要度を設定でき
るようにしておけば、第４の実施の形態の場合のよう
に、各パターンの重要度に応じた圧縮率で画像信号を記
録することが可能である。（第８の実施の形態）この第８の実施の形態は、条件一
致区間検出部２６の検出条件が、カメラの動き（以下、
カメラワークという）またはカメラワークの変化である
場合である。

【０２３７】例えば、人物をアップで撮影しているよう
な場合には、重要な画像を撮っていることが多く、カメ
ラがズームインしている期間の音声または画像信号を高
音質／高画質で記憶したい場合がある。この第８の実施
の形態は、この要求に応えるものである。

【０２３８】この第８の実施の形態の情報蓄積再生装置
が適用されるシステムの概要を、図２９に示す。この図
２９に示したものは、取材記録システムであって、発言
者４１に対して、インタビュア４２がインタビューを行
うときに使用するものである。

【０２３９】この取材記録システムは、携帯型のいわゆ
るペンコンピュータと呼ばれる装置からなる情報蓄積再
生装置部５０と、この情報蓄積再生装置部５０の音声情
報入力手段を構成するマイクロホン５１と、この情報蓄
積再生装置部５０の画像入力手段を構成するビデオカメ
ラ５２と、ユーザ入力手段を構成するタッチパネルとペ
ン５３との組み合わせとを備える。

【０２４０】この実施の形態においては、カメラ５２か
らは撮影した画像情報と共に、カメラの操作情報も、情
報蓄積再生装置部５０に入力される。情報蓄積再生装置
部５０は、図１に示したのと同様の機能ブロック構成を
備えており、その条件一致区間検出部２６は、前記カメ
ラ操作情報を解析することにより、カメラのパンニン
グ、チルティング、ズーミング、ブーミング、トリミン
グ、ドリーイング、カット開始、カット終了などのカメ
ラワークを検出し、また、カメラワークの変化を検出す
る。

【０２４１】なお、カメラのパンニング、チルティン
グ、ズーミング、ブーミング、トリミング、ドリーイン
グ、カット開始、カット終了などのカメラワークは、入
力される画像信号を画像認識して検出してもよい。

【０２４２】図３０は、この第８の実施の形態の場合の
条件一致区間検出部２６の動作を説明する図であり、こ
の例の場合の条件一致区間検出部２６は、検出条件とし
てカメラの倍率を使用するもので、カメラの倍率を検出
する機能を、条件一致区間検出部２６は有している。す
なわち、カメラ操作情報として、ズームリングの操作に
応じて、倍率を示す情報が情報蓄積再生装置部５０に入
力され、条件一致区間検出部２６は、このカメラ操作情
報の倍率を示す情報から、そのときに使用されているカ
メラの倍率を知る。

【０２４３】この第８の実施の形態では、カメラの倍率
は１倍、５倍、１０倍の３つの倍率モードに設定でき、
それぞれの倍率モード時の画像間引き圧縮率が、１フレ
ーム／秒、５フレーム／秒、１０フレーム／秒、に設定
されている。

【０２４４】また、この第８の実施の形態では、第３の
実施の形態のように、条件一致区間検出部２６の検出結
果に基づいて入力される画像信号を圧縮しながら第３記
憶部２４に順次記憶してゆく構成とされている。

【０２４５】第３記憶部２４は、条件一致区間検出部２
６の検出結果に基づいて決定される圧縮率で圧縮しなが
ら、入力される画像信号を順次記憶してゆく。この時、
例えば、図３０の区間Ｔ２のいずれかの時点においてペ
ン筆跡情報が入力されたことが検出されたすると、第３
記憶部２４は、ズームイン操作の終了を待って、第３記
憶部２４に記憶されていた画像列のうち、図３０におい
て、ズームイン操作開始時点ｔ１からズームイン操作終
了時点ｔ２までの画像列を第１記憶部２２に出力する。
この場合、区間Ｔ１は５フレーム／秒で、区間Ｔ２は１
０フレーム／秒で、それ以外の区間は１フレーム／秒
で、それぞれ第１記憶部２２に記憶されることになる。

【０２４６】以上のようにして、この第８の実施の形態
においては、カメラワークまたはカメラワークの変化に
応じて、重要場面の画像信号と、重要でない場面の画像
信号の圧縮率を変えて記憶することができる。また、上
述したように、条件一致区間検出部２６が検出した検出
結果に応じて、圧縮率を段階的に変更して音声または画
像信号を圧縮することも可能である。

【０２４７】図２９の取材記録システムは、情報蓄積再
生装置部とビデオカメラとが一体的に構成されている場
合であるが、図３１に示すように、情報蓄積再生装置部
とビデオカメラとを分離して構成するようにすることも
できる。

【０２４８】この図３１の例の場合、情報蓄積再生装置
部５６は、ユーザ入力検出部２１、第２記憶部２３、表
示部２５、再生指定部２８を含み、ビデオカメラ５４は
条件一致区間検出部２６、第１記憶部２２、第３記憶部
２４、再生部２９を含む構成である。情報蓄積再生装置
部５６内のユーザ入力情報検出部２１によってユーザ入
力情報が検出されると、ユーザ入力情報が検出されたこ
との通知が、情報蓄積再生装置部５６の送受信アンテナ
５７からビデオカメラ５４の送受信アンテナ５５に電波
により送られる。この通知を受信したビデオカメラ５４
は、この通知を受信したタイミングでカメラ５４から入
力された画像情報を、そのときのカメラ５４の倍率に応
じた間引き圧縮率で、第１記憶部２２に記憶する。

【０２４９】その後、第１記憶部２２に記憶された画像
情報の、第１記憶部２２における記憶アドレスは、ビデ
オカメラ５４の送受信アンテナ５５から、情報蓄積再生
装置部５６の送受信アンテナ５７に電波により送られ、
ユーザ入力検出部２１により検出されたユーザ入力情報
と対応付けられて、第２記憶部２３に記憶される。（第９の実施の形態）第９の実施の形態は、ユーザ入力
情報検出部２１の検出結果に基づいてユーザ入力情報の
重要度を決定し、この重要度に基づき圧縮率を部分的に
変更する場合である。

【０２５０】重要とみなされるユーザ入力情報として
は、赤色で書かれたペン筆跡情報、丸で囲まれた文字
列、アンダーラインの引かれた文字列、などがある。こ
れらのユーザ入力情報の特徴を予め登録しておき、ユー
ザ入力情報検出部２１において、任意のタイミングで入
力されるユーザ入力情報の特徴と比較して、いずれのユ
ーザ入力情報であるかを識別する。そして、その識別結
果を第３記憶部２４に入力して、記憶するようにする。
すなわち、この第９の実施の形態においては、ユーザー
入力情報検出部２１の出力結果が第３記憶部２４に入力
される構成となっている。

【０２５１】この第９の実施の形態の動作を、赤色で書
かれたペン筆跡情報を重要ユーザ入力情報とする場合の
例について、図１３（Ａ）を参照しながら説明する。

【０２５２】ユーザ入力情報検出部２１によってペン筆
跡情報の入力が検出されると、ユーザ入力情報検出部２
１において、その入力されたペン筆跡情報が赤色かどう
かが調べられる。

【０２５３】そして、赤色以外の色だった場合には、図
１３（Ａ）に示されるように、時点ｔ１から時点ｔ２ま
での区間の画像信号を１０フレーム／秒で第１記憶部２
２に記憶するが、赤色であった場合には同じ区間の画像
信号を３０フレーム／秒で第１記憶部２２に記憶する。

【０２５４】なお、赤色以外の色だった場合には、時点
ｔ１から時点ｔ２までの区間を１０フレーム／秒で第１
記憶部２２に記憶するが、赤色であった場合には１つ前
の発言開始点ｔ０からｔ２までの区間を１０フレーム／
秒で第１記憶部２２に記憶するようにしてもよい。（第１０の実施の形態）以上の説明は、便宜上、ユーザ
入力情報の入力が一人の記録者によりなされる場合を想
定して行なってきたが、情報蓄積再生装置が内蔵するコ
ンピュータがネットワークで接続されている場合や、複
数の入力端末が情報蓄積再生装置に接続されている場合
には、複数のユーザにより入力されたユーザ入力情報を
合わせて検出するようにできる。

【０２５５】例えば、会議室に複数の会議参加者が集ま
り、各自が会議のメモをとっているような場合、各個人
が入力するユーザ入力情報、および、ユーザ入力情報が
入力されるタイミングはまちまちである。例えば特開平
６−３４３１４６号公報には、会議参加者毎に別々に音
声を記録／保持する方法が記載されているが、カメラ１
台とマイク１台で会議室の様子を撮影しているような場
合には、各個人が別々に音声または画像信号の記録の複
製を保持することは冗長である。

【０２５６】複数のユーザにより入力されたユーザ入力
情報を合わせてユーザ入力情報検出部２１によって検出
するようにし、入力される音声または画像信号を同一の
第１記憶部２２に記憶するように構成することで、ユー
ザ個別に音声または画像信号を蓄積する必要がなくな
り、記憶容量の節約ができる。

【０２５７】なお、検出したユーザ入力情報は、各記録
者毎に、別々の第２記憶部２３に記憶されてもよいし、
同じ第２記憶部２３に記憶されてもよい。

【０２５８】図３２は、記録者Ａおよび記録者Ｂの２人
の記録者が存在しており、別々のタイミングでペン筆跡
情報を入力した場合の例を説明した図である。すなわ
ち、発言開始点ｔ０〜発言終了点ｔ１の間において、記
録者Ａがペン入力したときには、当該時点ｔ０〜ｔ１の
区間の画像情報は、１０フレーム／秒で第１記憶部２２
においてアドレスａ０〜ａ１の区間に記憶される。ま
た、発言開始点ｔ２〜発言終了点ｔ３の間において、記
録者Ｂがペン入力したときには、当該時点ｔ２〜ｔ３の
区間の画像情報は、１０フレーム／秒で第１記憶部２２
においてアドレスａ２〜ａ３の区間に記憶される。

【０２５９】そして、これらの区間以外の時点ｔ１〜ｔ
２および時点ｔ３〜ｔ４の区間の画像情報は、１フレー
ム／秒で、第１記憶部２２においてアドレスａ１〜ａ
２、ａ３〜ａ４の区間に記憶される。

【０２６０】この場合、図示のように、入力される画像
信号は、記録者Ａと記録者Ｂとで、別々の第１記憶部２
２に記憶されるのではなく、同一の第１記憶部２２に記
憶される。したがって、ユーザ個別に音声または画像信
号を蓄積する必要がなくなる。

【０２６１】なお、複数のユーザの中で、予め重要ユー
ザを定めておいた場合、記録者あるいは入力端末を識別
することによって、ユーザ入力情報の重要度を決定する
ようにすれば、第９の実施の形態の場合と同様に、この
重要度に基づき圧縮率を部分的に変更することも可能で
ある。

【０２６２】そして、そのように、記録者あるいは入力
端末を識別するようにした場合には、音声または画像信
号を再生する場合に、記録者毎に間引き箇所を変えて再
生することも可能となる。例えば、記録者Ａが再生要求
を発行した場合には、図３２において、時点ｔ０からｔ
１の区間は記憶された速度で普通速度再生し、それ以外
の区間を倍速再生する。また、記録者Ｂが再生要求を発
行した場合には、時点ｔ２からｔ３の区間は記憶された
速度で普通速度再生し、それ以外の区間を倍速再生す
る。

【０２６３】以上の第１〜第１０の実施の形態は、各実
施の形態の説明中に明記したほかにも、適宜組み合わせ
て実施することが可能である。例えば、第３の実施の形
態は、第２の実施の形態の変形として説明したが、第１
の実施の形態の変形として置き換えることができる。ま
た、第４の実施の形態から第１０の実施の形態までは、
第１、第２、第３の実施の形態のいずれの変形としても
置き換えることができる。

【０２６４】以上説明した第１〜第１０の実施の形態に
よれば、次のような効果が得られる。すなわち、条件一
致区間検出部とユーザ入力情報検出部との検出結果に基
づいて特定される特定期間の音声または画像信号を記憶
するように構成したことにより、ユーザ入力があったタ
イミングで記憶された音声または画像信号の、特徴的な
事象が起こっている期間の音声または画像信号の最初か
ら最後までを記憶でき、この特徴的な事象が起こってい
る期間の最初にさかのぼって再生を開始できる効果があ
る。

【０２６５】また、条件一致区間検出部とユーザ入力情
報検出部との検出結果に基づいて圧縮率または間欠記録
の時間間隔を動的に変更して音声または画像信号を圧縮
し、第１記憶部に記憶するように構成したことにより、
音声または画像信号のうちの、ユーザ入力があったタイ
ミングで記憶された重要部分のみを、限られた蓄積媒体
の中に数多く記憶でき、かつ、重要部分以外の音声また
は画像信号であっても少ないデータ量で長時間記憶でき
る効果がある。

【０２６６】また、ユーザ入力情報検出部がユーザ入力
情報を検出する以前に入力された音声または画像信号を
第３記憶部によって一時記憶するように構成したことに
より、ユーザ入力があったタイミング以前に記憶された
音声または画像信号であっても、重要部分のみを限られ
た蓄積媒体の中に数多く記憶でき、かつ、重要部分以外
の音声または画像信号であっても少ないデータ量で長時
間記憶できる効果がある。

【０２６７】また、条件一致区間検出部が検出対象区間
の始まりを検出した時点からユーザ入力情報検出部がユ
ーザ入力情報を検出した時点までの音声または画像信号
を、まとめて圧縮部に出力するように構成した場合に
は、ユーザ入力情報検出部がユーザ入力情報を検出する
までは圧縮処理を実行する必要がなく、装置の負荷を軽
減できる効果がある。また、ユーザ入力情報検出部がユ
ーザ入力情報を検出した時点で、第３記憶部に記憶され
ていた音声または画像信号を消去できるので、第３記憶
部に求められる記憶容量を最小限に抑えることができる
効果がある。

【０２６８】また、ユーザ入力情報検出部がユーザ入力
情報を検出した時点を含む、条件一致区間検出部が検出
対象区間の始まりを検出した時点から条件一致区間検出
部が検出対象区間の終わりを検出した時点までの音声ま
たは画像信号を、まとめて圧縮部に出力するように構成
した場合には、条件一致区間検出部の出力を圧縮部に出
力する必要がなくなり、条件一致区間検出部および圧縮
部を大幅に単純化できる効果がある。

【０２６９】また、圧縮部が圧縮処理をしている間に新
たに入力された音声または画像信号とユーザ入力情報検
出部から入力されたユーザ入力情報とを、別の記憶部に
一時記憶するように構成した場合には、圧縮部が圧縮し
ている間に新たに入力された音声または画像信号、およ
び、ユーザ入力情報をとりこぼさずに記憶できる効果が
ある。

【０２７０】また、順次入力される音声または画像信号
を圧縮しながら第３記憶部に記憶するように構成した場
合には、圧縮部は一度に大量の音声または画像信号を圧
縮する必要がなくなり、圧縮中に新たに入力された音声
または画像信号を一時記憶するために必要な記憶部を不
要または最小規模にできる効果がある。

【０２７１】また、順次入力される音声または画像信号
が第３記憶部の記憶容量を超えて入力される場合に、第
３記憶部に記憶されている音声または画像信号の中の所
定の部分を、消去、または、圧縮部に出力して第１の記
憶部に記憶するように構成したので、新たに入力される
音声または画像信号が第３の記憶部の記憶容量を超えて
入力される場合にでも、入力を継続できる効果がある。

【０２７２】また、入力される音声信号の有無または音
声の時間間隔を条件一致区間検出部によって検出するよ
うに構成した場合には、発言者の音声または画像信号の
最初から最後までを高音質／高画質で記憶でき、発言が
始まった時点にまでさかのぼって再生を開始できる効果
がある。

【０２７３】また、入力される音声の発信者または発信
者の交替を条件一致区間検出部によって検出するように
構成した場合には、特定の発信者の音声または画像信号
のみを最初から最後まで高音質／高画質で記憶すること
ができ、発信者が交代した時点にまでさかのぼって再生
を開始できる効果がある。

【０２７４】また、入力される音声信号の中に予め登録
されたキーワードが出現したことを条件一致区間検出部
によって検出するように構成した場合には、予め登録さ
れたキーワードが頻繁に出現した期間に記憶された音声
または画像信号を最初から最後まで高音質／高画質で記
憶でき、キーワードが頻繁に出現した重要期間の開始時
点にまでさかのぼって再生を開始できる効果がある。

【０２７５】また、入力される音声信号の中に予め登録
された音声パターンが出現したことを条件一致区間検出
部によって検出するように構成した場合には、音声信号
からキーワードを検出することが困難な場合にでも、笑
い声のパターン、拍手のパターン、活発な対話のパター
ン等の特徴的な音声信号パターンを認識することによ
り、特徴的な音声信号が記憶されている期間の音声また
は画像信号を最初から最後まで高音質／高画質で記憶で
き、パターンを検出した時点にまでさかのぼって再生を
開始できる効果がある。

【０２７６】また、入力される画像信号の中に予め登録
された文字列が出現したことを条件一致区間検出部によ
って検出するように構成した場合には、予め登録された
文字列が出現した前後の音声または画像信号を高音質／
高画質で記憶でき、文字列が出現した時点以前にまでさ
かのぼって再生を開始できる効果がある。

【０２７７】また、入力される画像信号の中に状態変化
が出現したことを条件一致区間検出部によって検出する
ように構成した場合には、画像信号から文字列を検出す
ることが困難な場合にでも、入力される画像信号に、輝
度変化、色分布変化、画像認識結果によって得られる特
徴量変化等の状態変化が起きた場合に、その事象が起き
たタイミングの前後の音声または画像を高音質／高画質
で記憶でき、その事象を検出した時点以前にまでさかの
ぼって再生を開始できる効果がある。

【０２７８】また、外部センサによって検出される状態
変化を条件一致区間検出部によって検出するように構成
した場合には、音声または画像信号の状態変化の検出が
困難な事象が起きた場合や、入力される音声または画像
信号に含まれない情報に状態変化が起きた場合にでも、
その事象が起きたタイミングの前後の音声または画像を
高音質／高画質で記憶でき、その事象を検出した時点以
前にまでさかのぼって再生を開始できる効果がある。

【０２７９】また、カメラ操作信号またはカメラ操作信
号の変化を条件一致区間検出部によって検出するように
構成した場合には、重要な音声または画像をアップでカ
メラ撮影しているような場合、ズームインしている期間
の音声または画像を最初から最後まで高音質／高画質で
記憶でき、ズームイン操作が開始された時点以前にまで
さかのぼって再生を開始できる効果がある。

【０２８０】また、ユーザ入力情報検出部および条件一
致区間検出部が検出した検出結果のいくつかを組み合わ
せて音声または画像信号の重要度を決定し、この重要度
に基づき、圧縮率または間欠記録の時間間隔を部分的に
変更して音声または画像信号を圧縮するように構成した
場合には、様々な事象が組み合わさった複雑な事象に応
じた圧縮率または間欠記録の時間間隔で音声または画像
信号を記憶できる効果がある。

【０２８１】また、ユーザ入力情報検出部の検出結果に
基づいてユーザ入力情報の重要度を決定し、順次入力さ
れる音声または画像信号をこの重要度に基づき圧縮率ま
たは間欠記録の時間間隔を部分的または段階的に変更す
るように構成したばあいには、例えば赤色ペン等で記入
した筆跡などの重要情報が入力されたタイミングで記録
された音声または画像信号部分を、他の部分に比べてよ
り高音質／高画質で記憶できる効果がある。

【０２８２】なお、上述した第１〜第１０の実施の形態
では、条件一致区間以外の区間は、圧縮率を上げて記憶
したり、間引き処理をして、記憶するようにしたが、当
該条件一致区間以外の区間は、記録対象から除外するよ
うにしてもよい。

【０２８３】

【発明の効果】以上説明したように、この発明によれ
ば、ユーザ入力情報と、音声情報または画像情報とを対
応させて記録する場合において、ユーザ入力の検出時点
だけでなく、音声情報または画像情報について、予め設
定した条件に合致する区間を検出して、その検出出力を
も参照して、音声情報または画像情報を記憶蓄積するの
で、ユーザ入力と、音声変化と、画像変化とを関連付け
て、音声および画像の重要と思われる部分を確実に記録
蓄積することができる。

【図面の簡単な説明】

【図１】この発明の実施の形態の全体の構成を示す機能
ブロック図である。

【図２】この発明の実施の形態が適用されるシステムの
概要を説明する図である。

【図３】第１の実施の形態のユーザー入力情報検出部の
動作のフローチャートである。

【図４】第１の実施の形態の条件一致区間検出部の検出
動作のフローチャートである。

【図５】第１の実施の形態の条件一致区間検出部の検出
動作の説明のための図である。

【図６】第１の実施の形態における第３記憶部の構造の
一例を示す図である。

【図７】第１の実施の形態の全体の動作の流れを示す図
である。

【図８】第１の実施の形態における第３記憶部の動作の
フローチャートである。

【図９】第１の実施の形態における第３記憶部の、残り
記憶容量がなくなった時の動作を説明する図である。

【図１０】第１の実施の形態における圧縮部の動作のフ
ローチャートである。

【図１１】第１の実施の形態における第１記憶部の動作
のフローチャートである。

【図１２】第１の実施の形態における第２記憶部の動作
のフローチャートである。

【図１３】第１の実施の形態における、表示部、条件一
致区間検出部、第１記憶部の関連を説明する図である。

【図１４】第１の実施の形態における、第２記憶部のメ
モリ内容を説明するための図である。

【図１５】第２の実施の形態における、記録動作の概要
を説明するための図である。

【図１６】第２の実施の形態の第３記憶部の動作のフロ
ーチャートの一部である。

【図１７】第２の実施の形態の第３記憶部の動作のフロ
ーチャートの一部である。

【図１８】第２の実施の形態の第３記憶部の動作のフロ
ーチャートの一部である。

【図１９】第２の実施の形態の圧縮部の動作のフローチ
ャートである。

【図２０】第３の実施の形態における、記録動作の概要
を説明するための図である。

【図２１】第３の実施の形態における、第３記憶部の構
造の一例を示す図である。

【図２２】第３の実施の形態の第３記憶部の動作のフロ
ーチャートの一部である。

【図２３】第３の実施の形態の第３記憶部の動作のフロ
ーチャートの一部である。

【図２４】第３の実施の形態の圧縮部の動作のフローチ
ャートである。

【図２５】第４の実施の形態における、発言者に応じた
圧縮率で画像信号を圧縮する動作を説明するための図で
ある。

【図２６】第５の実施の形態における、音声信号の中に
予め登録されたキーワードが出現したことを検出する場
合の、第３記憶部の動作を説明するための図である。

【図２７】第５の実施の形態における、音声信号の中に
予め登録されたキーワードが出現したことを検出する場
合の、第３記憶部の動作を説明するための図である。

【図２８】第５の実施の形態における、予め登録された
パターンを説明するための図である。

【図２９】第８の実施の形態が適用されるシステムの概
要を示す図である。

【図３０】第８の実施の形態における、カメラ倍率を検
出する動作を説明するための図である。

【図３１】第８の実施の形態が適用される他のシステム
の概要を示す図である。

【図３２】第１０の実施の形態における、複数のユーザ
により入力されたユーザ入力情報を合わせて検出する場
合の動作を説明するための図である。

【符号の説明】

２１ユーザ入力情報検出部２２第１記憶部２３第２記憶部２４第３記憶部２５表示部２６条件一致区間検出部２７圧縮部２８再生指定部２９再生部３０制御部

Claims

(57)【特許請求の範囲】

【請求項１】ユーザ入力情報を入力するためのユーザ入
力手段と、前記ユーザ入力手段により入力されるユーザ入力情報を
検出するユーザ入力情報検出手段と、音声情報または画像情報を入力するための情報入力手段
と、前記情報入力手段により入力された音声情報または画像
情報を一時記憶する一時記憶手段と、前記情報入力手段により入力された前記音声情報または
前記画像情報の中から、予め設定された所定の条件に合
致する音声情報区間または画像情報区間を検出する条件
一致区間検出手段と、前記一時記憶手段に一時記憶された音声情報または画像
情報のうちの、少なくとも、前記ユーザ入力情報検出手
段での前記ユーザ入力情報の検出結果と前記条件一致区
間検出手段の検出結果とから定められる区間の音声情報
または画像情報を記憶する時系列情報記憶手段と、を備えることを特徴とする情報蓄積装置。
【請求項２】前記時系列情報記憶手段で記憶される前記
ユーザ入力情報検出手段での前記ユーザ入力情報の検出
結果と前記条件一致区間検出手段の検出結果とから定め
られる区間の音声情報または画像情報は、前記ユーザ入
力情報検出手段で前記ユーザ入力情報が検出された時点
以前の前記条件一致区間検出手段で検出された区間の少
なくとも先頭の時点からの前記音声情報または画像情報
であることを特徴とする請求項１に記載の情報蓄積装
置。
【請求項３】請求項１または請求項２に記載の情報蓄積
装置において、前記時系列情報記憶手段では、前記ユーザ入力情報検出
手段での前記ユーザ入力情報の検出結果と前記条件一致
区間検出手段の検出結果とから定められる前記区間以外
の他の区間の音声情報または画像情報も記憶され、前記時系列情報記憶手段で記憶する音声情報または画像
情報のデータ量を圧縮する手段であって、圧縮方式ある
いは圧縮率が変更可能な圧縮手段が設けられ、前記ユーザ入力情報の検出結果と前記条件一致区間検出
手段の検出結果とから定められる区間の前記音声情報ま
たは画像情報は、前記圧縮手段により、前記他の区間の
音声情報または画像情報とは異なる圧縮方式あるいは圧
縮率となるようにしたことを特徴とする情報蓄積装置。
【請求項４】請求項３に記載の情報蓄積装置において、前記ユーザ入力情報の検出結果と前記条件一致区間検出
手段の検出結果とから定められる前記区間の圧縮率は、
前記他の区間の圧縮率よりも低くされる、あるいは前記
ユーザ入力情報の検出結果と前記条件一致区間検出手段
の検出結果とから定められる前記区間の圧縮方式は、前
記他の区間の圧縮方式に比して、前記音声情報あるいは
画像情報を高品質に保持できるものが用いられることを
特徴とする情報蓄積装置。
【請求項５】ユーザによって入力されるユーザ入力情報
を検出するユーザ入力情報検出工程と、入力された音声情報または画像情報を一時記憶する一時
記憶工程と、前記入力された音声情報または画像情報の中から、予め
設定された所定の条件に合致する音声情報区間または画
像情報区間を検出する条件一致区間検出工程と、前記一時記憶工程で一時記憶された音声情報または画像
情報のうちの、少なくとも、前記ユーザ入力情報検出工
程での前記ユーザ入力情報の検出結果と前記条件一致区
間検出工程での検出結果とから定められる区間の音声情
報または画像情報を記憶する時系列情報記憶工程と、を備えることを特徴とする情報蓄積方法。
【請求項６】前記時系列情報記憶工程で記憶される前記
ユーザ入力情報検出手段での前記ユーザ入力情報の検出
結果と前記条件一致区間検出手段の検出結果とから定め
られる区間の音声情報または画像情報は、前記ユーザ入
力情報検出工程で前記ユーザ入力情報が検出された時点
以前の前記条件一致区間検出工程で検出された区間の少
なくとも先頭の時点からの前記音声情報または画像情報
であることを特徴とする請求項５に記載の情報蓄積方
法。
【請求項７】請求項５または請求項６に記載の情報蓄積
方法において、前記時系列情報記憶手段では、前記ユーザ入力情報検出
手段での前記ユーザ入力情報の検出結果と前記条件一致
区間検出工程での検出結果とから定められる前記区間以
外の他の区間の音声情報または画像情報も記憶されると
共に、前記ユーザ入力情報の検出結果と前記条件一致区間検出
工程での検出結果とから定められる区間の前記音声情報
または画像情報は、前記他の区間の音声情報または画像
情報とは異なる圧縮方式あるいは圧縮率で圧縮して記憶
することを特徴とする情報蓄積方法。
【請求項８】請求項７に記載の情報蓄積装置において、前記ユーザ入力情報の検出結果と前記条件一致区間検出
工程での検出結果とから定められる前記区間の圧縮率
は、前記他の区間の圧縮率よりも低くされる、あるいは
前記ユーザ入力情報の検出結果と前記条件一致区間検出
工程での検出結果とから定められる前記区間の圧縮方式
は、前記他の区間の圧縮方式に比して、前記音声情報あ
るいは画像情報を高品質に保持できるものが用いられる
ことを特徴とする情報蓄積方法。
【請求項９】ユーザ入力手段と、前記ユーザ入力手段から入力されるユーザ入力情報を検
出するユーザ入力情報検出手段と、音声情報を入力するための音声情報入力手段と、前記音声情報入力手段からの音声情報を記憶する音声情
報記憶手段と、画像情報を入力するための画像情報入力手段と、前記音声情報入力手段からの前記音声情報が、予め設定
された所定の条件に合致する区間を検出する条件一致区
間検出手段と、前記画像情報入力手段からの画像情報と前記条件一致区
間検出手段で検出された区間を示す情報とを対応させて
一時記憶する一時記憶手段と、前記一時記憶手段に一時記憶された音声情報または画像
情報のうちの、少なくとも、前記ユーザ入力情報検出手
段での前記ユーザ入力情報の検出結果と、前記条件一致
区間検出手段での検出結果とから定められる区間の画像
情報を記憶する画像情報記憶手段と、を備えることを特徴とする情報蓄積装置。
【請求項１０】前記画像情報記憶手段で記憶される前記
ユーザ入力情報検出手段での前記ユーザ入力情報の検出
結果と前記条件一致区間検出手段の検出結果とから定め
られる区間の画像情報は、前記ユーザ入力情報検出手段
で前記ユーザ入力情報が検出されたときに、前記一時記
憶手段に一時記憶された画像情報のうち、前記ユーザ入
力情報が検出された時点以前の前記条件一致区間検出手
段で検出された区間の少なくとも先頭の時点からの前記
画像情報であることを特徴とする請求項９に記載の情報
蓄積装置。
【請求項１１】請求項９または請求項１０に記載の情報
蓄積装置において、前記画像情報記憶手段では、前記ユーザ入力情報検出手
段での前記ユーザ入力情報の検出結果と前記条件一致区
間検出手段の検出結果とから定められる前記区間以外の
他の区間の音声情報または画像情報も記憶され、前記画像情報記憶手段で記憶する画像情報をデータ圧縮
する手段であって、圧縮方式あるいは圧縮率が変更可能
な画像情報圧縮手段が設けられ、前記ユーザ入力情報検出手段での前記ユーザ入力情報の
検出結果と前記条件一致区間検出手段で検出された区間
の前記画像情報は、前記画像情報圧縮手段により、他の
区間の画像情報よりも高画質を保つデータ圧縮を施すよ
うにしたことを特徴とする情報蓄積装置。
【請求項１２】前記条件一致区間検出手段は、前記音声
情報の音声信号レベルと予め定められた閾値とを比較
し、その比較結果に基づいて前記条件一致区間の開始点
と終了点を検出するものである請求項９、請求項１０ま
たは請求項１１に記載の情報蓄積装置。
【請求項１３】前記条件一致区間検出手段は、前記音声
情報に含まれる予め定められた特定のキーワードまたは
特定のパターンを検出して、その検出結果に基づいて前
記条件一致区間の開始点と終了点を検出するものである
請求項９、請求項１０または請求項１１に記載の情報蓄
積装置。
【請求項１４】前記条件一致区間検出手段は、前記入力
音声情報において、音声の特定の発信者または発信者の
交替を検出し、その検出結果に基づいて前記条件一致区
間の開始点と終了点を検出するものである請求項９、請
求項１０または請求項１１に記載の情報蓄積装置。
【請求項１５】請求項３または請求項１１に記載の情報
蓄積装置おいて、前記圧縮手段は、前記ユーザ入力情報
検出手段および前記条件一致区間検出手段が検出した検
出結果を組み合わせて音声情報または画像情報の重要度
を決定し、この重要度に基づき、前記ユーザ入力情報検
出手段での前記ユーザ入力情報の検出結果と前記条件一
致区間検出手段での検出結果とから定められる区間と他
の区間とで圧縮量あるいは圧縮方式を変更して前記音声
情報または画像情報のデータ圧縮を行うことを特徴とす
る情報蓄積装置。
【請求項１６】ユーザ入力手段と、前記ユーザ入力手段から入力されるユーザ入力情報を検
出するユーザ入力情報検出手段と、音声情報を入力するための音声情報入力手段と、前記音声情報入力手段からの音声情報を記憶する音声情
報記憶手段と、画像情報を入力するための画像情報入力手段と、前記画像情報入力手段からの前記画像情報が、予め設定
された所定の条件に合致する区間を検出する条件一致区
間検出手段と、前記画像情報入力手段からの画像情報と前記条件一致区
間検出手段で検出された区間を示す情報とを対応させて
一時記憶する一時記憶手段と、前記ユーザ入力情報が検出されたときに、前記一時記憶
手段に一時記憶された画像情報のうち、前記ユーザ入力
情報が検出された時点以前の前記条件一致区間検出手段
で検出された区間の少なくとも先頭の時点からの前記画
像情報を記憶する画像情報記憶手段と、を備えることを特徴とする情報蓄積装置。
【請求項１７】前記条件一致区間検出手段は、前記画像
情報に含まれる予め定められた特定の画像パターンを検
出して、その検出結果に基づいて前記条件一致区間の開
始点と終了点を検出するものである請求項１６に記載の
情報蓄積装置。
【請求項１８】前記画像情報入力手段は、ユーザのカメ
ラ操作に応じたカメラ操作信号を画像情報と共に出力す
るビデオカメラであり、前記条件一致区間検出手段は、前記カメラ操作信号を解
析して操作内容を検出して、前記画像情報が予め設定さ
れた所定の条件に合致する区間の開始点ないし終了点を
検出することを特徴とする請求項１６に記載の情報蓄積
装置。
【請求項１９】ユーザ入力手段と、前記ユーザ入力手段から入力されるユーザ入力情報を検
出するユーザ入力情報検出手段と、前記ユーザ入力情報検出手段で検出された前記ユーザ入
力手段からのユーザ入力情報を記憶するユーザ入力情報
記憶手段と、記憶すべき音声情報または画像情報を入力するための情
報入力手段と、前記情報入力手段からの前記音声情報または画像情報
が、予め設定された所定の条件に合致する区間を検出す
る条件一致区間検出手段と、前記音声情報または前記画像情報と前記条件一致区間検
出手段で検出された区間を示す情報とを対応させて一時
記憶する一時記憶手段と、前記一時記憶手段に一時記憶された音声情報または画像
情報のうちの、前記ユーザ入力情報検出手段での前記ユ
ーザ入力情報の検出結果と、前記条件一致区間検出手段
での検出結果とから定められる区間の音声情報または画
像情報を、前記ユーザ入力情報検出手段で検出されたユ
ーザ入力情報に対応する情報として記憶する時系列情報
記憶手段と、前記ユーザ入力情報を表示する表示手段と、前記ユーザ入力情報と、前記ユーザ入力情報検出手段で
検出された前記ユーザ入力情報の前記表示手段上の表示
位置を特定するための情報と、前記ユーザ入力情報検出
手段で前記ユーザ入力情報が検出されたときに入力され
た前記音声情報または画像情報の前記時系列情報記憶手
段における記憶位置との対応関係を記憶する対応関係記
憶手段と、前記表示手段に表示されたユーザ入力情報に関連する表
示部分を指定する指定手段と、この指定手段により指定されたユーザ入力情報によって
特定される、前記対応関係記憶手段に記憶されている音
声情報または画像情報の前記時系列情報記憶手段におけ
る記憶位置に基づいて特定される音声信号または画像情
報の所定の部分を再生する再生手段とを具備する情報圧
縮蓄積再生装置。
【請求項２０】ユーザ入力手段と、前記ユーザ入力手段から入力されるユーザ入力情報を検
出するユーザ入力情報検出手段と、前記ユーザ入力情報検出手段で検出された前記ユーザ入
力手段からのユーザ入力情報を記憶するユーザ入力情報
記憶手段と、音声情報を入力するための音声情報入力手段と、前記音声情報入力手段からの音声情報を記憶する音声情
報記憶手段と、画像情報を入力するための画像情報入力手段と、前記音声情報入力手段からの前記音声情報が、予め設定
された所定の条件に合致する区間を検出する条件一致区
間検出手段と、前記画像情報入力手段からの画像情報と前記条件一致区
間検出手段で検出された区間を示す情報とを対応させて
一時記憶する一時記憶手段と、前記一時記憶手段に一時記憶された音声情報または画像
情報のうちの、前記ユーザ入力情報検出手段での前記ユ
ーザ入力情報の検出結果と、前記条件一致区間検出手段
での検出結果とから定められる区間の画像情報を、前記
ユーザ入力情報検出手段で検出されたユーザ入力情報に
対応する情報として記憶する画像情報記憶手段と、前記ユーザ入力情報を表示する表示手段と、前記ユーザ入力情報と、前記ユーザ入力情報検出手段で
検出された前記ユーザ入力情報の前記表示手段上の表示
位置を特定するための情報と、前記ユーザ入力情報が検
出されたときに入力された前記画像情報の前記画像情報
記憶手段における記憶位置および前記音声情報の前記音
声情報記憶手段における記憶位置と前記ユーザ入力情報
との対応関係とを記憶する対応関係記憶手段と、前記表示手段に表示されたユーザ入力情報に関連する表
示部分を指定する指定手段と、この指定手段により指定されたユーザ入力情報と、前記
対応関係記憶手段に記憶されている前記対応関係とによ
って特定される前記画像情報記憶手段および音声情報記
憶手段の記憶位置から、前記画像情報および前記音声情
報を再生する再生手段とを備えることを特徴とする情報
蓄積再生装置。
【請求項２１】ユーザ入力手段と、前記ユーザ入力手段から入力されるユーザ入力情報を検
出するユーザ入力情報検出手段と、前記ユーザ入力情報検出手段で検出された前記ユーザ入
力手段からのユーザ入力情報を記憶するユーザ入力情報
記憶手段と、音声情報を入力するための音声情報入力手段と、前記音声情報入力手段からの音声情報を記憶する音声情
報記憶手段と、画像情報を入力するための画像情報入力手段と、前記画像情報入力手段からの前記画像情報が、予め設定
された所定の条件に合致する区間を検出する条件一致区
間検出手段と、前記画像情報入力手段からの画像情報と前記条件一致区
間検出手段で検出された区間を示す情報とを対応させて
一時記憶する一時記憶手段と、前記ユーザ入力情報が検出されたときに、前記一時記憶
手段に一時記憶された画像情報のうち、前記ユーザ入力
情報が検出された時点以前の前記条件一致区間検出手段
で検出された区間の少なくとも先頭の時点からの前記画
像情報を記憶する画像情報記憶手段と、前記ユーザ入力情報を表示する表示手段と、前記ユーザ入力情報と、前記ユーザ入力情報検出手段で
検出された前記ユーザ入力情報の前記表示手段上の表示
位置を特定するための情報と、前記ユーザ入力情報が検
出されたときに入力された前記画像情報の前記画像情報
記憶手段における記憶位置および前記音声情報の前記音
声情報記憶手段における記憶位置と前記ユーザ入力情報
との対応関係を記憶する対応関係記憶手段と、前記表示手段に表示されたユーザ入力情報に関連する表
示部分を指定する指定手段と、この指定手段により指定されたユーザ入力情報と、前記
対応関係記憶手段に記憶されている前記対応関係とによ
って特定される前記画像情報記憶手段および音声情報記
憶手段の記憶位置から、前記画像情報および前記音声情
報を再生する再生手段とを備えることを特徴とする情報
蓄積再生装置。