JP2008148328A - 時系列情報の特定区間決定装置、情報蓄積装置および情報蓄積再生装置 - Google Patents

時系列情報の特定区間決定装置、情報蓄積装置および情報蓄積再生装置 Download PDF

Info

Publication number
JP2008148328A
JP2008148328A JP2007324422A JP2007324422A JP2008148328A JP 2008148328 A JP2008148328 A JP 2008148328A JP 2007324422 A JP2007324422 A JP 2007324422A JP 2007324422 A JP2007324422 A JP 2007324422A JP 2008148328 A JP2008148328 A JP 2008148328A
Authority
JP
Japan
Prior art keywords
information
user input
input
time
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007324422A
Other languages
English (en)
Other versions
JP4240235B2 (ja
Inventor
Takashi Osawa
隆 大澤
Hiroshi Katsurabayashi
浩 桂林
Eriko Tamaru
恵理子 田丸
Satoru Ichimura
哲 市村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2007324422A priority Critical patent/JP4240235B2/ja
Publication of JP2008148328A publication Critical patent/JP2008148328A/ja
Application granted granted Critical
Publication of JP4240235B2 publication Critical patent/JP4240235B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】ユーザ入力情報に関連する音声や画像の時系列情報の重要区間を適切に特定する。
【解決手段】ユーザ入力情報検出手段６で検出されたユーザ入力情報の入力状況が、共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかのいずれであるかを特定するユーザ入力状況特定手段７を設ける。音声情報または画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段３を設ける。ユーザ入力情報検出手段６によって検出されたユーザ入力情報と、ユーザ入力状況特定手段７によって特定されたユーザ入力状況と、条件一致区間検出手段３で検出された条件一致区間とに基づいて、時系列情報入力手段１、２よりの音声情報または画像情報の内の、特定の区間を決定する。
【選択図】図１

Description

この発明は、例えば会議録記録システムや取材記録システムのように、会議や取材での会話音声、会議や取材風景の画像と、それらに関係する会議メモや取材メモなどの情報を記憶蓄積する情報蓄積装置および情報蓄積記録再生装置に関する。
従来から、会議や講演、取材、インタビュー、電話やテレビ電話を使用した会話、テレビ映像、監視カメラ映像等の記録を、デジタルディスク、デジタルスチルカメラ、ビデオテープ、半導体メモリなどに記録し、再生する装置が提案されている。これらの装置を用いて情報の蓄積を行なえば、記録すべき情報の要点のみを記録者が筆記等して記録する方法に比べ、入力情報である音声や画像を漏らさず記録できるという利点がある。
これらの装置には、コンピュータネットワークを介して伝送されたデジタル信号を蓄積媒体に記録するものや、ビデオカメラやマイクからのアナログ入力信号をそのまま蓄積媒体に記録するものや、符号化してデジタル信号に変換し、記録するものなどがある。
しかしながら、記録された音声や画像の中から欲しい部分を瞬時に検索することができないという問題点があった。
この問題点に対し、順次入力される音声信号または画像信号と、任意のタイミングで記録者が入力したペンやキーボードによるユーザ入力情報とを対応付けて蓄積記録し、再生する装置が提案されている。これらの装置を用いれば、記録者がメモを取るようにペンやキーボードで入力を行なうとともに、音声信号または画像信号を記録しておけば、後で、入力されたメモを参照することにより、音声信号または画像信号の再生したい箇所を容易に選択して再生することができる。
例えば、特許文献１（特開平７−１８２３６５号公報）、特許文献２（特開平６−３４３１４６号公報）等には、記録の際に、音声信号または画像信号とユーザ入力情報とを時間刻印に基づいて対応付け、再生の際に、画面に表示されたユーザ入力情報の１つを指定することにより、その指定されたユーザ入力情報が記録された時刻に記録された音声信号または画像信号を再生する装置が記載されている。
また、特許文献３（特開平６−２０５１５１号公報）には、ユーザ入力が一定時間途切れたことを検知したタイミングで、入力音声信号または入力画像信号にインデックスを付加して記録し、再生の際に、画面に表示された特定のユーザ入力情報の一つを指定することにより、その指定されたユーザ入力情報に対応したインデックス部分からの音声信号または画像信号を再生する装置が記載されている。
しかしながら、前述の特許文献１や特許文献２に記載されている情報蓄積装置では、入力される全ての音声信号または画像信号を圧縮せずに記録する仕組みになっているため、限られた記録容量の中に長時間の入力音声信号または入力画像信号を記録することは困難であるという問題があった。一般に、順次入力される音声信号または画像信号などの時系列データを長時間に渡って記録する場合には、必要な記憶容量は膨大なものになるからである。
公知の方法として、音声信号や画像信号を常に圧縮しながら記憶媒体に記憶する方法が提案されているが、入力されたすべての音声信号または画像信号は同じ圧縮率で記憶されるのが一般的である。この方式の場合、重要部分のみを高音質／高画質で記録して記憶容量を節約するというようなことができず、後から参照される可能性の少ない情報を大量に記録してしまったり、重要な情報にもかかわらず記憶容量の関係で記録できないという問題があった。
例えば、インタビューの風景を、Ｖｉｄｅｏ ｆｏｒ Ｗｉｎｄｏｗｓ（登録商標）（”Ｍｉｃｒｏｓｏｆｔ Ｖｉｄｅｏ ｆｏｒ Ｗｉｎｄｏｗｓ（登録商標） １．０ ユーザーズガイド”ｐｐ．５７−５９，ｐｐ．１０２−１０８）を用いて長時間記録しているような場合において、記憶容量を節約する目的で画像信号を５秒間に１フレームだけ記憶するように間引き圧縮率を設定していたとする。このとき、記録者が、記録時に重要だと感じた部分を後から再生したいと思ったとしても、５秒間に１フレームの画像信号しか再生できないため、話者が話しながら行なった動き（ジェスチャなど）や、話しぶりや、微妙なニュアンスを再現できないという問題がある。逆に、入力される画像信号を、１秒間３０フレームですべて記憶したとした場合、長時間のインタビューを記憶するためには前述したように記憶容量が膨大になるため、実現が非常に困難である。
そこで、特許文献４（特開平７−１５５１９号公報）には、記憶媒体の空き容量がある量以下になったと認識された場合に、既に記憶されている音声情報を再圧縮することによって、記憶媒体の空き領域を確保する音声情報蓄積装置が述べられている。
また、特許文献５（特開平５−６４１４４号公報）には、画像記憶媒体の使用量（データ記憶量）が予め定めた量を超えた場合に、既に記憶されている画像情報の古いフレームから順に圧縮したり、フレームを間引いたりして、記憶容量を節約しようとする情報蓄積装置が述べられている。これらは、後に記憶された情報ほど重要な情報であると見なすことによって、先に記憶された情報を新しい入力情報によって上書きしたり、先に記憶された情報ほど圧縮率を高くしたりして、記憶容量を節約する装置である。
また、特許文献６（特開平６−１４９９０２号公報）に記載の動画像記録装置は、自動シーンチェンジ検出を行ない、長いシーンほど重要なシーンであると見なすことによって、ダイジェストを生成する際には、ユーザが指定した時間長になるように、高い重要度を持ったシーンから順に抽出する装置である。この公報記載の装置で生成されたダイジェストに含まれたシーンのみを残し、ダイジェストに含まれなかったシーンを削除するように構成すれば、重要情報を失うことなく記憶容量を節約することができる。
さらに、記録時に情報の取捨選択を行ない、重要と認識された情報のみを記録したり、圧縮率を変化させて記録する装置が提案されている。たとえば、特許文献２には、ユーザ入力があったタイミングで一定時間だけ映像信号を記録する方法が記載されている。また、さらに、市販されてるテープレコーダの中には、無音区間は音声を記憶しないという無音区間検出機能を持ったものがある。
また、会議情報として画像情報や音声情報などの時系列情報がすべて記録された場合に、その時系列情報から重要な区間を検索するシステムも、従来から種々提案されている。
これらの従来のシステムでは、会議などの音声情報・映像情報などの時系列情報を記録する一方で、会議参加者のペン入力やキーボード入力などのユーザ入力情報と、その入力時刻を記録し、後でその入力時刻を利用して、各ユーザ入力情報に関連する時系列情報を再現できるような仕組みが備えられている。
例えば、特許文献２においては、ペン入力の筆跡の任意の箇所をポイントすると、そのペン入力が行われた時刻付近の音声波形を表示したポップアップウィンドウを表示し、そのポップアップウィンドウ上で音声情報や画像情報の再生の制御を行えるようになっている。具体的な再生の形態としては、次のようなものが例として挙げられている。
（１）ペン入力時刻Ｔより、ある一定の時間幅ｔｗだけ再生する。ただし、ｔｗは、ユーザが変化させることができる。例えば、ポップアップウィンドウ上に表示されたバーをスライドさせることによって再生時間を変化させる。
（２）ペン入力時刻Ｔから再生して最後まで再生する。ただし、ポップアップウィンドウ上に停止、巻き戻し、早送り等のボタンが具備されており、ユーザは任意のタイミングで操作できる。
（３）ペン入力時刻Ｔより少し前の時点から再生する。時刻Ｔ−ｔａから時刻Ｔ＋ｔｂまでの時間幅ｔａ＋ｔｂだけ再生する。ｔａ，ｔｂは予め定められていてもよいし、ユーザがポップアップウィンドウ上のバーをスライドさせてから決定してもよい。
このように特許文献２においては、ペン入力に対応するマルチメディア情報を再生する際に、ユーザにいくつかの再生方法を提供している。
上記の先行技術文献は、次の通りである。
特開平７−１８２３６５号公報 特開平６−３４３１４６号公報 特開平６−２０５１５１号公報 特開平７−１５５１９号公報 特開平５−６４１４４号公報 特開平６−１４９９０２号公報
しかしながら、記録装置に関する従来技術において、例えば特許文献４に記載の装置は、記憶されていた音声信号を、全体に渡って同じ圧縮率で再圧縮する装置であり、記録している内容の重要箇所のみを部分的に圧縮率を低くし高音質で記録するというようなことはできないという問題があった。
また、会議、講演、取材、インタビュー等を記憶蓄積する情報蓄積装置において、特許文献５または特許文献７（特開平５−１３４９０７号公報）に記載されているように、ただ単に、新しい記録を重要情報として残し、古い記録を不要情報として消去するように構成したとすると、重要な会議や重要な取材等の記録が、先に記録されたという理由だけで、新しい入力情報によって上書きされてしまうという問題があった。一般に、会議や取材が行なわれた日時だけに基づいて、その会議内容や取材内容の重要度を判定することはできないからである。
また、シーンの長さによってシーンの重要度を判定する特許文献６記載の装置については、会議や講演を無人カメラで撮影しているような時には、カットチェンジやシーンチェンジによってシーンを切り分けることが非常に困難であり、シーンの長さを検出できないという問題があった。加えて、会議や講演を撮影しているような場合には、短いシーンの中にでも重要な発言が含まれることがあるため、シーンの長さだけに基づいて、その会議内容や取材内容の重要度を判定することはできないという問題があった。
さらなる問題点として、以上に挙げた従来装置には、ユーザが入力に用いる入力装置の種類やユーザの入力意図などの入力状況は考慮されていないため、ユーザ入力があったときの入力状況に応じた適切な選択的記録ができないという問題があった。
例えば、会議参加者の一人が共用電子ホワイトボード装置に議論の過程や結論を筆記し、その他の会議参加者も独自に個人用電子ノート装置にメモをとっているような場合を想定すると、共用電子ホワイトボード装置に筆記する筆記者は、書きながら関連情報を発言したり、筆記者以外の会議出席者によって発言されたらそれをすぐ共用電子ホワイトボード装置に筆記する傾向が強い。したがって、共用電子ホワイトボード上のメモ筆記時点と関連情報が発言されている時点とは近接しているという特徴がある。
他方、会議参加者が個人用電子ノート装置に筆記する場合は、聞いた言葉を一旦自分の中で咀嚼したのち手元メモを入力したり、自分の言葉に置き換えたのち手元メモを筆記することが多く、個人用電子ノート装置上のメモ筆記時点と関連情報が発言されている時点とは比較的離れるという特徴がある。
このように、ユーザ入力が、どのような状況で行われるかにより、対応する音声情報や画像情報の区間のタイミングや長さは変わると考えられる。
しかしながら、従来のこの種の装置は、例えば特許文献２に記載の装置の場合のように、ユーザ入力があったタイミングで一定時間だけ信号を記録するようにしており、上述のようなユーザ入力装置の種類の違いや入力意図などの入力状況によって音声信号または画像信号を記録するタイミングや長さを変化させることができず、このため、情報を適切かつ選択的に記録することができなかった。また、再生時にユーザ入力に適切に対応した部分の情報を選択的に再生することもできなかったという問題がある。
また、前述した再生時の検索に関する従来技術は、音声や映像などのマルチメディア情報（時系列情報）を記録する一方で、メモ入力等のユーザ入力情報およびその入力時刻も記録し、あとでユーザ入力情報からそれに関連する時系列情報を再生しやすくするためのものである。
しかしながら、ユーザが情報を入力した時刻と、それに対応する音声情報や画像情報が存在した時間は、一般には、ずれており、また、そのずれ具合もそれぞれの場合で異なる。このため、再生時に、それぞれのユーザ入力情報に対応する時系列情報の正確な時間区間を知るためには、自らの記憶や勘に基づいて探索することになり、記憶が曖昧・不正確になれば、たとえ、ユーザ入力情報と、それに対応する音声情報や画像情報の存在位置が時間的に近いものであったとしても、探索には多くの時間がかかってしまうという問題がある。
また、ユーザ入力情報に対応する適切な音声情報や画像情報などのマルチメディア情報の存在時間区間に関するユーザの記憶は、時間が経過すればするほど薄らぎ、その探索に多くの時間を必要とする。また、ユーザ入力情報を入力したユーザ以外の第三者が探索をする場合には、なおさら時間を必要とするだけでなく、更にそれが正しい時間区間位置かどうかの確信は持てないことになる。
したがって、ユーザ入力情報に対応するマルチメディア情報を状況に応じて適切に再現すること、もしくは再現はできなくとも、そのマルチメディア情報の探索を助ける適切な情報を如何にユーザに提示するか、そして、そのマルチメディア情報が入力情報に対応するものであることを確信づける情報を、ユーザに提供することが効率的な情報を探索する上で大きな課題となる。
しかしながら、上述した従来の再生方法は、ユーザ入力情報が入力された時刻よりも一定時刻前からマルチメディア情報を再生させたり、あるいはユーザ入力情報が入力された時刻付近の時間区間の情報が表示されているポップアップウィンドウを提示して、再生箇所を選択させる方法である。
ユーザ入力情報の入力時刻と、それに対応するマルチメディア情報の区間の時間関係は、前述したように、状況によって異なるため、再生区間、表示区間の適切さは状況によって異なる。
特許文献２に記載の実施例で示されている例で言えば、ポップアップウィンドウ上に表示する音声波形を、適切な区間だけ表示するための手段は、前記公報にはなく、場合によっては表示区間が短すぎたり、長すぎたりする可能性がある。表示区間が短すぎる場合には、その表示上で適切なマルチメディア情報の開始点を指定することができないばかりか、ユーザがマルチメディア情報の存在位置について想起、推測するための情報が不足するために、マルチメディア情報を探索するための時間が多くかかってしまうという問題がある。また、表示区間が長すぎる場合には、マルチメディア情報が存在する時間区間は表示されているが、表示領域が有限であることを考慮すると、不必要な情報が表示されている分だけ、非効率な表示領域の利用形態になってしまう問題がある。
この発明は、上記の問題点を解決したもので、入力音声信号または入力画像信号のうち特徴的な事象が起こっている音声信号または画像信号の重要期間を、ユーザ入力に関連させて検出して特定することができるようにすると共に、この重要期間の音声信号または画像信号を限られた蓄積媒体の中に数多く記憶し、重要期間以外の音声または画像信号であっても少ないデータ量で長時間記憶できるようにすることを課題とする。
また、この発明は、ユーザ入力に関連する音声信号または画像信号の重要部分を選択的に確実に再生できる、あるいは容易に検索できるようにすることを課題としている。
上記課題を解決するため、請求項１に記載の発明においては、
少なくとも複数のユーザが共用で参照する共用入力装置と、各ユーザが各個に参照する個人用入力装置とを含み、前記共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかの入力状況を特定可能の状態で前記ユーザ入力情報を出力する複数のユーザ入力装置からの前記ユーザ入力情報を受けるユーザ入力情報入力手段と、
前記ユーザ入力情報入力手段から入力された前記ユーザ入力情報を検出するユーザ入力情報検出手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報が、少なくとも前記共用入力装置からのユーザ入力情報か、前記個人用入力装置からのユーザ入力情報かの入力状況を、それぞれ特定する機能を備えるユーザ入力状況特定手段と、
音声情報または画像情報を入力するための時系列情報入力手段と、
前記時系列情報入力手段からの前記音声情報または前記画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段と、
前記ユーザ入力情報検出手段によって検出された前記ユーザ入力情報と、前記ユーザ入力状況特定手段によって特定されたユーザ入力状況と、前記条件一致区間検出手段で検出された条件一致区間とに基づいて、前記時系列情報入力手段からの前記音声情報または画像情報の内の、特定の区間を決定するものであって、前記ユーザ入力状況特定手段で特定された入力状況が、前記共用入力装置か前記個人用入力装置かで異なる時系列情報の区間を決定する特定区間決定手段と、
を備える時系列情報の特定区間検出装置を提供することを特徴とする。
上記の構成の請求項１の発明においては、ユーザがユーザ入力手段により、例えばメモ入力などのユーザユーザ入力情報を入力すると、これがユーザ入力情報検出手段で検出されると共に、そのユーザ入力が、個人用として入力されたのか、共用として入力されたのか等の入力状況が、ユーザ入力状況特定手段で特定される。そして、特定された入力状況により、ユーザ入力情報と対応する時系列情報の区間が時系列情報区間特定手段で特定される。
すなわち、ユーザ入力情報が入力されたときの入力状況に応じたタイミングおよび長さの区間が特定され、ユーザ入力に適切に対応した部分の情報区間を特定することができる。
請求項１の発明においては、ユーザ入力手段が設けられるユーザ入力装置からのユーザ入力情報から、ユーザ入力状況が判断される。このため、予めユーザ入力装置を、例えば個人用あるいは共用など、どのような入力状況として使用するかを設定することで、その入力状況に応じた適切な情報区間が、重要な区間として特定されることになる。
したがって、ユーザ入力情報が入力されたユーザ入力装置が共用入力装置である場合と、個人用入力装置である場合とで、異なる情報区間を対応させるように特定することができ、入力状況に応じた適切な時系列情報区間の特定ができる。
そして、更に、請求項１の発明においては、条件一致区間検出手段で、予め音声情報または画像情報について設定された条件に合致する区間が検出される。そして、この条件一致区間と、ユーザ入力情報検出手段で検出されたユーザ入力情報と、ユーザ入力状況特定手段とにより定められる区間の音声情報または画像情報が、例えば重要区間として、決定される。
また、請求項２の発明においては、
少なくとも複数のユーザが共用で参照する共用入力装置と、各ユーザが各個に参照する個人用入力装置とを含み、前記共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかの入力状況を特定可能の状態で前記ユーザ入力情報を出力する複数のユーザ入力装置からの前記ユーザ入力情報を受けるユーザ入力情報入力手段と、
前記ユーザ入力情報入力手段から入力された前記ユーザ入力情報を検出するユーザ入力情報検出手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報が、少なくとも前記共用入力装置からのユーザ入力情報か、前記個人用入力装置からのユーザ入力情報かの入力状況を、それぞれ特定する機能を備えるユーザ入力状況特定手段と、
音声情報または画像情報を入力するための時系列情報入力手段と、
前記時系列情報入力手段からの前記音声情報または前記画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段と、
前記ユーザ入力情報検出手段によって検出された前記ユーザ入力情報と、前記ユーザ入力状況特定手段によって特定されたユーザ入力状況と、前記条件一致区間検出手段で検出された条件一致区間とに基づいて、前記時系列情報入力手段からの前記音声情報または画像情報の内の、特定の区間を決定するものであって、前記ユーザ入力状況特定手段で特定された入力状況が、前記共用入力装置か前記個人用入力装置かで異なる時系列情報の区間を決定する特定区間決定手段と、
前記時系列情報入力手段から入力された前記音声情報または前記画像情報を記憶する時系列情報記憶手段と、
前記時系列情報記憶手段に記憶された音声情報または画像情報のデータ量を圧縮する手段であって、前記特定区間決定手段で決定された区間と、他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶された前記音声情報または前記画像情報のデータ圧縮を行う圧縮手段と、
を備えることを特徴とする情報蓄積装置を提供する。
上記の構成の請求項２の発明においては、時系列情報の特定区間検出装置で検出された区間は、例えば重要な情報区間として、他の区間とは異なる圧縮率あるいは圧縮方式で、圧縮する。この場合、異なる圧縮率あるいは圧縮方式には、「圧縮する」と、「圧縮しない」という場合も含むものである。
そして、例えば前記重要区間の音声情報あるいは画像情報は高品質で蓄積記憶し、前記他の区間は、それに比較して高圧縮率で音声情報あるいは画像情報を記憶することができる。したがって、重要な区間の情報は、高品質を保って保存しながら、時系列情報記憶手段の使用容量を削減することができる。
また、請求項３の発明においては、
少なくとも複数のユーザが共用で参照する共用入力装置と、各ユーザが各個に参照する個人用入力装置とを含み、前記共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかの入力状況を特定可能の状態で前記ユーザ入力情報を出力する複数のユーザ入力装置からの前記ユーザ入力情報を受けるユーザ入力情報入力手段と、
前記ユーザ入力情報入力手段から入力された前記ユーザ入力情報を検出するユーザ入力情報検出手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報が、少なくとも前記共用入力装置からのユーザ入力情報か、前記個人用入力装置からのユーザ入力情報かの入力状況を、それぞれ特定する機能を備えるユーザ入力状況特定手段と、
音声情報または画像情報を入力するための時系列情報入力手段と、
前記時系列情報入力手段からの前記音声情報または前記画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段と、
前記ユーザ入力情報検出手段によって検出された前記ユーザ入力情報と、前記ユーザ入力状況特定手段によって特定されたユーザ入力状況と、前記条件一致区間検出手段で検出された条件一致区間とに基づいて、前記時系列情報入力手段からの前記音声情報または画像情報の内の、特定の区間を決定するものであって、前記ユーザ入力状況特定手段で特定された入力状況が、前記共用入力装置か前記個人用入力装置かで異なる時系列情報の区間を決定する特定区間決定手段と、
前記時系列情報入力手段から入力された前記音声情報または前記画像情報を記憶する時系列情報記憶手段と、
前記特定区間決定手段で決定された区間を示す区間情報と、当該区間情報に対応する前記音声情報または前記画像情報の前記時系列情報記憶手段における記憶位置との対応関係を記憶する対応関係記憶手段と、
前記時系列情報記憶手段に記憶された前記音声情報または前記画像情報のデータ量を圧縮する手段であって、前記対応関係記憶手段に記憶された区間情報によって定められる区間と、他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶された前記音声情報または画像情報のデータ圧縮を行う圧縮手段と、
を備えることを特徴とする情報蓄積装置を提供する。
この請求項３の発明においては、時系列情報の特定区間検出装置により定められる区間を示す区間情報と、当該区間情報に対応する前記音声情報または前記画像情報の前記時系列情報記憶手段における記憶位置との対応関係が対応関係記憶手段により記憶されている。このため、圧縮手段で圧縮するに当たって、例えば高品質を保つべき前記区間情報と、当該区間の音声情報または画像情報との対応付けが、この対応関係記憶手段の記憶内容にしたがって容易に行える。
また、請求項６の発明においては、
少なくとも複数のユーザが共用で参照する共用入力装置と、各ユーザが各個に参照する個人用入力装置とを含み、前記共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかの入力状況を特定可能の状態で前記ユーザ入力情報を出力する複数のユーザ入力装置からの前記ユーザ入力情報を受けるユーザ入力情報入力手段と、
前記ユーザ入力情報入力手段から入力された前記ユーザ入力情報を検出するユーザ入力情報検出手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報が、少なくとも前記共用入力装置からのユーザ入力情報か、前記個人用入力装置からのユーザ入力情報かの入力状況を、それぞれ特定する機能を備えるユーザ入力状況特定手段と、
音声情報または画像情報を入力するための時系列情報入力手段と、
前記時系列情報入力手段からの前記音声情報または前記画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段と、
前記ユーザ入力情報検出手段によって検出された前記ユーザ入力情報と、前記ユーザ入力状況特定手段によって特定されたユーザ入力状況と、前記条件一致区間検出手段で検出された条件一致区間とに基づいて、前記時系列情報入力手段からの前記音声情報または画像情報の内の、特定の区間を決定するものであって、前記ユーザ入力状況特定手段で特定された入力状況が、前記共用入力装置か前記個人用入力装置かで異なる時系列情報の区間を決定する特定区間決定手段と、
前記音声情報または画像情報を一時記憶する一時記憶手段と、
前記一時記憶手段に一時記憶された音声情報または画像情報のうちの、前記特定区間決定手段により決定された区間の音声情報または画像情報を、前記ユーザ入力情報検出手段で検出されたユーザ入力情報に対応する情報として記憶する時系列情報記憶手段と、
前記特定区間決定手段により決定された区間の区間情報と、当該区間に対応する前記音声情報または画像情報の前記一時記憶手段における記憶位置との対応関係を記憶する対応関係記憶手段と、
前記一時記憶手段に記憶された前記音声情報または前記画像情報の内の、前記時系列情報記憶手段に記憶する前記音声情報または前記画像情報のデータ量を圧縮する手段であって、前記対応関係記憶手段に記憶されている前記時系列情報の特定区間決定装置によって定められる区間と、他の区間とで、圧縮率あるいは圧縮方式を変更して、前記音声情報または前記画像情報のデータ圧縮を行う圧縮手段と、
を備えることを特徴とする情報蓄積装置を提供する。
上記の請求項６の発明においては、時系列情報記憶手段には、時系列情報入力手段から入力された音声情報または画像情報のすべてがそのまま記憶されるのではない。すなわち、時系列情報入力手段から入力された音声情報または画像情報は一時記憶手段に順次に記憶される。そして、一時記憶手段に記憶されている音声情報または画像情報は、対応関係記憶手段に記憶されている前記時系列情報の特定区間決定装置によって定められる区間と、他の区間とで、圧縮率あるいは圧縮方式が変更されて圧縮されて、時系列情報記憶手段に記憶される。これにより、時系列情報記憶手段の記憶容量は、すべての時系列情報をそのまま記憶する場合に比べて少なくて済む。
また、請求項７の発明においては、
少なくとも複数のユーザが共用で参照する共用入力装置と、各ユーザが各個に参照する個人用入力装置とを含み、前記共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかの入力状況を特定可能の状態で前記ユーザ入力情報を出力する複数のユーザ入力装置からの前記ユーザ入力情報を受けるユーザ入力情報入力手段と、
前記ユーザ入力情報入力手段から入力された前記ユーザ入力情報を検出するユーザ入力情報検出手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報が、少なくとも前記共用入力装置からのユーザ入力情報か、前記個人用入力装置からのユーザ入力情報かの入力状況を、それぞれ特定する機能を備えるユーザ入力状況特定手段と、
音声情報または画像情報を入力するための時系列情報入力手段と、
前記時系列情報入力手段からの前記音声情報または前記画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段と、
前記ユーザ入力情報検出手段によって検出された前記ユーザ入力情報と、前記ユーザ入力状況特定手段によって特定されたユーザ入力状況と、前記条件一致区間検出手段で検出された条件一致区間とに基づいて、前記時系列情報入力手段からの前記音声情報または画像情報の内の、特定の区間を決定するものであって、前記ユーザ入力状況特定手段で特定された入力状況が、前記共用入力装置か前記個人用入力装置かで異なる時系列情報の区間を決定する特定区間決定手段と、
前記時系列情報入力手段から入力された前記音声情報または前記画像情報を記憶する時系列情報記憶手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を表示画面に表示する表示手段と、
前記ユーザ入力情報と、前記ユーザ入力情報の前記表示画面上の表示位置を特定するための情報と、前記ユーザ入力情報のそれぞれについて、前記特定区間決定手段により決定された区間に対応する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置との対応関係を記憶する対応関係記憶手段と、
前記表示画面に表示されたユーザ入力情報に関連する表示部分を指定する指定手段と、
前記指定手段により指定されたユーザ入力情報によって特定される、前記対応関係記憶手段に記憶されている前記時系列情報記憶手段における記憶位置に基づいて特定される区間の音声情報または画像情報を再生する再生手段と、
を具備することを特徴とする情報蓄積装置を提供する。
この請求項７の発明の情報蓄積装置においては、再生時に、表示画面に表示されるユーザ入力情報を指示することにより、時系列情報の特定区間決定装置によって定められる区間の音声情報または画像情報が、対応する時系列情報として再生される。すなわち、ユーザ入力情報に関連すると考えられる区間の音声情報あるいは画像情報が、その最初から最後まで再生されることになる。
また、請求項８の発明は、請求項２〜請求項６のいずれかに記載の情報蓄積装置において、
前記音声情報または画像情報が前記時系列情報記憶手段に記憶された時刻を示す時刻情報を記憶する時刻情報記憶手段をさらに具備し、
前記圧縮手段は、前記時刻情報記憶手段に記憶された前記時刻情報によって定められる時刻からの経過時間が、予め定められた時間を過ぎた時に前記圧縮処理を実行することを特徴とする情報蓄積装置を提供する。
この請求項８の発明の情報蓄積装置においては、時系列情報の記憶時点から、予め定められた時間以上経過したときには、時系列情報記憶手段に記憶されている時系列情報が圧縮されるので、メモリに空きが生成される。これにより、長時間経過して、アクセスされることが少なくなった時系列情報を、メモリに効率良く保存しておくことができる。
また、請求項９の発明は、請求項２〜請求項６のいずれかに記載の情報蓄積装置において、
前記圧縮手段は、前記時系列情報記憶手段における空き領域がある値以下になったと認識されたとき、または、前記時系列情報記憶手段における記憶量がある値以上になったと認識されたときに、前記圧縮処理を実行することを特徴とする情報蓄積装置を提供する。
この請求項９の発明の情報蓄積装置においては、メモリの空き容量が少なくなったときに、時系列情報が圧縮されて、空き容量が増加するようにされるので、メモリの利用効率がよくなる。
また、請求項１１の発明においては、
少なくとも複数のユーザが共用で参照する共用入力装置と、各ユーザが各個に参照する個人用入力装置とを含み、前記共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかの入力状況を特定可能の状態で前記ユーザ入力情報を出力する複数のユーザ入力装置からの前記ユーザ入力情報を受けるユーザ入力情報入力手段と、
前記ユーザ入力情報入力手段から入力された前記ユーザ入力情報を検出するユーザ入力情報検出手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報が、少なくとも前記共用入力装置からのユーザ入力情報か、前記個人用入力装置からのユーザ入力情報かの入力状況を、それぞれ特定する機能を備えるユーザ入力状況特定手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、このユーザ入力情報の入力時間に関する情報と、このユーザ入力情報に関して前記ユーザ入力状況特定手段で特定された前記入力状況とを記録するユーザ入力情報記録手段と、
音声情報または画像情報の時系列情報を入力するための時系列情報入力手段と、
前記時系列情報入力手段から入力された前記音声情報または前記画像情報を記憶する時系列情報記録手段と、
前記ユーザ入力情報記録手段に記録された前記ユーザ入力情報を表示する表示手段と、
前記表示手段により表示された前記ユーザ入力情報のうちの一つを選択指示する指定手段と、
前記時系列情報入力手段からの前記音声情報または前記画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段と、
前記指定手段により指定された前記ユーザ入力情報の、少なくとも、入力時間に関する情報と、前記入力状況と、前記条件一致区間の情報とに基づいて、前記時系列情報入力手段よりの前記音声情報または画像情報の内の、特定の区間を決定するものであって、前記ユーザ入力状況特定手段で特定された入力状況が、前記共用入力装置か前記個人用入力装置かで異なる時系列情報の区間を決定する特定区間決定手段と、
前記時系列情報記録部に記録されている前記時系列情報のうちの、前記特定区間決定手段により決定された特定の区間に対応する前記時系列情報を再生する時系列情報再生手段と、
を備えることを特徴とする情報蓄積再生装置を提供する。
この請求項１１の情報蓄積再生装置においては、例えば、会議システムの場合、音声情報または画像情報の時系列会議情報は、あますことなくすべて時系列情報記録手段に記録される。また、ユーザ入力情報記録手段には、ユーザ入力情報検出手段で検出されたユーザ入力情報と、このユーザ入力情報の入力時間に関する情報と、このユーザ入力情報に関して前記ユーザ入力状況特定手段で特定された入力状況とが記録される。
そして、ユーザ入力情報記録手段に記録されているユーザ入力情報が表示画面に表示されて、そのうちの一つが指定されると、ユーザ入力情報記録手段に記録されているその指定されたユーザ入力情報の入力時間の情報および入力状況が取り出され、特定区間決定手段に渡される。
特定区間決定手段は、ユーザ入力情報の入力時間の情報および入力状況とに基づいて、時系列情報記録手段に記録されている音声情報または画像情報の内の、指定されたユーザ入力情報に対応する特定の区間を決定する。この決定を受けて、再生手段は、特定区間決定手段により決定された、時系列情報記録部に記録されている特定の区間の時系列情報を抽出して再生する。
また、請求項１２の発明においては、
少なくとも複数のユーザが共用で参照する共用入力装置と、各ユーザが各個に参照する個人用入力装置とを含み、前記共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかの入力状況を特定可能の状態で前記ユーザ入力情報を出力する複数のユーザ入力装置からの前記ユーザ入力情報を受けるユーザ入力情報入力手段と、
前記ユーザ入力情報入力手段から入力された前記ユーザ入力情報を検出するユーザ入力情報検出手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報が、少なくとも前記共用入力装置からのユーザ入力情報か、前記個人用入力装置からのユーザ入力情報かの入力状況を、それぞれ特定する機能を備えるユーザ入力状況特定手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、このユーザ入力情報の入力時間に関する情報と、このユーザ入力情報に関して前記ユーザ入力状況特定手段で特定された前記入力状況とを記録するユーザ入力情報記録手段と、
音声情報または画像情報の時系列情報を入力するための時系列情報入力手段と、
前記時系列情報入力手段からの前記音声情報または前記画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段と、
前記時系列情報入力手段から入力された前記音声情報または前記画像情報と、前記条件一致区間検出手段で検出された条件一致区間の情報とを記憶する時系列情報記録手段と、
前記ユーザ入力情報記録手段に記録された前記ユーザ入力情報を表示する表示手段と、
前記表示手段により表示された前記ユーザ入力情報のうちの一つを選択指示する指定手段と、
前記指定手段により指定された前記ユーザ入力情報の、少なくとも、前記入力時間に関する情報と、前記入力状況とに基づいて、前記時系列情報入力手段よりの前記音声情報または画像情報の内の、特定の区間を決定するものであって、前記ユーザ入力状況特定手段で特定された入力状況が、前記共用入力装置か前記個人用入力装置かで異なる時系列情報の区間を決定する特定区間決定手段と、
前記時系列情報記録部に記録されている前記時系列情報のうちの、前記特定区間決定手段により決定された特定の区間内の前記条件一致区間を示すチャートを、前記表示手段に表示するために生成するチャート生成手段と、
を備えることを特徴とする情報蓄積再生装置を提供する。
この請求項１２の発明においては、時系列情報から条件一致区間検出手段により求められた、例えば発言などのイベント区間からなるチャートが、特定区間決定手段により決定された特定の区間の時系列情報について生成され、表示画面に表示される。これにより、ユーザ入力に対応した時系列情報の特定区間に発生した、発言などのイベントを、チャートにより視覚的に把握することができる。
また、請求項１４の発明においては、
少なくとも複数のユーザが共用で参照する共用入力装置と、各ユーザが各個に参照する個人用入力装置とを含み、前記共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかの入力状況を特定可能の状態で前記ユーザ入力情報を出力する複数のユーザ入力装置からの前記ユーザ入力情報を受けるユーザ入力情報入力手段と、
前記ユーザ入力情報入力手段から入力された前記ユーザ入力情報を検出するユーザ入力情報検出手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報が、少なくとも前記共用入力装置からのユーザ入力情報か、前記個人用入力装置からのユーザ入力情報かの入力状況を、それぞれ特定する機能を備えるユーザ入力状況特定手段と、
前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、このユーザ入力情報の入力時間に関する情報と、このユーザ入力情報に関して前記ユーザ入力状況特定手段で特定された前記入力状況とを記録するユーザ入力情報記録手段と、
音声情報または画像情報の時系列情報を入力するための時系列情報入力手段と、
前記時系列情報入力手段からの前記音声情報または前記画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段と、
前記時系列情報入力手段から入力された前記音声情報または前記画像情報を記憶する時系列情報記録手段と、
前記ユーザ入力情報記録手段に記録された前記ユーザ入力情報を表示する表示手段と、
前記表示手段により表示された前記ユーザ入力情報のうちの一つを選択指示する指定手段と、
前記指定手段により指定された前記ユーザ入力情報の、少なくとも、入力時間に関する情報と、前記入力状況と、前記条件一致区間の情報とに基づいて、前記時系列情報入力手段よりの前記音声情報または画像情報の内の、特定の区間を決定するものであって、前記ユーザ入力状況特定手段で特定された入力状況が、前記共用入力装置か前記個人用入力装置かで異なる時系列情報の区間を決定する特定区間決定手段と、
前記特定区間決定手段により特定された区間を、前記指定手段で選択指示された前記ユーザ入力情報の直前のユーザ入力情報の入力時刻に基づいて補正する特定区間補正手段と、
前記時系列情報記録部に記録されている前記時系列情報のうちの、前記特定区間決定手段により決定された特定の区間に対応する前記時系列情報を再生する時系列情報再生手段と、
を備えることを特徴とする情報蓄積再生装置を提供する。
この請求項１４の発明の情報蓄積再生装置においては、音声情報または画像情報の時系列会議情報は、すべて時系列情報記録手段に記録される。また、ユーザ入力情報記録手段には、ユーザ入力情報検出手段で検出されたユーザ入力情報と、このユーザ入力情報の入力時間に関する情報とが記録される。
そして、ユーザ入力情報記録手段に記録されているユーザ入力情報が表示画面に表示されて、そのうちの一つが指定されると、ユーザ入力情報記録手段に記録されているその指定されたユーザ入力情報の入力時間の情報が取り出され、特定区間決定手段に渡される。
特定区間決定手段は、ユーザ入力情報の入力時間の情報に基づいて、時系列情報記録手段に記録されている音声情報または画像情報の内の、指定されたユーザ入力情報に対応する特定の区間を決定する。
特定区間補正手段は、特定区間決定手段で決定された特定区間内に、指定手段で選択指示されたユーザ入力情報の直前のユーザ入力情報があるかどうかチェックし、前記直前のユーザ入力情報があれば、その入力時刻により、特定区間決定手段で決定された特定区間を補正する。特定区間内に前記直前のユーザ入力情報がなければ、特定区間決定手段で決定された特定区間は補正されない。
再生手段は、特定区間決定手段により決定された特定区間、あるいは特定区間補正手段により補正された特定区間に対応する時系列情報を時系列情報記録部から抽出して再生する。
この発明による特定区間検出装置によれば、ユーザ入力情報と、音声や画像の変化など、音声情報や画像情報について設定された条件に合致する区間と、ユーザ入力があった時点の状況とを、適宜組み合わせて、特徴的な事象が起こっている区間である重要区間を特定することができる。
この場合に、共用入力装置や個人用入力装置のようなユーザ入力装置の種類によって音声信号または画像信号を記録するタイミングや長さを変化させることができるので、さまざまな会議記録装置の実施形態において、効率的に情報蓄積媒体の節約ができる。
以下、図面を参照して、この発明の実施の形態について説明する。
［情報蓄積装置の第１の実施の形態］
第１の実施の形態は、この発明による情報蓄積装置を会議記録に適用した場合である。
概して、数日前に行なわれた会議を後から参照する可能性に比べて、１カ月前に行なわれた会議を参照する可能性は極めて低い。参照する可能性の小さくなった映像情報などの会議情報を高品質で蓄積したままにしておくことは、メモリ容量を節約するという面で非常に非効率的であり、適当なタイミングで、削除または間引き圧縮等を施し、情報量を削減することが望ましい。
しかし、昔の会議記録であっても、重要な場面については、話者が話しながら行なった動き（ジェスチャなど）や、話しぶりや、微妙なニュアンスを再現したいという要求がある。したがって、このような特徴的な事象が起こっている重要区間の音声情報または画像情報は、高品質のままで保存しておくようにすることが要求される。
この場合に、音声情報または画像情報の時系列情報の重要区間をどのように特定するかが問題である。この実施の形態では、会議出席者（会議の司会者や進行役も含む）の指示入力やメモ入力などのユーザ入力情報の検出時点と、そのユーザ入力がなされたときの状況（入力状況）と、音声情報または画像情報について予め定められた条件に一致する区間と、に基づいて重要区間を決定する。
入力状況としては、この例では、例えば共用電子ホワイトボード装置などの共用入力装置にユーザ入力される場合と、個人用電子ノート装置などの個人用入力装置にユーザ入力される場合の２つの状況を想定し、そのいずれの状況であるかを区別してユーザ入力状況特定手段は特定するものとする。
また、条件に一致する区間としては、この例では、会議出席者の一人の発言区間とする。したがって、発言区間と話者の交替を検出する必要がある。
第１の実施の形態では、会議について音声情報および映像情報を記録し、その記録時点から１ヶ月が経過したときに、記録した会議映像の中の重要部分の映像だけを残し、その他の部分は消去するという、情報量削減処理（圧縮処理）を施す例について説明する。さらに、第１の実施の形態では、音声情報についても、記録した会議音声の中の重要部分の音声情報だけを残し、その他の部分は消去するようにする。
この第１の実施の形態によれば、後述するように、会議の重要場面のみを残して他の部分を消去できるので、蓄積保存すべき情報量は非常に少なくなる。すなわち、この例においては、会議参加者がメモをとった時点は、会議の重要場面であるとする。この重要場面をとらえて、会議参加者がメモをとった時点の周辺のみを保存し、それ以外の部分を消去することで、会議映像および会議音声を保存するための情報量を大幅に少なくすることができる。
図２は、この実施の形態の場合の会議風景を示すもので、２０は、情報蓄積再生装置を構成する電子会議装置である。この電子会議装置２０は共用ホワイトボード装置としての機能も備えるもので、マーカーペンでホワイトボードに書き込むのと同じ感覚で、プロジェクタスクリーン上に電子ペン２３を使用して自在に書き込みを行なうことができ、議論の過程や、結論を電子ファイルとして記憶蓄積することができるものである。このため、この電子会議装置２０は、パーソナルコンピュータ（図示せず）を内蔵する。
また、会議出席者（会議の司会者や進行役も含む）は、その手元に、個人用電子ノート装置として機能する小型コンピュータ３０を備え、会議中に、この小型コンピュータに個人用のメモなどの入力を行うことができる。
この実施の形態では、電子会議装置２０が内蔵するコンピュータと、各個人が手元に所持する小型コンピュータ３０とは、無線ネットワークで接続されており、複数の小型コンピュータ３０から入力されたユーザ入力情報と後述するユーザ入力装置情報とは、電子会議装置２０が内蔵するコンピュータに伝送されるようになっている。したがって、図示しないが、各小型コンピュータ３０と、電子会議装置２０とは、それぞれ無線送受信部を備えるものである。
以下の説明において、電子会議装置２０を共用入力装置として使用する場合には、これを共用ホワイトボード装置２０と称し、小型コンピュータは、個人用電子ノート装置３０と称することとする。
そして、図２に示すように、この電子会議装置２０は、表示画面２１を備える。この表示画面２１への画像の表示方式は、スクリーンに背面から投射して表示する、いわゆるプロジェクション方式である。さらに、この電子会議装置２０は、表示画面２１上の電子ペン２３の接触入力座標位置を検出する機能を備えており、検出された接触入力座標位置は、共用ホワイトボード装置からのユーザ入力情報として、パーソナルコンピュータに入力され、蓄積媒体２７に記憶蓄積される。
電子会議装置２０のパーソナルコンピュータは、後述もするように、この電子ペン２３による表示画面２１上でのユーザ入力情報（共用ホワイトボード装置からのユーザ入力情報）を、前述した個人用電子ノート装置３０からのユーザ入力情報とは区別して検出して記憶蓄積する。
また、会議の場における音声情報や画像情報などの時系列情報の入力のために、電子会議装置２０は音声入力端子および画像入力端子を備える。この実施の形態においては、複数の会議出席者２９の各々にマイクロホン２５が割り当てられ、それぞれのマイクロホン２５により収音された会議出席者２９の発言の音声信号は、一旦、音声信号解析器２６に入力される。この音声信号解析器２６の出力端子は、電子会議装置２０の音声入力端子に接続されている。
音声信号解析器２６は、複数のマイクロホン２５から入力された音声信号を解析し、入力音声信号がどのマイクロホンから入力されたのかを識別して、その識別結果を音声信号と共に電子会議装置２０に対し出力するものである。
また、ビデオカメラ２４で撮影された紙文書や会議風景の画像信号は、電子会議装置２０の画像入力端子に入力され、電子会議装置２０の表示画面２１に表示される。
なお、順次入力される時系列情報は、ビデオカメラ／マイクロホン／ビデオデッキ／テープレコーダ／センサ等から入力されたアナログ信号でもよいし、それを符号化したデジタル信号でもよい。さらには、計算機ネットワーク／計算機バスを通じて入力されるデジタル信号でもよい。すなわち、時間の経過とともに順次入力される情報は、いずれもこの発明でいう時系列情報に相当する。
電子会議装置２０の表示画面２１には、当該電子会議装置２０の画像入力端子に接続されているビデオカメラ２４からの画像情報による画像と、この電子会議装置２０のパーソナルコンピュータを通じて入力される電子文書の画像とが、図２に示すように、それぞれ別のウインドウ画像２２Ａ、２２Ｂとして表示される。この表示画面２１に表示される画像情報も、前記ユーザ入力情報および音声情報と関連付けされて記憶蓄積される。
また、この電子会議装置２０に内蔵のパーソナルコンピュータは、機能的に情報圧縮蓄積装置をその内部に備える。この情報圧縮蓄積装置は、前記ユーザ入力情報と、会議風景を撮影するビデオカメラ２４からの画像情報と、マイクロホン２５からの音声情報とを、記憶媒体２７に記憶蓄積し、この記憶媒体２７に記憶蓄積された音声または画像情報を、後述するようにして圧縮する機能を備えている。
そして、蓄積媒体２７に蓄積された画像情報は、ユーザからの再生要求に応じて表示画面２１に表示されるとともに、蓄積媒体２７に蓄積された音声情報がスピーカ２８から再生される。電子会議装置２０は、このための再生部も備える。この再生部は、表示画面２１に表示されたユーザ入力情報のうちから、ユーザが任意のユーザ入力情報を指定した際に、この指定されたユーザ入力情報が入力された時刻に記録された音声情報または画像情報を、蓄積媒体２７から読み出し、再生するものである。
なお、ユーザが任意のユーザ入力情報を指定した際に、この指定されたユーザ入力情報が入力された時刻に表示画面２１に表示されていた画像を、蓄積媒体２７から読み出して再生して表示画面２１に表示するようにしてもよい。
なお、電子会議装置２０は、パーソナルコンピュータを介して、例えばＩＳＤＮによるネットワークに接続することにより、会議の過程の音声情報や画像情報を遠隔地間で同時に共有し、あたかも同じ部屋で会議を行なっているような環境を実現することも可能である。
図１は、この実施の形態の電子会議装置の情報蓄積再生装置としての機能部分を示したブロック図である。すなわち、この実施の形態の情報蓄積装置は、システムバスに対して、音声情報入力部１、画像情報入力部２、条件一致区間検出部３、時系列情報記憶部４、ユーザ入力情報入力部５、ユーザ入力情報検出部６、ユーザ入力装置特定部７、重要区間決定部８、対応関係記憶部９、圧縮部１０、時刻情報記憶部１１、再生部１２、再生指定部１３、表示部１４、制御部１５が、それぞれ接続されて構成される。この例の場合、音声情報入力部１の出力端は、条件一致区間検出部３にも接続される。
図１の各部はそれぞれ別のブロックとして構成されていてもよいし、１つのブロックが幾つかの部を含むように構成されていてもよい。また、１つの部が、幾つかのブロックに分割されて実装されていても構わない。
音声情報入力部１は、マイクロホン２５からの音声信号を受けてデジタル音声信号に変換し、システムバスに送出すると共に、条件一致区間検出部３に送出する。
画像情報入力部２は、ビデオカメラ２４からの画像信号を受け付ける。そして、ビデオカメラ２４からの画像信号がデジタル信号であれば、それを受け付けてシステムバスに送出する。また、入力画像信号がデジタル信号でなければ、画像情報入力部２は、入力画像信号をデジタル画像信号に変換してシステムバスに出力する。
条件一致区間検出部３は、音声情報入力部１からのデジタル音声信号を監視して、予め定められている条件に合致する音声区間を検出する。この例では、所定レベル以上の音声信号入力が有り、かつ、この入力音声信号から話者の交替を検出したことを条件として条件一致区間を検出する。この条件一致区間検出部３は、音声信号解析器２６と電子会議装置２０の一部とがその役割を果たす。
所定レベル以上の音声信号の有無を検知する方法としては、図３に示すように、条件一致区間検出部３は、入力される音声レベルが所定のレベル以上になったことを検知して話者の発言の開始点を認識し、音声レベルが所定の閾値レベル以下になったことを検知して話者の発言の終了点を認識する検出機能を持つ。
ただし、図３に示すように、音声レベルが閾値レベルと交差する音声レベル変化点Ｆ１０１そのものを発言の開始点または終了点とすると、発言の最初の部分と最後の部分が条件一致区間に含まれないので、音声レベルが小レベルから大レベルに変化するときの変化点Ｆ１０１よりも一定時間Ｔ１だけ前の時点Ｆ１００を発言開始点とし、また、音声信号レベルが大レベルから小レベルに変化するときの変化点Ｆ１０１よりも一定時間Ｔ２だけ後の時点Ｆ１０２を発言終了点とする。
なお、この実施の形態において、ある時刻における音声レベルとは、その時刻の前後の音声レベルを平滑化した値であり、例えば、ある時刻の前後の２秒間の瞬間音声レベルの平均値である。
この実施の形態では、図２に示されるように、マイクロホン２５を発言者毎に設置し、発言者各自のマイクロホンからの音声入力レベルを音声信号解析器２６で比較することで、音声信号解析器２６が、入力音声信号を発信した話者を特定する。そして、この話者の特定により、話者の交替を検出する。
発言者を特定する方法としては、この他にも、音声信号の特徴（声紋など）から話者を特定してもよいし、画像情報による顔や口の動きから発言者を特定してもよい。その場合には、マイクロホンは、会議出席者のすべてに対応して複数本設ける必要はなく、１本あるいは会議出席者の数よりも少ない複数本でよい。また、複数のマイクロホンを設置し、それらのマイクロホンから入力される音声信号の位相差を解析して音源の位置を検知して、発言者を特定するようにすることもできる。
時系列情報記憶部４は、音声情報入力部１から入力される音声情報および画像情報入力部２から入力される画像情報を、それぞれデジタル情報として記憶する。記憶情報の格納装置としては、ディスク装置や、磁気テープ装置や、半導体メモリ装置を用いられる。
ユーザ入力情報入力部５は、共用電子ホワイトボード装置からのユーザ入力情報を受けると共に、個人用電子ノート装置からのユーザ入力情報を受ける。前述したように、この実施の形態では、個人用電子ノート装置３０からのユーザ入力情報は、無線通信されてくるので、このユーザ入力情報入力部は、そのための無線受信部を備える。
この実施の形態では、共用電子ホワイトボード装置からのユーザ入力情報には、共用入力装置であることを示す判別情報がそのヘッダ部に付加されている。一方、個人用電子ノート装置３０からのユーザ入力情報のヘッダ部には、この判別情報は付加しない。このヘッダ部の判別情報の有無により、共用入力装置か、個人用入力装置であるかを判別することができる。
なお、共用電子ホワイトボード装置からのユーザ入力情報には、共用入力装置であることを示す識別情報を付与しておくと共に、個人用電子ノート装置３０からのユーザ入力情報のヘッダ部には、それを示す識別情報を付加するようにして、両者を判別するようにしても勿論よい。
ユーザ入力情報検出部６は、ユーザ入力情報入力部５からのユーザ入力情報を検出し、検出したユーザ入力情報を対応関係記憶部９や表示部１４に転送する。
ユーザ入力情報は、表示位置の情報も含んでいる。また、ユーザ入力情報検出部６は、ユーザ入力情報の検出時点の情報もシステムバスに出力する。
ユーザ入力装置特定部７は、ユーザ入力状況特定部の一例を構成するものであり、ユーザ入力情報検出部６で検出されたユーザ入力情報が、共用電子ホワイトボード装置からのものか、個人用電子ノート装置３０からのものかを、ユーザ入力情報に含まれる前記ヘッダ部から特定する。そして、そのユーザ入力装置特定結果のユーザ入力装置情報をシステムバスに出力する。
重要区間決定部８は、音声情報および画像情報の時系列情報のうちの、後述するような特定の区間を重要区間として特定する特定区間決定部を構成するもので、この実施の形態では、対応関係記憶部９の一部の機能とされる。この重要区間決定部８は、ユーザ入力情報検出部６からのユーザ入力情報の検出時点と、ユーザ入力装置特定部７からのユーザ入力装置情報と、条件一致区間検出部３からの条件一致区間の情報とに基づいて、音声情報および画像情報について、当該ユーザ入力情報に関連する特定区間、すなわち、重要区間を決定する。この重要区間の決定の仕方の詳細な例は後述する。
対応関係記憶部９は、ユーザが例えば電子ペン２３により入力したユーザ入力情報と、このユーザ入力情報の画面上での表示位置を特定する情報（例えば、Ｘ−Ｙ座標軸上の絶対座標や相対座標など）と、重要区間決定部８で決定された重要区間内に入力された音声情報または画像情報の時系列情報記憶部４内での記憶アドレスとを、対応付けて記憶する。
この実施の形態では、前記重要区間の情報として、対応関係記憶部９には、ユーザ入力情報が入力された時点を含む重要区間の開始アドレスと終了アドレスとを記憶するようにしている。すなわち、対応関係記憶部９は、それぞれのユーザ入力情報と条件一致区間情報とユーザ入力装置情報とによって特定される区間を重要区間とし、この重要区間の音声情報または画像情報の、前記時系列情報記憶部４における記憶アドレスと、それぞれのユーザ入力情報とを対応させて記憶するものである。この対応関係記憶部９の記憶装置も、例えばディスク記憶装置や半導体メモリ装置等で構成される。
圧縮部１０は、この実施の形態においては、前記時系列情報記憶部４に蓄積された音声情報および画像情報のデータ間引き処理を行なう。この場合、圧縮部１０は、対応関係記憶部９の重要区間決定部８において、ユーザ入力情報が入力されたタイミングと条件一致区間情報とユーザ入力装置情報とによって決定された重要区間の情報に基づいて、重要区間以外の区間の音声情報および画像情報は、消去することもできるように構成されている。
時刻情報記憶部１１は、入力された音声信号および画像信号が、時系列情報記憶部４に記録開始された時刻を記憶するためのもので、例えばディスク記憶媒体や半導体メモリ等で構成される。
さらに、時刻情報記憶部１１は、前記記録開始時刻からの経過時間を測定する機能を持つ。このため、この時刻情報記憶部１１には、図示しない時計回路部からの現在時刻情報が供給される。そして、この実施の形態では、この時刻情報記憶部１１は、前記記録開始時刻からの経過時間が予め定められた所定時間以上となったときに、圧縮部１０で時系列情報記憶部４の画像情報の前述したような圧縮を開始する契機となる圧縮トリガタイミング信号を出力する。
再生部１２は、前述したように、時系列情報記憶部４に記憶されている音声信号や画像信号を再生する機能部である。
再生指定部１３は、蓄積記憶したユーザ入力情報、音声情報、画像情報を、ユーザ入力情報を指定して再生する際に使用される。この再生指定部１３は、後述するように、表示画面２１や個人用電子ノート装置３０に表示されたユーザ入力情報のうちから、タブレットを通じてユーザが指定を行ったときに、その指定部分を再生部分として検出するものである。
表示部１４は、前述した表示画面２１を備えるプロジェクション方式の表示装置部分である。そして、この例では、ペン／タブレット一体型入出力装置をも兼用する構成とされている。このため、この表示部１４には、各自が手元に所有する個人用電子ノート装置３０の表示装置部分も含むものとする。したがって、前記再生指定部１３も、電子会議装置２０の表示画面２１を通じての再生指定と、個人用電子ノート装置３０の表示画面を通じての再生指定も含むものとする。なお、この表示部１４としては、例えばＣＲＴモニタや、液晶モニタで構成することもできる。
電子会議装置のユーザ入力情報検出部６は、例えば表示画面２１に貼付されたタブレットにより構成され、電子ペン２３によるユーザ入力を検出し、そのペン筆跡情報をユーザ入力情報として出力する。このとき、表示部１４の表示画面２１には、ペン筆跡情報に応じたペン軌跡が表示される。
そして、このときのユーザ入力情報には、共用入力装置のユーザ入力情報であることを示す識別情報が含まれるので、ユーザ入力装置特定部７は、それを検知してユーザ入力装置情報を出力する。
また、同様に、手元の個人用電子ノート装置３０から入力されたペン筆跡情報は、その入力が行なわれた該個人用電子ノート装置３０の表示装置部に表示される。さらに、ユーザからの入力を検出した個人用電子ノート装置３０は、電子会議装置２０にその識別情報を含むユーザ入力情報を伝送する。ユーザ入力情報検出部６は、この個人用電子ノート装置３０からのユーザ入力情報を受信して検出する。また、ユーザ入力装置特定部７は、ユーザ入力情報に含まれる識別情報を検知してユーザ入力装置情報を出力する。
なお、ユーザ入力情報としては、ペン（またはマウス／トラックボール／タッチパネルなど）からの筆跡あるいは図形（線、四角形、円などのオブジェクト）の他に、筆跡データを文字認識したコード情報、キーボードからのコード情報でもよい。また、表示されているユーザ入力情報を移動／複写／削除したという編集情報、ページ切り替えを行ったという情報、スチルカメラのシャッターを押したという情報、ユーザがセンサー付きの椅子に座ったという情報、仮想的な消しゴムが用いられたという情報など、ユーザ入力情報が表示されない性質のものであってもよく、この場合は、そのユーザ入力情報の存在を示す所定のしるしを表示部３に表示する。すなわち、入力される時系列情報（例えば、音声信号または画像信号）が存在する間に、ユーザが計算処理能力を持つ装置に対して行った入力は、いずれもこの発明でいうユーザ入力情報に相当する。
［重要区間の決定について］
対応関係記憶部９の重要区間決定部８は、ユーザ入力情報が検出されたタイミングと、特定されたユーザ入力装置情報と、条件一致区間検出部３で検出された条件一致区間とから、音声情報および画像情報についての重要区間を決定する。この決定に際して、この実施の形態では、次の点を考慮している。
前述したように、共用電子ホワイトボード装置に筆記する筆記者は、書きながら関連情報を発言する場合が多い。また、筆記者以外の会議出席者によって発言されたことを、共用電子ホワイトボードの筆記者が書き留める時は、関連情報が発言されたら、それをすぐ共用電子ホワイトボード装置に筆記する傾向が強い。したがって、共用電子ホワイトボード上のメモ筆記時点と関連情報が発言されている時点とは近接しているという特徴がある。
他方、会議参加者が個人用電子ノート装置に筆記する場合は、聞いた言葉を一旦自分の中で咀嚼したのち手元メモを入力したり、自分の言葉に置き換えたのち手元メモを筆記することが多い。したがって、個人用電子ノート装置上のメモ筆記時点と関連情報が発言されている時点とは比較的離れるという特徴がある。
本願の発明者らが実施した実験の結果によると、ユーザ入力として例えばメモ筆記の場合を例にとると、メモ筆記入力に対して必要な発言の開始点が、決定される重要区間に含まれる確立を９５％（危険率５％）以上にするためには、個人用電子ノート装置に筆記する場合は筆記時点の少なくとも２００秒前から記録を開始する必要があり、一方、共用電子ホワイトボード装置に筆記する場合は筆記時点の少なくとも１３０秒前から記録を開始する必要があることがわかった。
また、メモ筆記入力に対して必要な発言の終了点が、決定される重要区間に含まれる確立を９５％（危険率５％）以上にするためには、個人用電子ノート装置に筆記する場合は筆記時点の少なくとも１８０秒後まで記録を継続する必要があり、一方、共用電子ホワイトボード装置に筆記する場合は筆記時点の少なくとも７０秒後まで記録を継続する必要があることがわかった。
以上のことを考慮して、この実施の形態の重要区間決定部８においては、音声情報や画像情報の時系列情報の内から、次のようにして、重要区間を決定するようにする。
すなわち、図４において、共用電子ホワイトボード装置２０の表示画面２１または個人用電子ノート装置３０の表示画面において、ユーザ入力情報として入力ペンにより時点ｔｐで筆記入力がなされた場合の重要区間の特定は、次のようになされる。
まず、ユーザ入力情報の入力が検出された時点ｔｐから所定時間前にさかのぼった時点ｔ１を特定し、この時点ｔ１よりさらにさかのぼる時点であって、この時点ｔ１に最も近い話者交替時点ｔｓ（ｔ１に最も近い条件一致区間の開始点ｔｓ）を重要区間ＩＰの始まりとする。この場合に、図５の表に示すように、ユーザ入力が、共用電子ホワイトボード装置上の筆記であれば、そのユーザ入力が検出された時点ｔｐと時刻ｔ１との時間間隔（ｔｐ−ｔ１）は１３０秒とし、個人用電子ノート装置上の筆記であれば、時間間隔（ｔｐ−ｔ１）は２００秒となるように時刻ｔ１を定める。
次に、ユーザ入力情報の入力が検出された時点ｔｐから所定時間後の時点ｔ２を特定し、この時点ｔ２よりも後の時点であって、このｔ２に最も近い話者交替時点ｔｅ（ｔ２に最も近い条件一致区間の終了点ｔｅ）を重要区間ＩＰの終わりとする。この場合に、図５の表に示すように、ユーザ入力が、共用電子ホワイトボード装置上の筆記であれば、そのユーザ入力が検出された時点ｔｐと時刻ｔ２との時間間隔（ｔ２−ｔｐ）は７０秒とし、個人用電子ノート装置上の筆記であれば、時間間隔（ｔ２−ｔｐ）は１８０秒となるように時刻ｔ２を定める。
また、例えばユーザからの入力が十分な間隔を置かずに続けざまに行われた等の理由により、重要として決定すべき区間が重なった場合は、区間をつないで決定する。
例えば、図６のように、共用電子ホワイトボード装置からのユーザ入力が時点ｔｐ１でなされ、これに近接した時点ｔｐ２で、個人用電子ノート装置３０からのユーザ入力があった場合を考える。この場合には、ユーザ入力時点ｔｐ１について決定される重要区間と、ユーザ入力時点ｔｐ２について決定される重要区間とが時間的に重なるので、時点ｔｐ１について決定される重要区間の開始点から、時点ｔｐ２について決定される重要区間の終了点までを、求める重要区間ＩＰとして決定するようにする。
すなわち、図６では、共用電子ホワイトボード装置からのユーザ入力時点ｔｐ１から所定時間前にさかのぼった時点ｔ１を特定し、この時点ｔ１よりさらにさかのぼる時点であって、この時点ｔ１に最も近い話者交替時点ｔｓを重要区間の始まりとする。この場合、共用電子ホワイトボード装置上の筆記であるので、図７の表に示すように、ユーザ入力が検出された時点ｔｐ１と時刻ｔ１との時間間隔（ｔｐ１−ｔ１）が１３０秒となるように時点ｔ１を定める。
また、個人用電子ノート装置からのユーザ入力時点ｔｐ２から所定時間後の時点ｔ２を特定し、この時点ｔ２よりも後の時点であって、この時点ｔ２に最も近い話者交替時点ｔｅを重要区間の終わりとする。この場合、個人用電子ノート装置上の筆記であるので、図７の表に示すように、ユーザ入力が検出された時点ｔｐ２と時刻ｔ２との時間間隔（ｔ２−ｔｐ２）が１８０秒となるように時刻ｔ２を定める。図６において、ＷＰは、個々のユーザ入力について決定される重要区間が重なった区間を示している。
図６のように、複数のユーザ入力装置により入力されたユーザ入力情報を合わせてユーザ入力情報検出部６によって検出するようにした場合や、複数のユーザからのユーザ入力情報を合わせてユーザ入力情報検出部６によって検出するようにした場合は、入力される音声情報または画像情報を同一の時系列情報記憶部４に記憶するように構成することで、装置個別に音声情報または画像情報を蓄積する必要がなくなり記憶容量の節約ができる。
［情報蓄積装置の第１の実施の形態の記録時の動作］
次に、以上のような構成の情報蓄積装置の例としての電子会議装置２０における記録時の動作について説明する。図８は、この実施の形態における記録時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。
会議が始まり、マイクロホン２５からの音声信号およびカメラ２４からの画像信号が、電子会議装置２０に供給されると、音声信号および画像信号は、時系列情報記憶部４に順次に蓄積記憶される。また、音声信号は、条件一致区間検出部３にも入力される。
この場合、音声信号解析器２６が、条件一致区間検出部３の機能を果たす。すなわち、前述したように、マイクロホン２５が発言者毎に設置されており、発言者各自のマイクロホンからの音声入力レベルが音声信号解析器２６において、閾値レベルと比較されることで、音声信号解析器２６で、入力音声信号を発信した話者が特定され、１人の話者の１つの発話の開始点および終了点が検出される。この実施の形態の場合、１人の話者の１つの発話区間が条件一致区間となる。この条件一致区間の情報は対応関係記憶部９の重要区間決定部８に供給される。
図９は、条件一致区間検出部３の動作を説明するフローチャートである。
条件一致区間検出部３に、音声情報入力部１からの音声信号がデジタル信号として供給されると、ステップＳ１００において、前述の発言区間の検出と、発話者の特定が行なわれる。発話者の特定方法としては、前述したように、発言者毎に設置されたマイクロホン２５からの音声入力レベルを音声信号解析器２６で比較することで実施される。
このステップＳ１００の後、ステップＳ１０１において、話者が交替したかどうかを認識し、話者の交替が検出された場合には、ステップＳ１０２に進み、ステップＳ１０１において特定された条件一致区間を重要区間決定部８に出力し、その後ステップＳ１００に戻って、新たな条件一致区間の検出を始める。また、ステップＳ１０１において、話者が交替していないと認識された場合にも、ステップＳ１００に戻って、新たな条件一致区間の検出を始める。
一方、ユーザ入力情報検出部６が、ペン筆跡情報（ユーザ入力情報）の入力を検出すると、検出されたペン筆跡情報は、表示部１４に表示される。そして、検出されたペン筆跡情報は、対応関係記憶部９に供給されて、その重要区間決定部８で重要区間の決定のための要素の一つとして用いられると共に、記憶蓄積される。
図１０は、ユーザ入力情報検出部６の動作を説明するフローチャートである。ユーザ入力情報検出部６は、電子ペン２３が表示画面２１に接触した座標位置をそのユーザ入力情報として検出し、あるいは個人用電子ノート装置３０からの、その表示画面に接触した座標位置からなるユーザ入力情報を検出し（ステップＳ２００）、検出したユーザ入力情報を、逐次、表示部１４に出力して表示すると共に、対応関係記憶部９に出力し、この対応関係記憶部９に、検出したユーザ入力情報を記憶させるようにする（ステップＳ２０１）。
また、ユーザ入力情報検出部６からのユーザ入力情報中のユーザ入力装置の識別情報から、ユーザ入力装置特定部７で、ユーザ入力情報は、共用ホワイトボード装置２０からのものか、個人用電子ノート装置３０からのものかを示すユーザ入力装置情報が生成される。このユーザ入力装置情報は、対応関係記憶部９の重要区間決定部８に供給されて、重要区間の決定のための要素の一つとして用いられる。
図１１は、この実施の形態における、ユーザ入力装置特定部７の動作を説明したフローチャートである。前述もしたように、ユーザ入力情報が共用電子ホワイトボード装置２０から入力された情報か、個人用電子ノート装置３０から入力された情報かを判別できるようにするために、共用電子ホワイトボード装置２０は、ユーザ入力情報のヘッダに、共用ホワイトボード装置判別情報を付加する。
すなわち、共用電子ホワイトボード装置から出力されたユーザ入力情報のヘッダに、共用電子ホワイトボード装置から入力されたことを示す共用ホワイトボード装置判別情報を付加し、他方、個人用電子ノート装置から入力されたユーザ入力情報のヘッダーには前記共用ホワイトボード装置判別情報を付加しないようにする。これにより、両入力装置を容易に判別できるようにする。
図１１に示すように、ユーザ入力情報検出部６からの入力があった場合には、ステップＳ２１０によってそのことが検出され、ステップＳ２１１に進む。ステップＳ２１１では、ユーザ入力情報検出部６からのユーザ入力情報のヘッダに共用ホワイトボード装置判別情報が付加されているかどうかを検出し、共用ホワイトボード装置判別情報が付加されていなかった場合には、ステップＳ２１２に進み、個人用電子ノート装置３０からの入力であるとするユーザ入力装置情報を対応関係記憶部９に供給する。一方、ステップＳ２１１において、共用ホワイトボード装置判別情報が付加されていると判別された場合には、ステップＳ２１３に進み、共用電子ホワイトボード装置２０からの入力であるとするユーザ入力装置情報を対応関係記憶部９に供給する。
なお、前記共用ホワイトボード装置判別情報を生成する装置としては、共用電子ホワイトボード装置２０以外にも、共用電子ホワイトボード装置２０に書き込むための電子ペン２３であってもよい。
対応関係記憶部９の重要区間決定部８は、以上のユーザ入力情報と、条件一致区間の情報と、ユーザ入力装置情報とから、前述の図４〜図７を用いて説明したようにして、時系列情報についての重要区間を決定する。
図１２は、ユーザ入力情報検出部６の検出結果であるペン筆跡入力情報と、条件一致区間検出部３の検出結果と、ユーザ入力装置特定部７のユーザ入力装置の検出結果とから、重要区間決定部８により定められた重要区間と、画像情報および音声情報を記憶した時系列記憶部４の記憶状態（圧縮処理を施す前の状態）とを対応付けて説明する図である。これらの情報の対応関係情報は、前述したように、対応関係記憶部９に記憶される。
対応関係記憶部９の重要区間決定部８は、前述したように、条件一致区間検出部３の検出結果とユーザ入力装置特定部７の検出結果とから定められた区間のうち、ユーザ入力情報が入力された時点を含む区間を、入力音声情報または画像情報の重要区間として記憶する。すなわち、条件一致区間検出部３で検出された区間であっても、その区間内にユーザ入力情報が検出されなかった場合には、重要区間としては認識しない。
そして、画像情報および音声情報に関して、ユーザ入力情報としてのペン筆跡の入力時点を含む時刻ｔｓから時刻ｔｅまでを重要区間として特定する。この重要区間の画像情報および音声情報は、後述する圧縮処理を施した時に時系列情報記憶部４から消去されないが、重要区間以外の区間の画像情報および音声情報は、後述する圧縮処理を施した時に消去される。
図１３は、対応関係記憶部９に記憶された対応関係情報の例である。この図１３に示すように、ユーザが入力したペン筆跡情報としては、ユーザ入力情報を一意に特定する識別子とユーザ入力情報の種類を特定する情報が記憶されている。表示画面２１上の表示位置としては、３つのＸ−Ｙ座標（２０、３０）（３０、４０）（６０、１０）と座標情報の終端を表すｎｉｌとが記憶されている。
また、時系列情報記憶部４上の記憶アドレスとしては、重要区間決定部８により決定されたアドレスａｓ（開始点アドレス）およびアドレスａｅ（終了点アドレス）が記憶されている。
最後に、ユーザ入力情報が共用入力装置から入力されたものか、個人用入力装置から入力されたものかを示すためにユーザ入力装置情報が記憶されている。
対応関係記憶部９に記憶されるのは、ペン筆跡情報、表示座標、記憶アドレスそのものではなく、それらを特定する特定情報であってもよいし、対応関係記憶部９のデータ記憶構造はテーブルの形式でなく、リスト構造などの他の記憶構造で構成されてもかまわない。
また、この例のように、マルチプルラインなどを表現するまとまった座標点列を１つのペン筆跡情報として記憶させておけば、再生時にその座標点列のうちの、いずれかが指定されれば、その座標点列に対応するペン筆跡情報が特定できるようになり、同じ記憶アドレスから音声または画像を再生できるようになる。
図１４および図１５は、対応関係記憶部９の動作を説明するフローチャートであるが、前述した記録動作に関与するステップは、ステップＳ３００〜ステップＳ３０４の部分である。そして、ステップＳ３０５、ステップＳ３０６の部分は、後述する圧縮時の動作に関与する部分であり、また、図１５のステップＳ３０７〜ステップＳ３１０の部分は後述する再生時の動作に関与する部分である。
すなわち、この記録時においては、ステップＳ３００において、条件一致区間検出部３から、条件一致区間を示す情報が入力されたかどうかを検出し、条件一致区間の入力が検出されなかった場合には、ステップＳ３０５およびステップＳ３０７を経由してステップＳ３００に戻り、条件一致区間を示す情報の入力有無の検出を行う。
ステップＳ３００において、条件一致区間検出部３からの条件一致区間の入力が検出された場合には、ステップＳ３０１に進む。ステップＳ３０１では、当該条件一致区間内にユーザ入力情報が検出されたか否か判定し、当該条件一致区間内にユーザ入力情報が検出されないと判定されたときには、ステップＳ３０５およびステップＳ３０７を経由してステップＳ３００に戻り、再び、条件一致区間を示す情報の入力有無の検出を行う。
一方、ステップＳ３０１で、条件一致区間内にユーザ入力情報が検出されたと判定された場合には、ステップＳ３０２に進む。ステップＳ３０２では、前述したようにして重要区間を決定する。このステップＳ３０２は、重要区間決定部８が実行するステップである。次にステップＳ３０３に進み、前記重要区間に対応して時系列情報記憶部４に記憶されている音声情報または画像情報の、時系列情報記憶部４における記憶アドレスを取得するために、時系列情報記憶部４に対し、前記重要区間を示す情報と、記憶アドレスの問い合わせ要求を出力し、その返答を待つ。
時系列情報記憶部４からの返答が返されるとステップＳ３０４に進み、前記ユーザ入力情報と、このユーザ入力情報の表示部１４上における表示位置と、重要区間とされる音声情報および画像情報の時系列情報記憶部４における記憶アドレス（重要区間の記憶アドレス）と、ユーザ入力装置情報とを対応づけて記憶する。時系列情報記憶部４に記憶されている音声情報および画像情報の、重要区間の情報は、これにより、ユーザ入力情報、条件一致区間情報およびユーザ入力装置情報に対応して記憶されていることになる。
ステップＳ３０４の次には、ステップＳ３０５およびステップＳ３０７を経由してステップＳ３００に戻り、次の条件一致区間を示す情報の入力有無の検出を行う。
次に、このときの対応する時系列情報記憶部４の動作を、図１６のフローチャートを参照して説明する。この処理ルーチンのステップＳ４００〜Ｓ４０４の部分が記録時の動作の部分であり、ステップＳ４０５，Ｓ４０６は再生時の動作部分である。
すなわち、図１６において、時系列情報記憶部４の記録時の動作を説明すると、まず、この記録動作が開始となると、時系列情報記憶部４は、ステップＳ４００において、音声情報および画像情報の記憶開始時刻を時刻情報記憶部１１に出力して、記録させる。次に、ステップＳ４０１、ステップＳ４０２と順次に進み、入力される画像情報と音声情報との入力を受け、順次記憶する。
そして、次のステップＳ４０３では、対応関係記憶部９から、前記重要区間に対応する記憶アドレスの要求が到来したか否かを判別し、当該要求が到来したことを検出したときにはステップＳ４０４に進む。このステップＳ４０４では、重要区間に対応する音声情報および画像情報の記憶アドレスを、対応関係記憶部９に返答する。
ステップＳ４０３で重要区間に対応する記憶アドレスの要求は到来していないと判別された後、またステップＳ４０４の後は、ステップＳ４０５を経由してステップＳ４０１に戻り、画像情報と音声情報の記憶を続ける。
時刻情報記憶部１１は、時系列情報記憶部４の前記ステップＳ４００での処理による記憶開始時刻の情報を受信して、当該記憶開始時刻の記憶を行う。
図１７は、時刻情報記憶部１１の動作を説明するフローチャートであり、また、図１８は、時刻情報記憶部１１の記憶構造を説明するための図である。図１７において、ステップＳ５００およびステップＳ５０１が、記録時の処理であり、時系列情報記憶部４から供給された、音声情報および画像情報の記憶開始時刻をステップＳ５００において検出し、ステップＳ５０１においてこの記憶開始時刻を時刻情報記憶部１１に記憶する。
後述するように、時刻情報記憶部１１は、音声情報および画像情報が時系列情報記憶部４に記録されてからの経過時間（すなわち情報保存時間）が、所定の時間以上になった場合に、対応関係記憶部９に対し圧縮処理開始指示を出力する。図１７のステップＳ５０２およびステップＳ５０３は、その処理部であり、この圧縮開始指示処理については後述する。
時刻情報記憶部１１は、音声情報および画像情報を格納したファイルの名前と、記憶開始時刻との関係を、図１８のようなテーブルで管理している。この例では、１つの会議の記録が１つのファイルに記録されている。ファイル名は各会議記録に付与されたファイル名称であり、図１８のＩＤは各会議記録ファイルを識別する識別子（この例では番号）である。
なお、この記憶開始時刻の記憶形式はテーブル形式に限られず、リスト構造やスタック構造等であっても構わない。さらに、音声情報および画像情報を格納したファイルやファイル名の中に、記憶開始時刻を特定する情報を記憶しておくように構成しても構わない。
以上のようにして、この実施の形態においては、会議が開始され、会議記録が開始されると、その開始時点の時刻が、時刻情報記憶部１１に記憶されると共に、会議開始時点（記憶開始時点に対応）から画像情報および音声情報が時系列情報記憶部４に記憶される。
そして、会議進行中にユーザ入力情報検出部６でユーザ入力情報が検出されると、それが表示画面２１上の位置情報と共に、対応関係記憶部９に順次に記憶される。さらに、会議進行中の音声情報について、条件一致区間検出部３で、話者交替が検出され、かつ、条件一致区間内でユーザ入力情報がユーザ入力情報検出部６で検出されると、対応関係記憶部９に、そのユーザ入力があった条件一致区間を重要区間として、この重要区間を特定する情報と、対応する時系列情報記憶部の記憶アドレスと、ユーザ入力装置情報とが対応付けて記憶される。
［情報蓄積装置の第１の実施の形態の圧縮時の動作］
次に、圧縮時の動作について説明する。この第１の実施の形態では、時系列情報記憶部４に記憶した画像情報および／または音声情報は、記憶してから所定期間経過したときには、重要度が小さくなるとして情報圧縮して、時系列情報記憶部４のメモリに、空き容量を形成するようにするが、その区間内でユーザ入力情報が検出された近傍区間は、重要区間として、この区間は圧縮せず、あるいは、圧縮率を低くして高品質を保つようにする。
この場合に、記憶してから圧縮を開始するまでの期間は一定期間とするようにしてもよいが、ユーザが任意に変更できるようにしてもよい。
また、ファイルサイズに応じてその期間を変更するようにすることもできる。その場合に、音声情報および画像情報を格納したファイルやファイル名の中に、記憶開始時刻を特定する情報を記憶しておくように構成しても構わない。例えば、図１９に示すように、ファイルサイズが５Ｍバイトを越える場合には、圧縮処理開始までの時間を１ヶ月とし、５Ｍバイトに満たない場合には、圧縮処理開始までの時間を２ヶ月にする。
また、ファイル拡張子が、.AVIのファイルの場合には、圧縮処理開始までの時間を１ヶ月とし、ファイル拡張子が、.mpgのファイルの場合には、圧縮処理開始までの時間を２ヶ月とするというように、ファイル拡張子により自動的に圧縮処理開始までの時間を設定するようにしてもよい。その場合には、圧縮処理開始までの時間を各ファイル毎に指定する必要がなくなり、ユーザの手間が省けるという効果がある。
図２０は、この実施の形態における情報圧縮時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。
時刻情報記憶部１１は、音声情報および画像情報が時系列情報記憶部４に記録されてからの経過時間が、所定の時間以上になった場合に、対応関係記憶部９に対し圧縮処理開始指示を出力する。
すなわち、図１７の時刻情報記憶部１１の処理ルーチンのステップＳ５０２において、図示しない時計回路部から供給される現在時刻と、時刻情報記憶部１１に記憶されている記憶開始時刻とを比較し、情報の保存時間が所定の時間を経過したかどうかを判定する。所定の時間が経過したと判定されたときには、ステップＳ５０３に進み、対応関係記憶部９に圧縮処理開始を要求する。
そして、この要求を出した後に、あるいはステップＳ５０２で所定の時間を経過していないと判定されたときには、ステップＳ５００に戻る。
例えば、前記所定の時間が、１ヶ月と定めてあった場合には、圧縮処理開始要求が記憶開始時点から１ヶ月後に発生し、時系列情報記憶部４に新規に蓄積された情報は、１ヶ月後に圧縮処理を施されることとなる。例えば、図１９に示した１９９６年４月２５日１３時３０分に記録されたファイル名「ｆｉｌｅ１０」の音声情報および画像情報は、１９９６年５月２５日１３時３０分に前述の圧縮処理を施されることになる。
なお、以上の圧縮処理の開始のタイミングは、設定された時間の近辺であればよく、システムがアイドリング状態になるのを待って圧縮処理を行なうように構成してもよい。
対応関係記憶部９は、時刻情報記憶部１１から圧縮開始指示が入力されると、図１４のステップＳ３０５でその入力を検出する。圧縮開始指示が検出された場合には、ステップＳ３０６に進み、前記重要区間を特定する情報のそれぞれと、それぞれの重要区間に対応して前記時系列情報記憶部４に記憶されている音声情報および画像情報の、前記時系列情報記憶部４における記憶アドレスを特定する情報とを圧縮部１０に出力する。すなわち、図１３に示したユーザ入力情報ごとの情報の、一つの会議についてのすべてを一括して圧縮部１０に出力する。
なお、もちろん、各重要区間を特定する情報と、該重要区間に対応した記憶アドレスとの組を、１組１組づつ、順次圧縮部１０に出力するように構成してもよい。また、音声情報および画像情報を格納した時系列情報記憶部４のファイルの中に、前記重要区間を特定する情報のそれぞれと、それぞれの重要区間に対応してファイルに記憶されている音声情報および画像情報の、該ファイルにおける記憶アドレスとを記憶しておくように構成しても構わない。
対応関係記憶部９からの入力を受信した圧縮部１０は、前記時系列情報記憶部４に蓄積された音声情報および画像情報の間引きデータ圧縮を行なう。この実施の形態の場合には、重要区間の情報については、データ圧縮を行わずに高品質を維持し、また、重要区間以外の区間の情報については、消去するようにする。このため、図２０に示すように、圧縮部１０は、時系列情報記憶部４に記憶された情報のうち、重要区間以外の区間の情報を消去するようにする。
図２１は、この圧縮部１０の動作の、画像圧縮処理を説明するフローチャートである。
以下、このフローチャートおよび説明図を用いて、圧縮動作の詳細な説明を行なう。
時刻情報記憶部１１は、前述の図１７に示したフローチャートのステップＳ５０３において、音声情報および画像情報が時系列情報記憶部４に記録されてからの経過時間（すなわち情報保存時間）が、所定の時間以上になった場合に、対応関係記憶部９に対し圧縮処理開始指示を出力する。
対応関係記憶部９は、時刻情報記憶部１１から圧縮開始指示が入力されると、図１４のステップＳ３０５でその入力を検出する。圧縮開始指示が検出された場合には、ステップＳ３０６に進み、重要区間の図９に示した情報のそれぞれと、それぞれの重要区間に対応して前記時系列情報記憶部４に記憶されている音声情報または画像情報の、前記時系列情報記憶部４における記憶アドレスとを圧縮部１０に出力する。
圧縮部１０は、対応関係記憶部９からの圧縮開始要求を受信すると、ステップＳ６００によって、これを検出し、ステップＳ６０１に進む。ステップＳ６０１では、対応関係記憶部９から入力される、重要区間のそれぞれと、それぞれの重要区間に対応して前記時系列情報記憶部４に記憶されている音声情報および画像情報の、前記時系列情報記憶部４における記憶アドレスとを入力し、圧縮部１０の、図示しないワークメモリに記憶する。ワークメモリは、記憶媒体として、例えば半導体メモリを用いる。
なお、重要区間と、該重要区間に対応した記憶アドレスとの組を、１組１組、順次圧縮部１０に出力するように構成してもよい。また、音声情報および画像情報を格納したファイルの中に、前記重要区間のそれぞれと、それぞれの重要区間に対応してファイルに記憶されている音声情報および画像情報の、該ファイルにおける記憶アドレスとを記憶しておくように構成しても構わない。
圧縮部１０は、前記ワークメモリに記憶されている、重要区間と記憶アドレスの複数組を参照して、時系列情報記憶部４に記憶されている画像情報および音声情報の間引き圧縮を行なう。すなわち、ステップＳ６０２において、重要区間以外の区間の画像情報および音声情報を、時系列情報記憶部４から消去する。
以上の圧縮処理によって、図２２に示すような空きメモリが生成される。すなわち、図２２は、時系列情報記憶部４に記憶された画像情報および音声情報のうち、重要区間として認識された情報（アドレスａｓからアドレスａｅ）を保存し、それ以外の区間の情報を消去した場合の例を示した図である。
図２２において、アドレスａｓからアドレスａｅの間のメモリ領域の画像データおよび音声データは、重要区間のデータであるので、圧縮前と比べて変化がない。一方、アドレスａ０からアドレスａｓ、および、アドレスａｅからアドレスａ２に蓄積されていた画像データおよび音声データは、重要区間ではないので消去されている。そして、情報量が減ったことにより、図２２に示すように、時系列情報記憶部４の記憶媒体には、空きメモリ領域が生成される。
なお、時系列データが、記憶媒体内で連続して記憶されていることが望ましい場合には、生成された空きメモリの部分を前後の時系列データによって詰めるようにする等して、メモリの隙間をなくすようにしてもよい。
［情報蓄積装置の第１の実施の形態の再生時の動作］
次に、再生時の動作について説明する。
この例においては、表示部１４に表示された複数のペン筆跡情報の中の１つをユーザがペンを用いて指定（ポインティング）することにより、時系列情報記憶部４に記憶された音声信号または画像信号のうち、そのペン筆跡情報が入力された時点の近辺前後に入力された音声信号または画像信号のみを部分的に再生可能とされている。
また、そのペン筆跡情報が入力された時点の前後に入力された音声信号または画像信号のうちの、前記重要区間の最初にさかのぼって音声信号または画像信号を再生できるように構成されている。
この例の場合、指定に用いる再生指定部１３としては、この実施の形態のように、入力用のペンと兼用されている。
なお、再生指定部１３としては、マウス、トラックボール、カーソルキー、タッチパネル等を用いることもできる。また、ペン筆跡情報の指定方法としては、ポインティングによる指定、囲み（閉曲線や楕円などによる囲み）による指定、識別子入力による指定、表示されている項目の下に線を引くような指定などによるものでもよい。
また、囲みによる指定や下線による指定を行なった結果、複数のペン筆跡情報が選択された場合には、なんらかの優先順位に基づいて１つを特定するようにすることもできる。例えば、選択された中で最も早く入力されたペン筆跡情報や、最も左上に表示されたペン筆跡情報を自動的に選ぶ等、候補をリスト状に表示してユーザに再度選択を求めるようにしてもよい。
さらに、特定の順番（例えば時系列）で静止画画像を並べ、それら目次画像の中から１つを指定するようにしても構わない。
表示部１４の表示画面２１上の表示位置は、Ｘ−Ｙ座標によって特定できるので、ペンなどの再生指定部１３によってある表示位置が指定されると、その表示位置に対応するＸ−Ｙ座標が特定される。
このようにして、再生指定部１３から再生要求があると、対応関係記憶部９での動作の図１５のフローチャートのステップＳ３０７においてそれが検出され、ステップＳ３０８に進み、再生指定部１３から得られた指定座標と、対応関係記憶部９に記憶されているＸ−Ｙ座標から算出されるＸ−Ｙ座標群（図１３のペン筆跡座標を端点とするマルチプルラインを構成する全ての点座標群）とを比較して、対応するペン筆跡情報を特定する。
続いて、ステップＳ３０９において、このペン筆跡情報に対応した音声信号または画像信号の再生開始アドレスおよび再生終了アドレスを、対応関係記憶部９から取得し、ステップＳ３１０に進んで、その再生開始アドレスおよび再生終了アドレスと、再生要求とを時系列情報記憶部４に出力する。
その後、再生開始／終了アドレスと再生要求とを受け取った時系列情報記憶部４は、図１６のフローチャートのステップＳ４０５において、その入力を検知し、ステップＳ４０６に進んで、再生部１２に出力する。
再生部１２は、以上の動作によって求まった時系列情報記憶部４の再生開始アドレスから再生終了アドレスまでの音声情報または画像情報の再生を開始する。例えば、図１３のＩＤ１０００のマルチプルラインが指定された場合には、このマルチプルラインに対応する、記憶アドレスａｓから記憶アドレスａｅまでの音声情報または画像情報が再生される。
なお、前記座標比較の際に、少しずれた座標ともマッチングするようにしておけば、指定時に多少ずれた座標点を指定しても、所望の記憶アドレスを取得できるようになる。また、ユーザ入力情報が表示されない性質のものであった場合にでも、そのユーザ入力情報の存在を示す所定のしるしが表示部１４に表示されているので、同様の方法によって所望の記憶アドレスを取得できる。また、所定時間間隔内に連続入力された複数の座標点列を１つのペン筆跡情報として記憶させておけば、例えば、１行の文字列を１つのペン筆跡情報と見なすことができるため、文字列を構成する座標点列のうちいずれかが指定されれば、同じ記憶アドレスから音声または画像を再生できる。
再生時には再生速度を変化させたり少し巻き戻ししてゆっくり再生したい場合がよくあるので、早送り機能、巻き戻し機能、スロー再生機能、一時停止機能を再生部１２に具備してもよいし、時間軸上のスライドバーを設け、現在再生している時刻を示すポインタをスライドバーに表示したりバーをスライドさせることによって再生位置を指定できるようにしてもよい。また、再現する速度に関して、必ずしも記録された時刻情報の通りに再現する必要はなく、記録された順序関係だけは守って速度を上げて再現するようにしてもよい。
さらに、再生を一時停止した後、指示部によって再生を再び指示できるようにしてもよいし、新たなユーザ入力情報を追記できるようにしてもよい。
［第１の実施の形態の変形例］
以上の第１の実施の形態の説明では、会議出席者の各々の発言区間を条件一致区間として検出するようにしたが、条件一致区間としては、これに限られるものではない。
例えば、「扉の閉まる音」というような、単発的な音声信号を条件一致区間検出部３によって検出するようにすることもできる。この場合には、単発的な音声信号を検出した時点の所定時間前の時点を条件一致区間の開始点として検出し、該単発的な音声信号を検出した時点の所定時間後の時点を条件一致区間の終了点として検出するように構成する。また、外部センサからの単発的なトリガ信号を条件一致区間検出部３によって検出する場合にも、同様に構成すればよい。
この他にも、条件一致区間検出部３が検出する事象は、音声信号の中の予め登録されたキーワードの出現、音声信号の中の予め登録された音声パターンの出現、音声信号の中の予め登録された文字列の出現、画像信号の中の状態変化、外部センサが検知した状態の変化、カメラワークまたはカメラワークの変化などであってもよい。
例えば、笑い声のパターン、拍手のパターンなどの特徴的な音声パターンを登録しておき、入力音声信号からこれらのパターンを認識し、これらのパターンを含む区間を条件一致区間として検出するように構成することもできる。この場合には、条件一致区間検出部３には、公知のパターン認識技術、例えば、音声信号のパワーまたは周波数成分の時間的遷移を解析する技術などを用いて、パターン認識を行なうパターン認識手段が設けられる。
すなわち、入力される時系列情報（例えば、音声情報または画像情報）の変化、または入力される時系列情報が存在する間に外部センサが検知した信号の変化を検出する装置も、いずれもこの発明でいう条件一致区間検出部３に相当する。その変化点を検出条件とする場合、終了点としては、その変化点から予め定めた一定時間とすることができる。
また、この実施の形態では、圧縮部１０は、画像情報および音声情報を間引き処理することによって圧縮する構成になっているが、画像情報の圧縮時に、記憶時間、フレーム内圧縮の圧縮率、フレーム間圧縮の圧縮率、間欠記録の時間間隔、色情報間引き率、輝度情報間引き率等の少なくとも一つを動的に変更する装置であればよい。特に、動画像情報を圧縮する方法としては、フレーム内での圧縮法とフレーム間の圧縮法があり、フレーム内の圧縮法としてはベクトル量子化を用いた方法と離散コサイン変換を用いた方法などがある。フレーム間の圧縮法としては前後フレームの画像情報の差分のみを記録する方法などがある。すなわち、単位時間あたりの情報量をより少ない情報量に変換する装置は、いずれもこの発明でいう圧縮部１０に相当する。
また、音声情報の圧縮にあたっては、サンプリング周波数、符号化ビット数の少なくとも一つを動的に変更するように構成する手段を備えてもよい。
また、重要区間の情報と、重要区間以外の区間の情報とを、別々の蓄積媒体に分けて保存するようにしてもよい。例えば、情報の記録時は、重要区間の情報と重要区間以外の区間の情報とを同一の磁気ディスクに蓄積するようにし、情報の圧縮時に、重要区間の情報のみを前記磁気ディスクに残し、重要区間以外の区間の情報を光磁気ディスクや磁気テープに移動するように構成する。一般的に、光磁気ディスクや磁気テープは、磁気ディスクに比べて、情報へのアクセス速度は遅いが大量の情報を安価に蓄積することができるという特徴を有しているため、情報量の少なくなった重要区間以外の区間の情報を蓄積するために適している。
以上の例では、初期状態において表示部１４上に何も表示されている情報がない場合について説明したが、この発明の適用範囲はこの例に留まらず、例えば初期状態でいくらかのユーザ入力情報が既に表示されており、それに追加や変更を施す場合もこの発明の適用範囲に含まれる。ただしこの場合には、再生のために指定できるユーザ入力情報は、初期状態からの変位部分のみとなる。
また、この発明の装置の用途としては、記録していた音声情報または画像情報を再生する際に、ユーザ入力情報をも画面上に順次再現させてゆく使い方がある。表示部１４の表示を、再生指定部１３によって特定されたペン筆跡情報が入力された時点の表示に一旦戻し、音声または画像情報とペン筆跡情報とを同期させて再現するものである。表示画面をその時点の表示に戻す方法としては、表示画面のＵＮＤＯをその時点まで繰り返してもよいし、画面を一旦消去した後、対応関係記憶部９に記憶されているユーザ入力情報をその時点まで高速に順次描画してもよい。
さらに、以上の説明では、音声情報または画像情報が時系列情報記憶部４に記録されてからの経過時間（すなわち情報保存時間）が、所定の時間以上になった場合に圧縮処理を開始するようにしたが、この方法の代わりに、時系列情報記憶部４における空き領域がある値以下になったと認識されたタイミング、または、時系列情報記憶部４における記憶量がある値以上になったと認識されたタイミングで、前記圧縮処理を開始するようにしてもよい。この場合には、情報蓄積装置は記憶量検出手段を備えており、この記憶量検出手段は、情報が予め登録した記憶容量を超えて記録されたことを検出した場合に、前記対応関係記憶部９に対し圧縮処理開始指示を出力する。この圧縮処理開始指示の後の動作については、前述の各実施の形態と同様に行うことができる。
また、第１の実施の形態では、共用電子ホワイトボード装置が、ユーザ入力情報のヘッダに、共用ホワイトボード装置判別情報を付加する例について説明したが、ユーザ入力装置の入力平面の傾きを検出して、ユーザ入力面がほぼ垂直である場合に共用電子ホワイトボードであると判別したり、装置が机の上または手の上に置かれていることをセンサーによって検出した場合に個人用電子ノート装置であると判別してもよい。この場合には、同一の装置であっても、その装置を個人用ノート装置として利用しているか共用電子ホワイトボード装置として利用しているかを判別することができる。さらに、情報を入力した装置を特定する方法としては、これら以外の公知の方法を利用することができる。
［情報蓄積装置の第２の実施の形態］
第１の実施の形態では、順次入力される画像情報または音声情報のすべてを一旦時系列情報記憶部４に記録しておき、その記録時点から所定の時間が経過したときに、記録した会議映像の中の重要部分の映像だけを残し、その他の部分は消去するという、圧縮処理を施す例について説明した。第２の実施の形態では、時系列情報の記録時に、入力される会議映像の中の重要部分の映像だけを選択して、時系列情報記憶部４に記録する場合について説明する。
図２３は、この第２の実施の形態の情報蓄積装置を、その機能を中心にして示したブロック図である。図１のブロック図に対して、時刻情報記憶部１１を取り除き、一時記憶部１６を付加した構成になっている。そして、この第２の実施の形態では、重要区間決定部８は、一時記憶部１６内に設けられる。この場合も、各部はそれぞれ別のブロックとして構成されていてもよいし、１つのブロックが幾つかの部を含むように構成されていてもよい。また、１つの部が、幾つかのブロックに分割されて実装されていても構わない。
一時記憶部１６の記憶装置は、例えば半導体メモリや磁気ディスク等で構成され、この第２の実施の形態では、音声情報および画像情報を、時系列情報記憶部４に記憶するに先立ち、一時記憶すると共に、条件一致区間検出部３により検出される条件一致区間の情報を、入力画像情報または入力音声情報と対応付けて、一時記憶するものである。
第２の実施の形態は、第１の実施の形態と同様に、会議参加者がメモをとった時点は、会議の重要場面であるとし、この重要場面をとらえて、会議参加者がメモをとった時点の周辺のみを保存し、それ以外の部分を消去することで、会議映像および会議音声を保存するための情報量を大幅に少なくする場合である。
また、第１の実施の形態と同様に、情報蓄積再生装置２０が内蔵するコンピュータと、各個人が手元に所持する小型コンピュータ３０とが無線ネットワークで接続されており、複数の小型コンピュータ３０から入力されたユーザ入力情報とユーザ入力装置情報とは、情報蓄積再生装置が内蔵するコンピュータに伝送されるようになっている。
第１の実施の形態と同様に、条件一致区間検出部３は、音声情報入力部１から所定レベル以上の音声信号入力が有り、かつ、この入力音声信号から話者の交替を検出したことを条件として条件一致区間を検出する。また、第１の実施の形態と同様に、ユーザ入力装置特定部７は、共用電子ホワイトボード装置２０（電子会議装置）上に筆記された場合と個人用電子ノート装置３０（小型コンピュータ）上に筆記された場合とを区別して、その区別を示すためのユーザ入力装置情報を出力する。
圧縮部１０は、この第２の実施の形態においては、後述する一時記憶部１６に蓄積された音声情報および画像情報のデータ間引き処理を行なう。この場合、圧縮部１０は、ユーザ入力情報が入力されたタイミングと条件一致区間情報とユーザ入力装置情報とによって重要区間決定部８において特定される重要区間の情報に基づいて、重要区間以外の区間の音声情報および画像情報を選択し、選択した音声情報および画像情報のみを時系列情報記憶部４に記憶する。
次に、この第２の実施の形態の情報蓄積再生装置における記録時の動作について説明する。
図２４は、この実施の形態における記録時の動作を、その際の各種情報の流れ、および、各部の出力の流れと共に説明する図である。この図２４に示すように、一時記憶部１６には、音声情報および画像情報が順次に記憶されると共に、ユーザ入力情報の検出時点（ペン筆跡入力時点）の情報と、ユーザ入力装置特定部７からのユーザ入力装置情報と、条件一致区間検出部３からの条件一致区間情報が供給される。
この場合、一時記憶部１６のメモリ部は、図２５に示すように、リングバッファ形式に構成され、順次入力される画像情報と条件一致区間検出部２６の検出結果である話者交替時点を示す情報とを、書き込みアドレスを制御することによりリング状に取り込み続けながら、古い情報を新しい情報によって上書きしていく仕組みになっている。
なお、この種の記録方法としては他にも、待ち行列方式、ＦＩＦＯ方式等の公知の方法が適用できる。また、図２５の例の場合のリングバッファのメモリ（メ単位モリセル）数は１６個であるが、もちろんメモリ数に制限はなく、１個のメモリの中に収容できるデータ記憶容量にも制限はない。一時記憶部１６のリングバッファは、この実施の形態の場合は、少なくとも３８０秒間以上の入力音声情報および入力画像情報を記憶できるメモリである。
図２５において、最古データアドレスＦ２００は、一時記憶部１６に記憶されている画像情報または音声情報の中で最も古い情報が格納されているメモリを指すポインタであり、最新データアドレスＦ２０１は、一時記憶部１６に最も新しく入力された画像情報または音声情報を格納しているメモリを指すポインタである。
また、話者発言開始点Ｆ２０２およびＦ２０４と話者発言終了点Ｆ２０３は、条件一致区間検出部３の検出結果を一時記憶部１６に記憶したものである。これらの話者交替タイミングを示す情報は、この例のように、リングバッファのメモリ中に格納されてもよいし、別のメモリを用意してその中に格納するようにしてもよい。
そして、後述の図２６および図２７のフローチャートにおける動作に示すように、一時記憶部１６の重要区間決定部８で、ユーザ入力情報検出時点とユーザ入力装置情報と条件一致区間情報とにより重要区間が決定されると、この実施の形態では、その重要区間の情報が圧縮されずに時系列情報記憶部４に転送されて記憶される。
そして、このときに時系列情報記憶部４に記憶された重要区間の情報の、当該時系列情報記憶部４のアドレス情報（当該重要区間の先頭アドレスと最後尾のアドレス）が対応関係記憶部９に供給され、この対応関係記憶部９において、そのときのユーザ入力情報（ペン筆跡情報）と対応を付けて記憶される。なお、このとき、第１の実施の形態と同様に、ユーザ入力装置情報も対応関係記憶部９に対応付けて記憶するようにすることもできる。
図２６および図２７は、一時記憶部１６の動作を説明するフローチャートである。
まず、ステップＳ７００において、フラグが「０」にリセットされる。次に、単位時間あたりに入力された音声情報および画像情報は、ステップＳ７０１で受け入れられ、ステップＳ７０２でユーザ入力情報検出部６からのユーザ入力情報の検出出力の入力があるか否か判別する。
ステップＳ７０２で、ユーザ入力情報が検出されたときには、ステップＳ７０７に進んで、フラグを「１」にセットし、ステップＳ７０３に進む。このとき、ユーザ入力情報が共用電子ホワイトボード装置から入力されたか、個人用電子ノート装置から入力されたかを、図示しないバッファメモリに記憶する。
ユーザ入力情報が検出されないときには、フラグは「０」のままステップＳ７０３に進む。そして、ステップＳ７０３で、リングバッファにおいて、最新データが最古データを上書きしないと判別したときには、ステップＳ７０４に進んで、入力画像列が一時記憶部１６の最新データアドレスの指すメモリ部に記憶される。
また、ステップＳ７０４からステップＳ７０５に進み、条件一致区間検出部３から発言開始点または発言終了点を示す情報の入力があるか否か判別し、発言開始点または発言終了点を示す情報の入力がなかった場合には、ステップＳ７０５からステップＳ７０６に進んで、記憶したデータ量に応じて最新データアドレスを進める。
また、ステップＳ７０５で、発言開始点または発言終了点を示す情報の入力があったと判別された場合には、ステップＳ７０５から、ステップＳ７１０に進み、条件一致区間検出部３からの情報が発言開始点か、あるいは発言終了点かの種類を判別する。
そして、発言開始点であれば、ステップＳ７１１に進み、発言開始点マークを最新データアドレスの指し示すメモリ位置に記録し、その後、ステップＳ７０６に進んで、記憶したデータ量に応じて最新データアドレスを進める。
また、ステップＳ７１０の判別の結果、音声レベルが所定レベル以下に変化する発言終了点であれば、ステップＳ７１２に進んで、発言終了点マークを最新データアドレスの指し示すメモリ位置に記録する。このステップＳ７１２の後、ステップＳ７１３に進み、フラグが「１」にセットされているか否か判別し、「１」にセットされていなければ、ステップＳ７０６に進み、前述のように、記憶したデータ量に応じて最新データアドレスを進める。その後、ステップＳ７０６からステップＳ７０１に戻る。
また、ステップＳＳ７１３での判別の結果、フラグが「１」にセットされているときにはステップＳ７１４に進んで、ステップＳ７０２において検出されたユーザ入力情報が、共用電子ホワイトボード装置から入力されたものか、個人用電子ノート装置から入力されたものかが判別される。
ステップＳ７１４において、共用電子ホワイトボード装置からの入力であると判別された場合には、ステップＳ７１５で、ユーザ入力情報入力時点から１８０秒間経過したかどうかを判別し、７０秒間経過したと認識された場合にはステップＳ７１６に進む。そして、ステップＳ７１６で、ユーザ入力情報入力時点から１３０秒間遡った時点に最も近い発言開始点から、２００（＝７０＋１３０）秒間分の音声情報および画像情報を時系列情報記憶部４に出力する。その後、ステップＳ７１９に進む。この間引き圧縮処理は圧縮部１０が行なう。
一方、ステップＳ７１４において、個人用電子ノート装置からの入力であると判別された場合には、ステップＳ７１７で、ユーザ入力情報入力時点から１８０秒間経過したかどうかを判別し、１８０秒間経過したと認識された場合にはステップＳ７１８に進む。そして、ステップＳ７１８で、ユーザ入力情報入力時点から２００秒間遡った時点に最も近い発言開始点から、３８０（＝１８０＋２００）秒間分の音声情報および画像情報を時系列情報記憶部４に出力する。その後、ステップＳ７１９に進む。この間引き圧縮処理は圧縮部１０が行なう。
ステップＳ７１９では、最古データアドレスを最新データアドレスまで進める。
そして、ステップＳ７２０に進んで、フラグを「０」に戻し、ステップＳ７０１に戻る。
なお、ステップＳ７１５において、ユーザ入力情報入力時点から７０秒間経過していないと判定された場合、または、ステップＳ７１７において、ユーザ入力情報入力時点から１８０秒間経過していないと判定された場合は、ステップＳ７０１に戻って、新しい音声／画像情報を入力する。
ステップＳ７０２で、ユーザ入力情報検出部６によってペン筆跡情報の入力が検出されないままに、ステップＳ７０３で、一時記憶部１６から消去されるタイミング（最新データが最古データを上書きするタイミング）がめぐってきた場合には、ステップＳ７０８で、予め定めた一定量の音声情報および画像情報が消去される。一時記憶部１６では、その後、ステップＳ７０９において、最古データアドレスを、消去したデータ量分だけ進める。その後、ステップＳ７０４に進み、前述したような処理を繰り返す。
以上の説明から分かるように、ユーザ入力情報検出部６によってペン筆跡情報が入力されたことが検出されると、図２６のステップＳ７０７によってフラグが「１」にセットされる。しかし、情報間引き圧縮処理はこの時点ではまだ開始されない。圧縮処理が開始されるのは、ステップＳ７１０によって条件一致区間検出部３で発言終了点が検出され、かつ、ステップＳ７１５またはステップＳ７１７において、ユーザ入力時点から所定の時間（７０秒または１８０秒間）が経過したと認識された時である。
なお、以上の説明では、ユーザ入力情報が検出された時点から、重要区間として特定される最後の時点になってから、一時記憶部１６のリングバッファから、時系列情報記憶部４に音声情報および画像情報を転送するようにしたので、リングバッファは、少なくとも３８０秒分の時系列情報を記憶できるメモリとしたが、ユーザ入力情報を検知したときに、それが重要区間内であると検知したときに、重要区間の先頭時点に相当する時点にさかのぼって時系列情報記憶部に時系列情報を転送を開始する方式であれば、リングバッファは、少なくとも２００秒分の時系列情報を記憶できる容量を有すればよい。
また、以上の第２の実施の形態の説明では、一時記憶部１６が重要区間決定部８を備えるように構成したが、この第２の実施の形態においても、対応関係記憶部９が重要区間決定部８を備えるようにし、この対応関係記憶部９の重要区間決定部８から重要区間の情報を一時記憶部１６に与えることにより、上述と同様の動作を行わせるようにすることもできる。
また、以上説明した第１の実施の形態から第２の実施の形態では、ユーザ入力情報が検出されたときの入力状況としては、ユーザ入力がなされたユーザ入力装置が共用入力装置か、個人用入力装置かを想定して、そのいずれであるかを重要区間の決定に反映させるようにしたが、これに限られるものではない。
例えば、ユーザ入力装置の違いを特定する場合であっても、個人用入力装置の使用者により、重要区間を変える必要がある場合もある。例えば、書記の役割の会議出席者がメモする場合と、他の一般の会議出席者がメモする場合とでは状況が異なるので、個人用であっても、書記と一般会議出席者とで重要区間のタイミングおよび長さを変えるようにしてもよい。また、会議出席者の個人個人の判断力や、考えを纏める早さの違いなどを考慮して、個人用の入力装置のそれぞれを特定するようにすると共に、それぞれの会議出席者の能力にあった重要区間を決定するようにしてもよい。後者の場合には、重要区間を決定するに当たって、ユーザ入力時点に対してさかのぼる時間および後の時間を、各会議出席者のそれぞれについて設定しておくとよい。
また、入力状況としては、ユーザ入力装置の特定に限られるものではない。例えば、ユーザ入力状況特定手段として、ユーザ入力情報の入力時点において会議出席者の間で笑いが発生した、拍手が沸き起こった、などの入力状況を特定する手段を設け、その特定した状況を、重要区間の決定要因に含めるようにしてもよい。
また、上述の実施の形態では、圧縮方法として、重要区間以外は消去するようにしたが、重要区間の時系列情報は圧縮せずに記憶すると共に、重要区間以外の時系列情報は所定の圧縮をおこなって記憶するようにしてもよい。また、重要区間の時系列情報は高品質を保つ圧縮をして記憶すると共に、重要区間以外の時系列情報は、より圧縮率の大きい圧縮方法で圧縮して記憶するようにしてもよい。
以上説明した、情報蓄積装置の第１の実施の形態から第２の実施の形態は、各実施の形態の説明中に明記したほかにも、適宜組み合わせて実施することが可能である。
以上説明した情報蓄積装置の実施の形態からは、次に示すような効果が得られる。
（１）ペン筆跡などのユーザ入力情報が入力されたタイミングと、どの装置からそのユーザ入力情報が入力されたかを判別した情報とによって定められる区間情報に基づいて、圧縮率または間欠記録の時間間隔を変更して時系列情報記憶部に記憶された音声情報または画像情報を圧縮するように構成したことにより、音声情報または画像情報のうちの、重要部分のみを限られた蓄積媒体の中に数多く保存でき、かつ、重要部分以外の音声情報または画像情報であっても少ないデータ量で長時間保存できる効果がある。
（２）また、対応関係記憶部を備え、ユーザ入力情報によって定められる区間を示す区間情報と、当該区間情報に対応する音声情報または画像情報の時系列情報記憶部における記憶位置との対応関係を記憶するように構成したことにより、情報圧縮時において、ユーザ入力情報によって定められる区間と、当該区間に対応する音声情報または画像情報の時系列情報記憶部における記憶位置とを対応付けする処理が不要となり、音声情報または画像情報を圧縮する際のシステムの負荷を軽減できる効果がある。
（３）また、ユーザ入力情報検出部がユーザから入力されるユーザ入力情報を検出し、このユーザ入力情報を検出したタイミングに基づいて、圧縮率または間欠記録の時間間隔を動的に変更して時系列情報記憶部に記憶された音声情報または画像情報を圧縮するように構成したことにより、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分のみを高品質で保存でき、かつ、重要部分以外の音声情報または画像情報であっても少ないデータ量で長時間保存できる効果がある。
（４）また、ユーザ入力情報検出部がユーザから入力されるユーザ入力情報を検出し、このユーザ入力情報を検出したタイミングに基づいて、時系列情報記憶部に記憶された音声情報または画像情報のうち、重要区間以外の区間の音声情報または画像情報を削除するように構成したことにより、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分のみを保存できる効果がある。
（５）また、条件一致区間検出部を備え、条件一致区間検出部によって情報入力手段からの音声情報または画像情報が予め設定された所定の条件に合致する条件一致区間を検出するようし、ユーザ入力情報を検出したタイミングとユーザ入力装置情報とこの条件一致区間とによって定められる区間と、他の区間とで、圧縮率または圧縮方式を変更して、時系列情報記憶部に記憶された音声情報または画像情報を圧縮するように構成したことにより、音声情報または画像情報のうちの、重要部分の最初から最後までを確実に高品質で保存できる効果がある。
（６）また、対応関係記憶部を備え、対応関係記憶部によって、ユーザ入力情報検出部で検出されたユーザ入力情報とユーザ入力装置情報と条件一致区間検出部で検出された条件一致区間とから定められる区間を示す区間情報と、当該区間情報に対応する音声情報または画像情報の時系列情報記憶部における記憶位置との対応を記憶するように構成したことにより、情報圧縮時において、ユーザ入力情報が検出されたタイミングと条件一致区間とによって定められる区間と、当該区間に対応する音声情報または画像情報の時系列情報記憶部における記憶位置とを対応付けする処理が不要となり、音声情報または画像情報を圧縮する際のシステムの負荷を軽減できる効果がある。
（７）また、条件一致区間検出部がセンサ情報に基づいて条件一致区間を検出し、この検出結果とユーザ入力情報検出部の検出結果とユーザ入力装置情報とに基づいて、圧縮率または間欠記録の時間間隔を動的に変更して時系列情報記憶部に記憶された音声情報または画像情報を圧縮するように構成した場合には、音声信号または画像信号の状態変化の検出が困難な事象が起きた場合や、入力される音声信号または画像信号に含まれない情報に状態変化が起きた場合にでも、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分のみを限られた蓄積媒体の中に数多く保存でき、かつ、重要部分以外の音声情報または画像情報であっても少ないデータ量で長時間保存できる効果がある。
（８）また、条件一致区間検出部がセンサ情報に基づいて条件一致区間を検出し、この検出結果とユーザ入力情報検出部の検出結果とユーザ入力装置情報とから定められる区間を示す区間情報を対応関係記憶部に記憶し、この区間情報に基づいて、圧縮率または間欠記録の時間間隔を動的に変更して時系列情報記憶部に記憶された音声情報または画像情報を圧縮するように構成した場合には、音声信号または画像信号の状態変化の検出が困難な事象が起きた場合や、入力される音声信号または画像信号に含まれない情報に状態変化が起きた場合にでも、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分のみを限られた蓄積媒体の中に数多く保存でき、さらに、音声情報または画像情報を圧縮する際のシステムの負荷を軽減できる効果がある。
（９）また、一時記憶部を備え、ペン筆跡などのユーザ入力情報が入力されたタイミングと、どの装置からそのユーザ入力情報が入力されたかを判別した情報と、音声情報または画像情報が予め設定された所定の条件に合致する条件一致区間を検出した条件一致区間情報とによって定められる区間情報に基づいて、一時記憶部に記憶された音声情報または画像情報を選択的に時系列情報記憶部に出力するように構成したことにより、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分のみを限られた蓄積媒体の中に数多く保存でき、さらに、音声情報または画像情報を圧縮する際のシステムの負荷を軽減できる効果がある。
（１０）また、条件一致区間検出部がセンサ情報に基づいて条件一致区間を検出し、この検出結果とペン筆跡などのユーザ入力情報が入力されたタイミングと、どの装置からそのユーザ入力情報が入力されたかを判別した情報とに基づいて、一時記憶部に記憶された音声情報または画像情報を選択的に時系列情報記憶部に出力するように構成したことにより、音声信号または画像信号の状態変化の検出が困難な事象が起きた場合や、入力される音声信号または画像信号に含まれない情報に状態変化が起きた場合にでも、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分のみを限られた蓄積媒体の中に数多く保存でき、さらに、音声情報または画像情報を圧縮する際のシステムの負荷を軽減できる効果がある。
（１１）また、ユーザ入力情報検出部がユーザ入力情報を検出する以前に入力された音声情報または画像情報を一時記憶部によって一時記憶するように構成したことにより、ユーザ入力があったタイミング以前に入力された音声情報または画像情報であっても、重要部分のみを限られた蓄積媒体の中に数多く記憶でき、かつ、重要部分以外の音声または画像信号であっても少ないデータ量で長時間記憶できる効果がある。
（１２）また、ユーザ入力情報検出部がユーザ入力情報を検出したタイミングと、条件一致区間検出部が検出した条件一致区間情報とに基づいて圧縮率または間欠記録の時間間隔を動的に変更して、時系列情報記憶部または一時記憶部に記憶された音声情報または画像情報を圧縮するように構成したことにより、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分の最初から最後までを高品質で保存でき、かつ、重要部分以外の音声情報または画像情報であっても少ないデータ量で長時間保存できる効果がある。
（１３）また、ユーザ入力情報検出部がユーザ入力情報を検出したタイミングと、条件一致区間検出部が検出した条件一致区間情報とに基づいて、時系列情報記憶部に記憶された音声情報または画像情報のうち、重要区間以外の区間の音声情報または画像情報を削除するように構成したことにより、音声情報または画像情報のうちの、特徴的な事象が起こっている重要部分のみを保存できる効果がある。
（１４）また、任意のタイミングで記録者が入力したペンやキーボードによるユーザ入力情報を表示する表示部と、表示部に表示されたユーザ入力情報のうち１つを指定する指定部と、時系列情報記憶部に記憶された音声情報または画像情報のうち、前記指定部によって指定されたユーザ入力情報に対応して記憶されている部分の音声情報または画像情報を再生する再生部とを備えるように構成した場合には、記録者がメモをとるようにペンやキーボードで入力を行なうとともに音声または画像信号を記録しておけば、後で、入力されたメモを参照することにより音声または画像信号の再生したい箇所を容易に選択して再生することができる効果がある。
（１５）また、ユーザ入力情報を表示する表示部と、表示部に表示されたユーザ入力情報のうち１つを指定する指定部と、この指定部によって指定されたユーザ入力情報に対応して記憶されている部分の音声情報または画像情報を再生する再生部と、条件一致区間検出部とを備えるように構成した場合には、指定されたユーザ入力情報に対応した音声情報または画像情報の、重要部分の最初から最後までを確実に再生できる効果がある。
（１６）また、音声情報または画像情報が時系列情報記憶部に記録されてからの経過時間（すなわち情報保存時間）が、所定の時間以上になった場合に圧縮処理を開始するように構成した場合には、参照する可能性の大きい最近の音声または画像情報を、高音質／高画質で保存でき、かつ、昔に記録された音声または画像情報であっても少ないデータ量で記憶できる効果がある。また、音声情報または画像情報が時系列情報記憶部に記録されてからの経過時間（すなわち情報保存時間）に応じて段階的に圧縮を施すように構成した場合には、後から参照される可能性がより低くなった場合に、より少ない情報量で蓄積できるので、より効果的に蓄積媒体を節約できる効果がある。
（１７）また、時系列情報記憶部における空き領域がある値以下になったと認識されたタイミング、または、時系列情報記憶部における記憶量がある値以上になったと認識されたタイミングで圧縮処理を開始するように構成した場合には、新たに入力される音声または画像情報が時系列情報記憶部の記憶容量を超えて入力される場合にでも、入力を継続できる効果がある。
（１８）また、音声の特定の発信者または発信者の交替を、入力される音声情報または画像情報から条件一致区間検出部によって検出するように構成した場合には、特定の発信者の音声または画像情報を、最初から最後まで高音質／高画質で保存でき、かつ、その他の発信者の音声情報または画像情報であっても少ないデータ量で保存でき、発信者が交替した時点にまでさかのぼって再生を開始できる効果がある。
（１９）また、音声の特定の発信者または発信者の交替を、センサ情報に基づいて検出するように構成した場合には、音声信号または画像信号の状態変化の検出が困難な事象が起きた場合や、入力される音声信号または画像信号に含まれない情報に状態変化が起きた場合にでも、特定の発信者の音声または画像情報を、最初から最後まで高音質／高画質で保存でき、かつ、その他の発信者の音声情報または画像情報であっても少ないデータ量で保存でき、発信者が交替した時点にまでさかのぼって再生を開始できる効果がある。
（２０）また、ユーザ入力装置特定部により、複数人が共用で用いる共用電子ホワイトボード装置と、各個人が私的に用いる個人用電子ノート装置とを検出するように構成した場合には、比較的離れている個人用電子ノート装置上のメモ筆記時点と関連情報が発言されている時点との間隔と、近接している共用電子ホワイトボード上のメモ筆記時点と関連情報が発言されている時点との間隔とのそれぞれに対応した重要区間の特定ができるので、重要区間の音声または画像情報を、最初から最後まで高音質／高画質で保存でき、かつ、その他の発信者の音声情報または画像情報であっても少ないデータ量で保存でき、重要区間の最初にまでさかのぼって再生を開始できる効果がある。
（２１）また、ユーザ入力装置特定部が、ユーザ入力装置の設置場所または設置状態を検出してユーザ入力装置を特定するように構成した場合には、同一の装置であっても、その装置を個人用ノート装置として利用しているか共用電子ホワイトボード装置として利用しているかを判別することができ、その装置の用途に応じた重要区間の特定ができる効果がある。
（２２）また、ユーザ入力装置特定部が、ユーザ入力装置が少なくとも机の上、手の上、壁の上、棚の上に置かれていることを検出する、または、ユーザ入力装置の入力平面の傾きを検出して、共用電子ホワイトボード装置と個人用電子ノート装置とを判別するように構成した場合には、同一の装置であっても、容易に、その装置を個人用ノート装置として利用しているか共用電子ホワイトボード装置として利用しているかを判別することができ、その装置の用途に応じた重要区間の特定ができる効果がある。
（２３）また、ユーザ入力の状況を検出するユーザ入力状況検出部と、このユーザ入力状況検出部により検出された状況に応じて時系列情報入力部より入力された時系列情報の区間または時刻を特定しその特定結果を出力する対象区間特定部とを備えるように構成した場合には、ユーザ入力の状況に応じて、時系列情報に対する入力処理、圧縮処理、蓄積処理、検索処理、表示処理、出力処理の区間を特定することができ、手元で書き込みが行なわれた、ホワイトボードに書き込みが行なわれた、などのユーザ入力状況に応じた処理を時系列情報の特定の区間に対して施すことができる効果がある。
（２４）また、音声情報または画像情報を入力するための時系列情報入力部と、この時系列情報入力部により検出された検出結果に応じて時系列情報の区間または時刻を特定しその特定結果を出力する対象区間特定部とを備えるように構成した場合には、時系列情報の状況に応じて、時系列情報に対する入力処理、圧縮処理、蓄積処理、検索処理、表示処理、出力処理の区間を特定することができ、笑いが起こった、拍手が起こった、議論が活発に行なわれた、長い発言があった、などの時系列情報の入力状況に応じた処理を時系列情報の特定の区間に対して施すことができる効果がある。
［情報蓄積再生装置の実施の形態］
以下に説明する情報蓄積再生装置の実施の形態においては、ユーザ入力が行われたときの入力状況に応じて適切に音声情報や画像情報の再生を行うことを可能とする装置の実現を狙いとしている。この実施の形態では、ユーザ入力情報が他者に伝達する目的で行われたもの（状況１）か、他者から伝達された情報を記録する目的で行われたもの（状況２）か、という二つの状況を区別することによってそれを実現しようとしている。
すなわち、会議のような状況を考えると、状況１では、ユーザ入力が行われたあとで、そのユーザ入力に関する説明が行われることが多いことに対し、状況２では、ユーザ入力の前にそのユーザ入力に関する情報が発言されるという、人間の行動特性の状況依存性に、この実施の形態では、着眼している。状況１は、この実施の形態では、いわゆるプレゼンテーションを行っている状況を想定し、状況２は、このプレゼンテーションによる講演や説明を、メモにとるような状況を想定する。
この実施の形態の情報蓄積再生装置におけるシステム構成の概要は、前述の図２に示したような電子会議システムの場合と、ほぼ同様である。しかし、この実施の形態では、複数の会議参加者の一人が所定のテーマについてのプレゼンテーションを行い、他の会議参加者は、その講演や説明のメモを取るようにする形態である。
この実施の形態の場合には、各会議参加者は、在席にて、プレゼンテーターになったり、そのプレゼンテーションを聴取する者になったりすることができるシステム構成である。各会議参加者は、図２の場合と同様に、共用電子黒板４１にそれぞれ接続される個人用のパーソナルコンピュータ３０を備えるが、この実施の形態の場合のパーソナルコンピュータ３０のそれぞれは、共用モードで使用するか、個人モードで使用するかを設定することができる機能を備えている。
共用モードに設定したときには、そのパーソナルコンピュータの表示画面の内容が共用電子黒板４１に表示され、ユーザが自分のパーソナルコンピュータ３０の表示画面を通じてユーザ入力情報の入力操作を行うと、それが、そのパーソナルコンピュータ３０の表示画面だけでなく、共用電子黒板４１にも反映され、プレゼンテーションができる。そこで、この共用モードをプレゼンテーションモードと称することとする。
個人モードに設定したときには、パーソナルコンピュータ３０の使用者は、プレゼンテーションを受ける参加者として、自分のパーソナルコンピュータ３０で、個人用のメモとしてのユーザ入力情報の入力が可能である。個人用のメモ入力情報は、当該パーソナルコンピュータの画面に表示されるだけで、共用電子黒板４１には、表示されない。
図２９は、パーソナルコンピュータ３０において、その使用者が、前記モードを設定する方法を説明するための図である。
図２９において、３０Ｄは、パーソナルコンピュータ３０の表示画面である。この表示画面３０Ｄには、状況設定用のボタンアイコン３１が表示されており、使用者がこの状況設定用ボタンアイコン３１を押下すると、状況設定メニューのポップアップウインドウ３２が開かれる。この実施の形態では、使用者は、この状況設定メニューにおいて、プレゼンテーションモードと、メモ・モードと、オートモードのいずれかを選択することができる。
プレゼンテーションモードは、自分の意見等を他の会議参加者が見ることが可能な共有書き込みエリアに書き込みを行いながら説明を行うときに選択される。メモ・モードは、他人の発言した情報に関してメモを取るモードである。メモ・モードは、個人用のメモを取る場合や、共有書き込みエリアに書記として他人の意見を書き取る場合に設定するモードである。どちらのモードに設定するかは、会議などの前に設定しても良いし、また、会議中にその状況の変化に応じて設定してもよい。
また、この実施の形態では、システムが自動的にその状況を認識するモードが、オートモードとして設定可能である。このオートモードは、後述するように、音声情報や画像情報の時系列情報から、自動的にユーザ入力情報の入力操作がなされたときの状況を特定するモードである。
図２９では、ユーザＢが自分のパーソナルコンピュータ３０をプレゼンテーションモードに設定して、当該自分のパーソナルコンピュータ３０の画面と同じ画面を電子共有黒板４１に表示させている。他のユーザＡ，Ｃ，Ｄは、メモ・モードにそれぞれ設定している場合である。
図３０は、この発明による情報蓄積再生装置の実施の形態を、その各処理機能部をブロック化して示した構成図である。
すなわち、この実施の形態の情報蓄積再生装置は、ユーザが情報を入力するためのユーザ入力部５１と、ユーザが入力した情報を制御するユーザ入力情報制御部５２と、ユーザが入力した情報およびその関連情報を記録するユーザ入力情報記録部５３と、ユーザが入力した情報その他を表示する表示部５４と、音声情報や映像情報などの時系列情報を入力する時系列情報入力部５５と、時系列情報を処理するための時系列情報処理部５６と、時系列情報を制御するための時系列情報制御部５７と、時系列情報を出力するための時系列情報出力部５８と、状況に応じて時系列情報の時間区間を出力する時系列情報特定区間決定部５９と、時系列情報からチャートを作成するチャート作成部６０と、時系列情報を記録する時系列情報記録部６１と、ユーザが情報を入力したときの状況を特定するための状況特定部６２と、ユーザが情報を入力したときのユーザ入力情報の座標情報を時間情報に変換する座標時間変換部６３とから構成される。
ユーザ入力情報入力手段は、ユーザ入力部５１に対応し、ユーザ入力情報検出部は、ユーザ入力情報制御部５２がその一部機能として備える。
図３０に示した、この実施の形態の情報蓄積再生装置は、図２８のパーソナルコンピュータ３０のそれぞれにより構成することができるものである。図３１に、１台のパーソナルコンピュータ３０を中心としたシステムの概観を示す。
すなわち、この実施の形態の情報蓄積再生装置においては、時系列情報としての画像情報は、ビデオカメラ４２から、各パーソナルコンピュータ３０に入力される。このため、各パーソナルコンピュータ３０には、ビデオ入力ボードが内蔵され、この内蔵のビデオ入力ボードにより画像情報がデジタル化され、パーソナルコンピュータ３０内に、処理できる形で取り込まれる。
また、音声情報は、各会議参加者であるユーザＡ〜Ｄのそれぞれに割り当てられている複数のマイクロホン４３のすべてからの音声情報が、それぞれ各パーソナルコンピュータ３０に、各参加者用のマイクロホンからの音声情報を識別可能な状態で、それに内蔵の音声入力ボードを通じて入力される。したがって、前述した時系列情報入力部５５は、これらビデオカメラ４２およびマイクロホン４３により構成される。
パーソナルコンピュータ３０のそれぞれは、電子ペンによるユーザ入力を可能とするインターフェースを備えており、会議中にメモ等ができるようになっている。このペン入力インターフェースは、ユーザ入力部５１の一つの構成要素である。ユーザ入力部５１は、キーボードあるいはマウスなどのポインティングデバイスを用いたユーザインターフェースによっても構成できる。
ユーザ入力情報記録部５３、時系列情報記録部６１の記録媒体は、具体的にはパーソナルコンピュータ３０に内蔵の半導体メモリやハードディスクを用いている。なお、ＭＯディスクやフロッピー（登録商標）ディスク等の記録媒体であってもよい。
表示部５３、時系列情報出力部５８は、パーソナルコンピュータ３０に接続されるディスプレイ３０Ｄおよびスピーカ３０ＳＰで実現している。
ユーザ入力情報制御部５２、時系列情報処理部５６、時系列情報制御部５７、時系列情報区間特定部５９、チャート作成部６０、状況特定部６２、座標時間変換部６３は、パーソナルコンピュータ３０に搭載されるソフトウェアで実現されている。
ユーザ入力情報制御部５２は、ユーザ入力部５１からのユーザ入力情報を受け取り、表示部５４に送り、表示画面に表示させる。そして、受け取ったユーザ入力情報に応じた処理を、情報記録時（情報蓄積時）あるいは情報再生時に応じて行う。
ユーザ入力情報制御部５２は、記録時には、後述するように、会議情報としての時系列情報の記録時に入力されたユーザ入力情報と、その入力開始時刻および終了時刻と、そのときの状況等を、ユーザ入力情報記録部５３に記録する。
また、ユーザ入力情報制御部５２は、再生時には、ユーザの指示に応じてユーザ入力情報記録部５３に記録されている情報を読み出し、表示部５４や時系列情報特定区間決定部５９に、その情報を伝達する。さらに、表示部５４の表示画面にチャートが表示されているときに、ユーザにより指示入力がなされたときには、その指示された座標情報を座標時間変換部６３に渡す。
表示部５４は、ユーザ入力情報制御部５２から渡されたユーザ入力情報を、その表示画面に表示する。また、時系列情報制御部５７を通じてチャート作成部６０で作成された後述するような発言チャートを、その表示画面に表示する。
ユーザは、後述するように、この表示部５４の表示画面に表示された複数のユーザ入力情報から、いずれかのユーザ入力情報を、対応する時系列情報の再生やチャートの作成指示のために選択することができる。また、このシステムでは、この表示部５４に表示された発言チャートにおいて、特定の再生箇所、すなわち、再生開始点あるいは再生区間を指示することにより、指定された再生箇所に対応する時系列情報の再生を行わせるようにすることができる。
時系列情報処理部５６は、時系列情報について予め定めた条件に一致する区間を検出する条件一致区間検出手段に相当するもので、この実施の形態においては、会議中の会議参加者の各ユーザＡ〜Ｄの発言区間を、条件一致区間として、時系列情報の記録時に検出する。
時系列情報制御部５７は、記録時には、時系列情報を時系列情報記録部６１に記録するように制御する。このときに、時系列情報処理部５６で検出した各ユーザ毎の発言区間も、時系列情報記録部６１に記録する。
また、時系列情報制御部５７は、再生時には、時系列情報特定区間決定部５９で決定された特定区間を、時系列情報記録部６１から読み出して、時系列情報出力部５８により再生出力するようにする。また、チャート作成部６０で作成されたチャートを表示部５４の表示画面に表示させるようにする。そして、チャート上で指示された座標位置に相当する時間位置から、時系列情報記録部６１に記録されている時系列情報を読み出して、時系列情報出力部５８により再生出力するようにする。
時系列情報区間特定部５９は、再生時に、ユーザ入力情報制御部５２からの命令を受けて動作するもので、後述するように、ユーザにより選択指示されたユーザ入力情報に対応する、画像情報や音声情報の会議情報の時系列情報の区間を特定する。そして、その特定した区間の時間情報を、ユーザ指示に応じて、時系列情報制御部５７あるいはチャート作成部６０に渡す。
チャート作成部６０は、再生時に、時系列情報特定区間決定部５９からの特定区間の情報を受け、当該特定区間のユーザＡ〜Ｄの発言区間の情報を、時系列情報記録部６１から取得し、図４１に示すような、特定区間についての発言チャートを作成する。作成した発言チャートは、時系列情報制御部５７を通じて表示分５４の表示画面に表示される。発言チャートについては後述する。
状況特定部６２は、時系列情報の記録時に、パーソナルコンピュータ３０において、ユーザ入力情報が検出されたときに、ユーザ入力情報制御部５２からの問い合わせに応答して、その時の状況、すなわち、パーソナルコンピュータ３０のモードがプレゼンテーションモードか、メモ・モードかを特定して、特定したモードの情報、すなわち、状況情報をユーザ入力情報制御部５２に返す。
プレゼンテーションモードあるいはメモ・モードに、ユーザにより設定されているときには、その設定状態をバッファに記憶させておき、そのバッファを参照することで、ユーザ入力情報制御部５２から問い合わせがあったときに、いずれのモードになっているかを特定することができる。
しかし、それでは、オートモードのときが問題になる。そこで、この実施の形態では、自己のパーソナルコンピュータの画面情報が共有画面情報になっているか否かにより、プレゼンテーションモードか、メモ・モードかを特定するようにする。なお、後述するように、入力者の行動から特定する方法もある。
座標時間変換部６３は、表示部５４の画面に発言チャートが表示されているときに、特定の発言区間がユーザにより指示された場合に、その指示座標から、時系列情報の再生時間位置を生成するためのものである。
以上の構成のこの実施の形態の情報蓄積再生装置においては、会議参加者の発言の音声情報や会議の様子の映像の画像情報などの時系列情報と、会議中にユーザから入力される情報を併せて記録しておき、記録後に、ユーザが入力した情報に対応する時系列情報を適切に再生できるようにするものである。
［情報蓄積再生装置の実施の形態の記録時について］
まず、この実施の形態の情報蓄積再生装置の記録時の動作について、説明する。
ビデオカメラ４２からの画像情報およびマイクロホン４３からの音声情報の時系列情報は、時系列情報入力部５５において、デジタル信号に変換され、時系列情報処理部５６に入力される。前述したように、この時系列情報処理部５６では、条件一致区間として、発言区間を検出する。この実施の形態においても、前述した実施の形態の同様に、各会議参加者にマイクロホン４３がそれぞれ割り当てられているので、いずれのマイクロホンからの入力音声情報であるかを検出することにより、誰の発言であるかを検出する。
各参加者の発言区間は、図３２のフローチャートおよび図３３の説明図に示すようにして検出される。この例では、あるマイクロホンからの音声情報が、予め設定されている或るレベル以上、かつ、或る時間だけ継続した場合には、そのマイクロホンを使用する会議参加者が発言しているとして検出する。
すなわち、図３３に示すように、マイクロホンから、あるレベルＬ１以上の音声信号が出力されると、ステップＳ８００へ進み、予め、発言開始を検出するために適切な単位時間長として定められた時間区間Δｔ１以上に渡って、前記レベルＬ１以上の音声信号レベルが持続するかを監視する。もし、持続しなければ、それは発言とはみなさず、発言区間の検知を終了する。もし、持続したと判別した場合、ステップＳ８０１へ進み、現在の時刻（Ｔ１）を検出し、Ｔ１−Δｔ１を発言開始時刻とする。
そして、ステップＳ８０２へ進み、音声の終了時刻を求めるために、音声が、ある時刻Ｔ２から、予め、発言終了を検出するために適切な単位時間長として定められた時間Δｔ２以上、あるレベルＬ２を下回ったか否かを監視する。そして、下回った場合、ステップＳ８０３へ進み、Ｔ２―Δｔ２を発言終了時刻として検出する。
なお、上述の例では、発言開始時刻の検出のためのレベルＬ１と、発言終了時刻の検出のためのレベルＬ２とは、Ｌ１＝Ｌ２としたが、レベルＬ１とレベルＬ２とは、必ずしも等しくなくともよい。
以上のようにして検知された会議参加者毎の発言区間に関する情報は、図３４に示すようなデータ構造にまとめられる。時系列情報処理部５６は、この発言区間の関する情報を、画像情報や音声情報の時系列情報と共に時系列情報制御部５７に送る。時系列情報制御部７は、会議開始から終了までのすべての画像情報および音声情報の時系列情報を時系列情報記録部６１に記録すると共に、前記の発言区間に関する情報を、時系列情報記録部６１に記録する。そして、時系列情報制御部５７は、記録中の画像情報および音声情報を時系列情報出力部５８に送り、それをモニターできるようにしている。
なお、時系列情報の記録開始時刻も、時系列情報記録部６１には記録される。再生時の各再生位置に対応する時刻を算出するためのである。
図３４に示すように、記録される発言区間に関する情報は、それぞれの発言区間を識別するための発言識別データ（発言ＩＤ）と、その発言者、発言開始時刻および発言終了時刻とからなる。発言者の情報としては、予め登録された会議参加者名が記録される。なお、発言者名と発言者識別データとの対応テーブルを別に用意して、発言者識別データを時系列情報記録部６１に記録するようにしてもよい。
この時系列情報の記録に伴ってユーザ入力がなされたときには、次のようにして、ユーザ入力情報記録部５３へ必要な情報の記録がなされる。
図３５は、ユーザ入力情報制御部５２の記録時の処理ルーチンを示すものである。すなわち、ペンタッチなどのユーザ入力が検知されると、ステップＳ９００に進み、ユーザ入力情報を表示部５４の表示画面に表示する。
そして、ステップＳ９０１に進み、ユーザ入力が行われたときに、当該ユーザ入力が行われたパーソナルコンピュータの画面に表示されていた画像情報（ウインドウ等として表示の静止画情報、これをワークシートと以下呼ぶこととする）を特定すると共に、ユーザ入力情報の抽出、ユーザ入力の開始時刻および終了時刻の取得、そのときの入力状況（プレゼンテーションモードか、メモ・モードか）の情報の状況特定部６２からの取得、を行う。
この場合に、状況の情報は、ユーザ入力情報制御部５２から状況特定部６２に問い合わせを行い、その結果、状況特定部６２から返って来るものである。ユーザ入力のブロックが切り出される度に、ユーザ入力情報制御部５２は、状況特定部６２に状況を問い合わせて状況情報を取得する。
次に、ステップＳ９０２に進み、ステップＳ９０１で特定したワークシートにＩＤ（識別番号などの識別データ、以下同じ）を付与すると共に、抽出したユーザ入力情報にＩＤを付与する。そして、ステップＳ９０３に進み、それらの情報、すなわち、座標値等からなるユーザ入力情報と、そのユーザ入力情報ＩＤと、ワークシートＩＤと、当該ユーザ入力情報の入力時刻および終了時刻、状況の情報を、ユーザ入力情報記録部５３に記録させるようにする。
図３６は、ステップＳ９０１の処理のうちの、ユーザ入力情報の入力開始時刻および入力終了時刻の検出処理ルーチンである。また、図３７は、このユーザ入力情報の入力開始および終了時刻の検出処理の説明のための図である。
すなわち、ペンタッチなどのユーザ入力が検知されると、ステップＳ１０００に進み、そのときの時刻を入力開始時刻（図３７のＴ１）とする。そして、ステップＳ１００１に進み、ユーザ入力情報が存在しないと検出するために予め設定された所定の時間Ｔｉ以上の間、ユーザ入力がないかどうか判別する。
ステップＳ１００１で、所定の時間Ｔｉの間にユーザ入力があるときには、ユーザ入力情報が継続していると判定する。そして、所定の時間Ｔｉの間にユーザ入力が存在しなくなったことを検出したときには、ユーザ入力情報が終了したと判定し、ステップＳ１００２に進んで、そのときの時刻からＴｉだけ引いた時刻をユーザ入力終了時刻（図３７のＴ２）とする。
図３７の説明図に示すように、ユーザ入力開始時刻Ｔ１からユーザ入力終了時刻Ｔ２までの間に行われたユーザ入力が、一つの入力単位（ブロック）とみなされる。ユーザ入力情報は、このブロック単位で取り扱われ、記録再生される。
図３８に、ユーザ入力情報記録部５３に記録されている情報の構造を示す。すなわち、入力ブロック毎にユーザ入力情報ＩＤが付与されている。座標値はペン入力された座標を表す。また、ワークシートＩＤは、ペン入力が行われたワークシートの番号を表す。ワークシートＩＤとワークシートとの対応は、別途管理されている。
入力開始時刻は、そのユーザ入力情報の入力が開始された時刻を表す。入力終了時刻は、そのユーザ入力情報の入力が終了した時刻を表す。リンク情報は、後述するが、あるユーザ入力情報に対して時系列情報のある特定の時刻が、ユーザによりリンク指示された場合の、その時系列情報の時間を表す。状況は、そのユーザ入力情報が入力された時の状況（プレゼンテーションモードか、メモ・モードか）を示す。
図３９は、状況特定部６２の処理ルーチンの例を示すものである。すなわち、まず、ステップＳ１１００において、ユーザ入力情報制御部５２からの問い合わせがあるか否か判別し、問い合わせがあると、次のステップＳ１１０１に進む。ステップＳ１１０１では、その時点で自己のパーソナルコンピュータの画面情報を共有電子黒板４１に表示させているか否かをチェックし、共有電子黒板４１に表示させていると判別したときには、ステップＳ１１０２に進み、状況情報として「プレゼンテーション」をユーザ入力情報制御部５２に返す。共有電子黒板４１に表示されてはいないと判別したときには、ステップＳ１１０３に進み、状況情報として「メモ」をユーザ入力情報制御部５２に返す。
状況特定部６２の状況特定動作としては、次のようにすることもできる。図４０は、状況特定動作の他の例の処理ルーチンを示すものである。
まず、ステップＳ１２００において、ユーザ入力情報制御部５２からの問い合わせがあるか否か判別し、問い合わせがあると、次のステップＳ１２０１に進む。ステップＳ１２０１では、入力時刻から所定時間Ｔの間における、入力者による発言の継続時間と、表示画面における指示操作回数とを検知する。そして、ステップＳ１２０２に進み、入力者による発言時間が、予め定めた所定時間Ｔｐ以上あり、かつ、表示画面における指示操作回数が所定時間Ｔの間に、予め定めた所定回数Ｎｐ以上あったかどうか判定する。
そして、ステップ１２０２において、入力時刻から所定時間Ｔの間、入力者による発言が、予め定めた所定時間Ｔｐ以上あり、かつ、表示画面における指示操作回数が所定時間Ｔの間に、予め定めた所定回数Ｎｐ以上あったと判定されたときには、ステップＳ１２０３に進み、状況情報として「プレゼンテーション」を、ユーザ入力情報制御部５２に返す。そうではないときには、ステップＳ１２０４に進み、状況情報として「メモ」を、ユーザ入力情報制御部５２に返す。
なお、上記の時間Ｔ、Ｔｐおよび回数Ｎｐの例を挙げると、時間Ｔ＝３０秒、時間Ｔｐ＝１０秒、回数Ｎｐ＝２回とすることができる。ただし、指示の検出方法は、ユーザ入力情報の入力ブロックを囲む最小の矩形を計算し、その矩形内の領域をペンで触れた場合に指示を行ったと判断するようにする。
［情報蓄積再生装置の再生時について］
以上のようにして記録された会議情報としての時系列情報のうちから、ユーザ入力情報記録部５３に記録されたユーザ入力情報に対応した特定区間の時系列情報を以下に説明するようにして特定して、再生したり、当該特定区間の発言チャートを表示することができる。
この実施の形態の情報蓄積再生装置における再生時においては、まず、ユーザ入力情報記録部５３に記録されている複数個のユーザ入力情報を表示部５４の画面に表示する。一画面にすべてのユーザ入力情報が表示できないときには、スクロール等を行って表示する。
ユーザは、この表示部５４に表示されたユーザ入力情報をインデックスとして、自分が特に再生したい会議記録部分の指定を行う。すなわち、ユーザは、メモなどのユーザ入力情報から、そのユーザ入力情報が自分が再生したい会議記録部分に対応するものであるかどうかを推定し、対応する会議記録部分を再生したいときには、そのユーザ入力情報を選択指示するものである。
この実施の形態の場合、選択指示されたユーザ入力情報に対応する時系列情報区間特定区間決定部によって定められた特定区間を用いて、自動再生するモードと、その特定区間の発言チャートを表示させるチャート表示モードとがある。ここで、自動再生するモードでは、時点Ｔｓから再生を開始するようにしているが、再生終了は、ユーザが指示する任意の箇所でできるようにしている。チャート表示モードにおいては、後述するように、発言チャート上において特定の発言区間をユーザが指示可能であり、指示した発言区間に対応する時系列情報が再生できる。
再生動作の説明の前に、発言チャートについて説明する。図４１は、表示部５４の画面に表示された発言チャートの一例を示すものである。この発言チャートは、発言者を識別するための発言者名を表示する発言者名領域７１と、発言の遷移の状態を視覚的に表示するための発言遷移表示領域７２とから構成される。発言遷移表示領域７２には、時系列情報特定区間決定部５９で決定された特定区間における発言構造が表示される。図４１において、Ｔｓは当該特定区間の開始時刻、Ｔｅは当該特定区間の終了時刻である。
発言遷移表示領域７２の発言者毎の右横の各欄には、各会議参加者（発言者）が会議中の前記特定区間内において、いつ、どのくらいの時間の発言を行ったのかが、矩形の発言区間バーＶＢの表示位置と長さにより示される。この発言遷移表示領域７２の全会議参加者の発言区間バーＶＢの遷移として表示される発言構造を読み取ることで、誰の発言から誰の発言へと遷移したのかという、前記特定区間における発言遷移構造を読みとることが可能となる。
図４１の発言遷移表示領域７２における三角印７３は、その特定区間内における発言チャート上のユーザ入力時点（入力開始時点）を示している。
次に、再生時の動作処理について説明する。上述したように、この再生時には、表示部５４の表示画面には、ユーザ入力情報記録部５３に記録されているユーザ入力情報が表示される。この表示画面において、ユーザが、いずれかのユーザ入力情報の選択指示を行うと、ユーザ入力情報制御部５２でそれが検知されて、再生開始となる。
図４２は、この再生時のユーザ入力情報制御部５２の処理ルーチンである。
まず、ステップＳ１３００において、ユーザ入力情報制御部５２は、表示部５４の画面に表示されているユーザ入力情報のいずれかの選択指示をユーザ入力部５１を通じて受けると、次のステップＳ１３０１に進む。この実施の形態では、表示されているユーザ入力情報を、例えば電子ペンにより囲い込むようにすることで、ユーザ入力情報の選択を行なうようにする。ユーザ入力情報制御部５２は、囲まれた領域を判定し、その領域内に存在するユーザ入力情報を、ユーザ入力情報記録部５３から探索する。
ステップ１３０１では、その選択指示されたユーザ入力情報の入力開始時刻および状況の情報をユーザ入力情報記録部５３から取得する。そして、次のステップＳ１３０２に進み、ユーザ入力が、時系列情報の自動再生のためのものか、後述するチャートの作成のためのものであるかの問い合わせのメッセージをユーザに対して表示する。
ユーザは、これに対して、自動再生か、チャートの作成かの選択入力を行うので、ステップＳ１３０３でこのユーザ選択入力を受け付ける。そして、次のステップＳ１３０４において、自動再生が選択されたか、チャート作成が選択されたかを判別する。
そして、自動再生が選択された場合には、ステップＳ１３０５に進み、時系列情報特定区間決定部５９に、指示されたユーザ入力情報の入力開始時刻の情報と、状況の情報と、自動再生命令とを送り、時系列情報制御部５７に、自動再生命令を送る。また、チャート作成が選択された場合には、ステップＳ１３０６に進み、時系列情報特定区間決定部５９に、指示されたユーザ入力情報の入力開始時刻の情報と、状況の情報と、チャート作成命令とを送り、時系列情報制御部５７に、チャート作成命令を送る。
以上の説明では、入力開始時刻のみを用いたが、入力終了時刻のみを用いることもできる。また、入力開始時刻と入力終了時刻の両方を用いてもよい。ただし、それらの用い方によって図４４および図４５の数値は異なるものとなる。
次に、時系列情報特定区間決定部５９の動作を、図４３のフローチャートを参照しながら説明する。
まず、ステップＳ１４００で、ユーザ入力情報制御部５２から入力時刻（実施例では入力開始時刻）、状況、命令を取得する。次に、ステップＳ１４０１に進み、ユーザ入力情報の入力時刻と、状況の情報とから、当該ユーザ入力情報に対応する時系列情報の特定区間を計算する。
この場合、特定区間は、ユーザ入力情報の入力時点に対する相対開始時間の情報と、相対終了時間の情報とにより、後述するように、決定される。そして、ユーザ入力情報の入力時刻の情報があるので、特定区間の絶対開始時刻Ｔｓと、絶対終了時刻Ｔｅとが決定される。
時系列情報特定区間決定部５９は、前記特定区間を決定するためのユーザ入力情報の入力時点に対する相対開始時間の情報および相対終了時間の情報を格納して有しており、これらの相対時間の情報を用いて、前記ユーザ入力情報に対応する時系列情報の特定区間を決定する。
次に、ステップＳ１４０２に進み、ステップＳ１４００で取得した命令が、自動再生命令か、チャート作成命令かを判別して、自動再生命令であれば、ステップＳ１４０３に進み、時系列情報制御部５７に、特定区間の情報（この例では、開始時刻Ｔｓ）と、ユーザ入力情報の入力時刻の情報を送る。また、チャート作成命令であれば、ステップＳ１４０４に進み、チャート作成部６０に、特定区間の情報（開始時刻Ｔｓと終了時刻Ｔｅ）と、ユーザ入力情報の入力時刻の情報を送る。以上で時系列情報特定区間決定部５９の処理ルーチンは終了となる。
次に、ステップＳ１４０１のユーザ入力情報に対応する時系列情報の特定区間の決定について、さらに詳細に説明する。
この場合、前述の実施の形態でも説明したように、プレゼンテーションモードのときと、メモ・モードのときとでは、ユーザ入力情報の入力時点に対応する区間として特定する時間区間は、異なる。
例えば、図４４は、ユーザ入力情報に対応する時系列情報の特定区間の開始時点の、ユーザ入力情報の入力時点に対する相対時間の確率を説明するための図である。図４４は、ある特定のユーザが、時系列情報を再生しながら、自分でユーザ入力情報に対応する特定区間を決定したときに、ユーザ入力情報の入力時点に対して相対的に異なる複数の５０秒区間の間に、ユーザ入力情報に対応する時系列情報の特定区間の開始時点と決定したことが、どれだけあったかの頻度を示すものである。
例えば、相対時間［−３００，−２５０）は、ユーザ入力情報の入力時点よりも３００秒前から２５０秒前までの区間を示しており、図４４の例では、この区間にメモ・モードでは１回、特定区間の開始時点が決定され、かつ、プレゼンテーションモードでは、０回、つまり、特定区間の開始時点が決定されなかったこと示している。ここで、相対時間の数値の前のマイナスは、ユーザ入力情報の入力時点よりも、以前の時間であることを意味している。
また、相対時間［−５０、０）は、ユーザ入力情報の入力時点よりも５０秒前から０秒前までの区間を示しており、図４４の例では、この区間にメモ・モードでは８回、特定区間の開始時点が決定され、かつ、プレゼンテーションモードでは、２０回、特定区間の開始時点が決定されたこと示している。
この図４４の頻度分布は、横軸をユーザ入力情報の入力時点に対する相対時間に取り、縦軸を頻度に取ると、例えば、メモ・モードでは、図４６に示すようになる。この実施の形態では、この頻度数の、例えば９０％が入るように、特定区間のユーザ入力情報の入力時点に対する相対的な開始時点、終了時点を決定する。すなわち、この例では、９０％の確率で、ユーザ入力情報に対する時系列情報の特定区間の開始時点が正しく決定されるように、時系列情報の特定区間の相対的開始時間、相対的終了時間を決定する。
このようにして決定される、ユーザ入力情報に対応する時系列情報の特定区間を決定するための、ユーザ入力情報の開始時点に対する相対時間の情報は、図４４の確率分布からも分かるように、メモ・モードとプレゼンテーションモードとの状況の違いに応じて異なる。
すなわち、図４７は、ユーザ入力情報に対応する時系列情報の特定区間の開始時点の、ユーザ入力情報の入力時点に対する相対時間の確率分布を、メモ・モードとプレゼンテーションモードとの両方について示したもので、メモ・モードの場合には、その相対開始時間はＴｓ（メモ）のようになり、また、プレゼンテーションモードの場合には、その相対開始時間はＴｓ（プレゼン）のようになり、異なるものである。
ユーザ入力情報に対する時系列情報の特定区間の相対終了時間も、同様にして、例えば９０％の確率で、ユーザ入力情報に対する時系列情報の特定区間の終了時点が正しく決定されるように定められる。
図４５は、以上のようにして、状況に応じて設定された、特定区間を決定するための相対開始時間および相対終了時間の例である。この例では、状況がメモ・モードのときは、ユーザ入力情報の開始時点よりも、２００秒前の時点から、ユーザ入力情報の開始時点よりも、３０秒後の時点までを、ユーザ入力情報に対応する時系列情報の特定区間をとして決定する。また、状況がプレゼンテーションモードのときには、ユーザ入力情報の開始時点よりも、５０秒前の時点から、ユーザ入力情報の開始時点よりも、２０秒後の時点までを、ユーザ入力情報に対応する時系列情報の特定区間をとして決定する。
この図４５の相対開始時間および相対終了時間の情報は、複数のユーザについて、前述のようにして定めた固定のデータを、すべてのパーソナルコンピュータ３０において用いることができる。
しかしながら、図４５の相対開始時間および相対終了時間の情報は、使用するユーザの癖などの性向によって、一般的に、異なるものである。
そこで、この実施の形態では、ユーザの性向によらずに、状況の違いのみに対応したユーザ入力情報の入力時点に対する相対時間の固定データを用いて、対応する時系列情報の特定区間を決定するモードと、過去のユーザの特定区間の決定の性向を考慮して、対応する時系列情報の特定区間を決定するモードとを備える。
後者のモードの場合には、予め記録された時系列情報を再生しながら、ユーザが、ユーザ入力情報に対応する特定区間の設定を行うようにする。この場合には、時系列情報区間特定部５９は、ユーザ入力情報制御部５２から、直前に時系列情報の特定区間を再生したユーザ入力情報の入力時刻と、入力状況、時系列情報の開始時刻を受け取り、該当する状況のモードの該当する相対時間の欄に頻度を記録するようにする。
そして、そのユーザによる設定により、図４４に示したものと、同様の頻度データを作成し、この頻度データに対してユーザにより設定された特定区間を決定する確率の値に基づいて、それぞれの状況に応じた相対開始時間および相対終了時間を決定するようにする。ユーザが設定する確率の値は、前述した９０％に限られず、ユーザが適宜の値に設定可能である。
後者のモードの場合には、新たに、ユーザにより、頻度データの生成が行われると、相対時間の情報は、更新される。このように、ユーザが相対時間を決定するための情報を追加できるようにすることにより、ユーザのメモの癖等、個人的な情報を時系列情報区間特定部５９での状況に応じた特定区間の決定に反映させることができる。
なお、この特定区間の頻度データの作成と共に、前述したリンク情報を、ユーザ入力情報に対応して、図３８に示すように設定して、ユーザ入力情報記録部５３に、ユーザが記録しておくようにすることができる。すなわち、ユーザが当該ユーザ入力情報と関連すると判断したときに、当該直前の再生箇所に関する情報を、ユーザ入力情報記録部５３のリンク情報として記録する。このようにすると、後で、再びその箇所を再生する際に、そのリンク情報に基づいて入力情報に対応する時系列情報をより正確に再生することが可能となる。
そのために、再生命令を、ユーザ入力情報制御部５２が時系列情報制御部５７に送信すると、ユーザ入力情報制御部５２は、再生のために選択したユーザ入力情報のＩＤをバッファに保持し、時系列情報制御部５７は、再生時間の情報をバッファに保持するようにしてある。
再生後にリンクをする場合に、ユーザ入力情報制御部５２は、直前の再生箇所に関する再生時間の情報を、時系列情報制御部５７のバッファから取得し、ユーザ入力情報記録部５３の該当するリンク情報の箇所に記録できるようにする。
前述した相対時間を決定するための頻度データの作成時のユーザ入力時においても、前述のリンク情報をユーザ入力情報記録部５３へ記録する時と同様、ユーザ入力情報制御部５２と、時系列情報制御部５９のバッファにある直前の再生情報を利用することになる。
具体的には、ユーザが、時系列情報特定区間決定部５７の情報更新を命令すると、ユーザ入力情報制御部５２は、直前に再生したユーザ入力情報のＩＤを手がかりに、ユーザ入力情報記録部５３に記録されている状況情報を取得し、更に、時系列情報制御部５９のバッファに保持されている直前の再生時間情報を取得し、それらの情報を時系列情報特定区間決定部５７に送る。
ユーザによって新たに相対時間の情報が追加された場合には、図４４に示したのと同様の情報が得られることになる。この場合に、時系列情報区間特定部５９は、特定区間の時間情報を出力をするだけでなく、図４６および図４７に示したような、その区間（Ｔｓ〜Ｔｅの区間）上の時系列情報の存在確率情報などを併せて出力することができる。
以上の説明では、ユーザ入力情報制御部５２と、時系列情報制御部５７のバッファは、直前の１つの再生情報のみを保持するようにしたが、バッファの大きさはいくらでもよく、直前の複数回の再生情報を保持するようにしてもよい。
次に、時系列情報制御部５７の再生時の動作を、図４８のフローチャートを用いて説明する。
すなわち、ステップＳ１５００でユーザ入力情報制御部５２から命令を取得すると、ステップＳ１５０１に進み、命令がチャート作成か自動再生かを判別する。チャート作成であれば、ステップＳ１５０２に進み、チャート作成部６０にチャート作成を命令する。次いで、ステップＳ１５０３に進み、チャート作成部６０からチャート情報を取得して、そのチャート情報の表示部４への出力位置を決定し、出力座標を保持するとともに表示部４にチャート情報を出力する。
この発言チャート情報が表示部５４の画面に表示されると、ユーザは、後述の図５０に示すように、この発言チャートに表示されている発言区間バーＶＢのいずれかを選択指示して、その発言区間の時系列情報の再生を要求する。図５０では、丸印で示す位置が指示されると、その指示座標（ｘｐ，ｙｐ）が座標時間変換部６３で時間情報に変換されて時系列情報制御部５７に送られる。なお、この例の場合、指示座標は、ｘ座標ｘｐのみでもよい。
このため、時系列情報制御部５７では、ステップＳ１５０４で、ユーザの指定する時刻の情報を座標時間変換部６３から取得し、該当する時刻の時系列情報から、時系列情報記録部６１から順次に読み出して、時系列情報出力部５８に対して出力する。なお、ユーザ入力情報制御部５２から、ユーザ入力に応じて時間情報（前述のリンク情報）が出力される場合には、座標時間変換部６３はバイパスされて、ユーザの指定する時刻の情報を、時系列情報制御部５７は、ユーザ入力情報制御部５２から直接的に受け取る。リンク情報を用いるか否かの指定は、ユーザの入力情報選択時に行うことができる。
一方、ステップＳ１５０１で、命令が自動再生であると判別されると、ステップＳ１５０５に進み、時系列情報特定区間決定部５９からの特定区間の時間情報（Ｔｓ，Ｔｅ）に基づいて、該当する時間区間の時系列情報を、時系列情報記録部６１から読み出して、時系列情報出力部５８へ出力する。この実施の形態では、時点Ｔｓから再生を開始し、ユーザが再生終了を明示的に指示するまで再生を行うようにしている。
なお、この図４８のフローチャートでは省略したが、チャートを作成しないで、ユーザが時間を入力することで、その時間から、あるいはその時間区間の時系列情報を再生することも可能である。すなわち、時系列情報制御部５７は、再生命令と時間を受け取った場合に、その時間に該当する時系列情報を時系列情報記録部６１から時系列情報出力部５８に出力するようにする。
次に、チャート作成部１０の動作を、図４９フローチャートを用いて説明をする。
ステップＳ１６００で、時系列情報制御部５７からチャート作成命令が到来したと判別すると、ステップＳ１６０１に進み、時系列情報特定区間決定部５９から、特定区間の時間情報（Ｔｓ，Ｔｅ）と、ユーザ入力情報の入力時刻を取得し、その特定区間内の発言区間に関する情報（図３４参照）を時系列情報記録部６１から取得する。次いでステップＳ１６０２に進み、取得した発言区間に関する情報から、図４１および図５０に示すような発言チャートを作成し、作成したチャート情報を時系列情報制御部５７に出力する。前述したように、時系列情報制御部５７は、この発言チャートを表示部５４の表示画面に表示するように制御する。
図５０に示すチャートの例について説明する。時系列情報特定区間決定部５９が出力した特定区間の時間情報に応じてチャートを表示するポップアップウィンドウの大きさ（Ｗ，Ｈ）、発言状況を示す画面の位置（ｘ0 ，ｙ0 ）と、大きさ（ｗｃ、ｈｃ）を決定する。この図では、会議参加者であるＡ，Ｂ，Ｃ，Ｄの発言区間が矩形として表現されている。
なお、時系列情報特定区間決定部５９から、前述したような、相対時間に関する分布（確率）情報も提供される場合には、図５１に示すように、時間軸の付近に確率密度情報を示すグラフ８０を表示する。この場合、ユーザ入力情報に対応する時系列情報の特定区間の開始時刻の分布（確率）情報を、特定区間の発言チャートと併せて出力するようにしている。この分布（確率）情報は、チャート上に反映させることで、ユーザがどの時間から時系列情報を再生するかについての一助となる。
図５１の例で言えば、発言者Ｂの最初の発言区間の部分が、三角印８１で示す入力時点のユーザ入力情報に対応する時系列情報の開始時点として、最も対応関係が強いことが示されることになる。
次に、ユーザにより、チャート上において、指示された座標位置の情報から時間情報に変換する座標時間変換部６３の動作を図５２のフローチャートを用いて説明する。
すなわち、座標時間変換部６３は、ステップＳ１７００でユーザ入力情報制御部２から座標情報を取得し、次のステップＳ１７０１に進み、時系列情報制御部５７からチャートの表示位置情報を取得し、座標に対応する時間を計算する。そして、ステップＳ１７０２に進み、時系列情報制御部５７に計算した時間を送る。
図５０を用いて、座標時間変換部６３における、時間の計算の説明図を示す。座標（ｘ0 、ｙ0 ）をチャートの原点、指示箇所の座標を（ｘｐ、ｙｐ）、表示時間を［Ｔｓ，Ｔｅ］とし、その時間区間の画面上での表示幅をｗｃとすると、指示時刻Ｔｐは、
Ｔｐ＝Ｔｓ＋（Ｔｅ−Ｔｓ）×（ｘｐ−ｘ0 ）／ｗｃ
となる。
以上の情報蓄積再生装置の実施の形態では、ユーザが入力した時の状況が個人用のメモなのかプレゼンテーションなのかを判別する例で説明したが、他の状況を用いることも可能である。
例えば、会議の盛り上がりや笑いや、ある特定の人の行為を一つの状況情報やユーザ入力情報とみなし、その時刻とそれに関連する時系列情報の記録位置がある相関の高い関係があるものを、この発明の情報蓄積再生装置に適用しても構わない。
また、上記の情報蓄積再生装置の実施の形態では、メモ入力の時刻と時系列情報の開始時刻の関係から、特定区間（Ｔｓ，Ｔｅ）を決定したが、メモ入力時刻と時系列情報の存在区間で、特定区間（Ｔｓ，Ｔｅ）を決定するようにしてもよい。
また、上述の情報蓄積再生装置の実施の形態では、ユーザ入力情報の入力時点と、時系列情報特定区間決定部が保持する相対時間の情報から、特定区間を決定するようにしたが、前述した情報蓄積装置の実施の形態の場合と同様にして、条件一致区間検出部としての時系列情報処理部の処理結果である、例えば発言区間の情報も考慮して、ユーザ入力情報に対応する時系列情報の特定区間を決定するようにしても、もちろんよい。
また、前述の情報蓄積装置の実施の形態の場合と同様に、センサを設けると共に、このセンサの検出出力情報が予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段を設けて、この条件一致区間検出手段で検出した区間の情報も考慮して、ユーザ入力情報に対応する時系列情報の特定区間を決定するようにしても、もちろんよい。
また、チャートは、条件一致区間としての発言区間を表示する発言チャートの場合を例に説明したが、例えば会議参加者の笑いの区間、拍手の区間などの条件一致区間をチャートとして表示するようにしても、もちろんよい。
［情報蓄積再生装置の他の実施の形態］
上述した実施の形態のようなプレゼンテーション型の会議のおいて、各会議参加者が個々にメモを取る場合には、プレゼンテーションの内容を視聴した後、その視聴した内容についてメモを入力し、メモを終了すると、再び、プレゼンテーションの内容を視聴して、その視聴した新たな内容について、必要に応じてメモをするという操作を繰り返す。
この発明の実施の形態においては、ユーザ入力情報は、連続するペンストロークなど、一連の関連のある入力情報が一塊として、ユーザ入力情報検出手段により検出され、ユーザ入力情報記憶部５３に記録される。一塊として検出されるユーザ入力情報の区切りは、例えば、ユーザ入力が、所定時間、例えば１５秒以上、途絶えたことにより検知するようにしている。
したがって、プレゼンテーション型会議において、上述のような会議参加者個々のメモ入力のようなユーザ入力情報の場合には、再生時において、ユーザによって指定されたユーザ入力情報の入力時刻に対応する時系列情報の開始時刻（特定区間の開始時刻）は、指定されたユーザ入力の直前のユーザ入力情報の入力時刻以後に存在することが多い。
このことは、以下のように、実験的にも確かめれらた。すなわち、図５３（Ａ）に示すように、再生のために指定したユーザ入力情報の入力時刻Ｔｐから、その直前のユーザ入力情報の入力時刻Ｔｂまでの時間間隔をＸとし、指定したユーザ入力情報の入力時刻Ｔｐから、指定したユーザ入力情報に関連する時系列情報の開始時刻までの時間間隔をＹとして、両者の関係を調べたところ、図５３（Ｂ）に示すような結果が得られた。
この図５３（Ｂ）において、直線Ｌは、Ｙ＝Ｘの直線である。この図５３（Ｂ）から、指定されたユーザ入力情報に関連する時系列情報の開始時刻は、殆どが直前のユーザ入力情報の入力時刻以後であることが理解できる。
この場合の直前のユーザ入力情報の入力時刻Ｔｂは、そのユーザ入力情報の、少なくとも入力開始時刻を指す。もっとも、直前のユーザ入力情報の入力時刻Ｔｂが、ユーザ入力情報の入力終了時刻でも上記のことは当てはまる。また、ユーザ入力開始時刻と、終了時刻との間の時刻を基準にすることもできる。
ところで、前述の情報蓄積再生装置の実施の形態の時系列情報特定区間決定部５９では、時系列情報の再生区間や、チャート表示区間である特定区間を、ユーザによって指定されたユーザ入力情報の入力時刻だけに基づき、入力状況を参照しながら決定した。
このため、指定されたユーザ入力情報の直前のユーザ入力の入力時刻によっては、前述の実施の形態において、特定された区間が不要に長い区間を含むことになり、目的の箇所を再生するまでに時間がかかる場合がある。すなわち、特定区間内に直前のユーザ入力の入力時刻が含まれる場合には、そのユーザ入力の入力時刻よりも前の時系列情報は、上述のように、指定されたユーザ入力情報とは関連がない場合が殆どであるからである。
以下に説明する実施の形態は、このような状況を鑑みて、指定されたユーザ入力情報の直前のユーザ入力の入力時刻を考慮することにより、指定したユーザ入力情報のみに関連する特定区間の決定を、精度よく行うものである。
図５４は、この場合の情報蓄積再生装置の実施の形態の、各処理機能部をブロック化して示した構成図である。この図５４の機能ブロック図は、図３０を用いて説明した前述の実施の形態の機能ブロック図とは、時系列情報特定区間決定部５９に対して、特定区間補正部６４を設けた点が異なる。
そして、この実施の形態においては、この特定区間補正部６４において、時系列情報特定区間決定部５９で決定された特定区間を、指定されたユーザ入力情報の直前のユーザ入力情報の入力時刻に応じて補正するものである。この実施の形態の場合、ユーザ入力情報がメモ・モードであった場合、それを入力状況から検知して、後述するような補正動作を行う。なお、この実施の形態では、ユーザ入力情報の入力状況が、プレゼンテーションモードのときには、特定区間補正部６４では、補正動作を実行せず、時系列情報特定区間決定部５９が決定した特定区間をそのまま出力する。
図５５は、この特定区間補正部６４での補正動作を説明するための図である。この図５５の例においては、ユーザにより指定されたユーザ入力情報の入力時刻がＴｐであって、前述したようにして、時系列情報特定区間決定部５９では、このユーザ入力情報の際の入力状況が参照されて、開始時刻Ｔｓ、終了時刻Ｔｅの特定区間が決定されている。
特定区間補正部６４は、指定されたユーザ入力情報の直前のユーザ入力情報の入力時刻Ｔｂが、時系列情報特定区間決定部５９で決定された特定区間内にあるか否かを判断する。そして、図５５（Ａ）に示すように、指定されたユーザ入力情報の直前のユーザ入力情報の入力時刻Ｔｂが、時系列情報特定区間決定部５９で決定された特定区間内にあるときには、前記直前のユーザ入力情報の入力時刻Ｔｂから特定区間が開始するように、特定区間を補正する。
また、図５５（Ｂ）に示すように、指定されたユーザ入力情報の直前のユーザ入力情報の入力時刻Ｔｂが、時系列情報特定区間決定部５９で決定された特定区間よりも前にあるときには、時系列情報特定区間決定部５９で決定された特定区間を、そのまま用いるようにする。
これにより、メモ・モードにおいて、指定したユーザ入力情報の直前のユーザ入力情報より前の、指定したユーザ入力情報とは無関係となると推測される時系列情報部分を排除して、指定したユーザ入力情報に正確に対応する時系列情報部分の再生をすることができる。
以上の特定区間補正部６４での補正動作を可能にするためには、特定区間補正部６４の上述のような処理動作が必要であるだけでなく、この実施の形態では、ユーザ入力情報制御部５２と、時系列情報特定区間決定部５９とにおける処理動作が、図３０を用いて説明した前述の実施の形態と異なるものである。
これら各部の処理動作を、それぞれフローチャートを用いて以下に説明する。まず、ユーザ入力情報制御部５２の動作を、図５６のフローチャートを参照しながら説明する。なお、この場合のユーザ入力情報の入力時刻は、例えば、入力開始時刻とする。
まず、ステップＳ１８００において、ユーザ入力情報制御部５２は、表示部５４の画面に表示されているユーザ入力情報のいずれかの選択指示をユーザ入力部５１を通じて受けると、次のステップＳ１８０１に進む。この実施の形態では、表示されているユーザ入力情報を、例えば電子ペンにより囲い込むようにすることで、ユーザ入力情報の選択を行なうようにする。ユーザ入力情報制御部５２は、囲まれた領域を判定し、その領域内に存在するユーザ入力情報を、ユーザ入力情報記録部５３から探索する。
ステップ１３０１では、その選択指示されたユーザ入力情報の入力時刻Ｔｐと、状況の情報と、選択指示されたユーザ入力情報の直前のユーザ入力情報の入力時刻Ｔｂとをユーザ入力情報記録部５３から取得する。そして、次のステップＳ１８０２に進み、ユーザ入力が、時系列情報の自動再生のためのものか、後述するチャートの作成のためのものであるかの問い合わせのメッセージをユーザに対して表示する。
ユーザは、これに対して、自動再生か、チャートの作成かの選択入力を行うので、ステップＳ１８０３でこのユーザ選択入力を受け付ける。そして、次のステップＳ１８０４において、自動再生が選択されたか、チャート作成が選択されたかを判別する。
そして、自動再生が選択された場合には、ステップＳ１８０５に進み、時系列情報特定区間決定部５９に、指示されたユーザ入力情報の入力時刻Ｔｐの情報と、状況の情報と、指示されたユーザ入力情報の直前のユーザ入力情報の入力開始時刻Ｔｂの情報と、自動再生命令とを送り、時系列情報制御部５７に、自動再生命令を送る。
また、チャート作成が選択された場合には、ステップＳ１８０６に進み、時系列情報特定区間決定部５９に、指示されたユーザ入力情報の入力時刻Ｔｐの情報と、状況の情報と、指示されたユーザ入力情報の直前のユーザ入力情報の入力時刻Ｔｂの情報と、チャート作成命令とを送り、時系列情報制御部５７に、チャート作成命令を送る。
以上の説明において、直前のユーザ入力情報の入力時刻Ｔｂとしては、入力開始時刻に限らず、入力終了時刻を用いることもできる。また、直前のユーザ入力情報の入力時刻としては、入力開始時刻と入力終了時刻の間の時刻（例えば、丁度両者の中間の時刻）を用いてもよい。
また、指定されたユーザ入力情報の入力時刻Ｔｐとしても，入力開始時刻だけではなく、入力終了時刻あるいは両者の中間の時刻を用いてもよいが、それらの用い方によって、時系列情報特定区間決定部５９で用いる図４４および図４５の数値は異なるものとなる。
指定されたユーザ入力情報の入力時刻Ｔｐと、その直前のユーザ入力情報の入力時刻Ｔｂとで、入力時刻として、入力開始時刻と、入力終了時刻と、両者の中間の時刻とのいずれの時刻を用いるかは、それぞれ独立であり、３種の時刻のいずれの組み合わせも可能である。
次に、この実施の形態における時系列情報特定区間決定部５９の動作を、図５７のフローチャートを参照しながら説明する。
まず、ステップＳ１９０１で、ユーザ入力情報制御部５２から入力時刻Ｔｐ、状況、直前のユーザ入力情報の入力時刻Ｔｂおよび命令を取得する。次に、ステップＳ１９０２に進み、ユーザ入力情報の入力時刻Ｔｐと、状況の情報とから、前述したようにして、当該ユーザ入力情報に対応する時系列情報の特定区間（Ｔｓ，Ｔｅ）を計算する。
次に、ステップＳ１９０３に進み、指定されたユーザ入力情報に関する入力状況が、メモ・モードか、プレゼンテーションモードであるか判別する。メモ・モードであれば、ステップＳ１９０４に進み、直前のユーザ入力情報の入力時刻Ｔｂの情報と、特定区間（Ｔｓ，Ｔｅ）の情報を、特定区間補正部６４に送る。
特定区間補正部６４は、後述のようにして、決定された特定区間について補正処理を行い、その補正結果の特定区間の情報を、時系列情報特定区間決定部５９に返すので、時系列情報特定区間決定部５９では、次のステップＳ１９０５で、この特定区間補正部６４からの補正後の特定区間の情報を受け取る。そして、次のステップＳ１９０６に進む。
ステップＳ１９０３でプレゼンテーションモードであると判別されたときには、特定区間補正部６４での補正のステップＳ１９０４、ステップＳ１９０５を行うことなく、ステップＳ１９０６に飛ぶ。
ステップＳ１９０６では、ステップＳ１９０１で取得した命令が、自動再生命令か、チャート作成命令かを判別して、自動再生命令であれば、ステップＳ１９０８に進み、時系列情報制御部５７に、特定区間の情報（この例では、開始時刻Ｔｓ）と、ユーザ入力情報の入力時刻Ｔｐの情報を送る。また、チャート作成命令であれば、ステップＳ１９０７に進み、チャート作成部６０に、特定区間の情報（開始時刻Ｔｓと終了時刻Ｔｅ）と、ユーザ入力情報の入力時刻Ｔｐの情報を送る。以上で時系列情報特定区間決定部５９の処理ルーチンは終了となる。
次に、図５８は、特定区間補正部６４の処理ルーチンを示すフローチャートである。
まず、ステップＳ２００１で、時系列情報特定区間決定部５９から、指定されたユーザ入力情報の直前のユーザ入力情報の入力時刻Ｔｂと、特定区間（Ｔｓ，Ｔｅ）の情報を取得する。次に、ステップＳ２００２に進み、特定区間の開始時刻Ｔｓと、直前のユーザ入力情報の入力時刻Ｔｂとを比較して、開始時刻Ｔｓが、直前の入力時刻Ｔｂよりも前であるか否か判別する。
開始時刻Ｔｓが直前の入力時刻Ｔｂよりも前であるときには、ステップＳ２００３に進み、特定区間の開始時刻をＴｓからＴｂに変更補正して、次のステップＳ２００５で、変更補正した特定区間の情報（Ｔｂ，Ｔｅ）を時系列情報特定区間決定部５９に返す。
また、開始時刻Ｔｓが直前の入力時刻Ｔｂよりも後であるときには、ステップＳ２００４に進み、特定区間の開始時刻をＴｓのままとして、次のステップＳ２００５で、もとのままの特定区間の情報（Ｔｓ，Ｔｅ）を時系列情報特定区間決定部５９に返す。以上で、特定区間補正部６４の処理ルーチンは終了となる。
なお、この実施の形態においても時系列情報特定区間決定部５９は、状況を判別して特定区間を決定するようにしたが、必ずしも状況を判別する必要はなく、ユーザ入力情報の入力時刻Ｔｐのみから特定区間を決定する情報蓄積再生装置においても、特定区間補正部６４を用いることにより、ユーザ入力情報に関連の強い時系列情報部分のみを正確に抽出するという作用効果は得られるものである。特に、前述したように、ユーザ入力情報が、プレゼンテーションを視聴しながら個人的なメモの取る状況の時には、特定区間補正部６４を設けたことの効果は大きいものである。
なお、上記の実施の形態の説明では、直前のユーザ入力情報の入力時刻Ｔｂをそのまま用いたが、前記入力時刻Ｔｂから一定時間分（Δｔ）加減した時間を用いてもよい。また、前記入力時刻Ｔｂは、前述もしたように、ユーザ入力を開始した時刻であっても、終了した時刻であっても改善効果は確認された。
特定区間補正部６４の効果は、時系列情報特定区間決定部５９の特定区間の結果によって変化する。すなわち、時系列情報特定区間決定部５９において、特定区間の開始時刻Ｔｓが、指定されたユーザ入力情報の入力時刻Ｔｐに対して比較的短い時間だけ前の時間として設定されている場合には、その効果は大きく表れない。その場合は、時系列情報特定区間決定部５９の区間特定精度が特定精度になる。
これに対して、時系列情報特定区間決定部５９において、特定区間の開始時刻Ｔｓが、指定されたユーザ入力情報の入力時刻Ｔｐに対して比較的長い時間前の時間として設定されている場合には、特定区間補正部６４での補正による効果は大きくなる。
以上説明したように、上述した実施形態の情報蓄積装置によれば、例えば会議情報を蓄積する場合において、ユーザ入力情報と、音声や画像の変化やセンサ検知信号の変化と、ユーザ入力があった時点の状況を、適宜組み合わせて、特徴的な事象が起こっている区間である重要区間を特定することができる。
そして、特定した重要区間は、高品質を保って音声情報や画像情報などの時系列情報を蓄積し、他の区間は、高圧縮率で圧縮して時系列情報記憶部に蓄積するようにすることで、記憶容量が少ないメモリであっても長時間分の時系列情報を蓄積することができる。
また、共用入力装置や個人用入力装置のようなユーザ入力装置の種類によって音声信号または画像信号を記録するタイミングや長さを変化させることができるので、さまざまな会議記録装置の実施形態において、効率的に情報蓄積媒体の節約ができる。
しかも、重要区間の時系列情報は、高品質を保って蓄積されているので、これを再生したときに、情報内容を適切かつ確実に把握することが可能である。したがって、例えば、情報量の多い会議情報の記録蓄積を行う場合に適用すると、会議内容を適切に把握するために必要な情報は重要区間として高品質で記憶されているため、全体としての情報量は、削減されていても、会議内容を適格に把握することができる。
また、ユーザ入力情報と重要区間とを対応付けて記憶しておくことで、ユーザ入力情報を指定することにより、対応する重要区間の音声情報や画像情報を容易に再生させることができる。
また、上述の実施形態の情報蓄積再生装置によれば、会議等の時系列情報とメモをあわせて記録し、後でメモを手がかりにそのメモに対応する時系列情報を再生する場合に、メモ入力時の状況を利用して、適切な箇所の時系列情報を、自動で再生することができる。これによって会議の参加者であってもなくても、またメモ入力した本人であっても、また、本人でなくても、適切な時系列情報を再生することが可能となる。
また、メモ入力時の状況を利用して、適切な範囲の会議参加者の発言状況を知ることもできる。そのため、会議の参加者であった場合には、再生すべき箇所を想起、決定し易い。また、会議の不参加者であった場合にも、再生すべき箇所を容易に推測することが可能となる。
また、再生すべき区間に関して、確率情報を提示した場合には、再生した区間で必要な情報が得られるかについての確信を得ることができる。
また、特定区間を、指定したユーザ入力情報の直前のユーザ入力情報の入力時刻に基づいて補正することにより、指定したユーザ入力情報に関連深い時系列情報の区間を精度よく特定することができる。このため、所望の情報を効率的に探索し、獲得することが可能となる。例えば、会議の議事録作成、講演会などの話のまとめなどを行うときに、この発明によれば、その作業を効率的なものとすることができる。
この発明による情報蓄積装置の第１の実施の形態を説明するための機能ブロックである。 この発明の実施の形態が適用されるシステムの概要を説明する図である。 第１の実施の形態における条件一致区間検出部の、音声レベル検出動作の説明のための図である。 第１の実施の形態における、ペン筆跡入力タイミングと、条件一致区間と、重要区間とを対応付けて説明する図である。 入力状況に応じた重要区間の設定要素の例を示す図である。 第１の実施の形態における、ペン筆跡入力タイミングと、条件一致区間と、重要区間とを対応付けて説明する図である。 図６の説明のための図である。 第１の実施の形態の情報記録時の動作の流れを示す図である。 第１の実施の形態における条件一致区間検出部の処理ルーチンの一例を示すフローチャートである。 第１の実施の形態におけるユーザ入力情報検出部の処理ルーチンの一例を示すフローチャートである。 第１の実施の形態におけるユーザ入力装置特定部の処理ルーチンの一例を示すフローチャートである。 第１の実施の形態における、ペン筆跡入力タイミングと、重要区間と、時系列記憶部の記憶状態とを対応付けて説明する図である。 第１の実施の形態における、対応関係記憶部に記憶された対応関係情報の、ペン筆跡１つ分の記憶状態を示す図である。 第１の実施の形態における対応関係記憶部の処理ルーチンの一例の一部を示すフローチャートである。 第１の実施の形態における対応関係記憶部の処理ルーチンの一例の一部を示すフローチャートである。 第１の実施の形態における時系列情報記憶部の処理ルーチンの一例のフローチャートである。 第１の実施の形態における時刻情報記憶部の処理ルーチンの一例のフローチャートである。 第１の実施の形態における時刻情報記憶部の記憶構造の一例を説明する図である。 第１の実施の形態における時刻情報記憶部の記憶構造の他の例を説明する図である。 第１の実施の形態における情報圧縮時の動作の流れを示す図である。 第１の実施の形態における圧縮部の処理ルーチンの一例のフローチャートである。 第１の実施の形態における、時系列情報記憶部に記憶された画像情報の、圧縮前の記憶状態と、圧縮後の記憶状態とを比較して説明する図である。 この発明による情報蓄積装置の第２の実施の形態を説明するための機能ブロックである。 第２の実施の形態の情報記録時の動作の流れを示す図である。 第２の実施の形態の一時記憶部の記憶内容を説明するための図である。 第２の実施の形態の一時記憶部の処理ルーチンの一例のフローチャートの一部である。 第２の実施の形態の一時記憶部の処理ルーチンの一例のフローチャートの一部である。 この発明による情報蓄積再生装置の実施の形態が適用されるシステムを説明するための図である。 この発明による情報蓄積再生装置の実施の形態における状況設定画面を示す図である。 この発明による情報蓄積再生装置の実施の形態の機能ブロック図である。 この発明による情報蓄積再生装置の実施の形態の概観図である。 この発明による情報蓄積再生装置の実施の形態における時系列情報処理部の動作を説明するためのフローチャートである。 図３２の時系列情報処理部の動作を説明するための図である。 図３２の時系列情報処理部の処理結果の発言状況のデータ構造を示す図である。 この発明による情報蓄積再生装置の実施の形態におけるユーザ入力情報制御部の記録時の動作を説明するためのフローチャートである。 図３５のユーザ入力情報制御部におけるユーザ入力情報の切り出し動作のフローチャートである。 図３５のユーザ入力情報制御部におけるユーザ入力情報の切り出し動作を説明するための図である。 この発明による情報蓄積再生装置の実施の形態におけるユーザ入力情報記録部に記録されているデータ構造の例を示す図である。 この発明による情報蓄積再生装置の実施の形態における状況特定部の動作のフローチャートである。 この発明による情報蓄積再生装置の実施の形態における状況特定部の動作の他の例のフローチャートである。 この発明による情報蓄積再生装置の実施の形態における発言チャートの例を示す図である。 この発明による情報蓄積再生装置の実施の形態におけるユーザ入力情報制御部の記録時の動作のフローチャートを示す図である。 この発明による情報蓄積再生装置の実施の形態における時系列情報特定区間決定部の動作のフローチャートを示す図である。 この発明による情報蓄積再生装置の実施の形態における時系列情報特定区間決定部が有する特定区間決定のための相対時間を決定するための情報を説明するための図である。 この発明による情報蓄積再生装置の実施の形態における時系列情報特定区間決定部が有する特定区間決定のための相対時間の例を示す図である。 ユーザ入力情報に対応する時系列情報の特定区間の開始時点が存在する、ユーザ入力情報の入力時点に対する相対時間の頻度分布の例を示す図である。 ユーザ入力情報に対応する時系列情報の特定区間の開始時点が存在する、ユーザ入力情報の入力時点に対する相対時間の頻度分布の例を、状況毎に示す図である。 この発明による情報蓄積再生装置の実施の形態における時系列情報制御部の再生時の動作のフローチャートを示す図である。 この発明による情報蓄積再生装置の実施の形態におけるチャート作成部の動作のフローチャートを示す図である。 発言チャートの表示例上におけるユーザによる指示例を示す図である。 発言チャートと、ユーザ入力情報に対応する時系列情報の特定区間の開始時点が存在する、ユーザ入力情報の入力時点に対する相対時間の頻度分布とを合わせて表示する例を示す図である。 この発明による情報蓄積再生装置の実施の形態における座標変換部の動作のフローチャートを示す図である。 この発明による情報蓄積再生装置の他の実施の形態を説明するための図である。 この発明による情報蓄積再生装置の他の実施の形態の機能ブロック図である。 この発明による情報蓄積再生装置の他の実施の形態の要部の動作を説明するための図である。 この発明による情報蓄積再生装置の他の実施の形態におけるユーザ入力情報制御部の動作のフローチャートである。 この発明による情報蓄積再生装置の他の実施の形態における時系列情報特定区間決定部の動作のフローチャートである。 この発明による情報蓄積再生装置の他の実施の形態における特定区間補正部の動作のフローチャートである。
符号の説明
１…音声情報入力部、２…画像情報入力部、３…条件一致区間検出部、４…時系列情報記憶部、５…ユーザ入力情報入力部、６…ユーザ入力情報検出部、７…ユーザ入力装置特定部、８…重要区間決定部、９…対応関係記憶部、１０…圧縮部、１１…時刻情報記憶部、１２…再生部、１３…再生指示部、１４…表示部、１５…制御部、１６…一時記憶部、２０…電子会議装置、２１…モニター装置の表示画面、２３…電子ペン、２４…カメラ、２５…マイクロホン、２６…音声信号解析器、２７…蓄積媒体、２８…スピーカ、２９…会議参加者、３０…小型コンピュータ（個人用電子ノート装置）、４１…共用電子黒板、４２…ビデオカメラ、４３…マイクロホン、５１…ユーザ入力部、５２…ユーザ入力情報制御部、５３…ユーザ入力情報記録部、５４…表示部、５５…時系列情報入力部、５６…時系列情報処理部、５７…時系列情報制御部、５８…時系列情報出力部、５９…時系列情報特定区間決定部、６０…チャート作成部、６１…時系列情報記録部、６２…状況特定部、６３…座標時間変換部、６４…特定区間補正部

Claims (15)

  1. 少なくとも複数のユーザが共用で参照する共用入力装置と、各ユーザが各個に参照する個人用入力装置とを含み、前記共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかの入力状況を特定可能の状態で前記ユーザ入力情報を出力する複数のユーザ入力装置からの前記ユーザ入力情報を受けるユーザ入力情報入力手段と、
    前記ユーザ入力情報入力手段から入力された前記ユーザ入力情報を検出するユーザ入力情報検出手段と、
    前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報が、少なくとも前記共用入力装置からのユーザ入力情報か、前記個人用入力装置からのユーザ入力情報かの入力状況を、それぞれ特定する機能を備えるユーザ入力状況特定手段と、
    音声情報または画像情報を入力するための時系列情報入力手段と、
    前記時系列情報入力手段からの前記音声情報または前記画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段と、
    前記ユーザ入力情報検出手段によって検出された前記ユーザ入力情報と、前記ユーザ入力状況特定手段によって特定されたユーザ入力状況と、前記条件一致区間検出手段で検出された条件一致区間とに基づいて、前記時系列情報入力手段からの前記音声情報または画像情報の内の、特定の区間を決定するものであって、前記ユーザ入力状況特定手段で特定された入力状況が、前記共用入力装置か前記個人用入力装置かで異なる時系列情報の区間を決定する特定区間決定手段と、
    を備える時系列情報の特定区間決定装置。
  2. 少なくとも複数のユーザが共用で参照する共用入力装置と、各ユーザが各個に参照する個人用入力装置とを含み、前記共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかの入力状況を特定可能の状態で前記ユーザ入力情報を出力する複数のユーザ入力装置からの前記ユーザ入力情報を受けるユーザ入力情報入力手段と、
    前記ユーザ入力情報入力手段から入力された前記ユーザ入力情報を検出するユーザ入力情報検出手段と、
    前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報が、少なくとも前記共用入力装置からのユーザ入力情報か、前記個人用入力装置からのユーザ入力情報かの入力状況を、それぞれ特定する機能を備えるユーザ入力状況特定手段と、
    音声情報または画像情報を入力するための時系列情報入力手段と、
    前記時系列情報入力手段からの前記音声情報または前記画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段と、
    前記ユーザ入力情報検出手段によって検出された前記ユーザ入力情報と、前記ユーザ入力状況特定手段によって特定されたユーザ入力状況と、前記条件一致区間検出手段で検出された条件一致区間とに基づいて、前記時系列情報入力手段からの前記音声情報または画像情報の内の、特定の区間を決定するものであって、前記ユーザ入力状況特定手段で特定された入力状況が、前記共用入力装置か前記個人用入力装置かで異なる時系列情報の区間を決定する特定区間決定手段と、
    前記時系列情報入力手段から入力された前記音声情報または前記画像情報を記憶する時系列情報記憶手段と、
    前記時系列情報記憶手段に記憶された音声情報または画像情報のデータ量を圧縮する手段であって、前記特定区間決定手段で決定された区間と、他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶された前記音声情報または前記画像情報のデータ圧縮を行う圧縮手段と、
    を備えることを特徴とする情報蓄積装置。
  3. 少なくとも複数のユーザが共用で参照する共用入力装置と、各ユーザが各個に参照する個人用入力装置とを含み、前記共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかの入力状況を特定可能の状態で前記ユーザ入力情報を出力する複数のユーザ入力装置からの前記ユーザ入力情報を受けるユーザ入力情報入力手段と、
    前記ユーザ入力情報入力手段から入力された前記ユーザ入力情報を検出するユーザ入力情報検出手段と、
    前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報が、少なくとも前記共用入力装置からのユーザ入力情報か、前記個人用入力装置からのユーザ入力情報かの入力状況を、それぞれ特定する機能を備えるユーザ入力状況特定手段と、
    音声情報または画像情報を入力するための時系列情報入力手段と、
    前記時系列情報入力手段からの前記音声情報または前記画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段と、
    前記ユーザ入力情報検出手段によって検出された前記ユーザ入力情報と、前記ユーザ入力状況特定手段によって特定されたユーザ入力状況と、前記条件一致区間検出手段で検出された条件一致区間とに基づいて、前記時系列情報入力手段からの前記音声情報または画像情報の内の、特定の区間を決定するものであって、前記ユーザ入力状況特定手段で特定された入力状況が、前記共用入力装置か前記個人用入力装置かで異なる時系列情報の区間を決定する特定区間決定手段と、
    前記時系列情報入力手段から入力された前記音声情報または前記画像情報を記憶する時系列情報記憶手段と、
    前記特定区間決定手段で決定された区間を示す区間情報と、当該区間情報に対応する前記音声情報または前記画像情報の前記時系列情報記憶手段における記憶位置との対応関係を記憶する対応関係記憶手段と、
    前記時系列情報記憶手段に記憶された前記音声情報または前記画像情報のデータ量を圧縮する手段であって、前記対応関係記憶手段に記憶された区間情報によって定められる区間と、他の区間とで、圧縮率あるいは圧縮方式を変更して、前記時系列情報記憶手段に記憶された前記音声情報または画像情報のデータ圧縮を行う圧縮手段と、
    を備えることを特徴とする情報蓄積装置。
  4. 請求項２または請求項３に記載の情報蓄積装置おいて、
    前記特定区間決定手段により決定される区間の音声情報または画像情報は、前記圧縮手段により、他の区間の音声情報または画像情報よりも高品質を保つデータ圧縮を施すようにしたことを特徴とする情報蓄積装置。
  5. 請求項２または請求項３に記載の情報蓄積装置おいて、
    前記特定区間決定手段により決定される区間以外の音声情報または画像情報は、前記圧縮手段により、前記時系列情報記憶手段から削除するようにしたことを特徴とする情報蓄積装置。
  6. 少なくとも複数のユーザが共用で参照する共用入力装置と、各ユーザが各個に参照する個人用入力装置とを含み、前記共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかの入力状況を特定可能の状態で前記ユーザ入力情報を出力する複数のユーザ入力装置からの前記ユーザ入力情報を受けるユーザ入力情報入力手段と、
    前記ユーザ入力情報入力手段から入力された前記ユーザ入力情報を検出するユーザ入力情報検出手段と、
    前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報が、少なくとも前記共用入力装置からのユーザ入力情報か、前記個人用入力装置からのユーザ入力情報かの入力状況を、それぞれ特定する機能を備えるユーザ入力状況特定手段と、
    音声情報または画像情報を入力するための時系列情報入力手段と、
    前記時系列情報入力手段からの前記音声情報または前記画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段と、
    前記ユーザ入力情報検出手段によって検出された前記ユーザ入力情報と、前記ユーザ入力状況特定手段によって特定されたユーザ入力状況と、前記条件一致区間検出手段で検出された条件一致区間とに基づいて、前記時系列情報入力手段からの前記音声情報または画像情報の内の、特定の区間を決定するものであって、前記ユーザ入力状況特定手段で特定された入力状況が、前記共用入力装置か前記個人用入力装置かで異なる時系列情報の区間を決定する特定区間決定手段と、
    前記音声情報または画像情報を一時記憶する一時記憶手段と、
    前記一時記憶手段に一時記憶された音声情報または画像情報のうちの、前記特定区間決定手段により決定された区間の音声情報または画像情報を、前記ユーザ入力情報検出手段で検出されたユーザ入力情報に対応する情報として記憶する時系列情報記憶手段と、
    前記特定区間決定手段により決定された区間の区間情報と、当該区間に対応する前記音声情報または画像情報の前記一時記憶手段における記憶位置との対応関係を記憶する対応関係記憶手段と、
    前記一時記憶手段に記憶された前記音声情報または前記画像情報の内の、前記時系列情報記憶手段に記憶する前記音声情報または前記画像情報のデータ量を圧縮する手段であって、前記対応関係記憶手段に記憶されている前記時系列情報の特定区間決定装置によって定められる区間と、他の区間とで、圧縮率あるいは圧縮方式を変更して、前記音声情報または前記画像情報のデータ圧縮を行う圧縮手段と、
    を備えることを特徴とする情報蓄積装置。
  7. 少なくとも複数のユーザが共用で参照する共用入力装置と、各ユーザが各個に参照する個人用入力装置とを含み、前記共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかの入力状況を特定可能の状態で前記ユーザ入力情報を出力する複数のユーザ入力装置からの前記ユーザ入力情報を受けるユーザ入力情報入力手段と、
    前記ユーザ入力情報入力手段から入力された前記ユーザ入力情報を検出するユーザ入力情報検出手段と、
    前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報が、少なくとも前記共用入力装置からのユーザ入力情報か、前記個人用入力装置からのユーザ入力情報かの入力状況を、それぞれ特定する機能を備えるユーザ入力状況特定手段と、
    音声情報または画像情報を入力するための時系列情報入力手段と、
    前記時系列情報入力手段からの前記音声情報または前記画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段と、
    前記ユーザ入力情報検出手段によって検出された前記ユーザ入力情報と、前記ユーザ入力状況特定手段によって特定されたユーザ入力状況と、前記条件一致区間検出手段で検出された条件一致区間とに基づいて、前記時系列情報入力手段からの前記音声情報または画像情報の内の、特定の区間を決定するものであって、前記ユーザ入力状況特定手段で特定された入力状況が、前記共用入力装置か前記個人用入力装置かで異なる時系列情報の区間を決定する特定区間決定手段と、
    前記時系列情報入力手段から入力された前記音声情報または前記画像情報を記憶する時系列情報記憶手段と、
    前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報を表示画面に表示する表示手段と、
    前記ユーザ入力情報と、前記ユーザ入力情報の前記表示画面上の表示位置を特定するための情報と、前記ユーザ入力情報のそれぞれについて、前記特定区間決定手段により決定された区間に対応する前記音声情報または画像情報の前記時系列情報記憶手段における記憶位置との対応関係を記憶する対応関係記憶手段と、
    前記表示画面に表示されたユーザ入力情報に関連する表示部分を指定する指定手段と、
    前記指定手段により指定されたユーザ入力情報によって特定される、前記対応関係記憶手段に記憶されている前記時系列情報記憶手段における記憶位置に基づいて特定される区間の音声情報または画像情報を再生する再生手段と、
    を具備することを特徴とする情報蓄積装置。
  8. 請求項２〜請求項６のいずれかに記載の情報蓄積装置において、
    前記音声情報または画像情報が前記時系列情報記憶手段に記憶された時刻を示す時刻情報を記憶する時刻情報記憶手段をさらに具備し、
    前記圧縮手段は、前記時刻情報記憶手段に記憶された前記時刻情報によって定められる時刻からの経過時間が、予め定められた時間を過ぎた時に前記圧縮処理を実行することを特徴とする情報蓄積装置。
  9. 請求項２〜請求項６のいずれかに記載の情報蓄積装置において、
    前記圧縮手段は、前記時系列情報記憶手段における空き領域がある値以下になったと認識されたとき、または、前記時系列情報記憶手段における記憶量がある値以上になったと認識されたときに、前記圧縮処理を実行することを特徴とする情報蓄積装置。
  10. 請求項２〜請求項６のいずれかに記載の情報蓄積装置において、
    前記条件一致区間検出手段は、前記音声情報において、音声の特定の発信者または発信者の交替を検出し、その検出結果に基づいて前記条件一致区間の開始点または終了点を検出することを特徴とする情報蓄積装置。
  11. 少なくとも複数のユーザが共用で参照する共用入力装置と、各ユーザが各個に参照する個人用入力装置とを含み、前記共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかの入力状況を特定可能の状態で前記ユーザ入力情報を出力する複数のユーザ入力装置からの前記ユーザ入力情報を受けるユーザ入力情報入力手段と、
    前記ユーザ入力情報入力手段から入力された前記ユーザ入力情報を検出するユーザ入力情報検出手段と、
    前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報が、少なくとも前記共用入力装置からのユーザ入力情報か、前記個人用入力装置からのユーザ入力情報かの入力状況を、それぞれ特定する機能を備えるユーザ入力状況特定手段と、
    前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、このユーザ入力情報の入力時間に関する情報と、このユーザ入力情報に関して前記ユーザ入力状況特定手段で特定された前記入力状況とを記録するユーザ入力情報記録手段と、
    音声情報または画像情報の時系列情報を入力するための時系列情報入力手段と、
    前記時系列情報入力手段から入力された前記音声情報または前記画像情報を記憶する時系列情報記録手段と、
    前記ユーザ入力情報記録手段に記録された前記ユーザ入力情報を表示する表示手段と、
    前記表示手段により表示された前記ユーザ入力情報のうちの一つを選択指示する指定手段と、
    前記時系列情報入力手段からの前記音声情報または前記画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段と、
    前記指定手段により指定された前記ユーザ入力情報の、少なくとも、入力時間に関する情報と、前記入力状況と、前記条件一致区間の情報とに基づいて、前記時系列情報入力手段よりの前記音声情報または画像情報の内の、特定の区間を決定するものであって、前記ユーザ入力状況特定手段で特定された入力状況が、前記共用入力装置か前記個人用入力装置かで異なる時系列情報の区間を決定する特定区間決定手段と、
    前記時系列情報記録部に記録されている前記時系列情報のうちの、前記特定区間決定手段により決定された特定の区間に対応する前記時系列情報を再生する時系列情報再生手段と、
    を備えることを特徴とする情報蓄積再生装置。
  12. 少なくとも複数のユーザが共用で参照する共用入力装置と、各ユーザが各個に参照する個人用入力装置とを含み、前記共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかの入力状況を特定可能の状態で前記ユーザ入力情報を出力する複数のユーザ入力装置からの前記ユーザ入力情報を受けるユーザ入力情報入力手段と、
    前記ユーザ入力情報入力手段から入力された前記ユーザ入力情報を検出するユーザ入力情報検出手段と、
    前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報が、少なくとも前記共用入力装置からのユーザ入力情報か、前記個人用入力装置からのユーザ入力情報かの入力状況を、それぞれ特定する機能を備えるユーザ入力状況特定手段と、
    前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、このユーザ入力情報の入力時間に関する情報と、このユーザ入力情報に関して前記ユーザ入力状況特定手段で特定された前記入力状況とを記録するユーザ入力情報記録手段と、
    音声情報または画像情報の時系列情報を入力するための時系列情報入力手段と、
    前記時系列情報入力手段からの前記音声情報または前記画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段と、
    前記時系列情報入力手段から入力された前記音声情報または前記画像情報と、前記条件一致区間検出手段で検出された条件一致区間の情報とを記憶する時系列情報記録手段と、
    前記ユーザ入力情報記録手段に記録された前記ユーザ入力情報を表示する表示手段と、
    前記表示手段により表示された前記ユーザ入力情報のうちの一つを選択指示する指定手段と、
    前記指定手段により指定された前記ユーザ入力情報の、少なくとも、前記入力時間に関する情報と、前記入力状況とに基づいて、前記時系列情報入力手段よりの前記音声情報または画像情報の内の、特定の区間を決定するものであって、前記ユーザ入力状況特定手段で特定された入力状況が、前記共用入力装置か前記個人用入力装置かで異なる時系列情報の区間を決定する特定区間決定手段と、
    前記時系列情報記録部に記録されている前記時系列情報のうちの、前記特定区間決定手段により決定された特定の区間内の前記条件一致区間を示すチャートを、前記表示手段に表示するために生成するチャート生成手段と、
    を備えることを特徴とする情報蓄積再生装置。
  13. 請求項１１または請求項１２に記載の情報蓄積再生装置において、
    前記時系列情報記録手段に記録されている前記時系列情報を再生し、前記ユーザ入力情報記録手段に記録されている前記ユーザ入力情報のそれぞれに対応する前記時系列情報の特定区間をユーザが設定する手段を設け、
    前記特定区間決定手段は、前記ユーザにより設定された前記時系列情報の特定区間の前記ユーザ入力情報の入力時間に対する相対時間と、前記ユーザ入力情報の検出時点における前記入力状況との関係の確率情報を保持すると共に、指定された確率に基づいて、前記入力状況に応じた前記特定の区間を決定することを特徴とする情報蓄積再生装置。
  14. 少なくとも複数のユーザが共用で参照する共用入力装置と、各ユーザが各個に参照する個人用入力装置とを含み、前記共用入力装置または前記個人用入力装置のいずれからのユーザ入力情報であるかの入力状況を特定可能の状態で前記ユーザ入力情報を出力する複数のユーザ入力装置からの前記ユーザ入力情報を受けるユーザ入力情報入力手段と、
    前記ユーザ入力情報入力手段から入力された前記ユーザ入力情報を検出するユーザ入力情報検出手段と、
    前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報が、少なくとも前記共用入力装置からのユーザ入力情報か、前記個人用入力装置からのユーザ入力情報かの入力状況を、それぞれ特定する機能を備えるユーザ入力状況特定手段と、
    前記ユーザ入力情報検出手段で検出された前記ユーザ入力情報と、このユーザ入力情報の入力時間に関する情報と、このユーザ入力情報に関して前記ユーザ入力状況特定手段で特定された前記入力状況とを記録するユーザ入力情報記録手段と、
    音声情報または画像情報の時系列情報を入力するための時系列情報入力手段と、
    前記時系列情報入力手段からの前記音声情報または前記画像情報が、予め設定された所定の条件に合致する区間を検出する条件一致区間検出手段と、
    前記時系列情報入力手段から入力された前記音声情報または前記画像情報を記憶する時系列情報記録手段と、
    前記ユーザ入力情報記録手段に記録された前記ユーザ入力情報を表示する表示手段と、
    前記表示手段により表示された前記ユーザ入力情報のうちの一つを選択指示する指定手段と、
    前記指定手段により指定された前記ユーザ入力情報の、少なくとも、入力時間に関する情報と、前記入力状況と、前記条件一致区間の情報とに基づいて、前記時系列情報入力手段よりの前記音声情報または画像情報の内の、特定の区間を決定するものであって、前記ユーザ入力状況特定手段で特定された入力状況が、前記共用入力装置か前記個人用入力装置かで異なる時系列情報の区間を決定する特定区間決定手段と、
    前記特定区間決定手段により特定された区間を、前記指定手段で選択指示された前記ユーザ入力情報の直前のユーザ入力情報の入力時刻に基づいて補正する特定区間補正手段と、
    前記時系列情報記録部に記録されている前記時系列情報のうちの、前記特定区間決定手段により決定された特定の区間に対応する前記時系列情報を再生する時系列情報再生手段と、
    を備えることを特徴とする情報蓄積再生装置。
  15. 請求項１４に記載の情報蓄積再生装置において、
    前記特定区間決定手段により決定された前記特定区間の時系列情報を視覚的に表現するチャートを作成するチャート作成手段を具備することを特徴とする情報蓄積再生装置。
JP2007324422A 1997-07-24 2007-12-17 時系列情報の特定区間決定装置、情報蓄積装置および情報蓄積再生装置 Expired - Fee Related JP4240235B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007324422A JP4240235B2 (ja) 1997-07-24 2007-12-17 時系列情報の特定区間決定装置、情報蓄積装置および情報蓄積再生装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP19901297 1997-07-24
JP23477397 1997-08-29
JP2007324422A JP4240235B2 (ja) 1997-07-24 2007-12-17 時系列情報の特定区間決定装置、情報蓄積装置および情報蓄積再生装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP04749198A Division JP4096132B2 (ja) 1997-07-24 1998-02-27 時系列情報の特定区間決定装置、情報蓄積装置および情報蓄積再生装置

Publications (2)

Publication Number Publication Date
JP2008148328A true JP2008148328A (ja) 2008-06-26
JP4240235B2 JP4240235B2 (ja) 2009-03-18

Family

ID=39607921

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007324422A Expired - Fee Related JP4240235B2 (ja) 1997-07-24 2007-12-17 時系列情報の特定区間決定装置、情報蓄積装置および情報蓄積再生装置

Country Status (1)

Country Link
JP (1) JP4240235B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010177783A (ja) * 2009-01-27 2010-08-12 Mitsubishi Electric Corp 映像音声記録装置
JP2011019032A (ja) * 2009-07-08 2011-01-27 Nec Corp コミュニケーションプレイバックシステム、コミュニケーションプレイバック方法、プログラム
JP2011135390A (ja) * 2009-12-25 2011-07-07 Nec Corp 会議記録要約システム、会議記録要約方法及びプログラム
WO2013005282A1 (ja) * 2011-07-01 2013-01-10 Nakamura Yoshikazu 会議用端末装置、及び、会議システム
JP2015233337A (ja) * 2011-12-26 2015-12-24 キヤノンマーケティングジャパン株式会社 会議サーバ、会議システム、会議サーバの制御方法、プログラムおよび記録媒体
US10025453B2 (en) 2010-10-26 2018-07-17 Ricoh Company, Ltd. Screen sharing system, screen sharing method, and storage medium
US20190156509A1 (en) * 2016-03-30 2019-05-23 Nec Corporation Analysis apparatus, analysis method, and storage medium
JP2019128967A (ja) * 2018-01-19 2019-08-01 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、および情報処理プログラム
JP2020135403A (ja) * 2019-02-19 2020-08-31 株式会社リコー 電子黒板、電子黒板の議事録作成方法、及び電子黒板システム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010177783A (ja) * 2009-01-27 2010-08-12 Mitsubishi Electric Corp 映像音声記録装置
JP2011019032A (ja) * 2009-07-08 2011-01-27 Nec Corp コミュニケーションプレイバックシステム、コミュニケーションプレイバック方法、プログラム
JP2011135390A (ja) * 2009-12-25 2011-07-07 Nec Corp 会議記録要約システム、会議記録要約方法及びプログラム
US10489101B2 (en) 2010-10-26 2019-11-26 Ricoh Company, Ltd. Screen sharing system, screen sharing method, and storage medium
US10025453B2 (en) 2010-10-26 2018-07-17 Ricoh Company, Ltd. Screen sharing system, screen sharing method, and storage medium
US10255025B2 (en) 2010-10-26 2019-04-09 Ricoh Company, Ltd. Screen sharing system, screen sharing method, and storage medium
US10896019B2 (en) 2010-10-26 2021-01-19 Ricoh Company, Ltd. Screen sharing system, screen sharing method, and storage medium
WO2013005282A1 (ja) * 2011-07-01 2013-01-10 Nakamura Yoshikazu 会議用端末装置、及び、会議システム
JP2015233337A (ja) * 2011-12-26 2015-12-24 キヤノンマーケティングジャパン株式会社 会議サーバ、会議システム、会議サーバの制御方法、プログラムおよび記録媒体
US20190156509A1 (en) * 2016-03-30 2019-05-23 Nec Corporation Analysis apparatus, analysis method, and storage medium
JP2019128967A (ja) * 2018-01-19 2019-08-01 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、および情報処理プログラム
JP7114908B2 (ja) 2018-01-19 2022-08-09 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、および情報処理プログラム
JP2020135403A (ja) * 2019-02-19 2020-08-31 株式会社リコー 電子黒板、電子黒板の議事録作成方法、及び電子黒板システム

Also Published As

Publication number Publication date
JP4240235B2 (ja) 2009-03-18

Similar Documents

Publication Publication Date Title
JP3733984B2 (ja) 情報蓄積装置および情報蓄積方法
JP4240235B2 (ja) 時系列情報の特定区間決定装置、情報蓄積装置および情報蓄積再生装置
JP4096132B2 (ja) 時系列情報の特定区間決定装置、情報蓄積装置および情報蓄積再生装置
JP3230569B2 (ja) 情報蓄積装置、情報蓄積方法および情報蓄積再生装置
JP3758754B2 (ja) 情報蓄積再生装置および情報蓄積再生方法
JP3526067B2 (ja) 再生装置及び再生方法
JP3143125B2 (ja) マルチメディア・イベントを記録再生するシステムおよび方法
JP4439462B2 (ja) 情報提示方法、情報提示装置及び情報提示プログラム
JP3185505B2 (ja) 会議録作成支援装置
US10565246B2 (en) Information processing apparatus, information processing method, and information processing system
JP7061860B2 (ja) ダイジェストデータ生成装置、ダイジェストデータ再生装置、ダイジェストデータ生成システム、ダイジェストデータ生成方法及びプログラム
US20070165105A1 (en) Multimedia conference recording and manipulation interface
JP2005267279A (ja) 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
US6724918B1 (en) System and method for indexing, accessing and retrieving audio/video with concurrent sketch activity
JP2001256335A (ja) 会議記録システム
JP2004343756A5 (ja)
JPH07219970A (ja) 加速フォーマットでの再生方法及び再生装置
JP2007159098A (ja) コンテンツ提示装置およびコンテンツ提示プログラム
JP2006148730A (ja) 会議システム及び会議情報提供方法
JP2004350134A (ja) 多地点電子会議システムにおける会議概要把握支援方法、多地点電子会議システム用サーバ、会議概要把握支援プログラム、および該プログラムを記録した記録媒体
JP2004173058A (ja) 会議情報可視化方法、装置、プログラムおよび該プログラムを記録した記録媒体
JP2007066018A (ja) 情報処理方法及び情報処理装置
JP3533924B2 (ja) 半同期型電子会議装置
KR20070090535A (ko) 화상 회의 기록 방법 및 이에 적합한 화상 회의 단말기
JP3960646B2 (ja) 情報蓄積装置および情報蓄積方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081203

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081216

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140109

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees