JP3526067B2 - 再生装置及び再生方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は再生装置及び方法に関す
る。

【０００２】

【従来の技術】従来、打ち合わせ・講演・電話による会
話等、単数または複数の人が話を行なう場面（以下総称
し、会議と呼ぶ）の記憶方式として、次のような方式が
提案されている。

【０００３】一つは、会議の録音・録画、または全文の
筆記である。この方式は、会議の一部始終を記録するこ
とにより、細大漏らさず情報の記録ができるという利点
がある反面、会議の概要を一瞥する手段がなく、欲しい
情報を瞬時に選択することができないという問題点があ
った。

【０００４】もう一つは、要点のみの筆記による記録で
ある。この方式では、記録を一瞥できるため情報の選択
が容易であるという利点がある反面、限られた筆記より
会議の詳細を再現することは困難であるという問題点が
あった。特に、ニュアンス・雰囲気・語調・口調等の情
報は文字や図等で記述できないこと、話の展開を保存し
ながら記述するのが一般に難しいことから、要点のみの
筆記は会議の詳細を後で把握するためには不十分であ
る。また、記述をする内容の選択は記録者に委ねられる
ため、重要なポイントを落したり、記録者によって異な
る点を重要なポイントとして選択する恐れがあるという
問題点もあった。さらに、会議の参加者が筆記をする場
合、筆記に意識をとられ会議への参加が散慢となるとい
う不都合もあった。

【０００５】もう一つは、会議の録音・録画と要点の筆
記を併用する方式である。しかし、筆記による記録とそ
の時の会議の場面とを結びつける手段がないため、詳細
を再現するには、やはり時間をかけて録音・録画したデ
ータを再生し、再現したい部分を探し出さなければなら
ないという問題点があった。

【０００６】一般に会議に限らず、音声、動画など時間
的に変化する信号を再生する場合には、記録されている
信号を一瞥する手段がないため、必要な部位を選択的に
再生することができない。このため、最初から全てを再
生しなければならなかったり、高速再生により必要な部
位を検索しなければならなかったりするという問題があ
る。

【０００７】

【発明が解決しようとする課題】本発明は、時間的に変
化するため一瞥することができない信号から、再生すべ
き部位を容易に選択することができる再生装置及び方法
を提供することを目的とする。

【０００８】本発明にかかる再生装置は、順次入力され
る音声または画像信号を時刻情報と共に記憶する第１の
記憶手段と、前記音声または画像信号の入力に伴い入力
される文字図形情報を時刻情報とを対応付けて記憶する
第２の記憶手段と、テキストまたはイメージ情報を記憶
する第３の記憶手段と、前記第２の記憶手段に記憶され
た文字図形情報と前記第３の記憶手段に記憶されたテキ
ストまたはイメージ情報とを重ね合わせて表示する表示
手段と、この表示手段に表示された文字図形情報を指定
する指定手段と、この指定手段により指定された文字図
形情報に対応する時刻情報に基づいて前記第１の記憶手
段に記憶された音声または画像信号を再生する再生手段
とを具備することを特徴とする。

【０００９】また本発明に係る再生装置は、順次入力さ
れる音声または画像信号を時刻情報と共に記憶する第１
の記憶手段と、前記音声または画像信号の入力に伴い入
力される文字図形情報を時刻及び画面上の位置情報と対
応付けて記憶する第２の記憶手段と、テキストまたはイ
メージ情報を記憶する第３の記憶手段と、前記第２の記
憶手段に記憶された文字図形情報と前記第３の記憶手段
に記憶されたテキストまたはイメージ情報とを重ね合わ
せて表示する表示手段と、この表示手段の画面上の位置
を指定する指定手段と、この指定手段により指定された
画面上の位置に対応する前記文字図形情報の時刻情報に
基づいて前記第１の記憶手段に記憶された音声または画
像信号の所定の範囲を再生する再生手段とを具備するこ
とを特徴とする。

【００１０】また本発明に係る再生方法は、順次入力さ
れる音声または画像信号を時刻情報と共に記憶する第１
ステップと、前記音声または画像信号の入力に伴い入力
される文字図形情報を時刻情報とを対応付けて記憶する
第２ステップと、前記文字図形情報と記憶手段に記憶さ
れたテキストまたはイメージ情報とを重ね合わせて表示
する第３ステップと、表示された文字図形情報を指定す
る第４ステップと、指定された文字図形情報に対応する
時刻情報に基づいて前記音声または画像信号を再生する
第５ステップとを具備することを特徴とする。また本発
明に係る再生方法は、順次入力される音声または画像信
号を時刻情報と共に記憶する第１ステップと、前記音声
または画像信号の入力に伴い入力される文字図形情報を
時刻及び画面上の位置情報と対応付けて記憶する第２ス
テップと、前記文字図形情報と記憶手段に記憶されたテ
キストまたはイメージ情報とを重ね合わせて表示する第
３ステップと、表示された文字図形情報の画面上の位置
を指定する第４ステップと、指定された画面上の位置に
対応する前記文字図形情報の時刻情報に基づいて前記音
声または画像信号の所定の範囲を再生する第５ステップ
とを具備することを特徴とする。

【００１１】ここで、点（入力が行われる画面や紙等の
位置に関連付けられるデータ）、線（点の集合）、図形
（オブジェクト）、これらの集合、ストローク情報、文
字コード、文字コードの集合等の文字図形情報を入力し
たという情報、これらを削除したという情報、これらを
指示したという情報、これらを音声または画像の再生の
ために指定したという情報、これらを編集したという情
報、ページ替えを行ったという情報、入力位置がウィン
ドウ間を移動したという情報、入力を行ったユーザが誰
かという情報等、入力すべき音声または画像が存在する
間にユーザが計算処理能力を持つ装置に対して行った入
力は、何れも本発明で言う「入力情報」に相当する また、音声または画像信号が時系列データであり、時刻
の進行と共に記憶されていくことから、入力情報が入力
された時刻に関する情報は、本発明で言う「特定情報」
に相当する。さらに、音声または画像信号が記憶された
記憶手段中の位置（いわゆるアドレス情報）も、本発明
で言う「特定情報」に相当する。

【００１２】

【作用】本発明によれば、録音、録画等の時間的に変化
する信号の記憶位置と、ユーザにより順次入力された文
字図形情報とを結び付けて記憶することにより、録音ま
たは録画信号の途中部分に対して意味のある手がかりを
与え、この手がかりを通して所望の部分の信号を選択的
に再生することが可能となる。すなわち、ユーザにより
入力される文字図形情報が、録音または録画に比して全
体を容易に一瞥することができることを活かして、この
入力情報を用いて再生したい音声、動画等の信号の途中
の一部を指定できるようにし、容易に一部再生を実現し
ている。この際、音声または画像信号を加工して記録す
る必要はなく、ユーザ入力の側に音声または画像信号の
部位を特定できる情報を加えておくため、ユーザ入力と
録音または録画の連携が簡便に実現できる。また、音声
または画像信号の入力の進行と共にユーザによる入力が
行われていく場合の他に、録音、録画等を再生しながら
ユーザによる入力が行われていく場合にも、録音または
録音信号の途中部分を再生するための意味のある手がか
りを残すことが可能になる。

【００１３】

【実施例】以下、図面を参照して、本発明の実施例につ
いて説明する。 （実施例１）図１は、本発明の実施例１の全体の構成を
示す図である。本実施例に係る装置のうちの記録装置
は、マイク／ビデオカメラ等から入力される信号を記録
する音声／画像信号記録部１、現在の時刻を発生し文字
図形情報対時刻記憶部４に文字図形情報が入力された時
刻を知らせる時刻発生部２、ペン・キーボード・マウス
等から入力される文字図形情報を記憶する文字図形情報
記憶部３、入力され記憶された文字図形情報とこの文字
図形情報が入力された時刻との対応を記憶する文字図形
情報対時刻記憶部４から成る。文字図形情報記憶部３
は、ペン等から入力された情報をそのままイメージ情報
として記憶しても良いし、あるいは入力された情報をグ
ルーピングあるいは認識部１０を介してオブジェクト化
あるいはコード化した情報を記憶しても良い。また、上
記の時刻は、絶対時刻でも、入力開始時からの相対時間
でも、相対時間をサンプリングしたものでも良い。

【００１４】再生装置は、記録された信号を再生する音
声／画像信号再生部５、記憶された文字図形情報を表示
する表示部８、表示部８を制御する表示制御部９、ある
文字図形情報が入力された近辺の音声／画像を再現した
い場合に表示部８に表示されたその文字図形情報を指定
する信号再生位置指定部６、この信号再生位置指定部６
の指定に基づきその文字図形情報に対応する時刻を用い
て音声／画像信号の再生を制御する再生制御部７から成
る。表示部８は記録の際に用いた表示装置と兼用しても
良いし、記録の際にはタブレットを用い、再生の際には
ＣＲＴを用いる等別個の装置を利用しても良い。同様
に、記録装置と再生装置が一体化されていても良いし、
記録装置は記録に必要な機能のみを有し、再生装置は再
生に必要な機能のみを有するようにしても良い。要する
に、文字図形情報及び文字図形情報と時刻との対応を記
憶した媒体と、音声／画像信号を記録した媒体を、記録
装置と再生装置が共有できれば良い。

【００１５】説明の便宜上、以下では、ペンと録音との
組合せで説明する。文字図形情報入力用機器や信号再生
位置指定用機器としては、ペンの他にキーボード、マウ
ス等のポインティングデバイスやトラックボール、タッ
チパネルなど、様々な機器を利用することができる。ま
た、信号としては音声の他に動画像も含まれるものとす
る。

【００１６】本実施例装置の動作は、記録時と再生時と
に分けて説明すると明確である。図２は、記録時の本実
施例装置の動作を説明する図である。まず、会議時の音
声信号が音声／動画信号記録部１にて記録される。文字
図形情報記憶部３は、入力・時刻対応表と画面位置・エ
ントリ対応表とから成る。ペンが押下げられてペン入力
が発生すると、その時の時刻とペンストロークを示す一
連の座標点列とが、入力・時刻対応表に記録される
（Ａ）。同時に、入力・時刻対応表のエントリと画面上
の表示位置との対応関係が、画面位置・エントリ対応表
に書き込まれる（Ｃ）。この時ペン入力された情報は表
示装置に表示され、また再生時には表示部８に送られ画
面上に表示される（Ｂ）。

【００１７】図３は、入力・時刻対応表の一例を示す図
である。新たな入力が発生すると、エントリレジスタが
指し示すメモリ中の位置から、時刻と属性、座標点列が
書き込まれていく。入力が行われていくにつれて図３の
入力・時刻対応表は、下の方向に伸びていくものとす
る。

【００１８】エントリレジスタは、入力・時刻対応表の
次に記入すべき領域の先頭のメモリアドレスを指すもの
とする。属性フィールドには、入力の種類に応じてペン
入力（ペンストローク）、キーボード入力（文字）、図
形オブジェクト等の識別子を記入する。さらにこのフィ
ールドには後述の移動、消去などの属性も記入される。
これは、例えば、各々の属性に対し固有のコードを予め
定めておき、入力の種類を検知してこれに対応するコー
ドを記入することにより実現する。

【００１９】座標点列は、Δt 秒ごとにサンプリングさ
れたペン先の位置であるとすると、(x0,y0) が時刻T で
の座標、(x1,y1) が時刻T+Δt での座標、・・・、（ｘ
ｎ，ｙｎ）が時刻（Ｔ＋ｎΔt)での座標である。

【００２０】一連の入力を示す座標点列の長さは不定で
あるため、座標点列の終端には終端記号を書き込み、他
のストロークの情報と区別できるようにする。終端記号
としては、座標値として存在し得ない値を用いる。例え
ば、座標の最大値よりも大きな値や最小値よりも小さな
値などである。

【００２１】図４の（Ａ）のように、ペン入力を消去す
る仮想的な「消しゴム」が用いられた場合、入力・時刻
対応表中の属性フィールドには消しゴムの識別子を記入
する。ストロークとして検出される座標点列がペン入力
によるものか「消しゴム」によるものかの識別は、ペン
にそれぞれのモードを示すボタンを設け、これをユーザ
が押すことにより行っても良いし、ペンに自己の姿勢を
認識するセンサを設け、通常姿勢のときはペン入力のモ
ードであり天地が逆になった姿勢の時は「消しゴム」の
モードであるとしても良いし、表示装置側にそれぞれの
モードを示すアイコンを設け、これをユーザがクリック
することにより行っても良い。このように識別された入
力の種類が属性フィールドに記入されるため、記憶され
たストロークがペンで筆記されたものなのか、消去する
ための消しゴムの動きなのかを区別して再生することが
できる。

【００２２】ペンで筆記しながらディスカッションを進
めるような場合、筆記するだけでなく、一旦筆記された
文字や図などを、「ここのところが問題ですね」等と言
いながら単にペン先で指し示すだけの場合もある。図４
の（Ｂ）は、このようにペン先で指しただけの場合の表
現例である。この場合も、検出される座標点（列）がペ
ン入力によるものか「指示しただけ」なのかの識別を上
記と同様な手法で行い、入力・時刻対応表中の属性フィ
ールドに「ペン指示」のような情報を記入する。このよ
うな入力も、文字図形情報の一つと解釈する。

【００２３】後述するように記録した音声／画像信号は
部分的に再生することができ、会議中に記録を行いなが
らこの再生をすることができるが、この再生という行為
も広義の文字図形情報の一つと解釈する。再生する場合
は、例えば「ここを再生しながら考えてみましょう」等
と言いながら既に表示されている文字や図を指定する
が、この指定された再生位置を、再生位置を指定した時
刻とこの入力が「再生」という種類であることを示す情
報と組にして、図４の（Ｃ）のように入力・時刻対応表
に記入する。検出される座標点（列）が「再生」のため
に入力されたものであるか否かの識別は、後述するモー
ド切り替えを検出することにより行う。

【００２４】図５(c) は、画面位置・エントリ対応表の
一構造例を示す図である。表示装置の画面は、図５(a)
に示すような N*M のメッシュに区切られており、画面
位置・エントリ対応表は、このメッシュの各位置に対応
してentry 部とnext部が記入できるようになっており、
N*M 個の長さを持っている。初期状態では、entry
部、next部ともに全て nil で埋めておく。

【００２５】ペン入力が開始されたら、入力を示す座標
点列の各点ごとに、画面上のメッシュ位置を求める。例
えば、ペン入力の座標値の範囲が X*Y である場合、ペ
ン入力の座標値(x,y) に対するメッシュ位置(n,m) は、 n=x*N/X, m=y*M/Y の関係にある。図５(b) は図３と同様な入力・時刻対応
表である。(c) の entry部に記入された値を(b) のエン
トリレジスタに代入することにより、画面位置と時刻と
が対応づけられる。

【００２６】メッシュ位置(n,m) より、画面位置・エン
トリ対応表の nm の欄を引き、entry 部が nil であれ
ば、図６(a) に示すように、入力・時刻対応表のエント
リを書き込む。入力・時刻対応表のエントリポイント値
は、入力が開始された時点での、エントリレジスタの値
である。

【００２７】もし、entry 部が既に nil ではなく他の
値が埋まっていたら、図６(b) に示すように next 部か
らリスト構造を辿ってリストの最後部に、入力・時刻対
応表のエントリを追加する。これにより、同一メッシュ
内に複数のストロークが存在する場合や、一旦筆記した
ものを後からペン先で指示した場合など、同一メッシュ
に複数の時点の情報が対応する場合であっても、図６
(c) に示すようにこれらを独立した入力情報として取り
扱うことができる。

【００２８】図７は以上述べてきた、入力・時刻対応
表、画面位置・エントリ対応表、画面上の位置、および
録音データ（時間軸の途中）への対応付けの関係を図示
したものである。

【００２９】図８(a) は、再生時の本実施例装置の動作
を説明する図である。音声／動画信号記録部１に記録さ
れた信号は再生部５で再生されるが、その際、記録した
信号を先頭からのみ逐次的に再生するのではなく、再生
制御部７より指定された任意の一部のみを再生可能であ
る。

【００３０】まず、文字図形情報記憶部３の文字図形情
報が表示制御部９を介して表示部８に表示され、表示部
８の画面上に表示された情報のうち再生を望む箇所を、
ユーザが信号再生位置指定部６を用いてポイントするこ
とにより指定する。ここで指定された画面上の位置が文
字図形情報記憶部３に与えられる（Ａ）。

【００３１】次に、この与えられた位置を基に画面位置
・エントリ対応表の該当箇所を検索することにより、入
力・時刻対応表に記憶される該当文字図形情報が選択さ
れる（Ｂ）。そして、この該当文字図形情報の入力が発
生した時刻を読み出し、再生制御部７に送る（Ｃ）。再
生制御部７では、得られた時刻から録音された信号が再
生されるよう、音声／画像信号再生部５を制御する
（Ｄ）。

【００３２】結果として、図８(b) に示すように、画面
に表示されたペン筆跡のうちの、任意を箇所をポイント
することにより、それが入力された時点の録音が再生さ
れる。この場合のポイントに用いる信号再生位置指定部
６としては、入力用のペンと兼用することもできるし、
マウスやトラックボール、あるいはカーソルキー等を用
いることもできる。また、指で押したり、ペンで押した
りするタッチパネルを利用することもできる。

【００３３】また、入力・時刻対応表に、ある程度まと
まった座標点列に対して１つの時刻が対応するように記
入が行われており、画面位置・エントリ対応表にはこの
座標点列に対し同じ入力・時刻対応表中のエントリが記
入されているため、再生位置指定の際にその座標点列の
うちのいずれが指定されても、同じ録音部分を再生する
ことができる。さらに、画面位置・エントリ対応表作成
の際に、文字図形情報の入力がなされたメッシュ位置そ
のものだけでなく、その周辺のメッシュ位置に対しても
同じ入力・時刻対応表中のエントリを記入しておけば、
後で再生を指示するときに、少々ずれた点を指示して
も、所望の録音部分を再生することができる。

【００３４】図４（Ｂ）のようにペン先で指した場合
や、図４（Ｃ）のように再生のために位置の指定をした
場合、これらの文字図形情報はペン入力の筆跡として画
面上に表れてはこないため、例えばその位置にペン指示
を行った場所であることを示すマークや再生した場所で
あることを示すマークを、文字図形情報を表示制御部９
を介して表示部８に表示する段階で発生し、ペン筆跡と
共に表示する。

【００３５】また、本実施例では、文字図形情報がない
状態で、文字図形情報が入力される場合を示したが、本
発明の適用はその例に留まらない。例えば、初期状態で
いくらかの文字図形情報が既に入力されており、それに
追加変更するような場合も本発明の範囲に含まれる。そ
のような場合は、録音の再生のために位置の指定を行う
対象となり得る文字図形情報は、初期状態からの変位で
ある文字図形情報のみとなる。

【００３６】図９は、図１中の１、５に対応する、任意
の時点から再生可能な録音装置の一実現例のブロック図
である。本録音装置は、RAM と、RAM にアドレスを供給
するカウンタ、およびカウンタにクロックを供給するプ
ログラマブルディバイダより成る。

【００３７】カウンタは、０以外の初期値を設定可能で
あるとする。録音時には、カウンタをインクリメントし
ながら、データをRAM に書き込んでゆく。再生時には、
まず所望の開始時点を初期値としてカウンタに設定す
る。しかる後、カウンタをインクリメントしながら、RA
M からデータを読み出してゆく。従って、カウンタの初
期値を任意の値に設定することにより、任意の時点から
再生が可能となり、「早送り」、「巻き戻し」を高速に
実現できる。また、プログラマブルディバイダの値を変
化させることにより、カウンタに供給するクロックの周
波数を変化させ、録音再生時の速度を変化させることが
できる。

【００３８】図１０〜１３は、再生の種々の形態を説明
するための図である。図１０は、入力・時刻対応表から
引いた時刻T より時刻T+TWまでの、固定時間幅TWだけ再
生する場合を説明する図である。再生箇所は図１０に示
すように時刻T から、予め定めた時間 TW までとする場
合の実施例である。

【００３９】図１１は、(a) に示す時間幅 tw をユーザ
が変化させることができる場合を示す。例えば、表示部
８上に(b) に示すようなポップアップウィンドウを表示
し、ユーザが、現在再生している時刻を示すポインタを
見ながら、時間軸上のバーをスライドさせることによ
り、再生時間幅を伸縮できるようにする。

【００４０】図１２は、時刻T から最後までを再生する
場合である。この場合も、例えば表示部８上に図示する
ようなポップアップウィンドウを表示し、ユーザが停止
や巻戻し、早送り等のアイコンをクリックすることによ
り、再生途中でもこれらの指示ができるようにする。

【００４１】図１３は、時刻T よりも少し前の時点から
再生する場合を説明する図である。時刻T より、時間ta
だけ前のT-taから、時間tbだけ後のT+tbまでの時間幅ta
+tbだけ再生する。ta, tbは予め定められていても良い
し、ポップアップウィンドウを表示し、ユーザが時間軸
上のバーをスライドさせることにより決定しても良い。

【００４２】尚、音声／動画信号記録部における信号の
記録形態については、アナログの形式で記録しても良い
し、ディジタルの形式で記録しても良いし、また圧縮し
て記録しても良い。但し、図１０、１１、１３に示すよ
うな再生方式を実施する場合には、信号再生位置から一
定時間を経た信号位置を特定できることが必要である。

【００４３】図１０、１１、１３に示す再生方式では、
再生開始位置より遅い時刻が特定できれば良いから、再
生を開始してから該時間が経過したら再生を終了すれば
良い。図１３に示す再生方式においては、再生開始位置
が信号再生位置指定部６を介して指定される信号位置よ
りも前であるから、再生開始前にその位置を特定しなけ
ればならない。この特定は、単位時間あたりのデータ量
が一定である場合には、該時間と単位時間あたりのデー
タ量の積を求め、これを上記指定された信号位置から引
き算した値を図９のカウンタの初期値として設定するこ
とにより実現される。また、単位時間あたりのデータ量
が可変である場合には、そのコーディング方式が時間に
関する情報を含むような方式であればその情報を用いて
実現し、そうでなければ記録・圧縮の際に信号の位置と
時刻を示す情報とを適当な間隔で結び付けておくことに
より実現する。

【００４４】本記録再生装置の再生時において、画面に
表示された筆記履歴のうちの任意の箇所をポイントする
ことにより、それが入力された時点の録音が再生される
仕組みについては、上記したように、図８を用いて説明
した。図１４〜１８は、再生時における、図８とは別の
種々の画面表示の様態を説明するための図である。

【００４５】図１４は、画面を一旦消去し、録音の再生
と共に筆記履歴を画面上に実時間で再現させてゆく場合
である。この場合、信号再生部５における再生と同期さ
せて、入力・時刻対応表に記録されたストローク情報
を、発生時刻の早い順に表示部８の画面上にプロットし
てゆくことにより、筆記履歴を画面上に再現する。図１
５は、この時の表示制御部９の動作を示すフローチャー
トである。入力・時刻対応表に記載されている時刻は、
録音開始時刻を０として記載されているものと仮定して
いるが、実時間の場合は、記載されている時刻から録音
開始時刻を引いた差分を時刻T と考えれば良い。この場
合も、ペン入力による筆跡を再現するだけではなく、入
力・時刻対応表中の属性フィールドを参照して、ペン指
示を行った場所であることを示すマークや再生した場所
であることを示すマークを発生し、画面上の該当位置に
表示すると効果的である。

【００４６】図１６は、画面を一旦消去し、録音の再生
は行なわずに筆記履歴のみを画面上に再現する場合であ
る。この場合、表示制御部９において、再現していく速
度を以下のように変化させる。すなわち、入力・時刻対
応表に記録された時刻情報の通りに再現するのではな
く、その順序関係だけは守って速度を上げて入力・時刻
対応表中の座標点列を画面上へプロットしていくのであ
る。図１７は、この時の表示制御部９の動作を示すフロ
ーチャートである。

【００４７】そして、例えば画面表示を「早送り」し、
所望の箇所で止めて音を再生する。これは、議事録では
なく、ブレインストーミングを行なった際のメモや、打
ち合せをしながら添削した書類のように、後で文字図形
情報の全体を一度に見ても筆記の順序を明確に思い出す
ことが困難である場合に有効である。つまり、画面表示
の「早送り」により、ユーザが会議の進行状況を思い出
したところで「早送り」を止め、図８で説明した方法に
より録音を再生したい部分を画面上で指定する。これに
より、連続した録音のうちの所望の部分を再生すること
ができる。この方式はまた、書いたり消したりを頻繁に
繰り返しながら取られたメモを参照する場合にも、その
過程を表示した上で録音の再生位置特定を行えるため有
効である。

【００４８】図１８は、図１４と類似な再生形態である
が、画面の消去は行なわない場合を説明する図である。
初期状態で画面上には文字図形情報記憶部３に記憶され
た文字図形情報が表示されており、録音の再生と同期し
て画面上の対応箇所をカーソルが移動してゆくようにす
る。カーソルとしては、枠、ハイライティング、反転、
アンダーライン、色付け、等、種々のものがある。これ
は、録音してある音の再生に従って、入力・時刻対応表
をたどり、時刻が Tになったら記録されている座標点列
の情報に従い画面上の表示に修飾を加える処理を表示制
御部９が行うことで実現する。この際、ユーザがカーソ
ルの移動を見易いように、あるまとまった単位（例えば
一連のストローク）で、色を変えたり反転したりする。

【００４９】図１４〜１８では、信号記録を最初から再
生することを想定したが、途中から再生しても良い。た
とえば、時刻を指定してその時点からの信号記録を再生
する場合は、図１５、図１７での現在時刻を０ではなく
与えられた時刻にセットし、入力・時刻対応表で指定時
刻以降の入力記録を検索すれば良い。

【００５０】図１９〜図２０は、再生時に、見えないも
のの表示を行なう場合を説明する図である。図１９は、
ペン先で押しただけの点を表示する場合である。例えば
点の周りを膨らませ、ある適当な大きさの円形領域の色
を変えて表示する。ペン先で押しただけの点であるかど
うかは、入力・時刻対応表中の属性フィールドの記述
（図４（Ｂ）（Ｃ））から判定する。これにより、録音
の再生ができる文字図形情報がこの位置にもあることを
ユーザに示すことができる。

【００５１】図２０は、「消しゴム」の動きを表示する
場合を説明する図である。「消しゴム」の軌跡かペン入
力かは、入力・時刻対応表の属性フィールドの記述（図
４（Ａ））から判る。「消しゴム」の場合には、表に記
録された座標列を中心線とする、図のような幅広の軌跡
を表示する。このとき、ペン入力の筆跡と「消しゴム」
の軌跡とが重なって表示されることになるが、両者の区
別がつくよう、色を変えたり輝度を変えたりして表示す
る。また、初期状態では消された部分には何も表示せ
ず、ユーザからの要求があったときに、「消しゴム」の
軌跡のみを表示したり、消されたペン筆跡を表示したり
するようにしても良い。

【００５２】図２１は、同一メッシュ内に複数の時点の
情報が存在する場合の表示法を説明する図である。図６
で説明したように、同一メッシュ内に複数の時点の情報
が存在するか否かは、画面位置・エントリ対応表の nex
t 部が nilかどうかで判定できる。nil でなければ、複
数の時点の情報がリスト構造に保持されていることにな
る。この場合には、ユーザが信号再生位置指定部６を介
して複数の時点の情報が存在する画面位置を指定した際
に、例えば図２１に示すようなポップアップウィンドウ
を表示する。このポップアップウィンドウには、画面位
置・エントリ対応表のリスト構造をたどることにより、
その画面位置に該当する複数の文字図形情報を入力・時
刻対応表から検索し、それぞれの入力が行われた時刻と
入力の種類とを表示する。ユーザはこの中からどの時点
の録音を再生するかを選択し、選択された文字図形情報
に対応する録音部分が図８の仕組みで再生される。別の
方法としては、ユーザに一覧表から選択させるのではな
く、単純に最後に書いたもの、あるいは最初に書いたも
のに対応する録音部分を再生することとし、ユーザから
要求された場合に他の文字図形情報に対応する録音部分
の再生に切り替えることを繰り返しても良い。

【００５３】以上の説明は、画面が単一ページの場合を
想定して行なってきたが、長時間の会議等では、複数の
画面ページを持つような実施例装置も必要となる。この
ような実施例装置は、入力・時刻対応表と画面位置・エ
ントリ対応表とを複数用意し、各ページごとに対応させ
ることにより実現することができる。また、記録時にペ
ージ替えを行ったときに、そのページの入力・時刻対応
表の最後に、ページ替えを行った時刻とページ替えを示
す識別子とを記入しておき、再生時に次ページが存在す
る場合には画面の右下端等にページ替えのアイコンを表
示し、これをクリックすることによりページ替えを行っ
た時点からの録音を再生する。

【００５４】また、マルチウィンドウを有する計算機で
本実施例のような記録再生を行う場合には、入力された
文字図形情報と録音とを対応付けながら記録していく対
象となるウィンドウは一つでも良いし、所定の複数のウ
ィンドウの中のみとしても良いし、ディスプレィ全体と
考えても良い。後二者の場合には、各ウィンドウに対応
させて入力・時刻対応表及び画面位置・エントリ対応表
を持たせる。

【００５５】また、以上の説明では、画面位置・エント
リ対応表を記録時に作成しておき、再生時にはこれを参
照して表示画面上の文字図形情報と時刻との対応を検索
するが、記録時と再生時で別の表示部（大きさや画素の
異なるもの）を使うこともできる。このためには、再生
時に表示制御部９が入力・時刻対応表の入力を参照する
際に画面位置・エントリ対応表を現在の表示部にあった
(n,m) に書き換える。 尚、編集等の複雑な処理に対
応する必要がない場合は、画面位置・エントリ対応表を
持たず、入力・時刻対応表のみを持って、図２の（Ｃ）
の段階及び図８の（Ｂ）の段階を省略し、図８中入力内
容を表示部８に表示する段階及び（Ａ）の段階で座標値
(x,y) とメッシュ位置 (n,m) の変換を行うだけで良
い。

【００５６】また、以上の説明では、音声／動画信号記
録部１にて音声を記録し、音声／動画信号再生部５にて
音声を再生する場合のみを取り上げたが、必ずしも音声
に留まらない。会議の音声と同時にその時の光景や参加
者の表情などを動画として記録しておき、上記の方式で
再生することもできる。また、音声情報はとらずに、光
景のみを記録再生しても良い。本発明はこういった利用
も含んでいる。

【００５７】上記の実施例では、記録と再生が明示的に
わかれており、記録時には文字図形情報も音声／画像信
号も記憶され、再生時には文字図形情報は記憶されず選
択され、音声／画像信号も記録されず再生のみされる例
を示した。しかしながら本発明の適用例はこの限りでは
ない。

【００５８】例えば、図４（Ｃ）で説明したように、文
字図形情報が選択されて音声／画像信号が再生されてい
る時に同時に音声／画像信号を記録する。この場合に
は、音声／画像信号として、再生されている音声や画像
と、これを再生しながら話したり動いたりした音声や画
像とが、重畳して記録されることになる。そしてこれら
の音声／画像は、図２のメカニズムにより、再生のため
に行われた位置の指定という文字図形情報と対応付けて
記録される。よって、この記録を更に後で、図８のメカ
ニズムにより一部再生することができる。

【００５９】また、信号再生位置を指定するための機器
Ａと文字図形情報入力用機器Ｂのそれぞれを有していれ
ば、機器Ａにより信号再生位置の指定を行い、音声や画
像の再生を行うのと並行して、機器Ｂにより文字図形情
報の入力を行うこともできる。この場合には、再生され
ている音声や画像と再生しながら話したり動いたりした
音声や画像とが重畳した音声／画像信号と、新たに入力
されるペン筆跡等とを、図２のメカニズムにより対応付
けて記録する。

【００６０】ここで、文字図形情報の入力手段と信号再
生位置指定手段を同一の入力機器が兼ねる場合には、入
力機器からの入力を文字図形情報の入力と解釈すべき
か、あるいは信号再生位置の指定と解釈すべきかが明確
になっている必要がある。

【００６１】つまり、入力機器がモードを持っている必
要がある。このモードの設定は例えば、ユーザが明示的
に、ボタンやアイコンにより指定する。また、開始時の
モードが予めデフォルトで決定されていても良いし、図
１０、１１、１３のように一定時間にて再生が停止する
場合には、停止したら自動的に信号再生位置指定モード
から文字図形情報記録モードに切替えても良い。あるい
は、マルチウィンドウで、入力された文字図形情報と録
音とを対応付けながら記録していく対象となるウィンド
ウが複数ある場合に、あるウィンドウの範囲から別のウ
ィンドウの範囲へ、入力機器の示す現在位置が移動した
時に、移動先のウィンドウ内でデフォルトで決定されて
いるモードへ切替えても良い。

【００６２】また、図１で認識部１０を記したが、これ
らは例えば以下のような場合に用いる。ペン入力などに
より文字が入力された場合、必ずしもそれをペンストロ
ークとして記憶しておく方式をとるとは限らない。例え
ば、文字認識を組み合わせて、その結果を文字図形情報
記憶部３に記憶しても良い。この場合、図１に示すよう
に認識部１０にて文字認識を行い、図３ではペンストロ
ークではなく、認識後の文字をコードとして記憶する。
従って、入力・時刻対応表は後述する実施例２の形にな
っていてもかまわない。

【００６３】あるいは、文字図形情報を音声で入力する
場合にも、認識部１０にて音声認識を行い、音声を文字
情報に変換すれば、上記の技術と組み合わせることがで
きる。

【００６４】また、フリーハンドで描かれた円や直線
を、そのままペンストロークとして記憶するのではな
く、認識部１０にて図形認識を行い、図形の種類が
「円」であること、中心の座標、半径等を、入力・時刻
対応表に記入する。さらに、画面位置・エントリ対応表
作成の際に、円で囲まれた部分のメッシュ位置の全てに
対応させて、同じ入力・時刻対応表中のエントリを記入
しておけば、再生の際に円の中のどの点を指示しても、
円で囲むという入力を行った際の音声／画像が再生され
ることになる。

【００６５】これらの場合も、文字図形情報とは別に記
録された音声／動画信号のうちの指定された箇所のみを
効率良く再生することができ、このように認識部を組み
合わせることにより異なる形式の入力媒体に対しても本
発明を適用することができる。 （実施例２）以上述べてきた実施例１では、ぺンにより
入力を与えたが、本発明はペン以外による入力をも包含
する。例えば、キーボード入力の実施例を示す。

【００６６】図２２(a) は、実施例２における入力・時
刻対応表の一構造例を示す図である。新たな文字入力が
発生すると、エントリレジスタが指し示すメモリ中の位
置から、時刻、入力の種類である「文字記入」に相当す
るコード、文字列へのポインタ、先頭文字の開始座標、
最終文字の終了座標を記録する。尚、開始座標、終了座
標は、イメージ画像の中に文字列を埋め込む場合は必要
であるが、テキストエディタのようにコード情報のみを
扱う場合には記憶しなくても良い。ここで、例えば文字
列はテキストバッファに格納され、' ＼０' なるコード
で終了しているものとする。本例では、時刻T に”本発
明は”という文字列が開始座標（ｘ０，ｙ０）、終了座
標（ｘ１，ｙ１） に記入されたことを示す。

【００６７】また、入力された文字コードが削除された
場合には、入力・時刻対応表に、削除が行われた時刻、
「文字削除」なる入力の種類、削除した文字列が格納さ
れたテキストバッファへのポインタ等が記憶されるこ
と、入力された文字コードを単に指示した場合には、入
力・時刻対応表に、指示が行われた時刻、「文字指示」
なる入力の種類、指示した文字列が格納されたテキスト
バッファへのポインタ等が記憶されること、これら削除
や指示が行われた時刻の音声／画像を一部再生できるこ
とは、実施例１と同様である。

【００６８】この場合、文字列と入力時刻が直接対応付
けられるため、画面位置・エントリ対応表は必要ない
が、もし必要な場合には、画面位置・エントリ対応表に
は、図２２(b) に示すような頂点(x0,y0),(x1,y1) で囲
まれる矩形に対応するすべてのメッシュ位置からこのエ
ントリへのポインタを記入すれば良い。また文字を消去
する場合には、図４（Ａ）の曲線の場合と同様に入力・
時刻対応表を構成すれば良い。尚、時刻と対応づける文
字列の単位は一文字でも、一仮名漢字変換単位でも、一
行でも、一文でも、一段落でも良い。また、実施例１と
実施例２のメカニズムを組み合わせることにより、入力
として曲線と文字列の双方を想定するシステムにおいて
も本発明を適用することができる。 （実施例３）上述した実施例１、２では、入力およびそ
の削除のみについて論じてきたが、入力された文字図形
情報に移動、拡大縮小などの加工が加えられるシステム
においても本発明を適用することができる。以下にその
実施例を示す。

【００６９】図２３(a) は、図３に示す例を平行移動し
た場合の実施例である。曲線の点(xs,ys) を(xt,yt) に
平行移動する入力があった場合、図２３(b) のエントリ
（２）に示すように、入力・時刻対応表に、時刻、入力
の種類である「平行移動」に相当するコード、平行移動
させる曲線が記憶されたエントリ（１）へのポインタ、
移動元の座標、移動先の座標を記録する。

【００７０】これに伴い、画面位置・エントリ対応表は
以下のように更新される。画面位置・エントリ対応表を
参照し、点(xs,ys) に対応するメッシュからエントリへ
のポインタを探す。なければ、この点には何も描かれて
いないわけであるから、平行移動は起こらず、画面位置
・エントリ対応表の更新は起こらない。ポインタが１つ
あった場合は、それが移動対象の文字図形情報である。
２つ以上ある場合は、その中から一つを移動対象として
選択する。例えば、最初に入力したものを選択する、最
後に入力したものを選択する、ユーザに対し複数候補が
あることを示し、その中から選択させる、などの方法を
とれば良い。選択したポインタが示すエントリより、こ
の図形の種類や座標を知ることができる。

【００７１】本実施例では、ポインタが指すエントリの
属性が「曲線」の例を取り上げている。この場合は、複
数の点により図形が構成されているので、その各々につ
いて平行移動を行なう必要がある。つまり画面位置・エ
ントリ対応表の(x0,y0),(x1,y1),...,(xn,yn) に対応す
るメッシュの欄(m0,n0),(m1,n1),...,(mn,nn) からエン
トリ（１）へのポインタを削除し、(x0+δx,y0+ δy),
(x1+ δx,y1+ δy),...,(xn+ δx,yn+ δy) に対応す
るメッシュの欄(m0',n0'),(m1',n1'),...,(mn',nn') か
らエントリ（２）へのポインタを追加する。ここでδx=
xt-xs,δy=yt-ysである。そして、エントリ（２）か
ら、エントリ（１）へのポインタをつけておく。これ
は、移動した図形を削除したり、再び移動を行なう場合
を想定したものである。

【００７２】例えば、図１４〜１８に示す再生をする場
合には、表示制御部９では以下のような処理をすれば良
い。表示制御部９は入力・時刻対応表に記憶されている
順にエントリを得て画面上に文字図形情報を再生する
が、エントリ（２）を得るとその属性が「平行移動」で
あることがわかる。エントリのポインタが指す先を辿り
エントリ（１）を得る。エントリ（１）の属性は「曲
線」であるから、エントリ（１）に記述されている座標
の各々に対応する点を消去する。つぎにエントリ（１）
に記述されている座標の各々に移動距離を加え移動先を
計算する。移動距離はエントリ（２）に記入されている
座標より計算できる。そして、対応する点を画面上に描
く。このようにすることにより、図１４〜１８に示す再
生方法においても、一旦描いた曲線を平行移動すること
ができる。

【００７３】図２４(a) は、図３に示す曲線を図２３
(a) のように平行移動し、さらにもう一度平行移動を繰
り返した場合の実施例である。曲線の点(xu,yu) を(xv,
yv) に平行移動する入力があった場合、入力・時刻対応
表には、図２４(b) のエントリ（３）に示すような記入
がなされる。画面位置・エントリ対応表より点(xt,yt)
に相当するメッシュ位置を計算し、エントリ（２）への
ポインタを得るが、この属性は「平行移動」となる。

【００７４】この場合は、２つの平行移動の合成を行な
えば良い。つまり、エントリ（２）よりポインタをたど
り、エントリ（１）を得、エントリ（１）は属性が「曲
線」であるから、元の図形入力であることがわかる。こ
れに対し、エントリ（２）に記入された最初の平行移動
を行い、さらにエントリ（３）に記録されたそれに続く
平行移動を行う。すると、最終座標は(x0+δx+δx',y0+
δy+δy'),(x1+δx+δx',y1+δy+δy'),...,(xn+δx+δ
x',yn+δy+δy') となる。ここでδx=xt-xs,δy=yt-ys,
δx'=xv-xu, δy'=yv-yuである。そして、画面位置・エ
ントリ対応表の(x0+δx,y0+ δy),(x1+ δx,y1+ δ
y),...,(xn+ δx,yn+ δy)に対応するそれぞれのメッシ
ュの欄(m0',n0'),(m1',n1'),...,(mn',nn') からエント
リ（２）へのポインタを削除し、(x0+δx+δx',y0+δy+
δy'),(x1+δx+δx',y1+δy+δy'),...,(xn+δx+δx',y
n+δy+δy') に対応するそれぞれのメッシュの欄(m0'',
n0''),(m1'',n1''),...,(mn'',nn'') からエントリ
（３）へのポインタを追加し、さらにエントリ（３）か
らエントリ（２）にポインタをつける。

【００７５】例えば、図１４〜１８に示す再生をする場
合には、表示制御部９では以下のような処理をすれば良
い。表示制御部９は入力・時刻対応表に記憶されている
順にエントリを得て画面上に文字図形情報を再生する
が、エントリ（３）を得るとその属性が「平行移動」で
あることがわかる。エントリのポインタが指す先を辿り
エントリ（２）を得る。エントリ（２）を得るとその属
性が「平行移動」であることがわかる。さらにエントリ
のポインタが指す先を辿りエントリ（１）を得る。エン
トリ（１）の属性は「曲線」であるから、エントリ
（１）に記述されている座標の各々に移動距離を加え最
初の移動先を計算する。移動距離はエントリ（２）に記
入されている座標より計算できる。これが現在描かれて
いる曲線の位置であるから、これらの点を消去する。そ
して、最初に移動した先の各座標に移動距離を加え、次
に移動した先を計算する。移動距離はエントリ（３）に
記入されている座標より計算できる。そして、対応する
点を画面上に描く。このようにすることにより、図１４
〜１８に示す再生において、一旦描いた曲線を複数回平
行移動することができる。

【００７６】上記実施例では、平行移動の例を示した
が、回転移動、拡大縮小なども移動先を決定する計算式
が異なるだけで、上記と同じ方法で、実現することがで
きる。また、複写は、移動元の文字図形情報を残したま
ま、移動先の文字図形情報を描くことで実現できる。さ
らに、移動等を行う対象の文字図形情報の属性が曲線で
ある例を示したが、これが文字列である場合、予め用意
された型（オブジェクト）である場合等、様々な入力の
種類に対して本発明を適用することができる。

【００７７】また、複数の文字図形情報が同一のグルー
プとして移動を受ける場合も、同様の処理を行なうこと
ができる。この場合、図１に示すグルーピング部１０に
て複数の文字図形情報が同一の移動を行なう単位である
と定義づけ、その情報を文字図形情報記憶部３に記憶し
ておけば良い。

【００７８】また、上記実施例では曲線として入力され
たものは曲線として扱う場合を述べたが、それに留まら
ない。例えば、曲線に対し認識を行なって文字や図形と
して解釈するようなシステムにおいては、認識部１０に
て認識が行なわれた後その認識結果が文字図形情報とし
て記憶されるものと解釈すれば良く、本発明を適用する
ことができる。 （実施例４）以上の説明は、便宜上、スタンドアロンの
携帯機を想定して行なってきたが、ネットワークで結ば
れたワークステーション上で会議等を行う際に、入力さ
れた文字図形情報とそのときの音声／画像情報とを対応
付けながら記録していく処理をソフトウェア的に実現す
ることも、当然のことながら可能である。すなわち、本
発明の機能を提供することは、いわゆるグループウェア
を用い、ネットワークを介した遠隔の打ち合せを行なう
場合においても有効である。

【００７９】この場合は、ワークステーション会議のア
プリケーションプログラムが、会議の参加者の発言や顔
の表情、周囲の状況等を他の参加者に伝えるために、音
声や画像を取り込むようになっており、これらの情報は
ネットワークを通じて送信される。そこで、この取り込
んだ音声／画像と、ネットワークから送信されてくる音
声／画像とを、図１の音声／画像信号記録部１に記録す
る。さらに、上記のアプリケーションプログラムは、参
加者が入力する文字図形情報を記憶するとともに、これ
をネットワークを通じて送信する。そこで、参加者が入
力した文字図形情報は、参加者がこれを入力した時刻と
対応させて文字図形情報記憶部３に記憶し、ネットワー
クから送信されてくる文字図形情報は、送信されてきた
時刻と対応させて文字図形情報記憶部３に記憶する。こ
の場合は、入力・時刻対応表に入力の種類だけでなく、
入力を行った参加者名を記入しておくと便利である。あ
るいは、全参加者の音声／画像の記録と文字図形情報の
記憶とをネットワーク内で一元的に管理するサーバを設
ける場合には、上述した時刻の代わりに、文字図形情報
がサーバに到着した時刻あるいはサーバが文字図形情報
を各クライアントに送信した時刻を対応させて記憶させ
ても良い。

【００８０】このような記録を行えば、ワークステーシ
ョン会議後に、参加者が会議の内容を思い出したくなっ
た場合や、参加しなかった者が会議の概要を知りたい場
合、また、会議中に全参加者で少し前の議論に立ち戻り
たくなった場合に、その部分の一部再生を容易に行うこ
とができる。つまり、会議中に複数の参加者が書き込み
を行える仮想的な共有黒板上のメモや、会議中に各参加
者が個人用に作成したメモを表示部８に表示する。この
際、書き込んだ者別に色を代えて表示する等の処理を加
えても良い。このメモ中で、再生したい議論が行われて
いた時点の文字図形情報を、信号再生位置指定部６を介
して指定すれば、各個人の端末あるいは上記のサーバに
設けられた再生制御部７が、対応する時点の音声／画像
を再現する。図１４〜１８の再現方法も有効である。

【００８１】さらにこの場合は、文字図形情報の共有を
行うために、読み出しや書き込みを排他的に制御するこ
とが通常行われる。よって、どの時点で誰がその箇所を
ロックしたのかという情報も、入力・時刻対応表中に記
入し、図４、図１９で説明した「見えない情報」の一種
として再生時に視覚化してアクセスできるようにすれ
ば、議論の流れの把握に、より効果的である。 （実施例５）本発明の別の実施例の利用形態として以下
のものもある。最近、ペンそのものにメモリを搭載し、
紙の上に書いた筆記履歴を記憶するような電子化筆記具
の実現が試みられている。このような電子化筆記具に録
音機能を付加すると共に、メモリに記憶する情報とし
て、筆記が行なわれた時点の時刻を付加して記憶させる
ことにより、上述したような再生時に筆記記録のうちの
所望の部分に対応する録音部分を再生することが可能な
本発明の別の実施例装置が実現できる。

【００８２】この実施例の場合、記録は電子化筆記具で
行い、記録が終了したら一旦、電子化筆記具内に記憶し
た筆記情報、時刻情報、録音データを、ビットマップ表
示装置と録音データ再生装置を備えたコンピュータに転
送して再生を行う。 （実施例６）本発明の更に別の実施例として、電話での
やりとりの音声信号を記録するものがある。電話に応対
しながら用件をメモすることはよくあるが、このような
場合に、メモを乱雑にとっても、後で対応する音声を一
部再生できれば、能率の向上と確実なコミュニケーショ
ンにつながる。

【００８３】具体的には、受話器を取ったところから、
電話の音声の記録と、メモされる文字図形情報の記憶と
を図２のメカニズムで行い、受話器をおいた時点で記録
を終了する。再生時には、図８のメカニズムで電話の音
声のうちの所望の部分のみを再生する。 （実施例７）本発明は、新たに作成される文字図形情報
を対象とする場合だけでなく、予め作成あるいは配布さ
れたテキスト／イメージ情報に対し、書き込みやポイン
ティングを行う場合にも適用できる。この実施例の全体
の構成を図２５に示す。

【００８４】まず、予め存在するテキスト／イメージ情
報は、記憶部１３に記憶され、表示されている。ユーザ
は、このテキスト／イメージ情報に対しペン等を用いて
書き込みや指示をしながら、話したり動いたりする。こ
の音声／画像信号を記録部１にて記録する。これと並行
して、書き込みや指示がされた座標点列を、時刻発生部
２が示す現在の時刻と対応させて記憶部１１に記憶す
る。この記憶方法は、実施例１における入力・時刻対応
表や、画面位置・エントリ対応表を用いる方法と同様で
ある。

【００８５】再生の際には、テキスト／イメージ情報と
書き込み／指示情報とが位置合せ処理部１２にて位置合
わせされた上で、表示部８に表示される。この際指示情
報等の「見えない情報」の視覚化を表示制御部９で行う
のは、実施例１と同様である。そして、ユーザがこの表
示部８の画面上で信号再生位置を指定すると、書き込み
／指示情報記憶部１１を検索して対応する時刻を調べ、
その時刻から音声／画像信号が再生されるよう制御す
る。

【００８６】また、本発明の適用範囲は、ユーザがコン
ピュータのディスプレィを直接見ながら文字図形情報の
入力や指定をする場合に留まらない。例えば、予め作成
あるいは配布されたテキスト／イメージ情報が電子的な
ものでなく、紙の上に印刷されたものである場合には、
図２６に示す構成を採る。

【００８７】まず、タブレットの上に紙を載せ、ペンで
通常紙の上に書き込みをするのと同様、ペンを紙に押し
付けて動かす。書き込む際には紙上に筆跡が残るようこ
のペンを芯が出ているモードにし、話しを聞きながら記
載をなぞるような場合にはこのペンを芯が出ていないモ
ードにしても良い。また、この紙は、ＯＨＰのシート等
の別の媒体でも良い。

【００８８】このタブレットは、位置検出部１４を備
え、ペンにより紙の上から押された座標点を検出する。
この座標点列と時刻発生部２で発生される時刻を組み合
わせることにより、図２５で言う書き込み／指示情報記
憶部１１に記憶する情報が作成される。また、並存する
マイクから例えば音声が連続的に記録される。

【００８９】再生時には、この紙を同じ位置に重ねて、
書き込みがある位置や、なぞったと思われる位置をペン
で指定する。すると、実施例１と同様に、ペンで指定さ
れたメッシュ位置を画面位置・エントリ対応表から検索
し、ここに記入されたエントリから入力・時刻対応表を
引いて対応する時刻を求め、この時刻から録音を再生す
る。ここで、ペン記録時と再生時の位置がずれないよ
う、タブレットに紙を止めるクリップが付設されている
と良い。また、画面位置・エントリ対応表の中で、書き
込み／指示情報が記入されたエントリへのポインタを、
ある程度幅広い画面位置から張っておけば、多少のずれ
には対処できる。

【００９０】ここでは、紙を媒体とする場合を、予めテ
キスト／イメージ情報が紙上に存在するとして説明した
が、何も描かれていない紙を上記のタブレット上に載せ
て本実施例を適用することもできる。また、ＯＨＰシー
トのように透明な媒体を使用する場合は、本実施例のタ
ブレットが実施例１の表示部８を兼ねていても良い。 （実施例８）実施例１では、文字図形情報と、文字図形
情報が入力された時刻とを記憶し、再生の要求が文字図
形情報の指定により行われると、文字図形情報対時刻記
憶部４を検索して音声／画像信号を再生するが、本発明
の実施方法はこの例に留まらない。図２７には図１に対
応する別の実施例の全体の構成を示す。

【００９１】本実施例においては、文字図形情報と文字
図形情報が入力された時刻とが対応付けられて記憶され
るのではなく、文字図形情報と文字図形情報が入力され
た時刻に記録された音声／画像信号の記録位置とが対応
付けられて記憶される。音声／画像信号の記録位置は、
音声／画像信号記録部１より読みとられ、信号記録位置
伝達部１５により文字図形情報記憶部３に伝達される。
これが、入力された文字図形情報と関連づけられ、文字
図形情報対信号記録位置記憶部１６に記憶される。

【００９２】図２８は図２に対応する本実施例の記録時
の動作を示す図である。録音部１より信号記録位置、す
なわち図９におけるアドレスが伝達され、入力・信号記
録位置対応表に記憶される（Ａ）。後の処理は図２と同
様である。

【００９３】図２９は図３に対応する本実施例の入力・
信号記録位置対応表の内容を示す図である。文字図形情
報が入力された時刻Ｔではなく、文字図形情報が入力さ
れた時に記録された信号の記録位置（アドレス）Ｓ0 が
記憶される。図４以降の入力・時刻対応表は、本実施例
においては信号記録位置が記憶された入力・信号記録位
置対応表に置き換わる。

【００９４】図３０は図７に対応する本実施例の画面と
表、録音データ相互の関係を示す図である。入力・信号
記録位置対応表に記憶される信号記録位置から、録音デ
ータの該当部分が参照できる。

【００９５】図３１は図８に対応する本実施例の再生時
の動作を示す図である。（Ｃ）、（Ｄ）において、時刻
ではなく、信号再生位置が受け渡される。 （実施例９）以上説明した実施例においては、時間的に
変化する連続信号として、音声と画像のいずれか一方を
対象とし、文字図形情報に連携させる例を取り上げた
が、音声と動画の双方を対象とすることもできる。

【００９６】この複数の連続信号を対象とする実施例の
全体の構成を図３２に示す。画像信号記録部１７では画
像信号のみを記録し、音声信号記録部１９では音声信号
のみを記録する。信号再生位置指定部６にて信号再生位
置の指定があると、再生制御部７は画像信号再生部１８
及び音声信号再生部２０のそれぞれに画像、音声の再生
を指示する。図３１には時間的に変化する信号が２種類
の例を示したが、一般には画像、音声がそれぞれ複数あ
っても、またはどちらか一方のみが複数あっても良く、
複数の連続信号の一部再生を連動して行うことができ
る。例えば現実の会議あるいはワークステーション会議
には複数の参加者がいるため、参加者ごとに別々に音声
を記録して本実施例を適用すれば効果的である。

【００９７】また、複数の連続信号を対象とする場合
に、必ずしも全てを再生しなければならないわけではな
い。目的に応じて複数の信号のうちの１つあるいは幾つ
かのみを選択的に再生しても良い。この場合の構成を図
３３に示す。

【００９８】図３３中の再生信号選択部２１により、音
声、画像、その双方のいずれが再生すべき信号であるか
を選択する。この選択は、再生を要求するユーザ、プロ
グラム等からの要求に基づいて行う。再生制御部７は、
再生信号選択部２１で選択された信号のみを再生するよ
う、再生部１８または２０を制御する。図３３には時間
的に変化する信号が２種類の例を示したが、一般には画
像、音声がそれぞれ複数あっても、またはどちらか一方
のみが複数あっても良く、複数の連続信号の一部再生を
選択的に行うことができる。 （実施例１０）以上説明した実施例においては、時間的
に変動する信号は全て記録していたが、本発明における
記録方式はこれに留まらない。本実施例では、記録領域
の節減等の目的で、連続信号のうち限られた部位のみを
記録する方式を説明する。

【００９９】図３３には、文字図形情報の記憶された時
間だけ、もしくはその前後の限られた時間だけ、音声／
画像信号を記録するための構成を示す。文字図形情報が
入力されるとこれが文字図形情報記憶部３に記憶される
が、この入力が行われた時刻が音声／画像信号記録部１
に伝達され、その時刻に依存して記録する部位が決定さ
れる。

【０１００】図３４は、音声／画像信号記録部１にて記
録される信号の部位の例を示す図である。本例では、時
間帯[T0,T0'],[T1,T1'],[T2,T2']にて文字図形情報が入
力されたものとする。ここで、[a,b] は、時刻a から始
まり時刻b で終了する時間帯を示す。文字図形情報の入
力が行われている時間帯よりも時間t だけ前から音声／
画像を記録し、時間t'だけ後まで記録するとすれば、音
声／画像を記録すべき時間帯は[T0-t,T0'+t'],[T1-t,T
1'+t'],[T2-t,T2'+t'] となる。ここで、T(i+1)-t <= T
(i)'+t'ならば、記録すべき時間帯が重なるため、連結
して[T(i)-t,T(i+1)'+t'] とすれば良い。図３４ではT1
とT2に関する記録すべき時間帯が重なっているため、[T
0-t,T0'+t'],[T1-t,T2'+t'] を記録すれば良い。

【０１０１】このように遡った時刻からの音声／画像の
記録を実現するためには、例えば次のようにする。音声
／画像信号入力用バッファを記録部１とは別に設けてお
き、通常はこの入力用バッファに記録する。そして、文
字図形情報が入力された時点T0で、T0-tからT0の間の音
声／画像信号を、入力用バッファから記録部１へコピー
する。T0以降文字図形情報の入力が途切れてt'だけ時間
が経つまでの音声／画像信号は直接記録部１に記録す
る。その後は入力用バッファへの記録に切り替え、同様
な処理を繰り返す。あるいは、時間帯[T0,T0'+t'] の音
声／画像信号も入力用バッファに記録し、まとめて時間
帯[T0-t,T0'+t'] を記録部１へコピーしても良い。入力
用バッファの記録は記録部１へコピーする可能性がなく
なった時点でオーバライトしてかまわない。

【０１０２】本実施例では、図８のメカニズムにより後
で再生できる部位は、記録された信号に限られる。しか
し、会議等の場では重要な話の前後でメモ書きやポイン
ティングをすることが多いことから、本実施例は実用上
効果的である。 （実施例１１）以上説明した実施例では、順次入力され
る音声／画像信号が、ユーザからの入力である入力情報
が記憶されるのと同時進行で記録される場合を想定した
が、音声／画像信号が既に記憶媒体に記憶されている場
合は、これを再生する傍らユーザが情報処理能力を持つ
装置に対して入力を行うことができる。この場合、音声
／画像信号の記録ではなく、音声／画像信号の再生と入
力情報の記憶とが同時進行で行われることとなる。

【０１０３】図３６は、この場合の実施例の全体の構成
を示す図である。実施例１と比較して、本実施例に係る
記録に関わる部分には音声／画像信号記録部１がなく、
第１の音声／画像信号再生部２２と、第２の音声／画像
信号再生部２３を備える。第１の再生部２２は、既に記
憶媒体に記憶されている音声／画像信号を一般に行われ
る再生方法で連続的に再生する。これに合わせて、ユー
ザは実施例１と同様に入力を行う。この入力は、文字図
形情報記憶部３に記憶され、文字図形情報対時刻記憶部
４が作成される。この場合の時刻は、第１の音声／画像
信号再生部２２で再生が開始されると同時にカウントが
開始される。

【０１０４】再生時には、実施例１と同様に、文字図形
情報対時刻記憶部４に記憶された情報に従い、第２の音
声／画像信号再生部２３が部分再生を行う。第２の再生
部２３は、実施例１の再生部５と同様の構成であり、第
１の再生部２２で再生された音声／画像信号と同じ信号
が記憶された記憶媒体から、音声／画像信号の指定され
た部位を再生する。この場合、文字図形情報対時刻記憶
部４に記憶される時刻の開始点が、第１の再生部２２に
おける音声／画像信号の再生開始位置に対応するため、
第２の再生部２３で用いられる初期値は、第１の再生部
２２における再生開始位置と一致している必要がある。
これは、ユーザが手動で合わせても良いし、ユーザ入力
の記録時に、第１の再生部２２が再生開始位置を文字図
形情報記憶部３へ伝達して記憶しておいても良い。後者
の場合は、記憶された再生開始位置を再生制御部７が読
み出して、第２の再生部２３の初期値をセットする。再
生開始位置の伝達には、図２７の信号記録位置伝達部１
５を再生用に流用すれば良い。

【０１０５】以上実施例１〜１１は、各実施例の説明中
に明記したほかにも、適宜組み合わせて実施することが
可能である。例えば、図３２〜３４、図３６等は実施例
１の変形として説明したが、実施例８の変形として置き
換えることができる。いずれもユーザがコンピュータに
対して何らかの動作を行った時に得られる情報を、音声
／画像等の連続信号と対応付けて記憶することにより、
連続信号のうちの、この対応付けから特定される所望の
部位を、再生可能とするものである。

【０１０６】尚、請求項１及び１３は全ての実施例によ
り裏付けられたものであり、入力情報の具体的内容が種
々示されている。特定情報の具体的内容は実施例１及び
８に代表される。請求項３及び１５は主に図２及び８、
図２８及び３０の説明により裏付けられている。請求項
４は主に図２１の説明により、請求項５は主に図８の説
明により、請求項６は主に図４及び１９の説明により、
請求項７は主に図１４〜１８の説明により裏付けられて
いる。請求項８は実施例７の前半部分に対応する。請求
項９は主に図１０〜１３の説明により、請求項１０は主
に図４（Ｃ）の説明により裏付けられている。請求項１
１は実施例９に、請求項１２は実施例１０に対応する。
請求項１４は主に図４の説明により、請求項１６は実施
例１中の変形例の説明により、請求項１７は主に図１の
ブロック１０の説明により裏付けられている。請求項１
８は実施例３に、請求項１９は実施例７の後半部分に、
請求項２０は実施例１１に対応する。

【０１０７】

【発明の効果】以上説明したように本発明によれば、会
議等でユーザが例えばメモを取るように入力を行うとと
ともに、会議中の音声または画像信号を記録して（予め
記録してあるものを会議中に再生するだけでも良い）お
けば、後で、入力されたメモを参照することにより、音
声または画像信号の再現したい箇所を容易に指定するこ
とができ、その所望の箇所を選択的に再生することがで
きる。

【図面の簡単な説明】

【図１】 本発明の実施例１の全体の構成を示す図。

【図２】 実施例１の記録時の動作を示す図。

【図３】 入力・時刻対応表の構造の一例を示す図。

【図４】 入力がペン入力以外の種類である場合のデー
タ表現例を示す図。

【図５】 画面位置・エントリ対応表の構造の一例を示
す図。

【図６】 画面位置・エントリ対応表の更新の一例を示
す図。

【図７】 画面と表、時間軸の相互の関係を示す図。

【図８】 実施例１の再生時の動作を示す図。

【図９】 ランダムアクセス可能な録音装置の実現例を
示す図。

【図１０】 再生時間幅固定の場合を説明する図。

【図１１】 再生時間幅可変の場合を説明する図。

【図１２】 指定時刻から最後まで再生する場合を説明
する図。

【図１３】 指定時刻より前から再生する場合を説明す
る図。

【図１４】 音再生と同期した実時間の画面再生（１）
を示す図。

【図１５】 図１４の場合の表示制御部のフローチャー
ト。

【図１６】 画面再生の早送りを示す図。

【図１７】 図１６の場合の表示制御部のフローチャー
ト。

【図１８】 音再生と同期した実時間の画面再生（２）
を示す図。

【図１９】 ペン先で押しただけの点の表示例を示す
図。

【図２０】 消しゴムの軌跡の表示例を示す図。

【図２１】 複数の時点の情報の表示例を示す図。

【図２２】 実施例２における入力・時刻対応表の構造
の例を示す図。

【図２３】 実施例３における画面位置・エントリ対応
表の構造の例を示す図。

【図２４】 図２４の画面位置・エントリ対応表の続き
の例を示す図。

【図２５】 実施例７における全体の構成を示す図。

【図２６】 タブレットの上に他の媒体を重ねて使用す
る例を示す図。

【図２７】 実施例８における全体の構成を示す図。

【図２８】 実施例８の記録時の動作を示す図。

【図２９】 実施例８の入力・信号記録位置対応表の構
造例を示す図。

【図３０】 実施例８の画面と表、録音データ相互の関
係を示す図。

【図３１】 実施例８の再生時の動作を示す図。

【図３２】 実施例９における全体の構成を示す図。

【図３３】 実施例９の変形例の構成を示す図。

【図３４】 実施例１０における全体の構成を示す図。

【図３５】 部分的に音声／画像信号の記録が行われる
例を説明する図。

【図３６】 実施例１１における全体の構成を示す図。

【符号の説明】

１…音声／画像信号記録部 ２…時刻発生部 ３…文字図形情報記憶部 ４…文字図形情報対時刻記憶部 ５…音声／画像信号再生部 ６…信号再生位置指定部 ７…再生制御部 ８…表示部 ９…表示制御部 １０…グルーピングあるいは認識部 １１…書き込み／指示情報（時刻対応）記憶部 １２…位置合せ処理部 １３…テキスト／イメージ情報記憶部 １４…位置検出部 １５…信号記録位置伝達部 １６…文字図形情報対信号記録位置記憶部 １７…画像信号記録部 １８…画像信号再生部 １９…音声信号記録部 ２０…音声信号再生部 ２１…再生信号選択部 ２２…音声／画像信号再生部１ ２３…音声／画像信号再生部２

───────────────────────────────────────────────────── フロントページの続き (72)発明者 田中 久子 神奈川県川崎市幸区小向東芝町１番地 株式会社東芝 研究開発センター内 (56)参考文献 特開 平２−266785（ＪＰ，Ａ) 特開 昭64−32751（ＪＰ，Ａ) 特開 平６−205151（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/76 - 5/956

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】順次入力される音声または画像信号を時刻
   情報と共に記憶する第１の記憶手段と、前記音声または
   画像信号の入力に伴い入力される文字図形情報を時刻情
   報とを対応付けて記憶する第２の記憶手段と、テキスト
   またはイメージ情報を記憶する第３の記憶手段と、前記
   第２の記憶手段に記憶された文字図形情報と前記第３の
   記憶手段に記憶されたテキストまたはイメージ情報とを
   重ね合わせて表示する表示手段と、この表示手段に表示
   された文字図形情報を指定する指定手段と、この指定手
   段により指定された文字図形情報に対応する時刻情報に
   基づいて前記第１の記憶手段に記憶された音声または画
   像信号を再生する再生手段とを具備することを特徴とす
   る再生装置。
2. 【請求項２】順次入力される音声または画像信号を時刻
   情報と共に記憶する第１の記憶手段と、前記音声または
   画像信号の入力に伴い入力される文字図形情報を時刻及
   び画面上の位置情報と対応付けて記憶する第２の記憶手
   段と、テキストまたはイメージ情報を記憶する第３の記
   憶手段と、前記第２の記憶手段に記憶された文字図形情
   報と前記第３の記憶手段に記憶されたテキストまたはイ
   メージ情報とを重ね合わせて表示する表示手段と、この
   表示手段の画面上の位置を指定する指定手段と、この指
   定手段により指定された画面上の位置に対応する前記文
   字図形情報の時刻情報に基づいて前記第１の記憶手段に
   記憶された音声または画像信号の所定の範囲を再生する
   再生手段とを具備することを特徴とする再生装置。
3. 【請求項３】前記表示手段は、前記第２の記憶手段に前
   記文字図形情報が記憶されていることを示す所定のマー
   クを表示するものであり、前記指定手段は、このマーク
   またはマークの画面上の位置を指定することにより当該
   文字図形情報を指定することを可能とするものであるこ
   とを特徴とする請求項１または２記載の再生装置。
4. 【請求項４】認識処理により前記文字図形情報をコード
   化された情報に変換する変換手段を具備し、前記第２の
   記憶手段は、当該変換された文字図形情報と時刻情報、
   また は当該変換された文字図形情報と時刻及び画面上の
   位置情報と対応付けて記憶することを特徴とする請求項
   １または２記載の再生装置。
5. 【請求項５】順次入力される音声または画像信号を時刻
   情報と共に記憶する第１ステップと、前記音声または画
   像信号の入力に伴い入力される文字図形情報を時刻情報
   とを対応付けて記憶する第２ステップと、前記文字図形
   情報と記憶手段に記憶されたテキストまたはイメージ情
   報とを重ね合わせて表示する第３ステップと、表示され
   た文字図形情報を指定する第４ステップと、指定された
   文字図形情報に対応する時刻情報に基づいて前記音声ま
   たは画像信号を再生する第５ステップとを具備すること
   を特徴とする再生方法。
6. 【請求項６】順次入力される音声または画像信号を時刻
   情報と共に記憶する第１ステップと、前記音声または画
   像信号の入力に伴い入力される文字図形情報を時刻及び
   画面上の位置情報と対応付けて記憶する第２ステップ
   と、前記文字図形情報と記憶手段に記憶されたテキスト
   またはイメージ情報とを重ね合わせて表示する第３ステ
   ップと、表示された文字図形情報の画面上の位置を指定
   する第４ステップと、指定された画面上の位置に対応す
   る前記文字図形情報の時刻情報に基づいて前記音声また
   は画像信号の所定の範囲を再生する第５ステップとを具
   備することを特徴とする再生方法。
7. 【請求項７】前記第３ステップは、記憶手段に前記文字
   図形情報が記憶されていることを示す所定のマークを表
   示し、前記第４ステップは、このマークまたはマークの
   画面上の位置を指定することにより当該文字図形情報を
   指定することを可能とすることを特徴とする請求項５ま
   たは６記載の再生装置。
8. 【請求項８】認識処理により前記文字図形情報をコード
   化された情報に変換するステップを具備し、前記第２ス
   テップは、当該変換された文字図形情報と時刻情報、ま
   たは当該変換された文字図形情報と時刻及び画面上の位
   置情報と対応付けて記憶することを特徴とする請求項５
   または６記載の再生装置。