JP2010109478A - 情報処理装置、情報処理システム、およびプログラム - Google Patents

Abstract

【課題】音声・動画データの重要であると考えられる部分のみを記録できる情報処理装置、情報処理システム、及びプログラムを提供する。
【解決手段】ストローク情報入力受付部はストローク情報の入力を受け付け、音声・動画入力受付部は音声および映像の少なくとも一方のデータを入力し、入力したデータに入力時刻を付与した音声・動画データを第１記憶部に格納し、時刻計時部はストローク情報の入力開始時刻ｔ（ｎ）と入力終了時刻ｕ（ｎ）とを計時し、算出部は入力開始時刻ｔ（ｎ）から第１所定時間を減算した第１時刻を求め、入力終了時刻ｕ（ｎ）に第２所定時間を加算した第２時刻を求め、検索部は第１時刻から第２時刻までの区間に対応する音声・動画データを、当該区間と第１記憶部に記憶された音声・動画データに付与された入力時刻とに基づいて検索し、第１格納部は検索された区間に対応する音声・動画データを、第２記憶部に格納する。
【選択図】 図１

Description

本発明は、音声や動画像など時系列に連続した情報を記憶する情報処理装置、情報処理システム、およびプログラムに関するものである。

会議や打合せ等における書記、取材、対面業務などにおいては、手書きによるメモをとる場面が多く存在する。しかし、会議等で交わされた発言やその場の雰囲気等を全てメモにより克明に記録することは困難である。

そこで、手書きにより入力された手書き情報及び会議等における音声や画像等、時系列的に連続した音声・画像情報を記録しておき、会議後に、手書き情報及び音声・画像情報を再生する電子情報入力再生装置が提供されている。

例えば、特許文献１では、同時に複数の異なるメディアの入力装置からデータが入力された場合に、入力時にデータ間にリンク付けを行い、収集時と同じ状況で再生することができる技術が開示されている。

特開平０５−２５８０２８号公報

しかしながら、特許文献１に開示された技術においては、複数の異なるメディアの入力装置から入力されたデータを時系列に連続して全て記録しているため、会議等における沈黙により音声がない部分をも含めて記録することになるので、データを再生した際に沈黙の部分も再生しなければならないという問題がある。

また、音声や動画を時系列に連続して全て記録すると、会議中等に交わされた機密性の高い内容などオフレコにしたい部分まで再生されてしまうという問題がある。

本発明は、上記に鑑みてなされたものであって、会議中等で交わされた音声・動画の一部分のみを選択的に再生することができる情報処理装置、情報処理システム、及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、データを書き込む際に最大記憶容量を超える場合には、既に記憶済みのデータに上書きしてデータを書き込み可能な第１記憶部と、データを記憶可能な第２記憶部と、利用者による操作入力の開始から終了までの間で連続した一筆単位の手書き描画であるストローク情報の入力を、前記操作入力に連動して逐次受け付ける第１入力受付手段と、音声および映像の少なくとも一方のデータを入力し、入力したデータに入力時刻を付与した時系列情報を前記第１記憶部に格納する第２入力受付手段と、前記ストローク情報の入力受付が開始した時刻である開始時刻と前記ストローク情報の入力受付が終了した時刻である終了時刻とを計時する計時手段と、前記開始時刻から第１所定時間を減算した第１時刻を求め、前記終了時刻に第２所定時間を加算した第２時刻を求める算出手段と、前記第１時刻から前記第２時刻までの区間に対応する時系列情報を、当該区間と前記第１記憶部に記憶された前記時系列情報に付与された前記入力時刻とに基づいて検索する検索手段と、検索された前記区間に対応する時系列情報を、前記第２記憶部に格納する第１格納手段と、を備えたことを特徴とする。

また、請求項２にかかる発明は、請求項１に記載の発明において、入力を受け付けた前記ストローク情報を、前記区間に対応する前記時系列情報に対応付けて前記第２記憶部に格納する第２格納手段と、前記第２記憶部に記憶された前記ストローク情報の指定を受け付ける指定受付手段と、前記第２記憶部に記憶された前記時系列情報の中から、指定を受け付けた前記ストローク情報に対応付けられた前記時系列情報を再生する再生手段と、をさらに備えたことを特徴とする。

また、請求項３にかかる発明は、請求項２に記載の発明において、前記算出手段は、さらに、指定を受け付けた前記ストローク情報の前記開始時刻から前記第１所定時間より短い第３所定時間を減算した第３時刻を求め、当該ストローク情報の前記終了時刻に前記第２所定時間より短い第４所定時間を加算した第４時刻を求め、前記再生手段は、指定を受け付けた前記ストローク情報に対応付けられた前記時系列情報のうち、前記第３時刻から前記第４時刻までの区間に対応する時系列情報を、当該区間の前記時系列情報に付与された前記入力時刻に基づいて再生することを特徴とする。

また、請求項４にかかる発明は、請求項２または３に記載の発明において、前記時系列情報が再生されているとき、当該時系列情報に対応付けて前記第２記憶部に記憶される前記ストローク情報を強調表示する表示手段をさらに備えたことを特徴とする。

また、請求項５にかかる発明は、請求項４に記載の発明において、前記表示手段は、さらに、前記ストローク情報の指定を受け付けているとき、指定された前記ストローク情報を強調表示することを特徴とする。

また、請求項６にかかる発明は、請求項４または５に記載の発明において、前記表示手段は、前記ストローク情報が示す線分の太さ及び色のうち少なくとも１つを変更して当該ストローク情報を強調表示することを特徴とする。

また、請求項７にかかる発明は、請求項２から６のいずれか一に記載の発明において、前記指定受付手段は、さらに、前記時系列情報の再生速度の入力を受け付け、前記再生手段は、入力を受け付けた前記再生速度で前記時系列情報を再生することを特徴とする。

また、請求項８にかかる発明は、請求項１から７のいずれか一に記載の発明において、前記算出手段は、先に入力を受け付けた前記ストローク情報の前記終了時刻から当該ストローク情報の後に入力を受け付けた前記ストローク情報の前記開始時刻までの区間が前記第２所定時間より短い場合、当該先に入力を受け付けたストローク情報の前記開始時刻から前記第１所定時間を減算した前記第１時刻と、当該後に入力を受け付けたストローク情報の前記終了時刻に前記第２所定時間を加算した前記第２時刻を求めることを特徴とする。

また、請求項９にかかる発明は、請求項１から８のいずれか一に記載の発明において、前記指定受付手段は、さらに、前記第１所定時間および前記第２所定時間の設定を受け付けることを特徴とする。

また、請求項１０にかかる発明は、請求項２から９のいずれか一に記載の発明において、前記指定受付手段は、さらに、前記第３所定時間および前記第４所定時間の設定を受け付けることを特徴とする。

また、請求項１１にかかる発明は、請求項１に記載の発明において、前記指定受付手段は、さらに、所望の時刻の指定を受け付け、前記再生手段は、前記第２記憶部に記憶された前記時系列情報のうち、指定を受け付けた前記時刻以降の前記入力時刻に対応する前記時系列情報を再生することを特徴とする。

また、請求項１２にかかる発明は、データを記憶可能な記憶部と、利用者による操作入力の開始から終了までの間で連続した一筆単位の手書き描画であるストローク情報の入力を、前記操作入力に連動して逐次受け付ける第１入力受付手段と、前記ストローク情報の入力受付が開始した時刻である開始時刻と前記ストローク情報の入力受付が終了した時刻である終了時刻とを計時する計時手段と、計時した前記ストローク情報の前記開始時刻および前記終了時刻を付与した当該ストローク情報を前記記憶部に格納する格納手段と、音声および映像の少なくとも一方のデータを入力し、入力したデータに入力時刻を付与した時系列情報を前記記憶部に格納する第２入力受付手段と、前記記憶部に記憶された前記ストローク情報の指定を受け付ける指定受付手段と、指定を受け付けた前記ストローク情報に付与された前記開始時刻から第１所定時間を減算した第１時刻を求め、当該ストローク情報に付与された前記終了時刻に第２所定時間を加算した第２時刻を求める算出手段と、前記第１時刻から前記第２時刻までの区間に対応する時系列情報を、当該区間と前記記憶部に記憶された前記時系列情報に付与された前記入力時刻とに基づいて検索する検索手段と、検索された前記区間に対応する時系列情報を再生する再生手段と、を備えたことを特徴とする。

また、請求項１３にかかる発明は、情報処理装置が複数接続された情報処理システムであって、前記各情報処理装置は、データを書き込む際に最大記憶容量を超える場合には、既に記憶済みのデータに上書きしてデータを書き込み可能な第１記憶部と、データを記憶可能な第２記憶部と、利用者による操作入力の開始から終了までの間で連続した一筆単位の手書き描画であるストローク情報の入力を、前記操作入力に連動して逐次受け付ける第１入力受付手段と、音声および映像の少なくとも一方のデータを入力し、入力したデータに入力時刻を付与した時系列情報を前記第１記憶部に格納する第２入力受付手段と、前記ストローク情報の入力受付が開始した時刻である開始時刻と前記ストローク情報の入力受付が終了した時刻である終了時刻とを計時する計時手段と、前記開始時刻から第１所定時間を減算した第１時刻を求め、前記終了時刻に第２所定時間を加算した第２時刻を求める算出手段と、前記第１時刻から前記第２時刻までの区間に対応する時系列情報を、当該区間と前記第１記憶部に記憶された前記時系列情報に付与された前記入力時刻とに基づいて検索する検索手段と、検索された前記区間に対応する時系列情報を、前記第２記憶部に格納する第１格納手段と、を備え、前記複数の情報処理装置のうち、１つの情報処理装置は、前記第１格納手段は、前記時系列情報を前記第２記憶部に格納することを特徴とする。

また、請求項１４にかかる発明は、請求項１３に記載の発明において、前記情報処理装置は、前記第１格納手段は、少なくとも１つの前記情報処理装置が備える前記第１入力受付手段が前記ストローク情報の入力を受け付けた場合、前記時系列情報を前記第２記憶部に格納することを特徴とする。

また、請求項１５にかかる発明は、データを書き込む際に最大記憶容量を超える場合には、既に記憶済みのデータに上書きしてデータを書き込み可能な第１記憶部と、データを記憶可能な第２記憶部と、を備えた情報処理装置を、利用者による操作入力の開始から終了までの間で連続した一筆単位の手書き描画であるストローク情報の入力を、前記操作入力に連動して逐次受け付ける第１入力受付手段と、音声および映像の少なくとも一方のデータを入力し、入力したデータに入力時刻を付与した時系列情報を前記第１記憶部に格納する第２入力受付手段と、前記ストローク情報の入力受付が開始した時刻である開始時刻と前記ストローク情報の入力受付が終了した時刻である終了時刻とを計時する計時手段と、前記開始時刻から第１所定時間を減算した第１時刻を求め、前記終了時刻に第２所定時間を加算した第２時刻を求める算出手段と、前記第１時刻から前記第２時刻までの区間に対応する時系列情報を、当該区間と前記第１記憶部に記憶された前記時系列情報に付与された前記入力時刻とに基づいて検索する検索手段と、検索された前記区間に対応する時系列情報を、前記第２記憶部に格納する第１格納手段と、して機能させる。

また、請求項１６にかかる発明は、請求項１５に記載の発明において、前記情報処理装置を、入力を受け付けた前記ストローク情報を、前記区間に対応する前記時系列情報に対応付けて前記第２記憶部に格納する第２格納手段と、前記第２記憶部に記憶された前記ストローク情報の指定を受け付ける指定受付手段と、前記第２記憶部に記憶された前記時系列情報の中から、指定を受け付けた前記ストローク情報に対応付けられた前記時系列情報を再生する再生手段と、して機能させる。

本発明によれば、ストローク情報が入力された時刻付近の音声・動画データのみを記憶することとしたので、スイッチ等による明示的なＯＮ／ＯＦＦといった特別な操作を行うことなしに、ストローク情報が入力された時刻付近に交わされた重要であると考えられる音声・動画のみを選択的に再生することができる、という効果を奏する。

以下に添付図面を参照して、この発明にかかる情報処理装置、情報処理システム、及びプログラムの最良な実施の形態を詳細に説明する。

（第１の実施の形態）
まず、図１を用いて、本実施の形態にかかる情報処理装置の概要について説明する。図１は、本実施の形態にかかる情報処理装置及び情報処理装置に接続された外部装置の概観図である。

本実施の形態にかかる情報処理装置１００は、例えば、パーソナルコンピュータであり、情報処理装置１００には、カメラ１０１、マイクロフォン１０２、およびスピーカ１０４が接続されている。マイクロフォン１０２は、入力された音をデジタルデータ（以下、音声データとする）に変換し、情報処理装置１００に入力する機器である。カメラ１０１は、捕らえた被写体の動画をデジタルデータ（以下、動画データとする）に変換し、情報処理装置１００に入力する機器である。スピーカ１０４は、情報処理装置１００により再生された音声データの再生音を発する。

加えて、情報処理装置１００には、利用者による操作入力の開始から終了までの間で連続した一筆単位の手書き描画であるストローク情報を入力するストローク情報入力装置１０３が接続されている。ストローク情報入力装置１０３は、赤外線及び超音波の発信回路とペン芯とを内蔵するデジタルペン１０３ａと、デジタルペン１０３ａから発せられた赤外線及び超音波を受信する赤外線センサと超音波センサを有する受信装置１０３ｂと、で構成されている。

デジタルペン１０３ａのペン芯は、鉛筆、シャープペンシル、ボールペン、サインペン等のように通常の紙上に筆記可能である。また、デジタルペン１０３ａの発信回路は、筆記のためにペン芯が紙上に置かれた状態（ペンダウン）で赤外線及び超音波を発する。

また、デジタルペン１０３ａの終端部には、図示しないランプが設けられおり、利用者により筆記が行われている間、点灯する。利用者は、ランプの点灯により音声・動画の格納処理が行われていることを認識することができる。これにより、音声・動画データが格納されているときに、機密性の高い内容を誤って話すことを防止することができる。

受信装置１０３ｂは、デジタルペン１０３ａから発信された赤外線を赤外線センサで受け取ってから、２箇所の超音波センサが超音波を受け取るまでの時間（２つの時間）からペン先の動きであるストローク情報を１秒間に数十回算出する。受信装置１０３ｂは、算出したストローク情報を情報処理装置１００に送信する。また、受信装置１０３ｂは、ストローク情報に含まれる点の座標を１００msごとに送信する。なお、本実施の形態においては、座標を受信することとしたが、これに限定するものではない。例えば、ストローク情報のベクトルデータなどを出力するようにしてもよい。また、本実施の形態においては、動画データや音声データを１００msごとに受信する構成としたが、これに限定するものではない。

また、本実施の形態のストローク情報入力装置１０３は、赤外線及び超音波を用いて利用者が描いたストローク情報を算出する構成としていたが、これに限定するものではない。例えば、超音波のみを利用してペンによる筆記面上のストローク情報を取得するように構成してもよい。または、先端から所定の周波数を有する電磁波を発信するペンと、当該電磁波を内蔵のコイルで受信するパッドによりストローク情報を取得するように構成してもよい。

次に、図２を用いて本実施の形態にかかる情報処理装置１００のハードウェア構成について説明する。

本実施の形態にかかる情報処理装置１００は、コンピュータの主要部であって各部を集中的に制御するＣＰＵ（Central Processing Unit）２０１を備えている。このＣＰＵ２０１には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）２０２と、各種データを書換え可能に記憶するＲＡＭ（Random Access Memory）２０３とがバス２０８で接続されている。

さらに、バス２０８には、各種のプログラム等を格納するＨＤＤ（Hard Disk Drive）２０４と、配布されたプログラムであるコンピュータソフトウェアを読み取るための機構としてＣＤ（Compact Disc）―ＲＯＭ２１１を読み取るＣＤ−ＲＯＭドライブ２１０と、ネットワーク２０９との通信を司る通信制御装置２０５と、各種操作指示を行うキーボードやマウスなどの入力装置２０７と、各種情報を表示するＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）などの表示装置２０６と、カメラ１０１、マイクロフォン１０２、ストローク情報入力装置１０３、スピーカ１０４等の外部入力装置と、が図示しないＩ／Ｏを介して接続されている。

ＲＡＭ２０２は、各種データを書換え可能に記憶する機能を有していることから、ＣＰＵ２０１の作業エリアとして機能してバッファ等の役割を果たす。

ＣＤ−ＲＯＭ２１１は、本実施の形態の記憶媒体を実施するものであり、ＯＳ（Operating System）や各種プログラムが記憶されている。ＣＰＵ２０１は、ＣＤ−ＲＯＭ２１１に記憶されているプログラムをＣＤ−ＲＯＭドライブ２１０で読み取り、ＨＤＤ２０４にインストールする。

なお、記憶媒体としては、ＣＤ−ＲＯＭ２１１のみならずＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク等、半導体メモ等の各種方式のメディアを用いることができる。また、通信制御装置２０５を介してインターネットなどのネットワーク２０９からプログラムをダウンロードし、ＨＤＤ２０４にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、本実施の形態の記憶媒体である。なお、プログラムは、所定のＯＳ上で動作するものであってもよいし、その場合に後述する各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれるものであってもよい。

このシステム全体の動作を制御するＣＰＵ２０１は、このシステムの主記憶として使用されるＨＤＤ２０４上にロードされたプログラムに基づいて各種処理を実行する。

次に、情報処理装置１００のＨＤＤ２０４にインストールされている各種プログラムがＣＰＵ２０１に実行させる機能のうち、本実施の形態の情報処理装置１００が備える特長的な機能について説明する。

図３は、情報処理装置１００の機能構成を示すブロック図である。図３に示すように、情報処理装置１００は、プログラムに従うことにより、第１記憶部３０１と、第２記憶部３０２と、ストローク情報入力部３０３と、音声・動画入力受付部３０４と、時刻計時部３０５と、算出部３０６と、検索部３０７と、第１格納部３０８と、第２格納部３０９と、指定受付部３１０と、音声・動画再生部３１１と、表示制御部３１２と、を実現する。

まず、音声・動画データの登録及びストローク情報の記憶に関係する部分について説明する。

第１記憶部３０１は、データを書き込む際に最大記憶容量を超える場合には、既に記憶済みのデータに上書きしてデータを書き込むことができる。本実施の形態では、データ領域を環状に管理し、有限長の領域を見かけ上無限長の領域として取り扱うデータ構造を有するリングバッファを用いた。また、第２記憶部３０２は、ＨＤＤ２０４内に確保されているものとする。なお、第２記憶部３０２は、ＨＤＤ２０４の他に、光ディスク、メモリカードなどの一般的に利用されているあらゆる記憶手段により構成することができる。

ストローク情報入力受付部３０５は、ストローク情報入力装置１０３からのストローク情報の入力を、利用者による当該ストローク情報の操作入力に連動して逐次受け付ける。本実施の形態にかかるストローク情報入力受付部３０５は、ストローク情報に含まれる点の座標の入力を１００msごとに受け付けるものとする。

音声・動画入力受付部３０４は、カメラ１０１からの動画データ及びマイクロフォン１０２からの音声データの少なくとも一方のデータを入力し、入力したデータに入力時刻を付与した音声・動画データを第１記憶部３０１に時系列に格納する。なお、本実施の形態では、カメラ１０１およびマイクロフォン１０２において予め入力時刻がデータに付与されているものとするが、これに限定するものではない。例えば、時刻計時部３０６によって計時する時刻をデータに付与するように構成しても良い。

時刻計時部３０６は、ストローク情報入力受付部３０５によるストローク情報の入力受付が開始した時刻である入力開始時刻と、ストローク情報の入力受付が終了した時刻である入力終了時刻とを計時する。具体的には、情報処理装置１００が備える図示しないリアルタイムクロック（ＲＴＣ）で入力開始時刻および入力終了時刻を計時する。なお、時刻計時部３０６は、音声・動画入力受付部３０４によって入力受付したデータに入力時刻が付与されていない場合、当該データが入力された時刻も計時するものとする。

算出部３０６は、時刻計時部３０６によって計時した入力開始時刻から第１所定時間を減算した第１時刻を求め、入力終了時刻に第２所定時間を加算した第２時刻を求める。

図４（ａ）は、第１記憶部３０１に記憶された音声・動画データの時間軸の一例を示す説明図である。入力時刻Ｔは、音声・動画入力受付部３０４によってデータの入力を受け付けた時刻である。入力開始時刻ｔ（ｎ）は、ｎ番目のストローク情報の入力受付を開始した時刻である。入力終了時刻ｕ（ｎ）は、ｎ番目のストローク情報の入力受付を終了した時刻である。算出部３０６は、図４（ａ）に示すように、入力開始時刻ｔ（ｎ）から符号４０１に示す第１所定時間を減算した第１時刻Ｓ（ｎ）、および入力終了時刻ｕ（ｎ）に符号４０２に示す第２所定時間を加算した第２時刻Ｅ（ｎ）を求める。

また、算出部３０６は、先に入力を受け付けたストローク情報の入力終了時刻ｕ（ｎ）から当該ストローク情報の後に入力を受け付けたストローク情報の入力開始時刻ｔ（ｎ＋１）までの区間が第２所定時間より短い場合、当該先に入力を受け付けたストローク情報の入力開始時刻ｔ（ｎ）から第１所定時間を減算した第１時刻Ｓ（ｎ）と、当該後に入力を受け付けたストローク情報の入力終了時刻ｕ（ｎ＋１）に第２所定時間を加算した第２時刻Ｅ（ｎ＋１）を求める。

例えば、図４（ａ）に示す入力終了時刻ｕ（１）から入力開始時刻ｔ（２）までの時間が第２所定時間４０２よりも短い場合、第１時刻Ｓ（１）から第２時刻Ｅ（１）までの区間の音声・動画データと、第１時刻Ｓ（２）から第２時刻Ｅ（２）までの区間の音声・動画データと、の間に重複する部分が生じる。そこで、本実施の形態にかかる算出部３０６は、入力終了時刻ｕ（１）から入力開始時刻ｔ（２）までの時間が、第２所定時間４０２よりも短い場合、先に入力を受け付けたストローク情報の入力開始時刻ｔ（１）から第１所定時間を減算した第１時刻Ｓ（１）を求め、次いで、後に入力を受け付けたストローク情報の入力終了時刻ｕ（２）に第２所定時間を加算した第２時刻Ｅ（２）を求める。

また、算出部３０６は、先に入力を受け付けたストローク情報の入力終了時刻ｕ（ｎ）に第２所定時間を加算した第２時刻Ｅ（ｎ）から、当該ストローク情報の後に入力を受け付けたストローク情報の入力開始時刻ｔ（ｎ＋１）までの区間が第１所定時間より短い場合、先に入力を受け付けたストローク情報の入力終了時刻ｕ（ｎ）に第２所定時間を加算した第２時刻Ｅ（ｎ）を、後に入力を受け付けたストローク情報の入力開始時刻ｔ（ｎ＋１）から第１所定時間を減算した第１時刻Ｓ（ｎ＋１）として求める。

例えば、図４（ａ）に示す第２時刻Ｅ（１）から第１時刻Ｓ（２）までの時間が第１所定時間４０１よりも短い場合、第２時刻Ｅ（１）を、後に入力を受け付けたストローク情報の入力開始時刻ｔ（２）から第１所定時間を減算した第１時刻Ｓ（２）として求める。

検索部３０７は、算出部３０６によって算出された第１時刻Ｓ（ｎ）から第２時刻Ｅ（ｎ）までの区間に対応する音声・動画データを、当該区間と第１記憶部３０１に記憶された音声・動画データに付与された入力時刻Ｔとに基づいて検索する。具体的には、第１記憶部３０１に記憶された音声・動画データに付与された入力時刻Ｔと、第１時刻Ｓ（ｎ）から第２時刻Ｅ（ｎ）までの区間に含まれるすべての時刻とを比較し、一致する入力時刻Ｔが付与された音声・動画データを、区間に対応する音声・動画データとして第１記憶部３０１から検索する。

第１格納部３０８は、検索部３０７によって検索された区間に対応する音声・動画データを、第２記憶部３０２に格納する。

図４（ｂ）は、第１格納部によって第２記憶部に格納された音声・動画データの時間軸の一例を示す説明図である。図４（ｂ）に示すように、第１格納部３０８は、第１検索部３０７によって検索された第１時刻Ｓ（ｎ）から第２時刻Ｅ（ｎ）までの区間に対応する音声・動画データを第２記憶部３０２に格納する。

また、第２記憶部３０２に格納される音声・動画データには、当該第２記憶部３０２に格納された音声・動画データを時系列に連続して再生した場合に、各音声・動画データが再生される時間（以下、再生時間とする）ｔ´（ｎ）が付加される。

また、本実施の形態にかかる第２記憶部３０２は、音声・動画データを時系列に格納する構成としたが、これに限定するものではない。例えば、登録される音声・動画データにＩＤ等を付与しておき、当該音声・動画データを識別できるように構成してもよい。

指定受付部３１０は、第１所定時間及び第２所定時間の設定を受け付ける。本実施の形態にかかる指定受付部３１０は、表示装置２０６に表示された表示画面（図示せず）において設定された第１所定時間及び第２所定時間を当該表示制御部３１２から受信し、受信した第１所定時間及び第２所定時間を算出部３０６に通知する。

このように、本実施の形態にかかる情報処理装置によれば、ストローク情報が入力された場合に、ストローク情報が入力された時刻付近の重要であると考えられる音声・動画データのみを格納できる。そのため、スイッチ等のＯＮ／ＯＦＦといった明示的な操作によらなければ音声・動画データを選択的に記憶することができないという課題が解決される。また、第２記憶部３０２に記憶される音声・動画データの記憶領域を削減することができる。

次に、音声・動画データの再生に関係する部分について説明する。

第２格納部３０９は、ストローク情報入力受付部３０３によって入力を受け付けたストローク情報を、検索部３０７によって検索された区間に対応する音声・動画データに対応付けて第２記憶部３０２に格納する。なお、ストローク情報には、時刻計時部３０５によって計時されたストローク情報の入力開始時刻ｔ（ｎ）及び入力終了時刻ｕ（ｎ）が付与される。

指定受付部３１０は、第２記憶部３０２に記憶されたストローク情報の指定を受け付ける。そして、指定受付部３１０は、指定されたストローク情報に対応する音声・動画データの再生を音声・動画再生部３１１に要求する。

また、指定受付部３１０は、指定を受け付けたストローク情報の入力開始時刻ｔ（ｎ）から減算する時間（以下、第３所定時間とする）および当該ストローク情報の入力終了時刻ｕ（ｎ）に加算する時間（以下、第４所定時間とする）の設定を受け付ける。ここで、第３所定時間は第１所定時間内で設定可能である。また、第４所定時間は、第２所定時間内で設定可能である。

また、指定受付部３１０は、音声・動画再生部３１１によって音声・動画データを再生する際の再生速度の入力を受け付ける。本実施の形態においては、予め設定された再生速度を基準に２倍単位または１／２倍単位に再生速度の変更を受け付ける。

なお、本実施の形態にかかる指定受付部３１０は、表示装置２０６に表示された表示画面６００（図６に示す）を介してストローク情報、第３所定時間、第４所定時間、および再生速度の指定を受けたが、これに限定するものではない。例えば、表示画面６００が表示されていない画面や利用者による物理的なキーの押下を受付けて入力を行うハードキーにより、ストローク情報等の指定を受け付けるように構成しても良い。

算出部３０６は、指定受付部３１０によって第３所定時間および第４所定時間の設定が受け付けられた場合、指定を受け付けたストローク情報の入力開始時刻ｔ（ｎ）から第３所定時間を減算した第３時刻を求め、さらに当該ストローク情報の入力終了時刻ｕ（ｎ）に第４所定時間を加算した第４時刻を求める。具体的には、ストローク情報に付与された入力開始時刻ｔ（ｎ）および入力終了時刻ｕ（ｎ）に従って第３時刻および第４時刻を算出する。

図５（ａ）は、第１記憶部に記憶された音声・動画データの時間軸を示す図である。図５（ｂ）は、第１格納部によって第２記憶部に格納された音声・動画データを時系列に連続して再生した場合の時間軸を示す図である。なお、以下の説明では、図５（ａ）及び（ｂ）に示す符号のうち、図４（ａ）及び（ｂ）に示す符号と同様の符号についてはその説明を省略する。

符合５０１に示す第３の所定時間は、入力開始時刻ｔ（ｎ）から減算する時間である。また、符号５０２に示す第４の所定時間は、入力終了時刻ｕ（ｎ）に加算する時間である。算出部３０６は、入力開始時刻ｔ（ｎ）から第３所定時間５０１を減算して第３時刻を求め、入力終了時刻ｕ（ｎ）に第４所定時間５０２を加算して第４時刻を求める。

音声・動画再生部３１１は、第２記憶部３０２に記憶された音声・動画データの中から、指定受付部３１０によって指定を受け付けたストローク情報に対応付けられた音声・動画データを再生する。具体的には、第２記憶部３０２に記憶された音声・動画データの中から、指定を受け付けたストローク情報に対応付けられた音声・動画データを読み出し、読み出した音声・動画データを再生する。なお、音声・動画再生部３１１によって再生された音声は、スピーカ１０４から出力される。また、音声・動画再生部３１１によって再生された動画は、表示装置２０６に表示される。

また、音声・動画再生部３１１は、指定を受け付けたストローク情報に対応付けられた音声・動画データのうち、第３時刻から第４時刻までの区間に対応する音声・動画データを、当該区間の音声・動画データに付与された入力時刻Ｔに基づいて再生する。具体的には、第２記憶部３０２から読み出した音声・動画データに付与された入力時刻Ｔと、算出部３０６によって求められた第３時刻から第４時刻までの区間に含まれる全ての時刻とを比較し、一致する入力時刻Ｔが付与された音声・動画データを、当該区間に対応する音声・動画データとして時系列に再生する。

例えば、音声・動画再生部３０７は、図５（ｂ）に示すように、再生時間ｔ´（ｎ）に示す音声・動画データが読み出された場合、第３時刻から、第４時刻までの音声・動画データを再生する。これにより、指定を受け付けたストローク情報と対応付けられた音声・動画データのうち、利用者が必要とする音声・動画データのみを再生することができる。

また、音声・動画再生部３１１は、指定受付部３１０によって受け付けた再生速度により読み出された音声・動画データを再生する。なお、本実施の形態にかかる音声・動画再生部３１０は、分解能１００msにより音声・動画データの再生を行うものとするが、これに限定するものではない。

表示制御部３１２は、第２記憶部３０２に記憶されたストローク情報の表示装置２０６への表示制御を行う。具体的には、音声・動画データが再生されているとき、当該音声・動画データに対応付けて第２記憶部３０２に記憶されるストローク情報を強調表示する。また、表示制御部３１２は、指定受付部３１０によってストローク情報の指定を受け付けているとき、指定されたストローク情報を強調表示する。

また、表示制御部３１２は、音声・動画データ及びストローク情報を記憶する際の記憶条件、音声・動画データを再生する際の再生条件を設定する項目、再生された動画データ等を表示装置２０６に表示させる。

図６は、表示制御部３１２により表示された表示画面の一例を示す図である。本図に示す表示画面６００には、ストローク情報の集合である記述情報６０１、タイムバー６０２、第３の所定時間を設定する前方付加（プリマージン）設定ボタン６０３、第４の所定時間を設定する後方付加（ポストマージン）設定ボタン６０４、再生速度設定ボタン６０５、動画画面６０６、及びカーソル６０７が表示される。

利用者は、入力装置２０７を操作して、記述情報６０１、タイムバー６０２、前方付加（プリマージン）設定ボタン６０３、後方付加（ポストマージン）設定ボタン６０４、又は再生速度設定ボタン６０５へカーソル６０７を移動させ、入力装置２０７のクリックなどにより、各種コマンドを入力することができる。

記述情報６０１は、第２記憶部３０２に記憶されたストローク情報の集合である。表示画面６００において利用者は入力装置２０７を操作して各記述情報６０１に含まれる所望のストローク情報へカーソル６０７を移動させ、クリックなどにより当該ストローク情報を指定することができる。そして、表示制御部３１２は、ストローク情報が指定されたことを指定受付部３１０に通知する。

タイムバー６０２は、第２記憶部３０２に記憶された音声・動画データを時系列に連続して再生した場合の時間軸上における音声・動画データの入力時刻Ｔの位置を示す表示である。なお、本実施の形態にかかるタイムバー６０２は、音声・動画データの入力時刻Ｔを示す表示としたが、これに限定するものではない。例えば、第２記憶部３０２に記憶された音声・動画データを時系列に連続して再生した場合の時間軸の再生時間ｔ´（ｎ）を示す表示としてもよい。

前方付加設定ボタン６０３は、指定受付部３１０によって受け付けられる第３所定時間を設定するボタンとなる。

表示画面６００において利用者はカーソル６０７を前方付加設定ボタン６０３へ移動させ、クリックなどにより当該前方付加設定ボタン６０３を選択することにより、第３所定時間の設定を入力することができる。

後方付加設定ボタン６０４は、指定受付部３１０によって受け付けられる第４所定時間を設定するボタンとなる。

表示画面６００において利用者はカーソル６０７を後方付加設定ボタン６０４へ移動させ、クリックなどにより当該後方付加設定ボタン６０４を選択することにより、第４所定時間の設定を入力することができる。

倍速ボタン６０５は、指定受付部３１０によって受け付けられる音声・動画データの再生速度を設定するボタンである。表示画面６００において利用者はカーソル６０７を倍速ボタン６０５へ移動させ、クリックなどにより倍速ボタン６０５を選択することにより、音声・動画データの再生速度を設定することができる。

動画画面６０６は、音声・動画再生部３１１によって再生される音声・動画データを表示する。

ここで、ストローク情報を指定する際および音声・動画データを再生する際に、表示画面６００に表示されるストローク情報の表示方法について詳細に説明する。

図７は、入力装置２０７を操作してカーソル６０７を所望のストローク情報へ移動させ、クリックにより当該ストローク情報を指定する画面の一例を示す図である。利用者は、表示画面６００においてカーソル６０７をストローク情報７０１へ移動させ、クリックなどによりストローク情報７０１の選択を指示することにより、当該ストローク情報７０１を指定することができる。

また、表示制御部３１２は、カーソル６０７のストローク情報７０１への移動に従って、移動先のストローク情報７０１を強調表示する。例えば、図７に示すように、ストローク情報７０１の表示を太くする。なお、本実施の形態においては、カーソル６０７の移動に合わせてストローク情報７０１の表示を太くしたが、これに限定されるものではない。例えば、ストローク情報の表示の色を変更するようにしても良い。

さらに、表示制御部３１２は、カーソル６０７がストローク情報７０１へ移動すると、第２記憶部３０２に記憶された音声・動画データの中から、当該ストローク情報に対応付けられた音声・動画データを特定する。そして、表示制御部３１２は、特定された音声・動画データに付与された入力時刻Ｔに従ってタイムバー６０２を左右に移動させる。これにより、利用者は、第２記憶部３０２に記憶された音声・動画データを時系列に連続して再生した場合の時間軸における音声・動画データに付与された入力時刻Ｔの位置を視覚的に認識することができる。

また、表示制御部３１２は、音声・動画データが再生されているとき、当該音声・動画データに対応付けて第２記憶部３０２に記憶されるストローク情報を強調表示する。具体的には、表示制御部３１２は、第２記憶部３０２から、再生中の音声・動画データに対応付けられたストローク情報を特定し、特定したストローク情報を強調表示する。その際、表示制御部３１２は、当該特定したストローク情報に付与された入力開始時刻ｔ（ｎ）から所定時間Ｃ（例えば、１秒）以内の入力開始時刻ｔ（ｎ）が付与されたストローク情報を第２記憶部３０２から特定し、特定したストローク情報を同時に強調表示してもよい。なお、本実施の形態にかかる表示制御部３１２は、音声・動画再生部３１１の分解能Δｔ秒経過する度に、上述の処理によりストローク情報を特定し、特定されたストローク情報を強調表示する。

図８および図９は、音声・動画データの再生に同期して、当該音声・動画データに対応付けられたストローク情報を強調表示した場合の一例を示す図である。本実施の形態にかかる表示制御部３１２は、音声・動画再生部３１１の分解能Δｔ秒ごとに、強調表示するストローク情報（８０１、８０２）を変更する。

なお、図８に示す例においては、音声・動画データの再生に同期して、ストローク情報（８０１、８０２）を強調表示したが、図９に示すように、音声・動画再生部３１１の分解能Δｔ秒経過するごとに、上述した処理手順により特定したストローク情報を順次表示することも可能である。

次に、以上のように構成されている情報処理装置１００による音声・動画データ及びストローク情報の格納処理の手順について説明する。図１０は、ストローク情報及び音声・動画データの格納までの処理手順を示すフローチャートである。図１１は、音声・動画データ及びストローク情報の格納処理の手順を示すフローチャートである。

まず、図１０を用いて、音声・動画データ及びストローク情報の格納までの処理手順について説明する。音声・動画入力受付部３０４は、入力を受け付けた音声・動画データの第１記憶部３０１への格納処理を開始する（ステップＳ１００１）。ストローク情報入力受付部３０３は、入力を受け付けるストローク情報に付加するインデックスｎ＝０に設定して初期化する（ステップＳ１００２）。

次に、音声・動画入力受付部３０４は、マイクロフォン１０２及びカメラ１０１からの音声・動画データの入力の受け付けが継続して行われているか否かを判断する（ステップＳ１００３）。音声・動画データの入力の受け付けが継続していない場合（ステップＳ１００３：Ｎｏ）、情報処理装置１００は音声・動画データ及びストローク情報の格納処理を終了する（ステップＳ１０１２）。

一方、音声・動画データの入力の受け付けが継続して行われている場合（ステップＳ１００３：Ｙｅｓ）、ストローク情報入力受付部３０３は、ストローク情報の入力の受け付けを待って待機する（ステップＳ１００４）。ストローク情報の入力の受け付けが開始されない場合（ステップＳ１００４：Ｎｏ）、ステップＳ１００３に戻り、音声・動画入力受付部３０４は、音声・動画データの入力の受け付けが行われているか否かを判断する。

ストローク情報の入力の受け付けが開始された場合（ステップＳ１００４：Ｙｅｓ）、ストローク情報入力受付部３０３は、ストローク情報に付加するインデックスｎ、および当該ストローク情報に付加するインデックスｍをインクリメントする（ステップＳ１００５）。さらに、ストローク情報入力受付部３０３は、ストローク情報の入力開始時刻ｔ（ｎ）を時刻計時部３０５から取得する（ステップＳ１００６）。

さらに、ストローク情報入力受付部３０３は、ストローク情報入力装置１０３から入力されるストローク情報に含まれる座標（ｘ_ｍ，ｙ_ｍ）の入力を受け付ける（ステップＳ１００７）。次に、ストローク情報入力受付部３０３は、ストローク情報入力装置１０３からのストローク情報の入力が終了したか否かを判断する（ステップＳ１００８）。ストローク情報の入力が継続されている場合（ステップＳ１００８：Ｎｏ）、ストローク情報入力受付部３０３はインデックスｍをインクリメントする（ステップＳ１００９）。そして、ステップＳ１００７へ戻り、ストローク情報入力受付部３０３は、ストローク情報の入力の受け付けを行う。

一方、ストローク情報の入力が終了した場合（ステップＳ１００８：Ｙｅｓ）、ストローク情報入力受付部３０３は、ストローク情報の入力が終了した入力終了時刻ｕ（ｎ）を時刻計時部３０５から取得する（ステップＳ１０１０）。ストローク情報の入力の受け付けが完了すると、音声・動画データ及びストローク情報の格納処理が実行される（ステップＳ１０１１）。

次に、図１１を用いて、図１０に示すステップ１０１１による音声・動画データ及びストローク情報の格納処理について詳細に説明する。

算出部３０６は、ストローク情報の入力開始時刻ｔ（ｎ）から第１所定時間を減算した第１時刻Ｓ（ｎ）、及びストローク情報の入力終了時刻ｕ（ｎ）に第２所定時間を加算した第２時刻Ｅ（ｎ）を算出する（ステップＳ１１０１）。なお、第１時刻Ｓ（ｎ）が第１記憶部３０１に格納された音声・動画データに付与した入力時刻Ｔ未満の場合は、第１時刻Ｓ（ｎ）を入力時刻Ｔとする。

次に、算出部３０６は、算出した第１時刻Ｓ（ｎ）がｎ-１番目のストローク情報の入力終了時刻ｕ（ｎ-１）に第２所定時間を加算した第２時刻Ｅ（ｎ-１）より前、若しくは同時刻であるか否かを判断する（ステップＳ１１０２）。ここで、第１時刻Ｓ（ｎ）が第２時刻Ｅ（ｎ-１）より前、若しくは同時刻であった場合（ステップＳ１１０４：Ｙｅｓ）、算出部３０６は、第２記憶部３０２に格納する音声・動画データの第１時刻Ｓ（ｎ）を第２時刻Ｅ（ｎ-１）に補正する（ステップＳ１１０３）。

次に、検索部３０７は、第１時刻Ｓ（ｎ）から第２時刻Ｅ（ｎ）までの区間に対応する音声・動画データを、当該区間と第１記憶部３０１に記憶された音声・動画データに付与された入力時刻Ｔとに基づいて検索する。そして、第１格納部３０８は、検索された区間に対応する音声・動画データを第２記憶部３０２に格納する（ステップＳ１１０４）。

そして、第２格納部３０９は、入力を受け付けたストローク情報を、当該ストローク情報と同時刻に入力を受け付けた音声・動画データに対応付けて第２記憶部３０２に格納する（ステップＳ１１０８）。その際、第２格納部３０９は、ストローク情報に、当該ストローク情報の入力開始時刻ｔ（ｎ）及び入力終了時刻ｕ（ｎ）を付与する。

次に、第２記憶部３０２に格納した音声・動画データを再生する処理について図１２を用いて説明する。図１２は、音声・動画データを再生する処理の手順を示す図である。

まず、指定受付部３１０がストローク情報の指定を受け付ける（ステップＳ１２０１）。音声・動画再生部３１１は、指定を受け付けたストローク情報に対応する音声・動画データを第２記憶部３０２から読み出し、再生する（ステップＳ１２０２）。

ここで、指定受付部３１０が第３所定時間および第４所定時間の指定を受け付けていた場合、算出部３０６は、ストローク情報に付与された入力開始時刻ｔ（ｎ）および入力終了時刻ｕ（ｎ）に基づいて、第３時刻および第４時刻を求める。そして、音声・動画再生部３１１は、読み出した音声・動画データのうち、第３時刻から第４時刻までの区間に対応する音声・動画データを、当該区間の音声・動画データに付与された入力時刻Ｔに基づいて再生する。

次に、音声・動画再生部３１１による音声・動画データの再生に同期して、ストローク情報を強調表示する処理の手順について図１３を用いて説明する。図１３は、音声・動画データの再生に同期して、ストローク情報を強調表示する処理の手順を示す図である。

音声・動画データの再生が開始されると、表示制御部３１２は、音声・動画再生部３１１の分解能Δｔ秒ごとに、第２記憶部３０２から、再生されている音声・動画データに対応付けて記憶されるストローク情報を特定する（ステップＳ１３０１）。

ここで、表示制御部３１２は、再生中の音声・動画データと対応付けられたストローク情報が特定されたか否かを判断する（ステップＳ１３０２）。そして、再生中の音声・動画データに対応付けられたストローク情報が特定されなかった場合（ステップＳ１３０２：Ｎｏ）、表示制御部３１２は、音声・動画データの再生が終了したと判断し、ストローク情報の強調表示は行わない（ステップＳ１３０３）。

一方、再生中の音声・動画データに対応付けられたストローク情報が特定された場合（ステップＳ１３０２：Ｙｅｓ）、表示制御部３１２は、特定されたストローク情報と、当該ストローク情報に付与された入力開始時刻ｔ（ｎ）から所定時間Ｃ以内に入力されたストローク情報を強調表示する（ステップＳ１３０４）。

そして、表示制御部３１２は、Δｔ秒間待機し（ステップＳ１３０５）、ステップＳ１３０１へ戻り、再び、ストローク情報を特定する。

以上、本実施の形態にかかる情報処理装置１００によれば、ストローク情報が入力された時刻付近に交わされた重要であると考えられる音声・動画のみを記憶・再生することができる。また、ストローク情報が入力されていない時間に交わされた機密性の高い内容については、記憶されないため、機密性の高い内容にかかる情報の漏洩を防止することができる。

また、本実施の形態にかかる情報処理装置１００によれば、表示制御部３１２に表示されたストローク情報を指定し、指定されたストローク情報と対応付けて管理される音声・動画データを再生することとしたので、利用者は、ストローク情報に基づいて、再生したい音声・動画データを容易に特定することができる。

（第２の実施の形態）
上述した第１の実施の形態においては、指定受付部３１０により指定を受け付けたストローク情報に対応付けて記憶される音声・動画データの再生を行うこととしたが、本実施の形態においては、音声・動画データの入力時刻Ｔを直接指定し、指定された入力時刻Ｔに基づいて音声・動画データを再生するようにしたものである。

図１４は、第２の実施の形態にかかる情報処理装置１４００の構成を示すブロック図である。情報処理装置１４００は、上述した第１の実施の形態にかかる情報処理装置１００とは、指定受付部３０１とは処理が異なる指定受付部１４０１、音声・動画再生部３１１とは処理が異なる音声・動画再生部１４０２、及び表示制御部３１２とは処理が異なる表示制御部１４０３を有している点で異なる。以下の説明では、上述した第１の実施の形態と同一の構成要素には同一の符号を付してその説明を省略している。

本実施の形態にかかる情報処理装置１４００は、表示制御部１４０３により表示装置２０６に表示された表示画面６００（図６に示す）に表示されたタイムバー６０２によって再生する音声・動画データの入力時刻Ｔを指定することができる。

本実施の形態にかかる表示制御部１４０３は、タイムバー６０２の左右への移動により指定された音声・動画データの入力時刻Ｔを指定受付部１４０１に通知する。図６に示す表示画面６００において、利用者は表示されたタイムバー６０２へカーソル６０７を移動させ、タイムバー６０２を選択したまま左右へ移動させることにより、入力時刻Ｔを指定することができる。

また、本実施の形態にかかる表示制御部１４０３は、タイムバー６０２により指定された入力時刻Ｔが付与された音声・動画データに対応付けて記憶されるストローク情報を強調表示する。これにより、音声・動画データの再生により出力される音声及び動画とストローク情報との対応関係を容易に把握することができる。

指定受付部１４０１は、所望の時刻の指定を受け付ける。具体的には、表示制御部１４０３から通知された入力時刻Ｔの指定を受け付け、受け付けた入力時刻Ｔの音声・動画データの再生を音声・動画読出部１２０２に要求する。

音声・動画再生部１４０２は、第２記憶部３０２に記憶された音声・動画データのうち、指定を受け付けた時刻以降の入力時刻Ｔに対応する音声・動画データを再生する。具体的には、指定された時刻以降の入力時刻Ｔが付与された音声・動画データを第２記憶部３０２から読み出し、読み出した音声・動画データを再生する。

以上、本実施の形態にかかる情報処理装置１４００によれば、タイムバーを左右に移動させるだけで、再生したい動画像データを読み出し、再生させることとしたので、簡易な操作で再生した動画像データを指定することができる。

（第３の実施の形態）
上述した第１及び第２の実施の形態においては、第１記憶部３０１に記憶された音声・動画データを第１格納部３０８により第２記憶部３０２に格納し、第２記憶部３０２から再生する音声・動画データを読み出し、再生することとした。しかし、本実施の形態においては、音声・動画入力受付部３０４により入力を受け付けた音声・動画データを、直接、第２記憶部３０２に格納する。

図１５は、第３の実施の形態にかかる情報処理装置１５００の構成を示すブロック図である。情報処理装置１５００は、第１記憶部３０１、及び第１格納部３０８が削除され、第２記憶部３０２とは記憶する情報が異なる第２記憶部１５０１、及び検索部３０７とは処理が異なる検索部１５０２を有している点で異なる。以下の説明では、上述した第１の実施の形態と同一の構成要素には同一の符号を付してその説明を省略する。

第３の実施の形態にかかる情報処理装置１５００は、音声・動画入力受付部３０４で入力を受け付けた音声・動画データを第２記憶部１５０１に直接格納する。

第２記憶部１５０１は、音声・動画入力受付部３０４において入力を受け付けた音声・動画データを記憶する。本実施の形態にかかる第２記憶部１５０１は、ＨＤＤ２０４の容量が許すかぎり入力を受け付けた音声・動画データを記憶するものとする。

検索部１５０２は、算出部３０６によって求められた第１時刻から第２時刻までの区間に対応する音声・動画データを、当該区間と第２記憶部１５０１に記憶された音声・動画データに付与された入力時刻Ｔとに基づいて検索する。具体的には、第２記憶部１５０１に記憶された音声・動画データに付与された入力時刻Ｔと、第１時刻から第２時刻までの区間に含まれるすべての時刻とを比較し、一致する入力時刻が付与された音声・動画データを、当該区間に対応する音声・動画データとして第２記憶部１５０１から検索する。

なお、本実施の形態にかかる音声・動画再生部３１１は、検索された区間に対応する音声・動画データを再生する。

以上、本実施の形態にかかる情報処理装置１５００によれば、指定されたストローク情報が入力された時刻に基づいて、当該ストローク情報が入力された時刻付近の音声・動画データを再生することとしたので、利用者は重要な内容を含む音声・動画データの再生時刻を記憶していなくても、重要であると考えられる音声・動画データを容易に再生させることができる。

（第４の実施の形態）
上述した第１〜３の実施の形態にかかる情報処理装置は、ネットワークを介して複数の同様の機能を持った情報処理装置と接続し、各情報処理装置に記憶された音声・動画データをいずれか一つの情報処理装置にまとめて記憶させておくことも可能である。

図１６は、第１の実施の形態にかかる情報処理装置１００を、ネットワーク１６０１を介して複数の情報処理装置１００と接続した情報処理システム１６００の構成を示す図である。本実施の形態にかかる情報処理システム１６００は、ネットワーク１６０１を介して接続された情報処理装置１００の少なくとも１人の利用者がストローク情報を入力していれば、第１格納部３０８が検索部３０７によって検索された音声・動画データを第２記憶部３０２に記憶する。

その際、ネットワーク１６０１で接続された情報処理装置１００が備える全ての第１格納部３０８が音声・動画データを第２記憶部３０２に格納するのではなく、少なくとも１つの第１格納部３０８が当該音声・動画データを第２記憶部３０２に格納する。これにより、各情報処理装置１００によって音声・動画データを記憶する場合と比べて、情報処理装置１００の記憶容量を効率的に使用することができる。

第１の実施の形態にかかる情報処理装置及び情報処理装置に接続された外部装置の概観図である。 第１の実施の形態にかかるプログラムを実行したＰＣのハードウェア構成を示した図である。 第１の実施の形態にかかる情報処理装置の構成を示すブロック図である。 第１記憶部に記憶された音声・動画データの時間軸、第２記憶部に記憶された音声・動画データを時系列に連続した再生した場合の時間軸を示す図である。 第１記憶部に記憶された音声・動画データの時間軸、第２記憶部に記憶された音声・動画データを時系列に連続して再生した場合の時間軸を示す図である。 表示部に表示された表示画面の一例を示す図である。 カーソルを所望のストローク情報の表示領域に移動させて、選択する画面の一例を示す図である。 音声・動画データの再生に同期して、当該音声・動画データに対応するストローク情報の表示形式を変更した場合の一例を示す図である。 音声・動画データの再生に同期して、当該音声・動画データに対応するストローク情報を表示した場合の一例を示す図である。 ストローク情報及び音声・動画データの格納までの処理手順を示すフローチャートである。 音声・動画データ及びストローク情報の格納処理の手順を示すフローチャートである。 音声・動画データを再生する処理の手順を示すフローチャートである。 音声・動画データの再生に同期して、ストローク情報の表示形式を変更する処理の手順を示すフローチャートである。 第２の実施の形態にかかる情報処理装置の構成を示すブロック図である。 第３の実施の形態にかかる情報処理装置の構成を示すブロック図である。 第１の実施の形態にかかる情報処理装置を、ネットワークを介して複数の情報処理装置と接続した情報処理システムの構成を示す図である。

符号の説明

１００、１４００、１５００ 情報処理装置
１０１ カメラ
１０２ マイクロフォン
１０３ ストローク情報入力装置
１０４ スピーカ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ ＨＤＤ
２０５ 通信制御装置
２０６ 表示装置
２０７ 入力装置
２０８ バス
３０１ 第１記憶部
３０２、１５０１ 第２記憶部
３０３ ストローク情報入力受付部
３０４ 音声・動画入力受付部
３０５ 時刻計時部
３０６ 算出部
３０７、１５０２ 検索部
３０８ 第１格納部
３０９ 第２格納部
３１０、１４０１ 指定受付部
３１１、１４０２ 音声・動画再生部
３１２、１４０３ 表示制御部

Claims (16)

1. データを書き込む際に最大記憶容量を超える場合には、既に記憶済みのデータに上書きしてデータを書き込み可能な第１記憶部と、
   データを記憶可能な第２記憶部と、
   利用者による操作入力の開始から終了までの間で連続した一筆単位の手書き描画であるストローク情報の入力を、前記操作入力に連動して逐次受け付ける第１入力受付手段と、
   音声および映像の少なくとも一方のデータを入力し、入力したデータに入力時刻を付与した時系列情報を前記第１記憶部に格納する第２入力受付手段と、
   前記ストローク情報の入力受付が開始した時刻である開始時刻と前記ストローク情報の入力受付が終了した時刻である終了時刻とを計時する計時手段と、
   前記開始時刻から第１所定時間を減算した第１時刻を求め、前記終了時刻に第２所定時間を加算した第２時刻を求める算出手段と、
   前記第１時刻から前記第２時刻までの区間に対応する時系列情報を、当該区間と前記第１記憶部に記憶された前記時系列情報に付与された前記入力時刻とに基づいて検索する検索手段と、
   検索された前記区間に対応する時系列情報を、前記第２記憶部に格納する第１格納手段と、
   を備えたことを特徴とする情報処理装置。
2. 入力を受け付けた前記ストローク情報を、前記区間に対応する前記時系列情報に対応付けて前記第２記憶部に格納する第２格納手段と、
   前記第２記憶部に記憶された前記ストローク情報の指定を受け付ける指定受付手段と、
   前記第２記憶部に記憶された前記時系列情報の中から、指定を受け付けた前記ストローク情報に対応付けられた前記時系列情報を再生する再生手段と、
   をさらに備えたことを特徴とする請求項１に記載の情報処理装置。
3. 前記算出手段は、さらに、指定を受け付けた前記ストローク情報の前記開始時刻から前記第１所定時間より短い第３所定時間を減算した第３時刻を求め、当該ストローク情報の前記終了時刻に前記第２所定時間より短い第４所定時間を加算した第４時刻を求め、
   前記再生手段は、指定を受け付けた前記ストローク情報に対応付けられた前記時系列情報のうち、前記第３時刻から前記第４時刻までの区間に対応する時系列情報を、当該区間の前記時系列情報に付与された前記入力時刻に基づいて再生することを特徴とする請求項２に記載の情報処理装置。
4. 前記時系列情報が再生されているとき、当該時系列情報に対応付けて前記第２記憶部に記憶される前記ストローク情報を強調表示する表示手段をさらに備えたことを特徴とする請求項２または３に記載の情報処理装置。
5. 前記表示手段は、さらに、前記ストローク情報の指定を受け付けているとき、指定された前記ストローク情報を強調表示することを特徴とする請求項４に記載の情報処理装置。
6. 前記表示手段は、前記ストローク情報が示す線分の太さ及び色のうち少なくとも１つを変更して当該ストローク情報を強調表示することを特徴とする請求項４または５に記載の情報処理装置。
7. 前記指定受付手段は、さらに、前記時系列情報の再生速度の入力を受け付け、
   前記再生手段は、入力を受け付けた前記再生速度で前記時系列情報を再生することを特徴とする請求項２から６のいずれか一に記載の情報処理装置。
8. 前記算出手段は、先に入力を受け付けた前記ストローク情報の前記終了時刻から当該ストローク情報の後に入力を受け付けた前記ストローク情報の前記開始時刻までの区間が前記第２所定時間より短い場合、当該先に入力を受け付けたストローク情報の前記開始時刻から前記第１所定時間を減算した前記第１時刻と、当該後に入力を受け付けたストローク情報の前記終了時刻に前記第２所定時間を加算した前記第２時刻を求めることを特徴とする請求項１から７のいずれか一に記載の情報処理装置。
9. 前記指定受付手段は、さらに、前記第１所定時間および前記第２所定時間の設定を受け付けることを特徴とする請求項１から８のいずれか一に記載の情報処理装置。
10. 前記指定受付手段は、さらに、前記第３所定時間および前記第４所定時間の設定を受け付けることを特徴とする請求項２から９のいずれか一に記載の情報処理装置。
11. 前記指定受付手段は、さらに、所望の時刻の指定を受け付け、
    前記再生手段は、前記第２記憶部に記憶された前記時系列情報のうち、指定を受け付けた前記時刻以降の前記入力時刻に対応する前記時系列情報を再生することを特徴とする請求項１に記載の情報処理装置。
12. データを記憶可能な記憶部と、
    利用者による操作入力の開始から終了までの間で連続した一筆単位の手書き描画であるストローク情報の入力を、前記操作入力に連動して逐次受け付ける第１入力受付手段と、
    前記ストローク情報の入力受付が開始した時刻である開始時刻と前記ストローク情報の入力受付が終了した時刻である終了時刻とを計時する計時手段と、
    計時した前記ストローク情報の前記開始時刻および前記終了時刻を付与した当該ストローク情報を前記記憶部に格納する格納手段と、
    音声および映像の少なくとも一方のデータを入力し、入力したデータに入力時刻を付与した時系列情報を前記記憶部に格納する第２入力受付手段と、
    前記記憶部に記憶された前記ストローク情報の指定を受け付ける指定受付手段と、
    指定を受け付けた前記ストローク情報に付与された前記開始時刻から第１所定時間を減算した第１時刻を求め、当該ストローク情報に付与された前記終了時刻に第２所定時間を加算した第２時刻を求める算出手段と、
    前記第１時刻から前記第２時刻までの区間に対応する時系列情報を、当該区間と前記記憶部に記憶された前記時系列情報に付与された前記入力時刻とに基づいて検索する検索手段と、
    検索された前記区間に対応する時系列情報を再生する再生手段と、
    を備えたことを特徴とする情報処理装置。
13. 情報処理装置が複数接続された情報処理システムであって、
    前記各情報処理装置は、
    データを書き込む際に最大記憶容量を超える場合には、既に記憶済みのデータに上書きしてデータを書き込み可能な第１記憶部と、
    データを記憶可能な第２記憶部と、
    利用者による操作入力の開始から終了までの間で連続した一筆単位の手書き描画であるストローク情報の入力を、前記操作入力に連動して逐次受け付ける第１入力受付手段と、
    音声および映像の少なくとも一方のデータを入力し、入力したデータに入力時刻を付与した時系列情報を前記第１記憶部に格納する第２入力受付手段と、
    前記ストローク情報の入力受付が開始した時刻である開始時刻と前記ストローク情報の入力受付が終了した時刻である終了時刻とを計時する計時手段と、
    前記開始時刻から第１所定時間を減算した第１時刻を求め、前記終了時刻に第２所定時間を加算した第２時刻を求める算出手段と、
    前記第１時刻から前記第２時刻までの区間に対応する時系列情報を、当該区間と前記第１記憶部に記憶された前記時系列情報に付与された前記入力時刻とに基づいて検索する検索手段と、
    検索された前記区間に対応する時系列情報を、前記第２記憶部に格納する第１格納手段と、を備え、
    前記複数の情報処理装置のうち、１つの情報処理装置は、
    前記第１格納手段は、前記時系列情報を前記第２記憶部に格納することを特徴とする情報処理システム。
14. 前記情報処理装置は、
    前記第１格納手段は、少なくとも１つの前記情報処理装置が備える前記第１入力受付手段が前記ストローク情報の入力を受け付けた場合、前記時系列情報を前記第２記憶部に格納することを特徴とする請求項１３に記載の情報処理システム。
15. データを書き込む際に最大記憶容量を超える場合には、既に記憶済みのデータに上書きしてデータを書き込み可能な第１記憶部と、データを記憶可能な第２記憶部と、を備えた情報処理装置を、
    利用者による操作入力の開始から終了までの間で連続した一筆単位の手書き描画であるストローク情報の入力を、前記操作入力に連動して逐次受け付ける第１入力受付手段と、
    音声および映像の少なくとも一方のデータを入力し、入力したデータに入力時刻を付与した時系列情報を前記第１記憶部に格納する第２入力受付手段と、
    前記ストローク情報の入力受付が開始した時刻である開始時刻と前記ストローク情報の入力受付が終了した時刻である終了時刻とを計時する計時手段と、
    前記開始時刻から第１所定時間を減算した第１時刻を求め、前記終了時刻に第２所定時間を加算した第２時刻を求める算出手段と、
    前記第１時刻から前記第２時刻までの区間に対応する時系列情報を、当該区間と前記第１記憶部に記憶された前記時系列情報に付与された前記入力時刻とに基づいて検索する検索手段と、
    検索された前記区間に対応する時系列情報を、前記第２記憶部に格納する第１格納手段と、
    して機能させるプログラム。
16. 前記情報処理装置を、
    入力を受け付けた前記ストローク情報を、前記区間に対応する前記時系列情報に対応付けて前記第２記憶部に格納する第２格納手段と、
    前記第２記憶部に記憶された前記ストローク情報の指定を受け付ける指定受付手段と、
    前記第２記憶部に記憶された前記時系列情報の中から、指定を受け付けた前記ストローク情報に対応付けられた前記時系列情報を再生する再生手段と、
    して機能させる請求項１５に記載のプログラム。

Images