JP2008005359A - ドキュメントカメラ装置 - Google Patents

Abstract

【課題】 会議の様子を忠実に再現し、会議の内容理解が容易となるドキュメントカメラ装置を提供する。
【解決手段】 スクリーンに投影される投影用の画像データを撮影するドキュメントカメラ１であって、投影される画像データの切り替えタイミングを検出する画像取得部３１と、発言者の音声を音声データとして取り込むマイク９と、画像取得部３１の検出した切り替えタイミングに応じて音声データを分割する音声取得部３２と、投影用の画像データと、この画像データの投影中に入力した音声データとを関連付けて、記憶手段に格納する関連付け処理部３３とを有している。
【選択図】 図２

Description

本発明は、原稿や書類等のドキュメントを撮影するカメラを備え、このカメラによって撮影された画像を表示装置に表示するドキュメントカメラ装置に関する。

紙に印刷された文書、図面、写真などのドキュメント、さらには立体物などを撮影し、撮影した画像をスクリーンやディスプレイに表示させるカメラ装置をドキュメントカメラ（書画カメラ）という。

ドキュメントカメラ装置は、一般的にドキュメントを撮影するためのカメラと、カメラを支え、被写体を好適な角度から撮影できるように上下左右に可動可能なスタンドと、撮影して得られた画像データをプロジェクタやディスプレイに送るためのインターフェースとを備えている。例えば、会議の前までに資料を事前にＰＣ等に読み込んでおかなくても、ドキュメントカメラ装置で撮影して取り込むことで、その場で画像をスクリーンに投影することができる。

また、一度カメラで撮影して取り込んだ画像をコンピュータに保存する機能を搭載したドキュメントカメラ装置も提案されている（例えば、特許文献１参照）。

特開２００５−７９７２７号公報

しかしながら、画像が表示されている間になされた発話者の発言等の音声データを画像に関連付けて保存することができなかったため、画像データを保存できる機能を持ったドキュメントカメラであっても、表示された画像データに対応する説明音声を再生して聞くことができないという問題がある。
また、撮影された画像データを保存できるドキュメントカメラであっても、画像の変化を検出して、必要な画像データだけを保存しなければ、記憶装置の容量を無駄に消費するという課題を有している。

本発明は上記事情に鑑みてなされたものであり、会議の様子を忠実に再現し、会議の内容理解が容易となるドキュメントカメラ装置を提供することを目的とする。

かかる目的を達成するために本発明のドキュメントカメラ装置は、スクリーンに投影される投影用の画像データを撮影するドキュメントカメラ装置であって、投影される画像データの切り替えタイミングを検出する検出手段と、発言者の音声を音声データとして取り込む音声入力手段と、前記検出手段の検出した切り替えタイミングに応じて前記音声データを分割する分割手段と、前記投影用の画像データと、該画像データの投影中に入力した音声データとを関連付けて、記憶手段に格納する関連付け手段とを有する構成としている。
このように本発明は、撮影した画像データと、この画像データに対する発言とが関連付けされて記憶手段に格納されるので、画像データを表示しながら音声データを再生することができる。従って、会議の様子を忠実に再現することができ、会議の内容理解が容易となる。

上記ドキュメントカメラ装置において、前記検出手段は、撮影された画像データを順次入力し、直前の画像データと比較して画像に変化のある画像を検出して、前記切り替えタイミングを検出するとよい。
従って、画像に変化のある画像データだけを取り込んで記憶手段に格納しておくので、不要な画像データを記憶手段に記憶することがなく、記憶手段の記憶容量を無駄に消費しない。

上記ドキュメントカメラ装置において、前記投影用の画像データを撮影する第１撮影手段を備え、前記検出手段は、前記第１撮影手段に撮影を指示する操作手段からの操作入力を検出して、前記切り替えタイミングを検出するとよい。
従って、操作手段からの入力によって画像の切り替えタイミングを検出するので、音声データと画像データの関連付けを正確に行うことができる。

上記ドキュメントカメラ装置において、前記投影用の画像データと、該画像データに関連付けられた音声データとを前記記憶手段から読み出して、再生させる再生制御手段を有するとよい。
従って、画像データと、この画像データに関連付けられた音声データとを再生し、会議の様子を再現することができる。

上記ドキュメントカメラ装置において、発言者や会議室の様子を撮影する第２撮影手段を備え、前記関連付け手段は、前記第２撮影手段で撮影された画像データと、前記投影用の画像データとを関連付けて、前記記憶手段に格納するとよい。
従って、会議で使用した資料と、その資料に対する発言とを再現すると共に、会議中の発言者や会議室の様子を利用者に認識させることができる。

上記ドキュメントカメラ装置において、前記検出手段は、画像データの画像特徴量を抽出し、該画像特徴量と前記直前の画像データの画像特徴量とを比較することで、前記画像に変化のある画像データを検出するとよい。
また、前記検出手段は、画像のカラーヒストグラムと、色分布と、濃度一様な画像パターン数と、画素数と画素配列と、画像のエッジ数との少なくとも１つを前記画像特徴量として抽出するとよい。
さらに、前記検出手段は、画像データから抽出したテキスト情報と、前記直前の画像データから抽出したテキスト情報とを比較して、前記画像に変化のある画像データを検出してもよい。
従って、画像の変化を正確に検出することができる。

上記ドキュメントカメラ装置において、前記投影用の画像データを撮影する第１撮影手段を備え、前記検出手段は、前記第１撮影手段の撮影位置に資料が配置されているか否かを検出する第２検出手段からのセンサ信号を入力して、前記切り替えタイミングを検出するとよい。
従って、画像の変化を正確に検出することができる。

上記ドキュメントカメラ装置において、撮影された画像データのサムネイル画像を作成するサムネイル作成手段を有し、前記関連付け手段は、前記サムネイル画像を、該サムネイル画像の作成元の画像データに関連付けて前記記憶手段に格納するとよい。
従って、サムネイル画像を表示して、選択されたサムネイル画像に関連付けられた画像データや音声データを再生することができる。

上記ドキュメントカメラ装置において、撮影された画像データからテキスト情報を抽出し、形態素解析を行って前記テキスト情報から分離した形態素を前記記憶手段に格納する文字認識手段と、前記音声入力手段から入力された音声データに対して、音声認識処理を行ってテキスト情報を抽出し、形態素解析を行って前記テキスト情報から分離した形態素を前記記憶手段に格納する音声認識手段とを有し、前記関連付け手段は、前記形態素を、該形態素を検出した画像データや音声データに関連付けて前記記憶手段に格納し、検索語を含む画像データ又は音声データを前記記憶手段から検索する検索手段を有するとよい。
従って、検索語を入力して所望の画像データや音声データを検出することができる。

本発明によれば、会議の様子を忠実に再現し、会議の内容理解が容易となるドキュメントカメラ装置を提供することができる。

添付図面を参照しながら本発明の好適な実施例を説明する。

まず、図１を参照しながら本実施例のドキュメントカメラ１の構成を説明する。
図１に示すように本実施例のドキュメントカメラ１は、カメラ等の第１画像入力部（第１撮影手段）２と、第１画像入力部２を支え、被写体となるドキュメントを好適な位置から撮影できるようにＸＹＺ方向に稼動するフレキシブルアーム３と、被写体となるドキュメントを載置するスタンド４とを有している。また、ドキュメントカメラ１は、マイク端子８を備え、マイク９を接続することができる。さらに、第１画像入力部２で撮影された画像をスクリーン等に表示するプロジェクタ装置１０がドキュメントカメラ１には接続可能となっている。

次に、ドキュメントカメラ１のより詳細な構成について図２を参照しながら説明する。
図２に示すようにドキュメントカメラ１は、第１画像入力部２と、画像処理部２１と、記録開始・終了操作部２２と、音声入力部９と、再生制御情報入力部２３と、登録データ表示部２４と、撮影指示操作部２５とを有している。

第１画像入力部２は、例えばＣＣＤ等の撮像素子と、この撮像素子にスタンド４上の資料の像を結像するレンズ機構とを有している。レンズ機構は、複数のレンズからなる撮像倍率が可変なズームレンズ機構を備えている。撮像素子によって撮像された画像データは、画像処理部２１に送出される。

画像処理部２１は、第１画像入力部２で撮像された画像データ（アナログデータ）をデジタルデータに形式変換する。また画像処理部２１は、必要に応じて歪み補正、傾き補正等の画像処理を施し、処理された画像データをドキュメントカメラ１に接続されたプロジェクタ装置１０に転送する。プロジェクタ装置１０は、ドキュメントカメラ１から供給された画像データをスクリーン（不図示）に投影する。

撮影指示操作部（本発明の操作手段に該当する）２５は、第１画像入力部２に画像の撮影を指示する操作部である。撮影指示操作部２５が操作されると、後述する画像取得部３１にも撮影指示操作部２５から操作信号が入力される。画像取得部３１は、撮影指示操作部２５からの操作信号によって、画像データの撮影タイミングを認識する。
記録開始・終了操作部２２は、画像・音声記録再生部３０に画像と音声の取り込み開始や終了を指示するための操作部である。再生制御情報入力部２３は、画像・音声記録再生部３０に記録された画像や音声の再生操作を行うための操作部である。記録開始・終了操作部２２と、再生制御情報入力部２３と、撮影指示操作部２５とは、ドキュメントカメラ本体のスタンド４上に設けられたコントロールパネル７によって構成される。
図３に、コントロールパネルの一例を示す。本実施例のコントロールパネル７には、画像データと音声データの取り込みを画像・音声記録再生部３０に指示する画像・音声記録ボタン７１と、第１画像入力部２に画像の撮影を指示する撮影ボタン７２と、再生制御情報入力部２３として機能する再生ボタン７３、巻き戻し７６、早送り７７、一時停止７５、停止７４の各ボタンとが設けられている。この他にメニュー表示ボタン７８、ズーム設定ボタン７９などが設けられている。

音声入力部９は、発話者の音声を入力するマイクである。音声入力部９は、ドキュメントカメラ１の本体内に内蔵させてもよいし、図１のようにマイク端子８を介してドキュメントカメラ１の本体に接続してもよい。

登録データ表示部２４は、画像・音声記録再生部３０に記録されたデータを表示するためのものである。登録データ表示部２４は、ドキュメントカメラ本体のスタンド４上に設置された液晶ディスプレイ６によって構成され、画像・音声記録再生部３０に登録された画像のサムネイル画像等が表示される（図３参照）。

次に、画像・音声記録再生部３０の詳細について説明する。図２に示すように画像・音声記録再生部３０内には、画像取得部（本発明の検出手段、サムネイル作成手段に該当する）３１と、音声取得部３２と、関連付け処理部（本発明の関連付け処理手段に該当する）３３と、再生制御部３４と、データ格納部３５と、画像・音声再生部３６とが設けられている。

画像取得部３１は、画像処理部２１から画像データと、この画像データの撮影時間情報とを入力して、スクリーンに投影される画像データが切り替わる切り替えタイミングを検出する。この他に、撮影指示操作部２５から撮影を指示する操作信号を入力して、画像取得部３１が画像データの切り替えタイミングを検出することもできる。画像取得部３１は、スクリーンに投影する画像データの切り替えタイミングを検知すると、音声取得部３２にタイミング信号を出力し、画像の取得を通知する。

また、画像取得部３１は、取得した画像データのサムネイル画像を生成する。画像取得部３１は、生成したサムネイル画像と、画像データとに識別子を付与して、データ格納部３５に格納する。画像データは、圧縮してデータ格納部３５に格納される。画像取得部３１は、データ格納部３５にデータを格納すると、生成した識別子（サムネイル画像と画像データに付与した識別子）と、データ格納部３５のアドレスと、画像処理部２１から取得した画像データの撮影時間情報とを関連付け処理部３３に出力する。

音声取得部３２は、音声入力部９から音声データを入力し、画像データの切り替えタイミングを示すタイミング信号に従って、音声データを分割する。分割した音声データには識別子（音声データ識別子と呼ぶ）を付与して、データ格納部３５に格納する。さらに音声取得部３２は、音声データを格納したデータ格納部３５のアドレスを関連付け処理部３３に出力する。

関連付け処理部３３は、データ格納部３５に格納された画像データ、サムネイル画像、音声データの関連付けを行うために索引ファイルを生成する。なお、以下では、関連付けされる画像データと、サムネイル画像と、音声データとをデータセットと呼ぶ。索引ファイルは、図４に示すようにデータセットごとに付与されるデータ識別子、データセットが生成された時間（年月日）、時間（時分秒）、１回のプレゼンテーションで得られたデータセットに共通に付与されるプレゼン識別子、画像データを識別する画像データ識別子、音声データを識別する音声データ識別子、サムネイル画像を識別するサムネイル識別子などを有している。その他に画像データを格納したデータ格納部３５のアドレス、音声データを格納したデータ格納部３５のアドレス、サムネイル画像を格納したデータ格納部３５のアドレスが保存される。

関連付け処理部３３は、画像データ、サムネイル画像、音声データにそれぞれ付与された識別子を索引ファイルに格納する時に、画像取得部３１から取得した画像データの撮影時間情報（年月日、時分秒）も索引ファイルに格納する。
また、関連付け処理部３３は、１回のプレゼンテーションで得られるデータセットを識別できるようにプレゼン識別子を付与する。プレゼンテーションの最初に得られるデータセットには、このプレゼンテーションに共通するプレゼン識別子と、プレゼンテーションの開始点であることを示すＳｔａｒｔ情報とが付与される。また、１回のプレゼンテーションで最後に得られるデータセットには、プレゼン識別子と、プレゼンテーションの終了点であることを示すＥnd情報とが付与される。

再生制御部３４は、画像と音声の再生を制御するもので、再生制御情報入力部２３から入力された指示に従って処理を実行する。具体的には、指示された識別子（データ識別子、プレゼン識別子、画像データ識別子、音声データ識別子等）を画像・音声再生部３６に通知して、画像・音声再生部３６に画像や音声を再生させる。

画像・音声再生部３６は、再生制御部３４によって指示された画像データや音声データをデータ格納部３５から読み出して展開処理し、画像データをプロジェクタ装置１０に、音声データを音声出力部１１に出力する。

本実施例のドキュメントカメラ１は、プレゼンテーション資料を撮影した画像データと、この画像データをプロジェクタ装置１０でスクリーンに表示している時の会議での発言を記録した音声データとを関連付けて保存する。そして、画像データを参照するときには、関連付けられた音声データも聞くことができるようにする。

このため、画像取得部３１は、画像処理部２１から画像データを入力して、音声取得部３２に所定タイミング（所定タイミングについては後述する）でタイミング信号を出力する。音声取得部３２は、画像取得部３１から出力されるタイミング信号に従って、音声入力部９から入力する音声データを分割する。分割された音声データは、スクリーンに投影されている画像データではなく、その画像の前にスクリーンに投影されていた画像データについて話し合われた発言を入力した音声データであるので、投影中の画像データの１つ前に撮影された画像データに関連付けて記録される。
なお、画像データには、画像取得部３１で画像データ識別子が付与され、音声データには音声取得部３２で音声データ識別子が付与される。画像取得部３１は、生成した画像データ識別子を生成順に関連付け処理部３３に出力する。同様に音声取得部３２は、生成した音声データ識別子を生成順に関連付け処理部３３に出力する。関連付け処理部３３は、画像取得部３１から入力される画像データ識別子と、音声取得部３２から入力される音声データ識別子とを関連付けて索引ファイルを作成する。

また、プレゼンテーションの発言者は、資料を見やすく表示するために、スタンド４上の資料の位置や方向を調整したり、ピントを合わせたりすることが多い。さらに、資料上にペンでマーキングや書き込みを行ったり、資料上のある部分をポインティングしたりすることもある。こうした動作によって不要な画像が「変化画像」として多数抽出されることが起こり得る。このような画像を除くため、画像取得部３１は、画像処理部２１から順次入力される画像データから、直前の画像に対して変化のあった画像を抽出する。また、時間的なしきい値を設定し、一定時間以上変化がなかった画像のみを抽出するようにしてもよい。このとき、画像取得部３１は、変化のある画像を入力したことを示すタイミング信号を音声取得部３２に出力する。音声取得部３２は、画像取得部３１からタイミング信号を入力すると、音声入力部９から入力される音声データを区切る。

次に、図５に示すフローチャートを参照しながら画像取得部３１の処理手順を説明する。
画像処理部２１から画像取得部３１に画像データ（プレゼンテーションが開始されて、最初に入力した画像データを以下では基準画像データと呼ぶ）と、この画像データの撮影時間情報とが出力されると（ステップＳ１）、画像取得部３１は、音声取得部３２にタイミング信号を出力して画像データの取得を通知する（ステップＳ２）。画像取得部３１は、取得した画像データの特徴量を抽出する（ステップＳ３）。抽出される特徴量には、カラーヒストグラム、色分布、一様性パターン、ピクセル数とその配列、エッジ数などが挙げられる。また、画像取得部３１は、取得した画像データのサムネイル画像を生成する（ステップＳ４）。

次に、画像取得部３１は、取得した画像データと、生成したサムネイル画像とにそれぞれ識別子を付与し、画像データとサムネイル画像とをデータ格納部３５に格納する（ステップＳ５）。

次に、画像取得部３１は、基準画像データの撮影時間情報と、画像データとサムネイル画像との識別子と、これらのデータを格納したデータ格納部３５のアドレスとを関連付け処理部３３に出力する（ステップＳ６）。

次の画像データ（以下、この画像データを比較対象画像データと呼ぶ）が入力されると（ステップＳ７／ＹＥＳ）、画像取得部３１は、取得した比較対象画像データの特徴量を抽出する（ステップＳ８）。そして、基準画像データから抽出した特徴量と、比較対象画像データから抽出した特徴量とを比較する（ステップＳ９）。両者に予め設定された許容範囲以上の差があった場合（ステップＳ９／ＮＯ）、画像取得部３１は比較対象画像データを変化のあった画像候補（以下、変化画像候補と呼ぶ）と判定する。変化画像候補を検出すると、画像取得部３１は、変化画像候補と、画像処理部２１から順次入力される比較対象画像データとの比較を始める（ステップＳ１１）。

位置調整やピント合わせ等の操作が変化画像として検出されないようにするために「変化画像候補」として抽出した画像のうち、所定時間（例えば、４秒）以上変化のなかったものだけを検出する（ステップＳ１２）。所定時間以上変化のなかった画像データを検出すると、画像取得部３１は、タイミング信号を音声取得部３２に出力する（ステップＳ１３）。また、この画像データを「変化画像」（画像に変化のあった画像）に設定し、画像取得部３１は変化画像のサムネイルを作成する（ステップＳ１４）。そして、画像取得部３１は、変化画像データと、この変化画像データのサムネイル画像とに識別子を付与し、変化画像データを圧縮する。画像取得部３１は、圧縮した変化画像データとサムネイルとをデータ格納部３５に格納する（ステップＳ１５）。また、変化画像として検出した画像データと、このサムネイル画像の識別子と、撮影時間情報と、データを格納したデータ格納部３５のアドレスとを関連付け処理部３３に出力する（ステップＳ１６）。また、検出した変化画像を、次の基準画像データとして、画像処理部２１から入力される画像データとの比較を行う（ステップＳ１７）。

また、ステップＳ１２において、所定時間内に特徴量の差がしきい値以上の比較対象画像データを検出した場合には（ステップＳ１２／ＮＯ）、変化画像候補の画像データを破棄して、基準画像データと比較対象画像データとの比較を再開する（ステップＳ１８）。また、ステップＳ７において、比較対象画像データが所定時間を経過しても入力されない場合には（ステップＳ１９／ＹＥＳ）、１回のプレゼンテーションが終了したと判定し、処理を終了する。

このように、データの特徴量に変化が生じた画像データだけを取り込むことで、不要な画像データを保存する必要がなくなり、データ格納部３５の容量を無駄に消費することがない。

なお、変化画像の抽出方法は、上述した以外にも種々の方法がある。
第１に、ＯＣＲ（Optical Character Reader）によって画像データからテキスト情報を抽出し、文字数、文字サイズ、文字の一致性を判定して変化画像の抽出を行うことができる。
第２に、スタンド４上の原稿設置領域５にフォトセンサ（本発明の第２検出手段に該当する）を設けて、資料の切り替えと、そのタイミングとを記録してもよい。
第３に、利用者が行うズームやマーカ表示などによって入力される操作信号に基づいて、直後の画像を変化画像として抽出することもできる。
第４に、撮影指示操作部２５の操作によって、ユーザが資料の撮影を指示すると、第１画像入力部２で撮影した画像を画像取得部３１で取得するようにしてもよい。
また、以上述べた方法を組み合わせて用いてもよい。

関連付け処理部３３は、画像取得部３１と音声取得部３２とから取得した情報を基に、データ格納部３５に格納した索引ファイルの書き換えを行う。関連付け処理部３３は、データ格納部３５から読み出した索引ファイルに、図４に示すように新たなエントリーテーブルを追加して、必要なデータを書き込む処理を行う。書き換えられた索引ファイルは、データ格納部３５に格納される。

次に、取得した画像データと音声データの再生について説明する。
本実施例のドキュメントカメラでは、データ格納部３５に格納した画像データのサムネイル表示が可能であり、サムネイル画像をコントロールパネル７から選択することによって、対応する画像データの全画面表示と、音声再生とが可能となる。
再生開始、再生終了、一時停止、巻き戻し、早送りなどの操作は、コントロールパネル７上のボタン操作で行うことができる。なお、サムネイルや画像は、本体スタンド４上部の液晶ディスプレイ６に表示されるが、プロジェクタやディスプレイをドキュメントカメラ１に接続すれば、これらの表示装置でも表示することができる。

次に、サムネイル画像の表示について説明する。ユーザによってコントロールパネル７上の所定ボタンや、液晶ディスプレイ６に表示された所定ボタンが選択されると、再生制御部３４は、データ格納部３５より索引ファイルを読み出す。そして、索引ファイルの時間（年月日）を参照して、最も新しくデータ格納部３５に格納された資料を検出する。再生制御部３４は、この最新資料のサムネイル画像をデータ格納部３５から読み出して登録データ表示部２４に表示させる。
なお、図３に示す液晶ディスプレイ６の例では、左上のサムネイルが選択可能な状態にある。ユーザは、コントロールパネル７を操作して、画像を表示させたいサムネイルを選択可能状態にする。また、同じプレゼン識別子で登録されたサムネイルの表示が終了しても、画像データが選択されない場合、再生制御部３４は、次に新しい資料を選択して、このサムネイル画像を表示させる。

サムネイル画像が選択状態にあるときに、所定ボタンが操作されると、再生制御部３４は、選択されたサムネイルに対応する画像データと音声データの識別子を索引ファイルから読み出す。再生制御部３４は、これらの識別子情報を画像・音声再生部３６に通知する。画像・音声再生部３６は、再生制御部３４から通知された識別子の画像データと音声データとをデータ格納部３５から読み出して、展開処理し、画像データを表示装置１０に、音声データを音声出力部１１に出力する。１組の画像データと音声データの再生が終了すると、同じプレゼン識別子で登録され、再生終了した画像データや音声データよりも時間が１つ新しい画像データ、音声データを読み出す。読み出された画像データは表示装置１０に出力され、音声データは音声出力部１１に出力される。

上述した実施例１では、スタンド４に載せられたプレゼンテーション資料の画像と、それに対応する発言者の音声とを記録して再生するものであった。
しかしこれらの情報だけでは、発言者が誰なのか、そのとき誰が会議に参加していたのか、どの会議室で行われた会議なのかといったことまでは分からない。
そこで、本実施例では、画像データと音声データに加えて、発言者や会議参加者の顔写真、会議室の様子を撮影し、撮影した画像を資料画像や音声データに対応付けてデータ格納部３５に格納する。そして、資料画像や音声の再生時に、発言者や会議参加者の顔画像も一緒に表示できるようにする。

本実施例の構成を図６に示す。図６に示すように本実施例は、スタンド４上に置かれた資料を撮影する第１画像入力部２の他に、発言者、会議参加者や会議室の様子などを撮影する第２画像入力部４０を設けている。
第２画像入力部４０は、別々の被写体（発言者と会場）を撮影するために複数台設置してもよいし、またカメラをアームに固定せずに三脚を利用してもよい。また、会議参加者が第２画像入力部４０としてのカメラを持って撮影してもよい。

また、本実施例は、図７に示すように撮影タイミング制御部３７を新たに設けている。撮影タイミング制御部３７は、第２画像入力部４０の撮影タイミングを管理する。撮影タイミング制御部３７の撮影タイミングは、図８に示すように一定時間間隔ごとであってもよいし、撮影タイミング制御部３７に、タイムスケジュールを設定しておいて、このタイムスケジュールに従って撮影してもよい。
また、第１画像入力部２の撮影画像に変化画像が抽出された後の一定時間後に撮影してもよいし、各種センサを利用して、センサ値に変化が表れた時に撮影してもよい。例えば、音量センサを設けて、一定以上の音量が検出された時に撮影することができる。なお、第２画像入力部４０のカメラで撮影された画像データや、撮影時刻情報は、第２画像入力部４０内部の記憶領域に格納しておき、後からドキュメントカメラ１に取り込んでもよいし、無線を利用してリアルタイムにドキュメントカメラ１に転送して保存することもできる。

図９に、関連付け処理部３３によって作成された索引ファイルを示す。図９に斜線で示すデータセットは、第２画像入力部２５で撮影された画像データを示している。第１画像入力部２で撮影された画像データ及びそのサムネイル画像と、音声入力部９で入力した音声データとのデータセットと同じプレゼン識別子を付与されて、索引ファイルに登録されている。

本実施例は、ドキュメントカメラ１で生成したデータセットを、ネットワークを介して遠隔地のユーザ端末７０に配信可能に構成した。本実施例の構成を図１０に示す。本実施例は、図１０に示すようにＵＲＬ（Uniform Resource Locator）割り当て部３８と、データ取得部３９と、データ配信部５０と、ネットワークＩＦ部５１とをさらに備えている。

ＵＲＬ割り当て部３８は、画像取得部３１で取得した画像データにＵＲＬ（サーバ名、ポート番号、フォルダ名、ファイル名など）を割り当てる。割り当てられたＵＲＬ情報は、関連付け処理部３３によって索引ファイルに格納される。

データ配信部５０は、ネットワークインターフェース部５１を介してユーザ端末７０に接続し、ユーザ端末７０から入力されたデータの取得要求をデータ取得部３９に出力する。データ取得部３９は、データ配信部５０からの要求に従って、指示された画像データ、音声データ、索引データをデータ格納部３５から読み出し、データ配信部５０に出力する。データ配信部５０は、取得した画像データ、音声データ、索引データを１つの配信データファイルにまとめ、要求元のユーザ端末７０に配信する。

ユーザ端末７０は、ドキュメントカメラ１から配信データファイルを取得すると、アプリケーションプログラムを起動して、画像の表示、音声の再生を行う。

本実施例は、ドキュメントカメラ１にＷｅｂサーバ機能を搭載した。ユーザは、ユーザ端末７０にインストールされたインターネットブラウザからＵＲＬを指定して、ドキュンメントカメラ１にアクセスする。

ドキュメントカメラ１は、ユーザ端末７０からのアクセスを受け付けると、データ配信部５０で指定されたＨＴＭＬトップ画面をブラウザに返信し、表示する。
ユーザ端末７０に表示されるＨＴＭＬトップ画面には、格納された画像のサムネイルが表示される。表示されたサムネイルから、ユーザが所望のものを選択すると、選択情報がデータ配信部５０からデータ取得部３９に送られる。データ取得部３９は、データ格納部３５にアクセスし、選択されたサムネイルと組になった画像データ、音声データ、索引データを抽出する。所望とする画像データ、音声データ、索引データは、データ配信部５０に渡され、１つの配信データファイルにまとめられ、クライアント端末に転送される。なお、データ取得部３９での処理は、ＣＧＩ（Common Gateway Interface）プログラムによって実現することができる。

データ格納部３５に多数の画像データや音声データが格納されている場合、サムネイルやファイルの一覧を表示しただけでは、視聴したいデータを見つけ出すのが困難な場合がある。そこで、本実施例では、キーワード検索によって、所望の画像データや音声データを効率的に見つけることができるようにした。

本実施例の構成を図１１に示す。図１１に示すように本実施例は、画像取得部３１で取得した画像データに対して、文字認識部６０が文字認識処理を行い、テキスト情報を取り出す。さらに、抽出したテキスト情報に対して形態素解析を行って、テキスト情報を形態素に分離する。

また、音声取得部３２で取得した音声データに対して、音声認識部６１が音声認識処理を行い、テキスト情報を抽出する。さらに、抽出したテキスト情報に対して形態素解析を行って、テキスト情報を形態素に分離する。

関連付け処理部３３は、画像データと音声データの形態素を索引ファイルに登録する。なお、画像から抽出した形態素と、音声から抽出した形態素とを区別して索引ファイルに登録してもよい。こうすることによって、画像と音声の情報ソースを区別したキーワード検索が可能となる。

図１２には、キーワード検索によってユーザ端末７０に表示されるインターフェース画面を示す。図１２に示すインターフェース画面には、キーワードを入力する入力欄と、検索対象のデータを画像だけにするか、音声だけにするか、画像と音声の両方にするのかを選択するチェックボックスと、検索結果とが表示されている。検索の結果、キーワードを含む画像データが検出された場合には、画像データのサムネイル画像が検索結果として表示される。音声データだけが検索された場合には、会議のＩＤや、記録日時、記録場所等のデータを表示してもよい。また、検出されたデータの種別も表示されるとよい。すなわち、画像データと音声データの両方が検出されたのか、画像データだけが検出されたのか、音声データだけが検出されたのかを表示する。

上述した実施例は本発明の好適な実施の例である。但し、これに限定されるものでなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

実施例１のドキュメントカメラの外観を示す図である。 実施例１のドキュメントカメラの詳細な構成を示す機能ブロック図である。 コントロールパネルと液晶ディスプレイとの構成を示す図である。 実施例１の索引ファイルの構成を示す図である。 画像取得部３１の処理手順を示すフローチャートである。 実施例２のドキュメントカメラの外観を示す図である。 実施例２のドキュメントカメラの詳細な構成を示す図である。 第１画像入力部と第２画像入力部の画像記録タイミングを示す図である。 実施例２の索引ファイルの構成を示す図である。 実施例３のドキュメントカメラの詳細な構成を示す図である。 実施例４のドキュメントカメラの詳細な構成を示す図である。 ユーザ端末に表示されるインターフェース画面の一例を示す図である。

符号の説明

１ ドキュメントカメラ
２ 画像入力部
３ フレキシブルアーム
４ スタンド
５ 原稿設置領域
６ 液晶ディスプレイ
７ コントロールパネル
８ マイク端子
９ マイク
１０ 表示装置
２１ 画像処理部
２２ 記録開始・終了操作部
２３ 再生制御情報入力部
２４ 登録データ表示部
２５ 撮影指示操作部
３１ 画像取得部
３２ 音声取得部
３３ 関連付け処理部
３４ 再生制御部
３５ データ格納部
３６ 画像・音声再生部
３７ 撮影タイミング制御部
３８ ＵＲＬ割り当て部
３９ データ取得部
４０ 第２画像入力部

Claims (11)

1. スクリーンに投影される投影用の画像データを撮影するドキュメントカメラ装置であって、
   投影される画像データの切り替えタイミングを検出する検出手段と、
   発言者の音声を音声データとして取り込む音声入力手段と、
   前記検出手段の検出した切り替えタイミングに応じて前記音声データを分割する分割手段と、
   前記投影用の画像データと、該画像データの投影中に入力した音声データとを関連付けて、記憶手段に格納する関連付け手段と、
   を有することを特徴とするドキュメントカメラ装置。
2. 前記検出手段は、撮影された画像データを順次入力し、直前の画像データと比較して画像に変化のある画像を検出して、前記切り替えタイミングを検出することを特徴とする請求項１記載のドキュメントカメラ装置。
3. 前記投影用の画像データを撮影する第１撮影手段を備え、
   前記検出手段は、前記第１撮影手段に撮影を指示する操作手段からの操作入力を検出して、前記切り替えタイミングを検出することを特徴とする請求項１記載のドキュメントカメラ装置。
4. 前記投影用の画像データと、該画像データに関連付けられた音声データとを前記記憶手段から読み出して、再生させる再生制御手段を有することを特徴とする請求項１から３のいずれか一項記載のドキュメントカメラ装置。
5. 発言者や会議室の様子を撮影する第２撮影手段を備え、
   前記関連付け手段は、前記第２撮影手段で撮影された画像データと、前記投影用の画像データとを関連付けて、前記記憶手段に格納することを特徴とする請求項１から４のいずれか一項記載のドキュメントカメラ装置。
6. 前記検出手段は、画像データの画像特徴量を抽出し、該画像特徴量と前記直前の画像データの画像特徴量とを比較することで、前記画像に変化のある画像データを検出することを特徴とする請求項２記載のドキュメントカメラ装置。
7. 前記検出手段は、画像のカラーヒストグラムと、色分布と、濃度一様な画像パターン数と、画素数と画素配列と、画像のエッジ数との少なくとも１つを前記画像特徴量として抽出することを特徴とする請求項６記載のドキュメントカメラ装置。
8. 前記検出手段は、画像データから抽出したテキスト情報と、前記直前の画像データから抽出したテキスト情報とを比較して、前記画像に変化のある画像データを検出することを特徴とする請求項２記載のドキュメントカメラ装置。
9. 前記投影用の画像データを撮影する第１撮影手段を備え、
   前記検出手段は、前記第１撮影手段の撮影位置に資料が配置されているか否かを検出する第２検出手段からの信号を入力して、前記切り替えタイミングを検出することを特徴とする請求項１から８のいずれか一項記載のドキュメントカメラ装置。
10. 撮影された画像データのサムネイル画像を作成するサムネイル作成手段を有し、
    前記関連付け手段は、前記サムネイル画像を、該サムネイル画像の作成元の画像データに関連付けて前記記憶手段に格納することを特徴とする請求項１から９のいずれか一項記載のドキュメントカメラ装置。
11. 撮影された画像データからテキスト情報を抽出し、形態素解析を行って前記テキスト情報から分離した形態素を前記記憶手段に格納する文字認識手段と、
    前記音声入力手段から入力された音声データに対して、音声認識処理を行ってテキスト情報を抽出し、形態素解析を行って前記テキスト情報から分離した形態素を前記記憶手段に格納する音声認識手段とを有し、
    前記関連付け手段は、前記形態素を、該形態素を検出した画像データや音声データに関連付けて前記記憶手段に格納し、
    検索語を含む画像データ又は音声データを前記記憶手段から検索する検索手段を有することを特徴とする請求項１から１０のいずれか一項記載のドキュメントカメラ装置。
    

Images