JP2012123519A

JP2012123519A - 画像処理システム、画像処理装置及び画像処理プログラム

Info

Publication number: JP2012123519A
Application number: JP2010272419A
Authority: JP
Inventors: Takayuki Takeuchi; 孝行竹内; Tsutomu Ishii; 努石井; Tomoyuki Shotani; 智之庄谷; Hitoshi Ikeda; 仁池田; Hideto Yuzawa; 秀人湯澤
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2010-12-07
Filing date: 2010-12-07
Publication date: 2012-06-28

Abstract

【課題】筆記者に特別な操作を要求することなく、筆記された内容を経時的に記録する画像処理システム、画像処理装置及び画像処理プログラムを提供する。
【解決手段】画像処理システム８は、ホワイトボード２に対する筆記動作に伴い発電し、当該発電した電力によって筆記動作に応じた筆記信号及び筆記終了動作に応じた終了信号を発するペン１と、ペン１の発する筆記信号及び終了信号を受信し、筆記信号に基づいてホワイトボード２を撮像して画像情報を生成し、生成した複数の画像情報を終了信号に基づいて一連の画像情報として出力するカメラ３とを有する。
【選択図】図１

Description

本発明は、画像処理システム、画像処理装置及び画像処理プログラムに関する。

ホワイトボードにペンで筆記した文字や数字等を記録し、再生する技術が提案されている。

これに関連する技術として、特許文献１には、文書情報を再生してプロジェクタでホワイトボードに画像等を投射し、画像が投射されたホワイトボード上にペンで文字や数字、図形等が記入された後、投射された画像と記入された内容とを外部カメラで撮影して、撮影画像を記憶部に記憶する画像処理装置が開示されている。

特開２００１−３１２００１号公報

本発明の目的は、筆記者に特別な操作を要求することなく、筆記された内容を経時的に記録する画像処理システム、画像処理装置及び画像処理プログラムを提供することにある。

［１］筆記対象に対する筆記動作に伴い発電し、当該発電した電力によって前記筆記動作に応じた筆記信号及び筆記終了動作に応じた終了信号を発するペンと、
前記ペンの発する前記筆記信号及び前記終了信号を受信し、前記筆記信号に基づいて前記筆記対象を撮像して画像情報を生成し、生成した複数の前記画像情報を前記終了信号に基づいて一連の画像情報として出力する画像処理装置とを有する画像処理システム。

［２］前記画像処理装置が出力した前記一連の画像情報を画像解析し、前記一連の画像情報のいずれかに写る前記ペンを用いる筆記者を特定して前記一連の画像情報を特定された前記筆記者に送信する画像配信サーバをさらに有する前記［１］に記載の画像処理システム。

［３］前記画像処理装置は、最後に受信した筆記信号から予め定めた時間経過しても前記終了信号を受信しない場合、前記一連の画像情報を出力する前記［１］に記載の画像処理システム。

［４］筆記動作に応じて発せられる筆記信号及び筆記終了動作に応じて発せられる終了信号を受信して受け付ける受付手段と、
前記筆記信号に基づいて前記筆記対象を撮像して画像情報を生成する生成手段と、
生成した複数の前記画像情報を前記終了信号に基づいて一連の画像情報として出力する出力手段とを有する画像処理装置。

［５］コンピュータを、
筆記動作に応じて発せられる筆記信号及び筆記終了動作に応じて発せられる終了信号を受信して受け付ける受付手段と、
前記筆記信号に基づいて前記筆記対象を撮像して画像情報を生成する生成手段と、
生成した複数の前記画像情報を前記終了信号に基づいて一連の画像情報として出力する出力手段として機能させるための画像処理プログラム。

請求項１、４又は５に係る発明によれば、筆記者に特別な操作を要求することなく、筆記された内容を経時的に記録することができる。

請求項２に係る発明によれば、画像情報に写るペンを用いる筆記者を特定して一連の画像情報を特定された筆記者に送信することができる。

請求項３に係る発明によれば、終了信号を受信しない場合であっても、生成した一連の画像情報を出力することができる。

本発明の実施の形態における画像処理システムの構成例を示す概略図である。図２は、ペンの構成例を示す概略図である。図３は、カメラの構成例を示すブロック図である。図４Ａは、画像配信サーバの構成例を示すブロック図である。図４Ｂは、画像配信サーバの記憶部に格納される画像情報及び付随情報の内容の一例を示す概略図である。図５は、ペンの動作の一例を示すフローチャートである。図６は、カメラの動作の一例を示すフローチャートである。図７は、第２の実施の形態に係るカメラの動作の一例を示すフローチャートである。図８は、第３の実施の形態に係る画像処理システムの構成例を示す概略図である。図９は、カメラ３の動作の一例を示すフローチャートである。図１０は、ペンの構成の変形例を示す概略図である。図１１は、ペンの発電部の構成の変形例を示す概略図である。図１２は、ペンの構成の変形例を示す概略図である。

［第１の実施の形態］
（画像処理システムの構成）
図１は、第１の実施の形態に係る画像処理システムの構成例を示す概略図である。

この画像処理システム８は、ペン１によって文字や数字、図形等が記入される筆記対象としてのホワイトボード２を撮像するカメラ３と、画像配信サーバ４と、端末５とをネットワーク６によって互いに通信可能に接続することで構成される。

ペン１は、ホワイトボード２にインクを付着させて筆記する機能を有するとともに、筆記動作に伴う本体の振動によって発電を行う発電部（１３、図２）及び信号の送信を行う信号送信部（１５）を本体に内蔵する。

カメラ３は、ペン１の信号を受信し、受信した信号の種類や受信時間の間隔等に応じてホワイトボード２の筆記内容２０及び筆記者７の顔面７０の撮像を行い、撮像内容から画像情報（３１２、図３）を生成する。

画像配信サーバ４は、情報を処理するための機能を備えたＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）や記憶部等の電子部品を備える情報処理装置であり、カメラ３が生成した画像情報の画像解析処理を実行して筆記者を認識し、他の情報とともに付随情報を生成して画像情報に関連付ける。また、画像配信サーバ４は、画像情報及び付随情報を識別した筆記者に送信する。

端末５は、操作入力用のキーボード、マウス、タッチパッド等の操作部と、液晶ディスプレイ等の表示部と、ＣＰＵや記憶部等の電子部品を有する本体とを備える。また、端末５は、筆記者７が所有するものであり、画像配信サーバ４によって送信された画像情報及び付随情報を受信する際に用いられる。

なお、端末５は、例えば、パーソナルコンピュータであり、その他にタブレット型端末、携帯電話機、スマートフォンのような多機能携帯端末等を用いても良い。また、端末５は、同図では１台を図示するが、複数台でもよい。また、画像配信サーバ４は、筆記者がアクセス権を有するサーバ（不図示）に画像情報及び付随情報を配信し、筆記者が所有する端末５から閲覧するようにしてもよい。

ネットワーク６は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、インターネット等の通信網であり、有線、無線は問わない。

図２は、ペン１の構成例を示す概略図である。

ペン１は、本体１０ａと、キャップ１０ｂとを備える。本体１０ａは、インクをホワイトボード２の筆記面に対して付着させるフェルト等のペン先１１と、キャップ１０ｂを外すことで後述する信号送信部１５を動作させるキャップスイッチ１２と、圧電素子１３０に重り１３１が圧力を加えることで発電する発電部１３と、発電部１３の発生する電流を整流する整流回路１４と、整流回路１４が整流した電流による電力で動作して筆記中であることを示す筆記信号やキャップ１０ｂが取り付けられて筆記動作が終了したことを示す筆記終了信号等を図示しないアンテナ等を介して送信する信号送信部１５とを有する。

図３は、カメラ３の構成例を示すブロック図である。

カメラ３は、ＣＰＵ等から構成され各部を制御するとともに各種のプログラムを実行する制御部３０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部３１と、撮像内容に応じた信号を出力するＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅｉｍａｇｅｓｅｎｓｏｒ）等の撮像部３２と、ペン１が送信する信号を受信する信号受信部３３と、ネットワーク６を介して外部と通信する通信部３４とを備える。

制御部３０は、後述する画像処理プログラム３１０を実行することで、信号受付手段３００、信号カウント手段３０１、撮像制御手段３０２、画像情報生成手段３０３、撮像終了手段３０４及び画像情報送信手段３０５等として機能する。

信号受付手段３００は、信号受信部３３が受信した信号を受け付けて信号情報３１１として記憶部３１に格納する。

信号カウント手段３０１は、信号を受信した回数及び信号を受信してから経過した時間をカウントする。

撮像制御手段３０２は、信号カウント手段３０１が信号をカウントした内容に応じて撮像部３２のシャッターのタイミングを制御する。

画像情報生成手段３０３は、撮像動作により撮像部３２が出力する撮像信号に基づき画像情報３１２を生成する。

撮像終了手段３０４は、信号受信部３３が受信した信号の内容又は信号カウント手段３０１が信号をカウントした内容に応じて撮像を終了する。

画像情報送信手段３０５は、撮像終了手段３０４が撮像を終了すると、画像情報生成手段３０３が生成した画像情報３１２をネットワーク６を介して画像配信サーバ４に送信する。

記憶部３１は、制御部３０を上述した各手段として動作させる画像処理プログラム３１０、信号受付手段３００が受け付けた信号情報３１１及び画像情報生成手段３０３が生成した画像情報３１２等を記憶する。

図４Ａは、画像配信サーバ４の構成例を示すブロック図である。

画像配信サーバ４は、ＣＰＵ等から構成され各部を制御するとともに各種のプログラムを実行する制御部４０と、ＨＤＤやフラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部４１と、ネットワーク６を介して外部と通信する通信部４２とを備える。

制御部４０は、後述する画像配信プログラム４１０を実行することで、画像情報受付手段４００、筆記者認識手段４０１、付随情報生成手段４０２及び画像送信手段４０３等として機能する。

画像情報受付手段４００は、通信部４２を介してカメラ３から画像情報３１２を受け付けて記憶部４１に格納する。

筆記者認識手段４０１は、画像情報３１２を画像解析し、筆記者７の顔面７０等が写っている場合は、図示しない予め用意された利用者の画像情報等を参照することで利用者を認識する。

付随情報生成手段４０２は、筆記者認識手段４０１が画像情報３１２から筆記者７を認識した場合、筆記者の識別子、撮影された時間、場所等を含む識別情報を生成し、画像情報３１２に関連付ける。

画像送信手段４０３は、付随情報生成手段４０２に基づいて画像情報３１２から認識された筆記者７に画像情報３１２を送信する。

記憶部４１は、制御部４０を上述した各手段として動作させる画像配信プログラム４１０、カメラ３から画像情報受付手段４００が受け付けた画像情報３１２及び付随情報生成手段４０２が生成した付随情報４１１等を記憶する。

図４Ｂは、画像配信サーバ４の記憶部４１に格納される画像情報３１２及び付随情報４１１の内容の一例を示す概略図である。

画像情報３１２は、複数の画像情報３１２ａ_１、３１２ａ_２…、３１２ｎ_１、３１２ｎ_２…を含み、画像情報受付手段４００によって、例えば、会議毎に用意されたフォルダ３１２Ａ〜３１２Ｎに格納される。

付随情報４１１は、複数の付随情報４１１Ａ〜４１１Ｎを含み、それぞれフォルダ３１２Ａ〜３１２Ｎに関連付けられている。

（画像処理システムの動作）
以下に、画像処理システム８の動作を図１〜図６を参照しつつ、（１）基本動作、（２）信号送信動作、（３）撮像動作及び（４）画像配信動作に分けて説明する。

（１）基本動作
まず、筆記者７は、ペン１のキャップ１０ｂを本体１０ａから外して、ペン１を用いてホワイトボード２の筆記面に筆記内容２０を筆記する。また、筆記者７は、筆記動作を終了するとペン１のキャップ１０ｂを本体１０ａに装着する。

（２）信号送信動作
図５は、ペン１の動作の一例を示すフローチャートである。

まず、ペン１は、キャップスイッチ１２の動作によりキャップ１０ｂが取り外されたことを検出すると（Ｓ１）、発電部１３において筆記動作に伴い発電を開始する（Ｓ２）とともに、信号送信部１５は、発電部１３が発電し、整流回路１４が整流した電流を利用して筆記信号を送信する（Ｓ２）。

以上のステップＳ２及びＳ３は、キャップ１０ｂが本体１０ａに取り付けられるまで筆記動作に伴い繰り返され（Ｓ４；Ｎｏ）、筆記動作の終了とともにキャップ１０ｂが本体１０ａに取り付けられると（Ｓ４；Ｙｅｓ）、信号送信部１５は、キャップ１０ｂが装着されて筆記動作が終了した旨を示す筆記終了信号を送信する（Ｓ５）。

（３）撮像動作
図６は、カメラ３の動作の一例を示すフローチャートである。

まず、ペン１が送信する筆記信号を信号受信部３３が受信し、信号受付手段３００が、信号受信部３３が受信した筆記信号を受け付けて信号情報３１１として記憶部３１に格納する（Ｓ１１）。

次に、信号カウント手段３０１は、筆記信号を受信した回数をカウントし、初回の信号受信にて撮像制御手段３０２は、撮像部３２を制御して筆記内容２０を含むホワイトボード２を撮像する（Ｓ１２）。また、撮像制御手段３０２は、すべての撮像でなくともよいが、筆記者７の顔面７０をホワイトボード２とともに撮像する。

次に、信号受付手段３００が、筆記終了信号を受け付けない限り（Ｓ１３；Ｎｏ）、信号カウント手段３０１は、筆記信号を受信してから経過した時間をカウントし、予め定めた時間が経過する度に（Ｓ１４；Ｙｅｓ）、撮像制御手段３０２は、撮像部３２を制御してホワイトボード２を撮像する（Ｓ１２）。

次に、信号受付手段３００が、筆記終了信号を受け付けると（Ｓ１３；Ｙｅｓ）、再び撮像制御手段３０２は、撮像部３２を制御してホワイトボード２を撮像する（Ｓ１５）。

次に、画像情報送信手段３０５は、撮像終了手段３０４が撮像を終了すると、画像情報生成手段３０３が生成した画像情報３１２をネットワーク６を介して画像配信サーバ４に送信する（Ｓ１６）。

（４）画像配信動作
画像配信サーバ４の画像情報受付手段４００は、通信部４２を介してカメラ３から画像情報３１２を受け付けて記憶部４１に格納する。

筆記者認識手段４０１は、画像情報３１２を画像解析し、筆記者７の顔面７０等が写っている場合は、図示しない予め用意された筆記者７の画像情報等を参照することで筆記者７を認識する。

付随情報生成手段４０２は、筆記者認識手段４０１が画像情報３１２から筆記者７を認識した場合、筆記者の識別子、撮影された時間、場所等を含む識別情報を生成し、画像情報３１２に関連付ける。なお、撮影された時間、場所等の情報はカメラ３から取得してもよいし、予め画像配信サーバ４においてカメラ３と関連付けて設定しておいてもよい。

画像送信手段４０３は、付随情報生成手段４０２に基づいて画像情報３１２から認識された筆記者７が使用する端末５に画像情報３１２を送信する。

［第２の実施の形態］
第２の実施の形態は、（３）撮像動作について第１の実施の形態と異なる。また、（１）基本動作、（２）信号送信動作及び（４）画像配信動作については、第１の実施の形態と同様であるため説明を省略する。

図７は、第２の実施の形態に係るカメラ３の動作の一例を示すフローチャートである。

まず、ペン１が送信する筆記信号を信号受信部３３が受信し、信号受付手段３００が、信号受信部３３が受信した筆記信号を受け付けて信号情報３１１として記憶部３１に格納する（Ｓ２１）。

次に、信号カウント手段３０１は、筆記信号を受信した回数をカウントし、初回の信号受信にて撮像制御手段３０２は、撮像部３２を制御して筆記内容２０を含むホワイトボード２を撮像する（Ｓ２２）。

次に、信号カウント手段３０１は、筆記信号を受信してから経過した時間をカウントし、予め定めた時間が経過し（Ｓ２３；Ｙｅｓ）、その間にペン１から筆記信号を受信した場合（Ｓ２４；Ｙｅｓ）、撮像制御手段３０２は、撮像部３２を制御してホワイトボード２を撮像する（Ｓ２２）。

また、ステップＳ２４においてペン１から筆記信号を受信しなかった場合（Ｓ２４；Ｎｏ）、再び撮像制御手段３０２は、撮像部３２を制御してホワイトボード２を撮像する（Ｓ２５）。

次に、画像情報送信手段３０５は、撮像終了手段３０４が撮像を終了すると、画像情報生成手段３０３が生成した画像情報３１２をネットワーク６を介して画像配信サーバ４に送信する（Ｓ２６）。

［第３の実施の形態］
第３の実施の形態の画像処理システム８は、人感センサ９が追加された点で第１及び第２の実施の形態と異なる。他の構成は図１において説明した内容と同様であるため説明を省略する。

図８は、第３の実施の形態に係る画像処理システムの構成例を示す概略図である。

人感センサ９は、ホワイトボード２の前に立つ筆記者７の存在を検出し、人検出信号をカメラ３に送信する。

図９は、カメラ３の動作の一例を示すフローチャートである。

まず、ペン１が送信する筆記信号を信号受信部３３が受信し、信号受付手段３００が、信号受信部３３が受信した筆記信号を受け付けて信号情報３１１として記憶部３１に格納する（Ｓ３１）。

次に、信号カウント手段３０１は、筆記信号を受信した回数をカウントし、初回の筆記信号受信にて撮像制御手段３０２は、撮像部３２を制御してホワイトボード２を撮像する（Ｓ３２）。

次に、信号カウント手段３０１は、筆記信号を受信してから経過した時間をカウントし、予め定めた時間が経過し（Ｓ３３；Ｙｅｓ）、その間にペン１から筆記信号を受信した場合（Ｓ３４；Ｙｅｓ）、撮像制御手段３０２は、撮像部３２を制御してホワイトボード２を撮像する（Ｓ３２）。

また、ステップＳ３４において、ペン１から筆記信号を受信しなかった場合（Ｓ３４；Ｎｏ）であって、人感センサ９から人検出信号を受信した場合（Ｓ３５；Ｙｅｓ）、ステップＳ３４へと戻る。

また、ステップＳ３５において、人感センサ９から人検出信号を受信しなかった場合（Ｓ３５；Ｎｏ）、動作を終了する。

［変形例１］
図１０は、ペンの構成の変形例を示す概略図である。

ペン１Ａは、発電部１３Ａの構成がペン１の発電部１３と異なり、ペン先１１の他端が圧電素子１３０に接するように配置され、筆記動作に伴い圧電素子１３０に圧力を加えることで発電する。

［変形例２］
図１１は、ペンの発電部の構成の変形例を示す概略図である。

発電部１３Ｂは、ペン１の発電部１３と異なり、例えば、筒状のケースの外壁に正巻きコイル１３２ａ及び逆巻きコイル１３２ｂが配置され、そのケース内に収められた円筒状の磁石を複数連結してなる磁石１３３が図面横方向に自由に移動可能となっており、筆記動作に伴い電磁誘導により発電する。

［変形例３］
図１２は、ペンの構成の変形例を示す概略図である。

ペン１Ｃは、発電部１３Ａの構成がペン１の発電部１３と異なり、筆記者７が本体１０ａを保持する位置に熱電対が配置され、筆記者７の体温と本体１０ａ内部との温度差に応じてゼーベック効果を利用して発電する。

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々な変形が可能である。

また、上記画像処理プログラム３１０をＣＤ−ＲＯＭ等の記憶媒体に格納して提供することも可能であり、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部にダウンロードしてもよい。また、信号受付手段３００、信号カウント手段３０１、撮像制御手段３０２、画像情報生成手段３０３、撮像終了手段３０４、画像情報送信手段３０５、画像情報受付手段４００、筆記者認識手段４０１、付随情報生成手段４０２及び画像送信手段４０３の一部又は全部をＡＳＩＣ等のハードウェアによって実現してもよい。なお、上記実施の形態の動作説明で示した各ステップは、順序の変更、ステップの省略、追加が可能である。

１ペン
２ホワイトボード
３カメラ
４画像配信サーバ
５端末
６ネットワーク
７筆記者
８画像処理システム
９人感センサ
９人感センサ
１０ａ本体
１０ｂキャップ
１１ペン先
１２キャップスイッチ
１３発電部
１４整流回路
１５信号送信部
２０筆記内容
３０制御部
３１記憶部
３２撮像部
３３信号受信部
３４通信部
４０制御部
４１記憶部
４２通信部
７０顔面
１３０圧電素子
３００信号受付手段
３０１信号カウント手段
３０２撮像制御手段
３０３画像情報生成手段
３０４撮像終了手段
３０５画像情報送信手段
３１０画像処理プログラム
３１１信号情報
３１２画像情報
４００画像情報受付手段
４０１筆記者認識手段
４０２付随情報生成手段
４０３画像送信手段
４１０画像配信プログラム
４１１付随情報

Claims

筆記対象に対する筆記動作に伴い発電し、当該発電した電力によって前記筆記動作に応じた筆記信号及び筆記終了動作に応じた終了信号を発するペンと、
前記ペンの発する前記筆記信号及び前記終了信号を受信し、前記筆記信号に基づいて前記筆記対象を撮像して画像情報を生成し、生成した複数の前記画像情報を前記終了信号に基づいて一連の画像情報として出力する画像処理装置とを有する画像処理システム。
前記画像処理装置が出力した前記一連の画像情報を画像解析し、前記一連の画像情報のいずれかに写る前記ペンを用いる筆記者を特定して前記一連の画像情報を特定された前記筆記者に送信する画像配信サーバをさらに有する請求項１に記載の画像処理システム。
前記画像処理装置は、最後に受信した筆記信号から予め定めた時間経過しても前記終了信号を受信しない場合、前記一連の画像情報を出力する請求項１に記載の画像処理システム。
筆記動作に応じて発せられる筆記信号及び筆記終了動作に応じて発せられる終了信号を受信して受け付ける受付手段と、
前記筆記信号に基づいて前記筆記対象を撮像して画像情報を生成する生成手段と、
生成した複数の前記画像情報を前記終了信号に基づいて一連の画像情報として出力する出力手段とを有する画像処理装置。
コンピュータを、
筆記動作に応じて発せられる筆記信号及び筆記終了動作に応じて発せられる終了信号を受信して受け付ける受付手段と、
前記筆記信号に基づいて前記筆記対象を撮像して画像情報を生成する生成手段と、
生成した複数の前記画像情報を前記終了信号に基づいて一連の画像情報として出力する出力手段として機能させるための画像処理プログラム。