JP2016157175A - 画像処理システム、画像処理装置、画像入力装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】複数人による意見交換を効率化すること。【解決手段】複数の画像入力装置と、前記画像入力装置にネットワークを介して接続される画像処理装置とを含む画像処理システムは、前記各画像入力装置は、記入が行われた紙面を撮像して前記紙面の画像データを入力する入力部と、前記入力部によって入力された画像データを前記画像処理装置に送信する送信部とを有し、前記画像処理装置は、前記複数の画像入力装置から送信される画像データを受信する受信部と、前記受信部によって受信された画像データが合成された合成データを生成する合成部と、前記合成データを出力する出力部と、を有する。【選択図】図５

Description

本発明は、画像処理システム、画像処理装置、画像入力装置、画像処理方法、及びプログラムに関する。

会議においては、会議の参加メンバの意見を列記したり、各参加メンバが自らの考えを図等によって表現すること、他者に分かりやすく伝えたりするために媒体として、ホワイトボードが用いられることが有る。

しかしながら、板書に不慣れな者は、ホワイトボードへの記載内容が崩れてしまい、何度か書き直しをせざるをえない場合が有る。また、ホワイトボードに対して、複数人によって同時に書き込むのは困難である。また、或る参加メンバが、ホワイトボードへの記入を行うめには、自らの席と、ホワイトボードとの間を往復しなければならない。このように、ホワイトボードに利用に関しては、会議を非効率にする側面も有る。

本発明は、上記の点に鑑みてなされたものであって、複数人による意見交換を効率化することを目的とする。

そこで上記課題を解決するため、複数の画像入力装置と、前記画像入力装置にネットワークを介して接続される画像処理装置とを含む画像処理システムは、前記各画像入力装置は、記入が行われた紙面を撮像して前記紙面の画像データを入力する入力部と、前記入力部によって入力された画像データを前記画像処理装置に送信する送信部とを有し、前記画像処理装置は、前記複数の画像入力装置から送信される画像データを受信する受信部と、前記受信部によって受信された画像データが合成された合成データを生成する合成部と、前記合成データを出力する出力部と、を有する。

複数人による意見交換を効率化すること。

本発明の実施の形態における会議システムの第１の構成例を示す図である。 記入用紙及び入力ペンの一例を示す図である。 本発明の実施の形態における画像入力装置のハードウェア構成例を示す図である。 本発明の実施の形態における画像処理装置のハードウェア構成例を示す図である。 本発明の実施の形態における画像入力装置及び画像処理装置の機能構成例を示す図である。 画像入力装置が実行する処理手順の一例を説明するためのフローチャートである。 差分データの生成処理の処理手順の一例を説明するためのフローチャートである。 画像処理装置が実行する処理手順の一例を説明するためのフローチャートである。 本発明の実施の形態における会議システムの第２の構成例を示す図である。

以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における会議システムの第１の構成例を示す図である。図１に示される会議システム１において、画像入力装置２０ａ、２０ｂ、２０及びｃ等の１以上の画像入力装置２０と画像処理装置１０とは、ネットワークを介して通信可能に接続される。当該ネットワークは、無線ＬＡＮ（Local Area Network）等の無線通信網であってもよい。また、各画像入力装置２０と画像処理装置１０との通信は、Ｗｉ−Ｆｉ（登録商標）ダイレクトやＢｌｕｅｔｏｏｔｈ(登録商標)等を介して直接的に行われてもよい。画像処理装置１０には、ＵＳＢ（Universal Serial Bus）ケーブル等のケーブルを介してプロジェクタ３０が接続される。

画像入力装置２０は、デジタルカメラを有する装置である。画像入力装置２０は、デジタルカメラを利用して、入力ペンＰ２による記入用紙Ｐ１への記入内容を示す画像データを入力し、当該画像データ等を、画像処理装置１０に送信する。デジタルカメラは、画像入力装置２０の一例であって、例えば、スマートフォン又はタブレット端末等のスマートデバイスが画像入力装置２０として利用されてもよい。又は、通信機能を有するデジタルカメラが、画像入力装置２０として利用されてもよい。記入用紙Ｐ１への記入内容の撮像を安定的なものとするため、画像入力装置２０は、専用の又は汎用的なスタンドＤ１に載置されるのが望ましい。また、画像入力装置２０は、会議の参加メンバごとに用意されてもよい。

画像処理装置１０は、画像入力装置２０から送信される画像データに関して、所定の画像処理を実行し、画像処理後の画像データをプロジェクタ３０に送信する。プロジェクタ３０は、当該画像データが示す画像を、例えば、ホワイトボード４０に投影する。

すなわち、会議システム１では、各参加メンバ（以下、「ユーザ」という。）が、入力ペンＰ２を用いて記入用紙Ｐ１に記入した内容が、ホワイトボード４０に合成されて表示される。記入用紙Ｐ１及び入力ペンＰ２については、例えば、図２に示されるようなものが用いられてもよい。

図２は、記入用紙及び入力ペンの一例を示す図である。図２において、記入用紙Ｐ１は、コマンド選択領域ＦＮ１〜ＦＮ５、手書き入力領域Ａ１、及びマーカＭ１〜Ｍ４等を含む。

コマンド選択領域ＦＮ１〜ＦＮ５は、記入内容に関しての、画像入力装置２０又は画像処理装置１０に対する各種のコマンド（処理要求）の選択を受け付けるための領域である。すなわち、ユーザは、記入用紙Ｐ１を介して、画像入力装置２０又は画像処理装置１０に対するコマンドを入力することができる。図２では、複数のコマンドのそれぞれを区別可能とするため、コマンドごとに矩形領域が示されている。当該矩形領域を示す罫線が、予め記入用紙Ｐ１に印字されていてもよい。

手書き入力領域Ａ１は、入力ペンＰ２を用いた記入が行われる領域である。手書き入力領域の範囲を示す罫線が、予め記入用紙Ｐ１に印字されていてもよい。

マーカＭ１〜Ｍ４は、画像入力装置２０に入力された記入用紙Ｐ１の画像データに関して、歪み補正を行うための印である。

また、入力ペンＰ２は、記入用ペン先Ｐ２１とポイント用ペン先Ｐ２２とを有する。記入用ペン先Ｐ２１は、手書き入力領域Ａ１への記入用のペン先である。例えば、記入用ペン先Ｐ２１は、ボールペンのペン先であってもよい。又はシャープペンシル若しくは鉛筆のペン先が記入用ペン先Ｐ２１であってもよい。ポイント用ペン先Ｐ２２は、コマンド選択領域ＦＮ１〜ＦＮ５を指示するためのペン先である。但し、記入用ペン先Ｐ２１によってコマンド選択領域ＦＮ１〜ＦＮ５の指示が行われてもよい。なお、入力ペンＰ２は、専用の筆記具でなくてもよい。

図３は、本発明の実施の形態における画像入力装置のハードウェア構成例を示す図である。図３において、画像入力装置２０は、ＣＰＵ２０１、メモリ２０２、補助記憶装置２０３、タッチパネル２０４、無線通信装置２０５、及びデジタルカメラ２０６等を有する。

補助記憶装置２０３は、画像入力装置２０にインストールされたプログラム等を記憶する。メモリ２０２は、プログラムの起動指示があった場合に、補助記憶装置２０３からプログラムを読み出して記憶する。ＣＰＵ２０１は、メモリ２０２に記憶されたプログラムに従って画像入力装置２０に係る機能を実現する。

タッチパネル２０４は、入力機能と表示機能との双方を備えた電子部品であり、情報の表示や、ユーザからの入力の受け付け等を行う。タッチパネル２０４は、表示装置２１１及び入力装置２１２等を含む。

表示装置２１１は、液晶ディスプレイ等であり、タッチパネル２０４の表示機能を担う。入力装置２１２は、表示装置２１１に対する接触物の接触を検出するセンサを含む電子部品である。接触物の接触の検出方式は、静電方式、抵抗膜方式、又は光学方式等、公知の方式のいずれであってもよい。なお、接触物とは、タッチパネル２０４の接触面（表面）に接触する物体をいう。斯かる物体の一例として、ユーザの指や専用又は一般のペン等が挙げられる。

無線通信装置２０５は、無線ＬＡＮ（Local Area Network）又は移動体通信網等における通信を行うために必要とされるアンテナ等の電子部品である。デジタルカメラ２０６は、画像を入力する部品である。

図４は、本発明の実施の形態における画像処理装置のハードウェア構成例を示す図である。図４の画像処理装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。

画像処理装置１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って画像処理装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。

図５は、本発明の実施の形態における画像入力装置及び画像処理装置の機能構成例を示す図である。図５において、画像入力装置２０は、データ読取部２１、歪み補正部２２、ペン先位置認識部２３、コマンド判定部２４、静止画切出部２５、差分データ生成部２６、送信データ整形部２７、及びデータ送信部２８等を有する。これら各部は、画像入力装置２０にインストールされる１以上のプログラムが、ＣＰＵ２０１に実行させる処理により実現される。画像入力装置２０は、また、前回データ記憶部２９を有する。前回データ記憶部２９は、例えば、補助記憶装置２０３等を用いて実現可能である。

データ読取部２１は、デジタルカメラ２０６を利用して、記入用紙Ｐ１の紙面が撮像された動画データを入力する。歪み補正部２２は、データ読取部２１によって入力された動画データに対して、例えば、記入用紙Ｐ１に付加されているマーカを基準として、歪み補正を行う。なお、歪み補正の処理負荷が高い場合には、リアルタイムでの歪み補正は行わずに、静止画切出部２５によって生成される静止画データに対して歪み補正が行われてもよい。

ペン先位置認識部２３は、リアルタイムデータに基づいて、記入用紙Ｐ１上における入力ペンＰ２のペン先の指示位置を認識（検出）する。リアルタイムデータは、データ読取部２１によって現在入力されている動画データに対して、歪み補正が適用されたデータである。ペン先の位置は、例えば、記入用紙Ｐ１の左下を（０，０）とし、右上を（１０００、１０００）とする座標系（以下、「紙面座標系」という。）における座標値によって表現されてもよい。

コマンド判定部２４は、ペン先位置認識部２３によって認識されるペン先の位置に基づいて、当該ペン先が、コマンド選択領域ＦＮ１〜ＦＮ５のいずれかの範囲内に含まれるか否かを判定する。ペン先がコマンド選択領域ＦＮ１〜ＦＮ５のいずれかの範囲内に含まれる場合、コマンド判定部２４は、ペン先によって指示されたコマンド選択領域を判定する。各コマンド選択領域の範囲は、例えば、各コマンド選択領域を示す罫線（矩形）に基づいて認識される。当該矩形の各頂点の座標値は、紙面座標系における座標値として算出される。

静止画切出部２５は、録画データから、手書き記入領域Ａ２の範囲の静止画データの切出しを行う。録画データは、リアルタイムデータが、一定時間録画されたデータである。動画データには、入力ペンＰ２の画像等、記入内容以外の画像も含まれるため、静止画切出部２５は、静止画データの切り出し時から一定時間前までの録画データの動画のフレームを時系列に沿って比較し、動いている部分と静止している部分を切り分け、動いている部分を削除したフレームを合成することで、入力ペンＰ２等の画像が消去された静止画データを生成する。なお、手書き記入領域Ａ２の範囲は、例えば、マーカＭ１〜Ｍ４に基づいて認識される。

差分データ生成部２６は、最新の静止画データが示す記入内容と、前回データ記憶部２９に記憶されている静止画データが示す記入内容とを比較し、記入内容の差分を示す画像データ（以下、「差分データ」という。）を生成する。前回データ記憶部２９には、差分が追記される前の状態における記入用紙Ｐ１の紙面に係る静止画データが記憶されている。なお、差分データの送信は、コマンド選択領域ＦＮ１〜ＦＮ５のうち、画像送信コマンドに対応するコマンド選択領域が指示された場合に実行される。

送信データ整形部２７は、画像処理装置１０に送信するデータを生成する。画像処理装置１０には、ポインタデータ、コマンドデータ、又は画像データが送信される。ポインタデータは、ペン先の座標値を示すデータである。ポインタデータは、ポインタの投影に利用される。ポインタとは、ホワイトボード４０上に投影される、マウスカーソルのような図形をいう。すなわち、本実施の形態では、ホワイトボード４０に対して、指示棒の代わりにポインタが投影される。全ての画像入力装置２０に係るポインタが投影されてもよいし、一部の画像入力装置２０に係るポインタのみが投影されてもよい。

コマンドデータは、コマンドを示すデータである。画像データは、差分データである。これらのデータに対し、画像入力装置２０ごとの識別情報（以下、「装置ＩＤ」という。）を付加し、装置ＩＤが付加されたデータを、通信プロトコルに準じたデータ形式に整形する。

データ送信部２８は、送信データ整形部２７によって整形されたデータを、画像処理装置１０に送信する。

一方、画像処理装置１０は、データ受信部１１、データ識別部１２、ポインタ位置更新部１３、コマンド実行部１４、画像データ登録部１５、画像データ加工部１６、画像データ合成部１７、及び出力データ生成部１８等を有する。これら各部は、画像入力装置２０にインストールされる１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。画像入力装置２０は、また、画像データ記憶部１９を利用する。画像データ記憶部１９は、例えば、補助記憶装置１０２、又は画像入力装置２０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。

データ受信部１１は、画像入力装置２０から送信されるデータを受信する。データ識別部１２は、データ受信部１１によって受信されたデータ（以下、「受信データ」という。）の種別（ポインタデータ、コマンドデータ、画像データ）を識別する。ポインタ位置更新部１３は、受信データがポインタデータである場合、ポインタの位置を更新する。コマンド実行部１４は、受信データがコマンドデータである場合に、受信データが示すコマンドに応じた処理を実行する。

画像データ登録部１５は、受信データが画像データである場合に、当該画像データを画像データ記憶部１９に記憶する。画像データ加工部１６は、受信データが画像データの加工に関するコマンドを示すコマンドデータである場合に、当該コマンドに応じた画像データの加工処理を実行する。

画像データ合成部１７は、画像データ記憶部１９に記憶されている画像データ群のうち、表示対象の画像データ群を合成して、１つの画像データを生成する。その結果、各画像入力装置２０において入力された記入内容が重ね合わされた結果を示す画像データが生成される。すなわち、本実施の形態において画像データの合成とは、合成される各画像データが示す画像（記入内容）が、重ね合わされた結果を示す画像（記入内容）を示す画像データを生成することをいう。

出力データ生成部１８は、出力対象の画像データ、すなわち、ホワイトボード４０に投影される画像データを生成し、生成された画像データをプロジェクタ３０に出力する。

以下、画像入力装置２０及び画像処理装置１０のそれぞれが実行する処理手順について説明する。図６は、画像入力装置が実行する処理手順の一例を説明するためのフローチャートである。

ステップＳ１０１において、データ読取部２１は、デジタルカメラ２０６を利用して、記入用紙Ｐ１の紙面が撮像された動画データを入力する。続いて、歪み補正部２２は、動画データに対して、歪み補正を行う（Ｓ１０２）。なお、動画データの歪みが小さい場合には、静止画切出部２５によって切り出される静止画データに対して、歪み補正が行われることで、処理負荷の軽減が図られてもよい。

続いて、ペン先位置認識部２３は、入力ペンＰ２のペン先の位置を認識する（Ｓ１０３）。その結果、ペン先の位置を示す、紙面座標系における座標値が得られる。続いて、ペン先位置認識部２３は、ペン先の位置が、手書き入力領域Ａ１内に含まれるか否かを判定する（Ｓ１０４）。例えば、マーカＭ１〜Ｍ４の位置が、紙面座標系の座標値として特定され、当該座標値群によって形成される矩形領域内に、ペン先の位置の座標値が含まれるか否かが判定されてもよい。ペン先の位置が、手書き入力領域Ａ１内に含まれる場合（Ｓ１０４でＹｅｓ）、ペン先位置認識部２３は、ペン先の位置の座標値を含むポインタデータを生成する（Ｓ１０５）。

ペン先の位置が手書き領域Ａ１内に含まれない場合（Ｓ１０４でＮｏ）、コマンド判定部２４は、ペン先の位置がコマンド選択領域ＦＮ１〜ＦＮ５のいずれかの範囲内に含まれるか否かを判定する（Ｓ１０６）。例えば、ペン先の位置の座標値が、コマンド選択領域ＦＮ１〜ＦＮ５のいずれかの矩形領域内に含まれるか否かが判定される。コマンド選択領域ＦＮ１〜ＦＮ５のそれぞれの矩形領域は、紙面座標系に基づいて特定される。

ペン先の位置が、コマンド選択領域ＦＮ１〜ＦＮ５のいずれかの範囲に含まれる場合（Ｓ１０６でＹｅｓ）、コマンド判定部２４は、ペン先が含まれるコマンド選択領域が、画像送信コマンドに対応するコマンド選択領域であるか否かを判定する（Ｓ１０７）。本実施の形態において、画像送信コマンドは、画像入力装置２０において認識されるコマンドであるため、コマンド判定部２４は、例えば、左から何番目のコマンド選択領域が、画像送信コマンドに対応するのかを示す設定情報に基づいて、ステップＳ１０７における判定を行う。なお、ユーザが意図しない誤動作を防止するために、ペン先がコマンド選択領域ＦＮ１〜ＦＮ５に含まれているという判定は、コマンド選択領域ＦＮ１〜ＦＮ５に一定時間以上ペン先が留まっている場合に肯定されるようにしてもよい。

ペン先を含むコマンド選択領域が、画像送信コマンドに対応するコマンド選択領域である場合（Ｓ１０７でＹｅｓ）、画像入力装置２０は、差分データ生成処理を実行する（Ｓ１０８）。その結果、会議開始後の１回目の画像送信コマンドであれば、これまで記入された内容を示す画像データが生成される。また、２回目以降の画像送信コマンドであれば、前回の画像送信コマンドの実行時以降に記入された内容を示す画像データが生成される。

ペン先を含むコマンド選択領域が、画像送信コマンド以外に対応するコマンド選択領域である場合（Ｓ１０７でＮｏ）、コマンド判定部２４は、ペン先を含むコマンド選択領域の識別情報（以下、「コマンド領域ＩＤ」という。）を含むコマンドデータを生成する（Ｓ１０９）。コマンド領域ＩＤは、例えば、「左からＮ番目」のＮの値でもよい。

なお、ペン先の位置が、手書き入力領域Ａ１内でもなく（Ｓ１０４でＮｏ）、かつ、コマンド選択領域ＦＮ１〜ＦＮ５のいずれの範囲内でもない場合は（Ｓ１０６でＮｏ）、ステップＳ１１０及びＳ１１１は実行されない。

ステップＳ１０５、Ｓ１０８、又はＳ１０９に続いて、送信データ整形部２７は、送信データを生成する（Ｓ１１０）。すなわち、ステップＳ１０５において生成されたポインタデータ、ステップＳ１０８において生成された画像データ、又はステップＳ１０９において生成されたコマンドデータに対して装置ＩＤが付与されたデータが送信データとして生成される。

続いて、データ送信部２８は、送信データ整形部２７によって生成された送信データを、画像処理装置１０に送信する（Ｓ１１１）。

なお、図６の処理は、デジタルカメラ２０６による動画データの撮像に応じて随時実行される。

続いて、ステップＳ１０８の詳細について説明する。図７は、差分データの生成処理の処理手順の一例を説明するためのフローチャートである。差分データの生成処理は、前回の画像データの送信後に追記された内容を差分として抽出し、当該差分を示す画像データを生成するための処理である。

ステップＳ２０１において、静止画切出部２５は、現時点（画像送信コマンドが選択された時点）から一定時間過去に遡って録画データの解析を行い、ユーザの手や入力ペンＰ２等の動体の画像を録画データから除去する。例えば、録画データの各フレームを比較することで、変化している部分と変化していない部分を識別することが可能である。変化している部分は、動体、すなわち、ユーザの手又は入力ペンＰ２であると推測できる。そこで、静止画切出部２５は、当該部分の画像を除去する。続いて、静止画切出部２５は、変化していない部分のみを複数のフレームから合成することで、手書き入力領域Ａ１の紙面の静止画データを生成する（Ｓ２０２）。なお、記入内容も動体として認識されうるが、記入の完了後の状態が撮像されたフレームにおいては、静止している部分として認識可能である。したがって、録画データの最後の数フレームにおいて静止している部分は、動体として認識されないようにしてもよい。また、公知の画像処理技術が用いられて、動体の認識が行われてもよい。なお、静止画切出部２５は、マーカＭ１〜Ｍ４に基づいて特定される手書き入力領域Ａ１の範囲の静止画データを生成する。

続いて、差分データ生成部２６は、前回データ記憶部２９に記憶されている静止画データが示す画像と、ステップＳ２０２において生成された静止画データが示す画像とを比較して、２つの画像の差分を抽出する（Ｓ２０３）。なお、前回データ記憶部２９には、前回の画像送信コマンドの実行時において静止画切出部２５によって生成された画像データが記憶されている。したがって、前回の画像送信コマンドの実行後に記入された内容が、差分として抽出される。続いて、差分データ生成部２６は、差分を示す画像データを生成する（Ｓ２０４）。なお、前回データ記憶部２９が空である場合、すなわち、１回目の画像送信コマンドである場合、ステップＳ２０３及びＳ２０４は実行されずに、ステップＳ２０２において静止画切出部２５によって生成された静止画データが、図７において生成される画像データとされてもよい。

続いて、差分データ生成部２６は、ステップＳ２０２において生成された静止画データを、前回データ記憶部２９に記憶する（Ｓ２０５）。この際、既に記憶されている静止画データは、新たに記憶される静止画データによって上書きされる。

続いて、画像処理装置１０が実行する処理手順について説明する。図８は、画像処理装置が実行する処理手順の一例を説明するためのフローチャートである。

画像入力装置２０から送信されたデータが、データ受信部１１によって受信されると、データ識別部１２は、受信データのデータ種別を識別（判定）する（Ｓ３０１）。データ種別の識別は、受信データのデータ構造に基づいて実行されてもよい。又は、受信データにデータ種別を示す情報が含まれていてもよい。

受信データが、ポインタデータである場合（Ｓ３０２でＹｅｓ）、ポインタ位置更新部１３は、ポインタデータに含まれている装置ＩＤに対応するポインタの位置情報を、当該ポインタデータが示す座標値に更新する（Ｓ３０３）。ポインタ位置更新部１３は、更新後のポインタの位置情報を、出力データ生成部１８に通知する。

なお、ポインタデータの座標値は、紙面座標系における座標値である。画像処理装置１０においても、紙面座標系が採用されてもよいが、ホワイトボード４０に投影される範囲に対応した座標系（以下、「ボード座標系」という。）が画像処理装置１０において採用されてもよい。この場合、ステップＳ３０３では、紙面座標系における座標値から、ボード座標系における座標値への変換が行われてもよい。変換式は、予め設定されていてもよい。

受信データが、コマンドデータである場合（Ｓ３０２でＮｏで、Ｓ３０４でＹｅｓ）、コマンド実行部１４は、コマンドデータが示すコマンド領域ＩＤに対応する処理を実行する（Ｓ３０５）。コマンド領域ＩＤ（すなわち、コマンド選択領域）に対する処理（機能）の割付は、変更可能であってもよい。この場合、コマンド領域ＩＤと処理との対応情報が、編集可能な状態で、例えば、補助記憶装置１０２に記憶されていればよい。また、当該割付は、全ての画像入力装置２０に対して共通であってもよいし、画像入力装置２０ごとに異なっていてもよい。画像入力装置２０ごとに割付を変える場合には、各装置ＩＤに対応付けられて、コマンド領域ＩＤと処理との対応情報が、例えば、補助記憶装置１０２に記憶されていればよい。また、コマンド実行部１４に対するプラグインにより、実行可能な処理が拡張可能とされてもよい。

受信データが、画像データである場合（Ｓ３０４でＮｏで、Ｓ３０６でＹｅｓ）、画像データ登録部１５は、当該受信データに含まれる画像データと、当該受信データに含まれる装置ＩＤとを対応付けて画像データ記憶部１９に記憶する（Ｓ３０７）。その結果、新たな画像データが、画像データ記憶部１９に追加される。なお、画像データ記憶部１９には、記憶された画像データ及び装置ＩＤが時系列に記憶される。又は、画像データごとに、記憶された日時を示す情報が対応付けられてもよい。

続いて、画像データ合成部１７は、画像データ記憶部１９に新たに記憶された画像データを、合成データに合成することで、合成データを更新する（Ｓ３０８）。画像データ合成部１７は、更新後の合成データを、出力データ生成部１８に通知する。合成データとは、基本的に、これまでに受信された画像データが合成されて生成された１つの画像データをいう。なお、各画像入力装置２０から送信される画像データのサイズが一定であることが保証されない場合には、合成対象の画像データが所定のサイズに拡大又は縮小等された後に、合成が行われるようにしてもよい。基本的に、各画像入力装置２０から送信される画像データは、手書き入力領域Ａ１の範囲の画像データであるため、各画像入力装置２０と記入用紙Ｐ１との距離や、各画像入力装置２０のデジタルカメラ２０６の性能（解像度等）等が同じであれば、各画像入力装置２０からの画像データのサイズは、一定である可能性が高い。但し、当該距離や当該性能等が異なる場合には、各画像入力装置２０から送信される画像データの画素数や、高さ及び幅等のサイズが異なる可能性も有る。この場合には、公知の画像処理技術が用いられて、各画像データが、画像データ合成部１７が予定しているサイズに整形されてよい。

ステップＳ３０３、ステップＳ３０５、又はステップＳ３０８に続いて、出力データ生成部１８は、ポインタの位置の更新又は合成データの更新が反映された画像データを、プロジェクタ３０に出力する（Ｓ３０８）。その結果、例えば、ホワイトボード４０に投影されているポインタの位置が、更新後の位置に変更される。また、新たな記入内容が、ホワイトボード４０に投影される。また、コマンドの実行結果が、ホワイトボード４０に反映される。

続いて、コマンドの一例について説明する。例えば、画像入力装置２０単位での記入内容の表示及び非表示の切り替え、色分け等を行うコマンドが定義されてもよい。例えば、或る画像入力装置２０から、非表示を示すコマンドデータが受信された場合、コマンド実行部１４は、当該コマンドデータに含まれている装置ＩＤに係る画像データを非表示にするように、画像データ合成部１７に要求する。画像データ合成部１７は、画像データ記憶部１９に記憶されている画像データのうち、当該装置ＩＤ以外の装置ＩＤに対応付けられている画像データを合成して、改めて合成データを生成し直す。その結果、当該装置ＩＤに係る画像データ（記入内容）を非表示とすることができる。非表示とされた画像データを改めて表示させる場合には、非表示とされた画像データが、合成データに合成されればよい。

また、画像入力装置２０ごとの色分けについては、画像データ合成部１７が、各画像データに対応付けられている装置ＩＤごとに、画像データを色分けして合成することで、実現可能である。

また、特定の記入内容の削除、やり直し（ＵＮＤＯ）、記入履歴のタイムラプス表示等のコマンドが定義されてもよい。

例えば、削除コマンドに対応するコマンド選択領域が指示された後に、いずれかの記入内容が指示されると、画像入力装置２０は、指示された位置を示す座標値を含む、削除コマンドのコマンドデータを画像処理装置１０に送信する。画像処理装置１０のコマンド実行部１４は、当該座標値の示す位置が記入内容に重なる画像データを画像データ記憶部１９から検索し、当該画像データに対して削除フラグを付加する。画像データ合成部１７は、改めて合成データを生成する。この際、削除フラグが付加されている画像データは、合成対象から除かれる。その結果、指示された記入内容が削除される。

また、やり直しについては、コマンド実行部１４が、各装置ＩＤに対応付けて、コマンドデータの履歴（以下、「コマンド履歴」という。）を記憶しておくことで実現可能である。例えば、やり直しコマンドを示すコマンドデータが受信されると、コマンド実行部１４は、当該コマンドデータに含まれている装置ＩＤに対応するコマンド履歴を参照し、最後に実行されたコマンドを特定する。コマンド実行部１４は、最後実行されたコマンドが実行される前の状態とするための処理を、画像データ記憶部１９に対して実行する。例えば、削除コマンドのやり直しであれば、削除対象とされた画像データから、削除フラグが除去される。

また、記入履歴のタイムラプス表示を示すコマンドデータが受信された場合、コマンド実行部１４は、画像データ合成部１７に対して、タイムラプス表示の実行を指示する。画像データ合成部１７は、画像データ記憶部１９に記憶されている画像データのうち、古い画像データから順に、一つずつ、合成データに合成していく。その結果、記入内容が時系列に再現される。

また、表示対象とするポインタを限定するためのコマンドが定義されてもよい。例えば、或る画像入力装置２０から、当該画像入力装置２０に係るポインタのみを表示対象とすることを示すコマンドデータが受信されると、コマンド実行部１４は、当該装置ＩＤに係るポインタのみを表示するように、出力データ生成部１８に要求する。出力データ生成部１８は、当該装置ＩＤ以外に係るポインタについては非表示とする。

また、ＯＣＲ（Optical Character Recognition）コマンドや図形の描画コマンドが定義されてもよい。ＯＣＲコマンドは、記入された文字が活字（テキストデータ）に変換された後に、当該テキストデータが投影されるようにするためのコマンドである。例えば、或る画像入力装置２０から、文字を含む画像データが受信される前又は送信された後に、当該画像入力装置２０からＯＣＲコマンドが受信されると、画像データ加工部１６は、当該画像データに関してＯＣＲ処理を実行して文字を抽出する。画像データ合成部１７は、当該画像データにおいて、文字が抽出された範囲については、当該文字が活字に置き換えられた状態で、当該画像データを合成データに合成する。

また、図形の描画コマンドとは、例えば、記入用紙Ｐ１には記入されない図形が、投影されるといったコマンドである。例えば、図形の種別ごとにコマンド選択領域が設けられてもよい。いずれかの図形の種別に対応するコマンド選択領域が指示されると、描画対象の図形の種別が決定され、その後に入力ペンＰ２によって指示された位置に、当該種別の図形が描画される。例えば、矩形であれば、矩形に対応するコマンド選択領域が指示された後に、手書き入力領域Ａ１内において２点が指示されると、画像入力装置２０は、当該２点の座標値を含む、矩形描画コマンドを画像処理装置１０に送信する。画像処理装置１０の画像データ加工部１６は、当該２点を対角の頂点とする矩形を示す画像データを生成する。画像データ合成部１７は、当該画像データを合成データに合成する。その結果、ホワイトボード４０には、矩形が投影される。但し、記入用紙Ｐ１上には、当該図形は描画されない。

なお、コマンドデータは、コマンド選択領域ＦＮ１〜ＦＮ５の指示に応じてではなく、画像入力装置２０の操作に応じて送信されてもよい。例えば、画像入力装置２０が、スマートデバイスである場合、スマートデバイスに表示される画面を介した操作に応じて、コマンドデータが送信されてもよい。

ところで、会議システム１は、例えば、図９に示されるように構成されてもよい。図９は、本発明の実施の形態における会議システムの第２の構成例を示す図である。図９中、図１と同一又は対応する部分には同一符号を付し、その説明は、適宜省略する。

図９に示される会議システム２は、データ管理サーバ５０を更に含む。データ管理サーバ５０は、各画像入力装置２０及び画像処理装置１０とネットワークを介して通信可能である。

データ管理サーバ５０は、オフィス等に設置されるコンピュータであってもよいし、例えば、クラウドサーバ等のように、オフィス外に設置されるコンピュータであってもよい。データ管理サーバ５０は、例えば、図４に示されるようなハードウェア構成を有し、図５における、画像処理装置１０が有する機能構成を有する。

すなわち、図９において、各画像入力装置２０は、ポインタデータ、コマンドデータ、又は画像データを、データ管理サーバ５０に送信する。データ管理サーバ５０は、上記において画像処理装置１０が実行した処理を実行する。画像処理装置１０は、データ管理サーバ５０によって生成される画像データを受信し、当該画像データをプロジェクタ３０に送信する。

図１の構成例と図９の構成例とは排他的な関係にはない。したがって、双方の構成を含むシステムが構築されてもよい。

図９に示される構成においては、複数の画像処理装置１０が、データ管理サーバ５０に接続されてもよい。すなわち、複数の会議に関して並列的に、データ管理サーバ５０が利用されてもよい。但し、この場合、各画像入力装置２０から送信されるデータが、いずれの会議に関するものであるのかが区別される必要が有る。斯かる区別は、予め、会議ごとに、当該会議に関する画像入力装置２０の装置ＩＤが登録されることによって行われてもよいが、次のように行われてもよい。

例えば、記入用紙Ｐ１の印刷指示時に、ユーザは、予め会議の参加メンバに通知されている会議番号を入力する。当該会議番号は、例えば、印刷データに含まれてプリンタ又は複合機等の画像形成装置に送信される。画像形成装置は、当該会議番号が埋め込まれたバーコード、ＱＲコード(登録商標)、又は地紋等が、所定の位置に印字された記入用紙Ｐ１を印刷する。

このような記入用紙Ｐ１を撮像した画像入力装置２０は、当該記入用紙Ｐ１に印字されているバーコード、ＱＲコード、又は地紋等から抽出される会議番号を、データ管理サーバ５０に送信する。会議番号の送信は、接続の開始時において行われてもよいし、ポインタデータ、コマンドデータ、又は画像データが送信される度に送信されてもよい。

また、画像処理装置１０も、当該画像処理装置１０が利用される会議の会議番号を、データ管理サーバ５０に送信する。

この場合、データ管理サーバ５０は、会議番号に基づいて、各会議に関する画像入力装置２０を区別することができる。すなわち、データ管理サーバ５０は、会議番号ごとに合成データを区別して生成し、各会議番号に対応する画像処理装置１０に、当該会議番号に対応する合成データを送信すればよい。そうすることで、或る会議に関する画像データが、他の会議において投影されてしまうといった事態の発生を防止することができる。また、会議番号が印字された記入用紙Ｐ１を所持している者だけに、データ管理サーバ５０を利用させることができる。なお、データ管理サーバ５０と、画像入力装置２０及び画像処理装置１０との通信が、会議番号に基づいて暗号化されてもよい。

上記のような仕組みは、図１の構成においても有効である。例えば、上記の仕組みを導入することで、隣接する会議室のそれぞれにおいて図１の構成による会議システム１が並行して利用される場合に、各会議室の情報が交錯するのを防止することができる。

なお、本実施の形態では、画像処理装置１０からの画像データの出力先が、プロジェクタ３０である例について説明したが、プロジェクタ３０以外の出力装置に当該画像データが出力されてもよい。例えば、ＰＣ（Personal Computer）等の表示装置や、液晶ディスプレイ等に当該画像データが出力されてもよい。

上述したように、本実施の形態によれば、会議等、複数人の意見交換の場において、各人は、自らの前の記入用紙Ｐ１に記入を行うことで、その記入内容を、他者と共有することができる。記入用紙Ｐ１への記入は、板書に比べて容易であるため、書き直しの機会が低減されるものと考えられる。また、同時に記入を行う人数に特段の制限は無い。また、各人は、記入を行う際に離席する必要は無い。したがって、本実施の形態によれば、複数人による意見交換を効率化することができる。

また、例えば、スマートフォン等のスマートデバイスを画像入力装置２０として用いることで、比較的安価にシステムを構築することができる。

また、各人による記入内容の履歴が、自動的、かつ、電子的に管理されるため、会議の内容の履歴を容易に確認することができる。

なお、本実施の形態において、デジタルカメラ２０６及びデータ読取部２１は入力部の一例である。データ送信部２８は、送信部の一例である。データ受信部１１は、受信部の一例である。画像データ合成部１７は、合成部の一例である。出力データ生成部１８は、出力部の一例である。コマンド実行部１４は、処理実行部の一例である。ペン先位置認識部２３は、認識部の一例である。画像データ登録部１５は、記憶処理部の一例である。画像データ記憶部１９は、記憶部の一例である。コマンドデータは、画像データに関する処理要求の一例である。コマンド選択領域ＦＮ１〜ＦＮ５のうち、画像送信コマンドに対応するコマンド選択領域は、紙面における所定の領域の一例である。コマンド選択領域ＦＮ１〜ＦＮ５のうち、画像送信コマンド以外に対応するコマンド選択領域は、部分領域の一例である。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１ 会議システム
１０ 画像処理装置
１１ データ受信部
１２ データ識別部
１３ ポインタ位置更新部
１４ コマンド実行部
１５ 画像データ登録部
１６ 画像データ加工部
１７ 画像データ合成部
１８ 出力データ生成部
１９ 画像データ記憶部
２０ａ、２０ｂ、２０ｃ 画像入力装置
２１ データ読取部
２２ 歪み補正部
２３ ペン先位置認識部
２４ コマンド判定部
２５ 静止画切出部
２６ 差分データ生成部
２７ 送信データ整形部
２８ データ送信部
２９ 前回データ記憶部
３０ プロジェクタ
４０ ホワイトボード
５０ データ管理サーバ
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
２０１ ＣＰＵ
２０２ メモリ
２０３ 補助記憶装置
２０４ タッチパネル
２０５ 無線通信装置
２０６ デジタルカメラ
２１１ 表示装置
２１２ 入力装置
Ｂ バス
Ｄ１ スタンド
Ｐ１ 記入用紙
Ｐ２ 入力ペン

特開２００４−２１５１７６号公報

Claims (10)

1. 複数の画像入力装置と、前記画像入力装置にネットワークを介して接続される画像処理装置とを含む画像処理システムであって、
   前記各画像入力装置は、
   記入が行われた紙面を撮像して前記紙面の画像データを入力する入力部と、
   前記入力部によって入力された画像データを前記画像処理装置に送信する送信部とを有し、
   前記画像処理装置は、
   前記複数の画像入力装置から送信される画像データを受信する受信部と、
   前記受信部によって受信された画像データが合成された合成データを生成する合成部と、
   前記合成データを出力する出力部と、
   を有することを特徴とする画像処理システム。
2. 前記入力部によってされる画像データに基づいて、前記紙面に対する指示位置を認識する認識部を有し、
   前記送信部は、前記認識部によって認識された指示位置が、前記紙面における所定の領域に含まれる場合に、前記画像データを送信する、
   ことを特徴とする請求項１記載の画像処理システム。
3. 前記送信部は、前記入力部によって入力された画像データと、前記画像入力装置ごとの識別情報であって、当該画像入力装置の識別情報とを前記画像処理装置に送信し、
   前記受信部は、前記画像入力装置から送信される画像データと識別情報とを受信し、
   前記画像処理装置は、
   前記受信部によって受信された画像データと識別情報とを対応付けて記憶部に記憶する記憶処理部を有する、
   ことを特徴とする請求項１又は２記載の画像処理システム。
4. 前記受信部は、前記画像入力装置から送信される、前記画像入力装置の識別情報と、画像データに関する処理要求を示す情報とを受信し、
   前記記憶部に記憶されている画像データのうち、前記受信部によって前記処理要求と共に受信された識別情報に対応付けられている画像データに関して、当該処理要求に応じた処理を実行する処理実行部を有することを特徴とする請求項３記載の画像処理システム。
5. 前記入力部によってされる画像データに基づいて、前記紙面に対する指示位置を認識する認識部を有し、
   前記送信部は、前記認識部によって認識された指示位置が、前記紙面における複数の部分領域のうちのいずれかに含まれる場合に、前記指示位置が含まれる部分領域に応じた前記処理要求を示す情報と、当該画像入力装置の識別情報とを前記画像処理装置に送信する、
   ことを特徴とする請求項４記載の画像処理システム。
6. 請求項１乃至５いずれか一項記載の画像処理装置。
7. 請求項１乃至５いずれか一項記載の画像入力装置。
8. 複数の画像入力装置と、前記画像入力装置にネットワークを介して接続される画像処理装置とが実行する画像処理方法であって、
   前記各画像入力装置が、
   記入が行われた紙面を撮像して前記紙面の画像データを入力する入力手順と、
   前記入力手順において入力された画像データを前記画像処理装置に送信する送信手順とを実行し、
   前記画像処理装置が、
   前記複数の画像入力装置から送信される画像データを受信する受信手順と、
   前記受信手順において受信された画像データが合成された合成データを生成する合成手順と、
   前記合成データを出力する出力手順と、
   を実行することを特徴とする画像処理方法。
9. 画像処理装置にネットワークを介して接続される画像入力装置に、
   記入が行われた紙面を撮像して前記紙面の画像データを入力する入力手順と、
   前記入力手順によって入力された画像データを前記画像処理装置に送信する送信手順とを実行させ、
   前記画像処理装置は、
   前記複数の画像入力装置から送信される画像データを受信する受信部と、
   前記受信部によって受信された画像データが合成された合成データを生成する合成部と、
   前記合成データを出力する出力部とを有する、
   ことを特徴とするプログラム。
10. 複数の画像入力装置にネットワークを介して接続される画像処理装置に、
    前記複数の画像入力装置から送信される画像データを受信する受信手順と、
    前記受信手順によって受信された画像データが合成された合成データを生成する合成手順と、
    前記合成データを出力する出力手順とを実行させ、
    前記各画像入力装置は、
    記入が行われた紙面を撮像して前記紙面の画像データを入力する入力部と、
    前記入力部によって入力された画像データを前記画像処理装置に送信する送信部とを有する、
    ことを特徴とするプログラム。

Images