JP2015026189A - 画像処理システム、携帯端末装置、表示装置及びコンピュータプログラム - Google Patents

Abstract

【課題】表示装置の近くまで行かなくても、席に座ったまま当該表示装置にイメージ通りに書込みを行なえる画像処理システムを提供する。
【解決手段】画像処理システム５０は、画像を表示する電子白板装置１００と、携帯端末装置２００とを含む。携帯端末装置２００は、手書き画像を取得すると、取得した手書き画像と重ねて電子白板装置１００の表示画面１１０Ａを撮像部２３０で撮像する。携帯端末装置２００は、撮像部２３０が撮像した表示画面１１０Ａに手書き画像を合成し、当該合成した画像を自機の表示画面に表示する。携帯端末装置２００はさらに、手書き画像、及び手書き画像の表示位置を示す情報を含むデータを電子白板装置１００に送信する。電子白板装置１００は、携帯端末装置２００からのデータを受信すると、表示位置を示す情報に基づいて、現在表示されている画面に受信した手書き画像を表示する。
【選択図】図１

Description

本発明は、画像処理システムに関し、特に、画像を表示する表示装置と、その表示装置に対して信号の送受信を行なう携帯端末装置とを含む画像処理システムに関する。

従来、タッチパネルを用いてユーザからの指示入力（タッチ）を受付ける表示装置が知られている。そうした表示装置の１つとして、近年、電子白板（デジタルホワイトボード）が普及しつつある。電子白板は例えば会議等で用いられる。特によく利用されている電子白板は、大型の表示画面を有する表示パネルと、２次元における位置座標を検知するタッチパネルとを組合せたコンピュータシステムを含む。

一般的に、電子白板は、表示画面上においてペン等によって指定される位置座標を逐次読取り、読取った情報を元に入力の軌跡を表示パネルに表示する。これによって、電子白板は、手書き入力等、ホワイトボードとしての機能を実現している。

後掲の特許文献１は、こうした電子白板を含む電子会議システムを開示する。電子会議システムは、撮影機能付きの携帯電話機をさらに含む。会議参加者がこの携帯電話機を用いて電子白板の大型ディスプレイの一部を撮影し、その撮影データと、撮影範囲（携帯電話機で撮影した領域）に表示したい表示データ（会議資料）とを電子メールにて送信すると、大型ディスプレイの撮影範囲に表示データの画像（会議資料）が合成表示される。

後掲の特許文献２は、大型ディスプレイの一部の領域にコンテンツを表示させる技術を開示する。特許文献２では、大型ディスプレイの全体表示領域の中からユーザがコンテンツを表示させたい領域を撮影機能付きの携帯電話機で撮影すると、撮影した領域にコンテンツが表示される。

特開２００７−２２１３６３号公報 特開２００５−２４２６０３号公報

会議中に、発表者以外の会議参加者が電子白板に文字等を書込む場合、当該会議参加者は電子白板の前まで行く必要がある。議論の内容によっては、会議参加者は頻繁に電子白板の前まで行く必要がある。こうした行動は、会議参加者にとって非常に煩わしい。会議中の席に座ったまま電子白板に文字等の書込みを行なえると、会議参加者の煩わしさが軽減されるため望ましい。これにより、会議のよりスムーズな進行が可能となる。

特許文献１及び特許文献２では、会議中の席に座ったまま電子白板のディスプレイに会議資料を表示することは可能である。しかし、特許文献１及び特許文献２には、会議中の席に座ったまま電子白板に文字等の書込みを行なうことについて何ら言及されていない。そのため、特許文献１及び特許文献２に開示の技術から、上記のような望ましい構成を得ることは困難である。さらに、特許文献１及び特許文献２では、表示データとともに、画像を表示させたい領域を撮影した撮影データを送信する構成であるため、実際にディスプレイに表示させてみるまではどのような状態で表示データの画像がディスプレイに表示されるのかが分からない。そのため、特許文献１及び特許文献２に開示の技術では、ユーザのイメージ通りに電子白板のディスプレイに画像を表示させるのが困難である。

本発明は、上記のような課題を解決するためになされたものであり、本発明の１つの目的は、表示装置の近くまで行かなくても、席に座ったまま当該表示装置にイメージ通りに書込みを行なえる画像処理システムを提供することである。

上記目的を達成するために、本発明の第１の局面に係る画像処理システムは、画像を表示する表示部を含む表示装置と、表示装置と信号の送受信を行なう携帯端末装置とを含む画像処理システムである。この画像処理システムにおいて、携帯端末装置は、手書き画像を取得するための手書き画像取得手段と、取得した手書き画像と重ねて表示部の画面を撮像するための撮像手段と、撮像手段が撮像した表示部の画面に手書き画像を合成するための合成手段と、合成手段が合成した画像を表示するための表示手段と、手書き画像、及び合成した画像に基づく当該手書き画像の表示部上の位置を示す情報を含むデータを表示装置に送信するための送信手段とを含む。表示装置は、携帯端末装置が送信したデータを受信するための受信手段と、受信手段がデータを受信したことに応答して、位置を示す情報に基づいて、表示部に表示されている画面に手書き画像を表示するための手段とを含む。

携帯端末装置は、ユーザ（例えば、会議参加者）が表示装置に書込みたい手書き画像を取得する。会議参加者が携帯端末装置を用いて、取得した手書き画像と重ねて表示部の画面を撮像する。携帯端末装置は、撮像した表示部の画面に手書き画像を合成する。合成した画像は表示手段に表示される。このように、会議参加者は、表示装置に書込みたい手書き画像と重ねて表示部の画面を撮像することにより、手書き画像を表示部の画面の所望の位置に容易に配置できる。さらに、合成した画像が表示手段に表示されるため、会議参加者は、手書き画像がどのように表示装置の表示画面に表示されるかを確認した後に、表示装置に手書き画像を表示できる。これにより、会議参加者のイメージ通りに表示装置の画面に手書き画像を表示できる。加えて、手書き画像の誤表示等を抑制できる。

携帯端末装置は、手書き画像、及び合成した画像に基づく当該手書き画像の表示部上の位置を示す情報を含むデータを表示装置に送信する。表示装置は、携帯端末装置が送信したデータを受信すると、位置を示す情報に基づいて、表示部に表示されている画面に手書き画像を表示する。これにより、会議参加者は、表示装置に表示されている画面（画像）に、離れた場所から手書き画像を表示できる。すなわち、会議参加者は、会議中の席に座ったまま表示装置に文字等の書込みを行なうことができる。その結果、会議のよりスムーズな進行が可能となる。さらに、会議参加者は、表示装置に書込みを行なうために、わざわざ、表示装置の前まで行く必要がないため、そうした動作に起因する煩わしさを軽減することもできる。

好ましくは、画像取得手段は、紙媒体に描画された手書き画像を撮像する撮像部を含み、撮像部が撮像した画像から当該手書き画像を取得する。これにより、紙媒体にペン等で描画した手書き画像を表示装置の所望の位置に表示できる。会議参加者は、会議中の席に座ったまま、表示装置に文字等の書込みを容易に行なうことができる。

画像取得手段は、手書き画像を描画入力する入力部を含み、入力部が入力した手書き画像を取得する構成であってもよい。入力部は、例えばタッチペン等で描画された手書き文字等を入力する。入力部が入力した手書き文字等の手書き画像が表示装置に表示される。会議参加者は、携帯端末装置にタッチペン等で描画することによって、会議中の席に座ったまま表示装置に文字等の書込みを容易に行なうことができる。

より好ましくは、携帯端末装置はさらに、表示手段に表示されている手書き画像の表示部上の位置を変更する操作を行なうための操作手段を含む。

さらに好ましくは、携帯端末装置はさらに、表示手段に表示されている手書き画像の大きさ及び色の少なくとも一方を変更するための変更手段を含む。

さらに好ましくは、画像取得手段が取得した手書き画像は手書き文字であり、携帯端末装置はさらに、手書き文字を文字認識処理によって文字データに変換するための手段を含む。この場合、送信手段は、文字データに変換された手書き文字、及び当該手書き文字の表示部上の位置を示す情報を含むデータを表示装置に送信するための手段を含む。

本発明の第２の局面に係る携帯端末装置は、画像を表示する表示部を含む外部の表示装置に対して信号の送受信を行なう携帯端末装置である。この携帯端末装置は、手書き画像を取得するための手書き画像取得手段と、取得した手書き画像と重ねて表示部の画面を撮像するための撮像手段と、表示部の画面に手書き画像を合成するための合成手段と、合成手段が合成した画像を表示するための表示手段と、手書き画像、及び合成した画像に基づく当該手書き画像の表示部上の位置を示す情報を含むデータを表示装置に送信するための送信手段とを含む。

本発明の第３の局面に係る表示装置は、携帯情報端末と信号の送受信を行なう表示装置である。この表示装置は、画像を表示する表示部と、携帯情報端末から送信される、手書き画像と表示部に表示されている画像とを合成した合成画像を含むデータを受信するための受信手段と、受信手段がデータを受信したことに応答して、表示部に表示されている画像と、合成画像に含まれる、表示部に表示されている画像とを照合することにより、表示部における手書き画像を表示する位置情報を検出するための検出手段と、検出手段が検出した位置情報に基づいて、手書き画像を表示部に表示されている画面に表示するための手段とを含む。

本発明の第４の局面に係るコンピュータプログラムは、手書き画像を取得するための手書き画像取得手段と、画像を撮像するための撮像手段と、画像を表示するための表示手段と、手書き画像を含むデータを送信するための送信手段と、手書き画像取得手段、撮像手段、表示手段及び送信手段を制御するコンピュータとを含む携帯情報端末において、コンピュータにより実行されることによって、表示部を含む表示装置に表示されている画面に手書き画像を表示する制御装置を実現するためのコンピュータプログラムである。このコンピュータプログラムは、コンピュータを、撮像手段により、取得した手書き画像と重ねて表示部の画面を撮像するための手段と、撮像手段が撮像した表示部の画面に手書き画像を合成するための合成手段と、合成手段が合成した画像を表示するように表示手段を制御するための手段と、手書き画像、及び合成した画像に基づく当該手書き画像の表示部上の位置を示す情報を含むデータを表示装置に送信するよう送信手段を制御するための手段として機能させる。

以上より、本発明によれば、表示装置の近くまで行かなくても、席に座ったまま当該表示装置にイメージ通りに書込みを行なえる画像処理システムを容易に得ることができる。

本発明の第１の実施の形態に係る画像処理システムの全体構成を示す図である。 携帯端末装置を用いて離れた場所から電子白板装置に書込みを行なう方法を説明するための図である。 携帯端末装置を用いて離れた場所から電子白板装置に書込みを行なう方法を説明するための図である。 携帯端末装置を用いて離れた場所から電子白板装置に書込みを行なう方法を説明するための図である。 図１に示す電子白板装置のハードウェア構成を示す制御ブロック図である。 図１に示す携帯端末装置のハードウェア構成を示す制御ブロック図である。 図１に示す携帯端末装置で実行されるプログラムの制御構造を示すフローチャートである。 図１に示す電子白板装置で実行されるプログラムの制御構造を示すフローチャートである。 本発明の第２の実施の形態に係る画像処理システム（携帯端末装置）を示す図である。 本発明の第３の実施の形態に係る画像処理システムを示す図である。 図１０に示す携帯端末装置で実行されるプログラムの制御構造を示すフローチャートである。 図１０に示す電子白板装置で実行されるプログラムの制御構造を示すフローチャートである。

以下の実施の形態では、同一の部品には同一の参照番号を付してある。それらの機能及び名称も同一である。したがって、それらについての詳細な説明は繰返さない。

（第１の実施の形態）
［全体システム構成］
図１を参照して、本実施の形態に係る画像処理システム５０の全体構成について説明する。本画像処理システム５０は、表示装置の１種である電子白板装置１００と、電子白板装置１００との間で信号の送受信を行なう携帯端末装置２００とを含む。携帯端末装置２００と電子白板装置１００とは、無線通信により画像データを含む各種データを相互に送受できる。

電子白板装置１００は、大型の液晶ディスプレイを用いた表示入力装置（ＢＩＧＰＡＤ（登録商標））である。この電子白板装置１００は、大型の表示画面１１０Ａを有するタッチパネルディスプレイ１１０を含む。電子白板装置１００はまた、種々のアプリケーションソフトを起動することによって、起動したアプリケーションソフトに対応する機能を実現する。アプリケーションソフトは、電子白板装置１００の主要な機能である、タッチペン（図示せず。）等による描画（手書き入力）を実現するペンソフトを含む。

ペンソフトは、ホワイトボード機能を実現するためのアプリケーションソフトである。このペンソフトが起動されると、電子白板装置１００は、タッチパネルディスプレイ１１０に背景が白地の画面を表示し、ユーザによるタッチパネルディスプレイ１１０への入力（タッチ）を受付ける。ユーザはタッチペンを用いてタッチパネルディスプレイ１１０にタッチすることによりタッチパネルディスプレイ１１０上の任意の位置を指定できる。ユーザはさらに、タッチパネルディスプレイ１１０に表示された白地の画面内にペン等をタッチさせたままドラックすることにより、描画を行なうことができる。ペンソフトは、文字編集機能を有しており、手書き入力した文字等を移動したり、手書き入力した文字等の色を変更したりすることも可能である。

携帯端末装置２００は、例えば１０インチ程度の表示画面を持つタブレット型の端末機器（タブレット端末）である。携帯端末装置２００は、画像を撮像するための撮像機能（カメラ機能）を有している。図２を参照して、ユーザが、携帯端末装置２００のカメラ機能を用いて紙媒体Ｐに手書きされた文字等を撮像する。カメラ機能を用いて撮像する文字等は、当該ユーザが電子白板装置１００に書込みたい文字等である。携帯端末装置２００は、撮像した画像から文字等を抽出することによって手書き画像を取得する。取得した手書き画像（例えば手書き文字３００）は、携帯端末装置２００の表示画面に表示される。

図３を参照して、ユーザが、手書き文字３００が表示された状態の携帯端末装置２００を用いて電子白板装置１００のタッチパネルディスプレイ１１０（表示画面１１０Ａ）を撮像する。すなわち、ユーザは、携帯端末装置２００のカメラ機能によって、手書き文字３００と重ねて電子白板装置１００の表示画面１１０Ａを撮像する。携帯端末装置２００の表示画面には、撮像した電子白板装置１００（表示画面１１０Ａ）の画像が、手書き文字３００が重ねられた状態で表示される。携帯端末装置２００は、ユーザの操作に応じて、手書き文字３００を含むデータを電子白板装置１００に送信する。図４を参照して、電子白板装置１００は、携帯端末装置２００から送信されたデータを受信すると、携帯端末装置２００から送信された手書き文字３００を現在表示している画面に表示する。

このように、本実施の形態に係る画像処理システム５０では、携帯端末装置２００によって、離れた場所から、電子白板装置１００に表示されている画面に書込みを行なうことができる。

［ハードウェア構成］
《電子白板装置１００》
図５を参照して、電子白板装置１００は、大画面のタッチパネルディスプレイ１１０、コンピュータからなる制御部１２０、記憶装置１３０及び通信部１４０を含む。

制御部１２０は、所定のプログラムを実行することにより、電子白板装置１００の全体の制御を実現するための中央演算処理装置（ＣＰＵ）、電子白板装置１００の電源が投入されたときにＣＰＵが読出すプログラムを記憶する読出専用メモリ（ＲＯＭ）、及びＣＰＵが作業用メモリとして使用するランダム・アクセス・メモリ（ＲＡＭ）を含む。ＲＯＭは、電子白板装置１００の電源投入時にＣＰＵが実行し、電子白板装置１００が所定の動作をするように電子白板装置１００の全体を設定するためのプログラム及びデータを記憶している。電子白板装置１００の動作を実現するためのプログラムもＲＯＭに記憶されている。

記憶装置１３０は、通電が遮断された場合にもデータを保持する不揮発性記憶装置であり、例えば、ハードディスクドライブ又はフラッシュメモリ等である。記憶装置１３０は電子白板装置１００に対して着脱可能でもよい。記憶装置１３０は、ＣＰＵが実行するプログラムの一部を記憶することもできる。ＣＰＵは、通常動作時にはＲＯＭ又は記憶装置１３０からプログラムをＲＡＭ上にロードし、図示しないプログラムカウンタにより指定されるアドレスから命令を順次読出して実行する。ＣＰＵは、ＲＯＭ及び記憶装置１３０に格納されているプログラムにしたがって電子白板装置１００を構成する各部の制御を行なう。

制御部１２０はさらに、端末識別部１２０ａ、合成部１２０ｂ、表示制御部１２０ｃ、文字編集部１２０ｄ、及び議事録化部１２０ｅを含む。端末識別部１２０ａは、通信部１４０を介して携帯端末装置２００からデータを受信した際に、データ送信元の携帯端末装置の識別情報を取得してその識別情報を記憶装置１３０の所定の記憶領域に格納する処理を実行する。合成部１２０ｂは、携帯端末装置２００から受信した画像（手書き文字等）を現在表示中の画像（画面）に合成する処理を実行する。表示制御部１２０ｃは、合成した画像をタッチパネルディスプレイ１１０に表示する処理を実行する。文字編集部１２０ｄは、表示されている文字等の画像を編集する処理を実行する。画像の編集は、画像の移動、及び文字色の変更等を含む。議事録化部１２０ｅは、「議事録化」処理を実行する。「議事録化」とは、表示画面に表示されている文字等の内容に基づいて自動的に議事録を作成する機能である。ユーザによって「議事録化」を行なう指示がされると、議事録化部１２０ｅは、議事録を作成する処理を実行する。本実施の形態では、議事録化部１２０ｅは、「議事録化」処理として、携帯端末装置２００から受信した画像（手書き文字）を時系列に並べ替えて表示する処理を実行する。

タッチパネルディスプレイ１１０は、所定の表示面上に画像を表示する表示部１１２と、表示部１１２の表示面のどの位置がユーザによりタッチされたかを所定時間ごとに検出し、その位置の位置座標を制御部１２０に対して出力する入力部１１４とを含む。入力部１１４は、タッチがあったことを検出し、検出があったことを示す信号を出力する機能と、そのときのタッチ位置を示す座標データを出力する機能とを持つ。

表示部１１２はフルカラー表示が可能な液晶表示パネルからなり、制御部１２０の制御の下で表示面上に画像を表示する。制御部１２０は、表示部１１２を駆動するための駆動部（図示せず。）を備え、画像データを所定のタイミングで読出し、表示部１１２に画像を表示させるための信号を表示部１１２に出力する。入力部１１４は、ユーザによるタッチ操作を検出する接触感知部（図示せず。）と、接触感知部を制御するマイクロコンピュータ（図示せず。）とを含む。

上述したように、電子白板装置１００は種々のアプリケーションソフトを起動することが可能であり、起動したアプリケーションソフトに対応した機能を実現する。アプリケーションソフトは、タッチペンによる描画を実現するペンソフトを含む。

ペンソフトが起動されると、タッチパネルディスプレイ１１０（表示部１１２）には、図１に示すような画面１５０が表示される。画面１５０は、ユーザによる描画が可能な描画領域１５２を含む。描画領域１５２には、ユーザがタッチ操作によって描画できる。タッチされた点のＸＹ座標が、入力部１１４により所定の周期ごとに検出され、制御部１２０に伝送される。制御部１２０（ＣＰＵ）は、受信した座標データに応じてＲＡＭに設けられた領域上の検出された位置に対応するメモリアドレスに所定値を書込む。

通信部１４０は無線によるデータ通信の接続を提供する。電子白板装置１００は、この通信部１４０を介して、携帯端末装置２００と信号の送受信を行なう。

《携帯端末装置２００》
図６を参照して、携帯端末装置２００は、制御部２２０、及びこの制御部２２０に接続されたバス２２２を含む。制御部２２０は、実質的にコンピュータであって、いずれも図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。ＣＰＵは携帯端末装置２００全体を制御する。メモリは電気的に書換え可能な不揮発性の記憶装置であり、例えばフラッシュメモリ等である。メモリには携帯端末装置２００の動作を制御するのに必要なプログラム及びデータ等が記憶されている。

ＣＰＵ、メモリ及びＲＡＭはバス２２２に接続されている。各部間のデータ（制御情報を含む。）交換はバス２２２を介して行なわれる。ＣＰＵはバス２２２を介してメモリからプログラムをＲＡＭ上に読出して、ＲＡＭの一部を作業領域としてプログラムを実行する。すなわち、ＣＰＵはメモリに格納されているプログラムにしたがって携帯端末装置２００を構成する各部の制御を行ない、携帯端末装置２００の各機能を実現する。このコンピュータプログラムは、そのコンピュータプログラムが記録された、例えばＤＶＤ等の記憶媒体によって提供されてもよい。さらに、このコンピュータプログラムは、ネットワーク上の情報処理装置等から当該ネットワークを介して提供されてもよい。

携帯端末装置２００はさらに、いずれもバス２２２に接続された、タッチパネルディスプレイ２１０、撮像部２３０及び通信部２４０を含む。

タッチパネルディスプレイ２１０は、表示パネルからなる表示部２１２とタッチパネルからなる入力部２１４とを含む。表示部２１２は例えば液晶表示パネルからなる。このタッチパネルディスプレイ２１０はまた、ユーザに対して対話的な操作インターフェイスを提供する。この対話的な操作インターフェイスは、入力部２１４から携帯端末装置２００に対するユーザの指示を受付け、その指示の内容を表示部２１２に表示するとともに、その指示に応じた制御信号を制御部２２０に対して出力する。

タッチパネルディスプレイ２１０は、２点以上の多点検出が可能なマルチタッチ方式のタッチパネルディスプレイである。そのため、タッチパネルディスプレイ２１０は、タッチジェスチャによる操作を行なうことが可能である。タッチジェスチャによる操作は、例えば、２本の指の間を広げるユーザの操作軌跡により画像を拡大表示するピンチアウト、２本の指の間を縮めるユーザの操作軌跡により画像を縮小表示するピンチイン、表示された項目（画像）を指でずらすドラッグ、項目をスクロールするときに指で軽くはらうフリック等の操作を含む。なお、タッチジェスチャによる操作は、これらの操作に限定されるものではない。

撮像部２３０は図示しない撮像素子を含む。撮像部２３０によって撮像された画像は、デジタルデータとしてメモリに記憶される。撮像部２３０で画像を撮像する際、撮像部２３０を介して入力された画像はタッチパネルディスプレイ２１０にリアルタイムで表示される。

通信部２４０は無線によるデータ通信の接続を提供する。携帯端末装置２００は、この通信部２４０を介して、電子白板装置１００と信号の送受信を行なう。

制御部２２０はさらに、文字識別・抽出部２２０ａ、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）部２２０ｂ、表示制御部２２０ｃ、画像合成部２２０ｄ、画像処理部２２０ｅ、及び貼付位置検出処理部２２０ｆを含む。文字識別・抽出部２２０ａは、撮像された画像から文字等の手書き画像の領域を認識するとともに、認識した領域から文字等を抽出する処理を実行する。ＯＣＲ部２２０ｂは、抽出した手書き文字を文字データ（例えばＪＩＳコード等）に変換する処理を実行する。表示制御部２２０ｃは、抽出した手書き画像を表示部２１２に表示する処理を実行する。画像合成部２２０ｄは、抽出した手書き画像に重ねて電子白板装置１００の表示画面１１０Ａを撮像した場合に、抽出した手書き画像と撮像した画面とを合成する処理を実行する。画像処理部２２０ｅは種々の画像処理を実行する。画像処理部２２０ｅによる画像処理は、抽出した手書き画像の色、及び大きさ等を編集する処理を含む。貼付位置検出処理部２２０ｆは、画像合成部２２０ｄが合成した画像から、電子白板装置１００に対する手書き画像の貼付位置（表示位置）、手書き画像の色及び大きさ等の情報を検出する処理を実行する。

［ソフトウェア構成］
本実施の形態に係る画像処理システム５０において、離れた場所から電子白板装置１００に書込みを行なう処理について説明する。

図７を参照して、離れた場所から電子白板装置１００に書込みを行なうために、携帯端末装置２００で実行されるコンピュータプログラムの制御構造について説明する。このプログラムは、ユーザによる操作によって起動される。以下では、携帯端末装置２００は、紙媒体に手書きした文字を撮像部２３０で撮像することにより手書き文字の画像（手書き画像）を取得するものとする。

このプログラムは、撮像部２３０で画像（手書き文字）が撮像されたか否かを判定し、判定結果に応じて制御の流れを分岐させるステップＳ１０００と、ステップＳ１０００において、手書き文字が撮像されたと判定された場合に実行され、撮像した画像から手書き文字の文字領域を認識するステップＳ１０１０と、ステップＳ１０１０の後に実行され、認識した文字領域から手書き文字（文字部分（スケルトン））を抽出（決定）するステップＳ１０２０と、ステップＳ１０２０の後に実行され、ＯＣＲ機能が設定されているか否かを判定し、判定結果に応じて制御の流れを分岐させるステップＳ１０３０とを含む。

このプログラムはさらに、ステップＳ１０３０において、ＯＣＲ機能が設定されていると判定された場合に実行され、抽出した手書き文字を文字データに変換するステップＳ１０４０と、ステップＳ１０３０において、ＯＣＲ機能が設定されていないと判定された場合、及びステップＳ１０４０の後に実行され、抽出した手書き文字をタッチパネルディスプレイ２１０に表示するステップＳ１０５０と、ステップＳ１０５０の後に実行され、撮像部２３０で電子白板装置１００の表示画面１１０Ａが撮像されたか否かを判定（実際には撮像操作がされたか否かを判定）し、電子白板装置１００の表示画面１１０Ａが撮像されるまで待機するステップＳ１０６０と、ステップＳ１０６０において、電子白板装置１００の表示画面１１０Ａが撮像されたと判定された場合に実行され、撮像した画面（画像）と抽出した手書き文字とを合成するステップＳ１０７０とを含む。ステップＳ１０７０では、合成した画像がタッチパネルディスプレイ２１０に表示されている。

このプログラムはさらに、ステップＳ１０７０の後に実行され、ユーザによって手書き文字の表示位置を変更する操作がされたか否かを判定し、判定結果に応じて制御の流れを分岐させるステップＳ１０８０と、ステップＳ１０８０において、手書き文字の表示位置を変更する操作がされたと判定された場合に実行され、当該操作に基づいて手書き文字の表示位置を変更する処理を実行するステップＳ１０９０と、ステップＳ１０９０において、手書き文字の表示位置を変更する操作がされていないと判定された場合、及びステップＳ１０９０の後に実行され、ユーザによって手書き文字の色、又は大きさを変更する操作がされたか否かを判定し、判定結果に応じて制御の流れを分岐させるステップＳ１１００と、ステップＳ１１００において、手書き文字の色、又は大きさを変更する操作がされたと判定された場合に実行され、当該操作に基づいて手書き文字の色、又は大きさを変更する処理を実行するステップＳ１１１０とを含む。

このプログラムはさらに、ステップＳ１１００において、手書き文字の色、又は大きさを変更する操作がされていないと判定された場合、及びステップＳ１１１０の後に実行され、ユーザによって手書き文字の表示状態を最終確定する操作（最終確定操作）がされたか否かを判定し、判定結果に応じて制御の流れを分岐させるステップＳ１１２０と、ステップＳ１１２０において、手書き文字の表示状態を最終確定する操作がされたと判定された場合に実行され、文字情報及び文字の位置情報を検出するステップＳ１１３０とを含む。ステップＳ１１２０において、手書き文字の表示状態を最終確定する操作がされていないと判定された場合に、制御はステップＳ１０８０に戻る。ステップＳ１１３０では、手書き文字の色及び大きさ等の文字情報、及び、手書き文字が電子白板装置１００の画面内のどの位置に表示されているかを示す位置情報を取得する。

図３を参照して、電子白板装置１００のフレーム部分には、画面位置を判別可能な情報（例えばドット１６０）が設けられている。電子白板装置１００の表示画面１１０Ａを手書き文字３００と重ねて撮像部２３０で撮像する際に、ユーザは、電子白板装置１００のフレーム部分（ドット１６０）が写し込まれるように撮像する。ステップＳ１１３０では、撮像した画面（画像）と手書き文字３００とを合成した画像から、フレーム部分のドット１６０との位置関係に基づいて、電子白板装置１００の画面内における手書き文字３００の表示位置を示す情報（例えば、位置座標）を算出する。

再び図７を参照して、このプログラムはさらに、ステップＳ１１３０の後に実行され、手書き文字の位置情報の検出が可能か否かを判定し、判定結果に応じて制御の流れを分岐させるステップＳ１１４０と、ステップＳ１１４０において、手書き文字の位置情報の検出が可能と判定された場合に実行され、手書き文字（画像データ）、文字情報、及び手書き文字の位置情報（例えば、座標データ）を含むデータを電子白板装置１００に送信するステップＳ１１５０と、ステップＳ１１５０の後、及びステップＳ１０００において、撮像部２３０で画像（手書き文字）が撮像されていないと判定された場合に実行され、ユーザによる終了操作が有ったか否かを判定し、判定結果に応じて制御の流れを分岐させるステップＳ１１６０とを含む。ステップＳ１１６０において、ユーザによる終了操作が有ったと判定された場合は、このプログラムは終了する。一方、ステップＳ１１６０において、ユーザによる終了操作がないと判定された場合は、制御はステップＳ１０００に戻る。ステップＳ１１４０において、手書き文字の位置情報の検出が不可と判定された場合は、制御はステップＳ１０６０に戻る。なお、ステップＳ１０００では、撮像部２３０で画像（手書き文字）が撮像されるまで待機する。ただし、ステップＳ１１６０において、ユーザによって終了操作が行なわれた場合は、このプログラムは終了する。ステップＳ１０４０において抽出した手書き文字が文字データに変換されている場合、ステップＳ１１５０では、文字データに変換された手書き文字を含むデータを電子白板装置１００に送信する。

図８を参照して、離れた場所から電子白板装置１００に書込みを行なうために、当該電子白板装置１００で実行されるコンピュータプログラムの制御構造について説明する。このプログラムは、ペンソフトの起動によって起動される。

このプログラムは、携帯端末装置２００から送信されたデータを受信したか否かを判定し、データを受信するまで待機するステップＳ２０００と、ステップＳ２０００において、データを受信したと判定された場合に実行され、データの送信元の装置を識別するステップＳ２０１０と、ステップＳ２０１０の後に実行され、識別した識別情報を受信日時とともに記憶領域（記憶装置１３０）に格納するステップＳ２０２０と、ステップＳ２０２０の後に実行され、受信したデータに含まれる手書き文字を、表示中の画像（画面）に合成するステップＳ２０３０と、ステップＳ２０３０の後に実行され、合成した画像（画面）を表示画面１１０Ａ（タッチパネルディスプレイ１１０）に表示するステップＳ２０４０と、ステップＳ２０４０の後に実行され、ユーザによって文字編集の操作がされたか否かを判定し、判定結果に応じて制御の流れを分岐させるステップＳ２０５０とを含む。

このプログラムはさらに、ステップＳ２０５０において、文字編集の操作がされたと判定された場合に実行され、当該操作に基づいて文字編集を行なうステップＳ２０６０と、ステップＳ２０６０の後、及びステップＳ２０５０において、文字編集の操作がされていないと判定された場合に実行され、ユーザによって「議事録化」の指示がされたか否かを判定し、判定結果に応じて制御の流れを分岐させるステップＳ２０７０と、ステップＳ２０７０において、「議事録化」の指示がされたと判定された場合に実行され、受信した手書き文字を時系列に並べ替えて表示し、制御をステップＳ２０００に戻すステップＳ２０８０とを含む。ステップＳ２０７０において、「議事録化」の指示がされていないと判定された場合は、制御はステップＳ２０００に戻る。

［動作］
本実施の形態に係る画像処理システム５０は以下のように動作する。以下の説明では、画像処理システム５０を構成する携帯端末装置２００及び電子白板装置１００の動作の内、本発明に関連する部分のみを説明する。他の動作は従来の携帯端末装置及び電子白板装置の動作と同様である。

電子白板装置１００を用いて会議が行なわれているものとする。会議参加者（ユーザ）の手元には、携帯端末装置２００が置かれている。発表者以外の会議参加者は、電子白板装置１００から離れた席に座っている。会議参加者が、会議の進行に伴い電子白板装置１００に書込みを行なおうとしている。

《携帯端末装置２００の動作》
図２（Ａ）を参照して、会議参加者が、電子白板装置１００に書込みたい文字を、手元の用紙（紙媒体Ｐ）にペン等で書く。会議参加者は、文字が書かれた用紙を携帯端末装置２００の撮像部２３０で撮像する（図７に示すステップＳ１０００においてＹＥＳ）。携帯端末装置２００の文字識別・抽出部２２０ａは、撮像した画像から手書き文字（ペン等で書いた文字）の領域を認識する（ステップＳ１０１０）。文字識別・抽出部２２０ａはさらに、認識した文字領域から手書き文字３００を抽出する（ステップＳ１０２０）。会議参加者が手書き文字３００の文字データ化を選択した場合には（ステップＳ１０３０においてＹＥＳ）、ＯＣＲ部２２０ｂが抽出した手書き文字を文字データに変換する（ステップＳ１０４０）。

図２（Ｂ）を参照して、携帯端末装置２００の表示制御部２２０ｃは、撮像した画像を削除し、抽出した手書き文字３００をタッチパネルディスプレイ２１０に表示する（図７に示すステップＳ１０５０）。すなわち、表示制御部２２０ｃは、抽出した手書き文字３００のみを残して、撮像した画像を削除する。この状態では、携帯端末装置２００は、カメラ機能が利用可能な状態となっている。

図３を参照して、会議参加者は、携帯端末装置２００を用いて電子白板装置１００の表示画面１１０Ａを撮像する（図７に示すステップＳ１０６０においてＹＥＳ）。携帯端末装置２００の撮像部２３０を電子白板装置１００の表示画面１１０Ａに向けると、タッチパネルディスプレイ２１０には手書き文字３００の背景に電子白板装置１００の表示画面１１０Ａが表示される。会議参加者は、電子白板装置１００の表示画面１１０Ａを撮像する際に、携帯端末装置２００を適宜移動させることによって、電子白板装置１００の画面内における手書き文字３００を表示したい位置に当該手書き文字３００を重ねて撮像する。このとき、電子白板装置１００のフレーム部分（ドット１６０）が写し込まれるように撮像する。撮像時に、撮像部２３０のズーム機能を用いることも可能である。これにより、会議参加者は、電子白板装置１００の表示画面１１０Ａの撮像映像（リアルタイム映像）をズーム機能で拡大／縮小しながら、手書き文字３００を表示する位置を決めることができる。なお、撮像部２３０のズーム機能では、手書き文字３００は拡大／縮小されない。手書き文字３００の拡大／縮小は、撮像部２３０のズーム操作とは別の操作により行なわれる。

電子白板装置１００の表示画面１１０Ａの撮像が終了すると、携帯端末装置２００の画像合成部２２０ｄは、撮像した画面（画像）と手書き文字３００とを合成して、その合成画像をタッチパネルディスプレイ２１０に表示する（ステップＳ１０７０）。会議参加者は、タッチパネルディスプレイ２１０に表示された合成画像によって、手書き文字３００がどのような状態で電子白板装置１００に表示されるかを確認できる。

手書き文字３００の表示位置、色、大きさ等を変更したい場合は、ジェスチャ操作等の所定の操作によって、携帯端末装置２００の画面上で変更（編集）を行なうことが可能である。例えば、手書き文字３００をドラッグすることによって、手書き文字３００の表示位置を変更できる。さらに、手書き文字３００をピンチイン又はピンチアウトすることによって、手書き文字３００の大きさを変更できる。手書き文字３００がＯＣＲ部２２０ｂによって文字データに変換されている場合は、手書き文字３００を所望のフォントに変更することも可能である。携帯端末装置２００の画像処理部２２０ｅは、会議参加者の操作に基づいて、手書き文字３００の編集処理を実行する。

会議参加者は、タッチパネルディスプレイ２１０に表示された合成画像を確認し、問題がなければ最終確定操作を行なう。最終確定操作によって最終的な合成画像が得られる。会議参加者による最終確定操作を受付けると（ステップＳ１１２０においてＹＥＳ）、携帯端末装置２００の貼付位置検出処理部２２０ｆは、手書き文字３００の色及び大きさ等の文字情報、及び、手書き文字３００が電子白板装置１００の画面内のどの位置に表示されるか（貼付けられるか）を示す位置情報を取得する（ステップＳ１１３０）。携帯端末装置２００は、位置情報を検出することが可能であれば（ステップＳ１１４０においてＹＥＳ）、手書き文字３００（画像データ）と、手書き文字３００の位置情報（例えば、座標データ）とを含むデータを電子白板装置１００に送信する（ステップＳ１１５０）。送信するデータには、取得した文字情報、及び送信元の識別情報も含まれる。携帯端末装置２００は、位置情報を検出することができない場合（ステップＳ１１４０においてＮＯ）は、その旨の警告を表示して、再度、電子白板装置１００の表示画面１１０Ａを撮像するよう促す。すなわち、この場合は再撮影となる。

《電子白板装置１００の動作》
図８を参照して、電子白板装置１００は、携帯端末装置２００から送信されたデータを受信する（ステップＳ２０００においてＹＥＳ）。電子白板装置１００の端末識別部１２０ａは、受信したデータ（識別情報）に基づいてデータの送信元の装置を識別し（ステップＳ２０１０）、識別情報を受信日時とともに記憶領域（記憶装置１３０）に格納する（ステップＳ２０２０）。電子白板装置１００の合成部１２０ｂは、受信したデータに含まれる手書き文字を現在表示中の画像（画面）に合成する。このとき、合成部１２０ｂは、位置情報に基づいて、手書き文字を現在表示中の画像（画面）に合成する。すなわち、現在表示中の画面において、位置情報が示す位置に手書き文字を合成する。合成部１２０ｂによる画像の合成が終了すると、電子白板装置１００の表示制御部１２０ｃは、合成した画像（画面）をタッチパネルディスプレイ１１０に表示する（ステップＳ２０４０）。

このようにして、会議参加者は、会議中の席に座ったまま電子白板装置１００に文字等の書込みを行なうことができる。

なお、携帯端末装置２００から受信した手書き文字（遠隔で書込まれた手書き文字）は、電子白板装置１００に直接書込みを行なった文字等と同様、移動や色の変更等の編集を行なうことができる。

さらに、電子白板装置１００に対して「議事録化」の指示を行なった場合、電子白板装置１００の議事録化部１２０ｅは、議事録を作成する処理を実行する。具体的には、議事録化部１２０ｅは、記憶装置１３０に記憶された識別情報及び受信日時の情報を読出し、受信した手書き文字とともに、送信元の端末情報、日時情報を時系列に並べ替えて表示する（ステップＳ２０８０）。これにより、会議の進行に応じて会議参加者の誰がどのような書込みを行なったのか（例えば、どういう流れでプレゼンテーションが進んだのか）が分かり易くなる。

［本実施の形態の効果］
以上の説明から明らかなように、本実施の形態に係る画像処理システム５０を利用することにより、以下に述べる効果を奏する。

携帯端末装置２００は、会議参加者が用紙に書いた文字等を撮像部２３０で撮像することにより、会議参加者が電子白板装置１００に書込みたい手書き画像を取得する。会議参加者が携帯端末装置２００を用いて、取得した手書き画像と重ねて電子白板装置１００の表示画面１１０Ａを撮像する。携帯端末装置２００は、撮像した表示画面１１０Ａ（表示画面１１０Ａに表示されている画像（画面））に手書き画像を合成し、合成した画像をタッチパネルディスプレイ２１０に表示する。このように、会議参加者は、電子白板装置１００に書込みたい文字等（手書き画像）と重ねて電子白板装置１００の表示画面１１０Ａを撮像することにより、手書き画像を表示画面１１０Ａの所望の位置に容易に配置できる。さらに、合成した画像が携帯端末装置２００（タッチパネルディスプレイ２１０）に表示されるため、会議参加者は、手書き画像（電子白板装置１００に書込みたい文字等）がどのように電子白板装置１００の表示画面１１０Ａに表示されるかを確認した後に、電子白板装置１００に手書き画像を表示できる。これにより、会議参加者のイメージ通りに電子白板装置１００の表示画面１１０Ａに手書き画像を表示できる。加えて、手書き画像の誤表示等を抑制できる。

携帯端末装置２００は、手書き画像、及び合成画像に基づく当該手書き画像の表示画面１１０Ａ上の位置を示す情報（位置情報）を含むデータを電子白板装置１００に送信する。電子白板装置１００は、携帯端末装置２００が送信したデータを受信すると、位置情報に基づいて、表示画面１１０Ａに表示されている画面（画像）に手書き画像を表示する。これにより、会議参加者は、電子白板装置１００に表示されている画面（画像）に、離れた場所から手書き画像を表示できる。すなわち、会議参加者は、会議中の席に座ったまま電子白板装置１００に文字等の書込みを行なうことができる。その結果、会議のよりスムーズな進行が可能となる。さらに、会議参加者は、電子白板装置１００に書込みを行なうために、わざわざ、電子白板装置１００の前まで行く必要がないため、そうした動作に起因する煩わしさを軽減することもできる。

（第２の実施の形態）
本実施の形態に係る画像処理システムは、第１の実施の形態に係る画像処理システム５０と同様の構成を有している。ただし、本実施の形態では、携帯端末装置における手書き画像の取得方法が第１の実施の形態とは異なる。

上記第１の実施の形態では、携帯端末装置２００は、用紙に書かれた文字等を撮像部２３０（図６参照）で撮像することによって手書き画像を取得する。これに対し、第２の実施の形態では、携帯端末装置は撮像部を介さずに手書き画像を取得する。

図９を参照して、第２の実施の形態に係る携帯端末装置２００Ａは、例えばタッチペン３０を用いて、タッチパネルディスプレイ２１０Ａに直接手書き画像（手書き文字）を書込むことが可能である。携帯端末装置２００Ａは、ユーザによってタッチパネルディスプレイ２１０Ａに手書き文字３１０（手書き画像）が書込まれると、書込まれた手書き文字３１０の画像を取得する。

第２の実施の形態のその他の構成は、第１の実施の形態と同様である。

（第３の実施の形態）
本実施の形態に係る画像処理システムは、第１の実施の形態に係る画像処理システム５０と同様の構成を有している。ただし、本実施の形態では、携帯端末装置から電子白板装置に送信する、手書き画像の表示位置を示す情報が第１の実施の形態とは異なる。

図１０を参照して、本実施の形態に係る画像処理システムは、電子白板装置５００と携帯端末装置６００とを含む。電子白板装置５００及び携帯端末装置６００は、それぞれ、第１の実施の形態に係る電子白板装置１００及び携帯端末装置２００と同様の構成を有している。ただし、本実施の形態に係る電子白板装置５００は、フレーム部分にドット１６０（図３参照）のような、画面位置を判別するための情報が設けられていない点において、そのような情報が設けられている第１の実施の形態とは異なる。さらに、本実施の形態に係る電子白板装置５００では、記憶装置に記憶されているプログラム等が第１の実施の形態とは異なる。本実施の形態に係る携帯端末装置６００では、メモリ等に記憶されているプログラム等が第１の実施の形態とは異なる。

本実施の形態に係る携帯端末装置６００は、手書き文字３１０と重ねて電子白板装置５００の表示画面１１０Ａを撮像部２３０で撮像した後、抽出した手書き文字３１０を電子白板装置５００に送信する際に、手書き文字３１０の位置情報として、撮像した表示画面１１０Ａと手書き文字３１０とを合成した画像（合成画像）を電子白板装置５００に送信する。電子白板装置５００の表示画面１１０Ａには、書込み済みの画像（文字等）が表示されていることが多いため、合成画像には、通常、書込み済みの画像と手書き文字３１０との相対的な位置関係が示されている。本実施の形態では、合成画像に示される書込み済みの画像が、電子白板装置５００の画面内における手書き文字３１０を表示する位置を示す情報となる。

電子白板装置５００は、携帯端末装置６００から送信された合成画像に示される書込み済みの画像のパターン（例えば文字パターン）と、自機の表示画面１１０Ａに表示されている書込み済みの画像のパターンとを照合することによって、電子白板装置５００の画面内における手書き文字を表示する位置情報を検出する。電子白板装置５００は、検出した位置情報に基づいて、手書き文字を現在表示中の画像（画面）に合成し、合成した画像（画面）を表示画面１１０Ａに表示する。

［ソフトウェア構成］
図１１を参照して、本実施の形態に係る携帯端末装置６００において、ステップＳ３０００、ステップＳ３０１０及びステップＳ３０２０における処理を除く各処理は、図７に示すコンピュータプログラムによって実行される各処理と同様である。本実施の形態では、図７のステップＳ１１３０、ステップＳ１１４０、及びステップＳ１１５０に代えて、上記ステップＳ３０００、ステップＳ３０１０、及びステップＳ３０２０を含む。以下、異なる部分について説明する。

このプログラムは、ステップＳ１１２０において、ユーザによって手書き文字の表示状態を最終確定する操作がされたと判定された場合に実行され、文字情報を検出するステップＳ３０００と、ステップＳ３０００の後に実行され、手書き文字、及び撮像した表示画面１１０Ａと手書き文字とを合成した画像を含むデータを電子白板装置５００に送信するステップＳ３０１０と、ステップＳ３０１０の後に実行され、電子白板装置５００からの位置情報検出不可を示す情報を受信したか否かを判定し、判定結果に応じて制御の流れを分岐させるステップＳ３０２０とを含む。ステップＳ３０２０において、電子白板装置５００からの位置情報検出不可を示す情報を受信したと判定された場合は、制御はステップＳ１０６０に戻る。一方、ステップＳ３０２０において、電子白板装置５００からの位置情報検出不可を示す情報を受信していないと判定された場合は、制御はステップＳ１１６０に進む。

図１２を参照して、本実施の形態に係る電子白板装置５００において、ステップＳ４０００、ステップＳ４０１０及びステップＳ４０２０における処理を除く各処理は、図８に示すコンピュータプログラムによって実行される各処理と同様である。以下、異なる部分について説明する。

このプログラムは、ステップＳ２０２０の後に実行され、携帯端末装置６００から送信された合成画像に示される書込み済みの画像のパターン（例えば文字パターン）と、自機の表示画面１１０Ａに表示されている書込み済みの画像のパターンとを照合することによって、電子白板装置５００の画面内における手書き文字を表示する位置情報を検出するステップＳ４０００と、ステップＳ４０００の後に実行され、手書き文字の位置情報の検出が可能か否かを判定し、判定結果に応じて制御の流れを分岐させるステップＳ４０１０と、ステップＳ４０１０において、手書き文字の位置情報の検出が不可と判定された場合に実行され、位置情報検出不可を示す情報をデータ送信元の携帯端末装置６００に送信し、制御をステップＳ２０００に戻すステップＳ４０２０とを含む。ステップＳ４０１０において、手書き文字の位置情報の検出が可能と判定された場合は、制御はステップＳ２０３０に進む。

［動作］
本実施の形態に係る画像処理システムは以下のように動作する。なお、手書き画像の位置情報を検出する動作を除いた動作は、上記第１及び第２の実施の形態と同様である。したがって、同様の動作についての詳細な説明は繰返さない。

第１の実施の形態と同様、電子白板装置５００を用いて会議が行なわれているものとする。会議参加者の手元には、携帯端末装置６００が置かれている。発表者以外の会議参加者は、電子白板装置５００から離れた席に座っている。会議参加者が、会議の進行に伴い電子白板装置５００に書込みを行なおうとしている。

図１０を参照して、会議参加者は、携帯端末装置６００を用いて手書き文字３１０を取得し、取得した手書き文字３１０と重ねて電子白板装置５００の表示画面１１０Ａを撮像する。電子白板装置５００の表示画面１１０Ａには、既に書込みがされており、書込み済みの画像が表示されている。携帯端末装置６００は、手書き文字３１０と撮像した表示画面１１０Ａの画像とを合成してタッチパネルディスプレイ２１０に表示する。会議参加者は、タッチパネルディスプレイ２１０に表示された合成画像を確認し、問題がなければ最終確定操作を行なう。

会議参加者による最終確定操作を受付けると（図１１に示すステップＳ１１２０においてＹＥＳ）、携帯端末装置６００は、手書き文字３１０の色及び大きさ等の文字情報を取得する（ステップＳ３０００）。携帯端末装置６００は、手書き文字３１０（画像データ）、取得した文字情報、及び合成画像（画像データ）を含むデータを電子白板装置５００に送信する（ステップＳ３０１０）。なお、送信するデータには、送信元の識別情報も含まれる。

電子白板装置５００は、携帯端末装置６００から送信されたデータを受信すると、携帯端末装置６００から送信された合成画像に示される書込み済みの画像のパターンと、自機の表示画面１１０Ａに表示されている書込み済みの画像のパターンとを照合することによって、電子白板装置５００の画面内における手書き文字３１０を表示する位置情報を検出する（図１２に示すステップＳ４０００）。位置情報を検出できない場合（ステップＳ４０１０においてＮＯ）は、電子白板装置５００は、データ送信元である携帯端末装置６００に対して、位置情報検出不可を示す情報を送信する（ステップＳ４０２０）。

携帯端末装置６００は、電子白板装置５００から送信された位置情報検出不可を示す情報を受信すると（図１１に示すステップＳ３０２０においてＹＥＳ）、その旨の警告を表示して、再度、電子白板装置５００の表示画面１１０Ａを撮像するよう促す。

位置情報が検出できた場合（ステップＳ４０１０においてＹＥＳ）は、電子白板装置５００は、検出した位置情報に基づいて、受信したデータに含まれる手書き文字を現在表示中の画像（画面）に合成する。電子白板装置５００は、現在表示中の画面（画像）における位置情報が示す位置に手書き文字を合成する。電子白板装置１００は、合成した画像（画面）を表示画面１１０Ａに表示する（ステップＳ２０４０）。

なお、本実施の形態においても、第２の実施の形態と同様にして、手書き画像を取得するようにしてもよい。

（変形例）
上記実施の形態では、本画像処理システムを構成する携帯端末装置にタブレット型の端末装置を用いた例について示したが、本発明はそのような実施の形態には限定されない。携帯端末装置はタブレット型の端末装置以外の端末装置であってもよい。そうした端末装置としては例えばスマートフォン等が挙げられる。

本画像処理システムを構成する携帯端末装置は、１台であってもよいし、２台以上の複数台であってもよい。

上記実施の形態では、表示装置の一例である電子白板装置に本発明を適用した例について示したが、本発明はそのような実施の形態には限定されない。手書き入力が可能な表示装置であれば、電子白板装置以外の表示装置に本発明を適用することができる。

上記第１の実施の形態では、電子白板装置のフレーム部分に、画面位置を判別可能な情報としてドットを設けた例について示したが、本発明はそのような実施の形態には限定されない。手書き画像の表示位置を判別（検出）するための情報は、ドット以外の情報であってもよい。例えば、手書き画像の表示位置を判別可能な、ドット形状以外の形状のマークであってもよい。また、そうした情報は、画面位置を判別可能な態様でフレーム部分に設けられていればよい。例えばフレームの４辺の各々に設けてもよいし、フレームの４辺の一部に設けてもよい。また、例えばフレームの四隅に設けるようにしてもよい。さらに、画面位置を判別可能な情報として赤外線等を用いることもできる。例えば、フレーム部分の所定の位置に赤外光を発光する光源を設けるようにすることもできる。携帯端末装置の撮像部は、赤外線を検出可能であるため、例えば光源から発する赤外光の発光強度を、光源を設けた位置ごとに変えておけば、撮像部で撮像した画像から手書き画像の表示位置（画面位置）を判別することが可能である。さらに、画面位置を判別可能な情報は、電子白板装置の表示画面（タッチパネルディスプレイ）に表示するようにしてもよい。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに限定されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。

５０ 画像処理システム
１００、５００ 電子白板装置
１１０、２１０ タッチパネルディスプレイ
１１０Ａ 表示画面
１１２、２１２ 表示部
１１４、２１４ 入力部
１２０、２２０ 制御部
１２０ａ 端末識別部
１２０ｂ 合成部
１２０ｃ、２２０ｃ 表示制御部
１２０ｄ 文字編集部
１２０ｅ 議事録化部
１３０ 記憶装置
１４０、２４０ 通信部
２００、６００ 携帯端末装置
２２０ａ 文字識別・抽出部
２２０ｂ ＯＣＲ部
２２０ｄ 画像合成部
２２０ｅ 画像処理部
２２０ｆ 貼付位置検出処理部
２３０ 撮像部

Claims (9)

1. 画像を表示する表示部を含む表示装置と、前記表示装置と信号の送受信を行なう携帯端末装置とを含む画像処理システムであって、
   前記携帯端末装置は、
   手書き画像を取得するための手書き画像取得手段と、
   取得した前記手書き画像と重ねて前記表示部の画面を撮像するための撮像手段と、
   前記撮像手段が撮像した前記表示部の画面に前記手書き画像を合成するための合成手段と、
   前記合成手段が合成した画像を表示するための表示手段と、
   前記手書き画像、及び前記合成した画像に基づく当該手書き画像の前記表示部上の位置を示す情報を含むデータを前記表示装置に送信するための送信手段とを含み、
   前記表示装置は、
   前記携帯端末装置が送信した前記データを受信するための受信手段と、
   前記受信手段が前記データを受信したことに応答して、前記位置を示す情報に基づいて、前記表示部に表示されている画面に前記手書き画像を表示するための手段とを含む、画像処理システム。
2. 前記画像取得手段は、紙媒体に描画された手書き画像を撮像する撮像部を含み、前記撮像部が撮像した画像から当該手書き画像を取得する、請求項１に記載の画像処理システム。
3. 前記画像取得手段は、手書き画像を描画入力する入力部を含み、前記入力部が入力した前記手書き画像を取得する、請求項１に記載の画像処理システム。
4. 前記携帯端末装置はさらに、前記表示手段に表示されている前記手書き画像の前記表示部上の位置を変更する操作を行なうための操作手段を含む、請求項１〜請求項３のいずれかに記載の画像処理システム。
5. 前記携帯端末装置はさらに、前記表示手段に表示されている前記手書き画像の大きさ及び色の少なくとも一方を変更するための変更手段を含む、請求項１〜請求項４のいずれかに記載の画像処理システム。
6. 前記画像取得手段が取得した手書き画像は手書き文字であり、
   前記携帯端末装置はさらに、前記手書き文字を文字認識処理によって文字データに変換するための手段を含み、
   前記送信手段は、文字データに変換された手書き文字、及び当該手書き文字の前記表示部上の位置を示す情報を含むデータを前記表示装置に送信するための手段を含む、請求項１〜請求項５のいずれかに記載の画像処理システム。
7. 画像を表示する表示部を含む外部の表示装置に対して信号の送受信を行なう携帯端末装置であって、
   手書き画像を取得するための手書き画像取得手段と、
   取得した前記手書き画像と重ねて前記表示部の画面を撮像するための撮像手段と、
   前記表示部の画面に前記手書き画像を合成するための合成手段と、
   前記合成手段が合成した画像を表示するための表示手段と、
   前記手書き画像、及び前記合成した画像に基づく当該手書き画像の前記表示部上の位置を示す情報を含むデータを前記表示装置に送信するための送信手段とを含む、携帯情報端末。
8. 携帯情報端末と信号の送受信を行なう表示装置であって、
   画像を表示する表示部と、
   前記携帯情報端末から送信される、手書き画像と前記表示部に表示されている画像とを合成した合成画像を含むデータを受信するための受信手段と、
   前記受信手段が前記データを受信したことに応答して、前記表示部に表示されている画像と、前記合成画像に含まれる、前記表示部に表示されている画像とを照合することにより、前記表示部における前記手書き画像を表示する位置情報を検出するための検出手段と、
   前記検出手段が検出した前記位置情報に基づいて、前記手書き画像を前記表示部に表示されている画面に表示するための手段とを含む、表示装置。
9. 手書き画像を取得するための手書き画像取得手段と、画像を撮像するための撮像手段と、画像を表示するための表示手段と、前記手書き画像を含むデータを送信するための送信手段と、前記手書き画像取得手段、前記撮像手段、前記表示手段及び前記送信手段を制御するコンピュータとを含む携帯情報端末において、前記コンピュータにより実行されることによって、表示部を含む表示装置に表示されている画面に前記手書き画像を表示する制御装置を実現するためのコンピュータプログラムであって、
   前記コンピュータプログラムは、前記コンピュータを、
   前記撮像手段により、取得した前記手書き画像と重ねて前記表示部の画面を撮像するための手段と、
   前記撮像手段が撮像した前記表示部の画面に前記手書き画像を合成するための合成手段と、
   前記合成手段が合成した画像を表示するように前記表示手段を制御するための手段と、
   前記手書き画像、及び前記合成した画像に基づく当該手書き画像の前記表示部上の位置を示す情報を含むデータを前記表示装置に送信するよう前記送信手段を制御するための手段として機能させる、コンピュータプログラム。
   
   

Images