JP2018026185A - 電子情報ボード、画像処理方法及びプログラム - Google Patents

Abstract

【課題】映像出力機器から入力される映像とタッチパネルから入力されるストロークの記録の操作性を向上させる画像処理装置、画像処理システム、画像処理方法及びプログラムを提供する。【解決手段】本発明は、操作表示部に映像を表示する映像表示部と、操作表示部への操作により入力されたストロークを映像に重畳させて操作表示部に表示するストローク表示部と、操作表示部に表示された映像とストロークのキャプチャ画像を記録するキャプチャ画像記録部と、を備え、ストローク表示部は、前記キャプチャ画像記録部により前記ストロークがキャプチャ画像として記録されたときに、記録された前記ストロークを消去する。【選択図】図１

Description

本発明は、画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。

液晶やプラズマ等のフラットパネルやプロジェクタを用いたディスプレイに、タッチパネルを搭載した、所謂「電子情報ボード」製品が市場に出ている。この電子情報ボードには複数の機能が搭載されている。

そして、電子情報ボードの機能の１つとして、ユーザによってタッチペンや指等でタッチパネルに書き込み、ストローク画像を画面上に表示する所謂「ホワイトボード」機能がある。

また、電子情報ボードの機能の１つとして、パソコンやテレビカメラ等の映像出力機器を接続することによって、接続した映像出力機器の出力を映し出し、映し出された映像の上にストロークを書き込み重畳させる機能がある。

さらに、電子情報ボードの機能の１つとして、ネットワークで接続された他の電子情報ボードと画像を共有する機能がある。
（例えば、特許文献１〜４を参照）

しかしながら、上記従来の電子情報ボードは、映像出力機器から入力されてディスプレイに映し出される映像と、ユーザが書き込んだストローク画像とを合わせて記録して保存する場合、映像をキャプチャ画像として一旦取り込み、取り込んだキャプチャ画像にストロークを重畳させて保存する必要があった。

また、映像をキャプチャした画像として表示させて、ストロークを書き込んだ後、さらに映像出力機器からの映像を表示させるためには表示の切り替え操作を行う必要があった。例えばパソコンの画面のスクロール操作にて映し出される映像をスクロールさせて、スクロールされた映像に順次ストロークを書き込んで保存する場合には、表示の切り替え操作が煩雑になっていた。

本発明は上記の課題を鑑みてなされたものであり、映像出力機器から入力される映像とストロークの記録の操作性を向上させる画像処理装置、画像処理システム、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記課題に鑑み、本発明は、操作表示部に映像を表示する映像表示部と、前記操作表示部への操作により入力されたストロークを前記映像に重畳させて前記操作表示部に表示するストローク表示部と、前記操作表示部に表示された映像と前記ストロークのキャプチャ画像を記録するキャプチャ画像記録部と、を備え、前記ストローク表示部は、前記キャプチャ画像記録部により前記ストロークがキャプチャ画像として記録されたときに、記録された前記ストロークを消去する。

本発明の実施形態によれば、映像出力機器から入力される映像とストロークの記録の操作性を向上させる画像処理装置、画像処理システム、画像処理方法及びプログラムを提供することができる。

画像処理装置の全体構成の一例を示す図 ページキャプチャ処理の一例を示すフローチャート スクリーンページにストロークを書き込んだ一例を示す図 スクリーンページをキャプチャした一例を示す図 キャプチャした画像を表示した一例を示す図 ペンボタンの詳細設定の一例を示す図 映像入力状態による表示切替処理の一例を示すフローチャート

以下、図面に基づいて本発明の実施の形態を説明する。

図１は、本願発明における画像処理装置の全体構成の一例を示す図である。画像処理装置１は、例えば、電子情報ボードや携帯端末等である。また、ＰＣ（personal computer）によって実施することも可能である。

図１において、画像処理装置１は、制御部１０、操作表示部２１、周辺機器Ｉ／Ｆ（インターフェイス）２２、ネットワークＩ／Ｆ２３、及び記憶部２４を備える。

操作表示部２１は、操作表示画面による表示機能と入力機能とを備えており、本実施形態では、タッチパネルを一例として説明する。タッチパネルの入力方式は、静電容量方式、抵抗膜方式、超音波方式、または赤外線方式などであり、専用のタッチペン又は指先（以下、「タッチペン等」とする。）によりストロークを入力する。ここで、「ストローク」とは、操作表示部２１からユーザが書き込んだ文字や図形である。

例えば、ユーザがタッチペン等を使用して操作表示部に自由に書き込む線分や文字である。また、「ストローク」には、ユーザによって選択されたスタンプ等の所定の画像をユーザの指定位置に貼り付けたものを含む。さらに、「ストローク」には、ユーザが指定する操作表示部の所定の位置にキーボード等により入力された文字等も含む。表示機能は、例えば、液晶ディスプレイやプラズマディスプレイによって実施できる。

操作表示部２１における表示例を図３乃至図５に図示する。例えば、図３において、操作表示部２１は、メイン表示エリア２１０、ボタンエリア３１、及びページリストエリア３２を備えている。メイン表示エリア２１０、ボタンエリア３１、及びページリストエリア３２は、それぞれがレイヤ（階層）を構成している。つまり、複数のレイヤを重畳させて操作表示部２１に画像が表示される。ボタンエリア３１及びページリストエリアは、操作表示部２１の右端及び下端に配置され、メイン表示エリア２１０より常に上のレイヤとして表示させることができる。但し、ボタンエリア３１及びページリストエリアの配置位置、表示／非表示の設定、及びレイヤの上下関係はそれぞれ変更できるようにしてもよい。

ボタンエリア３１は、共有ボタン２１１、ルーペボタン２１２、ペンボタン２１３、選択／削除ボタン２１４、キャプチャボタン２１５、メール保存ボタン２１６、新規ページボタン２１７、保存ボタン２１８、及び終了ボタン２１９を備える。

ページリストエリア３２には、映像切り替えボタン３２１、及び複数の表示領域からなるサムネイル表示エリア３２２を備える。

ルーペボタン２１２は、メイン表示エリア２１０に表示された画像の拡大／縮小を行うためのボタンである。選択／削除ボタン２１４は、書き込まれたストロークを選択し、また削除するためのボタンである。メール保存ボタン２１６は、キャプチャされた画像をメールによって配信するためのボタンである。新規ページボタン２１７は、白紙のキャプチャページを作成するためのボタンである。また、保存ボタン２１８は、作成した全てのキャプチャページを保存するためのボタンである。他の各ボタンの機能や表示エリアの動作は後述する。

図１に戻り、周辺機器Ｉ／Ｆ２２は、「映像入力部」として、ＰＣ、ビデオカメラ、ＤＶＤプレーヤなどの映像出力機器から入力される映像が入力される入力部であり、映像出力機器を接続するインターフェイスである。周辺機器Ｉ／Ｆ２２は、例えば、ＶＧＡ（Video Graphics Array）、ＤＶＩ（Digital Visual Interface）、あるいはＨＤＭＩ（登録商標、High-Definition Multimedia Interface）などの規格化された映像インターフェイスである。また、規格化されたシリアルバスであっても良い。

ネットワークＩ／Ｆ２３は、有線又は無線により、所定のネットワークプロトコルによってネットワーク通信を可能にするインターフェイスである。ネットワーク５１は、限定された範囲内での通信を行うＬＡＮ（Local Area Network）、又はインターネットなどの広範囲での通信を行うＷＡＮ（Wide Area Network）である。ネットワークＩ／Ｆ２３は例えばネットワークアダプタであり、有線あるいは無線にてネットワーク５１を介した通信を可能にする。

ネットワークＩ／Ｆ２３は、ネットワーク５１を介して図示しない他の画像処理装置との接続を可能にする。他の画像処理装置と接続することにより、例えば、操作表示部２１に表示された映像やストロークを他の画像処理装置と相互に共有することができる。通信を行う画像処理装置１と他の画像処理装置は、例えば、電子情報ボード対電子情報ボードのような、同種類の装置の組合せであっても良い。また、電子情報ボード対携帯端末のような、種類の異なる装置の組合せであっても良い。

記憶部２４には、後述するキャプチャページ画像やストローク画像、事前に登録した通信相手先、また、各種の設定情報などを保存する。記憶部２４は、例えば、ハードディスク、シリコンディスク、又はフラッシュメモリなどの不揮発性記憶装置を利用する。また、記憶部２４は、図示しないＣＰＵによって使用されるメインメモリに確保された領域であっても良い。

制御部１０は、ＵＩ制御モジュール１０１、映像制御モジュール１０２、ページ制御モジュール１０３、遠隔共有制御モジュール１０４、周辺機器Ｉ／Ｆモジュール１０５、および、ネットワークＩ／Ｆモジュール１０６を備えている。

ＵＩ制御モジュール１０１は、操作表示部２１に表示する画像の表示制御を行う。

また、ＵＩ制御モジュール１０１は、操作表示部２１に表示されるボタンの操作を制御する。ＵＩ制御モジュール１０１は、タッチペン等によるボタンの押下を検知して、押下されたボタンの機能に対応した制御を行う。

また、ＵＩ制御モジュール１０１は、「ストローク表示部」として、ペンボタン２１３によって設定されたペンにより入力されるストロークの入力制御を行う。ＵＩ制御モジュール１０１は、操作表示部２１へのタッチペン等の接触を検知し、タッチペン等が接触されてから離されるまでの軌跡をストロークとして記録する。ＵＩ制御モジュール１０１は、後述する映像制御モジュールによってメイン表示エリア２１０に表示される映像に、記録されたストロークを重畳させて表示する。

ここで、ペンボタン２１３の詳細について、図６を用いて説明する。図６は、ペンボタン２１３の詳細設定の一例を示す図である。図６において、ペンボタン２１３が押下されると、ＵＩ制御モジュール１０１はペンの詳細設定画面２１３０をペンボタン２１３の左側に表示する。ペンボタン２１３の詳細設定画面２１３０には、色設定２１３１、透明度設定２１３２、太さ設定２１３３、線種設定２１３４、スタンプ設定２１３５、及び動作設定２１３６が表示される。

色設定２１３１はペンの色の設定である。透明度設定２１３２は、ペンで入力したストロークの透明度を設定する。例えば透明度が５０％、あるいは２０％の半透明を設定することにより、ストロークが重畳された映像を、書き込んだストロークを透過して確認することができる。太さ設定２１３３は、ペンの太さを設定する。線種設定２１３４は、実線、点線、破線、飾り線などのペンの線種を設定する。スタンプ設定２１３５は、例えば、丸秘、社外秘などのスタンプの設定をする。動作設定２１３６の機能は後述する。

ＵＩ制御モジュール１０１は、詳細設定画面２１３０によって選択された設定を記憶部２４に保存して、保存された設定を操作表示部２１に表示しても良い。

また、ＵＩ制御モジュール１０１は、「表示切換部」として、メイン表示エリア２１０の表示を、キャプチャページとスクリーンページとで切り替える。ＵＩ制御モジュール１０１は、図３等で説明した映像切り替えボタン３２１により、メイン表示エリア２１０の表示を、キャプチャページからスクリーンページに切り替える。本実施形態において、「スクリーンページ」とは、画像出力機器から周辺機器Ｉ／Ｆ２２を介して入力された映像を表示するページをいう。また、「キャプチャページ」とは、スクリーンページを表示中にキャプチャボタン２１５の押下によりキャプチャされて記録されるページをいう。図３の下端には、キャプチャページのサムネイルを表示するサムネイル表示エリア３２２がある。ユーザがサムネイル表示エリア３２２にある１つのサムネイルをタッチすることにより、記録されたキャプチャページがメイン表示エリア２１０に表示される。キャプチャページ表示中に映像切り替えボタン３２１を押下するとメイン表示エリア２１０の表示がスクリーンページに切り替わる。

また、ＵＩ制御モジュール１０１は、後述する映像制御モジュール１０２が検知したる映像入力の有無に変化があった場合には、変化に応じてキャプチャページとスクリーンページとを切り換える。表示の切り換えの詳細は、図７を用いて後述する。

映像制御モジュール１０２は、「映像表示部」として、画像出力機器から周辺機器Ｉ／Ｆ２２を介して入力された映像の表示を制御する。例えば、画像出力機器から入力された映像の解像度やアスペクト比を調整して、メイン表示エリア２１０に入力された映像を表示する。また、ＤＶＩやＨＤＭＩ（登録商標）のデジタル映像の表示制御を行う。映像は、記憶部２４に記憶されたものであっても良い。また、ネットワークＩ／Ｆ２３を介して入力されたものであっても良い。例えば、図示しない動画配信サーバから配信されるストリーミング画像を記憶部２４にキャッシュした映像であっても良い。

また、映像制御モジュール１０２は、「検知部」として、画像出力機器から周辺機器Ｉ／Ｆ２２を介して入力される映像の有無の変化を検知する。映像制御モジュール１０２で検知する映像の有無の変化とは、映像の入力がされていない状態から映像が入力されたときの入力有りへの変化、および映像が入力されている状態から映像の入力が無しになったときの入力無しへの変化である。映像制御モジュール１０２は、映像の有無の変化があった場合には、その変化である状態変化をＵＩ制御モジュール１０１に送信する。

なお、映像制御モジュールは、後述するネットワークＩ／Ｆモジュール１０６を介して、他の画像処理装置のネットワークＩ／Ｆモジュールと通信し、表示画像を共有している他の画像処理装置から入力される映像の有無の変化を検知してもよい。映像の有無の変化は、例えば映像を送受信する所定のコマンドに追加してもよい。

また、映像制御モジュール１０２は、入力された映像のキャプチャ処理を行う。映像制御モジュール１０２は、キャプチャボタン２１５が押されたときに、メイン表示エリア２１０に表示している映像をキャプチャして、キャプチャ画像（スナップショット）とサムネイル画像を生成する。生成したキャプチャ画像とサムネイルは、ページ制御モジュール１０３に渡される。

ページ制御モジュール１０３は、スクリーンページとキャプチャページのページ制御を行う。ページ制御モジュール１０３は、「キャプチャ画像記録部」として、キャプチャボタン２１５が押されたときに、または表示ページが切り替わる度に、ＵＩ制御モジュールからの指示によって、映像制御モジュール１０２が生成したキャプチャ画像と、メイン表示エリア２１０に書き込まれたストロークとを、レイヤとして対応付けてキャプチャページとして記憶部２４のメモリエリアに記録する。キャプチャ画像のレイヤとストロークのレイヤとは、例えばそれぞれに識別子を付与して記憶することにより対応付けをすることができる。例えば、一のキャプチャ画像のレイヤと複数のレイヤのストロークのレイヤに同一の識別子を付与して記憶させることにより、識別子をキーとしてそれぞれのレイヤを読み出すことができる。

キャプチャページは、スクリーンページのキャプチャ画像を「映像表示レイヤ」とし、ストローク画像を「ストローク表示レイヤ」として、別のレイヤとして記録する。従って、キャプチャページで記録されたストロークは、スクリーンページに表示された映像のキャプチャ画像とは個別に修正や削除が可能となる。

ページ制御モジュール１０３は、キャプチャボタン２１５が押されると、または表示ページが切り替わる度に、ストロークをキャプチャ画像とともに記録するとともに、スクリーンページのストロークの一部あるいは全部を削除して、スクリーンページを更新する。

ここで、図６のペンボタン２１３の動作設定２１３６の機能について説明する。動作設定２１３６においては、「キャプチャクリア」と「パーマネント」の２種類のペンの設定が可能となる。

キャプチャクリアが選択されたときは、ペンによって描かれたストロークは、キャプチャボタン２１５が押されたときに消去される。スクリーンページは、例えば、動画、スクロール可能なＷｅｂページ、複数のシートからなる表計算ソフトなど、接続される映像出力機器の操作によって入力される映像が次々と変更されることがある。このため、スクリーンページの映像に重畳して書き込まれるストロークもスクリーンページの映像の変化に合わせて変更する必要があり、ストロークを選択しながら削除するストロークの消去方法では手間が掛かってしまう。本実施形態においては、ペンの動作設定２１３６をキャプチャクリアに設定することにより、書き込んだストロークはキャプチャボタン２１５を押下する毎にメイン表示エリア２１０から消去されて、次のスクリーンページへのストロークの書き込みを行う場合に、書き込んだストロークを一々消去する必要がなくなる。

一方、パーマネントが選択されたときには、ペンによって描かれたストロークは、キャプチャボタン２１５が押されたときにはメイン表示エリア２１０から消去されずそのまま残ることになる。パーマネントによるストロークとキャプチャクリアによるストロークは、同じスクリーンページへの書き込みに混在させることができる。例えば、議題や会議参加者、あるいは雛形として使用したい表の罫線などを、パーマネントを選択してストロークを書き込み、一方、スクリーンページに応じたコメントなどのストロークを、キャプチャクリアを選択して書き込むことにより、キャプチャボタン２１５の押下によるスクリーンページのストロークの消去対象をユーザが設定できることになる。

なお、キャプチャページで記録されるストロークは、キャプチャクリアとパーマネントとでレイヤを分けて記録しても良いし、あるいは同じレイヤとして記録しても良い。また、記録レイヤの設定を操作表示部２１から別途行うようにしても良い。

本実施形態では、「キャプチャクリア」と「パーマネント」の２種類のペンを選択することにより、キャプチャ画像として記録されたストロークをメイン表示エリア２１０から消去するか否かの設定が可能となる。

また、ページ制御モジュール１０３は、記憶部２４に記憶された複数のキャプチャページをＵＩ制御モジュール１０１からの指示によって順次読み出して、ＵＩ制御モジュール１０１を通じてメイン表示エリア２１０に表示させる。

また、ページ制御モジュール１０３は、操作表示部２１の下部に表示されるサムネイルの画像のスクロールボタン（矢印ボタン）が押されたときに、記憶部２４に記憶された次のページのサムネイルを読み出して、ＵＩ制御モジュール１０１を通じて表示させる。

また、ページ制御モジュール１０３は、キャプチャページの複製や削除を行う。

遠隔共有制御モジュール１０４は、「ネットワーク制御部」として、ネットワークＩ／Ｆ２３を介して接続された、他の画像処理装置と表示画像の共有を制御する。表示画像の共有及びその設定は、共有ボタン２１１を押下することにより行う。共有ボタン２１１を押下することにより、本画像処理装置１を「共有主催機器」とすることができる。共有主催機器とは、他の画像処理装置に対して、ネットワークを介したアクセスを受け付ける状態になる機器をいう。遠隔共有制御モジュール１０４は、予め登録された他の画像処理装置の認証情報を保存しておき、他の画像処理装置に対して、周辺機器Ｉ／Ｆモジュール１０５を介してログインを認証する。一度ログインした後は、表示画像はログインしている複数台の画像処理装置で共有され、一の画像処理装置におけるストロークの書き込みは他の画像処理装置の表示に反映される。また、共有ボタン２１１を押下することにより、共有主催機器となった他の画像処理装置に対してアクセスを行うことができる。アクセス認証は、例えば、ＩＰアドレス等のネットワークアドレスとパスワードによって行う。また、ＭＡＣアドレス等の機器情報を認証情報として利用しても良い。

遠隔共有制御モジュール１０４は、終了ボタン２１９が押されると他の画像処理装置との通信を終了させる。自機が共有主催機器である場合は、ネットワークを介して接続された全ての他の情報処理装置との通信を終了させる。また、他の情報処理装置が共有主催機器である場合は、自機の通信のみを終了させる。

周辺機器Ｉ／Ｆモジュール１０５は、周辺機器Ｉ／Ｆ２２を制御する。周辺機器Ｉ／Ｆモジュール１０５は、周辺機器Ｉ／Ｆ２２に接続された映像出力機器のインターフェイス仕様に応じて、ビデオ信号のフォーマット変換処理、ビデオ信号の圧縮／伸張処理、転送レート変換処理などを行う。

ネットワークＩ／Ｆモジュール１０６は、ネットワークＩ／Ｆ２３を制御する。ネットワークＩ／Ｆモジュール１０６は、遠隔共有制御モジュール１０４に対してネットワークサービスを提供する。ネットワークＩ／Ｆモジュール１０６は、例えば、遠隔共有制御モジュール１０４によって予め登録された他の画像処理装置に対して、サーブレットの機能を提供する。他の画像処理装置は、例えば、共有主催機器としての画像処理装置１のネットワークアドレスを指定して、所定のパスワードにてログインをしてくる。ネットワークＩ／Ｆモジュール１０６は、遠隔共有制御モジュール１０４の認証情報に基づき他の画像処理装置とセッションを確立し、ログイン状態とする。一の共有主催機器に対して複数台の他の画像処理装置がログイン可能である。セッションは他の画像処理装置の明示的な操作にて、あるいは所定時間でのセッションタイムアウトにて終了する。なお、周辺機器Ｉ／Ｆモジュール１０５及びネットワークＩ／Ｆモジュール１０６は、オペレーティングシステムの機能によって実装しても良い。

次に、画像処理装置１におけるページキャプチャ処理の動作を、図２を用いて説明する。図２は、ページキャプチャ処理の一例を示すフローチャートである。

図２の開始条件は、スクリーンページがメイン表示エリア２１０に表示されている状態でキャプチャボタン２１５が押されたときとする。

ＵＩ制御モジュール１０１は、すべてのボタン操作をロックする（Ｓ１１）。すべてのボタンをロックすることにより、記憶部２４のメモリの競合を回避する。

次に、ページ制御モジュール１０３は、記憶部２４に新規ページを作成する（Ｓ１２）。新規ページを作成すると、記憶部２４のメモリに所定の領域が確保される。

次に、映像制御モジュール１０２は、映像表示レイヤに登録するスナップショット（キャプチャ画像）を生成して取得する（Ｓ１３）。映像制御モジュール１０２は、キャプチャボタン２１５が押下されたときにメイン表示エリア２１０に表示している映像のキャプチャ画像を生成する。なお、取得するキャプチャ画像の解像度や色数は、ＵＩ制御モジュール１０１を通じて設定が可能である。

次に、ページ制御モジュール１０３は、映像制御モジュール１０２が生成したスナップショットを取得し、作成した新規ページの映像表示レイヤに登録する（Ｓ１４）。

次に、ページ制御モジュール１０３は、表示ページのストロークを取得する（Ｓ１５）。ストロークはメイン表示エリア２１０にユーザが書き込んだ文字や図形等であり、それぞれの「オブジェクト」として扱う。オブジェクトは、ストロークを選択／消去する際の単位である。例えば、タッチペン等により一筆書きされた文字等を１つのオブジェクトとして扱う。また、１つのスタンプを１つのオブジェクトとして扱う。

次に、ページ制御モジュール１０３は、複製したストロークを新規ページに登録する（Ｓ１６）。ページ制御モジュール１０３は、書き込まれたストロークをオブジェクト単位で記録する。なお、オブジェクト単位で記録されたストロークは、図示しないストローク編集ボタンでグループ化処理をしても良い。

次に、ページ制御モジュール１０３は、新規ページをページリストに登録する（Ｓ１７）。ページリストとは、記録したキャプチャページのリストであり、ページの順番、キャプチャ画像の保存情報、サムネイルの保存情報などが登録されている。サムネイル表示エリア３２２に表示されるサムネイルは、このページリストの情報を基に表示順序や表示サムネイルが特定されている。
次に、ページ制御モジュール１０３は、表示ページのストロークをすべて削除する（Ｓ１８）。ここで例示するのは、図６で説明した動作設定２１３６をキャプチャクリアに設定した場合の動作である。動作設定２１３６がパーマネントに設定されたストロークは、このステップにおいて削除されず、選択／削除ボタン２１４によって削除を行う。
次に、ＵＩ制御モジュール１０１は、メイン表示エリア２１０のスクリーンページの表示とサムネイル表示エリア３２２のページリストの表示を更新する（Ｓ１９）。ページリストの表示は、ページ制御モジュール１０３によって登録されたページリストに基づく。

次に、ＵＩ制御モジュール１０１は、すべてのボタン操作のロックを解除する（Ｓ２０）。このステップにより、すべての操作ボタンの操作が可能になるとともに、ペンによるストロークの書き込みが可能となる。

次に、ページキャプチャ処理中の操作表示画面の遷移を、図３〜図５を用いて説明する。

図３は、スクリーンページにストロークを書き込んだ一例を示す図である。図３において、メイン表示エリア２１０には、周辺機器Ｉ／Ｆ２２を介して接続されたＰＣから複写機の外形図の映像が入力されてスクリーンページとして表示されている。ユーザは、スクリーンページにストロークとして、タッチペン等による手書きで「コピー」の文字を書き込んでいる。サムネイル表示エリアには、既に３ページのキャプチャページが表示されている。書き込んだストロークは、選択／削除ボタン２１４等により編集が可能である。

動作設定２１３６がキャプチャクリアに設定されている状態で、ユーザによってキャプチャボタン２１５が押下された状態が図４である。

図４は、スクリーンページをキャプチャした一例を示す図である。図４において、メイン表示エリア２１０はスクリーンページを維持している。つまり、スクリーンページへのストロークの書き込みができる状態を維持している。メイン表示エリア２１０に書き込まれたストロークはすべて削除されている。従って、ユーザはスクリーンページに対するストロークの書き込みを、ストロークの消去作業をすることなく、継続することができる。また、その際に、先に書き込んだ「コピー」の文字は自動的に消去されている。このため、（１）スクリーンページへの書き込み、（２）スクリーンページとそこに書き込まれたストロークのキャプチャページとしての記録、の動作を、キャプチャボタン２１５押下の１アクションで連続して行うことが可能になる。

また、サムネイル表示エリア３２２には、キャプチャした画像のサムネイル（４／４）が追加されて表示されている。追加表示されたサムネイルには書き込んだストロークである「コピー」の文字が表示されている。メイン表示エリア２１０にスクリーンページが表示された状態で、サムネイル４／４が押下された状態が図５である。

図５は、キャプチャした画像を表示した一例を示す図である。図５において、メイン表示エリア２１０には、キャプチャページが表示される。キャプチャページはキャプチャボタン２１５を押下して時点でのスクリーンページとそこに書き込まれたストロークの重畳画像が表示される。従って、図３で説明した、書き込んだ「コピー」の手書き文字が表示されている。また、サムネイル表示エリア３２２には、現在表示中のキャプチャページのサムネイルが表示されている。なお、キャプチャページにおいてもペンでストロークの追記／編集が可能である。追記／編集されたストロークは、他のページに遷移する際に、記憶部２４に記録されているキャプチャページを上書きあるいはファイルのリネームで保存される。図５の状態で映像切り替えボタン３２１を押下することにより、再度スクリーンページに表示を戻すことができる。

本実施形態では、ネットワークＩ／Ｆ２３を介して接続された他の画像処理装置においても操作表示部の表示を共有させることができる。表示の共有は、最後に操作がされた画像処理装置の表示を優先して他の画像処理装置の表示に反映させることができる。その際に、他の画像処理装置によって変更された差分のみをネットワークを介して送信することによりネットワークの負荷を軽減させることができる。

また、画像処理装置１におけるキャプチャボタン２１５の操作により、接続された他の画像処理装置において、図２で説明した画像処理装置１でのキャプチャ動作を行わせても良い。他の画像処理装置においてキャプチャ処理がされた場合、キャプチャ画像はキャプチャボタン２１５が押下された画像処理装置と同じ形式でローカルに記録されることになる。これにより、他の画像処理装置におけるキャプチャページの編集を容易にすることができる。

次に、映像制御モジュール１０２が映像入力の有無の変化を検知した場合のＵＩ制御モジュール１０１による、キャプチャページとスクリーンページとを切り換えについて、図７を用いて説明する。図７は、映像入力状態による表示切替処理の一例を示すフローチャートである。

なお、映像入力が無しから有りになる場合とは、例えば、周辺機器Ｉ／Ｆを介して接続された映像出力機器からの映像入力が開始された場合である。また、映像入力が有りから無しになる場合とは、例えば、接続された映像出力機器からの映像入力が終了した場合、または接続が外された場合である。

図７において、開始条件は、映像の入力状態が変化した時である。

先ず、ＵＩ制御モジュール１０１は、すべてのボタン操作をロックする（Ｓ３０）。すべてのボタン操作をロックすることにより、操作の競合を回避することができる。なお、ロックされたボタンは表示をグレイアウトさせて操作ができないことを利用者に報知してもよい。

次に、映像制御モジュール１０２は、映像入力が無くなったか否かを検知する（Ｓ３１）。映像入力の有無は、例えば周辺機器Ｉ／Ｆから入力信号によって検知することができる。また、ネットワークＩ／Ｆ２３を介して接続された表示画像を共有している他の画像処理装置からの入力コマンドによって検知することができる。

映像入力が無くなったと検知された場合（Ｓ３１でＹＥＳ）、ＵＩ制御モジュール１０１は、映像切り替えボタン３２１を利用不可として、スクリーンページの表示・切り替えをできないようにする（Ｓ３２）。映像の入力が無い状態において、映像切り替えボタン３２１が利用不可であることを示すために、例えば、スクリーンページのボタンをグレイアウトで表示してもよい。

ページ制御モジュール１０３は、表示ページがスクリーンページか否かを判定する（Ｓ３３）。ここで、表示ページがスクリーンページではない場合、すなわち表示ページがキャプチャページであった場合（Ｓ３３でＮＯ）、ＵＩ制御モジュール１０１は、すべてのＵＩボタンのロックを解除することにより（Ｓ４１）、このフローチャートで説明する動作を終了する。

一方、表示ページがスクリーンページである場合（Ｓ３３でＹＥＳ）、ページ制御モジュール１０３は、表示されているスクリーンページの内容、すなわち、映像レイヤとストロークレイヤを識別子によって対応付けて記憶部２４に記録する（Ｓ３４）。スクリーンページの内容を記憶することにより、例えば表示が切り換わったとしても作成中のストロークを消失することがなくなる。なお、ステップ３４における記録と、キャプチャボタン２１５の押下によるスクリーンページの記録とは、例えば記録するファイル名を変えて、その区別が付くようにしてもよい。また、サムネイル表示エリア３２２に表示されるキャプチャページのサムネイルの表示色や表示位置を変えてもよい。

次に、ページ制御モジュール１０３は、表示ページを記憶部２４に記録されている、最後に表示されたキャプチャページに表示を切り換える（Ｓ３５）。記憶部２４に記憶されるキャプチャページにはそれぞれ識別子が付与され、同一の識別子のキャプチャ画像とストロークが対応付けられてキャプチャページとして表示される。さらに、映像を表示する映像レイヤは非表示とすることで、表示の切り換えが行われる。

ここで最後に表示されたキャプチャページを表示するために、例えば、表示されたキャプチャページの識別子を順次記録する。ページ制御モジュール１０３は、順次記録された識別子の中から最後に記録された識別子を選択することによって、最後に表示されたキャプチャページを選択することができる。

ＵＩ制御モジュール１０１は、表示ページを更新して（Ｓ４０）、すべてのＵＩボタンのロックを解除する（Ｓ４１）。

一方、映像入力が有りとなったと検知された場合（Ｓ３１でＮＯ）、ＵＩ制御モジュール１０１は、映像切り替えボタン３２１を利用可として、スクリーンページの表示・切り替えができるようにする（Ｓ３６）。これにより、スクリーンページが表示できるようになる。

次に、ページ制御モジュール１０３は、表示されているページがスクリーンページか否かを判定する（Ｓ３７）。スクリーンページであった場合（Ｓ３７でＹＥＳ）、映像制御モジュール１０２は、表示された映像の入力が解除されたか否かを判定する（Ｓ３８）。ここで表示された映像の入力が解除される場合とは、例えば、複数の映像入力端子から複数の映像が入力されて、映像が切り換わった場合である。映像制御モジュール１０２は、映像の入力が無い場合と、切り換わった場合とを区別して判断することにより、ステップＳ３４の記録動作をしないようにすることができる。

表示された映像の入力が解除された場合（Ｓ３８でＹＥＳ）、映像制御モジュール１０２は、映像表示レイヤの入力映像を、次の映像出力機器の入力映像に切り替えて（Ｓ３９）、ＵＩ制御モジュール１０１が表示ページを更新し（Ｓ４０）、さらにすべてのＵＩボタンのロックを解除する（Ｓ４１）。

スクリーンページではない場合（Ｓ３７でＮＯ）、または表示された映像の入力が解除されない場合（Ｓ３８でＮＯ）、すべてのＵＩボタンのロックを解除して（Ｓ４１）、このフローチャートにおける動作を終了する。

図７で説明した動作によって、映像の入力の変化によってスクリーンページとキャプチャページを自動的に切り換えることができるとともに、自動的に表示がスクリーンページに切り換わった場合でも、キャプチャページを自動的に記録してバックアップすることができる。また、映像の入力が無くなった場合には、自動的に最後に表示されたキャプチャページが表示されて、表示するキャプチャページを選択する手間が掛からなくなる。

以上、本発明を実施するための形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

図１で説明した各モジュールの機能は、ハードウエアで実装するか、コンピュータにより実行されるソフトウエア（プログラム）によって実装するかを限定しない。例えば、各モジュールの機能をオペレーティングシステム上で動作するアプリ（アプリケーションプリグラム）として実施することができる。また、アプリを記録した媒体を配布したり、アプリを、ネットワークを通じて配信したりすることにより、例えばＰＣや携帯端末にアプリをインストールして実行させて本発明を実施することができる。

また、画像処理装置１の各機能は、例えばネットワークを介して構築される画像処理システムにて実施しても良い。

１ 画像処理装置
１０ 制御部
１０１ ＵＩ制御モジュール
１０２ 映像制御モジュール
１０３ ページ制御モジュール
１０４ 遠隔共有制御モジュール
１０５ 周辺機器Ｉ／Ｆモジュール
１０６ ネットワークＩ／Ｆモジュール
２１ 操作表示部
２１０ メイン表示エリア
２１１ 共有ボタン
２１２ ルーペボタン
２１３ ペンボタン
２１３０ 詳細設定画面
２１３１ 色設定
２１３２ 透明度設定
２１３３ 太さ設定
２１３４ 線種設定
２１３５ スタンプ設定
２１３６ 動作設定
２１４ 選択／削除ボタン
２１５ キャプチャボタン
２１６ メール保存ボタン
２１７ 新規ページボタン
２１８ 保存ボタン
２１９ 終了ボタン
３１ ボタンエリア
３２ ページリストエリア
３２１ 映像切り替えボタン
３２２ サムネイル表示エリア
２２ 周辺機器Ｉ／Ｆ
２３ ネットワークＩ／Ｆ
２４ 記憶部

特開２００５−９２５３８号公報 特開２０１２−８４１２２号公報 特開２００４−１０２４５５号公報 特開２００３−２２９９８７号公報

本発明は、電子情報ボード、画像処理方法及びプログラムに関する。

本発明は上記の課題を鑑みてなされたものであり、映像出力機器から入力される映像とストロークの記録の操作性を向上させる電子情報ボード、画像処理方法及びプログラムを提供することを目的とする。

上記課題に鑑み、本発明は、映像が入力される映像入力部と、映像を表示する表示機能と、入力機能とを備える操作表示部と、前記操作表示部における表示を、前記映像入力部により入力された映像を表示するページと、前記入力機能により入力されたストローク画像を含むキャプチャ画像を表示させるページとで切り替える表示切換部と、を備え、前記表示切換部は、前記映像入力部から前記映像が入力されている状態から、前記映像入力部からの前記映像の入力が無くなった場合に、前記操作表示部に表示された前記操作表示部における表示の切り替えを指示する操作ボタンを操作不可の状態とする電子情報ボードである。

本発明の実施形態によれば、映像出力機器から入力される映像とストロークの記録の操作性を向上させる電子情報ボード、画像処理方法及びプログラムを提供することができる。

Claims (6)

1. 映像が入力される映像入力部と、
   前記映像入力部から入力された映像を表示する操作表示部と、
   前記映像入力部に入力される映像の変化を検知する検知部と、
   前記操作表示部の表示を、表示された前記映像にストロークを重畳させて入力できるスクリーンページと、前記スクリーンページをキャプチャしたキャプチャページとの間で切り換える表示切換部と、を備えた画像処理装置であって、
   前記表示切換部は、前記検知部が前記変化を検知した場合、前記スクリーンページと、前記キャプチャページとを切り換える画像処理装置。
2. 前記表示切換部は、前記検知部が映像の入力無しの変化を検知したときには、前記操作表示部に最後に表示したキャプチャページに表示を切り換える、請求項１に記載の画像処理装置。
3. 前記表示切換部は、前記検知部が映像の入力有りの変化を検知したときには、前記操作表示部に表示しているキャプチャページを記録して、スクリーンページに表示を切り換える、請求項１または２に記載の画像処理装置。
4. ネットワークを介して接続された他の画像処理装置との通信を行うネットワーク制御部をさらに備え、
   前記検知部は、前記ネットワークを介して接続された他の画像処理装置から入力される映像の有無の変化を検知する、請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 映像が入力される映像入力部と、
   前記映像入力部から入力された映像を表示する操作表示部と、
   前記映像入力部に入力される映像の変化を検知する検知部と、
   前記操作表示部の表示を、表示された前記映像にストロークを重畳させて入力できるスクリーンページと、前記スクリーンページをキャプチャしたキャプチャページとの間で切り換える表示切換部と、を備えた画像処理装置が行う画像処理方法であって、
   前記画像処理装置が、前記検知部が前記変化を検知した場合、前記スクリーンページと、前記キャプチャページとを切り換える、画像処理方法。
6. 映像が入力される映像入力部と、
   前記映像入力部から入力された映像を表示する操作表示部と、
   前記映像入力部に入力される映像の変化を検知する検知部と、
   前記操作表示部の表示を、表示された前記映像にストロークを重畳させて入力できるスクリーンページと、前記スクリーンページをキャプチャしたキャプチャページとの間で切り換える表示切換部と、を備えたコンピュータに画像処理方法を実行させるためのプログラムであって、
   前記コンピュータに、前記検知部が前記変化を検知した場合、前記スクリーンページと、前記キャプチャページとの切り換えを実行させるためのプログラム。

Images