JP2018084824A - 端末表示装置、表示方法及びプログラム - Google Patents

Abstract

【課題】主表示装置と端末表示装置とが通信接続され、主表示装置の表示画面データが端末表示装置に送信された状態の時、端末表示装置で、表示画像データに対して手書き情報を加えることができる端末表示装置を提供する。【解決手段】主表示装置と、１、または、複数の端末表示装置からなる手書き画像表示システムにおいて、主表示装置は、第1表示部に表示される画像データを１、または、複数の端末表示装置に送信する。１、または、複数の端末表示装置は、第２表示部で表示される受信した画像データをキャプチャ部によってキャプチャし、キャプチャされた画像データに対して、手書き入力部によって手書き入力を行う。【選択図】図１１

Description

本発明は、表示データを共有し、表示データに対して手書き画像を追記可能とした端末表示装置等に関する。

近年、遠隔地同士を電話通信網やＬＡＮ等で接続し、互いに画像表示データを共有して会議を行うテレビ会議が普及している。

また、特許文献1には、イメージデータに対して加筆修正が可能な技術が記載されてい
る。

特開平６−２５９５２２号公報

従来のテレビ会議システムでは、主会場から送信されてくる画像表示データを会議参加会場で受信し、会議参加会場では主に表示を見ることに止まっていた。

また、パーソナルコンピュータを利用したテレビ会議システムでは、共有化された画像に対して、加筆が行えるものも出てきたが、この加筆情報も会議参加者全員で共有され、個人のメモとして残しておくようなことが配慮されていないという課題がある。

特許文献１に記載のような手書き表示装置は、任意のイメージデータに対して加筆修正は可能ではあるものの、会議システム等において複数の装置で画像データを共有して使用する装置でないため、この装置においても会議等でイメージデータに対する加筆情報も会議参加者全員で共有し、個人のメモとして残しておくようなことには適用できないという課題がある。

本発明は、このような課題を解決するためのものであり、主表示装置と１または複数の端末表示装置からなるシステムにおいて、表示画像を共有化するものであって、複数の端末表示装置の各々がユーザの操作によって主表示装置から送信された表示画像をキャプチャし、そのキャプチャデータに対して手書き情報を加筆可能とした端末表示装置等を提供することを目的とする。

本発明は、
画像データを表示する表示部を有する端末表示装置は、
表示装置と通信接続し、画像データの受信もしくは送信を行う通信部と、
前期表示部に前記通信部にて受信した前記画像データを表示する制御部と、
前記表示部に表示している画像データをキャプチャするキャプチャ部と、
前記キャプチャ部によりキャプチャされた画像データに手書き入力を行う手書き入力部と、
を備え、
前記制御部は、前記表示部に表示されている画像データを前記キャプチャ部にてキャプチャする指示アイコンと、前記手書き入力部により手書き入力された画像データを前記通
信部により表示装置へ送信する指示アイコンを、画像データに重畳して表示することを特徴とする端末表示装置である。
である。

また、本発明は、
前記端末表示装置は、前記キャプチャ部でキャプチャされた画像、または前記キャプチャ部でキャプチャされた画像と前記手書き入力部で入力された画像データとを合成した合成画像を記憶する記憶部を更に備えることを特徴とする。

また、本発明は、
前記通信部は、前記キャプチャ部でキャプチャされた画像、または前記キャプチャ部でキャプチャされた画像と前記手書き入力部で入力された画像データとを合成した合成画像を、前記表示装置に送信することを特徴とする。

また、本発明の表示方法は、
画像データを表示する表示部を有する端末表示装置の表示方法において、
表示装置と通信接続し、前記画像データの受信を行うステップと、
前期表示部に前記通信部にて受信した前記画像データを表示するステップと、
前記表示部に表示されている画像データを前記キャプチャ部にてキャプチャする指示アイコンを表示するステップと、
前記表示部に表示している前記画像データをキャプチャするステップと、
前記キャプチャ部によりキャプチャされた画像データに手書き入力を行うステップと、
前記手書き入力部により手書き入力された画像データを前記通信部により表示装置へ送信する指示アイコンを、前記画像データに重畳して表示するステップと、
を含むことを特徴とする。

また、本発明のプログラムは、
コンピュータに、
表示装置と通信接続し、画像データの受信もしくは送信を行う通信機能と、
表示部に前記通信部にて受信した前記画像データを表示する制御機能と、
前記表示部に表示している画像データをキャプチャするキャプチャ機能と、
前記キャプチャ部によりキャプチャされた画像データに手書き入力を行う手書き入力機能と、
を含み、
前記制御機能は、前記表示部に表示されている画像データを前記キャプチャ部にてキャプチャする指示アイコンと、前記手書き入力部により手書き入力された画像データを前記通信部により表示装置へ送信する指示アイコンを、画像データに重畳して表示する、
ことを実現させることを特徴とする。

本発明によれば、主表示装置の表示画面を端末表示装置に送信し、端末表示装置で主表示装置の表示データを表示するものにおいて、端末表示装置側で表示されるアイコンへの指示により表示画面をキャプチャし、任意の手書き入力を行うことが可能であるため、例えば、会議システムにおいて、会議に参加している個人単位で独自に電子会議資料にメモ等が残せるようになる。

また、本発明によれば、主表示装置に対して、各々の端末表示装置から資料に対する手書きデータが送信されてくるため、主表示装置側で各々の端末表示装置からの送信データを会議意見として収集可能であり、表示画像を共有化できる。

手書き画像表示システムのシステム外観図である。 手書き画像表示システムの構成を示すシステムブロック図である。 手書き画像表示システムにおける処理概念図である。 主表示装置２の処理を示すフローチャートである。 端末表示装置３のメイン処理としての具体的動作を示すフローチャートである。 図５のステップＳ１８のキャプチャモード処理のサブルーチンを示すフローチャートである。 図６に新たな処理ステップを追加したフローチャートである。 主表示装置２と、端末表示装置３とが互いに同じ画像データが表示されている状態を示す図である。 電子会議アプリケーションプログラムの機能アイコン４０を示す図である。 主表示装置２の表示データが拡大されたとしても、端末表示装置３の表示データは拡大されていない状態を示す図である。 端末表示装置３に手書き入力が行われた状態を示す図である。

以下に、本発明に係る手書き画像表示システム１について説明する。

図１は、画像表示システム１の外観を示すシステム外観図である。主表示装置２は、たとえば、大画面表示部１１を有する表示装置であり、複数の端末表示装置３−１、３−２、３−３からなるシステムで構成される。尚、手書き画像表示システム１としては、主表示装置1と、１台の端末表示装置からなるシステム構成であっても構わない。

図２は、手書き画像表示システムの構成を示すシステムブロック図である。主表示装置２は、第１表示部としての表示部２１、タッチ検出部２２、第１記憶部としての記憶部２３、第１通信部としての通信部２４、および、主制御部２５を備え、端末表示装置３は、第２表示部としての表示部３１、タッチ検出部３２、第２記憶部としての記憶部３３、第２通信部としての通信部３４、画面キャプチャ部３５、キャプチャメモリ部３６、手書き入力部３７、画像編集部３８、および、主制御部３９を備える。

表示部２１、および３１は、たとえば、液晶ディスプレイ、ＥＬ（Electro Luminescence）ディスプレイなどであり、画面に表示画像を表示する。

タッチ検出部２２、および、３２は、静電容量方式タッチパネル、抵抗膜方式タッチパネルなどから構成され、タッチ操作が行われると、画面に対するタッチ操作が行われた位置を示す情報、すなわちタッチ操作により押圧された箇所を示す位置座標情報を取得する。タッチ検出部２２、および、３２が取得した位置座標情報は、主制御部２５、および、主制御部３９にそれぞれ入力される。尚、表示装置１において、タッチ検出部３は、離間した２つ以上の領域が押圧されるときに、それぞれの領域に対応する位置情報も取得可能である。この場合、いわゆるマルチタッチ操作が可能な静電容量方式タッチパネルとなる。

記憶部２３、および、３３は、ＤＤＲ ＳＤＲＡＭ（Double Data Rate Synchronous Dynamic Random Access Memory）などの揮発性メモリ、および、フラッシュＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（登録商標）、ＨＤＤ（Hard Disk Drive）などの不揮発性メモリから構成され、主表示装置２、および、端末表示装置３を制御するためのプログラムや表示されるデータが記憶されている。

通信部２４、および、３４は、有線または無線によって他の装置と通信をするための処理を行う。

主表示装置２の主制御部２５は、ＣＰＵ（Central Processing Unit）などの制御演算
回路であり、表示部２１、タッチ検出部２２、記憶部２３、および、通信部２４を制御する。

端末表示装置の画面キャプチャ部３５は、主表示装置２で表示されている画面データを受信してキャプチャする制御プログラムを格納する。尚、このプログラムは、記憶部３３に格納しても構わない。

キャプチャメモリ部３６は、画面キャプチャ部３５によってキャプチャした画面データを格納する。尚、この時の画面データも記憶部３３に格納しても構わない。

手書き入力部３７は、タッチ検出部３２からの座標データに基づき手書きストロークデータを形成する。

画像編集部３８は、手書き入力部３７によって形成された手書きストロークデータをキャプチャ済みの画像データ上に重畳表示させる処理を行う。

端末表示装置２の主制御部３９は、ＣＰＵ（Central Processing Unit）などの制御演
算回路であり、表示部３１、タッチ検出部３２、記憶部３３、通信部３４、画面キャプチャ部３５、キャプチャメモリ部３６、手書き入力部、および、画像編集部３８を制御する。

図３は、手書き画像表示システム１において、主表示装置２と表示端末装置３が画面データを共有し、主表示装置２から画面データを受信した表示端末装置３が任意のタイミングで画面データをキャプチャし、適宜手書き入力とデータ保存を行うことを示す手書き画像表示システムにおける処理概念図である。

主表示装置２は、Ａで電子会議アプリケーションプログラムを主催者モードで起動し、Ｂで会議を開始するに当たり、会議資料として初期頁の画面データの表示を行うと共に、ＣＤＥのように順次資料の頁を変更することで会議を進行する。尚、画面データの初期頁の表示以降、通信接続されている端末表示装置があれば、その時の画面データが端末表示装置に送信される。

一方、端末表示装置３は、Ｆで電子会議アプリケーションプログラムを参加者モードで起動し、Ｇで主表示装置２から送信される頁１の画面データの表示を行い、主表示装置２が表示されている画面データを更新した時、Ｈで更新された頁２の画面データを受信して表示する。

この時、端末表示装置３で画面データに手書きでメモを残したい時、ユーザはＩでキャプチャボタンを押し、画面データを固定する。その状態において、適宜手書き入力を行うと共にキャプチャデータとして保存し、Ｊで画面共有モードに戻るが、一方、主表示装置２では会議が進行し、主表示装置２の画面データがＥのように頁４に進んでいた場合、端末表示装置３の表示は、主表示装置２の画面データである頁４が表示される。

図４、図５、および、図６は、手書き画像表示システム１の第１の実施の形態としての具体的な動作を示すフローチャートであり、図４が、主表示装置２の処理を示すフローチャートであり、図５、および、図６が端末表示装置３の処理を示すフローチャートである
。

図８乃至図１１は、手書き画像表示システム１の主表示装置２と、端末表示装置３の各々の表示画面の形態を示す図である。尚、これらはあくまでも一例であり、本発明の実施においては様々な変形実施が可能であることは言うまでもない。

図４は、手書き画像表示システム１の主表示装置２のメイン処理としての具体的動作を示す図であり、まず、ステップＳ１において、図示しない電子会議アイコンにより電子会議アプリケーションプログラムを主催者モードで起動し、ステップＳ２に進む。尚、この時、主表示装置では既に何等かの画像データが表示されているか、または、電子会議アイコンにより電子会議アプリケーションプログラムを主催者モードで起動した後に記憶部２３から画像データを読み出して表示しているものとする。

ステップＳ２では、端末表示装置３からの通信要求を受信したかどうかが判断され、通信開始要求を受信した場合、ステップＳ３に進み、通信要求を受信していない場合、ステップＳ４に進む。

ステップＳ３では、要求元の端末表示装置３に対して画像データを送信し、端末表示装置３で主表示装置１の表示画像データを表示し、ステップＳ４に進む。尚、この時の、手書き画像表示システム1における主表示装置２の表示画像データ２１と、端末表示装置３
の画像データ３１は、図８の通り互いに同じ画像データが表示される。尚、４０は電子会議アプリケーションプログラムの機能アイコン４０であり、詳細は後述する。

ステップＳ４では、他の端末表示装置からの通信要求を受信したかどうかが判断され、ｙｅｓの場合、ステップＳ３に戻って画像データ送信を行い、ｎｏの場合ステップＳ５に進む。

ステップＳ５では、電子会議アプリケーションプログラム上で表示する画像データが更新されたかどうかが判断される。頁の変更は、図示しない「次頁」アイコン等によって行われ、ｙｅｓの場合、ステップＳ２に戻り通信要求のある端末表示装置に画像データを送信し、ｎｏの場合、ステップＳ６に進む。

ステップＳ６では、図示しない終了アイコンが指定されたかどうかが判断され、ｎｏの場合は、終了アイコンが指定されるまでこのステップが繰り返され、ｙｅｓの場合は、ステップＳ７に進む。

図５は、手書き画像表示システム１の端末表示装置３のメイン処理としての具体的動作を示すフローチャートであり、まずステップＳ１１において、図示しない電子会議アイコンにより電子会議アプリケーションプログラムを参加者モードで起動し、ステップＳ１２に進む。

ステップＳ１２では、図示しないが、接続可能な通信相手が表示され、任意の接続可能先を選択し、ステップＳ１３に進む。

ステップＳ１３では、通信部２４によって指定先の装置に対して通信開始要求を送信し、ステップＳ１４に進む。尚、ここでは、主表示装置２に対して通信開始要求を行うものとする。

ステップＳ１４では、通信が接続された主表示装置２に対して、図９に示す、電子会議アプリケーションプログラムの機能アイコン４０の中の画面共有アイコン４１を押下する
ことで、通信部２４によって画面データの送信を要求し、ステップＳ１５に進む。

ステップＳ１５では、主表示装置２から画面データを受信し、表示部３１で表示を行い、ステップＳ１６に進む。尚、ステップＳ１５では、主表示装置２の画面データが更新される都度、画面データを受信するものとする。この時の状態を示す図が図８であり、主表示装置２の表示部２１に表示されている画面と、端末表示装置３の表示部３１に表示されている画面とは同じ画面となっている。

ステップＳ１６では、キャプチャアイコンが押されたかどうかが判断され、ｙｅｓの場合、ステップＳ１８に進みキャプチャモード処理のサブルーチンに進み、ｎｏの場合、ステップＳ１７に進む。尚、図９の４２がキャプチャアイコンの一例である。

ステップＳ１７では、図示しない終了ボタンが押されたかどうかが判断され、ｎｏの場合は、ステップＳ１４に戻り、ｙｅｓの場合は、電子会議アプリケーションプログラムを終了する。

図６は、図５のステップＳ１８のキャプチャモード処理のサブルーチンを示すフローチャートであり、ステップＳ２１で画面キャプチャーメモ機能を起動し、ステップＳ２２に進む。画面キャプチャーメモ機能の起動は、具体的には、図９に示す、電子会議アプリケーションプログラムの機能アイコン４０の中のキャプチャアイコン４２を押下することで処理が行われる。

ステップＳ２２では、画面キャプチャ部３５の処理プログラムによって、表示中の画面データがキャプチャされ、キャプチャメモリ部３６に格納され、ステップＳ２３に進む。尚、この時の状態を示す図が図１０であり、主表示装置２の表示データが拡大されたとしても、端末表示装置３の表示データは拡大されていない状態を示している。

ステップＳ２３では、図９に記載の編集アイコン４３が押下されたかどうかが判断され、ｎｏの場合、ステップＳ２９に進み、ｙｅｓの場合、編集機能を起動してステップＳ２４に進む。

ステップＳ２４では、表示装置２用の図示しない専用ペン等によって手書き入力が行われ、ステップＳ２５に進む。尚、この時の状態を示す図が図１１であり、日本地図の画面データ上に「日本地図」と手書き入力された状態を示している。

ステップＳ２５では、図９に記載のメモを保存アイコン４４が押下されたかどうかが判断され、ｎｏの場合、ステップＳ２９に進み、ｙｅｓの場合、保存機能を起動してステップＳ２６に進む。

ステップＳ２６では、図示しないメニュー画面の中からユーザが選択する保存形式でデータが保存され、次のステップに進む。

ステップＳ２７では、キャプチャ画像と手書き部分の合成結果をラスタ画像データとして保存し、ステップＳ２８では、手書き部分のみをストロークデータとして保存し、ステップＳ２９に進む。

ステップＳ２９では、図９の図面共有アイコン４１が押されたかどうかが判断され、ｎｏの場合、ステップＳ２３に戻り、ｙｅｓの場合、図５のステップＳ１８に戻る。

図７は、手書き画像表示システム１の第２の実施の形態としての具体的な動作を示すフ
ローチャートであり、図５のステップＳ１８のキャプチャモード処理のサブルーチンを示すフローチャートであり、図６の端末表示装置３の処理にステップＳ３０を追加したフローチャートである。

ステップＳ３０では、主表示装置１に保存データを送信する処理を行いステップＳ２９に進む。主表示装置１では、個々の端末表示装置３から送信されてきた保存データをユーザが確認可能となり、会議内容に対する意見を収集できる効果を有する。

また、図示していないが、第３の実施形態として、端末表示装置は、保存データを一覧表示としてサムネイル表示も可能である。例えば、端末表示装置３で保存した保存データをサムネイル表示することで、端末表示装置を使用している個々のユーザが、どの会議資料に対してメモを残したかが容易に確認できるという効果を有する。

以上のように構成される手書き画像表示システムの主表示装置２の記憶部２３に記憶される表示プログラムは、表示部２１、および、タッチパネルを有するタッチ検出部２２を備える装置を主表示装置２として機能させるプログラムであり、
手書き画像表示システムの端末表示装置３の記憶部３３に記憶される表示プログラム、および、画面キャプチャ部３５に記憶される制御プログラムは、表示部３１、および、タッチパネルを有するタッチ検出部３２を備える装置を端末表示装置３として機能させるプログラムである。

この表示プログラムは、従来公知の、コンピュータ読み取り可能な記録媒体に記録できる。上記表示プログラムを記録媒体に記録することで、表示プログラムに基づく処理を実行するためのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラムなど）を記録した記録媒体を持ち運び自在に提供することができる。

なお、記録媒体は、マイクロコンピュータが処理を行うためのメモリ、たとえばＲＯＭ（Read Only Memory）のようなプログラムメディアであってもよいし、または、コンピュータが外部記憶装置として備えるプログラム読取装置に挿入することで読み取られるプログラムメディアであってもよい。

記録媒体に格納されているプログラムは、マイクロプロセッサが記録媒体にアクセスして実行する方式であってもよいし、または、マイクロプロセッサが記録媒体からプログラムコードを読み出し、読み出されたプログラムコードがマイクロコンピュータのプログラム記憶エリアにダウンロードされることで、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。

ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープ、カセットテープなどのテープ系、フレキシブルディスク、ハードディスクなどの磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory）、ＭＯ（Magneto Optical disc）、ＭＤ（Mini Disc）、ＤＶＤ（Digital Versatile Disc）などの光ディスクのディスク系、ＩＣカード（メモリカードを含む）、光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（登録商標）、フラッシュＲＯＭなどによる半導体メモリを含めた固定的にプログラムコードを担持する媒体であってもよい。

また、主表示装置、および、端末表示装置が、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、記録媒体は、通信ネットワークからプログラムコードをダウンロードするように、流動的にプログラムコードを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、その
ダウンロード用のプログラムは予め本体装置に格納しておくか、または他の記録媒体からインストールしておく。また、上記表示プログラムは、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

また、上述した実施形態によれば、主表示装置の表示画面を端末表示装置に送信し、端末表示装置で主表示装置の表示データを表示するものにおいて、端末表示装置側で表示されるアイコンへの指示により表示画面をキャプチャし、任意の手書き入力を行うことが可能であるため、例えば、会議システムにおいて、会議に参加している個人単位で独自に電子会議資料にメモ等が残せるようになり、利便性の高い手書き画像表示システムとなる。

また、主表示装置に対して、各々の端末表示装置から資料に対する手書きデータが送信されてくるため、主表示装置側で各々の端末表示装置からの送信データを会議意見として収集可能となり、会議の主催者として利便性の高い手書き画像表示システムとなる。

また、端末表示装置で保存したデータをサムネイル表示することで、会議の参加者が、どの会議資料に対してメモを残したかが容易に判別することができる。

また、主表示装置、及び、端末表示装置を、前記手書き画像表示システムとして機能させることができる。

１ 手書き画像表示システム
２ 主表示装置
３ 端末表示装置
２１、３１ 表示部
２２、３２ タッチ検出部
２３、３３ 記憶部
２４、３４ 通信部
２５、３９ 主制御部
３５ 画面キャプチャ部
３６ キャプチャメモリ部
３７ 手書き入力部
３８ 画像編集部

Claims (5)

1. 画像データを表示する表示部を有する端末表示装置は、
   表示装置と通信接続し、画像データの受信もしくは送信を行う通信部と、
   前期表示部に前記通信部にて受信した前記画像データを表示する制御部と、
   前記表示部に表示している画像データをキャプチャするキャプチャ部と、
   前記キャプチャ部によりキャプチャされた画像データに手書き入力を行う手書き入力部と、
   を備え、
   前記制御部は、前記表示部に表示されている画像データを前記キャプチャ部にてキャプチャする指示アイコンと、前記手書き入力部により手書き入力された画像データを前記通信部により表示装置へ送信する指示アイコンを、画像データに重畳して表示することを特徴とする端末表示装置。
2. 前記端末表示装置は、前記キャプチャ部でキャプチャされた画像、または前記キャプチャ部でキャプチャされた画像と前記手書き入力部で入力された画像データとを合成した合成画像を記憶する記憶部を更に備えることを特徴とする請求項１に記載の端末表示装置。
3. 前記通信部は、前記キャプチャ部でキャプチャされた画像、または前記キャプチャ部でキャプチャされた画像と前記手書き入力部で入力された画像データとを合成した合成画像を、前記表示装置に送信することを特徴とする請求項１または２に記載の端末表示装置。
4. 画像データを表示する表示部を有する端末表示装置の表示方法において、
   表示装置と通信接続し、前記画像データの受信を行うステップと、
   前期表示部に前記通信部にて受信した前記画像データを表示するステップと、
   前記表示部に表示されている画像データを前記キャプチャ部にてキャプチャする指示アイコンを表示するステップと、
   前記表示部に表示している前記画像データをキャプチャするステップと、
   前記キャプチャ部によりキャプチャされた画像データに手書き入力を行ステップと、
   前記手書き入力部により手書き入力された画像データを前記通信部により表示装置へ送信する指示アイコンを、前記画像データに重畳して表示するステップと、
   を含むことを特徴とする表示方法。
5. コンピュータに、
   表示装置と通信接続し、画像データの受信もしくは送信を行う通信機能と、
   表示部に前記通信部にて受信した前記画像データを表示する制御機能と、
   前記表示部に表示している画像データをキャプチャするキャプチャ機能と、
   前記キャプチャ部によりキャプチャされた画像データに手書き入力を行う手書き入力機能と、
   を含み、
   前記制御機能は、前記表示部に表示されている画像データを前記キャプチャ部にてキャプチャする指示アイコンと、前記手書き入力部により手書き入力された画像データを前記通信部により表示装置へ送信する指示アイコンを、画像データに重畳して表示する、
   ことを実現させるためのプログラム。

Images