JP2022066915A - 表示入力装置、プログラム、及び表示入力方法 - Google Patents

Abstract

【課題】死角領域へ書き込まれた書き込みコンテンツの内容を近傍者が理解し易いように死角領域外の表示可能領域に表示できる表示入力装置を提供すること。【解決手段】表示部にコンテンツを表示する表示制御手段と、表示部に対する操作を受け付ける操作受付手段と、操作を入力する操作者以外の近傍者の死角となる死角領域を表示部の表示可能領域から決定する死角領域決定手段と、死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを表示部に表示されているコンテンツから決定する関連コンテンツ決定手段とを有し、表示制御手段は、死角領域へ書き込まれた書き込みコンテンツと、書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示することにより上記課題を解決する。【選択図】図３

Description

本発明は、表示入力装置、プログラム、及び表示入力方法に関する。

例えばデジタルサイネージを操作する操作者は、コンテンツが表示される表示面の近くに位置する。このため、デジタルサイネージを操作している操作者よりも後方に位置する者は、表示面の一部が操作者に隠れて、コンテンツの一部を視認することができないという問題がある。例えば操作者による操作を可能にしつつ、近傍者がコンテンツを閲覧できるようにするため、表示面中で近傍者の死角となる死角領域を決定し、決定された死角領域以外の表示可能領域にコンテンツを表示する技術は従来から知られている（例えば特許文献１参照）。

例えば死角領域へ書き込まれる書き込みコンテンツは、表示領域に表示済みの画像又は書き込みなどのコンテンツと関連した書き込みである場合がある。書き込まれる書き込みコンテンツに関連したコンテンツを関連コンテンツと呼ぶ。死角領域へ書き込まれた書き込みコンテンツを、死角領域外の表示可能領域に表示する場合は、関連コンテンツとの関連が分からず、書き込みコンテンツの内容が理解できないという問題があった。

本発明の実施の形態は、死角領域へ書き込まれた書き込みコンテンツの内容を近傍者が理解し易いように死角領域外の表示可能領域に表示できる表示入力装置を提供することを目的とする。

上記した課題を達成するために本願請求項１の表示入力装置は、表示部にコンテンツを表示する表示制御手段と、前記表示部に対する操作を受け付ける操作受付手段と、前記操作を入力する操作者以外の近傍者の死角となる死角領域を前記表示部の表示可能領域から決定する死角領域決定手段と、前記死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを前記表示部に表示されているコンテンツから決定する関連コンテンツ決定手段とを有し、前記表示制御手段は、前記死角領域へ書き込まれた書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示することを特徴とする。

本発明の実施形態によれば、死角領域へ書き込まれた書き込みコンテンツの内容を近傍者が理解し易いように死角領域外の表示可能領域に表示できる。

本実施形態に係る電子黒板の一例のハードウェア構成図である。 本実施形態に係る電子黒板の一例の機能ブロック図である。 死角領域に書き込まれた書き込みコンテンツ及び関連コンテンツの一例について説明するための図である。 本実施形態に係る電子黒板の処理の一例のフローチャートである。 書き込みコンテンツと画像との重なりを判断する処理の一例の説明図である。 死角領域に書き込まれた書き込みコンテンツ及び関連コンテンツの一例について説明するための図である。 本実施形態に係る電子黒板の処理の一例のフローチャートである。 書き込みコンテンツから所定距離内に表示された他の書き込みコンテンツを判断する処理の一例の説明図である。 死角領域に書き込まれた書き込みコンテンツ及び関連コンテンツの一例について説明するための図である。 本実施形態に係る電子黒板の処理の一例のフローチャートである。 書き込みコンテンツの書き込み時刻から所定時間内に表示された他の書き込みコンテンツを判断する処理の一例の説明図である。 本実施形態に係る電子黒板の処理の一例のフローチャートである。 書き込みコンテンツの書き込み時刻から所定時間内に表示された添付された画像を判断する処理の一例の説明図である。 関連コンテンツの判断条件の設定画面の一例のイメージ図である。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下では表示部にコンテンツを表示し、表示部に対する操作を受け付ける表示入力装置の一例である電子黒板１について説明するが、電子黒板１に限定するものではない。

［第１の実施形態］
＜電子黒板のハードウェア構成＞
図１を用いて、本発明の実施形態に係る電子黒板１の全体構成を説明する。図１は本実施形態に係る電子黒板の一例のハードウェア構成図である。電子黒板１は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ／Ｆ(Interface)２０５、及び、外部機器接続Ｉ／Ｆ２０６を備える。

ＣＰＵ２０１は電子黒板１全体の動作を制御する。ＲＯＭ２０２はＣＰＵ２０１又はＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３はＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は電子黒板１用のプログラム等の各種データを記憶する。ネットワークＩ／Ｆ２０５は、ネットワークを介した通信を制御する。

外部機器接続Ｉ／Ｆ２０６は各種の外部機器を接続するインタフェースである。外部機器は、例えばＵＳＢ(Universal Serial Bus)メモリ２３０、及び外付け機器である。外付け機器は、例えばマイク２４０、スピーカ２５０、及びカメラ２６０である。

また、電子黒板１は、キャプチャデバイス２１１、ＧＰＵ(Graphics Processing Unit)２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、近距離通信回路２１９のアンテナ２１９ａ、電源スイッチ２２２、及び選択スイッチ類２２３を備える。

キャプチャデバイス２１１は外付けのＰＣ(Personal Computer)２７０のディスプレイに対して映像情報を静止画又は動画として表示させる。ＧＰＵ２１２はグラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３はＧＰＵ２１２からの出力画像をディスプレイ２８０等へ出力するために画面表示の制御及び管理を行う。ディスプレイ２８０は表示部の一例である。

接触センサ２１４はディスプレイ２８０上に電子ペン２９０又はユーザの手Ｈ等が接触したことを検知する。センサコントローラ２１５は接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。赤外線遮断方式による座標の入力及び座標の検出を行う方法は、例えばディスプレイ２８０の端部に設置された受発光装置が、ディスプレイ２８０に平行して複数の赤外線を放射する。受発光装置は、ディスプレイ２８０の周囲に設けられた反射部材によって反射されて、放射した光の光路と同一の光路上を戻って来る光を受光する。

接触センサ２１４は、物体によって遮断され、受信できなかった赤外線のＩＤをセンサコントローラ２１５に出力する。センサコントローラ２１５は物体の接触位置である座標位置を特定する。電子ペンコントローラ２１６は電子ペン２９０と通信し、ディスプレイ２８０へのペン先のタッチやペン尻のタッチの有無を判断する。

近距離通信回路２１９はＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ２２２は、電子黒板１の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類２２３は、例えば、ディスプレイ２８０の表示の明暗や色合い等を調整するためのスイッチ群である。電子黒板１はバスライン２１０を備える。バスライン２１０は図２に示したＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

接触センサ２１４は赤外線遮断方式に限らず、静電容量方式、抵抗膜方式、又は電磁誘導方式など、種々の方式を用いてもよい。静電容量方式のタッチパネルは静電容量の変化を検知することにより接触位置を特定する。抵抗膜方式のタッチパネルは対向する２つの抵抗膜の電圧変化によって接触位置を特定する。電磁誘導方式のタッチパネルは接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する。

電子ペンコントローラ２１６は電子ペン２９０のペン先及びペン尻だけでなく、電子ペン２９０のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

なお、本実施形態では特に明記しない限り、ＣＰＵ２０１がＲＡＭ２０３をワークエリアとして使用して、プログラムに従った処理を実行する。

＜電子黒板の機能構成＞
次に、図２を用いて、電子黒板１が有する機能について説明する。図２は、本実施形態に係る電子黒板の一例の機能ブロック図である。電子黒板１が有する各機能は、図１に示した各構成要素の何れかが、ワークエリアに展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

電子黒板１は、操作受付部１０、位置検出部１２、コンテンツ情報保持部１４、関連コンテンツ決定部１６、死角領域決定部１８、及び表示制御部２０を備える。なお、図２は本実施形態の説明に不要な機能についての図示を省略している。

操作受付部１０は、図１に示したＣＰＵ２０１からの命令、接触センサ２１４、電子ペンコントローラ２１６等により実現されており、検知した操作者の手Ｈ等の接触や電子ペン２９０の操作など、ディスプレイ２８０に対する操作を受け付ける。操作受付部１０が操作者から受け付けるディスプレイ２８０に対する操作は、コンテンツの書き込み、又は画像の添付などである。例えば操作受付部１０は、操作者の手Ｈ等の接触した位置又は電子ペン２９０の接触した位置の座標データを求め、操作者による手書き入力を書き込みコンテンツとして受け付けることができる。手書き入力とは、操作者の手Ｈ等の接触している座標の軌跡を用いた入力である。

位置検出部１２は、図１に示したＣＰＵ２０１がＲＡＭ２０３をワークエリアとして使用して、プログラムに従った処理を実行することによって実現される。位置検出部１２はカメラ２６０が撮影した画像から、電子黒板１の操作者、及び操作者以外の近傍者の位置を検出する。位置検出部１２は電子黒板１の操作者及び近傍者の位置を赤外線センサ、距離センサ、又はサーモセンサなどを利用して検出してもよい。カメラ２６０が撮影した画像から電子黒板１の操作者、及び操作者以外の近傍者の位置を検出する処理は既存の技術を用いることができる。また、電子黒板１の操作者及び近傍者の位置を赤外線センサ、距離センサ、又はサーモセンサなどを利用して検出する処理も既存の技術を用いることができる。位置検出部１２はディスプレイ２８０に対する操作者の操作により書き込まれた書き込みコンテンツの位置から、操作者及び近傍者の位置を推定して検出してもよい。

コンテンツ情報保持部１４は、図１に示したＣＰＵ２０１からの命令、図１に示されているＳＳＤ２０４等により実現される。コンテンツ情報保持部１４は操作者によるディスプレイ２８０に対する操作により書き込まれたコンテンツ（以下、書き込みコンテンツと呼ぶ）及び添付された画像などのコンテンツの位置、サイズ、及び時間を保持する。

関連コンテンツ決定部１６は、図１に示したＣＰＵ２０１がＲＡＭ２０３をワークエリアとして使用して、プログラムに従った処理を実行することによって実現される。関連コンテンツ決定部１６は死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを、ディスプレイ２８０に添付された画像や表示済みの書き込みコンテンツから後述のように決定する。

死角領域とは近傍者から電子黒板１を見る場合に、操作者の体等により隠れて見えない近傍者の死角となる電子黒板１の表示可能領域である。死角領域決定部１８は、図１に示したＣＰＵ２０１がＲＡＭ２０３をワークエリアとして使用して、プログラムに従った処理を実行することによって実現される。死角領域決定部１８は位置検出部１２が検出した操作者及び近傍者の位置に基づき、近傍者の死角領域を決定する。操作者及び近傍者の位置に基づき、近傍者の死角領域を決定する処理は、例えば特開２０１７－１６８０３９号公報に記載された技術など、既存の技術を用いることができる。

表示制御部２０は図１に示したＣＰＵ２０１からの命令、ＧＰＵ２１２、ディスプレイコントローラ２１３等により実現される。表示制御部２０は書き込みコンテンツ及び画像などのディスプレイ２８０への表示に関する制御を行う。例えば表示制御部２０は、死角領域内へ書き込まれた書き込みコンテンツと、その書き込みコンテンツに関連する関連コンテンツとを、死角領域外（操作者の体等により隠れておらず、近傍者から見ることのできる領域）の表示可能領域に表示する制御を行う。

＜書き込みコンテンツ及び関連コンテンツの表示例１＞
図３は死角領域に書き込まれた書き込みコンテンツ及び関連コンテンツの一例について説明するための図である。図３（ａ）は画像１００２が表示されている状態の電子黒板１の死角領域１０００に、書き込みコンテンツ１００４を書き込んでいる。画像１００２はディスプレイ２８０に表示されているコンテンツの一例であって、例えばディスプレイ２８０に添付された画像である。

書き込みコンテンツ１００４は、死角領域１０００に書き込まれている。死角領域１０００に書き込まれた書き込みコンテンツ１００４は、一部が画像１００２上に重なるように表示されている。関連コンテンツ決定部１６は画像１００２を、死角領域１０００へ書き込まれた書き込みコンテンツ１００４に関連する関連コンテンツとして決定する。

図３（ｂ）は死角領域１０００へ書き込まれた書き込みコンテンツ１００４と、その書き込みコンテンツ１００４に関連する関連コンテンツである画像１００２とを、死角領域外の領域１００６に表示している。

図４は本実施形態に係る電子黒板の処理の一例のフローチャートである。ステップＳ１０において、電子黒板１の位置検出部１２は、例えばカメラ２６０が撮影した画像、各種センサの出力信号、操作者の操作により書き込まれた書き込みコンテンツの位置などを利用して、電子黒板１の操作者、及び操作者以外の近傍者の位置を検出する。

ステップＳ１２において、死角領域決定部１８は位置検出部１２が検出した操作者及び近傍者の位置に基づき、近傍者の死角領域を決定する。ステップＳ１４において、操作受付部１０は検知した操作者の手Ｈ等の接触や電子ペン２９０の操作など、ディスプレイ２８０に対する操作を受け付ける。操作受付部１０は操作者の手Ｈ等の接触した位置又は電子ペン２９０の接触した位置の座標データを求め、操作者による手書き入力を書き込みコンテンツとして検出する。

ステップＳ１６において、コンテンツ情報保持部１４は操作者によるディスプレイ２８０に対する操作により書き込まれた書き込みコンテンツの位置、サイズ、及び時間をコンテンツ情報として保持する。

ステップＳ１８において、関連コンテンツ決定部１６はステップＳ１４で検出した書き込みコンテンツが死角領域内にあるか否かを判定する。死角領域内になければ、関連コンテンツ決定部１６はステップＳ１０に戻る。死角領域内にあれば、関連コンテンツ決定部１６はステップＳ２０の処理を行う。

ステップＳ２０において、関連コンテンツ決定部１６はステップＳ１４で検出した書き込みコンテンツを囲んだ矩形領域内に、ディスプレイ２８０に添付された画像の領域が重なっているか否かを判定する。例えば図３の例では、ステップＳ１４で検出した書き込みコンテンツ１００４を囲んだ矩形領域内に、ディスプレイ２８０に添付された画像１００２の領域が重なっているか否かを判定する。

ステップＳ１４で検出した書き込みコンテンツを囲んだ矩形領域内に、ディスプレイ２８０に添付された画像の領域が重なっていれば、関連コンテンツ決定部１６はステップＳ２２の処理を行う。関連コンテンツ決定部１６はディスプレイ２８０に添付された画像を関連コンテンツとして決定する。表示制御部２０は、決定した関連コンテンツとステップＳ１４で検出した書き込みコンテンツとを表示コンテンツとして、一つの矩形領域を算出する。例えば図３の例では、決定した関連コンテンツである画像１００２とステップＳ１４で検出した書き込みコンテンツ１００４とを表示コンテンツとして、一つの矩形領域を算出する。

また、ステップＳ１４で検出した書き込みコンテンツを囲んだ矩形領域内に、ディスプレイ２８０に添付された画像の領域が重なっていなければ、関連コンテンツ決定部１６はステップＳ２４の処理を行う。表示制御部２０は、ステップＳ１４で検出した書き込みコンテンツを表示コンテンツとして、矩形領域を算出する。

ステップＳ２６において、表示制御部２０はステップＳ２２又はＳ２４で算出した矩形領域とステップＳ１２で決定した死角領域とに基づき、死角領域外で表示できる領域１００６を算出し、表示コンテンツを表示する。なお、ステップＳ２６において、表示制御部２０は例えば死角領域外で最大限表示できる領域１００６を算出する。また、表示制御部２０は例えば算出した領域１００６に表示コンテンツを縮小して表示する。

ステップＳ１４で検出した書き込みコンテンツを囲んだ矩形領域内に、ディスプレイ２８０に添付された画像の領域が重なっているか否かを判定するステップＳ２０の処理は例えば図５に示すように行う。図５は書き込みコンテンツと画像との重なりを判断する処理の一例の説明図である。

コンテンツ情報保持部１４は、書き込み情報として、書き込み座標一覧、コンテンツ位置、コンテンツサイズ、開始時刻、及び終了時刻を保持する。また、コンテンツ情報保持部１４は、ディスプレイ２８０に添付された画像の画像情報として、コンテンツ位置、コンテンツサイズ、及び添付時刻を保持する。

関連コンテンツ決定部１６は、書き込みコンテンツ１００４の矩形領域の範囲内に添付された画像１００２の矩形領域が入っているか（重なっているか）否かを、コンテンツ位置及びコンテンツサイズで判断する。

図３～図５に示した処理によれば、電子黒板１は操作者が死角領域に書き込んだ書き込みコンテンツ１００４と、その書き込みコンテンツ１００４と関連性が高いと考えられる関連コンテンツの画像１００２とを一緒に、死角領域外の領域１００６に表示できる。近傍者は死角領域外の領域１００６で死角領域に書き込んだ書き込みコンテンツ１００４だけでなく、その書き込みコンテンツ１００４の関連コンテンツである画像１００２を一緒に閲覧できるので、書き込みコンテンツ１００４の理解が容易となる。このように、電子黒板１は死角領域１０００に書き込まれた書き込みコンテンツ１００４の内容を、近傍者が理解し易いように死角領域外の表示可能領域に表示できる。

＜書き込みコンテンツ及び関連コンテンツの表示例２＞
図６は死角領域に書き込まれた書き込みコンテンツ及び関連コンテンツの一例について説明するための図である。図６（ａ）は書き込みコンテンツ１０１０及び１０１２が表示されている状態の電子黒板１の死角領域１０００に、書き込みコンテンツ１０１４を書き込んでいる。書き込みコンテンツ１０１０及び１０１２はディスプレイ２８０に表示済みの書き込みコンテンツの一例である。

書き込みコンテンツ１０１４は、死角領域１０００に書き込まれている。死角領域１０００に書き込まれた書き込みコンテンツ１０１４は、書き込みコンテンツ１０１２から所定距離（一定距離）内に表示されている。関連コンテンツ決定部１６は書き込みコンテンツ１０１２を、死角領域１０００へ書き込まれた書き込みコンテンツ１０１４に関連する関連コンテンツとして決定する。

図６（ｂ）は死角領域１０００へ書き込まれた書き込みコンテンツ１０１４と、その書き込みコンテンツ１０１４に関連する関連コンテンツである書き込みコンテンツ１０１２とを、死角領域外の領域１０１６に表示している。

図７は本実施形態に係る電子黒板の処理の一例のフローチャートである。なお、図７に示したフローチャートの処理は一部を除いて図４と同様であり、適宜説明を省略する。ステップＳ３０～Ｓ３８の処理は図４のステップＳ１０～Ｓ１８と同様である。

ステップＳ４０において、関連コンテンツ決定部１６はステップＳ３４で検出した書き込みコンテンツを囲んだ矩形領域を一定サイズ拡大した拡大矩形領域内に、他の書き込みコンテンツの矩形領域が重なっているか否かを判定する。例えば図６の例では、ステップＳ３４で検出した書き込みコンテンツ１０１４の拡大矩形領域内に、他の書き込みコンテンツ１０１０及び１０１２の領域が重なっているか否かを判定する。

ステップＳ３４で検出した書き込みコンテンツの拡大矩形領域内に、他の書き込みコンテンツ１０１０及び１０１２の領域の少なくとも一方が重なっていれば、関連コンテンツ決定部１６はステップＳ４２の処理を行う。関連コンテンツ決定部１６はステップＳ３４で検出した書き込みコンテンツの拡大矩形領域内に、領域が重なっている他の書き込みコンテンツ１０１０及び１０１２の領域の少なくとも一方を、関連コンテンツとして決定する。表示制御部２０は、決定した関連コンテンツとステップＳ３４で検出した書き込みコンテンツとを表示コンテンツとして、一つの矩形領域を算出する。例えば図６の例では、決定した関連コンテンツである書き込みコンテンツ１０１２とステップＳ３４で検出した書き込みコンテンツ１０１４とを表示コンテンツとして、一つの矩形領域を算出する。

また、ステップＳ３４で検出した書き込みコンテンツの拡大矩形領域内に、他の書き込みコンテンツ１０１０又は１０１２の領域が重なっていなければ、関連コンテンツ決定部１６はステップＳ４４の処理を行う。表示制御部２０は、ステップＳ３４で検出した書き込みコンテンツを表示コンテンツとして、矩形領域を算出する。

ステップＳ４６において、表示制御部２０はステップＳ４２又はＳ４４で算出した矩形領域とステップＳ３２で決定した死角領域とに基づき、死角領域外で表示できる領域１０１６を算出し、表示コンテンツを表示する。なお、ステップＳ４６において、表示制御部２０は例えば死角領域外で最大限表示できる領域１０１６を算出する。また、表示制御部２０は例えば算出した領域１０１６に表示コンテンツを縮小して表示する。

ステップＳ３４で検出した書き込みコンテンツの拡大矩形領域内に、他の書き込みコンテンツ１０１０及び１０１２の領域の少なくとも一方が重なっているか否かを判定するステップＳ４０の処理は例えば図８に示すように行う。図８は書き込みコンテンツから所定距離内に表示された他の書き込みコンテンツを判断する処理の一例の説明図である。

コンテンツ情報保持部１４は、書き込みコンテンツ１０１４及び他の書き込みコンテンツ１０１２の書き込み情報として、書き込み座標一覧、コンテンツ位置、コンテンツサイズ、開始時刻、及び終了時刻を保持する。関連コンテンツ決定部１６は、書き込みコンテンツ１０１４の矩形領域を一定サイズ拡大させた矩形領域１０１８の範囲内に、他の書き込みコンテンツ１０１２の矩形領域が入っているか（重なっているか）否かを、コンテンツ位置及びコンテンツサイズで判断する。

図６～図８に示した処理によれば、電子黒板１は操作者が死角領域に書き込んだ書き込みコンテンツ１０１４と、その書き込みコンテンツ１０１４と関連性が高いと考えられる関連コンテンツの他の書き込みコンテンツ１０１２とを一緒に、死角領域外の領域１０１６に表示できる。近傍者は死角領域外の領域１０１６で死角領域に書き込んだ書き込みコンテンツ１０１４だけでなく、その書き込みコンテンツ１０１４の関連コンテンツである他の書き込みコンテンツ１０１２を一緒に閲覧できるので、書き込みコンテンツ１０１４の理解が容易となる。このように、電子黒板１は死角領域１０００に書き込まれた書き込みコンテンツ１０１４の内容を、近傍者が理解し易いように死角領域外の表示可能領域に表示できる。

＜書き込みコンテンツ及び関連コンテンツの表示例３＞
図９は死角領域に書き込まれた書き込みコンテンツ及び関連コンテンツの一例について説明するための図である。図９（ａ）は書き込みコンテンツ１０１０及び１０１２が表示されている状態の電子黒板１の死角領域１０００に、書き込みコンテンツ１０１４を書き込んでいる。書き込みコンテンツ１０１０及び１０１２はディスプレイ２８０に表示済みの書き込みコンテンツの一例である。

書き込みコンテンツ１０１０は書き込み時刻が「０：１０」である。書き込みコンテンツ１０１２は書き込み時刻が「０：４０」である。書き込みコンテンツ１０１４は書き込み時刻が「０：４３」である。

書き込みコンテンツ１０１４は、死角領域１０００に書き込まれている。死角領域１０００に書き込まれた書き込みコンテンツ１０１４は、書き込みコンテンツ１０１２の書き込み時刻「０：４０」から所定時間（一定時間）内である書き込み時刻「０：４３」に表示されている。関連コンテンツ決定部１６は書き込みコンテンツ１０１２を、死角領域１０００へ書き込まれた書き込みコンテンツ１０１４に関連する関連コンテンツとして決定する。

図９（ｂ）は死角領域１０００へ書き込まれた書き込みコンテンツ１０１４と、その書き込みコンテンツ１０１４に関連する関連コンテンツである書き込みコンテンツ１０１２とを、死角領域外の領域１０１６に表示している。

図１０は本実施形態に係る電子黒板の処理の一例のフローチャートである。なお、図１０に示したフローチャートの処理は一部を除いて図４又は図７と同様であり、適宜説明を省略する。ステップＳ５０～Ｓ５８の処理は、例えば図４のステップＳ１０～Ｓ１８と同様である。

ステップＳ６０において、関連コンテンツ決定部１６はステップＳ５４で検出した書き込みコンテンツの書き込み時刻から所定時間内に、他の書き込みコンテンツの書き込み時刻があるか否かを判定する。例えば図９の例では、ステップＳ５４で検出した書き込みコンテンツ１０１４の書き込み時刻と、他の書き込みコンテンツ１０１０及び１０１２の書き込み時刻とを比較する。そして、図９の例では書き込みコンテンツ１０１４の書き込み時刻から所定時間内の書き込み時刻の書き込みコンテンツがあるか否かを判定する。

ステップＳ５４で検出した書き込みコンテンツの書き込み時刻から所定時間内の書き込み時刻の他の書き込みコンテンツがあれば、関連コンテンツ決定部１６はステップＳ６２の処理を行う。関連コンテンツ決定部１６はステップＳ５４で検出した書き込みコンテンツの書き込み時刻から所定時間内の書き込み時刻の他の書き込みコンテンツ１０１２を関連コンテンツとして決定する。表示制御部２０は、決定した関連コンテンツとステップＳ５４で検出した書き込みコンテンツとを表示コンテンツとして、一つの矩形領域を算出する。例えば図９の例では、決定した関連コンテンツである書き込みコンテンツ１０１２とステップＳ５４で検出した書き込みコンテンツ１０１４とを表示コンテンツとして、一つの矩形領域を算出する。

また、ステップＳ５４で検出した書き込みコンテンツの書き込み時刻から所定時間内の書き込み時刻の他の書き込みコンテンツがなければ関連コンテンツ決定部１６はステップＳ６４の処理を行う。表示制御部２０は、ステップＳ５４で検出した書き込みコンテンツを表示コンテンツとして、矩形領域を算出する。

ステップＳ６６において、表示制御部２０はステップＳ６２又はＳ６４で算出した矩形領域とステップＳ５２で決定した死角領域とに基づき、死角領域外で表示できる領域１０１６を算出し、表示コンテンツを表示する。なお、ステップＳ６６において、表示制御部２０は例えば死角領域外で最大限表示できる領域１０１６を算出する。また、表示制御部２０は例えば算出した領域１０１６に表示コンテンツを縮小して表示する。

ステップＳ５４で検出した書き込みコンテンツの書き込み時刻から所定時間内に、他の書き込みコンテンツの書き込み時刻があるか否かを判定するステップＳ６０の処理は例えば図１１に示すように行う。図１１は書き込みコンテンツの書き込み時刻から所定時間内に表示された他の書き込みコンテンツを判断する処理の一例の説明図である。

コンテンツ情報保持部１４は、書き込みコンテンツ１０１４及び他の書き込みコンテンツ１０１２の書き込み情報として、書き込み座標一覧、コンテンツ位置、コンテンツサイズ、開始時刻、及び終了時刻を保持する。関連コンテンツ決定部１６は、書き込みコンテンツの開始時刻と他の書き込みコンテンツの終了時刻とを利用して、書き込みコンテンツの書き込み時刻から所定時間内に表示された他の書き込みコンテンツを判断する。

図９～図１１に示した処理によれば、電子黒板１は操作者が死角領域に書き込んだ書き込みコンテンツ１０１４と、その書き込みコンテンツ１０１４と関連性が高いと考えられる関連コンテンツの他の書き込みコンテンツ１０１２とを一緒に、死角領域外の領域１０１６に表示できる。近傍者は死角領域外の領域１０１６で死角領域に書き込んだ書き込みコンテンツ１０１４だけでなく、その書き込みコンテンツ１０１４の関連コンテンツである他の書き込みコンテンツ１０１２を一緒に閲覧できるので、書き込みコンテンツ１０１４の理解が容易となる。このように、電子黒板１は死角領域１０００に書き込まれた書き込みコンテンツ１０１４の内容を、近傍者が理解し易いように死角領域外の表示可能領域に表示できる。

＜書き込みコンテンツ及び関連コンテンツの表示例４＞
図９では関連コンテンツが他の書き込みコンテンツの例を示したが、関連コンテンツが例えば図５の添付された画像１００２であってもよい。図１２は本実施形態に係る電子黒板の処理の一例のフローチャートである。なお、図１２に示したフローチャートの処理は一部を除いて図１０と同様であり、適宜説明を省略する。ステップＳ７０～Ｓ７８の処理は、例えば図１０のステップＳ５０～Ｓ５８と同様である。

ステップＳ８０において、関連コンテンツ決定部１６はステップＳ７４で検出した書き込みコンテンツの書き込み時刻から所定時間内に、添付された画像の添付時刻があるか否かを判定する。

ステップＳ７４で検出した書き込みコンテンツの書き込み時刻から所定時間内の書き込み時刻の添付された画像があれば、関連コンテンツ決定部１６はステップＳ８２の処理を行う。関連コンテンツ決定部１６はステップＳ７４で検出した書き込みコンテンツの書き込み時刻から所定時間内の書き込み時刻のディスプレイ２８０に添付された画像１００２を関連コンテンツとして決定する。

表示制御部２０は、決定した関連コンテンツとステップＳ７４で検出した書き込みコンテンツとを表示コンテンツとして、一つの矩形領域を算出する。

また、ステップＳ７４で検出した書き込みコンテンツの書き込み時刻から所定時間内の書き込み時刻の添付された画像がなければ関連コンテンツ決定部１６はステップＳ８４の処理を行う。表示制御部２０は、ステップＳ７４で検出した書き込みコンテンツを表示コンテンツとして、矩形領域を算出する。

ステップＳ８６において、表示制御部２０はステップＳ８２又はＳ８４で算出した矩形領域とステップＳ７２で決定した死角領域とに基づき、死角領域外で表示できる領域を算出し、表示コンテンツを表示する。なお、ステップＳ８６において、表示制御部２０は例えば死角領域外で最大限表示できる領域を算出する。また、表示制御部２０は例えば算出した領域に表示コンテンツを縮小して表示する。

ステップＳ７４で検出した書き込みコンテンツの書き込み時刻から所定時間内に、添付された画像の添付時刻があるか否かを判定するステップＳ８０の処理は例えば図１３に示すように行う。図１３は書き込みコンテンツの書き込み時刻から所定時間内に表示された添付された画像を判断する処理の一例の説明図である。

コンテンツ情報保持部１４は、書き込み情報として、書き込み座標一覧、コンテンツ位置、コンテンツサイズ、開始時刻、及び終了時刻を保持する。また、コンテンツ情報保持部１４は、ディスプレイ２８０に添付された画像の画像情報として、コンテンツ位置、コンテンツサイズ、及び添付時刻を保持する。関連コンテンツ決定部１６は、書き込みコンテンツの開始時刻と画像の添付時刻とを利用して、書き込みコンテンツの書き込み時刻から所定時間内に添付された画像を判断する。

図１２～図１３に示した処理によれば、電子黒板１は操作者が死角領域に書き込んだ書き込みコンテンツ１００４と、書き込みコンテンツ１００４と関連性が高いと考えられる関連コンテンツの画像１００２とを一緒に、死角領域外の領域１００６に表示できる。近傍者は死角領域外の領域１００６で死角領域に書き込んだ書き込みコンテンツ１００４だけでなく、その書き込みコンテンツ１００４の関連コンテンツである画像１００２を一緒に閲覧できるので、書き込みコンテンツ１００４の理解が容易となる。このように、電子黒板１は死角領域１０００に書き込まれた書き込みコンテンツ１００４の内容を、近傍者が理解し易いように死角領域外の表示可能領域に表示できる。

＜関連コンテンツの判断条件の設定＞
なお、上記した関連コンテンツの判断条件は例えば図１４の設定画面２０００から設定できる。図１４は関連コンテンツの判断条件の設定画面の一例のイメージ図である。設定画面２０００は「書き込みと重なっている画像」と「距離が近い書き込み」と「一定時間以内の書き込み」と「一定時間以内に添付された画像」とを関連コンテンツの判断条件とした例である。

例えば図１４はチェックボックスにチェックを入れることで、そのチェックボックスに対応する判断条件を、関連コンテンツの判断条件として設定できる。例えば「書き込みと重なっている画像」の判断条件は、図５に示した判断に相当する。また「距離が近い書き込み」の判断条件は、図８に示した判断に相当する。また「一定時間以内の書き込み」の判断条件は、図１１に示した判断に相当する。また「一定時間以内に添付された画像」の判断条件は、図１３に示した判断に相当する。

＜死角領域外の領域に表示を開始するタイミング＞
例えば表示制御部２０は、操作者が死角領域に書き込んだ書き込みコンテンツ１００４と、その書き込みコンテンツ１００４と関連性が高いと考えられる関連コンテンツの画像１００２とを一緒に、死角領域外の領域１００６に表示する。死角領域外の領域１００６に表示を開始するタイミングは、例えば関連コンテンツを決定したタイミングである。死角領域外の領域１００６に表示を開始するタイミングは、死角領域に書き込んだ書き込みコンテンツが所定量（文字数、データ量、又は書き込みコンテンツを囲んだ矩形領域の面積など）を超えたタイミングであってもよい。

例えば関連コンテンツを決定したタイミングで死角領域外の領域１００６に表示を開始する電子黒板１は、関連コンテンツが決定するまで、死角領域に書き込んだ書き込みコンテンツ１００４が死角領域外の領域１００６に表示される。その後、関連コンテンツが決定すると、死角領域に書き込んだ書き込みコンテンツ１００４と、その書き込みコンテンツ１００４の関連コンテンツとが死角領域外の領域１００６に表示される。

＜死角領域外の領域への表示を終了するタイミング＞
例えば表示制御部２０は、死角領域１０００の変化、死角領域外の領域１００６への表示を開始してからの時間経過などを、死角領域外の領域１００６への表示を終了するタイミングとすることができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では電子黒板を一例として説明したが、タッチパネルを有する情報処理装置であれば好適に適用できる。また、電子黒板と同様の機能を有する装置を、電子ホワイトボード、電子情報ボード、インタラクティブボードなどともいう。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクタ）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

１ 電子黒板
１０ 操作受付部
１２ 位置検出部
１４ コンテンツ情報保持部
１６ 関連コンテンツ決定部
１８ 死角領域決定部
２０ 表示制御部
２８０ ディスプレイ
１０００ 死角領域
１００２ 画像
１００４、１０１０、１０１２、１０１４ 書き込みコンテンツ

特開２０１７－１６８０３９号公報

Claims (10)

1. 表示部にコンテンツを表示する表示制御手段と、
   前記表示部に対する操作を受け付ける操作受付手段と、
   前記操作を入力する操作者以外の近傍者の死角となる死角領域を前記表示部の表示可能領域から決定する死角領域決定手段と、
   前記死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを前記表示部に表示されているコンテンツから決定する関連コンテンツ決定手段と
   を有し、
   前記表示制御手段は、前記死角領域へ書き込まれた書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示すること
   を特徴とする表示入力装置。
2. 前記関連コンテンツ決定手段は、
   前記死角領域へ書き込まれた書き込みコンテンツと表示領域の少なくとも一部が重なる前記コンテンツを、前記書き込みコンテンツに関連する関連コンテンツに決定すること
   を特徴とする請求項１記載の表示入力装置。
3. 前記関連コンテンツ決定手段は、
   前記死角領域へ書き込まれた書き込みコンテンツと所定距離内にある表示領域の前記コンテンツを、前記書き込みコンテンツに関連する関連コンテンツに決定すること
   を特徴とする請求項１又は２記載の表示入力装置。
4. 前記関連コンテンツ決定手段は、
   前記死角領域へ書き込まれた書き込みコンテンツと書き込み時間が所定時間内にある表示領域の前記コンテンツを、前記書き込みコンテンツに関連する関連コンテンツに決定すること
   を特徴とする請求項１乃至３の何れか一項に記載の表示入力装置。
5. 前記表示制御手段は、前記関連コンテンツ決定手段が前記書き込みコンテンツに関連する関連コンテンツを決定した場合に、前記書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、の前記死角領域外の表示可能領域への表示を開始すること
   を特徴とする請求項１乃至４の何れか一項に記載の表示入力装置。
6. 前記表示制御手段は、前記関連コンテンツ決定手段が前記書き込みコンテンツに関連する関連コンテンツを決定するまで、前記死角領域へ書き込まれた書き込みコンテンツを死角領域外の表示可能領域に表示し、前記関連コンテンツ決定手段が前記書き込みコンテンツに関連する関連コンテンツを決定したあと、前記書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示すること
   を特徴とする請求項１乃至４の何れか一項に記載の表示入力装置。
7. 操作者と、前記操作者以外の近傍者との位置を検出する位置検出手段、を更に有し、
   前記死角領域決定手段は、検出した前記操作者及び前記近傍者の位置に基づいて、前記近傍者の死角となる死角領域を決定すること
   を特徴とする請求項１乃至６の何れか一項に記載の表示入力装置。
8. 前記死角領域決定手段は、前記操作受付手段が操作を受け付けた前記表示部の表示可能領域の位置に基づいて、前記近傍者の死角となる死角領域を決定すること
   を特徴とする請求項１乃至６の何れか一項に記載の表示入力装置。
9. 表示入力装置を、
   表示部にコンテンツを表示する表示制御手段、
   前記表示部に対する操作を受け付ける操作受付手段、
   前記操作を入力する操作者以外の近傍者の死角となる死角領域を前記表示部の表示可能領域から決定する死角領域決定手段、
   前記死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを前記表示部に表示されているコンテンツから決定する関連コンテンツ決定手段、
   として機能させ、
   前記表示制御手段は、前記死角領域へ書き込まれた書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示すること
   を特徴とするプログラム。
10. 表示入力装置に、
    表示部にコンテンツを表示する表示制御手順と、
    前記表示部に対する操作を受け付ける操作受付手順と、
    前記操作を入力する操作者以外の近傍者の死角となる死角領域を前記表示部の表示可能領域から決定する死角領域決定手順と、
    前記死角領域へ書き込まれた書き込みコンテンツに関連する関連コンテンツを前記表示部に表示されているコンテンツから決定する関連コンテンツ決定手順と、
    を実行させ、
    前記表示制御手順は、前記死角領域へ書き込まれた書き込みコンテンツと、前記書き込みコンテンツに関連する関連コンテンツと、を死角領域外の表示可能領域に表示すること
    を特徴とする表示入力方法。

Images