JP2020149149A - 表示装置、表示システム、動作モード制御方法、プログラム - Google Patents

Abstract

【課題】周辺に人が存在するか否かに応じて動作モードの遷移を制御できる表示装置を提供すること。【解決手段】表示装置２のディスプレイ３が操作されている場合にホワイトボードモードで動作する表示装置であって、表示装置の周辺に人が存在するか否かを推定する人推定部５１と、人が存在するか否かに応じて、動作モードを遷移させる動作モード制御部５２と、を有することを特徴とする。【選択図】図１

Description

本発明は、表示装置、表示システム、動作モード制御方法、及び、プログラムに関する。

電子白板等の表示装置では手書き入力を受け付けて手書き情報を表示するホワイトボードアプリが動作している、このホワイトボードアプリがアクティブな状態と非アクティブな状態が存在する。アクティブとはホワイトボードアプリが動作し、アプリとして期待される動作を行うことをいう。ユーザがディスプレイを操作する場合はホワイトボードアプリがアクティブ状態となり、使用していない間は非アクティブ状態となる。

この非アクティブ状態における表示装置の振る舞いはさまざまであるが、多くはユーザの操作を待っている状態となる。一例としては、非アクティブ状態ではディスプレイを消灯しておき、ディスプレイが操作される（タッチされる）までの間この状態を続ける表示装置がある。

また、この非アクティブ状態において表示装置をデジタルサイネージとして活用する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、表示装置が操作されない状態で所定時間放置されると、サイネージアプリが自動的に起動する表示装置が記載されている。

しかしながら、従来の表示装置は、周辺に人が存在するか否かに応じて動作モードの遷移を制御できないという問題がある。すなわち、表示装置の周辺に人がいない場合も、表示装置がサイネージアプリを起動して情報を表示する場合があり、単に電力が消費されるだけになる状況が生じていた。

本発明は、上記課題に鑑み、周辺に人が存在するか否かに応じて動作モードの遷移を制御できる表示装置を提供することを目的とする。

上記課題に鑑み、本発明は、表示装置のディスプレイが操作されている場合にホワイトボードモードで動作する表示装置であって、表示装置の周辺に人が存在するか否かを推定する人推定部と、人が存在するか否かに応じて、動作モードを遷移させる動作モード制御部と、を有することを特徴とする。

周辺に人が存在するか否かに応じて動作モードの遷移を制御できる表示装置を提供することができる。

本実施形態の表示装置の概略的な動作を説明する図の一例である。 画像処理システムの全体構成図の一例である。 表示装置のハードウェア構成図の一例である。 表示装置の機能ブロック図の一例である。 各画像レイヤの構成図の一例である。 動作モードの制御に関する表示装置の機能を示す機能ブロック図の一例である。 スタンバイモードからサイネージモードへの遷移について説明するシーケンス図の一例である。 サイネージモードからスタンバイモードへの遷移について説明するシーケンス図の一例である。 表示システムの構成例を示す図である。

以下、本発明を実施するための形態の一例として、表示装置と表示装置が行う動作モード制御方法について図面を参照しながら実施例を挙げて説明する。

＜本実施形態の表示装置の概略＞
図１は、本実施形態の表示装置の概略的な動作を説明する図の一例である。まず、本実施形態の表示装置２は３つの動作モードを有している。
(i) ホワイトボードモード：ホワイトボードアプリが動作しており、ホワイトボードアプリがアクティブ状態である。以下の(ii)(iii)は非アクティブな状態である。ホワイトボードアプリは以下の(ii)(iii)のモードでも起動したままである。
(ii) サイネージモード：サイネージアプリが動作している状態。サイネージモードが終了するとサイネージアプリも終了する。
(iii) スタンバイモード：ホワイトボード及びデジタルサイネージのどちらとしても使用されない状態。スタンバイモードはディスプレイの電源が消灯される。ホワイトボードアプリは起動したままであるが、サイネージアプリは終了している。

そして、表示装置２は以下のように３つのモードを遷移させる。
・ホワイトボードモードで、ディスプレイの操作なし、かつ、周辺に人がいる場合、サイネージモードに遷移する。
・ホワイトボードモードで、ディスプレイの操作なし、かつ、周辺に人がない場合、スタンバイモードに遷移する。
・サイネージモードで、ディスプレイの操作ある場合ホワイトボードモードに遷移する。
・スタンバイモードで、ディスプレイの操作ある場合ホワイトボードモードに遷移する。
・サイネージモードで、周辺に人がいない場合スタンバイモードに遷移する。
・スタンバイモードで、周辺に人がいる場合サイネージモードに遷移する。

このように、本実施形態の表示装置２は、周辺に人がいない場合はホワイトボードモード又はサイネージモードからスタンバイモードに遷移することで消費電力を低減できる。また、スタンバイモードからサイネージモードに遷移できる。

従来のサイネージ機能を有する表示装置２には、ホワイトボードモードとサイネージモードの間の状態遷移しかなく、スタンバイモードを利用することについては考慮されていない。従来の表示装置２は、一度サイネージモードに遷移すると、スタンバイモードが適切な場合(表示装置２の周辺に人が存在しない場合)にもサイネージモードで動作し続けてしまい、電力を無駄に消費してしまっていた。

＜用語について＞
また、表示装置２は、電子ペンや指先で画面をなぞるように動かして入力された画面における電子ペンや指先の座標（位置）をタッチパネルで取得し、この座標を連結したストロークをタッチパネルと一体のディスプレイに表示するいわゆる電子機器である。タッチパネルの方式はどのようなものでもよい。表示装置２は、電子黒板、電子ホワイトボード、電子情報ボード、電子白板、など商品によって呼称が異なっていてよい。また、表示装置２はコンピュータの機能を有するため、情報処理装置とよばれてもよい。また、いくつかの部品を組み合わせて実現されている場合に表示システムと呼ばれてもよい。タッチパネルを備えたタブレット端末も表示装置２として使用される場合がある。

デジタルサイネージとは、表示と通信にデジタル技術を活用してディスプレイやプロジェクタなどによって映像や文字を表示する情報・広告媒体をいう。情報・広告を表示するアプリをサイネージアプリという。

＜システムの概要＞
図２は、本実施形態の画像処理システム１の全体構成図である。なお、図２では、説明を簡略化するために、２台の表示装置２ａ，２ｂ及びこれに付随する電子ペン４ａ，４ｂ等を示しているだけであって、３台以上の表示装置や電子ペン等を利用してもよい。
図２に示されているように、画像処理システム１は、複数の表示装置２ａ，２ｂ、複数の電子ペン４ａ，４ｂ、ＵＳＢメモリ５ａ，５ｂ、ノートＰＣ(Personal Computer)６ａ，６ｂ、テレビ（ビデオ）会議端末７ａ，７ｂ、及びＰＣ８を有する。また、表示装置２ａ，２ｂ、及びＰＣ８は、通信ネットワーク９を介して通信可能に接続されている。更に、複数の表示装置２ａ，２ｂには、それぞれディスプレイ３ａ，３ｂが設けられている。

また、表示装置２ａには、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻のタッチ）による描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子ペン４ａだけでなく、ユーザの手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。

また、表示装置２ａには、ＵＳＢメモリ５ａが接続可能であり、表示装置２ａはＵＳＢメモリ５ａからＰＤＦ等の電子ファイルを読み出したり、表示装置２ａはＵＳＢメモリ５ａに電子ファイルを記録したりすることができる。また、表示装置２ａには、DisplayPort（登録商標）、DVI(Digital Visual Interface)、HDMI(登録商標。High−Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル１０ａ１を介して、ノートＰＣ６ａが接続されている。そして、表示装置２ａは、ディスプレイ３ａに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートＰＣ６ａに送信する。同じく、表示装置２ａには、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、ノートＰＣ６ａ、及びテレビ会議端末７ａは、Bluetooth（登録商標）等の各種無線通信プロトコルに準拠した無線通信により、表示装置２ａと通信してもよい。

一方、表示装置２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた表示装置２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、ノートＰＣ６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。更に、ユーザの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。

これにより、一の拠点で表示装置２ａのディスプレイ３ａ上に描画された画像は、他の拠点で表示装置２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で表示装置２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で表示装置２ａのディスプレイ３ａ上に表示される。このように、画像処理システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。

なお、以下では、複数の表示装置のうち任意の表示装置を示す場合には「表示装置２」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数のノートＰＣのうち任意のノートＰＣを示す場合には「ノートＰＣ６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。

また、本実施形態では、画像処理装置の一例として、表示装置を説明するが、これに限るものではなく、画像処理装置の他の例として、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、情報処理端末の一例として、ノートＰＣ６を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、ＬＡＮ(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、ＳＤカード等の各種記録メディアであってもよい。

＜表示装置のハードウェア構成＞
図３は、表示装置２のハードウェア構成図である。図３に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ/Ｆ２０５、及び、外部機器接続Ｉ／Ｆ(Interface)２０６を備えている。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、表示装置用のプログラム等の各種データを記憶する。ネットワークＩ/Ｆ２０５は、通信ネットワーク９との通信を制御する。外部機器接続Ｉ／Ｆ２０６は、各種の外部機器を接続するためのインタフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ５、外付け機器（マイク２４０、スピーカ２５０、カメラ２６０）である。

また、表示装置２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、及び近距離通信回路２１９のアンテナ２１９ａ、電源スイッチ２２２及び選択スイッチ類２２３を備えている。

これらのうち、キャプチャデバイス２１１は、外付けのノートＰＣ６がディスプレイ３に表示する映像情報を静止画又は動画としてディスプレイ３に表示させる。

ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ３等へ出力するために画面表示の制御及び管理を行う。接触センサ２１４は、ディスプレイ３上に電子ペン４やユーザの手Ｈ等が接触したことを検知する。

センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置が、ディスプレイ３に平行して複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。

接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ２１６は、電子ペン４と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。

電源スイッチ２２２は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類２２３は、例えば、ディスプレイ３の表示の明暗や色合い等を調整するためのスイッチ群である。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図３に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部２９に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、電子ペン４のペン先及びペン尻だけでなく、電子ペン４のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

カメラ２６０はテレビ会議の際に参加者を撮像するために使用されるが、参加者に限らず表示装置の周囲の人を撮像するために使用される。カメラ２６０は撮像装置でなくてもよく、赤外線センサなど人検知できるセンサでもよい。また、カメラ２６０は周囲３６０度を撮像できる全天球カメラでもよい。通常の画角のカメラは比較的狭いので人の検知が困難になるおそれがあるが、全天球カメラでは広範囲の人を撮像できるので周囲の人を検知しやすい。カメラ２６０は人感検知センサとして使用される。

＜表示装置の機能構成＞
続いて、図４、図５を用いて、表示装置２の機能構成について説明する。なお、先ずは、図４を用いて、表示装置２の全体的な機能構成について説明する。図４は、表示装置２の機能ブロック図である。

表示装置２は、図４に示されているハードウェア構成及びプログラムによって、図４に示されている各機能構成を有する。表示装置２は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、表示装置２は、大きく分けて、クライアント部２０及びサーバ部９０の両方によって構成されている。

クライアント部２０及びサーバ部９０はホワイトボードアプリ５３の機能であり、サイネージアプリ５４と表示部２９を共有している。表示部２９を使用するアプリの切り替えの詳細は図６にて説明する。

クライアント部２０及びサーバ部９０は、表示装置２の１台の筐体内で実現される機能である。そして、表示装置２が主催装置となる場合には、この表示装置２では、クライアント部２０とサーバ部９０が実現される。また、表示装置２が参加装置となる場合には、この表示装置２では、クライアント部２０は実現されるが、サーバ部９０は実現されない。即ち、図２において、表示装置２ａが主催装置で、表示装置２ｂが参加装置となる場合、表示装置２ａのクライアント部２０は、同じ表示装置２ａ内に実現されたサーバ部９０を介して、他の表示装置２ｂのクライアント部２０と通信を行う。一方、表示装置２ｂのクライアント部２０は、他の表示装置２ａ内に実現されたサーバ部９０を介して、他の表示装置２ａのクライアント部と通信を行う。

〔クライアント部の機能構成〕
続いて、主に図４、図５を用いて、クライアント部２０の機能構成について説明する。クライアント部２０は、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、映像重畳部２８、画像処理部３０、及び通信制御部６０を有する。

このうち、映像取得部２１は、ケーブル１０に接続された映像出力機器の出力画像を取得する。映像取得部２１は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部３１に出力する。

座標検知部２２は、ディスプレイ３上でユーザによって生じたイベント（ディスプレイ３上に電子ペン４又はユーザの手Ｈがタッチされた動作等）の座標位置を検出する。また、座標検知部２２は、タッチされた面積も検出する。

自動調整部２３は、表示装置２の起動時（再起動時と表現してもよい）に起動され、座標検知部２２が適切な値を出力できるように、光センサ方式により座標を検知する座標検知部２２がセンサーカメラの画像を処理する際のパラメータを調整する。

接触検知部２４は、ユーザによって生じたイベント（ディスプレイ３上に電子ペン４のペン先又は電子ペン４のペン尻が押下（タッチ）された動作等）を検出する。

イベント振分部２５は、座標検知部２２によって検知されたイベントの座標位置と接触検知部２４によって検出された検出結果を、ストローク描画、ＵＩ操作、及びジェスチャ操作の各イベントに振り分ける。ここで、「ストローク描画」は、ディスプレイ３上に図５に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザがディスプレイ３上で電子ペン４を押下し、この押下した状態で電子ペン４を移動させ、最終的にディスプレイ３上から電子ペン４を離すまでのイベントである。このストローク描画により、例えば、アルファベット「Ｓ」や「Ｔ」等がディスプレイ３上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。

「ＵＩ操作」は、ディスプレイ３上に図５に示されている後述のＵＩ画像（Ａ）が表示されている場合に、ユーザが電子ペン４又は手Ｈによって所定の位置を押下したイベントである。このＵＩ操作により、例えば、電子ペン４により描画される線の色や幅等が設定される。

「ジェスチャ操作」は、ディスプレイ３上に図５に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザが手Ｈでディスプレイ３上をタッチしたり移動させたりするイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ３に手Ｈをタッチさせた状態で手Ｈを移動させることで、画像の拡大（若しくは縮小）、表示領域の変更、又は、ページ切り換え等を行うことができる。

操作処理部２６は、イベント振分部２５によってＵＩ操作と判断されたものから、イベントが発生されたＵＩの要素にしたがって、各種操作を実行する。このＵＩの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。ジェスチャ処理部２７は、イベント振分部２５によってジェスチャ操作と判断されたものに対応した操作を実行する。

映像重畳部２８は、後述の表示重畳部３６で重畳された画像を映像として表示部２９に対して表示する。表示部２９はディスプレイ３により実現される表示機能を示す。また、映像重畳部２８は、映像出力機器（ノートＰＣ６等）からの映像に対して、他の映像出力機器（テレビ会議端末７等）から送られて来た映像をピクチャーインピクチャーする。更に、映像重畳部２８は、ピクチャーインピクチャーされて表示部２９の一部に表示された映像を、表示部２９の全体に表示させるための切り替えを行う。

画像処理部３０は、図５に示されているような各画像レイヤの重畳処理等を行う。この画像処理部３０は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、背景生成部３４、レイアウト管理部３５、表示重畳部３６、ページ処理部３７、ファイル処理部４０、ページデータ記憶部３００、及び遠隔ライセンス管理テーブル３１０を有している。

このうち、画像取得部３１は、映像取得部２１で取得された映像から、各フレームを画像として取得する。画像取得部３１は、この画像のデータを、ページ処理部３７に出力する。この画像は、図５に示されている映像出力機器（ノートＰＣ６等）からの出力画像（Ｃ）に相当する。

ストローク処理部３２は、イベント振分部２５によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図５に示されているストローク画像（Ｂ）に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、データ管理部８０に記憶される。

ＵＩ画像生成部３３は、表示装置２に予め設定されているＵＩ（ユーザインターフェース）画像を生成する。このＵＩ画像は、図５に示されているＵＩ画像（Ａ）に相当する。
背景生成部３４は、ページ処理部３７がページデータ記憶部３００から読み出したページデータのうちのメディアデータを、ページ処理部３７から受信する。背景生成部３４は、この受信したメディアデータを表示重畳部３６に出力する。また、このメディアデータによる画像は、図５に示されている背景画像（Ｄ）に相当する。背景画像（Ｄ）のパターンは、無地、グリッド表示等である。

レイアウト管理部３５は、表示重畳部３６に対して、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（又は背景生成部３４）から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部３５は、表示重畳部３６に対して、出力画像（Ｃ）及びストローク画像（Ｂ）を、ＵＩ画像（Ａ）及び背景画像（Ｄ）中のどの位置に表示させるか又は非表示にさせるかを指示することができる。

表示重畳部３６は、レイアウト管理部３５から出力されたレイアウト情報に基づき、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（背景生成部３４）から出力された各画像のレイアウトを行う。

ページ処理部３７は、ストローク画像（Ｂ）のデータと出力画像（Ｃ）のデータを、１つのページデータにまとめてページデータ記憶部３００に記憶する。ストローク画像（Ｂ）のデータは、ストローク配列データ（各ストロークデータ）としてページデータの一部を成す。出力画像（Ｃ）のデータは、メディアデータとしてページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部３００から読み出されると、背景画像（Ｄ）のデータとして取り扱われる。

また、ページ処理部３７は、一旦記憶されたページデータのうちのメディアデータを、背景生成部３４を介して表示重畳部３６に送信することで、映像重畳部２８が背景画像（Ｄ）をディスプレイ３に再表示させることができる。また、ページ処理部３７は、ページデータのうちのストローク配列データ（各ストロークデータ）を、ストローク処理部３２に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部３７は、ページデータを削除したり複製したりすることもできる。

即ち、ページ処理部３７がページデータ記憶部３００にページデータを記憶する時点でディスプレイ３上に表示されている出力画像（Ｃ）のデータは、一旦、ページデータ記憶部３００に記憶され、その後にページデータ記憶部３００から読み出される際には、背景画像（Ｄ）を示すメディアデータとして読みされる。そして、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、ストローク画像（Ｂ）を示すストローク配列データを、ストローク処理部３２に出力する。また、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、背景画像（Ｄ）を示すメディアデータを、背景生成部３４に出力する。

表示重畳部３６は、 画像取得部３１からの出力画像（Ｃ）、ストローク処理部３２からのストローク画像（Ｂ）、ＵＩ画像生成部３３からのＵＩ画像（Ａ）、及び、背景生成部３４からの背景画像（Ｄ）を、レイアウト管理部３５によって指定されたレイアウトにしたがって重畳する。これにより、図５に示されているように、各画像が重なってもユーザが見える順に、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、及び背景画像（Ｄ）の各レイアの構成となっている。

また、表示重畳部３６は、図５に示されている画像（Ｃ）と画像（Ｄ）を切り替えて、画像（Ａ）及び画像（Ｂ）に対して排他的に重畳することも可能である。例えば、当初、画像（Ａ）、画像（Ｂ）及び画像（Ｃ）が表示されている状態で、表示装置２と映像出力機器（ノートＰＣ６等）との間のケーブル１０が抜かれた場合には、レイアウト管理部３５の指定によって、画像（Ｃ）を重畳対象から外し、画像（Ｄ）を表示させることができる。この場合に、また、表示重畳部３６は、表示の拡大、表示の縮小、表示領域の移動処理も行う。

〔サーバ部の機能構成〕
サーバ部９０は、各表示装置２に設けられており、いずれの表示装置２であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部９０は、通信制御部７０、及びデータ管理部８０を有している。

通信制御部７０は、同じ表示装置２内のクライアント部２０における通信制御部７０、及び通信ネットワーク９を介して他の表示装置２内のクライアント部２０における通信制御部７０との通信を制御する。データ管理部８０は、操作データや画像データ等を管理する。

＜動作モードの制御に関する表示装置の機能＞
図６は、動作モードの制御に関する表示装置２の機能を示す機能ブロック図の一例である。表示装置２は図４に示した表示部２９、ホワイトボードアプリ５３、サイネージアプリ５４、動作モード制御部５２、及び、人推定部５１を有している。

まず、カメラ２６０は繰り返し周辺を撮像しており、撮像して得られた画像データを人推定部５１に送出する。人推定部５１は画像処理を行い、画像データに人が写っているか否かを推定する。例えば、ディープラーニングなどの機械学習で生成した識別器を用いて、人が写っているか否かの分類を行えばよい。機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

動作モード制御部５２は、ユーザによってディスプレイ３上に電子ペン４のペン先、電子ペン４のペン尻、又は、手Ｈが押下（タッチ）された動作等のイベントが生じたか否かを座標検知部２２から取得する。以下単に「ディスプレイの操作」の検出と称する。動作モード制御部５２は、周辺の人の検知結果及びディスプレイ３の操作の検出結果に応じて、動作モードを制御する。

図１にて説明したように、ホワイトボードアプリ５３は動作モードに関係なく起動しているので座標検知部２２が有効である。なお、図６では座標検知部２２がディスプレイ３の操作を検出しているが、ディスプレイ３の操作はハード的には接触センサ２１４により検出される。したがって、ホワイトボードアプリ５３は動作モードに関係なく起動するのでなく、ホワイトボードモードでなければ終了してもよい。

Ａ．まず、ディスプレイ３の操作が検出されたか否かが優先され、ディスプレイ３の操作が検出された場合、ホワイトボードアプリ５３をアクティブにする。したがって、ホワイトボードモードになる。

Ｂ．ディスプレイ３の操作が検出されず、周辺に人がいる場合、サイネージアプリ５４を起動する。したがって、サイネージモードになる。

Ｃ．ディスプレイ３の操作が検出されず、周辺に人がいない場合、表示部２９を消灯する。したがって、スタンバイモードになる。サイネージアプリ５４が起動している場合は終了させる。表示部２９を消灯するとはＬＥＤや陰極管などの表示部の光源をＯＦＦにすることをいう。図４に示したクライアント部２０やサーバ部９０は動作しているので、表示装置２はディスプレイ３の操作を検出できる。

なお、ホワイトボードモードにおいてサイネージアプリ５４は停止するのでなくバックグラウンドで動作していてもよい。サイネージモードにおいてホワイトボードアプリ５３はバックグラウンドで動作するのでなく終了していてもよい。スタンバイモードにおいてサイネージアプリ５４は停止するのでなくバックグラウンドで動作していてもよい。スタンバイモードにおいてホワイトボードアプリ５３はバックグラウンドで動作するのでなく終了していてもよい。

＜動作手順＞
図７，図８を用いて、動作モードの遷移例について説明する。まず、図７は、スタンバイモードからサイネージモードへの遷移について説明するシーケンス図の一例である。

S1：ユーザが表示装置２に近づいたとする。

S2：カメラ２６０などの人感検知センサがユーザを検出するので、人推定部５１は周辺に人がいると推定する。

S3：動作モード制御部５２は、定期的に、人の検知結果、及び、ディスプレイ３の操作の検出結果を取得する。そして、人の検知結果及びディスプレイ３の操作の検出結果に応じて以下のように動作モードを制御する。

・すでにホワイトボードモードである場合
S4：すでにホワイトボードモードであり、ユーザが検知されたので、動作モード制御部５２はホワイトボードモードを継続する。
S4−2：ホワイトボードモードにおいて周辺に人がいてもディスプレイの操作が一定時間、検出されない場合、動作モード制御部５２はサイネージモードに遷移する。

・すでにサイネージモードである場合
S5：すでにサイネージモードであり、ユーザが検知されたので、動作モード制御部５２はサイネージモードを継続する。
S5−2：サイネージモードでディスプレイ３の操作が検出されるとホワイトボードモードに遷移する。

・スタンバイモードである場合
S6：スタンバイモードの状態でユーザが検知されたので、動作モード制御部５２はサイネージモードに遷移すると判断する。
S7：このため、動作モード制御部５２はサイネージアプリ５４を起動させる。

図８は、サイネージモードからスタンバイモードへの遷移について説明するシーケンス図の一例である。

S11：ユーザが表示装置２から離れる。

S12：カメラ２６０などの人感検知センサがユーザを検出しなくなるので、人推定部５１は周辺に人がいないと推定する。

S13：動作モード制御部５２は、定期的に、人の検知結果、及び、ディスプレイ３の操作の検出結果を取得する。そして、人の検知結果及びディスプレイの操作の検出結果に応じて以下のように動作モードを制御する。

・すでにホワイトボードモードである場合
S14：すでにホワイトボードモードであり、ユーザが検知されないので、動作モード制御部５２はホワイトボードモードを継続する。
S14−2：ホワイトボードモードでディスプレイ３の操作が一定時間、検出されなければ、やがてスタンバイモードに遷移する。

・サイネージモードである場合
S15：サイネージモードであり、ユーザが検知されないので、動作モード制御部５２はスタンバイモードに遷移すると判断する。
S16：このため、動作モード制御部５２はサイネージアプリ５４を終了し、表示部２９を消灯にする。

・すでにスタンバイモードである場合
S17：すでにスタンバイモードの状態でユーザが検知されないので、動作モード制御部５２はスタンバイモードを継続する。

＜人推定部の変形例＞
本実施形態では人推定部５１が、カメラ２６０などの人感検知センサの検出結果を利用して周辺に人が存在するか否かを推定したが、このようなハードウェアを使用せずに、現在の時刻から周辺に人が存在するか否かを推定してもよい。この場合、表示装置２には、予め周辺に人がいる時間帯が設定されている。例えば、オフィスや工場等で使用される場合は就業時間が設定される。表１は、このような時間帯が設定された時間帯設定情報の一例である。

表１の時間帯設定情報には、「人がいる時間帯」として「９時〜１８時」が設定されている。「人がいる時間帯」はサイネージモードの有効時間である。「人がいる時間帯」は複数に分けて設定されてもよいし、ユーザが任意の時間帯を設定できる。時間帯設定情報は、例えば人推定部５１が少なくとも参照できるように記憶されているか又はネットワークを介して外部から送信される。

なお、時間帯設定情報を使用する場合、図７，図８のシーケンス図は実際に人が接近するか離れるか判断されるステップS1,S11が不要になる。しかし、人推定部５１は時間帯設定情報と現在の時刻に基づいて人が存在するか否かの推定結果をステップS2,S12で動作モード制御部５２に送出すればよく、全体の手順は同様でよい。

＜表示装置の変形例＞
表示装置２としては図２に示したディスプレイ３を有する形態の他、プロジェクタを利用したものがある。図９を用いて表示システムを説明する。

図９は、表示システムの構成例を示す図である。図９では、通常のホワイトボード４１３０の上辺にプロジェクタ４１１０が設置されている。このプロジェクタ４１１０が表示装置２に相当する。通常のホワイトボード４１３０とは、タッチパネルと一体のフラットパネルディスプレイではなく、ユーザがマーカで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。

プロジェクタ４１１０は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３０に投影できる。この映像は、無線又は有線で接続されたＰＣ４００ー１から送信されてもよいし、プロジェクタ４１１０が記憶していてもよい。

ユーザは専用の電子ペン２５００を使ってホワイトボード４１３０に手書きする。電子ペン２５００は、ユーザが手書きのためにホワイトボード４１３０に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザの目には見えない。プロジェクタ４１１０はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５００の方向を特定する。また、電子ペン２５００は発光と共に音波を発信しており、プロジェクタ４１１０は音波の到達時間により距離を算出する。方向と距離により電子ペン２５００の位置を特定できる。電子ペン２５００の位置にはストロークが描画（投影）される。

プロジェクタ４１１０はメニュー４３００を投影するので、ユーザが電子ペン２５００でボタンを押下すると、プロジェクタ４１１０が電子ペン２５００の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１０が押下されると、ユーザが手書きしたストローク（座標の集合）がプロジェクタ４１１０で保存される。プロジェクタ４１１０は、予め定められたサーバ４１２０又はＵＳＢメモリ２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザが再編集することができる。

本実施形態に適用された場合、プロジェクタ４１１０は映像のインタフェースから映像を取り込み、電子ペン２５００が手書きに使用されているか否か（発光の有無、通信の有無）に応じてホワイトボードを操作中か非操作を判断する。したがって、プロジェクタ４１１０が使用された表示装置２であっても、スタンバイモードからサイネージモード、又は、サイネージモードからスタンバイモードに遷移できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、他の拠点と通信している場合に、他の拠点の動作モードを考慮して自拠点の動作モードを制御してよい。例えば、自拠点と他拠点のうち主催者端末を優先して同期させることなどが考えられる。

また、図４、図６などの構成例は、表示装置２の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

１ 画像処理システム
２ 表示装置
３ ディスプレイ
４ 電子ペン
５１ 人推定部
５２ 動作モード制御部
５３ ホワイトボードアプリ
５４ サイネージアプリ
９０ サーバ部

特許第6139854号公報

Claims (10)

1. 表示装置のディスプレイが操作されている場合にホワイトボードモードで動作する表示装置であって、
   表示装置の周辺に人が存在するか否かを推定する人推定部と、
   人が存在するか否かに応じて、動作モードを遷移させる動作モード制御部と、
   を有することを特徴とする表示装置。
2. 情報をディスプレイに表示するサイネージモードで動作している場合に、
   前記人推定部が表示装置の周辺に人が存在しないと推定した場合、前記動作モード制御部はサイネージモードを終了し、ディスプレイを消灯するスタンバイモードに遷移させることを特徴とする請求項１に記載の表示装置。
3. ディスプレイを消灯するスタンバイモードで動作している場合に、
   前記人推定部が表示装置の周辺に人が存在すると推定した場合、前記動作モード制御部はスタンバイモードを終了し、情報をディスプレイに表示するサイネージモードに遷移させることを特徴とする請求項１又は２に記載の表示装置。
4. ホワイトボードモードで動作している場合に、
   ディスプレイの操作が検出されず、前記人推定部が表示装置の周辺に人が存在すると推定した場合、前記動作モード制御部はホワイトボードモードを終了し、情報をディスプレイに表示するサイネージモードに遷移させることを特徴とする請求項１〜３のいずれか１項に記載の表示装置。
5. ホワイトボードモードで動作している場合に、
   ディスプレイの操作が検出されず、前記人推定部が表示装置の周辺に人が存在しないと推定した場合、前記動作モード制御部はホワイトボードモードを終了し、ディスプレイを消灯するスタンバイモードに遷移させることを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
6. 前記人推定部は、人感検知センサにより表示装置の周辺に人が存在するか否かを推定することを特徴とする請求項１〜５のいずれか１項に記載の表示装置。
7. 前記人推定部は、予め設定されているサイネージモードの有効時間と現在の時刻とに基づいて表示装置の周辺に人が存在するか否かを推定することを特徴とする請求項１〜５のいずれか１項に記載の表示装置。
8. 表示装置が操作されている場合にホワイトボードモードで動作する表示システムであって、
   表示装置の周辺に人が存在するか否かを推定する人推定部と、
   人が存在するか否かに応じて、動作モードを遷移させる動作モード制御部と、
   を有することを特徴とする表示システム。
9. 表示装置のディスプレイが操作されている場合にホワイトボードモードで動作する表示装置が行う動作モード制御方法であって、
   人推定部が、表示装置の周辺に人が存在するか否かを推定するステップと、
   動作モード制御部が、人が存在するか否かに応じて、動作モードを遷移させるステップと、
   を有することを特徴とする動作モード制御方法。
10. 表示装置のディスプレイが操作されている場合にホワイトボードモードで動作する情報処理装置を、
    表示装置の周辺に人が存在するか否かを推定する人推定部と、
    人が存在するか否かに応じて、動作モードを遷移させる動作モード制御部、
    として機能させるためのプログラム。

Images