JP2018117302A - 表示装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】光の変化パターンが示す情報の理解を容易にする。【解決手段】監視対象装置１００は、自身の装置状態を示す光ＩＤに対応する光を発する。サーバ２００は、撮影により得られたフレームに応じた画像を表示する際に、撮影周期よりも長い周期で表示する画像を更新する。また、サーバ２００は、フレーム内の色変化領域の色の変化に応じて光ＩＤを取得し、その光ＩＤに対応する色の画像（受信エリア画像）を、表示中の画像における色変化領域に合成する。【選択図】図１

Description

本発明は、表示装置、情報処理システム、情報処理方法及びプログラムに関する。

従来より、発光装置が情報を光の点滅パターンに重畳して発光し、受光装置が発光装置からの光の点滅パターンを受光して、光の点滅パターンに重畳された情報を取得するような、光を通信媒体として情報伝送を行う技術が知られている（例えば特許文献１参照）。

特開２０１６−１４３９６０号公報

しかしながら、上述した従来の技術では、発光装置からの光の点滅パターンをそのまま受光して表示出力させても、閲覧者であるユーザにとっては点滅パターンとしか認識できないため、その点滅パターンが示す情報が何を示すのかを容易に知ることはできないという問題があった。

本願発明はこのような問題点に鑑みてなされたものであり、光の変化パターンが示す情報の理解を容易にすることを目的とする。

上記目的を達成するため、本発明に係る表示装置は、
撮影手段と、
前記撮影手段により撮影された画像を表示する表示手段と、
前記撮影手段により撮影された画像に含まれる所定の光の画像から任意の情報を取得する情報取得手段と、
前記撮影手段により撮影された画像に前記任意の情報に対応する所定の色の画像を合成して表示させるよう前記表示手段を制御する表示制御手段と、
を備えることを特徴とする。

本発明によれば、光の変化パターンが示す情報の理解を容易にすることができるようになる。

本発明の実施形態に係る可視光通信システムの一例を示す図である。 同実施形態に係る監視対象装置の構成の一例を示す図である。 同実施形態に係るサーバの構成の一例を示す図である。 同実施形態に係るサーバによる受信エリア画像取得処理の動作の一例を示すフローチャートである。 同実施形態に係る受信エリア画像情報の一例を示す図である。 同実施形態に係るサーバによる受信エリア画像合成処理の動作の一例を示すフローチャートである。 同実施形態に係る装置状態、光ＩＤ、受信エリア画像の色の対応関係の一例を示す図である。 同実施形態に係る合成画像の第１の例を示す図である。 同実施形態に係る合成画像の第２の例を示す図である。

以下、図面を参照して、本発明の実施形態に係る情報処理システムとしての可視光通信システムを説明する。

図１は、可視光通信システムの構成を示す図である。図１に示すように、可視光通信システム１は、監視対象装置１００ａ、１００ｂ、１００ｃ（以下、監視対象装置１００ａ、１００ｂ、１００ｃのそれぞれを限定しない場合には、適宜「監視対象装置１００」と称する）と、サーバ２００とを含んで構成される。監視対象装置１００ａは、ＬＥＤ（Light Emitting Diode）１０２ａを含み、監視対象装置１００ｂは、ＬＥＤ１０２ｂを含み、監視対象装置１００ｃは、ＬＥＤ１０２ｃを含む（以下、ＬＥＤ１０２ａ、１０２ｂ、１０２ｃのそれぞれを限定しない場合には、適宜「ＬＥＤ１０２」と称する）。サーバ２００は、撮影部２０１を含む。監視対象装置１００は、発光装置に対応し、サーバ２００は、受光装置に対応する。

本実施形態において、監視対象装置１００内のＬＥＤ１０２が伝送対象の情報に対応する光を発することにより情報を送信する。一方、サーバ２００では、サーバ２００内の撮影部２０１が撮影を行い、撮影により得られた画像に含まれる光の画像から伝送対象の情報を取得する。

図２は、監視対象装置１００の構成の一例を示す図である。図２に示すように、監視対象装置１００は、ＬＥＤ１０２、制御部１０３、メモリ１０４、通信部１０８、駆動部１１２を含む。

制御部１０３は、例えばＣＰＵ（Central Processing Unit）によって構成される。制御部１０３は、メモリ１０４に記憶されたプログラム（例えば、監視対象装置１００の動作を実現するためのプログラム）に従ってソフトウェア処理を実行することにより、監視対象装置１００が具備する各種機能を制御する。

メモリ１０４は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）である。メモリ１０４は、監視対象装置１００における制御等に用いられる各種情報（プログラム等）を記憶する。通信部１０８は、例えばＬＡＮ（Local Area Network）カードである。通信部１０８は、他の通信装置との間で通信を行う。

制御部１０３には、発光制御部１２６が構成される。発光制御部１２６は、監視対象装置１００の状態（装置状態）を認識し、その装置状態に応じた光ＩＤ（Identifisation）を決定する。ここで、装置状態とは、稼働中、部材不足、異常停止の各状態を青（Ｂ）、黄（Ｙ）、赤（Ｒ）で示す。更に、発光制御部１２６は、決定した光ＩＤの情報をビットデータ列に符号化する。更に、発光制御部１２６は、ビットデータ列に基づくデジタル変調を行い、ＬＥＤ１０２が発する色相の時間的な変化を示す任意の情報として所定の光を発光する発光パターンとして決定する。更に発光制御部１２６は、決定した発光パターンの情報を駆動部１１２へ出力する。変調方式として例えば周波数を２８．８（ｋＨｚ）とする搬送波を用いた４ＰＰＭ（Pulse Position Modulation）が採用される。

駆動部１１２は、発光制御部１２６からの信号に基づいて、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を、所定の発光周期で時間的に変化しながら点灯させるための駆動信号を生成し、ＬＥＤ１０２へ出力する。ＬＥＤ１０２は、駆動部１１２から出力される駆動信号に応じて、時間的に色相が変化する光を発する。例えば、図１では、ＬＥＤ１０２ａは赤色の発光を行い、ＬＥＤ１０２ｂは緑色の発光を行い、ＬＥＤ１０２ｃは青色の発光を行っている。

図３は、サーバ２００の構成の一例を示す図である。図３に示すように、サーバ２００は、撮影部２０１、制御部２０２、画像処理部２０４、メモリ２０５、操作部２０６、表示部２０７及び通信部２０８を含む。

撮影部２０１は、レンズ２０３を含む。レンズ２０３は、ズームレンズ等により構成される。レンズ２０３は、操作部２０６からのズーム制御操作、及び、制御部２０２による合焦制御により移動する。レンズ２０３の移動によって撮影部２０１が撮影する撮影画角や光学像が制御される。

撮影部２０１は、受光面に規則的に二次元配列された複数の受光素子により構成される。受光素子は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮影デバイスである。撮影部２０１は、ＬＥＤ１０２の発光周期の２倍の撮影周期で、レンズ２０３を介して入光された光学像を、制御部２０２からの制御信号に基づいて所定範囲の撮影画角で撮影（受光）し、その撮影画角内の画像信号をデジタルデータに変換してフレームを生成する。また、撮影部２０１は、撮影とフレームの生成とを時間的に連続して行い、連続するフレームを画像処理部２０４に出力する。

画像処理部２０４は、制御部２０２からの制御信号に基づいて、撮影部２０１から出力されたフレーム（デジタルデータ）を制御部２０２へ出力する。また、画像処理部２０４は、操作部２０６からの記録指示操作に基づく制御信号が入力されると、記録指示された時点の撮影部２０１における撮影画角内、あるいは、表示部２０７に表示される表示範囲内の光学像を、例えば、ＪＰＥＧ（Joint Photographic Experts Group）等の圧縮符号化方式にて符号化、ファイル化する機能を有する。

制御部２０２は、例えばＣＰＵによって構成される。制御部２０２は、メモリ２０５に記憶されたプログラム（例えば、後述する図４、図６に示すサーバ２００の動作を実現するためのプログラム）に従ってソフトウェア処理を実行することにより、サーバ２００が具備する各種機能を制御する。

メモリ２０５は、例えばＲＡＭやＲＯＭである。メモリ２０５は、サーバ２００における制御等に用いられる各種情報（プログラム等）を記憶する。

操作部２０６は、例えば、表示部２０７の上面に形成されたタッチパネルであり、ユーザの操作内容を入力するために用いられるインタフェースである。表示部２０７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence）ディスプレイ等によって構成される。表示部２０７は、制御部２０２から出力された画像信号に従って画像を表示する。この際、制御部２０２は、撮影部２０１から出力されたフレームを、撮影部２０１による撮影周期よりも長い周期で抽出し、抽出したフレームに対応する画像信号を表示部２０７へ出力する。これにより、表示部２０７に表示される画像は、撮影部２０１による撮影周期よりも長い周期で更新されることにより、画像表示に関わる処理負担が軽減される。通信部２０８は、例えばＬＡＮカードである。通信部２０８は、外部の通信装置との間で通信を行う。

制御部２０２には、情報取得部２３４、発光色取得部２３６及び画像合成部２３８が構成される。情報取得部２３４は、時系列的に連続して取得される複数のフレームにおいて、色相（Ｈ：Hue）が赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかに逐次切り替わる画素の領域をＬＥＤ１０２による発光箇所である色変化領域として検出する。更に、情報取得部２３４は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色に対応するビットデータ列を復号するよう制御し、通信対象の情報である光ＩＤを取得する。

発光色取得部２３６は、時系列的に連続して取得される複数のフレームにおいて、色変化領域の画像（受信エリア画像）を取得し、メモリ２０５に記憶させる。

画像合成部２３８は、光ＩＤが示す装置状態に応じて、表示部２０７に表示されている画像内の色変化領域に合成すべき受信エリア画像の色を決定する。更に、画像合成部２３８は、決定した色の受信エリア画像をメモリ２０５から読み出し、その受信エリア画像を、表示部２０７に表示されている画像における色変化領域に合成する処理を行う。なお、表示部２０７に表示されている画像における色変化領域に合成する受信エリア画像は、表示部２０７に表示されている画像における色変化領域と同じ大きさでもよく、大きさを異ならせてもよい。更には、受信エリア画像は、表示部２０７に表示されている色変化領域よりもやや大きく、色変化領域が隠れる程度の面積を有することが望ましい。このようにすることでユーザは色変化領域を直接見ることはなく、且つ、如何にも色変化領域がその状態を端的に理解しやすい色で発光しているように見えるという効果を奏する。更に、表示部２０７に表示されている画像における色変化領域に合成する受信エリア画像は、表示部２０７に表示されている画像における色変化領域と同じ形状でもよく、形状を異ならせてもよい。また、ユーザが操作部２０６を操作して、表示部２０７に表示されている画像における色変化領域を選択した場合、画像合成部２３８は、その色変化領域に対応する光ＩＤの情報の画像を、表示部２０７に表示されている画像における色変化領域の近傍に合成する処理を行う。

次に、サーバ２００の動作を説明する。図４は、サーバ２００による受信エリア画像取得処理の一例を示すフローチャートである。

サーバ２００の制御部２０２内の情報取得部２３４は、可視光通信で情報を受信しているか否かを判定する（ステップＳ１０１）。具体的には、情報取得部２３４は、時系列的に連続して取得される複数のフレームにおいて、色相が赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかに逐次切り替わる画素の領域を色変化領域として検出し、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色に対応するビットデータ列を復号するよう制御し、通信対象の情報である光ＩＤの取得を試みる。情報取得部２３４は、光ＩＤを取得することができた場合には、可視光通信で情報を受信していると判定し、光ＩＤを取得することができなかった場合には、可視光通信で情報を受信していないと判定する。

可視光通信で情報を受信していない場合には（ステップＳ１０１；ＮＯ）、一連の動作が終了する。一方、可視光通信で情報を受信している場合（ステップＳ１０１；ＹＥＳ）、発光色取得部２３６は、現在の色変化領域の色の画像を、受信エリア画像として取得済みであるか否かを判定する（ステップＳ１０２）。受信エリア画像は、色変化領域毎に必要であり、表示部２０７に表示される画像内の色変化領域に合成される画像を意味する。また、１つの色変化領域には、赤（Ｒ）、黄（Ｙ）、青（Ｂ）の受信エリア画像が必要である。

現在の色変化領域の色の画像を受信エリア画像として取得済みである場合には（ステップＳ１０２；ＹＥＳ）、一連の動作が終了する。一方、現在の色変化領域の色の画像を受信エリア画像として取得済みでない場合（ステップＳ１０２；ＮＯ）、発光色取得部２３６は、現在の色変化領域の色が緑（Ｇ）であるか否かを判定する（ステップＳ１０３）。

上述したように、ＬＥＤ１０２の発光色は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）である。これに対して、１つの色変化領域には赤（Ｒ）、黄（Ｙ）、青（Ｂ）の受信エリア画像が必要である。すなわち、ＬＥＤ１０２の発光色のうち、緑（Ｇ）は受信エリア画像には不要である一方、ＬＥＤ１０２の発光色から黄（Ｙ）の受信エリア画像を取得することはできない。そこで、現在の色変化領域の色が緑（Ｇ）である場合（ステップＳ１０３；ＹＥＳ）、発光色取得部２３６は、色変化領域の色相を緑（Ｇ）から黄（Ｙ）に変換する（ステップＳ１０４）。更に、発光色取得部２３６は、変換後の黄（Ｙ）の画像を、当該色変化領域における黄（Ｙ）の受信エリア画像としてメモリ２０５に記憶させる（ステップＳ１０５）。

一方、現在の色変化領域の色が緑（Ｇ）でない場合（ステップＳ１０３；ＮＯ）、すなわち、現在の色変化領域の色が赤（Ｒ）及び青（Ｂ）の何れかである場合、発光色取得部２３６は、赤（Ｒ）の画像を、色変化領域における赤（Ｒ）の受信エリア画像としてメモリ２０５に記憶させ、青（Ｂ）の画像を、色変化領域における青（Ｂ）の受信エリア画像としてメモリ２０５に記憶させる（ステップＳ１０５）。

図４の処理が繰り返されることによって、色変化領域毎に、赤（Ｒ）の受信エリア画像、黄（Ｙ）の受信エリア画像、青（Ｂ）の受信エリア画像が取得される。発光色取得部２３６は、図５に示すように、表示部２０７に表示される画像に対応する座標軸における色変化領域の座標に、赤（Ｒ）の受信エリア画像、黄（Ｙ）の受信エリア画像、青（Ｂ）の受信エリア画像を対応付けて、受信エリア画像情報としてメモリ２０５に記憶する。

図６は、サーバ２００による受信エリア画像合成処理の一例を示すフローチャートである。図６に示す動作は、図４に示す動作の後に、あるいは、図４に示す動作と並行して行われる。

サーバ２００の制御部２０２内の情報取得部２３４は、可視光通信で情報を受信しているか否かを判定する（ステップＳ２０１）。具体的には、図４のステップＳ１０１と同様、情報取得部２３４は、時系列的に連続して取得される複数のフレームにおいて、色相が赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかに逐次切り替わる画素の領域を色変化領域として検出し、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色に対応するビットデータ列を復号するよう制御し、通信対象の情報である光ＩＤの取得を試みる。情報取得部２３４は、光ＩＤを取得することができた場合には、可視光通信で情報を受信していると判定し、光ＩＤを取得することができなかった場合には、可視光通信で情報を受信していないと判定する。

可視光通信で情報を受信していない場合には（ステップＳ２０１；ＮＯ）、一連の動作が終了する。一方、可視光通信で情報を受信している場合（ステップＳ２０１；ＹＥＳ）、画像合成部２３８は、ステップＳ２０１において肯定判断した可視光通信に対応する色変化領域について、受信エリア画像を取得済みであるか否かを判定する（ステップＳ２０２）。具体的には、画像合成部２３８は、表示部２０７に表示される画像に対応する座標軸における色変化領域の座標を認識する。更に、画像合成部２３８は、メモリ２０５において、認識した座標に対応付けられて、赤（Ｒ）の受信エリア画像３０２ｃ、黄（Ｙ）の受信エリア画像３０２ｂ、青（Ｂ）の受信エリア画像３０２ａが全て記憶されているか否かを判定する。画像合成部２３８は、認識した座標に対応付けられて、赤（Ｒ）の受信エリア画像３０２ｃ、黄（Ｙ）の受信エリア画像３０２ｂ、青（Ｂ）の受信エリア画像３０２ａが全て記憶されている場合には、色変化領域について、受信エリア画像を取得済みであると判定し、一部又は全てが記憶されていない場合には、受信エリア画像を取得済みでないと判定する。

色変化領域について、受信エリア画像を取得済みでない場合には（ステップＳ２０２；ＮＯ）、一連の動作が終了する。一方、色変化領域について、受信エリア画像を取得済みである場合（ステップＳ２０２；ＹＥＳ）、画像合成部２３８は、色変化領域に対応する光ＩＤの取得を試みる。具体的な処理は、ステップＳ２０１と同様である。光ＩＤを取得することができた場合、画像合成部２３８は、取得した光ＩＤに対応する色の受信エリア画像を選択する（ステップＳ２０３）。

図７は、装置状態、光ＩＤ、受信エリア画像の色の対応関係の一例を示す図である。図７では、装置状態が稼働中の場合には、光ＩＤが０となり、受信エリア画像の色が青（Ｂ）となる。装置状態がＡ部材不足の場合には、光ＩＤが１となり、受信エリア画像の色が黄（Ｙ）となる。装置状態がＢ部材不足の場合には、光ＩＤが２となり、受信エリア画像の色が黄（Ｙ）となる。装置状態がＣ部材不足の場合には、光ＩＤが３となり、受信エリア画像の色が黄（Ｙ）となる。装置状態が異常停止の場合には、光ＩＤが４となり、受信エリア画像の色が赤（Ｒ）となる。なお、装置状態が電源オフの場合には、ＬＥＤ１０２が発光しないため、光ＩＤは受信できず、受信エリア画像の色は変化なし（非点灯）となる。図７に示す対応関係の情報は、例えばメモリ２０５に記憶されている。

画像合成部２３８は、ステップＳ２０３において、図７に示す対応関係に従って、ステップＳ２０１において肯定判断した可視光通信に対応する色変化領域について、取得した光ＩＤに対応する色の受信エリア画像を選択する。

再び、図６に戻って説明する。次に、画像合成部２３８は、ステップＳ２０３において選択した受信エリア画像を、表示部２０７に表示されている画像の色変化領域に合成する（ステップＳ２０４）。具体的には、画像合成部２３８は、表示部２０７に表示される画像に対応する座標軸における、ステップＳ２０１において肯定判断した可視光通信に対応する色変化領域に、ステップＳ２０３において選択した受信エリア画像が合成されるように、画像信号を生成して、表示部２０７に出力する。表示部２０７は、表示中の画像に受信エリア画像を合成した画像を表示する。

ステップＳ２０４の処理が行われることにより、例えば、図８に示すように、監視対象装置１００ａの装置状態が稼働中である場合には、表示部２０７に表示されている画像において、ＬＥＤ１０２ａに対応する色変化領域には、青（Ｂ）の受信エリア画像３０２ａが合成される。また、監視対象装置１００ｂの装置状態がＡ部材不足である場合には、表示部２０７に表示されている画像において、ＬＥＤ１０２ｂに対応する色変化領域には、黄（Ｙ）の受信エリア画像３０２ｂが合成される。また、監視対象装置１００ｃの装置状態が異常停止である場合には、表示部２０７に表示されている画像において、ＬＥＤ１０２ｃに対応する色変化領域には、赤（Ｒ）の受信エリア画像３０２ｃが合成される。なお、監視対象装置１００の装置状態が電源オフである場合には、表示部２０７に表示されている画像において、その監視対象装置１００内のＬＥＤ１０２の箇所は変化なし（非点灯）となる。

再び、図６に戻って説明する。次に、画像合成部２３８は、ユーザが操作部２０６を操作して、表示部２０７に表示されている画像に含まれる色変化領域を選択したか否かを判定する（ステップＳ２０５）。具体的には、操作部２０６は、ユーザが接触した位置の情報を制御部２０２へ出力する。画像合成部２３８は、接触位置の情報を、表示部２０７に表示されている画像に対応する座標軸における座標に変換する。更に、画像合成部２３８は、取得した座標が、メモリ２０５において、受信エリア画像に対応付けられて記憶されている、色変化領域の座標の何れかと一致あるいは近似するか否かを判定する。取得した座標が、メモリ２０５において、受信エリア画像に対応付けられて記憶されている、色変化領域の座標の何れかと一致あるいは近似する場合、画像合成部２３８は、ユーザが操作部２０６を操作して、表示部２０７に表示されている画像に含まれる色変化領域を選択したと判定する。

ユーザが操作部２０６を操作して、表示部２０７に表示されている画像に含まれる色変化領域を選択していない場合には（ステップＳ２０５；ＮＯ）、一連の動作が終了する。一方、ユーザが操作部２０６を操作して、表示部２０７に表示されている画像に含まれる色変化領域を選択した場合（ステップＳ２０５；ＹＥＳ）、画像合成部２３８は、ステップＳ２０３において取得した、色変化領域に対応する光ＩＤを認識し、図７の当該光ＩＤに対応する装置状態の情報を示す画像を生成する。更に、画像合成部２３８は、装置状態の情報を示す画像を、表示部２０７に表示されている画像の色変化領域の近傍に合成する（ステップＳ２０６）。

具体的には、画像合成部２３８は、表示部２０７に表示される画像に対応する座標軸における、ユーザが操作部２０６の操作によって選択した色変化領域の座標を認識する。更に、画像合成部２３８は、認識した座標の近傍に装置状態の情報を示す画像が合成されるように、画像信号を生成して、表示部２０７に出力する。この際、画像合成部２３８は、既に合成されている受信エリア画像や他の装置状態の情報を示す画像と今回合成する装置状態の情報を示す画像とが重ならないように、装置状態の情報を示す画像の表示位置、サイズ等を決定する。表示部２０７は、表示中の画像において、色変化領域の画像の近傍に装置状態の情報を示す画像を合成した画像を表示する。

ステップＳ２０６の処理が行われることにより、例えば、図９に示すように、監視対象装置１００ｃの装置状態が異常停止であり、ユーザによってＬＥＤ１０２ｃに対応する色変化領域における受信エリア画像３０２ｃが選択された場合には、表示部２０７に表示されている画像において、受信エリア画像３０２ｃの近傍に「異常停止」の文字の画像３０４が合成される。

このように本実施形態では、監視対象装置１００は、自身の装置状態を示す光ＩＤに対応する光を発する。サーバ２００は、撮影により得られたフレームに応じた画像を表示する際に、撮影周期よりも長い周期で表示する画像を更新する。また、サーバ２００は、フレーム内の色変化領域の色の変化に応じて光ＩＤを取得し、その光ＩＤに対応する色の画像（受信エリア画像）を、表示中の画像における色変化領域に合成する。これにより、表示される画像の更新周期を長くして処理負担を軽減される場合でも、ユーザは、受信エリア画像の色によって監視対象装置１００の状態を的確に判断することができる。

また、サーバ２００は、表示中の画像における色変化領域がユーザによって選択された場合には、その色変化領域に対応する光ＩＤの文字の画像３０４が表示される。このため、ユーザは、監視対象装置１００の状態の詳細を認識することができる。なお、表示中の画像における色変化領域がユーザによって複数選択されれば、その結果、色変化領域に対応する光ＩＤの文字の画像３０４が複数表示されることになる。この時、表示された光ＩＤの文字の画像３０４が互いに重なり合う場合には、光ＩＤの文字の画像３０４が互いに重なり合わないように表示を行うようにする。また、表示された光ＩＤの文字の画像３０４が互いに重なり合う場合は、色変化領域がユーザによって選択された場合でも、受信エリア画像を表示部２０７に表示されている画像の色変化領域に合成する。

なお、本発明は、上記実施形態の説明及び図面によって限定されるものではなく、上記実施形態及び図面に適宜変更等を加えることは可能である。

例えば、上述した実施形態では、サーバ２００が図４の動作を行うことにより、受信エリア画像を取得するようにした。しかし、サーバ２００が、予め、図７に示す各色の受信エリア画像を用意しておき、図６のステップＳ２０３において、光ＩＤに対応する色の受信エリア画像を選択するようにしてもよい。

また、例えば、上述した実施形態では、可視光である赤、緑、青の光を通信に用いる場合について説明したが、他の色の可視光を用いてもよく、更には、赤外線等の可視光以外の光を用いてもよい。また、発光パターンは色相が時間的に変化するものに限定されず、輝度（明度）や彩度が時間的に変化するものであってもよい。このような場合でも上記実施形態と同様に、監視対象装置１００は、自身の装置状態を示す光ＩＤに対応する光を発する。一方、サーバ２００は、撮影により得られたフレームに応じた画像を表示する際に、撮影周期よりも長い周期で表示する画像を更新するとともに、フレーム内の色変化領域の色の変化に応じて光ＩＤを取得し、その光ＩＤに対応する色の画像を、表示中の画像における色変化領域に合成する。

また、監視対象装置１００内の光源はＬＥＤ１０２に限定されない。例えば、表示装置を構成するＬＣＤ、ＰＤＰ、ＥＬディスプレイ等の一部に光源が構成されていてもよい。

また、サーバ２００は、撮影部２０１が設けられて撮影が可能であれば、どのような装置でもよい。なお、撮影部２０１はサーバ２００の外部に設けられていてもよい。

また、上記実施形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read - Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto - Optical Disc）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。

また、プログラムをインターネット等のネットワーク上の所定のサーバが有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
撮影手段と、
前記撮影手段により撮影された画像を表示する表示手段と、
前記撮影手段により撮影された画像に含まれる所定の光の画像から任意の情報を取得する情報取得手段と、
前記撮影手段により撮影された画像に前記任意の情報に対応する所定の色の画像を合成して表示させるよう前記表示手段を制御する表示制御手段と、
を備えることを特徴とする表示装置。

（付記２）
前記表示制御手段は、前記撮影手段により撮影された画像における、前記所定の光の画像の位置に、前記任意の情報に対応する所定の色の画像を合成して表示させる制御を行うことを特徴とする付記１に記載の表示装置。

（付記３）
前記任意の情報は、前記所定の光を発した発光装置の状態を示す情報であり、
前記任意の情報に対応する所定の色は、前記発光装置の状態に応じて定められた色であることを特徴とする付記１又は２に記載の表示装置。

（付記４）
前記表示制御手段は、前記表示手段において、前記撮影手段により撮影された画像に前記任意の情報を示す画像を合成して表示させる制御を行うことを特徴とする付記１〜３の何れか１つに記載の表示装置。

（付記５）
発光装置と表示装置との間で、光を通信媒体として任意の情報を伝送する情報処理システムであって、
前記発光装置は、
前記任意の情報に対応する光を発する発光手段を備え、
前記表示装置は、
撮影手段と、
前記撮影手段により撮影された画像を表示する表示手段と、
前記撮影手段により撮影された画像に含まれる所定の光の画像から前記任意の情報を取得する情報取得手段と、
前記撮影手段により撮影された画像に前記任意の情報に対応する所定の色の画像を合成して表示させるよう前記表示手段を制御する表示制御手段と、
を備えることを特徴とする情報処理システム。

（付記６）
発光装置と表示装置との間で、光を通信媒体として任意の情報を伝送する情報処理システムにおける情報処理方法であって、
前記発光装置が、発光部に対し前記任意の情報に対応する光を発させる発光ステップと、
前記表示装置が、
撮影部に対し撮影を行わせる撮影ステップと、
前記撮影ステップにおいて撮影された画像に含まれる所定の光の画像から前記任意の情報を取得する情報取得ステップと、
前記撮影ステップにおいて撮影された画像に前記任意の情報に対応する所定の色の画像を合成して表示部に表示させる表示制御ステップと、
を含むことを特徴とする情報処理方法。

（付記７）
撮影部と、表示部とを有する装置のコンピュータを、
前記撮影部により撮影された画像に含まれる所定の光の画像から任意の情報を取得する情報取得手段、
前記撮影部により撮影された画像に前記任意の情報に対応する所定の色の画像を合成して表示させるよう前記表示部を制御する表示制御手段、
として機能させることを特徴とするプログラム。

１…可視光通信システム、１００、１００ａ、１００ｂ、１００ｃ…監視対象装置、１０２、１０２ａ、１０２ｂ、１０２ｃ…ＬＥＤ、１０３、２０２…制御部、１０４、２０５…メモリ、１０８、２０８…通信部、１１２…駆動部、１２６…発光制御部、２００…サーバ、２０１…撮影部、２０３…レンズ、２０４…画像処理部、２０６…操作部、２０７…表示部、２３４…情報取得部、２３６…発光色取得部、２３８…画像合成部、３０２ａ…青の受信エリア画像、３０２ｂ…黄の受信エリア画像、３０２ｃ…赤の受信エリア画像、３０４…文字の画像

Claims (7)

1. 撮影手段と、
   前記撮影手段により撮影された画像を表示する表示手段と、
   前記撮影手段により撮影された画像に含まれる所定の光の画像から任意の情報を取得する情報取得手段と、
   前記撮影手段により撮影された画像に前記任意の情報に対応する所定の色の画像を合成して表示させるよう前記表示手段を制御する表示制御手段と、
   を備えることを特徴とする表示装置。
2. 前記表示制御手段は、前記撮影手段により撮影された画像における、前記所定の光の画像の位置に、前記任意の情報に対応する所定の色の画像を合成して表示させる制御を行うことを特徴とする請求項１に記載の表示装置。
3. 前記任意の情報は、前記所定の光を発した発光装置の状態を示す情報であり、
   前記任意の情報に対応する所定の色は、前記発光装置の状態に応じて定められた色であることを特徴とする請求項１又は２に記載の表示装置。
4. 前記表示制御手段は、前記表示手段において、前記撮影手段により撮影された画像に前記任意の情報を示す画像を合成して表示させる制御を行うことを特徴とする請求項１〜３の何れか１項に記載の表示装置。
5. 発光装置と表示装置との間で、光を通信媒体として任意の情報を伝送する情報処理システムであって、
   前記発光装置は、
   前記任意の情報に対応する光を発する発光手段を備え、
   前記表示装置は、
   撮影手段と、
   前記撮影手段により撮影された画像を表示する表示手段と、
   前記撮影手段により撮影された画像に含まれる所定の光の画像から前記任意の情報を取得する情報取得手段と、
   前記撮影手段により撮影された画像に前記任意の情報に対応する所定の色の画像を合成して表示させるよう前記表示手段を制御する表示制御手段と、
   を備えることを特徴とする情報処理システム。
6. 発光装置と表示装置との間で、光を通信媒体として任意の情報を伝送する情報処理システムにおける情報処理方法であって、
   前記発光装置が、発光部に対し前記任意の情報に対応する光を発させる発光ステップと、
   前記表示装置が、
   撮影部に対し撮影を行わせる撮影ステップと、
   前記撮影ステップにおいて撮影された画像に含まれる所定の光の画像から前記任意の情報を取得する情報取得ステップと、
   前記撮影ステップにおいて撮影された画像に前記任意の情報に対応する所定の色の画像を合成して表示部に表示させる表示制御ステップと、
   を含むことを特徴とする情報処理方法。
7. 撮影部と、表示部とを有する装置のコンピュータを、
   前記撮影部により撮影された画像に含まれる所定の光の画像から任意の情報を取得する情報取得手段、
   前記撮影部により撮影された画像に前記任意の情報に対応する所定の色の画像を合成して表示させるよう前記表示部を制御する表示制御手段、
   として機能させることを特徴とするプログラム。

Images