JP2021125859A - 表示出力制御装置、表示出力制御システム、表示出力制御方法及びプログラム - Google Patents

Abstract

【課題】移動する識別対象を撮影範囲に含む画像の再生制御を容易にする。【解決手段】フォークリフト１００ａ等に取り付けられたＬＥＤ１０２ａ等は、車両番号と、荷物の有無と、荷物番号と、移動開始情報、停止情報及びフォークリフト１００ａ等の速度情報からなる移動ステータス情報とに対応して発光色を時系列に変化させる可視光通信を行う。一方、サーバ３００は、日時と、位置と、ＬＥＤ１０２ａ等からの車両番号と、荷物の有無と、荷物番号と、移動ステータス情報と、フレームのデータと、タイムスタンプと、カメラＩＤとを対応付けて表示用情報を生成、記憶する。更に、サーバ３００は、この表示用情報を用いて、フォークリフト１００ａ等を表示する動画像を含んだ情報画面を表示する。【選択図】図１

Description

本発明は、表示出力制御装置、表示出力制御システム、表示出力制御方法及びプログラムに関する。

近年、管理目的で、屋内での移動体の位置を測定する動線管理システムが実現されている。

例えば、ＵＷＢ（Ultra Wide Band）等の屋内位置測位技術を用いて、フォークリフトの動きを観測し、その動線の改善を行うことで、フォークリフトの運用台数最適化を促すシステムがある（例えば、特許文献１参照）。

特開２００５−２７４３６４号公報

上記の技術と固定カメラにより記録された屋内全体におけるフォークリフトが移動する様子の動画像とを併用すれば、動線管理の精度は向上するが、上記の技術を併用しても所望するフォークリフトの位置に関する部分を頭出し再生するためには、ユーザ操作で再生箇所を指定する等の操作が必要であった。

本願発明は、上記問題点に鑑みてなされたもので、移動する識別対象を撮影範囲に含む画像の再生制御を容易にすることを目的とする。

上記目的を達成するため、本発明に係る表示出力制御装置は、
所定の空間を撮像範囲とした画像を取得する画像取得手段と、
前記画像取得手段によって取得された前記画像の撮像範囲に含まれる被写体の位置に基づいて、前記所定の空間における前記被写体の存在位置を取得する位置取得手段と、
前記画像取得手段によって取得された前記画像と、前記位置取得手段によって取得された前記被写体の存在位置とを関連付けて表示出力するよう制御する制御手段と、
を備えることを特徴とする。

上記目的を達成するため、本発明に係る表示出力制御システムは、
所定の空間を撮像範囲とした画像を取得する画像取得手段と、
前記画像取得手段によって取得された前記画像の撮像範囲に含まれる被写体の位置に基づいて、前記所定の空間における前記被写体の存在位置を取得する位置取得手段と、
前記画像取得手段によって取得された前記画像と、前記位置取得手段によって取得された前記被写体の存在位置とを関連付けて表示出力するよう制御する制御手段と、
を備えることを特徴とする。

上記目的を達成するため、本発明に係る表示出力制御方法は、
所定の空間を撮像範囲とした画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記画像の撮像範囲に含まれる被写体の位置に基づいて、前記所定の空間における前記被写体の存在位置を取得する位置取得ステップと、
前記画像取得ステップにおいて取得された前記画像と、前記位置取得ステップにおいて取得された前記被写体の存在位置とを関連付けて表示出力するよう制御する制御ステップと、
を含むことを特徴とする。

上記目的を達成するため、本発明に係るプログラムは、
コンピュータを、
所定の空間を撮像範囲とした画像を取得する画像取得手段、
前記画像取得手段によって取得された前記画像の撮像範囲に含まれる被写体の位置に基づいて、前記所定の空間における前記被写体の存在位置を取得する位置取得手段、
前記画像取得手段によって取得された前記画像と、前記位置取得手段によって取得された前記被写体の存在位置とを関連付けて表示出力するよう制御する制御手段、
として機能させることを特徴とする。

本発明によれば、移動する識別対象を撮影範囲に含む画像の再生制御を容易にすることができる。

本発明の実施形態に係る可視光通信システムの構成の一例を示す図である。 同実施形態に係るフォークリフトの構成の一例を示す図である。 同実施形態に係るカメラとサーバとデータベースとの構成の一例を示す図である。 同実施形態に係るデータベースに格納されるデータを示す図であり、（ａ）は通信データログファイル格納部の格納内容を示す図であり、（ｂ）は画像解析ログファイル格納部の格納内容を示す図である。 同実施形態に係るフォークリフトが行う動作と処理の一例を示すフローチャートである。 同実施形態に係るカメラ及びサーバが行う情報処理の一例を示すフローチャートである。 同実施形態に係るデータの一例であり、（ａ）は表示用情報におけるデータ５５０の内容を示す図であり、（ｂ）は表示用情報におけるデータ５５１の内容を示す図である。 同実施形態に係るサーバによる荷物検索処理の一例を示すフローチャートである。 同実施形態に係るサーバによる情報画面表示処理の一例を示すフローチャートである。 同実施形態に係る情報表示画面の生成の流れを示す図である。 同実施形態に係る移動体情報画面の一例を示す図である。 同実施形態に係るサーバによる再生の処理の一例を示すフローチャートである。

以下、図面を参照して、本発明の実施形態に係る情報処理システムとしての可視光通信システムを説明する。

図１は、可視光通信システムの構成の一例を示す図である。図１に示すように、可視光通信システム１が適用される空間Ｓには、棚４００ａ、４００ｂが設置されており、フォークリフト１００ａ、１００ｂ（以下、フォークリフト１００ａ、１００ｂのそれぞれを限定しない場合には、適宜「フォークリフト１００」と称する）と、カメラ２００ａ、２００ｂ、２００ｃ、２００ｄ（以下、カメラ２００ａ、２００ｂ、２００ｃ、２００ｄのそれぞれを限定しない場合には、適宜「カメラ２００」と称する）と、ハブ２１０と、サーバ３００と、データベース５００とが含まれる。フォークリフト１００ａは、マーカー（発光体）であるＬＥＤ（Light Emitting Diode）１０２ａを含み、フォークリフト１００ｂは、ＬＥＤ１０２ｂを含む（以下、ＬＥＤ１０２ａ、１０２ｂのそれぞれを限定しない場合には、適宜「ＬＥＤ１０２」と称する）。サーバ３００は、ハブ２１０を介してカメラ２００を接続する。また、図示しないネットワークＬＡＮ（Local Area Network）を介してデータベース５００に接続される。

本実施形態において、フォークリフト１００ａは、荷物１６０を運搬する。荷物１６０には、当該荷物の識別情報である荷物番号に対応するＩＤ（Identification）コード１６１が貼付されている。ＩＤコード１６１は、例えばＱＲコード（登録商標）やバーコード（二次元バーコードを含む）等、シール等の印刷媒体に幾何学的なパターンとして印刷され、光学的な走査により読み取られて所定の復号方法で復号されるものである。ただし、ＩＤコード１６１は数字、文字、記号、抽象的画像等で表現されていてもよい。

フォークリフト１００に取り付けられたＬＥＤ１０２は、送信対象の情報であるフォークリフト１００の識別情報である車両番号と、荷物の有無と、荷物番号と、フォークリフト１００の移動開始を示す移動開始情報と、フォークリフト１００の停止を示す停止情報と、フォークリフト１００の速度情報等の移動ステータス（移動状況）の情報とを含む通信データに対応して発光色を時系列に変化させ、可視光通信により送信する。

一方、カメラ２００は、空間Ｓ全体の撮影を行う。サーバ３００は、カメラ２００の撮影により得られた空間Ｓ全体の画像から、可視光通信により空間ＳにおけるＬＥＤ１０２の位置を取得し、更にＬＥＤ１０２の時系列的に変化する発光の内容を復調し、フォークリフト１００から通信データを取得する。

図２は、フォークリフト１００の構成の一例を示す図である。図２に示すように、フォークリフト１００は、ＬＥＤ１０２、制御部１０３、メモリ１０４、３軸加速度センサー１０８、通信部１１０、駆動部１１２、及び、電池１５０を含む。

制御部１０３は、例えばＣＰＵ（Central Processing Unit）によって構成される。制御部１０３は、メモリ１０４に記憶されたプログラムに従ってソフトウェア処理を実行することにより、フォークリフト１００が具備する各種機能を制御する。

メモリ１０４は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）である。メモリ１０４は、フォークリフト１００における制御等に用いられる各種情報（プログラム等）を記憶する。

カメラ１０６は、フォークリフト１００が運搬する荷物１６０に貼付されたＩＤコード１６１を撮影するために用いられる。３軸加速度センサー１０８はフォークリフト１００のフォーク部分に備えられ、空間Ｓを規定するＸ軸、Ｙ軸、Ｚ軸の各方向における加速度を検出する。

通信部１１０は、例えばＬＡＮカードである。通信部１１０は、サーバ３００等との間で無線通信を行う。電池１５０は、フォークリフト１００の作動に必要な電力を各部に供給する。

制御部１０３は、メモリ１０４に記憶されたフォークリフト１００の車両番号を読み出す。

また、制御部１０３は、フォークリフト１００が荷物を運搬中であるか否か（荷物の有無）を判定する。例えば、フォークリフト１００のフォーク部分には図示しない重量センサーが取り付けられており、制御部１０３は、当該重量センサーの情報が所定重量以上を示す場合にはフォーク部分に荷物が存在すると判定し、所定重量未満の場合にはフォーク部分には荷物が存在しないと判定することができる。また、制御部１０３はカメラ１０６が撮影した画像を解析することでフォーク部分の荷物の存在の有無を判定することができる。あるいは、荷物に無線タグが取り付けられるとともにフォーク部分に近接無線用アンテナを備えさせ、制御部１０３は荷物がフォーク部分に搭載された際に荷物の無線タグから近接無線用アンテナを介してその情報を受信した場合には荷物が存在すると判定し、受信しない場合には荷物が存在しないと判定することができる。

また、制御部１０３は、カメラ１０６が撮影した画像を解析することで、荷物１６０に貼付されたＩＤコード１６１の有無を判定し、ＩＤコード１６１がある場合には、そのＩＤコード１６１に対応する荷物番号を取得する。また、制御部１０３は、３軸加速度センサー１０８からの加速度の情報に基づいて、フォークリフト１００の移動開始、停止を判別するとともに、フォークリフト１００の速度を算出する。

制御部１０３内には発光制御部１２４が構成される。発光制御部１２４は、上述した通信データに対応して発光色を時系列に変化させる発光パターンを決定する。なお、移動開始情報は、フォークリフト１００が移動を開始し、速度が０から所定値以上に増加した場合にのみ生成され、停止情報は、フォークリフト１００が停止し、速度が所定値以上から０に減少した場合にのみ生成される。

更に、発光制御部１２４は、発光パターンの情報を駆動部１１２へ出力する。駆動部１１２は、発光制御部１２４からの発光パターンの情報に応じて、ＬＥＤ１０２が発する光の色相を時間的に変化させるための駆動信号を生成する。ＬＥＤ１０２は、駆動部１１２から出力される駆動信号に応じて、時間的に色相が変化する光を発する。例えば、発光色は３原色であり、可視光通信における色変調に用いる波長帯の色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかである。

図３は、カメラ２００とサーバ３００とデータベース５００との構成の一例を示す図であり、図４（ａ）は、データベース５００の通信データログファイル格納部５０１の格納内容、図４（ｂ）は画像解析ログファイル格納部５０２の格納内容を示す図である。図３に示すように、カメラ２００とサーバ３００とはハブ２１０を介して接続され、データベース５００とはネットワークＬＡＮを介して接続される。カメラ２００は、撮影部２０２及びレンズ２０３を含む。サーバ３００は、制御部３０２、画像処理部３０４、メモリ３０５、操作部３０６、表示部３０７及び通信部３０８を含む。データベース５００は、通信データログファイル格納部５０１、画像解析ログファイル格納部５０２、映像データ格納部５０３、及び、地図画像データ格納部５０４を備える。

カメラ２００内のレンズ２０３は、ズームレンズ等により構成される。レンズ２０３は、サーバ３００内の操作部３０６からのズーム制御操作、及び、制御部３０２による合焦制御により移動する。レンズ２０３の移動によって撮影部２０２が撮影する撮影画角や光学像が制御される。

撮影部２０２は、規則的に二次元配列された複数の受光素子により、撮像面を含む受光面が構成される。受光素子は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮影デバイスである。撮影部２０２は、レンズ２０３を介して入光された光学像を、サーバ３００内の制御部３０２からの制御信号に基づいて所定範囲の撮影画角で撮影（受光）し、その撮影画角内の画像信号をデジタルデータに変換してフレームを生成する。また、撮影部２０２は、撮影とフレームの生成とを時間的に連続して行い、連続するフレームのデジタルデータを画像処理部３０４に出力する。

画像処理部３０４は、制御部３０２からの制御信号に基づいて、撮影部２０２から出力されたフレームのデジタルデータを制御部３０２へ出力する。

制御部３０２は、例えばＣＰＵ等のプロセッサによって構成される。制御部３０２は、メモリ３０５に記憶されたプログラムに従ってソフトウェア処理を実行することにより、後述する図５、６、８、９、１２に示す処理を行う等、サーバ３００が具備する各種機能を制御する。

メモリ３０５は、例えばＲＡＭやＲＯＭである。メモリ３０５は、サーバ３００における制御等に用いられる各種情報（プログラム等）を記憶する。

操作部３０６は、テンキーやファンクションキー等によって構成され、ユーザの操作内容を入力するために用いられるインタフェースである。表示部３０７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electro Luminescence）ディスプレイ等によって構成される。表示部３０７は、制御部３０２から出力された画像信号に従って画像を表示する。通信部３０８は、例えばＬＡＮカードである。通信部３０８は、外部の通信装置との間で通信を行う。

制御部３０２には、検出部３３２、位置取得部３３４、対応付け制御部３３６、再生制御部３３８が構成される。

検出部３３２は、撮影部２０２が出力する複数のフレームのデジタルデータそれぞれについて、当該フレームを構成する各画素の輝度値を取得する。次に、検出部３３２は、フレームにおいて輝度値が所定値以上である画素の位置をＬＥＤ１０２の位置であるとみなす。更に、検出部３３２は、フレーム内のＬＥＤ１０２の位置における発光色の変化の復号処理を行い、ＬＥＤ１０２が送信した通信データ（車両番号、荷物の有無、荷物番号、及び、移動ステータス情報）を取得する。尚、取得された通信データはレコードＮｏ．を付与して、図４（ａ）に示すように通信データログファイル格納部５０１に蓄積される。

位置取得部３３４は、複数のカメラ２００のそれぞれが撮影した結果が格納された画像解析ログファイル格納部５０２のデータから、カメラ２００がＬＥＤ１０２を撮影し、検出部３３２が複数のカメラ２００毎にＬＥＤ１０２によって送信した情報を取得した場合における、そのカメラ２００毎に取得された複数の情報に同一の車両番号が含まれているか否かを判定する。画像解析ログファイル格納部５０２のデータにおいて、同じタイムスタンプ（撮影時刻）においてカメラ２００毎に取得された複数の情報に同一の車両番号が含まれていれば、複数のカメラ２００が同一のＬＥＤ１０２を撮影したことを意味する。この場合、位置取得部３３４は、それぞれのカメラ２００の撮影によって得られた複数のフレームにおける同一のＬＥＤ１０２の位置に基づいて、三角測量の手法により、空間ＳにおけるＬＥＤ１０２の位置、換言すれば、当該ＬＥＤ１０２が取り付けられたフォークリフト１００の空間Ｓにおける存在位置（以下、「位置」と称する）を取得する。

対応付け制御部３３６は、通信データログファイル格納部５０１にレコードＮｏ．が付与されて格納されたデータ（日時情報、車両番号、荷物の有無、荷物番号、及び、移動ステータスの情報）と、図４（ｂ）に示す画像解析ログファイル格納部５０２にレコードＮｏ．が付与されて格納されたデータ（カメラＩＤ、タイムスタンプ、車両番号）とを車両番号で対応付けする。

また、対応付け制御部３３６は、新しく取得された通信データを通信データログファイル格納部５０１に追加、蓄積したり、カメラ２００にて撮影された画像の解析結果を画像解析ログファイル格納部５０２に追加、蓄積する。

再生制御部３３８は、操作者による操作部３０６の操作に応じて、データベース５００に格納された各種データから現在の日時（日時情報）、フォークリフト１００の位置、車両番号、荷物の有無、荷物番号、及び、移動ステータス情報と、複数のフレームのデジタルデータを含む映像データの再生画面とを含む移動体情報画面を生成し、当該移動体情報画面を表示部３０７に表示する制御を行う。

また、再生制御部３３８は、移動体情報画面の表示中における操作者による操作部３０６の操作に応じて、映像データにおける再生を開始するフレーム位置（日時情報）を設定し、その再生開始位置からの映像データの再生を行う。

以下、フローチャートを参照しつつ、フォークリフト１００及びサーバ３００が行う処理を説明する。

図５は、フォークリフト１００が行う動作と処理の一例を示すフローチャートである。フォークリフト１００内のカメラ１０６は撮影を行う。制御部１０３は、カメラ１０６の撮影により得られた画像について、荷物１６０に貼付されたＩＤコード１６１の有無を判定するための解析を行う（ステップＳ１０１）。

次に、制御部１０２は、画像内にＩＤコード１６１があり、当該ＩＤコード１６１に対応する荷物番号を取得したか否かを判定する（ステップＳ１０２）。

荷物番号を取得したと判定した場合には（ステップＳ１０２；ＹＥＳ）、制御部１０３内の発光制御部１２４は、車両番号、荷物の有無における「荷物有」、荷物番号、及び、移動ステータス情報を含む通信データに対応してＬＥＤ１０２の発光色を時系列に変化させる可視光通信の制御を行う（ステップＳ１０３）。
一方、荷物番号を取得しなかったと判定した場合には（ステップＳ１０２；ＮＯ）、発光制御部１２４は、車両番号、荷物の有無における「荷物無」、及び、移動ステータス情報を含む通信データに対応してＬＥＤ１０２の発光色を時系列に変化させる可視光通信の制御を行う（ステップＳ１０４）。

なお、ステップＳ１０３及びＳ１０４において、車両番号と移動ステータス情報とは、フォークリフト１００の移動に応じて周期的に送信する必要があるが、荷物の有無及び荷物番号は、１回のみ、複数回のみ、あるいは、車両番号及び移動ステータス情報よりも長い周期で送信してもよい。

図６は、カメラ２００及びサーバ３００が行う情報処理の一例を示すフローチャートである。

サーバ３００内の制御部３０２は、予め操作者による操作部３０６の操作に応じて、フォークリフト１００の車両番号と荷物１６０の荷物番号とをデータベース５００の管理情報テーブル（図示せず）に登録しておく（ステップＳ２０１）。

次に、カメラ２００内の撮影部２０２は、空間Ｓ内の撮影を、例えば、１ｆｐｓ（つまり１秒に付き一回フレームを記録）で行い、撮影により得られたフレームのデジタルデータをサーバ３００へ出力する。サーバ３００内の制御部３０２に構成された検出部３３２は、撮影部２０２が出力する映像データにおけるフレームのデジタルデータそれぞれについて、フレーム内における輝度値が所定値以上である画素の位置をＬＥＤ１０２の位置であるとみなす。更に、検出部３３２は、フレーム内のＬＥＤ１０２の位置における発光色の変化に基づいて復号処理を行い、ＬＥＤ１０２が送信した情報である、車両番号、荷物の有無、荷物番号、及び、移動ステータス情報を含む通信データを取得する。また、位置取得部３３４は、複数のカメラ２００の撮影によって得られた複数のフレームについて画像解析を行い、同一のＬＥＤ１０２の位置に基づいて、空間ＳにおけるＬＥＤ１０２の位置を取得する（ステップＳ２０２）。このＬＥＤ１０２の位置は、ＬＥＤ１０２が取り付けられたフォークリフト１００の位置、及び、フォークリフト１００が荷物１６０を運搬している場合には、その荷物１６０の位置となる。

次に、対応付け制御部３３６は、フォークリフト１００が荷物１６０を運搬しているか否かを判定する（ステップＳ２０３）。具体的には、対応付け制御部３３６は、取得した通信データの荷物の有無において１、すなわち「荷物有」の情報が含まれていると判定した場合には、フォークリフト１００は荷物１６０を運搬していると判定し、荷物の有無において０、すなわち「荷物無」の情報が含まれている場合には、フォークリフト１００が荷物を運搬していないと判定する。

フォークリフト１００が荷物１６０を運搬していると判定した場合（ステップＳ２０３；ＹＥＳ）、対応付け制御部３３６は、この通信データを取得した日時を示す日時情報と、フォークリフト１００の位置と、車両番号と、荷物の有無における「荷物有」と、荷物番号と、フォークリフト１００の移動ステータス情報と、当該ＬＥＤ１０２の画像が含まれるフレームの撮影時刻を示すタイムスタンプと、当該フレームを撮影したカメラ２００のカメラＩＤとを対応付けた表示用情報を生成、登録する（ステップＳ２０４）。

一方、フォークリフト１００が荷物を運搬していないと判定した場合（ステップＳ２０３；ＮＯ）、対応付け制御部３３６は、この通信データを取得した日時を示す日時情報と、フォークリフト１００の位置と、車両番号と、荷物の有無における「荷物無」と、移動ステータス情報と、当該ＬＥＤ１０２の画像が含まれるフレームの撮影時刻を示すタイムスタンプと、当該フレームを撮影したカメラ２００のカメラＩＤとを対応付けた表示用情報を生成、登録する（ステップＳ２０５）。

ステップＳ２０４及びステップＳ２０５における生成処理の後、再び、ステップＳ２０２における撮影及び情報取得以降の処理が、例えば一秒毎に繰り返されて、順次表示用情報が生成され、メモリ３０５の所定のメモリエリアに蓄積される。尚、ステップＳ２０４及びステップＳ２０５における生成処理により生成される表示用情報は図７（ａ）及び図７（ｂ）のようなデータ構造を持つ。具体的に図７（ａ）に示すデータ５５０は、日時情報、フォークリフト１００の車両番号、そのフォークリフト１００の空間Ｓにおける位置、及び、フォークリフト１００の移動ステータス情報を示す各データを対応付けたものである。図７（ｂ）に示すデータ５５１は、タイムスタンプ、ＬＥＤ１０２の画像（フレーム）上の位置座標、フォークリフト１００の車両番号、荷物の有無、及び、荷物番号を示す各データを対応付けたものである。尚、これら組み合わされるデータの関係は本実施例に限るものではなく、管理するべき情報に応じて適宜変更することが可能である。

図８は、サーバ３００による荷物検索処理の一例を示すフローチャートである。図８に示す処理は、図５及び図６の処理が行われた後に処理の実行が可能となる。

サーバ３００内の制御部３０２に構成された再生制御部３３８は、操作者が操作部３０６を操作して、検索対象の荷物番号を指定した場合、その荷物番号が図６のステップＳ２０１の処理によってデータベース５００の管理情報テーブル（図示せず）に登録されているか否かを判定する（ステップＳ３０１）。

荷物番号が登録されていると判定した場合（ステップＳ３０２；ＹＥＳ）、次に、再生制御部３３８は、その荷物番号に対応する荷物１６０が既に出庫済み、換言すれば、フォークリフト１００による運搬の対象から除外されているか否かを判定する（ステップＳ３０２）。例えば、図６のステップＳ２０１の処理によって荷物番号に対応する荷物１６０が出庫済みであると判定された場合には、その旨を示す出庫済みフラグが追加される。再生制御部３３８は、検索対象の荷物番号に出庫済みフラグが追加されていれば、出庫済みであると判定し、出庫済みフラグが追加されていなければ、出庫済みでない、換言すれば、フォークリフト１００による運搬の対象であると判定する。

出庫済みでないと判定した場合（ステップＳ３０２；ＮＯ）、再生制御部３３８は、図６のステップＳ２０４において、通信データログファイル格納部５０１において荷物番号に対応付けられて記憶されている、日時情報とフォークリフト１００の移動ステータス情報とを取得する（ステップＳ３０３）。

次に、再生制御部３３８は、取得した日時情報をタイムスタンプとして、これに対応付けられている全てのカメラ２００の撮影によって得られたフレームのデジタルデータを取得するとともに、これらのフレームに対応する表示用情報のうち、図７（ａ）に示すデータ５５０を取得する（ステップＳ３０４）。次に、再生制御部３３８は、ステップＳ３０３及びステップＳ３０４において取得した各種情報を用いて移動体情報を表示部３０７に表示する制御を行う（ステップＳ３０５）。移動体情報は、例えば、空間Ｓを直上から俯瞰した、フロアのイメージを示す地図画像に、位置の履歴に基づくフォークリフト１００の移動経路が合成された画像である。空間Ｓに対応する地図画像はデータベース５００の地図画像データ格納部５０４に格納されている。

一方、出庫済みであると判定された場合には（ステップＳ３０２；ＹＥＳ）、再生制御部３３８は出庫済みであることを示す画像を表示部３０７に表示する制御を行う（ステップＳ３１０）。また、検索対象の荷物番号が登録されていないと判定した場合には（ステップＳ３０１：ＮＯ）、再生制御部３３８は荷物が未検出であることを示す画像を表示部３０７に表示する制御を行う（ステップＳ３１１）。

図９は、サーバ３００による情報画面表示処理の一例を示すフローチャートである。図９に示す処理は、図５及び図６の処理が行われた後に処理の実行が可能となる。

再生制御部３３８は、操作者が、操作部３０６を操作して指定したフォークリフト１００を撮影したカメラ２００を選択する（ステップＳ４０１）。具体的には、再生制御部３３８は、図６のステップＳ２０４やステップ２０５において生成されメモリ３０５に蓄積された表示用情報のうち、図７（ａ）のデータ５５０の集合体から指定されたフォークリフト１００の車両番号を含むデータを特定し、そのデータに含まれるフォークリフト１００の位置を取得する。更に、再生制御部３３８は、位置を取得したフォークリフト１００を撮影したカメラ２００のカメラＩＤを特定し、このカメラＩＤを含むデータを画像解析ログファイル格納部５０２から抽出する。フォークリフト１００を撮影したカメラ２００とは、換言すればＬＥＤ１０２からの通信データを可視光通信で受信したカメラ２００とみなすことができる。フォークリフト１００を撮影したカメラ２００のカメラＩＤを複数特定した場合には、カメラＩＤ毎に後述するステップＳ４０２以降の処理が行われる。

次に、再生制御部３３８は、抽出したカメラＩＤに対応するカメラ２００が撮影したフレームを取得する（ステップＳ４０２）。具体的には、再生制御部３３８は、映像データ格納部５０３に格納された映像データから、カメラ２００のカメラＩＤを含むフレームのデジタルデータを読み出す。

次に、再生制御部３３８は、ステップＳ４０２において取得したフレームに荷物番号及び車両番号を合成する（ステップＳ４０３）。具体的には、再生制御部３３８は、図７（ｂ）のデータ５５１の集合体から、ステップＳ４０２において読み出したフレームのデジタルデータとタイムスタンプが一致するデータを特定し、そのデータに含まれる荷物番号及び車両番号を読み出し、これら荷物番号及び車両番号の画像を、ステップＳ４０２において読み出したフレームのデジタルデータにおけるＬＥＤ１０２の位置座標に関連した位置に合成する。

次に、再生制御部３３８は、空間Ｓに対応する地図画像に、フォークリフト１００の位置の履歴に基づく移動経路を合成する（ステップＳ４０４）。空間Ｓに対応する地図画像は予め地図画像データ格納部５０４に格納されている。再生制御部３３８は、表示用情報における図７（ａ）のデータ５５０の集合体から、指定された日時情報より以前のデータを順次読み出し、フォークリフト１００の位置と移動ステータス情報を取得し、地図画像にフォークリフト１００の移動経路を合成する。

次に、再生制御部３３８は、タイムラインにフォークリフト１００における荷物１６０の有無を示す荷物有無表示の画像と、フォークリフト１００の速度を示す速度表示の画像とを生成する（ステップＳ４０５）。具体的には、再生制御部３３８は、表示用情報における図７（ａ）のデータ５５０の集合体から、指定された日時情報より以前のデータを順次読み出し、車両番号で特定されるフォークリフト１００の移動ステータス情報を取得する。また、図７（ｂ）のデータ５５１の集合体から、荷物の有無に関するデータを読み出し、その荷物の有無の履歴に基づいて、荷物有無表示の画像を生成する。また、再生制御部３３８は、取得された移動ステータス情報の履歴に基づいて、速度表示の画像を生成する。

次に、再生制御部３３８は、ステップＳ４０３において合成した結果である映像表示ウインドウデータ５６３、ステップＳ４０４において生成した結果である地図表示ウインドウデータ５６１、及び、ステップＳ４０５において生成された結果であるタイムラインウインドウデータ５６２に基づき情報画面を生成し、表示部３０７に表示させる（ステップＳ４０６）。図１０は、この情報表示画面の生成の流れについて示したものである。

図１０において、５０１のデータとは通信データログファイル格納部５０１に格納されているデータを示し、５０２のデータとは画像解析ログファイル格納部５０２に格納されているデータを示す。５５０の集合データ及び５５１の集合データとは、図６のステップＳ２０４及びステップＳ２０５における生成処理によって生成される図７（ａ）、図７（ｂ）のデータを示す。地図表示ウインドウデータ５６１は、地図データ格納部５０４に格納された地図画像データ５０４ａと、図７（ａ）のデータ５５０の集合体におけるフォークリフト１００の位置と移動ステータス情報とを合成して得られる。タイムラインウインドウデータ５６２は、図７（ａ）のデータ５５０の集合体における車両番号で特定されるフォークリフト１００の移動ステータス情報と、図７（ｂ）のデータ５５１の集合体における荷物の有無に関するデータとを合成して得られる。映像表示ウインドウデータ５６３は、映像データ格納部５０３に格納されたフレームのデジタルデータ（映像データ）５０３ａと、データ５５１の集合体における荷物番号及び車両番号を表す画像とを合成して得られる。

図９に示す処理によって図１１に示すような情報画面が生成される。図１１に示す情報画面６００は、地図表示ウインドウ６０４と、映像表示ウインドウ６２０と、タイムラインウインドウ６４５とを含む。

地図表示ウインドウ６０４は、地図表示ウインドウデータ５６１に基づく画面であり、カメラ位置６０６、フォークリフト位置６０８、フォークリフト位置６１０、移動経路６０９、及び、移動経路６１１を含む。フォークリフト位置６０８、フォークリフト位置６１０は、地図表示ウインドウ６０４において、時間指定カーソル６３２で指定された日時情報に対応する位置に配置され、移動経路６０９、移動経路６１１は、時間指定カーソル６３２で指定される日時情報よりも過去のフォークリフト１００の位置の履歴に対応して地図表示ウインドウ６０４上に描画される。

映像表示ウインドウ６２０は、映像表示ウインドウデータ５６３に基づく画面であり、フレームにはフォークリフト画像６２１、６２３が含まれ、吹き出し画像６２２、６２４が合成される。吹き出し画像６２２は、車両番号と荷物番号を表示し、吹き出し画像６２４は、対応する荷物番号が無いことに対応して、車両番号と「荷無」を表示する。

タイムラインウインドウ６４５は、タイムラインウインドウデータ５６２に基づく画面である。フォークリフト１００の車両番号を含む表示用情報に荷物有の情報が含まれる場合には、荷物ステータス表示部６４０の日時に対応する時刻に「荷有」を表示し、フォークリフト１００の車両番号を含む表示用情報に荷物無の情報が含まれる場合には、荷物ステータス表示部６４０の日時に対応する時刻に「荷無」を表示する。

速度情報６５０は、フォークリフト１００の移動ステータス情報のうち、タイムラインウインドウ６４５の範囲（時間スライドバー６３０）で示される時間内の移動速度の変化を示すものである。

その他、時刻表示部６０２は、表示用情報において、時間指定カーソル６３２で示された時点で表示されている日時の情報である。荷物番号入力部６０３には、操作者が指定した荷物番号が表示される。

図１２は、サーバ３００による再生の処理の一例を示すフローチャートである。再生制御部３３８は、操作者が操作部３０６を操作して指定した移動体であるフォークリフト１００に対応する情報画面を表示する（ステップＳ５０１）。具体的な情報画面の表示内容は、図９と同様である。図１２に示す情報画面６００において、操作者によって通常再生ボタン６６０が選択されることによって、映像表示ウインドウ６２０にはカメラ２００ａ〜２００ｄの何れかで撮影されたフレームがタイムスタンプに基づいて順次切り替え表示される。

次に、再生制御部３３８は、操作者によって早送り又は巻き戻しが指示されたか否かを判定する（ステップＳ５０２）。早送り及び巻き戻しの何れも指示されなかったと判定した場合には（ステップＳ５０２；ＮＯ）、ステータス項目が指示されたか否かを判定する（ステップＳ５０３）。図１１に示す情報画面６００において、操作者によってステータス項目ボタン６６２が選択されることによって、ステータス項目が指示されたと判定された場合には（ステップＳ５０３；ＹＥＳ）ステップＳ５０４へ進み、ステータス項目が指示されなかったと判定した場合には（ステップＳ５０３；ＮＯ）ステップＳ５０２以降の処理が繰り返される。

ステータス項目が指示されたと判定された後、更に巻き戻しが指示されたか否かを判定し（ステップＳ５０４）、巻き戻しが指示されたと判定された場合（ステップＳ５０４；ＹＥＳ）、再生制御部３３８は、ステップＳ５０１において操作者が指示したステータス項目における車両番号に対応するフォークリフト１００について、荷物有無の変化した時間位置や移動ステータスに情報においてステータスが変化した時間位置を示す複数の変化時間位置を特定する。更にこの特定された複数の変化時間位置のうち、時間指定カーソル６３２の位置に相当する時間情報の直前の変化時間位置を検索し、この変化時間以降に存在する変化時間位置毎に、当該変化時間位置を含む時間帯（例えば前後１０秒間）を再生位置に設定する（ステップＳ５０５）。

具体的には、再生制御部３３８は、操作者が指定したステータス項目を調べるフォークリフト１００の車両番号を含む表示用情報（データ５５０、５５１の集合体）を解析し、移動開始情報を含む日時、停止情報を含む日時、荷物の有無が荷有から荷無に変化した日時、荷物の有無が荷無から荷有に変化した時の日時、及び、所定値以上の速度情報を含む日時を上記変化時間位置として特定する。ここで、移動開始情報を含む日時は、フォークリフト１００が移動を開始した日時であり、停止情報を含む日時は、フォークリフト１００が停止した日時であり、荷物の有無が荷有から荷無に変化した時の日時は、フォークリフト１００が荷物１６０をフォーク部分から棚４００に移動させた日時であり、荷物の有無が荷無から荷有に変化した日時は、フォークリフト１００が荷物１６０を棚４００からフォーク部分に移動させた日時であり、所定値以上の速度情報を含む日時は、移動中のフォークリフト１００が空間Ｓ内で規定された移動速度を越えて移動した日時である。

一方、ステップＳ５０４において巻き戻し操作が行われなかったと判定した場合（ステップＳ５０４；ＮＯ）、再生制御部３３８は、ステップＳ５０１において操作者が指定した移動体であるフォークリフト１００の挙動が変化した時間位置を示す変化時間位置のうち、現在の再生時間位置の直後の変化時間位置以降の各変化時間位置毎に、当該変化時間位置を含む時間帯（例えば前後１０秒間）を再生位置に設定する（ステップＳ５０６）。

また、ステップＳ５０２において、早送り操作又は巻き戻し操作が行われたと判定した場合（ステップＳ５０２；ＹＥＳ）、再生制御部３３８は、早送り又は巻き戻しに応じた再生位置を設定する（ステップＳ５０７）。具体的には、再生制御部３３８は、早送り操作が行われたと判定した場合には、現在の再生位置の所定時間後（例えば１０秒後）を再生位置に設定する。また、再生制御部３３８は、巻き戻し操作が行われたと判定した場合には、現在の再生位置の所定時間前（例えば１０秒前）を再生位置に設定する。

ステップＳ５０５及びステップＳ５０６の後、再生制御部３３８は、設定した再生範囲に対応する日時を含む表示用情報内のフレームのデジタルデータを用いた再生を行う。また、ステップＳ５０７の後、再生制御部３３８は、設定した再生位置に対応する日時以降の日時を含む表示用情報内のフレームのデジタルデータを用いた再生を行う（ステップＳ５０８）。

このように、本実施形態では、フォークリフト１００に取り付けられたＬＥＤ１０２は、車両番号と、荷物の有無と、荷物番号と、移動開始情報、停止情報及びフォークリフト１００の速度情報からなる移動ステータス情報とに対応して発光色を時系列に変化させる可視光通信を行う。一方、サーバ３００は、日時と、位置と、ＬＥＤ１０２からの車両番号と、荷物の有無と、荷物番号と、移動ステータス情報と、フレームのタイムスタンプと、カメラＩＤとを対応付けて表示用情報を生成する。更に、サーバ３００は、この表示用情報を用いて、ＬＥＤ１０２を取り付けたフォークリフト１００を表示する映像データのフレームを含んだ情報画面６００を表示する。

また、本実施形態では、サーバ３００は、映像データに含まれるフォークリフト１００の挙動が変化した時間位置を示す変化時間位置を含む時間帯を再生位置に設定して、表示用情報に基づく映像データの再生を行う。これにより、長時間に渡って記録された映像データでも、操作者は所望するイベントに相当する再生位置を簡単に指定することができる。

なお、本発明は、上記実施形態の説明及び図面によって限定されるものではなく、上記実施形態及び図面に適宜変更等を加えることは可能である。

例えば、上述した実施形態では、ＬＥＤ１０２は、車両番号と、荷物の有無と、荷物番号と、移動開始情報、停止情報及びフォークリフト１００の速度情報からなる移動ステータス情報とに対応して発光色を時系列に変化させる可視光通信を行ったが、これらの情報の一部については、フォークリフト１００内の通信部１１０が無線通信により送信し、サーバ３００内の通信部３０８が無線通信により受信するようにしてもよい。

この場合、可視光通信と無線通信との双方において車両番号が送信されることが望ましい。可視光通信と無線通信との双方において車両番号が送信されることで、サーバ３００は、可視光通信で受信した情報と無線通信で受信した情報とを同一の車両番号で対応付けすることができ、上述の実施形態と同様に表示用情報を生成することが可能となる。

また、上述した実施形態では、図９及び図１２の処理において、操作者がフォークリフト１００を指定することを前提としているが、荷物１６０を指定（荷物番号を指定）する場合も同様に本発明を適用することができる。この場合、再生制御部３３８は、指定された荷物番号を含む表示用情報内のフォークリフト１００の位置を、荷物１６０の位置として扱って図９及び図１２に示す処理を実行すればよい。

また、上述した実施形態では、フォークリフト１００が移動を開始した日時、フォークリフト１００が停止した日時、フォークリフト１００が荷物１６０の運搬を開始した日時、フォークリフト１００が荷物１６０の運搬を終了した日時、フォークリフト１００が速度超過をした日時をそれぞれ変化時間位置とした。しかし、これら全ての日時を変化時間位置とする必要はなく、例えば、図１１のステータス項目６７０に含まれる移動開始、停止、荷の変化、速度超過の各ボタンのうち、操作者によって選択されたボタンに対応する日時のみを変化時間位置としてもよい。

また、上述した実施形態では、移動開始情報、停止情報及び速度情報からなる移動ステータス情報は、ＬＥＤ１０２からサーバ３００への可視光通信により送信されたが、これに限定されない。例えば、サーバ３００がカメラ２００が撮影した画像を解析することにより、フォークリフト１００の位置の変化を検出し、その変化に基づいて、フォークリフト１００の移動開始、停止、速度を検出するようにしてもよい。

また、フォークリフト１００内の制御部１０３は、フォークリフト１００内のモータやタイヤの駆動の情報を取得して、移動開始情報、停止情報及び速度情報を導出するようにしてもよい。

また、カメラ２００が撮影した画像を解析して、荷物１６０の有無を判定してもよい。あるいは、対応付け制御部３３６は、同一のＬＥＤ１０２との可視光通信において同一の荷物番号を２回取得した場合に、荷物１６０がなくなったと判定してもよい。

また、動画像の再生は、上述した手法以外にも行うことができる。例えば、操作者が、図１１に示す時間指定カーソル６３２が時間スライドバー６３０上を移動させる操作を行う場合に、その時間指定カーソル６３２の位置に対応する再生位置から再生を開始するようにしてもよい。

また、上述した実施形態では、可視光である赤、緑、青の光を通信に用いる場合について説明したが、他の色の可視光を用いてもよい。また、情報が輝度の時間方向の変化のみによって変調される可視光通信においても本発明を適用することができる。

また、フォークリフト１００内の光源はＬＥＤに限定されない。例えば、表示装置を構成するＬＣＤ、ＰＤＰ、ＥＬディスプレイ等の一部に光源が構成されていてもよい。

また、サーバ３００は、カメラ２００が内装されたものであってもよい。

また、上記実施形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc - Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto - Optical disc）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。

また、プログラムをインターネット等のネットワーク上の所定のサーバが有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
所定の空間を撮像範囲とした画像を取得する画像取得手段と、
前記画像取得手段によって取得された前記画像の撮像範囲に含まれる被写体の位置に基づいて、前記所定の空間における前記被写体の存在位置を取得する位置取得手段と、
前記画像取得手段によって取得された前記画像と、前記位置取得手段によって取得された前記被写体の存在位置とを関連付けて表示出力するよう制御する制御手段と、
を備えることを特徴とする表示出力制御装置。

（付記２）
前記被写体の状態を取得する状態取得手段を更に備え、
前記制御手段は更に、前記状態取得手段によって取得された前記被写体の状態と、前記画像取得手段によって取得された前記画像と、前記位置取得手段によって取得された前記被写体の存在位置とを関連付けて表示出力することを特徴とする付記１に記載の表示出力制御装置。

（付記３）
前記画像取得手段が取得する画像は、前記所定の空間を夫々異なる位置に設置された複数の撮像手段、又は、前記所定の空間を夫々異なる方向から撮影する複数の撮像手段によって撮影された複数の画像であり、
前記制御手段は、前記被写体の存在位置に基づいて、表示出力する画像を選択することを特徴とする付記１又は２に記載の表示出力制御装置。

（付記４）
前記位置取得手段は、逐次前記被写体の位置情報を取得し、
前記被写体の状態は、前記被写体の位置情報の変化に基づく移動状況を含むことを特徴とする付記２に記載の表示出力制御装置。

（付記５）
前記被写体は荷を搬送する移動体であり、前記状態は荷の有無であることを特徴とする付記４に記載の表示出力制御装置。

（付記６）
前記被写体は荷を搬送する移動体であり、前記状態は荷の識別情報であることを特徴とする付記４に記載の表示出力制御装置。

（付記７）
前記画像は逐次取得され、前記被写体の存在位置と関連付けて逐次表示更新される付記１乃至６の何れか１つに記載の表示出力制御装置。

（付記８）
所定の空間を撮像範囲とした画像を取得する画像取得手段と、
前記画像取得手段によって取得された前記画像の撮像範囲に含まれる被写体の位置に基づいて、前記所定の空間における前記被写体の存在位置を取得する位置取得手段と、
前記画像取得手段によって取得された前記画像と、前記位置取得手段によって取得された前記被写体の存在位置とを関連付けて表示出力するよう制御する制御手段と、
を備えることを特徴とする表示出力制御システム。

（付記９）
所定の空間を撮像範囲とした画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された前記画像の撮像範囲に含まれる被写体の位置に基づいて、前記所定の空間における前記被写体の存在位置を取得する位置取得ステップと、
前記画像取得ステップにおいて取得された前記画像と、前記位置取得ステップにおいて取得された前記被写体の存在位置とを関連付けて表示出力するよう制御する制御ステップと、
を含むことを特徴とする表示出力制御方法。

（付記１０）
コンピュータを、
所定の空間を撮像範囲とした画像を取得する画像取得手段、
前記画像取得手段によって取得された前記画像の撮像範囲に含まれる被写体の位置に基づいて、前記所定の空間における前記被写体の存在位置を取得する位置取得手段、
前記画像取得手段によって取得された前記画像と、前記位置取得手段によって取得された前記被写体の存在位置とを関連付けて表示出力するよう制御する制御手段、
として機能させることを特徴とするプログラム。

１…可視光通信システム、１００、１００ａ、１００ｂ…フォークリフト、１０２、１０２ａ、１０２ｂ…ＬＥＤ、１０３、３０２…制御部、１０４、３０５…メモリ、１０６、２００、２００ａ、２００ｂ、２００ｃ、２００ｄ…カメラ、１０８…３軸加速度センサー、１１０、３０８…通信部、１１２…駆動部、１２４…発光制御部、１５０…電池、１６０…荷物、１６１…ＩＤコード、２０２…撮影部、２０３…レンズ、２１０…ハブ、３００…サーバ、３０４…画像処理部、３０６…操作部、３０７…表示部、３３２…検出部、３３４…位置取得部、３３６…対応付け制御部、３３８…再生制御部、４００、４００ａ、４００ｂ…棚、５００…データベース、５０１…通信データログファイル格納部、５０２…画像解析ログファイル格納部、５０３…映像データ格納部、５０３ａ…映像データ、５０４…地図画像データ格納部、５０４ａ…地図画像データ、５５０、５５１…データ、５６１…地図表示ウインドウデータ、５６２…タイムラインウインドウデータ、５６３…映像表示ウインドウデータ、６００…情報画面、６０２…時刻表示部、６０３…荷物番号入力部、６０４…地図表示ウインドウ、６０６…カメラ位置、６０８、６１０…フォークリフト位置、６０９、６１１…移動経路、６２０…映像表示ウインドウ、６２１、６２３…フォークリフト画像、６２２、６２４…吹き出し画像、６３０…時間スライドバー、６３２…時間指定カーソル、６４０…荷物ステータス表示部、６４５…タイムラインウインドウ、６５０…速度情報、６６０…通常再生ボタン、６６２…ステータス項目ボタン、６７０…ステータス項目、Ｓ…空間

Claims (10)

1. 所定の空間を撮像範囲とした画像を取得する画像取得手段と、
   前記画像取得手段によって取得された前記画像の撮像範囲に含まれる被写体の位置に基づいて、前記所定の空間における前記被写体の存在位置を取得する位置取得手段と、
   前記画像取得手段によって取得された前記画像と、前記位置取得手段によって取得された前記被写体の存在位置とを関連付けて表示出力するよう制御する制御手段と、
   を備えることを特徴とする表示出力制御装置。
2. 前記被写体の状態を取得する状態取得手段を更に備え、
   前記制御手段は更に、前記状態取得手段によって取得された前記被写体の状態と、前記画像取得手段によって取得された前記画像と、前記位置取得手段によって取得された前記被写体の存在位置とを関連付けて表示出力することを特徴とする請求項１に記載の表示出力制御装置。
3. 前記画像取得手段が取得する画像は、前記所定の空間を夫々異なる位置に設置された複数の撮像手段、又は、前記所定の空間を夫々異なる方向から撮影する複数の撮像手段によって撮影された複数の画像であり、
   前記制御手段は、前記被写体の存在位置に基づいて、表示出力する画像を選択することを特徴とする請求項１又は２に記載の表示出力制御装置。
4. 前記位置取得手段は、逐次前記被写体の位置情報を取得し、
   前記被写体の状態は、前記被写体の位置情報の変化に基づく移動状況を含むことを特徴とする請求項２に記載の表示出力制御装置。
5. 前記被写体は荷を搬送する移動体であり、前記状態は荷の有無であることを特徴とする請求項４に記載の表示出力制御装置。
6. 前記被写体は荷を搬送する移動体であり、前記状態は荷の識別情報であることを特徴とする請求項４に記載の表示出力制御装置。
7. 前記画像は逐次取得され、前記被写体の存在位置と関連付けて逐次表示更新される請求項１乃至６の何れか１項に記載の表示出力制御装置。
8. 所定の空間を撮像範囲とした画像を取得する画像取得手段と、
   前記画像取得手段によって取得された前記画像の撮像範囲に含まれる被写体の位置に基づいて、前記所定の空間における前記被写体の存在位置を取得する位置取得手段と、
   前記画像取得手段によって取得された前記画像と、前記位置取得手段によって取得された前記被写体の存在位置とを関連付けて表示出力するよう制御する制御手段と、
   を備えることを特徴とする表示出力制御システム。
9. 所定の空間を撮像範囲とした画像を取得する画像取得ステップと、
   前記画像取得ステップにおいて取得された前記画像の撮像範囲に含まれる被写体の位置に基づいて、前記所定の空間における前記被写体の存在位置を取得する位置取得ステップと、
   前記画像取得ステップにおいて取得された前記画像と、前記位置取得ステップにおいて取得された前記被写体の存在位置とを関連付けて表示出力するよう制御する制御ステップと、
   を含むことを特徴とする表示出力制御方法。
10. コンピュータを、
    所定の空間を撮像範囲とした画像を取得する画像取得手段、
    前記画像取得手段によって取得された前記画像の撮像範囲に含まれる被写体の位置に基づいて、前記所定の空間における前記被写体の存在位置を取得する位置取得手段、
    前記画像取得手段によって取得された前記画像と、前記位置取得手段によって取得された前記被写体の存在位置とを関連付けて表示出力するよう制御する制御手段、
    として機能させることを特徴とするプログラム。

Images