JP2018045099A - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

Abstract

【課題】列の状態に応じた情報を適切に提供する。
【解決手段】情報処理装置は、決定機能と、出力制御機能と、を備える。決定機能は、対象画像に含まれる対象によって形成される列の構造を示す構造情報に基づいて、列の状態に関する出力情報の、実空間における出力位置を決定する。出力制御機能は、出力情報を出力位置に出力するよう制御する。
【選択図】図１

Description

本発明の実施の形態は、情報処理装置、情報処理方法、および情報処理プログラムに関する。

人の行列の待ち時間を表示するシステムが知られている。例えば、ＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）、ＣＤ（Ｃａｓｈ Ｄｉｓｐｅｎｓｅｒ）などの自動取引装置や自動発券装置などの機器に設けられたディスプレイに、これらの機器に並ぶ人の待ち時間を表示するシステムが開示されている。

ここで、人などの対象によって形成される列の形や位置などは、時間の経過によって変化する。しかし、従来は、列の先頭に配置された機器のディスプレイに、待ち時間を表示していた。このため、従来は、列の状態によって、列に並ぶ人が待ち時間などを把握することが困難となる場合があった。すなわち、従来は、列の状態に応じた情報が適切に提供されていなかった。

特開２００５−２４２８９６号公報

本発明が解決しようとする課題は、列の状態に応じた情報を適切に提供することができる、情報処理装置、情報処理方法、および情報処理プログラムを提供することである。

実施の形態の情報処理装置は、決定部と、出力制御部と、を備える。決定部は、対象画像に含まれる対象によって形成される列の構造を示す構造情報に基づいて、前記列の状態に関する出力情報の、実空間における出力位置を決定する。出力制御部は、前記出力情報を前記出力位置に出力するよう制御する。

情報処理システムの一例を示す図。 情報処理システムの一例を示す模式図。 構造情報特定の説明図。 構造情報特定の説明図。 表示種別管理ＤＢのデータ構成の一例を示す模式図。 表示種別の一例を示す模式図。 表示種別の一例を示す模式図。 実空間に投影された出力情報の一例を示す模式図。 投影画面の更新・変更の一例を示す模式図。 情報処理の手順の一例を示すフローチャート。 構造情報特定処理の手順の一例を示すフローチャート。 出力位置決定・出力処理および更新変更処理の手順の一例を示すフローチャート。 実空間に表示画面を表示した状態を示す模式図。 実空間上に複数のディスプレイが配置された環境を示す模式図。 ハードウェア構成図。

以下に添付図面を参照して、情報処理装置、情報処理方法、および情報処理プログラムを詳細に説明する。

図１は、本実施の形態の情報処理システム１０の一例を示す図である。

情報処理システム１０は、情報処理装置２０と、撮影部２２と、出力部２４と、入力部２６と、を備える。撮影部２２および出力部２４は、ネットワーク２８を介して情報処理装置２０に接続されている。ネットワーク２８は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットである。入力部２６と情報処理装置２０とは、バス４４を介して接続されている。

撮影部２２は、撮影部の一例である。撮影部２２は、撮影によって撮影画像を得る。撮影部２２は、例えば、撮影によって二次元の撮影画像データを得る撮影装置、距離センサ（ミリ波レーダ、レーザセンサ、距離画像センサ）などである。レーザセンサは、例えば、二次元ＬＩＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）センサや、三次元ＬＩＤＡＲセンサである。

撮影画像は、撮影によって得られる撮影画像データである（以下、単に、撮影画像と称する場合がある）。撮影画像は、画素ごとに画素値を規定したデジタル画像データや、画素毎に撮影部２２からの距離を表わすデプスマップなどである。

本実施の形態では、情報処理システム１０は、１または複数の撮影部２２を備える。情報処理システム１０が複数の撮影部２２を備える場合、複数の撮影部２２の少なくとも１つは、他の撮影部２２とは異なる位置に配置されていてもよい。また、情報処理システム１０が複数の撮影部２２を備える場合、複数の撮影部２２は、撮影画角の少なくとも一部が重なる位置に配置されていてもよいし、撮影画角の異なる位置に配置されていてもよい。

本実施の形態では、撮影部２２は、撮影部２２の撮影画角内に位置する対象を撮影し、対象を含む対象画像を得る。

対象とは、撮影部２２によって撮影される被写体である。対象は、複数配列されることで、列を形成することの可能な物であればよい。対象は、移動体および非移動体の何れであってもよい。

移動体は、移動可能な物である。移動体は、移動可能な生物、および、移動可能な非生物、の何れでもよい。移動可能な生物は、例えば、人、動物、である。移動可能な非生物は、例えば、車両（自動二輪車、自動四輪車、自転車）、台車、ロボット、船舶、飛翔体（飛行機、ドローンなど）である。

非移動体は、移動不可能な物である。非移動体は、移動不可能な生物、移動可能な非生物、の何れでもよい。移動不可能な生物は、例えば、木や草花などの植物である。移動不可能な非生物は、例えば、置物などである。

本実施の形態では、一例として、対象が人である場合を説明する。

出力部２４は、出力情報を出力する。出力情報は、情報処理装置２０の外部に向かって出力される情報である。出力情報は、対象によって形成される列に関する情報である（詳細後述）。

本実施の形態では、出力部２４は、出力情報を含む画面を投影する投影装置、または、出力情報を含む画面を表示するディスプレイである。

本実施の形態では、一例として、出力部２４が投影装置である場合を説明する。

なお、情報処理システム１０は、１または複数の出力部２４を備える。出力部２４は、少なくとも１つの撮影部２２に対応する位置に配置されている。具体的には、出力部２４は、実空間における、少なくとも１つの撮影部２２の撮影画角を含む領域に向かって、後述する出力情報を出力可能な位置に配置されている。

図２は、実空間Ｓに配置された情報処理システム１０の一例を示す模式図である。撮影部２２は、実空間Ｓにおける対象５０を撮影する。出力部２４は、撮影部２２の撮影画角を含む領域に向かって、出力情報を出力可能な位置に配置されている。

本実施の形態では、実空間Ｓにおける対象５０は、複数の対象５０が並ぶことで（または配列されることで）、列Ｌをなした状態にある場合を説明する。そして、撮影部２２は、実空間Ｓにおける、複数の対象５０によって形成される列Ｌを含む領域を撮影することで、対象画像を得る。また、出力部２４は、実空間Ｓ上における出力位置に、列Ｌの状態に関する出力情報を出力する（詳細後述）。

図１に戻り説明を続ける。入力部２６は、ユーザから各種指示や情報入力を受け付ける。入力部２６は、例えば、マウスやトラックボール等のポインティングデバイス、あるいはキーボード等の入力デバイスである。また、入力部２６は、ディスプレイと一体的に設けられたタッチパネルにおける入力機能であってもよい。

次に、情報処理装置２０について説明する。情報処理装置２０は、対象によって形成される列の状態に関する出力情報を、出力部２４から出力する。

情報処理装置２０は、記憶回路４０と、処理回路３０と、を備える。記憶回路４０と、処理回路３０とは、バス４４を介して接続されている。

なお、撮影部２２、出力部２４、入力部２６、および記憶回路４０の少なくとも１つは、有線または無線で処理回路３０に接続すればよい。また、撮影部２２、出力部２４、入力部２６、および記憶回路４０の少なくとも１つは、有線または無線で処理回路３０に接続すればよい。また、複数の撮影部２２の少なくとも１つ、または、複数の出力部２４の少なくとも１つは、有線または無線で処理回路３０に接続すればよい。また、記憶回路４０および処理回路３０の少なくとも一方は、クラウド上で処理を実行するクラウドサーバに搭載されていてもよい。

記憶回路４０は、各種データを記憶する。本実施の形態では、記憶回路４０は、表示種別管理ＤＢ４０Ａを予め記憶する（詳細後述）。記憶回路４０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶回路４０は、情報処理装置２０の外部に設けられた記憶装置であってもよい。また、記憶回路４０は、記憶媒体であってもよい。具体的には、記憶媒体は、プログラムや各種情報を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。また、記憶回路４０を、複数の記憶媒体から構成してもよい。

次に、処理回路３０について説明する。処理回路３０は、取得機能３１と、特定機能３２と、決定機能３３と、出力制御機能３４と、判断機能３５と、更新機能３６と、を備える。

処理回路３０における各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路４０へ記憶されている。処理回路３０は、プログラムを記憶回路４０から読出、実行することで、各プログラムに対応する機能を実現するプロセッサである。

各プログラムを読み出した状態の処理回路３０は、図１の処理回路３０内に示された各機能を有することになる。図１においては単一の処理回路３０によって、取得機能３１、特定機能３２、決定機能３３、出力制御機能３４、判断機能３５、および更新機能３６が実現されるものとして説明する。

なお、各機能の各々を実現するための独立した複数のプロセッサを組み合わせて処理回路３０を構成してもよい。この場合、各プロセッサがプログラムを実行することにより各機能を実現する。また、各処理機能がプログラムとして構成され、１つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。

なお、本実施の形態において用いる「プロセッサ」との文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））の回路を意味する。

プロセッサは、記憶回路４０に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路４０にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

取得機能３１は、対象画像を取得する。本実施の形態では、取得機能３１は、撮影部２２から対象画像を取得する。本実施の形態では、撮影部２２は、連続した撮影によって得られた対象画像を、順次、処理回路３０へ出力する。このため、取得機能３１は、撮影部２２から、対象画像を順次取得する。取得機能３１は、対象画像を取得するごとに、取得した対象画像を、特定機能３２へ出力する。

特定機能３２は、特定部の一例である。特定機能３２は、対象画像に基づいて、構造情報を特定する。

構造情報は、対象画像に含まれる対象５０によって形成される、列Ｌの構造を示す情報である。

構造情報は、具体的には、列Ｌの形状、列Ｌの始点位置、および、列Ｌの終点位置、の少なくとも１つを示す。本実施の形態では、構造情報は、列Ｌの形状、列Ｌを構成する対象５０の数、列Ｌを構成する対象５０の位置、列Ｌの始点位置、列Ｌの終点位置、列Ｌの列領域、列Ｌの周辺領域、対象５０の属性、を示す。

本実施の形態では、特定機能３２は、検出機能３２Ａと、列構造特定機能３２Ｂと、対応位置導出機能３２Ｃと、を含む。図３および図４は、構造情報特定の説明図である。

検出機能３２Ａは、対象画像６０に含まれる対象５０を特定する。例えば、取得機能３１で取得した対象画像が、図３（Ａ）に示す対象画像６０であったとする。なお、対象画像６０は、対象５０としての人を上方向から撮影することによって得られた撮影画像である。このため、対象画像６０には、人の肩部と頭部が撮影されている場合を示した。また、図３（Ａ）に示すように、対象画像６０に、複数の対象５０（対象５０_１〜対象５０_１０）が含まれていたと仮定する。

検出機能３２Ａは、対象画像６０に含まれる、対象５０（対象５０_１〜対象５０_１０）の各々の占める領域（対象領域５２と称して説明する）を特定する。

検出機能３２Ａは、公知の方法を用いて、対象画像６０に含まれる対象５０の各々の対象領域５２を特定すればよい。例えば、検出機能３２Ａは、公知のテンプレートマッチング法などを用いて、人を対象５０として検出する。

なお、テンプレートマッチングに用いるテンプレートは、処理対象の対象５０の種類に応じて予め用意すればよい。例えば、対象５０としての人を検出するためのテンプレートを予め用意する。なお、検出精度向上の観点から、機械学習を用いて、人を示す画像領域の特徴量を抽出することで学習データを生成し、テンプレートマッチングに用いてもよい。

図３（Ｂ）には、対象画像６０から検出した、対象５０の対象領域５２の一例を示した。例えば、検出機能３２Ａは、対象画像６０から、対象５０の各々の占める対象領域５２を特定する。

このとき、検出機能３２Ａは、対象画像６０に含まれる対象５０の各々の、向き、大きさ、種類、などの属性を更に検出してもよい。対象５０の向きとは、対象５０が向かっている方向である。例えば、対象５０が人である場合、対象５０の向きは、対象５０の顔の向いている方向である。対象５０の種類は、例えば、対象５０が人である場合、性別、推定年齢（大人、子供、など）などである。この場合、例えば、検出機能３２Ａは、対象５０の向きや大きさなどの属性を獲得できるような、数種類のテンプレートを予め用意すればよい。また、例えば、検出機能３２Ａは、対象５０の属性を識別するための識別器を併用してもよい。

本実施の形態では、検出機能３２Ａは、対象画像６０に含まれる対象５０の各々の対象領域５２と、対象５０の属性と、を検出する場合を説明する。詳細には、検出機能３２Ａは、対象画像６０における、対象領域５２の各々の位置（Ｘｄ，Ｙｄ）、対象領域５２の大きさ（Ｗｄ，Ｈｄ）、対象領域５２の向き（θｄ）などを検出する。対象領域５２の位置には、例えば、対象画像６０における、対象領域５２の重心位置を用いる。

なお、対象画像６０がデプス画像である場合、検出機能３２Ａは、各対象領域５２の属性として、高さ情報を検出することも可能である。高さ情報は、例えば、対象５０が人である場合、人の身長として用いることで、性別や年齢の検出に用いることができる。

次に、列構造特定機能３２Ｂについて説明する。列構造特定機能３２Ｂは、検出機能３２Ａによって検出された対象５０（すなわち、対象領域５２および属性）に基づいて、対象５０によって形成される列Ｌの構造情報を特定する。

図４は、構造情報の特定の流れの一例を示す、説明図である。図４（Ａ）に示すように、例えば、検出機能３２Ａによって、対象画像６０に含まれる対象５０（対象領域５２および属性）が検出されたと仮定する。

この場合、列構造特定機能３２Ｂは、以下の処理を行うことで、列Ｌの構造情報を検出する。

図４（Ｂ）〜図４（Ｆ）は、対象画像６０（図４（Ａ）参照）における、対象５０の各々の位置と向きとを、矢印Ｘ１で表したものである。図４における矢印Ｘ１_１〜矢印Ｘ１_１０の各々は、対象５０_１〜対象５０_１０の各々の向きを示す。

まず、列構造特定機能３２Ｂは、検出機能３２Ａによって検出された、対象５０の位置と、対象画像６０に含まれる対象５０の各々の属性に含まれる、対象領域５２の向き（矢印Ｘ１_１〜矢印Ｘ１_１０）と、を読取る（図４（Ｂ）参照）。

そして、列構造特定機能３２Ｂは、対象画像６０に含まれる対象５０（対象５０_１〜対象５０_１０）の各々の向き（矢印Ｘ１_１〜矢印Ｘ１_１０）から、対象５０（対象５０_１〜対象５０_１０）によって形成される列Ｌの列方向を特定する。列構造特定機能３２Ｂは、対象画像６０における、最も多くの対象５０の向きを、列方向Ｘ２として特定する（図４（Ｃ）参照）。

列方向Ｘ２の推定には、公知の方法を用いればよい。例えば、列構造特定機能３２Ｂは、対象画像６０に含まれる対象５０（対象５０_１〜対象５０_１０）の各々の向き（矢印Ｘ１_１〜矢印Ｘ１_１０）を、８方向に量子化する。そして、量子化した方向の内、最も多くの対象５０の向きを、列方向Ｘ２として特定する。

図４に示す例の場合、列構造特定機能３２Ｂは、対象５０_１〜対象５０_３、対象５０_５〜対象５０_６、および対象５０_８の各々に対応する向き（矢印Ｘ１_１〜矢印Ｘ１_３、矢印Ｘ１_５〜矢印Ｘ１_６、矢印Ｘ１_８）の方向を、列方向Ｘ２として特定する（図４（Ｃ）参照）。

なお、列構造特定機能３２Ｂは、対象画像６０に含まれる対象５０（対象５０_１〜対象５０_１０）の各々の向き（矢印Ｘ１_１〜矢印Ｘ１_１０）のヒストグラムを作成してもよい。そして、列構造特定機能３２Ｂは、このヒストグラムにおける、最も頻度の高い向きを、列方向Ｘ２として特定してもよい。

次に、列構造特定機能３２Ｂは、対象画像６０に含まれる対象５０の内、特定した列方向Ｘ２から外れている対象５０を特定する。

詳細には、列構造特定機能３２Ｂは、対象画像６０に含まれる対象５０（対象５０_１〜対象５０_１０）の内、向きが列方向Ｘ２に一致する向き（矢印Ｘ１_１〜矢印Ｘ１_３、矢印Ｘ１_５〜矢印Ｘ１_６、矢印Ｘ１_８）に対応する対象５０（対象５０_１〜対象５０_３、対象５０_５〜対象５０_６、対象５０_８）について、対象５０の位置を特定する。なお、列構造特定機能３２Ｂは、検出機能３２Ａで検出された、対象領域５２の位置を、対象５０の位置として用いる。

そして、列構造特定機能３２Ｂは、特定した位置の対象５０に対して、特定した位置の対象５０を通る線Ｘ３（例えば、直線）を表す関数をあてはめる。あてはめには、例えば、最小２乗法や、Ｈｏｕｇｈ変換のような形状あてはめを用いる。そして、列構造特定機能３２Ｂは、対象画像６０における、あてはめた線Ｘ３の通過しない対象５０（図４では、対象５０_１０）を特定する（図４（Ｄ）参照）。

次に、列構造特定機能３２Ｂは、列方向Ｘ２から外れている対象５０の、列方向Ｘ２への帰属度を算出する。帰属度は、列方向Ｘ２から外れている対象５０が、列方向Ｘ２に沿って伸びた列Ｌに帰属している度合を示す。本実施の形態では、列構造特定機能３２Ｂは、列方向Ｘ２から外れている対象５０と線Ｘ３との最短距離に反比例する評価関数を用いる。そして、列構造特定機能３２Ｂは、評価関数が閾値以上となる場合、該対象５０を列方向Ｘ２へ帰属するものとして扱う。これによって、列構造特定機能３２Ｂは、対象画像６０における、列を示す線Ｘ３の通る対象５０と、帰属度が閾値以上の対象５０と、を、列方向Ｘ２に沿った列Ｌを構成する対象５０として特定する。

そして、列構造特定機能３２Ｂは、列Ｌを構成するものとして特定した対象５０を、列方向Ｘ２に沿って囲む領域を、列領域５４として特定する（図４（Ｅ）参照）。このとき、列構造特定機能３２Ｂは、列方向Ｘ２の推定に用いなかった対象５０の内、列方向Ｘ２への帰属度が閾値以上の対象５０を全て含むように、列領域５４を特定する。このため、図４に示す例の場合、列構造特定機能３２Ｂは、向きが矢印Ｘ１_１〜矢印Ｘ１_９の各々の対象５０_１〜対象５０_９を囲む領域を、列Ｌの列領域５４として特定する。

次に、列構造特定機能３２Ｂは、対象画像６０で特定した列領域５４における、列方向Ｘ２の両端部を、列Ｌの始点位置ＳＡおよび終点位置ＳＢとして特定する（図４（Ｅ）参照）。

次に、列構造特定機能３２Ｂは、対象画像６０における、列領域５４の周辺を、周辺領域５５として特定する（図４（Ｆ）参照）。周辺領域５５は、列領域５４の周辺の領域であって、対象５０を含まない領域である。周辺領域５５は、例えば、対象画像６０における、列領域５４および対象領域５２以外の領域の内、列領域５４に連続（隣接）し、且つ、該列領域５４から予め定めた距離以下の範囲内を示す。

列領域５４を特定することで、列構造特定機能３２Ｂは、列Ｌの形状、列Ｌの始点位置、列Ｌの終点位置、列Ｌに含まれる対象５０の数、列Ｌに含まれる対象５０の各々の位置、および、列Ｌの周辺領域を得る。

すなわち、列構造特定機能３２Ｂは、列Ｌの構造情報を検出する。すなわち、列構造特定機能３２Ｂは、列Ｌの形状、列Ｌを構成する対象５０の数、列Ｌを構成する対象５０の位置、列Ｌの始点位置、列Ｌの終点位置、列Ｌの列領域、列Ｌの周辺領域、対象５０の属性、を示す構造情報を特定する。

図１に戻り説明を続ける。ここで、列構造特定機能３２Ｂは、対象画像６０を用いて構造情報を特定する。このため、列構造特定機能３２Ｂが特定した構造情報は、対象画像６０における位置座標によって表されたものである。

対応位置導出機能３２Ｃは、列構造特定機能３２Ｂが特定した構造情報によって示される位置座標に対応する、実空間Ｓにおける三次元位置座標を導出する。三次元位置座標の導出には、公知の方法を用いればよい。

すなわち、対応位置導出機能３２Ｃは、列構造特定機能３２Ｂによって特定された、対象画像６０上における二次元座標によって表される構造情報を、実空間Ｓにおける三次元座標によって表される構造情報に変換する。

このため、具体的には、対応位置導出機能３２Ｃは、対象画像６０における列領域５４を構成する各画素を、実空間Ｓにおける三次元座標によって示される点群によって表した、列領域５４に変換する。なお、列領域５４によって、列Ｌの形状も表せる。

また、対応位置導出機能３２Ｃは、構造情報に含まれる、列Ｌを構成する対象５０の二次元位置座標を、実空間Ｓにおける三次元位置座標によって表す。また、対応位置導出機能３２Ｃは、構造情報に含まれる、列Ｌの始点位置ＳＡおよび終点位置ＳＢについても、実空間Ｓにおける三次元座標によって表す。同様に、対応位置導出機能３２Ｃは、構造情報に含まれる周辺領域５５についても、対象画像６０における周辺領域５５を構成する各画素を、実空間Ｓにおける三次元座標によって示される点群で表す。なお、対応位置導出機能３２Ｃは、構造情報に含まれる、対象５０の数、対象５０の属性については、座標で表されないことから、座標変換せずにそのまま用いる。

そして、特定機能３２は、特定した構造情報（実空間Ｓにおける三次元座標で表される）を、決定機能３３および判断機能３５の各々へ出力する。

次に、決定機能３３について説明する。決定機能３３は、決定部の一例である。決定機能３３は、特定機能３２で特定された構造情報に基づいて、列Ｌの状態に関する出力情報の実空間Ｓにおける出力位置を決定する。

出力情報は、対象５０によって形成される列Ｌの状態に関する情報である。出力情報は、列Ｌの状態そのものを示す出力内容を示す情報であってもよいし、列Ｌの状態に応じた出力内容を示す情報であってもよい。出力情報は、文字、画像、文字と画像を組み合わせたもの、の何れであってもよい。

出力情報によって示される出力内容は、例えば、待ち順、予測待ち時間、終端を示す文字、注視されうる画像、などである。待ち順は、列Ｌの先頭までの順番である。予測待ち時間は、列Ｌの先頭に到るまでに要する時間の予測値である。終端を示す文字は、列Ｌの終端を表す文字や画像である。注視されうる画像は、例えば、列Ｌを構成する対象５０に対して発する注意事項を示す画像、広告、ゲーム画像、パズル画像、などである。

すなわち、出力情報は、これらの出力内容を示す値である。具体的には、出力情報は、列Ｌにおける待ち順の値、列Ｌの終端を示す文字を示す値、列Ｌの予測待ち時間を示す値、注視されうる画像、の少なくとも１つを含む。

本実施の形態では、決定機能３３は、特定機能３２から受付けた構造情報に基づいて、実空間Ｓにおける、列領域５４に重ならない領域に、出力情報を出力するための出力位置を決定する。詳細には、決定機能３３は、実空間Ｓにおける、対象５０に重ならない領域に、出力位置を決定する。本実施の形態では、決定機能３３は、実空間Ｓにおける、列Ｌの周辺領域５５に、出力情報を出力するための出力位置を決定する。

出力位置は、実空間Ｓにおける周辺領域５５内の位置座標、および、実空間Ｓの周辺領域内５５に配置された出力部２４（ディスプレイ）の位置、の少なくとも一方を示す。出力部２４がディスプレイである場合、出力位置は、実空間Ｓの周辺領域５５内に配置されたディスプレイを識別するための識別情報、および、該ディスプレイの表示画面における位置（二次元位置）、を含む。

なお、本実施の形態では、出力部２４が投影装置である場合を説明する。このため、本実施の形態では、出力位置は、実空間Ｓにおける周辺領域５５内の位置座標を示す場合を説明する。

本実施の形態では、決定機能３３は、特定機能３２で特定された構造情報に基づいて、出力位置と、出力位置に出力する出力情報と、を決定する。

詳細には、決定機能３３は、選択機能３３Ａと、出力情報決定機能３３Ｂと、位置決定機能３３Ｃと、生成機能３３Ｄと、を備える。

選択機能３３Ａは、選択部の一例である。選択機能３３Ａは、出力情報の表示種別を選択する。表示種別は、列Ｌの状態に関する出力内容と、出力内容を示す出力情報の配置規則と、を少なくとも規定したものである。

選択機能３３Ａは、予め用意された複数の表示種別から、１つの表示種別を選択する。選択機能３３Ａは、予め定めた１つの表示種別を選択してもよいし、ユーザによる入力部２６の操作指示によって指示された表示種別を選択してもよい。

また、選択機能３３Ａは、列Ｌの構造情報に基づいて、１つの表示種別を選択してもよい。この場合、選択機能３３Ａは、列Ｌの構造情報が一定の条件を満たす場合に、表示内容を示す表示種別を選択する選択規則を予め記憶する。そして、選択機能３３Ａは、該選択規則と、特定機能３２で特定された構造情報と、を用いて、１つの表示種別を選択すればよい。例えば、列の構成人数が多い場合と少ない場合で、表示種別を切り替えることができる。選択規則として、「列の構成人数がＭ人以上」であるなどの条件と、切り替えを実施し提示する時間（１０秒など）を記憶しておいて、条件を満たす場合に表示種別の選択を行うことができる。

本実施の形態では、選択機能３３Ａは、表示種別管理ＤＢ４０Ａを記憶回路４０に予め記憶する。表示種別管理ＤＢ４０Ａは、複数の表示種別を管理するためのデータベースである。なお、表示種別管理ＤＢ４０Ａのデータ形式は、データベースに限定されない。

図５は、表示種別管理ＤＢ４０Ａのデータ構成の一例を示す模式図である。表示種別管理ＤＢ４０Ａには、複数の表示種別が予め登録されている。

例えば、表示種別管理ＤＢ４０Ａには、表示種別（図５では、表示種別Ａ〜表示種別Ｄ）ごとに、出力内容、出力サイズ、配置規則、出力開始条件、位置更新条件、出力情報更新条件、更新後の出力内容、表示種別更新条件、が規定されている。

出力サイズは、対応する出力内容を示す出力情報の、実空間Ｓへ出力されたときのサイズを示す。配置規則は、対応する出力内容を示す出力情報の配置規則を示す。言い換えると、配置規則は、列Ｌの構造情報に応じた、出力情報の配置規則を示す。このため、出力情報の出力位置は、表示種別に規定された配置規則と、列Ｌの構造情報と、によって決定される（詳細後述）。

出力開始条件は、対応する出力内容を示す出力情報の出力を開始する条件を示す。位置更新条件は、対応する出力内容を示す出力情報の、出力位置の更新条件を示す。出力情報更新条件は、対応する出力内容を示す出力情報の、更新条件を示す。更新後の出力内容は、出力情報更新条件を満たす場合の、更新後の出力情報を示す。表示種別更新条件は、表示種別の更新条件を示す。

なお、表示種別管理ＤＢ４０Ａに規定されている各項目および内容は、ユーザによる入力部２６の操作指示などによって、適宜、変更および更新可能である。

図６および図７は、表示種別６２の一例を示す模式図である。

図６（Ａ）に示す表示種別６２Ａは、直線状に並んだ対象５０による列ＬＡに対して、数人の対象５０ごとに、“１分待ち”“４分待ち”などの予測待ち時間を示す出力情報６４Ａを出力することを示す。図６（Ｂ）に示す表示種別６２Ｂは、直線状に並んだ対象５０による列ＬＡに対して、対象５０の各々の“１”〜“７”などの待ち順を示す出力情報６４Ｂを出力することを示す。図６（Ｃ）に示す表示種別６２Ｃは、直線状に並んだ対象５０による列ＬＡに対して、終点位置ＳＢの後の領域に出力情報６４Ｃ“ここが列の最後です”を出力することを示す。

図６（Ｄ）に示す表示種別６２Ｄは、弧を描くように曲がって並んだ対象５０による列ＬＢに対して、対象５０の各々の待ち順を示す出力情報６４Ｄを出力し、且つ、投影領域Ｂから外れる領域については出力情報を出力しないことを示す。図６（Ｅ）に示す表示種別６２Ｅは、弧を描くように曲がって並んだ対象５０による列ＬＢに対して、投影領域Ｂ内に、対象５０の各々の待ち順を示す出力情報６４Ｅを出力することを示す。

図７（Ａ）に示す表示種別６２Ｆは、直線状に並んだ対象５０による列ＬＣの横に、列ＬＣに沿って、注意事項を示す画像“この線に沿って並んでください”を示す文字と線を示す出力情報６４Ｆを出力することを示す。図７（Ｂ）に示す表示種別６２Ｇは、直線状に並んだ対象５０による列ＬＤにおける、対象５０の間隔が所定値以上の領域の横に、列ＬＤに沿って、注意事項を示す画像“間隔を詰めてください”を示す文字と線を示す出力情報６４Ｇを出力することを示す。

図７（Ｃ）に示す表示種別６２Ｈは、対象５０による列ＬＥにおける、列ＬＥから離れた対象５０の最も近くに位置する対象５０の横に、注意事項を示す画像“お子様から目を離さないで下さい”を示す文字を示す出力情報６４Ｈを出力することを示す。なお、この列ＬＥから離れた対象５０とは、例えば、電車ホームの白線を超えるような危険性を持った場所に位置する対象５０などである。

図７（Ｄ）に示す表示種別６２Ｉは、対象５０による列ＬＡに対して、広告を示す出力情報６４Ｉを出力することを示す。なお、図７（Ｄ）の出力情報６４Ｉは、ディスプレイの広告を示す出力情報の一例である。図７（Ｅ）に示す表示種別６２Ｊは、対象５０による列ＬＡに対して、パズル画像やゲーム画像としての出力情報６４Ｊを出力することを示す。また図７（Ｅ）に示す表示種別６２Ｋは、対象５０による列ＬＡに対して、ゲーム画像としての出力情報６４Ｋを出力することを示す。

これらの表示種別６２は、予め表示種別管理ＤＢ４０Ａに登録すればよい。そして、選択機能３３Ａは、表示種別管理ＤＢ４０Ａに登録されている複数の表示種別から、１つの表示種別を選択する。

図１に戻り説明を続ける。出力情報決定機能３３Ｂは、出力情報決定部の一例である。出力情報決定機能３３Ｂは、選択機能３３Ａで選択された表示種別によって規定される出力内容を示す、出力情報を、特定機能３２で特定された構造情報に基づいて、決定する。

例えば、選択機能３３Ａで選択された表示種別が、表示種別管理ＤＢ４０Ａにおける表示種別Ａであったと仮定する。この場合、出力情報決定機能３３Ｂは、該表示種別Ａに規定される出力内容“待ち順”を、出力内容として決定する。そして、出力情報決定機能３３Ｂは、構造情報に基づいて、列Ｌを構成する対象５０の各々について、始点位置ＳＡから順に番号を付与することで、待ち順を示す出力情報を決定すればよい。

また、選択機能３３Ａで選択された表示種別が、表示種別管理ＤＢ４０Ａにおける表示種別Ｃであったと仮定する。この場合、出力情報決定機能３３Ｂは、該表示種別Ｃに規定される出力内容“予測待ち時間”を、出力内容として決定する。そして、出力情報決定機能３３Ｂは、構造情報に基づいて、列Ｌを構成する対象５０の各々について、予測待ち時間を算出する。これによって、出力情報決定機能３３Ｂは、予測待ち時間を示す出力情報を決定すればよい。

なお、予測待ち時間の算出には、公知の方法を用いればよい。例えば、出力情報決定機能３３Ｂは、列Ｌを構成する対象５０の数に対応する、予測待ち時間を予め記憶する。そして、出力情報決定機能３３Ｂは、特定機能３２で特定された構造情報に示される対象５０の数に対応する予測待ち時間を読取ることで、予測待ち時間を算出してもよい。

具体的には、出力情報決定機能３３Ｂは、一人当たりの待ち時間を予め設定し（例えば、一人当たり５分）、該一人当たりの待ち時間と、構造情報に示される対象５０の数と、に応じて、予測待ち時間を算出してもよい。例えば、出力情報決定機能３３Ｂは、一人当たりの待ち時間に、構造情報に示される対象５０の数を乗算した結果を、予測待ち時間として算出してもよい。

また、開演時間などが決まっているような場所に列Ｌが形成されている場合、出力情報決定機能３３Ｂは、該開演時間に関する情報を更に用いて、予測待ち時間を算出してもよい。

具体的には、現在時刻が９：３０、開演時刻が１０：００、列Ｌを構成する対象５０の数が５人、一人当たりの待ち時間が５分、であったと仮定する。この場合、出力情報決定機能３３Ｂは、「一人当たりの待ち時間（５分）×人数（５人）＋現在時刻と開演時刻との差（３０分）」の計算結果を、予測待ち時間として算出すればよい。

また、出力情報決定機能３３Ｂは、列Ｌを構成する対象５０の内、特定の対象５０を抽出し、特定した対象５０が一定距離移動する移動時間と、列Ｌを構成する対象５０の数と、を用いて、予測待ち時間を算出してもよい。この予測待ち時間の算出には、例えば、特開平１１−１７５６９４号公報に示される方法を用いればよい。

具体的には、図３（Ｂ）対象５０_１の場所において、その対象（人物）の服の色や頭部の色などや、テクスチャの情報を記憶しておく。そして、その対象５０_１がサービス開始のためにその場からいなくなるまでの時間を、計測しておけばよい。そして、出力情報決定機能３３Ｂは、それらを規定時間分、複数回計測し、それらの平均的な待ち時間を算出してもよい。また、別の位置に関しての例として、出力情報決定機能３３Ｂは、対象（人物）５０_４の場所が列Ｌの先頭に移動するまでの時間を計測し、その場所での平均待ち時間を予測してもよい。また、対象５０_４の場所の人物の服の色や頭部の色などやテクスチャの情報を記憶しておき、その時間をＴ１とする。その同じテクスチャや色情報が対象５０_１の場所に現れるまでの時間をＴ２とする。そして、出力情報決定機能３３Ｂは、このＴ２−Ｔ１の移動時間を、対象５０_４の場所の待ち時間とすればよい。

その他、出力情報決定機能３３Ｂは、他の方法を用いて、列Ｌの構造情報から、予測待ち時間を算出してもよい。

位置決定機能３３Ｃは、特定機能３２で特定された構造情報に基づいて、出力情報の出力位置を決定する。位置決定機能３３Ｃは、実空間Ｓにおける、列ＬＡに重ならない位置で且つ列ＬＡの周辺に、出力情報の出力位置を決定する。言い換えると、位置決定機能３３Ｃは、実空間Ｓにおける、特定機能３２によって特定された構造情報に含まれる、列Ｌの周辺領域５５内に、出力情報の出力位置を決定する。

本実施の形態では、位置決定機能３３Ｃは、特定機能３２によって特定された構造情報と、選択機能３３Ａで選択された表示種別によって規定される配置規則と、によって定まる、実空間Ｓ上の位置を、出力情報の出力位置として決定する。すなわち、位置決定機能３３Ｃは、実空間Ｓにおける周辺領域５５内における、選択機能３３Ａによって選択された表示種別によって規定される配置規則によって示される位置を、出力位置として決定する。

このため、例えば、表示種別管理ＤＢ４０Ａにおける表示種別Ａが選択された場合、位置決定機能３３Ｃは、列Ｌの周辺領域５５内における、列Ｌを構成する各対象５０の横の、Ｒ名（Ｒは１以上の整数）ごとの位置を、出力位置として決定する。

次に、生成機能３３Ｄについて説明する。生成機能３３Ｄは、実空間Ｓにおける、位置決定機能３３Ｃによって決定された出力位置に、出力情報決定機能３３Ｂによって決定された出力情報を出力するための画面を生成する。

なお、処理回路３０が、出力部２４としての投影装置を制御する場合には、生成機能３３Ｄは、画面として投影画面を生成する。

投影画面を生成する場合、生成機能３３Ｄは、実空間Ｓ上における上記出力位置に、上記出力情報を出力するための投影画面を生成する。詳細には、生成機能３３Ｄは、出力情報決定機能３３Ｂによって決定された出力情報が、位置決定機能３３Ｃによって決定された出力位置に、選択機能３３Ａによって選択された表示種別によって規定される出力サイズで出力されるように、投影画面を生成する。

次に、出力制御機能３４について説明する。出力制御機能３４は、出力制御部の一例である。出力制御機能３４は、出力情報を出力位置に出力する。出力制御機能３４は、出力情報を出力位置に出力するように、出力部２４を制御する。

すなわち、出力制御機能３４は、決定機能３３で決定した出力情報を、決定機能３３で構造情報に基づいて決定した出力位置に、出力するように、出力部２４を制御する。

詳細には、出力制御機能３４は、決定機能３３の生成機能３３Ｄで生成された画面（投影画面）を出力するように、出力部２４を制御する。上述したように、本実施の形態では、出力部２４が投影装置である場合を説明する。

このため、出力制御機能３４は、投影画面を投影するように、出力部２４を制御する。このため、実空間Ｓにおける、列Ｌを構成する対象５０の周辺領域５５には、列Ｌの構造情報に応じた出力位置に、列Ｌの構造情報に応じた出力情報が出力される。

図８は、実空間Ｓに投影された出力情報６４の一例を示す模式図である。出力制御機能３４の制御によって、例えば、出力部２４から投影画面６５が投影されることで、列Ｌを形成する対象５０の周辺領域５５に、待ち順などを示す出力情報６４が出力される。このため、列Ｌを構成する対象５０に対して、列Ｌの状態に応じた情報が適切に提供される。

図１に戻り説明を続ける。次に、判断機能３５および更新機能３６について説明する。

判断機能３５は、出力情報が出力された後に、出力情報、出力内容、および、表示種別の少なくとも１つの更新または変更を判断する。更新機能３６は、判断機能３５による判断結果に応じて、出力情報、出力内容、および表示種別の少なくとも１つの更新または変更を行う。

本実施の形態では、判断機能３５は、第１判断機能３５Ａと、第２判断機能３５Ｂと、第３判断機能３５Ｃと、を備える。更新機能３６は、位置更新機能３６Ａと、出力情報更新機能３６Ｂと、種別変更機能３６Ｃと、を備える。

第１判断機能３５Ａは、第１判断部の一例である。位置更新機能３６Ａは、位置更新部の一例である。

第１判断機能３５Ａは、出力位置の位置更新条件を満たすか否かを判断する。位置更新条件は、出力された出力情報の出力位置を、更新する条件を示す。位置更新条件は、例えば、列Ｌの形状の変化、列Ｌを構成する対象５０の数の変化、列Ｌを構成する対象５０の最大予測待ち時間がＷ時間以上、列Ｌを構成する対象５０の間隔や密度の変化、などで規定される。なお、Ｗは、０を超える数字である。位置更新条件は、予め設定すればよい。本実施の形態では、第１判断機能３５Ａは、選択機能３３Ａで選択された表示種別に規定される“位置更新条件”を満たすか否かを判断する。

例えば、選択機能３３Ａで選択された表示種別が、表示種別管理ＤＢ４０Ａにおける表示種別Ａであったと仮定する。この場合、第１判断機能３５Ａは、該表示種別Ａに規定される位置更新条件“列の形状変化”を判別したときに、位置更新条件を満たすと判断すればよい。第１判断機能３５Ａは、特定機能３２で特定された構造情報に示される、列領域５４の形状から、列の形状変化を判別すればよい。

位置更新機能３６Ａは、第１判断機能３５Ａによって位置更新条件を満たすと判断された場合、出力位置を更新する。位置更新機能３６Ａは、第１判断機能３５Ａの判断に用いた構造情報を用いて、列Ｌの周辺領域５５における、選択機能３３Ａで選択された表示種別に規定される配置規則を満たす位置となるように、出力位置を更新すればよい。

位置更新機能３６Ａは、決定機能３３の位置決定機能３３Ｃと同様にして、新たな構造情報を用いて、出力位置を更新すればよい。なお、位置更新機能３６Ａは、出力位置の更新指示を、決定機能３３へ出力することで、出力位置を更新してもよい。この場合、決定機能３３の位置決定機能３３Ｃは、新たに特定された構造情報を用いて、上記と同様にして出力位置を決定すればよい。これによって、位置更新機能３６Ａは、出力位置を更新してもよい。

第２判断機能３５Ｂは、第２判断部の一例である。出力情報更新機能３６Ｂは、出力情報更新部の一例である。

第２判断機能３５Ｂは、出力情報の出力情報更新条件を満たすか否かを判断する。出力情報更新条件は、出力された出力情報を更新する条件を示す。出力情報更新条件は、例えば、列Ｌを構成する対象５０の数の変化、列Ｌを構成する対象５０の最大予測待ち時間がＷ時間以上、列Ｌの形状変化、列Ｌを構成する対象５０の間隔や密度の変化、などである。なお、Ｗは０を超える数字である。出力情報更新条件は、予め設定すればよい。本実施の形態では、第２判断機能３５Ｂは、選択機能３３Ａで選択された表示種別に規定される“出力情報更新条件”を満たすか否かを判断する。

例えば、選択機能３３Ａで選択された表示種別が、表示種別管理ＤＢ４０Ａにおける表示種別Ａであったと仮定する。この場合、第２判断機能３５Ｂは、該表示種別Ａに規定される出力情報更新条件“列の構成人数の変化”を判別したときに、出力情報更新条件を満たすと判断すればよい。第２判断機能３５Ｂは、特定機能３２で特定された構造情報に示される、列Ｌを構成する対象５０の数から、列Ｌの構成人数の変化を判別すればよい。

出力情報更新機能３６Ｂは、第２判断機能３５Ｂによって出力情報更新条件を満たすと判断された場合、出力情報を更新する。出力情報更新機能３６Ｂは、第２判断機能３５Ｂの判断に用いた構造情報を用いて、新たな出力情報を決定すればよい。

出力情報更新機能３６Ｂは、決定機能３３の出力情報決定機能３３Ｂと同様にして、新たな構造情報を用いて、出力情報を更新すればよい。なお、出力情報更新機能３６Ｂは、出力情報の更新指示を、決定機能３３へ出力することで、出力情報を更新してもよい。この場合、決定機能３３の出力情報決定機能３３Ｂは、新たに特定された構造情報を用いて、上記と同様にして出力情報を決定すればよい。これによって、出力情報更新機能３６Ｂは、出力情報を更新してもよい。

なお、出力情報更新機能３６Ｂは、最初は何も表示しない状態から、列Ｌがある程度構築された状態となったときに、待ち時間の表示を開始するように、出力情報を更新してもよい。

第３判断機能３５Ｃは、第３判断部の一例である。種別変更機能３６Ｃは、種別変更部の一例である。

第３判断機能３５Ｃは、出力情報の表示種別の種別変更条件を満たすか否かを判断する。種別変更条件は、出力された表示種別を変更する条件を示す。種別変更条件は、例えば、列Ｌを構成する対象５０の数の変化、列Ｌを構成する対象５０の最大予測待ち時間がＷ時間以上、列Ｌの形状変化、列Ｌを構成する対象５０の間隔や密度の変化、などである。なお、Ｗは０を超える数字である。種別変更条件は、予め設定すればよい。本実施の形態では、第３判断機能３５Ｃは、選択機能３３Ａで選択された表示種別に規定される“種別変更条件”を満たすか否かを判断する。

例えば、選択機能３３Ａで選択された表示種別が、表示種別管理ＤＢ４０Ａにおける表示種別Ａであったと仮定する。この場合、第３判断機能３５Ｃは、該表示種別Ａに規定される種別変更条件“列の形状変化を判別したときに、種別変更条件を満たすと判断すればよい。第３判断機能３５Ｃは、特定機能３２で特定された構造情報に示される、列Ｌの形状から、列Ｌの形状変化を判別すればよい。

種別変更機能３６Ｃは、第３判断機能３５Ｃによって種別変更条件を満たすと判断された場合、表示種別を変更する。種別変更機能３６Ｃは、第３判断機能３５Ｃの判断に用いた構造情報を用いて、新たな表示種別を決定すればよい。

種別変更機能３６Ｃは、決定機能３３の選択機能３３Ａと同様にして、新たな構造情報を用いて、表示種別を変更すればよい。なお、種別変更機能３６Ｃは、表示種別の変更指示を、決定機能３３へ出力することで、表示種別を変更してもよい。この場合、例えば、決定機能３３の選択機能３３Ａは、前回選択した表示種別とは異なる表示種別を新たに選択すればよい。これによって、種別変更機能３６Ｃは、表示種別を変更してもよい。

そして、決定機能３３の生成機能３３Ｄは、変更された表示種別、更新された出力位置、または更新された出力情報、を用いて、上記と同様にして、出力部２４へ出力する投影画面を生成すればよい。そして、出力制御機能３４は、更新または変更された投影画面を投影するように、出力部２４を制御すればよい。

このため、判断機能３５によって更新条件または変更条件を満たすと判断された場合、実空間Ｓに投影される投影画面６５が更新または変更される。なお、更新機能３６は、出力位置、出力情報、表示種別の少なくとも１つを更新または変更すればよく、いずれか１つのみを更新または変更する形態に限定されない。

図９は、投影画面６５の更新・変更の一例を示す模式図である。例えば、出力制御機能３４によって、図９（Ａ）に示す投影画面６５が、列Ｌの周辺領域５５に投影されたと仮定する。そして、列Ｌが、例えば、図９（Ｂ）や図９（Ｃ）に示す形状の列ＬＣや、図９（Ｄ）に示す形状の列ＬＤに変化したと仮定する。

この場合、例えば、位置更新機能３６Ａによって出力情報の出力位置が更新されることで、図９（Ａ）に示す出力情報６４Ｌに含まれる出力情報“４分待”の出力位置が、変化後の列ＬＣの形状に沿った位置（図９（Ｂ）参照）となるように更新される。すなわち、出力情報６４Ｌにおける出力位置が、列Ｌの形状変化に応じて、列Ｌを構成する対象５０に重ならない出力位置となるように更新される。

また、例えば、出力情報更新機能３６Ｂによって出力情報が更新されることで、図９（Ａ）に示す出力情報６４Ｌに含まれる出力情報“４分待”が、該位置から一つ前の対象５０の予測待ち時間を示す出力情報“３分待”に変更され、かつ、出力位置も該対象５０の横となるように更新される（図９（Ｃ）参照）。

また、例えば、位置更新機能３６Ａによって出力情報の出力位置が更新されることで、図９（Ａ）に示す出力情報６４Ｌに含まれる出力情報“１分待”および“４分待”の各々の出力位置が、変化後の列ＬＤに沿った位置（図９（Ｄ）参照）となるように更新される。すなわち、出力情報６４Ｌにおける出力位置が、列Ｌの形状変化に応じて、列Ｌを構成する対象５０に重ならない出力位置となるように更新される。

次に、処理回路３０が実行する情報処理の手順の一例を説明する。図１０は、処理回路３０が実行する情報処理の手順の一例を示す、フローチャートである。

処理回路３０の取得機能３１が、対象画像６０の取得を開始する（ステップＳ１００）。次に、特定機能３２が、構造情報の特定処理を実行する（ステップＳ１０２）。次に、決定機能３３および出力制御機能３４が、出力位置の決定処理および出力処理を実行する（ステップＳ１０４）。次に、更新機能３６が、更新および変更処理を実行する（ステップＳ１０６）。そして、本ルーチンを終了する。

次に、ステップＳ１０２（図１０参照）の構造情報特定処理の手順の一例を説明する。図１１は、構造情報特定処理の手順の一例を示す、フローチャートである。

まず、特定機能３２の検出機能３２Ａが、取得機能３１で取得した対象画像６０に含まれる、対象５０を特定する（ステップＳ２００）。次に、検出機能３２Ａは、特定した対象５０の向きを検出する（ステップＳ２０２）。次に、列構造特定機能３２Ｂが、対象５０によって形成される列Ｌの列方向Ｘ２を特定する（ステップＳ２０４）。

次に、列構造特定機能３２Ｂは、対象画像６０に含まれる対象５０の内、特定した列方向Ｘ２から外れている対象５０を特定する（ステップＳ２０６）。次に、列構造特定機能３２Ｂは、列方向Ｘ２から外れている対象５０の、列方向Ｘ２への帰属度を算出する(ステップＳ２０８)。

次に、列構造特定機能３２Ｂは、列Ｌを構成する対象５０を特定する（ステップＳ２１０）。次に、列構造特定機能３２Ｂは、列Ｌの列領域５４を特定する（ステップＳ２１２）。次に、列構造特定機能３２Ｂは、列領域５４における、列方向Ｘ２の両端部を、列Ｌの始点位置ＳＡおよび終点位置ＳＢとして特定する（ステップＳ２１４）。

次に、列構造特定機能３２Ｂは、対象画像６０における、列領域５４の周辺を、周辺領域５５として特定する（ステップＳ２１６）。

次に、対応位置導出機能３２Ｃが、列構造特定機能３２Ｂが特定した構造情報によって示される位置座標に対応する、実空間Ｓにおける三次元位置座標を導出する（ステップＳ２１８）。

次に、対応位置導出機能３２Ｃは、実空間Ｓにおける三次元座標によって表される構造情報を、決定機能３３及び判断機能３５へ出力する（ステップＳ２２０）。

次に、特定機能３２は、処理を終了するか否かを判断する（ステップＳ２２２）。例えば、特定機能３２は、ユーザによる入力部２６の操作指示によって、処理終了を示す指示信号が入力されたか否かを判別することで、ステップＳ２２２の判断を行う。

ステップＳ２２２で否定判断すると（ステップＳ２２２：Ｎｏ）、上記ステップＳ２００へ戻る。このため、特定機能３２は、取得機能３１が新たな対象画像６０を取得する毎に、ステップＳ２００〜ステップＳ２２２の処理を実行する。ステップＳ２２２で肯定判断すると（ステップＳ２２２：Ｙｅｓ）、本ルーチンを終了する。なお、図１１のフローチャートにおいて、例えばステップＳ２０２〜ステップＳ２１６は、必ずしもこの順番に行われることを要しない。

次に、図１０における、出力位置決定・出力処理（ステップＳ１０４）および更新変更処理（ステップＳ１０６）について、詳細に説明する。図１２は、出力制御機能３４、判断機能３５、および更新機能３６が実行する、出力位置決定・出力処理および更新・変更処理の手順の一例を示す、フローチャートである。

まず、決定機能３３が、特定機能３２から構造情報を取得する（ステップＳ３００）。次に、決定機能３３の選択機能３３Ａが、表示種別を選択する（ステップＳ３０２）。

次に、出力情報決定機能３３Ｂが、ステップＳ３０２で選択された表示種別によって規定される出力内容を、表示種別管理ＤＢ４０Ａから読取る（ステップＳ３０４）。次に、出力情報決定機能３３Ｂが、ステップＳ３００で取得した構造情報に基づいて、ステップＳ３０４で読取った出力内容を示す出力情報を、決定する（ステップＳ３０６）。

次に、位置決定機能３３Ｃが、ステップＳ３００で取得した構造情報に基づいて、ステップＳ３０６で決定した出力情報の、実空間Ｓにおける出力位置を決定する（ステップＳ３０８）。

次に、生成機能３３Ｄが、実空間Ｓにおける、ステップＳ３０８で決定された出力位置に、出力情報決定機能３３Ｂによって決定された出力情報を出力するための画面を生成する（ステップＳ３１０）。

次に、出力制御機能３４は、ステップＳ３１０で生成された画面（例えば、投影画面）を出力するように、出力部２４を制御する（ステップＳ３１２）。このため、実空間Ｓにおける、列Ｌの周辺領域５５には、該周辺領域５５における出力位置に、列Ｌの状況に応じた出力情報が出力される。

次に、判断機能３５が、特定機能３２から構造情報を取得する（ステップＳ３１４）。

次に、第１判断機能３５Ａが、ステップＳ３１４で取得した構造情報に基づいて、出力位置の位置更新条件を満たすか否かを判断する（ステップＳ３１６）。ステップＳ３１６で肯定判断すると（ステップＳ３１６：Ｙｅｓ）、ステップＳ３１８へ進む。ステップＳ３１８では、位置更新機能３６Ａが、出力位置の更新指示を決定機能３３へ出力する（ステップＳ３１８）。

決定機能３３の位置決定機能３３Ｃは、ステップＳ３１４で取得した構造情報を用いて、上記と同様にして出力位置を決定する（ステップＳ３２０）。そして、決定機能３３は、新たに決定した出力位置を用いて上記と同様の処理を実行することで、出力部２４へ出力する投影画面を生成する。これによって、位置更新機能３６Ａは、出力位置を更新する。

そして、出力制御機能３４は、出力位置の更新された投影画面を出力するように、出力部２４を制御する（ステップＳ３２２）。そして、ステップＳ３２４へ進む。

ステップＳ３２４では、処理回路３０が、情報処理を終了するか否かを判断する（ステップＳ３２４）。例えば、処理回路３０は、ユーザによる入力部２６の操作指示などによって、情報処理の終了を示す信号を受付けたか否かを判別することで、ステップＳ３２４の判断を行う。ステップＳ３２４で否定判断すると（ステップＳ３２４：Ｎｏ）、上記ステップＳ３１４へ戻る。ステップＳ３２４で肯定判断すると（ステップＳ３２４：Ｙｅｓ）、本ルーチンを終了する。

一方、上記ステップＳ３１６で否定判断すると（ステップＳ３１６：Ｎｏ）、ステップＳ３２６へ進む。ステップＳ３２６では、ステップＳ３１４で取得した構造情報に基づいて、第２判断機能３５Ｂが、出力情報の出力情報更新条件を満たすか否かを判断する（ステップＳ３２６）。ステップＳ３２６で肯定判断すると（ステップＳ３２６：Ｙｅｓ）、ステップＳ３２８へ進む。

ステップＳ３２８では、出力情報更新機能３６Ｂが、出力情報の更新指示を決定機能３３へ出力する（ステップＳ３２８）。決定機能３３の出力情報決定機能３３Ｂは、ステップＳ３１４で取得した構造情報を用いて、上記と同様にして出力情報を決定する（ステップＳ３３０）。そして、決定機能３３は、新たに決定した出力情報を用いて上記と同様の処理を実行することで、出力部２４へ出力する投影画面を生成する。これによって、出力情報更新機能３６Ｂは、出力情報を更新する。

そして、出力制御機能３４は、出力情報の更新された投影画面を出力するように、出力部２４を制御する（ステップＳ３３２）。そして、ステップＳ３２４へ進む。

一方、上記ステップＳ３２６で否定判断すると（ステップＳ３２６：Ｎｏ）、ステップＳ３３４へ進む。ステップＳ３３４では、ステップＳ３１４で取得した構造情報に基づいて、第３判断機能３５Ｃが、表示種別の種別変更条件を満たすか否かを判断する（ステップＳ３３４）。ステップＳ３３４で肯定判断すると（ステップＳ３３４：Ｙｅｓ）、ステップＳ３３６へ進む。

ステップＳ３３６では、種別変更機能３６Ｃが、表示種別の変更指示を決定機能３３へ出力する（ステップＳ３３６）。決定機能３３の選択機能３３Ａは、新たな表示種別を決定する（ステップＳ３３８）。そして、決定機能３３は、新たに決定した表示種別を用いて上記と同様の処理を実行することで、出力部２４へ出力する投影画面を生成する。これによって、種別変更機能３６Ｃは、表示種別を変更する。

そして、出力制御機能３４は、表示種別の変更された投影画面を出力するように、出力部２４を制御する（ステップＳ３４０）。そして、上記ステップＳ３２４へ進む。なお、上記ステップＳ３３４で否定判断した場合も（ステップＳ３３４：Ｎｏ）、上記ステップＳ３２４へ進む。なお、図１２のフローチャートにおいて、例えばステップＳ３１６〜ステップＳ３４０は、必ずしもこの順番に行われることを要しない。

以上説明したように、本実施の形態の情報処理装置２０は、決定機能３３と、出力制御機能３４と、を備える。決定機能３３は、対象画像６０に含まれる対象５０によって形成される列Ｌの構造を示す構造情報に基づいて、列Ｌの状態に関する出力情報の、実空間Ｓにおける出力位置を決定する。出力制御機能３４は、出力情報を出力位置に出力するよう制御する。

このように、本実施の形態の情報処理装置２０は、列Ｌの構造を示す構造情報に基づいて、列Ｌの状態に関する出力情報の、実空間Ｓにおける出力位置を決定する。このため、本実施の形態の情報処理装置２０では、固定された位置ではなく、列Ｌの構造情報に応じた出力位置に、列Ｌの状態に関する出力情報を出力することができる。

このため、図８に示すように、実空間Ｓにおける、路面Ｒ上の、列Ｌの周辺領域５５内に、出力情報６４を含む投影画面６５が投影される。このため、列Ｌを構成する対象５０は、列Ｌにおける各々の順番を自ら数えることなく、路面Ｒなどに投影された出力情報６４を視認することで、待ち時間や順番などの、列Ｌの状態に関する出力情報を確認することができる。

従って、本実施の形態の情報処理装置２０は、列Ｌの状態に応じた情報を適切に提供することができる。

なお、図８には、路面Ｒに出力情報６４が投影された形態を示した。しかし、出力情報６４の出力位置は、路面Ｒに限定されない。例えば、出力制御機能３４は、列Ｌの近傍に存在するビルや塀などの壁に、投影画面６５を投影してもよい。

なお、本実施の形態では、出力部２４が、投影装置である場合を一例として説明した。しかし、出力部２４の少なくとも一部は、ディスプレイであってもよい。出力部２４の少なくとも一部がディスプレイである場合には、出力位置は、実空間Ｓの周辺領域５５内に配置されたディスプレイを識別するための識別情報、および、該ディスプレイの表示画面における位置（二次元位置）、を含むものであればよい。

そして、生成機能３３Ｄは、画面として表示画面を生成すればよい。また、処理回路３０が、出力部２４としての投影装置およびディスプレイを制御する場合には、生成機能３３Ｄは、投影画面および表示画面を生成すればよい。

表示画面を生成する場合、生成機能３３Ｄは、実空間Ｓ上における上記出力位置に上記出力情報を出力するための表示画面を生成する。詳細には、生成機能３３Ｄは、出力情報決定機能３３Ｂによって決定された出力情報が、位置決定機能３３Ｃによって決定された出力位置に、選択機能３３Ａによって選択された表示種別によって規定される出力サイズで出力されるように、表示画面を生成すればよい。なお、出力位置は、位置決定機能３３Ｃによって決定された出力位置に配置された出力部２４（ディスプレイ）または、ディスプレイの表示面における該出力位置に対応する位置であればよい。

そして、出力制御機能３４は、決定機能３３で生成された表示画面を表示するように、出力部２４を制御すればよい。図１３は、実空間Ｓに配置された出力部２４としてのディスプレイに、表示画面６６を表示した状態を示す模式図である。図１３に示すように、出力制御機能３４は、実空間Ｓに配置された出力部２４としてのディスプレイに、表示画面６６を表示してもよい。

また、出力制御機能３４は、実空間Ｓに存在する複数の出力部２４の各々に、表示画面を表示してもよい。図１４は、実空間Ｓ上に複数の出力部２４としてのディスプレイが配置された環境を示す模式図である。この場合、出力制御機能３４は、実空間Ｓにおける、決定機能３３で決定された出力位置の各々に対応する出力部２４（出力部２４Ａ、２４Ｂ）に、対応する出力情報を出力するように制御すればよい。

また、出力制御機能３４は、処理回路３０で生成した表示画面を表示するためのアプリケーションのインストールされた端末装置のディスプレイに、生成した表示画面を表示するように制御してもよい。この場合、出力制御機能３４は、該アプリケーションのインストールされた端末装置に、生成した表示画面を送信すればよい。これによって、例えば、ユーザの所持する端末装置の内、決定機能３３で決定された出力位置に応じた位置に存在する端末装置に、情報処理装置２０で生成された、上記出力情報を含む表示画面が表示される。

次に、上記実施の形態の情報処理装置２０の、ハードウェア構成の一例を説明する。図１５は、上記実施の形態の情報処理装置２０のハードウェア構成図の一例である。

上記実施の形態の情報処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８６などの制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８８やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０やＨＤＤ（ハードディスクドライブ）９２などの記憶装置と、各種機器とのインターフェースであるＩ／Ｆ部８２と、出力情報などの各種情報を出力する出力部８０と、ユーザによる操作を受付ける入力部９４と、各部を接続するバス９６とを備えており、通常のコンピュータを利用したハードウェア構成となっている。

上記実施の形態の情報処理装置２０では、ＣＰＵ８６が、ＲＯＭ８８からプログラムをＲＡＭ９０上に読み出して実行することにより、上記各機能がコンピュータ上で実現される。

なお、上記実施の形態の情報処理装置２０で実行される上記各処理を実行するためのプログラムは、ＨＤＤ９２に記憶されていてもよい。また、上記実施の形態の情報処理装置２０で実行される上記各処理を実行するためのプログラムは、ＲＯＭ８８に予め組み込まれて提供されていてもよい。

また、上記実施の形態の情報処理装置２０で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施の形態の情報処理装置２０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施の形態の情報処理装置２０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。

なお、上記には、本発明の実施の形態を説明したが、上記実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

２０ 情報処理装置
２４ 出力部
３２ 特定機能
３３ 決定機能
３３Ａ 選択機能
３３Ｂ 出力情報決定機能
３３Ｃ 位置決定機能
３４ 出力制御機能
３５ 判断機能
３５Ａ 第１判断機能
３５Ｂ 第２判断機能
３５Ｃ 第３判断機能
３６ 更新機能
３６Ａ 位置更新機能
３６Ｂ 出力情報更新機能
３６Ｃ 種別変更機能

Claims (18)

1. 対象画像に含まれる対象によって形成される列の構造を示す構造情報に基づいて、前記列の状態に関する出力情報の実空間における出力位置を決定する決定部と、
   前記出力情報を前記出力位置に出力するよう制御する出力制御部と、
   を備える情報処理装置。
2. 前記対象画像に基づいて、前記列の前記構造情報を特定する特定部を備え、
   前記決定部は、特定した前記構造情報に基づいて、前記出力位置を決定する、
   請求項１に記載の情報処理装置。
3. 前記決定部は、
   前記構造情報に基づいて、実空間における前記対象の周辺領域に、前記出力位置を決定する、請求項１または請求項２に記載の情報処理装置。
4. 前記出力位置は、実空間における前記周辺領域内の位置座標、および、実空間の前記周辺領域内に配置された表示部の位置、の少なくとも一方を示す、請求項３に記載の情報処理装置。
5. 前記決定部は、
   前記構造情報に基づいて、前記出力位置と、前記出力位置に出力する前記出力情報と、を決定する、請求項１〜請求項４の何れか１項に記載の情報処理装置。
6. 前記決定部は、
   前記列の状態に関する出力内容と、前記出力内容を示す出力情報の配置規則と、を少なくとも規定した表示種別を選択する選択部と、
   選択した前記表示種別によって規定される前記出力内容を示す前記出力情報を決定する出力情報決定部と、
   前記構造情報と、選択した前記表示種別によって規定される前記配置規則と、によって定まる実空間上の位置を、前記出力位置として決定する位置決定部と、
   を備える、請求項１〜請求項５の何れか１項に記載の情報処理装置。
7. 前記決定部は、
   実空間上における前記出力位置に前記出力情報を出力するための投影画面を生成する生成部を備え、
   前記出力制御部は、
   前記投影画面を実空間における前記出力位置に応じた位置に投影するように出力部を制御する、
   請求項１〜請求項６の何れか１項に記載の情報処理装置。
8. 前記決定部は、
   実空間上における前記出力位置に前記出力情報を出力するための表示画面を生成する生成部を備え、
   前記出力制御部は、前記表示画面を、実空間における前記出力位置に応じた位置に配置された表示部に表示する、
   請求項１〜請求項６の何れか１項に記載の情報処理装置。
9. 前記出力情報は、前記列における待ち順の値、前記列の終端を示す値、前記列の予測待ち時間を示す値、広告情報、の少なくとも１つを含む、請求項１〜請求項８の何れか１項に記載の情報処理装置。
10. 前記出力位置の位置更新条件を満たすか否かを判断する第１判断部と、
    前記位置更新条件を満たすと判断した場合、前記出力位置を更新する位置更新部と、
    を備える、請求項１〜請求項９の何れか１項に記載の情報処理装置。
11. 前記出力情報の出力情報更新条件を満たすか否かを判断する第２判断部と、
    前記出力情報更新条件を満たすと判断した場合、前記出力情報を更新する出力情報更新部と、
    を備える、請求項１〜請求項１０の何れか１項に記載の情報処理装置。
12. 前記出力情報の表示種別の種別変更条件を満たすか否かを判断する第３判断部と、
    前記種別変更条件を満たすと判断した場合、前記表示種別を変更する種別変更部と、
    を備える、請求項６に記載の情報処理装置。
13. 前記構造情報は、前記列の形状、前記列の始点位置、および、前記列の終点位置、の少なくとも１つを示す、請求項１〜請求項１２の何れか１項に記載の情報処理装置。
14. 前記対象画像を取得する撮影部を更に備える、請求項１〜請求項１３の何れか１項に記載の情報処理装置。
15. 前記出力情報を出力する出力部を更に備える、請求項１〜請求項１４の何れか１項に記載の情報処理装置。
16. 前記出力部は、投影装置またはディスプレイである、請求項１５に記載の情報処理装置。
17. 対象画像に含まれる対象によって形成される列の構造を示す構造情報に基づいて、前記列の状態に関する出力情報の、実空間における出力位置を決定するステップと、
    前記出力情報を前記出力位置に出力するよう制御するステップと、
    を含む情報処理方法。
18. 対象画像に含まれる対象によって形成される列の構造を示す構造情報に基づいて、前記列の状態に関する出力情報の、実空間における出力位置を決定するステップと、
    前記出力情報を前記出力位置に出力するよう制御するステップと、
    をコンピュータに実行させるための、情報処理プログラム。

Images