JP2011097167A - デバイス発見方法 - Google Patents

Abstract

【課題】携帯端末と通信可能なデバイスを発見したときに、発見したデバイスが実際にどのデバイスなのかをユーザに認識させることができるデバイス発見方法を提供する。
【解決手段】撮影部および表示部を有する携帯端末を用いて携帯端末と通信可能なデバイスを発見するデバイス発見方法において、撮影部の撮影状態を表す撮影情報を取得する撮影情報取得ステップと、デバイスの位置を表す位置情報および該デバイスと通信するための通信方式を表す通信情報を少なくとも含むデバイス情報を格納するデータベースから、撮影部によって撮影されたデバイスのデバイス情報を撮影情報に基づいて取得するデバイス情報取得ステップと、撮影部によって撮影された映像を表示部に表示させる表示ステップとを有し、表示ステップでは、デバイス情報取得ステップで取得されたデバイス情報に基づいた情報５０〜５３を表示部に表示されたデバイス４〜６に対応するように表示させる。
【選択図】図５

Description

本発明は、デバイス発見方法に関し、特に、近距離無線通信を行う携帯端末と通信可能なデバイスを発見するデバイス発見方法に関するものである。

従来、近距離無線通信を行う携帯端末と通信可能なデバイスを発見するものとして、図１５に示すように、メディア表示装置のメディア関連サービスがファイルシステムサービスと協働して、ＵＰｎＰ（Universal Plug and Play）に準拠して発見したデバイスにそれぞれ対応するファイルシステムエントリをファイルシステム内に作成することにより、対応するファイルシステムエントリをメディア表示装置のファイルシステムウィンドウを介して一覧表示するものがある（例えば、特許文献１参照）。

特表２００６−５２４８４８号公報

しかしながら、上述した従来の技術は、携帯端末と通信可能なデバイスを発見することができるものの、当該デバイスが実際にどのデバイスなのかをユーザに認識させることができないといった問題があった。

本発明は、従来の課題を解決するためになされたもので、携帯端末と通信可能なデバイスを発見したときに、発見したデバイスが実際にどのデバイスなのかをユーザに認識させることができるデバイス発見方法を提供することを目的とする。

本発明のデバイス発見方法は、撮影部および表示部を有する携帯端末を用いて前記携帯端末と通信可能なデバイスを発見するデバイス発見方法において、前記撮影部の撮影状態を表す撮影情報を取得する撮影情報取得ステップと、前記デバイスの位置を表す位置情報および該デバイスと通信するための通信方式を表す通信情報を少なくとも含むデバイス情報を格納するデータベースから、前記撮影部によって撮影されたデバイスのデバイス情報を前記撮影情報に基づいて取得するデバイス情報取得ステップと、前記撮影部によって撮影された映像を前記表示部に表示させる表示ステップと、を有し、前記表示ステップでは、前記デバイス情報取得ステップで取得されたデバイス情報に基づいた情報を前記表示部に表示されたデバイスに対応するように表示させる。

したがって、本発明のデバイス発見方法は、携帯端末の撮影部によって撮影され、表示部に表示された映像のなかから通信可能なデバイスの情報を表示部に表示されたデバイスに対応するように表示させるため、携帯端末と通信可能なデバイスを発見したときに、発見したデバイスが実際にどのデバイスなのかをユーザに認識させることができる。

本発明は、携帯端末と通信可能なデバイスを発見したときに、発見したデバイスが実際にどのデバイスなのかをユーザに認識させることができるデバイス発見方法を提供することができる。

本発明の第１の実施の形態におけるデバイス発見システムのブロック図である。 本発明の第１の実施の形態における携帯端末の機能ブロック図である。 本発明の第１の実施の形態における携帯端末のハードウェア構成図である。 本発明の第１の実施の形態における携帯端末を構成する撮影部によって撮影された映像の一例を示す概念図である。 本発明の第１の実施の形態における携帯端末を構成する表示部に表示される映像の第１の例を示す概念図である。 本発明の第１の実施の形態における携帯端末を構成する表示部に表示される映像の第２の例を示す概念図である。 本発明の第１の実施の形態における携帯端末を構成する表示部に表示される映像の第３の例を示す概念図である。 本発明の第１の実施の形態におけるサーバ装置の機能ブロック図である。 本発明の第１の実施の形態におけるサーバ装置のハードウェア構成図である。 本発明の第１の実施の形態におけるデバイスの機能ブロック図である。 本発明の第１の実施の形態におけるデバイス発見システムの動作例を示すシーケンス図である。 本発明の第２の実施の形態における携帯端末の機能ブロック図である。 本発明の第２の実施の形態におけるサーバ装置の機能ブロック図である。 本発明の第２の実施の形態におけるデバイス発見システムの動作例を示すシーケンス図である。 従来のメディア表示装置の表示部に表示される映像の例を示す概念図である。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１の実施の形態）
本発明の第１の実施の形態のデバイス発見方法を実現するデバイス発見システムを図１に示す。

図１に示すように、デバイス発見システム１は、携帯端末２と、サーバ装置３と、デバイス４〜６とを備えている。なお、携帯端末２とサーバ装置３との間には、無線基地局や交換機等の中継機器が介在するが、図１においては、これら中継機器の図示は省略されている。

また、図１においては、１つの携帯端末、１つのサーバ装置および３つのデバイスが示されているが、本発明に係るデバイス発見システムを構成する携帯端末、サーバ装置およびデバイスの数を限定するものではない。

図２に示すように、携帯端末２は、撮影部１０と、撮影情報取得部１１と、空間識別情報（以下、単に「空間ＩＤ」という。）取得部１２と、遠距離無線通信部１３と、デバイス情報取得部１４と、画像合成部１５と、表示部１６と、操作部１７と、近距離無線通信部１８と、サービス実行部１９とを備えている。

携帯端末２は、携帯電話機、ＰＤＡ（Personal Digital Assistant）およびノートＰＣ（Personal Computer）のようなモバイル通信機器によって構成され、図３に示すように、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ（Random Access Memory）２１と、ＲＯＭ（Read Only Memory）２２と、フラッシュメモリ２３と、近距離無線通信方式で無線通信を行う近距離無線通信モジュール２４と、遠距離無線通信方式で無線通信を行う遠距離無線通信モジュール２５と、カメラ２６と、液晶ディスプレイ等よりなる表示装置２７と、液晶ディスプレイ上に設けられたタッチパネル等のポインティングデバイスやキーボード装置よりなる入力装置２８と、ＧＰＳ（Global Positioning System）２９と、３軸地磁気センサ３０と、３軸加速度センサ３１とを有している。なお、ＧＰＳ２９で位置取得ができない場合に備えて、携帯端末２は、更にジャイロと高度計とを有していてもよい。

ＲＯＭ２２およびフラッシュメモリ２３には、当該モバイル通信機器を携帯端末２として機能させるためのプログラムが記憶されている。すなわち、ＣＰＵ２０がＲＡＭ２１を作業領域としてＲＯＭ２２およびフラッシュメモリ２３に記憶されたプログラムを実行することにより、当該モバイル通信機器が携帯端末２として機能する。

ここで、図２における撮影部１０は、カメラ２６によって構成される。撮影情報取得部１１は、ＧＰＳ２９、３軸地磁気センサ３０および３軸加速度センサ３１によって構成される。空間ＩＤ取得部１２は、ＣＰＵ２０および近距離無線通信モジュール２４によって構成される。遠距離無線通信部１３は、ＣＰＵ２０および遠距離無線通信モジュール２５によって構成される。

また、デバイス情報取得部１４、画像合成部１５およびサービス実行部１９は、ＣＰＵ２０によって構成される。表示部１６は、表示装置２７によって構成される。操作部１７は、入力装置２８によって構成される。近距離無線通信部１８は、ＣＰＵ２０および近距離無線通信モジュール２４によって構成される。

撮影情報取得部１１は、ＧＰＳ２９によって検出された携帯端末２の緯度、経度および高度と、３軸地磁気センサ３０によって検出された携帯端末２が向いている方位と、３軸加速度センサ３１によって検出された携帯端末２の傾きとに基づいて、撮影部１０の緯度、経度、高度および光軸方向を算出し、撮影部１０の緯度、経度、高度および光軸方向と、撮影部１０から得られる撮影部１０の視野角とからなる撮影状態を表す撮影情報を取得するようになっている。

空間ＩＤ取得部１２は、携帯端末２が置かれた空間を一意に識別するための空間ＩＤを取得し、取得した空間ＩＤを撮影情報に含めるようになっている。例えば、空間ＩＤ取得部１２は、当該空間に設けられた無線送信器等によって継続的に送信される空間ＩＤを受信するようになっている。空間ＩＤとしては、例えば、住所を用いてもよい。なお、空間ＩＤ取得部１２は、当該空間に設けられた二次元バーコード等を撮影部１０を介して読み取ることにより、空間ＩＤを取得するようにしてもよい。

遠距離無線通信部１３は、遠距離無線通信方式でサーバ装置３と通信を行うようになっている。ここで、遠距離無線通信方式には、ＰＨＳ（Personal Handyphone System）、ＧＳＭ（Global System for Mobile Communications）、ＣｄｍａＯｎｅ、Ｃｄｍａ２０００、Ｗ−ＣＤＭＡおよびＬＴＥ（Long Term Evolution）等のような移動体通信のために規定された通信方式が含まれる。

本実施の形態においては、遠距離無線通信部１３を介して、撮影部１０によって撮影された撮影映像と、撮影情報取得部１１によって取得された撮影情報とがサーバ装置３に送信される。

デバイス情報取得部１４は、撮影部１０によって撮影された撮影映像と、撮影情報取得部１１によって取得された撮影情報との送信に応じて、サーバ装置３から送信されたデバイス情報を遠距離無線通信部１３を介して取得するようになっている。

デバイス情報には、デバイスを識別するためのＩＤ、ならびに、デバイスの製造メーカ、名称および型番号等のデバイスの仕様等を表す属性情報と、デバイスの位置を表す位置情報と、デバイスと通信するための近距離無線通信方式および当該近距離無線通信方式に要するパラメータを表す通信情報と、デバイスから提供されるサービスを表すサービス情報とが含まれている。

ここで、位置情報は、サーバ装置３に送信した撮影映像におけるデバイスの座標を表す。また、サービス情報には、デバイスの状態を送信するサービスおよびデバイスを制御するための情報を受信するサービス等を実行するためのマークアップ言語やスクリプト等が含まれている。

画像合成部１５は、デバイス情報取得部１４によって取得されたデバイス情報に基づいて、各デバイスの位置情報が表す位置の周辺に各デバイスの情報を合成するようになっている。ここで、本実施の形態において、撮影映像に合成される情報は、通信情報が表す近距離無線通信方式を表す情報とする。

例えば、図４に示すような撮影映像が撮影されると、画像合成部１５は、図５に示すように、撮影部１０によって撮影された各デバイス４〜７に対応するように、通信情報が表す近距離無線通信方式を表す通信方式情報５０〜５３を撮影映像にそれぞれ合成するようになっている。なお、図５は、デバイス４がＩｒＤＡ(登録商標)とＷｉ−Ｆｉ(登録商標)との各近距離無線通信方式に準拠して通信し、デバイス５、６がＢｌｕｅｔｏｏｔｈ（登録商標）に準拠して通信し、デバイス７が無線通信できないことを表している。

なお、図５において、通信方式情報５３は、デバイス７が近距離無線通信機能を有していないことを表しているが、画像合成部１５は、携帯端末２の近距離無線通信機能とデバイス７の近距離無線通信機能と比較し、これらを相互に接続する近距離無線通信方式がない場合には、通信方式情報５３をデバイス７に対応するように撮影映像に合成するようにしてもよい。

また、この場合には、画像合成部１５は、図６に示すように、デバイス７と携帯端末２とを相互に接続する近距離無線通信方式がないことと、デバイス７が準拠可能な近距離無線通信方式とを表す通信方式情報５３をデバイス７に対応するように合成する。

図２において、表示部１６は、画像合成部１５によって合成された画像を表示するようになっている。操作部１７は、表示部１６に表示されたデバイスを選択させることができるようになっている。ここで、デバイス６が選択されたと仮定して、以下、説明する。

表示部１６に表示されたデバイス６が操作部１７によって選択されると、近距離無線通信部１８は、選択されたデバイスと該当する通信方式で接続を確立するようになっている。

なお、近距離無線通信部１８と各デバイス４〜６との間では、各種のメッセージがオーバレイプロトコルにしたがって伝送される。このオーバレイプロトコルでは、携帯端末２と各デバイス４〜６との各ノードが行う通信に関する設定情報や生存情報を表すHELLO、HELLOの応答を表すHELLO応答（以下、「HELLO Response」と記載する。）、サービスに関する機能の起動要求を表すサービス起動要求（以下、「Invoke Request」と記載する。）、および、Invoke Requestの応答を表すサービス起動応答（以下、「Invoke Response」と記載する。）等のメッセージが規定されている。

また、オーバレイプロトコルの下位層にあたる近距離無線通信方式には、Ｂｌｕｅｔｏｏｔｈ（登録商標）と、ＺｉｇＢｅｅ（登録商標）と、ＩｒＤＡ（Infrared Data Association）（登録商標）等の赤外線や可視光による光通信方式と、ＩＳＭ（Industry-Science-Medical）バンド等の用いた特定小電力無線通信方式と、Ｆｅｌｉｃａ（登録商標）、ｍｉｆａｒｅ（登録商標）およびＮＦＣ（Near Field Communication）等の非接触ＩＣカード通信方式と、ＵＷＢ（Ultra Wide Band）と、Ｗｉ−Ｆｉ（登録商標）等のＷＬＡＮ（Wireless LAN）と、Ｚ−Ｗａｖｅ（登録商標）と、ＡＮＴ＋と、その他、微弱電波を用いた無線通信のために規定された通信方式とが含まれる。

画像合成部１５は、携帯端末２とデバイス６の接続が確立している間には、図７に示すように、接続が確立されたデバイス６を識別するためのアイコン５４をデバイス６に対応するように撮影映像に合成し、表示部１６に表示させるようになっている。

また、サービス実行部１９は、デバイス情報取得部１４によって取得されたデバイス情報に含まれるサービス情報に基づいて、デバイス６の状態を表す情報５５を撮影映像におけるデバイス６に対応するように合成すると共に、デバイス６を制御するためのコントロールパネル５６を撮影映像に合成するよう画像合成部１５を制御するようになっている。この結果、図７に示すような映像が表示部１６に表示される。

ここで、コントロールパネル５６のコントローラが操作部１７によって選択されると、サービス実行部１９は、選択されたコントローラに対応する制御情報を近距離無線通信部１８を介してデバイス６に送信するようになっている。

図８に示すように、サーバ装置３は、デバイス情報を格納するデータベース６０と、携帯端末２の遠距離無線通信部１３等と通信を行うための通信部６１と、デバイス情報検出部６２と、位置情報補正部６３とを備えている。

図９に示すように、サーバ装置３は、ＣＰＵ７０と、ＲＡＭ７１と、ＲＯＭ７２と、ハードディスク装置７３と、通信モジュール７４とを備えた一般的なコンピュータ装置によって構成されている。

ＲＯＭ７２およびハードディスク装置７３には、当該コンピュータ装置をサーバ装置３として機能させるためのプログラムが記憶されている。すなわち、ＣＰＵ７０がＲＡＭ７１を作業領域としてＲＯＭ７２およびハードディスク装置７３に記憶されたプログラムを実行することにより、当該コンピュータ装置は、サーバ装置３として機能する。

ここで、図８におけるデータベース６０は、ハードディスク装置７３によって構成され、通信部６１は、通信モジュール７４によって構成され、デバイス情報検出部６２および位置情報補正部６３は、ＣＰＵ７０によって構成される。

デバイス情報には、前述したように、属性情報と、位置情報と、通信情報と、サービス情報とが含まれているが、データベース６０に格納されているデバイス情報の位置情報には、該当するデバイスが置かれた空間を一意に識別するための空間ＩＤ、ならびに、デバイスの緯度、経度および高度を表す情報が含まれている。

データベース６０には、映像からデバイスを識別するための画像抽出情報がデバイス情報に対応して更に格納されている。画像抽出情報は、例えば、デバイスを複数の方向から撮影して得られた画像の輝度成分から抽出された特徴点の集合からなる。なお、画像抽出情報は、画像の輝度成分から抽出された特徴点の集合の他に、画像の輝度成分から抽出された輪郭線の集合であってもよく、輝度成分のみからなる複数の画像であってもよい。

デバイス情報検出部６２は、携帯端末２から送信された撮影情報と、データベース６０に格納されたデバイス情報の位置情報とに基づいて、撮影映像に映されたデバイスのデバイス情報をデータベース６０から検出するようになっている。

具体的には、デバイス情報検出部６２は、撮影情報に含まれる空間ＩＤと同一の空間ＩＤが位置情報に含まれるデバイス情報をデータベース６０から検出し、検出したデバイス情報の位置情報に含まれる緯度、経度および高度と、携帯端末２から送信された撮影情報とに基づいて、撮影映像に映されたデバイスのデバイス情報を検出するようになっている。

位置情報補正部６３は、デバイス情報検出部６２によって検出されたデバイス情報の位置情報に含まれる緯度、経度および高度と、携帯端末２から送信された撮影情報とに基づいて、撮影映像における各デバイスの位置を算出するようになっている。

また、位置情報補正部６３は、デバイス情報検出部６２によって検出されたデバイス情報に対応してデータベース６０に格納された画像抽出情報に基づいて、撮影映像における各デバイスの位置を補正するようになっている。

例えば、位置情報補正部６３は、画像抽出情報が表す特徴点の座標の集合を拡縮および回転させながら、算出したデバイスの位置を起点として徐々にずらしながら撮影映像との相関値を算出し、算出した相関値が予め定められた閾値を超えた位置を撮影映像におけるデバイスの位置として補正する。

ここで、撮影映像の全体に渡って相関値が閾値を超えなかった場合には、位置情報補正部６３は、最も相関値が高かった位置を撮影映像におけるデバイスの位置として補正してもよく、このデバイスが撮影映像にないものとしてもよい。

このように、デバイス情報検出部６２によって検出され、位置情報補正部６３によって位置情報が補正されたデバイス情報は、通信部６１を介して携帯端末２に送信される。

図１において、各デバイス４〜６は、照明機器、エアコン等の白物家電、テレビ等のＡＶ（Audio Visual）機器、プリンタなどのＯＡ（Office Automation）機器、店頭で電子クーポンを配信するような広告用通信装置、および、無線ＬＡＮ（Local Area Network）アクセスポイント等によって構成されている。

図１０に示すように、各デバイス４〜６は、近距離無線通信部８０と、サービス提供部８１とを備えている。なお、図１０は、デバイス６について示しているが、デバイス４、５についても同様である。

サービス提供部８１は、ＣＰＵ等のプロセッサによって構成され、デバイス６の状態（例えば、設定温度）の取得要求に応じて、近距離無線通信部８０を介して、デバイス６の状態をその要求元に送信したり、デバイス６の制御要求（例えば、設定温度の変更）に応じて、デバイス６の状態を変化させたりするようになっている。

以上のように構成されたデバイス発見システム１について図１１を用いてその動作を説明する。なお、以下の説明においては、携帯端末２がデバイス６と接続し、デバイス６のサービスを受ける場合を例に説明する。

まず、携帯端末２の撮影部１０によって撮影が行われると（ステップＳ１）、撮影部１０によって撮影された撮影映像と、撮影情報取得部１１および空間ＩＤ取得部１２によって取得された撮影情報とが遠距離無線通信部１３を介してサーバ装置３に送信される（ステップＳ２）。

撮影映像と撮影情報とを受信したサーバ装置３では、撮影情報と、データベース６０に格納されたデバイス情報の位置情報とに基づいて、撮影映像に映されたデバイスのデバイス情報が、デバイス情報検出部６２によってデータベース６０から検出される（ステップＳ３）。

次に、デバイス情報検出部６２によって検出されたデバイス情報の位置情報に含まれる緯度、経度および高度と、携帯端末２から送信された撮影情報とに基づいて、撮影映像における各デバイスの位置が位置情報補正部６３によって算出され、デバイス情報検出部６２によって検出されたデバイス情報に対応してデータベース６０に格納された画像抽出情報に基づいて、撮影映像における各デバイスの位置が補正される（ステップＳ４）。

位置情報が補正されたデバイス情報は、通信部６１を介して携帯端末２に送信される（ステップＳ５）。このデバイス情報を受信した携帯端末２では、このデバイス情報に含まれる通信情報が表す近距離無線通信方式を表す情報が画像合成部１５によって撮影映像に合成され、表示部１６に表示される（ステップＳ６、図５参照）。

ここで、操作部１７を介してデバイス６が選択されると（ステップＳ７）、携帯端末２とデバイス６との間で、Ｂｌｕｅｔｏｏｔｈに準拠した接続が確立される（ステップＳ８）。

携帯端末２とデバイス６との間で、Ｂｌｕｅｔｏｏｔｈに準拠した接続が確立されると、携帯端末２からデバイス６にHELLOメッセージが送信され（ステップＳ９）、HELLOメッセージを受信したデバイス６から携帯端末２にHELLO Responseメッセージが送信される（ステップＳ１０）。

次いで、デバイス情報に含まれるサービス情報に基づいて、デバイス６の状態（ここでは、設定温度）を表す情報を取得するためのInvoke Requestメッセージが携帯端末２からデバイス６に送信される（ステップＳ１１）。

Invoke Requestメッセージに応じて、デバイス６の状態を含むInvoke Responseメッセージがデバイス６から携帯端末２に送信される（ステップＳ１２）。Invoke Responseメッセージを受信すると、携帯端末２では、デバイス情報に含まれるサービス情報に基づいて、デバイス６の状態を表す情報を撮影映像におけるデバイス６に対応させて合成するように画像合成部１５がサービス実行部１９によって制御される（ステップＳ１３）。

また、デバイス６を制御するためのコントロールパネルを撮影映像に合成するよう画像合成部１５がサービス実行部１９によって制御される（ステップＳ１４）。この結果、図７に示したような映像が表示部１６に表示される。

このような本発明の第１の実施の形態のデバイス発見方法を実現するデバイス発見システム１は、携帯端末２の撮影部１０によって撮影され、表示部１６に表示された映像のなかから通信可能なデバイスの情報を表示部１６に表示されたデバイス４〜６に対応するように表示させるため、携帯端末２と通信可能なデバイス４〜６を発見したときに、発見したデバイス４〜６が実際にどのデバイスなのかをユーザに認識させることができる。

（第２の実施の形態）
以下、本発明の第２の実施の形態のデバイス発見方法を実現するデバイス発見システムについて説明する。本実施の形態においては、本発明の第１の実施の形態における位置情報補正部６３がサーバ装置３に代えて携帯端末２に設けられている。

すなわち、携帯端末２は、図１２に示すように、撮影部１０と、撮影情報取得部１１と、空間ＩＤ取得部１２と、遠距離無線通信部１３と、デバイス情報取得部１４と、画像合成部１５と、表示部１６と、操作部１７と、近距離無線通信部１８と、サービス実行部１９とに加えて、位置情報補正部６３を備えている。なお、本実施の形態において、位置情報補正部６３は、ＣＰＵ２０によって構成される。

また、サーバ装置３は、図１３に示すように、データベース６０と、通信部６１と、デバイス情報検出部６２とを備えている。デバイス情報検出部６２は、検出したデバイス情報と、当該デバイス情報に対応してデータベース６０に格納された画像抽出情報とを通信部６１を介して携帯端末２に送信するようになっている。

図１２において、位置情報補正部６３は、デバイス情報検出部６２によって送信されたデバイス情報の位置情報に含まれる緯度、経度および高度と、撮影情報取得部１１によって取得された撮影情報とに基づいて、撮影映像における各デバイスの位置を算出するようになっている。また、位置情報補正部６３は、デバイス情報検出部６２によって送信された画像抽出情報に基づいて、撮影映像における各デバイスの位置を補正するようになっている。

このため、本実施の形態においては、遠距離無線通信部１３を介して、撮影部１０によって撮影された撮影映像をサーバ装置３に送信する必要がなく、撮影情報取得部１１によって取得された撮影情報のみがサーバ装置３に送信される。

以上のように構成されたデバイス発見システムについて図１４を用いてその動作を説明する。なお、以下の説明においては、携帯端末２がデバイス６と接続し、デバイス６のサービスを受ける場合を例に説明する。

まず、携帯端末２の撮影部１０によって撮影が行われると（ステップＳ２１）、撮影情報取得部１１および空間ＩＤ取得部１２によって取得された撮影情報が遠距離無線通信部１３を介してサーバ装置３に送信される（ステップＳ２２）。

撮影情報を受信したサーバ装置３では、撮影情報と、データベース６０に格納されたデバイス情報の位置情報とに基づいて、撮影映像に映されたデバイスのデバイス情報が、デバイス情報検出部６２によってデータベース６０から検出される（ステップＳ２３）。

データベース６０から検出されたデバイス情報は、通信部６１を介して携帯端末２に送信される（ステップＳ２４）。このデバイス情報を受信した携帯端末２では、サーバ装置３から送信されたデバイス情報の位置情報に含まれる緯度、経度および高度と、撮影情報取得部１１によって取得された撮影情報とに基づいて、撮影映像における各デバイスの位置が位置情報補正部６３によって算出され、このデバイス情報と共にサーバ装置３から送信された画像抽出情報に基づいて、撮影映像における各デバイスの位置が補正される（ステップＳ２５）。

次に、このデバイス情報に含まれる通信情報が表す近距離無線通信方式を表す情報が画像合成部１５によって撮影映像に合成され、表示部１６に表示される（ステップＳ２６、図５参照）。

ここで、操作部１７を介してデバイス６が選択されると（ステップＳ２７）、携帯端末２とデバイス６との間で、Ｂｌｕｅｔｏｏｔｈに準拠した接続が確立される（ステップＳ２８）。

携帯端末２とデバイス６との間で、Ｂｌｕｅｔｏｏｔｈに準拠した接続が確立されると、携帯端末２からデバイス６にHELLOメッセージが送信され（ステップＳ２９）、HELLOメッセージを受信したデバイス６から携帯端末２にHELLO Responseメッセージが送信される（ステップＳ３０）。

次いで、デバイス情報に含まれるサービス情報に基づいて、デバイス６の状態（ここでは、設定温度）を表す情報を取得するためのInvoke Requestメッセージが携帯端末２からデバイス６に送信される（ステップＳ３１）。

Invoke Requestメッセージに応じて、デバイス６の状態を含むInvoke Responseメッセージがデバイス６から携帯端末２に送信される（ステップＳ３２）。Invoke Responseメッセージを受信すると、携帯端末２では、デバイス情報に含まれるサービス情報に基づいて、デバイス６の状態を表す情報を撮影映像におけるデバイス６に対応するように合成するように画像合成部１５がサービス実行部１９によって制御される（ステップＳ３３）。

また、デバイス６を制御するためのコントロールパネルを撮影映像に合成するよう画像合成部１５がサービス実行部１９によって制御される（ステップＳ３４）。この結果、図７に示したような映像が表示部１６に表示される。

このように本発明の第２の実施の形態のデバイス発見方法を実現するデバイス発見システムにおいても、本発明の第１の実施の形態のデバイス発見方法を実現するデバイス発見システム１と同様な効果が得られる。

なお、同様に、サーバ装置３のデータベース６０およびデバイス情報検出部６２を携帯端末２に設けても同様な効果が得られるが、本発明の第１および第２の実施の形態の説明に基づいて容易に想到できるため、その説明は省略する。

また、上述した本発明の第１および第２の実施の形態において、データベース６０に格納されている位置情報に空間ＩＤが含まれている例について説明したが、本発明においては、データベース６０に格納されている位置情報に空間ＩＤが含まれていなくてもよい。

この場合には、携帯端末２から空間ＩＤ取得部１２を省き、携帯端末２からサーバ装置３に送信される撮影情報には、操作部１７等によって予め設定された検出距離を表す距離情報を含めるように撮影情報取得部１１を構成する。

さらに、デバイス情報検出部６２は、撮影情報に含まれる空間ＩＤと同一の空間ＩＤが位置情報に含まれるデバイス情報をデータベース６０から検出するのに代えて、撮影情報から得られる撮影位置から検出距離内に位置情報が表す位置が含まれるデバイス情報をデータベース６０から検出するように構成される。

また、上述した本発明の第１および第２の実施の形態において、データベース６０に画像抽出情報が格納されている例について説明したが、本発明においては、データベース６０に画像抽出情報が格納されていなくてもよい。

この場合には、位置情報補正部６３は、撮影映像における各デバイスの位置を算出するが、撮影映像における各デバイスの位置を補正しないように構成される。したがって、本発明の第１の実施の形態においては、携帯端末２は、サーバ装置３に撮影映像を送信しないように構成される。また、本発明の第２の実施の形態においては、サーバ装置３は、携帯端末２に画像抽出情報を送信しないように構成される。

また、上述した本発明の第１および第２の実施の形態において、データベース６０に格納されている位置情報に撮影部１０の緯度、経度、高度、光軸方向および視野角が含まれている例について説明したが、本発明においては、データベース６０に格納されている位置情報に撮影部１０の緯度、経度、高度、光軸方向および視野角が含まれていなくてもよい。

この場合には、撮影情報には、空間ＩＤのみが含まれ、携帯端末２の撮影情報取得部１１は、空間ＩＤ取得部１２によって取得された空間ＩＤのみを取得するように構成される。すなわち、携帯端末２のハードウェア構成からＧＰＳ２９、３軸地磁気センサ３０および３軸加速度センサ３１を除くことができる。

また、位置情報補正部６３は、デバイス情報検出部６２によって検出されたデバイス情報の位置情報に含まれる緯度、経度および高度と、撮影情報取得部１１によって取得された撮影情報とに基づいて、撮影映像における各デバイスの位置を算出せずに、撮影映像における各デバイスの位置を画像抽出情報に基づいて算出するように構成される。

例えば、位置情報補正部６３は、画像抽出情報が表す特徴点の座標の集合を拡縮および回転させながら、撮影映像の予め定められた位置を起点として徐々にずらしながら撮影映像との相関値を算出し、算出した相関値が予め定められた閾値を超えた位置を撮影映像におけるデバイスの位置として算出する。

１ デバイス発見システム
２ 携帯端末
３ サーバ装置
４、５、６、７ デバイス
１０ 撮影部
１１ 撮影情報取得部
１２ 空間ＩＤ取得部
１３ 遠距離無線通信部
１４ デバイス情報取得部
１５ 画像合成部
１６ 表示部
１７ 操作部
１８、８０ 近距離無線通信部
１９ サービス実行部
２０、７０ ＣＰＵ
２１、７１ ＲＡＭ
２２、７２ ＲＯＭ
２３ フラッシュメモリ
２４ 近距離無線通信モジュール
２５ 遠距離無線通信モジュール
２６ カメラ
２７ 表示装置
２８ 入力装置
２９ ＧＰＳ
３０ ３軸地磁気センサ
３１ ３軸加速度センサ
６０ データベース
６１ 通信部
６２ デバイス情報検出部
６３ 位置情報補正部
７３ ハードディスク装置
７４ 通信モジュール
８１ サービス提供部

Claims (9)

1. 撮影部および表示部を有する携帯端末を用いて前記携帯端末と通信可能なデバイスを発見するデバイス発見方法において、
   前記撮影部の撮影状態を表す撮影情報を取得する撮影情報取得ステップと、
   前記デバイスの位置を表す位置情報および該デバイスと通信するための通信方式を表す通信情報を少なくとも含むデバイス情報を格納するデータベースから、前記撮影部によって撮影されたデバイスのデバイス情報を前記撮影情報に基づいて取得するデバイス情報取得ステップと、
   前記撮影部によって撮影された映像を前記表示部に表示させる表示ステップと、を有し、
   前記表示ステップでは、前記デバイス情報取得ステップで取得されたデバイス情報に基づいた情報を前記表示部に表示されたデバイスに対応するように表示させることを特徴とするデバイス発見方法。
2. 前記位置情報は、前記デバイスの緯度および経度を表す情報を含み、
   前記撮影情報は、前記撮影部の緯度、経度、光軸方向および視野角を表す情報を含むことを特徴とする請求項１に記載のデバイス発見方法。
3. 前記デバイスに対応させて表示させる情報の表示位置を補正する位置補正ステップを更に有し、
   前記データベースは、映像から前記デバイスを識別するための画像抽出情報をさらに格納し、
   前記位置補正ステップでは、前記デバイスに対応させて表示させる情報の表示位置を前記画像識別情報に基づいて補正することを特徴とする請求項１または請求項２に記載のデバイス発見方法。
4. 前記位置情報は、前記デバイスが位置する空間を識別するための空間識別情報を更に含み、
   前記撮影情報は、前記撮影部が位置する空間を識別するための空間識別情報を更に含み、
   前記デバイス情報取得ステップでは、前記撮影部の空間識別情報と同一の空間識別情報を含むデバイス情報のなかから、前記撮影部によって撮影されたデバイスのデバイス情報を取得することを特徴とする請求項２または請求項３に記載のデバイス発見方法。
5. 前記表示ステップでは、前記デバイス情報に含まれる前記通信情報を前記表示部に表示されたデバイスに対応するように表示させることを特徴とする請求項１乃至請求項４の何れかに記載のデバイス発見方法。
6. 前記デバイスが提供するサービスを実行するサービス実行ステップを更に有し、
   前記デバイス情報は、前記デバイスが提供するサービスを表すサービス情報を更に含むことを特徴とする請求項１乃至請求項５の何れかに記載のデバイス発見方法。
7. 前記デバイスが提供するサービスは、該デバイスの状態を送信するサービスを含み、
   前記表示ステップでは、該デバイスの状態を表す情報を該デバイスに対応するように前記表示部に表示させることを特徴とする請求項６に記載のデバイス発見方法。
8. 前記表示部に表示されたデバイスを選択させるデバイス選択ステップを更に有し、
   前記デバイスが提供するサービスは、該デバイスを制御するための情報を受信するサービスを含み、
   前記表示ステップでは、前記選択ステップで選択されたデバイスを制御するためコントローラを前記表示部に表示させることを特徴とする請求項６または請求項７に記載のデバイス発見方法。
9. 前記携帯端末と前記デバイスとは、前記デバイスによって提供されるサービスに関するアプリケーションレイヤの情報の少なくとも一部を、相互に実行可能なオーバレイプロトコルにしたがって伝送することを特徴とする請求項１乃至請求項８の何れかに記載のデバイス発見方法。

Images