JP2019070911A - 情報処理装置、接続設定方法、コンピュータプログラム、及び記憶媒体 - Google Patents

Abstract

【課題】離れた場所に設置されている電子機器の無線接続をユーザが直感的に確認、把握できるような装置を提供する。【解決手段】情報処理装置１００は、無線通信により無線ルータ１０１と監視カメラ１０２とを接続する。情報処理装置は、ディスプレイに表示画面４００を表示する。表示画面４００は、無線ルータ１０１と監視カメラ１０２との間の無線通信の通信路及び接続状態を表す仮想線４０１が、無線ルータ１０１と監視カメラ１０２との画像を含むＲＧＢ画像に重畳して構成される。【選択図】図１

Description

本発明は、離れた場所に設置されている電子機器同士を無線によりネットワーク接続するためのユーザインタフェース技術に関する。

近年、無線機能を搭載した電子機器が普及している。電子機器を無線ネットワークに接続するための設定は、手間のかかる煩雑な作業である。そのために、接続設定を簡単にするための技術が提案されている。例えば、ＷＰＳ（Wi-Fi Protected Setup）やＡＯＳＳ（AirStation One-Touch Secure System）（登録商標）は、対応機器に搭載されたボタンを同時に押すだけで簡単に無線接続を確立する。ＮＦＣ（Near Field Communication）を利用したＢｌｕｅｔｏｏｔｈ（登録商標）／Ｗｉｆｉハンドオーバーは、対応機器同士を接触させるだけで無線接続を確立する。

これらの方法で、離れた場所に設置された電子機器同士を無線により接続することが困難な場合がある。例えば、リビングにあるデジタルＴＶと別の部屋にある無線ルータとを接続する場合、ボタンを同時に押す、もしくは機器同士を接触させることは困難である。接続する電子機器同士が近くにある場合でも、据え置き型の電子機器であれば少なからず同様の課題が発生する。特許文献１、２は、離れた場所に設置されている据え置き型の電子機器の無線によるネットワーク接続を、可搬型の仲介装置を用いて行う技術を開示する。

特開２００４−２００８８７号公報 特開２０１５−９５８２７号公報

しかしながら、離れた場所に設置されている電子機器の無線によるネットワーク接続が正常に確立したか否か（接続合否）を、ユーザが直感的に確認、把握することは困難である。

本発明は、上記の問題に鑑み、離れた場所に設置されている電子機器の無線によるネットワーク接続をユーザが直感的に確認、把握できるような装置を提供することを主たる目的とする。

本発明の情報処理装置は、所定のディスプレイに表示画面を表示させる表示手段と、無線通信及び近距離無線通信が可能な電子機器との間で近距離無線通信を行う通信手段と、所定の撮像装置から前記電子機器の画像を含む画像を取得する撮像手段と、前記無線通信により接続する２つの電子機器を検出する検出手段と、前記検出手段により検出される２つの電子機器の間で無線通信を行わせるための設定を行う接続処理開始手段と、前記２つの電子機器の間の無線通信の通信路及び接続状態を表す仮想的な図形を前記撮像手段で取得した前記画像に重畳して前記表示画面を生成し、生成した前記表示画面を前記表示手段により前記ディスプレイに表示させる表示制御手段と、を備えることを特徴とする。

本発明によれば、無線通信の通信路及び接続状態を表す仮想的な図形により、ユーザが、電子機器間の無線接続を直感的に確認、把握することができるようになる。

（ａ）、（ｂ）は、無線ネットワークシステムの構成例示図。 情報処理装置のハードウェア構成図。 情報処理装置の機能ブロック図。 （ａ）〜（ｆ）は、無線ルータと監視カメラとの接続設定操作の説明図。 無線ルータと監視カメラとの接続設定処理を表すフローチャート。 （ａ）〜（ｄ）は、仮想線の表示形態を逐次変更する場合の説明図。 （ａ）〜（ｃ）は、無線ルータと監視カメラとの接続設定操作の説明図。 無線ルータと監視カメラとの接続設定処理を表すフローチャート。 （ａ）〜（ｃ）は、ＰＣと監視カメラとの接続設定操作の説明図。 （ａ）、（ｂ）は、指差し操作による通信相手の指定方法の説明図。 仮想線の操作の別の例示図。

以下、図面を参照して、実施形態を詳細に説明する。

第１実施形態では、無線ネットワークで接続する２つの電子機器として、遠方に設置される監視カメラと、オフィス内に設置される無線ルータとを例にして説明する。本実施形態では、監視カメラと無線ルータとの無線ネットワークの接続設定を情報処理装置により行う。各電子機器（監視カメラ、無線ルータ）は、無線ネットワークによる通信を行うための機能を備える。無線ネットワークは、例えば無線ＬＡＮ（Local Area Network）接続である。

情報処理装置は、実空間における３次元位置情報及び情報処理装置の筐体の方位・姿勢情報を検知するための機能と、外部機器との通信を行うための通信インタフェースを備える。情報処理装置は、３次元位置情報を取得するためにＧＰＳ（Global Positioning System）センサを備える。情報処理装置は、情報処理装置の筐体の方位・姿勢情報を取得するために慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を備える。本実施形態の情報処理装置は、撮像装置としてＲＧＢ−Ｄセンサを備えており、ＲＧＢ画像と距離画像とを同時に撮影可能である。情報処理装置は、例えばＧＰＳセンサ、ＩＭＵ、表示装置、及び入力装置を備えるスマートフォンやタブレット端末により実現される。本実施形態では、ＲＧＢ−Ｄセンサを通して観測できる座標系を「カメラ座標系」、実空間（３次元空間）上の座標系を「世界座標系」、として説明する。

（システム構成）
図１は、本実施形態の無線ネットワークシステムの構成例示図である。図１（ａ）に示すように、無線ネットワークは、可搬型の情報処理装置１００、オフィスの机上に設置される無線ルータ１０１、及び遠方に設置される監視カメラ１０２を含む。情報処理装置１００は、監視カメラ１０２と無線ルータ１０１との無線ネットワークによる接続設定を行う。本実施形態では、高速な無線ＬＡＮ回線１０３ａ〜１０３ｃにより無線ネットワークが構築される。図１の一点鎖線１０４は、監視カメラ１０２が無線ルータ１０１に対して実空間的に離れた場所に設置されていることを示している。

情報処理装置１００は、無線ルータ１０１と監視カメラ１０２との接続設定を行う際に、無事にネットワーク接続が確立したことを表す表示画面を所定の表示部に表示する。図１（ｂ）は、このような表示画面４００を例示しており、無線ルータ１０１と監視カメラ１０２とが仮想的な図形（仮想線４０１）により接続されている。このような表示画面４００の表示の詳細については後述する。

（情報処理装置）
図２は、情報処理装置１００のハードウェア構成図である。情報処理装置１００は、ＣＰＵ（Central Processing Unit）２００、ＲＡＭ（Random Access Memory）２０１、及びＲＯＭ（Read Only Memory）２０２を含むコンピュータである。ＣＰＵ２００、ＲＡＭ２０１、ＲＯＭ２０２は、バス２０３に接続される。バス２０３には、この他にディスプレイインタフェース（Ｉ／Ｆ）２０４、入力Ｉ／Ｆ２０６、ストレージＩ／Ｆ２１０、及びネットワークＩ／Ｆ２１２が接続される。ディスプレイＩ／Ｆ２０４は、タッチパネルディスプレイ２０５が接続される。入力Ｉ／Ｆ２０６は、ＲＧＢ−Ｄセンサ２０７、ＧＰＳセンサ２０８、及びＩＭＵ２０９が接続される。ストレージＩ／Ｆ２１０は、ストレージ２１１が接続される。

ＣＰＵ２００は、ＲＯＭ２０２に格納されるＯＳ（Operation System）やアプリケーションプログラム等のコンピュータプログラムを、ＲＡＭ２０１を作業領域に用いて実行することで、情報処理装置１００の動作を制御する。なお、コンピュータプログラムは、ストレージ２１１に格納されていてもよい。ストレージ２１１は、ディスクデバイス、フラッシュメモリ、ネットワークドライブ、ＵＳＢ（Universal Serial Bus）ドライブなどの大容量記憶装置である。また、ストレージ２１１は、複数の記憶装置を並列に接続して構成されていてもよく、ネットワーク上のサーバに含まれるストレージ、クラウドであってもよい。

ディスプレイＩ／Ｆ２０４は、情報処理装置１００で生成する表示画面をタッチパネルディスプレイ２０５が表示可能な信号に変換する。入力Ｉ／Ｆ２０６は、ＲＧＢ−Ｄセンサ２０７が撮像したＲＧＢ画像及び距離画像を、情報処理装置１００が処理可能な形式に変換する。入力Ｉ／Ｆ２０６は、ＧＰＳセンサ２０８で取得する位置情報、及びＩＭＵ２０９で検出する角速度、加速度を情報処理装置１００が処理可能な形式に変換する。ストレージＩ／Ｆ２１０は、ストレージ２１１へのデータの入出力を行う。ストレージ２１１は、情報処理装置１００が出力する各種情報やＵＩ（User Interface）の部品となる画像、情報処理装置１００が内部で起動するプログラムなどが格納される。ネットワークＩ／Ｆ２１２は、無線ルータ１０１や監視カメラ１０２などの無線通信を行う電子機器との間でリモート通信を行う。

図３は、情報処理装置１００の機能ブロック図である。情報処理装置１００は、記憶部３００、通信部３０１、姿勢算出部３０２、及び位置情報取得部３０３として機能する。また情報処理装置１００は、撮像部３０４、オブジェクト検出部３０５、３次元形状推定部３０６、接触判定部３０７、接続処理開始部３０８、表示制御部３０９、表示部３１０、及び仮想線編集部３１１として機能する。これら各機能は、ＣＰＵ２００が、コンピュータプログラムを実行することで実現される。なお、これらの各機能は、少なくとも一部が、ハードウェアにより実現されてもよい。

記憶部３００は、ストレージ２１１により実現され、情報処理装置１００が表示するＵＩの部品となる画像、コンピュータプログラムなどを格納する。

通信部３０１は、ネットワークＩ／Ｆ ２１２を介して、無線ルータ１０１や監視カメラ１０２などの無線通信を行う電子機器との間でデータ通信を行う。通信されるデータは、無線ルータ１０１と監視カメラ１０２との無線ＬＡＮ接続に必要な情報であるＥＳＳＩＤ（Extended Service Set Identifier）やパスワードなどである。本実施形態では、最終的に電子機器間の無線ＬＡＮの接続設定を行うため、通信部３０１は、無線ＬＡＮ（例えばＩＥＥＥ８０２．１１シリーズ）の通信機能を備えている。本実施形態の通信部３０１は、無線ＬＡＮ以外の通信機能、例えばＮＦＣ（Near Field radio Communication）による近距離無線通信を行う機能も備えている。

姿勢算出部３０２は、ＩＭＵ２０９で検出される角速度及び加速度から情報処理装置１００の筐体の大まかな方位・姿勢を表す方位・姿勢情報を取得する。姿勢算出部３０２は、取得した方位・姿勢情報をＲＡＭ２０１に保存する。

位置情報取得部３０３は、情報処理装置１００の筐体が存在する実空間上の位置情報を、ＧＰＳセンサ２０８により取得してＲＡＭ２０１に保存する。本実施形態では、位置情報取得部３０３は、ＧＰＳセンサ２０８により位置情報を取得することを想定するが、屋内のユースケースではＧＰＳ電波を受信できない可能性がある。その場合、位置情報取得部３０３は、ＷｉＦｉやＢｌｕｅｔｏｏｈ（登録商標）、音波、光を用いた屋内位置測位技術により位置情報を取得してもよい。

撮像部３０４は、ＲＧＢ−Ｄセンサ２０７で撮像されるＲＧＢ画像及び距離画像を所定時間間隔で取得してＲＡＭ２０１に随時保存する。ＲＧＢ画像は、画像中の任意の１点（画素）の色を、赤（Red）、緑（Green）、青（Blue）の三原色で表わしたもので、画素毎の赤・緑・青の画素値により表される。距離画像は、画素値として距離情報を持つ画像である。距離情報は、ＲＧＢ−Ｄセンサ２０７から撮影対象物までの実空間おける距離を表す。保存されたＲＧＢ画像及び距離画像は、情報処理装置１００の各機能ブロックにおいて順次処理される。本実施形態において、撮像部３０４が画像を取得する周期は、ＲＧＢ−Ｄセンサ２０７が撮像する画像のフレームレートに一致するものとする。ただし、撮像部３０４は、フレームレートによらない所定時間を撮像の周期として設定し、ＲＧＢ画像及び距離画像を取得することもできる。

オブジェクト検出部３０５は、ＲＡＭ２０１に保存されたＲＧＢ画像及び距離画像を解析して、画像中からオブジェクトを検出する。本実施形態において検出されるオブジェクトは、画像に写り込んだ無線ルータ１０１、監視カメラ１０２などの無線通信可能な電子機器である。

３次元形状推定部３０６は、ＲＧＢ−Ｄセンサ２０７のカメラパラメータ、並びにＲＡＭ２０１に保存される情報処理装置１００の３次元位置情報及び距離画像に応じて、オブジェクト検出部３０５が検出したオブジェクトの３次元形状及び３次元位置を推定する。ここで、カメラ座標系の画素と世界座標系の１点は１対１で対応しており、適切にキャリブレーションされたＲＧＢ−Ｄセンサ２０７のカメラパラメータに基づいて、互いに座標変換が可能であるものとする。３次元形状推定部３０６は、推定したオブジェクトの３次元形状及び３次元位置をＲＡＭ２０１に保存する。

接触判定部３０７は、ＲＡＭ２０１に保存されている情報処理装置１００の３次元位置、並びに推定したオブジェクトの３次元形状及び３次元位置に基づいて、情報処理装置１００と検出したオブジェクト（電子機器）との接触を判定する。接触判定部３０７は、仮想線４０１と検出したオブジェクト（電子機器）との接触も判定する。本実施形態では、検出されるオブジェクトは無線ルータ１０１及び監視カメラ１０２である。接触判定部３０７は、接触の判定結果を接続処理開始部３０８及び表示制御部３０９に出力する。

接続処理開始部３０８は、接触判定部３０７の判定結果により接触したと判定される電子機器に対して、通信部３０１を介して無線通信を開始する。接続処理開始部３０８の詳細は後述する。

表示制御部３０９は、ＲＡＭ２０１に保存されている情報処理装置１００の３次元位置、並びに推定したオブジェクトの３次元形状及び３次元位置に基づいて、ＲＧＢ画像に仮想線４０１を重畳した画像である表示画面を生成する。これにより仮想線４０１が実空間に存在するオブジェクトに重畳されたような画像が生成される。仮想線４０１は、実際には目には見えない無線ＬＡＮ回線の通信路及び接続状態を表す仮想的な線である。本実施形態では伸縮可能な仮想線４０１が、実空間上の電子機器に対して重畳されるように表示される。表示制御部３０９は、接触判定部３０７の判定結果並びに無線電波の状況に応じて仮想線４０１の表示形態を変更する。

表示部３１０は、表示制御部３０９により生成された表示画面を、タッチパネルディスプレイ２０５に表示する。表示部３１０は、仮想線４０１を、その場に存在するかのように実空間上の電子機器の画像に重畳するように表示することになる。
仮想線編集部３１１は、位置情報取得部３０３が取得した位置情報に基づいて、重畳表示した仮想線４０１の長さの伸縮などの編集を行う。

（接続設定）
図４は、無線ルータ１０１と監視カメラ１０２との接続設定操作の説明図である。図５は、無線ルータ１０１と監視カメラ１０２との接続設定処理を表すフローチャートである。接続設定処理は、情報処理装置１００が仲介装置として行われる。情報処理装置１００は、接続設定処理により、無線ルータ１０１と監視カメラ１０２との間の無線ＬＡＮ接続を確立する。

情報処理装置１００は、起動すると、撮像部３０４により、ＲＧＢ−Ｄセンサ２０７から規定のフレームレートでＲＧＢ画像及び距離画像を取得して、ＲＡＭ２０１に保存する（Ｓ５００）。このとき表示制御部３０９は、ＲＡＭ２０１に保存されるＲＧＢ画像を表示部３１０によりタッチパネルディスプレイ２０５に表示する。この状態でユーザは、タッチパネルディスプレイ２０５に表示される画像内（ＲＧＢ−Ｄセンサの撮像範囲内）に無線ルータ１０１を捉えながら、情報処理装置１００を無線ルータ１０１に近づける（図４（ａ））。このとき、情報処理装置１００のタッチパネルディスプレイ２０５には、表示画面４００ａが表示される。

情報処理装置１００は、３次元形状推定部３０６により、オブジェクト（無線ルータ１０１）の３次元形状及び３次元位置を推定する（Ｓ５０１）。そのために情報処理装置１００は、まず、姿勢算出部３０２により、ＲＧＢ−Ｄセンサ２０７から取得したＲＧＢ画像の付加情報として、情報処理装置１００の向いている方向及び姿勢を、ＩＭＵ２０９で検出される角速度に基づいて算出する。姿勢算出部３０２は、算出結果となる方向・姿勢情報をＲＡＭ２０１に保存する。位置情報取得部３０３は、ＲＧＢ画像の付加情報として、情報処理装置１００の実空間上の３次元位置情報をＧＰＳセンサ２０８から取得し、ＲＡＭ２０１に保存する。
情報処理装置１００は、オブジェクト検出部３０５により、ＲＡＭ２０１に保存されているＲＧＢ画像及び距離画像を解析することで、ＲＧＢ画像内の無線ルータ１０１が映っている領域（オブジェクト領域）を検出する。オブジェクト検出部３０５は、検出したオブジェクト領域をラベリングしてＲＡＭ２０１に保存する。
情報処理装置１００は、３次元形状推定部３０６により、オブジェクト検出部３０５が検出したオブジェクトの３次元形状及び３次元位置を推定する。ＲＧＢ−Ｄセンサ２０７が撮像する距離画像は、カメラ座標系における３次元点群として扱うことができる。３次元形状推定部３０６は、ＲＧＢ−Ｄセンサ２０７のカメラパラメータとＲＡＭ２０１に保存されている情報処理装置１００の位置情報とにより、距離画像の３次元点群を世界座標系に座標変換する。３次元形状推定部３０６は、このような処理をフレーム毎に行うことで、無線ルータ１０１の３次元形状及び３次元位置を推定する。３次元形状推定部３０６は、推定した３次元形状・位置情報をＲＡＭ２０１に保存する。

ユーザは、情報処理装置１００と無線ルータ１０１とを徐々に接近させて接触させる（図４（ｂ））。情報処理装置１００は、接触判定部３０７により、情報処理装置１００と無線ルータ１０１との接触を判定する（Ｓ５０２）。具体的には、接触判定部３０７は、ＲＡＭ２０１に保存されている情報処理装置１００の位置情報と、無線ルータ１０１の位置情報、並びにＮＦＣの電波強度に基づいて接触を判定する。接触したと判定されると、接続処理開始部３０８は、通信部３０１に接続処理開始を指示する。

情報処理装置１００は、通信部３０１により、ＮＦＣの規格に基づいてＮＦＣ通信を開始する。なお、無線ルータ１０１でも同様の処理が行われる。これにより、情報処理装置１００と無線ルータ１０１との間でＮＦＣによる通信が確立する（Ｓ５０３）。無線ルータ１０１は、監視カメラ１０２との無線ＬＡＮ接続に必要な情報であるＥＳＳＩＤ及びパスワードを、ＮＦＣ通信により情報処理装置１００へ送信する（Ｓ５０４）。情報処理装置１００は、通信部３０１を介して無線ルータ１０１から受信したＥＳＳＩＤ及びパスワードをＲＡＭ２０１に保存する（Ｓ５０５）。

情報処理装置１００は、表示制御部３０９により、ＲＡＭ２０１に保存した無線ルータ１０１の３次元形状・位置情報に基づいて、図４（ｃ）に例示する表示画面４００ｂを生成する。表示画面４００ｂは、無線ＬＡＮの通信路及び接続状態を表す仮想線４０１ａを含む。仮想線４０１ａは、その一端が実空間上の無線ルータ１０１に付着しているようにＲＧＢ画像に重畳表示される（Ｓ５０６）。
以降、仮想線４０１ａの無線ルータ１０１に付着している側を仮想線４０１ａの末端部、無線ルータ１０１に付着していない側を仮想線４０１ａの先端部として説明する。仮想線４０１ａの先端部の表示画面４００ｂにおける表示位置は、表示画面４００ｂの中央付近となるように決定される。仮想線４０１ａの先端部の奥行きは、情報処理装置１００と無線ルータ１０１との位置関係によって決定される。情報処理装置１００と無線ルータ１０１との距離ｈが０〜１４０［ｃｍ］の範囲の場合、仮想線４０１ａの先端部の奥行きはｈ／２となる。情報処理装置１００と無線ルータ１０１との距離ｈが１４０［ｃｍ］より大きい場合、仮想線４０１ａの先端部の奥行きは、情報処理装置１００から奥行き方向（ＲＧＢ−Ｄセンサ２０７の撮影方向）に７０［ｃｍ］離れた位置とする。本実施形態では仮想線４０１ａの先端部の表示位置を、分かり易さ、見やすさという観点からこのように決定するが、それ以外の基準で決定することも可能である。

ユーザは、情報処理装置１００を所持して、監視カメラ１０２の設置される場所へ移動する（図４（ｄ））。移動時に情報処理装置１００は、Ｓ５００の処理と同様に、撮像部３０４によりＲＧＢ−Ｄセンサ２０７から規定のフレームレートでＲＧＢ画像及び距離画像を取得して、ＲＡＭ２０１に保存する（Ｓ５０７）。情報処理装置１００は、Ｓ５０１の処理と同様に、３次元形状推定部３０６によりオブジェクトの３次元形状と３次元位置の推定を行い、ＲＡＭ２０１に保存する（Ｓ５０８）。ユーザが情報処理装置１００を所持して移動する間、情報処理装置１００は、Ｓ５０６〜Ｓ５０８の処理を繰り返し行う。

この間、仮想線編集部３１１は、ＲＡＭ２０１に保存されている情報処理装置１００の実空間の位置情報とオブジェクト（電子機器）の３次元形状・位置情報に基づいて、仮想線の長さを伸縮する編集を行う。表示制御部３０９は、仮想線編集部３１１による仮想線の編集結果に基づいて仮想線４０１ｂをＲＧＢ画像に重畳表示する。図４（ｄ）の表示画面４００ｃに示すように、仮想線４０１ｂの先端部は、情報処理装置１００の移動にともなって移動し、仮想線編集部３１１で行われる編集によって、長さが伸縮する。表示画面４００ｃには表示されていないが、仮想線４０１ｂの末端部は無線ルータ１０１に付着したままである。ユーザは、情報処理装置１００を無線ルータ１０１の方へ向けることで、表示画面上で、仮想線４０１ｂの末端部が無線ルータ１０１に付着した状態であることを確認することができる。

ユーザは、情報処理装置１００と監視カメラ１０２とを接近させて接触させる（図４（ｅ））。これにより情報処理装置１００は、接触判定部３０７により情報処理装置１００と監視カメラ１０２との接触を判定する（Ｓ５０９）。接触判定部３０７は、Ｓ５０２と同様の処理により接触の判定を行う。情報処理装置１００は、Ｓ５０３の処理と同様に、監視カメラ１０２との間でＮＦＣによる通信を確立する（Ｓ５１０）。

情報処理装置１００は、通信部３０１により、ＲＡＭ２０１に保存しているＥＳＳＩＤ及びパスワードをＮＦＣ通信により監視カメラ１０２へ通知する（Ｓ５１１）。監視カメラ１０２は、情報処理装置１００からＮＦＣ通信により受信したＥＳＳＩＤとパスワードに応じて無線ルータ１０１への無線ＬＡＮ接続を開始する。これにより、無線ルータ１０１と監視カメラ１０２との無線ＬＡＮ接続が確立する（Ｓ５１２）。

情報処理装置１００は、無線ルータ１０１と監視カメラ１０２との間の無線ＬＡＮ接続が成功したか否かを確認するために、無線ルータ１０１に対して接続合否の確認を行う（Ｓ５１３）。情報処理装置１００は、予め無線ルータ１０１に無線ＬＡＮ接続されており、これにより接続合否の確認を行う。本実施形態では無線ルータ１０１に対して接続合否の確認を行うが、情報処理装置１００は、監視カメラ１０２に対して接続合否の確認を行うことも可能である。例えば、情報処理装置１００は、無線ルータ１０１への接続に必要な接続情報であるＥＳＳＩＤ及びパスワードにより、一時的に監視カメラ１０２と同じ無線ネットワークに参加し、その状態で監視カメラ１０２へ接続合否の確認を行う。

情報処理装置１００は、表示制御部３０９により、無線ルータ１０１と監視カメラ１０２との接続合否に基づいて、仮想線の表示を変更する（Ｓ５１４）。図４（ｆ）の表示画面４００ｄは、仮想線の表示の変更例である。表示画面４００ｄは、無線ルータ１０１と監視カメラ１０２との接続が成功した場合を示しており、仮想線４０１ｃの先端部が監視カメラ１０２に付着するようにＲＧＢ画像に重畳表示される。無線ルータ１０１と監視カメラ１０２との接続が失敗した場合、仮想線４０１ｃと監視カメラ１０２とは付着しないような画像になる。本実施形態では、接続の合否を仮想線とＲＧＢ画像内の電子機器とが付着して重畳表示されるか否かで表すが、さらに明確になるように、接続が完了する前と後で仮想線の色を変えて表示しても良い。例えば、仮想線は、接続が完了する前は赤色で表示され、無事に接続が完了した後は青色に変更して表示されてもよい。

以上説明したように、本実施形態の情報処理装置１００は、離れた場所に設置されている電子機器間の無線ネットワーク接続設定を行う際に、無線の通信路及び接続状態を示す伸縮可能な仮想線をＲＧＢ画像内の電子機器に重畳して表示する。ユーザは、これにより、電子機器間の接続の合否を直感的に把握することができる。つまり、電子機器から伸びている仮想線の先端部が他の機器と繋がっていない場合は接続が失敗していることを表し、電子機器から伸びている仮想線の先端部が他の機器と繋がっている場合は接続が成功していることを表す。ユーザは、仮想線の先端部の結合状態を逐次確認することで、途中経過も含めて接続の合否を直感的に把握することができる。

情報処理装置１００は、重畳表示する仮想線を逐次更新する際に、仮想線の表示形態を変更してもよい。例えば情報処理装置１００は、仮想線の表示形態を変更することで、接続できない原因や無線電波の状態を接続作業中のユーザに提供することができる。図６は、このような仮想線の表示形態を逐次変更する場合の説明図である。

図６（ａ）は、無線電波の強弱による仮想線の違いを表す。表示画面６００ａの仮想線６０１ａは、表示画面６００ｂの仮想線６０１と比較して無線電波が弱いことを、線の太さにより表している。無線電波が弱いほど、仮想線が細く表示される。

図６（ｂ）は、無線電波が届いていないことを表す。表示画面６０２の仮想線６０３は、徐々に細くなる途切れた線として表されており、無線電波が届いていないことを表す。この他に、情報処理装置１００は、仮想線６０３の透明度を変化させて、仮想線６０３を徐々に不可視化することで、無線電波の届く距離を表現してユーザに提示してもよい。

図６（ｃ）は、無線ルータ１０１が使用している無線電波が干渉することを表す。表示画面６０４の仮想線６０５は、凸凹の線分で表されることで、無線電波の干渉を表す。

図６（ｄ）は、無線ルータ１０１への接続可能数がオーバーしていることを表す。ここでは、無線ルータ１０１の接続可能数が５であり、表示画面６０６の仮想線６０７ａ〜６０７ｅにより接続状態が表されている。この状態で新たな６つ目の接続を試みる場合、接続が不可であることを表す破線の仮想線６０８が表示される。接続済みの仮想線６０７ａ〜６０７ｅが同時に表示されるために、ユーザは、接続可能数をオーバーしていることを確認することができる。また、仮想線６０７ａ〜６０７ｅは、無線ルータ１０１の接続可能数をユーザに提示する。

以上では、情報処理装置１００が電子機器同士の無線ＬＡＮ接続を確立する場合について説明したが、情報処理装置１００は、無線ＬＡＮ接続を切断することも可能である。例えば、ユーザがタッチパネルディスプレイ２０５に重畳表示される仮想線を横切る操作（切断操作）を行う。情報処理装置１００は、この切断操作を検出した場合、仮想線編集部３１１により、表示画面上の切断操作がされた位置で仮想線が切断されたような編集を行う。編集結果に応じて、表示制御部３０９は、仮想線を切断する表示制御を行う。同時に、通信部３０１は、仮想線で接続された電子機器に対して、無線ＬＡＮの切断要求を送信する。無線ＬＡＮの切断要求を受信した電子機器は、切断要求に従い、仮想線で繋がっていた接続先の電子機器との無線ＬＡＮ接続を切断する。

なお、本実施形態では無線の通信路及び接続状態を仮想線により表現しているが、その限りではない。例えば、小さな点群やその他の図形を用いて、無線の通信路及び接続状態が表されてもよい。

（変形例１）
無線ＬＡＮ接続する電子機器がユーザの手の届かない位置に設置される場合、ユーザは、情報処理装置１００を該電子機器に接触させることができない。例えば、天井付近に監視カメラ１０２が設置される場合には、ユーザは、情報処理装置１００を簡単に監視カメラ１０２に接触させることができない。この場合、情報処理装置１００は、ＮＦＣ通信により電子機器から無線ＬＡＮ接続に必要なデータを取得することができない。そのために情報処理装置１００は、以下のようにして無線ルータ１０１と監視カメラ１０２との接続設定を行う。

情報処理装置１００の通信部３０１は、ＮＦＣ通信機能に加えて、ＢＬＥ（Bluetooth Low Energy）の通信機能も備える。ＢＬＥは、ＮＦＣ同様に近距離無線通信の規格である。ＢＬＥは、ＮＦＣよりも通信距離が長く、２．５［ｍ］〜５０［ｍ］まで通信が可能である。

（接続設定）
図７は、無線ルータ１０１と監視カメラ１０２との接続設定操作の説明図である。図８は、無線ルータ１０１と監視カメラ１０２との接続設定処理を表すフローチャートである。図７、図８の処理では、ユーザが手の届かない場所に設置されている電子機器を情報処理装置１００のタッチパネルディスプレイ２０５を用いて指定することで、情報処理装置１００の通信相手が決定する。この際、情報処理装置１００と通信相手となる電子機器間との距離は、ＢＬＥの通信範囲内である。

情報処理装置１００は、図５のＳ５００、Ｓ５０１と同様の処理により、ＲＡＭ２０１にＲＧＢ画像、距離画像、３次元形状、及び３次元位置情報を保存する（Ｓ５００、Ｓ５０１）。情報処理装置１００は、ＲＧＢ−Ｄセンサ２０７から取得するＲＧＢ画像をタッチパネルディスプレイ２０５に表示する。ここでは、図４（ａ）の表示画面４００ａに例示するようなＲＧＢ画像がタッチパネルディスプレイ２０５に表示される。ユーザは、タッチパネルディスプレイ２０５に表示されるＲＧＢ画像を用いて通信相手となる電子機器（無線ルータ１０１）を指定する。詳細は後述するが、タッチパネルディスプレイ２０５に表示されるフォーカスウィンドウにより無線ルータ１０１が一定時間フォーカスされることで、情報処理装置１００は、無線ルータ１０１を無線ＬＡＮ通信を行う電子機器に指定する（Ｓ８００）。なお、無線ルータ１０１がユーザの手の届く範囲に配置される場合には、情報処理装置１００は、図５のＳ５００〜Ｓ５０２の処理により、無線ルータ１０１を指定してもよい。

情報処理装置１００は、通信部３０１により、ＢＬＥの通信規格に基づいて、無線ルータ１０１との間でＢＬＥ通信を開始する。説明は省略するが、無線ルータ１０１でも同様の処理が行われることによって、情報処理装置１００と監視カメラ１０２との間でＢＬＥ通信が確立する（Ｓ８０１）。無線ルータ１０１は、監視カメラ１０２との無線ＬＡＮ接続に必要な情報であるＥＳＳＩＤ及びパスワードを、ＢＬＥ通信により情報処理装置１００へ送信する（Ｓ５０４）。情報処理装置１００は、通信部３０１を介して無線ルータ１０１から受信したＥＳＳＩＤ及びパスワードをＲＡＭ２０１に保存する（Ｓ５０５）。

情報処理装置１００は、図５のＳ５０６〜Ｓ５０８と同様の処理により、仮想線を重畳したＲＧＢ画像をタッチパネルディスプレイ２０５に表示する（Ｓ５０６〜Ｓ５０８）。この際、ユーザは、情報処理装置１００を所持して、監視カメラ１０２の設置される場所へ移動する。

情報処理装置１００は、通信相手となる電子機器を指定する（Ｓ８０２）。図７（ａ）は、タッチパネルディスプレイ２０５を用いて通信相手となる電子機器を指定する操作の説明図である。表示画面７００ａの中央付近に表示されたフォーカスウィンドウ７０１により通信相手となる監視カメラ１０２を一定時間フォーカスすることで、情報処理装置１００は、監視カメラ１０２を通信相手として決定する。つまり、情報処理装置１００は、所定の領域内に一定時間表示される電子機器を通信相手に決定する。なお、Ｓ８００の処理により、通信相手となる電子機器として無線ルータ１０１を指定する際にも同様のフォーカスウィンドウ７０１が用いられる。
仮想線編集部３１１は、表示画面上で表示されている監視カメラ１０２の表示位置まで仮想線７０２ａを伸縮する編集を行う。接触判定部３０７は、仮想線７０２ａと監視カメラ１０２との表示画面上における接触判定を行う。接触判定の結果に応じて、接続処理開始部３０８は、通信部３０１に接続の開始を指示する。

情報処理装置１００は、通信部３０１により、ＢＬＥの通信規格に基づいて、監視カメラ１０２との間でＢＬＥ通信を開始する。説明は省略するが、監視カメラ１０２でも同様の処理が行われることによって、情報処理装置１００と監視カメラ１０２との間でＢＬＥ通信が確立する（Ｓ８０３）。情報処理装置１００は、ＢＬＥ通信が確立すると、図５のＳ５１１〜Ｓ１４と同様の処理により、無線ルータ１０１と監視カメラ１０２との無線ＬＡＮ接続を行い、仮想線によりその様子をユーザに提示する。

図７（ｂ）は、通信相手となる電子機器を情報処理装置１００のタッチパネルディスプレイ２０５を用いて指定する操作の別の説明図である。この例では、ユーザが表示画面７００ｂに表示されている監視カメラ１０２を、タッチパネルディスプレイ２０５により手１０５でタッチ操作することで、監視カメラ１０２（電子機器）を指定している。情報処理装置１００は、タッチパネルディスプレイ２０５により監視カメラ１０２がタッチされたことを検出すると、監視カメラ１０２を通信相手に決定する。

図７（ｃ）は、通信相手となる電子機器を情報処理装置１００のタッチパネルディスプレイ２０５を用いて指定する操作のさらに別の説明図である。この例では、ユーザが、表示画面７００ｃ上で仮想線７０２ｃと監視カメラ１０２とが重なって表示されるように、情報処理装置１００を移動する。仮想線７０２ｃと監視カメラ１０２とが一定時間以上重なって表示されることで、情報処理装置１００は、監視カメラ１０２を通信相手に決定する。

以上説明したように、情報処理装置１００は、ユーザの手の届かない位置に設置されている電子機器同士のネットワーク接続設定を、接続合否を直感的に確認・把握しつつ行うことができる。

（変形例２）
以上の説明では、情報処理装置１００にスマートフォンやタブレット端末を想定している。この他に情報処理装置１００は、ＨＭＤ（Head Mount Display）やメガネ型ウェアラブルデバイスであり、ユーザの頭部に装着して利用される装置であってもよい。このような装置を情報処理装置１００に用いる場合、図４に示すように機器同士を接触させて通信相手を指定することは困難である。そのために情報処理装置１００は、ＲＧＢ画像から実空間上に存在するユーザの手を検出し、検出した手の動き（ジェスチャ）によって通信相手となる電子機器を直接指定する。なお、この例では、電子機器として、無線ルータ１０１に代えてパーソナルコンピュータ（ＰＣ）を用いる場合について説明する。図９は、ＰＣ１０６と監視カメラ１０２との接続設定操作の説明図である。ＰＣ１０６は、机上に置かれている。メガネ型の情報処理装置１００は、ＰＣ１０６とオフィスの天井付近に設置された監視カメラ１０２との接続設定を行う。

情報処理装置１００のオブジェクト検出部３０５は、ＲＧＢ画像に写り込んだ電子機器だけではなく、ユーザの手も検出する。例えば、オブジェクト検出部３０５は、ＲＡＭ２０１に保存されているＲＧＢ画像を解析して、画像中の肌色領域を検出する。オブジェクト検出部３０５は、肌色領域に基づいて指差し形状を検出することで、ＲＧＢ画像中からユーザの手を検出する。なお、オブジェクト検出部３０５は、肌色領域の形状から既定の特徴量を抽出し、機械学習することによってユーザの手を検出することも可能である。オブジェクト検出部３０５は、検出したユーザの手から指先位置を検出し、その位置情報をＲＡＭ２０１に保存する。

図９（ａ）は、通信相手となる電子機器をＲＧＢ画像を用いて指定する操作の説明図である。表示画面９００ａは、ユーザの手１０５が実空間上のＰＣ１０６を直接タッチ操作している場面を表している。ユーザの手１０５とＰＣ１０６のタッチ判定は、ＲＡＭ２０１に保存されている指先位置及びＰＣの３次元形状・位置に基づいて、接触判定部３０７が判定する。

ユーザの手１０５とＰＣ１０６とが接触したと判定すると、情報処理装置１００は、ＰＣ１０６を通信相手であると決定する。通信部３０１は、ＢＬＥによりＰＣ１０６と通信する。情報処理装置１００は、ＰＣ１０６とのＢＬＥ通信が確立すると、表示制御部３０９により、図９（ｂ）の表示画面９００ｂで例示するように、ＰＣ１０６に対して仮想線９０１ａを重畳表示する表示制御を行う。仮想線９０１ａの先端部は、手１０５の指先位置に表示される。ユーザが実空間上で手１０５を動かすと、オブジェクト検出部３０５は、手１０５の指先位置を逐次検出して、ＲＡＭ２０１に保存する。仮想線編集部３１１は、ＲＡＭ２０１に保存された指先位置に追従して仮想線９０１ａの長さを伸縮させる編集を行う。表示制御部３０９は編集結果に応じて仮想線９０１ａの表示を制御する。

ユーザは、手１０５を監視カメラ１０２が設置されている場所に移動する（ＢＬＥの通信範囲内まで近づく）。図９（ｃ）は、このときの表示画面９００ｃを例示する。表示画面９００ｂ、９００ｃに示すように、ユーザの手１０５の移動に追従して、仮想線９０１ａ、９０１ｂの長さが変化する。監視カメラ１０２が天井付近に設置されているため、ユーザは、手１０５で直接タッチ操作することができない。このような場合、情報処理装置１００は、監視カメラ１０２に対する指差し操作を検出することによって、通信相手を指定する。

図１０は、指差し操作による通信相手の指定方法の説明図である。図１０（ａ）、１０（ｂ）では、ユーザ１０７の頭部の位置と指先位置９０２を結ぶ直線状に監視カメラ１０２が存在するか否かで通信相手が指定される。監視カメラ１０２の位置情報は、指先位置９０２と監視カメラ１０２との位置を表すためのｘ１、ｙ１、ｚ１を算出することで取得される。情報処理装置１００は、監視カメラ１０２を通信相手に決定すると、通信部３０１により、監視カメラ１０２とＢＬＥ通信を確立する。通信部３０１は、ＰＣ１０６との無線接続に必要な情報を監視カメラ１０２へＢＬＥ通信により通知する。監視カメラ１０２は通知された無線接続に必要な情報を用いて、ＰＣ１０６との無線ＬＡＮ接続を確立する。

図１１は、仮想線の操作の別の例示図である。仮想線は、手１０５の指先位置に追従して伸縮する他に、表示画面９０３に例示するように変化してもよい。表示画面９０３では、ユーザが仮想線９０４を指で摘むような動作を行う。情報処理装置１００は、このような手形状の動きをオブジェクト検出部３０５で検出する。これにより表示制御部３０９は、指で摘んで仮想線９０４を伸縮させるというような、より直感的な操作を実現できる。

以上説明したように、情報処理装置１００がＨＭＤやメガネ型ウェアラブルデバイスのようにユーザの頭部に装着して利用される場合であっても、ユーザは、接続合否を直感的に確認・把握しつつ電子機器の接続設定を行うことができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (19)

1. 所定のディスプレイに表示画面を表示させる表示手段と、
   無線通信及び近距離無線通信が可能な電子機器との間で近距離無線通信を行う通信手段と、
   所定の撮像装置から前記電子機器の画像を含む画像を取得する撮像手段と、
   前記無線通信により接続する２つの電子機器を検出する検出手段と、
   前記検出手段により検出される２つの電子機器の間で無線通信を行わせるための設定を行う接続処理開始手段と、
   前記２つの電子機器の間の無線通信の通信路及び接続状態を表す仮想的な図形を前記撮像手段で取得した前記画像に重畳して前記表示画面を生成し、生成した前記表示画面を前記表示手段により前記ディスプレイに表示させる表示制御手段と、を備えることを特徴とする、
   情報処理装置。
2. 前記２つの電子機器の間の無線通信の通信路及び接続状態に応じて、前記仮想的な図形の表示を変更する編集手段をさらに備えることを特徴とする、
   請求項１に記載の情報処理装置。
3. 前記編集手段は、前記２つの電子機器の間の無線通信の通信路及び接続状態に応じて、前記仮想的な図形である仮想線の表示を変更することを特徴とする、
   請求項２に記載の情報処理装置。
4. 前記表示制御手段は、前記通信手段が前記電子機器と近距離無線通信を行うと、該電子機器の画像に付着するように前記仮想線を重畳した前記表示画面を生成することを特徴とする、
   請求項３に記載の情報処理装置。
5. 前記編集手段は、前記情報処理装置の実空間における位置情報に基づいて前記仮想線の長さを伸縮させることを特徴とする、
   請求項３又は４に記載の情報処理装置。
6. 前記編集手段は、前記撮像手段で取得した前記画像における前記電子機器の位置に基づいて前記仮想線の長さを伸縮させることを特徴とする、
   請求項３〜５のいずれか１項に記載の情報処理装置。
7. 前記編集手段は、前記無線通信の電波の強弱に応じて前記仮想線の太さを変更することを特徴とする、
   請求項３〜６のいずれか１項に記載の情報処理装置。
8. 前記編集手段は、前記無線通信の電波が届いていない範囲で前記仮想線を不可視にすることを特徴とする、
   請求項３〜７のいずれか１項に記載の情報処理装置。
9. 前記編集手段は、前記無線通信の電波が干渉する場合に、前記仮想線を凸凹にすることを特徴とする、
   請求項３〜８のいずれか１項に記載の情報処理装置。
10. 前記編集手段は、前記電子機器への前記無線通信による接続可能数をオーバーしている場合に、前記仮想線を破線にすることを特徴とする、
    請求項３〜９のいずれか１項に記載の情報処理装置。
11. 前記仮想線に対する操作を受け付ける操作手段をさらに備えており、
    前記編集手段は、前記操作手段が前記仮想線に対する手の動きに応じて、前記仮想線の長さを伸縮させることを特徴とする、
    請求項３〜１０のいずれか１項に記載の情報処理装置。
12. 前記通信手段は、前記操作手段が前記仮想線に対する切断の操作を受け付けると、前記仮想線で接続されている無線接続の切断を前記電子機器に通知することを特徴とする、
    請求項１１に記載の情報処理装置。
13. 前記検出手段は、前記情報処理装置と前記電子機器とが接触したときに、該電子機器を前記無線通信により接続する電子機器として検出することを特徴とする、
    請求項１〜１２のいずれか１項に記載の情報処理装置。
14. 前記検出手段は、前記ディスプレイの所定の領域内に一定時間表示される電子機器を前記無線通信により接続する電子機器として検出することを特徴とする、
    請求項１〜１２のいずれか１項に記載の情報処理装置。
15. 前記検出手段は、前記ディスプレイに表示されている電子機器に前記仮想的な図形が一定時間以上重なって表示されることで、該電子機器を前記無線通信により接続する電子機器として検出することを特徴とする、
    請求項１〜１２のいずれか１項に記載の情報処理装置。
16. 前記検出手段は、前記撮像手段で取得した前記画像から検出されたユーザの動きによって指定される電子機器を前記無線通信により接続する電子機器として検出することを特徴とする、
    請求項１〜１２のいずれか１項に記載の情報処理装置。
17. 所定の撮像装置から無線通信及び近距離無線通信が可能な電子機器の画像を含む画像を取得し、且つ所定のディスプレイに表示画面を表示させる情報処理装置により実行される方法であって、
    第１電子機器との間で近距離無線通信を行い、前記無線通信に必要な情報を取得しておき、
    前記無線通信により接続する第２電子機器を検出し、
    前記第１電子機器と前記第２電子機器との間で無線通信を行わせるための設定を、前記無線通信に必要な前記情報に基づいて行い、
    前記第１電子機器と前記第２電子機器との間の無線通信の通信路及び接続状態を表す仮想的な図形を前記撮像装置から取得した前記画像に重畳して前記表示画面を生成し、生成した前記表示画面を前記ディスプレイに表示させることを特徴とする、
    接続設定方法。
18. 所定の撮像装置から無線通信及び近距離無線通信が可能な電子機器の画像を含む画像を取得し、且つ所定のディスプレイに表示画面を表示させるコンピュータを、
    無線通信及び近距離無線通信が可能な電子機器との間で近距離無線通信を行う通信手段、
    前記無線通信により接続する２つの電子機器を検出する検出手段、
    前記検出手段により検出される２つの電子機器の間で無線通信を行わせるための設定を行う接続処理開始手段、
    前記２つの電子機器の間の無線通信の通信路及び接続状態を表す仮想的な図形を前記撮像装置から取得した前記画像に重畳して前記表示画面を生成し、生成した前記表示画面を前記ディスプレイに表示させる表示制御手段、
    として機能させるためのコンピュータプログラム。
19. 請求項１８に記載のコンピュータプログラムを記憶する、コンピュータにより読み取り可能な記憶媒体。