JP2017004174A - 通信装置、通信装置の制御方法、通信システム及びプログラム - Google Patents

Abstract

【課題】所望の通信装置同士を簡単に接続または切断させる。
【解決手段】撮像画像を取得する第１の取得手段と、前記第１の取得手段により取得された前記撮像画像の中から、他の通信装置を認識する認識手段と、前記認識手段により認識された前記他の通信装置を複数指定する所定の操作をユーザに入力させる入力手段と、前記所定の操作に応じて、当該指定された複数の他の通信装置同士が接続または切断するための指示を前記指定された複数の他の通信装置に送信する送信手段と、を有する。
【選択図】 図４

Description

本発明は、通信装置、通信装置の制御方法、通信システム及びプログラムに関する。

カメラやプリンタを初めとする通信装置は、インターネットならびに、インフラネットワークやアドホックネットワークに接続するようになってきた。例えば、カメラ及びプリンタ間で通信したい場合、カメラまたはプリンタの一方、あるいは、両方の通信装置を操作し、インフラネットワークやアドホックネットワークの接続設定を行っていた。無線簡単設定の方式であるＷＰＳ（Ｗｉ−Ｆｉ Ｐｒｏｔｅｃｔｅｄ Ｓｅｔｕｐ）では、各通信装置のボタンを同時に押すことで接続を実現していた。

ＷＰＳでは、通信装置毎に押さなければならないボタンの操作方法が違っており、簡単に操作して接続することができなかった。さらに、例えば会議室にある天井に設置済みのプロジェクタと接続したい場合には、物理的にボタンを押すことが困難であった。また、同時にボタンが押されていた場合、意図しない通信装置と接続するという課題があった。

これに対して、特許文献１では、実世界にある機器を認識し、１つの装置に対して簡単にコンテンツを送信する技術が開示されている。

特開２００８−３０５１０３号公報

しかしながら、特許文献１に記載の技術では、１つの機器に接続した上でコンテンツを送信することはできるが、目の前にある複数の機器同士を接続させたり、切断させたりすることを簡単に行うことはできなかった。

本発明は、上記の課題に鑑みてなされたものであり、所望の通信装置同士を簡単に接続または切断させるための技術を提供することを目的とする。

上記の目的を達成するための本発明の通信装置は、撮像画像を取得する第１の取得手段と、前記第１の取得手段により取得された前記撮像画像の中から、他の通信装置を認識する認識手段と、前記認識手段により認識された前記他の通信装置を複数指定する所定の操作をユーザに入力させる入力手段と、前記所定の操作に応じて、当該指定された複数の他の通信装置同士が接続または切断するための指示を前記指定された複数の他の通信装置に送信する送信手段と、を有する。

本発明によれば、所望の通信装置同士を簡単に接続または切断させることが可能となる。

本発明の一実施形態に係る通信システムの構成例を示す図である。 本発明の一実施形態に係る通信装置のモジュール構成の一例を示す図である。 本発明の一実施形態に係るカメラのモジュール構成の一例を示す図である。 本発明の一実施形態に係る通信装置が他の通信装置に対して接続および切断の指示を行う際の処理手順を示すフローチャートである。 本発明の一実施形態に係る通信装置から接続の指示を行う場合のユーザインタフェースの図である。 本発明の一実施形態に係る通信装置、カメラ、プリンタ、プロジェクタが接続を行う場合のシーケンスを示す図である。 本発明の一実施形態に係る通信装置から切断の指示を行う場合のユーザインタフェースの図である。 本発明の一実施形態に係る通信装置、カメラ、プリンタ、プロジェクタが切断を行う場合のシーケンスを示す図である。 本発明の一実施形態に係るカメラ、プリンタ、プロジェクタが通信装置から通信指示を受け付けた時の処理の手順を示すフローチャートである。 本発明の一実施形態に係る通信装置、カメラ、プリンタ、プロジェクタがアクセスポイントを介して接続している様子を示す図である。 本発明の一実施形態に係る通信装置から接続指示を行う場合のユーザインタフェースの図である。

以下、添付の図面を参照して、本発明の実施形態について詳述する。

（実施形態１）
＜１．通信システムの構成＞
図１は、本発明の一実施形態に係る通信システムの構成例を示す図である。１００は、後述の通信装置１０１とカメラ１０２とプリンタ１０３とプロジェクタ１０４とサーバ１０５とが接続するネットワークである。本実施形態におけるネットワーク１００は、インターネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの複合であっても実現できる。

１０１は、ネットワーク１００に接続する通信装置である。通信装置１０１は、カメラ１０２、プリンタ１０３、プロジェクタ１０４（以下、機器と示す）等を認識し、ユーザの所定の操作で複数指定された機器に対してネットワークおよびアプリケーションの接続指示を行う。１０２は、ネットワーク１００に接続するカメラである。１０３は、ネットワーク１００に接続するプリンタである。１０４は、ネットワーク１００に接続するプロジェクタである。カメラ１０２、プリンタ１０３、プロジェクタ１０４は、通信装置１０１からの接続指示に応じて、ネットワークおよびアプリケーションの接続を実行する。

１０５は、ネットワーク１００に接続するサーバである。サーバ１０５は、通信装置１０１が機器を認識するための認識情報、および、認識後に画面に表示する属性情報を管理する。サーバ１０５は、通信装置１０１からの要求に応じて、認識情報や属性情報を提供する。サーバ１０５は、それぞれの機器から認識情報や属性情報を受信する。サーバ１０５は、本実施形態では、サーバ形態であるがこれに限らず、クラウドやアプリケーションプラットフォーム上で提供されるアプリケーションであってもよいし、携帯電話やネットワークストレージであってもよい。

＜２．通信装置１０１の構成＞
図２は、本発明の一実施形態に係る通信装置１０１のモジュール構成の一例を示す図である。２００は、各モジュールが接続するバスである。２０１は、ＴＣＰ／ＩＰ処理を行う通信部である。２０２は、ユーザインタフェースの表示、接続完了や接続エラーの表示を行う表示部である。液晶パネルやＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を用いて表示を行う。本実施形態では接続完了や接続エラーを表示する例を説明するが、これに限らず、通信装置１０１は接続完了や接続エラーなどをユーザに音や振動などで通知してもよい。

２０３は、認識情報や属性情報を保持するためのデータ保存部である。２０４は、ユーザがユーザインタフェースを介して機器の接続および切断の指示を入力する入力部である。入力部２０４は、表示部２０２と連動したタッチパネルや空間にジェスチャを行うことによる入力などで実現できる。当該ユーザインタフェースは、ピンチイン、ピンチアウト、ドラッグ、ドロップ、スワイプ、及びタッチの少なくとも１つの機能を有する。２０５は、機器へネットワーク１００やアプリケーションの接続および切断の指示を行う通信指示部である。

２０６は、撮像部（不図示）により取得された撮像画像から機器の位置を判別する画像認識部である。通信装置１０１は撮像部を含んでもよい。２０７は、機器やサーバ１０５から接続および切断などの状態変化通知を受け付ける通知受信部である。２０８は、通信役割を決定する役割決定部である。無線であればソースとシンク、アプリケーションであればサーバとクライアントなどである。役割は、入力部２０４の指定の順番や指示方法（例えば、親指と人差し指の指示の場合、親指がソース）などの手順によって決定してもよい。

２０９は、機器の認識情報や属性情報を取得する識別情報取得部である。識別情報取得部２０９は、機器からビーコンやＢｌｕｅｔｏｏｔｈ（登録商標）などを用いて発せられた（画像認識部２０６による認識処理に使用される）識別子を受信し、サーバ１０５から当該識別子に対応する認識情報や属性情報を取得する。または、識別情報取得部２０９は、機器から直接認識情報や属性情報を取得してもよい。２１０は、入力部２０４の入力方法によって、接続指示であるか切断指示であるか、無線ネットワークの接続かアプリケーション接続かを判断し、接続方式を決定する接続方式決定部である。

各処理部の機能は、不図示の制御部（例えばＣＰＵ）により例えばデータ保存部に記憶されているプログラムを読み出して実行することによって実現される。

＜３．カメラ１０２の構成＞
図３は、本発明の一実施形態に係るカメラ１０２のモジュール構成の一例を示す図である。３００は、各モジュールが接続するバスである。３０１は、ＴＣＰ／ＩＰ処理を行う通信部である。３０２は、カメラ１０２の認識情報や属性情報を取得するための識別情報を送信する識別情報送信部である。識別情報送信部３０２は、ビーコンやＢｌｕｅｔｏｏｔｈ（登録商標）などを用いて識別子を近隣の通信装置１０１に発信する。なお、発信方法はブロードキャストやマルチキャストなどを用いて実現してもよい。カメラ１０２は、サーバ１０５へ認識情報や属性情報を登録する。

なお、本実施形態では、カメラ１０２が登録する例を説明するが、これに限らず、予め登録された情報を利用してもよいし、ＰＣ、タブレット、スマートフォンといった別の機器によって情報の登録や変更を行ってもよい。また、本実施形態では、識別情報送信部３０２は、識別子を発信しているが、これに限らず、認識情報や属性情報の少なくとも一部を送信してもよい。また、サーバ１０５から取得する例を説明するが、これに限らず、別の機器を介して取得してもよいし、キャッシュとして保持していた情報を利用してもよい。

３０３は、通信装置１０１からの通信指示を受信する通信指示受信部である。通信指示受信部３０３は、通信装置１０１からの通信指示を、Ｗｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などの通信を用いて受信する。なお、これに限らず、通信指示受信部３０３は、通信装置１０１からの通信指示をサーバ１０５を経由して受信してもよいし、ＰＣ、タブレット、スマートフォンといった他の装置を介して受信してもよい。

３０４は、受信した通信指示を解析し、通信指示に応じた通信処理を実行する通信実行部である。ここでの通信指示とは、無線接続の開始や切断、発見プロトコルの開始や切断、アプリケーションの開始や切断の少なくとも一部が含まれる。ここで、発見プロトコルとは、ＳＳＤＰ（Ｓｉｍｐｌｅ Ｓｅｒｖｉｃｅ Ｄｉｓｃｏｖｅｒｙ Ｐｒｏｔｏｃｏｌ）やｍｕｌｔｉｃａｓｔＤＮＳといった近隣の機器を探索するためのプロトコルである。

３０５は、通信指示を受け付けたか否か、通信指示が完了したか否かなどをユーザに表示するための表示部である。本実施形態では、表示部であるが、これに限らず、音や振動といった別の方式でユーザに伝達してもよい。

また、通信指示を受け付けた時に、受け入れるか否かのウィンドウなどを表示して、通信開始時のセキュリティを向上させることもできる。これによって、通信装置１０１が意図しない機器へ通信指示を送り、意図しない動作を引き起こす可能性を低減することができる。また、通信指示や通信状態を、接続前にユーザに通知することで、ユーザがどの通信装置同士が接続するのかを早期に判断することができる。

３０６は、通信指示の完了や通信状態の変更などを通信装置１０１に通知する通知送信部である。通知送信部３０６は、例えば、通信指示を受け付けていた機器と無線接続されると、通信装置１０１に接続が完了した旨を示す通知を送信する。なお、これに限らず、無線接続の切断の通知をしてもよいし、アプリケーションの完了や終了の通知などを送信してもよい。

＜４．通信装置１０１が実施する処理＞
図４は、通信装置１０１が他の通信装置に対して接続および切断の指示を行う際の処理手順を示すフローチャートである。

識別情報取得部２０９は、Ｗｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）を用いて、近隣にある機器を探索するためのセンシングを開始する（Ｓ４０１）。本実施形態では、Ｗｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）を用いたが、これに限らず、Ｚｉｇｂｅｅ（登録商標）やミリ波といった他の通信方式を用いてもよいし、撮像情報からの画像検索で探索を行ってもよい。また、温度センサやレーダといった、その他センサ機能を用いても実現できる。識別情報取得部２０９は、一定時間の間、機器の探索を行う。識別情報取得部２０９は、取得した識別子に基づいて認識情報や属性情報をサーバ１０５から取得する。データ保存部２０３は、識別子と関連付けて、認識情報や属性情報を保存する。

画像認識部２０６は、識別情報を用いて表示している画像内に何台の機器を発見したかを判定する（Ｓ４０２）。識別情報は画像特徴量を少なくとも含み、画像認識部２０６が画像内のどの領域に他の通信装置があるかの判定を行うために使用される。

Ｓ４０２で、識別情報取得部２０９が、機器が０台であると判定すると、機器を発見できなかった場合の処理に進み（Ｓ４０３）、エラーを表示して（Ｓ４０４）、処理を終了する。

Ｓ４０２で、識別情報取得部２０９が、機器が１台であると判定すると、表示部２０２は１台用のユーザインタフェースの表示を開始する（Ｓ４０５）。表示部２０２に表示されている他の通信装置を、入力部２０４を介してユーザまたはシステムが選択する（Ｓ４０６）。表示部２０２は通信指示内容を表示し、ユーザまたはシステムが入力部２０４を介して通信指示内容を入力する。接続方式決定部２１０は、入力された通信指示内容を判定する（Ｓ４０７）。

Ｓ４０７で入力された通信指示内容が接続である場合、通信指示部２０５は、選択された他の通信装置に無線の接続指示を行い、通信装置１０１に含まれる無線の接続機能を起動して、無線接続を開始する（Ｓ４０８）。この時、役割決定部２０８は、選択された指示の選択順番によってシンクとソースとを決定してもよい。無線レイヤの機能によってシンクとソースとを決定できない場合、表示部２０２は決定できない旨を表示する。本実施形態では、無線のシンクとソースの決定の例を示したが、これに限らず、アプリケーションのサーバとクライアントを決定してもよい。この場合、後述するアプリケーション実行時のサーバとクライアントを設定する。また、選択順番によって役割決定を行ったが、これに限らず、ユーザの入力方法で決定してもよい。例えば、親指側がシンク、人差し指側がソースなどで決定できる。

通信指示部２０５は、選択された他の通信装置にアプリケーション実行の指示を行い、通信装置１０１に含まれるアプリケーションを起動して、アプリケーション実行を開始する（Ｓ４０９）。なお、本実施形態では、無線レイヤとアプリケーションレイヤの接続指示について説明するが、これに限らず、探索プロトコル（ＳＳＤＰ、ｍｕｌｔｉｃａｓｔＤＮＳ）やセキュリティ接続（ＩＰｓｅｃ、ＴＬＳ、ＨＴＴＰＳ）などにも適用できる。

Ｓ４０７で入力された通信指示内容が切断である場合、通信指示部２０５は、選択された他の通信装置に切断の指示を行う。他の通信装置と通信装置１０１とは、アプリケーションを終了した後、無線の切断を行う（Ｓ４１０）。なお、これに限らず、探索プロトコルやセキュリティ接続の終了処理を行ってもよい。

Ｓ４０２で、識別情報取得部２０９が、２台であると判断すると、表示部２０２は２台以上用のユーザインタフェースの表示を開始する（Ｓ４１１）。入力部２０４は、１台目が選択されたかの判定を行う（Ｓ４１２）。ユーザはタッチパネルなどを用いて、１台目をタッチする。表示部２０２は、１台目の属性情報を画面の１台目の機器に重畳して表示する（Ｓ４１３）。なお、１台目が選択されない場合、表示部２０２は、エラーを表示して、処理を終了する。

入力部２０４は、２台目が選択されたかの判定を行う（Ｓ４１４）。ユーザはタッチパネルなどを用いて、２台目をタッチする。表示部２０２は、２台目の属性情報を画面の２台目の機器に重畳して表示する（Ｓ４２３）。なお、２台目が選択されない場合、表示部２０２は、エラーを表示して、処理を終了する。

ユーザはタッチパネルなどを用いて、１台ずつタッチしてもよいし、ピンチインやドラッグアンドドロップ、フリックなどを用いてもよい。どの指で押しているかや、どの機器をドラッグしてどの機器にドロップしたかの順番によって、１台目および２台目を決定する。１台目をシンク、２台目をソースとして接続を行うが、これに限らず、役割を反対にしてもよい。また、アプリケーションレイヤでサーバとクライアントの役割を決定したり、探索プロトコルで検索先と検索元の役割を決定したりしてもよい。

このように、ユーザの入力によって通信の役割を決定することができる。更に、属性情報に各機器の通信の役割が記載されている場合、属性情報を含めて判断を行う。例えば、不可能な組み合わせ（ソースにしかなりえない機器をシンクに指定した場合など）を指定した場合、表示部２０２でエラーを表示する。また、可能な組み合わせの代案を提案してもよいし、ソースとシンクを入れ替えて実行してもよい。入れ替えを行った場合、表示画面にソースとシンクを入れ替えたことを示す表示を行い、ユーザに入れ替えの許可を求めてもよい。

役割決定部２０８は、１台目、２台目の指定先が通信装置１０１である否かの判定を行う（Ｓ４１５）。役割決定部２０８が、通信装置１０１を指定したと判定すると、S４０８に進む。役割決定部２０８が、１台目、２台目の指定先が共に他の通信装置であると判定すると、Ｓ４１６に進む。

表示部２０２は、通信指示内容を表示し、ユーザまたはシステムが、入力部２０４を介して通信指示内容を入力する。接続方式決定部２１０は、入力された通信指示内容を判定する（Ｓ４１６）。例えば、ピンチインやドラッグアンドドロップであれば、接続を実行する。例えば、ピンチアウト、スワイプや他の通信装置間の間に手を入れることや他の通信装置をフリックすることであれば、切断を実行する。このように、ユーザインタフェースと関連付けて接続方式を決定してもよい。また、これらの入力方式によって、無線レイヤまでの接続やアプリケーションレイヤまでの接続を決定して実施してもよい。

通信指示部２０５は、１台目の他の通信装置と２台目の他の通信装置とに接続指示を送信する（Ｓ４１７）。接続指示には、無線の接続内容およびアプリケーションの実行内容が含まれる。例えば、無線の接続であれば、１台目の他の通信装置および２台目の他の通信装置に対して、ＷＰＳのボタンを押下状態にする指示を送信し、ダイレクトに接続する。

また、１台目の他の通信装置および２台目の他の通信装置に対してＰＩＮコードを送信してもよい。これにより、１台目の他の通信装置および２台目の他の通信装置は、ＷＰＳ方式でＷｉ−Ｆｉ接続を行うことができる。これに限らず、１台目の他の通信装置と２台目の他の通信装置とが接続するための通信指示およびパラメータを送信してもよい。また、１台目の他の通信装置と２台目の他の通信装置とが同じアクセスポイントに接続するための通信指示およびパラメータを送信してもよい。アクセスポイントは、通信装置１０１内に含まれていてもよいし、通信装置１０１が接続するアクセスポイントであってもよいし、通信装置１０１が接続していない他のアクセスポイントであってもよい。

１台目の他の通信装置と２台目の他の通信装置とが無線接続を完了すると、通知受信部２０７は、それぞれの他の通信装置から無線接続完了の通知を受信する。その後、それらの通知に基づいて、表示部２０２は、無線接続が完了した旨の表示を行う（Ｓ４１８）。

その後、１台目の他の通信装置と２台目の他の通信装置はアプリケーションを実行する（Ｓ４１９）。通知受信部２０７は、無線接続と同様に、アプリケーション接続完了の通知を受信した後に、表示部２０２がそのことを表示してもよい。本実施形態では、無線接続完了とアプリケーション接続完了とを別々に表示する例を説明したが、これに限らず、一括して表示してもよい。また、無線接続の通信指示とアプリケーション接続の通信指示とを別々に送信してもよいし、一括して送信してもよい。また、それ以外の探索プロトコルの通信指示など、別の通信指示を送ってもよい。Ｓ４１８でエラーが発生していた場合、アプリケーションを実行せずに終了し、表示部２０２はエラーを表示する。また、Ｓ４１９でエラーが発生した場合、アプリケーション実行を中止し、通信指示部２０５は、無線接続の切断の指示を行い、表示部２０２はエラーを表示する。

Ｓ４１６で、通信指示内容が切断である場合、通信指示部２０５は、１台目の他の通信装置と２台目の他の通信装置とに切断指示を送信する（Ｓ４２０）。１台目の他の通信装置と２台目の他の通信装置は、切断指示を受け付け、アプリケーションの終了処理、および、無線接続の終了処理を行う。通知受信部２０７は１台目の他の通信装置と２台目の他の通信装置とから切断を完了した通知を受信し、表示部２０２が完了を表示する（Ｓ４２１）。本実施形態では、切断通知は一回だけであるが、アプリケーションの終了処理の完了時と無線接続の終了処理の完了時など、各レイヤ処理によって別々に通知してもよい。

以上説明したように、発見した機器の台数によって、ユーザインタフェースを切り替えることができ、ユーザは簡単に接続を行うことができる。また、ユーザは接続中に機器の属性情報を把握することができるため、ユーザビリティが向上する。

なお、本実施形態では、ピンチインやピンチアウトという入力方法に応じて、接続か切断かを判定していたが、これに限らず、例えば、ユーザは他の通信装置を選択した後、接続か切断の項目のどちらかを選択する構成であってもよい。

＜５．ユーザインタフェースの例（接続）＞
図５（ａ）−図５（ｂ）は、通信装置１０１から接続の指示を行う場合のユーザインタフェースの一例を示す図である。５０１は、通信装置１０１の画面である。画像認識部２０６を通じて認識されたカメラ１０２とプリンタ１０３が、画面５０１上に表示されている。５０２は、通信装置１０１上のユーザインタフェースを用いて、カメラ１０２とプリンタ１０３をピンチインするユーザの手である。５０３は、カメラ１０２の属性情報を表示するウィンドウである。５０４は、プリンタ１０３の属性情報を表示するウィンドウである。属性情報には、機器の名前、機器の種類、能力、接続しているネットワーク名、利用可能なサービス名などが含まれる。サーバ１０５から、カメラ１０２およびプリンタ１０３の識別子に関連付けられた属性情報を取得し、表示部２０２が、ステップＳ４１３およびステップＳ４２３で属性情報を表示することになる。

図５（ａ）は、ユーザがカメラ１０２とプリンタ１０３をピンチインし、接続の指示を出す様子を示した図である。５０３および５０４は指示する先の機器の情報を示している。これによって、ユーザはどの機器と、どの機器とを接続させるのかを容易に選択することが可能になる。

ピンチインによって、カメラ１０２とプリンタ１０３は無線の接続を行い、その後アプリケーションの実行を行う。本実施形態では、ピンチイン時にどのような無線を実行するのか、またはアプリケーションを実行するのかなどの設定はなく、自動で実行される例を示している。これに限らず、ユーザは更に、例えばＷｉ−Ｆｉ（登録商標）とＢｌｕｅｔｏｏｔｈ（登録商標）といったように、どの無線方式を利用するかを指示してもよい。ユーザがカメラ１０２とプリンタ１０３との接続を行う場合、親指側をシンク、人差し指側をソースとする。

本実施形態では、指の種別によって決めたがこれによらず、選択する順番であってもよいし、ピンチインする時の寄せ方で決定してもよい。このように、機器間の接続の方向性を決定することができる。また、更にカメラ１０２とプリンタ１０３の間で実行するアプリケーションを指示してもよい。機器間の接続の方向性は無線接続だけでなく、アプリケーションに適用することもできる。例えば、タッチする方法によって、親指側がサーバ、人差し指側がクライアントとしてもよい。

図５（ｂ）は、カメラ１０２とプリンタ１０３とを接続する場合の変形例である。この場合、カメラ１０２とプリンタ１０３を順番にタッチすることで、どの機器を接続するかを決定する。無線方式やアプリケーションをタッチした後に決定してもよい。例えば、初めにタッチした方をシンク、後にタッチした方をソースとする。アプリケーションの場合は、初めにタッチした方をサーバ、後にタッチした方をクライアントする。また、ユーザは、カメラ１０２をドラッグしてプリンタ１０３にドロップしてもよい（ドラッグアンドドロップ）。そして当該ドラッグアンドドロップ操作に応じて決定してもよい。

図５（ｃ）は、カメラ１０２とプリンタ１０３とが接続した後の図である。５０５は、カメラ１０２とプリンタ１０３とが接続していることを示している。これにより、ユーザは接続している機器を簡単に把握することができる。本実施形態では、カメラ１０２とプリンタ１０３との接続を線で示したが、これに限らず、機器を同じ色で囲んだり、接続していない機器をグレーアウトさせたりしてもよい。また、接続の種類（Ｗｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）、どのアプリケーションで接続しているか等）を色や線の種類などで示してもよい。更に、通信の役割（どちらがサーバ機能で、どちらがクライアント機能かなど）を表示してもよい。これにより、ユーザはそれぞれの機器を確認しなくとも通信装置１０１から現在の接続状態を簡単に把握することができる。

図５（ｄ）は、カメラ１０２とプリンタ１０３とが接続した後、プロジェクタ１０４をプリンタ１０３と接続させる指示を行う様子を示した図である。ユーザは、プリンタ１０３とプロジェクタ１０４をピンチインする。これによってプリンタ１０３とプロジェクタ１０４とが接続される。この時、カメラ１０２、プリンタ１０３、プロジェクタ１０４は同じネットワークに接続してもよい。また、カメラ１０２とプリンタ１０３の組みとプリンタ１０３とプロジェクタ１０４の組みで別々のネットワークを形成してもよいし、別々のアプリケーションで接続してもよい。

本実施形態では、２つの機器間の接続例を示したが、これに限らず、同時に３つの機器を選択した時であっても実現できる。例えば、接続したい機器を囲むような指示をユーザインタフェース上で行ってもよいし、複数点を指し示すような指示をユーザインタフェース上で行ってもよい。また、本実施形態では、ダイレクトに無線接続を行ったが、これに限らず、アクセスポイントや他の装置（例えば、クラウド）を経由した接続を行ってもよい。このように、本発明は、接続方式や接続のレイヤによらず、実現できる。

＜６．機器間のシーケンス（接続）＞
図６は、通信装置１０１、カメラ１０２、プリンタ１０３、プロジェクタ１０４の接続を行う場合のシーケンスを示す図である。通信装置１０１は、カメラ１０２とプリンタ１０３を探索する（Ｍ６０１、Ｍ６０２）。通信装置１０１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信や無線のビーコンによって、カメラ１０２およびプリンタ１０３から識別子を取得する。その後、通信装置１０１は、サーバ１０５から識別子に応じた認識情報と属性情報を取得する。認識情報とは、例えば、画像特徴量などである。通信装置１０１は、認識情報を用いて、撮影している画像内にカメラ１０２やプリンタ１０３があるか否かを判定し、画像内に存在する場合、どの領域に存在するのかを判別する。

通信装置１０１は、判別した結果の画像に属性情報を重畳して、表示する（Ｍ６０３）。通信装置１０１は、どの機器と、どの機器に対して、どのような接続を行うかを指定する情報をユーザからの入力により受け付ける（Ｍ６０４）。ここでは、ユーザは、カメラ１０２とプリンタ１０３の接続を指示したとする。

通信装置１０１は、カメラ１０２およびプリンタ１０３に対して、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを利用して、接続指示を行う。通信装置１０１は、カメラ１０２に対してプリンタ１０３への接続指示を行う（Ｍ６０５）。通信装置１０１は、プリンタ１０３に対してカメラ１０２への接続指示を行う（Ｍ６０６）。この接続指示には、カメラ１０２とプリンタ１０３が無線接続するためのパラメータおよびアプリケーションの接続のためのパラメータが含まれる。

カメラ１０２とプリンタ１０３は、Ｗｉ−Ｆｉ（登録商標）での無線接続を行った後、アプリケーションの接続を行う（Ｍ６０７）。カメラ１０２は、通信装置１０１へ接続完了の通知を行う（Ｍ６０８）。プリンタ１０３は、通信装置１０１へ接続完了の通知を行う（Ｍ６０９）。既に接続している他の通信装置や監視している他の通信装置がある場合は、それら通信装置へも通知を行ってもよい。

通信装置１０１は、カメラ１０２およびプリンタ１０３から通知を受け付けると、カメラ１０２とプリンタ１０３が接続していることを示す表示を画面上に重畳する（Ｍ６１０）。通信装置１０１は、さらに、どの機器と、どの機器に対して、どのような接続を行うかを指定する情報をユーザからの入力により受け付ける（Ｍ６１１）。ここでは、ユーザは、カメラ１０２とプロジェクタ１０４の接続を指示したとする。

通信装置１０１は、カメラ１０２に対してプロジェクタ１０４への接続指示を行う（Ｍ６１２）。通信装置１０１は、プロジェクタ１０４に対してカメラ１０２への接続指示を行う（Ｍ６１３）。この接続指示には、カメラ１０２とプロジェクタ１０４が無線接続するためのパラメータおよびアプリケーションの接続のためのパラメータが含まれる。

カメラ１０２とプロジェクタ１０４は、Ｗｉ−Ｆｉ（登録商標）での無線接続を行った後、アプリケーションの接続を行う（Ｍ６１４）。カメラ１０２は、通信装置１０１へ接続完了の通知を行ってもよいが、既にネットワークを形成しているため、本実施形態では省略してもよい。プロジェクタ１０４は、通信装置１０１へ接続完了の通知を行う（Ｍ６１５）。

通信装置１０１は、カメラ１０２およびプロジェクタ１０４から通知を受け付けると、カメラ１０２とプロジェクタ１０４が接続していることを示す表示を画面上に重畳する（Ｍ６１６）。カメラ１０２から通信装置１０１への接続完了の通知が省略される場合には、プロジェクタ１０４からの通知に基づいて、カメラ１０２とプロジェクタ１０４が接続していることを示す表示を行ってもよい。

＜７．ユーザインタフェースの例（切断）＞
図７（ａ）−図７（ｄ）は、通信装置１０１から切断の指示を行う場合のユーザインタフェースの図である。７０１は、カメラ１０２とプロジェクタ１０４が接続していることを示す線である。７０２は、プリンタ１０３とプロジェクタ１０４が接続していることを示す線である。７０３は、プロジェクタ１０４の属性情報を表示するウィンドウである。属性情報には、機器の名前、機器の種類、能力、接続しているネットワーク名、利用可能なサービス名などが含まれる。

図７（ａ）は、ユーザがプロジェクタ１０４をスワイプして、切断の指示を行う様子を示した図である。手５０２はプロジェクタ１０４をタッチした上で、スライドさせることで、カメラ１０２およびプリンタ１０３との接続を切断する。切断の時の操作方法によってアプリケーションの切断か無線の切断かを決定してもよい。また、カメラ１０２およびプリンタ１０３のうち、プロジェクタ１０４をカメラ１０２側にスライドさせることでカメラ１０２との接続を維持したままにしてもよい。また、切断の指示はスワイプで行ったが、これに限らず、切断したい機器をピンチアウトしてもよいし、接続している線を遮ることによって切断してもよい。このようにユーザは何らかの指示によって切断を指示すればよい。

図７（ｂ）は、プロジェクタ１０４がカメラ１０２およびプリンタ１０３から切断した通知を受け付け、通信装置１０１が表示を変更した図である。図７（ｃ）は、ユーザがプリンタ１０３をスワイプして、カメラ１０２との切断の指示を行う様子を示した図である。７０４は、プリンタ１０３の属性情報を表示するウィンドウである。図７（ｄ）は、プリンタ１０３がカメラ１０２から切断した通知を受け付け、通信装置１０１が表示を変更した図である。このようにユーザは簡単に切断を行うことができる。

＜８．機器間のシーケンス（切断）＞
図８は、通信装置１０１、カメラ１０２、プリンタ１０３、プロジェクタ１０４の切断を行う場合のシーケンスを示す図である。通信装置１０１は、カメラ１０２とプリンタ１０３を表示する（Ｍ８０１）。本実施形態では、画像認識を行った上で表示しているが、これに限らず、既に接続が完了している機器同士のキャッシュを画面上に表示してもよい。これにより、遠隔にある機器間の切断指示を行うことができる。

ユーザは、ユーザインタフェースを介してプロジェクタ１０４をカメラ１０２およびプリンタ１０３のネットワークから切断するための指示を入力する（Ｍ８０２）。通信装置１０１は、プロジェクタ１０４に切断の指示を行う（Ｍ８０３）。

プロジェクタ１０４は切断指示を受け付けると、カメラ１０２およびプリンタ１０３へ切断の要求を送信し、切断処理を行う（Ｍ８０４、Ｍ８０５）。この時の切断とは、アプリケーションの切断、無線の切断などである。例えば、プロジェクタ１０４が接続指示を受け付ける前からネットワークに接続していたなどの場合、アプリケーションの切断のみを行い、無線の切断を行わなくてもよい。このように、必ずしも無線の切断まで行う必要はなく、任意の切断指示を行うことができる。また、カメラ１０２とは無線切断を行うが、プリンタ１０３とは無線切断を行わないなどの処理を行ってもよい。

プロジェクタ１０４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やクラウドなどを介して、通信装置１０１に切断が完了したことを通知する（Ｍ８０６）。通信装置１０１は、プロジェクタ１０４がカメラ１０２およびプリンタ１０３から切断されたことを画面上に反映させて、表示する（Ｍ８０７）。

ユーザは、ユーザインタフェースを介してプリンタ１０３をカメラ１０２のネットワークから切断するための指示を入力する（Ｍ８０８）。通信装置１０１は、プリンタ１０３に切断の指示を行う（Ｍ８０９）。プリンタ１０３は切断指示を受け付けると、カメラ１０２へ切断の要求を送信し、切断処理を行う（Ｍ８１０）。カメラ１０２は、接続している機器がなくなったと判定すると、アクセスポイントからの離脱やアドホックネットワークの終了などのネットワーク終了処理を行ってもよい。

プリンタ１０３は、プロジェクタ１０４と同様に、通信装置１０１に切断が完了したことを通知する（Ｍ８１１）。なお、カメラ１０２もまた、通信装置１０１に切断の完了通知を行う（Ｍ８１２）。通信装置１０１は、カメラ１０２およびプリンタ１０３が切断されたことを画面上に反映させ、表示する（Ｍ８１３）。

＜９．各機器が実施する処理＞
図９は、カメラ１０２、プリンタ１０３、プロジェクタ１０４が通信装置１０１から通信指示を受け付けた時の処理手順を示すフローチャートである。ここでは、カメラ１０２が通信装置１０１から指示を受け付けた場合を例に説明する。

通信指示受信部３０３は、通信部３０１を介して通信装置１０１から通信指示を受け付ける（Ｓ９０１）。通信指示受信部３０３は、受信した通信指示の内容が接続であるか切断であるかの判定を行う（Ｓ９０２）。通信指示受信部３０３が通信指示の内容を接続であると判定すると、通信指示内容に含まれる接続先に関連する情報の取得を行う（Ｓ９０３）。この時の情報としてはカメラ１０２内に保持している情報を利用してもよいし、サーバ１０５から取得してもよいし、通信装置１０１から送信される通信指示に含まれている情報を利用してもよい。

通信指示受信部３０３は、接続先の確認の結果、ネットワークに接続済みであるか否かの判定を行う（Ｓ９０４）。通信指示受信部３０３が、ネットワークに接続済みであると判定すると、Ｓ９０９に進む。通信指示受信部３０３が、ネットワークに接続していないと判定すると、Ｓ９０５に進む。

通信実行部３０４は、通信指示によって指定された通信相手と例えば無線ダイレクト接続などのネットワーク接続を行う（Ｓ９０５）。ここでのネットワーク接続では、無線ダイレクト接続を例に挙げたが、これに限らず、インフラモードによる同じアクセスポイントへの接続であってもよいし、クラウドや中継サーバ、携帯電話などを介した接続であってもよい。通信指示内に通信方式が指定されている場合には、それに従ってもよい。また通信の役割（サーバやクライアント、シンクやソース）が指定されている場合には、それに従ってもよい。従えない場合には、通信の役割を変更して接続してもよい。

通信実行部３０４は、通信指示によって指定された通信相手とアプリケーション接続の開始を行う（Ｓ９０６）。通信指示内にアプリケーションの種類や設定情報が指定されている場合には、それに従っても良い。また、アプリケーションの役割が指定されている場合には、それに従ってもよい。従えない場合には、アプリケーションの役割を変更して接続してもよい。表示部３０５は、ネットワーク接続の完了およびアプリケーションの実行を開始すると、接続完了を表示する（Ｓ９０７）。

一方、通信実行部３０４は、通信指示によって指定された通信相手と同じネットワーク内にいる場合、発見のためのプロトコル（ＳＳＤＰ、ｍＤＮＳなど）を実行して、接続の判定を行う（Ｓ９０９）。通信実行部３０４は、通信指示によって指定された通信相手とアプリケーション接続の開始を行う（Ｓ９１０。Ｓ９０６と同様の処理である）。

通知送信部３０６は、接続が完了したことを通信装置１０１に通知する（Ｓ９０８）。なお、本フローチャートでは記載していないが、ネットワーク接続およびアプリケーション実行に失敗した場合、表示部３０５は失敗内容を示すエラーを表示する。表示だけでなくエラー音や点滅、振動などでエラーを表現してもよい。さらに、通知送信部３０６は、通信装置１０１に接続の失敗を通知する。

また、ネットワーク接続、発見、アプリケーション実行といった処理の少なくとも一部を省略してもよいし、例えば、Ｓ９０５とＳ９０６の間にＳ９０９のような発見の処理を追加してもよい。

これに対して、通信指示受信部３０３が通信指示の内容を切断であると判定すると、切断先の確認を行う（Ｓ９１１）。この時の情報はカメラ１０２が保持している情報を利用してもよいし、サーバ１０５から取得してもよいし、通信装置１０１から送信される通信指示に含まれている情報を利用してもよい。

通信指示受信部３０３は、切断先の確認の結果、ネットワークに接続済みであるか否かの判断を行う（Ｓ９１２）。通信指示受信部３０３が、ネットワークの接続済みであると判定すると、Ｓ９１３に進む。通信指示受信部３０３が、ネットワークに接続していないと判定すると、Ｓ９１７に進む。

本実施形態では、ネットワークの接続状態だけで判定しているが、これに限らず、接続指示内容がアプリケーションの切断であるか、ネットワークの切断であるかの判定を処理に含めてもよい。例えば、ネットワークの切断であった場合、アプリケーションが既に終了していたとしてもネットワークを切断する必要があるため、Ｓ９１４をスキップして、Ｓ９１５から開始してもよい。また、その場合、既にアプリケーションが終了しているので、更にエラー表示およびエラーの通知を行ってもよい。

通信実行部３０４は、通信指示内容に応じて、アプリケーションの終了処理を行う（Ｓ９１３）。更に、通信実行部３０４は、ＳＳＤＰなどの発見プロトコルの終了処理を行ってもよい。通信実行部３０４は、通信指示内容に応じて対象のネットワークからの切断を行う（Ｓ９１４）。例えば、無線ダイレクト接続を行っている場合は、対象となる機器との接続を切断する。表示部３０５は、アプリケーションの切断およびネットワークの切断が完了したことを表示する（Ｓ９１５）。本実施形態では、アプリケーションの切断とネットワークの切断との両方を実行したが、これに限らず、どちらか一方であってもよい。

通知送信部３０６は、切断完了通知を通信装置１０１に通知する（Ｓ９１６）。表示部３０５は、エラーを表示した上で、通知送信部３０６は、通信装置１０１に切断する対象がなかったことを示すエラーを通知する（Ｓ９１７）。

なお、本フローチャートでは記載していないが、エラー通知の変形例について示す。例えば、カメラ１０２のセキュリティポリシなどによって、アプリケーションの終了ができなかったり、ネットワークから切断できなかったりする場合、不可能であることを示すエラーを表示し、通信装置１０１に通知してもよい。

以上説明したように、本実施形態によれば、ユーザは、所望の機器に対して、アプリケーションの接続と切断、ネットワークの接続と切断を簡単に実行することができる。また、ユーザはアプリケーションの接続と切断、ネットワークの接続と切断ができなかった場合でも、エラー表示を見ることで、ユーザの指示によって処理が実現できない理由を把握することができる。通信装置１０１に接続および切断の完了通知やエラーの通知を行うことで、通信指示を行った機器を操作することなく通信指示が実行できたかの確認を行うことができる。

また、通信指示を行った機器同士が既に接続している場合、通信指示の一部をスキップすることができ、接続に係る処理を低減できる。通信指示を行った機器同士が予めネットワーク接続している場合、切断処理の一部を実行しないことで、通信指示を行う前と同じ状態に戻すことができる。

（実施形態２）
実施形態２では、実施形態１との差異について主に説明する。図１０は、通信装置１０１、カメラ１０２、プリンタ１０３、プロジェクタ１０４が、中継装置として機能するアクセスポイント１００１を介して接続している様子を示す図である。

通信装置１０１、カメラ１０２、プリンタ１０３は、アクセスポイント１００１に既に接続している。実施形態１で説明した通信指示（Ｍ６０５、Ｍ６０６）は、アクセスポイント１００１を介した接続は完了しているため、アプリケーション層の発見を含む。また、切断指示（Ｍ８０９）では、アプリケーション層の離脱処理（Ｍ８１０、Ｍ８１１）を行い、アクセスポイント１００１からの切断は行わない。

本実施形態におけるプロジェクタ１０４は、アクセスポイント１００１に接続していない。通信指示（Ｍ６１３）は、アクセスポイント１００１への接続情報とアプリケーション層の発見を含む。また、切断指示では、アプリケーション層の離脱処理（Ｍ８０４、Ｍ８０５）を行った後、プロジェクタ１０４はアクセスポイント１００１からの切断を行い、切断が完了した旨をＭ８０６で送信する。

以上説明したように、本実施形態では、１以上の他の通信装置の少なくとも１つが既に中継装置に接続している場合、別の他の通信装置に対して中継装置への接続指示を行う。これにより、インフラモードのように他機器を介した通信であっても適用できる。また、切断指示によって、同じネットワーク接続状態（アプリケーション層の離脱を行った後、アクセスポイント１００１に接続されている状態）に戻すことができる。

（実施形態３）
実施形態３では、実施形態１との差異について主に説明する。図１１（ａ）及び図１１（ｂ）は、通信装置１０１から接続指示を行う場合のユーザインタフェースの一例を示す図である。本実施形態のユーザインタフェースでは、遠隔にあるストレージやカメラと、接続できる。

１１０１は、自宅にあるネットワークに接続されたストレージを示すアイコンである。アイコンに関連付けられた情報を重畳表示してもよいし、色や線などによって強調表示してもよい。１１０２は、ネットワークに接続された遠隔にあるカメラである。１１０３も、ネットワークに接続された遠隔にあるカメラである。ユーザまたはシステムは通信装置１０１にアイコンと関連付けて接続方法を設定している。例えば、撮影画像上にはないが既に設定されている機器をアイコンとして表示してもよいし、識別情報取得部２０９によって識別子を取得しているが撮影画像上にない機器をアイコンとして表示してもよい。

図１１（ａ）は、手５０２がカメラ１０２とストレージ１１０１をピンチインで接続指示を行っている図である。このように遠隔にある機器と目の前にある機器を簡単に接続することが可能となる。図１１（ｂ）は、カメラ１０２とストレージ１１０１との接続が完了している様子を示す図である。１１０４は、カメラ１０２とストレージ１１０１が接続していることを示す線である。

以上説明したように、本実施形態によれば、撮影画像上に無い機器との接続指示を簡単に行うことが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：ネットワーク、１０１：通信装置、１０２：カメラ、１０３：プリンタ、１０４：プロジェクタ、１０５：サーバ、２０２：表示部、２０３：データ保存部、２０４：入力部、２０５：通信指示部、２０６：画像認識部、２０７：通知受信部、２０８：役割決定部、２０９：識別情報取得部、２１０：接続方式決定部、３０１：通信部、３０２：識別情報送信部、３０３：通信指示受信部、３０４：通信実行部、３０５：表示部、３０６：通知送信部

Claims (13)

1. 通信装置であって、
   撮像画像を取得する第１の取得手段と、
   前記第１の取得手段により取得された前記撮像画像の中から、他の通信装置を認識する認識手段と、
   前記認識手段により認識された前記他の通信装置を複数指定する所定の操作をユーザに入力させる入力手段と、
   前記所定の操作に応じて、当該指定された複数の他の通信装置同士が接続または切断するための指示を前記指定された複数の他の通信装置に送信する送信手段と、
   を有することを特徴とする通信装置。
2. 前記所定の操作は、ピンチイン、ピンチアウト、ドラッグ、ドロップ、スワイプ、及びタッチの少なくとも１つを含むことを特徴とする請求項１に記載の通信装置。
3. 前記指示を送信した他の通信装置から所定の通知を受信する受信手段と、
   前記所定の通知の内容を表示する表示手段と、
   を更に有することを特徴とする請求項１または２に記載の通信装置。
4. 前記所定の通知は、前記指示を送信した他の通信装置の接続状態を示す通知であることを特徴とする請求項３に記載の通信装置。
5. 前記所定の通知は、前記指示に応じた接続または切断が完了したことを示す通知であることを特徴とする請求項３に記載の通信装置。
6. 前記通信装置は撮像部を更に有し、
   前記第１の取得手段は、前記撮像部により撮像された前記撮像画像を取得することを特徴とする請求項１から５のいずれか１項に記載の通信装置。
7. 前記認識手段の認識処理で使用される識別情報を取得する第２の取得手段を更に有することを特徴とする請求項１から６のいずれか１項に記載の通信装置。
8. 前記所定の操作に基づいて、前記指定された複数の他の通信装置のうちのいずれが、無線ネットワークを形成する装置となるかを決定する決定手段を更に有することを特徴とする請求項１から７のいずれか１項に記載の通信装置。
9. 前記決定手段は、前記認識手段により認識された前記他の通信装置をユーザが指定した順番に基づいて、無線ネットワークを形成する装置を決定することを特徴とする請求項８に記載の通信装置。
10. 前記送信手段は、前記指定された複数の他の通信装置同士が既に接続している場合、前記指定された複数の他の通信装置同士を接続するための指示を送信しないことを特徴とする請求項１から８のいずれか１項に記載の通信装置。
11. 複数の通信装置を含む通信システムであって、
    第１の通信装置は、
    撮像画像を取得する取得手段と、
    前記取得手段により取得された前記撮像画像の中から、第２の通信装置と第３の通信装置とを認識する認識手段と、
    前記第２の通信装置と前記第３の通信装置とを指定する所定の操作をユーザに入力させる入力手段と、
    前記所定の操作に応じて、前記第２の通信装置および前記第３の通信装置同士が接続または切断するための指示を前記第２の通信装置および前記第３の通信装置に送信する送信手段と、
    を有し、
    前記第２の通信装置および前記第３の通信装置は、
    前記第１の通信装置から前記指示を受信する受信手段と、
    前記指示に基づいて接続または切断の処理を実行する実行手段と、
    を有することを特徴とする通信システム。
12. 通信装置の制御方法であって、
    撮像画像を取得する取得工程と、
    取得された前記撮像画像の中から、他の通信装置を認識する認識工程と、
    認識された前記他の通信装置を複数指定する所定の操作をユーザに入力させる入力工程と、
    前記所定の操作に応じて、当該指定された複数の他の通信装置同士が接続または切断するための指示を前記指定された複数の他の通信装置に送信する送信工程と、
    を有することを特徴とする制御方法。
13. コンピュータを請求項１から１０の何れか１項に記載の通信装置として動作させるためのプログラム。

Images