JP2016130925A - 複数の電子機器が連携動作をする方法、電子機器およびコンピュータ・プログラム - Google Patents

Abstract

【課題】カメラに対してワンアクションの連係操作をすることで連携動作をさせる方法を提供する。
【解決手段】左右に揺動する左手１０を、並んで配置したノートＰＣ１００ａ、１００ｂのカメラ・モジュール１０１ａ、１０１ｂが撮影する。ノートＰＣ１００ａは画像１０２ａを取得し、ノートＰＣ１００ｂは画像１０２ｂを取得する。ノートＰＣ１００ａは左手の形状または揺動の周期から連携動作がデータ転送であることを認識し、親指１１から送信デバイスであることを認識する。ノートＰＣ１００ｂは左手の形状または揺動の周期から連携動作がデータ転送であることを認識し、小指１３から受信デバイスであることを認識する。揺動する左手を撮影するだけで、２つのノートＰＣが異なる個別動作をして連携動作を完遂させる。
【選択図】図１

Description

本発明は、複数の電子機器の各カメラに簡単な操作を撮影させて連携動作をさせる技術に関する。

スマートフォン、タブレット端末、ノートブック型パーソナル・コンピュータ（ノートＰＣ）、またはデスクトップ型パーソナル・コンピュータのような電子機器の相互間で容易にデータを交換する技術が存在する。たとえば、AirDropという技術では、WiFi（登録商標）またはBluetooth（登録商標）を利用して送信端末から受信端末にデータを送信することができる。また、Bumpという技術では、端末同士をぶつけることであらかじめ選択した写真や動画をWiFi（登録商標）またはBluetooth（登録商標）を経由して相互に交換することができる。

特許文献１は、ジェスチャであらかじめペアリングされた送信側機器から受信側機器にファイルを転送する発明を開示する。同文献には、送信側機器でクラッブジェスチャをして送信ファイル特定してから手をカメラの視野角の外に移すことで受信側機器に伝送要請信号を送り、伝送要請信号を受け取った受信側機器でファイルを受信するリリースジェスチャをすることでファイルが転送されることが記載されている。特許文献２は、Bumpに関する発明を開示する。特許文献３は、送信側の情報端末に表示したＷｅｂのサイトＵＲＬを、カメラの前で腕を振るジェスチャを検出したときに受信側の情報端末に送信する発明を開示する。

特開２０１４−１７９０９９号公報 米国特許出願公開第２０１１／０１９１８２３号公報 特開２０１４−１６８５０号公報

従来の方法では、通信を開始する前に送信側の電子機器と受信側の電子機器を特定したり、通信を開始したあとに相互に送信側と受信側になってデータを交換したり、また、一方の電子機器に対するジェスチャを検出したことに応じて他方の電子機器に信号を送り、信号を受け取った他方の電子機器に対してジェスチャをしたりすることでデータ転送をする。しかし、カメラが撮影した画像を使って、転送の開始のタイミングと同時に送信の電子機器と受信の電子機器を特定していずれの方向にもデータ転送ができれば都合がよい。またカメラが撮影した画像を使って、電子機器にプライマリ・デバイスまたはセカンダリ・デバイスのいずれかを認識させてさまざまな連携動作をさせることができれば一層都合がよい。

そこで本発明の目的は、カメラが撮影した連係操作の画像に基づいて、複数の電子機器に連携動作を実行させる方法を提供することにある。さらに本発明の目的は、複数の電子機器に連携動作を構成する複数の異なる個別動作のいずれかを実行させる方法を提供することにある。さらに本発明の目的は、そのような方法を実現する電子機器およびコンピュータ・プログラムを提供することにある。

本発明は、それぞれカメラを搭載する第１の電子機器と第２の電子機器が連携動作をする方法を提供する。第１の電子機器が搭載する第１のカメラと第２の電子機器が搭載する第２のカメラが所定の被写体を撮影する。つづいて、撮影した被写体の特徴情報から各電子機器が連携動作を構成する異なる個別動作を認識する。つづいて各電子機器がそれぞれ認識した異なる個別動作を実行する。

上記構成によれば、第１のカメラと第２のカメラが被写体を撮影することで、第１の電子機器と第２の電子機器が連携動作を構成する相互に異なる個別動作をすることができる。被写体を人体の部位とし、この人体の部位でワンアクション操作して、各電子機器に連携動作を構成する個別動作を認識させることができる。被写体は、所定の連携動作を認識するための共通情報と、所定の連携動作を構成する個別動作を認識するための異種情報を提供することができる。

共通情報および異種情報は被写体の静的な外形的特徴または動的な外形的特徴から抽出することができる。静的な外形的特徴は、物理的に一体の被写体の非対称な部位から抽出することができる。動的な外形的特徴は、揺動周期または回転速度のような被写体の運動情報または静止した被写体の形状、模様または色彩の変化から抽出することができる。

撮影した被写体から連携動作を認識して、第１の電子機器と第２の電子機器がピアツーピアの無線通信を確立することができる。このとき、無線通信を通じて第１の電子機器と第２の電子機器が抽出した異種情報を相互に交換し、相反する情報であると判断したときにそれぞれが個別動作を実行することができる。また、無線通信を通じて第１の電子機器と第２の電子機器が共通情報を交換して一致していると判断したときにそれぞれが個別動作を実行することができる。

連携動作をデータの転送動作とし、第１の電子機器の個別動作をデータの送信動作とし、第２の電子機器の個別動作をデータの受信動作とすることができる。さらに、連携動作を入力デバイスの切換操作とし、第１の電子機器の個別動作を第１の電子機器の入力デバイスを停止する動作とし、第２の電子機器の個別動作を第２の電子機器の入力デバイスに対する入力情報を第１の電子機器に送信する動作とすることができる。

また、連携動作をアプリケーション・プログラムの実行環境の中断と開始をする操作とし、第１の電子機器の個別動作を第１の電子機器が実行しているアプリケーション・プログラムの編集中のデータを第２の電子機器に送信する動作とし、第２の電子機器の個別動作を編集中のデータを第１の電子機器から受信して第１の電子機器のアプリケーション・プログラムに対応するアプリケーション・プログラムに適用する動作とすることができる。

また、連携動作をサーバからダウンロードするストリーミング・ファイルの転送先を切り換える動作とし、第１の電子機器の個別動作を現在ダウンロードしているストリーミング・ファイルの転送先を第２の電子機器に変更する動作とし、第２の電子機器の個別動作を、ストリーミング・ファイルをダウンロードする動作とすることができる。さらに、連携動作を出力デバイスの送信元を切り換える動作とし、第１の電子機器の個別動作を第１の電子機器が保有するデータの出力デバイスに対する送信を停止する動作とし、第２の電子機器の個別動作を第２の電子機器が保有するデータを出力デバイスに送信する動作とすることができる。

本発明により、カメラが撮影した連係操作の画像に基づいて、複数の電子機器に連携動作をさせる方法を提供することができた。さらに本発明により、複数の電子機器に連携動作を構成する複数の異なる個別動作のいずれかを実行させる方法を提供することができた。さらに本発明により、そのような方法を実現する電子機器およびコンピュータ・プログラムを提供することができた。

ワンアクションの連係操作をする様子を説明するための図である。 ノートＰＣ１００ａ、１００ｂの構成を示す機能ブロック図である。 連携システム２００ａ、２００ｂの構成を示す機能ブロック図である。 ノートＰＣ１００ａからノートＰＣ１００ｂにデータ転送をするときの様子を説明するための図である。 ノートＰＣ１００ａからノートＰＣ１００ｂにデータ転送をするときの連携システム２００の動作を説明するためのフローチャートである。 スマートフォン１５０の入力デバイスをノートＰＣ１００ａに変更するときの様子を説明するための図である。 外部ディスプレイ１６０に対する出力データの送信元をノートＰＣ１００ａからノートＰＣ１００ｂに変更するときの様子を説明するための図である。 サーバ２５２が提供するダウンロード・ファイルのダウンロード先をノートＰＣ１００ａからスマートテレビ１７０に変更するときの様子を説明するための図である。

［連係操作、連携動作、共通情報および異種情報］
最初に本発明にかかる連携動作の概要を説明する。図１は連携動作の一例を説明するための図である。図１に示す、電子機器の一例としてのノートＰＣ１００ａとノートＰＣ１００ｂは、それぞれのディスプレイ１０３ａ、１０３ｂの上部に位置する縁枠にカメラ・モジュール１０１ａ、１０１ｂを実装している。ノートＰＣ１００ａ、１００ｂは、カメラ・モジュール１０１ａ、１０１ｂが同じ方向を向くように相互に並べて配置している。

ノートＰＣ１００ａ、１００ｂの前で、操作者が手の甲をカメラ・モジュール１０１ａ、１０１ｂに向けた左手１０を、ノートＰＣ１００ａ、１００ｂの中間位置を中心にして左右に揺動させている。手を撮影させる行為は、後に詳細に説明する連係操作の一例である。カメラ・モジュール１０１ａ、１０１ｂは、動画像モードで動作し、所定のフレーム・レートで画像データを生成する。

操作者からみて左に配置したカメラ・モジュール１０１ａは、画面の右側で右限界に達した親指１１が左方向に折り返す移動をする往復動の動画像のフレーム１０２ａを撮影し、カメラ１０１ｂは画面の左側で左限界に達した小指１３が右方向に折り返す移動をする往復動の動画像のフレーム１０２ｂを撮影する。ノートＰＣ１００ａ、１００ｂは、揺動する左手１０を撮影した動画像から、一般的な被写体の動画像と区別できるいくつかの特徴的な情報を取得することができる。

まず、ノートＰＣ１００ａ、１００ｂはともに揺動する左手１０から、左手１０の外形的な特徴情報を取得することができる。また、ノートＰＣ１００ａ、１００ｂはともにほぼ同一の左手１０の揺動周期を取得することができる。このようにノートＰＣ１００ａ、１００ｂがともに、揺動する左手１０の動画像から取得する同一の情報または同一と認識できる情報は以下に詳細に説明する共通情報の一例である。

つぎに、ノートＰＣ１００ａは揺動する左手１０から、フレーム１０２ａの右側で揺動する親指１１が停止する特徴情報を取得し、ノートＰＣ１００ｂはフレーム１０２ｂの左側で揺動する小指１３が停止する特徴情報を取得することができる。あるいは、ノートＰＣ１００ａは、フレーム１０２ａの左方向に小指１３が移動する特徴情報を取得し、ノートＰＣ１００ｂはフレーム１０２ｂの右方向に親指１１が移動する特徴情報を取得することができる。

さらに、ノートＰＣ１００ａは、自らが揺動の中心より操作者からみて左側に存在する位置情報を取得し、ノートＰＣ１００ｂは自らが揺動の中心より操作者からみて右側に存在する位置情報を取得することができる。このようにノートＰＣ１００ａ、１００ｂがそれぞれ、揺動する左手１０を撮影した動画像から取得する相互に異なる情報は以下に詳細に説明する異種情報の一例である。

ノートＰＣ１００ａ、１００ｂはそれぞれ、揺動する左手１０を撮影したときに、共通情報と異種情報を取得して連携動作をする。連携動作として送信動作と受信動作で構成したデータの転送動作を例示して説明する。ノートＰＣ１００ａ、１００ｂはそれぞれ、共通情報を取得してデータ転送のための動作を開始し、異種情報を取得して一方が送信デバイスとして動作し、他方が受信デバイスとして動作する。送信デバイスと受信デバイスは、右手を使ったり、左手１０の手のひらをカメラ・モジュール１０１ａ、１０１ｂに向けたりした連係操作をすることで入れ替えることができる。

つぎに連携動作について詳細に説明する。前提として複数の電子機器はそれぞれカメラ・モジュールを搭載する。連携動作のために各電子機器に撮影させる被写体を操作被写体という。図１の左手１０は操作被写体の一例である。また、各電子機器に連携動作をさせるために操作被写体を撮影させる行為を連係操作という。連携動作は、複数の電子機器が全体で実現するまとまりのある動作、または共通の目的を実現する動作に相当する。

連携動作は、各電子機器が行う相互に異なった複数の個別動作で構成している。一例において連携動作は、各電子機器がカメラ・モジュールで撮影した画像から連係操作を認識して連携動作を開始したあとに、無線または有線で相互に情報を交換しながら協働して行なう。連携動作の他の例では、各電子機器が連係操作を認識するとその後の情報交換をすることなくあらかじめ定義した所定の個別動作をする。

操作被写体と連係操作は、各電子機器に共通情報と異種情報を提供する。操作被写体は、被写体として発揮できる形状、色彩または模様などの外形的特徴で共通情報および異種情報またはいずれか一方を提供する。外形的特徴は、時間的に変化しない静的なものであってもよいし、時間的に変化する動的なものであってもよい。動的な外形的特徴の一例は、操作被写体の往復運動の周期または回転運動の回転速度などのような運動情報を挙げることができる。動的な外形的特徴の他の例は、光の点滅、発光色の変化、または突然目を手で押さえるような被写体の変化を挙げることができる。

操作被写体は、通常撮影する被写体とは異なる外形的特徴を備えることで、共通情報を提供することができる。共通情報の一例として、所定の大きさで撮影した揺動する左手１０を挙げることができる。操作被写体は、各電子機器が撮影した画像から相互に異なると認識できる外形的特徴を備えることで、異種情報を提供することができる。異種情報の一例として、操作被写体としての左手１０を構成する親指１１と小指１３の外形的特徴を挙げることができる。操作被写体は物理的に一体の物体でもよいし、連係操作ができる物体であれば物理的に分離した物体の組み合わせでもよい。物理的に一体の物体は、静的な外形的特徴を構成する非対称な部位または動的な外形的特徴が異種情報を提供することができる。一例として手や腕のような人体の部位は非対称性を備えている。

連係操作は、連携動作をする電子機器からの応答を待たないで各電子機器に操作被写体を撮影させる一方的な行為に相当する。したがって、一方の電子機器が被写体を撮影して開始した動作の結果を待って、他方の電子機器に被写体を撮影させて動作させるような態様は本実施の形態の連係操作の範疇に含めない。連係操作は、各電子機器に操作被写体を撮影させて連携動作を開始させるタイミングを与えることができる。

物理的に一体の操作被写体を、各電子機器に同時に撮影させる連係操作は、連携動作を開始するタイミングを与えることができる。物理的に一体の操作被写体を各電子機器に同時に撮影させる連係操作をワンアクション操作という。図１の左手１０の揺動は、ワンアクション操作に相当する。連係操作は、腕を振るジェスチャを撮影した各電子機器が、同一のイベントを認識して動作するときのような、各電子機器に異種情報を認識させない単なるジェスチャとは異なる。

共通情報は、各電子機器に特定の連携動作を認識させる識別性と連携動作を開始させるタイミングを与える同時性を含んでいる。識別性は、操作被写体の外形的特徴が与え、同時性は連係操作が与えることができる。一例において同時性は、各電子機器に操作被写体が識別性を提供したタイミングで示すことができる。異種情報は各電子機器に所定の連携動作を構成する相互に異なる個別動作を認識させる。異種情報は、共通情報を含んでいてもよい。一例を挙げると、左手１０の親指１１はデータ転送という共通情報と転送元という異種情報を提供し、左手１０の小指１３はデータ転送という共通情報と転送先という異種情報を提供することができる。

［ノートＰＣのハードウェア］
図２は、連携システム２００（図３）を構成するノートＰＣ１００ａ、１００ｂのハードウェアの構成を説明するための概略の機能ブロック図である。本実施の形態を実現する上で、ノートＰＣ１００ａ、１００ｂのハードウェアの構成は共通でよいため要素の符号にａ、ｂを付記して両者を区別する。本発明との関連において、ノートＰＣ１００ａ、１００ｂのハードウェアの構成は周知であるため説明は簡略化する。

ＣＰＵ１０５ａ、１０５ｂはグラフィック・コアを内蔵しておりディスプレイ１０３ａ、１０３ｂとシステム・メモリ１０７ａ、１０７ｂが接続されている。チップセット１０９ａ、１０９ｂは、さまざまなインターフェースのコントローラを内蔵している。チップセット１０９ａ、１０９ｂには、ＨＤＤ１１１ａ、１１１ｂ、Ｂｌｕｔｔｏｏｔｈ（登録商標）モジュール（ＢＬＴＨモジュール）１１３ａ、１１３ｂ、キーボード１１５ａ、１１５ｂ、カメラ・モジュール１０１ａ、１０１ｂ、ＷｉＦｉモジュール１１７ａ、１１７ｂおよびＤＶＩポート１１９ａ、１１９ｂなどが接続されている。

［連携システム］
図３は、ノートＰＣ１００ａ、１００ｂが実装する連携システム２００ａ、２００ｂの構成を説明するための機能ブロック図である。連携システム２００ａ、２００ｂは、カメラ・モジュール１０１ａ、１０１ｂ、ＷｉＦｉモジュール１１７ａ、１１７ｂおよびＢＬＴＨモジュール１１３ａ、１１３ｂを除いて、ＣＰＵ１０５ａ、１０５ｂ、システム・メモリ１０７ａ、１０７ｂおよびチップセット１０９ａ、１０９ｂなどのハードウェアと、ＨＤＤ１１１ａ、１１１ｂが格納するデバイス・ドライバ、オペレーティング・システム、およびアプリケーション・プログラムなどのソフトウェアによる協働で実現することができる。

画像認識部２０１ａ、２０１ｂは、カメラ・モジュール１０１ａ、１０１ｂから所定のフレーム・レートで受け取った画像データから特徴情報を取得する。画像認識部２０１ａ、２０１ｂは、テンプレート２０２ａ、２０２ｂを参照して特徴情報に一致する操作被写体の共通情報および異種情報を抽出する。テンプレート２０２ａ、２０２ｂは、操作被写体の外形的特徴および連係操作が提供する共通情報および異種情報に対応する特徴情報で構成している。異種情報は共通情報を含んでいてもよい。

共通情報は、連携動作の数に応じて複数用意することができる。操作被写体が人体の部位であるときは、左右の手の甲、左右の手のひら、または左右の腕の外形的特徴を共通情報とすることができる。また共通情報は左右に揺動する手または上下に揺動する腕の揺動周期とすることができる。各共通情報に対しては、連携動作をするデバイスの数に応じて複数の異種情報を関連付けることができる。異種情報は、操作被写体が手の場合は各指とし、腕の場合は左右の腕とすることができる。画像認識部２０１ａ、２０１ｂは、テンプレート２０２ａ、２０２ｂから抽出した共通情報および異種情報を示す識別データを連携情報抽出部２０３ａ、２０３ｂに出力する。

連携情報抽出部２０３ａ、２０３ｂは、参照テーブル２０４ａ、２０４ｂを参照して、受け取った識別データに対応する連携動作の制御データを生成する。参照テーブル２０４ａ、２０４ｂは、共通情報に対応する識別データに関連付けた連携動作の制御データ、および異種情報に対応する識別データに関連付けた個別動作の制御データで構成した連係データを登録している。たとえば、左手１０の甲に対応する識別データをデータの転送動作という連携動作に対応する制御データに関連づける。また、親指１１に対応する識別データを送信動作という制御データに関連付け、小指１３に対応する識別データを受信動作という制御データに関連付けることができる。

連携動作制御部２０５ａ、２０５ｂは、連携情報抽出部２０３ａ、ｂから受け取った制御データまたは連携動作の相手となるノートＰＣから受け取った制御データに基づいてデータ送受信部２０９ａ、２０９ｂおよびアプリケーション実行部２０７ａ、２０７ｂの動作を制御する。アプリケーション実行部２０７ａ、２０７ｂは、ディスプレイ１０３ａ、１０３ｂおよびキーボード１１５ａ、１１５ｂを含み、連携動作に関連するアプリケーション・プログラムを実行する。データ送受信部２０９ａ、２０９ｂは、ＷｉＦｉモジュール１１７ａ、１１７ｂおおびＢＬＴＨモジュール１１３ａ、１１３ｂを通じた無線通信を制御する。

［連携動作］
図４は、連係操作でノートＰＣ１００ａから１００ｂに連携動作としてのデータ転送をするときの様子を説明するための図である。図５は、このときの連携システム２００ａ、２００ｂの動作を説明するためのフローチャートである。図５において、ブロック３０１〜３２１はノートＰＣ１００ａの動作に対応し、ブロック３５１〜３７１はノートＰＣ１００ｂの動作に対応する。データ転送の連携動作は、ノートＰＣ１００ａが実行する送信動作とノートＰＣ１００ｂが実行する受信動作で構成される。ブロック３０１、３５１では、ノートＰＣ１００ａ、１００ｂが、それぞれアクセスポイント（ＡＰ）２５３を通じてバックボーンのネットワーク２５１に接続されている。

ノートＰＣ１００ａ、１００ｂは、それぞれ同一のユーザに帰属しても異なるユーザに帰属してもよい。ノートＰＣ１００ａ、１００ｂはネットワーク２５１に接続されたときに、グローバルＩＰアドレスまたはプライベートＩＰアドレス（以下、ＩＰアドレス）が付与される。これらのＩＰアドレスはネットワーク２５１への接続のたびにＤＨＣＰサーバやルータなどにより異なる値が付与されるため、ノートＰＣ１００ａ、１００ｂはネットワーク２５１に接続した瞬間には、相互に相手のＩＰアドレスを認識していない。

相手のＩＰアドレスを取得する前のノートＰＣ１００ａ、１００ｂは、メール・アドレスを使って通信することができるが、メール・サーバからデータを取り出すまで時間がかかる。ノートＰＣ１００ａ、１００ｂは、相互に相手のＩＰアドレスを取得することで、メール・サーバを介在しないピアツーピア（Ｐ２Ｐ）という通信方式でシームレスな通信をすることができる。データ転送のための連携動作では一例においてＰ２Ｐ通信を利用する。

送信デバイスにかかるノートＰＣ１００ａは、アプリケーション実行部２０７ａが送信するファイルを選択しており、連携動作制御部２０５ａから送信先であるノートＰＣ１００ｂのＩＰアドレスを取得すれば、ＷｉＦｉモジュール１１７ａから当該ファイルを送信できる状態になっている。受信デバイスにかかるノートＰＣ１００ｂは、アプリケーション実行部２０７ｂがファイルを受信するためのアプリケーション・プログラムを実行していてもよいし、以下に説明する連係操作のなかで当該アプリケーション・プログラムを起動するようにしてもよい。

ここでは図１に示したように、操作被写体を左手１０とし、連係操作として左手１０を揺動させる場合を例示して説明する。カメラ・モジュール１０１ａ、１０１ｂは、動画モードまたは静止画モードで動作して所定のフレーム・レートで画像認識部２０１ａ、２０１ｂに画像データを出力している。画像認識部２０１ａ、２０１ｂは、撮影した画像から抽出した特徴情報とテンプレート２０２ａ、２０２ｂを比較する。

画像認識部２０１ａ、２０１ｂが、それぞれテンプレート２０２ａ、２０２ｂに登録されたいずれかの連係操作に対応する特徴情報に一致する共通情報を抽出したときに、連携情報抽出部２０３ａ、２０３ｂに当該共通情報および当該共通情報に関連付けられた異種情報を示す識別データを出力する。左手１０が提供する共通情報は、揺動する左手１０の静的な外形的特徴および動的な外形的特徴またはいずれか一方とすることができる。左手１０が提供する異種情報は、左右方向に揺動する親指１１と小指１３が提供する静的な外形的特徴および動的な外形的特徴またはいずれか一方とすることができる。

ブロック３０３、３５３で連携情報抽出部２０３ａ、２０３ｂが、それぞれ識別データを出力するとブロック３０５、３５５に移行する。ブロック３０５、３５５で連携情報抽出部２０３ａ、２０３ｂは、参照テーブル２０４ａ、２０４ｂを参照して、共通情報に対応する識別データから連携動作がデータの転送動作であることを認識すると、連携動作制御部２０５ａ、２０５ｂに連携動作を示す制御データを出力する。

ブロック３０７で連携情報抽出部２０３ａは、参照テーブル２０４ａを参照して、異種情報に対応する識別データから個別動作がデータの送信動作であることを認識すると制御データを出力する。ブロック３５７で連携情報抽出部２０３ｂは、参照テーブル２０４ｂを参照して、異種情報に対応する識別データから個別動作がデータの受信動作であることを認識すると制御データを出力する。連携動作を示す制御データを受け取った連携動作制御部２０５ａ、２０５ｂは相互に連携動作の適格性を検証するために、ブロック３０９、３５９で、データ送受信部２０９ａ、２０９ｂおよびＷｉＦｉモジュール１１７ａ、１１７ｂを通じて、ブロードキャスト・フレームを送信する。

ブロードキャスト・フレームは、ユーザデータとして共通情報の制御データ、異種情報の制御データ、認証情報、転送にかかるデータのファイル形式およびデータ転送を処理するアプリケーション・プログラムの識別子などの連携動作とデータ転送に必要なさまざまな情報を含む。なお連携動作制御部２０５ａ、２０５ｂは、ブロードキャスト・フレームに代えてマルチキャスト・フレームを送信するようにしてもよい。ブロック３１１、３６１で連携動作制御部２０５ａ、２０５ｂは、たとえば、ＰＫＩ方式で相互認証をする。

ブロック３１３、３６３で連携動作制御部２０５ａ、２０５ｂは、相手から受け取った共通情報の制御データと自らの連携情報抽出部２０３ａ、２０３ｂから受け取った共通情報の制御データから、相互に同一の連携動作を行う適格性を備えているか否かを判断する。共通情報が一致する場合は、適格性があると判断してブロック３１５、３６５に移行する。

ブロック３１５で連携動作制御部２０５ａは、ノートＰＣ１００ｂから受け取った異種情報の制御データと連携情報抽出部２０３ａから受け取った異種情報の制御データから、ブロック３１３で確認した連係操作を構成する送信動作の適格性を備えているか否かを判断する。連携動作制御部２０５ａは、ノートＰＣ１００ｂから受け取った異種情報の制御データと連携情報抽出部２０３ａから受け取った異種情報の制御データが、特定した連携動作を構成すること、および相反する異種情報であることを確認したときに、送信動作の適格性があると判断する。同様にしてブロック３６５で連携動作制御部２０５ｂは、受信動作の適格性があると判断する。

異種情報が一致しない場合および異種情報が親指１１と小指１３といった左手１０の相反部位を示すと判断したときまたはいずれか一方のときはブロック３１７、３６７に移行する。連携動作制御部２０５ａ、２０５ｂは、ブロック３１１〜３１５、３６１〜３６５で相互認証が成功し、かつ、連携動作の適格性があると判断したときに、ブロック３１７、３６７でブロードキャスト・フレームの送信者に自らのＩＰアドレスおよび必要に応じてポート番号などを送信してＰ２Ｐ通信を確立する。

ブロック３１９で連携動作制御部２０５ａは送信動作を開始し、ブロック３６９で連携動作制御部２０５ｂは受信動作を開始する。ブロック３２１で連携動作制御部２０５ａはアプリケーション実行部２０７ａに、選択していたファイルを転送するように指示する。アプリケーション実行部２０７ａはファイルをＷｉＦｉモジュール１１７ａから送信する。ブロック３７１で連携動作制御部２０５ｂは、アプリケーション実行部２０７ｂに指示して、ファイルを受信して所定のディレクトリに格納するように指示する。このとき連携動作制御部２０５ｂは、必要に応じてデータ転送にかかるファイルを受信するためのアプリケーション・プログラムを起動する。

ノートＰＣ１００ａと１００ｂは、Ｐ２Ｐ通信を確立しているため、連係操作からデータ転送の開始までは短時間で終了することができる。連携動作制御部２０５ａ、２０５ｂはＷｉＦｉモジュール１１７ａ、１１７ｂに、アドホック・モードのネットワークまたはＷｉＦｉダイレクトのネットワークを構築して、ＡＰ２５３を経由しないで直接データ転送をするようにしてもよい。上記の手順によれば、操作者がワンアクション操作をすると、ノートＰＣ１００ａ、１００ｂは所定の個別動作をして、連携動作を完遂することができる。また、左手１０の手のひらを撮影させるように揺動した連係操作や右手を使った連係操作をすることで、簡単に送信デバイスと受信デバイスを入れ替えることができる。

上記の手順は、本実施の形態にかかる一例を説明したもので、すべての要素が本発明に必須の要素ではなく、また、順番も本発明を限定するものではない。本発明の必須の要素は特許請求の範囲に記載のとおりである。たとえば、ブロック３１３、３１５とブロック３６３、３６５の順番はそれぞれ入れ替えても良いし、いずれか一方だけでもよい。ブロック３１７、３６７で連係操作により相互のＩＰアドレスを取得する例を説明したが、連係操作の前に相手のＩＰアドレスを取得して、Ｐ２Ｐ通信を確立するようにしてもよい。

ファイルの転送にＷｉＦｉモジュール１１７ａ、１１７ｂを利用する例を説明したが、ＢＬＴＨモジュール１１３ａ、１１３ｂを使用することもできる。この場合は、ブロードキャスト・フレームの送信は必要なく、ブロック３０９、３５９で一方のノートＰＣがペアリング要求をしてから相互にＰＩＮコードを交換してペアリングをすることで通信経路を構築することができる。

さらにはＷｉＦｉモジュール１１７ａ、１１７ｂに代えて、赤外線通信などの近距離無線通信（NFC: Near Field Communication）規格のデバイスを使用することもできる。また、本発明においては連携動作に無線通信だけでなく、有線の通信を利用することもできる。２台のデバイスの間で連携動作をする例を示したが、本発明は連係操作により操作被写体の共通情報と異種情報を抽出できるように並べた３台以上のデバイスに適用することもできる。

［連係操作による実行環境の移植］
図５の手順は、連係操作でアプリケーション・プログラムの実行環境を移植する際に利用することもできる。たとえば、ノートＰＣ１００ａは自席でだけ使用する大型のもので、ノートＰＣ１００ｂは会議室やモバイル環境で使用する小型のものであると想定する。ユーザはノートＰＣ１００ａを使ってブラウザを開き、多くのタブでＷｅｂサイトにアクセスしていると想定する。

このとき図１に示すような連係操作をすることで、それまでノートＰＣ１００ａで使用していたＷｅｂブラウザを中断して、アクセスしていたＷｅｂサイトの情報をノートＰＣ１００ｂに移植できる。また、同様にノートＰＣ１００ｂの実行環境をートＰＣ１００ａに移植することもできる。実行環境の移植は、Ｗｅｂブラウザにだけでなく文書作成プログラムやメーラーなどに適用することもできる。

［連係操作による入力デバイスの切り換え］
図６は、連係操作でスマートフォン１５０のタッチスクリーンをノートＰＣ１００ａのキーボード１１５ａに切り換える入力デバイスの切り換え方法を説明するための図である。スマートフォン１５０は、連携システム２００ｂを搭載している。一例として、切り換えにかかる入力デバイスをタッチスクリーンとキーボードとしているが、これらに限定する必要はなく、たとえば小型のタッチスクリーンと大型のタッチスクリーンでもよい。スマートフォン１５０とノートＰＣ１００ａは、ＡＰ２５３を経由してＷｉＦｉモジュール１１７ａ、１１７ｂで相互に通信ができる状態にある。

スマートフォン１５０でユーザが、アプリケーション実行部２０７ｂが表示する画面に対して、タッチスクリーンからデータを入力しているときに、多量のデータを入力したい場合、または、ソフトウェア・キーボードを消して画面の全体を見ながら入力したい場合がある。ユーザは、スマートフォン１５０をノートＰＣ１００ａに並べて配置して、カメラ・モジュールの前でたとえば左手１０を使った連係操作をする。連係操作に対応する連携動作は、タッチスクリーンからの入力を停止してノートＰＣ１００ａから受け取ったデータを入力データとして処理し、必要に応じてソフトウェア・キーボードの表示を消すスマートフォン１５０の個別動作と、キーボード１１５ａからの入力をＷｉＦｉモジュール１１７ａからスマートフォン１５０に送信するノートＰＣ１００ａの個別動作で構成することができる。

スマートフォン１５０では、画像認識部２０１ｂおよび連携情報抽出部２０３ｂを経由して受け取った制御データから連携動作制御部２０５ｂが連携動作と自らの個別動作を認識して、タッチスクリーンにソフトウェア・キーボードが表示されていればそれを消すようにアプリケーション実行部２０７ｂに指示する。連携動作制御部２０５ｂは、ＷｉＦｉモジュール１１７ｂを経由してノートＰＣ１００ａから受け取ったキーコードをタッチスクリーンからのキーコードにエミュレートしてアプリケーション実行部２０７ｂに送る。

ノートＰＣ１００ａでは、連携動作制御部２０５ａが連携動作と自らの個別動作を認識して、必要に応じてディスプレイ１０３ａに、キーボード１１５ａからスマートフォン１５０へ入力することを示す画像を表示するようにアプリケーション実行部２０７ａに指示する。連携動作制御部２０５ａは、キーボード１１５ａのキーコードを、ＷｉＦｉモジュール１１７ａを経由してスマートフォン１５０に送信する。ノートＰＣ１００ａは、キーコードをスマートフォン１５０のソフトウェア・キーボードのキーコードにエミュレートして送信してもよい。

［連係操作による出力デバイスの送信元の切り換え］
図７は、連係操作で出力デバイスとしての外部ディスプレイ１６０に対する送信元をノートＰＣ１００ａからノートＰＣ１００ｂに切り換える方法を説明するための図である。切り換えにかかる出力デバイスは一例として外部ディスプレイ１６０としているが、これに限定する必要はなく、プリンター、プロジェクター、またはスピーカーなどであってもよい。ノートＰＣ１００ａでは、アプリケーション実行部２０７ａがＢＬＴＨモジュール１１３ａを通じてディスプレイ１０３ａに表示している画像データを外部ディスプレイ１６０に出力して表示している。ノートＰＣ１００ｂでは、アプリケーション実行部２０７ｂが、画像データをディスプレイ１０３ｂに表示している。

ここでユーザはノートＰＣ１００ｂのディスプレイ１０３ｂが表示している画像データを外部ディスプレイ１６０に表示したいと考える。ユーザは図１のようにしてノートＰＣ１００ａ、１００ｂを並べてから連係操作をする。ノートＰＣ１００ａ、１００ｂの位置が相互に離れている場合は、両手を広げて上下に振り、左手をノートＰＣ１００ａが認識し、右手をノートＰＣ１００ｂが認識するようにして共通情報と異種情報を提供するようにしてもよい。

連係操作に対応する連携動作は、外部ディスプレイ１６０に対する画像データの出力を停止するノートＰＣ１００ａの個別動作と、外部ディスプレイ１６０に対する画像データの出力を開始するノートＰＣ１００ｂの個別動作で構成することができる。ノートＰＣ１００ａでは、画像認識部２０１ａおよび連携情報抽出部２０３ａを経由して受け取った制御データから連携動作制御部２０５ａが連携動作と自らの個別動作を認識して、アプリケーション実行部２０７ａに画像データの出力を停止するように指示する。

ノートＰＣ１００ｂでは、画像認識部２０１ｂおよび連携情報抽出部２０３ｂを経由して受け取った制御データから連携動作制御部２０５ｂが連携動作と自らの個別動作を認識して、アプリケーション実行部２０７ａに、ディスプレイ１０３ｂに出力するデータをＢＬＴＨモジュール１１３ｂを通じて外部ディスプレイ１６０にも出力するように指示する。ノートＰＣ１００ａ、１００ｂはそれぞれ連係操作を撮影したあとに、一切の情報を交換しないで出力デバイスを切り換えることも可能である。

しかし、ブロック３１６１〜３６５の手順によって、ノートＰＣ１００ａだけが個別動作を行い、ノートＰＣ１００ｂが個別動作をしない場合もあり得る。その場合、外部ディスプレイ１６０の表示は消えてしまう。これを防ぐために、連携動作制御部２０５ａは連携動作制御部２０５ｂが画像データの送信準備ができたことを確認してから画像データの出力を停止することが望ましい。この場合、ノートＰＣ１００ａ、１００ｂはＷｉＦｉモジュール１１７ａ、１１７ｂまたはＢＬＴＨモジュール１１３ａ、１１３ｂを通じて個別動作のタイミングを相互に確認することができる。

［連係操作によるストリーミング・ファイルの転送先の切り換え］
図８は、連係操作でストリーミング・データの転送先をノートＰＣ１００ａからスマートテレビ１７０に切り換える方法を説明するための図である。スマートテレビ１７０は、連携システム２００ｂを搭載している。ノートＰＣ１００ａでは、アプリケーション実行部２０７ａがＷｉＦｉモジュール１１７ａを通じてネットワークのサーバ２５２からストリーミング・ファイルをダウンロードしながら再生している。また、スマートテレビ１７０は、サーバ２５２に接続されているがストリーミング・ファイルをダウンロードしていないか、ノートＰＣ１００ａがダウンロードしているストリーミング・ファイルとは異なるストリーミング・ファイルをダウンロードしている。

ここでユーザは、ノートＰＣ１００ａが途中までダウンロードしたストリーミング・ファイルを、スマートテレビ１７０で続きからダウンロードして表示したいと考える。ユーザはノートＰＣ１００ａをスマートテレビ１７０に並べてから連係操作をする。連係操作に対応する連携動作は、ダウンロードの停止と再生開始位置をサーバ２５２に通知するノートＰＣ１００ａの個別動作と、サーバ２５２からダウンロードの開始をするスマートテレビ１７０の個別動作で構成することができる。

ノートＰＣ１００ａでは、画像認識部２０１ａおよび連携情報抽出部２０３ａを経由して受け取った制御データから連携動作制御部２０５ａが連携動作と自らの個別動作を認識して、サーバ２５２にストリーミング・ファイルの転送先のＩＰアドレスおよび再生時間を送って、スマートテレビ１７０に再生時間が継続する位置からストリーミング・ファイルを送るように要求する。スマートテレビ１７０では、画像認識部２０１ｂおよび連携情報抽出部２０３ｂを経由して受け取った制御データから連携動作制御部２０５ｂが連携動作と自らの個別動作を認識して、アプリケーション実行部２０７ｂにストリーミング・ファイルを受信するように指示する。

これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。

１０ 左手（操作被写体）
１１ 親指
１３ 小指
１００ａ、１００ｂ ノートＰＣ
１０１ａ、１０１ｂ カメラ・モジュール
１０２ａ、１０２ｂ 動画像のフレーム
１５０ スマートフォン
１６０ 外部ディスプレイ
１７０ スマートテレビ
２００ａ、２００ｂ 連携システム
２５１ ネットワーク
２５３ アクセスポイント

Claims (22)

1. それぞれカメラを搭載する第１の電子機器と第２の電子機器が連携動作をする方法であって、
   前記第１の電子機器が搭載する第１のカメラと前記第２の電子機器が搭載する第２のカメラが所定の被写体を撮影するステップと、
   前記撮影した被写体の特徴情報から各電子機器が前記連携動作を構成する異なる個別動作を認識するステップと、
   各電子機器がそれぞれ前記認識した異なる個別動作を実行するステップと
   を有する方法。
2. 前記被写体が人体の部位で、前記撮影するステップがワンアクション操作された前記人体の部位を撮影するステップを含む請求項１に記載の方法。
3. 前記認識するステップが、前記被写体から所定の連携動作を認識するための共通情報と前記所定の連携動作を構成する個別動作を認識するための異種情報を抽出する請求項１または請求項２に記載の方法。
4. 前記認識するステップが、前記被写体の静的な外形的特徴から前記共通情報または前記異種情報を抽出する請求項３に記載の方法。
5. 前記静的な外形的特徴を、物理的に一体の前記被写体の非対称な部位から抽出するステップを有する請求項４に記載の方法。
6. 前記認識するステップが、前記被写体の動的な外形的特徴から前記共通情報または前記異種情報を抽出する請求項３に記載の方法。
7. 前記動的な外形的特徴を、前記被写体の運動情報または前記被写体の形状、模様または色彩の変化から抽出するステップを有する請求項６に記載の方法。
8. 前記撮影した被写体から各電子機器が前記連携動作を認識するステップと、
   前記認識するステップに応答して前記第１の電子機器と前記第２の電子機器がピアツーピアの無線通信を確立するステップとを
   有する請求項３に記載の方法。
9. 前記無線通信を通じて前記第１の電子機器と前記第２の電子機器が前記抽出した前記異種情報を相互に交換し、相反する情報であると判断したときにそれぞれが前記個別動作を実行するステップを有する請求項８に記載の方法。
10. 前記無線通信を通じて前記第１の電子機器と前記第２の電子機器が前記共通情報を交換し一致していると判断したときにそれぞれが前記個別動作を実行する請求項８に記載の方法。
11. 前記連携動作がデータの転送動作で、前記第１の電子機器の個別動作が前記データの送信動作で前記第２の電子機器の個別動作が前記データの受信動作である請求項１または請求項２に記載の方法。
12. 前記連携動作が入力デバイスの切換動作で、前記第１の電子機器の個別動作が前記第１の電子機器の入力デバイスを停止する動作で、前記第２の電子機器の個別動作が前記第２の電子機器の入力デバイスに対する入力情報を前記第１の電子機器に送信する動作である請求項１または請求項２に記載の方法。
13. 前記連携動作がアプリケーション・プログラムの実行環境の移植をする動作で、前記第１の電子機器の個別動作が前記第１の電子機器が実行しているアプリケーション・プログラムの編集中のデータを送信する動作で、前記第２の電子機器の個別動作が前記編集中のデータを受信して前記アプリケーション・プログラムに対応するアプリケーション・プログラムに適用する動作である請求項１または請求項２に記載の方法。
14. 前記連携動作がサーバからダウンロードするストリーミング・ファイルの転送先を切り換える動作で、前記第１の電子機器の個別動作が現在ダウンロードしている前記ストリーミング・ファイルの転送先を前記第２の電子機器に変更する動作で、前記第２の電子機器の個別動作が前記ストリーミング・ファイルをダウンロードする動作である請求項１または請求項２に記載の方法。
15. 前記連携動作が出力デバイスの送信元を切り換える動作で、前記第１の電子機器の個別動作が前記第１の電子機器が保有するデータの前記出力デバイスに対する送信を停止する動作で、前記第２の電子機器の個別動作が前記第２の電子機器が保有するデータを前記出力デバイスに送信する動作である請求項１または請求項２に記載の方法。
16. 第１の個別動作と第２の個別動作で構成した連携動作をすることが可能な他の電子機器との間で相反する前記第１の個別動作または前記第２の個別動作をすることが可能な電子機器であって、
    被写体をカメラで撮影した画像から第１の特徴または第２の特徴を抽出する画像認識部と、
    前記第１の特徴と前記第１の個別動作を関連付け前記第２の特徴と前記第２の個別動作を関連付けた参照テーブルと、
    前記参照テーブルを参照して前記第１の個別動作または前記第２の個別動作を抽出する連携情報抽出部と、
    前記第１の個別動作または前記第２の個別動作するように前記電子機器を制御する連携動作制御部と
    を有する電子機器。
17. 前記他の電子機器と通信が可能な無線モジュールを有し、
    前記連携動作制御部は前記第１の特徴または前記第２の特徴が抽出されたときに前記他の電子機器との通信を確立し、前記第１の特徴または前記第２の特徴を前記他の電子機器と交換する請求項１６に記載の電子機器。
18. 前記被写体が手で、前記第１の特徴と前記第２の特徴が指の外形的特徴である請求項１６または請求項１７に記載の電子機器。
19. 前記被写体が腕で、前記第１の特徴と前記第２の特徴が左右の腕の外形的特徴である請求項１６または請求項１７に記載の電子機器。
20. 第１の個別動作と第２の個別動作で構成した連携動作することが可能な他の電子機器との間で相反する前記第１の個別動作または前記第２の個別動作をすることが可能な電子機器に、
    カメラで被写体の画像を撮影する機能と、
    前記被写体の特徴情報に基づいて前記第１の個別動作または前記第２の個別動作を認識する機能と、
    前記第１の個別動作を認識したときに前記第１の個別動作を実行する機能と、
    前記第２の個別動作を認識したときに前記第２の個別動作を実行する機能と
    を実現させるためのコンピュータ・プログラム。
21. 前記被写体の特徴情報に基づいて前記他の電子機器との無線通信を確立する機能を含む請求項２０に記載のコンピュータ・プログラム。
22. 認識した前記第１の個別動作または前記第２の個別動作を示すデータを前記他の電子機器に送信する機能と、
    前記第１の個別動作または前記第２の個別動作を示すデータを前記他の電子機器から受信する機能と、
    前記送信した個別動作と前記受信した個別動作を比較する機能と
    を含む請求項２１に記載のコンピュータ・プログラム。

Images