JP2017194923A

JP2017194923A - ミラーリングシステム及び操作検出方法

Info

Publication number: JP2017194923A
Application number: JP2016086320A
Authority: JP
Inventors: 大秋三浦; Hiroaki Miura
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2016-04-22
Filing date: 2016-04-22
Publication date: 2017-10-26

Abstract

【課題】操作の検出精度を高くすることができるミラーリングシステム及び操作検出方法を提供すること。【解決手段】１つの態様において、第１タッチスクリーンディスプレイと、第１制御部と、第１通信部と、を備える第１通信機器と、第２通信部と、第２タッチスクリーンディスプレイと、第２制御部と、を備える第２通信機器と、を含み、第２通信部は、第１通信部に第２タッチスクリーンディスプレイに表示させる画像の情報を送信し、第１制御部は、第１通信部で受信した、第２タッチスクリーンディスプレイに表示させる画像を第１タッチスクリーンディスプレイに表示させ、第２制御部は、連続的な接触操作であると判定する基準となる遅延時間に基づいて第１操作情報に含まれる操作を判定し、判定結果の操作に基づいて、第２タッチスクリーンディスプレイの表示を制御し、かつ、第２通信部及び第１通信部の通信状況に基づいて、遅延時間を設定する。【選択図】図１

Description

本出願は、２つの携帯通信機器で画面を共有するミラーリングシステム及び操作検出方法に関する。

複数の携帯通信機器で画面を共有するミラーリング技術には、双方向で操作を入力可能なミラーリングシステムがある（特許文献１参照）。

特表２０１４−５０９４７６号公報

双方向で操作を検出する場合、入力された操作に基づいた画面制御をそれぞれの携帯通信機器で行う場合がある。この場合、１つの操作がそれぞれの携帯通信機器で異なる操作と判定されてしまうことがあり、ミラーリングシステムとして問題が生じる。操作の検出精度を高くすることができるミラーリングシステム及び操作検出方法に対するニーズがある。

１つの態様に係るミラーリングシステムは、第１タッチスクリーンディスプレイと、前記第１タッチスクリーンディスプレイの表示を制御する第１制御部と、前記第１タッチスクリーンディスプレイで検出した第１操作情報を出力する第１通信部と、を備える第１通信機器と、前記第１通信部とデータを送受信する第２通信部と、画像を表示させる第２タッチスクリーンディスプレイと、前記第１操作情報に基づいて、前記第２タッチスクリーンディスプレイの表示を制御する第２制御部と、を備える第２通信機器と、を含み、前記第２通信部は、前記第１通信部に前記第２タッチスクリーンディスプレイに表示させる画像の情報を送信し、前記第１制御部は、前記第１通信部で受信した、前記第２タッチスクリーンディスプレイに表示させる画像を前記第１タッチスクリーンディスプレイに表示させ、前記第２制御部は、連続的な接触操作であると判定する基準となる遅延時間に基づいて前記第１操作情報に含まれる操作を判定し、判定結果の操作に基づいて、前記第２タッチスクリーンディスプレイの表示を制御し、かつ、前記第２通信部及び前記第１通信部の通信状況に基づいて、前記遅延時間を設定する。

１つの態様に係る操作検出方法は、第１タッチスクリーンディスプレイと、前記第１タッチスクリーンディスプレイの表示を制御する第１制御部と、前記第１タッチスクリーンディスプレイで検出した第１操作情報を出力する第１通信部と、を備える第１通信機器と、前記第１通信部とデータを送受信する第２通信部と、画像を表示させる第２タッチスクリーンディスプレイと、前記第１操作情報に基づいて、前記第２タッチスクリーンディスプレイの表示を制御する第２制御部と、を備える第２通信機器と、を含むミラーリングシステムの操作検出方法であって、前記第２制御部が、連続的な接触操作であると判定する基準となる遅延時間に基づいて前記第１操作情報に含まれる操作を判定し、判定結果の操作に基づいて、前記第２タッチスクリーンディスプレイの表示を制御するステップと、前記第２タッチスクリーンディスプレイに表示させる画像の情報を送信し、前記第２タッチスクリーンディスプレイに表示させる画像を前記第１タッチスクリーンディスプレイに表示させるステップと、前記第２通信部及び前記第１通信部の通信状況に基づいて、前記遅延時間を設定するステップと、を含む。

図１は、ミラーリングシステムの概略構成を示す図である。図２は、携帯通信機器のブロック図である。図３は、他方の携帯通信機器のブロック図である。図４は、ミラーシングシステムの動作を示すシーケンス図である。図５は、操作を検出する携帯通信機器の処理の一例を示すフローチャートである。図６は、通信で操作情報を取得した携帯通信機器の処理の一例を示すフローチャートである。

本出願に係るミラーリングシステム及び操作検出方法を実施するための実施形態を、図面を参照しつつ詳細に説明する。

（実施形態）
図１から図３を参照しながら、実施形態に係るミラーリングシステムについて説明する。図１は、ミラーリングシステムの概略構成を示す図である。図２は、携帯通信機器のブロック図である。図３は、他方の携帯通信機器のブロック図である。

ミラーリングシステム１００は、第１携帯通信機器２０と第２携帯通信機器３０と、を有する。第１携帯通信機器２０及び第２携帯通信機器３０は、スマートフォン、タブレット等、通信機能と、タッチスクリーンディスプレイを備えている通信機器である。本実施形態では、ミラーリングシステム１００の通信機器を携帯通信機器としたが、固定された通信機器、いわゆるパーソナルコンピュータや、画面への操作を検出できる機能を備えるプロジェクタ等であってもよい。

第１携帯通信機器２０と第２携帯通信機器３０は、通信部を用いた通信４２で画面の情報（データ）の送受信を行い、それぞれの表示部の少なくとも一部に同一の画像を表示するミラーリング機能を有する。ミラーリング機能は、例えば、Ｍｉｒａｃａｓｔ（登録商標）又はＡｉｒＰｌａｙ（登録商標）と称する技術を使用する。Ｍｉｒａｃａｓｔは、Ｗｉ−ＦｉＡｌｌｉａｎｃｅによって策定された機器間の画像の無線伝送技術である。本実施形態において、第１携帯通信機器２０と第２携帯通信機器３０とは、Ｍｉｒａｃａｓｔを使用してミラーリング機能を実現するものとして説明する。本実施形態のミラーリングシステム１００は、第１携帯通信機器２０と第２携帯通信機器３０との両方で共有している画面を操作することができる。本実施形態では、第１携帯通信機器２０に入力した操作を第２携帯通信機器３０に送信し、第２携帯通信機器３０が第１携帯通信機器２０に入力した操作に基づいて処理を実行する場合として説明する。

また、ミラーリングシステム１００の第１携帯通信機器２０と第２携帯通信機器３０は、第１携帯通信機器２０と第２携帯通信機器３０との間で実行する通信４２と並行して、他の通信機器４０と通信４４を実行することができる。ここで、本実施形態の通信４２、４４は、近距離無線通信を行う。

次に、図２及び図３を参照しながら、第１携帯通信機器２０及び第２携帯通信機器３０の構成について説明する。以下の説明においては、同様の構成要素に同一の符号を付すことがある。さらに、重複する説明は省略することがある。

図２は、第１携帯通信機器２０のブロック図である。図２に示すように、第１携帯通信機器２０は、タッチパネル２と、操作部３と、通信部６ａと、通信部６ｂと、レシーバ７と、マイク８と、記憶部９と、制御部１０と、スピーカ１１と、を有する。

タッチパネル２は、表示部２Ａと、タッチセンサ２Ｂとを有する。図２の例では、表示部２Ａ及びタッチセンサ２Ｂはそれぞれ略長方形状であるが、表示部２Ａ及びタッチセンサ２Ｂの形状はこれに限定されない。表示部２Ａ及びタッチセンサ２Ｂは、それぞれが多角形又は円形等のどのような形状もとりうる。図３の例では、表示部２Ａ及びタッチセンサ２Ｂは重ねて配置されているが、表示部２Ａ及びタッチセンサ２Ｂの配置はこれに限定されない。表示部２Ａ及びタッチセンサ２Ｂは、例えば、並べて配置されてもよいし、離して配置されてもよい。図３の例では、表示部２Ａの長辺はタッチセンサ２Ｂの長辺に沿っており、表示部２Ａの短辺はタッチセンサ２Ｂの短辺に沿っているが、表示部２Ａ及びタッチセンサ２Ｂの重ね方はこれに限定されない。表示部２Ａとタッチセンサ２Ｂとが重ねて配置される場合、例えば、表示部２Ａの１ないし複数の辺がタッチセンサ２Ｂのいずれの辺とも沿っていなくてもよい。

表示部２Ａは、液晶ディスプレイ（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、有機ＥＬディスプレイ（ＯＥＬＤ：ＯｒｇａｎｉｃＥｌｅｃｔｒｏ−ＬｕｍｉｎｅｓｃｅｎｃｅＤｉｓｐｌａｙ）、又は無機ＥＬディスプレイ（ＩＥＬＤ：ＩｎｏｒｇａｎｉｃＥｌｅｃｔｒｏ−ＬｕｍｉｎｅｓｃｅｎｃｅＤｉｓｐｌａｙ）等の画面を有する表示デバイスを備える。表示部２Ａは、制御部１０からの画像情報に基づいて、文字、画像、記号、及び図形等を表示する。

タッチセンサ２Ｂは、表示部２Ａに表示された画像に対する操作を検出する。タッチセンサ２Ｂは、タッチセンサ２Ｂに対する、例えば、指Ｆ、ペン、又はスタイラスペン等の接触を検出する。タッチセンサ２Ｂは、複数の指Ｆ、ペン、又はスタイラスペン等がタッチセンサ２Ｂに接触した位置を検出することができる。タッチセンサ２Ｂの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式（又は超音波方式）、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。

タッチセンサ２Ｂは、表示部２Ａに対する接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、及び接触が検出された回数の少なくとも一つを検出してタッチセンサ接触情報を制御部１０に出力する。

本実施形態において、タッチセンサ２Ｂには、操作者によって、例えば、「タッチ」、「ロングタッチ」、「リリース」、「スワイプ」、「タップ」、「ダブルタップ」、「ロングタップ」、「ドラッグ」、「フリック」、「ピンチイン」、及び「ピンチアウト」の少なくとも一つが操作として入力され得る。

タッチセンサ２Ｂは、接触の検出開始、検出停止が、制御部１０で制御される。より詳しくは、タッチセンサ２Ｂは、第１携帯通信機器２０の通常の使用時は、制御部１０で、タッチセンサ２Ｂでの接触の検出が有効とされる。具体的には、タッチセンサ２Ｂは、第１携帯通信機器２０の通常の使用時は、制御部１０で、タッチセンサ２Ｂに対する接触が検出開始されている。このとき、タッチセンサ２Ｂは、タッチセンサ２Ｂに対する接触を検出して第一接触情報を制御部１０に出力する。

操作部３は、利用者の操作を受け付けるための１ないし複数のデバイスを有する。利用者の操作を受け付けるためのデバイスは、例えば、キー、ボタン等を含む。操作部３は、受け付けた操作に応じた信号を制御部１０へ入力する。

通信部６ａは、第１の通信方式で通信を行う通信部である。本実施形態において、第１の通信方式は、公衆回線ネットワーク９０を介して通信を行うための２Ｇ、３Ｇ、４Ｇ等の通信方式である。公衆回線ネットワーク９０を介して通信を行うための通信規格には、例えば、ＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（ＷｉｄｅｂａｎｄＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＣｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（ＧｌｏｂａｌＳｙｓｔｅｍｆｏｒＭｏｂｉｌｅＣｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（ＰｅｒｓｏｎａｌＨａｎｄｙ−ｐｈｏｎｅＳｙｓｔｅｍ）等が含まれる。第１の通信方式は、ＷｉＭＡＸ（ＷｏｒｌｄｗｉｄｅＩｎｔｅｒｏｐｅｒａｂｉｌｉｔｙｆｏｒＭｉｃｒｏｗａｖｅＡｃｃｅｓｓ）のように公衆回線ネットワーク９０を介してデータ通信を行うための通信方式であってもよい。第１の通信方式がデータ通信を行うための通信方式である場合、通話は、データ伝送の技術と、ＶｏＩＰ（ＶｏｉｃｅｏｖｅｒＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）等の音声をデータとして伝送する技術とを組み合わせることによって実現される。通信部６ａは、公衆回線ネットワーク９０を介して通信を行うための複数の通信方式をサポートしてもよい。

通信部（第１通信部）６ｂは、第２の通信方式で通信を行う通信部である。本実施形態において、第２の通信方式は、近距離無線通信方式である。近距離無線通信方式には、ＷｉＦｉ（登録商標）、ＩＥＥＥ８０２．１１（ＩＥＥＥは、ＴｈｅＩｎｓｔｉｔｕｔｅｏｆＥｌｅｃｔｒｉｃａｌａｎｄＥｌｅｃｔｒｏｎｉｃｓＥｎｇｉｎｅｅｒｓ，Ｉｎｃ．の略称である）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＤＥＣＴ（ＤｉｇｉｔａｌＥｎｈａｎｃｅｄＣｏｒｄｌｅｓｓＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、Ｚ−Ｗａｖｅ、Ｗｉ−Ｓｕｎ（ＷｉｒｅｌｅｓｓＳｍａｒｔＵｔｉｌｉｔｙＮｅｔｗｏｒｋ）等が含まれる。通信部６ｂは、複数の近距離無線通信方式をサポートしてもよい。

レシーバ７及びスピーカ１１は、音出力部である。レシーバ７及びスピーカ１１は、制御部１０から入力される音信号を音として出力する。レシーバ７は、例えば、通話時に相手の声を出力するために用いられる。スピーカ１１は、例えば、着信音及び音楽を出力するために用いられる。レシーバ７及びスピーカ１１の一方が、他方の機能を兼ねてもよい。マイク８は、音入力部である。マイク８は、利用者の音声等を音信号へ変換して制御部１０へ入力する。

記憶部９は、プログラム及びデータを記憶する。記憶部９は、制御部１０の処理結果を一時的に記憶する作業領域としても利用される。記憶部９は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。記憶部９は、複数の種類の記憶媒体を含んでよい。記憶部９は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部９は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

記憶部９は、例えば、通信制御プログラム９ａ及び接続関連データ９ｂを記憶する。通信制御プログラム９ａは、通信部６ａを介した公衆無線通信網を用いた通信や、通信部６ｂを介した近距離無線通信による通信を実行する機能を提供する。接続関連データ９ｂは、他の携帯通信機器との接続に関する情報を含む。

通信制御プログラム９ａは、近距離無線通信による通信を確立する機能、近距離無線通信を用いたミラーリング機能を提供する。本実施形態の通信制御プログラム９ａは、ミラーリング時に一方の携帯通信機器から他方の携帯通信機器に送信する操作情報の検出に関する設定を調整する機能を提供する。具体的には、通信制御プログラム９ａは、操作情報を受信した場合に受信した操作情報が連続操作の情報であるか、つまり前に受信した操作情報と連続する操作の情報であるか否かを判定する時間の基準である遅延時間を調整する機能を提供する。

接続関連データ９ｂには、近距離無線通信を確立するための情報、ミラーリングを許可する通信機器の情報及び遅延時間を設定する基準の条件の情報を含む。遅延時間を設定する基準の情報としては、操作情報の間隔の情報に基づいて遅延時間を決定する基準、例えば、複数の操作情報の間隔のうち最も長い間隔を用いるか、平均を用いるか等である。また、遅延時間を設定する基準の情報としては、遅延時間を調整するタイミングの情報も記憶している。

制御部１０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）、ＭＣＵ（ＭｉｃｒｏＣｏｎｔｒｏｌＵｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、およびコプロセッサを含むが、これらに限定されない。制御部１０は、第１携帯通信機器２０の動作を統括的に制御して各種の機能を実現する。

具体的には、制御部１０は、記憶部９に記憶されているデータを必要に応じて参照しつつ、記憶部９に記憶されているプログラムに含まれる命令を実行する。そして、制御部１０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、タッチパネル２、操作部、通信部６ａ及び６ｂ、レシーバ７、スピーカ１１を含むが、これらに限定されない。制御部１０は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、操作部３、通信部６ａ及び６ｂ及びマイク８を含むが、これらに限定されない。制御部１０は、通信制御プログラム９ａを実行することにより、操作検出方法における第１携帯通信機器２０の動作を実行する。

図２に示した第１携帯通信機器２０の機能的な構成は、例であり、本発明の要旨を損なわない範囲において適宜変更してよい。

図３は、他方の第２携帯通信機器３０のブロック図である。図３に示すように、第２携帯通信機器３０は、タッチパネル２と、操作部３と、通信部６ａと、通信部（第２通信部）６ｂと、レシーバ７と、マイク８と、記憶部９と、制御部１０と、スピーカ１１と、を有する。

記憶部９は、例えば、通信制御プログラム９ｅ、接続関連データ９ｆを記憶する。通信制御プログラム９ｅは、通信制御プログラム９ａと同様のプログラムである。接続関連データ９ｆは、第１携帯通信機器２０の接続関連データ９ｂと同様の構成になっている。

制御部１０は、通信制御プログラム９ｅを実行することにより、図１及び図２に示した通信制御方法における第２携帯通信機器３０の動作を実行する。

次に、図４を用いて、ミラーリングシステム１００の動作について説明する。図４は、ミラーシングシステムの動作を示すシーケンス図である。図４に示す処理は、第１携帯通信機器２０の通信部６ｂと、第２携帯通信機器３０の通信部６ｂとで近距離無線通信を用いてデータ（情報）の送受信を行い、画面の共有、つまりミラーリングを行う処理の一例を示している。図４に示す処理は、第２携帯通信機器３０から第１携帯通信機器２０に向けてミラーリングの要求を行い、かつ、第１携帯通信機器２０から第２携帯通信機器３０に操作の情報を送信し、第２携帯通信機器３０で画面の表示制御を実行する場合の処理を示している。なお、図４に示す処理は、第１携帯通信機器２０と第２携帯通信機器３０との間で近距離無線の通信が確立している状態である。

まず、ミラーリングシステム１００は、第２携帯通信機器３０から第１携帯通信機器２０に向けて、ミラーリング要求を送信する（ステップＳ１２）。ミラーリング要求は、画面の同期を要求する情報である。第１携帯通信機器２０は、ミラーリング要求を受信した場合、第２携帯通信機器３０にミラーリング許可を送信する（ステップＳ１４）。ミラーリング許可は、画面の同期を許可する情報である。ミラーリングシステム１００は、ミラーリング許可を送信したら、第１携帯通信機器２０と第２携帯通信機器３０とでのミラーリング状態を開始する（ステップＳ１６）。具体的には、第１携帯通信機器２０と第２携帯通信機器３０のそれぞれの表示部２Ａの少なくとも一部に同じ画面（画像）を表示する。ミラーリングシステム１００は、通信部６ｂを介した通信で、第２携帯通信機器３０が作成した画面を第１携帯通信機器２０に送信し、第１携帯通信機器２０の表示部２Ａに表示させる。また、ミラーリングシステム１００は、他の携帯通信機器から送信された操作情報が連続操作であるかを判定する基準となる時間の遅延時間を設定する。

第１携帯通信機器２０は、ミラーリングを開始したら、通信の状態変化があるかを判定する（ステップＳ１８）。具体的には、第１携帯通信機器２０は、第１携帯通信機器２０の通信部６ｂ及び第２携帯通信機器３０の通信部６ｂの少なくとも一方の通信の状態は変化したかを判定する。ここで、通信の状態の変化とは、通信部６ｂが近距離無線通信を行う通信機器（第１携帯通信機器２０と第２携帯通信機器３０を除く通信機器）の変化である。通信の状態の変化には、第１携帯通信機器２０と第２携帯通信機器３０を除く通信機器と通信していない状態から通信した状態への変化、第１携帯通信機器２０と第２携帯通信機器３０を除く通信機器と通信している状態から通信していない状態への変化、通信機器と通信しているチャネルの切り換えが含まれる。第１携帯通信機器２０は、近距離無線通信で情報を取得することで、第２携帯通信機器３０の通信の状態の変化を判定することができる。

第１携帯通信機器２０は、通信の状態変化がない（ステップＳ１８でＮｏ）と判定した場合、ステップＳ２８の処理に進む。第１携帯通信機器２０は、通信の状態変化がない（ステップＳ１８でＮｏ）と判定した場合、座標外操作データを所定回数送信する処理（ステップＳ２０、２４）を実行する。

図５は、操作を検出する携帯通信機器の処理の一例を示すフローチャートである。図５に示す処理は、第１携帯通信機器２０の制御部１０が各部の動作を実行することで実現することができる。第１携帯通信機器２０は、通信部６ｂの通信状態が変化したことを検出した場合、図５に示す処理を実行する。第１携帯通信機器２０は、座標外操作データを出力する（ステップＳ５２）。第１携帯通信機器２０は、座標外操作データを出力した場合、座標外操作データの出力回数＝所定回数であるかを判定する（ステップＳ５４）。所定回数は、例えば１０回である。回数は特に限定されない。

第１携帯通信機器２０は、座標外操作データの出力回数＝所定回数ではない（ステップＳ５４でＮｏ）と判定した場合、所定時間が経過したかを判定する（ステップＳ５６）。具体的には、直線の座標外操作データを出力してから操作情報を出力する時間間隔が経過したかを判定する。所定時間は、例えば５０ｍｓである。時間も特に限定されない。

第１携帯通信機器２０は、所定時間が経過していない（ステップＳ５６でＮｏ）と判定した場合、ステップＳ５６に戻る。第１携帯通信機器２０は、所定時間が経過した（ステップＳ５６でＹｅｓ）と判定した場合、ステップＳ５２に戻り、座標外操作データを出力する。第１携帯通信機器２０は、座標外操作データの出力回数＝所定回数である（ステップＳ５４でＹｅｓ）と判定した場合、本処理を終了する。第１携帯通信機器２０は、図５に示す処理を実行することで、操作情報を出力する時間間隔で、座標外操作データを所定回数出力する。

次に、第２携帯通信機器３０は、座標外操作データを受信したら遅延時間検出を開始し（ステップＳ２２）、所定回数、本実施形態では、１０回目の座標外操作データを受信し、所定の処理を実行した後、遅延時間の検出を終了する（ステップＳ２６）。

図６は、通信で操作情報を取得した携帯通信機器の処理の一例を示すフローチャートである。次に、図６を用いて、通信で座標外操作データを取得した携帯通信機器、本実施形態では第２携帯通信機器３０で実行する処理について説明する。図６に示す処理は、第２携帯通信機器３０の制御部１０が各部の動作を実行することで実現することができる。第２携帯通信機器３０は、ミラーリングを実行している間、図６に示す処理を繰り返し実行する。図６は、ステップＳ２２からステップＳ２６の間で実行される処理となる。

第２携帯通信機器３０は、座標外操作データの検出があるかを判定する（ステップＳ６２）。つまり、第２携帯通信機器３０は、通信部６ｂで受信した操作データが座標外操作データであるかを判定する。第２携帯通信機器３０は、座標外操作データではない（ステップＳ６２でＮｏ）と判定した場合、本処理を終了する。

第２携帯通信機器３０は、座標外操作データである（ステップＳ６２でＹｅｓ）と判定した場合、遅延時間の検出を開始する（ステップＳ６４）。第２携帯通信機器３０は、遅延時間の検出を開始したら、所定回数の座標外操作データを取得したかを判定する（ステップＳ６６）。所定回数は、設定された回数であり、ステップＳ６２での座標外操作データの取得も含む回数である。所定回数は、基本的に、第２携帯通信機器３０で設定されている座標外操作データの送信回数と同じ回数である。

第２携帯通信機器３０は、所定回数の座標外操作データを取得していない（ステップＳ６６でＮｏ）と判定した場合、ステップＳ６６に戻る。第２携帯通信機器３０は、所定回数の座標外操作データを取得するまで、ステップＳ６６の処理を繰り返す。第２携帯通信機器３０は、ステップＳ６６の処理を繰り返している間に、第１携帯通信機器２０から送信された情報を取得し、送信された座標外操作データを取得し、保存する。

第２携帯通信機器３０は、所定回数の座標外操作データを取得した（ステップＳ６６でＹｅｓ）と判定した場合、取得した座標外操作データに基づいて、遅延時間を算出し（ステップＳ６８）、算出した遅延時間を新たな遅延時間に設定する（ステップＳ６９）。ここで、遅延時間は、送信される複数回の座標外操作データに含まれる時間情報と受信した時間情報との比較と（通信による遅れ時間）と実際の操作情報の送信間隔とに基づいて設定する。送信される複数回の座標外操作データに含まれる時間情報と受信した時間情報とを比較することで、それぞれの座標外操作データの送信に係る時間を算出することができる。なお、座標外操作データの送信間隔を予め設定している場合、座標外操作データに時間情報を含まなくてもよい。

次に、ミラーリングシステム１００は、通信の状態の変化がない場合、または、遅延時間検出を終了した場合、第１携帯通信機器２０に操作が入力されると、第１携帯通信機器２０から第２携帯通信機器３０に操作データを送信する（ステップＳ２８）。第２携帯通信機器３０は、遅延時間を加味して受信した操作情報を連続操作であるかを判定し、判定した結果に基づいて、処理を実行し、表示部２Ａに表示する画面を制御する。ここで、第２携帯通信機器３０は、遅延時間よりも短い間隔で複数の操作情報を受信し、受信した操作情報が連続と判定できる操作、例えば、操作位置の移動が所定距離以内である場合、連続操作と判定する。第２携帯通信機器３０は、遅延時間よりも長い間隔で複数の操作情報を受信した場合、それぞれを別々の操作として検出する。また、第２携帯通信機器３０は、生成した画像データを第１携帯通信機器２０に送信する（ステップＳ３０）。

また、第１携帯通信機器２０は、ステップＳ１８の処理して、所定時間が経過した後、またはステップＳ３０の処理を実行後、ミラーリング終了かを判定する（ステップＳ３２）。第１携帯通信機器２０は、ミラーリングが終了ではない（ステップＳ３２でＮｏ）と判定した場合、ステップＳ１８に戻る。第１携帯通信機器２０は、ミラーリングが終了である（ステップＳ３２でＹｅｓ）と判定した場合、第１携帯通信機器２０と第２携帯通信機器３０とで、ミラーリング状態を終了し（ステップＳ３４）、本処理を終了する。

本実施形態のミラーリングシステム１００は、第１携帯通信機器２０及び第２携帯通信機器３０の近距離無線通信を行う通信部６ｂの少なくとも一方の通信状態が変化した場合、遅延時間を調整する処理を実行することで、通信部６ｂを用いた近距離無線通信の状態に基づいた遅延時間を設定することができる。これにより、操作情報の送信間隔が長くなる近距離無線通信の状態の場合に連続操作を連続していない操作と判定することを抑制することができる。例えば、通信部６ｂが他の通信機器との近距離無線通信を開始し、操作情報の送信の間隔が長くなった場合も、通信状態の変換に基づいて、遅延時間を再設定することで、操作情報の送信の間隔に適応した遅延時間とすることができる。このように、通信状態に合わせて算出した間隔に基づいて遅延時間を設定することで、連続操作を連続操作として検出することができる。これにより、ロングタッチをしている場合でも、遅延時間内に接触していると判定できず、ダブルタップやトリプルタップのようなジェスチャとして検出することを抑制できる。また、遅延時間を適切に設定することで、遅延時間が長くなりすぎることも抑制できる。具体的には、ダブルタップを入力した場合に、ロングタッチと判定することを抑制できる。また、遅延時間は、操作を検出する周期と同じでも、操作を検出する周期よりも長くてもよい。

また、通信部６ｂが、複数の通信機器と近距離無線通信を実行するマルチチャネルコンカレンシーで処理を実行している場合、シングルチャネルコンカレンシーで１つの通信機器と通信を行っている場合よりも、操作情報の受信間隔が長くなる。本実施形態のミラーリングシステム１００は、通信状態が変化した場合遅延時間を調整することで、マルチチャネルコンカレンシーで処理を実行しており、操作情報の受信間隔が長くなる場合も、受信間隔に基づいて遅延時間を調整することができ、連続操作を高い精度で検出できる時間を遅延時間に設定することができる。

また、本実施形態のミラーリングシステム１００は、通信状態の変化として、通信部が通信している他の通信機器の変化を用いることで、通信状態の変化に合わせて遅延時間を調整することができる。また、本実施形態のミラーリングシステム１００は、通信状態の変化として、使用しているチャネルの変化を用いることで、通信している通信機器が変化していない場合でも通信状態の変化に合わせて遅延時間を調整することができる。また、本実施形態のミラーリングシステム１００は、公衆無線通信を用いる通信部６ａの通信状態が変化した場合も遅延時間を調整する処理を実行してもよい。通信部６ａの通信状態が変化することで、通信部６ｂの通信が変化した場合も、適切な遅延時間とすることができる。

また、本実施形態のミラーリングシステム１００は、通信状態が変化した場合、座標外操作データを自動的に送信し、遅延時間を設定することで、使用者が操作を入力せずに、遅延時間を調整することができる。これにより、使用者の負担を軽減しつつ、適切な遅延時間を設定することができる。また、調整に使用する情報として、座標がタッチセンサで検出することができない操作情報を用いることで、データ構成が操作情報と同様の情報を用いることができる。また、座標のデータを加工するのみでよいため、情報として新しい情報を設定する必要がないため、簡単な設定で情報の判定を行うことができる。

本実施形態のミラーリングシステム１００は、２つの携帯通信機器のそれぞれで操作に基づいた処理を実行したが、これに限定されない。本実施形態のミラーリングシステム１００は、２つの携帯通信機器のそれぞれで操作可能とし、２つの携帯通信機器のうち一方で操作に基づいた処理（画面等の表示処理）を行ってもよい。この場合も、操作に基づいた処理を行わない、携帯通信機器から送信される操作情報の検出に本実施形態の処理を実行することで、上記効果を得ることができる。また、本実施形態のミラーリングシステム１００は、一方の携帯通信機器で操作を検出し、他方の携帯通信機器で操作に基づいた処理を実行するようにしてもよい。この場合も、上記効果を得ることができる。本実施形態のミラーリングシステム１００は、２つの携帯通信機器で通信を行ったが、３つ以上の携帯通信機器で通信を行ってもよい。また本実施形態は、近距離無線通信を用いた場合として説明しているが公衆無線通信を使用している場合も同様に通信の状況によって、遅延時間が変化する。ミラーリングシステム１００は、近距離無線通信と、公衆無線通信の両方を使用している場合、公衆無線通信を使用している場合も同様にミラーリングの開始時に本処理を実行することで、本処理の効果を得ることができる。

添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。

２タッチパネル
３操作部
６ａ、６ｂ通信部
７レシーバ
８マイク
９記憶部
９ａ、９ｅ通信制御プログラム
９ｂ、９ｆ接続関連データ
１０制御部
１１スピーカ
２０第１携帯通信機器
３０第２携帯通信機器
４０通信機器
１００ミラーリングシステム

Claims

第１タッチスクリーンディスプレイと、前記第１タッチスクリーンディスプレイの表示を制御する第１制御部と、前記第１タッチスクリーンディスプレイで検出した第１操作情報を出力する第１通信部と、を備える第１通信機器と、
前記第１通信部とデータを送受信する第２通信部と、画像を表示させる第２タッチスクリーンディスプレイと、前記第１操作情報に基づいて、前記第２タッチスクリーンディスプレイの表示を制御する第２制御部と、を備える第２通信機器と、を含み、
前記第２通信部は、前記第１通信部に前記第２タッチスクリーンディスプレイに表示させる画像の情報を送信し、
前記第１制御部は、前記第１通信部で受信した、前記第２タッチスクリーンディスプレイに表示させる画像を前記第１タッチスクリーンディスプレイに表示させ、
前記第２制御部は、連続的な接触操作であると判定する基準となる遅延時間に基づいて前記第１操作情報に含まれる操作を判定し、判定結果の操作に基づいて、前記第２タッチスクリーンディスプレイの表示を制御し、
かつ、前記第２通信部及び前記第１通信部の通信状況に基づいて、前記遅延時間を設定するミラーリングシステム。
前記第２制御部は、前記第２通信部及び前記第１通信部の少なくとも一方で、接続している他の通信機器との関係が変化した場合、前記遅延時間を再設定する請求項１に記載のミラーリングシステム。
前記第１通信部は、複数のチャネルを備え、
前記第２通信部は、複数のチャネルを備え、
前記第２制御部は、前記第２通信部及び前記第１通信部の少なくとも一方で、他の通信機器と接続しているチャネルが変化した場合、前記遅延時間を再設定する請求項１に記載のミラーリングシステム。
前記第１制御部は、前記遅延時間を設定する場合、前記第１通信部及び前記第２通信部を介して、前記第１タッチスクリーンディスプレイで検出できる操作領域の外の座標外操作情報を送信し、
前記第２制御部は、取得した前記座標外操作情報の間隔に基づいて、前記遅延時間を設定する請求項１から３のいずれか一項に記載のミラーリングシステム。
第１タッチスクリーンディスプレイと、前記第１タッチスクリーンディスプレイの表示を制御する第１制御部と、前記第１タッチスクリーンディスプレイで検出した第１操作情報を出力する第１通信部と、を備える第１通信機器と、前記第１通信部とデータを送受信する第２通信部と、画像を表示させる第２タッチスクリーンディスプレイと、前記第１操作情報に基づいて、前記第２タッチスクリーンディスプレイの表示を制御する第２制御部と、を備える第２通信機器と、を含むミラーリングシステムの操作検出方法であって、
前記第２制御部が、連続的な接触操作であると判定する基準となる遅延時間に基づいて前記第１操作情報に含まれる操作を判定し、判定結果の操作に基づいて、前記第２タッチスクリーンディスプレイの表示を制御するステップと、
前記第２タッチスクリーンディスプレイに表示させる画像の情報を送信し、前記第２タッチスクリーンディスプレイに表示させる画像を前記第１タッチスクリーンディスプレイに表示させるステップと、
前記第２通信部及び前記第１通信部の通信状況に基づいて、前記遅延時間を設定するステップと、を含む操作検出方法。