JP2013214822A - 遠隔制御システム及び遠隔制御方法 - Google Patents
遠隔制御システム及び遠隔制御方法 Download PDFInfo
- Publication number
- JP2013214822A JP2013214822A JP2012083157A JP2012083157A JP2013214822A JP 2013214822 A JP2013214822 A JP 2013214822A JP 2012083157 A JP2012083157 A JP 2012083157A JP 2012083157 A JP2012083157 A JP 2012083157A JP 2013214822 A JP2013214822 A JP 2013214822A
- Authority
- JP
- Japan
- Prior art keywords
- long press
- unit
- time
- control
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】操作性の高い遠隔制御システム、及び遠隔制御方法を提供する。
【解決手段】本発明の一態様に係る遠隔制御システムは、通信端末5と撮像装置1とを備えた遠隔制御システムである。通信端末5は、第n回目の応答情報を受信したタイミングと第n+1回目の応答情報を受信したタイミングの時間間隔であるリプライ時間間隔を計測する時間計測部904を備えている。撮像装置1は、長押し判定時間設定部404が設定した長押し判定時間と、時間計測部が計測した第m回目(m≧n+1)のリクエスト時間間隔とを比較し、その第m回目のリクエスト時間間隔が長押し判定時間以内であった場合は、通信端末5の操作部が受付けた操作入力は長押し操作であることの判定をする長押し操作判定部403とを備えている。
【選択図】図2
【解決手段】本発明の一態様に係る遠隔制御システムは、通信端末5と撮像装置1とを備えた遠隔制御システムである。通信端末5は、第n回目の応答情報を受信したタイミングと第n+1回目の応答情報を受信したタイミングの時間間隔であるリプライ時間間隔を計測する時間計測部904を備えている。撮像装置1は、長押し判定時間設定部404が設定した長押し判定時間と、時間計測部が計測した第m回目(m≧n+1)のリクエスト時間間隔とを比較し、その第m回目のリクエスト時間間隔が長押し判定時間以内であった場合は、通信端末5の操作部が受付けた操作入力は長押し操作であることの判定をする長押し操作判定部403とを備えている。
【選択図】図2
Description
本発明は、電子機器を遠隔制御する遠隔制御システム及び遠隔制御方法に関する。
無線通信を用いて、ユーザが各種電子機器を遠隔操作により制御する遠隔制御システムが知られている。例えば、特許文献1には、無線通信を介して複数のリモコンにより遠隔操作される給湯機が開示されている。また、特許文献2には、無線通信の電波強度が一定以上である場合に、通信確認処理を終了する給湯機の無線リモコンシステムが開示されている。
電子機器が遠隔制御される遠隔制御システムでは、リモコン等の操作機器の操作ボタン等の操作部をユーザが1回、所定時間に亘って押下等し続ける、いわゆる長押し操作を行うことで、その長押し操作に対応した本体機器の遠隔制御を行うことがある。
例えば、スピーカが遠隔制御されるシステムにおけるそのスピーカの音量調整、ディスプレイ装置が遠隔制御されるシステムにおけるそのディスプレイ装置の表示の輝度調整、撮像装置が遠隔制御されるシステムにおけるその撮像装置のズーム倍率変更や撮像方向の変更(パンチルト調整)等は、長押し操作に基づいて行われることが多い。
例えば、スピーカが遠隔制御されるシステムにおけるそのスピーカの音量調整、ディスプレイ装置が遠隔制御されるシステムにおけるそのディスプレイ装置の表示の輝度調整、撮像装置が遠隔制御されるシステムにおけるその撮像装置のズーム倍率変更や撮像方向の変更(パンチルト調整)等は、長押し操作に基づいて行われることが多い。
具体的には、例えば上記スピーカの音量調整の場合、ユーザが、リモコン等が備える「音量を大きくする旨」のボタンを1回、所定時間に亘って押下し続けると、それに応じてスピーカが出力音量を段々大きくし、あるいは一気に大きくし、逆に、ユーザが「音量を小さくする旨」のボタンを1回、所定時間に亘って押下し続けると、それに応じてスピーカが出力音量を段々小さくする、あるいは、一気に小さくする等の遠隔制御があげられる。
一方、遠隔制御では、ユーザによるボタンの長押し操作に基づいて本体機器の動作量ないし出力量等を変化させる制御とは別に、ユーザがリモコン等の操作機器の長押し操作と同じ操作ボタン等の操作部を1回、長押し操作で押下する時間よりも短い時間だけ押下して、その押下操作に対応した本体機器の制御を行うこともある。
この押下操作に基づく制御について、上記スピーカの音量調整の場合を例にあげると、ユーザが「音量を大きくする旨」のボタンを1回、短い時間だけ押下すると、スピーカが出力する音量を所定の一段階大きくし、逆に、ユーザが「音量を小さくする旨」のボタンを1回、短い時間だけ押下すると、スピーカが出力する音量を所定の一段階小さくする制御がある。この、リモコン等の操作機器の操作ボタン等の操作部をユーザが1回、長押し操作で押下する時間よりも短い時間だけ押下する操作を、上記長押し操作に対して、単押し操作と呼び、以下説明する。
この押下操作に基づく制御について、上記スピーカの音量調整の場合を例にあげると、ユーザが「音量を大きくする旨」のボタンを1回、短い時間だけ押下すると、スピーカが出力する音量を所定の一段階大きくし、逆に、ユーザが「音量を小さくする旨」のボタンを1回、短い時間だけ押下すると、スピーカが出力する音量を所定の一段階小さくする制御がある。この、リモコン等の操作機器の操作ボタン等の操作部をユーザが1回、長押し操作で押下する時間よりも短い時間だけ押下する操作を、上記長押し操作に対して、単押し操作と呼び、以下説明する。
その他、長押し操作による遠隔制御の例としては、撮像装置が遠隔制御されるシステムにおいて、ユーザがその撮像装置のズーム倍率の変更を行う際に、ユーザがその撮像装置とは別の操作機器のズームインボタンないしズームアウトボタンを1回、所定時間に亘って押下等し続けると、本体機器である撮像装置がそれに応じて段々ズームインないしズームアウトする制御等があげられる。一方、同じく撮像装置が遠隔制御されるシステムにおける、単押し操作による遠隔制御の例としては、ユーザが操作機器のズームインボタンないしズームアウトボタンを1回、短い時間だけ押下すると、撮像装置がそれに応じて一段階分だけズームインないしズームアウトする制御等があげられる。
従って、ユーザが操作機器のボタン等を1回、所定時間に亘って押下し続ける長押し操作に基づく制御の場合は、本体機器の動作量等は押下時間に応じて変化することになる。他方、ユーザが操作機器のボタンを1回、短い時間だけ押下する単押し操作に基づく制御の場合は、本体機器はその押下回数に応じて所定量毎に変化することになる。
なお、上述したように、操作機器により本体機器を遠隔制御する遠隔制御システムでは、長押し操作又は単押し操作の別に応じて、本体機器の動作等の変化量及び変化の仕方が異なる場合だけでなく、長押し操作又は単押し操作に固有の制御を本体機器が行う場合もある。例えば、ディスプレイ装置が遠隔制御されるシステムにおいて、ユーザが操作機器(リモコン)の所定ボタンを長押し操作した場合だけ、ディスプレイ装置に所定のメニュー画像を表示する等の場合である。
従って、操作機器により本体機器を遠隔制御する遠隔制御システムでは、本体機器が、ユーザが操作機器の同じ操作ボタンに対して行った操作であっても、それが長押し操作か、単押し操作か、一度離された後もう一度押下されたことによる操作か等が区別される必要が生じる。例えば、繰り返し何度か単押し操作が行われている場合と、一度長押し操作が行われている場合とで、本体機器はその動作等を区別する必要がある。
操作機器により本体機器を遠隔制御する遠隔制御システムにおいて、このような長押し操作に基づく遠隔制御がなされる場合の例について、図16を用いて説明する。図16は、長押し操作がなされた場合の本体機器及び操作機器の処理の例を示すシーケンスである。ここでは、本体機器として撮像装置を遠隔操作する例について説明する。なお、図16において縦軸は、矢印方向に行くにつれて処理時間が経過していることを表している。
ユーザが操作機器A(例えば、リモコン装置)の所定のボタン(以下、「ボタンA」という。)を押下すると、操作機器Aは制御要求信号Request-A(1)を生成し、所定の通信手段を介して撮像装置Aに送信する。次に、撮像装置Aは、制御要求信号Request-A(1)を受信すると、受信した制御要求信号Request-A(1)に応じて、応答信号Reply-A(1)を生成し、所定の通信手段を介して操作機器Aに送信する。
操作機器Aが応答信号Request-A(1)を受信したタイミングで、ユーザがボタンAを押下中である場合、操作機器Aが制御要求信号Request-A(2)を生成し、所定の通信手段を介して撮像装置Aに送信する。次に、撮像装置Aは、制御要求信号Request-A(2)を受信し、受信した制御要求信号Request-A(2)に応じて、応答信号Reply-A(2)を生成し、所定の通信手段を介して操作機器Aに送信する。
そして、ユーザが、押下しているボタンAを離すまで、上記の処理を繰り返す。すなわち、操作機器Aと撮像装置Aとの間で、制御要求信号と応答信号の送受信を繰り返し行う。そして、撮像装置Aは受信した制御要求信号に応じて、長押し操作に基づく所定の動作を行うことになる。例えば、制御要求信号がある一定の期間内に連続して受信された場合は、撮像装置Aが長押し操作に基づく所定の動作、例えばパンチルトやズームインアウトを行う。
撮像装置Aは、所定の期間毎に制御要求信号を検出する動作を行い、所定の期間内に連続で制御要求信号を検出した場合、撮像装置Aは長押し操作に基づく所定の動作を行う。すなわち、所定の期間内に制御要求信号Request-A(1)及び制御要求信号Request-A(2)が検出された場合は、撮像装置Aは操作機器Aで長押し操作がなされている旨の判断を行い長押し操作に基づく動作を行う。一方で、所定の期間内に制御要求信号Request-A(1)及び制御要求信号Request-A(2)が検出されなかった場合は、撮像装置Aは操作機器Aで単押し操作がなされている旨等の判断を行い単押し操作に基づく動作を行う。
ところで、近年、複数の電子機器間通信において、通信規格であるIEEE802.11シリーズを利用した無線ネットワーク通信技術が広く利用されるようになってきている。そして、近年、このIEEE802.11シリーズを利用した無線ネットワーク通信を介して複数の電子機器が、各電子機器間で各種制御情報を送受信しあうことで、電子機器の遠隔制御を実施することが可能となっている。従って、ユーザは、従来の赤外線通信を利用したリモコン通信を使用しなくても、上記のような無線ネットワーク通信を利用して、その無線ネットワーク通信に対応した電子機器間で遠隔制御をすることができるようになってきている。
例えば、いわゆるスマートフォン等の汎用的な通信端末を用いて、この無線ネットワーク通信機能を有する他の電子機器を遠隔制御することが可能になる。より具体的には、ユーザが遠隔制御機能を実現するアプリケーションソフト(以下、単に「アプリケーション」という)をスマートフォンにインストールして、このアプリケーションに基づくユーザ操作に関する制御信号が、無線ネットワークを介して本体機器に送信され、本体機器がその制御信号に基づいて遠隔に制御される態様等が、その例としてあげられる。
一方で、このような無線ネットワーク通信を利用して、ユーザが操作機器を長押し操作して、その操作に基づき他の電子機器を遠隔制御する場合には、各電子機器の性能や処理に要する時間の相違、及び各電子機器のおかれた通信状況等が問題となる。
各電子機器は無線ネットワーク通信を行う通信モジュール等の通信のためのデバイスや機能を搭載しているが、その受信感度や送受信される情報の処理速度は、通信モジュール等によって高性能なものから低性能のものまで様々である。また、その電子機器を統括制御するCPU(Central Processing Unit)についても同様である。また、同じ電子機器であっても、並行して行われている他の処理の負荷によって、送受信される情報の処理速度は都度変化する。
従って、ユーザが操作機器の操作部を長押し操作した際に、その操作機器が生成し送信等する制御情報についての、その生成や送信等の処理に要する時間、及び送信された制御情報を他の電子機器が受信しそれに応答又はそれに応じた処理を行うのに要する時間は、操作側及び制御側の電子機器毎に異なる。
図16の例で説明するとボタンAが押下されてから制御要求信号Request-A(1)が生成され撮像装置Aに向けて送信されるまでに要する処理時間i(a)と、応答信号Reply-A(1)を受信してから制御要求信号Request-A(2)が生成され撮像装置Aに向けて送信されるまでに要する処理時間i(c)は、上述の理由から異なることがある。撮像装置Aの処理時間i(b)とi(d)についても同様である。また、上述の理由から、別の操作機器Cや撮像装置Cの処理時間は、操作機器Aや撮像装置Aの処理時間とは異なる。
同じ電子機器でも、あるときは適切に長押し操作に基づく遠隔制御が行われたのに、別の時には単押しに基づく制御がなされる場合があるという問題が生じる可能性がある。また、ある電子機器では適切に長押し操作に基づく制御が行われたのに、他の電子機器に対しては長押し操作がなされたにもかかわらず、単押し操作に基づく制御がなされる場合がある等の問題が生じる可能性がある。
さらに、無線ネットワーク通信を介した遠隔制御は、それを行う電子機器のおかれた通信状況に大きく影響される。例えば、通信を行う電子機器間に電波遮蔽物がある場合は、ない場合にくらべ情報の送受信に時間を要し、場合によっては送受信される情報に欠損が生じる。また、電子機器間の距離が離れていく場合や、通信の混線が生じた場合等も同様である。
従って、ユーザが操作機器の操作部を長押し操作した際に、その操作機器が生成し送信等する制御情報が、制御機器に到達するまでの時間は都度変化する可能性がある。同様に、制御機器が生成し送信した応答情報が操作機器に到達するまでの時間も都度変化する可能性がある。
図16の例で説明すると、操作機器Aが生成し送信した制御要求信号Request-A(1)が撮像装置Aに到達するまでの通信時間I(a)と、操作機器Aが生成し送信した制御要求信号Request-A(2)が撮像装置Aに到達するまでの通信時間I(c)が上述の理由から異なることがある。撮像装置Aの応答信号の通信時間I(b)とI(d)についても同様である。
各電子機器がおかれた通信状況によって、あるときは適切に長押し操作に基づく制御が行われたのに、別のときには長押し操作がなされたにもかかわらず、単押し操作に基づく制御がなされる場合がある等の問題が生じる可能性がある。
以上の通り、無線ネットワーク通信を利用した遠隔制御システムでは、システムの備える電子機器毎の性能等の相違や処理の状況、各電子機器のおかれた通信状況といった、電子機器がおかれている無線通信の環境次第では、長押し操作に基づく制御が適切に実施されない恐れがある。
本発明は、上記を鑑み、無線ネットワーク通信を利用した電子機器の遠隔制御において、長押し操作に基づく制御を適切に行うことができる遠隔制御システム及び遠隔制御方法を提供することを目的とする。
本発明は、上記目的を達成するため、操作機器(5)と本体機器(1)を備えた遠隔制御システム(SYS1)であって、前記操作機器(5)は、操作入力を受付ける操作部(706)と、前記操作部(706)が受付けた操作入力に対応する前記本体機器(1)の制御を要求する制御要求情報を生成する制御要求情報生成部(903)と、通信環境に関する第1の通信環境情報を生成する操作機器側通信環境情報生成部(905)と、前記本体機器(1)が送信した制御要求情報に対する応答情報を受信する操作機器側受信部(709)と、前記操作機器側受信部(709)が前記第n回目(nは自然数)の応答情報を受信したタイミングと前記第n+1回目の応答情報を受信したタイミングの時間間隔である第n回目のリプライ時間間隔を計測するリプライ時間間隔計測部(904)と、前記制御要求情報、前記第1の通信環境情報、及び前記リプライ時間間隔を前記本体機器(1)に送信する操作機器側送信部(709)とを備え、前記本体機器(1)は、前記操作機器側送信部(709)が送信した前記制御要求情報、前記第1の通信環境情報、及び前記リプライ時間間隔を受信する本体機器側受信部(309)と、前記本体機器側受信部(309)が第n回目の制御要求情報を受信したタイミングと前記第n+1回目の制御要求情報を受信したタイミングの時間間隔である第n回目のリクエスト時間間隔を計測するリクエスト時間間隔計測部(405)と、前記制御要求情報の受信に応じて前記応答情報を生成する応答情報生成部(402)と、生成された前記応答情報を送信する本体機器側送信部(309)と、通信環境に関する第2の通信環境情報を生成する本体機器側通信環境情報生成部(406)と、前記第n回目のリプライ時間間隔、前記第n回目のリクエスト時間間隔、前記第1の通信環境情報、及び前記第2の通信環境情報に基づいて長押し判定時間を設定する長押し判定時間設定部(404)と、前記長押し判定時間設定部(404)が設定した前記長押し判定時間と、前記リクエスト時間間隔計測部(405)が計測した第m回目(m≧n+1)のリクエスト時間間隔とを比較し、その第m回目のリクエスト時間間隔が前記長押し判定時間以内であった場合は、前記操作機器(5)の前記操作部(706)が受付けた操作入力は長押し操作であることの判定をする長押し操作判定部(403)とを備えることを特徴とする遠隔制御システムを提供する。
上記遠隔制御システム(SYS1)の上記本体機器(1)の上記長押し判定時間設定部(404)は、前記第n回目のリプライ時間間隔と前記第n回目のリクエスト時間間隔とを比較し、その比較の結果に基づいて前記長押し判定時間を設定するようにしてもよい。
前記長押し判定時間設定部(404)は、前記第n回目のリプライ時間間隔と前記第n回目のリクエスト時間間隔との比較し、前記第n回目のリプライ時間間隔の方が長い場合は、前記第n回目のリプライ時間間隔及び前記操作機器側通信環境情報生成部(905)が生成した前記通信環境情報に基づいて前記長押し判定時間を設定し、前記第n回目のリクエスト時間間隔の方が長い場合は、前記第n回目のリクエスト時間間隔及び前記本体機器側通信環境情報生成部(406)が生成した前記通信環境情報に基づいて前記長押し判定時間を設定するようにしてもよい。
上記遠隔制御システム(SYS1)の上記本体機器(1)の上記長押し判定時間設定部(404)は、前記第n回目のリプライ時間間隔と前記第n回目のリクエスト時間間隔とを比較し、その比較の結果に基づいて前記長押し判定時間を設定するようにしてもよい。
前記長押し判定時間設定部(404)は、前記第n回目のリプライ時間間隔と前記第n回目のリクエスト時間間隔との比較し、前記第n回目のリプライ時間間隔の方が長い場合は、前記第n回目のリプライ時間間隔及び前記操作機器側通信環境情報生成部(905)が生成した前記通信環境情報に基づいて前記長押し判定時間を設定し、前記第n回目のリクエスト時間間隔の方が長い場合は、前記第n回目のリクエスト時間間隔及び前記本体機器側通信環境情報生成部(406)が生成した前記通信環境情報に基づいて前記長押し判定時間を設定するようにしてもよい。
本発明によれば、無線ネットワーク通信を利用した電子機器の遠隔制御において、長押し操作に基づく制御を適切に行うことができる遠隔制御システム及び遠隔制御方法を提供することができる。
<システムの全体構成>
本発明に係る操作機器及び制御機器を含む遠隔制御システムの好適な実施の形態として、図1及び図2を用いて遠隔撮像システムSYS1について説明する。図1は、遠隔撮像システムSYS1の全体構成を示す図である。本実施形態に係る遠隔撮像システムSYS1は、制御機器としての撮像装置1と、操作機器としての通信端末5を備えている。なお、本実施形態に係る遠隔撮像システムSYS1が備える通信端末5は一つでも複数でもよい。
本発明に係る操作機器及び制御機器を含む遠隔制御システムの好適な実施の形態として、図1及び図2を用いて遠隔撮像システムSYS1について説明する。図1は、遠隔撮像システムSYS1の全体構成を示す図である。本実施形態に係る遠隔撮像システムSYS1は、制御機器としての撮像装置1と、操作機器としての通信端末5を備えている。なお、本実施形態に係る遠隔撮像システムSYS1が備える通信端末5は一つでも複数でもよい。
撮像装置1は動画像及び静止画像を撮像することができる撮像部100を有している。撮像部100は、内部にズームレンズ及びそのズームレンズを駆動するズームアクチュエータを備えており、また撮像部100の撮像方向を上下左右に変更する、いわゆるパンチルト制御を行う雲台2及び内部にその雲台2を駆動するパンチルトアクチュエータを備えている。
通信端末5は、スマートフォンなどの携帯電話機器である。通信端末5は、各種通信手段と、動画像及び静止画像を撮像することができる撮像手段等を有している。また、撮像装置1と通信端末5は、通信規格であるIEEE802.11シリーズ等を利用した無線ネットワーク通信によって各種情報の送受信が可能である。さらに、通信端末5は、他の通信端末5と通話を行うため、基地局と通信可能となっている。通信端末5が基地局と通信することで、通信端末5同士での通話や、メールの送受信、インターネット接続等が可能となる。
さらに、通信端末5は、上記無線ネットワーク通信を利用して、撮像装置1を遠隔制御することができる。ユーザが通信端末5に撮像装置1を制御するための操作を入力すると、撮像装置1と通信端末5とが無線ネットワーク通信を利用して、ユーザが通信端末5に入力した操作に対応した制御に関する情報等が通信端末5と撮像装置1との間で送受信される。これにより、撮像装置1が、ユーザが通信端末5に入力した操作内容に応じた動作を行う。これにより、ユーザは、無線ネットワーク通信を利用して、通信端末5を操作機器とし、撮像装置1を制御機器(本体機器)とする遠隔撮像システムを構築することができる。
構築される遠隔撮像システムに係る無線ネットワーク通信は、図1の無線ネットワーク通信1に示すように撮像装置1と通信端末5が直接情報を送受信するものでも、無線ネットワーク通信2に示すようにルータを介して情報を送受信するものでもよい。また、インターネット等の外部ネットワーク等を介して無線で情報を送受信するものであってもよい。
スマートフォンである通信端末5に遠隔操作用のアプリケーションプログラム(以下、単に「アプリケーション」という。)がインストールされている。また、他の通信端末5に同様のアプリケーションをインストールすることで、複数の通信端末5のそれぞれがリモコン装置となる。なお、通信端末5をリモコン装置として利用するため、予めペアリングするようにしてもよい。
図2は、ユーザが通信端末5を操作機器として用いて、本体機器である撮像装置1を遠隔制御する例を説明するための図である。ユーザは撮像装置1を、通信端末5を使用して遠隔制御する。例えば、ユーザは、雲台2を駆動させて撮像装置1の撮像方向を変更する、パン動作及びチルト動作を行わせることができる。同様に、ユーザは通信端末5を操作することで、撮像装置1を遠隔制御し、録画開始、録画停止、ズーム調整等を行わせることができる。
図2の例では、通信端末5と撮像装置1が、インターネットを経由せずに無線ネットワーク通信を介して、各種のデータからなる情報をパケット化して、直接、送受信する態様を示している。ユーザが通信端末5を操作することで、通信端末5は制御に関する情報d1を生成し、撮像装置1に生成された制御に関する情報d1を送信する。さらに、撮像装置1はこの制御に関する情報d1を受信すると、応答情報d2を生成し、通信端末5にその生成された応答情報d2を送信する。このように、通信端末5と撮像装置1が制御に関する情報及び応答情報等を、無線ネットワーク通信を介して送受信することで、ユーザは通信端末5を使用して撮像装置1を遠隔制御する。
<遠隔制御に係る操作入力>
次に通信端末5へのユーザの操作入力について説明する。例えば、ユーザは、まず通信端末5に予めインストールされている遠隔制御機能を実現するアプリケーションを立ち上げる。アプリケーションが立ち上がると、通信端末5は、各種操作ボタン画像を有する操作画像を、タッチパネルが重畳された液晶モニタ704上に表示する。図3に、通信端末5の液晶モニタ704上に表示される操作画像の一例を示す。通信端末5の操作画像60には、表示領域62、パンボタン画像63L及び63R、チルトボタン画像64U及び64D、ズームボタン画像65、録画開始ボタン画像66、録画停止ボタン画像67が設けられている。
次に通信端末5へのユーザの操作入力について説明する。例えば、ユーザは、まず通信端末5に予めインストールされている遠隔制御機能を実現するアプリケーションを立ち上げる。アプリケーションが立ち上がると、通信端末5は、各種操作ボタン画像を有する操作画像を、タッチパネルが重畳された液晶モニタ704上に表示する。図3に、通信端末5の液晶モニタ704上に表示される操作画像の一例を示す。通信端末5の操作画像60には、表示領域62、パンボタン画像63L及び63R、チルトボタン画像64U及び64D、ズームボタン画像65、録画開始ボタン画像66、録画停止ボタン画像67が設けられている。
表示領域62には、撮像装置1が撮像中の画像がリアルタイムに表示される等する。また、パンボタン画像として、撮像装置1の撮像方向を右方向に変更させる右ボタン画像63Rと、左方向に変更させるパンボタン画像63Lが表示される。ユーザがパンボタン画像63L又は63Rに係るタッチ領域に触れる、ないし押圧すると、雲台2が左方向又は右方向に回転駆動して、撮像装置1の撮像方向が左又は右方向に変化する。
チルトボタン画像として、撮像装置1の撮像方向を上方向に変更させる上ボタン画像64Uと、下方向に変更させる下ボタン画像64Dが表示される。ユーザがチルトボタン画像64U又は64Dに係るタッチ領域に触れる、ないし押圧すると、雲台2が上方向又は下方向に回転駆動して、撮像装置1の撮像方向が上又は下方向に変化する。
ズームボタン画像65は、ズームインボタン画像65Tと、ズームアウトボタン画像65Wとを有している。録画開始ボタン画像66は、撮像装置1に対して録画の開始を指示するためのボタン画像である。録画停止ボタン画像67は、撮像装置1に対して録画の停止を指示するためのボタン画像である。
なお、以下では説明及び理解の容易のため、ユーザが、上記のようなボタン画像に重畳されたタッチパネルのタッチ領域に触れる、ないし押圧する動作も、単に「ボタンを押下する」として記載する。また、タッチパネルにおけるボタン画像及びそれに対応するタッチ領域を併せて、単に「ボタン」として記載する。
パンボタン画像63L及び63R、チルトボタン画像64U及び64D、及びズームボタン画像65T及び65Wは、ユーザの長押し操作に対応した操作部となる。例えば、ユーザがパンボタン画像63Rを長押し操作すると、その長押し操作がなされている時間に応じて雲台2が連続して徐々に回転する。よって、撮像装置1の撮像方向が、右ボタンの長押し時間に応じた回転角度分変化したものとなる。従って、ユーザがパンボタン画像63Rを長押し操作した場合、長押し操作がなされている時間が長くなるほど、雲台2の回転角度が大きくなり、撮像装置1の撮像方向の変化も大きくなる。チルトボタン画像64U及び64Dについても同様に、撮像装置1の上下の撮像方向が長押し操作がなされている時間に応じた角度分変化したものになる。ズームボタン画像65T及び65Wでは、長押し操作がなされている時間に応じたズーム倍率の変化量となる。以上の通り、ユーザがパンボタン画像63L及び63R、チルトボタン画像64U及び64D、又はズームボタン画像65T及び65Wを長押し操作した場合、長押し操作がなされている時間に応じて、撮像装置1側の動作量が変化する。
一方、ユーザがパンボタン画像63L及び63R、チルトボタン画像64U及び64D、又はズームボタン画像65T及び65Wを短時間だけ押して離すと、単押し操作に基づく動作が行われる。すなわち、ユーザによるボタンの押下時間について予め設定された時間よりもユーザがボタンを押下している時間が短い場合、予め定められた一定量だけ、撮像装置1が動作する。この単押し操作の場合、ユーザがボタンを押下している時間にかかわらず、1回の押下あたりの撮像装置1の動作量は原則同じとなる。例えば、パンボタン画像63Rを一度単押し操作すると、一定角度だけ、雲台2が右方向に回転する。このように、本実施の形態に係る遠隔撮像システムSYS1では、ユーザが通信端末5の操作部を単押し操作する場合と長押し操作する場合とで、撮像装置1の制御が異なる。
なお、上記では操作機器の例としてスマートフォンである通信端末5をあげたが、操作機器は他の電子機器の遠隔制御を実現できる機能を有していればスマートフォン等の携帯電話機器に限られるものではない。例えば、撮像装置1が他の撮像装置を操作機器として遠隔制御される場合もある。また、上述した各種ボタンはタッチパネルを重畳した液晶モニタ上に表示されたボタンではなく、機械的なボタンであってもよいのは勿論である。換言すると長押し操作用のボタンは、タッチパネル上の操作ボタンでもよく、機械的な動作を行う操作ボタンでもよい。従って、長押し操作及び単押し操作は、ユーザがボタンを物理的に押す操作に限らず、タッチパネル画面上に表示されたアイコンボタン等をタッチする操作等を含むものとする。
なお、撮像装置1と通信端末5との無線ネットワーク通信は、インターネットを経由せずに情報が直接送受信されるものに限られない。例えば、ルータ等を介して無線で情報を送受信するものであってもよく、インターネット等の外部ネットワーク等を介して無線で情報を送受信するものであってもよい。この様に間接的に無線で情報が送受信される場合、通信経路(情報の伝送経路)の一部が無線区間であればよい。すなわち、通信経路(情報の伝送経路)の一部が有線区間であってもよい。また、パンチルト動作は雲台2による機械的な動作に限らず、撮像素子ないし内部メモリに一時記憶された有効画像領域から切り出され表示出力される画像領域を変化させる、いわゆる電子的なパンチルトであってもよい。ズーム制御についても、ズームレンズを駆動する制御に限らず、電子的なズーム制御であってもよい。
<撮像装置1の内部構成>
次に、撮像装置1の構成について図4を用いて説明する。図4は、本発明の実施形態に係る撮像装置1の内部構成の例を示すブロック図である。本発明に係る撮像装置1は、動画像及び静止画像を撮像できるものであれば、その構成は特に限定されるものではない。なお、説明及び理解の用意のため、本ブロック図においては、既知の構成を有する雲台2についての記載を省略する。撮像装置1は動画像及び静止画像を撮像することができる。
次に、撮像装置1の構成について図4を用いて説明する。図4は、本発明の実施形態に係る撮像装置1の内部構成の例を示すブロック図である。本発明に係る撮像装置1は、動画像及び静止画像を撮像できるものであれば、その構成は特に限定されるものではない。なお、説明及び理解の用意のため、本ブロック図においては、既知の構成を有する雲台2についての記載を省略する。撮像装置1は動画像及び静止画像を撮像することができる。
中央制御部400はCPU、各種プログラムが格納されたROM(Read Only Memory)、及びワークエリアとしてのRAM(Random Access Memory)等を含む半導体集積回路により構成され、撮像、各種画像の表示、遠隔制御に関する各種情報の送受信、パンチルト制御及びその制御に係る図4には示さない雲台2の駆動、及びズーム倍率の変更等の撮像装置1全体の処理を統括的に制御する。
撮像装置1は、ズームレンズ101、フォーカスレンズ102、絞り103、及び撮像素子104で構成される撮像部100を有する。ズームレンズ101はズームアクチュエータ114によって光軸LAに沿って移動する。同様に、フォーカスレンズ102は、図示しないフォーカスアクチュエータによって光軸LAに沿って移動する。絞り103は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子104は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等で構成される。
また、中央制御部400によりパンチルトアクチュエータ21が駆動されることで、図4には示さない雲台2が回動等し、撮像部100の撮像方向が、上下左右に変更され、パン制御及びチルト制御が実施される。
撮像装置1を用いた撮像は以下の手順で行われる。撮像素子104はズームレンズ101、フォーカスレンズ102、及び絞り103を通過した光を光電変換して、被写体のアナログ画像信号を生成する。
アナログ画像信号処理部105が、このアナログ画像信号を増幅した後、画像A/D変換部106が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ107は、画像A/D変換部106から出力されたデジタル画像データを撮像画像データとして取り込んで、バス200を介してメインメモリ206に格納する。
アナログ画像信号処理部105が、このアナログ画像信号を増幅した後、画像A/D変換部106が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ107は、画像A/D変換部106から出力されたデジタル画像データを撮像画像データとして取り込んで、バス200を介してメインメモリ206に格納する。
デジタル信号処理部108は、バス200を介して中央制御部400からの指令に基づき、メインメモリ206に格納された撮像画像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部108はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、RGB補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
マイク109は撮像時の周囲の音声を周音し、アナログ音声信号を生成する。アナログ音声信号処理部110がそのアナログ音声信号を増幅した後、音声A/D変換部111が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ112は、音声A/D変換部111から出力されたデジタル音声データを撮像画像データと併せてメインメモリ206に格納する。
多重化部113は、メインメモリ206に格納された撮像画像データ及びデジタル音声データや、後述する圧縮・伸長処理部201により圧縮処理が施された撮像画像データ及びデジタル音声データを多重化しストリームデータを生成する。この際、多重化部113は、ストリームデータに対してメタデータ等の付加データを多重化する場合がある。
圧縮・伸長処理部201は、バス200を介して中央制御部400からの指示に従って、撮像画像データ及びデジタル音声データに所定の圧縮処理を施して圧縮データを生成する。また、圧縮・伸長処理部201は、中央制御部400からの指示に従って、記録部の一例であるカード型記録媒体302に格納された圧縮データに所定形式の伸張処理を施して非圧縮データを生成する。所定の圧縮処理としては、静止画像に対してはJPEG規格に準拠した圧縮方式を採用することができ、動画像に対してはMPEG2規格やAVC/H.264規格に準拠した圧縮方式を採用することができる。
音声・画像処理部202は、バス200を介して中央制御部400の指示に従い、メインメモリ206から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やOSD画像等、各種処理のための画像データを生成し、その画像データをメインメモリ206から読み出されたオリジナルの撮像データに重畳させて液晶モニタ304に出力する。この出力によって、液晶モニタ304に表示される画像は各種画像データが合成されたものとなる。なお、液晶モニタ304の代わりに有機EL(Electro-Luminescence)モニタ等の他のモニタを用いることも可能である。
ROM203はバス200を介して中央制御部400に接続されており、中央制御部400が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュROM204は、ユーザの設定情報等、撮像装置1の動作に関する各種設定情報を格納している。撮像装置1は、様々な撮像のシチュエーションに応じて、いくつかの撮像モードと、各モードにあわせた撮像条件の設定を予めフラッシュROM204に記憶している。そして、ユーザは撮像を開始する前に、各モードの中から最適なモードを選択することにより、最適な撮像条件で撮像を実施することができる。例えば、特定の人物の撮像に適した「ポートレートモード」、運動会等の撮像に適した「スポーツモード」、又は夜景等の暗い場所の撮像に適した「夜景モード」等である。
さらに、ROM203は、遠隔制御に係る制御プログラムを格納している。
さらに、ROM203は、遠隔制御に係る制御プログラムを格納している。
VRAM(Video RAM)205は、表示用の画像データの一時記憶領域として使用される。メインメモリ206は、撮像画像データをはじめとした各種画像データの一時記憶領域として使用されるとともに、中央制御部400の演算作業領域としても使用される。
メディア制御部207は、中央制御部400からの指示に従って、カードI/F301を介してカード型記録媒体302に対してデータを書き込み、カード型記録媒体302に記録されたデータを読み出すよう制御する。カード型記録媒体302はSDカードやコンパクトフラッシュ(登録商標)等の外部メモリであり、撮像装置1に対して脱着可能に設けられている。
ジャイロセンサ208は、3軸の加速度及び角速度の変化を検出し、撮像装置1のパン量及びチルト量や上下及び左右の手ぶれ量の導出に利用される。
時計209は、後述する時間計測部405がn回目の制御要求情報Request-(n)を受信したタイミング、及びn+1回目の制御要求情報Request-(n+1)を受信したタイミングといった各種の時間の計測を行うのに使用される(なお、nは自然数である)。さらに、時計209は、撮像画像データに撮像時刻や撮像時間等を付すために用いられる。
時計209は、後述する時間計測部405がn回目の制御要求情報Request-(n)を受信したタイミング、及びn+1回目の制御要求情報Request-(n+1)を受信したタイミングといった各種の時間の計測を行うのに使用される(なお、nは自然数である)。さらに、時計209は、撮像画像データに撮像時刻や撮像時間等を付すために用いられる。
液晶モニタ304、スピーカ305、操作部306及び入出力端子307は入出力I/F303に接続されている。液晶モニタ304は、例えばVRAM205やメインメモリ206に一時記録された撮像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。スピーカ305は、例えばメインメモリ206に一時記録された音声を出力する。操作部306は、図示しないレリーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ304上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置1への操作入力を受け付ける。入出力端子307は、図示しないテレビモニタやPC(Personal Computer)等に接続される。
無線モジュール309は、バス200及び無線I/F308を介して、通信端末5との間で画像データや制御に関する情報等の各種情報を無線ネットワーク通信により送受信する。例えば、無線モジュール309は、通信端末5から送信された後述する制御情報を受信し、その制御情報に応じて生成された応答情報を通信端末5に向けて送信する処理等、各種情報及び撮像データ等の送受信を行う。なお、この処理の詳細は後述する。各種情報及び撮像データ等の無線通信はIEEE802.11シリーズを利用した方式で行われる。
中央制御部400は、制御内容判断部401、応答情報生成部402、長押し操作判定部403、長押し判定時間設定部404、時間計測部405、通信環境情報生成部406、及び制御要求時間判定部407としての機能を有する。以下に各機能について説明する。
制御内容判断部401は、後述する通信端末5において生成された制御内容情報から、パン、チルト、ズームイン、又はズームアウト等の制御の内容を判断する。制御内容判断部401が判断した制御の内容に基づいて、パンチルトアクチュエータ21やズームアクチュエータ114が駆動される。
応答情報生成部402は、後述する通信端末5において生成された制御要求情報が受信された場合に、それに応じて応答情報を生成する。生成された応答情報は、中央制御部400により通信端末5のアドレス情報等の他の情報ともにひとまとまりとされたパケットデータにされ、通信端末5へ送信される。
長押し操作判定部403は、生成された制御要求情報が受信された場合に、n回目(nは自然数)に受信された制御要求情報Request-(n)を受信したタイミングとn+1回目の制御要求情報Request-(n+1)を受信したタイミングとの間の時間間隔、及び後述する長押し判定時間設定部404が設定した長押し判定時間とを比較し、ユーザが操作を入力した外部機器(ここでは通信端末5)において、入力された操作が長押し操作か否か、ないし長押し操作であるか単押し操作であるかを判定する。
受信された制御要求情報Request-(n)を受信したタイミングとn+1回目の制御要求情報Request-(n+1)を受信したタイミングとの間の時間間隔が、設定された長押し判定時間以内であった場合は、長押し操作判定部403は通信端末5において長押し操作がなされている旨の判定をする。一方で、受信された制御要求情報Request-(n)を受信したタイミングとn+1回目の制御要求情報Request-(n+1)を受信したタイミングとの間の時間間隔が、設定された長押し判定時間より長かった場合は、長押し操作判定部403は通信端末5において単押し操作がなされている旨の判定をする。なお、長押し操作判定部403による長押し操作の判定の処理の詳細は後述する。
長押し判定時間設定部404は、各種情報の送受信に関する時間間隔や、撮像装置1又は通信端末5のおかれた通信環境等から長押し判定時間の設定及び更新を行う。なお、長押し判定時間設定部404による長押し判定時間の設定及び更新処理の詳細は後述する。
時間計測部405は、n回目に受信された制御要求情報Request-(n)を受信したタイミング、n+1回目の制御要求情報Request-(n+1)を受信したタイミング、及び各タイミング間の時間間隔等の各種時間ないし時間間隔の計測を時計209の出力を利用して行う。
通信環境情報生成部406は、撮像装置1の都度の通信電波強度を通信環境情報として生成する。すなわち、n回目の制御要求情報Request-(n)を生成する際の通信電波強度OQLv(n)、n回目の応答情報Reply-(n)を受信する際の通信電波強度IPLv(n)等を生成する。例えば、通信環境情報生成部406は、無線モジュール309のRSSI(Received Signal Strength Indication)の出力に基づき、通信環境情報を生成する。なお、通信環境情報生成部406による通信電波強度の導出処理の詳細は後述する。
制御要求時間判定部407は、後述する制御情報ないし制御要求情報が予め定められた設定時間以内に受信されたか否かを判定する。
中央制御部400が以上の機能を有することで、撮像装置1は通信端末5に入力された操作に応じて適切に制御される。すなわち、図3に示した通信端末5のパンボタン画像63L及び63R、チルトボタン画像64U及び64D、又はズームボタン画像65T及び65Wのいずれか一つがユーザによって操作された場合、制御内容判断部401は、後述する通信端末5において生成された制御内容情報から、パン、チルト、ズームイン、又はズームアウト等の制御の内容を判断する。長押し操作判定部403は、時間計測部405が計測したn回目に受信された制御要求情報Request-(n)を受信したタイミングとn+1回目の制御要求情報Request-(n+1)を受信したタイミングとの間の時間間隔、及び長押し判定時間設定部404が設定した長押し判定時間から、ユーザが入力した操作が長押し操作であるか単押し操作であるかを判定する。その判定に基づき、長押し操作又は単押し操作の何れがなされたかが判断される。そして、その判断に基づきパンチルトアクチュエータ等が駆動され、撮像方向の変更等が行われる。
例えば、パンボタン画像63L及び63Rの長押し操作がなされたと判断された場合、パンチルトアクチュエータ21がその長押し操作の入力された時間に応じた時間に亘って連続的に駆動される。これにより、パンチルトアクチュエータ21のモータ等が長押し操作の終了まで連続して動作する。一方、パンボタン画像63の単押し操作がなされたと判定ないし判断された場合、一度の単押しに対し一定量だけパンチルトアクチュエータ21が駆動される。
また、例えば、ズームボタン画像65の長押し操作がなされたと判定ないし判断された場合、ズームアクチュエータ114がその長押し操作の入力された時間に応じた時間に亘って連続的に駆動される。これにより、撮像装置1が長押し操作の終了まで連続的にズームイン、又はズームアウトする。ズームボタン画像65の単押し操作がなされたと判定ないし判断された場合、一度の単押しに対し一定量だけズームアクチュエータ114が駆動される。これにより、撮像装置予め定められた量だけズームイン又はズームアウトする。
<通信端末5の内部構成>
次に、通信端末5の構成について、図5を用いて説明する。図5は、本発明の実施形態に係る通信端末5の内部構成の例を示すブロック図である。通信端末5は動画像及び静止画像を撮像することができる。さらに、通信端末5は、電話、メールの送受信、インターネット接続等を行うことができる。なお、本発明に係る通信端末5は、本体機器である撮像装置1を遠隔操作できるものであれば、その形状、及び構成は特に限定されるものではない。よって、通信端末5は、携帯電話機器以外の通信機器であってもよい。
次に、通信端末5の構成について、図5を用いて説明する。図5は、本発明の実施形態に係る通信端末5の内部構成の例を示すブロック図である。通信端末5は動画像及び静止画像を撮像することができる。さらに、通信端末5は、電話、メールの送受信、インターネット接続等を行うことができる。なお、本発明に係る通信端末5は、本体機器である撮像装置1を遠隔操作できるものであれば、その形状、及び構成は特に限定されるものではない。よって、通信端末5は、携帯電話機器以外の通信機器であってもよい。
中央制御部900はCPU、各種プログラムが格納されたROM、及びワークエリアとしてのRAM等を含む半導体集積回路により構成され、各種通信、遠隔操作に関する情報の送受信、撮像、及び各種画像の表示等の通信端末5全体の処理を統括的に制御する。
通信端末5は、ズームレンズ501、フォーカスレンズ502、絞り503、及び撮像素子504で構成される撮像部500を有する。ズームレンズ501は図示しないズームアクチュエータによって光軸LAに沿って移動する。同様に、フォーカスレンズ502は、図示しないフォーカスアクチュエータによって光軸LAに沿って移動する。絞り503は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子504は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等で構成される。なお、通信端末5は、ズームレンズ501を備えておらず、撮像素子104又はメインメモリ606に一時記憶された撮像画像データから所定の画像データを切り出すことで電子的にズームを行うものであってもよい。また、フォーカスレンズ502を駆動せず単焦点のものを使用してもよい。
撮像部500を用いた撮像は以下の手順で行われる。撮像素子504はズームレンズ501、フォーカスレンズ502、及び絞り503を通過した光を光電変換して、被写体のアナログ画像信号を生成する。
アナログ画像信号処理部505が、このアナログ画像信号を増幅した後、画像A/D変換部506が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ507は、画像A/D変換部506から出力されたデジタル画像データを撮像画像データとして取り込んで、バス600を介してメインメモリ606に格納する。
アナログ画像信号処理部505が、このアナログ画像信号を増幅した後、画像A/D変換部506が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ507は、画像A/D変換部506から出力されたデジタル画像データを撮像画像データとして取り込んで、バス600を介してメインメモリ606に格納する。
デジタル信号処理部508は、バス600を介して中央制御部900からの指令に基づき、メインメモリ606に格納された撮像画像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部508はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、RGB補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
マイク509は撮像時の周囲の音声を周音し、アナログ音声信号を生成する。アナログ音声信号処理部510がそのアナログ音声信号を増幅した後、音声A/D変換部511が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ512は、音声A/D変換部511から出力されたデジタル音声データを撮像データと併せてメインメモリ606に格納する。
多重化部513は、メインメモリ606に格納された撮像画像データ及びデジタル音声データや、後述する圧縮・伸長処理部601により圧縮処理が施された撮像画像データ及びデジタル音声データを多重化しストリームデータを生成する。この際、多重化部513は、ストリームデータに対してメタデータ等の付加データを多重化する場合がある。
圧縮・伸長処理部601は、バス600を介して中央制御部900からの指示に従って、撮像画像データ及びデジタル音声データに所定の圧縮処理を施して圧縮データを生成する。また、圧縮・伸長処理部601は、中央制御部900からの指示に従って、記録部の一例であるカード型記録媒体713に格納された圧縮データに所定形式の伸張処理を施して非圧縮データを生成する。所定の圧縮処理としては、静止画像に対してはJPEG規格に準拠した圧縮方式を採用することができ、動画像に対してはMPEG2規格やAVC/H.264規格に準拠した圧縮方式を採用することができる。
音声・画像処理部602は、バス600を介して中央制御部900の指示に従い、メインメモリ606から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やOSD画像等、各種処理のための画像データを生成し、その画像データをメインメモリ606から読み出されたオリジナルの撮像データに重畳させて液晶モニタ704に出力する。この出力によって、液晶モニタ704に表示される画像は各種画像データが合成されたものとなる。なお、液晶モニタ704の代わりに有機EL(Electro Luminescence)モニタ等の他のモニタを用いることも可能である。
ROM603はバス600を介して中央制御部900に接続されており、中央制御部400が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュROM604は、ユーザの設定情報等、通信端末5の動作に関する各種設定情報を格納している。
VRAM605は、表示用の画像データの一時記憶領域として使用される。メインメモリ606は、各種画像データの一時記憶領域として使用されるとともに、中央制御部900の演算作業領域としても使用される。
ジャイロセンサ608は、3軸の加速度及び角速度の変化を検出する。そして、ジャイロセンサ608の検出結果に応じて、液晶モニタ704の表示向きを変える等の制御が行われる。
時計609は、後述する時間計測部904がn回目の応答情報Reply-(n)を受信したタイミングとn+1回目の応答情報Reply-(n+1)を受信したタイミングといった各種の時間の計測を行うのに使用される(なお、nは自然数である)。
時計609は、後述する時間計測部904がn回目の応答情報Reply-(n)を受信したタイミングとn+1回目の応答情報Reply-(n+1)を受信したタイミングといった各種の時間の計測を行うのに使用される(なお、nは自然数である)。
液晶モニタ704、スピーカ705、操作部706及び入出力端子707は入出力I/F703に接続されている。液晶モニタ704は、例えばVRAM605やメインメモリ606に一時記録された撮像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。スピーカ705は、例えばメインメモリ606に一時記録された音声を出力する。操作部706は、操作ボタン、又は液晶モニタ704上に重畳されたタッチパネル等から構成されており、ユーザの通信端末5への操作入力を受け付ける。入出力端子707は、図示しないテレビモニタやPC等に接続される。
無線モジュール709は、バス600及び無線I/F708を介して、撮像装置1との間で画像データや制御に関する情報等の各種情報を無線ネットワーク通信により送受信する。例えば、無線モジュール709は、制御内容情報及び制御要求情報等を含む制御情報を撮像装置1に送信したり、撮像装置1から送信された応答情報を受信する処理を行う。なお、この処理の詳細は後述する。各種情報及び撮像データ等の無線通信はIEEE802.11シリーズを利用した方式で行われる。
中央制御部900は、操作内容判断部901、制御内容情報生成部902、制御要求情報生成部903、時間計測部904、通信環境情報生成部905、及び応答時間判定部906としての機能を有する。以下に各機能について説明する。
操作内容判断部901は、ユーザが操作部706の図示しないボタン等により操作を入力すると、入力された操作の内容及び入力された操作が長押し操作に対応したものであるか否かの判断を行う。例えば、ユーザが図3に示したパンボタン画像63L又は63Rを押下すると、ユーザが撮像装置1のパン制御を要求する内容の操作をしたことと、この操作はユーザが長押し操作することが可能であることの判断を行う。
制御内容情報生成部902は、操作内容判断部901が判断した操作の内容に基づいて制御内容情報を生成する。例えば、ユーザが図3に示したパンボタン画像63を押下した場合は、ユーザが入力した操作に対応する制御内容がパン制御である旨のコマンド情報を生成する。
制御要求情報生成部903は、操作内容判断部901が、ユーザが長押し操作に対応した操作を行ったと判断した場合に、制御要求情報を生成する。例えば、ユーザが図3に示したパンボタン画像63L又は63Rを押下した場合は、長押し操作に対応した操作が行われた旨の判断がなされ、この制御要求情報生成部903が、制御要求情報を生成する。また、制御要求情報生成部903は、撮像装置1から、n回目(なお、nは自然数)の応答情報Reply-(n)が受信された場合に、n+1回目の制御要求情報Request-(n+1)を生成する。
時間計測部904は、n回目(なお、nは自然数)に受信された応答情報Reply-(n)を受信したタイミング、n+1回目の応答情報Reply-(n+1)を受信したタイミング、及び各タイミング間の時間間隔等の各種時間ないし時間間隔の計測を時計609の出力を利用して行う。
通信環境情報生成部905は、通信端末5の都度の通信電波強度を通信環境情報として生成する。すなわちn回目の制御要求情報Request-(n)を受信する際の通信電波強度IQLv(n)、n回目の応答情報Reply-(n)を生成する際の通信電波強度OPLv(n)等を生成する。例えば、通信環境情報生成部905は、無線モジュール709のRSSIの出力に基づき、この通信環境情報を生成する。なお、通信環境情報生成部406による通信電波強度の導出処理の詳細は後述する。
中央制御部900は、上記の通り生成された制御内容情報、制御要求情報、通信環境情報、及び後述するn回目とn+1回目の応答情報受信の時間間隔に関する情報を、撮像装置1のアドレス情報等の他の情報ともにひとまとまりとされたパケットデータとし、撮像装置1に送信する。
応答時間判定部906は、撮像装置1が生成する応答情報が予め定められた設定時間以内に受信されたか否かを判定する。
通信モジュール711は、バス600及び通信I/F710を介して、他の通信端末5の通話、メールの送受信、インターネット接続などを行う。無線モジュール709がIEEE802.11規格を利用した通信方式で無線通信を行うのに対し、通信モジュール711は、例えば、W−CDMAやCDMA2000等の通信規格に準拠した方式で行われる。これにより、通信モジュール711が音声データを送受信することで、他の通信端末5との通話が可能となり、また基地局とのインターネット通信等が可能になる。もちろん、通信モジュール711での通信による通信規格は特に限定されるものではない。なお、本実施の形態では、通信モジュール711と無線モジュール709とを別の構成とし、夫々が異なる通信方式で無線通信を行う態様を記載するが、これらを一つの構成としてもよく、またLTEや4G等、この通信モジュールを使用した無線ネットワーク通信により、本発明を実施することもできる。
メインメモリ606、又はROM603には、各種アプリケーション等が格納されている。アプリケーションには、遠隔制御機能を実現するためのアプリケーションが含まれている。
<通信端末5による撮像装置1の遠隔制御処理>
次に、ユーザが通信端末5の操作部706を長押し操作することで、撮像装置1を遠隔制御する処理について、図6を用いて説明する。図6は、ユーザが通信端末5の操作部706を長押し操作することで、撮像装置1を遠隔制御する処理における各種情報の送受信のシーケンス、及び長押し操作判定部403による長押し操作か否かの判定のフローを説明するための図である。なお、図6において縦軸は、矢印方向に行くにつれて処理時間が経過していることを表している。
次に、ユーザが通信端末5の操作部706を長押し操作することで、撮像装置1を遠隔制御する処理について、図6を用いて説明する。図6は、ユーザが通信端末5の操作部706を長押し操作することで、撮像装置1を遠隔制御する処理における各種情報の送受信のシーケンス、及び長押し操作判定部403による長押し操作か否かの判定のフローを説明するための図である。なお、図6において縦軸は、矢印方向に行くにつれて処理時間が経過していることを表している。
(遠隔制御処理における各種情報送受信のシーケンス)
まず、ユーザが通信端末5の操作部706の所定のボタン(以下、「ボタンB」という。)を押下する。なお、ボタンBは、図3に示したパンボタン画像63L及び63R、チルトボタン画像64U及び64D、又はズームボタン画像65T及び65W等の長押し操作に対応したボタン画像である。ここでは、ユーザがパンボタン画像63Rを押下する操作を例として説明する。
まず、ユーザが通信端末5の操作部706の所定のボタン(以下、「ボタンB」という。)を押下する。なお、ボタンBは、図3に示したパンボタン画像63L及び63R、チルトボタン画像64U及び64D、又はズームボタン画像65T及び65W等の長押し操作に対応したボタン画像である。ここでは、ユーザがパンボタン画像63Rを押下する操作を例として説明する。
ユーザが通信端末5の操作部706のボタンBを押下すると、操作内容判断部901が、この押下によりユーザが入力した操作の内容、つまりこの操作によりユーザが撮像装置1のパン制御を要求している旨、及びこの操作が長押し操作に対応したものである旨の判断を行う。そして、制御内容情報生成部902が、ユーザが要求したのはパン制御であるという1回目の制御内容情報Command-Pan(1)を生成する。併せて、制御要求情報生成部903が、長押し操作に対応した操作である旨の判断に基づき、1回目の制御要求情報Request-(1)を生成する。
そして、生成された制御内容情報Command-Pan(1)、制御要求情報Request-(1)、並びに後述する通信環境情報及びリプライ時間間隔PI(1)を含む制御情報Control-(1)が、撮像装置1のアドレス情報等の他の情報ともにひとまとまりとされたパケットデータを、中央制御部900が生成し、このパケットデータが、バス600及び無線I/F708を介して、及び無線モジュール709から送信出力される。
撮像装置1の無線モジュール309が、上記送信された制御情報Control-(1)を受信すると、制御内容判断部401が制御内容情報Command-Pan(1)からユーザがパン制御を要求しているという制御の内容を判断し、中央制御部400はその制御内容に応じてパンチルトアクチュエータ21を駆動し、結果、撮像装置1のパン制御が開始される。さらに、応答情報生成部402が、受信された制御要求情報Request-(1)に応答して、応答情報Reply-(1)を生成する。そして、生成された応答情報Reply-(1)がバス200及び無線I/F308を介して、無線モジュール309から送信出力される。
通信端末5の無線モジュール709は、送信された応答信号Reply-(1)を受信する。この応答信号Reply-(1)が受信されたときに、ユーザがまだ操作部706のボタンBを押下していた場合は、操作内容判断部901がこの押下によりユーザが入力した操作の内容、つまりこの操作によりユーザが撮像装置1のパン制御を要求している旨の判断を行う。そして、その判断に基づき制御内容情報生成部902が、ユーザが要求したのはパン制御であるという制御内容情報Command-Pan(2)を生成する。
また、制御要求情報生成部903は、応答情報Reply-(1)を受信すると、その受信された応答情報Reply-(1)に応じて制御要求情報Request-(2)を生成する。そして、生成された制御内容情報Command-Pan(2)、制御要求情報Request-(2)、並びに後述する通信電波強度及びリプライ時間間隔PI(2)を含む制御情報Control-(2)を、撮像装置1のアドレス情報等の他の情報ともにひとまとまりとしたパケットデータを、中央制御部900が生成し、このパケットデータが、バス600及び無線I/F708を介して、及び無線モジュール709から送信出力される。
撮像装置1の無線モジュール309が、上記送信された制御内容情報Command-Pan(2)及び制御要求情報Request-(2)からなる制御情報Control-(2)を受信すると、制御内容判断部401が制御内容情報Command-Pan(2)からユーザがパン制御を要求しているという制御の内容を判断し、後述する長押し操作判定部403による長押し操作判定の処理の結果に応じて、中央制御部400はその制御内容に応じてパンチルトアクチュエータ21を駆動し、長押し操作がなされていると判定された場合はパン制御を継続、単押し操作がなされていると判定された場合は1度停止したパン制御を再度行う。さらに、長押し操作がなされていると判定された場合は、応答情報生成部402が、受信された制御要求情報Request-(2)に応答して、応答情報Reply-(2)を生成する。そして、生成された応答情報Reply-(2)がバス200及び無線I/F308を介して、無線モジュール309から送信出力される。
図6の例のように、通信端末5の無線モジュール709が応答信号Reply-(2)を受信したときに、ユーザがボタンBを離して押下を止めていた場合は、操作内容判断部901が、制御が要求されていない旨の判断をし、さらに制御情報が生成ないし送信されることはない。
このように、ユーザがボタンBを離して押下を止めるまで、通信端末5は、制御情報Control-(n)を都度生成し、これら生成された制御情報Control-(n)が撮像装置1に送信される。一方、撮像装置1は、(制御情報Control-(n)に含まれる)制御要求情報Request-(n)を受信すると、その制御要求情報Request-(n)に対応した応答情報Reply-(n)を都度生成して、通信端末5に送信する。
この制御情報及び応答情報の、撮像装置1と通信端末5との間の送受信のシーケンスの中で、撮像装置1の長押し操作判定部403は、都度生成され送信されるn回目の制御要求情報Request-(n)、及びn+1回目の制御要求情報Request-(n)が受信された時間間隔と、長押し判定時間設定部404が設定した長押し判定時間との比較に基づいて、ユーザが通信端末5の操作部306のボタンBに対して入力している操作が、長押し操作であるか否かを判定している。
(長押し操作判定の処理)
同じく図6に長押し操作判定部403による長押し操作か否かの判定(以下、単に「長押し操作判定」という。)処理のフローを示す。通信端末5の無線モジュール709から出力された1回目の制御要求情報Request-(1)が、撮像装置1の無線モジュール309により受信されると、撮像装置1がこの長押し操作判定の処理を開始する。
同じく図6に長押し操作判定部403による長押し操作か否かの判定(以下、単に「長押し操作判定」という。)処理のフローを示す。通信端末5の無線モジュール709から出力された1回目の制御要求情報Request-(1)が、撮像装置1の無線モジュール309により受信されると、撮像装置1がこの長押し操作判定の処理を開始する。
長押し操作判定部403は、Control-(n)に含まれる、n回目に受信された制御要求情報Request-(n)を受信したタイミングと、Control-(n+1)に含まれる、n+1回目の制御要求情報Request-(n+1)を受信したタイミングとの間の時間間隔が、後述する処理により長押し判定時間設定部404が設定した長押し判定時間以内であるか否かを判定する(ステップS11)。
そして、n回目に受信された制御要求情報Request-(n)を受信したタイミングとn+1回目の制御要求情報Request-(n+1)を受信したタイミングとの間の時間間隔が長押し判定時間以内である旨の判定がなされた場合は(ステップS11でYES)、ユーザが通信端末5に入力している操作が長押し操作である旨の判定がなされ、中央制御部400は、制御内容判断部401が判断した制御内容について、長押し操作に対応した制御を行う。すなわち、制御要求情報Request-(1)を受信したタイミングから制御要求情報Request-(n+1)を受信したタイミング以降に亘って、撮像装置1は継続的なパン制御を行う。
一方、n回目に受信された制御要求情報Request-(n)を受信したタイミングと、n+1回目の制御要求情報Request-(n+1)を受信したタイミングとの間の時間間隔が長押し判定時間よりも長い旨の判定がなされた場合は(ステップS11でNO)、ユーザが通信端末5に入力している操作が単押しである旨の判定がなされ、中央制御部400は、制御内容判断部401が判断した制御内容について、長押し操作ではない単押し操作等に対応した制御を行う。すなわち、撮像装置1は制御要求情報Request-(n)を受信したタイミングで予め定められた一定量だけパン制御した後、一度パン制御を停止する。そして、制御要求情報Request-(n+1)を受信したタイミングで予め定められた一定量だけパン動作する。
以上の通り、撮像装置1の長押し操作判定部403が、n回目の制御要求情報Request-(n)を受信したタイミングとn+1回目の制御要求情報Request-(n+1)を受信したタイミングとの間の時間間隔を長押し判定時間と比較することで、ユーザが通信端末5の操作部706に入力している操作が長押し操作か単押し操作(或は、長押し操作ではない別の操作)かの判定がなされる。
すなわち、n回目の制御要求情報Request-(n)を受信したタイミングとn+1回目の制御要求情報Request-(n+1)を受信したタイミングとの間の時間間隔が長押し判定時間以内である場合は、ユーザの操作はボタンBを押し続けている長押し操作である旨の判定がなされる。一方、n回目の制御要求情報Request-(n)を受信したタイミングとn+1回目の制御要求情報Request-(n+1)を受信したタイミングとの間の時間間隔が長押し判定時間よりも長い場合は、その間に押下したボタンを一度離している旨の判定がなされる。例えば、ユーザの操作はボタンBを押してすぐに離す単押操作が連続して行われた場合等である。これにより、長押操作か否かを判別することができ、操作性を向上することができる。
<長押し判定時間設定部404による長押し判定時間の設定の処理>
ここで、長押し判定時間設定部404は、上述の長押し操作判定における長押し判定時間を設定している。長押し判定時間設定部404は、撮像装置1がn回目の制御要求情報Request-(n)を受信したタイミングとn+1回目の制御要求情報Request-(n+1)を受信したタイミングとの間の時間間隔(以下、この時間間隔を「リクエスト時間間隔」という。)、通信端末5がn回目の応答情報Reply-(n)を受信したタイミングとn+1回目の応答情報Reply-(n+1)を受信したタイミングとの間の時間間隔(以下、この時間間隔を「リプライ時間間隔」という。)、及び通信端末5及び撮像装置1の通信電波強度を利用して、長押し判定時間を設定している。
ここで、長押し判定時間設定部404は、上述の長押し操作判定における長押し判定時間を設定している。長押し判定時間設定部404は、撮像装置1がn回目の制御要求情報Request-(n)を受信したタイミングとn+1回目の制御要求情報Request-(n+1)を受信したタイミングとの間の時間間隔(以下、この時間間隔を「リクエスト時間間隔」という。)、通信端末5がn回目の応答情報Reply-(n)を受信したタイミングとn+1回目の応答情報Reply-(n+1)を受信したタイミングとの間の時間間隔(以下、この時間間隔を「リプライ時間間隔」という。)、及び通信端末5及び撮像装置1の通信電波強度を利用して、長押し判定時間を設定している。
通信状況の悪化や各機器の処理性能の低下等、通信環境が悪化すると、撮像装置1が受信する各制御要求情報の受信時間間隔は、悪化する前に比べて長くなる。
例えば、通信端末5を保持するユーザが移動することで、通信端末5と撮像装置1との間に電波遮蔽物が発生した場合は、遮蔽物がなかった場合に比べ電波強度が弱く、場合によっては送受信されるパケットに欠損が生じ、再度送受信をやり直す必要が生じる。こういった場合に、ユーザが移動前に通信端末5が生成した制御要求情報Request-(n)と制御要求情報Request-(n+1)との間の受信時間間隔よりも、制御要求情報Request-(n+1)とユーザが移動後に通信端末5が生成した制御要求情報Request-(n+1)との間の受信時間間隔の方が長くなる。ここで、長押し判定時間設定部404は、通信環境が悪いと、その分長押し判定時間を長く設定することができる。
また、撮像装置1ないし通信端末5の性能の問題で、情報生成処理や送受信処理が遅くなる、又は遅いと、撮像装置1が受信する各制御要求情報の受信間隔は長くなる。例えば、n回目の制御要求情報生成時までは遠隔制御処理のみを行っていた通信端末5が、n+1回目の制御要求情報生成時においては別の処理(例えば、電子メール受信処理等)を並列で行う等の場合が、その例としてあげられる。
ここで、長押し判定時間設定部404は、上記のような通信環境を考慮した長押し判定時間を設定することができる。以下、長押し判定時間設定部404による長押し判定時間の設定の処理について説明する。
(設定された長押し判定時間と制御要求情報の受信間隔の比較)
まず、図7に示す遠隔撮像システムSYS1における長押し操作がなされた場合の通信端末5及び撮像装置1の処理の例を示すシーケンスを用いて、制御要求情報の受信時間間隔と、長押し判定時間設定部404が設定する長押し判定時間との比較について説明する。図7において縦軸は、矢印方向に行くにつれて処理時間が経過していることを表している。
まず、図7に示す遠隔撮像システムSYS1における長押し操作がなされた場合の通信端末5及び撮像装置1の処理の例を示すシーケンスを用いて、制御要求情報の受信時間間隔と、長押し判定時間設定部404が設定する長押し判定時間との比較について説明する。図7において縦軸は、矢印方向に行くにつれて処理時間が経過していることを表している。
撮像装置1の時間計測部405は、通信端末5が生成し送信したn回目の制御要求情報Request-(n)とn+1回目の制御要求情報Request-(n+1)が受信されたタイミングの時間間隔QI(n)を導出する。
また、通信環境情報生成部406は、n回目の制御要求情報Request-(n)を受信した際、n回目の応答情報Reply-(n)を生成した際、n+1回目の制御要求情報Request-(n)を受信した際、及びn+1回目の応答情報Reply-(n+1)を生成した際の通信電波強度を通信環境情報として生成する。
また、通信環境情報生成部406は、n回目の制御要求情報Request-(n)を受信した際、n回目の応答情報Reply-(n)を生成した際、n+1回目の制御要求情報Request-(n)を受信した際、及びn+1回目の応答情報Reply-(n+1)を生成した際の通信電波強度を通信環境情報として生成する。
通信端末5の時間計測部904は、撮像装置1が生成し送信したn回目の応答情報Reply-(n)とn+1回目の応答情報Reply-(n+1)が受信されたタイミングの時間間隔PI(n)を導出する。
また、通信環境情報生成部905は、n回目の制御要求情報Request-(n)を生成した際、n回目の応答情報Reply-(n)を受信した際、n+1回目の制御要求情報Request-(n)を生成した際、及びn+1回目の応答情報Reply-(n+1)を受信した際の通信電波強度を通信環境情報として生成する。
また、通信環境情報生成部905は、n回目の制御要求情報Request-(n)を生成した際、n回目の応答情報Reply-(n)を受信した際、n+1回目の制御要求情報Request-(n)を生成した際、及びn+1回目の応答情報Reply-(n+1)を受信した際の通信電波強度を通信環境情報として生成する。
そして通信端末5の中央制御部900は、後述する処理により生成されたn+2回目の制御情報Control-(n+2)に、導出されたPI(n)に関する情報、n+1回目の制御要求情報Request-(n)を生成した際の通信環境情報、及び/又はn+1回目の応答情報Reply-(n+1)を受信した際の通信環境情報を含めて撮像装置1に送信する。
そして、長押し判定時間設定部404は、受信されたn+2回目の制御情報Control-(n+2)に含まれるPI(n)に関する情報及び通信環境情報、並びに導出されたQI(n)に関する情報及び通信環境情報生成部406が生成した通信環境情報を利用して、長押し判定時間を設定する。設定された長押し判定時間t(n)は、長押し操作判定部403によって、n+2回目の制御要求情報Request-(n+2)を受信したタイミングとn+3回目の制御要求情報Request-(n+3)を受信したタイミングとの間の時間間隔QI(n+2)と比較される。
この比較の結果、通信端末5に入力された操作が長押し操作であるかどうかの判定が行われる。
図7の例では、n回目の応答情報Reply-(n)の送受信より後の情報の送受信では、その通信時間がより長く掛かっている場合を示している。この様な場合に、一定の長押し判定時間により制御要求情報の受信時間間隔との比較及び判定を行うと、QI(n)との比較及び判定の段階では長押し操作と判定された操作が、引続き継続された長押し操作であるにも関わらず、QI(n+1)との比較及び判定の段階では、ユーザが一度押下をやめている旨の判定がされてしまう可能性がある。
ここで、長押し判定時間設定部404は、Pn(I)、Qn(I)、及び各通信環境情報を利用して、通信環境が良かったQI(n)との比較時よりも長い時間の長押し判定時間を、通信環境が悪くなったQI(n+2)との比較時に設定変更して(更新して)使用することができる。従って、遠隔撮像システムSYS1では、通信環境に応じた適切な長押し操作に基づく遠隔制御を行うことが可能となる。
なお、上記及び以下の説明では、長押し判定時間設定部404が設定する長押し判定時間T(n)は、QI(n+2)と比較する場合を例にあげるが、撮像装置1の各種処理速度によっては、QI(n+1)と比較することも可能である。
(通信端末5による制御情報の生成及び送信の処理)
次に、通信端末5による制御内容情報及び制御要求情報等からなる制御情報の生成・送信処理について、図8のフローチャートを用いて詳細に説明する。なお、通信端末5が、撮像装置1からn回目の応答信号Reply-(n)を受信した時間をPT(n)、n+1回目の応答信号Reply-(n+1)を受信した時間をPT(n+1)として、以下説明する。また、PT(n+1)とPT(n)との差、すなわち通信端末5が各応答信号を受信したタイミング間の時間間隔を、n回目に導出されたリプライ時間間隔PI(n)として以下説明する。なお、PT(n)及びPT(n+1)は現在時刻からの相対時間、又はゼロに初期化された初期化タイミングから相対時間とすることができる。
次に、通信端末5による制御内容情報及び制御要求情報等からなる制御情報の生成・送信処理について、図8のフローチャートを用いて詳細に説明する。なお、通信端末5が、撮像装置1からn回目の応答信号Reply-(n)を受信した時間をPT(n)、n+1回目の応答信号Reply-(n+1)を受信した時間をPT(n+1)として、以下説明する。また、PT(n+1)とPT(n)との差、すなわち通信端末5が各応答信号を受信したタイミング間の時間間隔を、n回目に導出されたリプライ時間間隔PI(n)として以下説明する。なお、PT(n)及びPT(n+1)は現在時刻からの相対時間、又はゼロに初期化された初期化タイミングから相対時間とすることができる。
ユーザが操作部706において長押し操作に対応したボタンを押下して操作を入力すると、操作内容判断部901は、その入力された操作が長押し操作に対応したものである旨の判断を行う(ステップS201)。そして、ステップS201で、入力された操作が長押し操作に対応したものである旨の判断がなされると、時間計測部904は計測時間を初期化して、時計609の出力を用いて時間の計測を開始する(ステップS202)。
次に、通信端末5の通信環境情報生成部905は、1回目の制御情報Control-(1)が生成される直前の、その1回目の制御情報Control-(1)に含ませる通信環境情報を生成する(ステップS203)。なお、通信環境情報生成部905による通信環境情報の導出処理の詳細は後述する。
そして、制御要求情報生成部903は、ユーザによる操作部706への操作に応じて1回目の制御要求情報Request-(1)を生成する(ステップS204)。制御内容情報生成部902は、操作内容判断部901が判断した操作の内容に基づいて1回目の制御内容情報Command-(1)を生成する(ステップS205)。
ここで、通信端末5はこの段階(後述するステップS207で1回目の制御情報Control-(1)を生成するまで段階)では、撮像装置1から応答情報Reply-(n)を受信していない。従って、1回目の制御情報Control-(1)に含ませるリプライ時間間隔PI(1)として、中央制御部900は、通信端末5が予め設定している値を導出して使用する(ステップS206)。
この予め設定している値として、中央制御部900は、ROM603等に記憶された固定の値(例えば300msec)を使用することができる。
或は、中央制御部900は、通信端末5と撮像装置1の識別番号等を用いて、当該遠隔制御を実施する前に予め行うペアリングの際に、中央制御部900が取得する情報に基づいて導出された値を使用することもできる。すなわち、ROM603等には遠隔制御の対象となる複数の外部機器の情報、及び複数のネットワーク環境に関する情報に対応した、リプライ時間間隔PI(1)の値がテーブルとして保持されている。そして、ペアリングの際に取得した撮像装置1の情報及びネットワーク環境に関する情報から、中央制御部900は今回使用するリプライ時間間隔PI(1)の値を導出して使用することもできる。
或は、中央制御部900は、通信端末5と撮像装置1の識別番号等を用いて、当該遠隔制御を実施する前に予め行うペアリングの際に、中央制御部900が取得する情報に基づいて導出された値を使用することもできる。すなわち、ROM603等には遠隔制御の対象となる複数の外部機器の情報、及び複数のネットワーク環境に関する情報に対応した、リプライ時間間隔PI(1)の値がテーブルとして保持されている。そして、ペアリングの際に取得した撮像装置1の情報及びネットワーク環境に関する情報から、中央制御部900は今回使用するリプライ時間間隔PI(1)の値を導出して使用することもできる。
そして、中央制御部900は、ステップS203で生成された通信環境情報、ステップS204で生成された制御要求情報Request-(1)、ステップS206で生成された制御内容情報Command-(1)、及びステップS205で導出されたリプライ時間間隔PI(1)を含む制御情報Control-(1)を生成し、撮像装置1に送信する(ステップS207)。
そして、操作内容判断部901は、ユーザがボタンBの押下を継続しているか否かを判定する(ステップS208)。ボタンが離されていると判定された場合(ステップS208でNO)、この制御情報の生成・送信処理を終了(中断)する。このとき、時間計測部904は時間の計測を終了する。
ボタンが押下されていると判定された場合(ステップS208でYES)、応答時間判定部906が、予め定められた設定時間以内に、撮像装置1で生成及び送信された1回目の応答信号Reply-(1)が受信されたか否かを判定する(ステップS209)。応答時間判定部906が、1回目の応答信号Reply-(1)が予め定められた設定時間以内に受信されていないと判定した場合(ステップS209でNO)、この制御情報の生成・送信処理を終了(中断)する。このとき、時間計測部904は時間の計測を終了する。
応答時間判定部906が、1回目の応答信号Reply-(1)が予め定められた設定時間以内に受信されたと判定した場合(ステップS209でYES)、中央制御部900は、時間計測部904の計測に基づき、その1回目の応答信号Reply-(1)を受信したタイミングを記憶する(ステップS210)。
そして、通信端末5の通信環境情報生成部905は、1回目の応答信号Reply-(1)を受信したときの、又は2回目の制御情報Control-(2)が生成される直前の、その2回目の制御情報Control-(2)に含ませる通信環境情報を生成する(ステップS211)。なお、通信環境情報生成部905による通信環境情報の生成処理の詳細は後述する。
そして、制御要求情報生成部903は、1回目の応答信号Reply-(1)の受信に応じて2回目の制御要求情報Request-(2)を生成する(ステップS212)。制御内容情報生成部902は、操作内容判断部901が判断した操作の内容に基づいて2回目の制御内容情報Command-(1)を生成する(ステップS213)。
ここで、通信端末5はこの段階(後述するステップS215で2回目の制御情報Control-(2)を生成するまで段階)では、撮像装置1から2回目の応答情報Reply-(2)を受信していない。従って、2回目の制御情報Control-(2)に含ませるリプライ時間間隔PI(2)として、中央制御部900は、通信端末5が予め設定している値を導出して使用する(ステップS214)。このステップの処理は、上述したステップS206の処理と同様にして行われる。
そして、中央制御部900は、ステップS211で生成された通信環境情報(通信電波強度、ステップS212で生成された制御要求情報Request-(2)、ステップS213で生成された制御内容情報Command-(2)、及びステップS214で導出されたリプライ時間間隔PI(2)を含む制御情報Control-(2)を生成し、撮像装置1に送信する(ステップS215)。
そして、操作内容判断部901は、ユーザがボタンBの押下を継続しているか否かを判定する(ステップS216)。ボタンが離されていると判定された場合(ステップS216でNO)、この制御情報の生成・送信処理を終了(中断)する。このとき、時間計測部904は時間の計測を終了する。
ボタンが押下されていると判定された場合(ステップS216でYES)、応答時間判定部906が、予め定められた設定時間以内に、撮像装置1で生成及び送信されたn−1回目(ここで、nは3以上の自然数とする)の応答信号Reply-(n-1)が受信されたか否かを判定する(ステップS217)。応答時間判定部906が、n−1回目の応答信号Reply-(n-1)が予め定められた設定時間以内に受信されていないと判定した場合(ステップS217でNO)、この制御情報の生成・送信処理を終了(中断)する。このとき、時間計測部904は時間の計測を終了する。
応答時間判定部906が、n−1回目の応答信号Reply-(n-1)が予め定められた設定時間以内に受信されたと判定した場合(ステップS217でYES)、中央制御部900は、時間計測部904の計測に基づき、そのn−1回目の応答信号Reply-(n-1)を受信したタイミングを記憶する(ステップS218)。
そして、通信端末5の通信環境情報生成部905は、n−1回目の応答信号Reply-(n-1)が受信されたときの、又はn回目の制御情報Control-(n)が生成される直前の、そのn回目の制御情報Control-(n)に含ませる通信環境情報を生成する(ステップS219)。なお、通信環境情報生成部905による通信環境情報の生成処理の詳細は後述する。
そして、制御要求情報生成部903は、n回目の応答信号Reply-(n)の受信に応じてn回目の制御要求情報Request-(n)を生成する(ステップS220)。制御内容情報生成部902は、操作内容判断部901が判断した操作の内容に基づいてn回目の制御内容情報Command-(n)を生成する(ステップS221)。
そして、時間計測部904は、記憶されたn−2回目の応答情報Reply-(n-2)の受信のタイミングPT(n−2)、及びn−1回目の応答情報Reply-(n-1)の受信のタイミングPT(n−1)に基づき、n回目の制御情報Control-(n)に含ませるリプライ時間間隔PI(n−1)を導出する。
そして、中央制御部900は、ステップS219で生成された通信環境情報、ステップS220で生成された制御要求情報Request-(n)、ステップS221で生成された制御内容情報Command-(n)、及びステップS222で導出されたリプライ時間間隔PI(n−1)を含む制御情報Control-(n)を生成し、撮像装置1に送信する(ステップS223)。
そして、操作内容判断部901は、ユーザがボタンBの押下を継続しているか否かを判定する(ステップS224)。ボタンが離されていると判定された場合(ステップS224でNO)、この制御情報の生成・送信処理を終了(中断)する。このとき、時間計測部904は時間の計測を終了する。
ボタンBが押下されていると判定された場合(ステップS224でYES)、応答時間判定部906が、予め定められた設定時間以内に、撮像装置1で生成及び送信されたn回目の応答信号Reply-(n)が受信されたか否かを判定する(ステップS225)。応答時間判定部906が、n回目の応答信号Reply-(n)が予め定められた設定時間以内に受信されていないと判定した場合(ステップS225でNO)、この制御情報の生成・送信処理を終了(中断)する。このとき、時間計測部904は時間の計測を終了する。
応答時間判定部906が、n回目の応答信号Reply-(n)が予め定められた設定時間以内に受信されたと判定した場合(ステップS225でYES)、ステップS218に戻る。この繰り返しによりn回目(ここでは、nは自然数)の制御情報Control-(n)が都度生成され、撮像装置1に送信される。また、n回目の応答信号Reply-(n)を受信した時間PT(n)及びn+1回目の応答信号Reply-(n+1)を受信した時間PT(n+1)が、都度計測され記憶されていく。そして、リプライ時間間隔PI(n)が都度更新されて、制御情報Control-(n+2)に含まれていくことになる。
(撮像装置1の応答情報の生成及び送信の処理)
次に、図9を参照して、撮像装置1の応答情報Reply-(n)の生成及び送信の処理について説明する。なお撮像装置1がn回目の制御要求情報Request-(n)を受信した時間をQT(n)、n+1回目の制御要求情報Request-(n+1)を受信した時間をQT(n+1)として、以下説明する。また、QT(n)とQT(n+1)との差、すなわち撮像装置1が各制御要求情報を受信したタイミング間の時間間隔をリクエスト時間間隔QI(n)として以下説明する。なお、QT(n)及びQT(n+1)は現在時刻からの相対時間、又はゼロに初期化された初期化タイミングから相対時間とすることができる。
次に、図9を参照して、撮像装置1の応答情報Reply-(n)の生成及び送信の処理について説明する。なお撮像装置1がn回目の制御要求情報Request-(n)を受信した時間をQT(n)、n+1回目の制御要求情報Request-(n+1)を受信した時間をQT(n+1)として、以下説明する。また、QT(n)とQT(n+1)との差、すなわち撮像装置1が各制御要求情報を受信したタイミング間の時間間隔をリクエスト時間間隔QI(n)として以下説明する。なお、QT(n)及びQT(n+1)は現在時刻からの相対時間、又はゼロに初期化された初期化タイミングから相対時間とすることができる。
無線モジュール309を介して撮像装置1に、1回目の制御要求情報Request-(1)が取得(受信)される(ステップS301)。そして、ステップS301で、1回目の制御要求情報Request-(1)が取得(受信)されると、時間計測部904は計測時間を初期化して、時計609の出力を用いて時間の計測を開始する(ステップS302)。
中央制御部900は、時間計測部904の計測に基づき、ステップS301で受信された1回目の制御要求情報Request-(1)を受信したタイミングを記憶する(ステップS303)。
次に、撮像装置1の通信環境情報生成部406は、1回目の制御要求情報Request-(1)が受信された際の、又は1回目の応答情報Reply-(1)が生成される直前の、通信電波強度を生成し、中央制御部400は生成された通信電波強度を記憶する(ステップS304)。なお、通信環境情報生成部406による通信電波強度の導出処理の詳細は後述する。
そして、応答情報生成部402は、ステップS301で受信された1回目の制御要求情報Request-(1)の受信に応じて、応答情報Reply-(1)を生成し、通信端末5に送信する(ステップS305)。
制御要求時間判定部407が、予め定められた設定時間以内に、通信端末5で生成及び送信されたn回目(ここで、nは2以上の自然数)の制御要求情報Request-(n)が受信されたか否かを判定する(ステップS306)。制御要求時間判定部407が、n回目の制御要求情報Request-(n)が予め定められた設定時間以内に受信されていないと判定した場合(ステップS306でNO)、この制御情報の生成・送信処理を終了(中断)する。このとき、時間計測部904は時間の計測を終了する。
制御要求時間判定部407が、n回目の制御要求情報Request-(n)が予め定められた設定時間以内に受信されたと判定した場合(ステップS306でYES)、中央制御部900は、時間計測部904の計測に基づき、ステップS306で受信されたn回目の制御要求情報Request-(n)を受信したタイミングを記憶する(ステップS307)。
そして、中央制御部400は、記憶されたn−1回目の制御要求情報Request-(n-1)の受信のタイミングQT(n−1)、及びn回目の制御要求情報Request-(n)の受信のタイミングQT(n)に基づきリクエスト時間間隔QI(n−1)を導出する(ステップS308)。
次に、撮像装置1の通信環境情報生成部406は、n−1回目の制御要求情報Request-(n-1)が受信された際の、又はn回目の応答情報Reply-(n)が生成される直前の、通信電波強度を生成し、中央制御部400は生成された通信電波強度を記憶する(ステップS309)。なお、通信環境情報生成部406による通信電波強度の導出処理の詳細は後述する。
そして、応答情報生成部402は、ステップS306で受信されたn回目の制御要求情報Request-(n)の受信に応じて、応答情報Reply-(n)を生成し、通信端末5に送信する(ステップS310)。
そして、ステップS306に戻り制御要求時間判定部407が、予め定められた設定時間以内に、通信端末5で生成及び送信されたn+1回目の制御要求情報Request-(n+1)が受信されたか否かを判定する(ステップS306)。制御要求時間判定部407が、n+1回目の制御要求情報Request-(n+1)が予め定められた設定時間以内に受信されていないと判定した場合(ステップS306でNO)、この制御情報の生成・送信処理を終了(中断)する。このとき、時間計測部904は時間の計測を終了する。
制御要求時間判定部407が、n回目の制御要求情報Request-(n)が予め定められた設定時間以内に受信されたと判定した場合(ステップS306でYES)、以降同様の処理を繰り返す。
この繰り返しによりn回目(ここでは、nは自然数)の応答情報Reply-(n)が都度生成され、通信端末に送信される。また、n回目の制御要求情報Request-(n)を受信した時間QT(n)及びn回目の制御要求情報Request-(n+1)を受信した時間QT(n+1)が、都度計測され記憶されていく。そして、リクエスト時間間隔QI(n)が都度導出され、更新されて記憶されていく。
この繰り返しによりn回目(ここでは、nは自然数)の応答情報Reply-(n)が都度生成され、通信端末に送信される。また、n回目の制御要求情報Request-(n)を受信した時間QT(n)及びn回目の制御要求情報Request-(n+1)を受信した時間QT(n+1)が、都度計測され記憶されていく。そして、リクエスト時間間隔QI(n)が都度導出され、更新されて記憶されていく。
(通信環境情報の導出処理)
次に撮像装置1の通信環境情報生成部406及び通信端末5の通信環境情報生成部905による通信電波強度の導出の処理について、図10を用いて説明する。図10は、図8に示したステップS203、ステップS211、及びステップS219、並びに図9に示したステップS304及びステップS309の通信環境情報の生成処理の詳細を示すフローチャートである。なお、本実施の形態では、撮像装置1の通信環境情報生成部406、及び通信端末5の通信環境情報生成部905は、RSSIに基づき、通信電波強度を測定することができる。
また、以下の説明では、撮像装置1の通信環境情報生成部406による通信電波強度の導出を例にあげるが、通信端末5の通信環境情報生成部905による通信電波強度の導出も同様である。
次に撮像装置1の通信環境情報生成部406及び通信端末5の通信環境情報生成部905による通信電波強度の導出の処理について、図10を用いて説明する。図10は、図8に示したステップS203、ステップS211、及びステップS219、並びに図9に示したステップS304及びステップS309の通信環境情報の生成処理の詳細を示すフローチャートである。なお、本実施の形態では、撮像装置1の通信環境情報生成部406、及び通信端末5の通信環境情報生成部905は、RSSIに基づき、通信電波強度を測定することができる。
また、以下の説明では、撮像装置1の通信環境情報生成部406による通信電波強度の導出を例にあげるが、通信端末5の通信環境情報生成部905による通信電波強度の導出も同様である。
まず、通信環境情報生成部406は、都度の、無線モジュール309におけるRSSIの出力を取得する(ステップS401)。以下ではn回目に取得されるRSSIの出力をR(n)とする。
そして、予め特定される電波強度の最大値Rmaxを、通信環境情報生成部406が取得するRSSIの最大値とする(ステップS402)。電波強度最大値Rmaxは、実際に通信する通信端末5と撮像装置1の電波強度の最大値であり、通信端末5と撮像装置1が理想的な環境で通信した時に示す電波強度の値である。電波強度最大値は、通信する通信端末5と撮像装置1によって決定される。電波強度最大値は、予め設定されていてもよい。例えば、通信端末5と撮像装置1のペアリング時等において、設定してもよい。あるいは、撮像装置1が通信端末5の機種に応じたテーブルを持っていてもよい。
次に、以下の数式(1)から、通信環境情報生成部406により通信電波強度が導出される。
通信電波強度=R(n)/Rmax・・・(1)
通信電波強度=R(n)/Rmax・・・(1)
なお、導出されるR(n)の最小値Rminが負であるとき、最小値Rminを0にするオフセット値を加算する。具体的には、例えば、Rmin=−20で、Rmax=60の場合、オフセット値offsetは20となる。よって、オフセット値offsetの20を加算して、Rmin=0、Rmax=80とする。
上記と同様にして通信端末5が導出する通信電波強度において、オフセットによる補正は、導出する通信端末5が行ってもよく、通信端末5が導出した通信電波強度に関する情報を、制御情報を介して受信する撮像装置1が行ってもよい。
(リクエスト時間間隔とリプライ時間間隔の比較に基づく長押し判定時間の設定)
長押し判定時間設定部404は、n回目の制御要求情報Request-(n)を受信したタイミングとn+1回目の制御要求情報Request-(n+1)を受信したタイミングとの間のリクエスト時間間隔QI(n)と、n回目の応答情報Reply-(n)を受信したタイミングとn+1回目の応答情報Reply-(n+1) を受信したタイミングとの間のリプライ時間間隔PI(n)との比較に基づき、長押し判定時間t(n)を設定することができる。
長押し判定時間設定部404は、n回目の制御要求情報Request-(n)を受信したタイミングとn+1回目の制御要求情報Request-(n+1)を受信したタイミングとの間のリクエスト時間間隔QI(n)と、n回目の応答情報Reply-(n)を受信したタイミングとn+1回目の応答情報Reply-(n+1) を受信したタイミングとの間のリプライ時間間隔PI(n)との比較に基づき、長押し判定時間t(n)を設定することができる。
長押し判定時間設定部404は、リクエスト時間間隔QI(n)がリプライ時間間隔PI(n)より長い場合は、以下の数式(2)により、リクエスト時間間隔QI(n)に基づいて長押し判定時間を設定する。なお、aは長押し判定時間を設定するための係数であり、任意の定数(例えば1.2)とすることができる。
t(n)=a*QI(n)・・・(2)
t(n)=a*QI(n)・・・(2)
一方、長押し判定時間設定部404は、リプライ時間間隔PI(n)がリクエスト時間間隔QI(n)より長い場合は、以下の数式(2)により、リプライ時間間隔PI(n)に基づいて長押し判定時間を設定する。なお、aは長押し判定時間を設定するための係数であり、任意の定数(例えば1.2)とすることができる。
t(n)=a*PI(n)・・・(3)
t(n)=a*PI(n)・・・(3)
上述した通り、無線ネットワーク通信を介した遠隔制御では、操作機器及び本体機器の性能や処理状況、各種情報の通信状況によって、リクエスト時間間隔は都度変化してく。長押し判定時間設定部404が、通信端末5及び撮像装置1の都度の情報の送受信間隔を比較し、より判定の確実性の高い時間隔を用いて長押し判定時間を動的に設定変更していく(更新していく)ことで、無線ネットワーク通信を介した遠隔制御において適切な長押し操作に基づく遠隔制御を実現することができる。
なお、上記ではn回目の制御要求情報Request-(n)を受信したタイミングとn+1回目の制御要求情報Request-(n+1)を受信したタイミングとの間のリクエスト時間間隔QI(n)と、n回目の応答情報Reply-(n)を受信したタイミングとn+1回目の応答情報Reply-(n+1) を受信したタイミングとの間のリプライ時間間隔PI(n)との比較を例にあげたが、他の情報の受信間隔や送信間隔を比較に用いてもよい。
(長押し判定時間設定部404によるリプライ時間間隔、リクエスト時間間隔、及び通信電波強度に基づく長押し判定時間の設定)
上述した長押し判定時間の設定は各情報の受信間隔等の比較に基づくものであったが、長押し判定時間設定部404はさらに、通信端末5又は撮像装置1の通信環境情報を用いて、長押し判定時間を設定することもできる。
上述した長押し判定時間の設定は各情報の受信間隔等の比較に基づくものであったが、長押し判定時間設定部404はさらに、通信端末5又は撮像装置1の通信環境情報を用いて、長押し判定時間を設定することもできる。
次に、図11に示すフローチャートを用いて、長押し判定時間設定部404によるリプライ時間間隔PI(n)、リクエスト時間間隔QI(n)、及び通信電波強度に基づく長押し判定時間の設定の処理について説明する。
図11に示したフローチャートでは、長押し判定時間設定部404が変更し改めて設定する、つまり更新する長押し判定時間を、更新される前の長押し判定時間よりも短い時間としない場合を示す。すなわち、図11の例では、一度長い時間に設定された長押し判定時間は、以後の通信環境等が変化しても、より短い時間に更新されることはない。
図11に示したフローチャートでは、長押し判定時間設定部404が変更し改めて設定する、つまり更新する長押し判定時間を、更新される前の長押し判定時間よりも短い時間としない場合を示す。すなわち、図11の例では、一度長い時間に設定された長押し判定時間は、以後の通信環境等が変化しても、より短い時間に更新されることはない。
以下の説明及び図11において示す、a'は長押し判定時間を設定するための係数であり、任意の定数(例えば1.4)とすることができる。t(n)はn回目に設定された長押し判定時間、t(i)は今回(i回目)の設定として導出された長押し判定時間、tiは長押し判定時間設定部404が導出した値、及びtdを長押し判定時間の上限値とする。
なお上限値tdとしては、予め定めた値、例えば400msecを設定しておくことができる。この設定は、メインメモリ206等に記憶されている。係数a'、及び上限値tdは製造者又はユーザが適宜設定・変更することができる。
なお上限値tdとしては、予め定めた値、例えば400msecを設定しておくことができる。この設定は、メインメモリ206等に記憶されている。係数a'、及び上限値tdは製造者又はユーザが適宜設定・変更することができる。
まず、今回、長押し判定時間設定部404が設定する直前に設定された長押し判定時間t(i−1)(n=i−1)が上限値tdと一致しているか否かを判定する(ステップS501)。長押し判定時間t(i−1)が上限値tdと一致している場合(ステップS501でYES)は、長押し判定時間設定部404は長押し判定時間t(i)をtdと設定して、この長押し判定時間設定の処理を終了する。この場合は、長押し判定時間t(n)が上限値tdに到達しているため、設定される長押し判定時間t(i)も上限値tdのまま維持される。
上記長押し判定時間t(i−1)が上限値tdと一致していない場合(ステップS501でNO)、すなわち、長押し判定時間t(i−1)が上限値tdよりも小さい場合、長押し判定時間設定部404が、リクエスト時間間隔QI(n)とリプライ時間間隔PI(n)とを比較する(ステップS502)。
このステップS502では、通信端末5における応答情報の受信に時間を要したか、あるいは撮像装置1における制御要求情報の受信に時間を要したかが判定されている。
リプライ時間間隔PI(n)がリクエスト時間間隔QI(n)よりも大きい場合、通信端末5が応答情報を受信するのに要した時間の方が長いと判定される。一方、リプライ時間間隔PI(n)がリクエスト時間間隔QI(n)よりも小さい場合、撮像装置1において制御要求情報を受信するのに要した時間の方が長いと判定される。
リプライ時間間隔PI(n)がリクエスト時間間隔QI(n)よりも大きい場合、通信端末5が応答情報を受信するのに要した時間の方が長いと判定される。一方、リプライ時間間隔PI(n)がリクエスト時間間隔QI(n)よりも小さい場合、撮像装置1において制御要求情報を受信するのに要した時間の方が長いと判定される。
リプライ時間間隔PI(n)がリクエスト時間間隔QI(n)よりも大きい場合(ステップS502でPI(n)が大)、ステップS503に移行して、長押し判定時間設定部404が、tiを算出する。ステップS503では、リプライ時間間隔PI(n)及びn+1回目の応答情報Reply-(n+1)が受信された際の通信端末5の通信電波強度IPLv(n+1)に基づいてtiが導出される。
具体的には、以下の数式(4)を用いて、tiが導出される。
ti=(1+(1−IPLv(n+1)))×a'×PI(n)・・・(4)
ti=(1+(1−IPLv(n+1)))×a'×PI(n)・・・(4)
一方、リクエスト時間間隔QI(n)がリプライ時間間隔PI(n)よりも大きい場合(ステップS502でQI(n)が大)、ステップS504に移行して、長押し判定時間設定部404が、tiを算出する。ステップS504では、リクエスト時間間隔QI(n)及びn+1回目の応答情報Reply-(n+1)が生成された際の撮像装置1の通信電波強度OPLv(n+1)に基づいてtiが導出される。
具体的には、以下の数式(5)を用いて、tiが導出される。
ti=(1+(1−OPLv(n+1)))×a'×QI(n)・・・(5)
ti=(1+(1−OPLv(n+1)))×a'×QI(n)・・・(5)
そして、ステップS503、又はS504で算出されたtiが、上限値tdより小さいか否かを、長押し判定時間設定部404が判定する(ステップS505)。tiが、上限値td以上である場合(ステップS505でNO)、長押し判定時間設定部404は今回の長押し判定時間t(i)を、算出されたtiではなく、上限値tdと設定する(ステップS506)。一方、tiが、上限値tdより小さい場合(ステップS505でYES)、処理は次のステップS507に進む。
ステップS505、又はステップS506の後、長押し判定時間設定部404が、算出されたtiが直前に設定された長押し判定時間、つまり現在設定されている長押し判定時間t(i−1)以下となっているか否かを判定する(ステップS507)。算出されたtiが現在設定されている長押し判定時間t(i−1)よりも大きい場合(ステップS507でNO)、長押し判定時間設定部404は、今回の長押し判定時間t(i)をtiとする(ステップS508)。これにより、長押し判定時間が前回よりも大きくなる。これにより、通信環境が前回より劣化していると推測できる場合は、長押し判定時間設定部404が、長押し判定時間t(i)を長押し判定時間t(i−1)よりも長く設定することができる。
一方、算出されたtiが現在設定されている長押し判定時間t(i−1)以下の場合(ステップS507でYES)、長押し判定時間設定部404は、長押し判定時間t(i)を現在の長押し判定時間t(i−1)と同じ値に維持する。これにより、通信環境が前回から改善していると推測できる場合は、長押し判定時間が変更せず、維持することができる。
このように、長押し判定時間設定部404が、リプライ時間間隔PI(n)とリクエスト時間間隔QI(n)との比較を行いより長い受信時間間隔を利用するとともに、その受信を行っている機器の通信電波強度も利用することで、より適切に通信環境を考慮した長押し判定時間t(i)を設定することができる。
また、長押し判定時間をより短い期間には変更しないことで、都度通信環境が悪化してく場合でも、適切な長押し判定時間の設定を行うことができる。
また、長押し判定時間をより短い期間には変更しないことで、都度通信環境が悪化してく場合でも、適切な長押し判定時間の設定を行うことができる。
また、長押判定区間が不要に長くなったり短くなったりしないため、撮像装置1の応答性が悪くなることを防ぐことができる。従って、ユーザが意図通りに操作することができ、操作性を向上することができる。
ここで、長押し判定時間t(i)又は導出されたtiが予め定めた閾値よりも大きくなる場合、長押し操作を無効とするようにしてもよい。
すなわち、通信環境が大きく劣化すると、設定される長押し判定時間が非常に長くなってしまう。このような場合、長押し操作であるか否かを適切に判定することが困難になってしまう。よって、長押し操作を無効として、単押し操作のみで撮像装置1が制御されるようにする。例えば、ステップS501でNOとなった場合、長押し操作無効とするようにすればよい。
すなわち、通信環境が大きく劣化すると、設定される長押し判定時間が非常に長くなってしまう。このような場合、長押し操作であるか否かを適切に判定することが困難になってしまう。よって、長押し操作を無効として、単押し操作のみで撮像装置1が制御されるようにする。例えば、ステップS501でNOとなった場合、長押し操作無効とするようにすればよい。
長押し操作を無効とする場合、通信端末5のユーザに長押し操作が無効であることを報知されることが好ましい。例えば、図12に示すように、ズームボタン画像65に"+"を表示させる。さらには、図13に示すように、長押し操作できないことを示す"×LONG PUSH"の文字画像69を表示するようにしてもよい。このように、液晶モニタ704に表示された操作画像上に、長押操作が無効であることを文字やアイコン等を表示させる。また、表示画像上の表示に限らず、LED等を用いて報知させるようにしてもよい。
(長押し判定時間設定部404によるリプライ時間間隔、リクエスト時間間隔、及び通信電波強度に基づく長押し判定時間の設定の変形例)
なお、上述した図11のフローでは、長押し判定時間設定部404は、長押し判定時間を短く変化させないようしたが、長押し判定時間を短く変化させるようにしてもよい。すなわち、通信状況に応じて、長押し判定時間設定部404は長押し判定時間を長くしたり、短くしたりする。この場合のフローについて図14を用いて説明する。
なお、上述した図11のフローでは、長押し判定時間設定部404は、長押し判定時間を短く変化させないようしたが、長押し判定時間を短く変化させるようにしてもよい。すなわち、通信状況に応じて、長押し判定時間設定部404は長押し判定時間を長くしたり、短くしたりする。この場合のフローについて図14を用いて説明する。
なお、図14において、長押し判定時間t(i)の上限値をtdmaxとし、下限値をtdminとしている。なお、上限値tdmaxとしては、例えば、400msec程度とし、下限値tdminとしては、例えば、200msec程度と予め設定することができる。この上限値tdmax及び下限値tdminは、撮像装置1のメインメモリ206等に一時記憶されている。
また、上記と同様に、a'は長押し判定時間を設定するための係数であり、任意の定数(例えば1.4)とすることができる。t(n)はn回目に設定された長押し判定時間、t(i)は今回の設定として導出された長押し判定時間、tiは長押し判定時間設定部404が導出した値とする。
長押し判定時間設定部404は、まずリプライ時間間隔PI(n)とリクエスト時間間隔QI(n)を比較する(ステップS601)。ここでは、通信端末5における応答情報の受信に時間を要したか、あるいは撮像装置1における制御要求情報の受信に時間を要したかが判定されている。
リプライ時間間隔PI(n)がリクエスト時間間隔QI(n)よりも大きい場合、通信端末5が応答情報を受信するのに要した時間の方が長いと判定される。一方、リプライ時間間隔PI(n)がリクエスト時間間隔QI(n)よりも小さい場合、撮像装置1において制御要求情報を受信するのに要した時間の方が長いと判定される。
リプライ時間間隔PI(n)がリクエスト時間間隔QI(n)よりも大きい場合(ステップS601でPI(n)が大)、ステップS602に移行して、長押し判定時間設定部404が、tiを導出する。具体的には、上述した数式(4)により、tiが導出される。
一方、リクエスト時間間隔QI(n)がリプライ時間間隔PI(n)よりも大きい場合(ステップS601でQI(n)が大)、ステップS603に移行して、長押し判定時間設定部404が、tiを導出する。具体的には、上述した数式(5)により、tiが導出される。
そして、長押し判定時間設定部404が、ステップS602、又はS603で算出されたtiが、現在の長押し判定時間t(i−1)以下であるか否かを判定する(ステップS604)。
算出されたtiが長押し判定時間t(i−1)以下である場合(ステップS604でYES)、算出されたtiが下限値tdmin以下であるか否かを判定する(ステップS605)。算出されたtiが下限値tdmin以下である場合(ステップS605でYES)、長押し判定時間設定部404は、今回の長押し判定時間t(i)として、下限値tdminを設定する(ステップS606)。この場合、長押し判定時間設定部404によって長押し判定時間t(i)が、長押し判定時間がt(i−1)で設定されていたものから、下限値tdminに更新される。
算出されたtiが長押し判定時間t(i−1)以下である場合(ステップS604でYES)、算出されたtiが下限値tdmin以下であるか否かを判定する(ステップS605)。算出されたtiが下限値tdmin以下である場合(ステップS605でYES)、長押し判定時間設定部404は、今回の長押し判定時間t(i)として、下限値tdminを設定する(ステップS606)。この場合、長押し判定時間設定部404によって長押し判定時間t(i)が、長押し判定時間がt(i−1)で設定されていたものから、下限値tdminに更新される。
算出されたtiが下限値tdminより大きい場合(ステップS605でNO)、長押し判定時間設定部404は、今回の長押し判定時間t(i)として、算出されたtiを設定する(ステップS608)。この場合、長押し判定時間設定部404によって長押し判定時間t(i)が、長押し判定時間がt(i−1)で設定されていたものから、算出されたtiに更新される。
一方、算出されたtiが長押し判定時間t(i−1)より大きい場合(ステップS604でNO)、長押し判定時間設定部404は、算出されたtiが上限値tdmax以上であるか否かを判定する(ステップS607)。算出されたtiが上限値tdmax以上である場合(ステップS607でYES)、長押し判定時間設定部404は、今回の長押し判定時間t(i)として、上限値tdmaxを設定する(ステップS609)。この場合、長押し判定時間設定部404によって長押し判定時間t(i)が、長押し判定時間がt(i−1)で設定されていたものから、上限値tdmaxに更新される。
算出されたtiが上限値tdmax以上でない場合(ステップS607でNO)、長押し判定時間設定部404は、今回の長押し判定時間t(i)として、算出されたtiを設定する(ステップS608)。この場合、長押し判定時間設定部404によって長押し判定時間t(i)が、長押し判定時間がt(i−1)で設定されていたものから、算出されたtiに更新される。
以上のように、長押し判定時間設定部404によれば、通信状況に応じて、長押し判定時間を増減させて、変更していく(更新していく)ことができる。また、長押し判定時間設定部404は、メインメモリ602等に予め記憶された上限値tdmax及び下限値tdminを使用することで、適切に長押し操作がなされたか否かを判定することができる。よって本システムの遠隔制御に係る操作性を向上することができる。
なお、長押し判定時間は、段階的に設定してもよい。例えば、図15に示すように、垂直同期信号VSYNCを基準に設定することも可能である。図15に示す例では、5周期を長押し判定時間として、5周期以内の時間に制御要求情報が受信された場合に、撮像装置1は、長押し操作に応じた制御を行う。すなわち、6周期以上離れた間隔で制御要求情報が受信された場合、撮像装置1は、単押し操作に応じた制御を行う。長押し判定時間設定部404は、垂直同期信号を基準として、長押し判定時間を設定すればよい。例えば、5周期である長押判定区間を6周期や4周期等に更新すればよい。
タッチパネルを操作部とする通信端末5では、操作に関する処理が複雑となる。例えば、表示画像上へのタッチボタン画像の表示、タッチ位置の検出、タッチ位置がタッチボタン画像の判定領域に含まれているかの判定等を行う必要がある。
このような、タッチ操作に関する処理は通信端末5の機種によって処理時間にばらつきが生じやすい。さらには、同一の通信端末5であっても、処理負荷によって処理時間にばらつきが生じやすい。よって、本発明であれば上述の通り長押し判定時間設定部404が長押し判定時間を適宜、設定することで、長押し操作であるか否かを適切に判定することができる。これにより、操作に対する応答性を向上することができ、ユーザの意図通りの動作が可能になる。よって、操作性を向上することができる。
このような、タッチ操作に関する処理は通信端末5の機種によって処理時間にばらつきが生じやすい。さらには、同一の通信端末5であっても、処理負荷によって処理時間にばらつきが生じやすい。よって、本発明であれば上述の通り長押し判定時間設定部404が長押し判定時間を適宜、設定することで、長押し操作であるか否かを適切に判定することができる。これにより、操作に対する応答性を向上することができ、ユーザの意図通りの動作が可能になる。よって、操作性を向上することができる。
また、パンチルト制御は、撮像装置1の向きが変化するため、無線モジュール309(無線通信アンテナ)の向きが変化してしまう。よって、パンチルト制御では、通信環境が変化しやすい。このような無線ネットワーク通信を利用した遠隔制御に応じて制御機器の姿勢が変化する場合において、本発明であれば上述の通り長押し判定時間設定部404がその姿勢の変化に基づく通信環境の変化に応じて長押し判定時間を設定することができる。これにより、適切に遠隔操作することができ、操作性を向上することができる。
なお、上記の説明では、操作機器をスマートフォンなどの通信端末5とし、制御機器(本体機器)を撮像装置1として記載したが、本発明は、このリモコンシステムに限定されるものではない。例えば、テレビやオーディオ機器等の電子機器を制御機器として、音量調整の長押し操作に適用してもよい。もちろん、操作機器は、無線通信機能を有する通信機器であれば、スマートフォン以外の通信機器でもよい。長押し操作は、パンチルト、ズーム、音量、輝度調整以外の操作であってもよい。
また、本実施の形態においては、無線ネットワーク通信の通信路の例として、インターネットを介しないネットワークを用いた例を説明したが、本発明はこれに限られるものではない。無線ネットワーク通信の通信路としてインターネット(グローバルネットワーク)を用いてもよい。なお、無線ネットワーク通信の通信路としてローカルネットワークを用いているか、インターネットを用いているかは、IPアドレスを参照することにより判定可能である。
ただし、インターネットを用いた場合、通信速度が著しく変化する可能性ある。そのため、常時通信速度をモニタリングする必要が生じてしまい、システムが大規模となり、システムの動作も煩雑となる可能性がある。従って、この場合、長押し判定時間設定部404は、例えば、各機器間の応答時間の平均値、インターネット通信を行っている時間帯、又はネットワーク構成等の通信速度に影響を与える要因に基づいて、長押し判定時間を変更する。
これにより、長押し判定時間をインターネットの状況に応じて適切に設定することができる。インターネット経由で遠隔する場合、長押し判定時間設定部404は、上述した上限値tdmax又は下限値tdminを適宜大きくすることもできる。また、長押し判定時間設定部404は、ローカル接続と、インターネット接続とで、上記の定数aを変更することもできる。
上述した図13のステップS503及びステップS504、並びに図16のステップS602及びステップS603で示した長押判定区間5の算出式は、一例であり、他の算出式を用いてもよいのは勿論である。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、上記の遠隔操作の処理は、メインプロセッサのROM等に格納されたコンピュータプログラムによって実行可能である。上述の例において、各処理をコンピュータ(プロセッサ)に行わせるための命令群を含むプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
SYS1 遠隔撮像システム
1 撮像装置
100 撮像部
202 音声・画像処理部
203 ROM
204 フラッシュROM
205 VRAM
206 メインメモリ
301 カードI/F
302 カード型記録媒体
303 入出力I/F
304 液晶モニタ
305 スピーカ
306 操作部
307 入出力端子
308 無線I/F
309 無線モジュール
400 中央制御部
401 制御内容判断部
402 応答情報生成部
403 長押し操作判定部
404 長押し判定時間設定部
405 時間計測部
406 通信環境情報生成部
407 制御要求時間判定部
5 通信端末
100 撮像部
602 音声・画像処理部
706 メインメモリ
701 カードI/F
702 カード型記録媒体
703 入出力I/F
704 液晶モニタ
705 スピーカ
706 操作部
707 入出力端子
708 無線I/F
709 無線モジュール
900 中央制御部
901 操作内容判断部
902 制御内容情報生成部
903 制御要求情報生成部
904 時間計測部
905 通信環境情報生成部
906 応答時間判定部
1 撮像装置
100 撮像部
202 音声・画像処理部
203 ROM
204 フラッシュROM
205 VRAM
206 メインメモリ
301 カードI/F
302 カード型記録媒体
303 入出力I/F
304 液晶モニタ
305 スピーカ
306 操作部
307 入出力端子
308 無線I/F
309 無線モジュール
400 中央制御部
401 制御内容判断部
402 応答情報生成部
403 長押し操作判定部
404 長押し判定時間設定部
405 時間計測部
406 通信環境情報生成部
407 制御要求時間判定部
5 通信端末
100 撮像部
602 音声・画像処理部
706 メインメモリ
701 カードI/F
702 カード型記録媒体
703 入出力I/F
704 液晶モニタ
705 スピーカ
706 操作部
707 入出力端子
708 無線I/F
709 無線モジュール
900 中央制御部
901 操作内容判断部
902 制御内容情報生成部
903 制御要求情報生成部
904 時間計測部
905 通信環境情報生成部
906 応答時間判定部
Claims (3)
- 操作機器と本体機器を備えた遠隔制御システムであって、
前記操作機器は、
操作入力を受付ける操作部と、
前記操作部が受付けた操作入力に対応する前記本体機器の制御を要求する制御要求情報を生成する制御要求情報生成部と、
通信環境に関する第1の通信環境情報を生成する操作機器側通信環境情報生成部と、
前記本体機器が送信した制御要求情報に対する応答情報を受信する操作機器側受信部と、
前記操作機器側受信部が前記第n回目(nは自然数)の応答情報を受信したタイミングと前記第n+1回目の応答情報を受信したタイミングの時間間隔である第n回目のリプライ時間間隔を計測するリプライ時間間隔計測部と、
前記制御要求情報、前記第1の通信環境情報、及び前記リプライ時間間隔を前記本体機器に送信する操作機器側送信部とを備え、
前記本体機器は、
前記操作機器側送信部が送信した前記制御要求情報、前記第1の通信環境情報、及び前記リプライ時間間隔を受信する本体機器側受信部と、
前記本体機器側受信部が第n回目の制御要求情報を受信したタイミングと前記第n+1回目の制御要求情報を受信したタイミングの時間間隔である第n回目のリクエスト時間間隔を計測するリクエスト時間間隔計測部と、
前記制御要求情報の受信に応じて前記応答情報を生成する応答情報生成部と、
生成された前記応答情報を送信する本体機器側送信部と、
通信環境に関する第2の通信環境情報を生成する本体機器側通信環境情報生成部と、
前記第n回目のリプライ時間間隔、前記第n回目のリクエスト時間間隔、前記第1の通信環境情報、及び前記第2の通信環境情報に基づいて長押し判定時間を設定する長押し判定時間設定部と、
前記長押し判定時間設定部が設定した前記長押し判定時間と、前記リクエスト時間間隔計測部が計測した第m回目(m≧n+1)のリクエスト時間間隔とを比較し、その第m回目のリクエスト時間間隔が前記長押し判定時間以内であった場合は、前記操作機器の前記操作部が受付けた操作入力は長押し操作であることの判定をする長押し操作判定部とを備える
ことを特徴とする遠隔制御システム。 - 前記長押し判定時間設定部は、前記第n回目のリプライ時間間隔と前記第n回目のリクエスト時間間隔とを比較し、その比較の結果に基づいて前記長押し判定時間を設定することを特徴とする請求項1に記載の遠隔制御システム。
- 前記長押し判定時間設定部は、前記第n回目のリプライ時間間隔と前記第n回目のリクエスト時間間隔との比較し、前記第n回目のリプライ時間間隔の方が長い場合は、前記第n回目のリプライ時間間隔及び前記操作機器側通信環境情報生成部が生成した前記通信環境情報に基づいて前記長押し判定時間を設定し、前記第n回目のリクエスト時間間隔の方が長い場合は、前記第n回目のリクエスト時間間隔及び前記本体機器側通信環境情報生成部が生成した前記通信環境情報に基づいて前記長押し判定時間を設定することを特徴とする請求項1又は2に記載の遠隔制御システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012083157A JP2013214822A (ja) | 2012-03-30 | 2012-03-30 | 遠隔制御システム及び遠隔制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012083157A JP2013214822A (ja) | 2012-03-30 | 2012-03-30 | 遠隔制御システム及び遠隔制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013214822A true JP2013214822A (ja) | 2013-10-17 |
Family
ID=49587876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012083157A Pending JP2013214822A (ja) | 2012-03-30 | 2012-03-30 | 遠隔制御システム及び遠隔制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013214822A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017083708A (ja) * | 2015-10-29 | 2017-05-18 | セイコーエプソン株式会社 | 電子機器、及び、電子機器の制御方法 |
JP2017536024A (ja) * | 2015-08-11 | 2017-11-30 | シャオミ・インコーポレイテッド | ビデオ画像を制御するための方法及び装置 |
JP2018039476A (ja) * | 2016-09-09 | 2018-03-15 | 株式会社タダノ | 画像表示システム |
-
2012
- 2012-03-30 JP JP2012083157A patent/JP2013214822A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017536024A (ja) * | 2015-08-11 | 2017-11-30 | シャオミ・インコーポレイテッド | ビデオ画像を制御するための方法及び装置 |
JP2017083708A (ja) * | 2015-10-29 | 2017-05-18 | セイコーエプソン株式会社 | 電子機器、及び、電子機器の制御方法 |
JP2018039476A (ja) * | 2016-09-09 | 2018-03-15 | 株式会社タダノ | 画像表示システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100869952B1 (ko) | 파노라마 사진 촬영 방법 및 장치 | |
WO2017059634A1 (zh) | 调节显示图像方法及装置 | |
US9131146B2 (en) | Communication device, imaging system, and computer program product being capable of adjusting display position in response to imaging direction and direction instruction information | |
JPWO2010024415A1 (ja) | 通信機器 | |
KR101794350B1 (ko) | 휴대단말기의 영상 촬영 방법 | |
EP2680569A1 (en) | Imaging apparatus, imaging method, imaging system, and program | |
JP5838852B2 (ja) | 撮像システム、撮像装置、撮像方法及びプログラム | |
JP6171116B2 (ja) | 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム | |
JPWO2016139847A1 (ja) | 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム | |
CN104919515A (zh) | 用于控制移动终端的显示的设备和方法 | |
JP2017126980A (ja) | 情報処理装置、撮像装置、表示装置、情報処理方法、撮像装置の制御方法、表示装置の制御方法、情報処理プログラム、撮像装置の制御プログラム、および表示装置の制御プログラム | |
JP2022554129A (ja) | 撮影方法及び電子機器 | |
JP2013214822A (ja) | 遠隔制御システム及び遠隔制御方法 | |
JP2017069618A (ja) | 電子機器及び撮像方法 | |
JP2010177994A (ja) | テレビドアホン装置 | |
US9742987B2 (en) | Image pickup display apparatus, image pickup display method, and recording medium | |
US8525870B2 (en) | Remote communication apparatus and method of estimating a distance between an imaging device and a user image-captured | |
JP2013214812A (ja) | 本体機器 | |
KR101078797B1 (ko) | 거리센서와 가속도센서를 이용한 이동통신단말기의제어방법 및 이를 이용한 이동통신단말기 | |
EP3629560A1 (en) | Full screen terminal, and operation control method and device based on full screen terminal | |
JP6374535B2 (ja) | 操作装置、追尾システム、操作方法、及びプログラム | |
JP2013214813A (ja) | 操作機器 | |
CN112153404B (zh) | 码率调整方法、检测方法、装置、设备及存储介质 | |
JP2006324926A (ja) | 携帯端末装置およびその制御方法 | |
KR101032652B1 (ko) | 사용자의 움직임에 따라 입력신호를 제어하는 영상수신 단말기 및 영상수신 단말기에서 사용자의 움직임에 따라 입력신호를 제어하는 방법 |