JP2022152113A - 認証システム、認証方法、認証プログラム、および特定システム - Google Patents

Abstract

【課題】簡易な構成で、容易にスマートデバイスを特定し、さらに、特定したスマートデバイスを適切に認証するシステムを提供する。【解決手段】認証システムにおいて、サーバ５は、表示している状態画面の表示情報３６をそれぞれの操作装置２から継続的に受信する通信部２６と、通信部２６が受信した表示情報３６に係る状態画面の特有部分８と表示情報３６を送信した操作装置２とが時刻情報と共に対応付けられた特定情報データベース４２を記憶する記憶部３４と、操作装置２の表示部に表示された状態画面を撮像装置２１が撮影した画面画像３７を取得し、画面画像３７から特有部分８を抽出する画面抽出部２９と、特定情報データベース４２から、抽出された特有部分８に対応する表示情報３６を送信した操作装置２を特定する特定部４５と、特定された操作装置２と紐づけて画面画像３７を撮影したスマートデバイス１０を認証する認証部４７とを備える。【選択図】図３

Description

本発明は、機器の遠隔操作を行う操作装置の認証を行う、認証システム、認証方法、認証プログラム、および機器を特定する特定システムに関する。

特許文献１に開示されるように、機器（給湯システム）は、サーバを介してスマートデバイス（携帯端末装置）により遠隔操作（遠隔制御）される場合がある。機器を遠隔操作することが可能なスマートデバイスは、あらかじめ、機器とスマートデバイスとをペアリングする必要がある。ペアリングは、例えば、スマートデバイスから識別情報が送信されることに応じて、パスワードが発行され、スマートデバイスがパスワードを受信することによりスマートデバイスが認証されて、機器とスマートデバイスとのペアリングが行われる。

特開２０２０－９５６５０号公報

機器とスマートデバイスとのペアリングは、手順を容易に行うことが求められる一方、不正に機器が遠隔操作されることを防止するために、適切にスマートデバイスを認証する必要がある。

本発明は、簡易な構成で、容易にスマートデバイスを特定し、さらに、特定したスマートデバイスを適切に認証することを目的とする。

上記目的を達成するために、本発明の一実施形態に係る認証システムの特徴構成は、スマートデバイスによる機器の遠隔操作を許容するために、前記スマートデバイスを認証する認証システムであって、前記機器の状態に応じて変化する状態画面を表示する表示部を有し、対応する前記機器の操作を行う操作装置と、前記スマートデバイスが有する撮像装置と、対応する前記機器を操作する複数の前記操作装置および前記スマートデバイスと通信可能で、表示している前記状態画面の表示情報をそれぞれの前記操作装置から継続的に受信する通信部と、前記通信部が受信した前記表示情報に係る前記状態画面の特有部分と前記表示情報を送信した前記操作装置とが時刻情報と共に対応付けられた特定情報データベースを記憶する記憶部と、前記操作装置の前記表示部に表示された前記状態画面を前記撮像装置が撮影した画面画像を取得し、前記画面画像から前記特有部分を抽出する画面抽出部と、前記特定情報データベースから、抽出された前記特有部分に対応する前記表示情報を送信した前記操作装置を特定する特定部と、特定された前記操作装置と紐づけて前記画面画像を撮影した前記スマートデバイスを認証する認証部とを備え、認証された前記スマートデバイスにより、前記機器の操作を行うことを許容する点にある。

さらに、本発明の一実施形態に係る認証方法の特徴構成は、スマートデバイスによる機器の遠隔操作を許容するために、前記スマートデバイスを認証する認証方法であって、対応する前記機器の操作を行う複数の操作装置のそれぞれに表示されている状態画面の表示情報をそれぞれの前記操作装置から継続的に送信し、前記表示情報に係る前記状態画面の特有部分と前記表示情報を送信した前記操作装置とが時刻情報と共に対応付けられた特定情報データベースを生成する工程と、表示される前記機器の前記状態画面を前記スマートデバイスで画面画像として撮影する工程と、前記画面画像から前記特有部分を抽出する工程と、前記特定情報データベースから、抽出された前記特有部分に対応する前記表示情報を送信した前記操作装置を特定する工程と、特定された前記操作装置と紐づけて前記画面画像を撮影した前記スマートデバイスを認証する工程とを備え、認証された前記スマートデバイスにより、前記機器の操作を行うことを許容する点にある。

さらに、本発明の一実施形態に係る認証プログラムの特徴構成は、スマートデバイスによる機器の遠隔操作を許容するために、前記スマートデバイスを認証する認証プログラムであって、対応する前記機器の操作を行う複数の操作装置のそれぞれに表示されている状態画面の表示情報をそれぞれの前記操作装置から継続的に送信し、前記表示情報に係る前記状態画面の特有部分と前記表示情報を送信した前記操作装置とが時刻情報と共に対応付けられた特定情報データベースを生成する機能と、表示される前記機器の前記状態画面が撮影された画面画像を取得する機能と、前記画面画像から前記特有部分を抽出する機能と、前記特定情報データベースから、抽出された前記特有部分に対応する前記表示情報を送信した前記操作装置を特定する機能と、特定された前記操作装置と紐づけて前記画面画像を撮影した前記スマートデバイスを認証する機能とをコンピュータに実行させ、認証された前記スマートデバイスにより、前記機器の操作を行うことを許容する点にある。

このような構成により、容易に、撮影された画面画像に対応する状態画面を表示している操作装置を特定することができる。そして、特定された操作装置が表示している状態画面を撮影したスマートデバイスを、その操作装置の遠隔操作に用いるスマートデバイスとして認証することにより、セキュリティ性を維持しながら、容易に認証されたスマートデバイスが機器を遠隔操作することを許容することができる。

また、前記状態画面は複数の状態表示画面のいずれかに変化し、いずれの前記状態表示画面においても固定された固定部分と、同じ前記状態表示画面においては固定された前記特有部分と、前記機器の状態に応じて変化する変化部分とを含んでも良い。

このような構成により、画面画像のうち、操作装置の特定に用いる部分が明確となる。

また、前記特定情報データベースは、前記通信部が受信した前記表示情報に係る前記状態画面の前記特有部分および前記変化部分と前記表示情報を送信した前記操作装置とが時刻情報と共に対応付けられ、前記画面抽出部は、前記特有部分に加えて前記変化部分を抽出し、前記特定部は、抽出された前記特有部分および前記変化部分から前記表示情報を送信した前記操作装置を特定しても良い。

複数の操作装置において、同じ状態表示画面が表示されている場合があり、特有部分だけでは、操作装置を特定することが困難な場合がある。他方、変化部分は、機器の状態に応じて変化するため、機器ごとに異なることが多く、状態表示画面として、特有部分と変化部分の両方が全く同じになることは多くない。

そのため、特有部分のみならず、変化部分を用いることにより、状態表示画面を表示している操作装置を特定する確率が向上する。

また、前記記憶部、前記画面抽出部、前記特定部、前記認証部のうちの少なくともいずれかは、前記スマートデバイスに搭載されても良い。

このような構成により、簡単に、システムを構築することができる。

また、複数の前記操作装置および前記スマートデバイスと通信可能なサーバをさらに備え、前記通信部は前記サーバに搭載され、前記記憶部、前記画面抽出部、前記特定部、前記認証部のうちの少なくともいずれかは、前記スマートデバイスおよび前記サーバのいずれかに搭載されても良い。

このような構成により、スマートデバイスや操作装置の構成を最適化することが容易となる。

また、前記スマートデバイスは携帯端末であっても良い。

このような構成により、遠隔操作する構成を容易に構築することができる。

さらに、本発明の一実施形態に係る特定システムの特徴構成は、機器の状態に応じて変化する状態画面を表示する表示部を有し、対応する前記機器の操作を行う操作装置と、撮像装置を有するスマートデバイスと、対応する前記機器を操作する複数の前記操作装置および前記スマートデバイスと通信可能で、表示している前記状態画面の表示情報をそれぞれの前記操作装置から継続的に受信する通信部と、前記通信部が受信した前記表示情報に係る前記状態画面の特有部分と前記表示情報を送信した前記操作装置とが時刻情報と共に対応付けられた特定情報データベースを記憶する記憶部と、前記操作装置の前記表示部に表示された前記状態画面を前記撮像装置が撮影した画面画像を取得し、前記画面画像から前記特有部分を抽出する画面抽出部と、前記特定情報データベースから、抽出された前記特有部分に対応する前記表示情報を送信した前記操作装置を特定する特定部とを備える点にある。

このような構成により、容易に、撮影された画面画像に対応する状態画面を表示している操作装置を特定することができる。

機器と機器を操作するリモコンとの関係を例示する概念図である。 状態画面と画面の遷移を例示する図である。 認証システムの構成を例示する図である。 携帯端末を認証する処理フローを示す図である。

〔リモコン〕
まず、機器１を操作するリモコン２について、図１を用いて説明する。

図１に示すように、給湯装置等の機器１は、有線または無線で接続されたリモコン（「操作装置」に相当）２により操作される。リモコン２は、操作対象である機器１に対応付けられ、対応する機器１に対する操作を行うことができる。リモコン２は、表示部３と各種スイッチ４とを備える。表示部３は、タッチパネルであり、前記機器１の状態に応じて変化する状態画面６（図２参照）が表示される。リモコン２の操作は、表示部３に表示される状態画面６を参照しながら、状態画面６上に表示されるボタンとスイッチ４とを操作することにより行われる。

リモコン２は、サーバ５と、インターネット等の通信回線を介して、有線または無線でのデータ通信が可能な状態で接続される。サーバ５は複数のリモコン２と通信可能であり、それぞれのリモコン２、およびそれぞれのリモコン２が接続される機器１の少なくともいずれかから情報を集め、かつ、それぞれのリモコン２および機器１の少なくともいずれかに情報を提供することができる。

また、機器１は、リモコン２の他にも、携帯端末（「スマートデバイス」に相当）１０により遠隔操作することも可能である。携帯端末１０はサーバ５とインターネット等の通信回線を介して有線または無線でのデータ通信が可能である。携帯端末１０は、サーバ５を介してリモコン２に接続し、リモコン２を制御して機器１の遠隔操作を行うことができる。あるいは、リモコン２と携帯端末１０とが、通信回線を介して直接通信できる構成としても良く、この場合は、サーバ５を介さずに、携帯端末１０は、直接リモコン２とに接続し、リモコン２を制御して機器１の遠隔操作を行うことができる。さらに、携帯端末１０は、リモコン２を介さずに、機器１に直接接続して、機器１の操作を行っても良い。

携帯端末１０による機器１の遠隔操作を可能とするためには、携帯端末１０を遠隔操作が許容された端末として認証し、携帯端末１０とリモコン２あるいは機器１とをペアリングする必要がある。携帯端末１０の認証については後述する。

次に、図１を参照しながら、図２を用いてリモコン２の表示部３に表示される状態画面６について説明する。ここで、機器１として、給湯、暖房、および発電が可能な給湯システムを例に説明する。また、この給湯システムは、電力会社に発電した電気を売電し、電力が不足する場合には電力会社から電気を買電することができるとする。

図２に示すように、リモコン２の表示部３に表示される状態画面６は、複数種類の状態表示画面に変化する。例えば、状態画面６は、画面を選択するための選択ボタン１８が表示される画面選択画面６Ｍから、電力関連情報を示す状態表示画面６Ａ、熱・ガス関連情報を示す状態表示画面６Ｂ、給湯・暖房情報を示す状態表示画面６Ｃ、燃料電池情報を示す状態表示画面６Ｄ等に変化する。

画面選択画面６Ｍは、状態表示画面６Ａ、状態表示画面６Ｂ、状態表示画面６Ｃ、状態表示画面６Ｄに切り替えるための画面であり、選択ボタン１８として、選択ボタン１８Ａ、選択ボタン１８Ｂ、選択ボタン１８Ｃ、選択ボタン１８Ｄが表示される。画面選択画面６Ｍが表示されている状態において、選択ボタン１８Ａがタッチされると、状態表示画面６Ａに画面が切り替わる。また、画面選択画面６Ｍが表示されている状態において、選択ボタン１８Ｂがタッチされると、状態表示画面６Ｂに画面が切り替わり、選択ボタン１８Ｃがタッチされると、状態表示画面６Ｃに画面が切り替わり、選択ボタン１８Ｄがタッチされると、状態表示画面６Ｄに画面が切り替わる。

電力関連情報を示す状態表示画面６Ａは、給湯システムの電力に関連する各種の電力関連情報が表示される状態画面６である。電力関連情報は、例えば、使用電力、発電電力、逆潮電力等に関する情報である。また、電力関連情報を示す状態表示画面６Ａには、画面選択画面６Ｍに戻るための選択ボタン１８Ｅが表示される。

熱・ガス関連情報を示す状態表示画面６Ｂは、給湯システムにおける熱やガス等に関連する各種の熱・ガス関連情報が表示される状態画面６である。熱・ガス関連情報は、例えば、使用熱量、使用ガス量、使用水道料等に関する情報である。また、熱・ガス関連情報を示す状態表示画面６Ｂには、画面選択画面６Ｍに戻るための選択ボタン１８Ｅが表示される。

給湯・暖房情報を示す状態表示画面６Ｃは、給湯システムにおける、給湯および暖房に関連する給湯・暖房情報が表示される状態画面６である。給湯・暖房情報は、給湯温度や暖房の入切等に関する情報である。また、給湯・暖房情報を示す状態表示画面６Ｃには、画面選択画面６Ｍに戻るための選択ボタン１８Ｅが表示される。

燃料電池情報を示す状態表示画面６Ｄは、給湯システムにおける、燃料電池に関連する各種の燃料電池情報が表示される状態画面６である。燃料電池情報は、発電電力、使用電力、発電中であるか発電停止中であるか等に関する情報である。また、燃料電池情報を示す状態表示画面６Ｄには、画面選択画面６Ｍに戻るための選択ボタン１８Ｅが表示される。

このような状態表示画面６Ａ～６Ｄは、それぞれ、固定部分７、特有部分８、変化部分９を含んで構成される。固定部分７は、状態画面６において、全ての状態表示画面６Ａ～６Ｄで同一の表示がされる部分であり、状態画面６が変化しても変化しない部分である。特有部分８は、状態表示画面６Ａ～６Ｄのそれぞれにおいて異なり、同じ状態表示画面６Ａ～６Ｄ中（各状態表示画面６Ａ～６Ｄ）では変化しない固定された部分であり、例えば、アニメーション表示される部分である。変化部分９は、給湯システムの状態によって変化する部分であり、例えば電力や熱量等を示す数値である。

具体的には、固定部分７は、状態表示画面６Ａ～６Ｄにおいて固定される部分であり、選択ボタン１８Ｅ等である。電力関連情報を示す状態表示画面６Ａにおいて、特有部分８は、電力関連情報、使用電力等のタイトル文字や、電力の単位を示す文字等が表示された部分であり、変化部分９は、電力を示す数値等が表示された部分である。熱・ガス関連情報を示す状態表示画面６Ｂにおいて、特有部分８は、熱・ガス関連情報、使用熱量等のタイトル文字や単位を示す文字等が表示された部分であり、変化部分９は、使用熱量を示す数値等が表示された部分である。給湯・暖房情報を示す状態表示画面６Ｃにおいて、特有部分８は、給湯・暖房情報、給湯等のタイトル文字や、給湯温度の昇降を操作する矢印ボタン表示、給湯温度の単位等を示す文字等が表示された部分であり、変化部分９は、給湯温度を示す数値等が表示された部分である。燃料電池情報を示す状態表示画面６Ｄにおいて、特有部分８は、燃料電池情報、発電電力等のタイトル文字や、電力の単位を示す文字等が表示された部分であり、変化部分９は、電力を示す数値等が表示された部分である。

ここで、上述のように、サーバ５は、機器１である給湯システムからリモコン２を介して情報を集める。情報には、状態画面６を表示するための表示情報３６（図３参照）として、給湯システムの状態を示す各種の情報が含まれる。

リモコン２は、まず、現在の機器１の運転状態である状態画面６として、操作された選択ボタン１８に応じて、画面選択画面６Ｍおよび状態表示画面６Ａ～６Ｄのいずれかを表示する。そして、リモコン２は、サーバ５を介して、または機器１から直接的に表示情報３６を受け取り、固定部分７を表示部３に表示すると共に、選択ボタン１８に応じて決定される状態表示画面６Ａ～６Ｄのいずれかに相当する特有部分８を表示部３に表示する。同時に、リモコン２は、表示情報３６から変化部分９の表示内容を抽出し、抽出した表示内容を表示部３に表示する。このように、リモコン２は、表示情報３６に対応した固定部分７、特有部分８、変化部分９を合成して表示部３に表示する。

〔携帯端末による操作〕
上述のように、携帯端末１０は、リモコン２を介して、または直接的に機器１を遠隔操作することができる。例えば、携帯端末１０は機器１またはリモコン２を遠隔操作するためのアプリケーションを備え、アプリケーションを用いて機器１またはリモコン２を遠隔操作する。

ただし、不特定の携帯端末１０により機器１を遠隔操作できるとすると、機器１が不正に操作される可能性が生じ、セキュリティ上不都合がある。

そのため、操作が許容される携帯端末１０をあらかじめ認証し、認証された携帯端末１０のみがリモコン２とペアリングされ、携帯端末１０はペアリングされたリモコン２と接続されている機器１を遠隔操作できるように設定される。

このような認証において、不正に認証されることを抑制してセキュリティを維持しながら、容易に、操作が許容される携帯端末１０であることを認証されることが求められている。

以下、図１，図２を参照しながら、図３，図４を用いて、携帯端末１０を認証する認証システム、認証方法、および認証プログラムについて説明する。

まず、本実施形態に係る認証システムは、図３に示すように、機器１、機器１の操作を行うリモコン２、携帯端末１０、およびサーバ５を含んで構成される。

機器１は種々の機能を有する各種機器であるが、以下の例では給湯システムとして説明する。リモコン２は、上述のように、機器１に有線または無線で接続され、通常は機器１と１対１で対応付けられ、対応する機器１に対する操作を行う。リモコン２は、表示部３と各種スイッチ４とを備える。表示部３は、例えばタッチパネルであり、状態画面６を表示することができ、状態画面６は、選択ボタン１８等の各種の操作を行うボタンを含んで表示される。

携帯端末１０は、種々のスマートデバイスを用いることができるが、例えば、携帯電話やスマートフォン等の、インターネット等の通信回線に、無線または有線で接続可能な端末である。携帯端末１０は、種々の表示を行うことができる表示画面２２と撮像装置２１と、種々の操作を受け付ける操作ボタン２３とを備える。表示画面２２は、例えばタッチパネルであり、各種操作を受け付けるボタンが表示される。機器１の操作が許容された携帯端末１０は、表示画面２２に表示された画像と操作ボタン２３を用いて、機器１の操作を行う。本実施形態において、携帯端末１０の認証を行う際には、携帯端末１０は、撮像装置２１で、リモコン２の表示部３に表示される状態画面６を画面画像３７として撮影する。

サーバ５は、制御部２５、通信部２６、画面抽出部２９、特定部４５、認証部４７、記憶部３４を備える。ここで、サーバ５の、制御部２５、通信部２６、画面抽出部２９、特定部４５、および記憶部３４と、リモコン２と、携帯端末１０とで特定システムが構成される。

制御部２５は、ＣＰＵ等のプロセッサを備え、通信部２６、画面抽出部２９、特定部４５、認証部４７、および記憶部３４を制御し、サーバ５の動作を制御する。通信部２６は、リモコン２および携帯端末１０とのデータ通信を制御し、リモコン２および携帯端末１０から情報を受信し、リモコン２および携帯端末１０に情報を送信する。

画面抽出部２９は、通信部２６を介して受信した、携帯端末１０が撮影した画面画像３７から、リモコン２に表示される状態画面６（状態表示画面６Ａ～６Ｄ）の、固定部分７、特有部分８、および変化部分９のうち、特有部分８、または特有部分８および変化部分９を抽出する。

特定部４５は、後述する特定情報データベース４２から、画面抽出部２９で抽出した少なくとも特有部分８を用いて、携帯端末１０が画面画像３７を撮影したリモコン２を特定する。

認証部４７は、画面画像３７を撮影した携帯端末１０を、特定されたリモコン２を遠隔操作することが許容された携帯端末１０として認証する。そして、認証部４７は、認証された携帯端末１０と、特定されたリモコン２とをペアリングし、認証された携帯端末１０を用いて、特定されたリモコン２を操作し、リモコン２に接続された機器１を操作することを許容する。記憶部３４は各種の情報を記憶する。

次に、認証システムの処理フローを、図４を用いて説明する。なお、本実施形態に係る携帯端末１０の認証は、図３に示す認証システムにより実施されても良いが、図４に示す処理フローを行う認証方法および認証プログラムにより実施されても良い。このような認証方法および認証プログラムは、図３に示す認証システムを用いて実施されても良いが、任意の構成により実施することができる。また、認証プログラムは記憶部３４または、携帯端末１０の記憶装置等に格納され、サーバ５の制御部２５または携帯端末１０が備えるプロセッサにより実行される。

サーバ５は、複数の機器１の操作を行うそれぞれのリモコン２から、通信部２６を介して、それぞれのリモコン２に表示されている状態画面６の表示情報３６を随時取得している。そして、サーバ５は、表示情報３６を取得する度に、記憶部３４に表示情報３６と状態画面６のうちの特有部分８および変化部分９とを格納すると共に、表示情報３６から状態画面６の特有部分８および変化部分９に係る情報を抽出して、それぞれのリモコン２と抽出した特有部分８および変化部分９とを対応付けた特定情報データベース４２を生成して記憶部３４に格納する。つまり、特定情報データベース４２は、それぞれのリモコン２（それぞれのリモコン２に表示される状態画面６）と、そのリモコン２に現在表示されている（最新の）状態画面６に係る特有部分８および変化部分９とが対応付けられたデータベースである。なお、特定情報データベース４２は、表示情報３６を取得する度に更新されても良いが、リモコン２と抽出した特有部分８および変化部分９とが取得された時刻情報と共に対応付けられ、継続的に記憶されても良い。

また、リモコン２は、対応する機器１から、継続的に、機器１の状態に応じて変化する表示情報３６を取得し、取得した表示情報３６に応じた状態画面６を、表示部３に随時表示する。リモコン２は、この状態画面６を表示した状態で機器１の操作を受け付ける（図４のステップ＃１）。

このような状態で、携帯端末１０の認証を行う際には、使用者は、携帯端末１０の撮像装置２１で、リモコン２に表示されている状態画面６を画面画像３７として撮影する（図４のステップ＃２）。撮影された画面画像３７は、通信部２６を介してサーバ５に送信され、記憶部３４に格納される。この際、画面画像３７は、時刻情報と共にサーバ５に送信されても良い。

サーバ５の制御部２５は、携帯端末１０から画面画像３７を受け取ると、画面抽出部２９を制御して、画面画像３７から、表示情報３６を参照して、固定部分７を抽出し（図４のステップ＃３）、画面画像３７から、表示情報３６を参照して、特有部分８を抽出する（図４のステップ＃４）。さらに、画面抽出部２９は、画面画像３７から変化部分９を抽出する（図４のステップ＃５）。

次に、特定部４５は、特定情報データベース４２および画面抽出部２９が抽出した特有部分８により、特有部分８を含むリモコン２に現在表示されている状態画面６、つまり携帯端末１０が画面画像３７を撮影したリモコン２を絞り込む（図４のステップ＃６）。

具体的には、特定部４５は、画面抽出部２９が抽出した特有部分８と、特定情報データベース４２に対応付けられた特有部分８とを比較し、一致する特有部分８が特定情報データベース４２にある場合は、一致した特有部分８に対応付けられた全てのリモコン２を、画面画像３７に対応する状態画面６が撮影されたリモコン２の候補とする。つまり、サーバ５に接続されているリモコン２のうち、抽出された特有部分８に対応する状態画面６が表示されているリモコン２を絞り込む。

特定部４５における比較で一致する特有部分８が発見されなかった場合、その旨が通知され、使用者は再度、携帯端末１０の撮像装置２１で、リモコン２に表示されている状態画面６を画面画像３７として撮影する（図４のステップ＃７）。ここで、このような通知は任意の方法で行うことができるが、例えば、携帯端末１０の表示画面２２にその旨が表示されたり、携帯端末１０からその旨を通知する音声が流れたりすることにより通知が行われる。

一致する特有部分８が発見された場合、次に、特定部４５は、画面抽出部２９が抽出した変化部分９と、絞り込まれたリモコン２に表示されている状態画面６の変化部分９とを比較し、一致する変化部分９を含むリモコン２に現在表示されている状態画面６、つまり携帯端末１０が画面画像３７を撮影したリモコン２を絞り込む（図４のステップ＃８）。なお、絞り込まれたリモコン２に表示されている状態画面６の変化部分９は、このリモコン２から送信された表示情報３６が記憶された特定情報データベース４２から抽出することができる。

そして、特定部４５は、リモコン２が１つに絞り込まれている場合は、そのリモコン２を携帯端末１０が画面画像３７を撮影したリモコン２として特定する（図４のステップ＃９）。

また、絞り込まれたリモコン２が複数ある場合、特定部４５は、携帯端末１０が画面画像３７を撮影したリモコン２の特定に失敗したとして、撮影されたリモコン２の状態画面６を再度撮影する（図４のステップ＃１０）。つまり、画面画像３７が追加される。この際、リモコン２の特定に失敗した旨が通知されても良く、さらに、所定の状態画面６へ遷移をした後に再度撮影することを推奨する等の、所定の操作を含む指示が通知されても良い。この場合、再度撮影された画面画像３７から、特定の操作が行われた後に撮影された画面画像３７であるか否かを判定することにより、リモコン２を特定する。そして、ステップ＃８で抽出された特定情報データベース４２を用いて、ステップ＃３からステップ＃９の処理が、１つのリモコン２に絞り込まれるまで繰り返される。結果的に、複数の画面画像３７を用いて、携帯端末１０が画面画像３７を撮影したリモコン２が特定される。

以上のように、携帯端末１０でリモコン２の状態画面６を撮影し、撮影された画面画像３７と特定情報データベース４２とを用いることにより、状態画面６が撮影されたリモコン２を容易に特定することができる。

最後に、携帯端末１０が画面画像３７を撮影したリモコン２が特定されると、認証部４７は、特定されたリモコン２を遠隔操作して機器１を遠隔操作する携帯端末１０として、画面画像３７を撮影した携帯端末１０を認証する。

そして、認証部４７は、特定されたリモコン２と認証された携帯端末１０とをペアリングし、認証された携帯端末１０による特定されたリモコン２の遠隔操作を許容する。

最新の表示情報３６に係る状態画面６の特有部分８および変化部分９と表示情報３６を送信したリモコン２とが対応付けられた特定情報データベース４２を用い、携帯端末１０が画面画像３７を撮影するだけの簡単な構成で、状態画面６が撮影されたリモコン２を容易に特定することができ、さらに、状態画面６を撮影した携帯端末１０を、セキュリティを維持しながら簡単かつ適切に認証することができる。

〔別実施形態〕
（１）上記認証システムにおいて、各機能ブロックは、図３に示す機能ブロックに示す構成に限らず、任意の機能ブロックが統合されても良く、各機能ブロックのいずれかが、さらに複数の機能ブロックに分割される構成であっても良い。

（２）上記各実施形態において、状態画面６を撮影し、画面情報３８が表示されるスマートデバイスは、携帯端末１０に限らず、種々のスマートデバイスを用いることができる。

（３）上記各実施形態において、画面抽出部２９、特定部４５、認証部４７、および記憶部３４は、サーバ５に設けられる構成に限らず、そのうちの一部または全部が、携帯端末１０またはリモコン２に設けられても良く、サーバ５、携帯端末１０、およびリモコン２に振り分けて設けられても良い。また、サーバ５を設けず、携帯端末１０およびリモコン２に画面抽出部２９、特定部４５、認証部４７、および記憶部３４が振り分けて設けられても良い。

（４）上記各実施形態において、特定部４５は、特有部分８および変化部分９の両方を用いてリモコン２の特定を行う構成に限らず、特有部分８および変化部分９の一方のみを用いてリモコン２の特定を行っても良い。

（５）上記各実施形態において、特定情報データベース４２を生成するデータベース生成部が、サーバ５、携帯端末１０、リモコン２、および機器１のいずれかに設けられても良い。

（６）上記各実施形態において、リモコン２の特定に用いられ、携帯端末１０に撮影される状態画面６は、状態表示画面６Ａ～６Ｄに限らず任意の状態画面６が用いられても良く、画面選択画面６Ｍに、他のリモコン２に表示される状態画面６との識別が可能な特有部分８または変化部分９が表示される場合は、画面選択画面６Ｍが用いられても良い。

（７）上記各実施形態において、携帯端末１０の撮像装置２１で撮影される画面画像３７は、静止画でも良いが、動画でも良い。この場合、状態画面６の変化の態様を、時刻情報と共に特定情報データベース４２に記憶された特有部分８等とを比較し、リモコン２を特定することができる。

（８）上記各実施形態において、表示情報３６を送信したリモコン２の位置情報が特定情報データベース４２に記憶され、特有部分８および位置情報からリモコン２が特定されても良い。これにより、より精度良く、表示情報３６を送信したリモコン２を特定することができる。

なお、上記の実施形態（別実施形態を含む、以下同じ）で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能であり、また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。

本発明は、各種の機器および機器を操作するリモコンと、リモコンを遠隔操作するスマートデバイスに適用することができる。

１ 機器
２ リモコン（操作装置）
３ 表示部
５ サーバ
６ 状態画面
７ 固定部分
８ 特有部分
９ 変化部分
１０ 携帯端末（スマートデバイス）
２１ 撮像装置
２６ 通信部
２９ 画面抽出部
３４ 記憶部
３６ 表示情報
３７ 画面画像
３８ 画面情報
４２ 特定情報データベース
４５ 特定部
４７ 認証部

Claims (9)

1. スマートデバイスによる機器の遠隔操作を許容するために、前記スマートデバイスを認証する認証システムであって、
   前記機器の状態に応じて変化する状態画面を表示する表示部を有し、対応する前記機器の操作を行う操作装置と、
   前記スマートデバイスが有する撮像装置と、
   対応する前記機器を操作する複数の前記操作装置および前記スマートデバイスと通信可能で、表示している前記状態画面の表示情報をそれぞれの前記操作装置から継続的に受信する通信部と、
   前記通信部が受信した前記表示情報に係る前記状態画面の特有部分と前記表示情報を送信した前記操作装置とが時刻情報と共に対応付けられた特定情報データベースを記憶する記憶部と、
   前記操作装置の前記表示部に表示された前記状態画面を前記撮像装置が撮影した画面画像を取得し、前記画面画像から前記特有部分を抽出する画面抽出部と、
   前記特定情報データベースから、抽出された前記特有部分に対応する前記表示情報を送信した前記操作装置を特定する特定部と、
   特定された前記操作装置と紐づけて前記画面画像を撮影した前記スマートデバイスを認証する認証部とを備え、
   認証された前記スマートデバイスにより、前記機器の操作を行うことを許容する認証システム。
2. 前記状態画面は複数の状態表示画面のいずれかに変化し、いずれの前記状態表示画面においても固定された固定部分と、同じ前記状態表示画面においては固定された前記特有部分と、前記機器の状態に応じて変化する変化部分とを含む請求項１に記載の認証システム。
3. 前記特定情報データベースは、前記通信部が受信した前記表示情報に係る前記状態画面の前記特有部分および前記変化部分と前記表示情報を送信した前記操作装置とが時刻情報と共に対応付けられ、
   前記画面抽出部は、前記特有部分に加えて前記変化部分を抽出し、
   前記特定部は、抽出された前記特有部分および前記変化部分から前記表示情報を送信した前記操作装置を特定する請求項２に記載の認証システム。
4. 前記記憶部、前記画面抽出部、前記特定部、前記認証部のうちの少なくともいずれかは、前記スマートデバイスに搭載される請求項１から３のいずれか一項に記載の認証システム。
5. 複数の前記操作装置および前記スマートデバイスと通信可能なサーバをさらに備え、
   前記通信部は前記サーバに搭載され、
   前記記憶部、前記画面抽出部、前記特定部、前記認証部のうちの少なくともいずれかは、前記スマートデバイスおよび前記サーバのいずれかに搭載される請求項１から３のいずれか一項に記載の認証システム。
6. 前記スマートデバイスは携帯端末である請求項１から５のいずれか一項に記載の認証システム。
7. スマートデバイスによる機器の遠隔操作を許容するために、前記スマートデバイスを認証する認証方法であって、
   対応する前記機器の操作を行う複数の操作装置のそれぞれに表示されている状態画面の表示情報をそれぞれの前記操作装置から継続的に送信し、前記表示情報に係る前記状態画面の特有部分と前記表示情報を送信した前記操作装置とが時刻情報と共に対応付けられた特定情報データベースを生成する工程と、
   表示される前記機器の前記状態画面を前記スマートデバイスで画面画像として撮影する工程と、
   前記画面画像から前記特有部分を抽出する工程と、
   前記特定情報データベースから、抽出された前記特有部分に対応する前記表示情報を送信した前記操作装置を特定する工程と、
   特定された前記操作装置と紐づけて前記画面画像を撮影した前記スマートデバイスを認証する工程とを備え、
   認証された前記スマートデバイスにより、前記機器の操作を行うことを許容する認証方法。
8. スマートデバイスによる機器の遠隔操作を許容するために、前記スマートデバイスを認証する認証プログラムであって、
   対応する前記機器の操作を行う複数の操作装置のそれぞれに表示されている状態画面の表示情報をそれぞれの前記操作装置から継続的に送信し、前記表示情報に係る前記状態画面の特有部分と前記表示情報を送信した前記操作装置とが時刻情報と共に対応付けられた特定情報データベースを生成する機能と、
   表示される前記機器の前記状態画面が撮影された画面画像を取得する機能と、
   前記画面画像から前記特有部分を抽出する機能と、
   前記特定情報データベースから、抽出された前記特有部分に対応する前記表示情報を送信した前記操作装置を特定する機能と、
   特定された前記操作装置と紐づけて前記画面画像を撮影した前記スマートデバイスを認証する機能とをコンピュータに実行させ、
   認証された前記スマートデバイスにより、前記機器の操作を行うことを許容する認証プログラム。
9. 機器の状態に応じて変化する状態画面を表示する表示部を有し、対応する前記機器の操作を行う操作装置と、
   撮像装置を有するスマートデバイスと、
   対応する前記機器を操作する複数の前記操作装置および前記スマートデバイスと通信可能で、表示している前記状態画面の表示情報をそれぞれの前記操作装置から継続的に受信する通信部と、
   前記通信部が受信した前記表示情報に係る前記状態画面の特有部分と前記表示情報を送信した前記操作装置とが時刻情報と共に対応付けられた特定情報データベースを記憶する記憶部と、
   前記操作装置の前記表示部に表示された前記状態画面を前記撮像装置が撮影した画面画像を取得し、前記画面画像から前記特有部分を抽出する画面抽出部と、
   前記特定情報データベースから、抽出された前記特有部分に対応する前記表示情報を送信した前記操作装置を特定する特定部とを備える特定システム。

Images