JP2017130101A - 入力支援方法、入力支援装置および入力支援プログラム - Google Patents

Abstract

【課題】入力された情報の他人による閲覧を防止する。【解決手段】第１の端末装置の表示画面に表示されたポインタの前記表示画面に対する位置を前記第１の端末装置から取得し、カメラにより撮像された撮像画像を表示する第２の端末装置の表示画面に前記第１の端末装置の表示画面が含まれ、かつ、前記第１の端末装置から入力指示を受け付けた場合、前記第２の端末装置の表示画面に表示された複数のキーそれぞれの識別情報と、前記複数のキーそれぞれの、前記第２の端末装置の表示画面に表示された前記第１の端末装置の表示画面に対する位置とを取得し、取得した前記ポインタの位置と、取得した前記複数のキーそれぞれの位置との比較結果に基づき、前記複数のキーのうち、何れかのキーの識別情報を特定する、処理をコンピュータが実行する。【選択図】図４

Description

本発明は、入力支援方法、入力支援装置および入力支援プログラムに関する。

Ｗｅｂアプリケーションを利用するにあたってシステムにログインする場合や、ＰＣ（Personal Computer）においてログインする場合等、ＩＤとパスワード等の認証情報の入力が求められ、正確な認証情報が入力された場合にログインが許可される（特許文献１、２等を参照）。認証情報が他人に漏洩した場合には不正な利用が行われる危険性が高く、漏洩を極力防止することが求められる。

特開２０１３−２３９１０４号公報 特開２００７−１９３７６２号公報

上述したように、認証情報の漏洩防止は重要なテーマであるが、キーロガー（キーボードからの入力を監視して記録するプログラム）が端末装置に仕組まれることで漏洩が生じる危険性がある。

このような漏洩を防止するためにソフトウェアキーボード（画面上にキーボードを表示し、キーのクリック等により入力を行うもの）が用いられる場合がある。しかし、ショルダーハッキング（対象者がパスワードなどを入力する際のキー操作や画面を盗み見て、機密情報を盗み出す手口）に対しては漏洩防止の効果は低い。

そこで、一側面では、入力された情報の他人による閲覧を防止することを目的とする。

一つの形態では、第１の端末装置の表示画面に表示されたポインタの前記表示画面に対する位置を前記第１の端末装置から取得し、カメラにより撮像された撮像画像を表示する第２の端末装置の表示画面に前記第１の端末装置の表示画面が含まれ、かつ、前記第１の端末装置から入力指示を受け付けた場合、前記第２の端末装置の表示画面に表示された複数のキーそれぞれの識別情報と、前記複数のキーそれぞれの、前記第２の端末装置の表示画面に表示された前記第１の端末装置の表示画面に対する位置とを取得し、取得した前記ポインタの位置と、取得した前記複数のキーそれぞれの位置との比較結果に基づき、前記複数のキーのうち、何れかのキーの識別情報を特定する、処理をコンピュータが実行する。

入力された情報の他人による閲覧を防止することができる。

第１の実施形態にかかるシステムの構成例を示す図である。 端末装置、携帯端末装置およびサーバ装置の機能構成例を示す図である。 端末装置等のハードウェア構成例を示す図である。 第１の実施形態における処理例を示すシーケンス図である。 表示位置情報のデータ構造例を示す図である。 端末装置と携帯端末装置の表示画面の例を示す図である。 第２の実施形態にかかるシステムの構成例を示す図である。 端末装置、携帯端末装置およびサーバ装置の機能構成例を示す図である。 第２の実施形態における処理例を示すシーケンス図である。 表示位置情報のデータ構造例を示す図である。

以下、本発明の好適な実施形態につき説明する。

＜第１の実施形態＞
第１の実施形態は、端末装置からＷｅｂサービスを利用する際のログイン時に入力する認証情報を他人による閲覧から防止する例である。

図１は第１の実施形態にかかるシステムの構成例を示す図である。図１において、ＰＣ（Personal Computer）等の端末装置１は、有線または無線によりインターネット等のネットワーク３を介して、Ｗｅｂサービスを提供するサーバ装置４に接続可能となっている。また、スマートフォン等の携帯端末装置２は、無線によりネットワーク３を介してサーバ装置４に接続可能となっている。なお、端末装置１の利用者と携帯端末装置２の利用者は同一であることを想定しており、携帯端末装置２のカメラ機能により端末装置１の表示画面の全部または一部を撮像しながら端末装置１を操作して認証情報を入力するものとしている。

図２は端末装置１、携帯端末装置２およびサーバ装置４の機能構成例を示す図である。図２において、端末装置１は、標準的に搭載されるブラウザ１１を備えている。本実施形態では、端末装置１のブラウザ１１の表示画面上で利用者がマウスクリック等の入力操作を行った場合に、その入力が行われた表示画面上の位置情報がブラウザ１１からサーバ装置４に送信される。この機能は、ブラウザ１１の基本的な機能ではなく、サーバ装置４から提供される画面のページデータに埋め込まれたJavascript（登録商標）等のスクリプトの機能により実現される。

携帯端末装置２は、ログインアプリ２１により実現される撮像制御部２２とセッション情報取得部２３とセッション情報送信部２４と表示位置情報受信部２５と入力インタフェース画像重畳表示部２６と入力内容受信部２７とを備えている。

ログインアプリ２１は、端末装置１におけるサーバ装置４へのログインを携帯端末装置２により支援するためのアプリケーションプログラムである。撮像制御部２２は、携帯端末装置２のカメラ機能を制御し、撮像を行う機能を有している。セッション情報取得部２３は、カメラ機能による撮像画像から所定のコード画像を認識し、コードに埋め込まれているセッション情報を取得する機能を有している。セッション情報は、ログインにより開始するＷｅｂサービスのセッションを特定する情報である。セッション情報はログイン画面を特定することにもなる。セッション情報送信部２４は、取得したセッション情報をサーバ装置４に送信する機能を有している。

表示位置情報受信部２５は、サーバ装置４から、ログインのためのＩＤやパスワード等の認証情報の入力を行うための入力インタフェース画像の表示位置情報を受信する機能を有している。入力インタフェース画像重畳表示部２６は、携帯端末装置２の表示画面上に、端末装置１のログイン画面の撮像画像に重畳して、表示位置情報に基づく入力インタフェース画像を表示する機能を有している。入力インタフェース画像には、ＩＤ入力欄、パスワード入力欄、ソフトウェアキーボード、ログインボタン等が含まれている。なお、携帯端末装置２に表示される入力インタフェース画像は、あくまでも重畳される端末装置１の表示画面に仮想的に設定される入力欄等の位置範囲を示すものであって、それ自体で入力インタフェースの機能は有していない。また、端末装置１の表示画面に仮想的に設定される入力欄等にも、一般的な入力インタフェースの機能は設けられない。

入力内容受信部２７は、サーバ装置４から利用者による入力内容を受信する機能を有している。入力内容に応じて、入力インタフェース画像重畳表示部２６による表示が更新される。

サーバ装置４は、ログイン処理部４１とページ生成部４２とセッション情報受信部４３と表示位置情報生成部４４と表示位置情報送信部４５と入力位置受信部４６と入力内容特定部４７と入力内容送信部４８とを備えている。

ログイン処理部４１は、Ｗｅｂサービスの利用の許可を得るためのログイン処理を実行する機能を有している。ページ生成部４２は、端末装置１からログイン画面要求を受けた場合に、セッション情報を埋め込んだコード画像を含むログイン画面のページデータを生成して応答する機能を有している。セッション情報受信部４３は、携帯端末装置２からセッション情報を受信する機能を有している。表示位置情報生成部４４は、受信したセッション情報に一致するセッションの表示画面に表示する入力インタフェース画像の表示位置情報をランダムに生成する機能を有している。表示位置情報送信部４５は、生成した表示位置情報を携帯端末装置２に送信する機能を有している。

入力位置受信部４６は、端末装置１からログイン画面のページデータに埋め込まれたスクリプトの機能により送信されるマウスクリック等の位置情報（座標情報）を受信する機能を有している。入力内容特定部４７は、受信した位置情報を、既に生成している表示位置情報と比較することで、入力内容を特定する機能を有している。入力内容送信部４８は、特定された入力内容を携帯端末装置２に送信する機能を有している。

図３は端末装置１等（端末装置１、携帯端末装置２およびサーバ装置４）のハードウェア構成例を示す図である。図３において、端末装置１等は、バス１０７を介して相互に接続されたＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）／ＳＳＤ（Solid State Drive）１０４、接続Ｉ／Ｆ（Interface）１０５、通信Ｉ／Ｆ１０６を備えている。ＣＰＵ１０１は、ＲＡＭ１０３をワークエリアとしてＲＯＭ１０２またはＨＤＤ／ＳＳＤ１０４等に格納されたプログラムを実行することで、端末装置１等の動作を統括的に制御する。接続Ｉ／Ｆ１０５は、端末装置１等に接続される機器とのインタフェースである。携帯端末装置２については、接続Ｉ／Ｆ１０５にカメラが接続される。通信Ｉ／Ｆ１０６は、ネットワークを介して他の情報処理装置と通信を行うためのインタフェースである。

図２で説明した端末装置１等の機能は、ＣＰＵ１０１において所定のプログラムが実行されることで実現される。プログラムは、記録媒体を経由して取得されるものでもよいし、ネットワークを経由して取得されるものでもよいし、ＲＯＭ組込でもよい。

図４は上記の第１の実施形態における処理例を示すシーケンス図である。図４において、利用者が端末装置１のブラウザ１１に対して、所定のＵＲＬ（Uniform Resource Locator）へのアクセス等のログイン画面要求操作を行うと（ステップＳ１０１）、ブラウザ１１はサーバ装置４に対してログイン画面要求を行う（ステップＳ１０２）。

これを受け、サーバ装置４のログイン処理部４１は、ユニークなセッション情報（セッションＩＤ）を発行し、表示位置情報生成部４４はセッション情報と対応付けて表示位置情報を生成する（ステップＳ１０３）。図５は表示位置情報のデータ構造例を示す図であり、「セッションＩＤ」に対応した「キーボード表示位置」「ユーザＩＤ表示位置」「パスワード表示位置」「ログインボタン表示位置」を含んでいる。「キーボード表示位置」は、ソフトウェアキーボードの表示位置である。「ユーザＩＤ表示位置」は、ＩＤ入力欄の表示位置である。「パスワード表示位置」は、パスワード入力欄の表示位置である。「ログインボタン表示位置」は、ログインボタンの表示位置である。それぞれの位置は、ログイン画面における代表的な位置（例えば、左上隅）を原点とした座標値である。

次いで、図４に戻り、ページ生成部４２は、セッション情報を埋め込んだコード画像を含むログイン画面のページデータを生成し（ステップＳ１０４）、要求元の端末装置１のブラウザ１１にページデータを応答する（ステップＳ１０５）。ブラウザ１１は受信したページデータに基づいてログイン画面を表示する（ステップＳ１０６）。図６の左側には、端末装置１に表示されたログイン画面１１１の例が示されており、ログイン画面であることを示すタイトル１１２と、セッション情報が埋め込まれたコード画像１１３とが含まれている。符号１１４で示されるのはマウスポインタである。なお、コード画像１１３は図示のような視認可能なものとする必要はなく、ある範囲に広がりをもった透かし形式のものとしてもよい。また、コード画像１１３の配置は携帯端末装置２のカメラにより撮像可能な位置であればどこでもよい。

図４に戻り、利用者が携帯端末装置２に対してログインアプリ２１を起動する操作を行うと（ステップＳ１０７）、携帯端末装置２においてログインアプリ２１が起動する（ステップＳ１０８）。なお、ログインアプリ２１の起動はログイン画面要求より先に行ってもよいし、並行して行ってもよい。

そして、利用者が携帯端末装置２のカメラで端末装置１の表示画面を参照（カメラを端末装置１の表示画面に向ける）すると（ステップＳ１０９）、携帯端末装置２のセッション情報取得部２３は撮像画像からコード画像を認識し、埋め込まれたセッション情報を取得する（ステップＳ１１０）。セッション情報送信部２４は取得したセッション情報をサーバ装置４に送信し（ステップＳ１１１）、サーバ装置４のセッション情報受信部４３がセッション情報を受信すると、表示位置情報送信部４５は受信したセッション情報に対応する、予め生成されている表示位置情報を応答する（ステップＳ１１２）。

携帯端末装置２の表示位置情報受信部２５が表示位置情報を受信すると、入力インタフェース画像重畳表示部２６は、受信した表示位置情報に基づいて入力インタフェース画像を再生し、撮像画像に重畳して画面に表示する（ステップＳ１１３）。図６の右側には、携帯端末装置２の表示画面２１１が示されており、撮像されたログイン画面２１２、コード画像２１３およびマウスポインタ２１４に重畳されて、ＩＤ入力欄２１５、パスワード入力欄２１６、ソフトウェアキーボード２１７およびログインボタン２１８が表示されている。なお、ログイン画面やコード画像の規定サイズ等に基づき、入力インタフェース画像の相対的な配置が正確に反映されるように縮小・拡大・回転・変形されて表示が行われる。また、一般的なＡＲ（Augmented Reality）と同様に、重畳表示は短時間に繰り返され、カメラの視野が移動しても撮像されたログイン画面に入力インタフェース画像が追随する。

図４に戻り、利用者は携帯端末装置２により端末装置１の表示画面を参照しながら、端末装置１のマウスポインタ等を移動させ、所望の位置でマウスクリック等を行うことで認証情報（ＩＤ、パスワード）を入力する操作を行う（ステップＳ１１４）。利用者が自分の顔（目）の近くに携帯端末装置２を保持しながらマウス操作等による認証情報の入力が行われ、端末装置１の画面上にはマウスポインタ等の移動しか表示されないため、利用者の近くにいる第三者から、入力された認証情報の内容を盗み見られる危険性は極めて低い。

端末装置１のブラウザ１１は、ログイン画面に埋め込まれたスクリプトの動作により、表示画面上でクリック等が行われると、入力位置の情報をサーバ装置４に送信する（ステップＳ１１５）。サーバ装置４の入力位置受信部４６が入力位置の情報を受信すると、入力内容特定部４７は、入力位置を表示位置情報と比較することで、指示された位置がどの入力欄であるのか、ソフトキーボード上のどのキーであるかにより、入力内容を特定する（ステップＳ１１６）。端末装置１においてはマウスクリック等が行われるのみであり、キーロガー等により操作内容が第三者に取得されたとしても、サーバ装置４の保持する表示位置情報がなければ何ら意味をなさないものであるため、認証情報が漏洩する危険性は極めて低い。

次いで、入力内容送信部４８は特定された入力内容を携帯端末装置２に送信する（ステップＳ１１７）。携帯端末装置２の入力内容受信部２７が入力内容を受信すると、入力インタフェース画像重畳表示部２６は入力内容に応じて重畳する画像を更新する（ステップＳ１１８）。例えば、ＩＤ入力欄が選択された場合には、ＩＤ入力欄にテキストカーソルを表示する。ソフトウェアキーボードにより文字列が入力された場合には、その時点で選択されているＩＤ入力欄等に入力された文字を表示（パスワード入力欄の場合は一般に「＊」に変換して表示）する。

これらの入力操作が繰り返された後、ログインボタンが押されたと判断されると、サーバ装置４のログイン処理部４１は図示しないアカウント情報に基づいて認証情報の照合を行い（ステップＳ１１９）、照合結果を端末装置１に送信する（ステップＳ１２０）。端末装置１のブラウザ１１は照合結果を表示する（ステップＳ１２１）。照合が正常に行われた場合には、ログインが許可され、Ｗｅｂサービスの利用が可能となる。

次いで、利用者は携帯端末装置２に対してログインアプリ２１を終了する操作を行い（ステップＳ１２２）、携帯端末装置２におけるログインアプリ２１は終了する（ステップＳ１２３）。

なお、サーバ装置４で表示位置情報を生成する場合について説明したが、携帯端末装置２のログインアプリ２１において表示位置情報を生成するようにしてもよい。

＜第２の実施形態＞
第２の実施形態は、端末装置のログイン時に入力する認証情報を他人による閲覧から防止する例である。すなわち、スタンドアロンの端末装置に適用した例である。

図７は第２の実施形態にかかるシステムの構成例を示す図である。図７において、ＰＣ等の端末装置１とスマートフォン等の携帯端末装置２は、近距離無線等による直接の通信またはネットワーク経由で接続可能となっている。また、端末装置１の利用者と携帯端末装置２の利用者は同一であることを想定しており、携帯端末装置２のカメラ機能により端末装置１の表示画面の全部または一部を撮像しながら端末装置１を操作して認証情報を入力するものとしている。

図８は端末装置１、携帯端末装置２およびサーバ装置４の機能構成例を示す図である。なお、前述した第１の実施形態と比較して、端末装置１においてはＷｅｂサービスの利用ではないためブラウザ１１が表には出てこない点、サーバ装置４における機能が端末装置１に吸収された点、同一装置内に吸収された機能間での送受信が不要となる点、Ｗｅｂサービスのセッションの概念がないためセッション情報を画面特定情報とした点等が異なる。

図８において、端末装置１は、ログイン処理部１２とページ生成部１３と画面特定情報受信部１４と表示位置情報生成部１５と表示位置情報送信部１６と入力位置取得部１７と入力内容判定部１８と入力内容送信部１９とを備えている。

ログイン処理部１２は、端末装置１の利用の許可を得るためのログイン処理を実行する機能を有している。ページ生成部１３は、利用者からログイン画面要求操作を受けた場合に、画面特定情報を埋め込んだコード画像を含むログイン画面のページデータを生成して表示する機能を有している。画面特定情報受信部１４は、携帯端末装置２から画面特定情報を受信する機能を有している。表示位置情報生成部１５は、受信した画面特定情報に一致する画面に表示する入力インタフェース画像の表示位置情報をランダムに生成する機能を有している。表示位置情報送信部１６は、生成した表示位置情報を携帯端末装置２に送信する機能を有している。

入力位置取得部１７は、端末装置１におけるマウスクリック等の位置情報（座標情報）を取得する機能を有している。入力内容判定部１８は、取得した位置情報を、既に生成している表示位置情報と比較することで、入力内容を特定する機能を有している。入力内容送信部１９は、特定された入力内容を携帯端末装置２に送信する機能を有している。

携帯端末装置２は、ログインアプリ２１により実現される撮像制御部２２と画面特定情報取得部２３'と画面特定情報送信部２４'と表示位置情報受信部２５と入力インタフェース画像重畳表示部２６と入力内容受信部２７とを備えている。

ログインアプリ２１は、端末装置１におけるログインを携帯端末装置２により支援するためのアプリケーションプログラムである。撮像制御部２２は、携帯端末装置２のカメラ機能を制御し、撮像を行う機能を有している。画面特定情報取得部２３'は、カメラ機能による撮像画像から所定のコード画像を認識し、コードに埋め込まれている画面特定情報を取得する機能を有している。画面特定情報送信部２４'は、取得した画面特定情報を端末装置１に送信する機能を有している。

表示位置情報受信部２５は、端末装置１から、ログインのためのＩＤやパスワード等の認証情報の入力を行うための入力インタフェース画像の表示位置情報を受信する機能を有している。入力インタフェース画像重畳表示部２６は、携帯端末装置２の表示画面上に、端末装置１のログイン画面の撮像画像に重畳して、表示位置情報に基づく入力インタフェース画像を表示する機能を有している。入力内容受信部２７は、端末装置１から利用者による入力内容を受信する機能を有している。入力内容に応じて、入力インタフェース画像重畳表示部２６による表示が更新される。

図９は第２の実施形態における処理例を示すシーケンス図である。図９において、利用者が端末装置１のログイン処理部１２に対して、ログイン画面要求操作を行うと（ステップＳ２０１）、ログイン処理部１２は、ユニークな画面特定情報（画面ＩＤ）を発行し、表示位置情報生成部１５は画面特定情報と対応付けて表示位置情報を生成する（ステップＳ２０２）。図１０は表示位置情報のデータ構造例を示す図であり、「画面ＩＤ」に対応した「キーボード表示位置」「ユーザＩＤ表示位置」「パスワード表示位置」「ログインボタン表示位置」を含んでいる。「キーボード表示位置」は、ソフトウェアキーボードの表示位置である。「ユーザＩＤ表示位置」は、ＩＤ入力欄の表示位置である。「パスワード表示位置」は、パスワード入力欄の表示位置である。「ログインボタン表示位置」は、ログインボタンの表示位置である。それぞれの位置は、ログイン画面における代表的な位置（例えば、左上隅）を原点とした座標値である。

次いで、図９に戻り、ページ生成部１３は、画面特定情報を埋め込んだコード画像を含むログイン画面のページデータを生成し（ステップＳ２０３）、ログイン画面を表示する（ステップＳ２０４）。

次いで、利用者が携帯端末装置２に対してログインアプリ２１を起動する操作を行うと（ステップＳ２０５）、携帯端末装置２においてログインアプリ２１が起動する（ステップＳ２０６）。なお、ログインアプリ２１の起動はログイン画面要求より先に行ってもよいし、並行して行ってもよい。

そして、利用者が携帯端末装置２のカメラで端末装置１の表示画面を参照（カメラを端末装置１の表示画面に向ける）すると（ステップＳ２０７）、携帯端末装置２の画面特定情報取得部２３'は撮像画像からコード画像を認識し、埋め込まれた画面特定情報を取得する（ステップＳ２０８）。画面特定情報送信部２４'は取得した画面特定情報を端末装置１に送信し（ステップＳ２０９）、端末装置１の画面特定情報受信部１４が画面特定情報を受信すると、表示位置情報送信部１６は受信した画面特定情報に対応する、予め生成されている表示位置情報を応答する（ステップＳ２１０）。

携帯端末装置２の表示位置情報受信部２５が表示位置情報を受信すると、入力インタフェース画像重畳表示部２６は、受信した表示位置情報に基づいて入力インタフェース画像を再生し、撮像画像に重畳して画面に表示する（ステップＳ２１１）。

次いで、利用者は携帯端末装置２により端末装置１の表示画面を参照しながら、端末装置１のマウスポインタ等を移動させ、所望の位置でマウスクリック等を行うことで認証情報（ＩＤ、パスワード）を入力する操作を行う（ステップＳ２１２）。利用者が自分の顔（目）の近くに携帯端末装置２を保持しながらマウス操作等による認証情報の入力が行われ、端末装置１の画面上にはマウスポインタ等の移動しか表示されないため、利用者の近くにいる第三者から、入力された認証情報の内容を盗み見られる危険性は極めて低い。

端末装置１の入力位置取得部１７は、表示画面上でクリック等が行われると、入力位置の情報を取得し、入力内容判定部１８は、入力位置を表示位置情報と比較することで、指示された位置がどの入力欄であるのか、ソフトキーボード上のどのキーであるかにより、入力内容を特定する（ステップＳ２１３）。端末装置１においてはマウスクリック等が行われるのみであり、キーロガー等により操作内容が第三者に取得されたとしても、端末装置１の保持する表示位置情報がなければ何ら意味をなさないものであるため、認証情報が漏洩する危険性は極めて低い。

次いで、入力内容送信部１９は特定された入力内容を携帯端末装置２に送信する（ステップＳ２１４）。携帯端末装置２の入力内容受信部２７が入力内容を受信すると、入力インタフェース画像重畳表示部２６は入力内容に応じて重畳する画像を更新する（ステップＳ２１５）。

これらの入力操作が繰り返された後、ログインボタンが押されたと判断されると、端末装置１のログイン処理部１２は図示しないアカウント情報に基づいて認証情報の照合を行い（ステップＳ２１６）、照合結果を表示する（ステップＳ２１７）。照合が正常に行われた場合には、ログインが許可される。

次いで、利用者は携帯端末装置２に対してログインアプリ２１を終了する操作を行い（ステップＳ２１８）、携帯端末装置２におけるログインアプリ２１は終了する（ステップＳ２１９）。

なお、端末装置１で表示位置情報を生成する場合について説明したが、携帯端末装置２のログインアプリ２１において表示位置情報を生成するようにしてもよい。

＜総括＞
以上説明したように、本実施形態によれば、入力された情報の他人による閲覧を防止することができる。

以上、好適な実施の形態により説明した。ここでは特定の具体例を示して説明したが、特許請求の範囲に定義された広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により限定されるものと解釈してはならない。

以上の説明に関し、更に以下の項を開示する。
（付記１）
第１の端末装置の表示画面に表示されたポインタの前記表示画面に対する位置を前記第１の端末装置から取得し、
カメラにより撮像された撮像画像を表示する第２の端末装置の表示画面に前記第１の端末装置の表示画面が含まれ、かつ、前記第１の端末装置から入力指示を受け付けた場合、前記第２の端末装置の表示画面に表示された複数のキーそれぞれの識別情報と、前記複数のキーそれぞれの、前記第２の端末装置の表示画面に表示された前記第１の端末装置の表示画面に対する位置とを取得し、
取得した前記ポインタの位置と、取得した前記複数のキーそれぞれの位置との比較結果に基づき、前記複数のキーのうち、何れかのキーの識別情報を特定する、
処理をコンピュータが実行することを特徴とする入力支援方法。
（付記２）
前記第１の端末装置の表示画面に画面の識別情報を表示し、
前記撮像画像から前記画面の識別情報を取得し、
画面の識別情報が一致する場合に前記複数のキーそれぞれの識別情報と前記第１の端末装置の表示画面に対する位置とを対応付ける情報を生成する、
ことを特徴とする付記１に記載の入力支援方法。
（付記３）
前記複数のキーそれぞれの識別情報と前記第１の端末装置の表示画面に対する位置とを対応付ける情報は、前記画面の識別情報ごとにランダムに生成する、
ことを特徴とする付記２に記載の入力支援方法。
（付記４）
前記特定されたキーの識別情報に基づいてログイン時の認証情報の照合を行う、
ことを特徴とする付記１乃至３のいずれか一項に記載の入力支援方法。
（付記５）
第１の端末装置の表示画面に表示されたポインタの前記表示画面に対する位置を前記第１の端末装置から取得する手段と、
カメラにより撮像された撮像画像を表示する第２の端末装置の表示画面に前記第１の端末装置の表示画面が含まれ、かつ、前記第１の端末装置から入力指示を受け付けた場合、前記第２の端末装置の表示画面に表示された複数のキーそれぞれの識別情報と、前記複数のキーそれぞれの、前記第２の端末装置の表示画面に表示された前記第１の端末装置の表示画面に対する位置とを取得する手段と、
取得した前記ポインタの位置と、取得した前記複数のキーそれぞれの位置との比較結果に基づき、前記複数のキーのうち、何れかのキーの識別情報を特定する手段と、
を備えたことを特徴とする入力支援装置。
（付記６）
前記第１の端末装置の表示画面に画面の識別情報を表示し、
前記撮像画像から前記画面の識別情報を取得し、
画面の識別情報が一致する場合に前記複数のキーそれぞれの識別情報と前記第１の端末装置の表示画面に対する位置とを対応付ける情報を生成する、
ことを特徴とする付記５に記載の入力支援装置。
（付記７）
前記複数のキーそれぞれの識別情報と前記第１の端末装置の表示画面に対する位置とを対応付ける情報は、前記画面の識別情報ごとにランダムに生成する、
ことを特徴とする付記６に記載の入力支援装置。
（付記８）
前記特定されたキーの識別情報に基づいてログイン時の認証情報の照合を行う、
ことを特徴とする付記５乃至７のいずれか一項に記載の入力支援装置。
（付記９）
第１の端末装置の表示画面に表示されたポインタの前記表示画面に対する位置を前記第１の端末装置から取得し、
カメラにより撮像された撮像画像を表示する第２の端末装置の表示画面に前記第１の端末装置の表示画面が含まれ、かつ、前記第１の端末装置から入力指示を受け付けた場合、前記第２の端末装置の表示画面に表示された複数のキーそれぞれの識別情報と、前記複数のキーそれぞれの、前記第２の端末装置の表示画面に表示された前記第１の端末装置の表示画面に対する位置とを取得し、
取得した前記ポインタの位置と、取得した前記複数のキーそれぞれの位置との比較結果に基づき、前記複数のキーのうち、何れかのキーの識別情報を特定する、
処理をコンピュータに実行させることを特徴とする入力支援プログラム。
（付記１０）
前記第１の端末装置の表示画面に画面の識別情報を表示し、
前記撮像画像から前記画面の識別情報を取得し、
画面の識別情報が一致する場合に前記複数のキーそれぞれの識別情報と前記第１の端末装置の表示画面に対する位置とを対応付ける情報を生成する、
ことを特徴とする付記９に記載の入力支援プログラム。
（付記１１）
前記複数のキーそれぞれの識別情報と前記第１の端末装置の表示画面に対する位置とを対応付ける情報は、前記画面の識別情報ごとにランダムに生成する、
ことを特徴とする付記１０に記載の入力支援プログラム。
（付記１２）
前記特定されたキーの識別情報に基づいてログイン時の認証情報の照合を行う、
ことを特徴とする付記９乃至１１のいずれか一項に記載の入力支援プログラム。

１ 端末装置
１１ ブラウザ
１２ ログイン処理部
１３ ページ生成部
１４ 画面特定情報受信部
１５ 表示位置情報生成部
１６ 表示位置情報送信部
１７ 入力位置取得部
１８ 入力内容判定部
１９ 入力内容送信部
２ 携帯端末装置
２１ ログインアプリ
２２ 撮像制御部
２３ セッション情報取得部
２３' 画面特定情報取得部
２４ セッション情報送信部
２４' 画面特定情報送信部
２５ 表示位置情報受信部
２６ 入力インタフェース画像重畳表示部
２７ 入力内容受信部
３ ネットワーク
４ サーバ装置
４１ ログイン処理部
４２ ページ生成部
４３ セッション情報受信部
４４ 表示位置情報生成部
４５ 表示位置情報送信部
４６ 入力位置受信部
４７ 入力内容特定部
４８ 入力内容送信部

Claims (6)

1. 第１の端末装置の表示画面に表示されたポインタの前記表示画面に対する位置を前記第１の端末装置から取得し、
   カメラにより撮像された撮像画像を表示する第２の端末装置の表示画面に前記第１の端末装置の表示画面が含まれ、かつ、前記第１の端末装置から入力指示を受け付けた場合、前記第２の端末装置の表示画面に表示された複数のキーそれぞれの識別情報と、前記複数のキーそれぞれの、前記第２の端末装置の表示画面に表示された前記第１の端末装置の表示画面に対する位置とを取得し、
   取得した前記ポインタの位置と、取得した前記複数のキーそれぞれの位置との比較結果に基づき、前記複数のキーのうち、何れかのキーの識別情報を特定する、
   処理をコンピュータが実行することを特徴とする入力支援方法。
2. 前記第１の端末装置の表示画面に画面の識別情報を表示し、
   前記撮像画像から前記画面の識別情報を取得し、
   画面の識別情報が一致する場合に前記複数のキーそれぞれの識別情報と前記第１の端末装置の表示画面に対する位置とを対応付ける情報を生成する、
   ことを特徴とする請求項１に記載の入力支援方法。
3. 前記複数のキーそれぞれの識別情報と前記第１の端末装置の表示画面に対する位置とを対応付ける情報は、前記画面の識別情報ごとにランダムに生成する、
   ことを特徴とする請求項２に記載の入力支援方法。
4. 前記特定されたキーの識別情報に基づいてログイン時の認証情報の照合を行う、
   ことを特徴とする請求項１乃至３のいずれか一項に記載の入力支援方法。
5. 第１の端末装置の表示画面に表示されたポインタの前記表示画面に対する位置を前記第１の端末装置から取得する手段と、
   カメラにより撮像された撮像画像を表示する第２の端末装置の表示画面に前記第１の端末装置の表示画面が含まれ、かつ、前記第１の端末装置から入力指示を受け付けた場合、前記第２の端末装置の表示画面に表示された複数のキーそれぞれの識別情報と、前記複数のキーそれぞれの、前記第２の端末装置の表示画面に表示された前記第１の端末装置の表示画面に対する位置とを取得する手段と、
   取得した前記ポインタの位置と、取得した前記複数のキーそれぞれの位置との比較結果に基づき、前記複数のキーのうち、何れかのキーの識別情報を特定する手段と、
   を備えたことを特徴とする入力支援装置。
6. 第１の端末装置の表示画面に表示されたポインタの前記表示画面に対する位置を前記第１の端末装置から取得し、
   カメラにより撮像された撮像画像を表示する第２の端末装置の表示画面に前記第１の端末装置の表示画面が含まれ、かつ、前記第１の端末装置から入力指示を受け付けた場合、前記第２の端末装置の表示画面に表示された複数のキーそれぞれの識別情報と、前記複数のキーそれぞれの、前記第２の端末装置の表示画面に表示された前記第１の端末装置の表示画面に対する位置とを取得し、
   取得した前記ポインタの位置と、取得した前記複数のキーそれぞれの位置との比較結果に基づき、前記複数のキーのうち、何れかのキーの識別情報を特定する、
   処理をコンピュータに実行させることを特徴とする入力支援プログラム。

Images