JP2015177372A - 画像形成システム、画像形成装置、携帯端末およびプログラム - Google Patents

Abstract

【課題】画像データの送受信に伴う操作性の低下を回避しつつ、文字入力処理における文字入力内容を他ユーザによって覗き見られる可能性を抑制することが可能な技術を提供する。
【解決手段】コード画像２６２を有するログイン画面（操作画面）２００がＭＦＰのタッチパネル２５に表示される。このコード画像２６２には、文字入力パーツの表示指令がそのコード情報として埋め込まれている。携帯端末は、その撮像部によって当該ログイン画面２００を撮像した撮影画像５００を生成する。また、携帯端末は、撮影画像５００内のコード画像２６２に包含される表示指令を当該コード画像２６２から抽出し、抽出した当該表示指令に基づき、文字入力パーツ（ソフトウエアキーボード等）を撮影画像５００に合成した画面を文字入力画面としてタッチパネル７５に表示する。そして、当該文字入力画面にて入力された文字入力内容が携帯端末からＭＦＰに送信される。
【選択図】図１４

Description

本発明は、ＭＦＰ（マルチ・ファンクション・ペリフェラル（Multi-Functional Peripheral））などの画像形成装置を備える画像形成システム、およびそれに関連する技術に関する。

ＭＦＰには様々な操作入力を受け付ける操作パネルが設けられている。当該操作パネルとしては、その操作性を考慮し、一般に比較的広い視野角を有するものが用いられている。

しかしながら、このような操作パネルに対して或るユーザが文字を入力する際において、ＭＦＰのユーザの隣に立った別の人物によって、当該ユーザが入力する内容を覗き見られる可能性が存在する。

ところで、特許文献１においては、異なる機密性レベルを有する複数のブロックで構成される電子文書に関して、当該電子文書を閲覧装置（コンピュータ等）で閲覧するための電子文書閲覧技術が記載されている。この技術においては、電子文書に対するユーザ認証処理後において、当該電子文書内の複数のブロックのうち、機密性レベルが低いブロックは通常状態で閲覧装置の固定ディスプレイ上に表示され且つ機密性レベルが高いブロックは空欄状態で当該固定ディスプレイ上に表示される。また、利用者は頭部装着型ディスプレイ（ヘッドマウントディスプレイ（以下、ＨＭＤとも称する））を装着し、固定ディスプレイ上では空欄化された機密性レベルが高いブロックの内容が当該ＨＭＤの画面上の適切な位置に表示される。これによれば、機密性レベルが高い情報が固定ディスプレイに表示されることに起因する他ユーザによる覗き見を防止することが可能である。

ただし、特許文献１に記載の技術は、ユーザ認証処理後において電子文書を表示する際に、他ユーザによる覗き見を防止する技術（端的に言えば、電子文書の専ら表示に関する技術）である。特許文献１に記載の技術は、ユーザ認証情報等の入力処理（文字入力処理）に関するものではない。

特許文献１においては、ユーザ認証情報の入力に関して、通常のログイン動作（ユーザ認証用ダイアログと閲覧装置（コンピュータ）のハードウエアキーボードとを用いてユーザ認証情報が入力される動作）が示されている。そのようなログイン動作においては、閲覧装置（コンピュータ）のハードウエアキーボードを用いたユーザによる入力動作ひいてはその入力内容を、隣のユーザ（隣に立っているユーザ等）に覗き見られる可能性が高い。また、特許文献１においては、ユーザ認証情報（ログイン情報）の入力手法として、更に別の入力手法を用いることは想定されておらず、ユーザ認証情報の入力内容を他ユーザに覗き見られることを回避することは困難である。

また、特許文献１に記載の技術とは別の技術として、画像形成装置のパネル表示画像を当該画像形成装置とは別の外部端末に送信し当該端末に表示された操作画面を用いてＭＦＰを遠隔操作する技術が存在する（たとえば、特許文献２参照）。

特許文献２においては、画像形成装置から外部端末へと操作画面データ自体（ビットマップ画像データ等）をそのまま送信して当該操作画面を外部端末の表示部に表示するとともに、当該操作画面内での操作位置情報（押下位置情報等）を送受信して操作画面内における操作入力を受け付ける技術が示されている。いわゆるリモート接続による遠隔操作技術である。

このような技術を用いることによれば、画像形成装置の操作パネルとは別の外部端末に表示された操作画面を利用して、ユーザによるユーザ認証情報等の入力を行うことが可能である。したがって、或るユーザによる文字入力内容を他ユーザによって覗き見られる可能性を抑制することが可能である。

特開２００６−２７７２３９号公報 特開平０５−１２２４２４号公報

しかしながら、特許文献２のようにキー入力処理に加えて画像データの送受信処理をも行う場合には、外部端末における処理負荷が増大し操作に対する反応速度が低下するなど、操作性が低下するという問題が存在する。

そこで、本発明は、画像データの送受信に伴う操作性の低下を回避しつつ、文字入力処理における文字入力内容を他ユーザによって覗き見られる可能性を抑制することが可能な技術を提供することを課題とする。

上記課題を解決すべく、請求項１の発明は、画像形成システムであって、画像形成装置と、文字入力画面を表示してユーザからの文字入力を受け付ける携帯端末と、を備え、前記画像形成装置は、前記文字入力画面にて文字入力パーツを表示すべき旨の表示指令をそのコード情報として有するコード画像を生成する生成手段と、前記コード画像を含む操作画面を表示する表示手段と、を有し、前記携帯端末は、前記画像形成装置の前記操作画面を撮像した撮影画像を生成する撮像手段と、前記撮影画像に含まれる前記コード画像から、前記文字入力パーツの表示指令を抽出する抽出手段と、前記表示指令に基づいて、前記文字入力パーツを前記撮影画像に合成した画面を前記文字入力画面として表示するユーザインターフェイス手段と、前記文字入力画面において入力された文字入力内容を、前記画像形成装置に送信する通信手段と、を有することを特徴とする。

請求項２の発明は、請求項１の発明に係る画像形成システムにおいて、前記コード画像は、前記コード画像の前記操作画面における位置およびサイズに関する情報と、前記文字入力パーツの表示用領域の前記操作画面における位置およびサイズに関する情報と、を有しており、前記携帯端末は、前記コード画像の前記撮影画像における位置およびサイズに関する情報である第１の情報を前記撮影画像に関する画像認識処理によって取得するとともに、前記コード画像の前記操作画面における位置およびサイズに関する情報である第２の情報と前記文字入力パーツの表示用領域の前記操作画面における位置およびサイズに関する情報である第３の情報とを前記コード画像の解析処理によって取得する取得手段と、前記第１の情報と前記第２の情報とに基づく座標変換処理を前記第３の情報に関して行うことによって、前記文字入力パーツの表示用領域の前記撮影画像における対応位置を特定し、当該対応位置に基づいて前記文字入力パーツの前記撮影画像における表示位置を決定する決定手段と、をさらに有し、前記携帯端末の前記ユーザインターフェイス手段は、前記決定手段によって決定された前記表示位置に前記文字入力パーツを表示することを特徴とする。

請求項３の発明は、請求項２の発明に係る画像形成システムにおいて、前記コード画像は、前記文字入力パーツによる入力文字の入力欄である文字入力欄の前記操作画面における表示位置情報をも有しており、前記携帯端末の前記取得手段は、前記コード画像の解析処理によって、前記文字入力欄の前記操作画面における表示位置情報を取得し、前記携帯端末の前記決定手段は、取得された前記表示位置情報に関して前記座標変換処理を行うことによって、前記文字入力欄の前記撮影画像における対応位置を特定し、前記携帯端末の前記ユーザインターフェイス手段は、前記文字入力欄の当該対応位置の情報に基づいて、前記文字入力パーツによる入力文字を前記撮影画像の文字入力欄に合成して表示することを特徴とする。

請求項４の発明は、請求項２または請求項３の発明に係る画像形成システムにおいて、前記コード画像には、リンク先に関する確認用ＩＤである第１の識別情報が埋め込まれており、前記携帯端末の前記取得手段は、前記撮影画像内の前記コード画像を解析して前記コード画像から確認用ＩＤを抽出し、前記携帯端末の前記通信手段は、前記コード画像から抽出された確認用ＩＤを伴うリンク確立要求を前記画像処理装置に送信し、前記画像処理装置は、前記携帯端末から受信した確認用ＩＤである第２の識別情報と、前記コード画像に予め埋め込まれていた前記第１の識別情報との同一性が確認されることを条件として、前記画像処理装置と前記携帯端末との通信リンクの確立を許可する許可手段、をさらに有することを特徴とする。

請求項５の発明は、請求項２ないし請求項４のいずれかの発明に係る画像形成システムにおいて、前記操作画面は、前記文字入力欄に入力されるべき情報の種別名称を示す情報名称表示欄を有しており、前記コード画像は、前記種別名称の名称情報と前記情報名称表示欄の前記操作画面における表示位置情報とをさらに有しており、前記携帯端末の前記取得手段は、前記コード画像の解析処理によって、前記種別名称の名称情報と前記情報名称表示欄の前記操作画面における表示位置情報とを取得し、前記携帯端末の前記決定手段は、前記情報名称表示欄の前記表示位置情報に関して前記座標変換処理を行うことにより、前記情報名称表示欄の前記撮影画像における対応位置を特定し、前記携帯端末の前記ユーザインターフェイス手段は、前記情報名称表示欄の前記撮影画像における前記対応位置に、前記名称情報に関する文字列を表示することを特徴とする。

請求項６の発明は、請求項５の発明に係る画像形成システムにおいて、前記携帯端末の前記ユーザインターフェイス手段は、前記コード画像に前記名称情報として含まれていた文字列を前記情報名称表示欄に重畳表示することを特徴とする。

請求項７の発明は、請求項５の発明に係る画像形成システムにおいて、前記携帯端末の前記ユーザインターフェイス手段は、前記名称情報に含まれている名称を別言語に翻訳した翻訳結果である変換後の名称を、前記情報名称表示欄に重畳表示することを特徴とする。

請求項８の発明は、請求項１ないし請求項７のいずれかの発明に係る画像形成システムにおいて、前記画像形成装置は、第１のモードと前記第１のモードよりも高いセキュリティを確保する第２のモードとを含む複数のモードを有しており、前記画像形成装置の前記表示手段は、前記第２のモードにおいて、前記第１のモードでは表示されていた第１の文字入力パーツを前記操作画面に表示せず、前記第１の文字入力パーツに代えて前記コード画像を前記操作画面に表示することを特徴とする。

請求項９の発明は、請求項８の発明に係る画像形成システムにおいて、前記携帯端末の前記ユーザインターフェイス手段は、前記第２のモードにて前記撮像手段によって生成された前記撮影画像内の前記コード画像を前記撮影画像から削除し、前記文字入力パーツである第２の文字入力パーツを前記コード画像に代えて表示することを特徴とする。

請求項１０の発明は、請求項１ないし請求項９のいずれかの発明に係る画像形成システムにおいて、前記携帯端末の前記撮像手段は、前記撮影画像を所定時間間隔で更新し、前記携帯端末の前記ユーザインターフェイス手段は、前記所定時間間隔で更新される前記撮影画像を順次に表示することを特徴とする。

請求項１１の発明は、請求項１０の発明に係る画像形成システムにおいて、前記携帯端末の前記ユーザインターフェイス手段は、ユーザからの更新中止指示が受け付けられる場合には、前記撮影画像の更新を中止して、静止画的態様で表示される前記撮影画像に前記文字入力パーツを合成して表示するとともに前記文字入力パーツによる文字入力を受け付けることを特徴とする。

請求項１２の発明は、請求項１１の発明に係る画像形成システムにおいて、前記携帯端末の前記ユーザインターフェイス手段は、前記更新中止指示の受付時点での前記携帯端末の向きと現時点での前記携帯端末の向きとが異なる場合に、前記ユーザインターフェイス手段における前記撮影画像の表示の向きを変更することを特徴とする。

請求項１３の発明は、携帯端末と通信可能な画像形成装置であって、前記携帯端末に表示される文字入力画面にて文字入力パーツを表示すべき旨の表示指令を、そのコード情報として有するコード画像を生成する生成手段と、前記コード画像を含む操作画面を表示する表示手段と、前記携帯端末により前記操作画面を撮影した撮影画像を利用し前記携帯端末に表示される前記文字入力画面において入力された文字入力内容を、前記携帯端末から受信する通信手段と、を備えることを特徴とする。

請求項１４の発明は、携帯端末と通信可能な画像形成装置に内蔵されたコンピュータに、ａ）前記携帯端末に表示される文字入力画面にて文字入力パーツを表示すべき旨の表示指令を、そのコード情報として有するコード画像を生成するステップと、ｂ）前記コード画像を含む操作画面を表示するステップと、ｃ）前記携帯端末により前記操作画面を撮影した撮影画像を利用し前記携帯端末に表示される前記文字入力画面において入力された文字入力内容を、前記携帯端末から受信するステップと、を実行させるためのプログラムであることを特徴とする。

請求項１５の発明は、画像形成装置と通信可能な携帯端末であって、前記画像形成装置に表示された操作画面を撮像し撮影画像を生成する撮像手段と、前記撮影画像に含まれるコード画像から、文字入力パーツの表示指令を抽出する抽出手段と、前記表示指令に基づいて、前記文字入力パーツを前記撮影画像に合成した画面を文字入力画面として表示するユーザインターフェイス手段と、前記文字入力画面において入力された文字入力内容を、前記画像形成装置に送信する通信手段と、を備えることを特徴とする。

請求項１６の発明は、画像形成装置と通信可能な携帯端末に内蔵されたコンピュータに、ａ）前記画像形成装置に表示された操作画面を撮像し撮影画像を生成するステップと、ｂ）前記撮影画像に含まれるコード画像から、文字入力パーツの表示指令を抽出するステップと、ｃ）前記表示指令に基づいて、前記文字入力パーツを前記撮影画像に合成した画面を文字入力画面として表示するステップと、ｄ）前記文字入力画面において入力された文字入力内容を、前記画像形成装置に送信するステップと、を実行させるためのプログラムであることを特徴とする。

請求項１ないし請求項１６に記載の発明によれば、画像データの送受信に伴う操作性の低下を回避しつつ、文字入力処理における文字入力内容を他ユーザによって覗き見られる可能性を抑制することが可能である。

画像形成システムを示す概略図である。 画像形成装置の機能ブロックを示す図である。 携帯端末の概略構成を示す機能ブロック図である。 ＭＦＰの動作を示すフローチャートである。 携帯端末の動作を示すフローチャートである。 携帯端末の動作を示すフローチャートである。 携帯端末の動作を示すフローチャートである。 画像形成システムにおける動作例を示すタイミングチャートである。 通常モードにてＭＦＰに表示されるログイン画面を示す図である。 コード画像に埋め込まれる各種の情報を示す図である。 高セキュリティモードにてＭＦＰに表示されるログイン画面および当該ログイン画面を撮影した撮影画像を示す図である。 コード画像を示す図である。 ユーザが携帯端末を用いてＭＦＰのタッチパネルを撮影しＭＦＰにリモートログインしようとしている様子を示す図である。 携帯端末による撮影画像を示す図である。 撮影画像におけるコード画像を示す図である。 コード画像を用いて取得された情報を示す図である。 携帯端末のタッチパネルに表示される文字入力画面を示す図である。 図２１のキーボードが撮影画像に合成されて携帯端末のタッチパネルに表示されている様子を示す図である。 キーボード（文字入力画面）を示す図である。 キーボード（文字入力画面）を示す図である。 キーボード（文字入力画面）を示す図である。 変形例に係る操作画面等を示す図である。 変形例に係る文字入力画面等を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

＜１．第１実施形態＞
＜１−１．構成概要＞
図１は、本発明に係る画像形成システム１を示す図である。図１に示すように、画像形成システム１は、画像形成装置１０と携帯端末５０とを備える。

画像形成装置１０と携帯端末５０とは、ネットワーク（通信ネットワーク）１０８を介して互いに接続される。ネットワーク１０８は、ＬＡＮ（Local Area Network）およびインターネットなどによって構成される。また、ネットワーク１０８に対する接続態様は、有線接続であってもよく、或いは無線接続であってもよい。たとえば、画像形成装置１０はネットワーク１０８に対して有線接続され、携帯端末５０はネットワーク１０８に対して無線接続される。

画像形成システム１においては、画像形成装置１０に対する各種の操作を携帯端末５０を用いて行うことが可能である。すなわち、携帯端末５０は、画像形成装置１０を遠隔操作することが可能である。なお、この画像形成システム１は、画像形成装置１０の遠隔操作を行う遠隔操作システムなどとも表現される。また、携帯端末５０は、画像形成装置１０の遠隔操作装置であるとも表現される。

＜１−２．画像形成装置の構成＞
図２は、画像形成装置１０の機能ブロックを示す図である。ここでは、画像形成装置１０として、ＭＦＰ（マルチ・ファンクション・ペリフェラル（Multi-Functional Peripheral））を例示する。図２においては、ＭＦＰ１０の機能ブロックが示されている。

ＭＦＰ１０は、スキャン機能、コピー機能、ファクシミリ機能およびボックス格納機能などを備える装置（複合機とも称する）である。具体的には、ＭＦＰ１０は、図２の機能ブロック図に示すように、画像読取部２、印刷出力部３、通信部４、格納部５、操作部６およびコントローラ９等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。

画像読取部２は、ＭＦＰ１０の所定の位置に載置された原稿を光学的に読み取って（すなわちスキャンして）、当該原稿の画像データ（原稿画像ないしスキャン画像とも称する）を生成する処理部である。この画像読取部２は、スキャン部であるとも称される。

印刷出力部３は、印刷対象に関するデータに基づいて紙などの各種の媒体に画像を印刷出力する出力部である。

通信部４は、公衆回線等を介したファクシミリ通信を行うことが可能な処理部である。さらに、通信部４は、ネットワーク１０８を介したネットワーク通信を行うことも可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、ＭＦＰ１０は、所望の相手先（たとえば、携帯端末５０）との間で各種のデータを授受することが可能である。通信部４は、各種データを送信する送信部４ａと各種データを受信する受信部４ｂとを有する。

格納部５は、ハードディスクドライブ（ＨＤＤ）等の記憶装置で構成される。格納部５は、各操作画面の画像データ等を記憶する。また、格納部５には、各ユーザ向けに複数のボックス（フォルダ）が設けられ、各ボックスには、電子文書データ（文書ファイル）等が保存される。

操作部６は、ＭＦＰ１０に対する操作入力を受け付ける操作入力部６ａと、各種情報の表示出力を行う表示部６ｂとを備えている。

このＭＦＰ１０においては、略板状の操作パネル部６ｃ（図１参照）が設けられている。また、操作パネル部６ｃは、その正面側にタッチパネル２５（図１参照）を有している。タッチパネル２５は、操作入力部６ａの一部としても機能するとともに、表示部６ｂの一部としても機能する。タッチパネル２５は、液晶表示パネルに各種センサ等が埋め込まれて構成され、各種情報を表示するとともに操作者からの各種の操作入力を受け付けることが可能である。

たとえば、タッチパネル２５においては、各種の操作画面（ログイン画面、メニュー画面等）（ボタン画像等を含む）が表示される。操作者は、タッチパネル２５の操作画面内に仮想的に配置されるボタン（ボタン画像で表現されるボタン）を押下することによって、ＭＦＰ１０の各種動作内容を設定することなどが可能である。

なお、携帯端末５０のタッチパネル７５（図１参照）においては、ＭＦＰ１０のタッチパネル２５に表示される操作画面と同様の画面が表示される。携帯端末５０のタッチパネル７５に表示された操作画面を用いることにより、ＭＦＰ１０のタッチパネル２５に表示された操作画面を用いる操作と同様の操作が実現される。また、後述するように、一部の情報（たとえばセキュリティに関連する情報）を入力する操作画面は、携帯端末５０の撮像部によって撮影された撮影画像等を利用して、携帯端末５０のタッチパネル７５に表示される。

コントローラ９は、ＭＦＰ１０に内蔵され、ＭＦＰ１０を統括的に制御する制御装置である。コントローラ９は、ＣＰＵおよび各種の半導体メモリ（ＲＡＭおよびＲＯＭ）等を備えるコンピュータシステムとして構成される。コントローラ９は、ＣＰＵにおいて、ＲＯＭ（例えば、ＥＥＰＲＯＭ）内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）を実行することによって、各種の処理部を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）は、ＵＳＢメモリなどの可搬性の記録媒体、あるいはネットワーク１０８等を介してＭＦＰ１０にインストールされてもよい。

具体的には、図２に示すように、コントローラ９は、当該プログラムの実行により、通信制御部１１と入力制御部１２と表示制御部１３と判定部１４と画面生成部１５と許可部１６とを含む各種の処理部を実現する。

通信制御部１１は、他の装置（携帯端末５０等）との間の通信動作を通信部４等と協働して制御する処理部である。たとえば、携帯端末５０に表示された操作画面５００（図１４参照）に対する操作者からの操作入力に関する情報である操作入力情報を携帯端末５０から受信する。

入力制御部１２は、操作入力部６ａ（タッチパネル２５等）に対する操作入力動作を制御する制御部である。たとえば、入力制御部１２は、タッチパネル２５に表示された操作画面に対する操作入力を受け付ける動作を制御する。

表示制御部１３は、表示部６ｂ（タッチパネル２５等）における表示動作を制御する処理部である。表示制御部１３は、たとえば、ＭＦＰ１０を操作するための操作画面（遠隔操作画面）２００（図９および図１１等参照）をタッチパネル２５に表示させる。

判定部１４は、操作画面に関する画面遷移内容を判定して制御する制御部であり、画面遷移制御部とも称される。判定部１４は、たとえば、携帯端末５０から送信されてきた操作入力情報（操作入力位置の座標値および／または文字コード等）に基づいて、携帯端末５０における操作入力の内容を判定し、当該操作入力の内容に基づく遷移先の画面等を判定する。

画面生成部１５は、ＭＦＰ１０のタッチパネル２５における操作画面を生成する処理を行う。たとえば、画面生成部１５は、高セキュリティモード（後述）において、セキュリティに関連する情報を入力するための操作画面（２次元バーコード画像２６２等を含む）２００（図１１参照）を生成する。当該操作画面２００は、携帯端末５０によって撮影され、携帯端末５０による撮影処理により生成された撮影画像５００が携帯端末５０での文字入力操作に利用される。

許可部１６は、ＭＦＰ１０と携帯端末５０との通信リンクの確立の許否を決定する処理部である。

＜１−３．携帯端末の構成＞
次に携帯端末（遠隔操作装置とも称する）５０の構成について説明する。

携帯端末５０は、他の装置との間でのネットワーク通信が可能な携帯式の情報入出力端末装置である。ここでは、携帯端末５０として、スマートフォンを例示する。ただし、これに限定されず、携帯端末５０は、タブレット型端末などであってもよい。

図３は、携帯端末５０の概略構成を示す機能ブロック図である。

携帯端末５０は、図３の機能ブロック図に示すように、撮像部５２、通信部５４、格納部５５、操作部５６、傾き検出部５７およびコントローラ５９等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。

撮像部５２は、撮像素子（ＣＣＤ撮像センサ等）を備えて構成され、被写体像を撮像する処理部である。撮像部５２は、たとえば、ＭＦＰ１０のタッチパネル２５に表示された操作画面２００（図１１）を撮像した撮影画像５００（図１４）を生成する。

通信部５４は、ネットワーク１０８を介したネットワーク通信を行うことが可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、携帯端末５０は、所望の相手先（ＭＦＰ１０等）との間で各種のデータを授受することが可能である。通信部５４は、各種データを送信する送信部５４ａと各種データを受信する受信部５４ｂとを有する。たとえば、送信部５４ａは、タッチパネル７５に表示された操作画面５００に対する操作入力の情報（入力文字の情報等）をＭＦＰ１０に送信する。

格納部５５は、不揮発性の半導体メモリ等の記憶装置で構成され、各種の情報を格納する。

操作部５６は、携帯端末５０に対する操作入力を受け付ける操作入力部５６ａと、各種情報の表示出力を行う表示部５６ｂとを備えている。この携帯端末５０においては、液晶表示パネルに各種センサ等が埋め込まれて構成されたタッチパネル７５（図１参照）が設けられている。具体的には、図１に示すように、略板状の携帯端末５０の正面側において、その周縁部（枠部）を除くほぼ全面にわたってタッチパネル７５が設けられている。このタッチパネル７５は、ユーザインターフェイス部として機能する。換言すれば、タッチパネル７５は、操作入力部５６ａの一部としても機能するとともに、表示部５６ｂの一部としても機能する。

傾き検出部５７は、ジャイロセンサ等を備えて構成され、携帯端末５０の傾き（特に、携帯端末５０の向き（縦向きおよび横向き））を検出する。

タッチパネル７５には、タッチパネル２５の操作画面と同様の操作画面、あるいは、携帯端末５０の撮像部５２により撮像された撮影画像を用いた操作画面等が、遠隔操作画面（ＭＦＰ１０を遠隔操作するための画面）として表示される。また、タッチパネル７５は、当該遠隔操作画面等に対するタッチジェスチャ操作（タッチ操作とも称する）を受け付ける。

図３のコントローラ５９は、携帯端末５０に内蔵され、携帯端末５０を統括的に制御する制御装置である。コントローラ５９は、ＣＰＵおよび各種の半導体メモリ（ＲＡＭおよびＲＯＭ）等を備えるコンピュータシステムとして構成される。コントローラ５９は、ＣＰＵにおいて、記憶部（半導体メモリ等）内に格納されている所定のソフトウエアプログラム（プログラム）を実行することによって、各種の処理部を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）は、ＵＳＢメモリなどの可搬性の記録媒体、あるいはネットワーク１０８等を介して携帯端末５０にインストールされるようにしてもよい。

携帯端末５０には、遠隔操作用のプログラムがインストールされている。当該プログラムは、ＭＦＰ１０を遠隔操作するアプリケーションソフトウエアプログラムであり、遠隔操作に関する諸機能等を実現する。

具体的には、コントローラ５９は、当該プログラム等の実行により、通信制御部６１と入力制御部６２と表示制御部６３とバーコード情報取得部６４と位置決定部６５とを含む各種の処理部を実現する。

通信制御部６１は、通信部５４等と協働して、ＭＦＰ１０等との通信動作を制御する処理部である。たとえば、通信制御部６１は、操作入力情報（タッチパネル７５に表示された操作画面に対する操作者からの操作入力に関する情報）をＭＦＰ１０に送信する。

入力制御部６２は、操作入力部５６ａ（タッチパネル７５等）に対する操作入力動作を制御する制御部である。たとえば、入力制御部６２は、タッチパネル７５に表示された遠隔操作画面（文字入力画面等）に対するタッチ操作入力（文字入力を含む）を受け付ける動作を制御する。

表示制御部６３は、表示部５６ｂ（タッチパネル７５等）における表示動作を制御する処理部である。表示制御部６３は、たとえば、ＭＦＰ１０を遠隔操作するための操作画面（文字入力画面等）として、撮影画像５００をタッチパネル７５に表示する。

なお、入力制御部６２および表示制御部６３は、ユーザインターフェイス制御部とも総称される。

バーコード情報取得部６４は、撮影画像５００に含まれる２次元バーコード画像（バーコード画像あるいはコード画像とも称される）２６２を認識し、当該バーコード画像２６２に含まれる情報を抽出して取得する処理部である。バーコード情報取得部６４は、たとえば、撮影画像５００に含まれるバーコード画像２６２から、文字入力パーツの表示指令を抽出して取得する。また、バーコード情報取得部６４は、バーコード画像２６２の撮影画像５００における位置およびサイズに関する情報等をも撮影画像５００から抽出して取得する。

位置決定部６５は、タッチパネル２５（操作画面２００）に表示された各パーツ（文字入力パーツ表示枠２６１，文字入力欄２３１，２３２等）の撮影画像５００における対応位置を特定し、撮影画像５００における各パーツの表示位置等を決定する処理部である。位置決定部６５は、バーコード画像２６２の撮影画像５００における位置およびサイズに関する情報とバーコード画像２６２の操作画面２００における位置およびサイズに関する情報とに基づく座標変換処理を行うことによって、各パーツの撮影画像における対応位置を特定する。

＜１−４．動作モード＞
ＭＦＰ１０は、セキュリティに関する動作モードとして、通常モードと高セキュリティモードとを含む複数のモードを有している。高セキュリティモードは、通常モードよりも高いセキュリティを確保するモードである。

通常モードにおいては、ＭＦＰ１０のタッチパネル２５に操作画面が表示されるとともに、当該操作画面の画像データがＭＦＰ１０から携帯端末５０に送信され、携帯端末５０のタッチパネル７５に当該操作画面と同様の操作画面（遠隔操作画面）が表示される。タッチパネル７５に表示された操作画面は、外観上、タッチパネル２５に表示された操作画面と同様の画面である。そして、タッチパネル７５の当該操作画面に対する押下操作（タッチ操作）が行われると、その操作位置（押下位置ないしタッチ位置とも称される）の位置情報（座標情報等）がＭＦＰ１０に送信される。ＭＦＰ１０は、受信した位置情報に基づきユーザの操作指示を認識し、次に表示すべき操作画面を決定する。以後、同様の動作が繰り返し実行されることによって、携帯端末５０によるＭＦＰ１０の遠隔操作が実現される。

高セキュリティモードにおいては、複数の操作画面のうち一部の操作画面以外に関しては、上述の通常モードにおける動作と同様の動作が行われる。一方、一部の操作画面に関しては、上述の通常モードにおける動作とは異なる動作が実行される。具体的には、高セキュリティを要する一部の操作画面（たとえば認証情報の入力画面（ログイン画面）等）に関しては、通常モードでは表示されていた文字入力パーツ（キーボード等）はタッチパネル２５に表示されない。当該一部の操作画面に関しては、当該文字入力パーツに代えてバーコード画像（詳細には２次元バーコード画像）２６２がタッチパネル２５に表示される（図１１参照）。このバーコード画像２６２には、文字入力パーツの表示指令がそのコード情報として埋め込まれている（包含されている）。携帯端末５０は、その撮像部５２によって当該操作画面２００（詳細には、その全部または一部）を撮像した撮影画像５００（図１４参照）を生成する。そして、携帯端末５０は、撮影画像５００内のバーコード画像２６２に包含される表示指令を当該バーコード画像２６２から抽出する。さらに、携帯端末５０は、抽出した当該表示指令に基づき、文字入力パーツ（ここではキーボード）２７３を撮影画像５００に合成した画面を、文字入力画面としてタッチパネル７５に表示する（図１７参照）。携帯端末５０のユーザは、タッチパネル７５に表示された文字入力パーツ２７３を用いて、文字を入力する。携帯端末５０は、ユーザからの文字入力を受け付けると、その文字入力内容（入力された文字に関する情報）をＭＦＰ１０に対してネットワークを介して送信する。

以下では、このような動作（特に高セキュリティモードにおける動作）を中心に、画像形成システム１における動作について図４〜図８等を参照しながら更に詳細に説明する。

＜１−５．動作＞
図４は、ＭＦＰ１０の動作を示すフローチャートであり、図５〜図７は、携帯端末５０の動作を示すフローチャートである。また、図８は、画像形成システム１における動作例を示すタイミングチャートである。なお、図５〜図８においては、高セキュリティモードにおける動作が示されている。

ここでは、上述の一部の操作画面２００として「ログイン画面」を例示する。換言すれば、操作画面２００に対する文字入力操作として、ログイン画面に対する文字入力操作が行われる場合を中心に説明する。

まず、ステップＳ１１（図４）において、ＭＦＰ１０（画面生成部１５等）は、ユーザからのログイン操作を受け付けるログイン画面（操作画面）２００の画面情報（操作画面情報）を取得する。また、ＭＦＰ１０は、自身の動作モードが通常モードであるか高セキュリティモードであるかを判定する（ステップＳ１２）。

ＭＦＰ１０の動作モードが通常モードである場合には、ステップＳ１２からステップＳ２０に進む。この場合には、たとえば、図９に示されるようなログイン画面２００（２０１）が表示される。

このログイン画面２０１は、３つのボタン２１１，２１２，２４１と２つの文字入力欄２３１，２３２とソフトウエアキーボード２５１と文字入力パーツ表示枠２６１とを備えている。

文字入力欄２３１，２３２は、文字の入力欄である。詳細には、文字入力欄２３１は、ユーザＩＤの入力欄（換言すれば、ユーザＩＤに関する入力文字を表示する文字表示欄）であり、文字入力欄２３２は、パスワードの入力欄（換言すれば、パスワードに関する入力文字を表示する文字表示欄）である。タッチパネル２５においては、文字入力パーツ表示枠２６１内に表示されたソフトウエアキーボード（文字入力パーツ）２５１を用いることによって、これらの文字入力欄（テキスト入力ボックスとも称される）２３１，２３２に対して文字を入力することが可能である。

また、ボタン２１１は、文字入力欄（ユーザＩＤ入力欄）２３１に対応して配置（近接配置）されている。当該ボタン２１１にはラベル文字「UserID」が付されており、当該ボタン２１１に隣接する文字入力欄２３１がユーザＩＤの入力欄であることが示されている。換言すれば、ボタン２１１は、文字入力欄（ユーザＩＤ入力欄）２３１に入力されるべき情報の種別名称「ユーザＩＤ」を示す（入力）情報名称表示欄である。

同様に、ボタン２１２は、文字入力欄（パスワード入力欄）２３２に対応して配置されている。当該ボタン２１２にはラベル文字「Password」が付されており、当該ボタン２１２に隣接する文字入力欄２３２がパスワードの入力欄であることが示されている。換言すれば、ボタン２１２は、文字入力欄（パスワード入力欄）２３２に入力されるべき情報の種別名称「パスワード」を示す（入力）情報名称表示欄である。

ボタン２４１は、キャンセルボタンである。当該ボタン２４１が押下されると、（ログイン情報入力状態ではなく）待機状態へと遷移する。なお、当該待機状態では、ログイン情報入力状態への遷移指示を受け付ける待機画面（不図示）がタッチパネル２５に表示される。

ログイン画面２０１は、これらのパーツ２１１，２１２，２４１，２３１，２３２，２５１，２６１を合成することによって生成される。

通常モードにおいては、このログイン画面２０１を用いてユーザＩＤおよびパスワードの入力操作が行われる。具体的には、ログイン画面２０１は、ＭＦＰ１０から携帯端末５０に送信され、携帯端末５０は、上述のような動作（画面表示、操作入力受付、操作位置情報送信等）を行い、ＭＦＰ１０を遠隔操作する。あるいは、タッチパネル２５に表示されたログイン画面２０１に対する直接的な操作が行われることによっても、ユーザＩＤおよびパスワードの入力操作が行われ得る。

一方、ＭＦＰ１０の動作モードが高セキュリティモードである場合には、ステップＳ１２からステップＳ１３以降へと進む。この場合には、たとえば、図１１に示されるようなログイン画面２００（２０２）がタッチパネル２５に表示される。このログイン画面２０２は、３つのボタン２１１，２１２，２４１と２つの文字入力欄２３１，２３２と文字入力パーツ表示枠２６１と２次元バーコード画像２６２とを備えている。高セキュリティモードにおいては、このログイン画面２０２を用いてログイン操作（ユーザＩＤおよびパスワードの入力操作等）が行われる。また、高セキュリティモードにおいては、ＭＦＰ１０のタッチパネル２５は、キャンセルボタン２４１に対する直接操作のみを受け付ける。それ以外の操作に関しては、ＭＦＰ１０は携帯端末５０を用いた遠隔操作のみを受け付ける。

このログイン画面２０２（図１１）は、ログイン画面２０１（図９）と比較すると判るように、ソフトウエアキーボード２５１に代えて、２次元バーコード画像（コード画像）２６２を有している。換言すれば、高セキュリティモードにおいては、通常モードでは表示されていたソフトウエアキーボード２５１はタッチパネル２５に表示されず、当該ソフトウエアキーボード２５１に代えてバーコード画像２６２がタッチパネル２５に表示される。バーコード画像２６２は、タッチパネル２５内において、ソフトウエアキーボード２５１が配置されていた場所に表示される。

詳細には、まず、ステップＳ１３（図４）において、バーコード画像（単にバーコードとも称する）２６２（図１２）の生成処理が画面生成部１５によって実行される。

具体的には、図１０に示すように、このバーコード画像２６２には、複数のパーツ２１１，２１２，２４１，２３１，２３２，２６１，２６２について、「パーツ種類」、「位置」、「サイズ」および「その他」に関する情報がコード化されて埋め込まれる。図１０は、バーコード画像２６２に埋め込まれる各種の情報を示す図である。

たとえば、図１０の「項目」欄に示すように、各パーツの種類情報（「２次元バーコード」、「ユーザインターフェイス（文字入力パーツ）」、「ボタン」、「テキスト入力ボックス」等）がコード化されて埋め込まれる。

また、図１０の「位置（Ｘ，Ｙ）」欄に示すように、ログイン画面（操作画面）２００における各パーツの位置（Ｘ方向の位置およびＹ方向の位置）（Ｘ，Ｙ）に関する情報がコード化されて埋め込まれる。同様に、図１０の「サイズ（Ｘ，Ｙ）」欄には、ログイン画面２００における各パーツのサイズ（Ｘ方向サイズＷ（幅）およびＹ方向サイズＨ（高さ））（Ｗ，Ｈ）に関する情報がコード化されて埋め込まれる。なお、各パーツの位置情報は、ログイン画面における当該各パーツの基準点（当該各パーツ領域の左上の点など）の位置情報（タッチパネル２５の座標系で表現された位置情報）として付与されればよい。

たとえば、図１０の項目「２次元バーコード」の欄に示されるように、「２次元バーコード」に関する情報として、バーコード画像２６２自身の位置（Ｘ１，Ｙ１）およびサイズ（Ｗ１，Ｈ１）がコード化されてバーコード画像２６２に埋め込まれる。

また、図１０の項目「ユーザインターフェイス」の欄に示されるように、「ユーザインターフェイス（文字入力パーツ）」に関する情報として、文字入力パーツ表示枠２６１の位置（Ｘ２，Ｙ２）およびサイズ（Ｗ２，Ｈ２）がコード化されてバーコード画像２６２に埋め込まれる。なお、文字入力パーツ表示枠２６１は、文字入力パーツ２７３が表示される領域であることから、文字入力パーツ２７３の表示用領域であるとも表現される。

さらに、図１０の項目「ボタン１」の欄に示されるように、「ボタン」に関する情報として、ボタン２１１の位置（Ｘ３，Ｙ３）およびサイズ（Ｗ３，Ｈ３）がコード化されてバーコード画像２６２に埋め込まれる。同様に、ボタン２１２の位置（Ｘ４，Ｙ４）およびサイズ（Ｗ４，Ｈ４）、ならびにボタン２４１の位置（Ｘ５，Ｙ５）およびサイズ（Ｗ５，Ｈ５）も、コード化されてバーコード画像２６２に埋め込まれる。

また、図１０の項目「テキスト入力ボックス」の欄に示されるように、「テキスト入力ボックス」に関する情報として、文字入力欄２３１の位置（Ｘ６，Ｙ６）およびサイズ（Ｗ６，Ｈ６）がコード化されてバーコード画像２６２に埋め込まれる。同様に、文字入力欄２３１の位置（Ｘ７，Ｙ７）およびサイズ（Ｗ７，Ｈ７）も、コード化されてバーコード画像２６２に埋め込まれる。

さらに、各パーツに関する「その他」の付加情報も必要に応じてコード化されて埋め込まれる。

たとえば、複数のボタン２１１，２１２，２４１の各ラベル情報（名称情報）（たとえば、「UserID」、「Password」、「Cancel」）がコード化されてバーコード画像２６２に埋め込まれる。また、複数の文字入力欄２３１，２３２の各最大文字数情報（各入力欄に表示（入力）可能な最大文字数）（たとえば「３０」文字）に関する情報もコード化されてバーコード画像２６２に埋め込まれる。さらに、文字入力パーツ表示枠２６１に表示される「ユーザインターフェイス」の種類を指定する情報（指定情報）（たとえば、「キーボード」を指定する指定情報）が埋め込まれる。

また、ＭＦＰ１０のリンク先（携帯端末５０）に関する確認用ＩＤ（識別情報）（たとえば「Abcde12」）も、コード化されてバーコード画像２６２に埋め込まれる。

次のステップＳ１４（図４）においては、ログイン画面２０２を生成する処理が画面生成部１５によって行われる。具体的には、ログイン画面２０１におけるソフトウエアキーボード２５１がバーコード画像２６２に差し替えられ、差し替え後の複数のパーツ２１１，２１２，２４１，２３１，２３２，２６２，２６１を合成することによってログイン画面２０２が生成される。

そして、ステップＳ１５において、ステップＳ１４にて生成されたログイン画面２０２がＭＦＰ１０のタッチパネル２５に表示される。このログイン画面２０２は、携帯端末５０による（撮影画像５００の）撮影対象画面として表示される。

さらに、ステップＳ１６では、有効なリンク確立要求が受信されたか否かがＭＦＰ１０（許可部１６等）によって判定される。具体的には、正規の確認用ＩＤ（後述）を伴うリンク確立要求が当該携帯端末５０から送信されてくると、有効なリンク確立要求が受信された旨が判定される。より詳細には、後述するように、撮影画像５００内のバーコード画像２６２に埋め込まれていた確認用ＩＤ（図１０の最下段参照）が携帯端末５０によって認識されて抽出され（ステップＳ３３（図５））、当該確認用ＩＤを含むリンク確立要求が携帯端末５０からＭＦＰ１０に送信される（ステップＳ３５（図５））。そして、当該確認用ＩＤを含むリンク確立要求がＭＦＰ１０にて受信されると、有効なリンク確立要求が受信された旨が判定される（ステップＳ１６）。

ＭＦＰ１０は、確認用ＩＤを伴うリンク確立要求を携帯端末５０から受信する（ステップＳ１６）と、当該携帯端末５０から受信した確認用ＩＤとバーコード画像２６２に埋め込んで発行していた確認用ＩＤ（図１０参照）との同一性を確認する。当該同一性が確認されると、ＭＦＰ１０（送信部４ａ等）は、携帯端末５０からのリンク確立要求を承認して携帯端末５０とのリンク確立を許可するとともに、リンク確立許可（情報）を携帯端末５０に返信する。携帯端末５０は、リンク確立許可を受信し、ＭＦＰ１０と携帯端末５０との間に通信リンクが確立される。

有効なリンク確立要求が受信された旨が判定されない場合には、ステップＳ１６からステップＳ１８に進み、タッチパネル２５内のキャンセルボタン２４１が押下されたか否かが判定される。キャンセルボタン２４１が押下された旨がステップＳ１８で判定されない場合には、再びステップＳ１６に戻り、同様の動作が繰り返される。一方、タッチパネル２５内のキャンセルボタン２４１が押下された旨がステップＳ１８で判定されると、ステップＳ１９に進む。ステップＳ１９では、ログイン情報入力状態ではなく待機状態へと遷移し、ログイン情報入力状態への遷移指示を受け付ける待機画面（不図示）がタッチパネル２５に表示され、図４の処理が終了する。その後、当該待機画面において、ログイン情報入力状態への遷移指示が受け付けられると、ステップＳ１１の処理が再開される。

一方、有効なリンク確立要求が受信された旨が判定される場合には、ステップＳ１７に進む。ステップＳ１７においては、ＭＦＰ１０（許可部１６等）は、当該携帯端末５０とＭＦＰ１０とのリンク（通信リンク）を許可する。後述するように、ＭＦＰ１０のタッチパネル２５を撮影した撮影画像５００内のバーコード画像２６２に埋め込まれている確認用ＩＤを用いて端末特定処理を行うことによれば、ＭＦＰ１０の近傍にてＭＦＰ１０との間でリンクを確立しようとしている携帯端末５０を確実に特定することができる。

その後、ＭＦＰ１０は、携帯端末５０とのリンクが許可されたことを条件として、携帯端末５０から各種の情報を受け取る。たとえば、ＭＦＰ１０は、携帯端末５０の文字入力画面においてユーザにより入力されたログイン情報（ログインＩＤおよびパスワードをそれぞれ示す文字コード群等）を携帯端末５０から受信する。そして、ＭＦＰ１０（判定部１４等）は、当該受信したログイン情報（認証情報）に基づき認証処理を行う。ＭＦＰ１０は、当該受信したログイン情報（認証情報）が正規のものであることを確認すると、さらに次の画面（ログイン後の操作画面）をタッチパネル２５に表示するとともに、当該画面の画像データ（換言すれば、遠隔操作用画面の画像データ）を携帯端末５０に送信する。以後、リンクが切断されるまで携帯端末５０によるＭＦＰ１０の遠隔操作が同様に行われる。

次に、図５〜図７等を参照して、携帯端末５０側の処理を中心に説明する。

ＭＦＰ１０のタッチパネル２５に高セキュリティモード用の操作画面２００（２０２）（図１１）が表示されている状態（図４のステップＳ１５参照）において、ユーザは、タッチパネル２５ではなく携帯端末５０を用いて入力操作を行う。

具体的には、まず、ステップＳ３１（図５）において、ユーザは、遠隔操作用のプログラムを実行中の携帯端末５０を用いて、タッチパネル２５を撮影する撮影処理を行う。詳細には、タッチパネル２５に表示されているログイン画面２０２が、携帯端末５０（撮像部５２等）を用いてユーザにより撮影される（図１３参照）。図１３は、ユーザが携帯端末５０を用いてＭＦＰ１０のタッチパネル２５を撮影し、ＭＦＰにリモートログインしようとしている様子を示す図である。また、図１４は、携帯端末５０により撮影された撮影画像５００（５０１）を示す図である。図１４においては、撮影対象物（タッチパネル２５）のうちの一部が携帯端末５０の撮影範囲に存在する状況が示されている。図１４では、撮影対象物（タッチパネル２５）のうち、携帯端末５０の撮影範囲の外に存在する部分が破線で示されている。

次に、ステップＳ３２において当該撮影画像５００の中からバーコード画像２６２が抽出される。このとき、携帯端末５０（バーコード情報取得部６４および位置決定部６５等）は、撮影画像５００（５０１）内におけるバーコード画像２６２の位置およびサイズを、２次元バーコードの認識処理（撮影画像５００に対する画像認識処理）により求める。

また、ステップＳ３３において、携帯端末５０（バーコード情報取得部６４等）は、撮影画像５００内のバーコード画像２６２に包含される情報（図１０参照）を、撮影画像５００内のバーコード画像２６２から抽出して取得する。２次元バーコードの認識処理（解析処理）によって、当該バーコード画像２６２に埋め込まれていた情報が抽出されて取得される。

たとえば、各パーツ２１１，２１２，２４１，２３１，２３２，２６１，２６２（図１１も参照）の位置およびサイズに関する情報等（ラベル情報（名称情報）および最大文字数情報を含む）（図１０）が抽出されて取得される。

特に、バーコード画像２６２に包含される表示指令（具体的には、「ユーザインターフェイス（文字入力パーツ）」に関する指定情報（「キーボード」）等）も当該バーコード画像２６２から抽出される。なお、ユーザインターフェイスの指定情報がバーコード画像２６２内に存在する場合には、当該指定情報で指定されたユーザインターフェイス（ここでは「キーボード」）を表示すべき旨の表示指令が付与されているとみなすものとする。

また、文字入力欄２３１，２３２の操作画面２００における表示位置情報、およびボタン２１１，２１２，２４１の操作画面２００における表示位置情報等も取得される。

つぎに、ステップＳ３４においては、携帯端末５０（位置決定部６５等）は、撮影画像５００（５０１）におけるバーコード画像２６２の位置およびサイズを、２次元バーコードの認識処理（撮影画像５００に対する画像認識処理）（ステップＳ３２）の結果に基づいて取得する。撮影画像５００における各パーツの位置およびサイズに関する情報は、まず撮影画像５００の座標系で表現された位置情報として取得される。そして、携帯端末５０は、撮影画像５００（５０１）内でのバーコード画像２６２の位置およびサイズに関する情報（ステップＳ３３で取得された情報）を用いて、タッチパネル２５における座標系（ＸＹ座標系）と撮影画像５００の座標系（ｘｙ座標系）との間の座標変換処理を各種の位置に対して行う。なお、この座標変換処理結果は、後のステップＳ３６，Ｓ５６等にて用いられる。

ステップＳ３４においては、バーコード画像２６２の操作画面２００における位置およびサイズを示す情報（ここでは（Ｘ１，Ｙ１，Ｗ１，Ｈ１））とバーコード画像２６２の撮影画像５００内での位置およびサイズを示す情報（ここでは（ｘ１，ｙ１，ｗ１，ｈ１））とに基づき次のような座標変換処理が行われる。

ここでは、タッチパネル２５において或る大きさ（Ｗ１，Ｈ１）を有するバーコード画像２６２（図１１および図１２も参照）が、撮影画像５００（５０１）にて大きさ（ｗ１，ｈ１）を有する（図１４および図１５も参照）ことが、認識されるものとする。また、タッチパネル２５においては位置Ｐ１（Ｘ１，Ｙ１）に配置されているバーコード画像２６２（図１２も参照）に関して、当該バーコード画像２６２の撮影画像５００（５０１）における表示位置Ｐ１１（ｘ１，ｙ１）（図１５も参照）が認識されるものとする。

この場合、座標系相互間の各方向における変倍率（ｗ１／Ｗ１，ｈ１／Ｈ１）が変換係数（サイズ変換係数）として得られる。たとえば、（Ｗ１，Ｈ１）＝（１００，１００）、且つ、（ｗ１，ｈ１）＝（２００，１５０）である場合には、（２００／１００，１５０／１００）＝（２００％，１５０％）が各方向におけるサイズ変換係数として得られる。また、撮影画像５００においては、縦方向が横方向に対して７５％（＝１５０／２００＝（ｈ１／Ｈ１）／（ｗ１／Ｗ１））に圧縮されていることも判る。これは、携帯端末５０の撮像部５２の光軸がタッチパネル２５の法線に対して（平行ではなく）傾いていることに起因して、撮影画像５００においてはタッチパネル２５が縦方向に圧縮されて写っていることに対応する。

また、撮影画像５００における各パーツの位置（ｘ，ｙ）は、タッチパネル２５における各パーツの位置（Ｘ，Ｙ）等を用いて、式（１）のように表現される。なお、式（１）は、バーコード画像２６２の両座標系における各基準位置Ｐ１，Ｐ１１を各座標系の原点に移動させる平行移動と、上述のようなサイズ変換係数とを考慮することによって、導出される。

この式（１）を用いることによって、撮影画像５０１におけるバーコード画像２６２の位置（ｘ１，ｙ１）およびサイズ（ｗ１，ｈ１）の認識結果等に基づいて、他のパーツ２６１，２１１，２１２，２４１，２３１，２３２の撮影画像５００における各位置（ｘｉ，ｙｉ）および各サイズ（ｗｉ，ｈｉ）（ただし、ｉ＝２，３，...）が算出される（図１６参照）。換言すれば、式（１）に基づく座標変換処理を、各パーツ２６１，２１１，２１２，２４１，２３１，２３２の操作画面２００における各位置（Ｘｉ，Ｙｉ）および各サイズ（Ｗｉ，Ｈｉ）に関して行うことによって、撮影画像５００における各位置（ｘｉ，ｙｉ）および各サイズ（ｗｉ，ｈｉ）（ただし、ｉ＝２，３，...）が特定される。

図１６は、バーコード画像２６２を用いて取得された各パーツの撮影画像５００における位置情報等を示す図である。図１６においては、各パーツの撮影画像５００における位置およびサイズに関する情報が図１０と対比して示されている。図１６の最上段（「２次元バーコード」の欄）においては、バーコード画像２６２の撮影画像５０１における位置およびサイズに関する認識結果（ｘ１，ｙ１，ｗ１，ｈ１）がバーコード画像２６２の位置およびサイズに関する情報として示されている。一方、図１６の「２次元バーコード」の欄よりも下の段においては、各パーツの撮影画像５００（５０１）における位置およびサイズに関する算出結果（（ｘ２，ｙ２，ｗ２，ｈ２），（ｘ３，ｙ３，ｗ３，ｈ３）等）が示されている。

たとえば、タッチパネル２５において位置（Ｘ２，Ｙ２）に配置されていた文字入力パーツ表示枠２６１は、撮影画像５００においては、位置（ｘ２，ｙ２）に表示されていることが判る。すなわち、文字入力パーツ表示枠２６１の撮影画像５００における位置（ｘ２，ｙ２）が算出される。同様に、文字入力パーツ表示枠２６１の撮影画像５００におけるサイズ（ｗ２，ｈ２）も算出される。

また、タッチパネル２５において位置（Ｘ６，Ｙ６）に表示されていた文字入力欄２３１は、撮影画像５００においては、位置（ｘ６，ｙ６）に表示されていることが判る。すなわち、文字入力欄２３１の撮影画像５００における位置（ｘ６，ｙ６）が算出される。同様に、文字入力欄２３１の撮影画像５００におけるサイズ（ｗ６，ｈ６）も算出される。

また、同様に、文字入力欄２３２の撮影画像５００における位置およびサイズ（ｘ７，ｙ７，ｗ７，ｈ７）も算出される。さらに、他の要素２６１，２１１，２１２等の撮影画像における表示位置（ｘ，ｙ）およびサイズ（ｗ，ｈ）も、それぞれ、同様の座標変換処理によって取得される。

このように、撮影画像５００において複数のパーツのうちバーコード画像２６２のみの位置およびサイズを認識することによって、その他の各パーツ２６１，２１１，２１２，２４１，２３１，２３２の位置およびサイズの情報を取得することが可能である。バーコード画像２６２以外の各パーツの位置およびサイズは、バーコード画像２６２にコード化されて包含されていた情報（各パーツの操作画面２０２における位置およびサイズを示す情報）（図１０参照）に対して上述の座標変換処理を行うことによって算出（推測）される。換言すれば、バーコード画像２６２以外の各パーツの位置およびサイズは、当該各パーツに対する直接的な画像処理を経ることなく、取得される。

なお、この実施形態では、簡単化のため座標系間の回転要素については考慮していないが、回転要素についても考慮した上で座標系相互間の座標変換処理が行われるようにしてもよい。

また、ステップＳ３５においては、ＭＦＰ１０と携帯端末５０との間での通信リンクが確立される。具体的には、バーコード画像２６２から抽出された確認用ＩＤ（識別情報）を伴うリンク確立要求が携帯端末５０からＭＦＰ１０に送信される。

ＭＦＰ１０（通信制御部１１および許可部１６等）は、確認用ＩＤを伴うリンク確立要求を携帯端末５０から受信する（ステップＳ１６）と、当該携帯端末５０から受信した確認用ＩＤとバーコード画像２６２に埋め込んで発行していた確認用ＩＤ（図１０参照）との同一性を確認する。当該同一性が確認されると、ＭＦＰ１０（通信制御部１１および許可部１６等）は、携帯端末５０からのリンク確立要求を承認して携帯端末５０とのリンク確立を許可するとともに、リンク確立許可（情報）を携帯端末５０に返信する。携帯端末５０はＭＦＰ１０からのリンク確立許可（情報）を受信し、ＭＦＰ１０と携帯端末５０との間に通信リンクが確立される。

ここにおいて、ＭＦＰ１０（許可部１６等）は、バーコード画像２６２に埋め込まれた確認用ＩＤ（ＭＦＰ１０により予め発行された確認用ＩＤ）と撮影画像５００内のバーコード画像２６２から抽出された確認用ＩＤ（携帯端末５０から送信されてきた確認用ＩＤ）との同一性が確認されることを条件として、携帯端末５０との間で通信リンクを確立する。これによれば、バーコード画像２６２を撮影してＭＦＰ１０にログインしようとしている携帯端末５０（ＭＦＰ１０近傍に存在する携帯端末５０）が確実に特定され得る。

特に、複数の携帯端末５０がＭＦＰ１０の通信圏（たとえば半径１０ｍ（メートル）以内の通信可能領域）内に存在する場合であっても、バーコード画像２６２を撮影してＭＦＰ１０にログインしようとしている携帯端末５０が、当該複数の携帯端末５０の中から確実に特定され得る。

また、ＭＦＰ１０は、リモートログインを受け付けるごとに（あるいは所定時間ごとに）、異なる確認用ＩＤを発行することが好ましい。これによれば、その時点でバーコード画像２６２を実際に撮影してＭＦＰ１０にログインしようとしている携帯端末５０を一層確実に特定することが可能である。

次のステップＳ３６においては、元の撮影画像５００（５０１）（図１４参照）を部分的に変更した撮影画像５００（５０２）（図１７参照）がタッチパネル７５に表示される。具体的には、図１７に示すように、元の撮影画像５００（５０１）に対して、文字入力パーツ２７３（ここではキーボード（詳細にはソフトウエアキーボード））、スナップショットボタン２７１およびキャンセルボタン２７２が重畳されて表示される。図１７は、タッチパネル７５に表示される画面を示す図である。

なお、撮影画像５００に含まれる複数のパーツ２１１，２１２，２３１，２３２，２６１は、携帯端末５０によって描画されて表示されるのではなく、撮影画像５００（５０１）を利用してそのまま表示される。

詳細には、携帯端末５０は、撮影画像５００（５０１）内のバーコード画像２６２を画像処理により撮影画像５００から削除し、当該バーコード画像２６２に代えてキーボード（文字入力パーツ）２７３を表示する。キーボード２７３は、携帯端末５０の格納部５５に（遠隔操作用プログラムのインストール時等において）予め格納されている。キーボード２７３は、バーコード画像２６２に埋め込まれていた表示指令（文字入力パーツとして「キーボード」を表示すべき旨の表示指令）に基づき、格納部５５から抽出されて表示される。このキーボード２７３は、撮影画像５００における文字入力パーツ表示枠２６１内の適宜の位置に表示される。なお、文字入力パーツ表示枠２６１は、文字入力パーツ（キーボード）２７３の表示対象領域であるとも表現される。

より詳細には、ステップＳ３４での座標変換結果に基づき、その表示位置が決定された上で、指定された文字入力パーツ（ここでは「キーボード」（ソフトウエアキーボード））２７３が当該撮影画像５００に重畳されて表示される（図１７参照）。具体的には、文字入力パーツ表示枠２６１の撮影画像５００における位置およびサイズに関する情報に基づいて、文字入力パーツ２７３の撮影画像５００における表示位置等が決定される。より具体的には、撮影画像５００において文字入力パーツ表示枠２６１が表示されている領域（換言すれば、撮影画像５００の全領域と文字入力パーツ表示枠２６１の表示領域との積領域（ＡＮＤ領域））内に文字入力パーツ２７３が配置されるように、文字入力パーツ２７３の表示位置および表示サイズが決定される。より詳細には、当該文字入力パーツ２７３が当該ＡＮＤ領域において出来るだけ大きく表示されるように、その表示位置および表示サイズが決定される。そして、決定された表示位置および表示サイズに従って、文字入力パーツ２７３が配置される。

なお、撮影画像５００における文字入力パーツ表示枠２６１の位置およびサイズに関する情報としては、ステップＳ３４における座標変換処理によって取得された情報（具体的には、文字入力パーツ表示枠２６１の撮影画像５００における位置およびサイズ（ｘ２，ｙ２，ｗ２，ｈ２））が利用される。上記のステップＳ３４においては、バーコード画像２６２の撮影画像５００における位置およびサイズに関する情報とバーコード画像２６２の操作画面２００における位置およびサイズに関する情報とに基づく座標変換処理が行われている。そして、この座標変換処理によって、文字入力パーツ表示枠２６１（文字入力パーツ２７３の表示用領域）の操作画面２００における位置およびサイズに基づき、文字入力パーツ表示枠２６１（文字入力パーツ２７３の表示用領域）の撮影画像５００における位置およびサイズ（ｘ２，ｙ２，ｗ２，ｈ２）が特定されている。

ここでは、キーボード２７３として、図１９〜図２１に示すような３種類のキーボード２７３ａ，２７３ｂ，２７３ｃが選択的に利用されるものとする。キーボード２７３ａ，２７３ｂは、それぞれ、主にアルファベット文字キーで構成されるキーボードを示す画像である。キーボード２７３ｂは、メモリキー２８２ａ〜２８２ｄを有する点で、キーボード２７３ａと相違する。また、キーボード２７３ｃは、主に数字キーで構成されるキーボード（テンキー）を示す画像である。また、いずれのキーボード２７３ａ，２７３ｂ，２７３ｃにおいても、それぞれ、切換キー２８１、タブキー２８３、バックスペースキー２８４、エンターキー２８５が設けられている。これら３種類のキーボード２７３ａ，２７３ｂ，２７３ｃは、切換キー２８１の押下に応じて切り換えて表示される。なお、図１８では、タッチパネル７５においてキーボード２７３ｃが撮影画像５００に合成されて表示（重畳表示）されている様子が示されている。

また、携帯端末５０は、スナップショットボタン２７１およびキャンセルボタン２７２を撮影画像５００（５０２）内の適宜の位置（図１７および図１８では右下寄りの位置）において撮影画像５００に重畳して表示（合成表示）する。なお、このような撮影画像５００（５０２）は、ユーザからの文字入力を受け付ける画面であることから、文字入力画面であるとも表現される。

このようにして、ＭＦＰ１０のタッチパネル７５には、撮影画像５０１内のバーコード画像２６２に包含される表示指令に基づいて、文字入力パーツ２７３を撮影画像５０１に合成した文字入力画面５０２が表示される。

なお、静止画モード（後述）以外においては、このような撮影画像５００（５０２）は、所定の更新時間間隔Δｔ（たとえば１秒）で更新されて表示される。

次のステップＳ４１（図５）において、撮影画像５００内のキャンセルボタン２７２が押下された旨が判定される場合には、ステップＳ４４に進み、ＭＦＰ１０と携帯端末５０との通信接続（通信リンク）が解除（切断）される。一方、それ以外の場合には、ステップＳ４２に進む。

ステップＳ４２においては、各種のキー入力処理等が行われる。また、このステップＳ４２は、撮影画像の更新時間間隔Δｔ（たとえば１秒）ごとに繰り返し実行される。まず、ステップＳ５１（図６）においてタイマがリセットされて計時動作が開始される。

ステップＳ５２において、切換キー２８１の入力が受け付けられたと判定されると、キーボード種類の切換処理が行われる（ステップＳ５３）。切換キー２８１が押下されるごとに、図１９、図２０、図２１の各キーボードが順次に切り換えて表示される。具体的には、キーボード２７３ａ（図１９）が表示されている状態において切換キー２８１が押下されると、キーボード２７３ｂ（図２０）が表示される。また、キーボード２７３ｂが表示されている状態において切換キー２８１が押下されると、キーボード２７３ｃ（図２１）が表示される。さらに、キーボード２７３ｃが表示されている状態において切換キー２８１が押下されると、キーボード２７３ａが表示される。

また、タブキー２８３の入力が受け付けられたと判定される（ステップＳ５４）と、文字入力欄（テキスト入力ボックス）の切換処理が行われる（ステップＳ５５）。タブキー２８３が押下されるごとに、入力対象の文字入力欄が、複数の文字入力欄２３１，２３２の間で順次に切り換えられる。

また、バックスペースキー２８４の入力が受け付けられたと判定される（ステップＳ５６，Ｓ６１，Ｓ６２（図７））と、入力対象の文字入力欄（テキスト入力ボックス）（２３１あるいは２３２）の後端の１文字が削除される（ステップＳ６４）。

また、メモリキー２８２（２８２ａ〜２８２ｄ）の入力が受け付けられたと判定される（ステップＳ６３）と、押下されたメモリキーに対応付けられた文字列が、入力対象の文字入力欄に追加表示される（ステップＳ６５）。たとえば、メモリキー２８２ａが押下されると、当該メモリキー２８２ａに登録された登録内容（「Ａ１２３４５」（ログインＩＤ））が入力対象の文字入力欄に追加表示される。メモリキー２８２を利用することによれば、登録された複数の文字を一度に入力することが可能であり、文字入力の手間を軽減することが可能である。また、ログインＩＤをメモリキー２８２に登録しておくことによれば、ログインＩＤの誤入力を防止することも可能である。

また、その他の文字キーの入力が受け付けられたと判定されると、押下された文字キーに対応する文字（すなわち入力された文字）が、入力対象の文字入力欄に追加表示される（ステップＳ６６）。たとえば、文字「Ａ」のキーが押下されると、文字「Ａ」が入力対象の文字入力欄（２３１等）に追加表示される。また、文字「１」のキーが押下されると、文字「１」が入力対象の文字入力欄（２３１等）に追加表示される。このように、文字入力欄２３１，２３２は、文字入力パーツ２７３による入力文字の入力欄（表示欄）として機能する。

ここにおいて、入力された各文字の撮影画像５００における表示位置等は、次のようにして決定される。具体的には、ステップＳ３１〜Ｓ３３にて取得された情報（詳細には、バーコード画像２６２に包含される、文字入力欄（２３１等）の表示位置情報）に関して上述のような座標変換処理（ステップＳ３４および式（１）参照）を行うことによって、文字入力欄（２３１等）の撮影画像５００における位置（対応位置）およびサイズが特定される。そして、携帯端末５０のタッチパネル７５は、文字入力欄（２３１等）の当該対応位置の情報等に基づいて、文字入力パーツ２７３による入力文字を、撮影画像５００の文字入力欄（撮影画像５００において被写体として存在する文字入力欄）（２３１等）に合成して表示（重畳表示）する。この際には、入力された各文字が当該文字入力欄（２３１等）内にて何文字目であるか等をも考慮して、当該各文字の表示位置等が決定される。これにより、たとえば、ユーザＩＤに関する入力文字列「Ａ１２３４５」が、文字入力欄２３１に表示される。

また、エンターキー２８５の入力が受け付けられたと判定される（ステップＳ５７（図６））場合には、ステップＳ５９に進む。ステップＳ５９においては、全ての文字入力欄２３１，２３２に表示されている情報（換言すれば、携帯端末５０にて受け付けられた入力情報（入力文字列を示す文字コード群等の文字入力内容））がＭＦＰ１０に送信される（ステップＳ５９）。たとえば、文字入力欄２３１に入力されているログインＩＤ（「Ａ１２３４５」）と文字入力欄２３２に入力されているパスワード（「９８７６」）とが携帯端末５０からＭＦＰ１０に送信される。この場合、ステップＳ４３にてキー入力が完了した旨が判定され、ステップＳ５０に進む。ステップＳ５０においては、ログイン後の各種の操作画面を用いた遠隔操作処理が行われる。ステップＳ５０での処理が終了した後、ステップＳ４４において、ＭＦＰ１０と携帯端末５０との通信接続（通信リンク）が解除（切断）される。

また、エンターキー２８５の入力が未だ受け付けられていないと判定される場合には、ステップＳ５４に進む。

ステップＳ５４において、前回の撮影時刻から時間間隔Δｔが未だ経過していないと判定される場合には、再びステップＳ５２に戻って、キー入力受付動作が継続される。

一方、ステップＳ５４において、前回の撮影時刻から時間間隔Δｔが経過した旨がタイマ計時結果に基づき判定される（ステップＳ５８）場合には、ステップＳ４２を終了し、ステップＳ４３，Ｓ４５を経て、ステップＳ３１に復帰する。そして、ステップＳ３１以降の処理が再び実行される。このようにして、所定の時間間隔Δｔごとに撮影画像が更新される。なお、ステップＳ３６においては、文字入力欄２３１，２３２への入力済み情報は引き続き重畳表示される。

このように、タッチパネル７５においては、撮影画像が所定時間間隔Δｔで更新され、タッチパネル７５は、所定時間間隔Δｔで更新される撮影画像を順次に表示する。端的に言えば、キーボードを重畳した当該撮影画像が動画的態様で表示される。

また、この実施形態では、キー入力受付中におけるスナップショットボタン２７１の押下に応じて、携帯端末５０における表示モードとして、静止画モードと動画モードとを切り換えることが可能である。スナップショットボタン２７１が押下されるごとに、静止画モードおよび動画モードが交互に選択される。初期状態では、動画モードが選択されており、その後、スナップショットボタン２７１が押下されると、静止画モードに移行する。

ステップＳ４５にて静止画モードへの移行指示が付与された旨が判定される場合（換言すれば、ユーザからの撮影画像更新中止指示が受け付けられる場合）には、撮影画像の更新を中止して、（ステップＳ３１ではなく）ステップＳ４６（次述）に進む。さらに、当該ステップＳ４６の後にステップＳ４１に進み、携帯端末５０は、更新されずに引き続き静止画として表示される撮影画像（文字入力パーツ２７３が合成された撮影画像）５０２において、文字入力パーツ２７３による文字入力を受け付ける。換言すれば、静止画的態様で表示される撮影画像５００（５０２）に文字入力パーツ２７３が合成して表示されるとともに、当該文字入力パーツ２７３によって文字入力が受け付けられる。

ステップＳ４６では、携帯端末５０における撮影画像５００の表示の向きが必要に応じて変更される。具体的には、携帯端末５０（表示制御部６３等）は、更新中止指示の受付時点（換言すれば、最後の撮影画像５００（静止画として表示されている撮影画像５００）の撮影時点）での携帯端末５０の向きと現時点での携帯端末５０の向きとが異なる場合に、タッチパネル７５における撮影画像５００の表示の向きを変更する。本願においては、携帯端末５０の「向き」は、「縦向き」（略矩形状のタッチパネル７５の長辺が縦方向に伸びる向き）と「横向き」（略矩形状のタッチパネル７５の長辺が横方向に伸びる向き）とのいずれかで表現されるものとする。

最後の撮影画像５００の撮影時点での携帯端末５０の向きは、当該撮影時点（換言すれば、更新中止指示の受付時点）において傾き検出部５７（図３）によって検出されて格納部５５に格納されている。また、現時点での携帯端末５０の向きも傾き検出部５７（図３）によって検出される。そして、たとえば、最後の撮影画像５００の撮影時点での携帯端末５０の向きが「縦」向き（上向き）であり且つ現時点での携帯端末５０の向きが「横」（左向き）である場合には、携帯端末５０は、撮影画像５００（５０２）の向きを時計回りに９０度回転させた状態で（撮影画像５００が上向きになるように）当該撮影画像５００（５０２）を表示する。これにより、撮影画像が静止画像として表示される際に、現時点での携帯端末５０の向きに応じて撮影画像５００の表示の向きを適切に変更することが可能である。

以上のような動作においては、文字入力パーツの表示指令をそのコード情報として有する２次元バーコード画像２６２がＭＦＰ１０にて生成され、当該バーコード画像２６２を含む操作画面２００がＭＦＰ１０のタッチパネル２５に表示される。そして、携帯端末５０は、タッチパネル２５の操作画面２００を撮像した撮影画像５００を生成し、撮影画像５００内のバーコード画像２６２に包含される表示指令に基づいて、文字入力パーツ（キーボード）２７３を撮影画像５００に合成してタッチパネル７５にて表示（重畳表示）する。したがって、ユーザは、携帯端末５０のタッチパネル７５に表示された文字入力パーツ２７３を用いて文字入力を行うことが可能である。換言すれば、ＭＦＰ１０のタッチパネル２５に表示された操作画面２００を用いずに文字入力を行うことが可能である。そのため、文字入力処理における入力内容（文字入力内容）を他ユーザによって覗き見られる可能性を抑制することが可能である。特に、ユーザは、携帯端末５０を当該ユーザの手元に引き寄せることが可能であるので、入力内容を他ユーザによって覗き見られる可能性をより確実に抑制することが可能である。また特に、静止画モード（より詳細には静止画像撮影後）においては、ユーザは、携帯端末５０とＭＦＰ１０との位置関係に配慮することなく、携帯端末５０を更に近くにまで（たとえば当該ユーザの目の前にまで）引き寄せることが可能である。そのため、入力内容を他ユーザによって覗き見られる可能性をさらに抑制することが可能である。

また、（ＭＦＰ１０のタッチパネル２５に表示された）操作画面２００の撮影画像５００を利用した文字入力画面が携帯端末５０に表示されるので、文字入力画面を携帯端末５０で表示するために操作画面２００の画像データが携帯端末５０に送信されることを要しない。したがって、画像データの送受信に伴う操作性の低下を回避することも可能である。

また、上述のような座標変換処理（ステップＳ３４参照）を行うことによって、文字入力パーツ（キーボード）２７３の表示対象領域である文字入力パーツ表示枠２６１の位置およびサイズが特定され、文字入力パーツ２７３の表示位置および表示サイズが決定される。したがって、文字入力パーツ２７３が撮影画像５００内の適切な位置に適切なサイズで表示され得る。

また、バーコード画像２６２は、文字入力欄２３１，２３２の操作画面２００内における表示位置情報を有しており、携帯端末５０の位置決定部６５は、バーコード画像２６２に包含される当該表示位置情報に関する座標変換処理を行うことによって、文字入力欄２３１，２３２の撮影画像５００における対応位置をそれぞれ特定する。そして、携帯端末５０のタッチパネル７５は、文字入力パーツ２７３を用いて入力される文字を、当該対応位置にそれぞれ表示する。したがって、文字入力パーツ２７３を用いて入力される文字が、撮影画像５００にて被写体として表示されている文字入力欄２３１（，２３２）の位置に、適切に表示され得る。

特に、撮影画像５００でのバーコード画像２６２の位置等の認識は他の要素の位置等の認識よりも容易であり、当該バーコード画像２６２の認識位置等を利用することによって、撮影画像５００での各パーツの位置を比較的簡易に特定することが可能である。

また特に、式（１）に示すように縦横比等を考慮することによれば、タッチパネル２５の傾きと携帯端末５０の傾きとが同一でないこと（端的に言えば、タッチパネル２５と携帯端末５０とが平行でないこと）に起因する撮影画像における縦横比の歪みを考慮した上で、キーボード２７３の表示位置および文字入力欄２３１，２３２の表示位置等を良好に補正することが可能である。

また、ＭＦＰ１０の表示制御部１３は、高セキュリティモードにおいて、通常モードでは表示されていたソフトウエアキーボード（文字入力パーツ）２５１を表示せず、当該ソフトウエアキーボード２５１に代えてバーコード画像２６２を表示する。これによれば、ソフトウエアキーボード２５１による文字入力が行われ得ないので、ソフトウエアキーボード２５１による入力内容を他ユーザによって覗き見られることを回避することが可能である。したがって、文字入力処理（ユーザ認証情報入力処理）における入力内容を他ユーザによって覗き見られる可能性をさらに抑制することが可能である。

また、携帯端末５０のタッチパネル７５は、高セキュリティモードにて撮像部５２によって生成された撮影画像５００内のバーコード画像２６２を当該撮影画像５００から削除し、バーコード画像２６２に代えて文字入力パーツ２７３を表示するので、バーコード画像２６２によって文字入力パーツ２７３が見難くなることを防止することが可能である。

＜２．変形例等＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。

たとえば、上記実施形態においては、キーボード２７３が遠隔操作用プログラムのインストール時等に携帯端末５０の格納部５５に予め格納されている態様（換言すれば、キーボード２７３が遠隔操作用プログラムに内蔵されている態様）が例示されているが、本発明はこれに限定されない。携帯端末５０において遠隔操作用プログラムとは別にインストールされているインプットメソッドエディタ（ＩＭＥ：Input Method Editor）（単にＩＭＥとも称する）のキーボード等が上記のキーボード２７３として呼び出されて利用されても良い。

また、上記実施形態においては、文字入力パーツ２７３として主にキーボードが例示されているが、これに限定されず、手書き文字入力パッドなどが文字入力パーツ２７３として用いられてもよい。

また、上記実施形態においては、ステップＳ３６において、キーボード２７３のみを撮影画像に重畳して表示する態様が例示されている。しかしながら、本発明はこれに限定されず、たとえば、ステップＳ３６において、キーボード２７３に加えて、ボタン２１１，２１２のラベル文字をも撮影画像に重畳表示するようにしてもよい。

具体的には、上述のように、操作画面２００は、情報名称表示欄（ボタン）２１１，２１２を有している。また、バーコード画像２６２は、これらのボタン２１１，２１２の名称情報（情報種別名称（「UserID」「Password」）の情報）および情報名称表示欄の表示位置情報（（Ｘ３，Ｙ３），（Ｘ４，Ｙ４））をさらに有している。ステップＳ３３においては、これらの表示位置情報等もバーコード画像２６２から抽出されて取得される。また、ステップＳ３４において、携帯端末５０の位置決定部６５は、各情報名称表示欄２１１，２１２の操作画面２００における表示位置情報（バーコード画像２６２から抽出された情報）に関して上述の座標変換処理（式（１）による座標変換結果）を行うことによって、各情報名称表示欄２１１，２１２の撮影画像５００における対応位置をもそれぞれ特定する。

そして、ステップＳ３６において、携帯端末５０のタッチパネル７５は、名称情報（バーコード画像２６２から抽出された情報）に関する文字列（名称）を、ステップＳ３４にて特定された各対応位置に重畳表示（合成表示）する。

ここにおいて、重畳表示される各文字の撮影画像５００における表示位置等は、次のようにして決定される。具体的には、ステップＳ３１〜Ｓ３３にて取得された情報（詳細には、バーコード画像２６２に包含される、情報名称表示欄（２１１等）の表示位置情報）に関して上述のような座標変換処理（ステップＳ３４および式（１）参照）を行うことによって、情報名称表示欄（２１１等）の撮影画像５００における位置（対応位置）およびサイズが特定される。そして、携帯端末５０のタッチパネル７５は、バーコード画像２６２から抽出された（情報名称表示欄の）名称情報に関する文字（文字列）を、情報名称表示欄（２１１等）の当該対応位置の情報等に基づいて、撮影画像５００の情報名称表示欄（撮影画像５００において被写体として存在する情報名称表示欄）（２１１等）に対して重畳して表示（合成表示）する。たとえば、文字入力欄２３１の情報種別名称を示す文字列「UserID」が、撮影画像５００の情報名称表示欄２１１に重畳表示される。

これによれば、撮影画像５００において名称情報に関する文字（文字列）が文字画像として描画されるので、当該文字（文字列）が鮮明に表示される。また、バーコード画像２６２の位置等の認識結果を利用した上述のような座標変換処理（ステップＳ３４参照）に基づき、情報名称表示欄２１１，２１２の位置およびサイズが比較的容易に特定されるので、情報名称表示欄２１１，２１２が撮影画像５００内の適切な位置に比較的容易に表示され得る。

なお、撮影画像５００の情報名称表示欄（２１１等）に重畳表示される文字（換言すれば、文字を示す画像（文字画像））は、非透過背景を有する文字（文字画像）として表示されることが好ましい。これによれば、重畳表示される文字画像と撮影画像５００に元来含まれている文字（被写体としての文字）との重複により文字が見難くなることを回避することが可能である。

また、情報名称表示欄（２１１等）に重畳表示される文字（文字列）としては、たとえば、バーコード画像２６２に埋め込まれていたラベル文字列（名称情報）（たとえば「UserID」）がそのまま用いられればよい。

あるいは、バーコード画像２６２に「情報名称表示欄の名称情報」として埋め込まれていた名称（文字列）（たとえば「UserID」）を別言語（例えば、ドイツ語、フランス語等）に翻訳した翻訳結果である変換後の名称が、撮影画像（文字入力画面）５００における情報名称表示欄（２１１等）に重畳表示されるようにしてもよい。これによれば、様々な言語に応じた文字入力画面を、ＭＦＰ１０（タッチパネル２５）での表示内容を変更することなく携帯端末５０にて容易に表示することが可能である。

また、上記実施形態においては、高セキュリティを要する操作画面として、ログイン画面（認証情報の入力画面）を主に例示したがこれに限定されない。たとえば、住所録（アドレス情報）の登録画面（宛先登録画面等）および／またはファクシミリ送信の宛先情報の指定画面等が、高セキュリティを要する操作画面として用いられる場合に、上記の思想が適用されるようにしてもよい。

また、上記実施形態においては、バーコード画像２６２が撮影画像５００から削除される態様が例示されているが、これに限定されず、バーコード画像２６２が撮影画像５００から削除されずにそのまま表示されるようにしてもよい。ただし、キーボード２７３の表示対象領域にバーコード画像２６２が表示される場合には、キーボード２７３の視認性を確保する観点からは、バーコード画像２６２は撮影画像５００から削除されることが好ましい。

また、上記実施形態においては、タッチパネル２５の操作画面２００において単一のバーコード画像が表示されているが、これに限定されず、タッチパネル２５の操作画面２００において複数のバーコード画像が表示されるようにしてもよい。

図２２は、このような変形例を示す図である。図２２に示す操作画面２００（２０３）においては、文字入力パーツ表示枠２６１内に２つのバーコード画像２６２（２６２ａ，２６２ｂ）が表示されている。各バーコード画像２６２ａ，２６２ｂには、バーコード画像ごとに異なるバーコード画像の位置（およびサイズ）の情報が、それぞれのコード情報（各バーコード画像のコード情報）として包含されている。

携帯端末５０は、このような操作画面２００を撮影した撮影画像５００をタッチパネル７５に表示する。

そして、たとえば図２２における右側のバーコード画像２６２ｂを含むタッチパネル２５（操作画面２００）を携帯端末５０が撮影し、その撮影画像（バーコード画像２６２ｂを含む撮影画像）５００（５０３）が生成される。この場合、バーコード画像２６２ｂに含まれる当該バーコード画像２６２ｂ自身の位置およびサイズに関する情報に基づき、上記実施形態と同様の座標変換処理等が実行される。そして、図２３に示すように、文字入力パーツ（キーボード画像）２７３が、撮影画像５００（５０４）の文字入力パーツ表示枠２６１の内部に収まるように表示される。その後、この文字入力パーツ２７３を利用して携帯端末５０による文字入力操作が行われる。また、入力された文字列（たとえば、「Ａ１２３４５」）は、図２３に示すように、撮影画像５００における文字入力欄２３１の位置に重畳表示される。

あるいは、図２２における左側のバーコード画像２６２ａを含むタッチパネル２５（操作画面２００）を携帯端末５０が撮影し、その撮影画像（バーコード画像２６２ａを含む撮影画像）５００が生成される。この場合、バーコード画像２６２ａに含まれる当該バーコード画像２６２ａ自身の位置およびサイズに関する情報に基づき、上記実施形態と同様の座標変換処理等が実行され、文字入力パーツ（キーボード画像）２７３が、撮影画像５００の文字入力パーツ表示枠２６１の内部に収まるように表示される。その後、この文字入力パーツ２７３を利用して携帯端末５０による文字入力操作が行われる。

あるいは、図２２における２つバーコード画像２６２ａ、２６２ｂの双方を含む撮影画像５００が生成されてもよい。なお、この場合には、たとえば、２つのバーコード画像２６２ａ，２６２ｂをそれぞれ用いた２つの座標変換処理結果を平均化することによって、各位置の座標変換処理が行われればよい。具体的には、バーコード画像２６２ａに埋め込まれた当該バーコード画像２６２ａ自身の位置およびサイズに関する情報に基づく座標変換処理結果と、バーコード画像２６２ｂに埋め込まれた当該バーコード画像２６２ｂ自身の位置およびサイズに関する情報に基づく座標変換処理結果との平均化処理を行うことによって、各位置の座標変換処理が行われればよい。

１ 画像形成システム
１０ ＭＦＰ（画像形成装置）
２５ （ＭＦＰの）タッチパネル
５０ 携帯端末
７５ （携帯端末の）タッチパネル
２００ ログイン画面
２１１，２１２ 情報名称表示欄
２３１，２３２ 文字入力欄
２５１ ソフトウエアキーボード
２６１ 文字入力パーツ表示枠
２６２ ２次元バーコード画像（コード画像）
２７１ スナップショットボタン
２７３ キーボード（文字入力パーツ）
５００ 撮影画像

Claims (16)

1. 画像形成システムであって、
   画像形成装置と、
   文字入力画面を表示してユーザからの文字入力を受け付ける携帯端末と、
   を備え、
   前記画像形成装置は、
   前記文字入力画面にて文字入力パーツを表示すべき旨の表示指令をそのコード情報として有するコード画像を生成する生成手段と、
   前記コード画像を含む操作画面を表示する表示手段と、
   を有し、
   前記携帯端末は、
   前記画像形成装置の前記操作画面を撮像した撮影画像を生成する撮像手段と、
   前記撮影画像に含まれる前記コード画像から、前記文字入力パーツの表示指令を抽出する抽出手段と、
   前記表示指令に基づいて、前記文字入力パーツを前記撮影画像に合成した画面を前記文字入力画面として表示するユーザインターフェイス手段と、
   前記文字入力画面において入力された文字入力内容を、前記画像形成装置に送信する通信手段と、
   を有することを特徴とする画像形成システム。
2. 請求項１に記載の画像形成システムにおいて、
   前記コード画像は、
   前記コード画像の前記操作画面における位置およびサイズに関する情報と、
   前記文字入力パーツの表示用領域の前記操作画面における位置およびサイズに関する情報と、
   を有しており、
   前記携帯端末は、
   前記コード画像の前記撮影画像における位置およびサイズに関する情報である第１の情報を前記撮影画像に関する画像認識処理によって取得するとともに、前記コード画像の前記操作画面における位置およびサイズに関する情報である第２の情報と前記文字入力パーツの表示用領域の前記操作画面における位置およびサイズに関する情報である第３の情報とを前記コード画像の解析処理によって取得する取得手段と、
   前記第１の情報と前記第２の情報とに基づく座標変換処理を前記第３の情報に関して行うことによって、前記文字入力パーツの表示用領域の前記撮影画像における対応位置を特定し、当該対応位置に基づいて前記文字入力パーツの前記撮影画像における表示位置を決定する決定手段と、
   をさらに有し、
   前記携帯端末の前記ユーザインターフェイス手段は、前記決定手段によって決定された前記表示位置に前記文字入力パーツを表示することを特徴とする画像形成システム。
3. 請求項２に記載の画像形成システムにおいて、
   前記コード画像は、前記文字入力パーツによる入力文字の入力欄である文字入力欄の前記操作画面における表示位置情報をも有しており、
   前記携帯端末の前記取得手段は、前記コード画像の解析処理によって、前記文字入力欄の前記操作画面における表示位置情報を取得し、
   前記携帯端末の前記決定手段は、取得された前記表示位置情報に関して前記座標変換処理を行うことによって、前記文字入力欄の前記撮影画像における対応位置を特定し、
   前記携帯端末の前記ユーザインターフェイス手段は、前記文字入力欄の当該対応位置の情報に基づいて、前記文字入力パーツによる入力文字を前記撮影画像の文字入力欄に合成して表示することを特徴とする画像形成システム。
4. 請求項２または請求項３に記載の画像形成システムにおいて、
   前記コード画像には、リンク先に関する確認用ＩＤである第１の識別情報が埋め込まれており、
   前記携帯端末の前記取得手段は、前記撮影画像内の前記コード画像を解析して前記コード画像から確認用ＩＤを抽出し、
   前記携帯端末の前記通信手段は、前記コード画像から抽出された確認用ＩＤを伴うリンク確立要求を前記画像処理装置に送信し、
   前記画像処理装置は、
   前記携帯端末から受信した確認用ＩＤである第２の識別情報と、前記コード画像に予め埋め込まれていた前記第１の識別情報との同一性が確認されることを条件として、前記画像処理装置と前記携帯端末との通信リンクの確立を許可する許可手段、
   をさらに有することを特徴とする画像形成システム。
5. 請求項２ないし請求項４のいずれかに記載の画像形成システムにおいて、
   前記操作画面は、前記文字入力欄に入力されるべき情報の種別名称を示す情報名称表示欄を有しており、
   前記コード画像は、前記種別名称の名称情報と前記情報名称表示欄の前記操作画面における表示位置情報とをさらに有しており、
   前記携帯端末の前記取得手段は、前記コード画像の解析処理によって、前記種別名称の名称情報と前記情報名称表示欄の前記操作画面における表示位置情報とを取得し、
   前記携帯端末の前記決定手段は、前記情報名称表示欄の前記表示位置情報に関して前記座標変換処理を行うことにより、前記情報名称表示欄の前記撮影画像における対応位置を特定し、
   前記携帯端末の前記ユーザインターフェイス手段は、前記情報名称表示欄の前記撮影画像における前記対応位置に、前記名称情報に関する文字列を表示することを特徴とする画像形成システム。
6. 請求項５に記載の画像形成システムにおいて、
   前記携帯端末の前記ユーザインターフェイス手段は、前記コード画像に前記名称情報として含まれていた文字列を前記情報名称表示欄に重畳表示することを特徴とする画像形成システム。
7. 請求項５に記載の画像形成システムにおいて、
   前記携帯端末の前記ユーザインターフェイス手段は、前記名称情報に含まれている名称を別言語に翻訳した翻訳結果である変換後の名称を、前記情報名称表示欄に重畳表示することを特徴とする画像形成システム。
8. 請求項１ないし請求項７のいずれかに記載の画像形成システムにおいて、
   前記画像形成装置は、第１のモードと前記第１のモードよりも高いセキュリティを確保する第２のモードとを含む複数のモードを有しており、
   前記画像形成装置の前記表示手段は、前記第２のモードにおいて、前記第１のモードでは表示されていた第１の文字入力パーツを前記操作画面に表示せず、前記第１の文字入力パーツに代えて前記コード画像を前記操作画面に表示することを特徴とする画像形成システム。
9. 請求項８に記載の画像形成システムにおいて、
   前記携帯端末の前記ユーザインターフェイス手段は、前記第２のモードにて前記撮像手段によって生成された前記撮影画像内の前記コード画像を前記撮影画像から削除し、前記文字入力パーツである第２の文字入力パーツを前記コード画像に代えて表示することを特徴とする画像形成システム。
10. 請求項１ないし請求項９のいずれかに記載の画像形成システムにおいて、
    前記携帯端末の前記撮像手段は、前記撮影画像を所定時間間隔で更新し、
    前記携帯端末の前記ユーザインターフェイス手段は、前記所定時間間隔で更新される前記撮影画像を順次に表示することを特徴とする画像形成システム。
11. 請求項１０に記載の画像形成システムにおいて、
    前記携帯端末の前記ユーザインターフェイス手段は、ユーザからの更新中止指示が受け付けられる場合には、前記撮影画像の更新を中止して、静止画的態様で表示される前記撮影画像に前記文字入力パーツを合成して表示するとともに前記文字入力パーツによる文字入力を受け付けることを特徴とする画像形成システム。
12. 請求項１１に記載の画像形成システムにおいて、
    前記携帯端末の前記ユーザインターフェイス手段は、前記更新中止指示の受付時点での前記携帯端末の向きと現時点での前記携帯端末の向きとが異なる場合に、前記ユーザインターフェイス手段における前記撮影画像の表示の向きを変更することを特徴とする画像形成システム。
13. 携帯端末と通信可能な画像形成装置であって、
    前記携帯端末に表示される文字入力画面にて文字入力パーツを表示すべき旨の表示指令を、そのコード情報として有するコード画像を生成する生成手段と、
    前記コード画像を含む操作画面を表示する表示手段と、
    前記携帯端末により前記操作画面を撮影した撮影画像を利用し前記携帯端末に表示される前記文字入力画面において入力された文字入力内容を、前記携帯端末から受信する通信手段と、
    を備えることを特徴とする画像形成装置。
14. 携帯端末と通信可能な画像形成装置に内蔵されたコンピュータに、
    ａ）前記携帯端末に表示される文字入力画面にて文字入力パーツを表示すべき旨の表示指令を、そのコード情報として有するコード画像を生成するステップと、
    ｂ）前記コード画像を含む操作画面を表示するステップと、
    ｃ）前記携帯端末により前記操作画面を撮影した撮影画像を利用し前記携帯端末に表示される前記文字入力画面において入力された文字入力内容を、前記携帯端末から受信するステップと、
    を実行させるためのプログラム。
15. 画像形成装置と通信可能な携帯端末であって、
    前記画像形成装置に表示された操作画面を撮像し撮影画像を生成する撮像手段と、
    前記撮影画像に含まれるコード画像から、文字入力パーツの表示指令を抽出する抽出手段と、
    前記表示指令に基づいて、前記文字入力パーツを前記撮影画像に合成した画面を文字入力画面として表示するユーザインターフェイス手段と、
    前記文字入力画面において入力された文字入力内容を、前記画像形成装置に送信する通信手段と、
    を備えることを特徴とする携帯端末。
16. 画像形成装置と通信可能な携帯端末に内蔵されたコンピュータに、
    ａ）前記画像形成装置に表示された操作画面を撮像し撮影画像を生成するステップと、
    ｂ）前記撮影画像に含まれるコード画像から、文字入力パーツの表示指令を抽出するステップと、
    ｃ）前記表示指令に基づいて、前記文字入力パーツを前記撮影画像に合成した画面を文字入力画面として表示するステップと、
    ｄ）前記文字入力画面において入力された文字入力内容を、前記画像形成装置に送信するステップと、
    を実行させるためのプログラム。

Images