JP2016099912A - Character input system, character input method, portable terminal device and character input program - Google Patents
Character input system, character input method, portable terminal device and character input program Download PDFInfo
- Publication number
- JP2016099912A JP2016099912A JP2014238421A JP2014238421A JP2016099912A JP 2016099912 A JP2016099912 A JP 2016099912A JP 2014238421 A JP2014238421 A JP 2014238421A JP 2014238421 A JP2014238421 A JP 2014238421A JP 2016099912 A JP2016099912 A JP 2016099912A
- Authority
- JP
- Japan
- Prior art keywords
- character input
- screen
- image processing
- displayed
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
この発明は、プリンタ機能、ファクシミリ機能、スキャン機能等の機能を備えた多機能デジタル画像処理装置であるMFP(Multi Function Peripherals)等の画像処理装置と、スマートフォンやタブレット端末等の携帯端末装置とを備えた文字入力システム、同システムで実行される文字入方法、携帯端末装置及び文字入力プログラムに関する。 The present invention provides an image processing apparatus such as an MFP (Multi Function Peripherals) that is a multifunction digital image processing apparatus having functions such as a printer function, a facsimile function, and a scan function, and a portable terminal device such as a smartphone or a tablet terminal. The present invention relates to a character input system provided, a character input method executed by the system, a portable terminal device, and a character input program.
上述したようなMFP等の画像処理装置として、タッチパネルを備えた表示部に文字入力エリアを有する画面を表示し、ユーザーが文字入力エリアに文字列を入力して実行キーを押すことにより、所定の処理が実行されるものが知られている。例えば、装置の使用時にユーザー名やパスワードの入力画面にユーザー名等の文字を入力してログインする場合や、文字列を入力して検索する場合などである。 As an image processing apparatus such as an MFP as described above, a screen having a character input area is displayed on a display unit equipped with a touch panel, and a user inputs a character string in the character input area and presses an execution key, thereby What is executed is known. For example, when using the apparatus, a user name or password may be entered on the user name or password input screen to log in, or a character string may be entered to search.
このような文字入力エリアへの文字入力は、従来では、次のような方法で行われていた。 Conventionally, character input to such a character input area has been performed by the following method.
即ち、図14に示すように、画像処理装置1の操作パネル130に設けられた表示部131に、図15に示すように、文字入力エリア131a及び文字入力ツールであるキーボード131bを有する文字入力画面D105を表示し、このキーボード131bの文字キーを押下(タッチ)することにより、文字入力エリア131aに文字を入力していた。
That is, as shown in FIG. 14, a character input screen having a
しかし、この方法では、表示されたキーボード131bがユーザーが使い慣れた文字入力ツールとは異なり、画像処理装置1のメーカー独自の文字入力ツールであることから、使い勝手がよくないという問題がある。
However, this method has a problem that it is not easy to use because the displayed
そこで、装置固有の文字入力ツールを使用しなくてもよい文字入力方法として、ユーザーが普段使用しているスマートフォンやタブレット端末等の携帯端末装置上で文字入力を行うことで、画像処理装置1の文字入力エリア131aに文字を入力する技術が知られている。
Therefore, as a character input method that does not require the use of a device-specific character input tool, character input is performed on a mobile terminal device such as a smartphone or a tablet terminal that a user normally uses, so that the image processing device 1 A technique for inputting characters into the
より詳細に説明すると、図5(A)の右図に示すように、画像処理装置1の表示部131に初期画面D101を表示させた状態で、同図(B)の左図に示すように、携帯端末装置2のタッチパネルの画面D201上の連携ボタンを操作すると、携帯端末装置2と画像処理装置1とが無線接続され、同図(C)の左図に示すように、画像処理装置1に表示されていた初期画面D101がリモート画面D202として携帯端末装置2に表示される。なお、携帯端末装置2及び画像処理装置1には、相互に連係して動作を行う連携アプリケーションがそれぞれ予めインストールされている。
More specifically, as shown in the right diagram of FIG. 5A, the initial screen D101 is displayed on the
携帯端末装置2にリモート画面として表示された画像処理装置1の初期画面D202を、ユーザーがタッチ操作すると、タッチ操作情報が画像処理装置1に送信され、画像処理装置はタッチ操作情報を解析して対応する更新画面のデータを携帯端末装置2に送信し、携帯端末装置2はこのデータに基づいてリモート画面を更新する。
When the user touches the initial screen D202 of the
こうして、携帯端末装置2にリモート画面として表示される画像処理装置側の操作画面の表示と、ユーザーによるリモート画面のタッチ操作を繰り返すことにより、画像処理装置側の文字入力エリア131aとキーボード131bを有する文字入力画面の画面データが携帯端末装置2に送信されると、図5(D)の左図に示すように、携帯端末装置2はその画面に重ねて、ユーザーが使い慣れた携帯端末装置用の文字入力補助ソフトウェア(IME:Input Method Editor)に基づく文字入力ツール205aを合成し、文字入力画面D203として表示する。なお、図5(D)においてハッチングを施した部分が、合成された携帯端末装置側のIMEに基づく文字入力ツールを示している。
Thus, by repeating the display of the operation screen on the image processing apparatus side displayed as a remote screen on the
ユーザーは携帯端末装置2に表示された使い慣れた文字入力ツール205aを使用して文字を文字入力エリア131aに入力したのち、入力文字を確定すると、確定された文字列が画像処理装置1に送信される。画像処理装置1は、携帯端末装置2から受信した確定文字列を入力する、というものである。
When the user inputs a character into the
しかしながら、このようなリモート画面を用いた文字入力方式(第1の文字入力方式という)では、携帯端末装置2に文字入力ツール205aを表示するまでに、画像処理装置1側の操作画面をリモート画面として表示させたり、リモート画面に対するユーザーのタッチ操作が必要であり、文字入力ツール205aを表示するまでの操作が些か面倒であり、時間も要していた。
However, in such a character input method using the remote screen (referred to as a first character input method), the operation screen on the
そこで、最近では、第1の文字入力方式とは異なりリモート画面を用いない第2の文字入力方式が提案されている。 Therefore, recently, unlike the first character input method, a second character input method that does not use a remote screen has been proposed.
この第2の文字入力方式は、図6(A)の右図に示すように、画像処理装置1の表示部131に初期画面D104を表示させた状態で、ユーザーが画面を操作して更新し、同図(B)の右図に示すように、文字入力エリア131aと画像処理装置独自の文字入力ツールであるキーボード131bを有する文字入力画面D105を表示させる。この状態で、同図(B)の左図に示すように、携帯端末装置2の画面D204を操作して画像処理装置1と無線接続すると、同図(C)の左図に示すように、携帯端末装置2のタッチパネル205に、文字入力エリア205bとユーザーが使い慣れた携帯端末装置側のIMEに基づく文字入力ツール205cを有する文字入力画面D205が表示される。また、同図(C)の右図に示すように、画像処理装置1の文字入力画面には「IME入力開始」ボタン131cが表示される。
As shown in the right diagram of FIG. 6A, the second character input method is updated by the user operating the screen while the initial screen D104 is displayed on the
ユーザーが画像処理装置1の文字入力画面の「IME入力開始」ボタン131cを押すと、同図(D)に示すように、携帯端末装置2の文字入力エリア205bと画像処理装置1の文字入力エリア131aが同期する。ユーザーは携帯端末装置2に表示された使い慣れた文字入力ツール205cを使用して文字入力エリア205bに文字を入力すると、文字情報が画像処理装置に送信され、同期した画像処理装置1の文字入力エリア131aに文字が入力される、というものであり、画像処理装置1側の操作画面をリモート画面として携帯端末装置2に表示させたり、リモート画面をユーザーが操作する必要はなくなる。
When the user presses the “IME input start” button 131c on the character input screen of the
このように、2つの文字入力方式が存在するが、いずれの入力方式にも対応可能なように、携帯端末装置1には両方の入力方式に対応するアプリケーションが搭載され、いずれかの入力方式を選択できるようになっている。
As described above, there are two character input methods, but the
一方、画像処理装置には、第2の文字入力方式に対応できず、第1の入力方式にしか対応できないものが存在する。このような第1の入力方式にしか対応できない画像処理装置に対し、第2の文字入力方式が選択されることがある。つまり、ユーザーが画像処理装置1に表示された操作画面を操作して、文字入力エリア131aと装置独自の文字入力ツールであるキーボード131bを有する画像処理装置側の文字入力画面画面を表示させた状態で、携帯端末装置2の画面をタッチ操作して画像処理装置1と無線接続する。
On the other hand, some image processing apparatuses cannot support the second character input method and can only support the first input method. The second character input method may be selected for an image processing apparatus that can only support the first input method. That is, a state in which the user operates the operation screen displayed on the
しかし、画像処理装置1は第1の文字入力方式にしか対応していないため、ユーザーは携帯端末装置2の画面上で第1の文字入力方式を選択し直すことになるが、第1の文字入力方式を選択し直すとユーザーが切り替わったと判断される。このため従来では、第1の文字入力方式において、ユーザーが使い慣れた携帯端末装置用のIMEに基づく文字入力ツール205cを携帯端末装置に表示させるまでの操作を最初からユーザーがやり直さなければならなかった。
However, since the
つまり、図5で説明したような、画像処理装置1の操作画面を携帯端末装置2にリモート画面として表示させる処理と、該リモート画面に対するユーザー操作を、画像処理装置側の初期画面から繰り返すことにより、携帯端末装置2の文字入力ツール205aを有する文字入力画面D203(図5(D)の左図)を、携帯端末装置1に表示させる必要があった。
That is, by repeating the process of displaying the operation screen of the
なお、特許文献1には、制御対象の装置に状態変化が生じた場合であっても、ユーザーの不便を抑えて処理の継続を可能とする画像処理システムとして、制御装置としての端末装置が、CPUに、MFPから画面情報を取得するための取得部と、画面情報に基づく操作画面を表示するための第1表示部と、操作画面に対するユーザー指示の位置情報をMFPに送信するための第1送信部と、MFPでの通信に影響を与える状態変化の有無を判断するための判断部と、画面情報に基づいて生成される代替画面を表示するための第2表示部と、代替画面に対するユーザー指示に基づくパラメーターを格納するための格納部と、格納されたパラメーターをMFPに送信するための第2送信部とを含むシステムが提案されている。
Note that
しかしながら、携帯端末装置により第2の文字入力方式を選択したユーザーが、画像処理装置が第1の文字入力方式にしか対応できないため、第1の文字入力方式を選択し直した場合に、ユーザーが使い慣れた携帯端末装置用のIMEに基づく文字入力ツールを携帯端末装置に表示させるまでの操作を最初からやり直さなければならないのでは、操作が面倒であり使い勝手が良くなかった。 However, since the user who has selected the second character input method using the portable terminal device can only support the first character input method, the image processing apparatus can re-select the first character input method. The operation until the character input tool based on the familiar IME for the mobile terminal device is displayed on the mobile terminal device has to be re-executed from the beginning, which is troublesome and unusable.
なお、特許文献1に記載の技術は、第1の文字入力方式にしか対応できない画像処理装置に対して、ユーザーが携帯端末装置上で第2の文字入力方式を選択した場合に生じる前記課題を解決することはできなかった。
Note that the technique described in
この発明は、このような技術的背景に鑑みてなされたものであって、第1の文字入力方式にしか対応できない画像処理装置に対して、携帯端末装置上で第2の文字入力方式を選択したユーザーが、第1の文字入力方式を選択し直した場合に、ユーザーが、使い慣れた携帯端末装置用のIMEに基づく文字入力ツールを携帯端末装置に表示させるまでの操作を最初からやり直す必要をなくすことにより、操作性を向上し使い勝手の良い文字入力システム、文字入力方法、携帯端末装置及び文字入力プログラムを提供することを課題とする。 The present invention has been made in view of such a technical background, and selects a second character input method on a portable terminal device for an image processing apparatus that can only support the first character input method. When the user re-selects the first character input method, the user needs to repeat the operation from the beginning until he / she displays the character input tool based on the familiar IME for the mobile terminal device on the mobile terminal device. It is an object of the present invention to provide a character input system, a character input method, a portable terminal device, and a character input program that improve operability and are easy to use.
上記課題は、以下の手段によって解決される。
(1)相互に接続可能な画像処理装置と携帯端末装置とを備えた文字入力システムであって、前記画像処理装置は、タッチパネルを有する表示手段と、前記表示手段に表示される自装置の操作画面の画面データを前記携帯端末装置に送信する送信手段と、前記画面データを受信した携帯端末装置でリモート画面として再生された前記操作画面をユーザーが操作したときに、前記携帯端末装置から送信される操作データを受信する受信手段と、前記受信手段により受信した操作データに基づいて、操作データで指示される画面更新処理を含む処理を実行する処理実行手段と、を備え、前記携帯端末装置は、タッチパネルを有する表示手段と、前記画像処理装置からの前記画面データに基づいて前記リモート画面を前記表示手段に表示させる表示制御手段と、前記表示制御手段により前記表示手段に表示される画像処理装置の初期画面から開始される複数のリモート画面に対するユーザーの操作を経て、リモート画面中の文字入力エリアと自装置に搭載された複数の文字キー有する文字入力ツールを合成した文字入力画面を前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記画像処理装置に対する文字入力を行う第1の文字入力手段と、自装置に搭載された複数の文字キー有する文字入力ツールを前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記第1の文字入力手段とは異なる方式で、前記画像処理装置に対する文字入力を行う第2の文字入力手段と、前記第1の文字入力手段と前記第2の文字入力手段のいずれで画像処理装置に対する文字入力を行うかを選択する選択手段と、を備え、前記携帯端末装置の表示制御手段は、前記第2の文字入力手段が選択されたときに、文字入力対象の画像処理装置が前記第2の文字入力手段に対応しておらず、ユーザーにより前記第1の文字入力手段が再選択された場合、前記画像処理装置と連携して、前記初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、前記第1の文字入力手段における前記文字入力画面を前記表示手段に表示させることを特徴とする文字入力システム。
(2)前記携帯端末装置は、前記第2の文字入力手段が選択されたときに、文字入力対象の画像処理装置が前記第2の文字入力手段に対応していないことを、前記画像処理装置からの通知により判定する前項1に記載の文字入力システム。
(3)前記携帯端末装置は、前記第2の文字入力手段が選択されたときに、文字入力対象の画像処理装置が前記第2の文字入力手段に対応していないことを、自装置内の記憶手段に記憶された、画像処理装置が第2の文字入力手段に対応可能か否かの情報に基づいて、判定する前項1に記載の文字入力システム。
(4)前記画像処理装置において、表示手段に表示された初期画面に対する操作から始まる複数回のユーザーのタッチ操作を経て、文字入力エリアを有する文字入力画面を前記表示手段に表示させた状態で、前記携帯端末装置と画像処理装置とが接続されることにより、前記携帯端末装置の第2の文字入力手段は有効状態となり、前記画像処理装置は、前記初期画面から前記文字入力画面が表示されるまでに行われた複数回のユーザーのタッチ操作情報を保存するログ保存手段を備え、ユーザーにより前記第1の文字入力手段が再選択されたときに、前記携帯端末装置の表示制御手段は、前記画像処理装置から前記ログ保存手段に保存されたユーザーのタッチ操作情報を取得し、該取得したタッチ操作情報に基づき、前記初期画面から始まる複数のリモート画面に対応するタッチ操作情報を再生して前記画像処理装置に送信することにより、前記第1の文字入力手段における文字入力画面を前記表示手段に表示させる前項1〜3のいずれかに記載の文字入力システム。
(5)前記タッチ操作情報は、タッチされた画面上の位置を示す座標情報と、座標情報に対応する処理内容を含み、前記ログ保存手段には前記座標情報と処理内容がタッチ操作情報の順に時系列に記録されている前項4に記載の文字入力システム。
(6)前記携帯端末装置は、前記取得したタッチ操作情報から初期画面を特定するとともに、特定した初期画面を起点として、前記初期画面から始まる複数のリモート画面に対し対応するタッチ操作情報を再生して前記画像処理装置に送信する前項4または5に記載の文字入力システム。
(7)前記画像処理装置は、表示手段に表示された初期画面に対する操作から始まる複数回のユーザーのタッチ操作を経て、文字入力エリアを有する文字入力画面を表示手段に表示させるとともに、前記文字入力画面が表示されているときの画像処理装置の状態を規定する設定データを保存する設定データ保存手段を備え、前記画像処理装置の表示手段に前記文字入力エリアを有する文字入力画面が表示された状態で、前記携帯端末装置と画像処理装置とが接続されることにより、前記携帯端末装置の第2の文字入力手段は有効状態となり、ユーザーにより前記第1の文字入力手段が再選択されたときに、前記画像処理装置は、前記設定データ保存手段に保存された、文字入力画面が表示されているときの画像処理装置の状態を規定する設定データに基づいて、文字入力画面の画面データを前記携帯端末装置に送信し、前記携帯端末装置は、送信された前記文字入力画面の画面データに基づいて、前記第1の文字入力手段における文字入力画面を前記表示手段に表示させる前項1〜3のいずれかに記載の文字入力システム。
(8)前記携帯端末装置は、前記第2の文字入力手段が選択されたときに、文字入力対象の画像処理装置が前記第2の文字入力手段に対応していない場合は、ユーザーに前記第1の文字入力手段を再選択するかどうかの確認画面を表示する前項1〜7のいずれかに記載の文字入力システム。
(9)相互に接続可能な画像処理装置と携帯端末装置とを備えた文字入力システムで実行される文字入力方法であって、前記画像処理装置は、タッチパネルを有する表示手段に表示される自装置の操作画面の画面データを前記携帯端末装置に送信する送信ステップと、前記操作画面の画面データを受信した携帯端末装置でリモート画面として再生された前記操作画面をユーザーが操作したときに、前記携帯端末装置から送信される操作データを受信する受信ステップと、前記受信ステップにより受信した操作データに基づいて、操作データで指示される画面更新処理を含む処理を実行する処理実行ステップと、を実行し、前記携帯端末装置は、前記画像処理装置からの前記画面データに基づいて前記リモート画面をタッチパネルを有する表示手段に表示させる表示制御ステップと、前記表示制御ステップにより前記表示手段に表示される画像処理装置の初期画面から開始される複数のリモート画面に対するユーザーの操作を経て、リモート画面中の文字入力エリアと自装置に搭載された複数の文字キー有する文字入力ツールを合成した文字入力画面を前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記画像処理装置に対する文字入力を行う第1の文字入力ステップと、自装置に搭載された複数の文字キー有する文字入力ツールを前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記第1の文字入力手段とは異なる方式で、前記画像処理装置に対する文字入力を行う第2の文字入力ステップと、前記第1の文字入力ステップと前記第2の文字入力ステップのいずれで画像処理装置に対する文字入力を行うかを選択する選択ステップと、を実行し、前記携帯端末装置の表示制御ステップでは、前記第2の文字入力ステップが選択されたときに、文字入力対象の画像処理装置が前記第2の文字入力ステップに対応しておらず、ユーザーにより前記第1の文字入力ステップが再選択された場合、前記画像処理装置と連携して、前記初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、前記第1の文字入力手段における前記文字入力画面を前記表示手段に表示させることを特徴とする文字入力方法。
(10)前項1〜8のいずれかに記載の文字入力システムに用いられる携帯端末装置。
(11)前項1〜8のいずれかに記載の文字入力システムに用いられる携帯端末装置のコンピュータに、前記文字入力システムに用いられる画像処理装置と接続するための接続ステップと、前記画像処理装置の表示手段に表示される画像処理装置の操作画面の画面データを受信する受信ステップと、前記受信ステップにより受信した前記画面データに基づいて、前記操作画面をリモート画面としてタッチパネルを有する表示手段に表示させる表示制御ステップと、前記表示制御ステップにより前記表示手段に表示される画像処理装置の初期画面から開始される複数のリモート画面に対するユーザーの操作を経て、リモート画面中の文字入力エリアと自装置に搭載された複数の文字キー有する文字入力ツールを合成した文字入力画面を前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記画像処理装置に対する文字入力を行う第1の文字入力ステップと、自装置に搭載された複数の文字キー有する文字入力ツールを前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記第1の文字入力手段とは異なる方式で、前記画像処理装置に対する文字入力を行う第2の文字入力ステップと、前記第1の文字入力ステップと前記第2の文字入力ステップのいずれで画像処理装置に対する文字入力を行うかを選択する選択ステップと、を実行させ、前記表示制御ステップでは、前記第2の文字入力ステップが選択されたときに、文字入力対象の画像処理装置が前記第2の文字入力ステップに対応しておらず、ユーザーにより前記第1の文字入力ステップが再選択された場合、前記画像処理装置と連携して、前記初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、前記第1の文字入力ステップにおける文字入力画面を前記表示手段に表示させる処理を前記コンピュータに実行させるための文字入力プログラム。
The above problem is solved by the following means.
(1) A character input system including an image processing device and a portable terminal device that can be connected to each other, wherein the image processing device includes a display unit having a touch panel and an operation of the own device displayed on the display unit. Transmitting means for transmitting screen data of the screen to the mobile terminal device, and transmitted from the mobile terminal device when the user operates the operation screen reproduced as a remote screen on the mobile terminal device that has received the screen data. Receiving means for receiving operation data; and processing execution means for executing processing including screen update processing instructed by operation data based on the operation data received by the receiving means. A display unit having a touch panel, and a display for displaying the remote screen on the display unit based on the screen data from the image processing apparatus And the character input area in the remote screen and the device itself are installed through the user's operation on a plurality of remote screens started from the initial screen of the image processing apparatus displayed on the display means by the display control means. A character input screen obtained by synthesizing a character input tool having a plurality of character keys is displayed on the display means, and when a character key of the character input tool is touched by a user, information corresponding to the touch key is processed by the image processing. By transmitting to the apparatus, a first character input means for inputting characters to the image processing apparatus and a character input tool having a plurality of character keys mounted on the apparatus are displayed on the display means, and the character input tool When the character key is touched by the user, information corresponding to the touch key is transmitted to the image processing apparatus. Thus, in any of the second character input means for inputting characters to the image processing apparatus in a method different from that of the first character input means, the first character input means, and the second character input means. Selecting means for selecting whether or not to perform character input to the image processing apparatus, wherein the display control means of the portable terminal device is an image processing apparatus that is a character input target when the second character input means is selected. Does not correspond to the second character input means, and when the user reselects the first character input means, the remote screen started from the initial screen in cooperation with the image processing device A character input system that causes the display means to display the character input screen in the first character input means without requiring any user operation.
(2) In the portable terminal device, when the second character input unit is selected, it is determined that a character input target image processing device does not correspond to the second character input unit. 2. The character input system according to
(3) When the second character input unit is selected, the mobile terminal device determines that the character processing target image processing device does not correspond to the second character input unit. 2. The character input system according to
(4) In the image processing apparatus, a character input screen having a character input area is displayed on the display unit through a plurality of user touch operations starting from an operation on the initial screen displayed on the display unit. When the mobile terminal device and the image processing device are connected, the second character input means of the mobile terminal device is enabled, and the image processing device displays the character input screen from the initial screen. Log storage means for storing touch operation information of a plurality of users performed until the time when the first character input means is reselected by the user, the display control means of the portable terminal device includes: The user's touch operation information stored in the log storage unit is acquired from the image processing apparatus, and the initial screen is started based on the acquired touch operation information. Any one of the preceding
(5) The touch operation information includes coordinate information indicating a touched position on the screen and processing contents corresponding to the coordinate information, and the log storage unit stores the coordinate information and the processing contents in the order of touch operation information. 5. The character input system according to
(6) The mobile terminal device specifies an initial screen from the acquired touch operation information, and reproduces touch operation information corresponding to a plurality of remote screens starting from the initial screen with the specified initial screen as a starting point. 6. The character input system according to
(7) The image processing apparatus displays a character input screen having a character input area on the display unit through a plurality of user touch operations starting from an operation on the initial screen displayed on the display unit, and the character input A setting data storage unit that stores setting data that defines the state of the image processing apparatus when the screen is displayed; and a state in which the character input screen having the character input area is displayed on the display unit of the image processing apparatus When the portable terminal device and the image processing device are connected, the second character input means of the portable terminal device becomes valid, and the first character input means is reselected by the user. The image processing apparatus is a setting that prescribes a state of the image processing apparatus when the character input screen is displayed, which is stored in the setting data storage unit Screen data of the character input screen is transmitted to the mobile terminal device based on the data, and the mobile terminal device transmits the character in the first character input means based on the transmitted screen data of the character input screen. 4. The character input system according to any one of
(8) When the second character input unit is selected, the portable terminal device may notify the user if the image processing apparatus that is a character input target does not correspond to the second character input unit. 8. The character input system according to any one of the preceding
(9) A character input method executed by a character input system including an image processing device and a portable terminal device that can be connected to each other, wherein the image processing device is displayed on a display unit having a touch panel. A transmission step of transmitting screen data of the operation screen to the mobile terminal device; and when the user operates the operation screen reproduced as a remote screen on the mobile terminal device that has received the screen data of the operation screen, A reception step for receiving operation data transmitted from the terminal device, and a process execution step for executing processing including screen update processing instructed by the operation data based on the operation data received in the reception step are executed. The portable terminal device displays the remote screen having a touch panel based on the screen data from the image processing device. A display control step to be displayed in a row, and a character input area in the remote screen through user operations on a plurality of remote screens started from an initial screen of the image processing apparatus displayed on the display means by the display control step; A character input screen obtained by synthesizing a character input tool having a plurality of character keys mounted on its own device is displayed on the display means, and when the character key of the character input tool is touch-operated by a user, it corresponds to a touch key. By transmitting information to the image processing apparatus, a first character input step for inputting characters to the image processing apparatus and a character input tool having a plurality of character keys mounted on the apparatus are displayed on the display means. When the character key of the character input tool is touched by the user, information corresponding to the touch key is displayed. Is transmitted to the image processing apparatus by a method different from that of the first character input means, a second character input step for inputting characters to the image processing apparatus, the first character input step, and the A selection step of selecting which character input to the image processing apparatus is performed in which of the second character input steps, and the second character input step is selected in the display control step of the portable terminal device When the image processing apparatus targeted for character input does not correspond to the second character input step and the first character input step is reselected by the user, in cooperation with the image processing apparatus, The character input screen in the first character input means is displayed on the display means without requiring a user operation on the remote screen started from the initial screen. The character input method characterized by making it display on.
(10) A mobile terminal device used in the character input system according to any one of
(11) A connection step for connecting the computer of the mobile terminal device used in the character input system according to any one of the preceding
前項(1)に記載の発明によれば、携帯端末装置において、ユーザーにより第2の文字入力手段が選択されたときに、文字入力対象の画像処理装置が第2の文字入力手段に対応しておらず、ユーザーにより第1の文字入力手段が再選択された場合、画像処理装置と連携して、初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、ユーザーが使い慣れた携帯端末装置側の文字入力ツールを有する文字入力画面が携帯端末装置の表示手段に表示されるから、ユーザーは前記文字入力ツールを携帯端末装置に表示させるまでの操作を最初からやり直す必要はなくなる。このため、操作性を向上でき使い勝手の良い文字入力システムとなる。 According to the invention described in (1) above, in the mobile terminal device, when the user selects the second character input means, the character processing target image processing apparatus corresponds to the second character input means. If the first character input means is selected again by the user, the mobile phone that the user is accustomed to does without requiring the user to operate the remote screen starting from the initial screen in cooperation with the image processing apparatus. Since the character input screen having the character input tool on the terminal device side is displayed on the display means of the mobile terminal device, the user does not have to repeat the operation from the beginning until the character input tool is displayed on the mobile terminal device. For this reason, the operability can be improved and the character input system is easy to use.
前項(2)に記載の発明によれば、携帯端末装置は、第2の文字入力手段が選択されたときに、文字入力対象の画像処理装置が第2の文字入力手段に対応していないことを、画像処理装置からの通知により確実に判定することができる。 According to the invention described in item (2) above, in the portable terminal device, when the second character input unit is selected, the character processing target image processing device does not correspond to the second character input unit. Can be reliably determined by a notification from the image processing apparatus.
前項(3)に記載の発明によれば、携帯端末装置は、第2の文字入力手段が選択されたときに、文字入力対象の画像処理装置が第2の文字入力手段に対応していないことを、自装置内の記憶手段に記憶された、画像処理装置が第2の文字入力手段に対応可能か否かの情報に基づいて、確実に判定することができる。 According to the invention described in item (3) above, in the mobile terminal device, when the second character input unit is selected, the character processing target image processing device does not correspond to the second character input unit. Can be reliably determined on the basis of the information stored in the storage unit within the apparatus whether or not the image processing apparatus is compatible with the second character input unit.
前項(4)に記載の発明によれば、ユーザーにより第1の文字入力手段が再選択されたときに、携帯端末装置は画像処理装置からログ保存手段に保存されたユーザーのタッチ操作情報を取得し、該取得したタッチ操作情報に基づき、初期画面から始まる複数のリモート画面に対応するタッチ操作情報を画像処理装置に送信することにより、ユーザーが使い慣れた携帯端末装置側の文字入力ツールを有する文字入力画面を携帯端末装置の表示手段に表示させるから、ユーザーは携帯端末装置側の文字入力ツールを携帯端末装置に表示させるまでの操作を最初からやり直す必要はなくなる。 According to the invention described in (4) above, when the first character input unit is reselected by the user, the mobile terminal device acquires the touch operation information of the user stored in the log storage unit from the image processing device. Then, based on the acquired touch operation information, by transmitting touch operation information corresponding to a plurality of remote screens starting from the initial screen to the image processing device, a character having a character input tool on the mobile terminal device side that the user is familiar with Since the input screen is displayed on the display means of the mobile terminal device, the user does not need to repeat the operation from the beginning until the character input tool on the mobile terminal device side is displayed on the mobile terminal device.
前項(5)に記載の発明によれば、タッチ操作情報は、タッチされた画面上の位置を示す座標情報と、座標情報に対応する処理内容を含み、ログ保存手段には前記座標情報と処理内容がタッチ操作情報の順に時系列に記録されているから、携帯端末装置はユーザーが使い慣れた携帯端末装置側の文字入力ツールを有する文字入力画面を容易に表示することができる。 According to the invention described in item (5) above, the touch operation information includes coordinate information indicating the touched position on the screen and processing contents corresponding to the coordinate information, and the log storage means stores the coordinate information and the processing information. Since the contents are recorded in chronological order in the order of the touch operation information, the mobile terminal device can easily display a character input screen having a character input tool on the mobile terminal device side that is familiar to the user.
前項(6)に記載の発明によれば、取得したタッチ操作情報から初期画面が特定され、この特定された初期画面を起点として、初期画面から始まる複数のリモート画面に対応するタッチ操作情報が画像処理装置に送信される。 According to the invention described in item (6) above, an initial screen is identified from the acquired touch operation information, and touch operation information corresponding to a plurality of remote screens starting from the initial screen is imaged starting from the identified initial screen. It is transmitted to the processing device.
前項(7)に記載の発明によれば、ユーザーにより第1の文字入力手段が再選択されたときに、画像処理装置は、設定データ保存手段に保存された文字入力画面が表示されているときの画像処理装置の状態を規定する設定データに基づいて、文字入力画面の画面データを携帯端末装置に送信し、携帯端末装置は、送信された文字入力画面の画面データに基づいて、ユーザーが使い慣れた携帯端末装置側の文字入力ツールを有する文字入力画面を携帯端末装置の表示手段に表示させるから、ユーザーは携帯端末装置側の文字入力ツールを携帯端末装置に表示させるまでの操作を最初からやり直す必要はなく、しかも画像処理装置からの画面データの送信や携帯端末装置からのリモート画面のタッチ操作情報の送信を繰り返すことなく短時間で、ユーザーが使い慣れた携帯端末装置側の文字入力ツールを有する文字入力画面を携帯端末装置の表示手段に表示させることができる。 According to the invention described in item (7), when the first character input unit is reselected by the user, the image processing apparatus displays the character input screen stored in the setting data storage unit. The screen data of the character input screen is transmitted to the mobile terminal device based on the setting data that defines the state of the image processing device, and the mobile terminal device is used by the user based on the transmitted screen data of the character input screen. Since the character input screen having the character input tool on the mobile terminal device side is displayed on the display means of the mobile terminal device, the user restarts the operation from the beginning until the character input tool on the mobile terminal device side is displayed on the mobile terminal device. There is no need for it, and without repeating the transmission of screen data from the image processing device and the transmission of touch operation information on the remote screen from the mobile terminal device, in a short time, Za can be displayed on the display unit of the portable terminal device a character input screen having is familiar portable terminal device of the character input tool.
前項(8)に記載の発明によれば、第2の文字入力手段が選択されたときに、文字入力対象の画像処理装置が第2の文字入力手段に対応していない場合は、ユーザーに第1の文字入力手段を再選択するかどうかの確認画面が表示されるから、ユーザーは文字入力対象の画像処理装置が第2の文字入力手段に対応していないことを容易に認識できる。 According to the invention described in item (8) above, when the second character input unit is selected, if the image processing apparatus targeted for character input does not support the second character input unit, Since a confirmation screen as to whether or not to reselect one character input means is displayed, the user can easily recognize that the image processing apparatus targeted for character input is not compatible with the second character input means.
前項(9)に記載の発明によれば、ユーザーにより第1の文字入力手段が再選択された場合、画像処理装置と連携して、初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、ユーザーが使い慣れた携帯端末装置側の文字入力ツールを有する文字入力画面が携帯端末装置の表示手段に表示されるから、ユーザーは前記文字入力ツールを携帯端末装置に表示させるまでの操作を最初からやり直す必要はなくなり、操作性を向上できる。 According to the invention described in the preceding item (9), when the first character input means is reselected by the user, the user needs to operate the remote screen starting from the initial screen in cooperation with the image processing apparatus. Without displaying, the character input screen having the character input tool on the mobile terminal device side that the user is familiar with is displayed on the display means of the mobile terminal device, so that the user can operate until the character input tool is displayed on the mobile terminal device. There is no need to start over from the beginning, and operability can be improved.
前項(10)に記載の発明によれば、ユーザーにより第1の文字入力手段が再選択された場合、画像処理装置と連携して、初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、ユーザーが使い慣れた携帯端末装置側の文字入力ツールを有する文字入力画面を表示手段に表示できる携帯端末装置となる。 According to the invention described in the above item (10), when the first character input unit is reselected by the user, the user needs to operate the remote screen starting from the initial screen in cooperation with the image processing apparatus. Accordingly, the portable terminal device can display on the display means a character input screen having a character input tool on the portable terminal device side familiar to the user.
前項(11)に記載の発明によれば、ユーザーにより第1の文字入力手段が再選択された場合、画像処理装置と連携して、初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、ユーザーが使い慣れた携帯端末装置側の文字入力ツールを有する文字入力画面を表示手段に表示する処理を、携帯端末装置のコンピュータに実行させることができる。 According to the invention described in the above item (11), when the first character input means is reselected by the user, the user needs to operate the remote screen starting from the initial screen in cooperation with the image processing apparatus. Without this, it is possible to cause the computer of the mobile terminal device to execute processing for displaying on the display means a character input screen having a character input tool on the mobile terminal device side that the user is familiar with.
以下、この発明の実施形態を図面に基づいて説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、この発明の一実施形態に係る文字入力システムの構成図である。 FIG. 1 is a configuration diagram of a character input system according to an embodiment of the present invention.
本システムは、それぞれ複数の画像処理装置1と携帯端末装置2と情報処理装置3から構成される。画像形成装置1、携帯端末装置2、情報処理装置3は、いずれもネットワーク4を介して接続されている。
This system includes a plurality of
ここで、ネットワーク4は、LAN(Local Area Network)などの専用回線を用いたネットワーク、一般回線を用いたネットワーク、無線通信によるネットワーク、のいずれであっても構わない。また、ネットワーク4は、外部ネットワークを介して、他のネットワークと接続されている。
Here, the
画像形成装置1は、走査した原稿画像、および情報処理装置3から送信されたプリントデータから生成した画像の複写画像を用紙上に形成する装置であり、この実施形態では、プリンタ機能、ファクシミリ機能、スキャン機能等の機能を備えた多機能デジタル画像処理装置である前述したMFPが用いられている。以下、画像処理装置をMFPともいう。ここで、プリントデータとは、情報処理装置3のオペレーティングシステムやアプリケーションプログラムが発行する描画命令を、プリンタドライバによって画像形成装置1が処理可能なページ記述言語に変換したページ記述言語による描画命令、もしくは、PDF、TIFF、JPEG、XPS等のファイルフォーマットで記述された文書データである。
The
また、走査した原稿画像は、ネットワーク4を介して、情報処理装置3、さらにはその他のMFPに送信することもできる。さらには、外部ネットワークを介して、別のネットワークに接続された他のMFPや情報処理装置に原稿画像を送信することもできる。さらに、操作した原稿画像や情報処理装置から受信した文書データを固定記憶装置に蓄積することもできる。
The scanned document image can also be transmitted to the
携帯端末装置2は、CPU、RAM、固定記憶装置(ハードディスク装置など)、モニタ、タッチ操作可能な液晶パネル等を有する携帯型のコンピュータ装置である。電子化された文書を蓄積して持ち運び、どこでも閲覧、編集を行うことができる。また、無線通信する手段を有し、MFP1や情報処理装置3との間で文書の送受信を行うことができるほか、MFP1を遠隔操作する手段を有する。以下の説明では携帯端末装置を単に携帯端末とも言う。
The portable
情報処理装置3は、CPU、RAM、固定記憶装置(ハードディスク装置など)、モニタ、キーボード、マウス等の接続された一般的なコンピュータ装置である。情報処理装置3は、ユーザの指示によリプリントデータを生成し、生成したプリントデータをMFP1に送信する。
The
図2は、MFP1の内部構成を示す図である。MFP1のCPU101には、制御プログラムの格納されたROM102、作業用のS−RAM(Static Random Access Memory)103、画像形成に関わる各種の設定を記憶するバッテリバックアップされたNV−RAM(不揮発性メモリ)104、時計IC105がバスを介して接続され、MFP1の全体を統括的に制御する制御部100を構成している。
FIG. 2 is a diagram illustrating an internal configuration of the
制御部100には、原稿画像を読み取る画像読取装置120、各種の入力を行うテンキー、プリントキー、ログアウトキーなどの各種キーや表示部131を備えた操作パネル130、ネットワーク4を介して接続された情報処理装置3−yをはじめとする外部の装置との間で各種の情報を送受信する為のネットワークインターフェース(ネットワークI/F)160、該ネットワークインターフェース160により受信したプリントデータから複写画像を生成するプリンタコントローラ150、複写画像を用紙上に形成する画像出力装置140がそれぞれバスを介して接続されている。
The
また、制御部100には、固定記憶装置110がバスを介して接続されている。固定記憶装置110とは例えばハードディスク装置である。この固定記憶装置110には、各種のデータが記憶されている。
A fixed
また、ワイヤレスインターフェース(WirelessI/F)170と短距離無線インターフェース(短距離無線I/F)180が、バスを介して制御部100に接続されている。ワイヤレスインターフェース170は、ネットワークとの通信や携帯端末装置2との通信に利用され、短距離無線インターフェース180は例えばブルートゥースや赤外線通信(IrDA:Infrared Data Association)等の短距離無線通信を行うためのインターフェースである。
A wireless interface (Wireless I / F) 170 and a short-range wireless interface (short-range wireless I / F) 180 are connected to the
図3は携帯端末2の構成を示すブロック図である。携帯端末2は、例えばタブレット端末や携帯電話などからなり、CPU201、制御プログラムの格納されたROM202、作業用のRAM203を備え、ROM202及びRAM203はそれぞれバスを介してCPU201に接続されている。また、CPU201、ROM202及びRAM203により、携帯端末2の全体を統括的に制御する制御部200を形成している。
FIG. 3 is a block diagram showing the configuration of the
制御部200には、各種の情報を表示するとともに画面を直接タッチして操作入力を行うタッチパネル205、ワイヤレスランインターフェース206、短距離無線インターフェース207が、バスを介してそれぞれ接続されている。ワイヤレスランインターフェース206は、ネットワークとの通信やMFP1との通信に利用され、短距離無線インターフェース207は例えばブルートゥースや赤外線通信等の短距離無線通信を行うためのインターフェースである。
The
さらに、制御部200には固定記憶装置204がバスを介して接続されている。固定記憶装置204とは例えばハードディスク装置である。この固定記憶装置204には、各種のデータが記憶されている。
Further, a fixed
図4は、MFP1の操作画面を携帯端末2にリモート画面として表示し、このリモート画面をユーザーが操作することにより携帯端末2からMFP1をリモート操作する場合の動作の概要を説明するための図である。
FIG. 4 is a diagram for explaining an outline of operations when the operation screen of the
MFP1の表示部131に初期画面が表示されている状態で、携帯端末2とMFP1を無線接続すると、MFP1から携帯端末2へ初期画面の画面データが送信される(ステップS105)。携帯端末2は画面データを受信すると(ステップS201)、画面データに基づいて画像を展開したのち(ステップS202)、タッチパネル205にリモート画面として描画する(ステップS203)。
When the
ユーザーが表示されたリモート画面に対してタッチパネル205上でタッチ操作すると(ステップS204)、携帯端末2はタッチ位置の座標を検出・特定したのち(ステップS205)、ジャスチャーの種類判定を行うとともに座標をMFP1側の表示部131の座標に変換し(ステップS206)、座標データを含む操作情報(タッチイベント)をMFP1に送信する(ステップS207)。
When the user performs a touch operation on the displayed remote screen on the touch panel 205 (step S204), the
MFP1はタッチイベントの受信処理を行ったのち(ステップS106)、タッチイベント処理によりタッチイベントの内容を解析し(ステップS107)、解析されたタッチイベントに応じた次の表示画面を内部処理により特定する(ステップS101)。そして、特定された画面を構成するために必要な例えばボタン等のパーツを画面作成処理(ステップS102)により合成して画面データを作成した後、この画面データを圧縮して(ステップS103)、携帯端末2に送信する(ステップS104)。
After performing the touch event reception process (step S106), the
携帯端末2は、初期画面の場合と同様にして、受信した画面データに基づいてリモート画面を表示する。ユーザーがリモート画面にタッチ操作すると、タッチイベントがMFP1に送信され、MFP1は対応する次の画面を作成し、あるいは対応する処理を実行する。以下、必要に応じて、MFP1でのタッチイベントに基づく画面データの作成や処理の実行と、携帯端末2でのリモート画面の表示及びタッチイベントの送信等が繰り返されることにより、携帯端末2からMFP1が操作される。
The
このようなリモート画面を利用し、かつ携帯端末2に搭載されている携帯端末2側のIMEに基づく文字入力ツールを携帯端末2のタッチパネル205に表示させて、MFP1に文字入力を行う場合の動作を図5を用いて説明する。図5では、左側に携帯端末2の画面を右側にMFP1の画面をそれぞれ示す。
Operation when such a remote screen is used and a character input tool based on the IME of the
図5(A)の右図に示すように、MFP1の表示部131に初期画面D101が表示されている状態で、携帯端末2を操作してMFP1と無線接続し、図5(B)の左図に示すように、携帯端末2のタッチパネル205に表示された文字入力モード選択画面D201上で文字入力モードキーを押す。
5A, in the state where the initial screen D101 is displayed on the
すると、MFP1から初期画面の画面データが携帯端末2に送信され、図5(C)の左図に示すように、携帯端末2のタッチパネル205には初期画面に対応するリモート画面D202が表示される。携帯端末2にリモート画面として表示されたMFP1の初期画面D202をユーザーが操作すると、タッチイベントがMFP1に送信され、MFP1はタッチイベントを解析して対応する更新画面のデータを携帯端末2に送信し、携帯端末2はこのデータに基づいてリモート画面を更新する。
Then, the screen data of the initial screen is transmitted from the
こうして、携帯端末2におけるリモート画面の表示とユーザー操作を繰り返すことにより、MFP1の文字入力エリアを有する画面が、リモート画面として携帯端末2に送信されると、携帯端末2は図5(D)の左図に示すように、その画面に重ねて、ユーザーが使い慣れた携帯端末装置2側のIMEに基づく文字入力ツール205aを有する文字入力画面D203が表示される。この文字入力画面D203には、携帯端末装置2側の文字入力ツール205aの他に、MFP側の文字入力エリア131aとキーボード131bがリモート画面の一部として表示されている。なお、図5(D)の左図においてハッチングを施した部分が、合成された携帯端末装置2側のIMEに基づく文字入力ツール205aを示している。
Thus, by repeating the display of the remote screen and the user operation on the
携帯端末2との無線接続後は、MFP1の表示部131には無線接続中であることを示す画面D102が表示される。
After wireless connection with the
ユーザーは携帯端末装置2に表示された使い慣れた文字入力ツール205aの文字キーを使用して文字を入力したのち、入力文字を確定すると、確定された文字列がMFP1に送信される。MFP1は、携帯端末2から受信した確定文字列を文字入力エリアに入力する。
When the user inputs a character using the character keys of the familiar
一方、いくつかのMFP1には、上記の図5で説明した文字入力方式(第1の文字入力方式)とは異なる別の文字入力方式(第2の文字入力方式)により、文字入力が可能となっている。なお、以下の説明では、第1の文字入力方式を第1のモード、第2の文字入力方式を第2のモードともいう。
On the other hand, some
この第2のモードを図6を用いて説明する。図6では、左側に携帯端末2の画面を右側にMFP1の画面をそれぞれ示す。
This second mode will be described with reference to FIG. In FIG. 6, the screen of the
図6(A)の右図に示すように、MFP1の表示部131に初期画面D104を表示させた状態で、ユーザーが画面を操作して更新し、図6(B)の右図に示すように、文字入力エリア131aとMFP1の独自の文字入力ツールであるキーボード131bを有する画面を表示させる。つまり、文字入力可能な画面に遷移させる。
6A, with the initial screen D104 displayed on the
この状態で、図6(B)の左図に示すように、携帯端末2の画面D204を操作してMFP1と無線接続すると、図6(C)の左図に示すように、携帯端末2のタッチパネル205に、ユーザーが使い慣れた携帯端末2のIMEに基づく文字入力ツール205cが文字入力エリア205bと共に表示される。この状態では、MFP1と携帯端末2とはまだ同期しておらず、図6(C)の右図に示すように、ユーザーがMFP1の表示画面に表示された「IME入力開始」キー131cをタッチすると、図6(D)に示すように、MFP1と携帯端末2が同期する。また、MFP1の表示部131には、文字入力エリア131aと「端末入力中」のメッセージと「IME入力終了」キー131dが表示される。
In this state, as shown in the left diagram of FIG. 6B, when the screen D204 of the
MFP1と携帯端末2が同期した状態で、ユーザーは携帯端末2に表示された使い慣れた文字入力ツール205cの文字キーを使用して文字を入力すると、入力された文字情報がMFP1に送信され、携帯端末2と同期したMFP1の文字入力エリア131aにも文字が入力される。
When the user inputs characters using the character keys of the familiar
この第2のモードは、MFP1の表示部131の画面を操作しつつ、携帯端末2を外部キーボードのように利用するため、MFP1の設定画面はMFP1の表示部131に、文字入力ツール205cは携帯端末2に表示される。また、MFP1の操作ユーザーと携帯端末2の操作ユーザーは同一であるため、MFP1の設定や画面を維持したまま、携帯端末2側の文字入力ツール205cを利用できる。
In this second mode, since the
このように、文字入力方式として第1のモードと第2のモードが存在するが、携帯端末2にはいずれのモードにも対応するためのアプリケーションが搭載されている。このため、MFP1への文字入力を行う場合は、図7に示すように、第1のモードの選択キーである第1のモードキー205fと第2のモードの選択キーである第2のモードキー205gがタッチパネル205に表示され、いずれかのモードキーを操作して選択するようになっている。
As described above, the first mode and the second mode exist as character input methods, but the
一方、MFP1によっては、第1のモードと第2のモードのいずれにも対応可能なアプリケーションが搭載されている装置もあれば、第1のモードにしか対応しておらず、第2のモードには対応できない装置もある。
On the other hand, depending on the
このような第1のモードにしか対応していないMFP1に、ユーザーが携帯端末2で第2のモードを選択した場合の動作を、図8〜図10を用いて説明する。これらの図において、左側の画面が携帯端末2のタッチパネル205の画面を示しており、右側の図がMFP1の表示部131の画面を示している。
The operation when the user selects the second mode with the
ユーザーは、図8(A)の右図に示すように、MFP1の表示部131に初期画面D104を表示させた状態で該画面を操作して、同図(B)の右図に示すように、画面D108を更新し、さらに操作を行って同図(C)の右図に示すように、文字入力エリア131aとMFP1の独自の文字入力ツールであるキーボード131bを有する文字入力画面D105を表示させる。つまり、文字入力可能な画面に遷移させる。
As shown in the right diagram of FIG. 8A, the user operates the screen with the initial screen D104 displayed on the
この状態で、同図(C)の左図に示すように、ユーザーが携帯端末2のタッチパネル205に表示された画面上の文字入力モードボタン2aを操作する。すると、図9(D)の左図に示すように、第1のモードでの接続連携を要求する第1のモードキー205fと、第2のモードでの接続連携を要求する第2のモードキー205gが表示される。
In this state, the user operates the character
ここで、同図(D)の左図にハッチングで示すように、ユーザーが第2のモードキー205gを選択操作したとする。すると、携帯端末2からMFP1へ第2のモードでの接続連携(第2の文字入力方式による連携)が要求されるが、MFP1は第2のモードに対応していないため、MFP1は前記連携要求に対して対応できない旨の不可通知を携帯端末2に送信する。
Here, it is assumed that the user selects and operates the second mode key 205g as shown by hatching in the left diagram of FIG. Then, the connection cooperation in the second mode (cooperation by the second character input method) is requested from the
この通知を受けて、携帯端末2は同図(E)の左図に示すように、「第2のモードは利用できないこと、第1のモードであれば利用できること、を示すメッセージをタッチパネルに表示すると共に、第1のモードを使用するかどうかの選択キー(YESキーとNOキー)を表示する。このように、第2のモードが選択されたときに、MFP1が第2のモードに対応していない場合は、ユーザーに第1のモードを再選択するかどうかの確認画面が表示されるから、ユーザーはMFP1が第2のモードに対応していないことを容易に認識できる。
Upon receiving this notification, the
ユーザーが第1のモードを使用するためにYESキーを押すと、MFP1へ操作ログ情報を要求し、MFP1は操作ログ情報を携帯端末2に送信する。この操作ログ情報は、ユーザーが表示部131に表示された操作画面に対して行ったタッチ操作の内容を示すものであり、具体的には、タッチされた画面上の位置を示す座標情報と、座標情報に対応する処理内容を含み、MFP1はユーザーによる操作が行われるたびに、これらの座標情報と処理内容をタッチ操作の順に時系列に固定記憶装置110等に記録している。従って、図8(A)〜(C)の右図に示した初期画面から文字入力画面までの各画面についての操作ログ情報も保存されている。
When the user presses the YES key to use the first mode, the
操作ログ情報の取得後、携帯端末2は図9(F)の左図にハッチングで示すように、第1のモードキー205fを押し、MFP1に対して第1のモードでの接続連携(第1の文字入力方式による連携)を要求する。
After acquiring the operation log information, the
第2のモードから第1のモードへの切り替えは、ユーザーの切り替わりを意味し、前記要求を受けてMFP1は最初から第1のモードによる接続連携が要求された場合と同様に、初期画面の画面データを携帯端末2に送信する。
Switching from the second mode to the first mode means switching of the user, and upon receiving the request, the
携帯端末2は初期画面の画面データを受信すると、図10の左図に示すように、この初期画面D202をリモート画面としてタッチパネル205に表示する。なお、以後、MFP1の表示部131には無線接続中であることを示す画面D102が表示される。
When receiving the screen data of the initial screen, the
携帯端末2は、既に取得してあるMFP1の操作ログ情報を解析し、図8(A)〜(C)に示した初期画面D104から文字入力画面D105までの操作ログ情報を抽出する。そして、ユーザーが初期画面D104に対してMFP1で行った操作ログ情報を特定し、その操作ログ情報で示される操作と同じ操作内容のタッチイベントを再生して、MFP1に送信する。
The
なお、初期画面D104から文字入力画面D105までの操作ログ情報の抽出、及びユーザーが初期画面D104に対してMFP1で行った操作ログ情報の特定の仕方は、特に限定されないが、例えば、携帯端末2にMFP1の初期画面D104を予め認識可能に設定しておき、この初期画面D104を基に、操作ログ情報の中から初期画面D104を特定して初期画面D104に対して行われた操作のログ情報を特定し、この特定されたログ情報から最新の操作ログ情報までを抽出することにより行うことができる。
The extraction of operation log information from the initial screen D104 to the character input screen D105 and the method of specifying the operation log information performed by the user on the
タッチイベントを受信したMFP1は、受信したタッチイベントに対応する画面データを生成して携帯端末2に送信すると、携帯端末2は図10(I)の左図に示すように、受信した画面データに基づいてリモート画面D209を更新する。
When the
そして、操作ログ情報の中から、初期画面の次の画面に対して行われた操作ログ情報を特定し、この操作ログ情報で示される操作と同じ操作内容のタッチイベントを再生して、MFP1に送信する。このような操作を繰り返し、第1のモードが直接に選択された場合と同じように、図10(J)の左図に示すような、携帯端末2側の文字入力エリア131aと文字入力ツール131bが表示されるとともに、ハッチングで示したような携帯端末2側の文字入力ツール205aが重ねて表示された文字入力画面D210が、携帯端末2のタッチパネル205に表示される。
Then, the operation log information for the next screen of the initial screen is identified from the operation log information, and the touch event having the same operation content as the operation indicated by the operation log information is reproduced, and the
このように、この実施形態では、第1のモードにしか対応していないMFP1に対して、ユーザーが携帯端末2から第2のモードを選択してMFP1と接続したのち、第1のモードを選択し直した場合において、MFP1から送信される画面データに基づいて携帯端末2に表示されるリモート画面に対して、MFP1から取得した操作ログ情報を基に、ユーザーが操作したのと同じ操作内容のタッチイベントを携帯端末2が自動的に再生してMFP1に送信し、最終的に携帯端末2の文字入力ツール205aを有する文字入力画面D210を自動的に表示する。このため、ユーザーはリモート画面に対するタッチ操作を行う必要はなくなるから、操作性が向上し、使い勝手が良くなる。
Thus, in this embodiment, for the
図11は、第1のモードにしか対応していないMFP1に、ユーザーが携帯端末2で第2のモードを選択した場合のMFP1と携帯端末2との間のやりとりを示すシーケンス図である。
FIG. 11 is a sequence diagram showing an exchange between the
ユーザー操作に基づいて、携帯端末1は第2のモードでの接続連携をMFP1に要求する(ステップS11)。MFP1は、第1のモードにしか対応できない旨の不可通知を携帯端末2に送信する(ステップS12)。
Based on the user operation, the
この不可通知を受けた携帯端末2は、不可通知によりMFP1が第2のモードに対応できないと判断し、MFP1に操作ログを要求し(ステップS13)、MFP1は携帯端末2に操作ログを送信する(ステップS14)。
The
携帯端末2は受信した操作ログから、初期画面から文字入力画面の表示に至るまでのタッチイベントを抽出したのち(ステップS15)、第1のモードでの接続連携を要求する(ステップS16)。この要求を受けて、MFP1は初期画面の画面データを携帯端末2に送信する(ステップS17)。
The
初期画面の画面データを受信した携帯端末2は、操作ログ情報の中から抽出したタッチイベントのうち、初期画面に対して行われたタッチイベントを再生してMFP1に送信する(ステップS18)。このタッチイベントを受信したMFP1は、タッチイベントを実行して次画面を生成するとともに、必要な設定を行う(ステップS19)。そして、生成した画面のデータを携帯端末2に送信する(ステップS20)。
The
携帯端末2は画面データを受信して、操作ログ情報の中から抽出したタッチイベントのうち、該画面に対して行われたタッチイベントを再生してMFP1に送信する(ステップS21)。このようなMFP1からの画面データの送信と携帯端末2からのタッチイベントの送信を繰り返して、最終的に、MFP1は文字入力エリアとMFP自身のIMEに基づく文字入力ツールとを有する文字入力画面を生成するとともに、必要な設定を行い、IMEを起動する(ステップS22)。そして、生成した画面のデータを携帯端末1に送信する(ステップS23)。
The
携帯端末2は、抽出したタッチイベントを全て送信完了していることを確認し、携帯端末2側の文字入力ツールを合成した文字入力画面を表示する(ステップS24)。そして、ユーザーはこの文字入力画面を用いて文字入力を行う(ステップS25)。
The
図12は、ユーザーが携帯端末1で第2のモードを選択したときの携帯端末2の動作を示すフローチャートである。なお、この動作は携帯端末2のCPU201がROM202や固定記憶装置204等の記憶媒体に格納された動作プログラムに従って動作することにより実行される。
FIG. 12 is a flowchart showing the operation of the
ステップS31で、MFP1からの通知に基づいてMFP1が対応できる文字入力方式を判定する。次いで、ステップS32で、第2のモードに対応可能かどうかを判定する。対応可能であれば(ステップS32でYES)、ステップS39で、第2のモードによる接続連携を開始する。従って、この場合は、第2のモードでMFP1に対する文字入力が行われる。
In step S31, a character input method that can be supported by the
第2のモードに対応可能でなければ(ステップS32でNO)、ステップS33で、第1のモードに対応可能かどうかを判定する。対応可能でなければ(ステップS33でNO)、ステップS40で、使用不可のメッセージをタッチパネル205に表示する。
If the second mode cannot be supported (NO in step S32), it is determined in step S33 whether the first mode can be supported. If the response is not possible (NO in step S33), an unusable message is displayed on the
対応可能な場合は(ステップS33でYES)、ステップS34で、第2のモードから第1のモードに切り替えるかどうかの確認画面をタッチパネルに表示する。次いで、ステップS35で、ユーザーが切り替えを選択したかどうか、換言すれば第1のモード選択キー205fを操作したかどうかを判断する。選択しなかった場合は(ステップS35でNO)、処理を終了する。選択した場合は(ステップS35でYES)、ステップS36で、MFP1から操作ログ情報を取得した後、ステップS37で、MFP1と第1のモードでの接続連携を開始する。そして、ステップS38で、タッチイベント復元処理を実行する。
If it is possible (YES in step S33), a confirmation screen as to whether to switch from the second mode to the first mode is displayed on the touch panel in step S34. Next, in step S35, it is determined whether or not the user has selected switching, in other words, whether or not the first mode selection key 205f has been operated. If not selected (NO in step S35), the process ends. If selected (YES in step S35), operation log information is acquired from the
図13は、ステップS38のタッチイベント復元処理のサブルーチンを示すフローチャートである。 FIG. 13 is a flowchart showing a subroutine of the touch event restoration process in step S38.
ステップS381では、操作ログ情報から必要なタッチイベントを抽出し、再生リストを作成する。次いで、ステップS382で、初期画面の画面データを受信したことを確認したのち、ステップS383で、確認結果に基づいて画面データを受信したかどうかを判断する。受信していなければ(ステップS383でNO)、受信するまで待つ。受信していれば(ステップS383でYES)、ステップS384で、再生していないタッチイベントがあるかどうかを、ステップS381で作成した再生リストから判定する。再生していないタッチイベントがあれば(ステップS384でYES)、もっとも古いタッチイベントをMFP1に送信した後、ステップS386で、最も古いタッチイベントを再生リストから削除して、ステップS383に戻る。ステップS383〜S386の動作を画面データが送られてくるたびに行う。再生していないタッチイベントがなくなると(ステップS384でNO)、ステップS387で、携帯端末装置2自身のIMEに基づく文字入力ツールを有する文字入力画面を、タッチパネル205に表示したのち、リターンする。
In step S381, a necessary touch event is extracted from the operation log information, and a reproduction list is created. Next, after confirming that the screen data of the initial screen has been received in step S382, it is determined in step S383 whether screen data has been received based on the confirmation result. If not received (NO in step S383), the process waits until it is received. If it has been received (YES in step S383), in step S384, it is determined from the reproduction list created in step S381 whether there is a touch event that has not been reproduced. If there is a touch event that has not been reproduced (YES in step S384), the oldest touch event is transmitted to the
ユーザーは、この表示された文字入力画面から第1のモードによりMFP1に対する文字入力を行うことができる。
The user can input characters to the
以上、本発明の一実施形態を説明したが、本発明は上記実施形態に限定されることはない。 Although one embodiment of the present invention has been described above, the present invention is not limited to the above embodiment.
例えば、MFP1が第1、第2の文字入力方式に対応しているかどうかを、MFP1からの通知に基づいて判定したが、携帯端末2にMFP1毎に第1、第2の文字入力方式に対応しているかどうかの情報を予め保持しておき、この情報に基づいて、接続先のMFP1が第1、第2の文字入力方式に対応しているかどうかを判定しても良い。
For example, whether or not the
また、MFP1が第1の文字入力方式にのみ対応している場合は、MFP1から操作ログ情報を取得し、初期画面及び初期画面から遷移する各画面の画面データのMFP1からの取得と、操作ログ情報から抽出し再生された各画面に対応するタッチイベントのMFP1への送信とを繰り返して、携帯端末2に自装置の文字入力ツールを有する文字入力画面を表示させる例を示した。
When the
その他の方法として、MFP1の表示部131に文字入力エリア131aとMFP1側の文字入力ツール131bを有する文字入力画面が表示されているときのMFP1の状態を規定する設定データをMFP1が保存しておく。換言すれば、初期画面から順に文字入力画面が表示されるまでのユーザー操作に基づく設定値をMFP1が保存しておき、第1の文字入力方式に切り替えられたときに、MFP1が内部でこの設定値を復元することにより文字入力画面を復元し、その画面データを携帯端末2に送信し、携帯端末2は受信した画面データに自装置の文字入力ツールを合成して第1の文字入力方式による文字入力画面を表示しても良い。
As another method, the
この場合は、画面データとタッチイベントの複数回のやりとりを行う必要はなくなり、短時間で第1の文字入力方式による文字入力画面を携帯端末2に表示することができる。
In this case, it is not necessary to exchange screen data and touch events a plurality of times, and a character input screen by the first character input method can be displayed on the
1 画像処理装置
100 制御部
101 CPU
131 表示部
2 携帯端末装置
201 CPU
202 ROM
203 RAM
205 表示部
206 ワイヤレスLANインターフェース
207 短距離無線インターフェース
DESCRIPTION OF
131
202 ROM
203 RAM
205
Claims (11)
前記画像処理装置は、
タッチパネルを有する表示手段と、
前記表示手段に表示される自装置の操作画面の画面データを前記携帯端末装置に送信する送信手段と、
前記画面データを受信した携帯端末装置でリモート画面として再生された前記操作画面をユーザーが操作したときに、前記携帯端末装置から送信される操作データを受信する受信手段と、
前記受信手段により受信した操作データに基づいて、操作データで指示される画面更新処理を含む処理を実行する処理実行手段と、
を備え、
前記携帯端末装置は、
タッチパネルを有する表示手段と、
前記画像処理装置からの前記画面データに基づいて前記リモート画面を前記表示手段に表示させる表示制御手段と、
前記表示制御手段により前記表示手段に表示される画像処理装置の初期画面から開始される複数のリモート画面に対するユーザーの操作を経て、リモート画面中の文字入力エリアと自装置に搭載された複数の文字キー有する文字入力ツールを合成した文字入力画面を前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記画像処理装置に対する文字入力を行う第1の文字入力手段と、
自装置に搭載された複数の文字キー有する文字入力ツールを前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記第1の文字入力手段とは異なる方式で、前記画像処理装置に対する文字入力を行う第2の文字入力手段と、
前記第1の文字入力手段と前記第2の文字入力手段のいずれで画像処理装置に対する文字入力を行うかを選択する選択手段と、
を備え、
前記携帯端末装置の表示制御手段は、前記第2の文字入力手段が選択されたときに、文字入力対象の画像処理装置が前記第2の文字入力手段に対応しておらず、ユーザーにより前記第1の文字入力手段が再選択された場合、前記画像処理装置と連携して、前記初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、前記第1の文字入力手段における前記文字入力画面を前記表示手段に表示させることを特徴とする文字入力システム。 A character input system comprising an image processing device and a portable terminal device that can be connected to each other,
The image processing apparatus includes:
Display means having a touch panel;
Transmitting means for transmitting screen data of the operation screen of the own device displayed on the display means to the mobile terminal device;
Receiving means for receiving operation data transmitted from the mobile terminal device when a user operates the operation screen reproduced as a remote screen on the mobile terminal device that has received the screen data;
A process execution means for executing a process including a screen update process instructed by the operation data based on the operation data received by the receiving means;
With
The portable terminal device
Display means having a touch panel;
Display control means for displaying the remote screen on the display means based on the screen data from the image processing device;
A character input area in the remote screen and a plurality of characters mounted on the own device through a user operation on a plurality of remote screens started from the initial screen of the image processing apparatus displayed on the display means by the display control means A character input screen in which a character input tool having keys is combined is displayed on the display means, and when a character key of the character input tool is touch-operated by a user, information corresponding to the touch key is transmitted to the image processing apparatus. A first character input means for inputting characters to the image processing apparatus;
A character input tool having a plurality of character keys mounted on the device is displayed on the display means, and when the character key of the character input tool is touch-operated by a user, information corresponding to the touch key is displayed on the image processing device. A second character input means for inputting characters to the image processing device in a manner different from that of the first character input means,
Selecting means for selecting which of the first character input means and the second character input means performs character input to the image processing apparatus;
With
When the second character input unit is selected, the display control unit of the portable terminal device does not correspond to the second character input unit and the image processing device to be character input does not correspond to the second character input unit. When one character input unit is reselected, the first character input unit in the first character input unit does not require an operation by a user of a remote screen started from the initial screen in cooperation with the image processing apparatus. A character input system, wherein a character input screen is displayed on the display means.
前記画像処理装置は、前記初期画面から前記文字入力画面が表示されるまでに行われた複数回のユーザーのタッチ操作情報を保存するログ保存手段を備え、
ユーザーにより前記第1の文字入力手段が再選択されたときに、前記携帯端末装置の表示制御手段は、前記画像処理装置から前記ログ保存手段に保存されたユーザーのタッチ操作情報を取得し、該取得したタッチ操作情報に基づき、前記初期画面から始まる複数のリモート画面に対応するタッチ操作情報を再生して前記画像処理装置に送信することにより、前記第1の文字入力手段における文字入力画面を前記表示手段に表示させる請求項1〜3のいずれかに記載の文字入力システム。 In the image processing device, the portable terminal in a state where a character input screen having a character input area is displayed on the display unit through a plurality of user touch operations starting from an operation on the initial screen displayed on the display unit. When the device and the image processing device are connected, the second character input means of the portable terminal device is enabled,
The image processing apparatus includes a log storage unit that stores touch operation information of a plurality of users performed from the initial screen until the character input screen is displayed.
When the first character input unit is reselected by the user, the display control unit of the portable terminal device acquires user touch operation information stored in the log storage unit from the image processing device, and Based on the acquired touch operation information, the touch operation information corresponding to a plurality of remote screens starting from the initial screen is reproduced and transmitted to the image processing device, whereby the character input screen in the first character input means is The character input system according to claim 1, wherein the character input system is displayed on a display unit.
前記画像処理装置の表示手段に前記文字入力エリアを有する文字入力画面が表示された状態で、前記携帯端末装置と画像処理装置とが接続されることにより、前記携帯端末装置の第2の文字入力手段は有効状態となり、
ユーザーにより前記第1の文字入力手段が再選択されたときに、前記画像処理装置は、前記設定データ保存手段に保存された、文字入力画面が表示されているときの画像処理装置の状態を規定する設定データに基づいて、文字入力画面の画面データを前記携帯端末装置に送信し、
前記携帯端末装置は、送信された前記文字入力画面の画面データに基づいて、前記第1の文字入力手段における文字入力画面を前記表示手段に表示させる請求項1〜3のいずれかに記載の文字入力システム。 The image processing apparatus displays a character input screen having a character input area on the display unit through a plurality of user touch operations starting from an operation on the initial screen displayed on the display unit, and the character input screen is displayed. Comprising setting data storage means for storing setting data defining the state of the image processing apparatus when
When the portable terminal device and the image processing device are connected in a state where the character input screen having the character input area is displayed on the display unit of the image processing device, the second character input of the portable terminal device is performed. The means become active,
When the first character input means is reselected by the user, the image processing apparatus defines the state of the image processing apparatus when the character input screen stored in the setting data storage means is displayed. Based on the setting data to be transmitted, the screen data of the character input screen is transmitted to the mobile terminal device,
The character according to claim 1, wherein the mobile terminal device displays a character input screen in the first character input unit on the display unit based on the transmitted screen data of the character input screen. Input system.
前記画像処理装置は、
タッチパネルを有する表示手段に表示される自装置の操作画面の画面データを前記携帯端末装置に送信する送信ステップと、
前記操作画面の画面データを受信した携帯端末装置でリモート画面として再生された前記操作画面をユーザーが操作したときに、前記携帯端末装置から送信される操作データを受信する受信ステップと、
前記受信ステップにより受信した操作データに基づいて、操作データで指示される画面更新処理を含む処理を実行する処理実行ステップと、
を実行し、
前記携帯端末装置は、
前記画像処理装置からの前記画面データに基づいて前記リモート画面をタッチパネルを有する表示手段に表示させる表示制御ステップと、
前記表示制御ステップにより前記表示手段に表示される画像処理装置の初期画面から開始される複数のリモート画面に対するユーザーの操作を経て、リモート画面中の文字入力エリアと自装置に搭載された複数の文字キー有する文字入力ツールを合成した文字入力画面を前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記画像処理装置に対する文字入力を行う第1の文字入力ステップと、
自装置に搭載された複数の文字キー有する文字入力ツールを前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記第1の文字入力手段とは異なる方式で、前記画像処理装置に対する文字入力を行う第2の文字入力ステップと、
前記第1の文字入力ステップと前記第2の文字入力ステップのいずれで画像処理装置に対する文字入力を行うかを選択する選択ステップと、
を実行し、
前記携帯端末装置の表示制御ステップでは、前記第2の文字入力ステップが選択されたときに、文字入力対象の画像処理装置が前記第2の文字入力ステップに対応しておらず、ユーザーにより前記第1の文字入力ステップが再選択された場合、前記画像処理装置と連携して、前記初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、前記第1の文字入力手段における前記文字入力画面を前記表示手段に表示させることを特徴とする文字入力方法。 A character input method executed by a character input system including an image processing device and a portable terminal device that can be connected to each other,
The image processing apparatus includes:
A transmission step of transmitting screen data of an operation screen of the own device displayed on a display unit having a touch panel to the mobile terminal device;
A receiving step of receiving operation data transmitted from the mobile terminal device when a user operates the operation screen reproduced as a remote screen on the mobile terminal device receiving the screen data of the operation screen;
A process execution step for executing a process including a screen update process instructed by the operation data based on the operation data received by the reception step;
Run
The portable terminal device
A display control step for displaying the remote screen on a display means having a touch panel based on the screen data from the image processing device;
Through a user operation on a plurality of remote screens started from the initial screen of the image processing apparatus displayed on the display means by the display control step, a plurality of characters installed in the character input area in the remote screen and the own apparatus A character input screen in which a character input tool having keys is combined is displayed on the display means, and when a character key of the character input tool is touch-operated by a user, information corresponding to the touch key is transmitted to the image processing apparatus. A first character input step for inputting characters to the image processing apparatus;
A character input tool having a plurality of character keys mounted on the device is displayed on the display means, and when the character key of the character input tool is touch-operated by a user, information corresponding to the touch key is displayed on the image processing device. A second character input step for inputting characters to the image processing device in a manner different from that of the first character input means,
A selection step for selecting whether character input to the image processing apparatus is performed in either the first character input step or the second character input step;
Run
In the display control step of the portable terminal device, when the second character input step is selected, the image processing device targeted for character input does not correspond to the second character input step, and the user performs the first character input step. When one character input step is reselected, the first character input means in the first character input means does not require an operation by a user of a remote screen started from the initial screen in cooperation with the image processing apparatus. A character input method, comprising: displaying a character input screen on the display means.
前記文字入力システムに用いられる画像処理装置と接続するための接続ステップと、
前記画像処理装置の表示手段に表示される画像処理装置の操作画面の画面データを受信する受信ステップと、
前記受信ステップにより受信した前記画面データに基づいて、前記操作画面をリモート画面としてタッチパネルを有する表示手段に表示させる表示制御ステップと、
前記表示制御ステップにより前記表示手段に表示される画像処理装置の初期画面から開始される複数のリモート画面に対するユーザーの操作を経て、リモート画面中の文字入力エリアと自装置に搭載された複数の文字キー有する文字入力ツールを合成した文字入力画面を前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記画像処理装置に対する文字入力を行う第1の文字入力ステップと、
自装置に搭載された複数の文字キー有する文字入力ツールを前記表示手段に表示させ、前記文字入力ツールの文字キーが、ユーザーによりタッチ操作されたとき、タッチキーに対応する情報を前記画像処理装置に送信することにより、前記第1の文字入力手段とは異なる方式で、前記画像処理装置に対する文字入力を行う第2の文字入力ステップと、
前記第1の文字入力ステップと前記第2の文字入力ステップのいずれで画像処理装置に対する文字入力を行うかを選択する選択ステップと、
を実行させ、
前記表示制御ステップでは、前記第2の文字入力ステップが選択されたときに、文字入力対象の画像処理装置が前記第2の文字入力ステップに対応しておらず、ユーザーにより前記第1の文字入力ステップが再選択された場合、前記画像処理装置と連携して、前記初期画面から開始されるリモート画面のユーザーによる操作を必要とすることなく、前記第1の文字入力ステップにおける文字入力画面を前記表示手段に表示させる処理を前記コンピュータに実行させるための文字入力プログラム。 A computer of a mobile terminal device used in the character input system according to any one of claims 1 to 8,
A connection step for connecting to an image processing apparatus used in the character input system;
A receiving step of receiving screen data of an operation screen of the image processing apparatus displayed on the display means of the image processing apparatus;
Based on the screen data received in the receiving step, a display control step for displaying the operation screen on a display unit having a touch panel as a remote screen;
Through a user operation on a plurality of remote screens started from the initial screen of the image processing apparatus displayed on the display means by the display control step, a plurality of characters installed in the character input area in the remote screen and the own apparatus A character input screen in which a character input tool having keys is combined is displayed on the display means, and when a character key of the character input tool is touch-operated by a user, information corresponding to the touch key is transmitted to the image processing apparatus. A first character input step for inputting characters to the image processing apparatus;
A character input tool having a plurality of character keys mounted on the device is displayed on the display means, and when the character key of the character input tool is touch-operated by a user, information corresponding to the touch key is displayed on the image processing device. A second character input step for inputting characters to the image processing device in a manner different from that of the first character input means,
A selection step for selecting whether character input to the image processing apparatus is performed in either the first character input step or the second character input step;
And execute
In the display control step, when the second character input step is selected, the character processing target image processing apparatus does not correspond to the second character input step, and the user inputs the first character input. When the step is reselected, the character input screen in the first character input step is displayed in cooperation with the image processing device without requiring an operation by the user of the remote screen started from the initial screen. A character input program for causing the computer to execute processing to be displayed on the display means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014238421A JP6417894B2 (en) | 2014-11-26 | 2014-11-26 | Character input system, character input method, portable terminal device, and character input program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014238421A JP6417894B2 (en) | 2014-11-26 | 2014-11-26 | Character input system, character input method, portable terminal device, and character input program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016099912A true JP2016099912A (en) | 2016-05-30 |
JP6417894B2 JP6417894B2 (en) | 2018-11-07 |
Family
ID=56077891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014238421A Active JP6417894B2 (en) | 2014-11-26 | 2014-11-26 | Character input system, character input method, portable terminal device, and character input program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6417894B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107122148A (en) * | 2017-03-17 | 2017-09-01 | 广州视源电子科技股份有限公司 | Remote cooperation method and system |
US10652411B2 (en) | 2016-11-25 | 2020-05-12 | Fuji Xerox Co., Ltd. | Remote operation apparatus, remote operation system, and non-transitory computer readable medium storing program with text input assistance |
CN111158503A (en) * | 2019-12-31 | 2020-05-15 | 深圳Tcl新技术有限公司 | Method, device, equipment and storage medium compatible with multi-equipment character input |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003312092A (en) * | 2002-04-24 | 2003-11-06 | Canon Inc | Print controller, print control method, program and storage medium |
JP2012093877A (en) * | 2010-10-26 | 2012-05-17 | Konica Minolta Business Technologies Inc | Remote operation system, remote operation method, and remote operation program |
JP2013031039A (en) * | 2011-07-29 | 2013-02-07 | Konica Minolta Business Technologies Inc | Information processing device and information processing program |
JP2013093651A (en) * | 2011-10-24 | 2013-05-16 | Konica Minolta Business Technologies Inc | Image processing system, image formation device, control method, and control program |
JP2014134868A (en) * | 2013-01-08 | 2014-07-24 | Konica Minolta Inc | Control device, image forming apparatus, image processing system, control method, and control program |
-
2014
- 2014-11-26 JP JP2014238421A patent/JP6417894B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003312092A (en) * | 2002-04-24 | 2003-11-06 | Canon Inc | Print controller, print control method, program and storage medium |
JP2012093877A (en) * | 2010-10-26 | 2012-05-17 | Konica Minolta Business Technologies Inc | Remote operation system, remote operation method, and remote operation program |
JP2013031039A (en) * | 2011-07-29 | 2013-02-07 | Konica Minolta Business Technologies Inc | Information processing device and information processing program |
JP2013093651A (en) * | 2011-10-24 | 2013-05-16 | Konica Minolta Business Technologies Inc | Image processing system, image formation device, control method, and control program |
JP2014134868A (en) * | 2013-01-08 | 2014-07-24 | Konica Minolta Inc | Control device, image forming apparatus, image processing system, control method, and control program |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10652411B2 (en) | 2016-11-25 | 2020-05-12 | Fuji Xerox Co., Ltd. | Remote operation apparatus, remote operation system, and non-transitory computer readable medium storing program with text input assistance |
CN107122148A (en) * | 2017-03-17 | 2017-09-01 | 广州视源电子科技股份有限公司 | Remote cooperation method and system |
CN111158503A (en) * | 2019-12-31 | 2020-05-15 | 深圳Tcl新技术有限公司 | Method, device, equipment and storage medium compatible with multi-equipment character input |
Also Published As
Publication number | Publication date |
---|---|
JP6417894B2 (en) | 2018-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5805519B2 (en) | Image processing system, image receiving apparatus, image processing apparatus, and image processing method | |
JP2013157860A (en) | Image processing system, information terminal device, screen display method, and program | |
JP6044400B2 (en) | TERMINAL DEVICE, TERMINAL DEVICE PROGRAM, SYSTEM, AND SYSTEM CONTROL METHOD | |
JP2011124956A (en) | Information processing apparatus, control method of the same, program, and storage medium | |
JP2008219501A (en) | Image processor, image processing method, and image processing program | |
JP2012119790A (en) | Image processor, information processor, method of controlling image processor, method of controlling information processor, and program | |
JP6003939B2 (en) | Image processing linkage system and linkage method, portable terminal device, and image processing linkage program | |
JP2011124957A (en) | Information processor, method to control the same, program, and memory medium | |
JP5275319B2 (en) | Image processing system, program, and recording medium | |
JP6417894B2 (en) | Character input system, character input method, portable terminal device, and character input program | |
JP2015165651A (en) | Image forming apparatus, image forming system, image forming method, and program | |
JP2005210188A (en) | Information processing system | |
JP6252028B2 (en) | Image processing system, image processing apparatus, and remote screen display control program | |
JP6933020B2 (en) | Image processing equipment, information processing systems, and methods | |
JP5853999B2 (en) | Image forming system, image forming apparatus, remote control device, and program | |
JP6540059B2 (en) | REMOTE PANEL SYSTEM, REMOTE SCREEN DISPLAY METHOD, AND IMAGE PROCESSING APPARATUS | |
JP2017103814A (en) | Image processing apparatus, and method and program for generating screen data | |
US10785376B2 (en) | Image processing apparatus for sending user interface data | |
JP2015158719A (en) | Image forming system, image forming apparatus, remote control device, and program | |
JP2012168819A (en) | Image processing device, and method and program for controlling display of operation screen | |
JP6801398B2 (en) | Information processing equipment and programs installed on the information processing equipment | |
JP2008112414A (en) | Virtual keyboard system, control method thereof and computer program | |
JP6616867B2 (en) | Image receiving apparatus and control method therefor, application program, image processing system and control method therefor | |
JP6443224B2 (en) | Image processing linkage system and linkage method, image processing apparatus, and image processing linkage program | |
JP6367409B2 (en) | Image processing system, image processing method, and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6417894 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |