JP2023015949A

JP2023015949A - 画像形成システムおよび画像形成装置

Info

Publication number: JP2023015949A
Application number: JP2021120051A
Authority: JP
Inventors: 健太東山崎; Kenta Higashiyamazaki
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2021-07-20
Filing date: 2021-07-20
Publication date: 2023-02-01
Also published as: US20230028713A1; US11870965B2

Abstract

【課題】画像形成装置の機種に拘わらず、ユーザーが携帯端末装置を使用して、画像形成装置に所望の動作をさせることを可能とする。【解決手段】携帯端末装置１から画像形成装置２へ撮影画像データおよび操作位置データが送信される。撮影画像データは、携帯端末装置１により画像形成装置２の操作パネルが撮影されて生成された撮影画像を示す画像データであり、操作位置データは、携帯端末装置１において表示された撮影画像に対するユーザー操作が検出された位置を示すデータである。画像形成装置２は、撮影画像データおよび操作位置データを受信し、撮影画像データの示す撮影画像内で操作パネル画像を検出し、操作位置データの示す操作位置を特定し、操作パネル画像に対する操作位置の相対的位置を特定し、その相対的位置に基づいて、ユーザー所望の操作部位を特定し、特定した部位に対応する動作を実行する。【選択図】図１

Description

本発明は、画像形成システムおよび画像形成装置に関するものである。

あるシステムでは、携帯端末装置が、（ａ）画像形成装置の操作パネルを撮影して撮影画像を表示し、（ｂ）操作パネルの撮影画像に対するユーザー操作を検出し、（ｃ）そのユーザー操作に対応する動作コマンドを生成し、（ｄ）生成したコマンドを画像形成装置に送信し、画像形成装置は、その動作コマンドを受信すると、動作コマンドにより指定された動作を行っている（例えば特許文献１参照）。

特開２０１８－１５８４８５号公報

しかしながら、上述のシステムの場合、携帯端末装置は、動作コマンドを生成するために、画像形成装置の操作パネルのレイアウト情報（操作画面の位置、操作キーの位置やサイズなどの情報）をレイアウトデータとして予め保持している必要がある。

一般的に、画像形成装置の操作パネルのレイアウトは、機種によって異なるため、携帯端末装置は、画像形成装置の機種ごとに異なるレイアウトデータを予め保持している必要があり、携帯端末装置へのレイアウトデータのインストールが、画像形成装置の機種ごとに必要になり、ユーザーにとって不便である。

本発明は、上記の問題に鑑みてなされたものであり、画像形成装置の機種に拘わらず、ユーザーが携帯端末装置を使用して、画像形成装置に所望の動作をさせることが可能な画像形成システム、およびその画像形成システムに使用可能な画像形成装置を得ることを目的とする。

本発明に係る画像形成システムは、操作パネルを備える画像形成装置と、前記画像形成装置と通信可能な携帯端末装置とを備える。前記携帯端末装置は、（ａ）前記画像形成装置の前記操作パネルを撮影して撮影画像を生成し、（ｂ）前記撮影画像を表示し、（ｃ）前記撮影画像に対するユーザー操作を検出し、（ｄ）前記撮影画像における前記ユーザー操作の位置を特定し、（ｅ）前記撮影画像を示す撮影画像データおよび前記ユーザー操作の位置を示す操作位置データを前記画像形成装置に送信する。前記画像形成装置は、（ａ）前記撮影画像データおよび前記操作位置データを前記携帯端末装置から受信し、（ｂ）前記撮影画像データの示す前記撮影画像内で操作パネル画像を検出し、前記操作位置データの示す操作位置を特定し、（ｃ）前記操作パネル画像に対する前記操作位置の相対的位置を特定し、（ｄ）前記相対的位置に基づいて、前記操作パネルにおける、ユーザーにより間接的に操作された部位を特定し、（ｅ）特定した前記部位に対応する動作を実行する。

本発明に係る画像形成装置は、ユーザーの携帯端末装置と通信可能な通信装置と、内部装置と、リモート操作処理部とを備える。そして、前記リモート操作処理部は、（ａ）前記通信装置を使用して、撮影画像データおよび操作位置データを前記携帯端末装置から受信し、（ｂ）前記撮影画像データの示す前記撮影画像内で操作パネル画像を検出し、前記操作位置データの示す操作位置を特定し、（ｃ）前記操作パネル画像に対する前記操作位置の相対的位置を特定し、（ｄ）前記相対的位置に基づいて、前記操作パネルにおける、前記ユーザーにより間接的に操作された部位を特定し、（ｅ）前記内部装置を使用して、特定した前記部位に対応する動作を実行する。ここで、前記撮影画像データは、前記携帯端末装置により前記画像形成装置の前記操作パネルが撮影されて生成された撮影画像を示す画像データであり、前記操作位置データは、前記携帯端末装置において表示された前記撮影画像に対するユーザー操作が検出された位置を示すデータである。

本発明によれば、画像形成装置の機種に拘わらず、ユーザーが携帯端末装置を使用して、画像形成装置に所望の動作をさせることが可能な画像形成システム、およびその画像形成システムに使用可能な画像形成装置が得られる。

本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。

図１は、本発明の実施の形態に係る画像形成システムの構成を示す図である。図２は、図１における携帯端末装置１の構成を示すブロック図である。図３は、図１における画像形成装置２の構成を示すブロック図である。図４は、図１および図３における画像形成装置２の操作パネル３２の一例を示す図である。図５は、図４に示す操作パネル３２の撮影画像を表示している携帯端末装置１の一例を示す図である。図６は、図１に示す画像形成システムの動作について説明するシーケンス図である。

以下、図に基づいて本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る画像形成システムの構成を示す図である。図１に示すシステムでは、スマートフォン、タブレットＰＣなどの携帯端末装置１が、画像形成装置２を使用するユーザーにより携帯されている。携帯端末装置１と画像形成装置２とは、無線通信などで互いに通信可能となっている。なお、このシステムでは、複数のユーザーが複数の携帯端末装置１をそれぞれ有し、携帯端末装置１を使用して複数の画像形成装置２を使用可能となっている。

図２は、図１における携帯端末装置１の構成を示すブロック図である。図２に示すように、携帯端末装置１は、無線通信装置１１、表示装置１２、入力装置１３、記憶装置１４、撮影装置１５、および演算処理装置１６を備える。

無線通信装置１１は、所定の無線通信規格の通信回路である。無線通信装置１１は、無線ＬＡＮインターフェイス、ブルートゥース（登録商標）などの近距離無線通信装置、携帯電話網のインターフェイス（ＲＦインターフェイス、ベースバンド部など）である。

表示装置１２は、携帯端末装置１の筐体に配置されている液晶ディスプレイなどの装置であって、各種画面をユーザーに対して表示する。入力装置１３は、ユーザー操作を検出する装置であって、表示装置１２上に配置されたタッチパネル、ハードキーなどを備える。記憶装置１４は、フラッシュメモリーなどの不揮発性の記憶装置であり、プログラムおよびデータを記憶している。撮影装置１５は、イメージセンサーと、イメージセンサーに被写体からの光を結像する光学系とを備え、撮影画像の画像データを生成する。

演算処理装置１６は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有するコンピューターであって、記憶装置１４やＲＯＭからＲＡＭにプログラムをロードして実行して、各種処理部として動作する。この実施の形態では、演算処理装置１６は、撮影処理部２１、および操作情報送信部２２として動作する。

撮影処理部２１は、入力装置に対するユーザー操作に従って、撮影装置１５に撮影を開始させ、リアルタイムで繰り返し、撮影画像（撮影装置１５の光学系の視野で得られる矩形の画像）の画像データを取得して画像データに基づく撮影画像を表示装置１２に表示する。

操作情報送信部２２は、ある時点で、撮影画像に対して所定のユーザー操作（タッチなど）を入力装置１３（例えばタッチパネル）で検出すると、その時点の撮影画像におけるユーザー操作の位置を特定し、その撮影画像を示す撮影画像データおよびそのユーザー操作の位置を示す操作位置データを、無線通信装置１１を使用して、画像形成装置２に送信する。

図３は、図１における画像形成装置２の構成を示すブロック図である。図３に示すように、画像形成装置２は、記憶装置３１、操作パネル３２、演算処理装置３３、プリント装置３４、画像読取装置３５、ファクシミリ装置３６、通信装置３７などを備える。

記憶装置３１は、フラッシュメモリーなどの不揮発性の書換可能な記憶装置である。記憶装置３１には、後述のレイアウトデータ３１ａが予め記憶されている。

操作パネル３２は、筐体の上面前側に配置され、液晶ディスプレイなどの表示装置３２ａ、およびハードキー、タッチパネルなどの入力装置３２ｂを備える。表示装置３２ａは、ユーザーに対して各種画面を表示する。表示装置３２ａに表示されるキー画像およびタッチパネルによりソフトキーが実現される。入力装置３２ｂは、ユーザーにより入力される、ハードキーまたはソフトキーに対するユーザー操作を受け付ける。

図４は、図１および図３における画像形成装置２の操作パネル３２の一例を示す図である。図５は、図４に示す操作パネル３２の撮影画像を表示している携帯端末装置１の一例を示す図である。例えば図４に示すように、操作パネル３２は、入力装置３２ｂとして、アイコン画像をソフトキーとして機能させるタッチパネル３２ｂ１、およびハードキー３２ｂ２を備えている。そして、所定のユーザー操作を従って、携帯端末装置１は、撮影装置１５を使用して、図４に示す操作パネル３２を撮影し、例えば図５に示すように、その撮影画像を表示装置１２に表示する。撮影画像の表示中に、撮影画像内のある位置がユーザーに押下されると、携帯端末装置１は、その押下をタッチパネルで検出し、そのユーザー操作の検出時点で表示されていた操作画像（静止画）を特定し、また、そのユーザー操作（押下）が検出された位置から撮影画像内での操作位置（画素位置）を特定し、操作画像データおよび操作位置データを画像形成装置２へ送信する。

図３に戻り、演算処理装置３３は、ＣＰＵ、ＲＯＭ、およびＲＡＭを有するコンピューターであって、ＲＯＭや図示せぬ記憶装置に記憶されているプログラムをＲＡＭにロードしてＣＰＵで実行することにより、各種処理部として動作する。演算処理装置３３は、コントローラー４１およびリモート操作処理部４２として動作する。

プリント装置３４は、画像データに基づき原稿画像などをプリント用紙にプリントする内部装置である。具体的には、プリント装置３４は、ユーザーのプリント要求により指定された原稿画像をプリントして得られるプリント生成物を出力する。また、画像読取装置３５は、原稿から原稿画像を光学的に読み取り、その原稿画像の画像データを生成する内部装置である。ファクシミリ装置３６は、画像データに基づき原稿画像などのファクシミリ信号を生成し送信するとともに、外部からファクシミリ信号を受信しそのファクシミリ信号から画像データを生成する内部装置である。通信装置３７は、無線または有線のネットワークインターフェイスや近距離無線通信装置などであって、携帯端末装置１との間で、直接的にまたはネットワークを介して間接的に、データ通信を行う内部装置である。

コントローラー４１は、プリント装置３４、画像読取装置３５、ファクシミリ装置３６、通信装置３７などの内部装置を制御して各種処理を実行する。

リモート操作処理部４２は、（ａ）通信装置３７を使用して、上述の撮影画像データおよび操作位置データを携帯端末装置１から受信し、（ｂ）その撮影画像データの示す撮影画像内で操作パネル画像を検出し、その操作位置データの示す操作位置を特定し、（ｃ）特定した操作パネル画像に対する操作位置の相対的位置（操作パネル画像の四隅のいずれかや中心などといった基準位置からの相対的な位置座標値）を特定し、（ｄ）その相対的位置に基づいて、操作パネル３２における、ユーザーにより間接的に（つまり、携帯端末装置１を使用してリモートから）操作された部位を特定し、（ｅ）上述の内部装置を使用して、特定した部位に対応する動作を実行する。

記憶装置３１は、当該画像形成装置２の操作パネル３２のレイアウトを示すレイアウトデータ３１ａを予め記憶しており、リモート操作処理部４２は、そのレイアウトデータ３１ａを参照して、撮影画像内で操作パネル画像を検出し、上述の相対的位置を特定する。

レイアウトデータ３１ａは、操作パネル３２の特徴画像データ、基準サイズでの操作パネル画像内の操作部（ソフトキー、ハードキーなど）の位置およびサイズのデータなどを含む。操作パネル３２の特徴画像データは、特徴画像を示し、撮影画像内で特徴画像を探索して、撮影画像内での操作パネル画像の位置および倍率（基準サイズからの倍率）を特定する。この特徴画像は、操作パネル全体の画像、操作パネルの縁部分を含む部分画像、キー配列を含む部分画像などであって、それらのうちの１つでもよいし複数でもよい。

リモート操作処理部４２は、レイアウトデータ３１ａで指定されている特徴画像を、倍率を変えながら撮影画像内で探索して撮影画像内での操作パネル画像を発見し、撮影画像内での操作パネル画像の位置および倍率を特定し、撮影画像内での操作パネル画像の基準位置から操作位置までの距離（主走査方向および副走査方向の距離）を上述の相対的位置として導出し、特定した倍率に基づいて、その相対的位置を、基準サイズの操作パネル画像での位置に変換し、変換後の操作位置にある操作部（つまり、操作パネル３２における、ユーザーにより間接的に操作された部位）を特定する。

次に、上記画像形成システムの動作について説明する。図６は、図１に示す画像形成システムの動作について説明するシーケンス図である。

携帯端末装置１では、撮影処理部２１は、入力装置１３に対するユーザー操作に従って、撮影装置１５を使用した撮影処理を開始する（ステップＳ１）。これにより、例えば図５に示すように、撮影装置１５で撮影された撮影画像がリアルタイムで表示装置１２に表示される。

操作情報送信部２２は、撮影画像の表示中に、撮影画像に対して所定のユーザー操作（タッチなど）が入力装置１３で検出されたか否かを監視し、ある時点で、そのようなユーザー操作を検出すると（ステップＳ２）、その時点の撮影画像（静止画）およびその撮影画像におけるユーザー操作の位置を特定し（ステップＳ３）、その撮影画像を示す撮影画像データおよびそのユーザー操作の位置を示す操作位置データを、無線通信装置１１を使用して、画像形成装置２に送信する（ステップＳ４）。

画像形成装置２では、リモート操作処理部４２は、通信装置３７によって携帯端末装置１から撮影画像データおよび操作位置データが受信されたか否かを監視しており、撮影画像データおよび操作位置データが受信されると、受信された撮影画像データおよびレイアウトデータ３１ａに基づいて撮影画像内の操作パネル画像を検出して撮影画像内の操作パネル画像の位置および倍率を特定し（ステップＳ５）、その撮影画像内の操作パネル画像の位置および倍率、並びに操作位置データに基づいて、基準サイズの操作パネル画像での操作位置を特定し、その操作位置に基づいて、ユーザー所望の操作（つまり、操作部）を特定する（ステップＳ６）。なお、撮影画像内で操作パネル画像が検出されない場合、および操作位置データに基づく操作位置に操作部がない場合には、その撮影画像データおよび操作位置データは無視される。

リモート操作処理部４２は、このようにしてユーザー所望の操作を特定すると、その操作が検出されたことをコントローラー４１に通知して、その操作に対応する動作（画面遷移、内部装置を使用した各種処理（プリントなど）の実行など）をコントローラー４１に実行させる（ステップＳ７）。

以上のように、上記実施の形態によれば、携帯端末装置１から画像形成装置２へ撮影画像データおよび操作位置データが送信される。ここで、撮影画像データは、携帯端末装置１により画像形成装置２の操作パネル３２が撮影されて生成された撮影画像を示す画像データであり、操作位置データは、携帯端末装置１において表示された撮影画像に対するユーザー操作が検出された位置を示すデータである。そして、画像形成装置２のリモート操作処理部４２は、（ａ）通信装置３７を使用して、撮影画像データおよび操作位置データを携帯端末装置１から受信し、（ｂ）撮影画像データの示す撮影画像内で操作パネル画像を検出し、操作位置データの示す操作位置を特定し、（ｃ）操作パネル画像に対する操作位置の相対的位置を特定し、（ｄ）その相対的位置に基づいて、操作パネル３２における、ユーザーにより間接的に操作された部位を特定し、（ｅ）内部装置を使用して、特定した部位に対応する動作を実行する。

これにより、携帯端末装置１がレイアウトデータを保持しておく必要がないため、画像形成装置２の機種に拘わらず、ユーザーが携帯端末装置１を使用して、画像形成装置２に所望の動作をさせることができる。また、ユーザーが自己の携帯端末装置１を使用して、画像形成装置２に所望の動作をさせることができるため、画像形成装置２の操作パネル３２に触れる必要がなく、近年のウイルスなどに起因する感染症の接触感染を抑制できる。

なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。

例えば、上記実施の形態において、携帯端末装置１は、検出したユーザー操作の軌跡などに基づいて、ユーザー操作の種別（タッチおよびスワイプのいずれか）を特定し、操作位置データとともに、ユーザー操作の種別を示す操作種別データを画像形成装置２に送信し、画像形成装置２のリモート操作処理部４２は、通信装置３７を使用して、操作位置データとともにその操作種別データを携帯端末装置１から受信し、内部装置を使用して、特定した部位、および操作種別データの示すユーザー操作の種別に対応する動作をコントローラー４１に実行させるようにしてもよい。その場合、操作種別がタッチであるときには、上述のように処理され、操作種別がスワイプであるときには、操作位置として、操作開始位置および操作終了位置が特定され、操作開始位置および操作終了位置にある移動可能な操作部（例えば、表示装置３２ａに表示されているスライダーバーにおけるスライダー）に対して、操作部の表示位置を操作終了位置まで移動させ、その操作部の移動に対応する動作をコントローラー実行させる。

本発明は、例えば、画像形成装置に適用可能である。

１携帯端末装置
２画像形成装置
３１記憶装置
３１ａレイアウトデータ
３２操作パネル
３３演算処理装置
３４プリント装置（内部装置の一例）
３５画像読取装置（内部装置の一例）
３６ファクシミリ装置（内部装置の一例）
３７通信装置（内部装置の一例）
４２リモート操作処理部

Claims

操作パネルを備える画像形成装置と、
前記画像形成装置と通信可能な携帯端末装置とを備え、
前記携帯端末装置は、（ａ）前記画像形成装置の前記操作パネルを撮影して撮影画像を生成し、（ｂ）前記撮影画像を表示し、（ｃ）前記撮影画像に対するユーザー操作を検出し、（ｄ）前記撮影画像における前記ユーザー操作の位置を特定し、（ｅ）前記撮影画像を示す撮影画像データおよび前記ユーザー操作の位置を示す操作位置データを前記画像形成装置に送信し、
前記画像形成装置は、（ａ）前記撮影画像データおよび前記操作位置データを前記携帯端末装置から受信し、（ｂ）前記撮影画像データの示す前記撮影画像内で操作パネル画像を検出し、前記操作位置データの示す操作位置を特定し、（ｃ）前記操作パネル画像に対する前記操作位置の相対的位置を特定し、（ｄ）前記相対的位置に基づいて、前記操作パネルにおける、ユーザーにより間接的に操作された部位を特定し、（ｅ）特定した前記部位に対応する動作を実行すること、
を特徴とする画像形成システム。
ユーザーの携帯端末装置と通信可能な通信装置と、
内部装置と、
リモート操作処理部とを備え、
前記リモート操作処理部は、（ａ）前記通信装置を使用して、撮影画像データおよび操作位置データを前記携帯端末装置から受信し、（ｂ）前記撮影画像データの示す前記撮影画像内で操作パネル画像を検出し、前記操作位置データの示す操作位置を特定し、（ｃ）前記操作パネル画像に対する前記操作位置の相対的位置を特定し、（ｄ）前記相対的位置に基づいて、前記操作パネルにおける、前記ユーザーにより間接的に操作された部位を特定し、（ｅ）前記内部装置を使用して、特定した前記部位に対応する動作を実行し、
前記撮影画像データは、前記携帯端末装置により前記画像形成装置の前記操作パネルが撮影されて生成された撮影画像を示す画像データであり、
前記操作位置データは、前記携帯端末装置において表示された前記撮影画像に対するユーザー操作が検出された位置を示すデータであること、
を特徴とする画像形成装置。
不揮発性の記憶装置をさらに備え、
前記記憶装置は、当該画像形成装置の操作パネルのレイアウトを示すレイアウトデータを予め記憶しており、
前記リモート操作処理部は、前記レイアウトデータを参照して、前記撮影画像内で操作パネル画像を検出し、前記相対的位置を特定すること、
を特徴とする請求項２記載の画像形成装置。
前記ユーザー操作の種別は、タッチおよびスワイプを含み、
前記リモート操作処理部は、前記通信装置を使用して、前記操作位置データとともに、前記ユーザー操作の種別を示す操作種別データを、前記携帯端末装置から受信し、
前記内部装置を使用して、特定した前記部位、および前記操作種別データの示す前記ユーザー操作の種別に対応する動作を実行すること、
を特徴とする請求項２または請求項３記載の画像形成装置。