JP2020155030A - 情報処理装置及びプログラム - Google Patents
情報処理装置及びプログラム Download PDFInfo
- Publication number
- JP2020155030A JP2020155030A JP2019055200A JP2019055200A JP2020155030A JP 2020155030 A JP2020155030 A JP 2020155030A JP 2019055200 A JP2019055200 A JP 2019055200A JP 2019055200 A JP2019055200 A JP 2019055200A JP 2020155030 A JP2020155030 A JP 2020155030A
- Authority
- JP
- Japan
- Prior art keywords
- user
- change
- job memory
- image
- image forming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 28
- 230000008859 change Effects 0.000 claims abstract description 132
- 238000012790 confirmation Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 6
- 230000015654 memory Effects 0.000 description 239
- 238000010586 diagram Methods 0.000 description 34
- 230000006870 function Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 21
- 230000007704 transition Effects 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 11
- 238000007726 management method Methods 0.000 description 11
- 238000004140 cleaning Methods 0.000 description 10
- 230000007547 defect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 230000002265 prevention Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000012508 change request Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00352—Input means
- H04N1/00403—Voice input means, e.g. voice commands
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/12—Digital output to print unit, e.g. line printer, chain printer
- G06F3/1201—Dedicated interfaces to print systems
- G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
- G06F3/1203—Improving or facilitating administration, e.g. print management
- G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/12—Digital output to print unit, e.g. line printer, chain printer
- G06F3/1201—Dedicated interfaces to print systems
- G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
- G06F3/1237—Print job management
- G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
- G06F3/1257—Configuration of print job parameters, e.g. using UI at the client by using pre-stored settings, e.g. job templates, presets, print styles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/12—Digital output to print unit, e.g. line printer, chain printer
- G06F3/1201—Dedicated interfaces to print systems
- G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
- G06F3/1292—Mobile client, e.g. wireless printing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optics & Photonics (AREA)
- Facsimiles In General (AREA)
- User Interface Of Digital Computer (AREA)
- Accessory Devices And Overall Control Thereof (AREA)
Abstract
Description
請求項2に記載の発明は、ユーザによるパラメータの変更の指示を、音声入力を通じて受け付ける受付手段を更に有する、請求項1に記載の情報処理装置である。
請求項3に記載の発明は、ユーザが発話したパラメータ名が前記画像形成装置で使用されるパラメータ名と異なる場合、前記受付手段は、発話されたパラメータ名を当該画像形成装置で使用されるパラメータ名に変換する、請求項2に記載の情報処理装置である。
請求項4に記載の発明は、画像の出力後に受け付けたユーザの発話の内容が画像の再出力を求める内容である場合、ユーザとの対話を通じて、推奨されるパラメータの変更内容を提示する、請求項2に記載の情報処理装置である。
請求項5に記載の発明は、変更内容を確定する前に、変更前のパラメータを用いる場合の画像イメージと、変更後のパラメータを用いる場合に想定される画像イメージを対比的に提示する画面をユーザに提示する、請求項4に記載の情報処理装置である。
請求項6に記載の発明は、前記確認手段は、抽出されたパラメータの提示後に、推奨される変更内容をユーザに提示する、請求項1に記載の情報処理装置である。
請求項7に記載の発明は、前記確認手段は、読み出されたパラメータの組み合わせと当該組み合わせに対する変更の履歴に基づいて、前記変更内容の候補を決定する、請求項6に記載の情報処理装置である。
請求項8に記載の発明は、ユーザから受け付けた変更の内容が予め定めた禁止事項に該当する場合、変更を受け付けない旨をユーザに提示する、請求項1に記載の情報処理装置である。
請求項9に記載の発明は、読み出されたパラメータの組み合わせに宛先に関するパラメータが含まれる場合、現在の宛先をユーザに確認する、請求項1に記載の情報処理装置である。
請求項10に記載の発明は、操作の対象とする前記画像形成装置は、ユーザが頭部に装着するメガネ型の端末で撮像される画像に基づいて特定される、請求項1に記載の情報処理装置である。
請求項11に記載の発明は、請求項1に記載の情報処理装置は、ユーザが頭部に装着するメガネ型の端末又は携帯型の端末である。
請求項12に記載の発明は、コンピュータに、操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、初期設定と異なるパラメータを抽出する機能と、抽出されたパラメータをユーザに提示し、変更の希望をユーザに確認する機能とを実行させるプログラムである。
請求項2記載の発明によれば、操作するボタンの位置を正確に覚えている必要がなく、ユーザの作業負担を低減できる。
請求項3記載の発明によれば、操作するボタンの読み名を正確に覚えている必要がなく、ユーザの作業負担を低減できる。
請求項4記載の発明によれば、再出力時のパラメータの変更も効率的に指示できる。
請求項5記載の発明によれば、再出力時のパラメータの変更も効率的に指示できる。
請求項6記載の発明によれば、ユーザの作業負担を低減できる。
請求項7記載の発明によれば、ユーザの作業負担を低減できる。
請求項8記載の発明によれば、ユーザが望まない、又は、組み合わせの目的に反する、又は、機械的に矛盾する変更を未然に防ぐことができる。
請求項9記載の発明によれば、宛先表の内容が知らない間に変更されている場合にも、予期せぬ送信等を未然に防ぐことができる。
請求項10記載の発明によれば、組み合わせ情報を取得する画像形成装置の選択をユーザの視認により実現できる。
請求項11記載の発明によれば、実機を見ながらの操作を効率化できる。
請求項12記載の発明によれば、読み出されたパラメータの組み合わせをユーザが逐一確認する場合に比して、ユーザの意図するパラメータの組み合わせを効率的に作成できる。
<実施の形態1>
<システム構成>
図1は、実施の形態1で想定するシステム構成の一例を説明する図である。実施の形態1で想定するシステムは、用紙などの媒体に画像を形成する画像形成装置10と、画像形成装置10を操作するユーザが携帯する端末装置20とで構成される。
本実施の形態の場合、ユーザは、基本的に、端末装置20を操作の対象とする。換言すると、ユーザは、スタートボタンを除き、画像形成装置10を直接には操作しない。ユーザは、端末装置20を操作し、画像形成装置10にジョブメモリの読み出しと実行を指示する。
本実施の形態における端末装置20には、ユーザによるジョブメモリの特定を支援する機能が用意されている。ここでの端末装置20は、情報処理装置の一例である。
無線LANでは、例えばWi−Fi DIRECT(登録商標)を使用する。Wi−Fi DIRECTは、アクセスポイントとしての画像形成装置10と端末装置20とが一対一に通信するモードである。
NFCでは、複数の規格のうちISO/IEC 14443を使用する。この規格に準拠する機器どうしは、おおよそ10cm以内に近づけることで通信が可能になる。
本実施の形態における端末装置20は、携帯型の端末である。携帯型の端末には、例えばスマートフォン、ウェアラブル端末、ノート型のコンピュータが含まれる。図1では、端末装置20がスマートフォンを例示している。
以下では、画像形成装置10と端末装置20の装置構成を個別に説明する。
図2は、実施の形態1で使用する画像形成装置10の構成例を説明する図である。
画像形成装置10は、原稿の画像を読み取る画像読取ユニット101と、用紙などの媒体に画像を形成する画像形成ユニット102と、画像データが表す画像に色補正や階調補正等の処理を加える画像処理ユニット103と、装置全体の動作を制御する制御ユニット104と、画像データ等を記憶する記憶ユニット105と、ユーザインタフェース画面等の表示に用いられる表示ユニット106と、ユーザの操作を受け付ける操作受付ユニット107と、近距離無線通信その他の通信を実現する通信インタフェース(=通信IF)108を有している。
画像形成ユニット102は、電子写真方式やインクジェット方式等により媒体に画像を形成するユニットであり、画像の形成方式に応じた機構を有している。
画像処理ユニット103は、画像データを処理するための専用のプロセサや処理回路等で構成されている。
制御ユニット104は、CPU(=Central Processing Unit)111と、ファームウェアやBIOS(=Basic Input Output System)等が記憶されたROM(=Read Only Memory)112と、ワークエリアとして用いられるRAM(=Random Access Memory)113とを有している。制御ユニット104は、いわゆるコンピュータとして機能する。なお、ROM112は、不揮発性の書き換え可能な半導体メモリでもよい。
通信インタフェース108は、前述したブルートゥース、無線LAN、NFC等の通信規格に対応するインタフェース回路で構成される。
操作受付ユニット107は、表示ユニット106の表面に配置されるタッチセンサ、スイッチ、ボタン等で構成される。
因みに、制御ユニット104と各ユニット等とは、バス109や不図示の信号線を通じて接続されている。
本実施の形態における制御ユニット104は、ジョブメモリに関する情報(以下「ジョブメモリ情報」ともいう)を管理するジョブメモリ管理モジュール121と、ジョブメモリの実行を管理するジョブメモリ実行管理モジュール122としての機能を有している。
本実施の形態におけるジョブメモリ管理モジュール121は、ユーザ認証により権限が認められたユーザが操作する端末装置20(図1参照)からジョブメモリ名リストが要求された場合、ジョブメモリ名リストを端末装置20に送信する。
また、ジョブメモリ管理モジュール121は、端末装置20側から読み出しを指示された特定のジョブメモリのパラメータリストと対応するデフォルトパラメータリストを、端末装置20に送信する機能も備える。
本実施の形態の場合、パラメータリストとは、ジョブメモリ名に対応付けられて管理される操作名、パラメータ名、パラメータ値である。従って、1つのジョブメモリは、ジョブメモリ名とパラメータリストとで構成される。
また、本実施の形態の場合、デフォルトパラメータリストは、画像形成装置10のメーカ側が用意している又は画像形成装置10の管理者が設定しているパラメータリストをいう。
変更受付期間の長さは、ユーザによる調整が可能である。もっとも、変更の必要性がない場合には、端末装置20から変更受付期間をゼロとする指示が入力されてもよい。
図4は、実施の形態1で使用する端末装置20の構成例を示す図である。
図4に示す端末装置20は、装置全体の動作を制御する制御ユニット201と、画像データ等を記憶する記憶ユニット202と、ユーザインタフェース画面等の表示に用いられる表示ユニット203と、ユーザの操作を受け付ける操作受付ユニット204と、画像を撮像するカメラ205と、ユーザの音声を電気信号に変換するマイク206と、通信インタフェース(=通信IF)207とを有している。
記憶ユニット202は、不揮発性の書き換え可能な半導体メモリ等によって構成される。記憶ユニット202には、例えばカメラ205で撮像された画像データ、マイク206で収録された音声データ、画像形成装置10から読み出したジョブメモリ名リスト、画像形成装置10から読み出したジョブメモリの履歴、画像形成装置10に対するパラメータの設定を支援するアプリケーションプログラムが保存される。
操作受付ユニット204は、表示ユニット203の表面に配置されるタッチセンサ、スイッチ、ボタン等で構成さる。
因みに、制御ユニット201と各ユニット等とは、バス208や不図示の信号線を通じて接続されている。
本実施の形態におけるカメラ205は、静止画像又は動画像による撮像が可能である。
マイク206は、ユーザが発話した音声を電気信号に変換する。マイク206は、音声によるユーザの操作を可能とする。もっとも、操作受付ユニット204による操作の受付を排除しない。
実施の形態における制御ユニット201は、ユーザの音声を認識する音声認識モジュール221と、操作の対象である画像形成装置10(図1参照)からジョブメモリ情報を取得するジョブメモリ情報取得モジュール222と、ユーザの発話した内容に基づいてジョブメモリを検索するジョブメモリ検索モジュール223と、ジョブメモリに保存されているパラメータ値と対応するデフォルト値との差分を抽出する差分抽出モジュール224と、抽出された差分をユーザに提示して確認を求める差分確認モジュール225と、パラメータ値の変更を受け付ける変更受付モジュール226、過去に実行されたジョブメモリの再実行を受け付ける再実行受付モジュール227として機能する。
本実施の形態では、音声認識モジュール221により音声認識の処理を完結しているが、クラウドサービス等を活用して音声認識の結果を取得してもよい。
なお、ユーザは、音声認識モジュール221を使用しない入力を選択することも可能である。音声認識モジュール221を使用しない入力とは、操作画面に表示されるボタン類のタップである。
本実施の形態の場合、ジョブメモリ情報取得モジュール222は、操作の対象とする画像形成装置10との間で通信が確立した時点で、通信対象である画像形成装置10に、ジョブメモリ情報を要求する。なお、通信可能な画像形成装置10が複数存在する場合、ユーザが選択した1台の画像形成装置10が通信対象に設定される。通信対象とする画像形成装置10は、例えば装置名のリストの中から選択される。
なお、ユーザの発話に含まれるパラメータ名やパラメータ値の呼び名は、通信対象とする画像形成装置10で使用されるデフォルトのパラメータ名やパラメータ値の呼び名と異なる場合がある。例えばメーカによって、パラメータ名やパタメータ値の呼び名が異なることがある。例えば複数枚の原稿の縮尺を変更して1枚の用紙にコピーする機能に対応するパラメータ名は、あるメーカでは「まとめて1枚」と呼ばれ、パラメータ値は「2アップ」、「4アップ」等と呼ばれる。
ちなみに、呼び名の対応関係を記録するテーブルは、呼び名の対応関係を機械学習した学習済みモデルとして用意されてもよい。
学習済みモデルは、未知の呼び名に対して最終的に対応付けられた既存の呼び名を教師データとして与え、その対応関係が逐次更新されることが望ましい。
学習済みモデルの更新は、ユーザに固有な学習済みモデルとして、端末装置20(図1参照)内で実行されてもよいし、不特定のユーザの操作履歴を集約する不図示のクラウドサーバにおいて実行されてもよい。ここでのテーブルや学習済みモデルは、変更受付モジュール226も使用する。
また、本実施の形態におけるジョブメモリ検索モジュール223は、変更受付モジュール226との連携により、ユーザが利用する可能性が高い未保存のジョブメモリも検索の結果として表示する機能も有している。この機能は、端末装置20に蓄積されている変更履歴を参照することにより実現される。例えばユーザが保存済みのジョブメモリの一部を変更して用いることが多い場合、未保存である変更後の内容も候補の1つとして画面上に表示される。
実際、ジョブメモリは、多数のパラメータ値の集合として定義される。ジョブメモリ名は、この特徴の理解を容易にする目的で付されている。
例えばデフォルトのパラメータ値が「カラー」、「A4サイズ」であり、ユーザが特定したジョブメモリのパラメータ値が「白黒」、「A5サイズ」である場合、差分確認モジュール225は、差分の情報として「白黒」、「A5サイズ」を抽出する。この場合、差分確認モジュール225は、「白黒でA5に出力します。よろしければ本体のスタートボタンを押してください。」等と画面上に表示する。
提示される差分の情報は、ジョブメモリの特徴を端的に表している。このため、ジョブメモリ名が類似するジョブメモリが複数存在する場合にも、ユーザの意図との違いの確認が効率的になる。差分確認モジュール225は、確認手段の一例である。
本実施の形態における変更受付モジュール226は、指定されたパラメータ値の変更が許容されているか否かを確認する機能も有している。変更が許容されていない場合には、例えば変更が禁止されているパラメータがある。変更が禁止されているパラメータは、ジョブメモリとの関係で定まる場合とユーザの使用環境から定まる場合がある。
ユーザの使用環境から定まる例には、経済性の観点から白黒での出力しか許可されていない場合にパラメータ値がカラーに変更される場合がある。
これらの禁止事項は、画像形成装置10との通信が可能になった状態で端末装置20に通知されてもよいし、変更受付モジュール226の機能の一部として、インストール時に端末装置20に設定されてもよいし、不図示のクラウドサービスとの連携により通知されてもよい。
もっとも、禁止事項に変更を伴う場合にも、画像形成装置10を操作するときには、新たなジョブメモリとしての記録を許可してもよい。
例えば変更受付モジュール226は、変更受付期間を経過した後の変更の指示の受付を拒否する。ジョブメモリの実行が既に開始されているためである。
例えば変更受付モジュール226は、指定されたパラメータ値の変更が対応するジョブメモリの操作名とは無関係なパラメータ値に関する場合、変更の指示の受付を拒否する。例えばジョブメモリの操作名が「メール」である場合に、「ステープルあり」、「穴あけ処理」、「折り処理」等の後処理の追加を指示する変更は拒否される。
なお、画像形成装置10側のジョブメモリ実行管理モジュール122(図3参照)の機能として、ジョブメモリの実行を指示した端末装置20と変更を指示する端末装置20の一致を確認する機能を設けてもよい。この機能は、ジョブメモリの実行を指示した端末装置20とは異なる端末装置20からのパラメータ値の変更を拒否する。
ジョブメモリには、パラメータ値として宛先を含む場合がある。パラメータ値で指定されている宛先とユーザが想定している宛先とが異なっていると、予期せぬ支障が生じる可能性がある。
このため、本実施の形態における変更受付モジュール226には、パラメータ値に宛先が含まれる場合に、画像形成装置10からジョブメモリに対応する宛先表を取得する機能が設けられている。
なお、変更受付モジュール226は、宛先表の連携に関するユーザの操作の結果を操作履歴に追加する。例えばジョブメモリ名と、変更後の宛先表のファイル名と、ユーザとが紐づけられた状態で保存される。
前述したように、ユーザの発話の内容、ユーザが選択したジョブメモリ名、ユーザが指示したパラメータ値の変更の各履歴は、端末装置20の記憶ユニット202(図4参照)に保存され、次回以降のジョブメモリの読み出し時や変更時に利用される。具体的には、履歴に基づいて、ジョブメモリの候補や変更の候補が提示される。なお、提示される候補の内容は、ジョブメモリとして保存されているとは限らない。
なお、新たなジョブメモリとしての保存が希望される場合、変更前のジョブメモリ名を使用することも可能であるが、それではジョブメモリ名が同じジョブメモリが複数保存されることになる。
このため、本実施の形態における変更受付モジュール226は、新たなジョブメモリのデフォルト名として、変更前のジョブメモリ名のパラメータ値に、変更の指示があったパラメータ名を付加した名称を使用する。なお、ユーザは、デフォルト名の変更が可能である。
ここでの判定には、発話の内容として認識された文脈の意図として、ジョブメモリのやり直しが示唆されているか否かが用いられる。発話の内容が例えば「もう一度実行したい」、「もう少しきれいに出したい」、「白黒で出しなおしたい」の場合、ジョブメモリのやり直しが示唆されていると解される。ちなみに「もう一度実行したい」は単純な再実行と解される。一方、「もう少しきれいに出したい」や「白黒で出しなおしたい」は、パラメータ値の変更等を伴う再実行と解される。
発話の内容にパラメータに関する指定が含まれている場合、再実行受付モジュール227は、ユーザの希望を実現するパラメータ値の変更の候補を提示する。ここでの発話の例には、「もう少し濃くしたい」がある。この例では、パラメータ名の「濃さ」に関する指示が含まれている。
この例の場合、再実行受付モジュール227は、推奨されるパラメータ値の変更の候補として、濃度についての「濃く +1」や「薄く −1」等を提示する。
ユーザとの対話により、変更が推奨されるパラメータ名を絞り込む例には、ユーザが「もうちょっときれいに出したいんだけれど。」と発話した場合に、「原稿は何ですか。」と質問する例がある。ここでの「きれい」は、画質に関する内容である。「きれい」を実現するパラメータ値は、原稿の種類によっても異なる。そこで、画質の改善に寄与するパラメータ値を絞り込む手法の1つとして対話を使用する。
図6は、再実行受付モジュール227に設けられている機能構成の一例を説明する図である。図6に示す再実行受付モジュール227は、イメージログの解析により原稿の種類を判別する判別部227Aと、パラメータ値の変更が推奨されるパラメータ名の候補を抽出する抽出部227Bとを有している。
判別部227Aは、イメージログに現れる特徴的なパターンに基づいて原稿の種類を判別する。例えば判別部227Aは、種類別に用意されているパターン画像とイメージログとを比較し、各パターン画像との一致度を計算する。本実施の形態では、原稿の種類として、文字、写真、地図、伝票、冊子を想定する。判別部227Aは、最も一致度が高いパターン画像に基づいて、原稿の種類を特定する。原稿の種類が特定されると、対話形式の手法と同様に画質の改善に寄与するパラメータ値の絞り込みが可能になる。
図7は、原稿の種類とパラメータ名の候補との関係を記憶したテーブルの例を示す図である。
図7に示す例では、原稿の種類の「文字」に対して、原稿の種類と濃度が対応付けられている。また、原稿の種類の「写真」に対して、原稿の種類と彩度又はシャープネスが対応付けられている。また、原稿の種類の「地図」に対して、原稿の種類と濃度が対応付けられている。また、原稿の種類の「伝票」に対して、裏写り防止と濃度が対応付けられている。また、原稿の種類の「冊子」に対して、中消しと枠消しが対応付けられている。
本実施の形態の場合、抽出部227Bは、抽出されたパラメータ名の候補毎に推奨されるパラメータ値を決定して提示する機能も備えている。推奨されるパラメータ値は、直前に実行されたジョブメモリにおけるパラメータ値、ユーザの発話の内容、画像解析の結果等に応じて決定される。
図8は、予測部227Cが使用する不良のパターンの例を説明する図である。図8には、コピー時の汚れの典型パターン231、コピー出力の不正パターン232、コピーがずれるパターン233、薄いパターン234、他のパターンとしてのXXXXパターン235、過去の汚れの実績236が例示されている。なお、不良のパターンとして認識されたイメージログは、過去の汚れの実績236として保存される。
ここでは、コピー時の汚れの典型パターン231の例として、線、筋、点が例示されている。ちなみに、汚れが黒線として現れている場合、ガラス面の汚れが原因と考えられるので、対策としてはガラス面の清掃が提示される。また、汚れが白い筋として現れている場合、対策としてはレーザスキャナの清掃が提示される。
以下では、画像形成装置10と連携する端末装置20の処理動作を説明する。
<希望のパラメータの設定を支援する動作>
図9は、画像形成装置10と端末装置20の連携により実行される処理動作の一例を説明する図である。なお、図中の記号Sは、ステップを意味する。
図9に示す処理動作は、画像形成装置10と端末装置20が無線通信により接続されることで開始される。例えば端末装置20を携帯するユーザが画像形成装置10に近づくことで、端末装置20と画像形成装置10との通信が開始される。前述したように、接続対象の画像形成装置10は1台である。
要求を受信した画像形成装置10は、ジョブメモリ情報を読み出す(ステップ1)。読み出されたジョブメモリ情報は、画像形成装置10から要求元である端末装置20に送信される。同じ空間に複数台の端末装置20が存在しても、ジョブメモリ情報が送信されるのは、ジョブメモリ情報を要求した端末装置20に限られる。
次に、端末装置20は、検索により見つかったジョブメモリの候補を提示する(ステップ3)。ジョブメモリの候補は1つだけ見つかる場合もあれば、複数見つかる場合もある。ジョブメモリの候補の提示は、例えばジョブメモリ名のみ、ジョブメモリ名と代表的なパラメータ値の表示を伴う。表示されるパラメータ値の数は、候補の表示に割り当てられる表示領域のサイズに依存する。
要求を受信した画像形成装置10は、記憶ユニット105(図2参照)から該当するジョブメモリを読み出す(ステップ5)。ジョブメモリの読み出しにより、画像形成装置10には、該当するジョブメモリのパラメータ値が設定される。
本実施の形態の場合、画像形成装置10は、該当するジョブメモリを読み出した時点から変更受付期間を開始し、ジョブメモリの実行を保留する。
一方、ユーザによる特定のジョブメモリの指定を受け付けた端末装置20では、指定されたジョブメモリのパラメータリストとデフォルトパラメータリストとが比較される。
端末装置20は、比較の結果として、ユーザが指定したジョブメモリのパラメータリストとデフォルトパラメータリストとの差分を提示する(ステップ6)。
差分の提示により、指定されたジョブメモリの特徴の把握が容易になる。
ユーザの発話を認識した端末装置20は、認識した変更の可否を確認する(ステップ7)。
変更が可能である場合、端末装置20は、画像形成装置10に対してパラメータの変更を要求する。パラメータの要求を受け付けた画像形成装置10では、要求元の端末装置20が、保留中のジョブメモリを読み出した端末装置20と一致するかを確認する。一致が確認された場合、画像形成装置10は、要求に従ってパラメータを変更する(ステップ8)。この例では、パラメータ値が「1アップ」から「2アップ」に変更される。変更の受付は、画像形成装置10から端末装置20にフィードバックされる。
フィードバックを受信した端末装置20は、変更の受付を提示する(ステップ9)。一方の画像形成装置10は、変更受付期間の経過を待って保留状態を解除し、変更後の内容でジョブを実行する(ステップ10)。なお、変更の指示がない場合には、変更受付期間の経過後に、ステップ5で読み出されたジョブメモリで設定されたパラメータ値に基づいてジョブが実行される。
図10は、画像形成装置10と端末装置20の連携により実行される処理動作の他の一例を説明する図である。なお、図中の記号Sは、ステップを意味する。
前述したように、ユーザは、ジョブメモリを実行した結果、又は、ジョブメモリの一部を変更して実行した結果に満足できない場合がある。図10に示す動作は、実行されたジョブの内容に満足できない場合を想定している。
画像形成装置10と無線通信で接続された端末装置20は、ユーザの発話の内容がジョブメモリの再実行の指示であるか否かを判定している(ステップ21)。再実行の指示であるかは、前述したように、発話された内容の文脈から判定される。ステップ21で否定結果が得られた場合、端末装置20は、次の発話を待ち受ける。
ステップ22で肯定結果が得られた場合、端末装置20は、指定されたパラメータに関するパラメータ値の推奨値を提示する(ステップ23)。例えば濃度のパラメータ値として「+1」、「−1」をユーザの希望に近づけるための推奨値として提示する。
イメージログ等の画像データを利用できない場合にはユーザとの対話により、イメージログ等の画像データを利用できる場合にはイメージログ等の解析により、ユーザが画質の不良を認めた原因が推定される。
原因の推定の後、端末装置20は、パラメータ値の推奨値を提示する、又は、対策を提示する(ステップ24)。
この後、端末装置20は、該当するジョブメモリの読み出しと変更を画像形成装置10に要求する。要求を受信した画像形成装置10は、要求に基づいて、ジョブメモリの読み出しと変更を実行する(ステップ26)。具体的には、読み出したジョブメモリのパラメータ値の一部が要求に従って変更される。変更の受付は、画像形成装置10から端末装置20にフィードバックされる。
フィードバックを受信した端末装置20は、変更の受付を提示する(ステップ27)。一方の画像形成装置10は、変更後の内容でジョブを実行する(ステップ28)。再実行の場合には、変更受付期間が設けられていない。
図11は、画像形成装置10と端末装置20の連携により実行される処理動作の他の一例を説明する図である。なお、図中の記号Sは、ステップを意味する。
図11に示す動作は、例えば図9におけるステップ9に続いて、又は、図10に示すステップ27に続いて実行される。
変更の受付を提示した端末装置20は、変更内容の保存が希望されているか否かを判定する(ステップ31)。
ステップ31で肯定結果が得られた場合、端末装置20は、画像形成装置10に対し、変更後の内容で新たなジョブメモリの保存を要求する。
要求を受信した画像形成装置10は、要求に従い、新たなジョブメモリを保存する(ステップ32)。
図11の例では、ユーザの自発的な発話を前提として変更の保存を判定しているが、端末装置20側から、変更後の内容を新たなジョブメモリとして保存するかを、ユーザに問い合わせてもよい。
以下では、前述した動作の実行に伴い端末装置20に表示される操作画面の例を説明する。
図12は、ユーザの発話の内容からジョブメモリの候補を1つに特定できる場合の操作画面の例を説明する図である。なお、図12に示す操作画面は、ステップ7(図9参照)の時点に対応する。
図12の場合、操作画面の左側に沿って、端末装置20で実行されるアプリケーションプログラムからの発話の内容が表示され、操作画面の右側に沿ってユーザからの発話の内容が表示されている。
端末装置20の操作画面には、この発話の内容が時間順序に表示される。この例では、該当するジョブメモリが1つだけである。このため、ユーザの発話を受け付けた段階で、画像形成装置10に対して「会議用コピー」に対応するジョブメモリの読み出しが要求される。
本実施の形態の場合、「会議用コピー」のパラメータリストとデフォルトパラメータリストとの差分は、カラーモードのパラメータ値と用紙サイズのパラメータ値である。このため、図12の操作画面には、アプリケーションプログラム側からの発話2003として「白黒でA5に出力します。よろしければ本体のスタートボタンを押してください。」が表示されている。
図13は、ユーザの発話の内容に対応するジョブメモリの候補が複数見つかる場合の操作画面の遷移の例を説明する図である。
時点T1の操作画面には、アプリケーションプログラムによる「何かご用ですか?」との発話2011に続き、ユーザによる「コピーがしたい。」との発話2012が表示されている。
時点T2の操作画面には、検索により見つかった候補の提示欄2013と、アプリケーションプログラムによる「いくつか候補が見つかりました。」との発話2014が示されている。時点T2の操作画面は、ステップ3(図9参照)に対応する。
図13の場合、各候補には、該当するジョブメモリのパラメータ値の一部が表示されている。例えば「会議用コピー」には、「白黒」が表示されている。また、「プレゼンコピー」には、「フルカラー」、「ステープル」が表示されている。また、「節約コピー」には、「白黒」、「両面」、「2アップ」が表示されている。この時点で示されるパラメータ値は、デフォルトパラメータリストとの差分ではない。
時点T3の操作画面は、ユーザによる候補の選択の様子を表している。上段の操作画面は、提示欄2013に表示された特定のボタンをタップすることにより、候補の選択を指示する場合に対応する。ここでは、「節約コピー」が選択されている。下段の操作画面は、音声により候補の選択を指示する場合に対応する。図13の例では、「節約コピーで。」との発話2015が表示されている。
図14は、ユーザの発話の内容から見つかったジョブメモリの候補の一部に変更の履歴が多く見つかる場合の操作画面の例を説明する図である。図14に示す操作画面は、図13における時点T2の操作画面に対応する。
図14に示す操作画面は、「節約コピー」のパラメータ値の一部を変更する履歴が、予め定めた基準を満たす場合に表示される。ここでは、パラメータ値を「2アップ」から「4アップ」に変更した履歴の回数が予め定めた閾値を超える場合を想定している。
図中の太線2016は、変更の履歴に基づいて表示された架空の候補である。架空の候補は、画像形成装置10(図1参照)には実在しないが、ユーザが使用する可能性が高い候補である。この候補がユーザに指定された場合、端末装置20は、「節約コピー」の読み出しとパラメータ値の変更とを画像形成装置10に要求することになる。
図15は、見つかった候補のパラメータ値の一部をユーザが変更する場合の操作画面の遷移の例を説明する図である。
時点T1に示す操作画面は、図12に示す操作画面と同じである。時点T1に示す操作画面には、候補のパラメータリストとデフォルトパラメータリストとの差分が表示されている。具体的には、「白黒でA5に出力します。よろしければ本体のスタートボタンを押してください。」と表示されている。この時点で、端末装置20は、画像形成装置10に対して、該当するジョブメモリの読み出しを要求する。
時点T3に示す操作画面は、パラメータ値の変更が画像形成装置10で受け付けられたことを示している。ここでは、アプリケーションプログラム側からの発話2022として「A4に設定しました。」が表示されている。
図16は、複数の候補のうちの1つを選択し、同時にパラメータ値の一部の変更を指示する場合の操作画面の遷移の例を説明する図である。
時点T2に示す操作画面は、図13の時点T2における操作画面と同じである。
時点T3において、ユーザは、音声により指示を与える。図16の場合、ユーザは、候補の選択とパラメータ値の変更を一度に指示している。このため、時点T3における操作画面には、ユーザによる「節約コピー4アップで。」との発話2023が表示されている。この時点で、端末装置20は、画像形成装置10に対して、該当するジョブメモリの読み出しとパラメータ値の変更を要求する。
時点T4に示す操作画面は、パラメータ値の変更が画像形成装置10で受け付けられたことを示している。ここでは、アプリケーションプログラム側からの発話2024として「節約コピーで4アップに設定しました。よろしければスタートボタンを押してください。」が表示されている。
図17は、複数の候補のうちの1つの選択とパラメータ値の一部の変更を指示する場合の操作画面の遷移の例を説明する図である。
時点T1の操作画面には、アプリケーションプログラムによる「何かご用ですか?」との発話2001に続き、ユーザによる「会議用のコピーがしたい。」との発話2002が表示されている。
このため、時点T2の操作画面には、特定されたジョブメモリのパラメータリストとデフォルトパラメータリストとの差分を示す発話2003が表示されている。更に、時点T2の操作画面には、操作の履歴から抽出されたパラメータ値の変更の候補を表す2つのボタン2031及び2032が表示されている。ボタン2031は「カラー」であり、ボタン2032は「A4」である。
この時点で、端末装置20は、画像形成装置10に対して、該当するジョブメモリの読み出しを要求する。
この時点で、端末装置20は、画像形成装置10に対して、パラメータ値の変更を要求する。
なお、パラメータ値は、複数の変更を一度に指示することも可能である。例えば「カラーでA4。」と発話すればよい。また、音声により、操作画面上に表示されていないパラメータ値の変更を指示することも可能である。例えば「片面で。」や「4アップで。」と指示してもよい。
図18は、ジョブメモリのパラメータ値に宛先が含まれる場合の操作画面の遷移の例を説明する図である。
時点T1の操作画面には、アプリケーションプログラムによる「何かご用ですか?」との発話2001に続き、ユーザによる「スキャンしてPC保存」との発話2041が表示されている。
図18の場合、ユーザの発話2041に対応するジョブメモリは1つだけである。
このため、端末装置20は、画像形成装置10に対して、該当するジョブメモリの読み出しを要求している。
前述したように、パラメータ値の宛先とユーザが想定している宛先とが異なると、予期せぬ支障が生じる可能性がある。
時点T2の操作画面は、ユーザに宛先の確認を求める画面の一例である。ここでの操作画面の1行目には、保存先とファイル名の確認欄2042が表示されている。ここでは、保存先として「サーバA」、ファイル名として「fileA」が表示されている。
なお、2行目には、アプリケーションプログラムからの発話2043として「宛先、ファイル名は変更しますか?」が表示されている。
3行目には、ユーザからの発話2044として「宛先表から選びます。」が表示されている。
端末装置20は、ユーザの発話2044を認識すると、画像形成装置10から宛先表を取得する。
なお、2行目には、アプリケーションプログラムからの発話2046として「宛先を選択してください。」が表示されている。
時点T4の操作画面は、ユーザによる宛先の選択の例を示す画面の一例である。ここでは、タップ操作により、ユーザの選択が入力されている。具体的には、「2.納品書フォルダ」が選択されている。なお、画面6(図17参照)のように音声により宛先の選択を入力することも可能である。
ここでは、選択を認識したアプリケーションプログラムからの発話2047として「ファイル名の先頭に「納品書」をつけて保存します。」が表示されている。
この履歴の保存により、次回の提示の簡略化が実現される。
図19の操作画面は、図18の時点T1における操作画面に対応する。図19の操作画面では、前回までの変更の履歴を参照することにより、対話の回数が短縮されている。
図19の場合、アプリケーションプログラムによる「何かご用ですか?」との発話2001に対し、ユーザによる発話2048は「納品書を保存。」である。
発話2048の内容はジョブメモリ名と異なっているが、端末装置20は、発話2048に含まれる「納品書」と「保存」と変更の履歴との照合により、ユーザの希望は「スキャンPC保存」であると推定する。
そこで、図19の例では、アプリケーションプログラムからの発話2049として「納品書フォルダに保存します。よろしいですか?」が表示されている。
この表示は、変更の履歴を用いた候補の提示の一例である。
図20は、パラメータ値の一部が変更されたジョブメモリを新たなジョブメモリとして保存する場合の操作画面の遷移の例を説明する図である。
時点T3に示す操作画面は、図17の時点T3の操作画面に対応する。
前述したパラメータ値の変更は、実行回限りの変更であり、画像形成装置10(図1参照)に保存されているジョブメモリの内容には変更がない。
ここでは、変更後の内容を次回以降の実行に備えて新たなジョブメモリとして画像形成装置10に保存する場合の操作の一例について説明する。
時点T5の場合、フィードバック2051を確認したユーザが、変更されたパラメータ値を反映したジョブメモリの保存を口頭で指示している。具体的には、ユーザの発話2052として「今の保存しておいて。」が表示されている。
ユーザの指示を受け付けた端末装置20は、画像形成装置10に対して、パラメータ値の変更を反映した新たなジョブメモリの保存を要求する。この結果、画像形成装置10には、既存の「会議用コピー」とは用紙サイズの値が異なる新たな「会議用コピー」が保存される。
図20の例では、ユーザの発話2052があった場合に、パラメータ値の変更を反映した新たなジョブメモリの保存を要求しているが、端末装置20側からユーザにパラメータ値の変更を反映した新たなジョブメモリの保存を希望するかを問い合わせてもよい。例えばアプリケーションプログラム側から「新たなジョブメモリとして保存しますか?」と問い合わせてもよい。
図21は、ジョブメモリの再実行を意図する発話があった場合の操作画面の遷移の例を説明する図である。
時点T11は、画像形成装置10(図1参照)において何らかのジョブメモリが実行された後の時点に当たる。
時点T11の操作画面には、アプリケーションプログラムによる「何かご用ですか?」との発話2061に続き、ユーザによる「もうちょっときれいに出したいんだけど。」との発話2062が表示されている。この発話2062は、処理結果の画質に関する内容を含んでいる。
このため、アプリケーションプログラムは、ユーザが再実行を希望していると解析し、推奨されるパラメータ値の提示に必要な情報を問い合わせる。この例では、「原稿は何ですか?」との発話2063とともに、原稿の一覧2064が表示される。一覧2064には、「文字文書」、「写真」、「伝票」、「冊子」、「地図」、「新聞」に対応する6つのボタンが配列されている。
この例では、「伝票」がユーザにより選択されている。
また、操作画面の2行目には、「上記パラメータで実行します。よろしいですか?」との発話2066がアプリケーションプログラムから提示される。この時点で、ユーザから「はい。」との発話があると、端末装置20は、画像形成装置10に対して、該当するジョブメモリの読み出しとパラメータ値の変更を要求する。
時点T13の操作画面は、アプリケーションプログラム側からの発話2066に続いて、ユーザから「裏写りしているようなんだけど。」との発話2067があった場合である。
時点T14の操作画面では、推奨されたパラメータ値の提示欄2065の内容が更新されている。具体的には、「裏写り防止」の項目と、対応するパラメータ値の「オン」が追加されている。
また、操作画面には、「裏写り防止をセットします。よろしいですか?」との発話2068がアプリケーションプログラムから提示される。
この時点で、ユーザから「はい。」との発話があると、端末装置20は、画像形成装置10に対して、該当するジョブメモリの読み出しとパラメータ値の変更を要求する。
なお、再実行に伴う変更の内容は操作の履歴として保存され、次回以降のジョブメモリの読み出しの際に参照される。
図21の場合には、ユーザの発話を利用して推奨されるパラメータ値を推定しているが、ここでは、出力イメージログの利用が可能な場合について説明する。出力イメージログは、出力物のイメージのログである。
図22は、ジョブメモリの再実行を意図する発話があった場合の操作画面の例を説明する図である。
時点T11の操作画面では、アプリケーションプログラムによる「何かご用ですか?」との発話2061に続き、ユーザによる「もうちょっときれいに出したいんだけど。」との発話2062が表示されている。この発話2062は、処理結果の画質に関する内容を含んでいる。
ただし、ここでの操作画面では、出力イメージログを利用できるため、原稿の種類を問い合わせる発話2063(図21参照)はない。
次に、端末装置20は、取得されたパラメータと出力イメージログとに基づいて、出力不良の原因を解析する。
図23は、図22に示す操作画面以降に表示される操作画面の例を説明する図である。
時点T12の操作画面には、解析の結果として推奨されるパラメータ値の提示欄2071が表示される。図23の場合、原稿の種類のパラメータ値として「文字」、濃度のパラメータ値として「濃く+2」、裏写り防止のパラメータ値として「オン」が推奨されている。
時点T13の操作画面では、アプリケーションプログラム側からの発話2072に続いて、ユーザからの「はい。」との発話2074が表示されている。
ユーザから「はい。」との発話があると、端末装置20は、画像形成装置10に対して、該当するジョブメモリの読み出しとパラメータ値の変更を要求する。
ユーザから「お願い」との発話があると、端末装置20は、画像形成装置10に対して、パラメータ値の変更を反映した新たなジョブメモリの保存を要求する。
なお、再実行に伴う変更の内容は操作の履歴として保存され、次回以降のジョブメモリの読み出しの際に参照される。
図24に示す操作画面の例は、図22に続く時点T12に対応する。図23の例は、パラメータ値の変更により画質を改善することが可能な場合であったが、パラメータ値の変更では画質を改善できない場合もある。
ここでは、出力イメージ2081に黒い線状の汚れ2082が含まれている。このため、解析結果として「黒線あり」が出力され、その原因として「ガラス面の汚れ」が予測されている。
このため、ユーザからの「もうちょっときれいに出したいんだけど。」との発話2062に対し、アプリケーションプログラムは、「ガラス面の汚れを取ってください。詳細は以下の動画をご覧ください。http://装置の掃除/」との発話2083を表示している。
図25に示す操作画面も、図22に続く時点T12に対応する。
ここでは、出力イメージ2091に白い線状の筋2092が含まれている。このため、解析結果として「白線あり」が出力され、その原因として「スキャナの汚れ」が予測されている。
このため、ユーザからの「もうちょっときれいに出したいんだけど。」との発話2062に対し、アプリケーションプログラムは、「レーザスキャナを清掃してください。詳細は以下の動画をご覧ください。http://装置の掃除/」との発話2093を表示している。
<システム構成>
前述の実施の形態1においては、端末装置20がスマートフォンである場合を想定していたが、本実施の形態では、端末装置20がウェアラブル端末である場合を想定する。
ウェアラブル端末には、例えば手首装着型のウェアラブル端末、頭部に装着されるメガネ型のウェアラブル端末がある。
メガネ型の端末には、ホログラム光学素子を組み込んだ透明板を使用する透過式と呼ばれる端末がある。ホログラム光学素子は、前方から入射する光を透過する性質と、透明板の内部を伝搬する映像光を屈折してユーザの眼球方向に出力する性質とを有している。このため、メガネ型の端末を装着したユーザは、実在する物体に仮想の画像やテキストを重ねた像を視認することが可能である。
なお、本実施の形態で使用するウェアラブル端末のハードウェア構成や機能構成は、実施の形態1で説明した端末装置20と同じである。
この例は、ユーザが「コピーがしたい。」と発話することで処理が開始される。ユーザの発話を認識したウェアラブル端末は、操作の対象である画像形成装置10を特定するために「利用する画像形成装置を見てください。」との音声を出力する。音声はスピーカから出力される。なお、ウェアラブル端末は、「利用する画像形成装置を見てください。」との文字列をユーザの視界内に表示してもよい。
図中の吹き出し3001は、ユーザが視認している空間のイメージを表している。吹き出し中の枠線3002は、ウェアラブル端末が認識の対象としている物体を表している。この枠線3002は、実空間には存在しない仮想の画像である。このように、実在する物体にコンピュータが作成した仮想の視覚情報を重ねる技術は、拡張現実(=Augmented Reality:AR)又は複合現実(=Mixed Reality:MR)と呼ばれる。
ウェアラブル端末は、仮想の枠線3002で囲まれた範囲の画像を解析して操作の対象である画像形成装置10の機種の大分類を特定する。画像の解析は、ウェアラブル端末内で実行されてもよいし、不図示のクラウドサーバ等が提供する解析サービスを利用してもよい。
<画面1:機種の特定>
図27は、ユーザインタフェース画面の構造の特定に用いられる操作の例を説明する図である。図27に示す吹き出し3001には、ユーザが見ている画像形成装置10の操作パネル3003が描かれている。ウェアラブル端末は、ユーザに操作させたいボタンの位置に仮想の画像3004を表示するとともに「ボタンを押してください。」との仮想の文字列3005を表示する。仮想の文字列は、空間内に浮かぶように表示される。ウェアラブル端末は、ユーザが指定のボタンを操作するたびに、次に操作を求めるボタンの位置に仮想の画像3004を表示する。一連のボタン操作に伴う操作画面の遷移により、画像形成装置10の機種が具体的に特定される。この処理も、ウェアラブル端末内で実行されてもよいし、不図示のクラウドサーバ等が提供する解析サービスを利用してもよい。
図28は、特定された機種をユーザに通知する画面の例を説明する図である。図28の場合、吹き出し3001内には、「画像形成装置を登録しました。ご利用いただけます。」との文字列3006とともに、機種を物理的に特定する情報3007とが表示されている。図28の場合、機械番号は「XXX」であり、アドレスは「YYY」である。
図29は、ユーザがウェアラブル端末を使用してジョブメモリを読み出す場合の操作画面の遷移の例を説明する図である。
時点T21は、ユーザによる「コピーがしたい。」との発話の後の時点に対応する。実施の形態1の場合と同様に、「コピーがしたい。」との発話を検知したウェアラブル端末は、画像形成装置10からジョブメモリ情報を読み出し、ユーザの希望に近いジョブメモリの候補を検索する。
時点T22において、ユーザは、選択する候補の番号を発話している。具体的には「1番」と発話している。この発話の内容は、ウェアラブル端末によって検知される。
時点T23に示す操作画面は、ジョブメモリの選択を受け付けたことをユーザに通知する画面の例である。吹き出し3001には、「白黒でA5に出力します。よろしければ、本体のスタートボタンを押してください。」との文字列3013と、選択されたジョブメモリを示すボタン3014とが表示される。
文字列3013は、図15における時点T1の表示画面と同じく、デフォルトパラメータとの差分を表している。このため、選択したジョブメモリにおけるパラメータ値の設定が自身の希望と一致しているかの確認が容易になる。
ここでは、用紙サイズがユーザの希望とは異なっている。このため、時点T24において、ユーザは、「A4にして。」と発話している。この発話の内容は、ウェアラブル端末において検知される。時点T24は、図15の時点T2に対応する。
時点T25では、ウェアラブル端末からの応答が吹き出し3001に表示される。ここでの吹き出し3001には、「A4に変更しました。」との文字列3013が表示されている。時点T25は、図15の時点T3に対応する。
以下では、ウェアラブル端末を用いて再実行を指示する場合の操作画面の例について説明する。
図31は、ユーザが視認している対象物の画像を通じて不良の原因を解析する手法を説明する図である。
時点T31において、ユーザは「もう少しきれいに出してほしいのだけれど。」と発話し、ジョブメモリの再実行の希望をウェアラブル端末に伝達する。ユーザがウェアラブル端末を装着している場合、出力イメージログを用いなくても、対象物の画像をその場で取得することが可能である。
そこで、時点T32において、ウェアラブル端末は、「原稿と出力されたコピーをもう一度見てもらえますか?」とのメッセージをスピーカから出力する。なお、他の例のように、空間中に仮想の文字列を表示することで、ユーザの行動を促すことも可能である。
時点T34において、ユーザは、ウェアラブル端末を装着した状態で出力されたコピー3022を見る。コピー3022の画像も、ウェアラブル端末に取り付けられているカメラ205によって撮像される。図31の場合、原稿3021の文字は濃く、くっきり表現されているが、コピー3022の文字は薄く、裏写りの症状も認められる。
なお、原稿3021とコピー3022の区別が可能であれば、原稿3021の撮像とコピー3022は一度に撮像されてもよい。また、撮像の順序は、コピー3022が先で、原稿3021が後でもよい。
両方の撮像が確認されると、時点T35に示すように、ウェアラブル端末から「確認しました。しばらくお待ちください。」等のメッセージが出力される。
取り込まれた画像の解析は、出力イメージログを解析する場合と同じである。
図32は、不良の原因の解消に清掃などの対策が必要になる場合におけるガイドの手法を説明する図である。
スマートフォンなどの携帯型の端末装置20(図1参照)を用いる場合、ユーザによる積極的な関与が求められる。例えば対策について公開するURL(=Uniform Resource Locator)へのアクセス、スライドの切り替え、動画像の再生や一時停止等の作業が対策のための作業とは別に必要になる。
一方、ウェアラブル端末を装着している場合、対策の進捗の様子は、カメラ205で撮像される。このため、ユーザは対策に集中することが可能になる。
ウェアラブル端末のカメラ205は、ユーザの作業の様子を撮像している。ウェアラブル端末は、画像の解析の結果を使用して、ユーザの作業の内容と再生中の画像の内容とが一致するように再生を制御する。例えば時点T41では、ユーザに画像形成装置10の扉を開く指示を与えた時点で動画3031の再生を一時停止する。
時点T42では、画像形成装置10の扉が開かれている。そこで、ウェアラブル端末は、動画3031の再生を再開し、トナーカートリッジの本体からの取り外し方を作業中のユーザに案内する。
図33は、画質を改善するために推奨されるパラメータの提示を説明する図である。
ウェアラブル端末を装着しているユーザには、吹き出し3001に示すように、推奨されるパラメータ値のリスト3041とともに、出力されたコピー3042と推奨されるパラメータ値の適用後のイメージ3043とが提示される。
図33の場合、コピー3042の文字は薄く、裏写りの症状も認められる。このため、推奨されるパラメータ値のリスト3041には、原稿の種類のパラメータ値として「文字」、濃度のパラメータ値として「濃く+1」、「裏写り防止」のパラメータ値として「オン」が表示されている。
なお、図33の例では、ウェアラブル端末から「ご覧のパラメータで実行します。よろしいですか?」とのメッセージが出力されている。
図34は、操作すべき又は確認すべきボタン等の位置をユーザに示唆する手法の例を説明する図である。
前述したように、ウェアラブル端末は、操作の対象である画像形成装置10(図1参照)の機種だけでなく、ユーザインタフェース画面の構造に関する情報も取得している。このため、ユーザが実際に視認している操作パネル3051の画像があれば、ユーザが操作すべきボタンの位置も特定が可能である。
アイコン3052の表示により、ユーザは、確認すべきボタンの位置にすぐに気づくことが可能になる。この例では、アイコン3052が表示されている位置のボタンを、ユーザがタップする。
図34の例では、ウェアラブル端末から「ラベル紙を選択し、OKを押してください。」とのメッセージが出力されている。このため、操作パネル3051には、ラベル紙に対応するボタンの上に仮想のアイコン3053が表示され、OKボタンの上に仮想のアイコン3054が表示される。アイコン3053及び3054の表示により、ユーザは、確認すべきボタンの位置にすぐに気づくことが可能である。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。上述の実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
もっとも、前述したアプリケーションプログラムの実行を通じて提供されるサービスは、端末装置20と不図示のサーバとの連携によって実現してもよい。その場合には、連携する端末装置20と不図示のサーバが情報処理装置の一例となる。
Claims (12)
- 操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、初期設定と異なるパラメータを抽出する抽出手段と、
抽出されたパラメータをユーザに提示し、変更の希望をユーザに確認する確認手段と
を有する情報処理装置。 - ユーザによるパラメータの変更の指示を、音声入力を通じて受け付ける受付手段を更に有する、請求項1に記載の情報処理装置。
- ユーザが発話したパラメータ名が前記画像形成装置で使用されるパラメータ名と異なる場合、前記受付手段は、発話されたパラメータ名を当該画像形成装置で使用されるパラメータ名に変換する、請求項2に記載の情報処理装置。
- 画像の出力後に受け付けたユーザの発話の内容が画像の再出力を求める内容である場合、ユーザとの対話を通じて、推奨されるパラメータの変更内容を提示する、請求項2に記載の情報処理装置。
- 変更内容を確定する前に、変更前のパラメータを用いる場合の画像イメージと、変更後のパラメータを用いる場合に想定される画像イメージを対比的に提示する画面をユーザに提示する、請求項4に記載の情報処理装置。
- 前記確認手段は、抽出されたパラメータの提示後に、推奨される変更内容をユーザに提示する、請求項1に記載の情報処理装置。
- 前記確認手段は、読み出されたパラメータの組み合わせと当該組み合わせに対する変更の履歴に基づいて、前記変更内容の候補を決定する、請求項6に記載の情報処理装置。
- ユーザから受け付けた変更の内容が予め定めた禁止事項に該当する場合、変更を受け付けない旨をユーザに提示する、請求項1に記載の情報処理装置。
- 読み出されたパラメータの組み合わせに宛先に関するパラメータが含まれる場合、現在の宛先をユーザに確認する、請求項1に記載の情報処理装置。
- 操作の対象とする前記画像形成装置は、ユーザが頭部に装着するメガネ型の端末で撮像される画像に基づいて特定される、請求項1に記載の情報処理装置。
- 請求項1に記載の情報処理装置は、ユーザが頭部に装着するメガネ型の端末又は携帯型の端末である。
- コンピュータに、
操作の対象とする画像形成装置に保存されている、画像の形成に関するパラメータの組み合わせ情報のうち、初期設定と異なるパラメータを抽出する機能と、
抽出されたパラメータをユーザに提示し、変更の希望をユーザに確認する機能と
を実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019055200A JP7263869B2 (ja) | 2019-03-22 | 2019-03-22 | 情報処理装置及びプログラム |
US16/558,161 US11625200B2 (en) | 2019-03-22 | 2019-09-02 | Information processing device, mobile terminal, and non-transitory computer readable medium for parameter presentation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019055200A JP7263869B2 (ja) | 2019-03-22 | 2019-03-22 | 情報処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020155030A true JP2020155030A (ja) | 2020-09-24 |
JP7263869B2 JP7263869B2 (ja) | 2023-04-25 |
Family
ID=72514132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019055200A Active JP7263869B2 (ja) | 2019-03-22 | 2019-03-22 | 情報処理装置及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11625200B2 (ja) |
JP (1) | JP7263869B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022113031A (ja) * | 2021-01-22 | 2022-08-03 | ソフトバンク株式会社 | 制御装置、プログラム、システム及び制御方法 |
WO2023042277A1 (ja) * | 2021-09-14 | 2023-03-23 | ファナック株式会社 | 操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022134860A (ja) * | 2021-03-04 | 2022-09-15 | シャープ株式会社 | 画像形成装置、制御方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002351653A (ja) * | 2001-05-29 | 2002-12-06 | Canon Inc | 音声処理装置、および、音声処理方法 |
JP2010049432A (ja) * | 2008-08-20 | 2010-03-04 | Konica Minolta Business Technologies Inc | 表示画面制御装置およびその方法並びに情報処理装置 |
JP2014142873A (ja) * | 2013-01-25 | 2014-08-07 | Fuji Xerox Co Ltd | 制御装置、電子機器、画像形成装置及びプログラム |
JP2014149680A (ja) * | 2013-02-01 | 2014-08-21 | Konica Minolta Inc | 印刷設定装置及びプレビュー表示制御プログラム |
JP2016126403A (ja) * | 2014-12-26 | 2016-07-11 | 京セラドキュメントソリューションズ株式会社 | 表示入力装置及びこれを備えた画像形成装置 |
JP2016206617A (ja) * | 2015-04-28 | 2016-12-08 | 京セラドキュメントソリューションズ株式会社 | 表示システム |
JP2018046416A (ja) * | 2016-09-14 | 2018-03-22 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
JP2018157241A (ja) * | 2017-03-15 | 2018-10-04 | 株式会社リコー | 画像処理装置、及びプログラム |
JP2018207188A (ja) * | 2017-05-31 | 2018-12-27 | 株式会社沖データ | 画像形成方法及び画像形成装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4433049B2 (ja) * | 2007-12-28 | 2010-03-17 | ブラザー工業株式会社 | 情報処理装置、情報処理方法及びプログラム。 |
JP5505657B2 (ja) * | 2011-08-25 | 2014-05-28 | コニカミノルタ株式会社 | ジョブ設定登録装置および画像処理装置 |
JP6197450B2 (ja) * | 2013-07-31 | 2017-09-20 | ブラザー工業株式会社 | 情報処理装置、プログラム及び情報処理システム |
JP5987031B2 (ja) * | 2014-08-26 | 2016-09-06 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置及び画像形成システム |
JP7250471B2 (ja) * | 2018-10-17 | 2023-04-03 | キヤノン株式会社 | 情報処理システム、画像形成装置、端末、情報処理方法、プログラム |
JP2020095495A (ja) * | 2018-12-13 | 2020-06-18 | キヤノン株式会社 | 情報処理装置、プログラム及び制御方法 |
-
2019
- 2019-03-22 JP JP2019055200A patent/JP7263869B2/ja active Active
- 2019-09-02 US US16/558,161 patent/US11625200B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002351653A (ja) * | 2001-05-29 | 2002-12-06 | Canon Inc | 音声処理装置、および、音声処理方法 |
JP2010049432A (ja) * | 2008-08-20 | 2010-03-04 | Konica Minolta Business Technologies Inc | 表示画面制御装置およびその方法並びに情報処理装置 |
JP2014142873A (ja) * | 2013-01-25 | 2014-08-07 | Fuji Xerox Co Ltd | 制御装置、電子機器、画像形成装置及びプログラム |
JP2014149680A (ja) * | 2013-02-01 | 2014-08-21 | Konica Minolta Inc | 印刷設定装置及びプレビュー表示制御プログラム |
JP2016126403A (ja) * | 2014-12-26 | 2016-07-11 | 京セラドキュメントソリューションズ株式会社 | 表示入力装置及びこれを備えた画像形成装置 |
JP2016206617A (ja) * | 2015-04-28 | 2016-12-08 | 京セラドキュメントソリューションズ株式会社 | 表示システム |
JP2018046416A (ja) * | 2016-09-14 | 2018-03-22 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
JP2018157241A (ja) * | 2017-03-15 | 2018-10-04 | 株式会社リコー | 画像処理装置、及びプログラム |
JP2018207188A (ja) * | 2017-05-31 | 2018-12-27 | 株式会社沖データ | 画像形成方法及び画像形成装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022113031A (ja) * | 2021-01-22 | 2022-08-03 | ソフトバンク株式会社 | 制御装置、プログラム、システム及び制御方法 |
WO2023042277A1 (ja) * | 2021-09-14 | 2023-03-23 | ファナック株式会社 | 操作訓練装置、操作訓練方法、およびコンピュータ読み取り可能な記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
US11625200B2 (en) | 2023-04-11 |
US20200301622A1 (en) | 2020-09-24 |
JP7263869B2 (ja) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10917369B2 (en) | Information processing apparatus, information processing system, and information processing method | |
US11355106B2 (en) | Information processing apparatus, method of processing information and storage medium comprising dot per inch resolution for scan or copy | |
EP3660661A1 (en) | Information processing system, method of processing information and carrier means | |
JP7263869B2 (ja) | 情報処理装置及びプログラム | |
JP2020087376A (ja) | 情報処理装置、情報処理システム、および方法 | |
US20210392236A1 (en) | Image forming system and image forming apparatus | |
US20200076969A1 (en) | Image forming system equipped with interactive agent function, method of controlling same, and storage medium | |
JP2024109559A (ja) | 画像処理システム、及びその制御方法 | |
US20220129211A1 (en) | Converting voice command into text code blocks that support printing services | |
EP3716040A1 (en) | Image forming apparatus and job execution method | |
JP2021092982A (ja) | 画像処理システム、画像処理装置、画像処理方法 | |
US11647129B2 (en) | Image forming system equipped with interactive agent function, method of controlling same, and storage medium | |
US20200153983A1 (en) | Information processing system, information processing apparatus, job control method, and job control program | |
JP7375427B2 (ja) | 音声設定システム、音声設定支援プログラムおよび音声設定支援装置 | |
CN111708507B (zh) | 声音信息处理装置以及记录介质 | |
JP7286321B2 (ja) | 情報処理システム、情報処理装置、制御方法、プログラム | |
JP6992332B2 (ja) | 画像処理システム、画像処理装置、端末装置及びプログラム | |
JP7383885B2 (ja) | 情報処理装置及びプログラム | |
JP2021113899A (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP2020201911A (ja) | 情報処理システム、情報処理装置、情報処理方法 | |
JP2020141385A (ja) | ジョブ生成装置、画像処理装置、ジョブ生成方法およびジョブ生成プログラム | |
JP2014239275A (ja) | 情報処理システム及び情報処理装置 | |
US11178296B2 (en) | Multifunctional system via assistive computing devices | |
JP7447458B2 (ja) | 制御装置、制御システム及び制御プログラム | |
JP2020087382A (ja) | 情報処理システム、プログラムおよび情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7263869 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |