JP2020017839A - スキャンシステム、スキャンプログラムおよび機械学習装置 - Google Patents

Abstract

【課題】ユーザーの使い勝手を向上させる。【解決手段】スキャンを行った画像に対してスキャンを伴う処理の設定を対応づけた教師データによって機械学習された学習結果に基づいて、プレビュースキャンで読み取った画像に対応する第１設定を導出し、スキャンを伴う前記処理の設定を前記第１設定とする設定部と、前記第１設定に基づいてスキャンを伴う前記処理を実行する実行部と、を備えるスキャンシステムを構成する。【選択図】図１

Description

本発明は、スキャンシステム、スキャンプログラムおよび機械学習装置に関する。

従来、各種の選択を行うことが可能なユーザーインターフェースが知られている。例えば、特許文献１においては、ユーザーの操作に応じて複数の選択肢のそれぞれについて表示の有無を決定することが可能な技術が開示されている。

特開２００８−３０５２６４号公報

従来の技術においては、ユーザーインターフェースの表示態様を規定するためにユーザー自らが操作を行う必要があり、使い勝手が悪かった。
本発明は、ユーザーの使い勝手を向上させることを目的とする。

上記目的を達成するためのスキャンシステムは、スキャンを行った画像に対してスキャンを伴う処理の設定を対応づけた教師データによって機械学習された学習結果に基づいて、プレビュースキャンで読み取った画像に対応する第１設定を導出し、スキャンを伴う処理の設定を第１設定とする設定部と、第１設定に基づいてスキャンを伴う処理を実行する実行部と、を備える。以上の構成によれば、ユーザーが自ら操作しなくても、スキャンを伴う処理に関する設定を行うことができる。従って、ユーザーの使い勝手を向上させることができる。

さらに、第１設定に含まれる設定の優先順位を既定の順位よりも上げ、優先順位に応じた位置に表示された複数の設定をユーザーが選択可能な画面を表示させる表示制御部を備え、実行部が、画面で選択された設定に基づいてスキャンを伴う処理を実行する構成であっても良い。この構成によれば、ユーザーは、優先順位に従って表示された設定を選択することにより、所望の設定でスキャンを伴う処理を実行させることができる。

さらに、スキャンを伴う処理の設定が同一の画像について複数回変更された場合、最後に行われた設定が当該画像に対して対応づけられて教師データとされる構成であっても良い。この構成によれば、画像について実際に採用された設定を学習に反映させることができる。

さらに、画像に対してプレビュースキャンが行われた後にスキャンを伴う処理の設定が変更された場合、最後に行われた設定が当該画像に対して対応づけられて教師データとされる構成であっても良い。この構成によれば、プレビュースキャンが行われた後に実際に採用された設定を学習に反映させることができる。

さらに、スキャンを行った画像に対してスキャンを伴う処理の設定を対応づけた教師データを取得する教師データ取得部と、教師データに基づいて、画像を入力し、スキャンを伴う処理の設定を出力するモデルを機械学習する学習部と、を備える機械学習装置が構成されても良い。この構成によれば、画像に適した設定を自動的に導出するモデルを学習することができ、当該モデルによる設定の導出を行うことにより、ユーザーが自ら操作しなくても、スキャンを伴う処理に関する設定を行うことができる。従って、ユーザーの使い勝手を向上させることができる。

複合機の構成を示すブロック図。 第１画面の表示例を示す図。 第２画面の表示例を示す図。 第２画面の表示例を示す図。 第１画面の表示例を示す図。 表示制御処理を示すフローチャート。 機械学習処理を示すフローチャート。 ニューラルネットワークの構造を模式的に示す図

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）複合機の構成：
（２）表示制御処理：
（３）機械学習処理：
（４）他の実施形態：

（１）複合機の構成：
図１は、本発明の実施形態にかかる複合機１の構成を示すブロック図である。複合機１は、プロセッサー１０と、不揮発性メモリー２０と、表示装置３０と、通信部４０と、印刷部５０と、読取部６０とを備える。プロセッサー１０は、図示しないＣＰＵやＲＯＭやＲＡＭ等を備え、不揮発性メモリー２０に記録された種々のプログラムを実行し複合機１の各部を制御することができる。

表示装置３０は、タッチパネルディスプレイであり、表示パネルと、表示パネルに重ねられたタッチパネルとを備える。表示装置３０は、プロセッサー１０の制御に従って様々な情報を表示パネルに表示する。本実施形態においてプロセッサー１０は、複合機１に設定可能な各種設定の選択肢を含み、ユーザーがタッチすることで選択肢を選択可能なユーザーインターフェースを表示装置３０に表示させることができる。

また、表示装置３０はタッチパネルに対する人の指やスタイラス等による接触（以後タッチと呼ぶ）を検出する検知機構を備え、タッチ位置をプロセッサー１０に出力する。プロセッサー１０は、検知機構から取得した上記の情報に基づいて表示装置３０に対するユーザーの操作内容を取得することができ、当該操作内容に対応する処理を実行することができる。

通信部４０は、複合機１に装着された各種のリムーバブルメモリーや、有線または無線で複合機１に接続された機器と通信するためのインターフェース回路を含む。プロセッサー１０は、当該通信部４０を介して接続された機器に記録されたファイルを印刷対象として取得することができる。また、通信部４０は、インターフェース回路を介して外部の装置（複合機等）と通信することが可能であり、複合機１と外部の装置との間でＦＡＸ文書の送受信を行うこと可能である。

印刷部５０は、インクジェット方式や電子写真方式等の周知の印刷方式で種々の印刷媒体に印刷を実行するためのアクチュエーターやセンサー、駆動回路、機械部品等を備えている。本実施形態において、印刷部５０は、複数のトレイのそれぞれに原稿を蓄積することが可能である。印刷部５０は、各トレイに蓄積された原稿を一枚ずつ選び出し、搬送経路内を搬送し、搬送の過程で印刷された原稿を排出する搬送機構を有している。なお、本実施形態においては、印刷部５０が備えるトレイから選び出されて印刷される原稿を出力原稿と呼び、その大きさを出力原稿サイズと呼ぶ。

読取部６０は、原稿の読み取りを行うための装置、例えば、周知のカラーイメージセンサーや光源、原稿を搬送するためのアクチュエーターや駆動回路や原稿のサイズを検出するためのセンサー、機械部品等を備えている。読取部６０は、原稿台にセットされた原稿を一枚ずつ選び出し、搬送経路内を搬送し、光源からの光が照射されることによってスキャンされた後の原稿を排出する搬送機構を有している。なお、本実施形態において、読取部６０は、原稿の片面または両面を読み取ることができる。また、本実施形態においては、読取部６０が備える原稿台にセットされた原稿をセット原稿と呼び、その大きさをセット原稿サイズと呼ぶ。

本実施形態においてプロセッサー１０は、読取部６０を制御して読取部６０の原稿台にセットされたセット原稿をスキャンし、印刷部５０を制御してスキャンした画像を出力原稿に印刷することができる。すなわち、複合機１はコピー機能を有している。この意味で、印刷部５０と読取部６０とプロセッサー１０とは、コピー装置を構成していると言える。複合機１においては、コピー以外の機能も実行可能であるが、以後においては主にコピー機能について着目して実施形態を説明する。

不揮発性メモリー２０には、プロセッサー１０が実行する図示しないプログラムや設定データ２０ａ、教師データ２０ｂ、学習済モデル２０ｃが記録される。設定データ２０ａは、複合機１において各種の処理を実行する際の設定を示すデータである。本実施形態において設定は、複数の項目のそれぞれから選択されたパラメーターである。例えば、コピー機能であれば、出力原稿に記録される記録材の色や、印刷濃度、画像の種類、出力原稿サイズ、コピー倍率、印刷面、割り付け、綴じ位置等の項目について設定が可能である。

また、記録材の色としては、モノクロ、カラーのいずれかを設定可能である。印刷濃度としては、記録材の濃さを示す数値（例えば、基準からの相対値（％）を示す値等）を設定可能である。画像の種類としては、文字のみ、文字と写真との混在、写真のみのいずれかを設定可能である。出力原稿サイズとしては、出力原稿の大きさ（Ａ４，Ａ３，Ｂ４，Ｂ５等）を設定可能である。本実施形態において、出力原稿はトレイに蓄積され、トレイの選択と出力原稿サイズの選択とが同等の意味をなすため、出力原稿サイズの設定がトレイの設定であっても良い。また、トレイには各種の種類の印刷媒体を蓄積可能であるため、トレイの選択が出力原稿の大きさと種類の設定に該当すると見なされても良い。

本実施形態において複合機１は、トレイ１〜トレイ５の計５個のトレイを備えているため、最大５種類の大きさの出力原稿を予め複合機１に蓄積することができる。しかし、トレイ１〜トレイ５に蓄積されていない大きさの出力原稿を使用したければ、ユーザーはトレイ１〜トレイ５のいずれかに所望の大きさの出力原稿をセットする必要がある。

本実施形態において、トレイ１〜トレイ５は引き出しのように引き出して内部の原稿を交換可能な機構であり、機械的な部品を有している。従って、トレイ１〜トレイ５に蓄積されていない大きさの原稿を出力原稿としたければ、ユーザーは、トレイ１〜トレイ５のいずれかを引き出して原稿をセットする作業、すなわち、複合機１の機械的な状態を変化させる作業が必要である。

本実施形態において、トレイ１〜トレイ５のいずれかに蓄積された出力原稿が変更されることなく利用される場合、複合機１の機械的な状態を変化させずに複合機１を動作させることが可能である。このため、トレイ１〜トレイ５のいずれかに蓄積された出力原稿をそのまま利用することを意図してトレイ１〜トレイ５の選択肢が選択された場合、複合機１の機械的な状態を変化させずに複合機１を動作させることが可能な選択肢が選択されたことになる。

一方、トレイ１〜トレイ５のいずれかが引き出され、既存の原稿と異なる原稿がセットされた上で利用される場合、複合機１の機械的な状態を変化させてから複合機１を動作させることになる。このため、トレイ１〜トレイ５のいずれかが引き出され、既存の原稿と異なる原稿がセットされた上でトレイ１〜トレイ５の選択肢が選択された場合、複合機１の機械的な状態を変化させた複合機１を動作させることが可能な選択肢が選択されたことになる。

コピー倍率としては、画像を変倍する倍率を示す値を設定可能である。倍率は、任意の値であっても良いし固定の値であっても良いが、本実施形態においては、等倍（倍率１００％）、自動（出力原稿サイズ／セット原稿サイズ）、既定の原稿サイズから変倍する既定の倍率のいずれかを設定可能である。ここで、規定の原稿サイズは、各種の規格で決められた原稿サイズであり、本実施形態においては、Ａ４，Ａ３，Ｂ４，Ｂ５等である。従って、既定の原稿サイズから変倍する既定の倍率としては、Ａ３からＡ４に縮小する倍率（７０％）やＢ４からＢ５に拡大する倍率（１４１％）等が上げられる。

印刷面としては、セット原稿の表裏の画像を出力原稿の表裏のいずれに印刷するのかを設定可能である。例えば、片面から片面への印刷や片面から両面への印刷等を設定可能である。割り付けとしては、原稿の一面に対して何枚分の画像を割り付けるのかを設定可能である。例えば、一面に対して１枚分の画像を割り付ける通常の設定や、一面に対してｎ枚分のセット原稿の画像（ｎは２以上の整数）を割り付けるｎイン１の設定等を選択可能である。綴じ位置としては、複数部の印刷を行った場合に綴じるべき部分を設定可能である。例えば、左上、左、上、左下等に綴じ位置を設定可能であり、綴じ位置によって裏面への画像の割り付けが変化し得る。

むろん、各種の項目において、設定が自動的に行われる状態であっても良く、この場合、複合機１が備えるセンサーによって検出した情報（例えば、セット原稿サイズ等）やデフォルト等によって設定が行われればよい。設定データ２０ａは、以上のような各項目のそれぞれについて現在選択中の設定を示す値を対応づけたデータである。すなわち、各設定に数値を対応づけることで選択中の設定を示す設定データ２０ａが定義され、不揮発性メモリー２０に記録される。

教師データ２０ｂは、スキャンされた画像を示すデータと、当該画像に基づいてスキャンを伴う処理を行う際の設定とを対応づけたデータである。学習済モデル２０ｃは、入力データと出力データとの対応関係を導出する式を示す情報であり、本実施形態においては画像データを設定に対応づけるモデルである。学習済モデル２０ｃは、機械学習後に得られたモデルである。すなわち、訓練モデルが機械学習によって訓練され、既定の学習終了基準を満たしたことによって得られたモデルが学習済モデル２０ｃである。

プロセッサー１０は、不揮発性メモリー２０に記録された種々のプログラムによって複合機１の各部を制御する。これらのプログラムには、複合機１におけるスキャンを制御するスキャンプログラムが含まれている。スキャンプログラムには、表示装置３０における表示を制御する表示プログラムが含まれている。これらのプログラムの機能により、複合機１は、表示制御装置、スキャンシステムとしても機能する。また、本実施形態においては、複合機１が実行する処理についての設定が行われるため、複合機１が設定対象装置である。

表示装置３０においては種々の表示対象を表示させることができるが、本実施形態においては、複合機１における各種の設定を行うためのユーザーインターフェースを表示することが可能である。以下においては、コピーの設定を例にして設定を行うためのユーザーインターフェースを説明する。

スキャンを行うためにプロセッサー１０はスキャンプログラムを実行し、スキャンの設定を行うためにプロセッサー１０は、表示制御プログラムを実行する。これらのプログラムが実行されると、プロセッサー１０は、抽出部１０ａ、表示制御部１０ｂ、取得部１０ｃ、設定部１０ｄ、実行部１０ｅ、教師データ取得部１０ｆ、学習部１０ｇとして機能する。

本実施形態においてユーザーは、表示装置３０に表示されるユーザーインターフェースを利用してコピーの設定を行うことができる。本実施形態においてユーザーは、複数の項目のそれぞれについて選択肢を選択して設定を行うことができる。しかし、各項目において選択可能な設定の全てをユーザーインターフェース上に表示すると、広い表示エリアが必要になるか、または、個々の選択肢を示すアイコン等が非常に小さくなってしまう。

そこで、本実施形態においてプロセッサー１０は、設定を行うためのユーザーインターフェースとして最初に表示される第１画面に、複数の項目のそれぞれで選択可能な選択肢の一部のみを表示する。そして、第１画面に表示されていない設定は第１画面から呼び出すことのできる第２画面内で設定できるように構成されている。

このようなユーザーインターフェースを提供するため、プロセッサー１０は、抽出部の機能により、設定すべき項目のそれぞれについて、選択中の選択肢を含むＭ個（Ｍは２以上、Ｎ未満の整数）の選択肢を優先順位に従ってＮ個の選択肢から抽出する。本実施形態において、選択肢は、各項目において選択し得る設定のいずれかであり、各項目で選択可能な選択肢の総数はＮ個（Ｎは３以上の整数）である。従って、プロセッサー１０は、抽出部１０ａの機能により、選択可能な選択肢の一部を抽出する。この際、プロセッサー１０は、選択中の選択肢を必ず抽出する。さらに、プロセッサー１０は、優先順位が高い順に選択肢を抽出する。なお、Ｎ，Ｍは項目毎の値であるため、異なる項目同士でＮ，Ｍの値は異なり得る。

優先順位は、第１画面上に選択肢を並べて表示する際の順序を示しており、本実施形態においては、左から右に選択肢が並べられる。従って、左に位置する選択肢の方が右に位置する選択肢よりも優先順位が高い。本実施形態において、選択中の選択肢は、他の選択肢よりも、優先順位が高い。すなわち、選択中の選択肢は常に最優先の優先順位であり、常に第１画面上に表示される。このため、ユーザーは、第２画面に切り替える事なく第１画面上を視認することにより、複合機１で現在選択中の選択肢を認識することができる。なお、選択中の選択肢は、設定データ２０ａが示す設定であるため、プロセッサー１０は、各項目について設定データ２０ａが示す選択中の設定を取得し、選択中の選択肢と見なす。

本実施形態においては、各項目において各選択肢（各設定）の優先順位に既定の順位が定義されている。プロセッサー１０は、後述する各種の手法で、選択中の選択肢よりも下位の優先順位の選択肢を取得するが、これらの手法で優先順位が定義できない場合には、既定の順位に従って、選択肢を抽出してもよい。既定の順位は複合機１の状態や利用履歴等に依存することなく予め決められた順位であり、例えば、複合機１の出荷前に決められ、登録された優先順位である。

選択肢が抽出されると、プロセッサー１０は、表示制御部１０ｂの機能により、表示装置３０にユーザーインターフェースを表示させる。具体的には、プロセッサー１０は、抽出部１０ａの機能によって抽出されたＭ個の選択肢を優先順位に応じた位置に並べ、第１画面として表示させる。すなわち、第１画面は、複数の項目のそれぞれについてＭ個の選択肢を並べて表示する画面であり、プロセッサー１０は、不揮発性メモリー２０に記録された図示しない画像データに基づいて、第１画面を構成するアイコン等を特定し、各項目のそれぞれに選択肢を並べて表示させる。

図２は、表示装置３０に表示される第１画面の例を示す図である。図２に示す例においては、各項目の選択肢が矩形内の文字によって示されている。この例においては、黒い背景に白い文字で表現された選択肢が選択中の選択肢であり、白い背景に黒い文字で表現された選択肢が選択されていない選択肢である。従って、ユーザーは第１画面によって選択中の選択肢を視認することができる。

また、この例においては、同一項目の選択肢が表示される領域内で最も左に表示された選択肢の優先順位が最も高く、位置が右側になるほど優先順位が低くなる。本実施形態において、選択中の選択肢は常に最優先の優先順位であるため、ユーザーは、第１画面内において、複数の項目のそれぞれで、最優先の選択肢の表示位置に、選択中の選択肢が表示されるように整理された状態で選択中の選択肢を認識することができる。従って、ユーザーは、選択中の選択肢を容易に認識することができる。

さらに、複合機１が利用される態様を想定すると、利用のたびに毎回機械的な状態を変化させる可能性は低いため、複合機が利用される際には機械的な状態を変化させずに複合機を動作させることが可能な選択肢が選択される可能性が高い。本実施形態において、トレイ１〜トレイ５によって示された選択肢は、トレイ１〜トレイ５のいずれかに蓄積された大きさの原稿を出力原稿とする選択肢である。従って、トレイ１〜トレイ５のいずれかが引き出され、既存の原稿と異なる原稿がセットすることによって初めて利用可能になる大きさの原稿を出力原稿とする選択肢は、第１画面に表示されていない。

このため、第１画面においては、機械的な状態を変化させずに複合機を動作させることが可能な選択肢の優先順位が、機械的な状態を変化させた場合に動作させることが可能な選択肢よりも高いといえる。そして、このような優先順位で選択肢を表示すれば、ユーザーが選択する可能性が高い選択肢の優先順位を相対的に高くし、ユーザーが選択しやすくすることが可能である。

また、図２に示す例において、同一項目の選択肢を示す矩形は隣接するように並べられ、異なる項目の選択肢通しは互いに離間して表示される。具体的には、第１画面の最上段には、記録材の色をモノクロに設定するための選択肢Ｂ_ml、カラーに設定するための選択肢Ｂ_clが並べられている。また、最上段には、印刷濃度を設定するための第２画面に遷移するための操作部Ｂ_deが表示されている。さらに、最上段には、画像の種類を文字に設定するための選択肢Ｂ_ll、文字及び写真に設定するための選択肢Ｂ_li、写真に設定するための選択肢Ｂ_iiが並べられている。なお、この画像の種類の設定は、スキャンや印刷の解像度などに反映され、文字に設定するための選択肢Ｂ_llが設定されていると低解像度でスキャンや印刷を行い、写真に設定するための選択肢Ｂ_iiが設定されていると高解像度でスキャンや印刷を行い、文字及び写真に設定するための選択肢Ｂ_liが設定されていると高解像度でスキャンを行って画像を解析して文字か写真かを判断し、文字と判断すれば低解像度で印刷を行い写真と判断すれば高解像度で印刷を行う。

さらに、第１画面の２段目には、出力原稿サイズを自動的に設定するための選択肢Ｂ_ta、トレイ１〜トレイ５に蓄積された原稿のサイズに設定するための選択肢Ｂ_t1〜Ｂ_t5が並べられている。さらに、第１画面の３段目には、コピー倍率を等倍に設定するための選択肢Ｂ_ce、前述の「自動」の倍率に設定するための選択肢Ｂ_ca、７０％に設定するための選択肢Ｂ_c1、１４１％に設定するための選択肢Ｂ_c2が並べられている。なお、コピー倍率の設定を行うための選択肢は他にも存在し、選択肢Ｂ_c2に隣接して表示された操作部Ｂ₂₁をユーザーが操作すると、ユーザーは第２画面内でコピー倍率の他の設定を選択することが可能である。

さらに、第１画面の４段目には、印刷面を片面から片面に設定するための選択肢Ｂ_oo、片面から両面に設定するための選択肢Ｂ_obが並べられている。なお、印刷面の設定を行うための選択肢は他にも存在し、選択肢Ｂ_obに隣接して表示された操作部Ｂ₂₂をユーザーが操作すると、ユーザーは第２画面内で印刷面の他の設定を選択することが可能である。

さらに、第１画面の４段目には、片面から片面に印刷する状態において割り付けを２ｉｎ１に設定するための選択肢Ｂ_oo2、片面から両面に印刷する状態において割り付けを２ｉｎ１に設定するための選択肢Ｂ_ob2が並べられている。なお、割り付けの設定を行うための選択肢は他にも存在し、選択肢Ｂ_ob2に隣接して表示された操作部Ｂ₂₃をユーザーが操作すると、ユーザーは第２画面内で割り付けの他の設定を選択することが可能である。

さらに、第１画面の４段目には、読取部に対してセットされるセット原稿の方向を上向きに設定するための選択肢Ｂ_suが表示されている。なお、読取部６０の原稿台にセット原稿を載置する場合に、セット原稿の上辺（原稿上の文字を普通に読める向きに配置した場合に上方に位置する辺）が利用者から見て原稿台の奥側となるように載置することが「上向き」に相当する。セット原稿の上辺が利用者から見て原稿台の左側となるように載置することが「左向き」に相当する。

さらに、第１画面の５段目には、綴じ位置を左上に設定するための選択肢Ｂ_lu、左に設定するための選択肢Ｂ_ll、上に設定するための選択肢Ｂ_uu、左下に設定するための選択肢Ｂ_lbが並べられている。さらに、第１画面の５段目には、第１画面に表示されていない項目の設定を行うための選択肢Ｂ_soが表示されている。なお、第１画面上には、コピーの設定を選択するための選択肢以外にも種々のアイコンが表示されており、例えば、コピーの実行を指示するボタンＢ_cc等が表示されている。ユーザーは、以上の選択肢や操作部、ボタン等によって複合機１に各種の指示を与えることができる。

第１画面においてユーザーが任意の選択肢を選択すると、プロセッサー１０は、表示制御部１０ｂの機能により、表示装置３０の出力に基づいて選択された設定を特定し、設定データ２０ａを更新することによって選択中の選択肢を変化させる。また、プロセッサー１０は、新たに選択された選択肢の優先順位を最も高い優先順位に変更する。さらに、プロセッサー１０は、新たに選択された選択肢よりも高い優先順位であった選択肢の優先順位を１ずつ下げる。そして、プロセッサー１０は、表示制御部１０ｂの機能により、不揮発性メモリー２０に記録された図示しない画像データに基づいて、優先順位に従って第１画面上の選択肢を並べ直すことで第１画面を更新する。

以上のような第１画面において、コピー倍率、印刷面、割り付けの各項目においては、選択可能な設定の全てが表示されておらず、一部のみが表示されている。例えば、コピー倍率の設定においては、選択肢が４個表示されているため、上述のＭは４であり、Ｎは５以上である（例えば、Ａ４サイズの原稿をＢ５サイズの原稿にコピーする８６％のコピー倍率等が存在する）。

以上のように、第１画面においては、コピー倍率、印刷面、割り付けの各項目においてＮ個よりも少ないＭ個の選択肢が選択可能に表示されている。また、これらの項目においては、ユーザーが操作部Ｂ₂₁，Ｂ₂₂，Ｂ₂₃を操作することによって第２画面を呼び出し、残りの選択肢が示す設定を選択することが可能である。

すなわち、第１画面においてユーザーが操作部Ｂ₂₁，Ｂ₂₂，Ｂ₂₃を操作すると、プロセッサー１０は、表示制御部１０ｂの機能により、表示装置３０の出力に基づいて操作された操作部を特定し、第２画面に表示すべき設定の項目を特定する。そして、プロセッサー１０は、表示制御部１０ｂの機能により、不揮発性メモリー２０に記録された図示しない画像データに基づいて、第２画面を構成するアイコン等を特定し、各アイコンを選択肢として並べて表示した第２画面を表示装置３０に表示させる。

図３は、表示装置３０に表示される第２画面の例を示す図である。図３に示す例においては、印刷面の設定を選択するための第２画面を示している。この図３の第２画面は、操作部Ｂ₂₂をユーザーが操作することで表示が行われる。図３に示す第２画面においても、選択肢が矩形内の文字によって示されている。また、ここでも、黒い背景に白い文字で表現された選択肢が選択中の選択肢であり、白い背景に黒い文字で表現された選択肢が選択されていない選択肢である。なお、第２画面においては、選択可能な選択肢と選択できない選択肢とが表示されており、選択できない選択肢はグレーアウトしている。この図３に示す第２画面では、対応する設定である印刷面の設定における全ての選択肢が表示される。第１画面で表示されている選択肢は、第２画面で表示しなくても設定が可能で有るので、非表示とすることも可能であるが、ユーザーが全ての選択肢を一覧して選択肢を選べる方が使い勝手がよいので、第２画面は印刷面の設定における全ての選択肢が表示されるようにしている。

図３に示す第２画面上においてもコピーの設定を選択するための選択肢以外のアイコンが表示されており、例えば、コピーの実行を指示するボタンＢ_cc等が表示されている。また、図３に示す第２画面においては、設定すべき項目が印刷面の設定であることが文字で示されており、第２画面上での設定を中止する選択肢と、第２画面上での設定を決定する選択肢（ＯＫボタン）とが表示されている。

第２画面においてユーザーが任意の選択肢を選択すると、プロセッサー１０は、表示制御部１０ｂの機能により、表示装置３０の出力に基づいて選択された設定を特定し、設定データ２０ａを更新することによって選択中の選択肢を変化させる。また、プロセッサー１０は、新たに選択された選択肢の優先順位を最も高い優先順位に変更する。さらに、プロセッサー１０は、新たに選択された選択肢よりも高い優先順位であった選択肢の優先順位を１ずつ下げる。

第２画面においてユーザーが設定を決定する選択肢（ＯＫボタン）を選択すると、プロセッサー１０は、表示制御部１０ｂの機能により、不揮発性メモリー２０に記録された図示しない画像データに基づいて、優先順位に従って第１画面上の選択肢を並べ、第１画面を表示させる。第２画面においてユーザーがそれまで第１画面に表示されていなかった選択肢を選択していた場合、第１画面においては、当該選択によって選択された選択肢が選択中の選択肢として表示されるようになっている。すなわち、本実施形態においては、第１画面で呼び出し操作が行われたことに応じて、第１画面で表示されていなかった選択肢を含む第２画面が表示される。そして、第２画面で選択肢が選択されると、選択された選択肢が選択中の選択肢として第１画面内に表示される。

例えば、図２に示すように、印刷面の設定において、優先順位が、印刷面を片面から片面に設定するための選択肢Ｂ_oo、片面から両面に設定するための選択肢Ｂ_obの順である例において、操作部Ｂ₂₂が操作された例を想定する。この場合、プロセッサー１０は、表示装置３０に、図３に示すような第２画面を表示させる。当該第２画面においては、第１画面で選択中であった設定の選択肢、すなわち片面から片面に印刷させる設定の選択肢、が選択中である。

この状態において、ユーザーが図４に示すように両面から両面に印刷させる設定の選択肢を選択すると、プロセッサー１０は、元の選択肢の背景を白、文字を黒に変化させ、選択された選択肢の背景を黒、文字を白に変化させる。この状態は、選択中の選択肢が仮選択された状態（設定データ２０ａが更新されていない状態）であり、当該仮選択された状態を図４において示している。なお、本実施形態においては、セット原稿が両面である場合、原稿セット方向に応じて割り付け方向が変化し得るため、第２画面において、原稿セット方向が選択可能になる。このため、図４に示す例においては、原稿セット方向の選択肢がグレーアウトせず、選択可能な状態で表示される。

この状態においてユーザーが設定を決定する選択肢（ＯＫボタン）を選択すると、プロセッサー１０が、設定データ２０ａを更新し、両面から両面に印刷させる設定を選択中の設定に変化させる。そして、プロセッサー１０は、選択中の設定が変化した後の第１画面を表示装置３０に表示させる。図５は、変化後の第１画面を示している。

第１画面において、ユーザーがコピーの実行を指示するボタンＢ_ccを選択すると、選択中の設定が確定される。すなわち、プロセッサー１０は、設定部１０ｄの機能により、設定データ２０ａを参照し、当該設定データ２０ａが示す設定を取得する。そして、プロセッサー１０は、実行部１０ｅの機能により、当該設定を適用し、スキャンを伴う処理であるコピーを実行する。すなわち、プロセッサー１０は、設定データ２０ａが示す設定に応じて読取部６０を制御し、搬送機構の制御、スキャン等を実行させる。また、プロセッサー１０は、設定データ２０ａが示す設定に応じて印刷部５０を制御し、出力原稿サイズの選択、搬送機構の制御、画像処理、印刷等を実行させる。この結果、読取部６０の原稿台にセットされたセット原稿がコピーされた出力原稿が得られる。

以上のような実施形態においては、選択中の選択肢と、選択中の選択肢以外の選択肢が第１画面に表示される。従って、ユーザーが自ら操作しなくても、ユーザーは現在選択中の選択肢および他の選択肢を視認することができ、ユーザーの使い勝手を向上させることができる。また、第１画面においては、全ての（Ｎ個の）選択肢が表示されるのではなく、一部の（Ｍ個の）選択肢が表示される。従って、表示装置３０上の限られた表示領域において、過度に縮小することなく選択肢を表示することができる。

さらに、第１画面において、ユーザーが意図する設定がＭ個の選択肢に含まれない場合、ユーザーが操作部Ｂ₂₁，Ｂ₂₂，Ｂ₂₃において呼び出し操作を行うことによって第２画面内で意図通りの選択肢を選択することができる。第２画面において選択肢が選択され、設定を決定する選択肢（ＯＫボタン）が選択されると、選択された選択肢が第１画面内において選択中の選択肢として表示される。従って、ユーザーは第１画面において意図通りの設定が行われているか否か把握することができる。これらは、他の設定を行うための第２画面でも同様である。

（２）表示制御処理：
次に、複合機１において設定を行うためのユーザーインターフェースを表示する表示制御処理を説明する。ここでは、コピー倍率の表示に関連する処理に着目して説明を行う。図６は、コピー倍率の表示に関連する処理を示すフローチャートである。表示装置３０に表示された図示しないユーザーインターフェースによってユーザーがコピーの実行を開始すると、プロセッサー１０は、表示制御部１０ｂの機能により、図２に示すような第１画面を表示装置３０に表示させる処理を実行する。

第１画面を表示する際、プロセッサー１０は、コピー倍率の設定に関し、図６に示す処理を実行する。この処理において、プロセッサー１０は、表示制御部１０ｂの機能により、現在設定を第１優先の倍率として表示させる（ステップＳ１００）。すなわち、プロセッサー１０は、コピー倍率についての設定データ２０ａを参照し、選択中の設定を現在設定として取得する。そして、プロセッサー１０は、当該設定を第１優先の倍率と見なし、第１画面においてコピー倍率を表示する領域の左端に選択中の設定を示す選択肢を表示させる。この際、プロセッサー１０は、選択肢の背景を黒、文字を白で表示させる。例えば、選択中の設定が等倍であれば、図２に示す例のように等倍の設定を示す選択肢が左端の位置に表示される。

次に、プロセッサー１０は、取得部１０ｃの機能により、セット原稿サイズを取得する（ステップＳ１０５）。すなわち、プロセッサー１０は、読取部６０が備えるセンサーの出力に基づいて、原稿台にセットされているセット原稿のサイズを取得する。次に、プロセッサー１０は、取得部１０ｃの機能により、出力原稿サイズを取得する（ステップＳ１１０）。すなわち、プロセッサー１０は、設定データ２０ａを参照し、出力原稿サイズの項目について選択中の設定を取得し、出力原稿サイズと見なす。

次に、プロセッサー１０は、出力原稿サイズをセット原稿サイズで除して得られる倍率を第１倍率として取得する（ステップＳ１１５）。すなわち、プロセッサー１０は、読取部６０の原稿台にセットされたセット原稿を、現在選択中の出力原稿サイズの出力原稿にコピーする際の倍率を第１倍率として取得する。

次に、プロセッサー１０は、表示制御部１０ｂの機能により、第１倍率が表示済であるか否かを判定する（ステップＳ１２０）。すなわち、プロセッサー１０は、ステップＳ１００で既に表示されている現在の倍率と、ステップＳ１１５で取得した第１倍率とを比較し、一致している場合に第１倍率が表示済であると判定する。

ステップＳ１２０において、第１倍率が表示済であると判定されない場合、プロセッサー１０は、表示制御部１０ｂの機能により、第１倍率を表示させる（ステップＳ１２５）。すなわち、第１画面においてコピー倍率の選択肢を表示する領域の左端から２番目の位置に、第１倍率に設定するための選択肢を表示させる。この際、プロセッサー１０は、選択肢の背景を白、文字を黒で表示させる。図２に示す例において、第１倍率は自動に設定される倍率に相当する。

すなわち、セットされたセット原稿を選択中の出力原稿にコピーする際に必要な倍率は自動的に決まるため、本実施形態において第１倍率を示す選択肢は第１画面において「自動」と表現される。ステップＳ１２５において「自動」が第１倍率である場合、図２に示す例のように等倍の設定を示す選択肢の右隣に「自動」を示す選択肢が表示される。なお、セットされたセット原稿を選択中の出力原稿にコピーする場合、複合機１のトレイを引き出すことなくコピーが実行可能であるため、第１倍率を示す選択肢は、複合機１の機械的な状態を変化させずに動作させることが可能な選択肢である。

ステップＳ１２０において、第１倍率が表示済であると判定された場合、プロセッサー１０は、第１倍率の表示をスキップする。すなわち、本実施形態においては重複した選択肢が表示されないように構成されている。

次に、プロセッサー１０は、表示制御部１０ｂの機能により、デフォルト倍率が表示済であるか否かを判定する（ステップＳ１３０）。本実施形態において、デフォルト倍率は、ユーザーが予めデフォルトとして登録した倍率（設定）であり、不揮発性メモリー２０に予め記録されている。デフォルト倍率は予め決められていれば良く、例えば、複合機１が職場等で共用される場合において多くの者が利用するコピー倍率等をデフォルト倍率とする例が挙げられる。

このようなデフォルト倍率が、現在設定や第１倍率と一致している場合、既にデフォルト倍率に設定するための選択肢が表示されていることになる。そこで、プロセッサー１０は、ステップＳ１３０においてデフォルト倍率が表示済であるか否かを判定する。そして、デフォルト倍率が表示済であると判定されない場合、プロセッサー１０は、表示制御部１０ｂの機能により、デフォルト倍率を表示させる（ステップＳ１３５）。すなわち、第１画面のコピー倍率の選択肢を表示する領域において、既に表示されている選択肢の右隣の位置に、デフォルト倍率に設定するための選択肢を表示させる。

一方、ステップＳ１３０において、デフォルト倍率が表示済であると判定された場合、ステップＳ１３５はスキップされる。従って、デフォルト倍率を設定するための選択肢が新たに表示されることはない。例えば、図２に示す例において、デフォルト倍率が等倍である場合、選択中の選択肢として既に表示されているため、デフォルト倍率を設定するための選択肢が新たに追加されることはない。

次に、プロセッサー１０は、表示制御部１０ｂの機能により、登録設定に含まれる倍率の中で最頻の倍率を取得する（ステップＳ１４０）。本実施形態において、登録設定は、複数の設定項目についてよく使う設定（選択肢）の組み合わせであり、予め定義されて不揮発性メモリー２０に登録されたものである。本実施形態においては、登録設定に含まれる倍率の中で最頻の倍率がよく利用される倍率であると見なし、優先順位を上げるように構成されている。そこで、プロセッサー１０は、不揮発性メモリー２０を参照し、複数の登録設定に含まれる倍率の出現頻度をカウントし、最頻の倍率を取得する。

そして、プロセッサー１０は、表示制御部１０ｂの機能により、ステップＳ１４０で取得された最頻の倍率が表示済であるか否かを判定する（ステップＳ１４５）。ステップＳ１４５において、ステップＳ１４０で取得された最頻の倍率が表示済であると判定されない場合、プロセッサー１０は、表示制御部１０ｂの機能により、登録設定における最頻の倍率を表示させる（ステップＳ１５０）。すなわち、第１画面のコピー倍率の選択肢を表示する領域において、既に表示されている選択肢の右隣の位置に、ステップＳ１４０で取得された最頻の倍率に設定するための選択肢を表示させる。図２においては、Ａ３からＡ４に縮小する倍率（７０％）が登録設定における最頻の倍率であり、ユーザーインターフェースに表示されている例を示している。

一方、ステップＳ１４５において、ステップＳ１４０で取得された最頻の倍率が表示済であると判定された場合、ステップＳ１５０はスキップされる。従って、ステップＳ１４０で取得された最頻の倍率を設定するための選択肢が新たに表示されることはない。このように、本実施形態においては、登録設定に含まれる倍率の中で最頻の倍率をユーザーインターフェースに表示させることができる。従って、本例においては、ユーザー自身が登録した登録設定に基づいてよく利用される倍率を推定し、推定された倍率に設定するための選択肢を表示することができる。

次に、プロセッサー１０は、表示制御部１０ｂの機能により、現在のセット原稿サイズを変倍する倍率であり、過去の設定の履歴に含まれる倍率の中で最頻の倍率を取得する（ステップＳ１５５）。すなわち、過去の設定の履歴（過去に動作した際に選択されていた選択肢）に含まれる倍率は、ユーザーによって再度利用される可能性が高いと推定することができる。ただし、読取部６０の原稿台に既にセットされているセット原稿サイズを変倍する倍率と異なる倍率は利用される可能性が低い。例えば、セット原稿サイズから既定の出力原稿サイズにコピーする際に利用される値と異なる倍率は、既に原稿がセットされている状態において、利用される可能性は低いと言える。

そこで、プロセッサー１０は、読取部６０の原稿台にセットされたセット原稿サイズを取得し、当該セット原稿サイズを変倍する倍率を取得する。さらに、プロセッサー１０は、不揮発性メモリー２０を参照し、過去に複合機１が動作した際に利用された設定の履歴を参照し、履歴に含まれる倍率の出現頻度をカウントする。そして、プロセッサー１０は、セット原稿サイズを変倍する倍率であって、履歴に含まれる倍率の中から、最頻の倍率を取得する。

次に、プロセッサー１０は、表示制御部１０ｂの機能により、ステップＳ１５５で取得された最頻の倍率が表示済であるか否かを判定する（ステップＳ１６０）。ステップＳ１６０において、ステップＳ１５５で取得された最頻の倍率が表示済であると判定されない場合、プロセッサー１０は、表示制御部１０ｂの機能により、ステップＳ１５５で取得された過去の履歴における最頻の倍率を表示させる（ステップＳ１６５）。すなわち、第１画面のコピー倍率の選択肢を表示する領域において、既に表示されている選択肢の右隣の位置に、ステップＳ１５５で取得された最頻の倍率に設定するための選択肢を表示させる。図２においては、Ａ４からＡ３に拡大する倍率（１４１％）がステップＳ１５５で取得された過去の履歴における最頻の倍率であり、ユーザーインターフェースに表示されている例を示している。

一方、ステップＳ１６０において、ステップＳ１５５で取得された最頻の倍率が表示済であると判定された場合、ステップＳ１６５はスキップされる。従って、ステップＳ１５５で取得された最頻の倍率を設定するための選択肢が新たに表示されることはない。このように、本実施形態においては、セット原稿サイズを変倍する倍率の中で、過去の履歴における最頻の倍率をユーザーインターフェースに表示させることができる。従って、ユーザー自身がよく利用する倍率であって、実際に利用される可能性のある倍率に設定するための選択肢を表示することができる。

以上の処理においては、選択中の選択肢を表示し、その後、図６に示すように、第１倍率、デフォルト倍率、登録設定における最頻の倍率、過去の履歴における最頻の倍率を表示すべきか否か順に判定している。従って、本実施形態においては、表示対象の選択肢が存在する限りにおいて、この判定順が優先順位になる。一方、表示対象の選択肢が表示済の設定と一致し、また、存在しない場合等には、優先順位が変化する。従って、同時に表示される選択肢の数は図２に示す例のように４個に限定されず、他の個数になることも想定される。

さらに、本実施形態においては、上述のように、複合機１の出荷前に選択肢の優先順が決められ、既定の順位として登録されている。しかし、複合機１の稼働が開始されると、上述のような登録設定や過去の設定の履歴が存在する状態になる。この結果、設定の選択肢は既定の順位と異なり、登録設定に含まれる倍率の中で最頻の倍率や、現在のセット原稿サイズを変倍する倍率であり、過去の設定の履歴に含まれる倍率の中で最頻の倍率の優先順位は既定の順位よりも上昇する。従って、本実施形態においては、ステップＳ１１５で取得された第１倍率のみならず、第１倍率と異なる第２倍率の優先順位がユーザーによく選択されることで既定の順位よりも上がっていることになる。以上の構成によれば、ユーザーが自ら操作しなくても、表示対象となるコピー倍率である第１倍率や第２倍率の優先順位が調整される。従って、ユーザーの使い勝手を向上させることができる。

（３）機械学習処理：
以上の実施形態においては、複合機１の機械的な状態等に基づいて優先順位が決められ、優先順位が高いＭ個の選択肢が表示される構成であったが、優先順位は他の手法で決められても良い。他の手法としては、例えば、機械学習が挙げられる。

本実施形態にかかる複合機１は、機械学習装置として機能する。すなわち、複合機１は、スキャンを伴う処理が行われた場合に、スキャンを行った画像に対してスキャンを伴う処理の設定を対応づけた教師データを取得する。そして、当該教師データに基づいて機械学習が行われ、学習結果に基づいて設定を行うことも可能である。

プロセッサー１０は、不揮発性メモリー２０に記録された図示しない機械学習プログラムを実行することにより、教師データ取得部１０ｆおよび学習部１０ｇとして機能し、機械学習に関連した機能を実行することができる。

プロセッサー１０は、教師データ取得部１０ｆの機能により教師データ２０ｂを取得する機能を実行可能である。本実施形態においてスキャンを伴う処理が行われた場合、プロセッサー１０は、スキャンされた画像と設定とを対応づけて教師データ２０ｂとし、不揮発性メモリー２０に記録する。なお、未熟なユーザーはどのような設定にすれば望むような処理を行えるのか解らず、同一の画像について設定の変更が繰り返される場合がある。

そこで、本実施形態においては、スキャンを伴う処理の設定が同一の画像について複数回変更された場合、プロセッサー１０は、最後に行われた設定を当該画像に対応付けて教師データ２０ｂとする。最後より前に行われた設定は教師データ２０ｂとされない。なお、同一の画像について設定が複数回変更されたか否かは、プロセッサー１０がスキャンされた画像を比較し、差異が基準以下であり、各画像について異なる設定の組み合わせが適用されたか否かに基づいて判定される。むろん、一定期間内に適用された設定のみについて設定が変更されたか否かを判定する構成等であっても良い。

さらに、複合機１においてプレビュースキャンを行った後にスキャンを伴う処理が行われる構成が採用されてもよい。そして、この場合には、設定が複数回変更された場合であっても、プレビュースキャンは１回である場合がある。この場合、プロセッサー１０は、プレビュースキャンで得られた画像に対して最後に行われた設定を対応づけて教師データ２０ｂとする。最後より前に行われた設定は教師データ２０ｂとされない。なお、プレビュースキャン後の画像は、スキャンを伴う処理に利用されても良いし、スキャンを伴う処理が行われる前に本スキャンが行われてもよい。

スキャンを伴う処理が行われた場合に、以上のようにしてスキャンで得られた画像と当該処理が行われた際に適用された設定とを対応づけると、教師データ２０ｂが蓄積されていく。教師データ２０ｂが蓄積されると、画像から設定を推定するモデルを機械学習によって生成することができる。

図７は機械学習処理を示すフローチャートである。機械学習処理は、既定量の教師データ２０ｂが蓄積された後、任意のタイミングで実行されてよい。機械学習処理が開始されると、プロセッサー１０は、学習部１０ｇの機能により、訓練モデルを取得する（ステップＳ２００）。ここで、モデルとは、推定対象のデータと推定結果のデータとの対応関係を導出する式を示す情報である。本実施形態においては推定対象のデータがスキャンされた画像データ（または画像データから導出されるデータ（画像の特徴等））であり、各設定項目における設定を示すデータが推定対象のデータであるモデルを例にして説明する。

入力データを出力データに変換する限りにおいて、モデルは種々の定義が可能である。図８は本実施形態において利用されるモデルの例であるニューラルネットワークの構造を模式的に示した図である。図８においては、ニューロンを模したノードを丸で示し、ノード間の結合を実線の直線で示している（ただし、図を簡易化するためノードおよび結合は一部のみが示されている）。また、図８においては、同一層に属するノードを縦に並べて示しており、左端の層が入力層Ｌｉ、右端の層が出力層Ｌｏである。

ここでは、２層の関係において入力層Ｌｉに近い層を上位層、出力層Ｌｏに近い層を下位層と呼ぶ。すなわち、ある層においては、１層上位の層の出力を入力とし、重みの乗算とバイアスの和算を行い、活性化関数を介して出力を行う構造となっている。例えば、図８に示す層Ｌ_Pのノードの数がＰ個であり、層Ｌ_Pの各ノードに対する入力データがｘ₁，，，，ｘ_Mであり、バイアスがｂ₁，，，，ｂ_Pであり、層Ｌ_Pのｋ番目のノードに対する重みがｗ_k1，，，，ｗ_kM、活性化関数がｈ（ｕ）である場合、当該層Ｌ_Pの各ノードにおける中間出力ｕ₁，，，，ｕ_Pは以下の式１で表現される。
従って、式１を活性化関数ｈ（ｕ_k）に代入すると層Ｌ_Pの各ノードにおける出力ｙ₁，，，，ｙ_Pが得られる。

モデルは、このように一般化されるノードが複数層設けられることによって構成される。従って、本実施形態において、モデルは、少なくとも各層における重みとバイアスと活性化関数を示すデータによって構成される。なお、活性化関数は、種々の関数、例えば、シグモイド関数や、双曲線関数（ｔａｎｈ）、ＲｅＬＵ（Rectified Linear Unit）、Ｓｏｆｔｍａｘ関数などの、他の関数を使用可能であり、非線形関数であることが好ましい。むろん、機械学習を行う際に必要な他の条件、例えば、最適化アリゴリズムの種類や学習率等のパラメーターが含まれていても良い。また、層の数やノードの数、層間の結合関係は種々の態様とすることができる。

本実施形態においては、スキャンされた画像の画像データを入力層Ｌｉへの入力データとし、出力層Ｌｏから設定を示す出力データを出力するモデルが構築される。例えば、図８に示す例において、入力層Ｌｉの各ノードへの入力データが画像データの各画素の階調値（を規格化した値）であり、出力層Ｌｏからの出力データが設定を示す例を想定可能である。設定を出力する構成としては、例えば、各ノードに各設定項目における設定の選択肢のそれぞれが割り当てられており、各選択肢に対応した出力値が大きい程適切な設定であると推定される構成が挙げられる。より具体的には、ある設定項目の選択肢が５個存在し、第１〜第５の選択肢のそれぞれにおける出力値が０．００５，０．８，０．１，０．０１５，０．０８である場合、第２の選択肢，第３の選択肢，第５の選択肢，第４の選択肢，第１の選択肢の順に選択肢が適切であると推定されることになる。

むろん、図８に示すモデルの一部を既知の関数で表現し、残りを未知の関数として表現し、未知の関数を学習対象としても良い。いずれにしても、画像データを入力すると最終的に設定が出力されるモデルが構築されていれば、画像データから設定を推定するためのモデルを学習することができる。

図７に示すフローチャートにおけるステップＳ２００では、訓練モデルを取得する。ここで、訓練とは、学習対象であることを示す。すなわち、訓練モデルにおいては、画像データを入力し、設定を出力するが、画像データと設定との対応関係は初期において正確ではない。すなわち、訓練モデルにおいては、ノードが構成する層の数やノードの数は決められるが、入出力の関係を規定するパラメーター（上述の重みやバイアス等）は最適化されていない。これらのパラメーターは、機械学習の過程で最適化される（すなわち、訓練される）。

訓練モデルは、予め決定されていても良いし、ユーザーが表示装置３０のタッチパネル等を操作して入力することによって取得されても良い。いずれにしても、プロセッサー１０は、図８に示す例のように、画像データに基づいて設定を出力するニューラルネットワークのパラメーターを訓練モデルとして取得する。

次に、プロセッサー１０は、学習部１０ｇの機能により、教師データを取得する（ステップＳ２０５）。本実施形態においては、上述のように教師データ２０ｂが予め生成され、不揮発性メモリー２０に記録されている。そこで、プロセッサー１０は、不揮発性メモリー２０を参照して教師データ２０ｂを取得する。

次に、プロセッサー１０は、学習部１０ｇの機能により、テストデータを取得する（ステップＳ２１０）。本実施形態においては、教師データ２０ｂから、その一部が抽出されてテストデータになる。テストデータは訓練に利用されない。

次に、プロセッサー１０は、学習部１０ｇの機能により、初期値を決定する（ステップＳ２１５）。すなわち、プロセッサー１０は、ステップＳ２００で取得した訓練モデルのうち、可変のパラメーターに対して初期値を与える。初期値は、種々の手法で決定されて良い。例えば、ランダム値や０等を初期値とすることができ、重みとバイアスとで異なる思想で初期値が決定されても良い。むろん、学習の過程でパラメーターが最適化されるように初期値が調整されても良い。

次に、プロセッサー１０は、学習部１０ｇの機能により、学習を行う（ステップＳ２２０）。すなわち、プロセッサー１０は、ステップＳ２００で取得した訓練モデルにステップＳ２０５で取得した教師データ２０ｂを入力し、設定を示す出力を計算する。また、プロセッサー１０は、出力された設定と教師データ２０ｂが示す設定との誤差を示す損失関数によって誤差を特定する。そして、プロセッサー１０は、損失関数のパラメーターによる微分に基づいてパラメーターを更新する処理を既定回数繰り返す。

例えば、図８に示すモデルであれば、プロセッサー１０は、ステップＳ２０５で取得された教師データ２０ｂが示すｉ番目の写真の画像データ（Ｒｉ，Ｇｉ，Ｂｉ）（ここで、Ｒｉ，Ｇｉ，Ｂｉは、赤、青、緑の各チャンネルの画像データ）の各階調値を層Ｌ_iのニューラルネットワークに入力する。図８においては、画像データ（Ｒｉ，Ｇｉ，Ｂｉ）のそれぞれを層Ｌ_iに入力することが想定されている。従って、層Ｌ_iのノードＩ_i1〜Ｉ_iMは画像データの画素数×チャンネル数である。

そして、プロセッサー１０は、入力に対する重みの乗算とバイアスの和算を行い、活性化関数を介して出力を取得する処理を各層について行って出力値（Ｔ_i1〜Ｔ_iO）を取得する。教師データ２０ｂに対応づけられた設定を示す情報は、各設定項目において実際に選択されていた設定が１，他の設定が０となる情報である。例えば、ある設定項目の選択肢が５個存在し、第１〜第５の選択肢の中で実際に選択された選択肢が第２の選択肢であるならば、第１〜第５の選択肢のそれぞれに対して０，１，０，０，０が対応づけられている。ここでは、これらの情報を（ｔ_i1〜ｔ_iO）と表記する。

そして、訓練モデルの出力値をＴ_iと表記し、教師データ２０ｂが示す設定をｔ_iと表記すると、ｉ番目の画像データについての損失関数はＬ（Ｔ_i，ｔ_i）と表記可能である。むろん、損失関数は、種々の関数を採用可能であり、例えば、交差エントロピー誤差などを採用可能である。以上のような損失関数Ｌを算出する処理は、教師データ２０ｂが示す画像データの全てについて実施され、その平均や総和によって１回の学習における損失関数が表現される。例えば、総和によって損失関数が表現される場合、全体の損失関数Ｅは次の式２で表現される。
損失関数Ｅが得られたら、プロセッサー１０は、既定の最適化アルゴリズム、例えば、確率的勾配降下法等によってパラメーターを更新する。

以上のようにして、既定回数のパラメーターの更新が行われると、プロセッサー１０は、訓練モデルの汎化が完了したか否かを判定する（ステップＳ２２５）。すなわち、プロセッサー１０は、ステップＳ２１０で取得したテストデータが示す画像データを訓練モデルに入力して設定を示す出力を取得する。そして、プロセッサー１０は、出力された設定と、テストデータに対応づけられた設定とが一致している度合いを取得する。本実施形態において、プロセッサー１０は、当該一致している度合いが閾値以上である場合に汎化が完了したと判定する。

なお、汎化性能の評価に加え、ハイパーパラメーターの妥当性の検証が行われてもよい。すなわち、重みとバイアス以外の可変量であるハイパーパラメーター、例えば、ノードの数等がチューニングされる構成において、プロセッサー１０は、検証データに基づいてハイパーパラメーターの妥当性を検証しても良い。検証データは、ステップＳ２１０と同様の処理により、教師データから抽出されても良い。むろん、検証データもテストデータと同様に、訓練には試用されない。

ステップＳ２２５において、訓練モデルの汎化が完了したと判定されない場合、プロセッサー１０は、ステップＳ２２０を繰り返す。すなわち、さらに重みおよびバイアスを更新する。一方、ステップＳ２２５において、訓練モデルの汎化が完了したと判定された場合、プロセッサー１０は、学習済モデルを記録する（ステップＳ２３０）。すなわち、プロセッサー１０は、訓練モデルを学習済モデル２０ｃとして不揮発性メモリー２０に記録する。

以上の構成によれば、画像に適した設定を自動的に導出するモデルを学習することができる。そして、任意の画像データを学習済モデル２０ｃに入力して設定を示す情報を出力することにより、任意の画像に適した設定を推定することが可能になる。また、同一の設定項目についての出力値を比較すると、その出力値の大きさに基づいて各設定項目について選択肢が適切である度合いを評価することとができる。

本実施形態にかかる複合機１は、機械学習に基づいて適切であると推定された設定を適用してスキャンを伴う処理を実行することができる。すなわち、プロセッサー１０は、ユーザーによる表示装置３０へのタッチ操作等に基づいて、機械学習によって推定された設定を適用する指示を受け付けることができる。当該指示を受け付けると、プロセッサー１０は、読取部６０を制御し、原稿台にセットされたセット原稿のプレビュースキャンを実行させる。

プロセッサー１０は、プレビュースキャンによって得られた画像データを、学習済モデル２０ｃに対して入力し、得られた出力値に基づいて各項目の設定（第１設定）を導出する。第１設定が得られると、プロセッサー１０は、実行部１０ｅの機能により、印刷部５０等を制御し、第１設定に基づいてスキャンを伴う処理を実行させる。なお、スキャンを伴う処理においては、プレビュースキャンで得られた画像データが利用されても良いし、第１設定に基づいてもう一度スキャン（本スキャン）が行われて得られた画像データが利用されても良い。

以上の構成によれば、学習済モデル２０ｃによる設定の導出を行うことにより、ユーザーが自ら操作しなくても、スキャンを伴う処理に関する設定を行うことができる。従って、ユーザーの使い勝手を向上させることができる。

なお、機械学習によって得られた第１設定は、ユーザーインターフェースでの表示に利用されても良い。すなわち、プロセッサー１０が表示制御部１０ｂの機能により、表示装置３０上にユーザーインターフェースを表示させる際に、第１設定に含まれる設定の優先順位を既定の順位よりも上げ、優先順位に応じた位置に表示された複数の設定をユーザーが選択可能な画面を表示させる構成であっても良い。

具体的には、プロセッサー１０が表示制御部１０ｂの機能によって原稿が読取部６０にセットされたことに応じて、読取部６０を制御し、プレビュースキャンを実行させる。そして、プロセッサー１０がプレビュースキャンで読み取った画像を学習済モデル２０ｃに入力すると、当該画像に適切であると推定される第１設定が出力される。そこで、プロセッサー１０が、第１設定の優先順位を規定の順位よりも上げて（例えば、第１優先として）、ユーザーインターフェースを新しく表示させる際や更新表示させる際に優先順位に従って選択肢を表示させるようにしてもい。その際、第１設定の選択肢をデフォルトで選択されている選択肢としても良い。

そして、プロセッサー１０が、ユーザーインターフェースによるユーザーの選択を受け付け、選択された設定に基づいてスキャンを伴う処理を実行する。この構成によれば、ユーザーは、優先順位に従って表示された設定を選択することにより、所望の設定でスキャンを伴う処理を実行させることができる。

（４）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、表示制御装置は複合機以外の機器であっても良い。例えば、タブレット端末やスマートフォン端末などのような汎用コンピューターであっても良い。さらに、以上の実施形態のように、ユーザー自身が選択しなくても設定の優先順位が調整される手法は、プログラムの発明や方法の発明としても実現可能である。

さらに、上述の実施形態においては、主にコピーに関する設定について説明したが、スキャンを伴う各種の処理（スキャンをしてメモリに保存する処理など）に関する設定を行う実施形態を実現することが可能である。コピーについても、スキャンした複合機で印刷するものであってもよいし、スキャンした複合機とは異なる装置にＦＡＸプロトコルや電子メールプロトコルを用いて送信して印刷するものであっても良い。また、スキャンを伴わない各種の処理（画像データの印刷やＦＡＸ送信など）に関する設定を行う実施形態を実現することが可能である。また、表示制御装置は複合機以外の機器で有る場合には、その機器についての設定を行う実施形態を実現することが可能である。

さらに、ユーザーインターフェースの表示態様は一例であり、設定の選択肢を優先順位に従って表示可能である限り、種々の態様が採用されてよい。例えば、優先順位に従って選択肢が表示され、ユーザーによる操作のたびに次の優先順位の選択肢が表示されるトグル動作が行われるユーザーインターフェースであっても良い。むろん、切り替わる選択肢の候補は３個以上であっても良い。

また請求項に記載された機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら各部の機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。１つのハードウェア資源で複数の機能が実現されてもよいし、複数のハードウェア資源で１つの機能が実現されてもよい。さらに、上述の実施形態は一例であり、一部の構成が省略されたり、他の構成が追加されたり、置換されたりする実施形態が採用され得る。

表示制御装置は、Ｎ個（Ｎは３以上の整数）の選択肢から１つを選択させるユーザーインターフェースを表示させることができればよい。すなわち、表示制御装置は、表示装置に対してアイコン等の画像を表示することによってユーザーに対して選択肢を提供することができればよい。選択肢は、ユーザーによって選択される対象であれば良く、選択肢の数は２以上で任意である。

また、複数の項目について選択が行われる場合には、各項目についての選択肢がユーザーインターフェースによって提供されても良い。ユーザーインターフェースの態様は、種々の態様が想定されて良く、タッチパネルディスプレイ上での表示およびタッチ以外にも、種々の態様を採用可能である。例えば、ディスプレイとキーボード、マウス等の操作入力部等によってユーザーインターフェースが構成されても良いし、音声によって提供された選択肢を音声によって選択するようなユーザーインターフェースであっても良く、種々の構成を採用可能である。表示制御装置は、ユーザーインターフェースを提供する装置（表示装置等）と一体の装置であっても良いし、別の装置であっても良い。

抽出部は、選択中の選択肢を含むＭ個（Ｍは２以上、Ｎ未満の整数）の選択肢を優先順位に従ってＮ個の選択肢から抽出することができればよい。すなわち、抽出部は、全選択肢の中から一部の選択肢を抽出することができればよい。抽出されるＭ個の選択肢は表示対象の選択肢であり、全選択肢（複数の項目が存在する場合、各項目についての全選択肢）の数であるＮ個より少なければ良い。従って、第１画面内に設けられた選択肢の表示エリアの大きさに応じて調整されて良い。

優先順位は、選択肢の表示順位を規定する順位であれば良く、固定であっても良いし、可変であっても良い。いずれにしても、ユーザーの使い勝手が向上するように決定されれば良い。例えば、選択肢が選択される可能性が高いほど優先順位が高くなるように優先順位が決定される構成等を採用可能である。

表示制御部は、抽出されたＭ個の選択肢を優先順位に応じた位置に選択可能に含み、残りの選択肢を選択可能に含まない第１画面を表示させ、第１画面で呼び出し操作が行われたことに応じて、残りの選択肢を選択可能に含む第２画面を表示させ、第２画面で選択された選択肢を選択中の選択肢として第１画面内に表示させることができればよい。すなわち、表示制御部は、第１画面に選択肢を表示させることによって選択肢を選択するためのユーザーインターフェースを提供し、さらに、第１画面に表示されていない選択肢を第２画面で選択できるようにユーザーインターフェースを提供する。さらに、第２画面で選択肢が選択されると、選択された選択肢が選択中の選択肢になるため、表示制御部は、当該選択肢を選択中の選択肢として第１画面に表示させる。

第１画面と第２画面とは、ユーザーインターフェースにおける異なる画面であれば良く、例えば、互いに排他的に表示される（一方が表示されている場合には他方が表示されない）画面である構成や、第１画面の上に第２画面が重畳して第２画面とともに第１画面の一部が表示される構成が挙げられる。呼び出し操作は、第１画面が表示されている状態で行われる操作であれば良く、第１画面に含まれるアイコンに対する操作以外にも種々の操作であって良い。例えば、キーボードやマウス等の操作入力部による操作等であっても良い。なお、優先順位に応じた位置に選択肢が選択可能に含まれるとは、選択肢が優先順位に従って表示され、かつ、選択肢が選択可能であることを意味する。むろん、優先順位に応じた位置は、上述のように左端から右端に向けて優先順位が下がるように設定される例に限定されない。

設定対象装置は、設定が適用される装置であれば良く、上述の複合機以外にも種々の装置が挙げられる。例えば、印刷装置や読取装置、ファクシミリ装置、が設定対象装置となる構成等を採用可能である。設定は、設定対象装置において任意の処理を行う際に利用されるパラメーターであれば良く、設定対象装置における処理を行う際にパラメーターが可変である場合、パラメーターのそれぞれが設定に相当する。

設定対象装置の機械的な状態は、例えば、設定対象装置に備えられた部品の状態であり、設定対象装置の部品の位置等に対して物理的に力を作用させて変化させることが可能な状態である。従って、設定対象装置に備えられた部品であるトレイに蓄積された原稿の大きさが変化すれば、機械的な状態は変化する。他にも、設定対象装置において使用されるアタッチメントの有無や、読取装置においてセット原稿サイズを規制するために設けられたスライダーの変化は機械的な状態に相当する。機械的な状態を変化させずに設定対象装置を動作させることが可能な選択肢としては、例えば、トレイに蓄積された原稿をそのまま利用して処理を行わせる設定を示す選択肢や、スライダーを変化させることなく使用する設定を示す選択肢等が挙げられる。

第１倍率は、セット原稿サイズから出力原稿サイズに変倍する倍率であればよい。従って、第１倍率は、読取部にセットされたセット原稿の大きさや、印刷部によって印刷される出力原稿の大きさに依存して変化し得る。セット原稿サイズは、読取部に実際にセットされた原稿のサイズであるため、読取部に原稿がセットされている状態であればサイズが一意に決まる。しかし、コピーを実行する前の段階において複数のサイズから出力原稿サイズを選択可能である場合、出力原稿サイズは可変である。従って、第１倍率は複数になり得る。

第１倍率が複数になり得る場合、その中の一つ、例えば、選択中のサイズが出力原稿サイズとなることを想定した場合の倍率が第１倍率になっても良いし、複数のトレイそれぞれに蓄積された原稿が出力原稿サイズとなることを想定した場合の複数の倍率が第１倍率となってもよい。一方、第２倍率は、第１倍率と異なる倍率であるため、第１倍率が１個であればその倍率以外に取り得る全ての倍率が第２倍率になるし、第１倍率が複数であれば、複数の第１倍率のいずれにも該当しない倍率が第２倍率である。

表示制御部は、少なくとも第２倍率について、既定の順位よりも優先順位を上げて画面（上述の実施形態であれば第１画面）に表示することができればよい。すなわち、倍率を選択肢として表示する際の位置は優先順位に基づいて決められ、当該優先順位には既定の順位が存在する。既定の順位は種々の規則であって良く、例えば、固定の順位であっても良いし、利用された時期が近いほど優先順位が上がる規則であっても良く種々の規則を採用可能である。いずれにしても、このような既定の順位よりも第２倍率の優先順位が上がっていれば良い。

コピー倍率は、複合機等のコピー装置において実際にコピーが行われる際の倍率であれば良く、例えば、倍率が選択されてコピー装置に対してコピーの実行指示が行われた場合、当該倍率がコピー倍率である。

設定部は、スキャンを行った画像に対してスキャンを伴う処理の設定を対応づけた教師データによって機械学習された学習結果に基づいて、プレビュースキャンで読み取った画像に対応する第１設定を導出し、スキャンを伴う処理の設定を前記第１設定とすることができればよい。すなわち、設定部は、機械学習された学習結果に基づいて、画像に適した設定を推定し、設定することができればよい。

スキャンを伴う処理はスキャンを含んでいれば良く、スキャン自体であっても良いし、スキャンした画像を印刷するコピーであっても良いし、スキャンした画像を送信するＦＡＸ送信であっても良く、種々の処理が想定される。教師データは、機械学習の基になるデータであり、スキャンされた画像を示すデータと、当該画像に基づいてスキャンを伴う処理を行う際の設定とを対応づけたデータである。教師データは、機械学習を行うためのデータであるため、画像と設定との組み合わせが複数個の画像について定義されて教師データとされる。画像に対応づけられる設定は、選択可能な設定の全てであっても良いし一部であっても良い。

画像と設定との対応関係は、学習させるべき関係であれば良い。従って、画像に対応する設定は、スキャンを伴う処理に対して実際に適用された設定でも良いし、スキャンを伴う処理を行う際に適した設定でも良く、種々の態様で定義可能である。むろん、機械学習が可能な範囲内で、多数の教師データの中にノイズ、例えば、画像に対して誤った設定が対応づけられたデータが含まれていても良い。

機械学習は、画像と設定との関係を学習することができればよい。すなわち、機械学習においては、画像を入力し、スキャンを伴う処理の設定を出力するモデルを機械学習することができればよい。機械学習の手法は、種々の手法であって良い。すなわち、画像データや画像データから導出される値を入力し、スキャンを伴う処理の設定を出力するモデルを構築し、当該モデルによって出力された設定と教師データにおける設定との差分を極小化する学習を行うことができればよい。

従って、例えばニューラルネットワークによる機械学習が行われる場合、モデルを構成する層の数やノードの数、活性化関数の種類、損失関数の種類、勾配降下法の種類、勾配降下法の最適化アルゴリズムの種類、ミニバッチ学習の有無やバッチの数、学習率、初期値、過学習抑制手法の種類や有無、畳み込み層の有無、畳み込み演算におけるフィルタのサイズ、フィルタの種類、パディングやストライドの種類、プーリング層の種類や有無、、全結合層の有無、再帰的な構造の有無など、種々の要素を適宜選択して機械学習が行われればよい。むろん、他の機械学習、例えば、サポートベクターマシンやクラスタリング、強化学習等によって学習が行われてもよい。

さらに、モデルの構造（例えば、層の数や層毎のノードの数等）が自動的に最適化される機械学習が行われてもよい。さらに、学習は複数段階に分割されて実行されてもよい。例えば、画像データから画像の特徴を学習する機械学習と、画像の特徴から設定を学習する機械学習とを実行する構成が採用されてもよい。さらに、サーバーにおいて機械学習が行われる構成において、複数のクライアントから教師データが収集され、この教師データに基づいて機械学習が行われる構成であっても良い。

プレビュースキャンは、スキャンを伴う処理が完了する前に実行されるスキャンであり、プレビュースキャンが複数回実行されてもよい。プレビュースキャンが複数回実行された場合、プレビュースキャンで読み取った画像はそのいずれか、例えば、最後に実行されたプレビュースキャンで得られた画像等である。第１設定は、機械学習の出力によって決定される設定であれば良く、選択可能な設定の全てであっても良いし、一部であっても良い。後者の場合、処理に必要な設定は他の手法、例えば、デフォルト設定や過去の履歴等に基づいて決定されれば良い。

実行部は、第１設定に基づいてスキャンを伴う処理を実行することができればよい。すなわち、プレビュースキャンで読み取った画像に対する第１設定が機械学習に基づいて導出された場合に、当該画像に対して第１設定を適用してスキャンを伴う処理を実行することができればよい。

また、機械学習によって第１設定以外の第ｉ設定（ｉは２以上の整数）をも、可能性が高い順番の設定として導出し、この可能性が高い順番に優先順位を設定することで、ユーザーが設定を行う画面における選択肢の並び順を決定しても良い。例えば、汎化処理が終わった段階で、ある設定項目の選択肢が５個存在し、第１〜第５の選択肢のそれぞれにおける出力値が０．００５，０．８，０．１，０．０１５，０．０８である場合、第２の選択肢を第１設定とし，第３の選択肢を第２設定とし，第５の選択肢を第３設定とし，第４の選択肢を第４設定とし，第１の選択肢を第５設定とする。そして、現在選択中の選択肢、第２の選択肢、第３の選択肢，第５の選択肢，第４の選択肢，第１の選択肢、の順で並べるというようにする。このようにすることで、よりユーザーの使い勝手を向上させることができる。

また、スキャンはラインセンサーで画像を読み取るものに限らずエリアセンサーで画像を読み取るものであっても良い。

１０…プロセッサー、１０ａ…抽出部、１０ｂ…表示制御部、１０ｃ…取得部、１０ｄ…設定部、１０ｅ…実行部、１０ｆ…教師データ取得部、１０ｇ…学習部、２０…不揮発性メモリー、２０ａ…設定データ、２０ｂ…教師データ、２０ｃ…学習済モデル、３０…表示装置、４０…通信部、５０…印刷部、６０…読取部

Claims (6)

1. スキャンを行った画像に対してスキャンを伴う処理の設定を対応づけた教師データによって機械学習された学習結果に基づいて、プレビュースキャンで読み取った画像に対応する第１設定を導出し、スキャンを伴う前記処理の設定を前記第１設定とする設定部と、
   前記第１設定に基づいてスキャンを伴う前記処理を実行する実行部と、
   を備えるスキャンシステム。
2. 前記第１設定に含まれる設定の優先順位を既定の順位よりも上げ、前記優先順位に応じた位置に表示された複数の設定をユーザーが選択可能な画面を表示させる表示制御部をさらに備え、
   前記実行部は、
   前記画面で選択された設定に基づいてスキャンを伴う前記処理を実行する、
   請求項１に記載のスキャンシステム。
3. スキャンを伴う前記処理の設定が同一の画像について複数回変更された場合、最後に行われた設定が当該画像に対して対応づけられて前記教師データとされ、その前に行われた設定は前記教師データとされない、
   請求項１〜請求項２のいずれかに記載のスキャンシステム。
4. プレビュースキャンが行われた後にスキャンを伴う前記処理の設定が変更された場合、最後に行われた設定がプレビュースキャンで読み取った画像に対して対応づけられて前記教師データとされ、その前に行われた設定は前記教師データとされない、
   請求項１〜請求項３のいずれかに記載のスキャンシステム。
5. コンピューターを、
   スキャンを行った画像に対してスキャンを伴う処理の設定を対応づけた教師データによって機械学習された学習結果に基づいて、プレビュースキャンで読み取った画像に対応する第１設定を導出し、スキャンを伴う前記処理の設定を前記第１設定とする設定部、
   前記第１設定に基づいてスキャンを伴う前記処理を実行する実行部、
   として機能させるスキャンプログラム。
6. スキャンを行った画像に対してスキャンを伴う処理の設定を対応づけた教師データを取得する教師データ取得部と、
   前記教師データに基づいて、画像を入力し、スキャンを伴う前記処理の設定を出力するモデルを機械学習する学習部と、
   を備える機械学習装置。