JP2022158579A - 画像形成装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】意図しないページが誤混載された原稿において、誤混載と推定するための特徴をユーザが指定することなく、容易に意図しないページを除外して画像形成装置の機能を使用できる画像形成装置、制御方法及びプログラムを提供する。【解決手段】各種ハードウェア資源とプログラムを利用するソフトウェア構成４００であって、学習データ生成部４１３は、画像読み取り部４０４で取得した複数ページの原稿のスキャンデータから入力データを生成する。機械学習部４１４は、その入力データを学習データとする機械学習により原稿のページ間の相関性を推定する学習済みモデルを生成する。また、原稿のスキャンデータをスキャン系ジョブの開始に伴って画像読み取り部４０４で取得した場合、推定処理部４０５は、入力データを学習済みモデルに入力することでページ間の相関性を推定し、且つ、推定したページ間の相関性が閾値より低いページを対象ページとして抽出する。【選択図】図４

Description

本発明は、画像形成装置、制御方法、及びプログラムに関し、特に、複数ページからなる原稿の読み取りを行う画像形成装置、制御方法、及びプログラムに関する。

紙などの記録材に画像を形成する機能を備えた画像形成装置として、プリンタ機能、ファクシミリ機能、コピー機能等を併せ持った複合機が知られている。また近年の複合機では、ＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ）に紙原稿を設置することで、ページ数の多い原稿においても高速で読み取りを行うことができる。しかし、読み取りたい原稿に意図しない原稿が誤って混入（誤混載）されたまま上述の各機能を使用した場合、誤混載された原稿のデータが含まれた成果物が形成され、情報の流出につながる。また、誤混載された原稿によって成果物のページ順序が入れ替わってしまうため、再度の機能実行を必要としてしまい、ユーザの作業負荷が増加してしまう。

そこで、特許文献１では、ＯＣＲで検出した定型文字やページ色、背景、原稿サイズなどの条件で読み取った原稿を分類し、分類されたページの中からページ数が少ないグループを、誤混載の可能性がある原稿としてユーザに通知する技術が提案されている。

特開２０１９－１９３０５９号公報

しかしながら、特許文献１では予め分類に用いる特徴を設定する必要があり、読み取りたい原稿と誤混載された原稿の特徴の差異を適切に設定できなければ、原稿を過剰に誤混載と検出したり、何も検出しなかったりしてしまう。特に、社内文書など共通のフォーマットで作成された原稿同士では、特徴量が近くなるために誤混載された原稿の検出が難しい。

そこで本発明は、意図しないページが誤混載された原稿において、誤混載と推定するための特徴をユーザが指定することなく、容易に意図しないページを除外して画像形成装置の機能を使用できる画像形成装置、制御方法、及びプログラムを提供する。

本発明の請求項１に係る画像形成装置は、複数ページからなる原稿のスキャンデータを取得する取得手段と、前記原稿のスキャンデータから入力データを生成する生成手段と、前記入力データを学習データとする機械学習により、前記原稿のページ間の相関性を推定する学習済みモデルを生成する機械学習手段と、前記原稿のスキャンデータがスキャン系ジョブの開始に伴って前記取得手段で取得された場合、前記入力データを前記学習済みモデルに入力することで前記ページ間の相関性を推定する推定処理手段と、を備え、前記推定処理手段は、前記推定された前記ページ間の相関性が閾値より低いページを対象ページとして抽出することを特徴とする。

意図しないページが誤混載された原稿において、誤混載と推定するための特徴をユーザが指定することなく、容易に意図しないページを除外して画像形成装置の機能を使用できる。

本発明に係る画像形成装置を含むシステムの全体構成図である。 画像形成装置のハードウェア構成を示すブロック図である。 機械学習サーバーのハードウェア構成を示すブロック図である。 図１に示すシステムの各種ハードウェア資源とプログラムを利用することで実現されるソフトウェア構成を示す図である。 図４における機械学習部における学習モデルを用いた入出力の構造を示す概念図である。 図４における学習データ生成部において実行されるマスク処理を説明するための図である。 学習データであるスキャンデータのページ群が、互いに相関のあるページ群と相関が無いページを含むページ群である場合の構成例を示す図である。 教師データの詳細を示す図である。 スキャン系ジョブの実行処理のフローチャートである。 機械学習部による学習処理のフローチャートである。 図９のステップＳ９０５の推定処理のフローチャートである。 図１０ＢのステップＳ１０１３で表示される通知画面の例を示す図である。 図１０ＢのステップＳ１０１４のページ処理のフローチャートである。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜第１の実施例＞
以下、本発明を実施するための第１の実施例について図面を用いて説明する。

＜システム構成図＞
図１は、本実施形態に係る画像形成装置１０１を含むシステム１の全体構成図である。

図１において、システム１は、画像形成装置１０１、機械学習サーバー１０２、汎用コンピュータ１０３、及びデータサーバー１０５を有し、これらの機器は、ＬＡＮ１０４等のネットワークによって互いに接続されている。

画像形成装置１０１は、ＡＤＦ及びＡＩ機能を搭載する複合機である。尚、画像形成装置１０１は、ＡＤＦにより複数の原稿（原稿群）を読み取って画像データを形成でき、且つＡＩ機能により上記複数の原稿中に誤混載された原稿を推定できる装置であれば、特に限定されず、例えば、コピー機、ＦＡＸなどであってもよい。

汎用コンピュータ１０３は、画像形成装置１０１に対する印刷ジョブの送信等を行う。

機械学習サーバー１０２は、画像形成装置１０１に搭載されるＡＩ機能を実現するための学習済みモデルを中心的に生成する。

データサーバー１０５は、機械学習サーバー１０２において機械学習を行うために使用される学習データを外部機器から収集して機械学習サーバー１０２へ提供する。

すなわち、画像形成装置１０１は、随時、生成された学習済みモデルを機械学習サーバー１０２から受信して特定のＡＩ機能を実現する。また、機械学習サーバー１０２は、特定のＡＩ機能実現するための学習済みモデルの学習に必要な学習データをデータサーバー１０５や画像形成装置１０１、汎用コンピュータ１０３等の外部機器から受信し、その一部または全部を用いて学習処理を行う。

本実施例では、システム１においてまず、画像形成装置１０１で形成された複数ページからなる原稿の画像データをデータサーバー１０５に収集する。次に、機械学習サーバー１０２でその画像データから学習データを生成し、機械学習を行うことで原稿のページ間の相関性を推定する学習済モデルを生成する。その後、機械学習サーバー１０２で生成された学習済モデルを画像形成装置１０１にロードし、画像形成装置１０１でこの学習済モデルを用いたＡＩ機能を実現する。

このような構成により、画像形成装置１０１は、ＡＤＦにより読み取られた原稿に混入された意図しないページを推定し、そのページをユーザに通知することで、容易に意図しないページを除外することが可能になっている。

図２は、画像形成装置１０１のハードウェア構成を示すブロック図である。

図２において、画像形成装置１０１は、操作部１４０、スキャナ部１０、プリンタ部２０、コントローラ１２００、ＬＡＮ１０４や、公衆回線（ＷＡＮ）３００１、及び無線ＬＡＮ１０６を備える。

操作部１４０は、画像形成装置１０１を使用するユーザからの各種の操作を受け付けるボタンやタッチパネルディスプレイからなる。

スキャナ部１０は、ＡＤＦ（不図示）を有し、操作部１４０からの指示に従って、ＡＤＦに載置された複数の原稿を順に読み取って画像データ（スキャンデータ）を形成する。また、スキャナ部１０は、スキャナ部１０を制御するＣＰＵや原稿読取を行うための図示しない照明ランプや走査ミラーなどを有する。

プリンタ部２０は、スキャナ部１０で形成された画像データを用紙に印刷する。また、プリンタ部２０は、プリンタ部２０の制御を行うＣＰＵや画像形成や定着を行うための図示しない感光体ドラムや定着器を有する。

コントローラ１２００は、スキャナ部１０、プリンタ部２０、ＬＡＮ１０４、ＷＡＮ３００１、無線ＬＡＮ１０６と接続し、画像形成装置１０１の動作を統括的に制御する。

＜画像形成装置－コントローラ構成＞
図２を用いてコントローラ１２００の内部について詳細に説明する。

コントローラ１２００は、ＲＩＰ１２６０、スキャナ画像処理部１２８０、プリンタ画像処理部１２９０、画像回転部１２３０、画像圧縮部１２４０、及びデバイスＩ／Ｆ１２２０を備える。これらのデバイスは画像バス１２１２を介して互いに接続して画像データを高速で転送する。

ＲＩＰ１２６０は、ＬＡＮ１０４を介してＬＡＮ１０４上の汎用コンピュータ１０３から受信した印刷ジョブに含まれるＰＤＬコードをビットマップイメージに展開するラスタイメージプロセッサである。

スキャナ画像処理部１２８０は、スキャナ部１０から入力された画像データに対し補正、加工、編集を行う。

プリンタ画像処理部１２９０は、プリンタ部２０で出力（印刷）される画像データに対して補正、解像度変換等を行う。

画像回転部１２３０は、画像データの回転を行う。

画像圧縮部１２４０は、多値画像データはＪＰＥＧ、２値画像データはＪＢＩＧ、ＭＭＲ、又はＭＨの圧縮伸張処理を行う。

デバイスＩ／Ｆ１２２０は、スキャナ部１０及びプリンタ部２０とコントローラ１２００を接続して画像データの同期系／非同期系の変換を行う。更に、これらを互いに接続して画像データを高速で転送する画像バス１２１２を備えている。

また、コントローラ１２００は、ＣＰＵ１２０１、ＲＡＭ１２０２、操作部Ｉ／Ｆ１２０６、ネットワーク部１２１０、モデム部１２１１、無線通信Ｉ／Ｆ１２７０、ＲＯＭ１２０３、及びＨＤＤ１２０４を備える。更に、コントローラ１２００は、内部通信Ｉ／Ｆ１２０８、Ｉｍａｇｅ Ｂｕｓ Ｉ／Ｆ１２０５、及びＧＰＵ１２９１を備える。これらを互いにシステムバス１２０７を介して接続する。

ＲＡＭ１２０２は、ＣＰＵ１２０１が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもある。

操作部Ｉ／Ｆ１２０６は、操作部１４０に表示する画像データを操作部１４０に対して出力する。また操作部Ｉ／Ｆ１２０６は、操作部１４０から画像形成装置１０１を使用するユーザが入力した情報をＣＰＵ１２０１に伝える役割を有する。

ネットワーク部１２１０は、ＬＡＮ１０４に接続され、ＬＡＮ１０４上にある汎用コンピュータ１０３その他のコンピュータ端末（不図示）との通信（送受信）を行う。

モデム部１２１１は、公衆回線３００１に接続され、公衆回線３００１上の外部のファクシミリ装置（不図示）とのデータの通信（送受信）を行う。

無線通信Ｉ／Ｆ１２７０は、無線ＬＡＮ１０６により外部の端末（不図示）と接続し、その外部の端末とのデータの通信（送受信）を行う。

ＲＯＭ１２０３は、ＣＰＵ１２０１が実行するブートプログラムが格納する。

ＨＤＤ１２０４は、システムソフトウェア、画像データ、ソフトウェアカウンタ値などを格納するハードディスクドライブである。

内部通信Ｉ／Ｆ１２０８は、スキャナ部１０及びプリンタ部２０と夫々通信を行う。

Ｉｍａｇｅ Ｂｕｓ Ｉ／Ｆ１２０５は、システムバス１２０７及び画像バス１２１２を接続しデータ構造を変換するバスブリッジとして機能する。

コントローラ１２００は、印刷やコピージョブ実行時の、ユーザ名や印刷部数、カラー印刷等、出力属性情報等をジョブ実行時の履歴をジョブログ情報としてＨＤＤ１２０４あるいはＲＡＭ１２０２にて記録管理している。

ＧＰＵ１２９１は、ＣＰＵ１２０１と比べてデータをより多く並列処理することで効率的な演算を行うことができる。すなわち、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う処理は、ＧＰＵ１２９１で処理を行うことが有効である。そこで本実施例では、後述する機械学習部４１４による処理を画像形成装置１０１においても実行する場合はＣＰＵ１２０１に加えてＧＰＵ１２９１を用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ１２０１とＧＰＵ１２９１が協働して演算を行うことで学習を行う。尚、機械学習部４１４の処理はＣＰＵ１２０１またはＧＰＵ１２９１のみにより演算が行われても良い。尚、本実施例では、後述する推定処理部４０５の処理は、機械学習部４１４と同様にＧＰＵ１２９１により演算が行われる。

＜機械学習サーバー＞
図３は、機械学習サーバー１０２のハードウェア構成を示すブロック図である。

図３において、機械学習サーバー１０２は、ＣＰＵ１３０１、ＲＡＭ１３０２、ＲＯＭ１３０３、ＨＤＤ１３０４、ネットワーク部１３１０、ＩＯ部１３０５、及びＧＰＵ１３０６を備える。これらはそれぞれシステムバス１２０７で相互に接続される。

ＣＰＵ１３０１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションソフトなどのプログラムをＨＤＤ１３０４から読み出して実行することで種々の機能を提供する。

ＲＡＭ１３０２は、ＣＰＵ１３０１がプログラムを実行する際のシステムワークメモリである。

ＲＯＭ１３０３は、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳを起動するためのプログラム、設定ファイルを記憶する。

ＨＤＤ１３０４はハードディスクドライブであって、システムソフトウェアなどを記憶する。

ネットワーク部１３１０は、ＬＡＮ１０４に接続され、画像形成装置１０１などの外部機器と通信（送受信）を行う。

ＩＯ部１３０５は、マルチタッチセンサ等を備えた液晶ディスプレイ入出力デバイス等により構成される不図示の操作部との間で情報を送受信するインターフェースである。この操作部にはプログラムが指示する画面情報に基づき所定の解像度や色数等で所定の情報が描画される。例えば、この操作部にはＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面が形成され、そのＧＵＩ画面上に操作に必要な各種ウィンドウやデータ等が表示される。

ＧＰＵ１３０６は、ＣＰＵ１３０１と比べてデータをより多く並列処理することで効率的な演算を行うことができる。すなわち、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う処理は、ＧＰＵ１３０６で処理を行うことが有効である。そこで本実施例では、後述する機械学習部４１４による処理にはＣＰＵ１３０１に加えてＧＰＵ１３０６を用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ１３０１とＧＰＵ１３０６が協働して演算を行うことで学習を行う。尚、機械学習部４１４の処理はＣＰＵ１３０１またはＧＰＵ１３０６のみにより演算が行われても良い。また、推定処理部４０５を機械学習サーバー１０２において実行する場合も機械学習部４１４と同様にＧＰＵ１３０６を用いても良い。

次にＧＰＵ１３０６と画像形成装置１０１のＧＰＵ１２９１との使い分けについて記載する。

ネットワークの通信やＧＰＵ１３０６の処理に要する負荷、画像形成装置１０１の省電力モード等に応じてＧＰＵ１３０６の計算資源を有効活用がされるようになっている。例えば、画像形成装置１０１が省電力モードに移行する場合、積極的に機械学習サーバー１０２側のＧＰＵ１３０６を活用できるようになっている。

＜本発明のシステムにおけるソフトウェア構成＞
図４は、図１に示すシステム１の各種ハードウェア資源とプログラムを利用することで実現されるソフトウェア構成４００を示す図である。

図４に示すソフトウェア構成４００に含まれる構成要素を実現するためのプログラムは、その構成要素ごとにストレージに格納されており、ＲＡＭによみだされてＣＰＵにて実行されるものである。例えば、画像形成装置１０１において実現するためのプログラムは、ＨＤＤ１２０４に格納されていてＲＡＭ１２０２に読みだされてＣＰＵ１２０１にて実行される。機械学習サーバー１０２やデータサーバー１０５も同様である。

尚、ソフトウェア構成４００は、システム１において画像形成装置１０１の読み取った学習データを用いて、スキャナ部１０のＡＤＦに載置された複数の原稿中に誤混載された原稿の推定処理を行う機能を実現可能にするためのものである。

図４のソフトウェア構成４００における、画像形成装置１０１にある構成要素は、データ記憶部４０２、ＪＯＢ制御部４０３、ＵＩ表示部４０１、画像読み取り部４０４、及び推定処理部４０５から構成される。

データ記憶部４０２は、図２に示したハードウェア構成におけるＲＡＭ１２０２やＨＤＤ１２０４に対して、画像データ、学習データ、及び学習モデル等の画像形成装置１０１が入出力を行うデータの記録を行う機能的役割を有する。

ＪＯＢ制御部４０３は、ユーザの指示に基づきコピーやファックス、プリント等の画像形成装置１０１の基本機能の実行や基本機能の実行に伴い、ソフトウェア構成４００の他の構成要素間の指示やデータの送受信を中心的に行う機能的役割を有する。

ＵＩ表示部４０１（表示手段）は、図２に示す操作部Ｉ／Ｆ１２０６を介した、操作部１４０のタッチパネルディスプレイへの操作受付画面の表示、その操作受付画面に対するユーザ操作の受付を行う機能的役割を有する。尚、操作受付画面には、推定処理部４０５による推定結果等のユーザへのメッセージを通知する通知画面も含まれる。

画像読み取り部４０４（取得手段）は、ＪＯＢ制御部４０３の指示に基づきコピーやスキャン機能を実行する制御を行う場合に図２に示すスキャナ部１０により原稿を光学的に読み取る動作を行う機能的役割を有する。

推定処理部４０５（推定処理手段）は、図２に示すＣＰＵ１２０１やＧＰＵ１２９１により実行され、画像形成装置１０１が入出力を行うデータに対してＡＩ機能を実現するための推定処理や分類処理等を行う機能的役割がある。推定処理部４０５は、ＪＯＢ制御部４０３の指示に基づき処理が行われて、その処理結果は、ＪＯＢ制御部４０３に送信されＵＩ表示部４０１に通知メッセージの表示を行う等、ユーザに対してフィードバックを行うことが可能になっている。

図４のソフトウェア構成４００における、データサーバー１０５にある構成要素は、データ収集・提供部４１０及びデータ記憶部４１２から構成される。

データ収集・提供部４１０は、機械学習サーバー１０２において学習するための学習データの収集と提供を行う機能的役割を有している。具体的には、データ収集・提供部４１０は、画像形成装置１０１からＵＩ表示部４０１で受け付けたユーザ操作の内容を含む学習データの受信を行って、機械学習サーバー１０２へ提供する機能的役割を有する。また、学習データの収集先は、画像形成装置１０１に限定されない。例えば、他の画像形成装置（不図示）、汎用コンピュータ１０３、他のデータサーバー（不図示）から学習データを収集してもよい。これにより、後述の機械学習部４１４で目的の機械学習をさせるために必要なデータの収集が可能となる。

データ記憶部４１２は、収集した学習データの記録管理を行う機能的役割を有する。

図４のソフトウェア構成４００における、機械学習サーバー１０２にある構成要素は、学習データ生成部４１３、機械学習部４１４、及びデータ記憶部４１５から構成される。

学習データ生成部４１３（生成手段）は、図３に示すＣＰＵ１３０１により実行され、データサーバー１０５から受信した学習データを、目的の学習効果を得るために最適化する機能的役割を有する。学習データ生成部４１３による学習データの最適化処理は、推定に用いる特徴により異なる。例えばデータサーバー１０５から学習データとして受信したスキャンデータから、ページ番号が印字されていると推定される領域以外をマスクする処理や、ノイズになる不要なデータを除去する処理などが挙げられる。

データ記憶部４１５は、データサーバー１０５から受信したデータ、及び学習データ生成部４１３で最適化された学習データを図３に示すＲＡＭ１３０２やＨＤＤ１３０４へ一時記録を行う機能的役割を有する。尚、データ記憶部４１５は、後述する機械学習部４１４から受信した学習済みモデルも図３に示すＲＡＭ１３０２やＨＤＤ１３０４へ一時記録を行うようにしてもよい。

機械学習部４１４（機械学習手段）は、図２に示すＧＰＵ１３０６やＣＰＵ１３０１をハードウェアリソースとし、学習データ生成部４１３で最適化された学習データで後述する図５に示す学習方法により学習モデルの機械学習を行う機能的役割を有する。

＜学習モデルの概念図＞
図５は、機械学習部４１４における学習モデルを用いた入出力の構造を示す概念図である。以下本実施例では、学習モデルにニューラルネットワークが用いられる例について説明する。

また、システム１の特徴を説明するための一例として、このニューラルネットワークの機械学習により複数ページからなる原稿のページ間の相関性を推定するための学習済みモデルを生成する際、学習データとして用いられる入力データＸを示す。すなわち、機械学習部４１４は、入力層に入力データＸが入力されると、その出力層から、ページ間の相関性の推定結果である出力データＹが出力される学習済みモデルを生成する。

入力データＸは、複数ページからなる原稿の各ページ原稿の特徴量である説明変数Ｘ１～Ｘ１１からなる。ここで、ページ原稿とは、少なくとも１つのページ番号を含む１枚の原稿を指す。例えば、図６（ｃ）に示す、４ｉｎ１で印刷されているページ原稿には、４つのページ番号が含まれる。

本実施例では、２種のページ群からなる原稿のページ間の相関性が推定される。一方は、互いに相関のある連続したページ群Ａからなる原稿、すなわちページ順の正しい原稿である。他方は、ページ群Ａに相関が無いページｂ_１が混ざったページ群Ｂからなる原稿、すなわちページ順が一部間違っている原稿である。

説明変数Ｘ１は、各ページ原稿のページ番号を示す数値である。

説明変数Ｘ２は、各ページ原稿のページ番号の印字位置が真ん中下であることを示す情報である。

説明変数Ｘ３は、各ページ原稿のページ番号の印字位置が左下であることを示す情報である。

説明変数Ｘ４は、各ページ原稿のページ番号の印字位置が右下であることを示す情報である。

説明変数Ｘ５は、各ページ原稿のＮｉｎ１情報である。

説明変数Ｘ６は、各ページ原稿に含まれる章／段落の番号を示す数値である。

説明変数Ｘ７は、各ページ原稿の先頭文字列とそれ以外の文字列との行間距離の値である。

説明変数Ｘ８は、各ページ原稿に含まれる図表番号を示す数値である。

説明変数Ｘ９は、各ページ原稿に含まれる図表番号の印字位置の座標値である。

説明変数Ｘ１０は、各ページ原稿のページ先頭の文字列である。

説明変数Ｘ１１は、各ページ原稿のページ末尾の文字列である。

尚、説明変数Ｘ１～Ｘ１１以外の特徴量を用いて、ページ間の相関性を推定してもよい。また、説明変数Ｘ１～Ｘ１１の特徴量及びそれ以外の特徴量を組み合わせて、ページ間の相関性を推定してもよい。なぜなら、各ページ原稿の特徴量が同一となりえないからである。例えば、章／段落番号を示す数値（説明変数Ｘ６）は、章／段落の先頭に、図表番号は章／段落の途中に配置されることが多いが、複数ページにわたる文章においては章／段落番号や図表の無いページが存在するためである。よって本実施例で挙げた説明変数Ｘ１～Ｘ１１の特徴量は、本発明の推定方法に用いる特徴量を限定するものではない。

出力データＹは、ページ間の相関性、すなわち各ページ原稿とその次のページ原稿との間の相関性（以下、ページ相関という）の推定結果であり、ページ相関ありの推定確率Ｙ１、及びページ相関なしの推定確率Ｙ２の２つの目的変数から構成される。

以下本実施例では、各ページ原稿において最も特徴量として含まれている可能性が高いページ番号の数値（説明変数Ｘ１）、及びその印字位置（説明変数Ｘ２～Ｘ４）を機械学習で用いる場合について説明する。

尚、本実施例では、ページ番号の印字位置は、真ん中下（説明変数Ｘ２）、左下（説明変数Ｘ３）、右下（説明変数Ｘ４）のいずれかであるがこれに限定されない。例えば、ページ番号の印字され得る位置は他の場所であってもよいので、座標値（Ｘ，Ｙ）をページ番号の印字位置を示す説明変数を、特徴量としてもよいことは言うまでもない。

本実施例のように、ページ番号とその印字位置を入力データＸの説明変数とする場合、学習データ生成部４１３は、各ページ原稿のページ番号が印字されていると推定される領域以外をマスクするマスク処理を行う。マスク処理の詳細は図６を用いて後述する。

機械学習の具体的なアルゴリズムは、本実施例に係るニューラルネットワークに限定されない。例えば、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどを用いてもよい。また、ニューラルネットワークを利用して、学習するための特徴量や結合重み付け係数を自ら生成する深層学習（ディープラーニング）を用いてもよい。また適宜、上記アルゴリズムのうち利用できるものを用いて本実施例に適用してもよい。

更に学習モデルは、誤差検出部及び更新部を備えてもよい。

誤差検出部は、出力データＹ、期待値、及び損失関数を用いて、出力データＹと期待値との誤差を表す損失（Ｌ）を計算する。

更新部は、誤差検出部で計算された損失（Ｌ）に基づいて、その損失が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

ニューラルネットワークにより構成される学習モデル（Ｗ）は、「正解値が既知の入力データ」と「期待値」をセットにした教師データＴを学習データとして更に用意する。学習工程では、この正解値が既知の入力データが入力層に入力された場合の出力データＹが正解値に極力近づくように学習モデル（Ｗ）内の重み付け係数を調整し、精度の高い学習モデル（Ｗ）を得る。出力データＹと正解値の誤差が閾値以下となるまでかかる調整が行われた学習モデルを学習済モデルと呼ぶ。本実施例においては、教師データＴは、以下に示す２種の教師データＴａ，Ｔｂを有する。

教師データＴａは、互いに相関のあるページ群Ａからなる原稿の各ページ原稿の特徴量である入力データＸ及びその期待値からなる教師データである。具体的には、教師データＴａの入力データＸは、スキャナ部１０で取得されたページ群Ａのスキャンデータにある連続する「原稿データ１」と「原稿データ２」の夫々のページ番号、ページ番号位置、Ｎｉｎ１情報からなる説明変数である。また、教師データＴａの期待値は、ＰＡ（ページ相関あり）＝１、ＰＢ（ページ相関なし）＝０である。

教師データＴｂは、一部に相関が無いページ群Ｂからなる原稿の各ページ原稿の特徴量である入力データＸ及びその期待値からなる教師データである。具体的には、教師データＴｂの入力データＸは、スキャナ部１０で取得されたページ群Ｂのスキャンデータにある連続する「原稿データ１」と「原稿データ２」の夫々のページ番号、ページ番号位置、Ｎｉｎ１情報からなる説明変数である。また、教師データＴｂの期待値は、「原稿データ１」及び「原稿データ２」の一方が、相関がないページｂ１である場合、ＰＡ（ページ相関あり）＝０、ＰＢ（ページ相関なし）＝１である。それ以外の場合の期待値は、ＰＡ（ページ相関あり）＝１、ＰＢ（ページ相関なし）＝０である。

期待値とは、「正解値が既知の入力データ」を学習済モデルに入力した場合の出力データＹの「正解値」の推定確率である。

各教師データＴａ，Ｔｂの入力データＸを学習中の学習モデルに入力し算出された出力データＹとその期待値とを所定の損失関数に従い損失（Ｌ）を求める。

本実施例では、互いに相関のあるページ群Ａからなる原稿の各ページ原稿の特徴量を入力データＸとする教師データＴａの損失関数は、以下の通りとなる。
損失（Ｌ）＝ １－「ページ相関ありの推定確率Ｙ１」

また、一部に相関が無いページ群Ｂからなる原稿の各ページ原稿の特徴量を入力データとする教師データＴｂの損失関数は、以下の通りとなる。
損失（Ｌ）＝ １－「ページ相関なしの推定確率Ｙ２」

この損失（Ｌ）が０に近づくように中間層の学習モデル（Ｗ）の各層間の重み付け調整する。

この調整を行った学習モデル（Ｗ）を学習済モデルとし機械学習部４１４にこのモデルを実装する。

尚、ページ群Ｂは、相関が無いページｂ１をページ群Ａのどのページ間に挿入するかを変更することで、同じ学習モデルでも学習量を増やすことができる。

＜前処理の説明図＞
図６を用いて、学習データとして受信したスキャンデータに対して、機械学習部４１４で学習する前に学習データ生成部４１３において実行される前処理であるマスク処理について説明を行う。

上述の通り、入力データＸとして、各ページ原稿のスキャンデータからページ番号、及びその印字位置等を抽出する必要がある。このため、既知のＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ／Ｒｅａｄｅｒ）等を用いて各ページ原稿のスキャンデータからページ番号の文字認識を行う。この際、ページ番号のみを認識するため、各ページ原稿のスキャンデータのページ番号が印字され得る領域（以下「ページ番号抽出領域」という）以外の領域（マスク領域）に対してマスク処理を行う。

まずスキャナ部１０より各ページ原稿のＮｉｎ１情報を取得し、これを説明変数Ｘ５とする。

次に、取得した説明変数Ｘ５及び各ページ原稿の文字の向きに応じて、各ページ原稿のマスク処理を実行した後、ページ番号抽出領域からページ番号を抽出し、説明変数Ｘ１とする。以下、このマスク処理及びページ番号の抽出処理の具体例を示す。

図６（ａ）は、各ページ原稿が１ｉｎ１の原稿の例である。この場合、まず、各ページ原稿の全体の文字認識を行い、文字の向きから原稿の方向（縦原稿、横原稿）かを判定する。通常、ページ番号は原稿の下部に印字されることが多いため、各ページ原稿の下部の任意の領域をページ番号抽出領域とし、それ以外をマスク領域とする。その後、ページ番号抽出領域にある文字列をページ番号として抽出し、これを学習データである説明変数Ｘ１とする。

図６（ｂ）は、各ページ原稿が２ｉｎ１の原稿の例である。２ｉｎ１の場合、ページ番号抽出領域は図６（ａ）同様原稿の下部になるが、そこから抽出されるページ番号は２ページ分となる。この場合、抽出された２ページ分のページ番号のそれぞれを学習データである説明変数Ｘ１とする。

図６（ｃ）は、各ページ原稿が４ｉｎ１の原稿の例である。４ｉｎ１の場合、ページ番号抽出領域は、原稿の中央部及び下部になり、その２つのページ番号抽出領域から夫々２ページ分のページ番号が抽出される。この場合、抽出された４ページ分のページ番号のそれぞれを学習データである説明変数Ｘ１とする。

Ｎｉｎ１設定は図示しないが他の設定もあり、ページ番号の印字位置や、ページ番号の数も設定によって変わってくる。このため、それぞれの設定で最適となるよう、マスク処理において文字抽出領域を設定し、ページ番号の抽出を行う。

＜原稿の構成例＞
次にページ群Ｂの構成例、すなわち、互いに相関のあるページ群Ａと相関が無いページｂ１を含むページ群である場合の構成例について図７を用いて説明する。

図７に示すように、ページ群Ａの各ページ原稿は、１ｉｎ１の原稿であり、通常はページ下中央部にページ番号が印字されている。しかし、ページ番号の印字位置がレイアウトの都合で移動していたり、ページ番号以外の数字がページ番号抽出領域にあったりするケースが考えられる。

図７に示すＮｏ．３のページ原稿は、ページ下中央部にページ番号が印字されているが、ページ番号印字領域にページ番号以外の数字も含まれている例である。

図７に示すＮｏ．６，８のページ原稿は、図を大きく印刷するためページ番号の位置をページ右下に移動した例である。

このようにページ群Ａに含まれるページ原稿では、そのレイアウト次第で、ページ番号の位置を右下に移動し、また、ページ番号印字領域にページ番号以外の数字を含ませる。よって、これらのページ原稿の特徴量も入力データの説明変数として蓄積し学習を行う。

ページ群Ａとは相関がないページｂ１のページ原稿は、図７に示すように、ページ番号印字領域にページ番号以外の情報は無いが、ページ番号は、ページ群Ａのようにページ下中央部やページ右下には印字されておらず、ページ左下に印字されている。また、ページｂ１のページ原稿にはページ群ＡのＮｏ．７と同じページ番号である「７」が印字されている。そのため、ページ群Ａにページｂ１が混入すると、ページ番号間の連続性が崩れて相関が無くなる事象や、ページ番号の連続性は保てるがページ番号の印字位置が異なることにより相関が無くなる事象が発生する。つまり、ページｂ１の混入個所によって、相関が崩れる要因が変化する。従って、ページ群Ｂは、相関が無いページｂ１をページ群Ａのどのページ間に挿入するかを変更することで、同じ学習モデルでも学習量を増やすことができる。

図８は、教師データの詳細を示す図である。

教師データの生成のため予め互いに相関のあるページ群Ａと相関がないページｂ１を用意する。

互いに相関のあるページ群Ａを入力データＸとする教師データＴａの生成には、入力データＸとして「原稿データ１」及び「原稿データ２」を設定する。

「原稿データ１」は、スキャナ部１０で連続して取得されたページ群Ａのスキャンデータから抽出された、任意のページ原稿のスキャンデータである。

また「原稿データ２」は、「原稿データ１」の次にスキャナ部１０で取得されたページ原稿のスキャンデータである。また、その期待値は、ＰＡ（ページ相関あり）＝１、ＰＢ（ページ相関なし）＝０と設定する。

一部に相関が無いページ群Ｂを入力データＸとする教師データＴｂの生成にも、入力データＸとして、「原稿データ１」及び「原稿データ２」を設定する。

「原稿データ１」は、スキャナ部１０で連続して取得されたページ群Ｂのスキャンデータから抽出された、任意のページ原稿のスキャンデータである。

また「原稿データ２」は、「原稿データ１」の次にスキャナ部１０で取得されたページ原稿のスキャンデータである。また、その期待値は、「原稿データ１」及び「原稿データ２」の一方が、相関がないページｂ１である場合、相関が無いページ間の期待値として、ＰＡ（ページ相関あり）＝０、ＰＢ（ページ相関なし）＝１を設定する。一方、それ以外の場合は、相関があるページ間の期待値として、ＰＡ（ページ相関あり）＝１、ＰＢ（ページ相関なし）＝０を設定する。

図９のフローチャートを用いて、ＪＯＢ制御部４０３によるスキャン系のジョブの実行処理を説明する。尚、スキャン系ジョブとはコピーやスキャンＢＯＸ等のスキャナ部１０による原稿読取処理を含むジョブ全般のことである。また、本処理を実行する時点では、すでに学習済モデルが機械学習部４１４により生成済であり、推定処理部４０５の中間層にその学習済モデルが設定されている。

図９において、まずステップＳ９０１で、ＪＯＢ制御部４０３は、ユーザからスキャン系ジョブの開始の操作を操作部１４０が受け付けたか否かを判定する。

操作を受け付けていない場合（ステップＳ９０１でＮＯ）、操作を受け付けるまで待機をする一方、操作を受け付けた場合（ステップＳ９０１でＹＥＳ）、ステップＳ９０２に遷移する。

ステップＳ９０２で、ＪＯＢ制御部４０３は、スキャン系ジョブを開始し、ＡＤＦもしくは原稿台ガラスに設置された原稿を読み取るようスキャナ部１０（画像読み取り部４０４）を制御する。

ステップＳ９０３で、ＪＯＢ制御部４０３は、スキャナ部１０がすべての原稿の読取が終了したか否かを判定する。

すべての原稿の読取はまだ終了していない場合（ステップＳ９０３でＮＯ）、ステップＳ９０２に戻り、ＪＯＢ制御部４０３は、まだ読取が終了していない原稿を読み取るようスキャナ部１０を制御する。一方、すべての原稿の読取が終了した場合（ステップＳ９０３でＹＥＳ）、ステップＳ９０４に遷移する。

ステップＳ９０４で、ＪＯＢ制御部４０３は、読みとった全ての原稿のスキャンデータをデータ収集・提供部４１０を介してデータ記憶部４１２に保存する。これにより、ＪＯＢ制御部４０３（設定手段）は、読取が終了した全ての原稿を、ステップＳ９０２で開始したスキャン系ジョブの読み取り後の処理の対象となる原稿に設定する。

ステップＳ９０５で、ＪＯＢ制御部４０３は、推定処理部４０５にページ間の相関性を推定する推定処理を行わせる。推定処理の詳細は図１０Ｂにて後述する。

ステップＳ９０６で、ＪＯＢ制御部４０３は、読み取り後の処理（プリント、データ保存、データ送信等）を実行した後、本処理を終了する。

図１０Ａのフローチャートを用いて、機械学習部４１４による追加学習処理（学習フェーズ）を説明する。尚、本処理を実行する時点では、すでに学習済モデルが機械学習部４１４により生成済である。

機械学習部４１４は、データ記憶部４１２に保存されている原稿のスキャンデータが更新されたかどうかを一定期間毎に確認する。更新されていると判断したタイミングで、図１０Ａの処理を開始する。

まず、ステップＳ１００１で、機械学習部４１４は更新された原稿のスキャンデータをデータ記憶部４１２から受信する。

その後、ステップＳ１００２で、機械学習部４１４は、まず、受信したスキャンデータからの入力データの生成を学習データ生成部４１３に行わせる。その後、その入力データを学習データに用いたニューラルネットワークの機械学習（学習済モデルの追加学習）を開始する。

その後、ステップＳ１００３で、機械学習部４１４は、ステップＳ１００２で開始した追加学習が終わったかどうか判断する。

追加学習がまだ終わっていない場合（ステップＳ１００３でＮＯ）、ステップＳ１００２に戻り、追加学習を続行する。一方、追加学習が終わっている場合（ステップＳ１００３でＹＥＳ）、ステップＳ１００４に進む。

ステップＳ１００４で、機械学習部４１４は学習済みモデルの更新を推定処理部４０５へ通知する。

その後、ステップＳ１００５で、機械学習部４１４は推定処理部４０５からの学習済みモデルの送信要求があったかどうか判断する。

学習済みモデルの送信要求が無い場合（ステップＳ１００５でＮＯ）、ステップＳ１００５に戻り、推定処理部４０５からの送信要求を待つ。一方、学習済みモデルの送信要求があった場合（ステップＳ１００５でＹＥＳ）、ステップＳ１００６に遷移する。

ステップＳ１００６で、機械学習部４１４は追加学習の終了により更新された学習済みモデルを推定処理部４０５へ送信し、本処理を終了する。

次に、図１０Ｂのフローチャートを用いて、図９のステップＳ９０５の推定処理を説明する。本処理は、推定処理部４０５に対してＪＯＢ制御部４０３により推定処理を行うよう指示があったときに開始する。

ステップＳ１００７で、ステップＳ９０４で設定された読み取り後の処理の対象となる原稿から、先頭ページの原稿を除外する。このステップは、ステップＳ９０５の推定処理の処理時間を短縮するために実行される。

ステップＳ１００８で、推定処理部４０５は、機械学習部４１４へ学習済みモデルの送信要求を行い、学習済みモデルを受信する。

その後、ステップＳ１００９で、推定処理部４０５は、学習データ生成部４１３に対し、ステップＳ９０４でデータ記憶部４１２に保存されたスキャンデータのマスク処理を行わせる。これにより、スキャンデータのページ番号抽出領域以外の領域はマスクされる。

ステップＳ１０１０で、推定処理部４０５は、学習データ生成部４１３に対し、入力データのページ番号抽出領域からページ番号の数値を抽出させ、その数値及びその印字位置を入力データＸの説明変数として設定する。

ステップＳ１０１１で、推定処理部４０５は、ステップ１０１０で設定された説明変数からなる入力データＸとステップＳ１００８で受信した学習済モデルとを用いて、ステップＳ９０２で読み取られた原稿のページ間の相関性を推定する。

ステップＳ１０１２で、推定処理部４０５はページ間の相関が無い原稿データであるか否かを判断する。具体的には、推定された各ページ間の相関性の平均値が第１の閾値（例えば８０％）未満であれば、ページ間の相関が無い原稿データと判断し（ステップＳ１０１２でＹＥＳ）、ステップＳ１０１３に遷移する。一方、ページ相関ありの推定確率の平均値が第１の閾値以上であれば、本処理を終了する。

ステップＳ１０１３で、推定処理部４０５は相関性の低い最初のページを対象ページとして抽出し、その画像をＵＩ表示部４０１に表示させる。具体的には、ページ相関ありの推定確率が第２の閾値（例えば６６％）以下の最も若いページを対象ページとして抽出し、対象ページの画像を含む通知画面をＵＩ表示部４０１に表示させる。これにより、対象ページがページ間の相関が無い可能性がある旨をユーザに知らせる。ここでＵＩ表示部４０１が表示する通知画面については、図１１で後述する。

尚、ページ間の相関が無い可能性があるページをより確実にユーザに知らせる設定とする場合は、ステップＳ１０１２を無くし、ステップＳ１０１１からステップＳ１０１３に直接進むようにしてもよい。

ステップＳ１０１４で、ＪＯＢ制御部４０３はＵＩ表示部４０１が表示する通知画面へのユーザ操作に応じて、その画面上に画像が表示されたページ原稿のデータを削除する処理や、画像表示するページ原稿を変更する処理を選択的に実行するページ処理を行う。ページ処理の詳細は図１２で後述する。その後、本処理を終了する。

尚、ステップＳ１０１２で用いられた、ページ間の相関が無い原稿データであるか否かを判断するための第１の閾値は、事前に任意の値に設定しても良い。また、ステップＳ１０１３で用いられた、相関性が低い最初のページ（通知画面に画像表示する対象ページ）を決定するための第２の閾値についても、事前に任意の値に設定しても良い。

図１１を用いて、図１０ＢのステップＳ１０１３で表示される通知画面を説明する。

ＵＩ表示部４０１は、ステップＳ１０１３で、操作部１４０のタッチパネルディスプレイに図１１に示す通知画面を表示する。

具体的には、通知画面には、ページ表示領域４０１０、相関性表示部４０１５、表示範囲変更ボタン４０１６、及び入力ボタン群が表示される。

ページ表示領域４０１０は、ページ相関ありの推定確率が第２の閾値以下と推定された最も若いページである対象ページ、及びその前後のページの画像を表示する。

相関性表示部４０１５は、対象ページの相関性（ページ相関ありの推定確率）を表示する。

表示範囲変更ボタン４０１６（閾値設定操作部）は、通知画面に画像表示する対象ページを決定するための第２の閾値を変更するボタンである。

入力ボタン群は、ユーザが対象ページの処理を入力するためのボタン群であり、「元に戻す」ボタン４０１１、「対象ページを削除する」ボタン４０１２（第１の操作部）、「手動で修正する」ボタン４０１３、「修正しない」ボタン４０１４を含む。

ページ表示領域４０１０は、対象ページの画像を強調してユーザに示すために、対象ページの画像の周囲を点線で囲っているが、この方法に限定されない。例えば、対象ページの画像の周囲を模様で囲っても良いし、対象ページの画像を同時表示された前後のページの画像よりも大きく表示してもよいし、それ以外の方法を用いて強調表示してよい。

例えば、図１１（ａ）の通知画面で画像表示される対象ページは誤混載された原稿であると判断した場合、ユーザは「対象ページを削除する」ボタン４０１２を押す。そうすると、後述するページ処理にて対象ページ（５ページ目）がステップＳ９０４で設定された読み取り後の処理の対象となる原稿から削除される。この場合、ページ相関ありの推定確率が第２の閾値以下と推定されたページのうち、対象ページ（５ページ目）の次に若いページを新たに対象ページとしてＵＩ表示部４０１に画像表示する。尚、ユーザは、誤って「対象ページを削除する」ボタン４０１２を押してしまった場合、「元に戻す」ボタン４０１１を押すことで、「対象ページを削除する」ボタン４０１２を押す前の状態までＵＩ表示部４０１の表示を戻すことができる。

また、別の例として、図１１（ｂ）の通知画面で画像表示される対象ページは相関があるページであり、誤って推定されたページが対象ページとして画像表示されていると判断した場合、ユーザは「修正しない」４０１４ボタンを押す。そうすると、後述するページ処理にて対象ページ（７ページ目）はステップＳ９０４で設定された読み取り後の処理の対象となる原稿から削除されることなく維持される。この場合、ページ相関ありの推定確率が第２の閾値以下と推定されたページのうち、対象ページ（７ページ目）の次に若いページを新たに対象ページとしてＵＩ表示部４０１に画像表示する。

その他に、ユーザは、「手動で修正する」４０１３ボタンを押すことで、通知画面を不図示の手動編集画面に遷移させることができる。手動編集画面では、相関性が低い全てのページのプレビュー画面が表示されるため、ユーザは各ページの画像を確認しながら、削除するページを選択することができる。

尚、本実施例では、相関性表示部４０１５で表示される、対象ページの相関性を、ページ相関ありの推定確率を示す数値（パーセンテージ）で表示したがこれに限定されない。例えば、対象ページの相関性をより分かりやすくユーザに示すために、数値ではなく「大」「中」「小」といったグループに分けて表示しても良いし、対象ページの相関性に対応した色（例えば相関性が高ければ赤く、低ければ青く）で表示しても良い。

また、本実施例では、表示範囲変更ボタン４０１６は、その押下により第２の閾値の値を切り替える。例えば、図１１（ａ）に示すように、表示範囲変更ボタン４０１６が押下によりその表示が「相関がとても低いページのみ表示」となった場合、第２の閾値の値を３３％とする。また、図１１（ｂ）に示すように、表示範囲変更ボタン４０１６が押下によりその表示が「相関が少し低いページまで表示」となっている場合、第２の閾値の値を６６％とする。このように第２の閾値を変更することで、通知画面に画像表示された対象ページが誤混載されたページであるか否かをユーザが判断する作業量と、通知画面に画像表示される対象ページの相関性の程度を、ユーザが調整でき、作業の効率化が狙える。尚、表示範囲変更ボタン４０１６は、本実施例のように２つの設定の一方に切り替える構成に限定をする必要はなく、例えば、３つ以上の設定の一つに切り替える構成としても良いし、上記第２の閾値の数値を連続的に変化させる構成でもよい。

また、本実施例では、第２の閾値の値に応じて、「対象ページを削除する」ボタン４０１２に対するユーザの操作を促すメッセージを変更している。具体的には、図１１（ａ）の通知画面のように、第２の閾値が３３％に設定されている場合は、「関連性のないページが検出されました。削除しますか？」というメッセージを表示する。また、図１１（ｂ）の通知画面のように、第２の閾値が６６％に設定されている場合は、「意図しないページが入り込んでいませんか？」というメッセージを表示する。

尚、推定処理部４０５により第２の閾値以下のページであると推定されたページが連続して抽出される場合がある。このような場合、対象ページの両端には、対象ページの前後のページではなく、ページ相関ありの推定確率が第２の閾値より大きいページの画像が表示されるようにする。

図１２は、図１０ＢのステップＳ１０１４のページ処理のフローチャートである。

まず、ステップＳ１２０１でＵＩ表示部４０１に画像表示する必要があるページ（対象ページ）があるか否かを判定する。尚、本処理は、ステップＳ１０１３で対象ページの画像を通知画面に表示した直後に開始する処理である。よって、本処理が開始して最初に実行されるステップＳ１２０１の処理では、「対象ページがある」と判定され（ステップＳ１２０１でＹｅｓ）、ステップＳ１２０２に進む。反対に、相関性が初期値より低い全てのページの対象ページとしての処理が完了すると、「対象ページが無い」と判定され（ステップＳ１２０１でＮｏ）、後述するステップＳ１２１４に進む。

ステップＳ１２０２で、通知画面に表示するボタンのいずれかが押下されたか判定する。

ボタンのいずれかが押下された場合であって（ステップＳ１２０２でＹｅｓ）、押下されたボタンが「修正しない」ボタン４０１４である場合（ステップＳ１２０３でＹｅｓ）、ステップＳ１２０４に進む。

ステップＳ１２０４では、通知画面に対象ページとして画像表示されているページを「削除しない」ページに指定する。

その後、次にページ番号が若い相関性が低いページを通知画面に対象ページとして画像表示し（ステップＳ１２０５）、ステップＳ１２０１に戻る。

一方、ボタンが押下された場合であって（ステップＳ１２０２でＹｅｓ）、押下されたボタンが「修正しない」ボタン４０１４以外である場合（ステップＳ１２０３でＮｏ）、ステップＳ１２０６に進む。

ステップＳ１２０６では、押下されたボタンが「対象ページを削除する」ボタン４０１２であるか確認する。

押下されたボタンが「対象ページを削除する」ボタン４０１２である場合（ステップＳ１２０６でＹｅｓ）、通知画面に対象ページとして画像表示されるページを「削除する」ページに指定し（ステップＳ１２０７）、ステップＳ１２０５に進む。

一方、押下されたボタンが「対象ページを削除する」ボタン４０１２でない場合（ステップＳ１２０６でＮｏ）、ステップＳ１２０８に進み、押下されたボタンが「元に戻す」ボタン４０１１であるか確認する。

押下されたボタンが「元に戻す」ボタン４０１１である場合（ステップＳ１２０８でＹｅｓ）、ステップＳ１２０９に進む。

ステップＳ１２０９で、現在通知画面に対象ページとして画像表示されているページの直前に対象ページであったページ（１つ前の表示ページ）に対する「削除しない」または「削除する」の指定を解除する。その後、指定を解除したページを通知画面に対象ページとして画像表示（ステップＳ１２１０）し、ステップＳ１２０１に戻る。

一方、押下されたボタンが「元に戻す」ボタン４０１１でない場合（ステップＳ１２０８でＮｏ）、ステップＳ１２１１に進み、押下されたボタンが表示範囲変更ボタン４０１６であるか確認する。

押下されたボタンが表示範囲変更ボタン４０１６である場合（ステップＳ１２１１でＹｅｓ）、通知画面に画像表示する対象ページを決定する第２の閾値を、表示範囲変更ボタンの押下により切り替えられた設定における値に変更し、ステップＳ１２０１に戻る。

一方、押下されたボタンが表示範囲変更ボタン４０１６でない場合（ステップＳ１２１１でＮｏ）、押下されたボタンが「手動で修正する」ボタン４０１３であると判断し、ステップＳ１２１３に進む。

ステップＳ１２１３では、手動編集処理を実行する。具体的には、通知画面を手動編集画面に遷移させ、相関性が低いページを全て手動編集画面に表示し、各ページについて、ユーザに「削除する」又は「削除しない」の指定を入力するよう促す。手動編集画面に表示される全てページに対しどちらかの指定が入力されると、手動編集処理を終了してステップＳ１２１４に進む。

ステップＳ１２１４では、相関性が第２の閾値以下と推定されたページの内、ユーザにより「削除する」の指定がされたページのデータの全てを、ステップＳ９０４で設定された読み取り後の処理の対象となる原稿から削除し、本処理を終了する。

一方、通知画面に表示するボタンがいずれも押下されないまま（ステップＳ１２０２でＮｏ）、所定時間（例えば３分間）が経過したか確認する（ステップＳ１２１５）。所定時間が経過していないと判定された場合（ステップＳ１２１５でＮｏ）、ステップＳ１２０１に戻る一方、所定時間が経過したと判定された場合（ステップＳ１２１５でＹｅｓ）、ステップＳ１２１６に進む。

ステップＳ１２１６で、ステップＳ９０１で開始の操作を受け付けたスキャン系のジョブが、ＳＥＮＤやＦＡＸといった送信系ジョブか、ＣＯＰＹジョブか判断する。

送信系ジョブの場合（ステップＳ１２１６でＹｅｓ）、送信先がジョブを実行したユーザのみの場合に限り（ステップＳ１２１７でＹｅｓ）、ステップＳ１２１８に進み、相関性が第２の閾値以下と推定されたページを全て「削除しない」と指定する。その後、ステップＳ１２１４に進み、相関性が第２の閾値以下と推定されたページであってもステップＳ９０４で設定された読み取り後の処理の対象となる原稿から削除することなく維持し、本処理を終了する。送信先がジョブを実行したユーザのみであれば、誤混載されたページのデータが誤って第三者に送信されるリスクは無いからである。

反対に、送信系ジョブの場合に（ステップＳ１２１６でＹｅｓ）、送信先がジョブを実行したユーザのみでない場合（ステップＳ１２１７でＮｏ）、誤混載されたページのデータが誤って第三者に送信されるリスクがある。よってこの場合はステップＳ１２０１に戻り、ユーザの操作を待つ。

一方、ＣＯＰＹジョブの場合（ステップＳ１２１６でＮｏ）、詳細設定があるジョブか片面シンプルコピー設定のジョブであるかを判定する（ステップＳ１２１９）。ここで詳細設定があるジョブとは、その印刷設定として、両面印刷やＮｉｎ１割付、ステープル設定などの設定があるジョブである。また片面シンプルコピー設定のジョブとは、その印刷設定として、片面印刷が設定される一方、ページまとめ設定やステープル設定がされていないジョブである。

片面シンプルコピー設定の場合（ステップＳ１２１９でＹｅｓ）、ステップＳ１２１８に進み、相関性が第２の閾値以下と推定されたページを全て「削除しない」と指定する。その後、ステップＳ１２１４に進み、相関性が第２の閾値以下と推定されたページであってもステップＳ９０４で設定された読み取り後の処理の対象となる原稿から削除することなく維持し、本処理を終了する。片面シンプルコピー設定であれば、誤混載されたページがあってもＣＯＰＹジョブの終了後にユーザがそのページを簡単に除外することができ、再度、ＣＯＰＹジョブを実行させる必要はないからである。

反対に、ＣＯＰＹジョブの場合（ステップＳ１２１６でＮｏ）、片面シンプルコピー設定でない場合（ステップＳ１２１９でＮｏ）、誤混載されたページのデータによって崩れた印刷物の順序を修正できない。よってこの場合は、再度、ＣＯＰＹジョブを実行させる必要が生じるため、ステップＳ１２０１に戻り、ユーザの操作を待つ。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実行可能である。

１ システム
１０ スキャナ部
２０ プリンタ部
１０１ 画像形成装置
１０２ 機械学習サーバー
１０４ ＬＡＮ
１０５ データサーバー
１４０ 操作部
１２００ コントローラ
４０３ ＪＯＢ制御部
４０５ 推定処理部
４１０ データ収集・提供部
４１３ 学習データ生成部
４１４ 機械学習部

Claims (14)

1. 複数ページからなる原稿のスキャンデータを取得する取得手段と、
   前記原稿のスキャンデータから入力データを生成する生成手段と、
   前記入力データを学習データとする機械学習により、前記原稿のページ間の相関性を推定する学習済みモデルを生成する機械学習手段と、
   前記原稿のスキャンデータがスキャン系ジョブの開始に伴って前記取得手段で取得された場合、前記入力データを前記学習済みモデルに入力することで前記ページ間の相関性を推定する推定処理手段と、
   を備え、
   前記推定処理手段は、前記推定された前記ページ間の相関性が閾値より低いページを対象ページとして抽出することを特徴とする画像形成装置。
2. 前記生成手段は、
   前記原稿の夫々における、ページ番号が印字されていると推定される領域をページ番号抽出領域に、それ以外の領域をマスクする領域に設定し、
   前記ページ番号抽出領域からページ番号を抽出して、前記入力データとすることを特徴とする請求項１記載の画像形成装置。
3. 前記生成手段は、前記複数ページからなる原稿の夫々のＮｉｎ１情報に応じて、前記マスクする領域と前記ページ番号抽出領域を設定することを特徴とする請求項２に記載の画像形成装置。
4. 前記推定処理手段による前記ページ間の相関性の推定の結果をユーザに通知する通知画面を表示する表示手段と、
   前記複数ページからなる原稿を前記スキャン系ジョブの読み取り後の処理の対象となる原稿に設定する設定手段とを更に備え、
   前記通知画面には、前記対象ページの画像、及び前記対象ページを前記読み取り後の処理の対象となる原稿から削除する操作をユーザから受け付ける第１の操作部を含む複数の操作部が表示されることを特徴とする請求項１乃至３のいずれか１項に記載の画像形成装置。
5. 前記通知画面には、前記対象ページに対して推定されたページ間の相関性が更に表示されることを特徴とする請求項４記載の画像形成装置。
6. 前記通知画面に前記対象ページの画像が表示された後、所定の時間まで前記複数の操作部のいずれに対しても前記ユーザの操作が無い場合であって、
   前記スキャン系ジョブが、送信系ジョブであり、且つその送信先が前記ユーザのみに限定されている場合、
   前記読み取り後の処理の対象となる原稿から前記対象ページを削除することなく維持することを特徴とする請求項４又は５記載の画像形成装置。
7. 前記通知画面に前記対象ページの画像が表示された後、所定の時間まで前記複数の操作部のいずれに対しても前記ユーザの操作が無い場合であって、
   前記スキャン系ジョブが、ＣＯＰＹジョブであり、且つその印刷設定として、片面印刷が設定される一方、ページまとめ設定及びステープル設定がされていない場合、
   前記読み取り後の処理の対象となる原稿から前記対象ページを削除することなく維持することを特徴とする請求項４又は５に記載の画像形成装置。
8. 前記複数の操作部の一つは、前記閾値を変更する操作を前記ユーザより受ける付ける閾値設定操作部であることを特徴とする請求項４乃至７のいずれか１項に記載の画像形成装置。
9. 前記通知画面には、前記第１の操作部に対する前記ユーザの操作を促すメッセージが更に表示され、
   前記閾値設定操作部に対する前記ユーザの操作により変更された前記閾値に応じて、前記メッセージを変更することを特徴とする請求項８記載の画像形成装置。
10. 前記通知画面には、前記対象ページの前後のページの画像が、前記対象ページの画像の両端にさらに表示されることを特徴とする請求項４乃至９のいずれか１項に記載の画像形成装置。
11. 前記対象ページが連続して抽出された場合、前記通知画面には、前記連続して抽出されたページの最も若いページの画像が前記対象ページの画像として表示され、前記対象ページの画像の両端には、前記推定された前記ページ間の相関性が前記閾値以上であるページが表示されることを特徴とする請求項１０記載の画像形成装置。
12. 前記推定処理手段は、前記読み取り後の処理の対象となる原稿から先頭ページを除外して、前記入力データを前記生成手段に生成させることを特徴とする請求項４乃至１１のいずれか１項に記載の画像形成装置。
13. 画像形成装置の制御方法であって、
    複数ページからなる原稿のスキャンデータを取得する取得ステップと、
    前記原稿のスキャンデータから入力データを生成する生成ステップと、
    前記入力データを学習データとする機械学習により、前記原稿のページ間の相関性を推定する学習済みモデルを生成する機械学習ステップと、
    前記原稿のスキャンデータがスキャン系ジョブの開始に伴って前記取得ステップにおいて取得された場合、前記入力データを前記学習済みモデルに入力することで前記ページ間の相関性を推定する推定処理ステップと、
    を有し、
    前記推定処理ステップにおいて、前記推定された前記ページ間の相関性が閾値より低いページが対象ページとして抽出されることを特徴とする制御方法。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像形成装置の各手段として機能させる、コンピュータにより実行可能なプログラム。

Images