JP2022090536A - 画像処理システム、画像処理装置、制御方法 - Google Patents

Abstract

【課題】 文字を含まない原稿の天地を識別可能な画像処理装置を提供する。【解決手段】 画像処理装置（１０１）は、情報を表示する操作部（１４０）と、原稿を読み取るスキャナ（１０）と、を有し、文字を含まない画像およびその画像の向き情報に基づき学習した学習済みモデルにスキャナで読み取られた画像を入力し（Ｓ６５２）、学習済みモデルの出力結果に少なくとも基づいてスキャナで読み取られた画像の情報を前記表示部に表示させる（Ｓ６５７）。【選択図】 図６

Description

本発明は、読取画像の天地推定をおこなう画像処理装置に関する。この画像処理装置は、複写機、スキャナおよびこれらの複合機として用いられる。

従来、原稿から画像情報を読み取るスキャナ等の画像処理装置が知られている。こうした画像処理装置では、ユーザの作業ミスにより、原稿の天地を誤った状態で画像が読み取られてしまうといった事態が発生し得る。特許文献１では、ＯＣＲ（Ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）技術を利用して画像の天地を検知し、画像向きの修正に利用する技術が開示されている。

特開２０１０－２１９８９５公報

特許文献１の技術によれば、原稿文字が含まれていればＯＣＲを用いて天地修正が可能であるが、文字を含まない画のみの原稿の天地を識別することができない。

本発明の目的は、文字を含まない原稿の天地を識別可能な画像処理装置を提供することである。

本発明は、画像処理装置において、情報を表示する表示部と、原稿を読み取る読取部と、文字を含まない画像およびその画像の向き情報に基づき学習した学習済みモデルに前記読取部で読み取られた画像を入力する手段と、前記学習済みモデルの出力結果に少なくとも基づいて、前記読取部で読み取られた画像の情報を前記表示部に表示させる手段と、を有することを特徴とするものである。

本発明によれば、文字を含まない原稿の天地を識別可能な画像処理装置を提供することができる。

システム構成を示す図である。 画像形成装置のハードウェア構成を示す図である。 図３（ａ）は学習サーバのハードウェア構成を示す図である。図３（ａ）はデータサーバのハードウェア構成を示す図である。図３（ａ）は汎用コンピュータのハードウェア構成を示す図である。 システムのソフトウェア構成を示す図である。 学習モデルについて説明する図である。 利用シーケンスを説明する図である。 学習データを示す図である。 教師データを示す図である。 学習に関する処理フローの図である。 図１０（ａ）は読取画像の一覧画面を示す図である。図１０（ｂ）は読取画像の修正案提示画面を示す図である。図１０（ｃ）は読取画像の一覧画面を示す図である。 図１１（ａ）は読取処理のフローを示す図である。図１１（ｂ）は推定処理のフローを示す図である。 図１２（ａ）は風景画像の一例を示す図である。図１２（ｂ）は風景画像の一例を示す図である。図１２（ｃ）は風景画像の一例を示す図である。図１２（ｄ）は風景画像の一例を示す図である。 図１３（ａ）は天地推定の設定画面を示す図である。図１３（ｂ）は読取画像の一覧画面を示す図である。 推定処理のフローを示す図である。

以下、本発明の実施するための形態について、実施例を挙げ図面を用いて具体的に説明する。なお、本発明の範囲は実施例に記載の構成には限定されない。構成の一部を均等物へ置き換えたり、一部処理を省略したりといった改変を、同様の効果が得られる範囲においておこなってもよい。

（実施例１）
＜システム構成＞
図１は、画像処理システムを示す図である。画像処理システム１００は、画像形成装置１０１、機械学習サーバ１０２から構成されている。

画像形成装置１０１は読取画像の天地推定をおこなうためのＡＩ機能を搭載しており、ユーザからの原稿入力に対して天地推定に基づく結果を出力することができる。このＡＩ機能を実現するための学習済みモデルは、機械学習サーバ１０２から受信している。

機械学習サーバ１０２は、ＡＩ機能実現するための学習モデルの学習処理をおこなう。この学習処理に必要なデータはデータサーバ１０５から都度、送信されてくる。

データサーバ１０５は、機械学習サーバ１０２に提供するためのデータの収集、生成を行っている。例えば、データサーバ１０５は、画像形成装置からも随時データの提供を受け付けている。

図６は、システムの利用シーケンスを説明する図である。

ステップ６０１（以降Ｓ６０１等と表記する）において、データサーバ１０５は、画像形成装置１０１を含むネットワーク上の装置から学習に利用できるデータの収集をおこなう。学習に利用できるデータとは、後述する天地推定処理に対してユーザが修正した結果およびその画像があげられる。また、汎用コンピュータ１０３から送信されたＰＤＬデータを画像形成装置１０１が画像に変換した結果を学習に利用できるデータとしてもよい。この場合、ＰＤＬデータに基づく画像はすべて天地が正しい画像として扱われる。

Ｓ６０２において、データサーバ１０５は、収集したデータの中から学習の用途に適したデータを機械学習サーバ１０２に送信する。

Ｓ６０３において、機械学習サーバは、データサーバ１０５から受信したデータを基に学習データを生成し、生成された学習データを用いて学習モデルの学習をおこなう。なお、学習データの生成はあらかじめデータサーバ１０５側でおこなっておいてもよい。

Ｓ６０４において、天地推定に用いる学習済みモデルの更新を画像形成装置１０１に指示する。

Ｓ６０５において、画像形成装置１０１は、機械学習サーバ１０２に対して最新の学習済みモデルの要求をおこなう。

Ｓ６０６において、機械学習サーバ１０２は画像形成装置１０１に対して学習済みモデルの送信をおこなう。

Ｓ６５１において、ユーザは画像形成装置の原稿読取部に原稿をセットし、読取指示をおこなう。

Ｓ６５２において、画像形成装置１０１は、セットされた原稿から画像情報を読み取る処理を実行する。

Ｓ６５３において、画像形成装置１０１は、取得した画像に対して天地推定処理をおこなう。

Ｓ６５４において、画像形成装置１０１は、推定の結果をユーザに提示する。

Ｓ６５５において、ユーザは、天地推定結果に基づく画像の修正を指示する。

Ｓ６５６において、画像形成装置１０１は、画像の修正を行ったうえでジョブを実行する。ここで、ジョブとは、コピージョブや保存ジョブや送信ジョブがある。コピージョブでは、プリンタ２０を用いて画像の印刷がおこなわれる。保存ジョブでは、装置内部のストレージであるＨＤＤ２０４やＵＳＢメモリ等の外付けのストレージに画像が記憶される。送信ジョブでは、ＦＡＸ宛先、Ｅメール宛先、シェアフォルダ、クラウドサービス等の外部の宛先に画像が送信される。

Ｓ６５７において、画像形成装置１０１は、ユーザに成果物を提供する。例えば、コピージョブでは印刷されたシートを提供し、保存ジョブや送信ジョブでは処理の実行結果をユーザに提示する。

＜画像形成装置＞
図２は、画像形成装置１０１のハードウェア構成を示す図である。

画像形成装置１０１は、シートに画像を形成する画像形成機能、および原稿を読み取る読取機能を備える複合機（画像処理装置）である。画像形成装置１０１は、ネットワーク１０４を介して、画像処理システムを構成する機械学習サーバおよびデータサーバ１０５と通信可能に接続されている。また、画像形成装置１０１は、ネットワーク１０４を介して汎用コンピュータからプリントデータを受信し、これに基づく画像形成処理を実行することができる。本実施例では、画像形成装置１０１を電子写真方式の装置として説明する。しかしながら、インクジェット方式等、他の画像形成方式の装置であってもよい。

画像形成装置１０１は、操作部１４０と、スキャナ１０と、プリンタ２０と、コントローラ２００を備える。

操作部１４０は、ユーザが各種の操作を行うため操作デバイスである。操作部１４０は、情報を表示する表示部としてのディスプレイと、ユーザの情報入力を受け付ける入力部としてタッチパネルやハードキーを備える。

スキャナ１０は、原稿から画像情報を読み取る読取部である。スキャナ１０は、スキャナ１０の各構成を制御するＣＰＵや、原稿読取を行うための照明ランプや走査ミラーなど（不図示）を有する。

プリンタ２０は、シートに画像を形成するための画像形成部である。プリンタ２０は、プリンタ部の各構成を制御するＣＰＵや、画像形成や定着を行うための感光体ドラムや定着器など（不図示）を有する。

コントローラ２００は、画像形成装置の動作を統括的に制御する制御部である。コントローラ２００は、システムバス２０７に接続された構成と、画像バス２１２に接続された構成とを備え、システムバス２０７と画像バス２１２はバスブリッジとして機能するＩｍａｇｅ Ｂｕｓ Ｉ／Ｆ２０５を介して互いに通信可能に接続されている。

コントローラ２００は、システムバス２０７に接続された構成として、ＧＰＵ２９１、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４、操作部Ｉ／Ｆ２０６、スキャナプリンタ通信Ｉ／Ｆ２０８、Ｎｅｔｗｏｒｋ Ｉ／Ｆ２１０、無線通信Ｉ／Ｆ２７０、モデム２１１を備える。

ＣＰＵ２０１は、各種演算処理をおこなうプロセッサである。ＲＡＭ２０２は、ＣＰＵ２０１が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもある。ＲＯＭ２０３はＣＰＵ２０１が実行するブートプログラムを格納するメモリである。ＨＤＤ２０４は、システムソフトウェア、画像データ、ソフトウェアカウンタ値などを格納するデータストレージである。コントローラ２００は、印刷やコピージョブ実行時の、ユーザ名や印刷部数、カラー印刷等、出力属性の情報等をジョブ実行時の履歴をジョブログ情報としてＨＤＤ２０４あるいはＲＡＭ２０２に記録管理している。操作部Ｉ／Ｆ２０６は、操作部１４０から本画像形成装置を使用するユーザが入力した情報をＣＰＵ２０１に伝える役割を有する。ネットワークＩ／Ｆ２１０は、ネットワーク１０４に接続され、汎用コンピュータ１０３やネットワーク１０４上の図示しないその他のコンピュータ端末との通信（送受信）を行う。モデム２１１は、公衆回線に接続され、図示しない外部のファクシミリ装置とのデータの通信（送受信）を行う。無線通信Ｉ／Ｆ２７０は、無線によりネットワーク１０４に接続する。内部通信Ｉ／Ｆ２０８は、スキャナ１０及びプリンタ２０とそれぞれ通信を行う。

ＧＰＵ２９１はデータをより多く並列処理することのできるプロセッサである。ＧＰＵ２９１、ディープラーニングのように複数回に渡り学習を行う用途に有効利用できる。本実施例では、学習モデルを用いる処理に対して、ＣＰＵ２０１に加えてＧＰＵ２９１を用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ２０１とＧＰＵ２９１が協働して演算を行うことで学習を行う。なお、機械学習部４１４の処理はＣＰＵ２０１またはＧＰＵ２９１のみにより演算が行われても良い。また、推定処理部４０５の処理も機械学習部４１４の処理と同様に、ＧＰＵ２９１を用いても良い。

コントローラ２００は、画像バス２１２に接続された構成として、ＲＩＰ２６０、スキャナ画像処理部２８０、プリンタ画像処理部２９０、画像回転部２３０、画像圧縮部２４０、デバイスＩ／Ｆ２２０を備える。

ＲＩＰ２６０は、ＰＤＬコードをビットマップイメージに展開するためのプロセッサである。スキャナ画像処理部２８０は、スキャナ１０から入力された画像データに対し補正、加工、編集を行う。画像回転部２３０は、画像データの回転を行う。プリンタ画像処理部２９０は、プリンタ２０で出力（印刷）される画像データに対して補正、解像度変換等を行う。

画像圧縮部２４０は、多値画像データはＪＰＥＧ、２値画像データはＪＢＩＧ、ＭＭＲ、又はＭＨの圧縮伸張処理を行う。デバイスＩ／Ｆ２２０は、スキャナ１０およびプリンタ２０との通信をおこなう。

＜機械学習サーバ＞
図３（ａ）は、機械学習サーバの構成を示す図である。

機械学習サーバ１０２は、学習モデルの学習および配布をおこなうサーバである。

機械学習サーバ１０２は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０４、ストレージ３０５、入力デバイス３０６、表示デバイス３０７、ネットワークＩ／Ｆ ３０８、ＧＰＵ３０９を備える。各構成は、システムバス３０３を介して相互にデータを送受信することができる。

ＣＰＵ３０１は、機械学習サーバ１０２の全体を制御する演算をおこなうためのプロセッサである。 ＣＰＵ３０１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションソフトなどのプログラムをストレージ３０５から読み出して実行することで種々の機能を提供する。ＲＡＭ３０４はＣＰＵ３０１がプログラムを実行する際のシステムワークメモリである。ＲＯＭ３０２はＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳを起動するためのプログラム、設定ファイルを記憶している。ストレージ３０５は、ハードディスクドライブ等の情報を記憶する記憶部であって、システムソフトウェアなどが記憶されている。

入力デバイス３０６は、マウスやキーボードなどの入力装置である。表示デバイス３０７は、ディスプレイ等の情報を表示する表示装置である。

ＧＰＵ３０９は、画像処理プロセッサである。ＧＰＵ３０９は、ディープラーニングのように複数回に渡り学習を行う用途に有効利用できる。そこで実施例１では、機械学習部４１４による処理にはＣＰＵ３０１に加えてＧＰＵ３０９を用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ３０１とＧＰＵ３０９が協働して演算を行うことで学習を行う。なお、機械学習部４１４の処理はＣＰＵ３０１またはＧＰＵ３０９のみにより演算が行われても良い。また、推定処理部４０５も機械学習部４１４と同様にＧＰＵ３０９を用いても良い。また、学習などの計算処理は、機械学習サーバ１０２だけでなく、他の装置と協調しておこなってもよい。

＜データサーバ、汎用コンピュータ＞
図３（ｂ）は、汎用コンピュータの構成を示す図である。

汎用コンピュータ１０３は、ＣＰＵ３３１、ＲＯＭ３３２、ＲＡＭ３３４、ストレージ３３５、入力デバイス３３６、表示デバイス３３７、ネットワークＩ／Ｆ ３３８、ＧＰＵ３３９を備える。各構成は、システムバス３３３を介して相互にデータを送受信することができる。各構成は機械学習サーバ１０２の構成と同様であるため、その説明を省略する。

図３（ｂ）は、データサーバの構成を示す図である。

データサーバ１０５は、ＣＰＵ３６１、ＲＯＭ３６２、ＲＡＭ３６４、ストレージ３６５、入力デバイス３６６、表示デバイス３６７、ネットワークＩ／Ｆ ３６８、ＧＰＵ３６９を備える。各構成は、システムバス３６３を介して相互にデータを送受信することができる。各構成は機械学習サーバ１０２の構成と同様であるため、その説明を省略する。

＜システムにおけるソフトウェア構成＞
図４は、図２のハードウェア構成図で示したハードウェア資源とプログラムを利用することで実現されるソフトウェア構成（４００）を示す図である。図に示したソフトウェア構成を実現するためのプログラムは、その構成要素ごとにストレージに格納されており、ＲＡＭに読みだされてＣＰＵにて実行されるものである。例えば、画像形成装置１０１では、ＨＤＤ２０４に格納されＲＡＭ２０２に読みだされたプログラムがＣＰＵ２０１にて実行される。機械学習サーバ１０２やデータサーバ１０５についても同様である。

図４のソフトウェア構成はシステムにおいて画像形成装置１０１の読み取った学習データを用いて、天地の誤り推定処理を行う機能を実現可能にするためのものである。図４において構成要素の機能的役割を説明する。

画像形成装置１０１のソフトウェアは、データ記憶部４０２、ＪＯＢ制御部４０３、ＵＩ表示部４０１、画像読み取り部４０４、推定処理部４０５から構成される。機械学習サーバ１０２のソフトウェアは、学習データ生成部４１３、機械学習部４１４、データ記憶部４１５から構成される。データサーバ１０５のソフトウェアは、データ収集・提供部４１０とデータ記憶部４１２とから構成される。

データ記憶部４０２は、図２に示したハードウェア構成におけるＲＡＭ２０２やＨＤＤ２０４に対して、画像データや学習データ、学習モデル等、画像形成装置１０１が入出力を行うデータの記録を行う機能的役割を有する。

ＪＯＢ制御部４０３は、ユーザの指示に基づきコピーやファックス、プリント等の画像形成装置１０１の基本機能の実行や基本機能の実行に伴い他のソフト構成要素間の指示やデータの送受信を中心的に行う機能的役割を有する。

ＵＩ表示部４０１は、図２に示す操作部Ｉ／Ｆ２０６を介して操作部１４０に備える画面に対してユーザからの操作設定を受け付けやその操作受付画面の提供する機能的役割を有している。ＵＩ表示部４０１は、システムにおける推定処理部４０５による推定結果等のユーザへのメッセージを通知するための通知画面を表示する機能的役割を有している。

画像読み取り部４０４は、ＪＯＢ制御部４０３の指示に基づきコピーやスキャン機能を実行する制御を行う場合に図２に示したスキャナ１０により原稿を光学的に読み取る動作を行う機能的役割を有している。

推定処理部４０５は、図２に示したＣＰＵ２０１やＧＰＵ２９１により実行されるものであり、画像形成装置１０１が入出力を行うデータに対してＡＩ機能を実現するための推定処理や分類処理等を行う機能的役割がある。この推定処理は、ＪＯＢ制御部４０３の指示に基づき処理が行われて、その推定処理部４０５の結果出力は、ＪＯＢ制御部４０３に送信されＵＩ表示部に通知メッセージの表示を行う等、ユーザに対してフィードバックを行うことが可能になっている。

データ収集・提供部４１０は、機械学習サーバ１０２において学習するための学習データの収集と提供を行う機能的役割を有している。システムにおいては画像形成装置１０１から画像形成装置１０１の操作情報を含む学習データの受信を行って、機械学習サーバ１０２へ提供する機能的役割を有している。また、収集先は、画像形成装置１０１の他の画像形成装置、汎用コンピュータ１０３や他のデータサーバから収集してもよく、目的の機械学習をさせるために必要なデータの収集が可能になっている。データ記憶部４１２は、収集した学習データの記録管理を行う機能的役割を有している。

学習データ生成部４１３は、データサーバ１０５から受信を行ったデータを目的の学習効果を得るためにノイズになる不要なデータを除去するなど効果的学習結果が得られる形に加工して学習データの最適化を行う機能的役割を有する。図３に示すＣＰＵ３０１により実行される。

データ記憶部４１５は、データサーバ１０５から受信したデータや生成された学習データ、機械学習部４１４における学習済みモデルを図３に示すＲＡＭ３０４やストレージ３０５へ一時記録を行う。

機械学習部４１４は、学習データ生成部４１３によって生成された学習データを入力として、図３に示したハードウェアリソースであるＧＰＵ３０９やＣＰＵ３０１と図５に示す学習モデルによる学習方法を活用して機械学習を行う。

＜学習モデル＞
図５は、実施例１の機械学習部４１４における学習モデルを用いた入出力の構造を示す概念図であり、ニューラルネットワークを用いた学習モデルを例に図示している。また、システムの特徴を説明するための一例としてこのニューラルネットワークによりスキャン原稿の情報を入力として天地の誤りを予測するための学習モデルの生成にかかわる、学習データＸを示している。学習データＸとしては、画のみの原稿、文字のみの原稿、画と文字の両方が含まれる原稿に分けられる。入力データとしては、オブジェクトの向きや構図、文字等が入力される。

機械学習の具体的なアルゴリズムとしては、ニューラルネットの他、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施例に適用することができる。

学習モデルは、誤差検出部と、更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データＸ（２）に応じてニューラルネットワークの出力層から出力される出力データＹ（４）と、教師データＴとの誤差を得る。そして、損失関数を用いて、ニューラルネットワークからの出力データと教師データとの誤差を表す損失（Ｌ）を計算する。

更新部は、誤差検出部で得られた損失（Ｌ）に基づいて、その損失が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

学習モデル（Ｗ）は「正解値が既知の入力データ」と「正解値」をセットにした学習データを多数用意する。そして、この正解値に対応する入力データを入力した場合の出力が正解値に極力近づくように学習モデル（Ｗ）内の重み付け係数を調整することで精度の高い学習モデル（Ｗ）を得る作業を行う。これを学習工程と呼び、学習工程を経て調整された学習モデルを学習済モデルと呼ぶ。用意する教師データ（「正解値が既知の入力データ」と「正解値」のセット）は以下のようなものとする。
Ａ、教師データ
入力データ（Ｘ）：天地が正しい原稿データのオブジェクト、構図、文字情報
期待値（Ｔ）：Ａ（天地誤りなし）＝１、Ｂ（天地誤りあり）＝０
期待値（Ｔ）とは「正解値が既知の入力データ」を入力した場合の「正解値」を示す出力（Ｙ）の値である。

向きが正しい場合にはＹ１、正しくない場合にはＹ２とする。また、本実施例では、天地が逆であることのみを記載しているが、９０°回転している原稿に対しても適用可能であることは言うまでもない。

各教師データの入力データ（Ｘ）を入力し算出された出力（Ｙ）と期待値（Ｔ）とを所定の損失関数に従い損失（Ｌ）を求める。

本実施例での損失関数は
Ａ、 教師データ
損失（Ｌ）＝ １－「出力（Ｙ）のＡの推定確率」
とする。

この損失（Ｌ）が０に近づくように中間層の学習モデル（Ｗ）の各層間の重み付け調整する。

この調整を行った学習モデル（Ｗ）を学習済モデルとし機械学習部４１４にこのモデルを実装する。

＜入力データ、教師データ＞
図７は、図５で示した入力データの構成例を図示したものである。入力される原稿のタイプは大きく３種類に分けられる。文字だけの原稿、画だけの原稿、文字と画の両方を含む原稿（ｃ）である。本実施例では、１つの学習モデルでこれらすべての画像の天地を判定できるように、これらすべてのタイプの画像を学習しておく。

Ｎｏ．２の原稿は文字だけを含む原稿で逆さまの例である。Ｎｏ．４は画だけを含む原稿であり、逆さまの例である。Ｎｏ．６は文字と画の両方を含む原稿であり、逆さまの例である。Ｎｏ．８はＮｏ．４と同様である。画のみ画像について天地を判別できるよう、大きくわけて２種類の画像を入力して学習をおこなう。１つは車などの被写体（オブジェクト）を含む種類の画像である。車が下側にタイヤを備えている構造上の特徴や陰影を学習することで、天地を判別できるようになる。もう１つは、風景のようにオブジェクトを含まない種類の画像である。こうした画像は構図から判定できるように学習をしておく。

図８は教師データの例を示す図である。

入力（Ｘ）として任意のページを「原稿データａ」、期待値（Ｔ）として「Ｔ１（天地誤りなし）＝１、Ｔ２（天地誤りあり）＝０」とする。学習項目はオブジェクトの向きと構図と文字である。入力データに対応する情報としてこうした教師データを用いることで、学習モデルの学習をおこなうことができる。

＜機械学習サーバの処理フロー＞
図９のフローチャートを用いて、機械学習部４１４と推定処理部４０５の処理の流れを説明する。このフローは、ＣＰＵ３０１がＲＯＭ３０２またはストレージ３０５に記憶されたプログラムをＲＡＭ３０４に展開して実行することで実現される。

機械学習部４１４は学習データが更新されたかどうかを一定期間毎に確認する。機械学習部４１４は、更新されていると判断したタイミングで、学習フェーズを開始する。機械学習部４１４は、まず、学習データを受信する（Ｓ９０１）。学習データとは前述した原稿データである。その後、機械学習部４１４は、受信したデータに基づく機械学習を実施する（Ｓ９０２）。その後、機械学習部４１４は、機械学習が終わったかどうか判断する（Ｓ９０３）。終わっていない場合、機械学習部４１４はＳ９０２の処理を繰り返す。終わっている場合、機械学習部４１４は、学習済みモデルの更新を推定処理部４０５へ通知する（Ｓ９０４）。その後、機械学習部４１４は、学習済みモデルの送信要求があるかどうか判断する（Ｓ９０５）。無い場合、機械学習部４１４はＳ９０５の処理を繰り返し行い推定処理部４０５からの送信要求を待つ。送信要求がある場合、機械学習部４１４は学習済みモデルを推定処理装置へ送信する（Ｓ９０６）。

＜画像形成装置の処理フロー＞
図１１（ａ）は読取処理のフローを示す図である。図１１（ｂ）は推定処理のフローを示す図である。

図１１（ａ）および図１１（ｂ）のフローチャートを用いて、スキャン系のジョブの流れを説明する。このフローは、ＣＰＵ２０１がＲＯＭ２０３またはＨＤＤ２０４に記憶されたプログラムをＲＡＭ２０２に展開して実行することで実現される。

ＪＯＢ制御部４０３は、ユーザからスキャン系のジョブの開始を操作部が受け付けたか否かを判定する（Ｓ１１０１）。操作を受け付けていない場合、操作を受け付けるまで待機をする。操作を受け付けた場合、Ｓ１１０２に遷移する。スキャナ１０はＡＤＦもしくは原稿台ガラスに設置された原稿を読み取る（Ｓ１１０２）。ＪＯＢ制御部４０３は、スキャナ１０がすべての原稿の読取が終了したか否かを判定する。すべて読み取っていない場合、すべての原稿の読み取りが終わるまで処理を繰り返す。すべての原稿を読み取ったあと、ＪＯＢ制御部４０３は読みとったデータをデータ記憶部に保存する（Ｓ１１０４）。読み取りデータを一時保存したあと、ＣＰＵ２０１は、ページ順の誤りを判定するための推定処理を行う（Ｓ１１０５）。推定処理の詳細は後述する。推定処理終了後、読み取り後の処理（プリント、データ保存、データ送信等）を実行し（Ｓ１１０７）、処理を終了する。

Ｓ１１０５における推定処理の詳細について説明する。

推定処理部４０５は、Ｓ１１０２で読み取られた画像を先頭ページから順次、学習済みモデルに入力していく（Ｓ１１５３）。推定処理部４０５は、学習済みモデルから、原稿の天地が誤っているか否かを示す情報（出力結果）を取得する。天地が誤っている場合、すなわち、修正の必要がある場合（Ｓ１１５４：ＹＥＳ）、推定処理部４０５は対象の画像を修正候補に追加する（Ｓ１１５５）。天地が誤っていない場合、すなわち、修正の必要がない場合（Ｓ１１５４：ＮＯ）、推定処理部４０５はＳ１１５５の処理をスキップする。その後、推定処理部４０５は全ページを学習済みモデルに入力したか否かを確認する（Ｓ１１５６）。まだ未入力のページがある場合（Ｓ１１５６：ＮＯ）、推定処理部４０５はＳ１１５７へ処理を進める。Ｓ１１５７において、推定処理部４０５は処理したページの次の画像を学習済みモデルに入力し、Ｓ１１５４へ処理を戻す。全ページの入力が終了している場合（Ｓ１１５６：ＹＥＳ）、推定処理部４０５はＳ１１５８へ処理を進める。Ｓ１１５８において、推定処理部４０５は、推定結果を加味した操作画面を操作部１４０に表示する。

＜推定後画面＞
図１０（ａ）は読取画像の一覧画面を示す図である。図１０（ｂ）は読取画像の修正案提示画面を示す図である。図１０（ｃ）は読取画像の一覧画面を示す図である。

Ｓ１１５８では、例えば図１０（ａ）に示すような画面が操作部１４０に表示される。

画面１０００は、読取画像の一覧画面である。画面１０００は、情報１００１、一覧１００２、アイコン１００３、選択枠１００４、ボタン１００５、ボタン１００６、ボタン１００７を備える。

一覧１００２は、読取処理によって読み取られた画像の一覧情報である。本実施例では、サムネイル形式で複数ページの画像を一覧可能に表示しているが、リスト形式で表示してもよい。本実施例では、推定処理によって修正候補に指定された画像に対してアイコン１００３が付与される。アイコン１００３は、天地の修正候補を示すアイコンである。また、本実施例では、一覧１００２を表示する際に、修正候補をあらかじめ選択状態にしておく。修正候補が選択状態であることは、情報１００１のメッセージによってユーザに通知される。選択状態の画像は、選択枠１００４が重畳表示される。各画像は、各画像は、選択操作をおこなう度に選択状態、非選択状態が切り替わるものとする。

ボタン１００５は、選択状態の画像について、推定処理で得られた修正案に一括で修正するための選択オブジェクトである。修正候補の画像が選択された状態でボタン１００５が選択されると図１０（ｃ）の画面に遷移する。

ボタン１００６は、選択状態の画像について、修正案の確認をおこなう画面に遷移するための選択オブジェクトである。修正候補が選択された状態で、ボタン１００６が選択されると修正案を確認する画面に遷移する。

ボタン１００７は、修正を行わずに処理を続行するための選択オブジェクトである。ボタン１００７が選択されると、ジョブを完了させるための画面（不図示）に遷移する。

画面１０１０は、修正案を確認するための画面である。ここでは、修正候補のうちの２つめの画像について確認する画面を例示している。修正候補が選択された状態で、ボタン１００６が選択され、その後、修正候補のうちの１つめの画像について確認が済むと画面１０１０が表示される。

画面１０１０は、情報１０１１、情報１０１２、情報１０１３、ボタン１０１４、ボタン１０１５、ボタン１０１６を備える。

情報１０１１は、原稿向きの修正をユーザに促すメッセージである。

情報１０１２は、修正案の提示をおこなう情報領域である。情報１０１２では、学習済みモデルの出力結果に基づいて回転処理がなされた状態の画像が修正案として配置される。

情報１０１３は、修正候補を確認する作業の進捗をしめす情報である、図の例では４件中の２件目の修正候補を確認中であることを示している。

ボタン１０１４は、情報１０１２で提示された修正案に修正することを決定するための選択オブジェクトである。ボタン１０１４が選択されると、修正候補のうちの３つめの画像について確認する画面に遷移する。同様に、修正候補のうちの３つめ、４つめの画像まで確認が済むと、図１０（ｃ）の画面に遷移する。

ボタン１０１５は、情報１０１２で提示された修正案とは別の方法で修正することを決定するための選択オブジェクトである。ボタン１０１５が選択されたことに従って、図を回転させる編集が可能の編集画面（不図示）が表示される。

ボタン１０１６は、修正案を提示されている修正候補について修正しないことを決定するための選択オブジェクトである。

画面１０２０、修正反映後の読取画像の一覧を表示する画面である。画面１０２０は、情報１０２１、一覧１０２２、アイコン１０２３、ボタン１０２４、ボタン１０２５を備える。

情報１０２１は、修正を終了し、ジョブを完了させるか否かをユーザに確認するメッセージである。

一覧１０２２は、修正処理が施された後の画像の一覧である。本実施例では、修正処理が施された画像に対しアイコン１０２３が付与される。

アイコン１０２３は、天地を修正済みであることを示すアイコンである。

ボタン１０２４は、修正をやり直すための選択オブジェクトである。ボタン１０２４が選択されると、画面１０００の状態に戻す処理がおこなわれる。

ボタン１０２５は、ジョブを完了させるための選択オブジェクトである。ボタン１０２５が選択されると、図面の修正が反映された状態でジョブが実行される。例えば、画像を保存するジョブの場合は、修正された画像が保存される。画像を送信するジョブの場合は修正された画像が送信される。画像を印刷するジョブの場合は修正された画像が印刷される。

＜備考＞
以上で説明したように、本実施例のシステムによれば、読取画像のなかに向きが正しくないと推定されるものが含まれている場合に、これをユーザに提示することができる。また、提示された修正案を確認するだけで容易に画像の修正をおこなうことができる。そして、修正した画像を印刷、保存、送信等の多様な用途に利用することができる。また、向きに誤りがあると推定される画像、および、修正済みの画像に対してアイコンが付与されるため、一覧の中から容易に識別することができる。

（実施例２）
実施例１では、一つの学習済みモデルを用いて文字原稿および画の原稿の天地について推定し、一律で修正候補として定時する例ついて説明した。実施例２では、原稿をタイプ毎に分類し、原稿タイプ毎の推定をおこなったうえで、原稿タイプごと処理をおこなう例について説明する。なお、システムの各構成は、上述したポイントとなる部分に関わる構成を除き、実施例１と同様である。そのため、同様の構成については同様の符号を付し、その詳細な説明を省略する。

＜推定精度＞
図１２（ａ）～（ｄ）は風景画像の一例を示す図である。

原稿の天地を推定しようとした場合、原稿の種類によって天地の推定精度に差があることが確認されている。例えば、文字を含む原稿の場合は推定精度が高いが、文字を含まない原稿は推定精度が低い傾向にある。特に、文字を含まない原稿のなかでも、風景写真のような画のみの原稿は推定精度が低い。

図１２（ａ）は風景画像の一例を示す図であり、図１２（ｂ）はその鏡像を示す図である。図１２（ｃ）は風景画像の一例を示す図であり、図１２（ｄ）はその鏡像を示す図である。

図１２（ａ）、図１２（ｃ）のように、水面に光が反射するような構図の風景写真の場合、天地を判別する材料が少ないため、推定精度が低くなりやすい。彩度、明度、色相が高いものを上部と推定するような学習を行えば図１２（ａ）、図１２（ｂ）の天地の推定はできるが、図１２（ｃ）図１２（ｄ）の天地の推定は難しい。

＜タイプ別設定＞
図１３（ａ）は天地推定の設定画面を示す図である。

画面１３００は、天地推定の設定画面である。

画面１３００は、情報１３０１、設定領域１３０２、設定領域１３０３、設定領域１３０４、ボタン１３０５を備える。

情報１３０１は、推定精度の目安を示す情報である。情報１３０１によれば、文字・表等の原稿は推定精度が高く、非風景の原稿はその次に推定精度が高く、風景の原稿は最も推定精度が低い。ユーザはこの情報を基に、推定誤の処理を決定する。

設定領域１３０２、設定領域１３０３は、設定領域１３０４は、各原稿タイプそれぞれに対して天地推定後の処理を設定する領域である。設定項目はそれぞれ「推定する」「自動選択する」「何もしない」の３種類である。図１３（ａ）では、設定領域１３０２には「修正する」が設定されており、設定領域１３０３には「自動選択する」が設定されており、設定領域１３０４には「何もしない」が設定されている。

図１３（ａ）のように設定された状態で、天地推定処理が行われると図１３（ｂ）に示すような画面が表示される。

画面１３１０は、読取画像の一覧画面である。画面１３１０は、情報１３１１、一覧１３１２を備える。

一覧１３１２は、読取処理によって読み取られた画像の一覧である。推定処理によって修正候補になり、且つ「修正する」処理の対象の場合は、アイコン１０２３に対応するアイコンが付与される。推定処理によって修正候補になり、且つ「修正する」処理の対象でない場合は、アイコン１００３に対応するアイコンが付与される。また、本実施例では、一覧１３１２を表示する際に、修正候補で且つ「自動選択する」処理の対象の場合は、画像が自動で選択され、選択枠１００４が重畳表示される。すなわち、画面１３００の設定を変更することで、画面１３１０を表示する際の修正候補の処理状態を異ならせることができる。

＜画像形成装置の処理フロー＞
図１４は推定処理のフローを示す図である。

Ｓ１１０５において、実施例２では次のように推定処理がおこなわれる。

推定処理部４０５は、Ｓ１１０２で読み取られた読取画像を先頭ページから順次、学習済みモデル（分類）に入力していく（Ｓ１４０１）。学習済みモデル（分類）は、図５で説明した学習モデルと同様に、様々な画像を入力して学習した学習済みモデルだが、画像の種類を分類可能となるように学習がなされている。そのため、教師データとして、画像の種類「文字」「非風景」「風景」「その他」といったラベル情報が用いられている点が異なる。

推定処理部４０５は、学習済みモデル（分類）から、画像に対応するラベル情報を取得する。

画像を入力した結果「文字」のラベル情報が取得された場合（Ｓ１４０２：ＹＥＳ）、推定処理部４０５は、読取画像を更に学習済みモデル（文字）に入力する。学習済みモデル（文字）は、文字を含む様々な画像と向き情報に基づき学習した学習済みモデルである。学習済みモデル（文字）から天地に誤りがあることを示す結果が取得された場合（Ｓ１４０４：ＹＥＳ）、推定処理部４０５は、画面１３００で設定された文字画像用の処理設定を読取画像に対して紐づける。天地に正しいことを示す結果が取得された場合（Ｓ１４０４：ＮＯ）、推定処理部４０５は、Ｓ１４１４へと処理を進める。

読取画像を入力した結果「非風景」のラベル情報が取得された場合（Ｓ１４０２：ＮＯ、Ｓ１４０６：ＹＥＳ）、推定処理部４０５は、読取画像を更に学習済みモデル（非風景）に入力する。学習済みモデル（非風景）は、様々な非風景画像と向き情報に基づき学習した学習済みモデルである。学習済みモデル（非風景）から天地に誤りがあることを示す結果が取得された場合（Ｓ１４０７：ＹＥＳ）、推定処理部４０５は、画面１３００で設定された非風景画像用の処理設定を読取画像に対して紐づける。天地に正しいことを示す結果が取得された場合（Ｓ１４０７：ＮＯ）、推定処理部４０５は、Ｓ１４１４へと処理を進める。

読取画像を入力した結果「風景」のラベル情報が取得された場合（Ｓ１４０２：ＮＯ、Ｓ１４０６：ＮＯ、Ｓ１４１０：ＹＥＳ）、推定処理部４０５は、読取画像を更に学習済みモデル（風景）に入力する。学習済みモデル（風景）は、様々な風景画像と向き情報に基づき学習した学習済みモデルである。

学習済みモデル（風景）から天地に誤りがあることを示す結果が取得された場合（Ｓ１４０４：ＹＥＳ）、推定処理部４０５は、画面１３００で設定された風景画像用の処理設定を読取画像に対して紐づける。天地に正しいことを示す結果が取得された場合（Ｓ１４０４：ＮＯ）、推定処理部４０５は、Ｓ１４１４へと処理を進める。

画像を入力した結果「その他」のラベル情報が取得された場合（Ｓ１４０２：ＮＯ、Ｓ１４０６：ＮＯ、Ｓ１４１０：ＮＯ、Ｓ１４１０：ＮＯ）、推定処理部４０５は、Ｓ１４１４へと処理を進める。

その後、推定処理部４０５は全ページを学習済みモデルに入力したか否かを確認する（Ｓ１４１４）。

まだ未入力のページがある場合（Ｓ１４１４：ＮＯ）、推定処理部４０５はＳ１４１５へ処理を進める。Ｓ１４１５において、推定処理部４０５は処理したページの次の読取画像を学習済みモデル（分類）に入力し、Ｓ１４０２へ処理を戻す。全ページの入力が終了している場合（Ｓ１４１５：ＹＥＳ）、推定処理部４０５はＳ１４１６へ処理を進める。

Ｓ１４１６において、推定処理部４０５は、推定結果を加味した操作画面を操作部１４０に表示する。

＜備考＞
以上で説明したように、本実施例のシステムによれば、読取画像のなかに向きが正しくないと推定されるものが含まれている場合に、これをユーザに提示することができる。特に、原稿をタイプ毎に分類し、原稿タイプ毎の学習モデルを用いて天地の推定をおこなうため、推定精度の向上が望める。また、原稿タイプごとに推定後の処理を設定できるため、推定精度に応じた対応を容易におこなうことができる。

（その他の実施例）
本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

実施例１、２では、各画面について操作部１４０に表示する例を説明したが、情報の表示先は操作部１４０には限らない。例えば、ＶＮＣを使ってモバイル端末やＰＣに同様の画面を表示させてもよい。また、モバイル端末やＰＣのＷＥＢブラウザからアクセス可能なＷＥＢページを提供することで、同内容の情報をモバイル端末やＰＣに表示させてもよい。

実施例２では、原稿から読み取った画像の分類方法として「文字」「非風景」「風景」の３つを記載したが、他の分類方法や、分類数、組み合わせであってもよい。たとえば、「文字」「画」と単純に分類してもよい。その際、分類は、ＯＣＲの結果、文字が含まれていれば「文字」、含まれていなければ「画」といった分類をおこなってもよい。

実施例２では、学習済みモデル（文字）を用いたが、既存のＯＣＲ技術を流用し、ＯＣＲによって文字が最も多く検出される画像向きを正しい向きと判定してもよい。

また、実施例２では、学習済みモデル（文字）を用いたが、既存のＯＣＲ技術を流用し、ＯＣＲによって文字が最も多く検出される画像向きを正しい向きと判定してもよい。

また、本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。例えば、ソフトウェアモジュールの一部を外部サーバで実行するように構成し、外部サーバで処理された結果を取得することで、機能を実現してもよい。

実施例ではソフトウェア構成４００の役割を、画像形成装置１０１、機械学習サーバ１０２、データサーバ１０５の３つの装置で分担したが、１つの装置でソフトウェア構成４００を実現してもよいし、他の装置数でソフトウェア構成４００の役割を実現してもよい。

なお、実施例中に登場する略称はそれぞれ次の意味である。

ＡＤＦとは、Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒのことである。
ＡＳＩＣとは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔのことである。
ＢＩＯＳとは、Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍのことである。
ＣＰＵとは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔである。
ＦＡＸとはＦＡＣＳＩＭＩＬＥのことである。ＯＳとは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍのことである。
ＩＦとはＩｎｔｅｒｆａｃｅのことである。
ＧＰＵとは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔのことである。
ＨＤＤとは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅのことである。
ＪＢＩＧとは、Ｊｏｉｎｔ Ｂｉ－ｌｅｖｅｌ Ｉｍａｇｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐのことである。
ＪＰＥＧとは、Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐのことである。
ＭＦＰとは、Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌのことである。
ＭＨとは、Ｍｏｄｉｆｉｅｄ Ｈｕｆｆｍａｎのことである。
ＭＭＲとは、Ｍｏｄｉｆｉｅｄ Ｍｏｄｉｆｉｅｄ Ｒｅａｄのことである。
ＯＣＲとは、Ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎのことである。
ＯＳとは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍのことである。
ＰＣとは、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒのことである。
ＰＤＬとは、Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅのことである。
ＲＡＭとは、Ｒａｎｄｏｍ‐Ａｃｃｅｓｓ Ｍｅｍｏｒｙのことである。
ＲＩＰとは、Ｒａｓｔｅｒ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｏｒのことである。
ＲＯＭとは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙのことである。
ＵＩとは、Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅのことである。
ＵＳＢとは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓのことである。
ＶＮＣとは、Ｖｉｒｔｕａｌ Ｎｅｔｗｏｒｋ Ｃｏｍｐｕｔｉｎｇのことである。

１０ スキャナ
２０ プリンタ
１０１ 画像形成装置
１０２ 機械学習サーバ
４００ ソフトウェア構成
４０５ 推定処理部
４１４ 機械学習部

Claims (19)

1. 情報を表示する表示部と、
   原稿を読み取る読取部と、
   文字を含まない画像およびその画像の向き情報に基づき学習した学習済みモデルに前記読取部で読み取られた画像を入力する手段と、
   前記学習済みモデルの出力結果に少なくとも基づいて、前記読取部で読み取られた画像の情報を前記表示部に表示させる手段と、を有することを特徴とする画像処理装置。
2. 前記出力結果に基づき回転された画像を前記表示部に表示させる手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記出力結果に基づき回転された画像と前記回転がなされる前の画像を並べて表示させる手段を有することを特徴とする請求項２に記載の画像処理装置。
4. 前記出力結果に基づき回転された画像は、修正案を提示するための画像であることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記読取部で読み取られた画像の一覧情報を表示する画面において、前記出力結果に基づき少なくとも１つの画像の情報を選択状態にする手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記読取部で読み取られた画像の一覧情報を表示する画面において、前記出力結果に基づき少なくとも１つの画像の向きを回転させて配置する手段を有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記読取部で読み取られた画像の一覧情報を表示する画面において、前記出力結果に基づき少なくとも１つの画像に所定のアイコンを紐づける手段を有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 前記所定のアイコンは、画像向きに誤りのある画像を識別するためのアイコンであることを特徴とする請求項７に記載の画像処理装置。
9. 前記所定のアイコンは、前記出力結果に基づき画像向きが回転された画像を識別するためのアイコンであることを特徴とする請求項７に記載の画像処理装置。
10. 前記読取部で読み取られた画像の一覧情報を表示する画面において、画像向きに誤りのある画像を一括で修正する手段を有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 画像の種類を分類する更なる学習済みモデルを備えることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記更なる学習済みモデルは、文字を含む画像、風景画像、非風景画像のうちの少なくとも１つを分類可能であることを特徴とする請求項１１に記載の画像処理装置。
13. 画像向きに誤りのある画像に対して施す処理を、画像の種類に応じてあらかじめ設定する手段と有することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記読取部で読み取られた画像は、保存する目的で読み取られた画像であることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記読取部で読み取られた画像は、外部に送信する目的で読み取られた画像であることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
16. 前記読取部で読み取られた画像は、印刷する目的で読み取られた画像であることを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
17. シートに画像を形成する画像形成部を備えることを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
18. 情報を表示する表示部と原稿を読み取る読取部とを有する画像処理装置の制御方法であって、
    文字を含まない画像およびその画像の向き情報に基づき学習した学習済みモデルに前記読取部で読み取られた画像を入力する工程と、
    前記学習済みモデルの出力結果に少なくとも基づいて、前記読取部で読み取られた画像の情報を前記表示部に表示させる工程と、を有することを特徴とする制御方法。
19. 情報を表示する表示部と、
    原稿を読み取る読取部と、
    文字を含まない画像およびその画像の向き情報に基づき学習した学習済みモデルに前記読取部で読み取られた画像を入力する手段と、
    前記学習済みモデルの出力結果に少なくとも基づいて、前記読取部で読み取られた画像の情報を前記表示部に表示させる手段と、を有することを特徴とする画像処理システム。

Images