JP2021106329A - 画像処理装置とその制御方法、及びプログラム - Google Patents

画像処理装置とその制御方法、及びプログラム Download PDF

Info

Publication number
JP2021106329A
JP2021106329A JP2019236969A JP2019236969A JP2021106329A JP 2021106329 A JP2021106329 A JP 2021106329A JP 2019236969 A JP2019236969 A JP 2019236969A JP 2019236969 A JP2019236969 A JP 2019236969A JP 2021106329 A JP2021106329 A JP 2021106329A
Authority
JP
Japan
Prior art keywords
image data
image
user
image processing
setting item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019236969A
Other languages
English (en)
Other versions
JP7418204B2 (ja
JP2021106329A5 (ja
Inventor
裕之 酒井
Hiroyuki Sakai
裕之 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019236969A priority Critical patent/JP7418204B2/ja
Priority to US17/122,455 priority patent/US11212401B2/en
Publication of JP2021106329A publication Critical patent/JP2021106329A/ja
Priority to US17/529,547 priority patent/US11695887B2/en
Publication of JP2021106329A5 publication Critical patent/JP2021106329A5/ja
Application granted granted Critical
Publication of JP7418204B2 publication Critical patent/JP7418204B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00482Output means outputting a plurality of job set-up options, e.g. number of copies, paper size or resolution
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03GELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00Apparatus for electrographic processes using a charge pattern
    • G03G15/50Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control
    • G03G15/5016User-machine interface; Display panels; Control console
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03GELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00Apparatus for electrographic processes using a charge pattern
    • G03G15/50Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control
    • G03G15/5025Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control by measuring the original characteristics, e.g. contrast, density
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00411Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00474Output means outputting a plurality of functional options, e.g. scan, copy or print
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Control Or Security For Electrophotography (AREA)

Abstract

【課題】ユーザの操作経験が乏しい場合、或いはユーザが画像処理の知識を持っていない場合、UIに表示されている設定項目を適切なものにできないため、ユーザが望む画像データを得ることができない。【解決手段】本発明の画像処理装置は、画像データの種類と、当該種類に対応する画像処理の設定項目とを関連付けて保持しており、入力した画像データに対して学習済みの学習モデルを適用して、当該画像データを前記種類に分類した結果を取得する。そして、ユーザにより入力された設定項目と、前取得した画像データの種類に対応する、保持されている前記設定項目とに基づいて、そのユーザに対して推奨する設定項目を提示する。【選択図】 図6

Description

本発明は、画像処理装置とその制御方法、及びプログラムに関するものである。
従来、原稿の画像を読み取り、生成された画像データに基づく印刷や、生成された画像データを送信する多機能複合機(Multi Function Peripheral、以下、MFP)がある。このようなMFPで画像データを生成する際、ユーザは、そのMFPに搭載されているユーザインタフェース(以下、UI)に表示されている設定項目を変更して、印刷や送信を行わせることができる。設定項目は、例えば、明るさや色調を変化させるような画像処理の設定項目である。
特開2008−282204号公報
特許文献1では、画像処理の対象となる画像データの解析結果に応じて選択された設定項目を変更するためのUIを表示させている。しかしながら、ユーザのMFPの操作経験が乏しい場合、或いはユーザが画像処理の知識を持っていない場合、UIに表示されている設定項目を適切なものにできないため、ユーザが望む画像データを得ることができないという課題があった。
本発明の目的は、上記従来技術の課題の少なくとも一つを解決することにある。
本発明の目的は、ユーザの設定項目を設定する負荷を低減でき、画像処理の知識が乏しいユーザであってもユーザの望む印刷物を提供できる技術を提供することにある。
上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
画像処理装置であって、
画像データの種類と、当該種類に対応する画像処理の設定項目とを関連付けて保持する保持手段と、
前記設定項目をユーザにより入力させる操作手段と、
入力した画像データに対して学習済みの学習モデルを適用して、当該画像データを前記種類に分類した結果を取得する取得手段と、
前記操作手段により入力された前記設定項目と、前記取得手段により取得した画像データの種類に対応する前記保持手段に保持されている前記設定項目とに基づいて、前記ユーザに対して推奨する設定項目を提示する提示手段と、を有することを特徴とする。
本発明によれば、画像データを学習モデルによって解析して種類に分類し、その種類に対応する画像処理の設定項目と、ユーザによる設定項目とにに基づいて、そのユーザに対して推奨する設定項目を提示できる。これにより、ユーザの設定項目を設定する負荷を低減でき、画像処理の知識が乏しいユーザであっても、ユーザの望む印刷物を提供できるという効果がある。
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
添付図面は明細書に含まれ、その一部を構成し、本発明の実施形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の実施形態1に係る画像処理システムの構成を示す概略図。 実施形態1に係るMFPのハードウェア構成を説明するブロック図。 実施形態1に係るMFPの操作部と、そこに表示されるホーム画面の一例を示す図。 実施形態1に係るMFPの操作部で、ユーザが「スキャン」ボタンを押下することで操作部に表示されるスキャン操作画面の一例を示す図。 実施形態1に係るMFPの操作部に表示される画面例を示す図。 実施形態1に係るMFPにおいて、紙文書をスキャンしてスキャン画像データを取得するまでの処理を説明するフローチャート。 S605におけるスキャン画像データの分類処理を学習済モデルを用いて行う例を示す図。 学習済モデルによる画像分類部におけるニューラルネットワークの構成例を示す図。 実施形態1における学習画像及び正解データを説明する図。 実施形態1に係るMFPにおける、スキャン画像データの種類と、それに応じたスキャン設定の変更項目を説明する図。 実施形態1に係るMFPにおいて、S608でユーザに提示する提案画面の一例を示す図。 実施形態2に係るMFPで表示される、コピー動作時の操作画面例を示す図。 実施形態2に係るMFPにおいて、紙文書をスキャンしてプリント画像データを取得するまでの処理を説明するフローチャート。 実施形態2に係るMFPにおける、スキャン画像データの種類と、それに応じたコピー設定の変更項目を説明する図。 実施形態2に係るMFPにおいて、ユーザに提示する提案画面の一例を示す図。 実施形態3に係るMFPにおいて、複数枚の紙文書をスキャンしてプリント画像データを取得するまでの処理を説明するフローチャート。 実施形態2に係るMFPにおいて、ユーザに提示する提案画面の一例を示す図。 実施形態4に係るMFPにおいて、複数枚の紙文書をスキャンしてスキャン画像データを取得する処理を説明するフローチャート。 実施形態4に係るMFPにおいて、ユーザに提示する提案画面の一例を示す図。
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これら複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
以下に説明する実施形態では、ユーザがMFPを利用して紙文書をスキャンした場合に、そのスキャンにより得られた画像データ(スキャン画像データ)を用いて電子文書を作成するMFPを例に、本発明に係る画像処理装置の一例を説明する。
[実施形態1]
図1は、本発明の実施形態1に係る画像処理システムの構成を示す概略図である。
この画像処理システムでは、多機能複合機(以下、MFP)101とコンピュータ(以下、PC)102が、ネットワーク103を介して接続されている。図において、点線104と105は処理の流れを示しており、点線104は、ユーザがMFP101のスキャナを用いて紙文書を読み込ませる処理を示す。その際、ユーザは、後述するMFP101の操作部(図2の203)を操作して、スキャン画像データを送信する宛先(例えば、PC102)と、スキャンや送信に関わる各種設定を行うことができる。その各種設定として、ユーザは、解像度、圧縮率、データ書式(例えば、JPEG、TIFF、PDF、少数色圧縮、少数色圧縮(OCR結果付き))などを指定できる。点線105は、指定された各種設定に基づいて、MFP101のソフトウェア或いはハードウェア機能を利用して画像データを生成し、その画像データを指定された宛先に送信する処理を示す。ここで、PC102へ送信される画像データは、PDFなどのファイルフォーマットで送信されることになるので、PC102の有する汎用的なビューアで閲覧可能である。
図2は、実施形態1に係るMFP101のハードウェア構成を説明するブロック図である。
MFP101は、画像入力デバイスであるスキャナ部201と画像出力デバイスであるプリンタ部202、メモリ等で構成される制御ユニット204、ユーザインタフェースである操作部203、機器を使用するユーザ認証を行うカードリーダ220等を有する。制御ユニット204は、スキャナ部201、プリンタ部202、操作部203と接続し、一方では、LAN209と接続することで、画像情報やデバイス情報の入出力を行う制御部である。CPU205はシステム全体を制御するプロセッサである。RAM206はCPU205が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもある。ROM210はブートROMであり、システムのブートプログラム等のプログラムが格納されている。記憶部211は、例えばハードディスクドライブ等で構成され、システム制御ソフトウェア、画像データ等を格納する。操作部I/F207は操作部(UI)203とのインターフェース部で、操作部203に表示するための画像データを操作部203に出力する。また操作部I/F207は、操作部203からユーザが入力した情報をCPU205に伝える役割をする。ネットワークI/F208は、MFP101をLAN209に接続し、LAN209を介してパケット形式の情報の入出力を行う。カードリーダI/F221は、カードリーダ220とのインターフェース部で、カードリーダ220が読み取った情報を認証情報管理部222に伝える役割をする。以上のデバイスがシステムバス216上に配置される。イメージバスインターフェース212は、システムバス216と画像データを高速で転送する画像バス217とを接続し、データ構造を変換するバスブリッジである。画像バス217は、例えば、PCIバスやIEEE1394で構成される。
画像バス217には以下のデバイスが配置される。ラスタイメージプロセッサ(RIP)部213は、PDL(ページ記述言語)コードを解析し、指定された解像度のビットマップイメージに展開する、いわゆるレンダリング処理を実現する。デバイスI/F214は、信号線218を介してスキャナ部201を接続し、信号線219を介してプリンタ部202を接続しており、画像データの同期系/非同期系の変換を行う。データ処理部215は、スキャン動作時、スキャナ部201より入力されるスキャンデータの画像処理及び、JPEG圧縮やOCRなどの処理を行う。これによりスキャン画像データを生成する。またデータ処理部215は、プリント動作時、プリンタ部202へ出力するプリント画像データの画像処理を実施する。スキャン動作時に生成されたスキャン画像データは、ネットワークI/F208及びLAN209を介して、指定された宛先(例えば、クライアントPC102)に送信される。またこのデータ処理部215は、ネットワークI/F208及びLAN209を介して受信した圧縮データの伸張を行うこともできる。伸張された画像データは、デバイスI/F214を介してプリンタ部202に送られて印刷される。対応表管理部223は、後述する図10の学習済みモデル(学習モデル)の分類結果と、それに対応する推奨設定をとを関連付けて記憶する対応表1001を管理する。尚、この管理は、認証されたユーザに対応して行ってもよい。
図3は、実施形態1に係るMFP101の操作部203と、そこに表示されるホーム画面の一例を示す図である。
ウインドウ301は、ユーザの指示に従い、適切な操作画面を呼び出すアプリケーション選択ボタンを表示している。図3では、コピー機能、ネットワークスキャン機能、ファクス機能、ボックス機能の操作画面を呼び出す「コピー」ボタン302、「スキャン」ボタン303、「ファクス」ボタン304、「ボックス」ボタン305が表示されている。また操作部203には、テンキー306、ジョブの開始を指示するスタートキー307が配置されている。更に、機器の設定・登録画面を呼び出す「設定・登録」ボタン308や、ジョブの履歴・状況画面を呼び出す「履歴・状況」ボタン309も配置されている。
図4は、実施形態1に係るMFP101の操作部203で、ユーザが「スキャン」ボタン303を押下することで操作部203に表示されるスキャン操作画面の一例を示す図である。
この図では、ユーザがエリア401の「アドレス帳」「ワンタッチ」「新規宛先」いずれかの宛先入力ボタンを押下することで、宛先を指定することができる。また、ユーザに紐づいたメールアドレスを設定する「自分へメール送信」ボタン402も表示されている。送信設定ボタン403は、スキャンデータの解像度、カラーモード、サイズ、ファイル指定等の送信設定を設定するのに使用される。応用機能404は、読み取り、送信時の様々な詳細設定を呼び出すボタンである。
図5は、実施形態1に係るMFP101の操作部203に表示される画面例を示す図である。
図5(A)は、ユーザが「応用機能」ボタン404を押下することで操作部203に表示される応用機能画面の一例を示す。応用機能画面501には、実施形態1では「原稿の種類」ボタン502、「濃度調整」ボタン503、「シャープネス」ボタン504が表示されている。ここでユーザが「原稿の種類」ボタン502を押下すると、図5(B)の「原稿の種類」設定変更画面が操作部203に表示される。
この「原稿の種類」設定変更画面には「文字」「写真」「文字/写真」ボタンが表示されている。実施形態1では、「文字」ボタン505が選択されると、画像全体の鮮鋭性が向上するようなフィルタ処理がスキャン画像データに適用される。また「写真」ボタンが選択されると、画像全体の鮮鋭性が低下するようなフィルタ処理がスキャン画像データに適用される。また「文字/写真」ボタンが選択された際には、画像全体の鮮鋭性をわずかに向上させるフィルタ処理がスキャン画像データに適用される。ユーザはいずれかのボタンを選択し、「OK」ボタン507を押下することで設定変更が適用される。また「キャンセル」ボタン506を押下することで、この画面による設定変更の取り消しが可能である。
また図5(A)の画面で、ユーザが「濃度調整」ボタン503を押下すると、図5(C)の「濃度調整/背景調整」設定変更画面が操作部203に表示される。
この「濃度調整/背景調整」設定変更画面には、濃度調整スライダー508、背景調整スライダー509が表示されている。例えば、濃度調整スライダー508を左方向に移動させると画像処理後の画像が明るくなり、右方向に移動させると画像処理後の画像が暗くなる。また例えば、背景調整スライダー509を左方向に移動させると画像処理後の画像において、紙文書が持つ下地の色を強調し、右方向に移動させると画像処理後の画像において、紙文書が持つ下地の色をハイライト側に加工する。また「濃度調整/背景調整」設定変更画面に表示されている「キャンセル」ボタン506、「OK」ボタン507は、図5(B)の画面に表示されているボタンと同様の機能を持つ。
また図5(A)の画面で、ユーザが「シャープネス」ボタン504を押下すると、操作部203に図5(D)の「シャープネス」設定変更画面が表示される。
「シャープネス」設定変更画面には、シャープネス調整スライダー510が表示されており、例えば、スライダー510を左方向に移動させると画像処理後の画像の鮮鋭性が低くなり、右方向に移動させると画像処理後の画像の鮮鋭性が高くなる。また「シャープネス」設定変更画面に表示されている「キャンセル」ボタン506、「OK」ボタン507は、図5(B)の画面に表示されているボタンと同様の機能を持つ。
図6は、実施形態1に係るMFP101において、紙文書をスキャンしてスキャン画像データを取得するまでの処理を説明するフローチャートである。尚、このフローチャートで示す処理は、CPU205が記憶部211に記憶されている制御プログラムをRAM206に展開して実行することにより実現される。
この処理は図3の画面で「スキャン」ボタン303が押下されることにより開始される。まずS601でCPU205は、ユーザがカードリーダ220にユーザ認証用のカードをかざすか、或いは操作部203に表示されるユーザ認証画面でユーザ名、パスワードを入力することにより、認証情報管理部222を用いてユーザの認証を行う。尚、このユーザの認証は、認証情報管理部222を使用せずに、CPU205がプログラムを実行して行ってもよい。次にS602に進みCPU205は、ユーザの認証に成功したかどうか判定する。ここで認証できたときはS603に進むが、そうでないときはこの処理を終了する。
S603でCPU205は、例えば図4のスキャン操作画面を表示し、更に、図5の応用機能画面を介して入力されるスキャン設定、及び宛先の入力を受け付ける。そして操作部203に配置されているスタートキー307が押下されるとCPU205はスキャンのジョブを開始する。そしてS604に進みCPU205は、スキャンのジョブが開始されるとスキャナ部201を制御して紙文書をスキャンし、デバイスI/F214及び画像バス217を通してスキャン画像データがデータ処理部215に渡される。
次にS605に進みCPU205は、データ処理部215を使用して、スキャン画像データに対して学習済みモデルを用いて分類を行う。
図7は、S605におけるスキャン画像データの分類処理を学習済モデルを用いて行う例を示す図である。
また以下で説明する各処理は、CPU205がRAM206に展開したプログラムを実行することで実現するものとして説明する。スキャナ部201で取得したスキャン画像データ並びに各処理の中間生成データも適宜RAM206にセーブ、RAM206からロードを行いつつCPU205が演算処理を行うものとして説明する。
図7(A)の701は、スキャン画像データを用いた分類用画像生成部で、実施形態1では、スキャナ部201でスキャンされたRGBで表現されるスキャン画像データを受け取る。次に、受け取った画像データを用いて、後述する学習済モデルによる画像分類部702に入力するための画像データを生成する。例えば、学習済モデルによる画像分類部702の入力画像サイズが256×256のRGB画像データである場合、スキャン画像データを入力画像サイズに合わせて縮小する。尚、縮小方法は公知の技術を用いる。
以下、学習済モデルによる画像分類部702の構成について説明する。
図8は、学習済モデルによる画像分類部702におけるニューラルネットワークの構成例を示す図である。以下では、実施形態1の動作を、図8に示すニューラルネットワークに基づき説明するが、本発明に係る技術はこれに限定されない。例えば、より層の深いニューラルネットワークであってもよいし、U−netの形式をとっていてもよい。また、実施形態1では、256×256のRGB画像データを入力とするが、本発明はこれに限定されない。
まず、学習済モデルによる画像分類部702に入力された入力画像データは、Convolution Layer801において畳み込み演算が行われる。入力画像データの(x,y)位置の画素値をI(x,y)とすると、Convolution Layer801の出力画像データIG1(x,y,p)は、以下の式で算出される。
IG1(x,y,p)=ΣΣΣWstpz(G1)I(x+s,y+t,z) …式(1)
ここで、pは出力プレーン数であり、実施形態1ではp=2とした。尚、この出力プレーン数はあくまでも一例であり、これに限定されるものではない。また上記式(1)において、最初のΣは、s=−1からs=1までの総和を、二番目のΣはt=−1からt=1までの総和を、三番目のΣは、z=1からz=3までの総和を示す。
また、Wstpz(G1)は、ニューラルネットワークが保持しているConvolution Layer801における重みであり、s,t,pの組み合わせごとに異なる値を有している。尚、上記式中のI(x+s,y+t)であるが、参照位置が入力画像データの有する画素位置外(例えば、I(−1,−1)など)の場合は、画素値を「0」として演算する。以上の演算により、Convolution Layer801の出力は、256x256x2の画像データとなる。
次に、Activation Layer802では、Convolution Layer801の出力画像データIG1(x,y,p)に対して、非線形関数を適用する。具体的には、Activation Layer802の出力画像データIG2(x,y,p)は、ランプ関数を用いて以下の式(2)で計算される。
IG2(x,y,p)=max(0,IG1(x、y、p)) 式(2)
尚、当該処理で適用される非線形関数は、これに限定されない。例えば、双曲線正接関数(hyperbolic tangent)などを用いてもよい。以上の演算により、Activation Layer802の出力画像データIG2(x,y,p)は、256×256×2の画像データ、即ち、256×256の画像データが2プレーンの画像データとなる。
次に、Pooling Layer803にて、情報の圧縮が行われる。ここでは、2×2のmax poolingを行うことで、出力画像データIG2(x,y,p)の縮小を行う。具体的には、Pooling Layer 803の出力画像データIG3(u,v,p)は、以下の式(3)で計算される。
IG3(u,v,p)=max(IG2(2u,2v,p),IG2(2u,2v+1,p),IG2(2u+1,2v,p),IG2(2u+1,2v+1,p)) …式(3)
尚、u及びvの範囲は、0≦u≦127,0≦v≦127である。以上の演算により、Pooling Layer803の出力画像データIG3(u,v,p)は、128×128×2の画像データとなる。
次に、Full Connected Layer804が、Pooling Layer803の出力画像データIG3(u,v,p)から1×8の行列Aを算出する。Full Connected Layer804が出力する行列Aは、以下の式(4)で計算される。
A=ΣΣΣWuvp(G4)IG3(u,v,p) …式(4)
また上記式(4)において、最初のΣは、u=1からu=127までの総和を、二番目のΣはv=1からv=127までの総和を、三番目のΣは、p=1からp=2までの総和を示す。
尚、ここで、Wuvp(G4)は、当該ニューラルネットワークが保持している重みである。
最後に、Activation Layer805が、a値に非線形処理を施して判定結果を出力する。ここでは、ソフトマックス関数
S(Ai)=eAi/ΣeAi …式(5)
を適用することで、行列Aの各要素を値域[0,1]にし、各要素の合計が「1」になるような1×8行列S(806)を得ることが可能となる。
また上記式(5)において、Σは、n=1からn=8までの総和を示し、iは1〜8の値をとり得る。
次に、推定値行列806を用いて、画像の分類結果を得る手法について、図7(B)を参照して説明する。
例えば、文書画像703のように、文書のみで構成されたスキャン画像データが図8の学習済モデルの入力画像として入力された結果、推定行列806の各要素の値が、704で示すような値として得られたとする。この場合、最も大きな値は1番目の配列705である。次に、配列と画像種類の対応テーブル706において、最も大きな値を持つ1番目の配列に対応する種類は「文書画像」707である。こうして、このスキャン画像データの分類結果は「文書画像」となる。
以上で、図7(A)の学習済みモデルによる画像分類部702の説明を終える。
次に実施形態1に係る学習データ及び正解データについて図9を参照して説明する。実施形態1における学習データは、記録媒体(用紙等)に印刷された画像データから作成される。
図9は、実施形態1における学習画像及び正解データを説明する図である。
901は、予め目視にて任意の画像群を「文書画像」「写真」「再生紙原稿」「免許証」「図面」「プレゼン資料」「答案用紙」「レシート」の8種類に分類した結果、文書画像であると判断した画像群を示す。また、903,905,907,909,911,913,915も同様に分類した画像群を示す。そして、行列902,904,906,908,910,912.914.916はそれぞれ1×8の行列で構成されている。行列902では、1番目の配列の値が「1」で、その他の配列の値が「0」となっている。以下同様に、行列904は2番目、行列906は3番目、行列908は4番目、行列910は5番目、行列912は6番目、行列914は7番目、行列916は8番目の配列の値が「1」で、その他の配列の値は全て「0」となっている。
ここで文書画像群901を学習データ、行列902を正解データとして、図8で示されるニューラルネットワークで学習させる。同様に、画像903と行列904、画像905と行列906、画像907と行列908、画像909と行列910、画像911と行列912、画像913と行列914、画像915と行列916についても学習させる。
そして図6に戻りS606でCPU205は、分類されたスキャン画像データの種類と後述する推奨設定の対応表に基づき、ユーザが入力した設定項目が適切かどうか判定する。この判定方法は図10を参照して説明する。
図10は、実施形態1に係るMFP101における、スキャン画像データの種類と、それに応じたスキャン設定項目を説明する図である。
図10(A)は、学習済みモデルの分類結果と、それに対応する推奨設定を表した対応表1001を示す。ここでは例えば、スキャン画像データが学習済みモデルによって「文書画像」に分類された場合、対応表1001の「推奨設定」に記載されている設定項目は、「濃度調整+1」、「文字モード」、「300×300dpi」となっている。これらの設定項目は、図4のスキャン操作画面及び図5の応用機能画面を介して、ユーザの操作によって設定変更できる項目である。そしてS606でCPU205はこの推奨設定と、ユーザが操作部203を介して入力した設定項目とが一致しているかどうか判定する。ここで一致していると判定したときは、ユーザが入力した設定項目は適切であると判定してS607に進むが、そうでない場合はS608に進む。S607でCPU205は、操作部203にてユーザが入力した設定項目に基づいた画像処理をデータ処理部215で実行する。ここでの設定項目に基づいたスキャンデータの生成方法について、図10(B)を参照して説明する。
例えば、文書画像1002像に対し、ユーザが図4の送信設定ボタン403で「300×300dpi」を選択し、図5(B)で「文字」ボタン505を選択し、図5(C)の濃度調整スライダー508を右方向に1段階移動させたとする。その場合、例えば、まずスキャナ部201は、300×300dpiで紙文書をスキャンしてスキャン画像データを作成する。次に「文字」ボタン505が選択されているため、画像全体に鮮鋭性が向上するフィルタ処理が適用される。次に濃度調整スライダー508が右方向に1段階移動されているため、例えば、画像全体のRGB信号値を「10」だけ低下させる。以上の処理によってスキャン画像データ1003が生成される。
一方、ユーザが入力した設定項目が適切でないときはS608に進む。S608でCPU205は、図10(A)に示す、学習済みモデルの分類結果と、それに対応する推奨設定を表した対応表1001とに基づいた推奨設定で画像処理を実行するかどうかの提案を操作部203に提示する。
図11は、実施形態1に係るMFP101において、S608でユーザに提示する提案画面1101の一例を示す図である。
1102は、推奨設定項目を示し、スキャン画像データを図8の学習済みモデルで分類した結果と、図10(A)の対応表1001とに基づいて表示される。尚、提案画面1101はこれに限定されるものではなく、例えば、推奨設定で画像処理を実行したスキャン画像データの画像、或いは例えばサムネイル画像等を提案画面に表示してもよい。
そしてS609に進みCPU205は、この提案画面1101で「推奨設定でファイル生成を行う」ボタン1103が押下されたかどうか判定する。ここで「推奨設定でファイル生成を行う」ボタン1103が押下されたと判定するとS610にみ、推奨設定項目に基づいた画像処理を実行する。例えば、スキャン画像を学習済みモデルで分類した結果が図10(A)の「文書画像」であった場合、それに対応する設定項目の組み合わせである「濃度調整+1」、「文字」、「300×300dpi」を適用したスキャンデータの生成が実行される。この処理の詳細に関してはS607で説明した処理と同様である。
一方S609でCPU205は、「入力した設定でファイル生成を行う」ボタン1104が押下されたと判定した場合はS611に進む。S611でCPU205は、ユーザが入力した設定項目とスキャン画像データを学習済みモデルで分類した際の分類グループに基づいて、図10(A)の対応表1001を更新する。
具体例を図10(C)を参照して説明する。例えば、スキャン画像データを学習済みモデルで分類した結果が図10(A)の「文書画像」であった場合、それに対応する推奨設定を1004で示す。そして、この「文書画像」に対応する推奨設定1004を、ユーザが入力した設定項目1005に基づいて、推奨項目1006のように更新する。こうして更新された対応表1001は、ユーザごとに対応表管理部223で管理してもよい。尚、更新に関する処理はこの例に限らない。例えば、「入力した設定でファイル生成を行う」ボタン1104が押下された回数をユーザごとに管理し、対応表管理部223に保存しておき、その回数が予め定めた所定回数に達したときに初めて更新するようにしても良い。尚、対応表1001は、認証情報管理部222からの情報に応じて、ユーザごとに切り替えてもよい。
そしてS612に進みCPU205は、S607と同様、操作部203を介してユーザが入力した設定項目に基づいたスキャンデータの生成をデータ処理部215で実行する。ここでの設定項目に基づいたスキャンデータの生成の処理の詳細に関してはS607で説明した処理と同様である。
以上説明したように実施形態1によれば、ユーザが、入力した画像データに対する画像処理の設定を変更するための負荷を低減できる。また、ユーザが画像処理の知識が乏しい場合であっても、ユーザが望む印刷物を提供できるようになる。
[実施形態2]
次に実施形態2として、コピー動作時のプリント画像データを生成する構成について説明する。尚、実施形態2に係るMFP101のハードウェア構成等は前述の実施形態1と同様であるため、その説明を省略する。
図12は、実施形態2に係るMFP101で表示される、コピー動作時の操作画面例を示す図である。
図12(A)は、図3のホーム画面で「コピー」ボタン302が押下されたときに操作部203に表示されるコピー操作画面の一例を示す。この図では、「カラー選択」ボタン1202は、プリント画像データをRGB画像又はグレースケール画像で生成するか選択する。「倍率」ボタン1203は、プリント画像データの拡大倍率、縮小倍率を変更する。「濃度調整」ボタン1204は、実施形態1の図5の「濃度調整」ボタン503と同等の機能を持ち、ユーザが押下すると、図12(D)の「濃度調整」設定変更画面が表示される。図12(D)の濃度調整スライダー1218は、図5(C)の濃度調整スライダー508と同様の機能を有する。また背景調整スライダー1219は、図5(C)の背景調整スライダー509と同様の処理を行う。また図12(C)〜(E)の「キャンセル」ボタン1216、「OK」ボタン1217は、図5(B)の「原稿の種類」設定変更画面に表示されているOKボタン507、キャンセルボタン506と同様の機能を持つ。
「原稿の種類」ボタン1205は、実施形態1の図5(A)の「原稿の種類」ボタン502と同等の機能を持つ。「原稿の種類」ボタン1205が押下されると図5(E)の「原稿の種類」設定変更画面が表示され、この画面には「文字」「写真」「文字/写真」ボタンが表示されている。またそれぞれのボタンが選択されたときにスキャン画像データに適用される画像処理は、図5で説明したのと同様である。また「応用機能」1206ボタンが押下されると、図12(B)の応用機能画面1208が操作部203に表示される。この応用機能画面1208については後述する。また部数表示部1207は、図3の操作部203に配置されているテンキー306を用いてユーザが印刷物の印刷部数を入力した際、その部数が表示される。
図12(B)の応用機能画面1208には、「カラー調整」ボタン1209、「シャープネスボタン」1210が表示されている。ユーザが「カラー調整」ボタン1209を押下すると、操作部203に図12(C)の「カラー調整」設定変更画面1211が表示される。「カラー調整」設定変更画面1211には、イエロー調整スライダー1212、マゼンタ調整スライダー1213、シアン調整スライダー1214、ブラック調整スライダー1215が表示されている。例えば、イエロー調整スライダー1212を左方向に移動させると画像処理後のイエロー成分が減少し、右方向に移動させると画像処理後のイエロー成分が増大する。マゼンタ調整スライダー1213、シアン調整スライダー1214、ブラック調整スライダー1215も同様の機能を持つ。
図13は、実施形態2に係るMFP101において、紙文書をスキャンしてプリント画像データを取得するまでの処理を説明するフローチャートである。尚、このフローチャートで示す処理は、CPU205が記憶部211に記憶されている制御プログラムをRAM206に展開して実行することにより実現される。この処理は図3の画面で「コピー」ボタン302が押下されることにより開始される。尚、図13において、前述の図6と共通の処理は同じ参照番号を付して、その説明を省略する。
S1301でCPU205は、ユーザによって操作部203に表示された図12のコピー操作画面から設定変更の入力が行われ、操作部203に配置されているスタートキー307が押下されるとCPU205はコピーのジョブを開始する。次にS1302に進みCPU205は、スキャナ部201を制御して紙文書をスキャンさせ、デバイスI/F214及び画像バス217を通してスキャン画像データをデータ処理部215に渡す。そしてS605でデータ処理部215は、そのスキャン画像データに対し、学習済みモデルを用いて分類を行う。この分類方法については実施形態1と同様の処理である。
そしてS1303に進みCPU205は、分類されたスキャン画像データの種類と、後述する推奨設定の対応表1401(図14)に基づき、ユーザが入力した設定項目が適切かどうかを判定する。この判定方法については図14を参照して説明する。
図14は、実施形態2に係るMFP101における、スキャン画像データの種類と、それに応じたコピー設定の変更項目を説明する図である。
図14(A)は、学習済みモデルの分類結果と、それに対応する推奨設定を表した対応表1401を示す。例えば、スキャン画像データが学習済みモデルによって「文書画像」に分類された場合、対応表1401の「推奨設定」に記載されている設定項目は「濃度調整+1」、「文字」である。これらの設定項目は、図12のコピー操作画面でユーザの操作によって設定変更可能な項目である。CPU205はS1303で、この推奨設定と、ユーザが操作部203を介して入力した設定項目とが一致しているかどうか判定する。ここで一致していると判定した場合は、ユーザが入力した設定項目が適切であると判定しS1304に進み、CPU205は、操作部203にてユーザが入力した設定項目に基づいた画像処理をデータ処理部215で実行する。
ここでの設定項目に基づいたプリント画像データの生成方法について、図14(B)を参照して説明する。
例えば、文書画像1402に対し、ユーザが図12(E)の「文字」ボタン1220を選択し、図12(D)の濃度調整スライダー1218を右方向に1段階移動させたとする。その場合、例えば、まず「文字」ボタンが選択されているため、画像全体に鮮鋭性を向上させるフィルタ処理が適用される。次に濃度調整スライダー1218が右方向に1段階移動されているため、例えば、画像全体のRGB信号値を「10」低下させる。以上の処理によってプリント画像データ1403が生成される。
一方、S1303で、推奨設定と、ユーザが入力した設定項目とが一致していないと判定するとS1305に進む。S1305でCPU205は、図14(A)の学習済みモデルの分類結果と、それに対応する推奨設定を表した対応表1401に基づいた推奨設定で画像処理を実行するかどうかの提案を操作部203に表示する。
図15は、実施形態2に係るMFP101において、ユーザに提示する提案画面1501の一例を示す図である。
推奨設定項目1502は、スキャン画像データを図8の学習済みモデルで分類した結果と、図14(A)の対応表1401に基づいて表示される。尚、提案画面はこれに限定されるものではなく、例えば、推奨設定で画像処理を実行したプリント画像データの画像、或いはサムネイル画像を提案画面に表示してもよい。
次にS1306に進みCPU205は、提案画面1501で「推奨設定でコピーを行う」ボタン1503が押下されたかどうか判定する。ここで「推奨設定でコピーを行う」ボタン1503が押下されたときはS1307に進む。S1307でCPU205は、推奨設定項目に基づいた画像処理を実行する。例えば、スキャン画像を学習済みモデルで分類した結果が図14(A)の「文書画像」であった場合、それに対応する設定項目の組み合わせである「濃度調整+1」、「文字」を適用したスキャン画像データを生成する。処理の詳細に関してはS1304で説明した処理と同様である。
一方、提案画面1501で「入力した設定でコピーを行う」ボタン1504が押下されたときはS1308に進む。S1308でCPU205は、ユーザが入力した設定項目と、スキャン画像データを学習済みモデルで分類した際の分類グループに基づいて、図14(A)の対応表1401を更新する。この更新処理は、前述の実施形態1のS611と同様の処理であるため、その説明を省略する。
次にS1309に進みCPU205は、S1304と同様に、操作部203を介してユーザが入力した設定項目に基づいたプリント画像データの生成をデータ処理部215に実行させる。ここでの設定項目に基づいたプリント画像データの生成の処理の詳細に関してはS1304で説明した処理と同様であるため、その説明を省略する。
以上説明したように実施形態2によれば、ユーザが、入力した画像データに対する画像処理の設定を変更するための負荷を低減できる。また、ユーザに画像処理の知識が乏しい場合にもユーザの望む印刷物を提供できる。
[実施形態3]
上述の実施形態1及び実施形態2では、単一の紙文書をスキャンした場合についての形態について説明したが、この実施形態3では、複数枚の紙文書をスキャンした場合の形態について説明する。尚、実施形態3では、スキャン画像データを生成する処理について説明するが、コピー動作時のプリント画像データを生成する場合にも同様の構成で実施可能である。尚、実施形態3に係るMFP101のハードウェア構成等は前述の実施形態1と同様であるため、その説明を省略する。
図16は、実施形態3に係るMFP101において、複数枚の紙文書をスキャンしてプリント画像データを取得するまでの処理を説明するフローチャートである。尚、このフローチャートで示す処理は、CPU205が記憶部211に記憶されている制御プログラムをRAM206に展開して実行することにより実現される。この処理は図3の画面で「コピー」ボタン302が押下されることにより開始される。尚、図16において、前述の図6と共通の処理は同じ参照番号を付して、その説明を省略する。
S1601でCPU205は、スキャンのジョブが開始されるとスキャナ部201により複数枚の紙文書をスキャンして読み取らせ、デバイスI/F214及び画像バス217を通してスキャン画像データ群がデータ処理部215に渡される。次にS1602に進みCPU205は、データ処理部215により複数のスキャン画像データに対し、1枚ごとに学習済みモデルを用いて分類を行う。この分類方法は実施形態1のS605と同様の処理を行う。これにより、1枚分のスキャン画像データごとに分類結果が決定される。
次にS1603に進みCPU205は、こうして分類されたスキャン画像データの種類と、図6のS606で説明した推奨設定の対応表1001とに基づき、ユーザが入力した設定項目が適切かどうかの判定を各スキャン画像データに対して行う。ここで、全てのスキャン画像データにおいて、推奨設定とユーザが入力した設定項目とが一致していた場合はS1604に進み、そうでない場合はS1605に進む。例えば、複数枚の紙文書をスキャナ部201でスキャンしたスキャン画像データ群の全ての分類結果が「文書画像」であるとする。そこで、ユーザが入力した設定項目と、実施形態1のS606で説明した推奨設定の対応表1001の「文書画像」の推奨設定が一致した場合、S1603の判定はYesとなってS1604に進む。S1604でCPU205は、データ処理部215により、各スキャン画像データに対し、ユーザが入力した設定項目に基づいたスキャン画像データの生成を実行させる。ここでの設定項目に基づいたスキャンデータの生成は、実施形態1のS607と同様である。
一方、S1603でCPU205は、ユーザが入力した設定が適切でないと判定した場合はS1605に進む。S1605でCPU205は、図10(A)の学習済みモデルの分類結果と、それに対応する推奨設定を表した対応表1001に基づいた推奨設定で画像処理を実行するかどうかの提案を操作部203に表示する。操作部203に表示する提案画面の一例を図17に示す。
図17は、実施形態2に係るMFP101において、ユーザに提示する提案画面の一例を示す図である。
例えば、10枚の紙文書をスキャンして、S1602で1枚目から5枚目が文書画像、6枚目から10枚目が写真であると分類されたとする。そしてユーザが入力した設定変更が「文字/写真」であった場合、S1605でCPU205は、操作部203に図17(A)の提案画面1701を表示する。ここで、1702はページ表示部であり、図8の学習済みモデルで分類した結果、同じ種類であると判断されたスキャン画像群が何枚目にあるかに応じて表示される。また推奨設定項目1703は、スキャン画像データを図8の学習済みモデルで分類した結果と、図10(A)の対応表1001に基づいて表示される。
次にS1606に進みCPU205は、図17(A)の画面で、ユーザによって「推奨設定でファイル生成を行う」ボタン1704が押下されたと判定するとS1607に進む。S1607でCPU205は、例えば、スキャン画像データ群の1枚目から5枚目のスキャン画像について、推奨設定項目に基づいて画像処理を実行してS1610に進む。この処理の詳細に関してはS607で説明した処理と同様である。
一方、S1606でユーザが、「入力した設定でファイル生成を行う」ボタン1705が押下されたと判定したときはS1618に進む。S1608でCPU205は、ユーザが入力した設定項目と、スキャン画像データ群を学習済みモデルで分類した際の分類グループに基づいて、図10(A)の対応表1001を更新する。例えば、図17(A)の提案画面1701にて、「入力した設定でファイル生成を行う」ボタン1705が押下された場合、対応表1001の「文書画像」に対応する推奨設定項目を更新する。この更新の処理は、前述の実施形態1のS611と同様の処理を行う。
次にS1609に進みCPU205は、S1604と同様に、操作部203を介してユーザが入力した設定項目に基づいたスキャン画像データの生成をデータ処理部215で実行させてS1610に進む。ここでは、スキャン画像データ群の1枚目から5枚目のスキャン画像データについて、ユーザが入力した設定項目に基づいてスキャン画像データの生成を実行する。この処理の詳細は、S1604で説明した処理と同様である。
S1610でCPU205は、適切でないと判定された各スキャン画像データが分類された全ての種類に対して提案を行ったかどうかの判定を行う。ここでは、スキャン画像データ群の6枚目から10枚目のスキャン画像データが分類されている「写真」に対して提案を行っていないためS1605に戻り、「写真」に対する推奨設定項目の提案を行う。このときの提案画面の一例を図17(B)に示す。
尚、これ以降の処理は、前述したS1606〜S1610と同様であり、こうしてCPU205は全ての種類に対して提案を行うと、この処理を終了する。
以上説明したように実施形態3によれば、複数枚の紙文書をスキャンした場合にも、入力した画像データに対する画像処理の設定を変更するための負荷を低減できる。また、ユーザに画像処理の知識が乏しい場合にもユーザの望む印刷物を提供できる。
[実施形態4]
実施形態4では、複数枚の紙文書をスキャンした場合についての別の形態について説明する。尚、実施形態4ではスキャン画像データを生成する処理について説明するが、コピー動作時のプリント画像データを生成する場合にも同様の構成で実施可能である。尚、実施形態4に係るMFP101のハードウェア構成等は前述の実施形態1と同様であるため、その説明を省略する。
図18は、実施形態4に係るMFP101において、複数枚の紙文書をスキャンしてスキャン画像データを取得する処理を説明するフローチャートである。尚、このフローチャートで示す処理は、CPU205が記憶部211に記憶されている制御プログラムをRAM206に展開して実行することにより実現される。尚、図1において、前述の図6及び図16と共通の処理は同じ参照番号を付して、その説明を省略する。
S1603でCPU205は、ユーザが入力した設定が適切でないと判定した場合はS1801に進む。S1801でCPU205は、図10(A)の学習済みモデルの分類結果と、それに対応する推奨設定を表した対応表1001に基づいた推奨設定で画像処理を実行するかどうかの提案を操作部203に表示する。
図19は、実施形態4に係るMFP101において、ユーザに提示する提案画面1901の一例を示す図である。
例えば、10枚の紙文書をスキャンして、S1602で1枚目から5枚目が文書画像、6枚目から10枚目が写真であると分類され、ユーザが入力した設定変更が「文字/写真」であった場合、S1801で操作部203は図19の提案画面1901を表示する。
ここで、1902及び1903は、ページ表示部であり、図8の学習済みモデルで分類した結果、同じ種類であると判断されたスキャン画像群が何枚目にあるかを、その種類ごとに表示する。実施形態4では、1枚目から5枚目、6枚目から10枚目が同じ種類であるため、それぞれ1902,1903のように表示される。また推奨設定項目1904,1905は、スキャン画像データを図8の学習済みモデルで分類した結果と、図10の対応表1101に基づいて表示される。実施形態4では、1枚目から5枚目が「文書画像」、6枚目から10枚目が「写真」に分類されたため、それぞれ推奨設定項目1904、推奨設定項目1905のように表示される。
次にS1802に進みCPU205は、ユーザによって「推奨設定でファイル生成を行う」ボタン1906が押下されたかどうか判定し、そうであればS1803に進む。S1801でCPU205は、全てのスキャン画像データについて、推奨設定項目に基づいて画像処理を実行する。この処理の詳細には、前述のS607で説明した処理と同様であるため、その説明を省略する。
一方、S1802でCPU205は、「入力した設定でファイル生成を行う」ボタン1907が押下されたと判定したときはS1804に進む。S1804でCPU205は、ユーザが入力した設定項目とスキャン画像群を学習済みモデルで分類した際の分類グループに基づいて、図10(A)の対応表1001を更新する。例えば、前述した提案画面1901にて、「入力した設定でファイル生成を行う」ボタン1907が押下された場合、対応表1001の「文書画像」に対応する推奨設定項目と、対応表1001の「写真」に対応する推奨設定項目を更新する。この更新の処理は、実施形態1のS611と同様の処理であるため、その説明を省略する。
次にS1805に進みCPU205は、S1604と同様に、操作部203にてユーザが入力した設定項目に基づいたスキャン画像データの生成をデータ処理部215により実行させる。実施形態4では、スキャン画像データ群の全てのスキャン画像データについて、ユーザが入力した設定項目に基づいてスキャン画像データの生成を実行する。この処理の詳細には、S1604で説明した処理と同様であるため、その説明を省略する。
以上説明したように実施形態4によれば、複数枚の紙文書をスキャンした場合にも、入力した画像データに対する画像処理の設定を変更するための負荷を低減できる。即ち、実施形態1で想定されているような1枚の紙文書をスキャンした際と同等の操作回数で実施可能となり、ユーザの設定変更負荷の低減が可能となる。また、ユーザに画像処理の知識が乏しい場合にもユーザの望む印刷物を提供できる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は上記実施形態に制限されるものではなく、本発明の精神及び範囲から逸脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
101…MFP,201…スキャナ部、202…プリンタ部、205…CPU、206…RAM、215…データ処理部、223…対応管理部

Claims (12)

  1. 画像処理装置であって、
    画像データの種類と、当該種類に対応する画像処理の設定項目とを関連付けて保持する保持手段と、
    前記設定項目をユーザにより入力させる操作手段と、
    入力した画像データに対して学習済みの学習モデルを適用して、当該画像データを前記種類に分類した結果を取得する取得手段と、
    前記操作手段により入力された前記設定項目と、前記取得手段により取得した画像データの種類に対応する前記保持手段に保持されている前記設定項目とに基づいて、前記ユーザに対して推奨する設定項目を提示する提示手段と、
    を有することを特徴とする画像処理装置。
  2. 前記提示手段は、前記操作手段により入力された前記設定項目と、前記画像データの種類に対応する前記保持手段に保持されている前記設定項目とが異なる場合に、前記保持手段に保持されている前記設定項目を推奨する設定項目を提示することを特徴とする請求項1に記載の画像処理装置。
  3. 前記提示手段による前記推奨する設定項目の提示に対して、前記ユーザが前記操作手段により入力された前記設定項目を選択した場合、前記操作手段により入力された前記設定項目で前記保持手段を更新する更新手段を、更に有することを特徴とする請求項2に記載の画像処理装置。
  4. 前記更新手段は、前記ユーザが前記操作手段により入力された前記設定項目を選択した回数が所定回数になったときに、前記操作手段により入力された前記設定項目で前記保持手段を更新することを特徴とする請求項3に記載の画像処理装置。
  5. 前記提示手段は更に、前記画像データの種類に対応する前記推奨する設定項目に基づいて前記画像データを処理した場合の画像を表示することを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。
  6. 前記提示手段は、前記画像データが複数の種類の画像データを含む場合、前記取得手段により取得された画像データの各種類に対応する前記推奨する設定項目を提示することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 前記提示手段は、前記画像データが複数の種類の画像データを含む場合、前記取得手段により取得された画像データの種類が一致する画像のページを表示することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. 前記提示手段は更に、前記推奨する設定項目を適用する画像のページを表示することを特徴とする請求項7に記載の画像処理装置。
  9. 前記画像データは、紙文書をスキャナで読み取って得られたスキャン画像データであり、前記画像処理は前記スキャン画像データに対する処理を含むことを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
  10. 前記画像データは、コピーのための画像データであり、前記画像処理は前記コピーで使用されるプリント画像データに対する処理を含むことを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
  11. 画像データの種類と、当該種類に対応する画像処理の設定項目とを関連付けて保持する画像処理装置を制御する制御方法であって、
    前記設定項目をユーザにより入力させる操作工程と、
    入力した画像データに対して学習済みの学習モデルを適用して、当該画像データを前記種類に分類した結果を取得する取得工程と、
    前記操作工程で入力された前記設定項目と、前記取得工程で取得した画像データの種類に対応する、保持されている前記設定項目とに基づいて、前記ユーザに対して推奨する設定項目を提示する提示工程と、
    を有することを特徴とする制御方法。
  12. コンピュータに、請求項11に記載の制御方法の各工程を実行させるためのプログラム。
JP2019236969A 2019-12-26 2019-12-26 画像処理装置とその制御方法、及びプログラム Active JP7418204B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019236969A JP7418204B2 (ja) 2019-12-26 2019-12-26 画像処理装置とその制御方法、及びプログラム
US17/122,455 US11212401B2 (en) 2019-12-26 2020-12-15 Image processing apparatus, method of controlling the same, and storage medium
US17/529,547 US11695887B2 (en) 2019-12-26 2021-11-18 Image processing apparatus, method of controlling the same, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019236969A JP7418204B2 (ja) 2019-12-26 2019-12-26 画像処理装置とその制御方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2021106329A true JP2021106329A (ja) 2021-07-26
JP2021106329A5 JP2021106329A5 (ja) 2022-12-26
JP7418204B2 JP7418204B2 (ja) 2024-01-19

Family

ID=76546735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019236969A Active JP7418204B2 (ja) 2019-12-26 2019-12-26 画像処理装置とその制御方法、及びプログラム

Country Status (2)

Country Link
US (2) US11212401B2 (ja)
JP (1) JP7418204B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022040992A (ja) * 2020-08-31 2022-03-11 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009296140A (ja) * 2008-06-03 2009-12-17 Ricoh Co Ltd 画像処理装置、プログラムおよび画像処理方法
WO2017150194A1 (ja) * 2016-03-04 2017-09-08 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8223385B2 (en) * 2006-12-07 2012-07-17 Xerox Corporation Printer job visualization
KR101315463B1 (ko) * 2006-12-20 2013-10-14 삼성전자주식회사 화상형성제어장치 및 그 제어방법
JP2008282204A (ja) 2007-05-10 2008-11-20 Seiko Epson Corp 画像処理装置、および、画像処理方法
JP2012043406A (ja) * 2010-07-23 2012-03-01 Ricoh Co Ltd 画像処理装置、画像処理方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009296140A (ja) * 2008-06-03 2009-12-17 Ricoh Co Ltd 画像処理装置、プログラムおよび画像処理方法
WO2017150194A1 (ja) * 2016-03-04 2017-09-08 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP7418204B2 (ja) 2024-01-19
US11695887B2 (en) 2023-07-04
US11212401B2 (en) 2021-12-28
US20210203796A1 (en) 2021-07-01
US20220078296A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
US7710592B2 (en) Storage medium for managing job log, job log management method, image processing apparatus, and image processing system
US7889405B2 (en) Image processing apparatus and computer program product for overlaying and displaying images in a stack
US7773810B2 (en) Image processing apparatus and computer program product
US8407591B2 (en) Image processing apparatus, computer program product, and preview image displaying method
EP1885116A1 (en) Image processing, apparatus, computer program product, and preview image displaying method
JP4650204B2 (ja) 画像処理装置
CN107678706A (zh) 图像形成装置及其控制方法、以及存储介质
JP2020162025A (ja) 画像処理システム、画像処理方法、および画像処理装置
US20100259774A1 (en) Image forming condition setting device and image forming condition setting method
US8089648B2 (en) Image forming apparatus to set optimal print options for test prints of primitive images and method thereof
JP2022126829A (ja) 画像処理装置および画像処理方法、およびプログラム
US20070150536A1 (en) Peripheral device having user preference history and method of operation
US8891129B2 (en) Image forming apparatus having real-size preview function, method of controlling the same, and storage medium
JP6967956B2 (ja) 画像形成装置、画像形成方法、及びプログラム
JP7418204B2 (ja) 画像処理装置とその制御方法、及びプログラム
US8922833B2 (en) Method and apparatus for producing a weighted monochrome image
GB2590777A (en) Multi-function devices with personalized home screen and saved jobs for authenticated user
EP1569438A2 (en) Color conversion system,color conversion apparatus and color conversion program storage medium
JP2021108408A (ja) プログラム、画像形成装置、および方法
JP2021013149A (ja) 画像処理システム、画像処理装置とその制御方法、及びプログラム
JP6917285B2 (ja) 画像形成装置
JP2016101659A (ja) 情報表示装置
US11140283B2 (en) Action tags for multi-function devices to build a job
JP6234939B2 (ja) ハードコピー文書及び複製システムからデジタル文書を作成する方法
JP2019153061A (ja) 画像処理装置、その制御方法、及びプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240109

R151 Written notification of patent or utility model registration

Ref document number: 7418204

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151