JP2022077874A - 情報処理装置及び情報処理プログラム - Google Patents

Abstract

【課題】読取画像データの光沢領域の画素値を変換する変換処理において、複数の読取環境における読取処理により生成された、互いに異なる量の正反射光を含む原稿からの反射光に基づく複数の読取画像データを用いることなく、読取画像データの光沢領域の光沢感を表現する。【解決手段】画素値変換学習器４６は、光沢領域ＧＲの光沢感が好適に表現されない画質の画像データの画質を、光沢領域ＧＲの光沢感が好適に表現される画質の画像データに変換可能なように学習される。画素値変換処理部５４は、画素値変換学習器４６に対して、処理対象画像データ、及び、領域識別部５２が検出した当該処理対象画像データの光沢領域ＧＲを示す情報を入力することで、当該処理対象画像データの光沢領域ＧＲの光沢感が好適に表現されるように、光沢領域ＧＲ内の画素の画素値を変換する。【選択図】図８

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

従来、光源から原稿に対して光を照射し、原稿からの反射光を画像センサで受けて、当該原稿を表した読取画像データを生成する画像読取装置（スキャナ）が知られている。

原稿に対して光を照射した場合、原稿の表面特性（例えば光沢の有無など）に応じて、正反射光の光束が変動し得る。ここで、正反射光とは、反射角度が原稿への入射光の入射角度と同じとなる反射光である。また、光束とは、単位時間当たりの光量である。つまり、光量は光束の時間積分である。なお、光量は光のエネルギーと言い換えることができる。したがって、画像センサが正反射光を受けるように配置されている場合、原稿の表面特性に応じて、読取画像データの画質（例えば明度など）が変動してしまうという問題が生じ得る。一方、正反射光以外の反射光である（種々の反射角度で反射する）拡散反射光の光束は、原稿の表面特性に応じてあまり変動しない。

そこで、従来の画像読取装置においては、図１５に示すように、原稿台ＰＬに載置された原稿Ｓｃの入射位置Ｐに対して垂直方向へ反射する反射光を受けるように画像センサＳｅを配置させた上で、原稿Ｓｃ（具体的には入射位置Ｐ）への入射光Ｉの入射角が４５°程度となるように光源Ｌが配置されているのが一般的となっている。これによれば、画像センサＳｅは、正反射光Ｒはほぼ受けず、破線で示された拡散反射光Ｄを主に受けることになるため、原稿Ｓｃの表面特性の違いによる読取画像データの画質の変動が抑制される。また、正反射光Ｒの光量が多いことから、正反射光Ｒに基づいて生成された読取画像データは画素の輝度値が高くなりすぎる（白んでしまう）などの画質の低下が生じ得るところ、主に拡散反射光Ｄに基づいて読取画像データを生成することで、高画質を実現できるという利点もある。

ところで、原稿には、光沢性の強い光沢部分が含まれている場合がある。光沢部分は、正反射率が所定反射率以上の部分であると定義することができる。正反射率とは、ある入射角で入射した光の光束に対する、当該入射角と同じ反射角で原稿表面から反射する光（すなわち正反射光）の光束の割合である。なお、正反射率は、鏡面反射率と呼ばれる場合もある。

つまり、光沢部分からの反射光は、正反射光の光束が多く、拡散反射光の光束が少ないと言える。したがって、従来一般的である、主に拡散反射光に基づいて読取画像データを生成する画像読取装置においては、光沢部分からは十分な量の拡散反射光を得ることができない。これにより、読取画像データにおいて、原稿の光沢部分に対応する光沢領域が暗くなってしまい、読取画像データにおいて原稿のような光沢感を表現することができないという問題があった。ここで、光沢感とは、人間が原稿の光沢部分を見たときに感じる質感に相当する質感を意味する。なお、本明細書では、上述のように、画像データにおける、原稿の「光沢部分」に対応する部分（画素群）を「光沢領域」と記載する。また、原稿の光沢部分以外の部分を「非光沢部分」と記載し、画像データにおける、原稿の「非光沢部分」に対応する部分（画素群）を「非光沢領域」と記載する。

当該問題を解決するため、従来、光沢部分を有する原稿を読み取って得られた読取画像データにおいて、光沢部分に対応する光沢領域の光沢感を表現するための技術が提案されている。

例えば特許文献１には、通常スキャンにより第１読取画像データを得て、光を乱反射させる反射光制御部材を光源と原稿の間に配置してスキャンを行うことにより第２読取画像データ（光沢領域の光沢感が表現されたもの）を得る画像読取装置が開示されている。当該画像読取装置においては、第１読取画像データと第２読取画像データに基づいて、原稿から光沢部分を検出した上で、読取画像データの光沢領域内にある画素については第２読取画像データを選択し、読取画像データの非光沢領域内にある画素については第１読取画像データから選択するという、第１読取画像データと第２読取画像データを合成する合成処理を行う。これにより、光沢領域の光沢感が表現された読取画像データを生成している。

また、例えば特許文献２には、１つの光源と、光源からの入射光に対する原稿からの反射光をそれぞれ異なる反射角度の方向にて受光可能なように配置された複数の画像センサとを含む画像読取装置が開示されている。当該画像読取装置においては、複数の画像センサによる読取値を比較することで、判定対象の画素が、光沢領域に含まれるか否かを判定した上で、光沢領域内の画素について適切な画像処理を行うことで、光沢領域において原稿の光沢部分と同等の光沢感を表現している。

特許第４０２４７３７号公報 特許第５７６０５６２号公報

従来、原稿を光学的に読み取って得られた読取画像データにおいて、原稿の光沢部分に対応する光沢領域の光沢感を表現するためには、複数の読取環境における読取処理により生成された複数の読取画像データを用いる必要があった。

本発明の目的は、読取画像データの光沢領域の画素値を変換する変換処理において、複数の読取環境における読取処理により生成された、互いに異なる量の正反射光を含む原稿からの反射光に基づく複数の読取画像データを用いることなく、読取画像データの光沢領域の光沢感を表現することにある。

請求項１に係る発明は、プロセッサを備え、前記プロセッサは、画像センサが取得する学習データ用の原稿からの正反射光の光量が正反射光量閾値未満となる第１読取環境にて当該原稿が光学的に読み取られて得られた、原稿の光沢部分に対応する光沢領域を含む第１読取画像データと、前記画像センサが取得する前記正反射光の光量が前記正反射光量閾値以上となる第２読取環境にて当該原稿が光学的に読み取られて得られた、前記光沢領域を含む第２読取画像データとを第１学習データとして用いて、前記第１読取画像データを前記第２読取画像データに変換するように学習された第１学習器に対して、前記第１読取環境にて処理対象の原稿を光学的に読み取ることで得られた処理対象画像データを入力することで、前記処理対象画像データの前記光沢領域内の画素値を変換する、ことを特徴とする情報処理装置である。
請求項２に係る発明は、前記プロセッサは、学習済みの前記第１学習器に対して、前記処理対象画像データ及び前記処理対象画像データの前記光沢領域を示す情報を入力することで、前記処理対象画像データの前記光沢領域内の画素値を変換する、ことを特徴とする請求項１に記載の情報処理装置である。
請求項３に係る発明は、前記光沢領域は、原稿が前記第１読取環境にて光学的に読み取られた画像データと、当該原稿が前記第２読取環境にて光学的に読み取られた画像データとの間の画素値の差が画素値閾値以上となる領域であり、前記非光沢領域は、原稿が前記第１読取環境にて光学的に読み取られた画像データと、当該原稿が前記第２読取環境にて光学的に読み取られた画像データとの間の画素値の差が画素値閾値未満となる領域である、ことを特徴とする請求項１又は２に記載の情報処理装置である。
請求項４に係る発明は、前記プロセッサは、前記光沢領域内の画素に第１ラベルが付され、前記非光沢部分内の画素に前記第１ラベルとは異なる第２ラベルが付された画像データを第２学習データとして学習された学習済みの第２学習器を用いて、前記処理対象画像データから前記光沢領域を検出する、ことを特徴とする請求項１又は２に記載の情報処理装置である。
請求項５に係る発明は、前記プロセッサは、前記処理対象画像データを第１分割位置にて分割して得られた第１分割領域群を順次前記第２学習器に入力したときの前記第２学習器の複数の出力に基づいて得られた第１仮光沢領域、及び、前記処理対象画像データを前記第１分割位置とは異なる第２分割位置にて分割して得られた第２分割領域群を順次前記第２学習器に入力したときの前記第２学習器の複数の出力に基づいて得られた第２仮光沢領域に基づいて、前記処理対象画像データから前記光沢領域を検出する、ことを特徴とする請求項４に記載の情報処理装置である。
請求項６に係る発明は、前記プロセッサは、さらに、前記処理対象画像データの解像度を下げた低解像度処理対象画像データを前記第２学習器に入力することで得られた第３仮光沢領域に基づいて、前記処理対象画像データから前記光沢領域を検出する、ことを特徴とする請求項５に記載の情報処理装置である。
請求項７に係る発明は、前記第２学習データとしての画像データは、前記光沢領域に含まれる画素であって前記第１ラベルが付与済みの画素と、前記非光沢領域に含まれる画素であって前記第２ラベルが付与済みの画素とを組み合わせることで生成された画像データである、ことを特徴とする請求項４から６のいずれか１項に記載の情報処理装置である。
請求項８に係る発明は、前記プロセッサは、前記第１読取画像データ、前記第２読取画像データ、及び、当該第２読取画像データの画質を示す付帯情報とを前記第１学習データとして用いて学習された前記第１学習器に対して、前記処理対象画像データ、及び、前記処理対象画像データの前記光沢領域の変換後の画質に関する利用者の指示情報をさらに前記第１学習器に入力することで、前記指示情報に応じて前記光沢領域内の画素の画素値を変換する、ことを特徴とする請求項１又は２に記載の情報処理装置である。
請求項９に係る発明は、前記プロセッサは、それぞれ異なる前記付帯情報を用いて学習された複数の前記第１学習器の中から、前記指示情報に応じて選択された前記第１学習器に、前記処理対象画像データを入力することで、前記光沢領域内の画素の画素値を変換する、ことを特徴とする請求項８に記載の情報処理装置である。
請求項１０に係る発明は、コンピュータに、画像センサが取得する学習データ用の原稿からの正反射光の光量が正反射光量閾値未満となる第１読取環境にて当該原稿が光学的に読み取られて得られた、原稿の光沢部分に対応する光沢領域を含む第１読取画像データと、前記画像センサが取得する前記正反射光の光量が前記正反射光量閾値以上となる第２読取環境にて当該原稿が光学的に読み取られて得られた、前記光沢領域を含む第２読取画像データとを第１学習データとして用いて、前記第１読取画像データを前記第２読取画像データに変換するように学習された第１学習器に対して、前記第１読取環境にて処理対象の原稿を光学的に読み取ることで得られた処理対象画像データを入力することで、前記処理対象画像データの前記光沢領域内の画素値を変換する、ことを特徴とする情報処理プログラムである。

請求項１～３又は１０に係る発明によれば、読取画像データの光沢領域の画素値を変換する変換処理において、複数の読取環境における読取処理により生成された、互いに異なる量の正反射光を含む原稿からの反射光に基づく複数の読取画像データを用いることなく、読取画像データの光沢領域の光沢感を表現することができる。
請求項４に係る発明によれば、学習済みの第２学習器により、処理対象画像データから光沢領域を検出することができる。
請求項５に係る発明によれば、処理対象画像データを分割して学習済みの第２学習器に入力する場合に、１つの分割画像データ群を学習済みの第２学習器に入力した場合に比して、処理対象画像データから高精度に光沢領域を検出することができる。
請求項６に係る発明によれば、請求項４に係る発明に比して、処理対象画像データからさらに高精度に光沢領域を検出することができる。
請求項７に係る発明によれば、第２学習データを簡単に作成することができる。
請求項８に係る発明によれば、読取画像データの光沢領域において、利用者からの指示情報に応じた光沢感を表現することができる。
請求項９に係る発明によれば、１つの第１学習器が指示情報に応じて光沢領域内の画素の画素値を変換する場合に比して、高速に光沢領域内の画素の画素値を指示情報に応じて変換することができる。

本実施形態に係る情報処理システムの構成概略図である。 学習データ用の原稿の例を示す図である。 学習データ取得用スキャナの構造を示す第１の概略図である。 第１読取画像データの例を示す図である。 学習データ取得用スキャナの構造を示す第２の概略図である。 第２読取画像データの例を示す図である。 一般スキャナの構造を示す概略図である。 本実施形態に係る情報処理装置の構成概略図である。 領域識別学習器の構造の例を示す概念図である。 画素値変換学習器の構造の例を示す概念図である。 第２学習データの例を示す図である。 処理対象原稿の例を示す図である。 領域識別部の処理の変形例の流れを示す図である。 領域識別部及び画素値変換処理部の処理の流れを示す図である。 従来の画像読取装置の構造を示す概念図である。

図１は、本実施形態に係る情報処理システム１０の構成概略図である。情報処理システム１０は、学習データ取得用スキャナ１２、一般スキャナ１４、及び情報処理装置１６を含んで構成される。

学習データ取得用スキャナ１２は、紙媒体などの原稿を光学的に読み取って、当該原稿を表した読取画像データを取得する画像読取装置である。学習データ取得用スキャナ１２としては、光学的な読取処理（すなわちスキャン処理）を実行可能であり、以下に説明する構造を有している限りにおいてどのような装置であってもよい。例えば、スキャナ、スキャン機能を有する複合機などであってよい。後述するように、情報処理装置１６は学習器を備えており、学習データ取得用スキャナ１２は、専ら、当該学習器を学習させるための学習データとしての読取画像データを取得するために用いられる。なお、図１には、１つの学習データ取得用スキャナ１２が示されているが、情報処理システム１０は、複数の学習データ取得用スキャナ１２を有していてもよい。

図２は、学習データ取得用スキャナ１２が読み取る、学習データ用の原稿ＳｃＬの例を示す図である。学習データ取得用スキャナ１２が読み取る原稿ＳｃＬは、光沢性の強い光沢部分Ｇと、光沢部分以外の非光沢部分ＮＧを含んでいる。なお、本願に係る図面において、原稿上の光沢部分Ｇ、及び、読取画像データ上の光沢感が表現されている光沢領域を網掛けで表すこととする。上述の通り、光沢部分Ｇの定義の１つとしては、正反射率が所定反射率以上の部分である。一方、非光沢部分ＮＧは、正反射率が所定反射率未満の部分であると言える。学習データ用の原稿ＳｃＬとしては、１枚の原稿ＳｃＬに光沢部分Ｇと非光沢部分ＮＧとが混在しているものであってもよいし、全面が光沢部分Ｇ又は全面が非光沢部分ＮＧであるものであってもよい。学習データ取得用スキャナ１２が複数の原稿ＳｃＬを読み取ることで、複数の読取画像データにおいて光沢領域と非光沢領域の両方が含まれるようにすればよい。このような複数の読取画像データが、後述の学習器を学習させるための学習データとなる。

学習データ取得用スキャナ１２は、互いに異なる読取環境である第１読取環境及び第２読取環境にて、原稿ＳｃＬを読み取って読取画像データを生成することができる。本明細書では、第１読取環境で生成された読取画像データを第１読取画像データと呼び、第２読取環境で生成された読取画像データを第２読取画像データと呼ぶ。第１読取環境及び第２読取環境の詳細については後述するが、第１読取環境とは、従来の一般的な画像読取装置と同等の読取環境である。第１読取環境により取得された第１読取画像読取データは、非光沢領域が好適に表現されているが、光沢領域の光沢感が好適に表現されていない画像データである。一方、第２読取環境により取得された第２読取画像読取データは、光沢領域の光沢感が好適に表現されているが、非光沢領域については、輝度が高すぎるなど、好適に表現されていない画像データである。学習データ取得用スキャナ１２は、第１読取画像データ及び第２読取画像データを情報処理装置１６に送信する。

図３は、学習データ取得用スキャナ１２の構造を示す概略図である。学習データ取得用スキャナ１２は、原稿台２０、第１光源２２ａ、第２光源２２ｂ、及び画像センサ２４を含んで構成される。

原稿台２０は、光透過性の物質例えばガラスなどで形成され、水平面に延びるように配置された板状の部材である。原稿台２０には学習データ用の原稿ＳｃＬが載置される。

第１光源２２ａ及び第２光源２２ｂは、それぞれ、例えば白色蛍光ランプなどの発光素子が水平方向（図２及び図３の例では紙面の奥行方向）に並んだ発光素子アレイで形成される。第１光源２２ａ及び第２光源２２ｂは、原稿台２０の下部に設けられ、原稿ＳｃＬの表面（下側面）に向けて光を照射する。なお、１回のスキャン処理において第１光源２２ａ及び第２光源２２ｂは同時には発光せず、いずれか一方の光源のみが発光するようになっている。

画像センサ２４は、例えばＣＣＤ（Charge-Coupled Device）イメージセンサなどの光を電子信号に変換する撮像素子が、水平方向、具体的には発光素子の並び方向と同じ方向（図２及び図３の例では紙面の奥行方向）に並んだ撮像素子アレイで構成される。画像センサ２４は、第１光源２２ａ又は第２光源２２ｂから原稿ＳｃＬへ照射された光の原稿ＳｃＬの表面（下側面）からの反射光を受けるものである。画像センサ２４も原稿台２０の下部に設けられる。特に、画像センサ２４は、原稿ＳｃＬのうち、第１光源２２ａ及び第２光源２２ｂからの光が入射する入射位置Ｐの真下に配置される。また、画像センサ２４は、原稿台２０（すなわち原稿台２０に載置された原稿ＳｃＬ）と平行に設けられる。これにより、画像センサ２４は、原稿ＳｃＬの入射位置Ｐから垂直方向へ進む反射光を受けるようになっている。なお、図３では、画像センサ２４が原稿ＳｃＬからの反射光を直接受けるように示されているが、原稿ＳｃＬから画像センサ２４までの反射光の光路の途中に、反射光をさらに反射してその進行方向を変換する複数のミラー、あるいはレンズが設けられていてもよい。複数のミラーやレンズが設けられている場合であっても、画像センサ２４が原稿ＳｃＬに対して垂直方向へ進む反射光を受けることには変わりはない。

第１光源２２ａ、第２光源２２ｂ、及び画像センサ２４は、原稿ＳｃＬのスキャン処理にあたって、一体となって、発光素子及び撮像素子の並び方向と垂直な水平方向（図３の例では左右方向）に移動する。これにより、入射位置Ｐが走査され、画像センサ２４は、原稿ＳｃＬの各部分からの反射光を受けることとなる。学習データ取得用スキャナ１２は、画像センサ２４が受けた反射光に基づいて、原稿ＳｃＬを表す読取画像データを生成する。

引き続き図３を参照し、第１読取環境としての、第１光源２２ａを用いたスキャン処理について説明する。第１光源２２ａは、第１光源２２ａから照射される入射光Ｉの進行方向と、原稿台２０に載置された原稿ＳｃＬに対する垂直方向（図３の一点鎖線で示される方向）とがなす角である入射角が４５°となるように配置される。これにより、原稿ＳｃＬの表面（具体的には入射位置Ｐ）から反射した正反射光Ｒの反射角度（原稿台２０に載置された原稿ＳｃＬに対する垂直方向との成す角）も４５°となる。したがって、原稿ＳｃＬ上の入射光Ｉの入射位置Ｐから垂直方向へ進む反射光を受けるように配置されている画像センサ２４は、第１光源２２ａからの光の正反射光Ｒをほぼ受けないようになっている。換言すれば、第１光源２２ａを用いたスキャン処理においては、画像センサ２４が取得する原稿ＳｃＬからの正反射光Ｒの光量が所定の正反射光量閾値未満であると言える。

一方、図３において破線で示されている、第１光源２２ａからの光の拡散反射光Ｄは、原稿ＳｃＬ上の入射位置Ｐから種々の反射角度で反射する。したがって、画像センサ２４は、第１光源２２ａからの光の拡散反射光Ｄを多く（少なくとも正反射光Ｒの光量よりも多い光量を）受けることになる。

図４は、第１光源２２ａを用いたスキャン処理により図２に示す原稿ＳｃＬを読み取ることで生成された第１読取画像データＳＩａの例を示す図である。第１光源２２ａを用いたスキャン処理においては、主に拡散反射光Ｄに基づいて第１読取画像データＳＩａが生成される。したがって、上述の通り、第１読取画像データＳＩａにおいては、原稿ＳｃＬの表面特性の違いによる第１読取画像データＳＩａの画質の変動が抑制されると共に、原稿ＳｃＬの非光沢部分ＮＧに対応する非光沢領域ＮＧＲを高画質（例えば非光沢領域ＮＧＲの画素の輝度、明度、彩度が非光沢部分ＮＧを表現するのに適した値）となっている。一方、原稿ＳｃＬの光沢部分Ｇからの反射光は正反射光Ｒの光量が多く、拡散反射光Ｄの光量が少ないため、第１読取画像データＳＩａにおいては、原稿ＳｃＬの光沢部分Ｇからは十分な量の拡散反射光Ｄを得ることができない。したがって、原稿ＳｃＬの光沢部分Ｇに対応する光沢領域ＧＲが暗くなってしまい、光沢領域ＧＲの光沢感が好適に表現されていない。特に、光沢領域ＧＲの画素の明度がかなり低くなってしまう。図４においては、光沢領域ＧＲが黒で塗られていることでそれが表現されている。

図３と図１５を比較して分かる通り、第１読取環境は、図１５を用いて説明した従来の画像読取装置におけるスキャン処理の読取環境と同等であると言える。

なお、本実施形態では、第１読取環境として、原稿ＳｃＬの入射光Ｉの入射位置Ｐから垂直方向へ進む反射光を受けるように画像センサ２４を配置した上で、第１光源２２ａからの入射光Ｉの入射角度を４５°としていたが、画像センサ２４が取得する原稿ＳｃＬからの正反射光Ｒの光量が所定の正反射光量閾値未満となる限りにおいて、第１光源２２ａからの入射光Ｉの入射角度及び画像センサ２４の配置位置は、それには限られない。

次に、図５を参照し、第２読取環境としての、第２光源２２ｂを用いたスキャン処理について説明する。第２光源２２ｂは、第２光源２２ｂから照射される入射光Ｉの進行方向と、原稿台２０に載置された、学習データ用の原稿ＳｃＬに対する垂直方向（図５の一点鎖線で示される方向）とがなす角である入射角が５°となるように配置される。これにより、原稿ＳｃＬの表面（具体的には入射位置Ｐ）から反射した正反射光Ｒの反射角度（原稿台２０に載置された原稿ＳｃＬに対する垂直方向との成す角）も５°となる。したがって、原稿ＳｃＬ上の入射光Ｉの入射位置Ｐから垂直方向へ進む反射光を受けるように配置されている画像センサ２４は、第１光源２２ａからの光の正反射光Ｒを受けることができるようになっている。換言すれば、第２光源２２ｂを用いたスキャン処理においては、画像センサ２４が取得する原稿ＳｃＬからの正反射光Ｒの光量が所定の正反射光量閾値以上であると言える。少なくとも、第２光源２２ｂを用いたスキャン処理においては、画像センサ２４が取得する原稿ＳｃＬからの正反射光Ｒの光量が、第１光源２２ａを用いたスキャン処理の場合に比して多くなっている。

図６は、第２光源２２ｂを用いたスキャン処理により図２に示す原稿ＳｃＬを読み取ることで生成された第２読取画像データＳＩｂの例を示す図である。第２光源２２ｂを用いたスキャン処理においては、画像センサ２４は、正反射光Ｒ及び拡散反射光Ｄに基づいて、第２読取画像データＳＩｂを生成する。しかし、正反射光Ｒの光量は、拡散反射光Ｄの光量に比してかなり大きいため、画像センサ２４は、主に正反射光Ｒに基づいて第２読取画像データＳＩｂを生成すると言える。したがって、第２読取画像データＳＩｂにおいては、原稿ＳｃＬの光沢部分Ｇに対応する光沢領域ＧＲの光沢感が、少なくとも第１読取画像データＳＩａよりも良く表現されている。すなわち、光沢部分Ｇからは大きな光量の正反射光Ｒが反射され、画像センサ２４はそれを受けているから、光沢領域ＧＲの画素の明度がかなり高くなる。これが光沢感が好適に表現される一因である。なお、光沢感が良く表現されるには、画素の明度のみならず、彩度や色相なども関連していると考えられる。いずれにしろ、光沢領域ＧＲの光沢感が好適に表現される要因は、画像センサ２４が、主に原稿ＳｃＬからの正反射光Ｒに基づいて第２読取画像データＳＩｂを生成しているからである。一方、第２読取画像データＳＩｂにおいては、原稿ＳｃＬの非光沢部分ＮＧからは過剰な光量の反射光を得てしまうため、原稿ＳｃＬの非光沢部分ＮＧに対応する非光沢領域ＮＧＲが白んでしまい、非光沢領域ＮＧＲの画質が第１読取画像データＳＩａよりも良くない（例えば非光沢領域ＮＧＲの画素の明度が高すぎるなど）ものとなっている。

なお、本実施形態では、第２読取環境として、原稿ＳｃＬの入射光Ｉの入射位置Ｐから垂直方向へ進む反射光を受けるように画像センサ２４を配置した上で、第２光源２２ｂからの入射光Ｉの入射角度を５°としていたが、画像センサ２４が取得する原稿ＳｃＬからの正反射光Ｒの光量が所定の正反射光量閾値以上となる限り、あるいは、画像センサ２４が取得する原稿ＳｃＬからの正反射光Ｒの光量が第１読取環境以上となる限りにおいて、第２光源２２ｂからの入射光Ｉの入射角度及び画像センサ２４の配置位置は、それには限られない。

第１読取環境で取得した画像データ（例えば第１読取画像データＳＩａ）の光沢領域ＧＲと、第２読取環境で取得した画像データ（例えば第２読取画像データＳＩｂ）の光沢領域ＧＲとの間においては、対応する画素の画素値（例えば明度）がかなり異なることになる。第１読取環境で取得した画像データの非光沢領域ＮＧＲと、第２読取環境で取得した画像データの非光沢領域ＮＧＲとの間においても、対応する画素の画素値が異なっているが、第１読取環境で取得した画像データと第２読取環境で取得した画像データとの間における対応する画素値の差異は、非光沢領域ＮＧＲに比して光沢領域ＧＲの方がかなり大きい。したがって、光沢領域ＧＲにおいては、原稿が第１読取環境にて光学的に読み取られた画像データと、当該原稿が第２読取環境にて光学的に読み取られた画像データとの間の画素値の差が画素値閾値以上となると言える。ここで、画素値閾値は、同一の原稿に対する第１読取環境で取得した画像データの非光沢領域ＮＧＲと第２読取環境で取得した画像データの非光沢領域ＮＧＲとの間の画素値の差よりも大きく、同一の原稿に対する第１読取環境で取得した画像データの光沢領域ＧＲと第２読取環境で取得した画像データの光沢領域ＧＲとの間の画素値の差よりも小さい値に設定される。一方、非光沢領域ＮＧＲにおいては、原稿が第１読取環境にて光学的に読み取られた画像データと、当該原稿が第２読取環境にて光学的に読み取られた画像データとの間の画素値の差が画素値閾値未満となると言える。

図１に戻り、一般スキャナ１４は、学習データ取得用スキャナ１２同様、紙媒体などの原稿を光学的に読み取って、当該原稿を表した読取画像データを取得する画像読取装置である。一般スキャナ１４は、ユーザによりセットされた処理対象の原稿をスキャンして、読取画像データである処理対象画像データを情報処理装置１６に送信する。特に、一般スキャナ１４は、第１読取環境にてスキャン処理を実行するものである。すなわち、一般スキャナ１４は、従来一般的に用いられていた画像読取装置（図１５参照）と同等であってよい。一般スキャナ１４としては、第１読取環境にてスキャン処理を実行可能である限りにおいてどのような装置であってもよい。例えば、スキャナ、スキャン機能を有する複合機などであってよい。なお、図１には、１つの一般スキャナ１４が示されているが、情報処理システム１０は、複数のユーザが使用する複数の一般スキャナ１４を有していてもよい。

一般スキャナ１４は、入力インターフェース１４ａ及びディスプレイ１４ｂを備えている。入力インターフェース１４ａは、例えばボタンやタッチパネルなどを含んで構成される。入力インターフェース１４ａは、利用者（ユーザ）からの指示を一般スキャナ１４に入力するために用いられる。ディスプレイ１４ｂは、例えば液晶ディスプレイなどを含んで構成される。ディスプレイ１４ｂには、種々の情報を含む種々の画面が表示される。例えば、ディスプレイ１４ｂには、情報処理装置１６にて処理済みの画像データが表示される。

図７は、一般スキャナ１４の構造を示す概略図である。一般スキャナ１４は、原稿台３０、光源３２、及び画像センサ３４を含んで構成される。原稿台３０、光源３２、及び画像センサ３４は、それぞれ学習データ取得用スキャナ１２の原稿台２０、第１光源２２ａ、及び画像センサ２４と同等の物であるため、詳細な説明は省略する。なお、本明細書では、一般スキャナ１４が読み取る原稿を処理対象の原稿ＳｃＴと呼び、一般スキャナ１４が原稿ＳｃＴを読み取って生成した読取画像データを処理対象画像データと呼ぶ。

上述の通り、一般スキャナ１４は、従来の画像読取装置と同等であってよい（図１５も併せて参照）。つまり、光源３２は、光源３２から照射される入射光Ｉの進行方向と、原稿台３０に載置された原稿ＳｃＴに対する垂直方向（図７の一点鎖線で示される方向）とがなす角である入射角が４５°となるように配置される。これにより、原稿ＳｃＴの表面（具体的には入射位置Ｐ）から反射した正反射光Ｒの反射角度（原稿台３０に載置された原稿ＳｃＴに対する垂直方向との成す角）も４５°となる。したがって、原稿ＳｃＴ上の入射光Ｉの入射位置Ｐから垂直方向へ進む反射光を受けるように配置されている画像センサ３４は、光源３２からの光の正反射光Ｒをほぼ受けないようになっている。一方、画像センサ３４は、図７において破線で示されている、光源３２からの光の拡散反射光Ｄを多く（少なくとも正反射光Ｒの光量よりも多い光量を）受けるようになっている。

すなわち、一般スキャナ１４は、第１読取環境にて原稿ＳｃＴをスキャン処理するようになっている。したがって、一般スキャナ１４により読み取られた処理対象画像データは、図４に示した第１読取画像データＳＩａ同様、非光沢領域ＮＧＲは好適に表現されているが、光沢領域ＧＲの光沢感が好適に表現されていないものとなる。

図８は、情報処理装置１６の構成概略図である。本実施形態では、情報処理装置１６はサーバコンピュータであるが、情報処理装置１６として、以下に説明する学習器を用いて、処理対象画像データの光沢領域ＧＲの光沢感を表現する処理を実行可能な限りにおいてどのような装置であってもよい。例えば、情報処理装置１６は、パーソナルコンピュータなどであってもよい。また、情報処理装置１６が発揮する機能は、複数のコンピュータが協働することで実現されるようにしてもよい。

通信インターフェース４０は、例えばネットワークアダプタなどを含んで構成される。通信インターフェース４０は、他の装置、例えば、学習データ取得用スキャナ１２及び一般スキャナ１４と通信する機能を発揮する。例えば、通信インターフェース４０は、学習データ取得用スキャナ１２から、第１読取画像データＳＩａ及び第２読取画像データＳＩｂを受信し、一般スキャナ１４から処理対象画像データを受信する。また、通信インターフェース４０は、ユーザが一般スキャナ１４に入力した指示を示す指示情報（詳細後述）を一般スキャナ１４から受信する。さらに、通信インターフェース４０は、処理済みの処理対象画像データを一般スキャナ１４又はユーザが使用するユーザ端末に送信する。

メモリ４２は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）、あるいはＲＡＭ（Random Access Memory）などを含んで構成されている。メモリ４２は、後述のプロセッサ４８とは別に設けられてもよいし、少なくとも一部がプロセッサ４８の内部に設けられていてもよい。メモリ４２には、情報処理装置１６の各部を動作させるための情報処理プログラムが記憶される。また、図８に示す通り、メモリ４２には、領域識別学習器４４及び画素値変換学習器４６が記憶される。

第２学習器としての領域識別学習器４４は、第２学習データを用いて十分に学習されることによって、一般スキャナ１４によって生成された処理対象画像データにおいて、光沢領域ＧＲと非光沢領域ＮＧＲを識別することができるようになる学習器である。領域識別学習器４４としては、例えば、Vijay Badrinarayananらによって提案されたSegNet（https://arxiv.org/abs/1511.00561）を用いることができる。SegNetは、画素毎に当該画素の特徴を示すラベルが付された画像データを学習データとして用いて学習することで、入力画像データの各画素に対して当該画素の特徴を示すラベルを付すものである。本実施形態に当てはめると、SegNetは、各画素に、光沢領域ＧＲ内の画素であるか非光沢領域ＮＧＲ内の画素であるかを示すラベルが付された画像データを第２学習データとして用いて学習することで、入力画像データの各画素を光沢領域ＧＲの画素であるか、非光沢領域ＮＧＲの画素であるかを識別することができるようになる。

図９は、領域識別学習器４４の構造の例を示す概念図である。領域識別学習器４４は、複数の層から構成されるニューラルネットワーク、より詳しくは畳み込みニューラルネットワークである。領域識別学習器４４は、複数の層から構成され、入力画像データが有する各画素の画素値に基づいて、入力画像データの内容の特徴を抽出するエンコーダ４４ａと、同じく複数の層から構成され、抽出された特徴に基づいて、当該入力画像データの各画素にラベルを付すデコーダ４４ｂから構成される。

エンコーダ４４ａは、複数の畳み込み層４４ｃとプーリング層４４ｄとの組み合わせが複数並べられて構成されている。畳み込み層４４ｃは、入力画像データに対してフィルタ処理を施すことで、当該フィルタに規定された特徴を入力画像データから抽出して特徴マップを生成する処理を行う。プーリング層４４ｄは、畳み込み層４４ｃが生成した特徴マップをダウンサンプリング（画素数を縮小）する処理を行う。ここでは、プーリング層４４ｄは、特徴マップの２×２の４画素の画素値のうちの最大値を抽出して１画素とすることで、画素数を１／４にするダウンサンプリングを行う。ここで、プーリング層４４ｄは、４画素のうち、どの画素の画素値を抽出したかを示すpooling indicesという情報を保持しておく。

デコーダ４４ｂは、アップサンプリング層４４ｅと複数の畳み込み層４４ｆとの組み合わせが複数並べられ、最終出力段にソフトマックス層４４ｇを含んで構成されている。アップサンプリング層４４ｅは、プーリング層４４ｄで縮小された特徴マップを拡大する処理を行う。ここでは、アップサンプリング層４４ｅは、縮小された特徴マップの１画素を２×２の４画素に拡大する。ここで、アップサンプリング層４４ｅは、対応するプーリング層４４ｄから上述のpooling indicesを受け取り、４画素のうちのpooling indicesが示す位置に、縮小された特徴マップの１画素の画素値を配置する。畳み込み層４４ｆは、アップサンプリング層４４ｅにより拡大された特徴マップの空白画素（本例では、４画素のうち、アップサンプリング層４４ｅによって画素値が配置された画素以外の３画素）に対して画素値を補填する処理を行う。ソフトマックス層４４ｇは、最終段の畳み込み層４４ｆにより得られた特徴マップに基づいて、入力された画像データの各画素について、各ラベルである確率を出力するものである。各画素に対して、確率が最大であるラベルを付すならば、ソフトマックス層４４ｇにより、入力された画像データの各画素にラベルが付されることとなる。

領域識別学習器４４の学習方法については、プロセッサ４８の処理と共に後述する。

第１学習器としての画素値変換学習器４６は、第１学習データを用いて十分に学習されることによって、一般スキャナ１４によって生成された処理対象画像データ（すなわち、第１読取画像データＳＩａ（図４参照）相当の画質の画像データ）を、第２読取画像データＳＩｂ（図６参照）相当の画質の画像データに変換する、すなわち各画素の画素値を変換することができるようになる学習器である。上述の通り、第２読取画像データＳＩｂは、第１読取画像データＳＩａに比して光沢領域ＧＲの光沢感がより好適に表現された画像データであるから、光沢領域ＧＲについてのみ着目すれば、学習済みの画素値変換学習器４６は、処理対象画像データの光沢領域ＧＲの光沢感がより好適に表現されるように、光沢領域ＧＲ内の画素の画素値を変換することができると言える。

画素値変換学習器４６としては、例えば、Phillip Isolaらによって提案されたImage-to-Image Translation with Conditional Adversarial Networks（https://arxiv.org/pdf/1611.07004.pdf）を用いることができる。Image-to-Image Translation with Conditional Adversarial Networksは、第１画像データと第２画像データのペアを学習データとして用いて、当該第１画像データが有する第１特徴と第２画像データが有する第２特徴との関係性を学習することで、第１特徴を有する入力画像データを第２特徴を有する画像データに変換し、あるいは、第２特徴を有する入力画像データを第１特徴を有する画像データに変換するものである。本実施形態に当てはめると、Image-to-Image Translation with Conditional Adversarial Networksによれば、学習データ取得用スキャナ１２が取得した、光沢領域ＧＲの光沢感が好適に表現されない画質という特徴を有する第１読取画像データＳＩａと、光沢領域ＧＲの光沢感が好適に表現された画質という特徴を有する第２読取画像データＳＩｂとを第１学習データとして学習することで、光沢領域ＧＲの光沢感が好適に表現されない画質の入力画像データを、光沢領域ＧＲの光沢感が好適に表現された画質の画像データに変換することができる。

図１０は、画素値変換学習器４６の構造の例を示す概念図である。画素値変換学習器４６は、ＧＡＮ（Generative Adversarial Networks；敵対的生成ネットワーク）を含んで構成される。すなわち、画素値変換学習器４６は、入力画像データに基づいて生成画像データを生成するジェネレータ４６ａと、生成画像データと真の画像データとのいずれがジェネレータ４６ａにより生成された画像データであるかを判定するディスクリミネータ４６ｂを含んで構成される。ジェネレータ４６ａは、ディスクリミネータ４６ｂを騙すことができるような（すなわちディスクリミネータ４６ｂに生成画像データがジェネレータ４６ａにより生成されたものであると判定されないような）生成画像データを生成するように学習される。一方、ディスクリミネータ４６ｂは、より高精度に判定ができるように学習される。

画素値変換学習器４６の学習方法についても、プロセッサ４８の処理と共に後述する。

図８に戻り、プロセッサ４８は、広義的な処理装置を指し、汎用的な処理装置（例えばＣＰＵ（Central Processing Unit）など）、及び、専用の処理装置（例えばＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、あるいは、プログラマブル論理デバイスなど）の少なくとも１つを含んで構成される。プロセッサ４８としては、１つの処理装置によるものではなく、物理的に離れた位置に存在する複数の処理装置の協働により構成されるものであってもよい。図８に示す通り、プロセッサ４８は、メモリ４２に記憶された情報処理プログラムにより、学習処理部５０、領域識別部５２、及び画素値変換処理部５４としての機能を発揮する。

学習処理部５０は、第２学習データを用いて、処理対象画像データから光沢領域ＧＲを検出可能となるように領域識別学習器４４を学習させる。本実施形態では、光沢領域ＧＲ内の画素に、当該画素が光沢領域ＧＲ内の画素であることを示す第１ラベルが付され、非光沢領域ＮＧＲ内の画素に、当該画素が非光沢領域ＮＧＲ内の画素であることを示す、第１ラベルとは異なる第２ラベルが付された画像データを第２学習データとして用いる。

第２学習データとしては、学習データ取得用スキャナ１２が取得した第１読取画像データＳＩａ又は第２読取画像データＳＩｂを用いることができる。ただし、第１読取画像データＳＩａ及び第２読取画像データＳＩｂには、各画素に第１ラベル又は第２ラベルが付されていないため、別途の手段にて（例えば人間の手で）、第１読取画像データＳＩａ又は第２読取画像データＳＩｂの各画素に第１ラベル又は第２ラベルを付す必要がある。

また、第１読取画像データＳＩａ又は第２読取画像データＳＩｂに第１ラベル又は第２ラベルを付す手間を省くために、第２学習データとして、光沢領域ＧＲに含まれる画素であって第１ラベルが付与済みの画素と、非光沢領域ＮＧＲに含まれる画素であって第２ラベルが付与済みの画素とを組み合わせることで生成された画像データを用いるようにしてもよい。

例えば、まず、全面が（すなわち全画素が）光沢領域ＧＲであって全画素に第１ラベルが付与された全面光沢画像データと、全面が非光沢領域ＮＧＲであって全画素に第２ラベルが付与された全面非光沢画像データとを用意する。その上で、全面非光沢画像データの一部の領域を、全面光沢画像データの画素に置換する。これにより、図１１に示すように、第１ラベルが付された画素からなる光沢領域ＧＲと第２ラベルが付された画素からなる非光沢領域ＮＧＲとを含む第２学習データを得ることができる。または、全面光沢画像データの一部の領域を、全面非光沢画像データの画素に置換することで、第２学習データを得るようにしてもよい。また、置換する領域の位置や大きさを種々に変えることで、種々の第２学習データを得ることができる。当該置換処理は人間の手で行うにしても、このように第２学習データを用意することで、少なくとも第２学習データとしての画像データの全画素に逐一ラベルを付す場合に比して、簡単に第２学習データを得ることができる。

学習処理部５０が第２学習データを用いて領域識別学習器４４を学習させることで、十分に学習済みの領域識別学習器４４は、処理対象画像データにおいて光沢領域ＧＲには第１ラベルを、非光沢領域ＮＧＲには第２ラベルを付すことができるようになる。すなわち、処理対象画像データにおいて光沢領域ＧＲを検出することができるようになる。

また、学習処理部５０は、学習データ取得用スキャナ１２が生成した第１読取画像データＳＩａ及び第２読取画像データＳＩｂを含む第１学習データを用いて、第１読取画像データＳＩａを第２読取画像データＳＩｂに変換するように、具体的には、第１読取画像データＳＩａの画質を第２読取画像データＳＩｂの画質に変換可能となるように画素値変換学習器４６を学習させる。図１０を参照して具体的に説明する。まず、学習処理部５０は、ジェネレータ４６ａに第１読取画像データＳＩａを入力する。ジェネレータ４６ａは、第１読取画像データＳＩａの各画素の画素値が変換された生成画像データを生成する。ディスクリミネータ４６ｂは、学習処理部５０により入力された、真の画像データとしての第２読取画像データＳＩｂと、生成画像データとを比較して、生成画像データと第２読取画像データＳＩｂとのいずれがジェネレータ４６ａにより生成された画像データであるかを判定する。ディスクリミネータ４６ｂの判定結果に基づいて、ジェネレータ４６ａ及びディスクリミネータ４６ｂのパラメータが更新される（すなわち学習される）。これにより、ディスクリミネータ４６ｂは、その識別精度が向上するように学習されると共に、ジェネレータ４６ａは、生成画像データの画質がより第２読取画像データＳＩｂに近づくように、つまり、第１読取画像データＳＩａから本物により近い第２読取画像データＳＩｂを得ることができるように、第１読取画像データＳＩａの各画素の画素値を変換することができるように学習される。

学習処理部５０が第１学習データを用いて画素値変換学習器４６を学習させることで、十分に学習済みの画素値変換学習器４６は、第１読取環境で取得された処理対象画像データの画質を、第２読取環境で取得された画像データの画質相当に変換することができるようになる。特に、処理対象画像データの光沢領域ＧＲに着目すれば、学習済みの画素値変換学習器４６は、処理対象画像データの光沢領域ＧＲの光沢感がより好適に表現されるように、光沢領域ＧＲ内の画素の画素値を変換することができるようになる。

また、学習処理部５０は、第１読取画像データＳＩａ、第２読取画像データＳＩｂに加え、当該第２読取画像データＳＩｂの画質を示す付帯情報を含む第１学習データを用いて、画素値変換学習器４６を学習させるようにしてもよい。付帯情報には、例えば、第２読取画像データＳＩｂの色味や明るさなどを示す情報を含めることができる。付帯情報は、第２読取画像データＳＩｂの光沢領域ＧＲの光沢感の程度を示す情報であると言うこともできる。

学習処理部５０は、第１読取画像データＳＩａと共に付帯情報をジェネレータ４６ａに入力する。ジェネレータ４６ａは、付帯情報を考慮して生成画像データを生成すると共に、当該生成画像データに対するディスクリミネータ４６ｂの判定結果に基づいて、付帯情報と第２読取画像データＳＩｂとの関係を学習することができる。これにより、ジェネレータ４６ａは、ユーザからの画質に関する指示に応じた画質の生成画像データを生成可能となる。

また、学習処理部５０は、付帯情報毎に、それぞれ異なる画素値変換学習器４６を学習させるようにしてもよい。例えば、付帯情報「明るめ」を含む第１学習データを用いて第１の画素値変換学習器４６を学習させ、付帯情報「暗め」を含む第１学習データを用いて第２の画素値変換学習器４６を学習させる、の如くである。これによれば、付帯情報に応じた複数の学習済み画素値変換学習器４６が形成される。互いに異なる付帯情報毎に複数の画素値変換学習器４６をそれぞれ学習させることで、各画素値変換学習器４６は、当該付帯情報専門のものとなるため、１つの画素値変換学習器４６を複数の付帯情報に対応可能なように学習させる場合に比して、学習効率を向上させることができる。

図８に戻り、領域識別部５２は、一般スキャナ１４が生成した処理対象画像データから、処理対象の原稿ＳｃＴの光沢部分Ｇに対応する光沢領域ＧＲを検出する検出処理を行う。なお、以後の説明においては、処理対象の原稿ＳｃＴは図１２に示すものであるとする。すなわち、以後の説明における処理対象の原稿ＳｃＴは、光沢部分Ｇと非光沢部分ＮＧの両方を含むものであるとする。なお、処理対象の原稿ＳｃＴとしては、全面が光沢部分Ｇのものであってもよい。

本実施形態では、領域識別部５２は、学習済みの領域識別学習器４４を用いて、処理対象画像データから光沢領域ＧＲを検出する。具体的には、領域識別部５２は、学習済みの領域識別学習器４４に処理対象画像データを入力し、領域識別学習器４４が第１ラベルを付した画素の集合体を光沢領域ＧＲとして検出する。

なお、領域識別部５２は、領域識別学習器４４を用いた方法以外の方法で処理対象画像データから光沢領域ＧＲを検出するようにしてもよい。例えば、ユーザが処理対象画像データにおいて手動で光沢領域ＧＲを特定し、領域識別部５２は、ユーザによって特定された領域を光沢領域ＧＲとするようにしてもよい。

領域識別学習器４４の構造上の制約により、領域識別学習器４４に入力可能な画像データのサイズの上限値（例えば５１２×５１２ピクセル）が定められている場合がある。したがって、処理対象画像データのサイズによっては、処理対象画像データの全体を一度に領域識別学習器４４に入力することができない場合がある。この場合、領域識別部５２は、処理対象画像データを複数の分割領域（本明細書では「ブロック」と呼ぶ）に分割して、複数のブロックを順次領域識別学習器４４に入力することで、処理対象画像データから光沢領域ＧＲを検出する。もちろん、領域識別部５２は、１つのブロックのサイズが領域識別学習器４４の入力可能サイズより小さくなるように、処理対象画像データを複数のブロックに分割する。

ここで、各ブロックの外周縁に位置する画素は、その周りにある画素の数が少ないことなどに起因して、当該画素に付すラベルの精度が落ちてしまう場合がある。これにより、各ブロックの外周縁に位置する画素における光沢領域ＧＲの検出力が落ちてしまう場合がある。また、ブロック毎に光沢領域ＧＲを検出する場合、各ブロック内の光沢領域ＧＲと非光沢領域ＮＧＲとの分布の傾向が、今までの学習データにない傾向を示す場合、当該ブロックから好適に光沢領域ＧＲを検出できなくなる場合がある。例えば、１つのブロックの全部が光沢領域ＧＲとなる場合が考えられるが、領域識別学習器４４が全面光沢領域ＧＲの第２学習データを用いて学習していない場合、ブロックの全部が光沢領域ＧＲであると領域識別学習器４４が識別することが難しくなる。

上記のような、処理対象画像データを複数のブロックに分割して、各ブロックを順次領域識別学習器４４に入力する場合に生じ得る問題の影響を低減すべく、領域識別部５２は、処理対象画像データを第１分割位置にて分割して得られた第１ブロック群を順次領域識別学習器４４に入力したときの領域識別学習器４４の複数の出力に基づいて得られた第１仮光沢領域、及び、当該処理対象画像データを第１分割位置とは異なる第２分割位置にて分割して得られた第２ブロック群を順次領域識別学習器４４に入力したときの領域識別学習器４４の複数の出力に基づいて得られた第２仮光沢領域に基づいて、処理対象画像データから光沢領域ＧＲを検出するようにしてもよい。もちろん、領域識別部５２は、互いに異なる３つ以上の分割位置にて処理対象画像データを分割し、各ブロック群を領域識別学習器４４に入力して得られる３以上の仮光沢領域に基づいて、処理対象画像データから光沢領域ＧＲを検出するようにしてもよい。

さらに、上記問題の影響をより低減すべく、領域識別部５２は、さらに、処理対象画像データの解像度を下げた低解像度処理対象画像データを領域識別学習器４４に入力することで得られた第３仮光沢領域に基づいて、処理対象画像データから光沢領域ＧＲを検出する。

上記処理を図１３を参照して詳しく説明する。図１３の上部には、一般スキャナ１４が図１２に示した処理対象の原稿ＳｃＴを読み取ることで得られた２つの処理対象画像データＴＩが示されている。２つの処理対象画像データＴＩは、一点鎖線で示されている分割位置にて、それぞれ複数のブロックＢに分割されている。ここで、２つの処理対象画像データＴＩにおいては、互いに分割位置が異なることに留意されたい。したがって、一方の処理対象画像データＴＩから得られた各ブロックＢの外周縁の画素と、他方の処理対象画像データＴＩから得られた各ブロックＢの外周縁の画素は互いに異なる画素となる。

これにより、一方の処理対象画像データＴＩから得られた第１ブロックＢ群を順次領域識別学習器４４に入力したときの、光沢領域ＧＲの検出力が落ちてしまう画素と、他方の処理対象画像データＴＩから得られた第２ブロックＢ群を順次領域識別学習器４４に入力したときの、光沢領域ＧＲの検出力が落ちてしまう画素とが互いに異なることとなる。したがって、一方の処理対象画像データＴＩから得られた第１ブロックＢ群を順次領域識別学習器４４に入力して得られる第１仮光沢領域と、他方の処理対象画像データＴＩから得られた第２ブロックＢ群を順次領域識別学習器４４に入力して得られる第２仮光沢領域との両方に基づいて光沢領域ＧＲを検出することで、それぞれの光沢領域ＧＲの検出力が弱い部分が補われ、その影響が低減される。本実施形態では、領域識別学習器４４は、真に光沢領域ＧＲである画素を誤って非光沢領域ＮＧＲであると判定する場合が多いが、真に非光沢領域ＮＧＲである画素を誤って光沢領域ＧＲであると判定する場合がかなり少ないという特徴があるため、第１仮光沢領域と第２仮光沢領域との論理和を取って得られた領域を光沢領域ＧＲとしている。

また、図１３の上部には、処理対象画像データＴＩの解像度を下げた低解像度処理対象画像データＴＩＬが示されている。低解像度処理対象画像データＴＩＬのサイズは、領域識別学習器４４に入力することができるサイズとなっており、例えば５１２×５１２ピクセルのサイズとなっている。低解像度処理対象画像データＴＩＬを領域識別学習器４４に入力することで、第３仮光沢領域が得られる。

低解像度処理対象画像データＴＩＬは、画像データ全体としてその解像度が低下しているものの、処理対象画像データＴＩをブロックＢ群に分割して領域識別学習器４４に入力する場合のように、特定の画素の光沢領域ＧＲの検出力が落ちるわけではない。したがって、第１仮光沢領域及び第２仮光沢領域に加え、さらに第３仮光沢領域も考慮して光沢領域ＧＲを得ることで、第１仮光沢領域及び第２仮光沢領域の光沢領域ＧＲの検出力が弱い部分が補われ、その影響を低減することができる。

再度図８に戻り、画素値変換処理部５４は、一般スキャナ１４が生成した処理対象画像データにおける光沢領域ＧＲの光沢感が表現されるように、光沢領域ＧＲ内の画素の画素値を変換する変換処理を行う。具体的には、画素値変換処理部５４は、学習済みの画素値変換学習器４６に対して、処理対象画像データ、及び、領域識別部５２が検出した当該処理対象画像データの光沢領域ＧＲを示す情報を入力することで、当該処理対象画像データの光沢領域ＧＲ内の画素の画素値を変換する。

ここで、処理対象画像データ、及び、領域識別部５２が検出した当該処理対象画像データの光沢領域ＧＲを示す情報を入力する、とは、領域識別部５２の検出処理に基づいて、処理対象画像データから光沢領域ＧＲを抽出した光沢画像データを生成し、当該光沢画像データを学習済みの画素値変換学習器４６に入力するようにしてもよいし、処理対象画像データの光沢領域ＧＲを示す情報であるマスクデータと当該処理対象画像データとを学習済みの画素値変換学習器４６に入力するようにしてもよい。

画素値変換処理部５４が、処理対象画像データ、及び、領域識別部５２が検出した当該処理対象画像データの光沢領域ＧＲを示す情報を学習済みの画素値変換学習器４６に入力することで、画素値変換学習器４６は、処理対象画像データのうち、光沢領域ＧＲのみの画質を、第２読取環境で取得された画像データの画質相当に変換する。つまり、光沢領域ＧＲの光沢感が好適に表現されるように、光沢領域ＧＲ内の画素の画素値を変換することができる。したがって、画素値変換処理部５４は、光沢領域ＧＲの光沢感が好適に表現された処理対象画像データを得ることができる。

なお、上述のように、画素値変換処理部５４は、領域識別部５２が検出した当該処理対象画像データの光沢領域ＧＲを変換処理の対象領域とするが、ユーザが、一般スキャナ１４の入力インターフェース１４ａを用いて処理対象画像データの一部の領域を指示することが可能となっていてもよい。この場合、一般スキャナ１４から当該指示領域を示す指示領域情報が情報処理装置１６に送信され、画素値変換処理部５４は、さらに、当該指示領域情報を画素値変換学習器４６に入力する。画素値変換処理部５４は、領域識別部５２が検出した当該処理対象画像データの光沢領域ＧＲ内であり、且つ、指示領域情報が示す領域内の画素の画素値を変換することができる。これにより、例えば、領域識別部５２が検出した当該処理対象画像データの光沢領域ＧＲの全部ではなく、ユーザが指示したそれらの一部のみの光沢感が表現された処理対象画像データを得ることができる。

画素値変換学習器４６が、付帯情報を含む第１学習データを用いて学習されている場合、ユーザは、処理対象の原稿ＳｃＴを一般スキャナ１４に読み取らせて処理対象画像データを取得させると共に、一般スキャナ１４の入力インターフェース１４ａを用いて、当該処理対象画像データの光沢領域ＧＲの変換後の画質に関する指示を入力するようにしてもよい。例えば、「明るめ」や「暗め」、あるいは色味などの指示が入力される。この場合、一般スキャナ１４は、当該処理対象画像データと関連付けて、当該指示を示す指示情報を情報処理装置１６に送信する。

この場合、画素値変換処理部５４は、当該処理対象画像データ及び指示情報を画素値変換学習器４６に入力する。これにより、付帯情報を含む第１学習データを用いて学習済みの画素値変換学習器４６は、当該処理対象画像データの光沢領域ＧＲの画質（特に光沢感）を、当該指示情報に応じた画質に変換することができる。

また、互いに異なる付帯情報に応じた複数の学習済み画素値変換学習器４６が形成されている場合、画素値変換処理部５４は、一般スキャナ１４から受信した指示情報に基づいて選択された画素値変換学習器４６に、処理対象画像データ、及び、領域識別部５２が検出した当該処理対象画像データの光沢領域ＧＲを示す情報を入力する画素値変換学習器４６を入力することができる。上述の通り、互いに異なる付帯情報毎に複数の画素値変換学習器４６をそれぞれ学習させることで、各画素値変換学習器４６は、当該付帯情報専門のものとなるため、１つの画素値変換学習器４６を複数の指示情報に対応可能である場合に比して、より高速に光沢領域ＧＲ内の画素の画素値を指示情報に応じて変換することができる。

以下、図１４を参照しながら、本実施形態に係る領域識別部５２及び画素値変換処理部５４の処理の流れを説明する。図１４の上部には、図１２に示す処理対象の原稿ＳｃＴを一般スキャナ１４が読み取ることで生成された処理対象画像データＴＩが示されている。上述の通り、処理対象画像データＴＩは光沢領域ＧＲ及び非光沢領域ＮＧＲを有しているが、光沢領域ＧＲの光沢感は好適に表現されたものとはなっていない。

領域識別部５２は、処理対象画像データＴＩを学習済みの領域識別学習器４４に入力する。領域識別学習器４４により、処理対象画像データＴＩは、光沢領域ＧＲと非光沢領域ＮＧＲに識別される。ここでは、領域識別学習器４４により、光沢領域ＧＲのみが抽出された光沢画像データＧＩ１と、非光沢領域ＮＧＲが抽出された非光沢画像データＮＧＩが生成されるものとする。

画素値変換処理部５４は、光沢画像データＧＩ１を学習済みの画素値変換学習器４６に入力する。画素値変換学習器４６により、光沢画像データＧＩ１の画素値が変換された光沢画像データＧＩ２が生成される。光沢画像データＧＩ２は、光沢領域ＧＲの光沢感が好適に表現されたものである。

画素値変換処理部５４は、光沢画像データＧＩ２と、非光沢画像データＮＧＩを結合する。これにより、処理対象画像データＴＩの光沢領域ＧＲの光沢感が好適に表現された画像データである出力画像データＯＩが生成される。

プロセッサ４８は、出力画像データＯＩをメモリ４２に記憶させてもよいし、一般スキャナ１４又はユーザが利用するユーザ端末に送信するようにしてもよい。一般スキャナ１４は、情報処理装置１６から受信した出力画像データＯＩをディスプレイ１４ｂに表示させることができる。

以上説明した通り、本実施形態に係る情報処理装置１６によれば、学習済みの画素値変換学習器４６を一旦用意してしまえば、後は、一般スキャナ１４によるスキャン処理（すなわち従来からの第１読取環境においてのスキャン処理）により得られた処理対象画像データの画素の画素値を変換する変換処理を実行するだけで、当該処理対象画像データの光沢領域ＧＲの光沢感を表現することができる。ここで、当該変換処理においては、従来のように複数の読取環境における読取処理により生成された複数の読取画像データを用いる必要がない。したがって、変換処理にあたっては、処理対象画像データの光沢領域ＧＲの光沢感を表現するために、複数の読取環境を用意する必要がなくなる。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

例えば、領域識別学習器４４及び画素値変換学習器４６の少なくとも一方は、学習処理部５０ではなく、情報処理装置１６以外の装置にて学習され、学習済みの領域識別学習器４４及び画素値変換学習器４６がメモリ４２に記憶されるようにしてもよい。この場合、プロセッサ４８は、学習処理部５０としての機能を発揮する必要がない。

１０ 情報処理システム、１２ 学習データ取得用スキャナ、１４ 一般スキャナ、１４ａ 入力インターフェース、１４ｂ ディスプレイ、１６ 情報処理装置、２０，３０ 原稿台、２２ａ 第１光源、２２ｂ 第２光源、２４，３４ 画像センサ、３２ 光源、４０ 通信インターフェース、４２ メモリ、４４ 領域識別学習器、４６ 画素値変換学習器、４８ プロセッサ、５０ 学習処理部、５２ 領域識別部、５４ 画素値変換処理部。

Claims (10)

1. プロセッサを備え、
   前記プロセッサは、
   画像センサが取得する学習データ用の原稿からの正反射光の光量が正反射光量閾値未満となる第１読取環境にて当該原稿が光学的に読み取られて得られた、原稿の光沢部分に対応する光沢領域を含む第１読取画像データと、前記画像センサが取得する前記正反射光の光量が前記正反射光量閾値以上となる第２読取環境にて当該原稿が光学的に読み取られて得られた、前記光沢領域を含む第２読取画像データとを第１学習データとして用いて、前記第１読取画像データを前記第２読取画像データに変換するように学習された第１学習器に対して、前記第１読取環境にて処理対象の原稿を光学的に読み取ることで得られた処理対象画像データを入力することで、前記処理対象画像データの前記光沢領域内の画素値を変換する、
   ことを特徴とする情報処理装置。
2. 前記プロセッサは、
   学習済みの前記第１学習器に対して、前記処理対象画像データ及び前記処理対象画像データの前記光沢領域を示す情報を入力することで、前記処理対象画像データの前記光沢領域内の画素値を変換する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記光沢領域は、原稿が前記第１読取環境にて光学的に読み取られた画像データと、当該原稿が前記第２読取環境にて光学的に読み取られた画像データとの間の画素値の差が画素値閾値以上となる領域であり、
   前記非光沢領域は、原稿が前記第１読取環境にて光学的に読み取られた画像データと、当該原稿が前記第２読取環境にて光学的に読み取られた画像データとの間の画素値の差が画素値閾値未満となる領域である、
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記プロセッサは、
   前記光沢領域内の画素に第１ラベルが付され、前記非光沢部分内の画素に前記第１ラベルとは異なる第２ラベルが付された画像データを第２学習データとして学習された学習済みの第２学習器を用いて、前記処理対象画像データから前記光沢領域を検出する、
   ことを特徴とする請求項２に記載の情報処理装置。
5. 前記プロセッサは、
   前記処理対象画像データを第１分割位置にて分割して得られた第１分割領域群を順次前記第２学習器に入力したときの前記第２学習器の複数の出力に基づいて得られた第１仮光沢領域、及び、前記処理対象画像データを前記第１分割位置とは異なる第２分割位置にて分割して得られた第２分割領域群を順次前記第２学習器に入力したときの前記第２学習器の複数の出力に基づいて得られた第２仮光沢領域に基づいて、前記処理対象画像データから前記光沢領域を検出する、
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記プロセッサは、さらに、前記処理対象画像データの解像度を下げた低解像度処理対象画像データを前記第２学習器に入力することで得られた第３仮光沢領域に基づいて、前記処理対象画像データから前記光沢領域を検出する、
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記第２学習データとしての画像データは、前記光沢領域に含まれる画素であって前記第１ラベルが付与済みの画素と、前記非光沢領域に含まれる画素であって前記第２ラベルが付与済みの画素とを組み合わせることで生成された画像データである、
   ことを特徴とする請求項４から６のいずれか１項に記載の情報処理装置。
8. 前記プロセッサは、
   前記第１読取画像データ、前記第２読取画像データ、及び、当該第２読取画像データの画質を示す付帯情報とを前記第１学習データとして用いて学習された前記第１学習器に対して、前記処理対象画像データ、及び、前記処理対象画像データの前記光沢領域の変換後の画質に関する利用者の指示情報をさらに前記第１学習器に入力することで、前記指示情報に応じて前記光沢領域内の画素の画素値を変換する、
   ことを特徴とする請求項１又は２に記載の情報処理装置。
9. 前記プロセッサは、
   それぞれ異なる前記付帯情報を用いて学習された複数の前記第１学習器の中から、前記指示情報に応じて選択された前記第１学習器に、前記処理対象画像データを入力することで、前記光沢領域内の画素の画素値を変換する、
   ことを特徴とする請求項８に記載の情報処理装置。
10. コンピュータに、
    画像センサが取得する学習データ用の原稿からの正反射光の光量が正反射光量閾値未満となる第１読取環境にて当該原稿が光学的に読み取られて得られた、原稿の光沢部分に対応する光沢領域を含む第１読取画像データと、前記画像センサが取得する前記正反射光の光量が前記正反射光量閾値以上となる第２読取環境にて当該原稿が光学的に読み取られて得られた、前記光沢領域を含む第２読取画像データとを第１学習データとして用いて、前記第１読取画像データを前記第２読取画像データに変換するように学習された第１学習器に対して、前記第１読取環境にて処理対象の原稿を光学的に読み取ることで得られた処理対象画像データを入力することで、前記処理対象画像データの前記光沢領域内の画素値を変換する、
    ことを特徴とする情報処理プログラム。
    

Images