JP2007166431A - 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体 - Google Patents

画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体 Download PDF

Info

Publication number
JP2007166431A
JP2007166431A JP2005362379A JP2005362379A JP2007166431A JP 2007166431 A JP2007166431 A JP 2007166431A JP 2005362379 A JP2005362379 A JP 2005362379A JP 2005362379 A JP2005362379 A JP 2005362379A JP 2007166431 A JP2007166431 A JP 2007166431A
Authority
JP
Japan
Prior art keywords
gloss
image
pixel value
profile
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005362379A
Other languages
English (en)
Other versions
JP4646130B2 (ja
Inventor
Keiji Kojima
啓嗣 小島
Hiroyuki Ukita
浩行 浮田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
University of Tokushima NUC
Original Assignee
Ricoh Co Ltd
University of Tokushima NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd, University of Tokushima NUC filed Critical Ricoh Co Ltd
Priority to JP2005362379A priority Critical patent/JP4646130B2/ja
Publication of JP2007166431A publication Critical patent/JP2007166431A/ja
Application granted granted Critical
Publication of JP4646130B2 publication Critical patent/JP4646130B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】ブック原稿の光沢紙のページを見開いて載置した場合に、光沢部の地肌補正が可能な画像処理装置、画像処理方法、プログラム及びプログラムを記憶した記憶媒体を提供すること。
【解決手段】コンタクトガラス2上に載置されたブック原稿40を読み取る画像読取手段1と、画像読み取り手段1により読み取られたブック原稿40のスキャン画像の画素値からブック原稿40の平坦部の画素値を求め、平坦部の画素値に基づきスキャン画像の綴じ部41付近の地肌を補正する地肌補正手段と、ブック原稿40の湾曲により生じるスキャン画像の光沢を補正する光沢補正手段と、を有することを特徴とする画像処理装置を提供する。
【選択図】図12

Description

本発明は、ブック原稿を読み取ったスキャン画像の地肌又は光沢を処理する画像処理装置、画像処理方法、プログラム及び記憶媒体に関する。
フラットベッドスキャナを用いて読み取る原稿の多くはシート状の原稿であり、コンタクトガラス上に開閉自在の圧板を設け、コンタクトガラス上に原稿を載置した後に圧板を閉じて原稿をスキャンするようにしている。しかし、原稿としてはシート状のものに限られず、ブック原稿(本、冊子など)も原稿として扱われることがあり、そのような場合にもコンタクトガラス上にブック原稿を載置し、原稿をスキャンすることになる。
しかしながら、ブック原稿をコンタクトガラスに見開いて載置した場合、ブック原稿の綴じ部がコンタクトガラスから浮き上がってしまう。図46は、ブック原稿のスキャン画像の一例を示す。図46に示すように、綴じ部がコンタクトガラスから浮き上がってしまった場合、綴じ部が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化した画像の綴じ部は読みにくく、また、OCR(Optical Character Reader)により文字認識処理を行うときの認識率が著しく低下する。特に、厚手製本では綴じ部の劣化が激しく、また、ブック原稿の綴じ部が焦点面から離れないように加圧作業した場合には、ブック原稿自体を破損してしまうこともある。そこで、ページ外形や文字行情報及び罫線情報を用いて綴じ部のゆがみを補正する画像読み取り装置が提案されている。
また、綴じ部の輝度を補正するため、スキャンされた画像を複数のブロックに分割し、各ブロックに含まれる画素の中で最も輝度値の高い画素の輝度値を当該各ブロックの地肌値として設定し、ブロックごとの地肌値に基づいて地肌補正処理を施す地肌補正装置が提案されている(例えば、特許文献1参照。)。
また、所望の処理モードに従ってスキャンされた画像における地肌値を複数の処理モードから選択して指定し、この指定された地肌値に基づきスキャンされた画像に対する地肌補正処理を実行する地肌補正装置が提案されている(例えば、特許文献2参照。)。特許文献2記載の地肌補正装置では、地肌補正処理の基準とすべき地肌値を抽出する画像上の位置が画像読取手段の種類によって異なることから、ユーザは、使用する画像読取手段に最も適した処理モードを選択してスキャン画像に対する地肌補正処理を実行することができる。
特開2003−69824号公報 特開2003−198845号公報
ところで、ブック原稿がカタログ等に使用される光沢のある紙面(以下、単に光沢紙という)で構成されている場合がある。図1は、光沢紙を見開いてコンタクトガラスに載置したブック原稿を示す。ブック原稿は綴じ部41がコンタクトガラス2から離れているため、コンタクトガラスに接している部分(以下、平坦部という)から綴じ部に向けて湾曲する湾曲部を有している。
光沢紙がこのような湾曲部を有すると、原稿を露光する光源からの光が湾曲部で反射して撮像素子に入射するため、スキャン画像に光沢部が生じてしまう。光沢部は平坦部や綴じ部よりも明度が高くなりスキャン画像が不自然になるため好ましくない。
本発明は、上記問題に鑑み、ブック原稿の光沢紙のページを見開いて載置した場合に、光沢部の地肌補正が可能な画像処理装置、画像処理方法、プログラム及びプログラムを記憶した記憶媒体を提供することを目的とする。
上記課題に鑑み、本発明は、コンタクトガラス上に載置されたブック原稿をスキャナ部1により読み取る画像読取ステップと、画像読み取り手段により読み取られたブック原稿のスキャン画像の画素値からブック原稿の平坦部の画素値を求め、平坦部の画素値に基づきスキャン画像の綴じ部付近の地肌を補正する地肌補正ステップと、ブック原稿の湾曲により生じるスキャン画像の光沢を補正する光沢補正ステップと、を有することを特徴とする画像処理方法を提供する。
本発明によれば、ブック原稿の光沢紙のページを載置した場合に、光沢部の地肌補正を施すことができる。
また、本発明の一形態において、地肌補正ステップは、ブック原稿の綴じ部と平行な方向の一次元画像毎に一次元画像の代表値を抽出して構成された綴じ部と垂直方向の画素値プロフィールを抽出するステップを有し、光沢補正ステップは、スキャン画像の画素値に基づき光沢がない場合の画素値プロフィールに相当する光沢なしプロフィールを抽出するステップと、画素値プロフィールと光沢なしプロフィールとの差分により湾曲による光沢成分を抽出するステップと、抽出された光沢成分をスキャン画像の画素値から減じてスキャン画像の光沢を補正するステップと、を有することを特徴とする。
本発明によれば、光沢がない場合の画素値プロフィールを求めることで、光沢を補正できる。代表値とは、画素値に基づき構成されたヒストグラムの度数が最大の画素値、平均値、中央値等である。代表値は、画素値に基づくものであればよく、R、G、B、明度、彩度、色相、色差信号等により抽出されうる。従って、画素値プロフィールもR、G、Bはもとより、明度に基づく明度プロフィール等、種々の形態がありうる。
また、本発明の一形態において、光沢補正ステップでは、スキャン画像の彩度に、平坦部の画素値を乗じて光沢なしプロフィールを抽出する、ことを特徴とする。
本発明によれば、スキャン画像の彩度に平坦部の画素値を乗じて光沢なしプロフィールを抽出できる。
また、本発明の一形態において、光沢補正ステップは、近似モデルにより湾曲による光沢成分を抽出するステップと、抽出された光沢成分をスキャン画像の画素値から減じてスキャン画像の光沢を補正するステップと、を有することを特徴とする。
本発明によれば、光沢成分をモデル化することで、光沢を補正できる。
また、本発明の一形態において、光沢補正ステップは、スキャン画像の一次元画像毎に有彩色か無彩色に分類するステップを有し、
a)有彩色に分類された一次元画像については、
地肌補正ステップにより、ブック原稿の綴じ部と垂直な方向の画素値に基づきスキャン画像の傾向を示す画素値プロフィールを抽出し、光沢補正ステップにより、スキャン画像の画素値に基づき光沢なしプロフィールを抽出し、画素値プロフィールと光沢なしプロフィールとの差分により湾曲による光沢成分を抽出し、抽出された光沢成分を画素値から減じて前記スキャン画像の光沢を補正する、
b)無彩色に分類された一次元画像については、
光沢補正ステップにより、近似モデルにより前記湾曲による光沢成分を抽出し、抽出された光沢成分を画素値から減じて前記スキャン画像の光沢を補正することを特徴とする。
また、本発明の一形態において、光沢補正ステップは、光沢を補正したスキャン画像のコントラストを補正するコントラスト補正ステップを有する、ことを特徴とする。
本発明によれば、光沢を補正したスキャン画像のコントラストを補正することができる。
また、本発明の一形態において、コントラスト補正ステップは、抽出された光沢成分による光沢部分の光沢明度を算出するステップと、光沢部分の画素値に基づく明度が所定より小さい場合、光沢明度に基づき光沢部分の画素値に基づく明度又は彩度を補正するステップと、を有することを特徴とする。
本発明によれば、地肌よりも濃い画素をより濃くでき、また、彩度を上げるのでコントラストを強調できる。
また、本発明の一形態において、地肌補正ステップにより、スキャン画像を綴じ部と垂直な方向に複数の領域に分割し、分割された領域毎に平坦部の画素値を抽出し、地肌補正ステップにより、領域毎に地肌を補正し、光沢補正ステップにより、領域毎に光沢を補正する、ことを特徴とする。
本発明によれば、綴じ部と垂直な方向に複数の平坦部の画素値を抽出するので、ブック原稿がスキューしたような場合でも精度よく光沢補正及び地肌補正することができる。
また、本発明の一形態において、地肌補正ステップにより、スキャン画像を綴じ部と平行な方向に複数の領域に分割し、分割された領域毎に平坦部の画素値を抽出し、地肌補正ステップにより、領域毎に地肌を補正し、光沢補正ステップにより、領域毎に光沢を補正することを特徴とする。
本発明によれば、綴じ部と平行に複数の領域に分割し分割された領域毎に平坦部の画素値を抽出するので、ページの左右で地肌色が異なるブック原稿であっても精度よく光沢補正及び地肌補正できる。
また、本発明の一形態において、地肌補正ステップにより、スキャン画像を綴じ部と垂直及び平行な方向に複数の領域に分割し、分割された領域毎に平坦部の画素値を検出し、地肌補正ステップにより、領域毎に地肌を補正し、光沢補正ステップにより、領域毎に光沢を補正することを特徴とする。
本発明によれば、綴じ部と平行及び垂直に複数の領域に分割し分割された領域毎に平坦部の画素値を検出するので、ブック原稿がスキューしかつページの左右で地肌色が異なる場合でも精度よく光沢補正及び地肌補正することができる。
ブック原稿の光沢紙のページを見開いて載置した場合に、光沢部の地肌補正が可能な画像処理装置、画像処理方法、プログラム及びプログラムを記憶した記憶媒体を提供することができる。
以下、本発明を実施するための最良の形態について、図面を参照しながら実施例を上げて説明する。本実施の形態の画像処理装置は画像形成装置であるデジタル複写機に適用されており、画像を読取るためのスキャナ部を備える。すなわち、本実施の形態の画像処理装置は、画像形成装置、スキャナ装置、ファクシミリ装置及びこれらの複合機MFP(Multi Function Printer)に適用できる。
また、デジタル複写機のスキャナ部のように一次元の撮像素子によるスキャン画像(単に画像データという場合がある)だけでなく、デジタルカメラのように2次元の撮像素子による画像データも本実施の形態の画像処理装置は同様に処理できる。スキャナ装置やデジタルカメラで撮影した画像データの場合、パーソナルコンピュータ(以下、単にPCという)に本実施の形態の画像処理を行うプログラムを実行させ、地肌補正や陰影の補正、歪み補正が行われる。
図2は、デジタル複写機のスキャナ部1の構成を示す縦断正面図を示す。図2に示すように、スキャナ部1は、原稿を載置するコンタクトガラス2と、原稿の露光用の露光ランプ(以下、光源という)3および第一反射ミラー4からなる第一走行体5と、第二反射ミラー6及び第三反射ミラー7からなる第二走行体8と、原稿の画像を読み取る撮像素子としてのCCD(Charge Coupled Device)9と、このCCD9に結像させるためのレンズユニット10と、原稿を載置する基準になるとともにコンタクトガラス2のズレや外れを防止する原稿スケール11と、この原稿スケール11の下側に設置されたシェーディング補正用の白基準板12と、フレーム14とを備えている。CCD9はセンサボード13上に形成されている。
原稿の走査時には、第一走行体5および第二走行体8はモータによって副走査方向に移動する。すなわち、第一走行体5および第二走行体8がコンタクトガラス2の下を走行して、光源3で原稿を露光走査し、その反射光を第一反射ミラー4、第二反射ミラー6および第三反射ミラー7で反射して、レンズユニット10を通してCCD9に結像させる。これにより画像読取手段が実現されている。
スキャナ部1は、このスキャナ部1で読み取られた原稿のスキャン画像に基づく画像データに応じ、例えば電子写真方式で用紙上に画像の形成を行う画像印刷装置であるプリンタ部(不図示)を備えるデジタル複写機16に搭載されている。
図3(a)は、スキャナ部1を搭載したデジタル複写機16の上部部分を示す斜視図である。図3(a)に示すように、スキャナ部1には、コンタクトガラス2に対して開閉自在な圧板17と、この圧板17の開閉を検出する開閉センサ18とが設けられている。なお、デジタル複写機16に備えられるプリンタとしては、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、溶融型熱転写方式など、種々の印刷方式を適用することができる。
図3(b)は、デジタルカメラ又はスキャナ装置で撮影した画像データをPCで画像処理する場合のシステム図を示す。ネットワーク100を介してPC101とスキャナ装置102及びPC101とデジタルカメラ103とが接続されている。スキャナ装置102又はデジタルカメラ101で撮影された画像データは、PC101に送信され後述するプログラムにより地肌補正や陰影の補正、歪み補正が行われる。
図4は、スキャナ部1の制御系の電気的な接続を示すブロック図である。図4に示すように、この制御系は、スキャナ部1の全体を制御するメイン制御部19に、CCD9で読み取った画像データに各種の画像処理を施す回路である画像処理部20と、第一走行体5および第二走行体8を制御する回路である走行体制御部21と、デジタル複写機16への各種操作を受け付け、また、各種メッセージを表示する操作パネル22と、CCD9で読み取った画像データや所定のデータ等を記憶するメモリ23とが接続されている。なお、操作パネル22には、コピー開始を宣言するためのコピースタートキー等が設けられている。
また、走行体制御部21には、光源3と、第一走行体5および第二走行体8を駆動するステッピングモータ24と、第一走行体5および第二走行体8がホームポジションにあるか否かを検出するスキャナホームポジションセンサ(HPセンサ)25と、開閉センサ18とが接続されている。
図5は、画像処理部20の基本的な内部構成を示すブロック図である。図6に示すように、画像処理部20は、原稿をCCD9により読み取ったアナログ画像信号の増幅処理やデジタル変換処理等を行うアナログビデオ処理部26、シェーディング補正処理を行うシェーディング補正処理部27、シェーディング補正処理後のデジタル画像信号に、MTF(Modulation Transfer Function)補正、変倍処理、γ補正等の各種画像データ処理を行いスキャン画像を生成する画像データ処理部28、から構成されている。
また、画像データ処理部28は、光沢補正手段と地肌補正手段とを有し、これらにより後述する画像処理方法を実現する。光沢補正出手段と地肌補正手段については実施の形態を通して詳述するが、地肌補正手段は、地肌色及びブック原稿の平坦部の画素値に基づきスキャン画像の綴じ部付近の地肌を補正する。光沢補正手段は、ブック原稿40の湾曲により生じるスキャン画像の光沢を補正する
以上のような画像処理後のデジタル画像信号は、メイン制御部19を介して、印刷する場合にはプリンタ部に、ファクシミリ送信する場合にはファクシミリ部に、OCR処理を行う場合は所定の記憶装置に送信されて、それぞれの処理に供される。
メイン制御部19は、図6(a)に示すように、各部を集中的に制御するCPU(Central Processing Unit)31を備えており、このCPU31には、BIOSなどを記憶した読出し専用メモリであるROM(Read Only Memory)32と、各種データを書換え可能に記憶してCPU31の作業エリアとして機能するRAM(Random Access Memory)33とがバス34で接続されており、マイクロコンピュータを構成している。さらにバス34には、画像処理や制御のためのプログラムが記憶されたHDD35と、CD(Compact Disc)−ROM37を読み取るCD−ROMドライブ36と、プリンタ部等との通信を司るインタフェース(I/F)38、LAN(Local Area Network)に接続するためのNIC(Network Interface Card)39とが接続されている。
図6(b)は、PC101のハードウェア構成図を示す。なお、図6(b)において図5(a)と機能的に同一の構成部分には同一の符号を付しその説明は省略する。入出力装置30はキーボードやマウスの操作、ディスクプレーなど表示装置とのインターフェイスである。
図6(a)又は(b)に示すCD−ROM37は、特許請求の範囲における記憶媒体に相当するものであり、特許請求の範囲におけるプログラムが記憶されている。すなわち、CD−ROM37には、PC101又はメイン制御部19に、地肌補正ステップと陰影補正ステップを実行させるためのプログラムが記憶されている。
CPU31は、CD−ROM37に記憶されているプログラムをCD−ROMドライブ36で読み取り、HDD35にインストールする。後述する各種の画像処理を行うプログラムをCPU31が実行することで、メイン制御部19が画像処理部20を制御すると共に、画像処理部20が後述する光沢補正及び地肌補正の各種の処理を行う。
なお、記憶媒体としては、CD−ROM37のみならず、DVDなどの各種の光ディスク、各種光磁気ディスク、フロッピー(登録商標)ディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、HDD35にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のOS(Operating System)上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をOSに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
本実施の形態の画像処理装置は、コンタクトガラス2上に見開いて載置されたブック原稿40を光学的に走査して読み取り、読み取られたスキャン画像から画素値R、G、Bの各プロフィールを抽出し、また、画素値R、G、Bの各プロフィールから平坦部の画素値を抽出する。そして、平坦部の画素値に基づきスキャン画像の綴じ部41に対し地肌補正処理を施す。また、光沢のない場合の光沢なしプロフィールを抽出し、スキャン画像の光沢部の地肌を補正する。なお、後述するように、ブック原稿のページ外形、罫線又は文字行を抽出し、これらに基づきスキャン画像の歪み形状を認識し、歪み形状の補正を行う。
続いて、光沢のあるブック原稿をスキャンする際の光学モデルについて説明する。図7は、光源3とブック原稿の関係を示す図である。なお、図7では図2の第1走行体5と第2走行体8を簡略化して示した。
光源3とブック原稿40の紙面の配置により、ブック原稿40の曲がり始めの部分で紙面の光沢により反射光が強くなる。光沢による反射光は、紙面の法線ベクトルに対し、入射光と対称になる方向に反射する場合に最も強く反射し、その方向から離れるにしたがって急激に弱くなる。図7では法線方向をn、最も強くなる方向(以下、正反射方向という)をsで示した。
ところで、スキャナ部1はブック原稿40の紙面からの反射光のうち、CCD センサがある下側の方向への反射光のみを撮影する。このため、ブック原稿40の平坦部や綴じ部付近を光源が走査する場合、正反射方向sはCCDのある方向とは異なるので、紙面の光沢による反射光は撮影されない(すなわち、拡散反射光のみ撮影する。)。
これに対し、ブック原稿40の曲がり始めの部分(以下、湾曲部ということがある)では、正反射方向sとCCDのある方向とが一致しているので、スキャン画像のうち曲がり始めの部分は光沢による反射光が強くなる。
光沢を考慮した場合の反射光強度に関する光学モデルは、一般に次のようにモデル化される。P(x,y)はカラー画像におけるR成分を、P(x,y)はG成分を、P(x,y)はB成分をそれぞれ示す。なお、ブック原稿40の綴じ部は、主走査方向と平行であるとする(スキューやハの字歪みはないとする。)。
(x,y)=a・ρ(x,y)・Is(y)・cos(φ(y))+a・Is(y)・fs(x,y)+Δ
(x,y)=a・ρ(x,y)・Is(y)・cos(φ(y))+a・Is(y)・fs(x,y)+Δ
(x,y)=a・ρ(x,y)・Is(y)・cos(φ(y))+a・Is(y)・fs(x,y)+Δ
〜 (1)
式(1)において、右辺第1項は拡散反射成分であり、従来の光学モデルとして用いているものである。そして、右辺第2項は光沢による反射光成分(正反射成分,鏡面反射成分とも呼ばれる)である。この中のfs(x、y)は、正反射特性と呼ばれるものである。なお、式(1)において、ρ(x,y)は反射率、Is(y)は照明光強度、a及びΔはCCD内の光電変換パラメータ(aはゲイン、Δはバイアス)である。また、φ(y)はブック原稿40の法線方向nと光源3の方向とのなす角である。ここでは、x,y のパラメータしか記していないが、実際のfs(x、y)は、ブック原稿表面の形状はもちろん、紙質や紙面の色および光源の色等、様々な要因によって変化する。
また、fs(x、y)の具体的なモデルとしては、Phong モデルや Torrance-Sparrow モデルが提案されている。
しかしながら、これらのモデルが含むパラメータの値は、紙質や色によって変化する。また、fs(x、y)の値を直接求めるためにはブック原稿の形状の情報が必要である。このように、これらのモデルを直接扱うことは難しいことから、本実施の形態の地肌補正ではこれらのモデルを扱わない方法を構築する。
図8は、本実施の形態の画像処理の手順を示すフローチャート図である。図8に示すように、画像処理は、光沢補正(S100)、地肌補正(S200)及び歪み補正(S300)の各ステップにより実行される。
光沢補正については各実施例において説明する。歪み補正については、各実施例に共通するので、実施例の最後に説明する。
ここで、光沢補正を説明する前に地肌補正について説明しておく。地肌補正は、光沢補正と共に施されてよいし、光沢補正の前又は後に施されてもよい。
〔地肌補正処理1〕
地肌補正処理1では以下の1〜7の処理を順次実行する。
1.スキャン画像の明度(Value)、彩度(Saturation)、色相(Hue)を求める。
入力画像の赤、緑、青成分を用いて、各画素における明度(Value)、彩度(Saturation)、色相(Hue)の値を求める。
各画素の座標(x,y)における赤、緑、青成分をそれぞれ、R(x,y),G(x,y),B(x,y)、明度、彩度、色相の値をそれそれV(x,y),S(x,y),H(x,y)とする。V、S、Hは、R・G・Bを用いて次にように表すことができる。
V(x,y) = 0.3*R(x,y) + 0.59*G(x,y) +0.11*B(x,y)
C1(x,y)= R(x,y) - V(x,y)
C2(x,y) = B(x,y)‐ V(x,y)
H(x,y)= Tan^(-1)(C1(x,y)/C2(x,y))
S(x,y) = √(C1(x,y)^2 +C2(x,y)^2)
2. 有彩色、無彩色の判定
S(x,y) と適当なしきい値St(例えば、閾値St = 15)を用いて、各画素を有彩色または無彩色に分類する。
S(x,y) ≦ St ならば、無彩色
S(x,y) > St ならば、有彩色
3. 明度プロフィールの作成
V(x,y)を用いて、綴じ部に垂直な方向に沿った明度プロフィールV(y)を作成する。具体的には、
・各yにおけるV(x,y)の1次元画像V(x)についてヒストグラムを求め、明るい方からVt個(以上)の画素が存在する明度の範囲(v1,v2とする)を求める。Vtの値は、例えば、Vt = (画像の幅の画素数)×0.1である。
図9は一次元画像の明度V(x)のヒストグラムの一例を示す。図9ではX軸が明度、Y軸が画素数である。そして、
・v1からv2の範囲について明度の平均値を求め、それをv(y)とする。これをライン毎に(y毎に)求める。
4. 明度プロフィールの平滑化
明度プロフィールv(y)を、雑音除去のため平滑化する。
各yについて、yを中心にしたv(y−n)からv(y+n)の平均値をv(y)の値にする。これを数回繰り返す。例えば、3〜10回繰り返す。
5. 明度プロフィールからブック原稿40のスキャン画像の平坦部分の明度を求める
具体的には、明度プロフィールv(y)から平坦部分の明度を算出する。
図10は明度プロフィールv(y)の画素と明度の関係の一例を示す。図10に示すように明度が小さい部分がスキャン画像の綴じ部である。
まず、
・v(y)の値(明度)についてのヒストグラムを作成する。
図11はv(y)のヒストグラムの一例を示す。図11ではX軸が明度、Y軸が画素数である。そして、
・最も頻度が高い明度が平坦部分の明度に対応すると考えられることから(図10では左右の平坦部)、その明度を中心に、±Vmの範囲について明度の平均値を求め、それを平坦部の明度Vflatとする。例えば、VmはVm =2である。
6. 正規化明度プロフィールを求める
正規化明度プロフィールvn(y)を以下の式で算出する。
平坦部分の値を1.0となるようにそのほかの明度を1以下の値で表し(比で表し)明度プロフィール全体に乗じ、0〜1の範囲に正規化する。
vn(y) = v(y) / Vflat
7. 地肌補正
各画素(x,y)について、
・その画素が有彩色の場合は、
S'(x,y) =S(x,y)/ vn(y)
V'(x,y) = V(x,y)/ vn(y)
として彩度と明度を補正し、H(x,y)、S'(x,y),V’(x,y)から、R,G,Bの値を求める。
・その画素が無彩色の場合は、
V’(x,y) = V(x,y)/vn(y)
として明度のみ補正し、H(x,y),S(x,y),V’(x,y)から,R,G,Bの値を求める。
〔地肌補正処理2〕
地肌補正処理2では以下の1〜6の処理を順次実行する。地肌補正処理2では地肌補正処理1とは異なり、有彩色/無彩色に分別せずに、R,G,B値を直接補正する。
1. 明度(Value)を求める
入力画像の赤、緑、青成分を用いて、各画素における明度(Value)の値を求める。座標(x,y)における赤、緑、青成分をR(x,y),G(x,y),B(x,y)、明度の値をV(x,y)とする。
明度の値Vは、例えば、
V(x,y) = 0.3*R(x,y) + 0.59*G(x,y) + 0.11*B(x,y)
となる。なお、グレースケール画像の場合は、画素値そのものをV(x,y)として扱い処理を行う。
2. 明度プロフィールの作成
V(x,y)を用いて、綴じ部に垂直な方向(y方向)に沿った明度プロフィールv(y)を作成する。具体的には、
・各yにおけるV(x,y)の1次元画像V(x)についてヒストグラムを求め、明るい方からVt個(以上)の画素が存在する明度の範囲(v1,v2とする)を求める(図9参照)。例えばVtは、Vt = (画像の幅の画素数)×0.1 である。
・v1からv2の範囲について明度の平均値を求め、それをv(y)とする。
3. 明度プロフィールの平滑化
明度プロフィールv(y)を、雑音除去のため平滑化する。
各yについて、yを中心にしたv(y−n)からv(y+n)の平均値をv(y)の値にする。これを数回繰り返す。例えば、3〜10回繰り返す。
4. 明度プロフィールから平坦部分明度を求める
明度プロフィールv(y)から平坦部分明度を算出する(図10参照)。
・v(y)の値(明度)についてのヒストグラムを作成する。
・最も頻度が高い明度が平坦部分の明度に対応することから、その明度を中心に、±Vmの範囲について明度の平均値を求め、それを平坦部の明度Vflatとする(図11参照)。例えば、Vm=2である。
5. 正規化明度プロフィールを求める
正規化明度プロフィールvn(y)を以下の式で算出する。平坦部分の値を1.0とする比を明度プロフィール全体に乗じ、0〜1の範囲に正規化する。
vn(y) = v(y) / Vflat
6. 地肌補正
各画素(x,y)について、R,G,Bの値を直接補正する。
R'(x,y) = R(x,y)/vn(y)
G’(x,y)= G(x,y)/vn(y)
B’(x,y)= B(x,y)/vn(y)
地肌補正処理2では、地肌補正処理1とは異なりV(x,y) のみ求めればよく、有彩色、無彩色の分類処理は必要ないため、処理速度を向上させ、処理に必要なメモリ容量を低減できる。
〔地肌補正処理3〕
地肌補正処理3では、以下の1〜5の処理を順次実行する。地肌補正処理3では地肌補正処理1及び2とは異なり、画素値R,G,B の各画像について、直接正規化(R,G,B)プロフィールを求め、それを用いて、対応するR,G,B画像の補正を行う。
1. プロフィールの作成
R,G,Bの各画素値について、各1次元画像における画素値の最大値(ヒストグラムを求め、値の大きい方から、p%の画素値の平均値)を求め、それをr(y),g(y),b(y)とする。グレースケール画像の場合は、画素値そのものをg(y)として扱い同様の処理を行う。
2. プロフィールの平滑化
プロフィールr(y),g(y),b(y)を、雑音除去のため平滑化する。各yについて、yを中心にしたr(y−n)からr(y+n), g(y−n)からg(y+n),b(y−n)からb(y+n)の平均値をr(y),g(y),b(y)の値にする。これを数回繰り返す。例えば、3〜10回繰り返す
3. プロフィールから平坦部分明度を求める
プロフィールr(y),g(y),b(y)から平坦部分を算出する。
・r(y),g(y),b(y)についてのヒストグラムを作成する。
・最も頻度が高い値が平坦部分に対応することから、その値を中心に、±mの範囲について平均値を求め、それを平坦部の基準値Pr_flat,Pg_flat,Pb_flatとする。例えば、m = 2である。
4. 正規化プロフィールを求める
正規化明度プロフィールpr(y),pg(y),pb(y)を以下の式で算出する。平坦部分の値を1.0とする比をプロフィール全体に乗じ、0〜1の範囲に正規化する。
pr(y) = r(y) / Pr_flat
pg(y) = g(y) / Pg_flat
pb(y) = b(y) / Pb_flat
5. 地肌補正
各画素(x,y)について、R,G,Bの値を直接補正する。
R’(x,y) = R(x,y) / pr(y)
G’(x,y) = G(x,y) / pg(y)
B’(x,y) = B(x,y) / pb(y)
地肌補正処理3では、地肌補正処理1及び2と異なりV(x,y),S(x,y),H(x,y)を求める必要がなく、有彩色、無彩色の分類処理も必要ないため、処理速度を向上させ、処理に必要なメモリ容量を低減できる。
本実施例の光沢補正の考え方について説明する。式(1) の光学モデルについて、Δr、Δg、Δbは無視できるのでΔr、Δg、Δb=0とする。また、ブック原稿の画素値は、拡散反射成分Fdr(x,y)と正反射成分とFsr(x,y)の和として表わされるとする。(G成分Fdg(x,y)、Fsg(x,y)、B成分Fdb(x,y)、Fsb(x,y)についても同様。)。したがって、光沢を考慮した場合の画素値は次のように表せる。
(x,y)=Fdr(x,y)+Fsr(x,y)
(x,y)=Fdg(x,y)+Fsg(x,y) 〜(2)
(x,y)=Fdb(x,y)+Fsb(x,y)
ここで、有彩色の彩度のプロフィールは光沢の有無に関わらず同じような変化をすることから、次のように考える。式(2) から、明度 V、 色差信号、彩度 Sは、次のように求められる(なお、画素位置を示す(x,y) は省略した)。
なお、プロフィールとは上記の通り、綴じ部41と垂直な方向(副走査方向)の明度等の代表値を1次元画像毎に抽出したものである。
V=0.3Pr+0.59Pg+0.11Pb
C1=P−V
C2=P−V 〜 (3)
S=√(C +C
式(3)からC1、C2を整理すると、
C1=
0.7Fdr−0.59Fdg−0.11Fdb+0.7Fsr−0.59Fsg−0.11Fsb
C2=
0.89Fdb−0.3Fdr−0.59Fdg+0.89Fsb−0.3Fsr−0.59Fsg
「正反射成分が光源の色やブック原稿の紙面の色に関わらず一定である」とすると、
sr=Fsg=Fsb
とできるので、式(2)は次のように表せる。
C1=0.7Fdr−0.59Fdg−0.11Fdb
C2=0.89Fdr−0.3Fdg−0.59Fdb 〜 (4)
すなわち、彩度(色差信号)については光沢がない場合と同じ結果が得られる。
ところで、「正規化した明度プロフィール、彩度プロフィールおよびR、G、B プロフィールは、ほぼ同じ概形になる」ことが知られている。(すなわち、正規化した明度、彩度およびR、G、Bは、綴じ部41と垂直な方向に対し同様な傾向を示す。)。
以上から、「正規化した彩度プロフィールに、平坦部の画素値(R,G、B)又は明度を乗じると、光沢が無い場合の明度プロフィールを求められる」ことが分かる。
したがって、光沢がある場合であっても彩度プロフィールと平坦部画素値又は明度により明度プロフィールを抽出できる。
本実施例では、地肌色が有彩色である場合の地肌補正について説明する。図12は光沢補正及び地肌補正の処理手順を示すフローチャート図である。本実施例を含む以下の実施例では、地肌補正手段が地肌補正を行い、光沢補正手段が光沢を補正するが明確に区別されなくてもよい。また、地肌補正及び光沢補正に付随する処理手順は、いずれの手段が行ってもよい。
まず、画像データ処理部28が、スキャン画像からR、G、Bそれぞれのプロフィールを求める(S1)。
R,G,Bの各画素値について、各1次元画像(主走査方向)における画素値の最大値(ヒストグラムを求め、値の大きい方から、例えばp%の画素値の平均値)を求め、それをr(y),g(y),b(y)とする。ついで、R,G、Bの各プロフィールr(y),g(y),b(y)を、雑音除去のため平滑化する。各yについて、yを中心にしたr(y−n)からr(y+n), g(y−n)からg(y+n),b(y−n)からb(y+n)の平均値をr(y),g(y),b(y)の値にする。これを数回(例えば、3〜10回)繰り返す。以上で、R、G、BそれぞれのプロフィールPbg−r(y)、Pbg−g(y)、Pbg−b(y)が得られた。
図13はGのプロフィールPbg−g(y)の一例を示す図である。図13に示すように、ブック原稿のスキャン画像は、コンタクトガラス2に接した平坦部(地肌色)、綴じ部の周辺で明度が減少するためGが低下する部分、光沢による凸部(湾曲部)とを示す。
ついで、画像データ処理部28は、各プロフィールから平坦部分の画素値を求める(S2)。
各プロフィールPbg−r(y)、Pbg−g(y)、Pbg−b(y)から平坦部分Pr_flat,Pg_flat,Pb_flatを算出する。平坦部の画素値の算出は次のように行う。
・Pbg−r(y)、Pbg−g(y)、Pbg−b(y)についてのヒストグラムを作成する。
・最も頻度が高い値が平坦部分に対応することから、その値を中心に±mの範囲について平均値を求め、それを平坦部の画素値をPr_flat,Pg_flat,Pb_flat とする。例えば、m = 2である。
また、画像データ処理部28は、同様に彩度のプロフィールを求める(S3)。
彩度のプロフィールは、各画素毎にS=√(C +C )を求め、以降はR、G、Bのプロフィールと同様に求めることができる。
ついで、画像データ処理部28は彩度のプロフィールを正規化する(S4)。
彩度のプロフィールは既に求められているので、R、G、Bと同様にして彩度のプロフィールから彩度の平坦部sflatを求める。そして、sflatを用いて平坦部の彩度が1.0となるように彩度のプロフィールをsflatで除算することで、彩度のプロフィールは正規化される。
ついで、画像データ処理部28は、正規化された彩度のプロフィールを光沢なしプロフィールに変換する(S5)。
上記の通り、正規化した彩度プロフィールに平坦部の画素値(この場合はR、G、Bの平坦部の値)を乗じると、光沢が無い場合の明度プロフィールを求めることができる。
すなわち、光沢なしプロフィールP’bg−r(y)、P’bg−g(y)、P’bg−b(y)は、正規化された彩度のプロフィールにPr_flat,Pg_flat,Pb_flatをそれぞれ乗じることで求めることができる。
ついで、光沢補正手段は、R、G、B それぞれのスキャン画像について、「光沢ありプロフィール ― 光沢無しプロフィール」の値を補正対象の画素値から減じて光沢による画素値を補正する(S6)。光沢ありプロフィールは、R、G、Bそれぞれのプロフィールとして求めたPbg−r(y)、Pbg−g(y)、Pbg−b(y)である。
Rについて、補正後のプロフィールP (x,y)は、式(5)のようになる。同様にしてG、Bについても表せる。
以上のようにして、スキャン画像が有彩色である場合、彩度プロフィールから光沢なしプロフィールを求め、光沢ありプロフィールとの差分(以下、光沢成分という)を求めることで、光沢紙の湾曲により生じる光沢を補正することができる。
また、式(5)では光沢成分「光沢ありプロフィール ― 光沢無しプロフィール」を画素値P(x,y)から減算し(分子)、それを、平坦部の画素値により正規化した光沢なしプロフィールで除算した形となっているため、地肌補正処理(S200)も施されている。
ところで、地肌色が有彩色の場合、綴じ部付近の彩度の変化は R、G、B プロフィールと異なることも予想される。特に綴じ部付近は、元々照明強度が弱い(暗い)ため、(Pbg−r(y)−P’bg−r(y)=0)となる理想的な状態とは異なる。
したがって、光沢部分は彩度プロフィールに基づき補正し、綴じ部付近はR,G、Bプロフィール(又は、明度のプロフィールでもよい)に基づき地肌補正することで、より鮮明な補正結果を得られる。光沢部分については、実施例2で説明するように、適当な定数r1、r2 の値を与えることで推定できる。すなわち、光沢部分のみを本実施例で説明した光沢補正を行い、綴じ部付近は画素値R,G、Bのプロフィールにより地肌補正することが好適となる。
すでに、R、G、Bの各プロフィールPbg−r(y)、Pbg−g(y)、Pbg−b(y)を求めている。平坦部の画素値でR,G、Bの各プロフィールを除算すれば、正規化されたプロフィールPnbg−r(y)、Pnbg−g(y)、Pnbg−b(y)を求めることができる。
Pnbg−r(y)=Pbg−r(y)/Pr_flat
Pnbg−g(y)=Pbg−g(y)/Pg_flat
Pnbg−b(y)=Pbg−b(y)/Pb_flat
そして各画素(x,y)について、R,G,Bの値を直接補正する(yは綴じ部付近の座標となる。)。
R'(x,y) = R(x,y)/Pnbg−r(y)
G’(x,y)= G(x,y)/Pnbg−g(y)
B’(x,y)= B(x,y)/Pnbg−b(y)
したがって、このように光沢補正のために光沢なしプロフィールを、地肌補正のために画素値のプロフィールを求めることで、より精度よく地肌補正することができる。
本実施例では、スキャン画像が無彩色である場合について説明する。地肌色が無彩色の場合、彩度のプロフィールは、画像全体に渡ってほとんど小さい値であるため、実施例1(有彩色)と同様な方法を使用することはできない。そこで、本実施例では、光沢部分を推定し光沢部分の明度を予め定めた補正式で補正する。
図14は無彩色のスキャン画像の光沢を補正する画像処理の手順を示すフローチャート図である。
まず、画像データ処理部28が、明度プロフィールを抽出する(S11)。
明度プロフィールの求め方を説明する。明度VはV=0.3Pr+0.59Pg+0.11Pbにより求められる。一次元画像中の各画素毎にV(x,y)を用いて、綴じ部41に垂直な方向(副走査方向)に沿った明度プロフィールv(y)を作成する。
具体的には、
・各yにおけるV(x,y)の1次元画像V(x)についてヒストグラムを求め、明るい方からVt個(以上)の画素が存在する明度の範囲(v1〜v2の範囲とする)を求める。ここで、Vtの値は、例えば、“Vt=(画像の幅の画素数)×0.1”とする。
・そして、v1〜v2の範囲について明度の平均値を求め、それをv(y)とする。これは一次元画像ごとの値である。
ついで、明度プロフィールv(y)を雑音除去のため平滑化する。各yについて、yを中心にしたv(y−n)からv(y+n)の平均値をv(y)の値にする(例えば、n=3)。これを数回繰り返す。以上で、明度プロフィールが求められた。
図15は、明度プロフィールの一例を示す。
ついで、画像データ処理部28は、明度プロフィールv(y)から光沢が存在する範囲を推定する(S12)。
平坦部の明度(Vflat)から、やや暗い明度(r1・Vflat)を考え、その明度になる y 座標(y1,y2)をプロフィールの暗い側から探索し、検出する。
図15に示すように、明度は綴じ部周辺で最も低い値を示し、湾曲部で光沢のため大きな明度を示す。したがって、やや暗い明度(r1・Vflat)になるy 座標(y1,y2)は、最小値の明度から左右に探索する。
そして、y1、y2 から平坦部側に、所定の距離Lだけ離れたy座標y0、y3を求める。所定の距離Lは、例えば、L=r2・(y2−y1)/2から求める。
図15に示すように、y0〜y1及びy2〜y3に光沢部が含まれるので、この部分を光沢部分として明度を補正する。なお、r1, r2 はあらかじめ与えておくとする。
ついで、光沢補正手段は、光沢部分「光沢ありプロフィール ― 光沢なしプロフィール」の値 R(y) を式(6)のように設定する(S13)。
図16は、式(6)のように設定したR(y)のカーブを示す。ここで、最大値 a は、あらかじめ与えておくとする。図16に示すように、式(6)のR(y)は光沢部の明度と類似したカーブを示すので式(6)により光沢部の明度を補正できる。なお、R(y)は、y0〜y1及びy2〜y3以外ではゼロを取るように設定しておけば、すべてのyについて式(6)を適用できる。
ついで、光沢補正手段は、R(y)を用いて画素値を補正する(S14)。
式(7)に示すように画素値から光沢成分R(y)を減ずることで光沢を補正できる。同様にしてG、Bについても表せる。
なお、式(7)では光沢成分「光沢ありプロフィール ― 光沢無しプロフィール」R(y)を画素値P(x,y)から減算し(分子)、平坦部の画素値により正規化した光沢なしプロフィールで除算した形となっているため、地肌補正処理(S200)も施されている。
本実施例によれば、地肌色が無彩色の場合は、r1、r2、a のパラメータを与えておくことで、光沢部分の画素値を補正できる。
地肌色が有彩色の場合であっても、無彩色の画素が混在している場合があるため、実施例1及び2の地肌補正を組み合わせることが好適な場合がある。
図17は、本実施例の画像処理の手順を示すフローチャート図である。本実施例では、まず、有彩色か無彩色かを判定し、有彩色の場合には実施例1のように光沢を補正し、無彩色の場合には実施例2のように光沢を補正する。
まず、画像データ処理部28は地肌色プロフィールを求める(S21)。
地肌色を求めることで、地肌が無彩色か有彩色を判定できる。地肌色プロフィールの抽出について説明する。
画素の色情報として、R,G,B の値ではなく、明度、彩度、色相を用いてヒストグラムを構成し、地肌色を求める。色には有彩色と無彩色があるため、それぞれについて異なる方法でヒストグラムを構成する必要がある。
まず、有彩色と無彩色の分類方法としては、彩度の値を用いて、適当なしきい値によって分類する。次に、有彩色と判定した色については、基本的には、色相で分類することが適しているが、色相の値は角度であるため、0度と 359度は、値としては離れているが、色としては近いということを考慮する必要がある。このため、色差信号(c1、c2)を用いてヒストグラムを構成する。
一方、無彩色については、色相の値は意味が無く、また、無彩色の地肌色としては、白、灰、黒というように明度の違いのみが考えられるので、明度で分類することが適している。
具体的には次の1〜4の処理手順を実行する。1〜4の処理は、スキャン画像の副走査方向の各y座標における各1次元画像について行う。
1.各 x 座標について、座標 (x,y) の画素が、ブック原稿40の範囲内の画素値である場合、1−1〜1−4の処理を行う。なお、ブック原稿40の範囲内の画素であるか否かは後述するゆがみ形状補正のページ外形の検出により行う。
1−1. 画素値R,G,B から、明度 v、色差信号(c1,c2)、彩度 s を求める。
v=0.3R+0.59G+0.11B
c1=R−V=0.7R−0.59G−0.11B
c2=B−V=−0.3R−0.59G−0.89B
s=√(c1+c2
1−2. s の値と、有彩色・無彩色分類のしきい値(St)とを比較し、有彩色か無彩色かに分ける
1−3.有彩色の場合、2次元の色差信号ヒストグラムにおいて、(c1、c2) の度数を1 増やす。
1−4.無彩色の場合、明度ヒストグラムにおいて、v の度数を 1 増やす。
なお、(c1、c2)又はvは、実際には、適当な値(d)で除算し、それをヒストグラムのインデックスとする。すなわち、d はヒストグラムで同じインデックスが付与される値の範囲である。
2.色差信号ヒストグラムの中で最も度数の高いインデックスを(c1*、c2*)とし、明度ヒストグラムの中で最も度数の高いインデックスをv*とする。
3. (c1*、c2*)の度数が高い場合
1次元画像中の画素の有彩色の中で、色差信号が(c1*、c2*)の画素について、R、G、B それぞれの画素値の平均値を求め、それを地肌色プロフィールPg(y)、Pb(y)、Pr(y) の値とする。
4.v*の度数が高い場合
1次元画像中の画素の無彩色の中で、明度がv*の画素について、R、G、Bそれぞれの画素値の平均値を求め、それを地肌色プロフィール Pg(y)、Pb(y)は、Pr(y) の値とする。
ところで、上述した色差信号ヒストグラム法で地肌色プロフィールを作成した場合、画像全体で必ずしも同じ地肌色で構成されるとは限らず、部分的に別の色が含まれている場合がある。そこで、次に、地肌色プロフィールの色情報を調べ、最も多く存在する色を地肌色として求めた後、再度プロフィールを抽出する。これによって、画像全体で同一の地肌色を求めることになる。
具体的には示す次の1〜6の処理手順を実行する。1〜6の処理は、スキャン画像の副走査方向の各y座標における各1次元画像について行う。
1.色差信号ヒストグラム法によって、地肌色プロフィールを求める。
2.地肌色プロフィールの各 y 座標におけるR,G,B の値について、
2−1. 明度 v、 彩度 s、 色相h を求める。
なお、h=tan−1(c1/c2)
2−2. s の値としきい値 St を比較し、有彩色か無彩色かに分ける
2−3. 有彩色の場合、色相ヒストグラムにおいて、h の度数を 1 増やす。
2−4. 無彩色の場合、明度ヒストグラムにおいて、v の度数を 1 増やす。
なお、 h及びv の値は、適当な値(d)で除算して量子化してから、ヒストグラムを求める。
この第2番目の処理によれば、地肌色が有彩色であるとすると、彩度は曲面部分では変化(低下)しているが色相は変化しないため、画像全体で最も度数の高い地肌色を求めることになる(曲面部分の色相も平坦部分と同じ地肌色としてカウントされ、次の第3番目の処理により選択され得る)。
一方、地肌色が無彩色であるとすると、明度は曲面部分で変化(低下)していることから、平坦部分において、最も度数の高い地肌色を求めることになる(次の第3番目の処理により曲面部分は選択されない)。
3. 色相ヒストグラムと明度ヒストグラムにおいて、最も度数の高いインデックスを求め、それぞれをh*、v*とする。
4. h*の度数が高い場合
4−1. 全画像中で、有彩色であって、かつ色相がh* と等しい画素を抜き出す(書籍範囲外は除く)
4−2. 各1次元画像毎に、抜き出された画素があれば R,G,B の平均値を求め、地肌色プロフィールの値とする。なお、ステップ4−1の画素が無い場合、プロフィールの値は求めない。
5.v*の度数が高い場合
5−1. 全画像中で、無彩色の部分を抜き出す(書籍範囲外は除く)
5−2. 各1次元画像について、無彩色の画素がある場合、以下の処理を行い、地肌色プロフィールの値を求める(無彩色の画素が無い場合は求めない)
- 明度を求め、さらにそれを量子化した値を求める
- 量子化された明度についてヒストグラムを求める
- 最大度数となる量子化された明度vd*を求める
- 量子化された明度vd*を持つ画素の明度の平均値を求め、それを地肌色プロフィールPr(y)の値とする。
5−3. Pg(y)、Pb(y)は、Pr(y)と同じプロフィールとする。
6. Pr(y)、Pg(y)、Pb(y) において、地肌色が求められず、空きの部分がある場合は、空き部分の前後のプロフィールの値から、補間によって、空き部分のプロフィールの値を求める。以上により地肌色プロフィールが求められた。
ついで、画像データ処理部28は光沢部分の範囲を決定する(S22)。
具体的には、地肌色の明度プロフィールを求め、実施例2と同様に光沢部分y0〜y1及びy2〜y3を求める。
ついで、地肌補正手段は、光沢部分以外の範囲について、地肌補正を行う(S23)。
具体的には、地肌色の R,G,B プロフィールPr(y)、Pg(y)、Pb(y)と平坦部の画素値の値から、各R,G,B 画像毎に補正を行う。
まず、正規化する。
Pn(y)=Pr(y)/Pr_flat
Pn(y)=Pg(y)/Pg_flat
Pn(y)=Pb(y)/Pb_flat
そして各画素(x,y)について、R,G,Bの値を直接補正する。
R'(x,y) = R(x,y)/Pn(y)
G’(x,y)= G(x,y)/Pn(y)
B’(x,y)= B(x,y)/Pn(y)
ついで、光沢補正手段は、有彩色か否か判定し(S24)、光沢部分について光沢の補正を施す(S25,26)。
すなわち、有彩色の場合は、実施例1のように正規化した彩度プロフィールと平坦部の画素値に基づき光沢なしプロフィールを求め、光沢成分を画素値から減ずることで補正する(S259。
無彩色の場合は、実施例2のように、光沢成分R(y)を画素値から減ずることで補正する(S26)。
本実施例によれば、実際のブック原稿に存在する有彩色と無彩色が混在しているページをスキャンした場合、有彩色と無彩色を区別してそれぞれに適切な光沢補正を施すことができる。
実施例1ないし3により光沢部分の画素値を補正したが、補正結果に対し更に補正する場合について説明する。本実施例では、地肌色よりも暗い色であれば、より暗く(濃く)なるように補正するため、コントラストを強調できる。
具体的には、対象となる画素について、明度を下げ、彩度を上げるような地肌補正処理を施す。コントラストの強調手順を以下に示す。図18はコントラストの強調手順を示すフローチャート図である。
まず、画像データ処理部28が、実施例1ないし3いずれかの光沢補正及び地肌補正を行う(S31)。
ついで、コントラスト補正手段は、光沢部分の地肌補正を行う場合に使用した光沢成分(正反射成分)の大きさRr(y)、Rg(y)、Rb(y)を使用して光沢明度Rv(y)を求める(S32)。
光沢成分の大きさRr(y)、Rg(y)、Rb(y)は、地肌色が有彩色の場合(実施例1)、「Pbg−r(y)−P’bg−r(y)」であり(G、Bについても同様)、地肌色が無彩色の場合(実施例2)、R(y)である。これはR、G、B毎に求められており、それぞれをRr(y)、Rg(y)、Rb(y) とする。
そして、これらを使用して明度と同様な線形和を求め光沢明度Rv(y) とする。
Rv(y)=0.3Rr(y)+0.59Rg(y)+0.11Rb(y)
なお、光沢明度Rv(y)の最大が 1 になるように正規化を行う。
ついで、コントラスト補正手段は、補正後の画像中において、光沢部分の画素について、明度 v を求める(S33)。光沢が存在する部分は、明度プロフィールv(y)からy0〜y1及びy2〜y3と求められるので、この範囲の一次元画像の画素毎に明度vを求める。
ついで、コントラスト補正手段は、明度vが画像平坦部の明度Vflat よりも、ある値 vt 以上小さいか否かを判定し(S34)、小さい場合に以下の補正を行う。
コントラスト補正手段は、光沢部分の各画素について、彩度 s、色相 h を求め、また、平坦部明度と各画素の明度の差の大きさ t を求める(S35)。
t = (Vflat - v) / Vflat
ついで、コントラスト補正手段は、明度 v を光沢明度Rv(y)により補正し、補正後の明度v' とする(S36)。
v' = v−va*(t+Rv(y))/2
なお、vaはコントラストを強調するパラメータである。
ついで、コントラスト補正手段は、彩度 s を光沢明度Rv(y)により補正し、補正後の彩度s' とする(S37)。
s' = s + vb*(t + Rv(y))/2
ついで、v'、s'、hから、R、G、B の値を求め、各画素(x,y) の補正後の画素値とする(S38)。v'、s'、hから、R、G、Bへの変換は周知の公式を用いる。
本実施例によれば、地肌色よりも暗い色であれば、より暗く(濃く)なるように補正するため、コントラストを強調できる。
本実施例では、スキャン画像を綴じ部41に垂直に分割して地肌処理する画像処理について説明する。
図19に示すように、スキャン画像を、ブック原稿40の綴じ部41の長さ方向(X軸方向)に複数の領域Lに分割する(すなわち、Y軸方向を長さ方向とするラインで分割する)。この例は、スキューしている、あるいは、「ハの字」配置にあるスキャン画像に有効である。
スキャン画像のX軸方向において、地肌色及び光沢のプロフィールが変化しているため、同一のプロフィールを用いて補正するのではなく、X軸方向に対して画像を分割し、それぞれの部分画像にてプロフィールを求め、補正を行う方法が有効である。
すなわち、分割された各領域Lに対して光沢補正及び地肌補正処理を施す。図19では、5つの領域に分割しているので、それぞれの領域Lから5つの地肌色プロフィール及び光沢部分を求め、求めた地肌色プロフィールと光沢部分のプロフィールをそれぞれの領域Lに適用して、地肌色を補正する。
光沢補正の方法は実施例1ないし4いずれの方法であってもよい。地肌色プロフィールの求め方は、例えば、実施例3で説明した方法を用いる。
本実施例によれば、綴じ部41と平行な方向に光沢部分のプロフィールや地肌色プロフィールが変化している場合でも、変化しているそれぞれの領域から地肌色プロフィールを求めて、精度よく地肌色を補正できる。
本実施例では、スキャン画像を綴じ部41に平行に分割して地肌処理する画像処理について説明する。
図20に示すように、スキャン画像を、ブック原稿40の綴じ部41と平行な線で複数の領域Lに分割する(すなわち、X軸方向の長さ方向とするラインで分割する)。図20の例では、Y軸方向の分割は、綴じ部41の線の上下で2分割している。
この処理は、見開きの両ページがそれぞれ異なる光沢紙や地肌色のブック原稿40に対し有効である。左右又は上下の両ページで光沢紙や地肌色が異なる場合、画像のY軸(綴じ部41に垂直)方向に、地肌色のプロフィールが変化しているため、同一のプロフィールを用いて補正するのではなく、Y軸方向に対してスキャン画像を分割し、それぞれの領域Lにおいて光沢部分及び地肌色プロフィールを求め、光沢補正と地肌色の補正を行う。
光沢補正の方法は実施例1ないし4いずれの方法であってもよい。地肌色プロフィールの求め方は、例えば、実施例3で説明した方法を用いる。
具体的には、次の1.2.の処理による。
1.スキャン画像において、綴じ部41の両端の位置を検出し、綴じ部41に相当する直線を求める。両端の位置の検出については、ブック原稿40のページ外形の検出処理(一番内側に入り込んでいる箇所を検出する)、画像中央部の濃度(一番濃い箇所)、または、明度の変化を利用することで検出が可能である。
具体的には、ページ外形頂点41A、Bの検出処理を行なう。この処理は、ページ外形の主走査方向の座標値が最も内部に食い込んでいる座標をページ外形頂点とするものである。ページ外形の検出については後述するが、ページ外形の頂点についてはその主走査方向(X軸方向)の座標値が最大の点42Aをページ外形頂点とし、反対側の外形の頂点については主走査方向の座標値が最大の点42Bをページ外形頂点とする。
2.上記で求められた直線によってスキャン画像を上下に分割し、光沢補正及び地肌補正を行う。
本実施例によれば、見開きの両ページがそれぞれ異なる地肌色の場合でも、それぞれのページから光沢部分のプロフィール及び地肌色プロフィールを求めて、精度よく地肌色を補正できる。
本実施例は、実施例5及び6を組み合わせるものであり、図21に示すように、ブック原稿40の綴じ部41の長さ方向(X軸方向)、及び、綴じ部41の長さ方向と垂直な方向(Y軸方向)に、スキャン画像を複数の領域Lに複数に分割する。
そして、各領域Lから光沢部分のプロフィール及び地肌色プロフィールを求めて、各領域毎に光沢補正及び地肌補正を行う。なお、図21の例では、X軸方向に5分割し、Y軸方向の分割は綴じ部41の線の上下で2分割している。
本実施例の処理は、スキューしている、あるいは、「ハの字」配置にあるブック原稿40であり、かつ、左右又は上下のページがそれぞれ異なる地肌色のブック原稿40に対し有効である。このようなブック原稿40は、スキュー、「ハの字」配置及び上下のページで地肌色が異なるという理由から、画像のX及びY軸方向において、光沢部分のプロフィール及び地肌色のプロフィールが変化している。
このため、スキャン画像全体で同一のプロフィールを用いて補正するのではなく、X,Y軸の両方向に対して画像を分割し、それぞれの領域Lにて光沢部分のプロフィール及び地肌色プロフィールを求め、光沢補正及び地肌補正を行う方法が有効である。
なお、スキャン画像を上下に分割する方法は実施例3と同様である。また、光沢補正の方法は実施例1ないし4いずれの方法であってもよい。地肌色プロフィールの求め方は、例えば、実施例3で説明した方法を用いる。
本実施例によれば、それぞれの領域から光沢部分のプロフィール及び地肌色プロフィールを求めて、領域毎に精度よく光沢と地肌色を補正できる。
〔ゆがみ形状補正〕
続いて、図8のステップS300におけるゆがみ形状補正について説明する。
図22は、ステップS2のゆがみ形状補正処理の概要を説明するフローチャート図である。ステップS2の処理は、スキャン画像中のブック原稿40についてページ外形/罫線/文字行の抽出処理を行い(ステップS301)、ブック原稿40のスキャン画像の画像歪み補正処理を行なう(ステップS302)。
まず、ステップS301においては、ページ外形/罫線/文字行の抽出処理を実行する。ここで、図23は、ページ外形/罫線/文字行の抽出処理の流れを概略的に示すフローチ
ャートである。
・スキャン画像からのページ外形の抽出(S311)
まず、ステップS311におけるスキャン画像からのページ外形の抽出処理について説明する。図24は、スキャン画像の上端にページ外形が存在するスキャン画像の一例を示す。また、図25は図24に示したスキャン画像の綴じ部41境界線左側の黒画素ヒストグラムである。
図25に示すヒストグラムのX軸はスキャン画像の主走査方向(図24の上下方向)を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。なお、ページ外形が下端に存在するスキャン画像の場合には、スキャン画像の下端がヒストグラムの右端に対応付けられることになる。したがって、図24に示すようにスキャン画像の上端にページ外形が存在する場合、スキャン画像の上部に黒い帯が現れることから、図25に示すヒストグラムの左端には高い縦棒が現れることになる。本実施の形態では、このような特性を利用して、スキャン画像にページ外形が存在するか否かの判断を行う。
より具体的には、図25に示すように、綴じ部41境界線からスキャン画像の左端(図25の左端)までの距離AO、ヒストグラム縦棒の高さBOとし、その比率を下記に示す式(8)により算出し、算出された比率kが、予め定められた閾値よりも大きい場合に、スキャン画像にページ外形が存在すると判断する。
なお、スキャン画像の上下にページ外形が存在する場合には、ヒストグラムの左右両端に高い縦棒が現れることになるので、このような場合には、ヒストグラムの左右両端の高い縦棒に基づいてスキャン画像にページ外形が存在するか否かの判断がそれぞれ実行される。
以上の処理により、スキャン画像にページ外形が存在すると判断された場合には、左右ページの上下辺のいずれにページ外形が存在しているのかという情報とともにページ外形を抽出し、RAM33に一時的に記憶する。
なお、このスキャン画像にページ外形が存在するか否かの判断処理は、スキャン画像の綴じ部41境界線を境にした左右ページ毎に実行される。
・スキャン画像からの罫線の抽出(S312)
続くステップS212においては、スキャン画像からの罫線の抽出処理を実行する。
「罫線候補の検出」
本実施の形態では、罫線の矩形抽出を導入し、図24に示すようなスキャン画像に存在する罫線を1つの矩形として抽出する。なお、詳細については後述するが、ただ単に矩形抽出を行うだけでは罫線が単独で抽出できない場合もあるために、ランの登録に制限を設けた矩形抽出を行う。
図26は、2値化した画像に矩形抽出を施した結果を示す。図26に示すように、黒画素が連結している箇所が1つの矩形として抽出される。図26のような罫線が存在していれば、副走査方向に細長い矩形として抽出されることから、細長い矩形の有無や抽出した矩形の形状(長さ・縦横比)や位置を基に罫線の有無の判定を行う。
ただし、ただ単に矩形抽出を行うだけでは、罫線が単独で抽出できない場合もある。図27に示すように、罫線がノイズと接触している場合、ノイズを含む矩形が抽出されてしまう。また、図28のような表が含まれるスキャン画像の場合は、副走査方向の罫線は主走査方向の罫線と交差するため、表全体が1つの矩形として抽出され罫線が単独で抽出できない。
[ランの登録に制限を設けた矩形抽出]
そこで、罫線を単独で抽出するために、ランの登録に制限を設けた矩形抽出を行う。図27に示すような罫線とノイズが接触している画像に対して、主走査方向(垂直方向)に一定値未満のランのみを登録し矩形を抽出すると、図29に示すように罫線を構成する黒画素は登録対象のランとなるが、ノイズを構成する黒画素はランとして登録されない。罫線を構成する黒画素を対象として矩形抽出を行うため、罫線を単独で抽出することができる。
なお、罫線を矩形抽出するにあたって、副走査方向(水平方向)に長いランのみを対象に矩形抽出を行う方法もあるが、この方法だと綴じ部41付近の歪み部分は矩形内に含まれない。ところが、本実施の形態の方式を用いることにより、罫線の綴じ部41付近の歪み部分も矩形内に含めることが可能となり、より正確な罫線の位置や長さを検出することが出来る。
「矩形統合」
表など、副走査方向(水平方向)の罫線と主走査方向(垂直方向)の罫線とが交差している画像に矩形抽出を行うと、主走査方向の罫線はランとして登録されないため、副走査方向に矩形が細切れに抽出されてしまう。すると、図30に示すように、副走査方向に長い罫線があるにもかかわらず、その罫線は1つの矩形として抽出されず、複数の細切れの矩形となって抽出される。
そこで、矩形統合を行う。副走査方向における距離が一定値以下の矩形同士を統合する。図31は、矩形統合を施した例である。矩形統合は、図31に示すように、細切れになっていた矩形を1つの矩形に統合し、罫線の矩形を抽出するものである。この矩形統合は、かすれた罫線や点線の罫線に対して行っても、罫線全体が1つの矩形として抽出されるため有効な方法である。
「最適罫線の選択」
次いで、一定値未満のランのみを登録した矩形抽出を行い、副走査方向に細長い矩形の有無にて罫線の有無を判定する。このような罫線の有無の判定は、画像の左上・左下・右上・右下の4箇所それぞれにおいて行う。例えば、図32に示す画像の場合、左上にのみ罫線が存在しないということになる。ある箇所にて複数罫線が存在する場合は、補正に利用する罫線を以下の優先順位で決定する。
1.綴じ部付近まで食い込んでいる罫線
例えば、図32に示す画像の右下の場合、綴じ部41付近まで食い込んでいる罫線が補正に利用される。
2.長さが長い方の罫線
例えば、図32に示す画像の右上の場合、双方の罫線は綴じ部41付近まで食い込んでいるため、長さが長い方の罫線が補正に利用される。
3.位置が外側の罫線
例えば、図32に示す画像の左下の場合、双方の罫線は綴じ部41付近まで食い込んでいて、なおかつ、長さがほぼ同じため、画像の外側に位置する罫線が補正に利用される。
「最適罫線の座標値検出」
以上のようにして最適罫線を選択した後、各罫線の座標値を検出する。罫線の位置座標は、抽出された矩形の座標から得ることができる。なお、特殊な例として、副走査方向に細長い矩形の位置が画像の上端や下端に接している場合は、その矩形がノイズである可能性を考慮して、罫線とはみなさないものとする。また、左右のページそれぞれで細長い矩形が抽出された場合(例えば、左上と右上、左下と右下)、画像によっては、綴じ部41をまたがる形で左右ページの矩形が統合されることがある。すると、水平方向画像全体に細長い矩形が抽出されることから、抽出された矩形にそのような特徴が見られた場合は、綴じ部位置を境にその矩形を分割する。
以上の処理により、スキャン画像に罫線が存在すると判断された場合には、左右各ページのいずれの位置に罫線が存在しているのかという情報とともに罫線を抽出し、RAM33に一時的に記憶する。
・スキャン画像からの文字行の抽出(S313)
続くステップS213においては、スキャン画像からの文字行の抽出処理を実行する。本実施の形態においては、まず、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別を行う。
「文字行の判別」
スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別手法について説明する。ここで、図33は図46に示したスキャン画像の副走査方向の黒白反転数ヒストグラムである。図33の横軸は、副走査方向(左右方向)の黒画素(スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素)の主走査方向上での位置を示し、図33中の縦軸はその位置毎の黒画素数を示すものである。
また、図34は図46に示した画像の主走査方向の黒白反転数ヒストグラムである。図34の横軸は、主走査方向(上下方向)の黒画素(スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素)の副走査方向上での位置を示し、図34の縦軸は、その位置毎の黒画素数を示すものである。画像中の文字が横書きの図46に示したようなスキャン画像の場合、図33に示すような副走査方向のヒストグラムは激しく変化するが、図34に示すような主走査方向のヒストグラムの変化は少ない。また、特に図示しないが、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムは激しく変化するが、副走査方向のヒストグラムの変化は少ない。
上述したような判別手法は、具体的には下記に示す各式により実現される。まず、下記に示す式(9)により、主走査方向Yの位置でのヒストグラム値Pnt(y)の平均値meanが算出される。ここで、heightは画像の高さである。
主走査方向yの位置でのヒストグラム値Pnt(y)の平均値meanが算出される。ここで、heightは画像の高さである。
そして、下記に示す式(10)により、副走査方向のヒストグラムの主走査方向に関する分散σが得られる。
同様に、下記に示す式(11)により、副走査方向xの位置でのヒストグラム値Pnt(x)の平均値meanが算出される。ここで、widthは画像の幅である。
そして、下記に示す式(12)により、主走査方向のヒストグラムの副走査方向に関する分散σが得られる。
上述したようにスキャン画像中の文字行が横書き文字行である場合には、副走査方向のヒストグラムの主走査方向に関する分散σが、主走査方向のヒストグラムの副走査方向に関する分散σより大きい。逆に、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムの副走査方向に関する分散σが、副走査方向のヒストグラムの主走査方向に関する分散σより大きい。つまり、分散σと分散σとの比較により、スキン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別が可能になっている。
なお、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別に、黒白反転数ヒストグラムを用いたのは、文字行と写真部分との混同を避けるためである。一般に、黒画素ヒストグラムの値が同程度の場合、文字領域のほうが写真領域よりも黒白反転数ヒストグラムの値が大きくなるからである。
「横書き文字行の座標検出」
以上のようにして文字行を判別した後、まず、各横書き文字行の座標を検出する。横書き文字行の座標の検出にあたっては、文字単位の外接矩形抽出処理を行うとともに、横書き文字行の抽出処理を行う。なお、文字認識処理については周知の技術であるので、その説明は省略する。ここで、スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を図35に示す。そして、各文字の外接矩形の中心点の座標をその文字の座標とみなし、横書き文字行の座標を検出する。
「最適横書き文字行の選択」
次に、抽出した横書き文字行の中から歪み補正に最適な横書き文字行を選択する。複数の横書き文字行が検出される場合、どの横書き文字行を用いて歪み補正するかを選択する必要がある。最適な横書き文字行の選択基準の一例としては、前述した最適な罫線の選択基準と基本的に同様であって、図36に示すように横書き文字行の長さBCが予め定められた閾値より長く、かつ、綴じ部41境界線を挟んだ左右の一定幅領域内(図36の網掛け領域)に横書き文字行の一部Cがかかっていることを条件とし、その中で上下何れかのページ外形に最も近い横書き文字行を選択するようにする。ここで、Bは文字行の一番左の矩形の中心であり、Cは一番右の矩形の中心である。なお、最適な横書き文字行の選択は、左右ページから各1本ずつのページ外形に最も近い横書き文字行を選択するものであっても良いし、左右ページをさらに上下部分に分け、その各4ブロックにおいて1本ずつのページ外形に最も近い横書き文字行を選択するものであっても良い。
なお、上記2条件(横書き文字行の長さが予め定められた閾値より長く、かつ、綴じ部41境界線を挟んだ左右の一定幅領域内に横書き文字行の一部がかかっている)については、その両方ではなく何れか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「横書き文字行の湾曲が最も大きい」を用いても良い。ここで、「横書き文字行の湾曲」は横書き文字行の両端の文字外接矩形の中心座標の主走査方向の座標値の差で表すものとする。
「最適横書き文字行の座標値の決定」
最適な横書き文字行が選択された場合には、横書き文字行の(主走査方向の)座標値を決定する。横書き文字行の(主走査方向の)座標値は、横書き文字行内の各文字外接矩形の中心点を連結し、直線部分と曲線部分とを近似して抽出することにより横書き文字行の(主走査方向の)座標値を決定することになる。より詳細には、図36に示すDは綴じ部41境界線であり、BDの間は多項式近似曲線で(主走査方向の)座標値を推定し、一番左端のAとBとの間は近似直線の値で(主走査方向の)座標値を推定する。
「不適切な横書き文字行の排除」
最後に不適切な横書き文字行を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような横書き文字行を排除するものである。不適切な近似曲線形状の例としては、前述した罫線の場合と同様であって、特に図示しないが、曲線がブック原稿40の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
なお、推定曲線の形状が不適切であるとして横書き文字行を排除した場合には、再び最適な横書き文字行を選択し、上記の処理を繰り返すことになる。
以上の処理により、スキャン画像に横書き文字行が存在すると判断された場合には、左右各ページのいずれの位置に横書き文字行が存在しているのかという情報とともに横書き文字行を抽出し、RAM33に一時的に記憶する。
「縦書き文字行に基づく横書き文字行の抽出」
次に、各縦書き文字行から横書き文字行を抽出する。
図37は、各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。図37に示すように、まず、縦書き文字行の行切り出し矩形を抽出する(S321)。なお、縦書き文字行の行切り出し矩形の抽出処理は、OCR等で一般に用いられている周知の技術をそのまま利用することができるので、その説明は省略する。図38は、抽出した行切り出し矩形を例示的に示す説明図である。
次いで、縦書き文字行の先頭(もしくは末尾)のy座標が最大(もしくは最小)の縦書き文字行を抽出し、さらに、そこから予め定めた距離範囲内に先頭(もしくは末尾)が存在する縦書き文字行を抽出する(S322)。より具体的には、図38に示した例においては、図39に示すように、縦書き文字行の先頭文字のy座標が最大の縦書き文字行はAで示した縦書き文字行である。そして、その先頭位置から予め定めた距離範囲h内に存在する行先頭文字は、図39中、黒丸“●”で示した文字である。すなわち、黒丸“●”で示す文字を含む縦書き文字行のみを抽出し、それ以外の縦書き文字行B,Cは除外する。なお、hはスキャン画像の解像度によって定められる定数である。
次に、抽出した縦書き文字行の先頭(もしくは末尾)のy座標に関してヒストグラムを構成する(S323)。図40では、ページの左端に近い縦書き文字行Dを基準行とし、その先頭のy座標(yD)を基準座標としている。以後、yDに対して一定幅d(例えば抽出した縦書き文字行の平均幅の1/2)の範囲内に先頭が存在する縦書き文字行の数を、yDに関するヒストグラムの値とする。図40では、yDを示す直線を上下に挟む点線の範囲内に先頭が存在する縦書き文字行がその対象となる。したがって、ページの左端に近い縦書き文字行Dの右隣の縦書き文字行Eは、その範囲外である。このように、既存の基準座標の対象範囲に先頭が含まれない縦書き文字行が出現した場合は、その縦書き文字行を新たな基準行とし、その先頭座標を新たな基準座標(ここでは、yE)とする。また、縦書き文字行Eの右隣の縦書き文字行Fの行先頭座標はyDの対象範囲に含まれるので、新たな基準座標を設けることなく、yDに関するヒストグラムの値を1だけカウントアップする。
以下、同様の処理を綴じ部41境界線に向かって続けて行く。その結果、図40に示す例では、yDの対象範囲に含まれる縦書き文字行は斜線を施した矩形で囲まれた7つで、yEの対象範囲に含まれる縦書き文字行は網掛けを施した矩形で囲まれた4つとなる(これら以外の矩形で囲まれた縦書き文字行に関しても、基準行、基準座標と対象範囲がそれぞれ定められるが、図40では省略している)。なお、yDの対象範囲には本来無関係であるべき縦書き文字行Gも含まれているが、次のステップS324にてこれは除外される。
続いて、ステップS323にて構成したヒストグラムの中で、最大の値に対応する基準行の対象範囲に含まれる縦書き文字行の中で、最もページの左端(もしくは右端)にある縦書き文字行(基準行)を開始行として、綴じ部41境界線へ向かって、先頭(もしくは末尾)のy座標が近接した縦書き文字行を抽出する(ステップS324)。図40では、基準座標yDの対象範囲に含まれる文字行が7つと最大であったので、その中の左端の縦書き文字行Dを開始行とし、開始行(縦書き文字行D)から綴じ部41境界線へ向かって先頭のy座標が近接した縦書き文字行を抽出していく。
ところで、開始行(縦書き文字行D)から綴じ部41境界線へ向かって先頭のy座標が近接した縦書き文字行を抽出する際には、画像の歪みを生じていない部分と歪みを生じている部分とで処理内容を切り替える。
まず、画像の歪みを生じていない部分における処理について図41を参照しつつ説明する。画像の歪みを生じていない部分では、着目行Hを基準として、次の2条件を満足する縦書き文字行を抽出する。
1.y座標の正方向(図41中、上方へ向かう方向)に関して、着目行Hの先頭位置から一定範囲内b1(例えば平均文字行幅の1/2)に抽出する縦書き文字行の先頭が存在すること
2.y座標の負方向(図41中、下方へ向かう方向)に関して、着目行Hの先頭位置から見てx座標の正方向(綴じ部41境界線へ向かう方向)に対して予め定めた一定角度(ここでは、角度を直線の傾き(b2/a1)で表している)の範囲内に抽出する縦書き文字行の先頭が存在すること
すなわち、着目行Hの次の縦書き文字行Iの先頭は上記の範囲外なので除外することになるが、さらに次の縦書き文字行Jの先頭は範囲内に存在するので抽出することになる。以下、縦書き文字行Jを新たな着目行として同様の処理を続ける。
次に、画像の歪みを生じている部分における処理について図42を参照しつつ説明する。画像の歪みを生じている部分では、着目行Lを基準として、次の2条件を満足する縦書き文字行を抽出する。
1.y座標の負方向(図42中、下方へ向かう方向)に関して、着目行Lの先頭位置から見てx座標の正方向(綴じ部41境界線へ向かう方向)に対して予め定めた一定角度(ここでは、角度を直線の傾き(b3/a2)で表しているが、歪みを生じている部分では基本的にページの内側へ文字行の先頭が食い込んでいくのを考慮して、b2/a1<b3/a2とする)の範囲内に抽出する縦書き文字行の先頭が存在すること
2.着目行Lの先頭位置と抽出する縦書き文字行の先頭位置を結ぶ直線の傾き(b4/a2)が、着目行Lの先頭位置と直前の抽出行Kの先頭位置を結ぶ直線の傾き(b5/a3)から一定値αを減じた値よりも大きい。すなわち、“b4/a2>b5/a3−α”を満足すること(基本的には、“b4/a2>b5/a3”で良いが、誤差を考慮して一定値αを導入する。一定値αは予め定めた値である)
すなわち、着目行Lの次の縦書き文字行Mの先頭はこの条件外なので除外することになるが、さらに次の縦書き文字行Nの先頭は条件を満足するので抽出することになる。以下、縦書き文字行Nを新たな着目行として同様の処理を続ける。
さて、ここで問題となるのは、歪みを生じていない部分と歪みを生じている部分をいかに識別するかであるが、これは次のように行っている。すなわち、着目行と次の抽出行の先頭のy座標をそれぞれyC,yNとすると、“yN−yC”が一定値(例えば、平均文字行幅の1/4)以上となれば、それ以降を歪みを生じている部分とする。
以上の方法により図40から抽出した縦書き文字行を、図43において斜線を施した矩形で囲んで示す。
最後に、抽出した縦書き文字行の先頭(もしくは末尾)の位置座標に関する近似曲線多項式を算出する(ステップS325)。抽出した各縦書き文字行の行切り出し矩形の先頭を連結して外形を形成する場合には、図44に示すように、連結する各縦書き文字行の行切り出し矩形の上辺中心点に基づき、抽出した縦書き文字行の先頭の位置座標に関する近似曲線多項式を算出する。また、抽出した各縦書き文字行の行切り出し矩形の末尾を連結して外形を形成する場合には、図44に示すように、連結する各縦書き文字行の行切り出し矩形の下辺中心点に基づき、抽出した縦書き文字行の末尾の位置座標に関する近似曲線多項式を算出する。
なお、最後に不適切な縦書き文字行の外形を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような縦書き文字行の外形を排除するものである。不適切な近似曲線形状の例としては、前述した罫線や横書き文字行の場合と同様であって、特に図示しないが、曲線がブック原稿40の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
なお、推定曲線の形状が不適切であるとして縦書き文字行の外形を排除した場合には、歪み補正用の縦書き文字行の外形は無いということになる。
以上の処理により、スキャン画像に縦書き文字行の外形が存在すると判断された場合には、左右各ページのいずれの位置に縦書き文字行の外形が存在しているのかという情報とともに縦書き文字行の外形を抽出し、RAM33に一時的に記憶する。
なお、以下においては、横書き文字行及び縦書き文字行の外形を文字行として扱うものとする。
以上、ステップS311〜S313の処理により、図22のページ外形/罫線/文字行の抽出処理(ステップS301)が終了する。
続くステップS302においては、画像歪み補正処理を実行する。図45は歪み補正補処理の概略を示すフローチャート図である。
歪み補正補処理は、概略的には、歪み補正(伸長)に際しての基準となる線(基準線)としてスキャン画像の上辺(もしくは下辺)の近傍に位置するページ外形/罫線/文字行の何れかを選択する処理(ステップS401:基準線選択処理)、基準線に対応するものであって補正率(伸長率)の算出用の参照線としてスキャン画像の上辺(もしくは下辺)の近傍に位置するページ外形/罫線/文字行の何れかを選択する処理(ステップS402:参照線選択処理)、基準線が罫線や文字行の場合に、基準線より下部の画像情報の欠落を最小限にするための仮想的なページ外形を算出する処理(ステップS403:仮想ページ外形算出処理)、仮想的なページ外形に基づいてスキャン画像に伸長処理を施して主走査方向の歪みを補正する処理(ステップS404:主走査方向歪み補正処理)、補正画像の文字外接矩形に基づいてスキャン画像に伸長処理を施して副走査方向の歪みを補正する処理(ステップS405:副走査方向歪み補正処理)により構成されている。このステップS302の処理については公知であるため、詳細な説明は省略する(その詳細については、特開2003−69807号公報等を参照)。
以上のように、本実施の形態の画像処理装置によれば、ブック原稿40のスキャン画像に光沢部分がある場合、光沢を補正すると共に、スキャン画像の綴じ部41付近の地肌を補正することができる。また、綴じ部41付近の歪みを補正することができる。
見開いてコンタクトガラスに載置した光沢紙のブック原稿である。 デジタル複写機のスキャナ部の構成を示す縦断正面図である。 スキャナ部を搭載したデジタル複写機の上部部分を示す斜視図である。 スキャナ部の制御系の電気的な接続を示すブロック図である。 画像処理部の基本的な内部構成を示すブロック図である。 メイン制御部のハードウェア構成図である。 光源とブック原稿の関係を示す図である。 本実施の形態の画像処理の手順を示すフローチャート図である。 一次元画像の明度V(x)のヒストグラムの一例である。 一次元画像の画素と明度の関係の一例を示す図である。 一次元画像の明度V(y)のヒストグラムの一例である。 光沢補正及び地肌補正の処理手順を示すフローチャート図である。 画素値のプロフィールの一例を示す図である。 無彩色のスキャン画像の光沢を補正する画像処理の手順を示すフローチャート図である。 明度プロフィールの一例を示す図である。 光沢成分を示すように設定したR(y)のカーブの一例である。 実施例3における画像処理の手順を示すフローチャート図である。 コントラストの強調手順を示すフローチャート図である。 綴じ部の長さ方向に複数の領域に分割したスキャン画像の一例である。 綴じ部と平行に複数の領域に分割したスキャン画像の一例を示す。 綴じ部と平行及び垂直に複数の領域に分割したスキャン画像を示す。 ゆがみ形状補正処理の概要を説明するフローチャート図である。 ページ外形/罫線/文字行の抽出処理の流れを概略的に示すフローチャートである。 上端にページ外形が存在するスキャン画像の一例を示す説明図である。 図46に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。 2値化した画像に矩形抽出を施した結果を示す説明図である。 罫線がノイズと接触している場合を示す説明図である。 表が含まれる画像を示す説明図である。 一定値未満のランのみを登録し矩形を抽出した結果を示す説明図である。 副走査方向に矩形が細切れに抽出されてしまう場合を示す説明図である。 矩形統合を施した例を示す説明図である。 矩形抽出を行った結果を示す説明図である。 図46に示した画像の副走査方向の黒白反転数ヒストグラムである。 図46に示した画像の主走査方向の黒白反転数ヒストグラムである。 スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を示す説明図である。 最適な横書き文字行の選択を示す説明図である。 各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。 抽出した行切り出し矩形を例示的に示す説明図である。 予め定めた距離範囲内に先頭が存在する縦書き文字行を例示的に示す説明図である。 抽出した縦書き文字行の先頭のy座標に関してヒストグラムを構成する状態を示す説明図である。 画像の歪みを生じていない部分における処理を示す説明図である。 画像の歪みを生じている部分における処理を示す説明図である。 抽出した縦書き文字行を示す説明図である。 縦書き文字行の行切り出し矩形を示す説明図である。 画像歪み補正処理の流れを概略的に示すフローチャートである。 ブック原稿のスキャン画像の一例である。
符号の説明
1 スキャナ部
2 コンタクトガラス
3 露光ランプ
19 メイン制御部
20 画像処理部
40 ブック原稿
41 綴じ部

Claims (22)

  1. コンタクトガラス上に載置されたブック原稿を読み取る画像読取手段と、
    前記画像読み取り手段により読み取られた前記ブック原稿のスキャン画像の画素値から前記ブック原稿の平坦部の画素値を求め、前記平坦部の画素値に基づき前記スキャン画像の綴じ部付近の地肌を補正する地肌補正手段と、
    前記ブック原稿の湾曲により生じる前記スキャン画像の光沢を補正する光沢補正手段と、
    を有することを特徴とする画像処理装置。
  2. 前記地肌補正手段は、前記ブック原稿の綴じ部と平行な方向の一次元画像毎に一次元画像の代表値を抽出して構成された前記綴じ部と垂直方向の画素値プロフィールを抽出し、
    前記光沢補正手段は、
    前記スキャン画像の画素値に基づき光沢がない場合の前記画素値プロフィールに相当する光沢なしプロフィールを抽出し、
    前記画素値プロフィールと前記光沢なしプロフィールとの差分により前記湾曲による光沢成分を抽出し、
    抽出された前記光沢成分を前記スキャン画像の画素値から減じて前記スキャン画像の光沢を補正する、
    ことを特徴とする請求項1記載の画像処理装置。
  3. 前記光沢補正手段は、前記スキャン画像の彩度に、前記平坦部の画素値を乗じて前記光沢なしプロフィールを抽出する、
    ことを特徴とする請求項2記載の画像処理装置。
  4. 前記光沢補正手段は、
    近似モデルにより前記湾曲による光沢成分を抽出し、
    抽出された前記光沢成分を前記スキャン画像の画素値から減じて前記スキャン画像の光沢を補正する、
    ことを特徴とする請求項1記載の画像処理装置。
  5. 前記光沢補正手段は、
    前記スキャン画像の一次元画像毎に有彩色か無彩色に分類し、
    a)有彩色に分類された一次元画像については、
    前記地肌補正手段は、前記ブック原稿の綴じ部と垂直な方向の画素値に基づき前記スキャン画像の傾向を示す画素値プロフィールを抽出し、
    前記光沢補正手段は、前記スキャン画像の画素値に基づき光沢なしプロフィールを抽出し、
    前記画素値プロフィールと前記光沢なしプロフィールとの差分により前記湾曲による光沢成分を抽出し、
    抽出された前記光沢成分を画素値から減じて前記スキャン画像の光沢を補正する、
    b)無彩色に分類された一次元画像については、
    前記光沢補正手段は、
    近似モデルにより前記湾曲による光沢成分を抽出し、
    抽出された前記光沢成分を画素値から減じて前記スキャン画像の光沢を補正する、
    ことを特徴とする請求項1記載の画像処理装置。
  6. 前記光沢補正手段は、
    光沢を補正した前記スキャン画像のコントラストを補正するコントラスト補正手段を有する、
    ことを特徴とする請求項2ないし5いずれか記載の画像処理装置。
  7. 前記コントラスト補正手段は、
    抽出された前記光沢成分による光沢部分の光沢明度を算出し、
    前記光沢部分の画素値に基づく明度が所定より小さい場合、前記光沢明度に基づき前記光沢部分の画素値に基づく明度又は彩度を補正する、
    ことを特徴とする請求項6記載の画像処理装置。
  8. 前記地肌補正手段は、前記スキャン画像を前記綴じ部と垂直な方向に複数の領域に分割し、
    前記地肌補正手段は、前記領域毎に地肌を補正し、
    前記光沢補正手段は、前記領域毎に光沢を補正する、
    ことを特徴とする請求項1ないし7いずれか記載の画像処理装置。
  9. 前記地肌補正手段は、前記スキャン画像を前記綴じ部と平行な方向に複数の領域に分割し、
    前記地肌補正手段は、前記領域毎に地肌を補正し、
    前記光沢補正手段は、前記領域毎に光沢を補正する、
    ことを特徴とする請求項1ないし7いずれか記載の画像処理装置。
  10. 前記地肌補正手段は、前記スキャン画像を前記綴じ部と垂直及び平行な方向に複数の領域に分割し、
    前記地肌補正手段は、前記領域毎に地肌を補正し、
    前記光沢補正手段は、前記領域毎に光沢を補正する、
    ことを特徴とする請求項1ないし7いずれか記載の画像処理装置。
  11. コンタクトガラス上に載置されたブック原稿を読み取る画像読取ステップと、
    前記画像読み取り手段により読み取られた前記ブック原稿のスキャン画像の画素値から前記ブック原稿の平坦部の画素値を求め、前記平坦部の画素値に基づき前記スキャン画像の綴じ部付近の地肌を補正する地肌補正ステップと、
    前記ブック原稿の湾曲により生じる前記スキャン画像の光沢を補正する光沢補正ステップと、
    を有することを特徴とする画像処理方法。
  12. 前記地肌補正ステップは、
    前記ブック原稿の綴じ部と平行な方向の一次元画像毎に一次元画像の代表値を抽出して構成された前記綴じ部と垂直方向の画素値プロフィールを抽出するステップを有し、
    前記光沢補正ステップは、
    前記スキャン画像の画素値に基づき光沢がない場合の前記画素値プロフィールに相当する光沢なしプロフィールを抽出するステップと
    前記画素値プロフィールと前記光沢なしプロフィールとの差分により前記湾曲による光沢成分を抽出するステップと、
    抽出された前記光沢成分を前記スキャン画像の画素値から減じて前記スキャン画像の光沢を補正するステップと、
    を有することを特徴とする請求項11記載の画像処理方法。
  13. 前記光沢補正ステップでは、前記スキャン画像の彩度に、前記平坦部の画素値を乗じて前記光沢なしプロフィールを抽出する、
    ことを特徴とする請求項12記載の画像処理方法。
  14. 前記光沢補正ステップは、
    近似モデルにより前記湾曲による光沢成分を抽出するステップと、
    抽出された前記光沢成分を前記スキャン画像の画素値から減じて前記スキャン画像の光沢を補正するステップと、
    を有することを特徴とする請求項11記載の画像処理方法。
  15. 前記光沢補正ステップは、
    前記スキャン画像の一次元画像毎に有彩色か無彩色に分類するステップを有し、
    a)有彩色に分類された一次元画像については、
    前記地肌補正ステップにより、前記ブック原稿の綴じ部と垂直な方向の画素値に基づき前記スキャン画像の傾向を示す画素値プロフィールを抽出し、
    前記光沢補正ステップにより、前記スキャン画像の画素値に基づき光沢なしプロフィールを抽出し、
    前記画素値プロフィールと前記光沢なしプロフィールとの差分により前記湾曲による光沢成分を抽出し、
    抽出された前記光沢成分を画素値から減じて前記スキャン画像の光沢を補正する、
    b)無彩色に分類された一次元画像については、
    前記光沢補正ステップにより、
    近似モデルにより前記湾曲による光沢成分を抽出し、
    抽出された前記光沢成分を画素値から減じて前記スキャン画像の光沢を補正する、
    ことを特徴とする請求項11記載の画像処理方法。
  16. 前記光沢補正ステップは、
    光沢を補正した前記スキャン画像のコントラストを補正するコントラスト補正ステップを有する、
    ことを特徴とする請求項12ないし15いずれか記載の画像処理方法。
  17. 前記コントラスト補正ステップは、
    抽出された前記光沢成分による光沢部分の光沢明度を算出するステップと、
    前記光沢部分の画素値に基づく明度が所定より小さい場合、前記光沢明度に基づき前記光沢部分の画素値に基づく明度又は彩度を補正するステップと、
    を有することを特徴とする請求項16記載の画像処理方法。
  18. 前記地肌補正ステップにより、前記スキャン画像を前記綴じ部と垂直な方向に複数の領域に分割し、
    前記地肌補正ステップにより、前記領域毎に地肌を補正し、
    前記光沢補正ステップにより、前記領域毎に光沢を補正する、
    ことを特徴とする請求項11ないし17いずれか記載の画像処理方法。
  19. 前記地肌補正ステップにより、前記スキャン画像を前記綴じ部と平行な方向に複数の領域に分割し、
    前記地肌補正ステップにより、前記領域毎に地肌を補正し、
    前記光沢補正ステップにより、前記領域毎に光沢を補正する、
    ことを特徴とする請求項11ないし17いずれか記載の画像処理方法。
  20. 前記地肌補正ステップにより、前記スキャン画像を前記綴じ部と垂直及び平行な方向に複数の領域に分割し、
    前記地肌補正ステップにより、前記領域毎に地肌を補正し、
    前記光沢補正ステップにより、前記領域毎に光沢を補正する、
    ことを特徴とする請求項11ないし17いずれか記載の画像処理方法。
  21. コンピュータに、請求項11ないし20いずれか記載の画像処理方法を実行させるためのプログラム。
  22. 請求項21記載のプログラムを格納したコンピュータ読み取り可能な記憶媒体。
JP2005362379A 2005-12-15 2005-12-15 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体 Expired - Fee Related JP4646130B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005362379A JP4646130B2 (ja) 2005-12-15 2005-12-15 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005362379A JP4646130B2 (ja) 2005-12-15 2005-12-15 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体

Publications (2)

Publication Number Publication Date
JP2007166431A true JP2007166431A (ja) 2007-06-28
JP4646130B2 JP4646130B2 (ja) 2011-03-09

Family

ID=38248789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005362379A Expired - Fee Related JP4646130B2 (ja) 2005-12-15 2005-12-15 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体

Country Status (1)

Country Link
JP (1) JP4646130B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009038523A (ja) * 2007-07-31 2009-02-19 Canon Inc 画像処理装置及び画像処理方法
JP2009111665A (ja) * 2007-10-30 2009-05-21 Kyocera Mita Corp 画像形成装置
JP2010050756A (ja) * 2008-08-21 2010-03-04 Canon Inc 画像処理装置及び画像処理方法
US20210105377A1 (en) * 2019-10-03 2021-04-08 Fuji Xerox Co., Ltd. Image processing apparatus, crease forming device, and folding device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11341283A (ja) * 1998-05-28 1999-12-10 Minolta Co Ltd 画像読み取り装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11341283A (ja) * 1998-05-28 1999-12-10 Minolta Co Ltd 画像読み取り装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009038523A (ja) * 2007-07-31 2009-02-19 Canon Inc 画像処理装置及び画像処理方法
JP2009111665A (ja) * 2007-10-30 2009-05-21 Kyocera Mita Corp 画像形成装置
JP2010050756A (ja) * 2008-08-21 2010-03-04 Canon Inc 画像処理装置及び画像処理方法
US8351090B2 (en) 2008-08-21 2013-01-08 Canon Kabushiki Kaisha Image processing apparatus, method of imaging processing and storage medium
US20210105377A1 (en) * 2019-10-03 2021-04-08 Fuji Xerox Co., Ltd. Image processing apparatus, crease forming device, and folding device
US11659115B2 (en) * 2019-10-03 2023-05-23 Fujifilm Business Innovation Corp. Image processing apparatus, crease forming device, and folding device specifying the position of a folding line based on acquiring first image information and second image information

Also Published As

Publication number Publication date
JP4646130B2 (ja) 2011-03-09

Similar Documents

Publication Publication Date Title
JP4926568B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US7016081B2 (en) Image distortion correction apparatus, distortion correction method therefor, recording media, image scanner and image construction apparatus
JP2005310068A (ja) 白目補正方法及びこの方法を実施する装置
JP2006203703A (ja) 画像処理装置、画像形成装置、画像読取処理装置、画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP4271085B2 (ja) 画像補正装置、画像読取装置、プログラム及び記憶媒体
JP4646130B2 (ja) 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体
JP4162633B2 (ja) 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体
JP3820751B2 (ja) 画像処理装置および方法ならびに画像処理プログラムを記録した記録媒体
JP4111697B2 (ja) 画像輝度補正装置、画像読取装置、画像形成装置及びプログラム
JP3983721B2 (ja) 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム
JP4577844B2 (ja) 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体
JP4577845B2 (ja) 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体
JP4024737B2 (ja) 画像処理装置、画像読取装置、画像形成装置、画像処理方法、およびプログラム
JP4180260B2 (ja) 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム
JP4073877B2 (ja) 画像処理方法、画像処理装置及び画像形成装置並びにコンピュータプログラム
JP3979639B2 (ja) 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム
JP4093970B2 (ja) 画像歪み補正装置、プログラム及び記憶媒体
JP4194076B2 (ja) 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体
JP4198613B2 (ja) 画像歪み補正装置、プログラム及び記憶媒体
JP4480291B2 (ja) 画像歪み補正装置、記憶媒体、プログラム、画像歪み補正方法、画像読取装置および画像形成装置
JP3917421B2 (ja) 画像輝度補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体
JP2003143407A (ja) 画像輝度補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体
JP2003204428A (ja) 画像補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体
JP2002185791A (ja) 画像処理装置、画像処理方法および記録媒体並びに画像形成装置
JP2000004352A (ja) 画像処理方法及び画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101202

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees