JP2011199405A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】原稿搬送中の速度変化や、原稿の浮きなどが発生した場合においても、イメージセンサ間のずれが発生しないような画像を得られるようにする。
【解決手段】複数のイメージセンサを原稿搬送方向に所定の間隔を空けて配置し、隣接するイメージセンサの読み取り部分を所定の画素数だけ主走査方向に重ねて配置した画像読取手段により原稿を読み取り、副走査方向の位置ずれを補正し、合成処理する画像処理装置において、原稿に含まれる画像データから副走査方向のずれ量を検出し、その情報から副走査方向の画像位置合わせを行い、画像合成する。
【選択図】図６

Description

本発明は、複数のイメージセンサを備えた画像読取手段により原稿を読み取り、その画像データを処理する画像処理装置及び画像処理方法に関する。

複数のイメージセンサが原稿搬送方向に所定の間隔を空けて配置され、隣接するイメージセンサの一部が主走査方向に重複して配置された構成の画像読取手段を使用して原稿画像を読取り合成処理する画像処理装置が知られている。

従来、このような画像処理装置において、画像のイメージセンサ間のずれ量を検出し補正する技術としては、原稿画像の読み取り開始前に、特定のマーカ画像を読取り、イメージセンサ間の主走査、副走査のずれ量を検出することで画像合成時の画像ずれを低減するようにした技術が知られている（例えば、特許文献１）。

従来の原稿画像の読み取り開始前に、イメージセンサ間の主走査、副走査のずれ量を検出する技術では、実際に原稿が搬送される最中に発生する速度変化や、原稿自体の浮きなどが発生した場合については、依然として画像ずれ問題が解消されない。

本発明は、複数のイメージセンサが原稿搬送方向に所定の間隔を空けて配置され、隣接するイメージセンサの一部が主走査方向に重複して配置された構成の画像読取手段を使用して原稿画像を読み取り合成処理する画像処理装置において、原稿搬送中の速度変化や、原稿の浮きが発生した場合でも、イメージセンサ間のずれが発生しない画像を得られるようにすることを目的とする。

請求項１の発明は、複数のイメージセンサを原稿搬送方向に所定の間隔を空けて配置し、隣接するイメージセンサの読み取り部分を所定の画素数だけ主走査方向に重ねて配置した画像読取手段により原稿を読み取り、副走査方向の位置ずれを補正し、合成処理する画像処理装置において、原稿に含まれる画像データから副走査方向のずれ量を検出し、その情報から副走査方向の画像位置合わせを行い、画像合成を実施することを特徴とする。

請求項２の発明は、請求項１に記載の画像処理装置において、副走査方向の濃度変化があるような特徴的な画像において副走査方向のずれ量の検出を行い、それ以外の箇所はずれ量の検出された箇所のずれ量からずれ量を検出することを特徴とする。

請求項３の発明は、請求項１又は２に記載の画像処理装置において、複数のずれ量候補が検出された場合は、ずれ量の非検出連続性を参照することで、ずれ量の候補を決定することを特徴とする。

請求項４の発明は、請求項１乃至３のいずれか１項に記載の画像処理装置において、ずれ量の検出にあたり、画像補正処理によりイメージセンサ同士の特性を合わせることを特徴とする。

請求項５の発明は、請求項１乃至４のいずれか１項に記載の画像処理装置において、副走査ずれの検出位置からさらに遅い位置において、副走査方向のずれ補正を実施することで、副走査ずれ情報を一定期間フィードバックすることが可能となることを特徴とする。

請求項６の発明は、請求項１乃至５のいずれか１項に記載の画像処理装置において、あらかじめ主走査方向のずれ量を検出しておき、前記ずれ量に基づき主走査方向ずれ補正を行い、該主走査方向ずれ補正後の画像を基に副走査方向のずれ量を検出することを特徴とする。

請求項７の発明は、複数のイメージセンサを原稿搬送方向に所定の間隔を空けて配置し、隣接するイメージセンサの読み取り部分を所定の画素数だけ主走査方向に重ねて配置した画像読取手段により原稿を読み取り、副走査方向の位置ずれを補正し、合成処理する画像処理方法において、原稿に含まれる画像データから副走査方向のずれ量を検出し、その情報から副走査方向の画像位置合わせを行い、画像合成を実施することを特徴とする。

請求項８の発明は、請求項７に記載の画像処理方法において、副走査方向の濃度変化があるような特徴的な画像において副走査方向のずれ量の検出を行い、それ以外の箇所はずれ量の検出された箇所のずれ量からずれ量を検出することを特徴とする。

請求項９の発明は、請求項７又は８に記載の画像処理方法において、複数のずれ量候補が検出された場合は、ずれ量の非検出連続性を参照することで、ずれ量の候補を決定することを特徴とする。

請求項１０の発明は、請求項７乃至９のいずれか１項に記載の画像処理方法において、ずれ量の検出にあたり、画像補正処理によりイメージセンサ同士の特性を合わせることを特徴とする。

請求項１１の発明は、請求項７乃至１０のいずれか１項に記載の画像処理方法において、副走査ずれの検出位置からさらに遅い位置において、副走査方向のずれ補正を実施することで、副走査ずれ情報を一定期間フィードバックすることが可能となることを特徴とする。

請求項１２の発明は、請求項７乃至１１のいずれか１項に記載の画像処理方法において、あらかじめ主走査方向のずれ量を検出しておき、前記ずれ量に基づき主走査方向ずれ補正を行い、該主走査方向ずれ補正後の画像を基に副走査方向のずれ量を検出することを特徴とする。

請求項１、７の発明によれば、原稿に含まれる画像データから副走査方向のずれ量を検出し、その情報から副走査方向の画像位置合わせを行い、画像合成を実施するので、原稿搬送の速度ムラや原稿浮きなどが発生した場合でも、複数のイメージセンサ間の画像ずれを低減することができる。

請求項２、８の発明によれば、副走査方向の濃度変化が少ないエリアでは、ずれ量検出が誤判定しやすいので、算出が容易な箇所でずれ量を算出することで、副走査ずれ量の検出精度を低下させないようにすることができる。また、ずれ検出が出来ないような箇所であっても滑らかな画像合成が可能になる。

請求項３、９の発明によれば、横万線のようなエリアにおいて、ずれ量候補が複数ある場合の誤判定を低減することができる。

請求項４、１０の発明によれば、イメージセンサの特性差が大きいような場合において、ずれ量の誤検出を低減することができる。

請求項５、１１の発明によれば、副走査ずれ量のフィードバックが可能となることにより、ずれ量の急激な差を抑制することが可能になる。

請求項６、１２の発明によれば、副走査方向のずれ量の検出に先立って、主走査方向のずれ量を補正することで、更に滑らかな画像合成が可能になる。

本発明にかかる画像処理装置の一実施形態の全体構成図。 本発明の原理について説明する図。 処理全体の大まかな流れについて説明する図。 主走査ずれ量検出処理の流れを示す図。 主走査のずれ量検出用パターンについて説明する図。 原稿画像に対する全体的処理の流れを示す図。 副走査ずれ量検出処理の一実施例について説明する図。 ずれ量検出実施判定に用いるフィルタ係数の一例を示す図。 副走査ずれ量検出について説明する図。 差分とずれ量の関係について説明する図。 ずれ量選択の優先度について説明する図。 ずれ量のフィードバック処理について説明する図。 副走査ずれ補正処理の流れを示す図。 副走査ずれ補正の方法について説明する図。 画像の１ライン化処理について説明する図。

以下、本発明の一実施形態について図面を参照して詳しく説明する。

図１は、本発明にかかる画像処理装置の一実施形態の全体構成図である。図１に示すように、本画像処理装置は画像読取部１０、アナログ／デジタル変換器（Ａ／Ｄ）２１，２２、画像処理部３０、画像出力部４０、メモリ部５０などを有している。他に、ユーザのための操作部や外部装置との通信のための通信制御部などを備えているが、図１では省略してある。

画像読取部１０は、２つのイメージセンサ１，２を用いて原稿を読み取る。ここで、イメージセンサ１，２は、それぞれ原稿搬送方向（副走査方向）に所定の間隔を空けて配置され、更に、端部の読み取り部分が主走査方向に所定の画素数だけ互いに重複して配置されている。

Ａ／Ｄ２１は、イメージセンサ１から出力されるアナログ信号の画像データをデジタル信号に変換する。同様に、Ａ／Ｄ２２は、イメージセンサ２から出力されるアナログ信号の画像データをデジタル信号に変換する。なお、これらＡ／Ｄ２１，２２は画像読取部１０に内蔵されることでもよい。

画像処理部３０は、画像読取部１０のイメージセンサ１，２で読み取られた原稿の画像データをＡ／Ｄ２１，２２を介して取り込み、ずれ量を補正し合成する。該画像処理部３０は、画像補正手段３１、主走査ずれ量検出手段３２、主走査ずれ量補正手段３３、副走査ずれ量検出手段３４、副走査ずれ補正手段３５、合成手段３６、及びメモリコントローラ３７などで構成される。なお、画像処理部３０の実態はＣＰＵであり、これら各手段はハードウエアとソフトウエアの協働で機能する。

画像出力部４０は、画像処理部３０で合成処理された原稿画像を出力する。該画像出力部４０はプリンタや表示装置の総称である。

メモリ部５０は、イメージセンサ２の画像データを蓄積するメモリ領域（以下、メモリ１）、主走査方向のずれ量を蓄積するメモリ領域（以下、メモリ２）、イメージセンサ１の画像データを蓄積するメモリ領域（以下、メモリ３）を有する。該メモリ部５０はＲＡＭなどで構成される。他に、画像処理部３０での処理のためのプログラムを記憶するＲＯＭ、画像処理部３０での処理に必要なテーブル類、処理した画像データなどを蓄積するハードディスク等を備えているが、ここでは省略する。

図２は、本発明の原理を説明する図である。ここで、イメージセンサ１，２の配置間隔ΔＤと読取り解像度に依存した、ライン数が理論的な副走査方向のずれ量となる。図２では、原稿１が矢印方向に搬送されるため、画像データの読み取りは、イメージセンサ２のほうがイメージセンサ１より早いタイミングで行われる。そこで、画像処理部３０では、ラインセンサ１，２間のずれ量を検出するために、イメージセンサ２で得られた画像データをメモリ１に一旦蓄積し、ΔＤに相当するライン数分だけ遅延した後、イメージセンサ２で得られた画像データと、重複部分を比較することでずれ量を検出する。

図３は、画像処理部３０における一実施例の処理全体の大まかな流れについて説明する図である。画像処理部３０は、特定の主走査ずれ検知用パターン（テストパターン）をイメージセンサ１，２で読み取ることで、主走査ずれ量を検出する（処理１００）。これは、原稿読取前にあらかじめ実施しておく（例えば、装置の組み立て時など）。その後、原稿がイメージセンサ１，２で読み取られた時、画像処理部３０では、主走査ずれ補正を実施した後、イメージセンサ間の重複部分の画像から、副走査方向のずれ量を検出し、ずれ補正を実施する（処理２００）。

図４は、主走査ずれ量検出処理の流れについて説明する図である。主走査ずれ量検出には、図５に示すように、イメージセンサ１，２の重複部分にかかるような縦線のテストパターンを含む調整用シートを用いる。

イメージセンサ１，２は、図５に示すような調整シートを読み取る。Ａ／Ｄ２１，２２は、それぞれイメージセンサ１，２から出力されるアナログ信号の画像データをデジタル信号に変換する。

画像処理部３０は、イメージセンサ１，２で読み取られた調整用シートの画像データをＡ／Ｄ２１，２２を介して取り込み、以下の処理を実施する。

イメージセンサ２で得られた画像データ（以下、画像２とする）を画像補正手段３１で画像補正し、イメージセンサ１と画像特性を合わせる。画像補正としては、シェーディング補正、濃度γ補正などが挙げられる。画像補正後の画像２をメモリ１に蓄積し、センサ間隔ΔＤに相当するライン数遅延させた後、主走査ずれ量検出手段３２に送る。一方、イメージセンサ１で得られた画像データ（以下、画像２とする）は、直接、主走査ずれ量検出手段３２に送る。

主走査ずれ量検出手段３２は、画像１と画像２により主走査方向のずれ量を算出する。具体的には、イメージセンサ１，２の重複部分にかかる縦線のテストパターン（図５）に着目してパターンマッチングを行うことにより、主走査方向のずれ量を算出する。パターンマッチング処理自体は周知であるので、詳細は省略する。算出したずれ量はメモリ２に蓄積する。

図３で述べたように、２の主走査方向のずれ量検出は、装置の組み立て時など、原稿の読み取り前にあらかじめ実施しておく。

図５は、原稿画像に対する全体的処理の流れについて説明する図である。イメージセンサ１，２は実際の原稿を読み取る。Ａ／Ｄ２１，２２は、それぞれイメージセンサ１，２から出力されるアナログ信号の画像データをデジタル信号に変換する。

画像処理部３０は、イメージセンサ１，２で読み取られた原稿画像データをＡ／Ｄ２１，２２を介して取り込み、以下の処理を実施する。なお、イメージセンサ１で得られた原稿画像データを画像１、イメージセンサ２で得られた原稿画像データを画像２とする。

イメージセンサ２で得られた画像２を画像補正手段３１で画像補正し、イメージセンサ１と画像特性を合わせる。画像補正としては、シェーディング補正、濃度γ補正などが挙げられる。

主走査ずれ量補正手段３３は、あらかじめメモリ２に蓄積されている主走査ずれ補正量情報に基づき、画像補正後の画像２について主走査ずれ補正を行う。これは、基本的に従来と同様である。主走査ずれ補正後の画像２をメモリ１に蓄積し、センサ間隔ΔＤに相当するライン数分遅延させた後、副走査ずれ量検出手段３４に送る。一方、イメージセンサ１で得られた画像２は、直接、副走査ずれ量検出手段３４に送る。

副走査ずれ量検出手段３４は、イメージセンサ２の画像２についてイメージセンサ１で得られた画像１と位置を大まかに合わせる。そして、この大まかな副走査調整位置後の画像１と画像２から（重複部分の画像から）、副走査ずれ量を検出する。これについては、後述する。副走査ずれ量情報は、画像１と合わせてメモリ３に蓄積する。

画像１を一定ライン（ΔＥ）遅延された後、メモリ１から画像２を読み出す。この際、読出し位置は、メモリコントローラ３７により、画像１と位置合わせたラインの画像２を読み出す。副走査ずれ補正手段３５は、副走査ずれ量情報をもとに、画像２に対して副走査ずれ補正を実施する。合成手段３６は、画像１とずれ補正された画像２を合成し、１ラインの画像データとする。副走査ずれ量検出、副走査ずれ補正、画像合成については後述する。

図７は副走査ずれ量検出手段３４での処理の詳細を説明する図である。副走査方向のずれ量の検出は、副走査方向の濃度変化があるような特徴的な画像において行い、それ以外の箇所はずれ量の検出された箇所のずれ量からずれ量を検出するようにする。また、複数のずれ量候補が検出された場合は、ずれ量の非検出連続性を参照することで、ずれ量の候補を決定するようにする。

フィルタ３４１において画像１に対して所定のフィルタ係数演算を行い、結果を絶対値化する。図８にフィルタ係数の一例を示す。

ずれ検出量実施判定処理３４２では、フィルタ結果が閾値ＤＴＨ（調整可能な値とする）未満の場合は、画像ずれ検出候補外とし、着目ラインの非検出カウンタを“＋１”とする。閾値ＤＴＨ以上の濃度差がある場合は、着目ラインの非検出カウンタを“０”にリセットし、以降のずれ量算出を実施するようにする。なお、非検出カウンタは、後述のずれ量決定処理の優先順位付けに用いる。

ずれ量候補点及びずれ量算出処理３４３では、画像１と画像２から（重複部分の画像から）、副走査方向のずれ量候補と、そのずれ量候補ごとのずれた量を算出する。

図９は、副走査ずれ量候補とそのずれ量検出について説明する図である。画像１、画像２をそれぞれ、副走査方向に画素補正を行ったものを画像１’、画像２’とする。画像１’を基準に、画像２’を副走査上下方向にずらしつつ、差分の極小値となるずれ量を検出する。だだし、閾値ＭＩＮＴＨ（調整可能な値とする）よりも大きい極小値は候補から除外する。

図１０に差分とずれ量の関係を示す。ここで、ずれ量の大小関係は、上方向にずらした場合はマイナス側のずれ量、下方向にずらした場合はプラス側のずれ量とする。上下方向への画像２のずらし量については上限ライン数を規定し、その範囲内における差分からずれ量候補、及びずれ量を算出するようにする。

ずれ量決定処理３４４では、ずれ量候補が一つの場合はそのずれ量を決定するが、ずれ量候補が複数存在する場合は、以下の優先順位によりずれ量を選択して決定する。
１．前ラインの非検出カウンタ値が閾値ＣＮＴＴＨ（調整可能な値とする）以上である場合は、ずれ量の小さい側を選択する。図１１は、このような場合の例で、ずれ量の検出候補箇所が一定期間無いような状態で、ずれ量候補が２点あるような状態を示したものである。この場合は、ずれ量候補１を優先するように、非検出カウンタを参照して決定する。
２．前ラインのずれ量に近いずれ量候補のずれ量を選択する。
３．ずれ量候補の内で、差分（図１０参照）が最小となるずれ量候補のずれ量を選択する。

なお、ずれ量検出実施判定処理３４２でずれ量検出の対象外となったラインの場合、以下の式でずれ量を算出してメモリ３に蓄積する。
（ｉ）前ラインズレ量が０以上の場合
ズレ量＝前ラインずれ量−α （０以下となった場合は“０”にクリップ）
（ii）前ラインズレ量が０未満の場合
ズレ量＝前ラインずれ量＋α （０以上となった場合は”０”にクリップ）
α：ずれ量の伝播係数で調整可能な定数とする。

ずれ量フィードバック処理３４５では、ずれ量が検出されたポイントでは、ずれ量をそのままメモリ３に蓄積し、なおかつ、前ラインまでのずれ量をフィードバック補正する。

図１２は、ずれ量のフィードバックについて説明する図である。図１２（ａ）は、検出したずれ量をフィードバックする例で、検出したずれ量から、前ラインのずれ量へとフィードバックする。方法としては、ずれ量の伝播係数αを用いて以下の通りに算出する。
（ｉ）最新のズレ量が０以上の場合
１ライン前ずれ量＝最新ずれ量−α （０以下となった場合は“０”にクリップ）
２ライン前ずれ量＝１ライン前のずれ量−α
（０以下となった場合は“０”にクリップ）
（以下、０になるまで繰り返し）
（ii）最新のずれ量が０未満の場合
１ライン前ずれ量＝最新ずれ量＋α （０以下となった場合は“０”にクリップ）
２ライン前ずれ量＝１ライン前のずれ量＋α
（０以下となった場合は“０”にクリップ）
（以下、０になるまで繰り返し）

図１２（ｂ）は、画像ずれ検出候補外の場合のズレ量の遅延伝播の例である。画像ずれ検出点にはさまれた“画像ずれ検出候補外”のずれ量は、図１２（ｃ）のようにずれ量の絶対値の大きい方をずれ量とする。

図１３は副走査方向ずれ補正について説明する図である。画像１はメモリ３に蓄積した後、所定のライン数（Ｅライン）遅延させ、メモリ３から読み出す。この際、ずれ量情報も読み出す。画像２はメモリ１に蓄積した後、ずれ量に依存したライン数（ΔＤ＋Ｅ＋ずれ量）遅延させ、メモリ１から読み出す。読み出し位置は、メモリコントローラ３７により、画像１と位置合わせたラインの画像２を読み出す。なお、ずれ量は小数を含む値となる。このため、小数部の補正を考慮して、実際にメモリ１から画像１を読み出す際は複数ラインを読み出す。

副走査ずれ補正手段３６は、画像２に対して副走査ずれ補正を実施する。これには、例えば、３次元コンボリューション法により、補正後データを算出する方法などがある。演算式は、次の式（１）を用いる。

ここで、Ｓ_ｎはずれ算出用データ、ｈ（ｘ）は補正係数、γはずれ量の小数部、σはずれ補正後データである。図１４（ａ）にＳ_ｎ，γ，σの関係、図１４（ｂ）にｈ（ｘ）の関数を示す。３次元コンボリューション法は周知であるので、詳細は省略する。

合成手段３６は、副走査方向のずれ補正が完了した画像２と、画像１とを用いて１つの画像に結合する（１ライン化）。この際、図１５に示すように、重複する部分について、画像１と画像２の重み付けを主走査座標毎に変えながら平均化する。

以上、本発明の一実施形態について説明したが、本発明は、これに限定されるものでないことは云うまでもない。

１０ 画像読取部（イメージセンサ１，２）
３０ 画像処理部
３１ 画像補正手段
３２ 主走査ずれ量検出手段
３３ 主走査ずれ量補正手段
３４ 副走査ずれ量検出手段
３５ 副走査ずれ補正手段
３６ 合成手段
３７ メモリコントローラ
４０ 画像出力部
５０ メモリ（メモリ１，２，３）

特開２００８−０２２０６２号公報

Claims (12)

1. 複数のイメージセンサを原稿搬送方向に所定の間隔を空けて配置し、隣接するイメージセンサの読み取り部分を所定の画素数だけ主走査方向に重ねて配置した画像読取手段により原稿を読み取り、副走査方向の位置ずれを補正し、合成処理する画像処理装置において、
   原稿に含まれる画像データから副走査方向のずれ量を検出し、その情報から副走査方向の画像位置合わせを行い、画像合成を実施することを特徴とする画像処理装置。
2. 副走査方向の濃度変化があるような特徴的な画像において副走査方向のずれ量の検出を行い、それ以外の箇所はずれ量の検出された箇所のずれ量からずれ量を検出することを特徴とする請求項１に記載の画像処理装置。
3. 複数のずれ量候補が検出された場合は、ずれ量の非検出連続性を参照することで、ずれ量の候補を決定することを特徴とする請求項１又は２に記載の画像処理装置。
4. ずれ量の検出にあたり、画像補正処理によりイメージセンサ同士の特性を合わせることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 副走査ずれの検出位置からさらに遅い位置において、副走査方向のずれ補正を実施することで、副走査ずれ情報を一定期間フィードバックすることが可能となることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. あらかじめ主走査方向のずれ量を検出しておき、前記ずれ量に基づき主走査方向ずれ補正を行い、該主走査方向ずれ補正後の画像を基に副走査方向のずれ量を検出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 複数のイメージセンサを原稿搬送方向に所定の間隔を空けて配置し、隣接するイメージセンサの読み取り部分を所定の画素数だけ主走査方向に重ねて配置した画像読取手段により原稿を読み取り、副走査方向の位置ずれを補正し、合成処理する画像処理方法において、
   原稿に含まれる画像データから副走査方向のずれ量を検出し、その情報から副走査方向の画像位置合わせを行い、画像合成を実施することを特徴とする画像処理方法。
8. 副走査方向の濃度変化があるような特徴的な画像において副走査方向のずれ量の検出を行い、それ以外の箇所はずれ量の検出された箇所のずれ量からずれ量を検出することを特徴とする請求項７に記載の画像処理方法。
9. 複数のずれ量候補が検出された場合は、ずれ量の非検出連続性を参照することで、ずれ量の候補を決定することを特徴とする請求項７又は８に記載の画像処理方法。
10. ずれ量の検出にあたり、画像補正処理によりイメージセンサ同士の特性を合わせることを特徴とする請求項７乃至９のいずれか１項に記載の画像処理方法。
11. 副走査ずれの検出位置からさらに遅い位置において、副走査方向のずれ補正を実施することで、副走査ずれ情報を一定期間フィードバックすることが可能となることを特徴とする請求項７乃至１０のいずれか１項に記載の画像処理方法。
12. あらかじめ主走査方向のずれ量を検出しておき、前記ずれ量に基づき主走査方向ずれ補正を行い、該主走査方向ずれ補正後の画像を基に副走査方向のずれ量を検出することを特徴とする請求項７乃至１１のいずれか１項に記載の画像処理方法。

Images