JP2006303951A

JP2006303951A - 画像処理装置、画像処理方法及び記憶媒体

Info

Publication number: JP2006303951A
Application number: JP2005123424A
Authority: JP
Inventors: Tadashi Inoue; 匡井上
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-04-21
Filing date: 2005-04-21
Publication date: 2006-11-02

Abstract

【課題】赤外光によるゴミキズ画素の抽出抜けを防止する画像処理装置、画像処理方法及び記憶媒体の提供。
【解決手段】赤外光により抽出できなかったゴミキズ画素を、抽出したゴミキズ画素の分布状態により判断し抽出する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及び記憶媒体に係わり、画像中の欠損部を補正する画像処理装置、方法及びコンピュータを画像処理装置として機能させるためのプログラムが格納された装置に関する。

原稿には、本来の画像の他に、原稿の地肌汚れ等によるゴミキズが含まれていることが多い。そのような原稿のゴミキズを補正する場合、従来のゴミキズ補正方法は、赤外画像を用いゴミキズを判別するための閾値を算出、赤外画像を閾値濃度によりゴミキズ画素の抽出をおこない、検出したゴミキズ部分の可視画像の補正をおこなっている（例えば、特許文献１参照）。
特開２００２−１８３７２３号公報

しかしながら、赤外画像によるゴミキズ画素の抽出をおこなうと、本来ゴミキズであるはずの画素の一部を抽出できない可能性があり（図１）、抽出できなかった部分はゴミキズ補正されず、可視画像上でゴミキズとして残ってしまう。本発明は、閾値によりゴミキズと判別したゴミキズ画素の周辺部から補正を実施し、ゴミキズの内側に島状のゴミキズでない画素が存在しても、ゴミキズであると判断し補正を実施することを目的とする（図１）。

上記課題を解決するために成された本発明に係る画像データ処理装置は、可視光及び不可視光を照射する発光部と、前記発光部により照射された原稿からの光を検出して可視画像データを検出する可視画像検出手段と、前記発光部から不可視光を検出して原稿上のゴミキズを検出するゴミキズ検出手段と、前記可視画像検出手段から可視画像データを出力する可視画像出力手段と、前記ゴミキズ検出手段からゴミキズ画像を出力するゴミキズ画像出力手段と、前記ゴミキズ画像出力手段から得られたゴミキズ画素に対してゴミキズ判定をおこなうための閾値を算出する閾値算出手段と、前記閾値算出手段より得られた閾値を基に各画素のゴミキズ判別をおこなうゴミキズ判別手段１と、ゴミキズの分布状況を元に各画素のゴミキズ判別をおこなうゴミキズ判別手段２と、ゴミキズ判別手段１及び２により判別されたゴミキズ画素に対応する可視画像の画素補正を実施する可視画像補正手段と、を有することを特徴とする画像処理機能を備えるものである。

これに加えて更に、ゴミキズ判別手段２は、ゴミキズに対して周辺から補正していき、ゴミキズの内側にゴミキズでない画素が存在しても、ゴミキズであると判断し補正を実施する手段を備えても良い。

上記課題を解決するために成された本発明に係る画像データ処理方法は、可視光及び不可視光を照射する発光工程と、前記発光工程により照射された原稿からの光を検出して可視画像データを検出する可視画像検出工程と、前記発光工程から不可視光を検出して原稿上のゴミキズを検出するゴミキズ検出工程と、前記可視画像検出工程から可視画像データを出力する可視画像出力工程と、前記ゴミキズ検出手段からゴミキズ画像を出力するゴミキズ画素ゴミキズ出力工程と、前記ゴミキズ検出工程から得られたゴミキズ画素に対してゴミキズ判定をおこなうための閾値を算出する閾値算出工程と、前記閾値算出工程により得られた閾値を基に各画素のゴミキズ判別をおこなうゴミキズ判別工程１と、ゴミキズの分布状況を元に各画素のゴミキズ判別をおこなうゴミキズ判別工程２と、ゴミキズ判別工程１及び２により判別されたゴミキズ画素に対応する可視画像の画素補正を実施する可視画像補正工程と、を有することを特徴とする画像処理機能を備えるものである。

これに加えてさらに、ゴミキズ判別工程２は、ゴミキズに対して周辺から補正していき、ゴミキズの内側にゴミキズでない画素が存在しても、ゴミキズであると判断し補正を実施する工程を備えても良い。

上記課題を解決するために成された本発明に関わる画像データ処理方法は、画像処理装置内のコンピュータによって実行され、画像を補正するプログラムが格納された記憶媒体において、前記プログラムは、ゴミキズ画素に対してゴミキズ判定をおこなうための閾値を算出する算出手順と、前記算出手順より得られた閾値を基に各画素のゴミキズ判別をおこなう判別手順と、前記判別手順により得られた閾値を基に各画素のゴミキズ判別をおこなうゴミキズ判別手順１と、ゴミキズの分布状況を元に各画素のゴミキズ判別をおこなうゴミキズ判別手順２と、ゴミキズ判別手順１及び２により判別されたゴミキズ画素に対応する可視画像の画素補正を実施する可視画像補正手順と、を有することを特徴とする記憶媒体を備えるものである。

これに加えて更に、ゴミキズ判別手順２は、ゴミキズに対して周辺から補正していき、ゴミキズの内側にゴミキズでない画素が存在しても、ゴミキズであると判断し補正を実施することを特徴とする記憶媒体。

本願の請求項１から請求項６に記載した発明は、赤外画像により抽出できなかったゴミキズ画素を図４又は図６のアルゴリズムで抽出する。これにより赤外画像によって抽出できなかった本来ゴミキズである画素の抽出が可能となるためこれまでよりも精度良くゴミキズ補正を実施することが可能となる。

以下、本発明に関わる各実施の形態を説明する。

［実施の形態１］
本発明の第１、第２、第３、第４、第５、及び第６の実施形態に係る画像処理装置は、図２に示すように、可視光発光部１と、赤外光発光部２と、原稿３を通過した可視光を受光するイメージセンサ４と、原稿３を通過した赤外光を受光するイメージセンサ５と、イメージセンサ４にて受光した可視光を検出する検出手段６と、イメージセンサ５にて受光した赤外光を検出する検出手段７と、赤外画像からゴミキズ画素を識別するための閾値を算出する閾値算出手段８と、赤外画像及び可視画像から閾値算出手段８により決定された閾値によりゴミキズの判別をおこなうゴミキズ判別手段９ａと、ゴミキズの分布状況を元に各画素のゴミキズ判別をおこなうゴミキズ判別手段９ｂと、ゴミキズ判別手段９ａ及び９ｂにて判別されたゴミキズ画素に対応する可視画像のゴミキズ画素を補正するための可視画像補正手段１０と、を備えている。

本実施形態は、ゴミキズ判別手段９ａにて検出した赤外画像１１内のゴミキズ画素と判定されたゴミキズ画素群１２において、判定スタート画素１３より図４のアルゴリズムにてゴミキズ検索を実施する。まずゴミキズを検索する方向をきめるためのゴミキズ検索方向矢印の向きを設定、検索方向矢印に対して左側画素がゴミキズであるかないかを判断する（１８）。左側の画素がゴミキズの場合、本画素はゴミキズ画素群の画像端の画素ではないと判断し、検索方向矢印を左に９０°回転し左側画素へ移動する（１９）。検索方向矢印に対して左側画素がゴミキズでない場合、進行方向正面の画素がゴミキズであるかないかを判断する（２０）。進行方向正面の画素がゴミキズ画素の場合、正面のゴミキズ画素に移動する（２１）。進行方向正面の画素がゴミキズ画素でない場合、検索方向矢印を右に９０°回転し（２２）、再度１８の条件に戻り、注目するゴミキズ画素がゴミキズ画素群の画像端の画素であるかどうかを判断する。また、１８→２０→２２→２３の条件が繰り返され、検索方向矢印が元の方向に戻った場合は、本ゴミキズ画素が属するゴミキズ群には、ゴミキズ画素でない島状の画素群は存在しないと判断し、まだ周辺にゴミキズ画素でない島状の画素群が存在するかどうか判断していないゴミキズ画素群に対して、図４のアルゴリズムの手順でゴミキズ画素でない島状の画素群が存在するかどうかの検索を実施する。

また、図４のアルゴリズムにおいて、１９、２０にて注目する画素を移動した際、移動先画素が判定を開始した画素１３あるかどうかを判断する。移動先画素が判定を開始した画素１３である場合、本ゴミキズ画素群にはゴミキズでない島状の画素群が存在すると判断し検索矢印で囲まれた内側の画素は全てゴミキズと判定する（１５）。移動先画素が判定を開始した画素１３でない場合は、移動先画素が既に検索した画素であるかどうかの判断を実施する。既に検索した画素であった場合（但し現在注目している画素に対して隣接した検索済みの画素は除く）、ゴミキズでない島状の画素群は存在しないと判断し、検索矢印で囲まれた内側の画素に関しては全てゴミキズであると判定する（１７）。移動先画素が既に検索した画素でなかった場合、１８の条件に戻り図４のアルゴリズムを実施していく。

これにより、図１のように本来ゴミキズであるはずの画素が赤外画像データにより抽出できなかったとしても、ゴミキズ画素に囲まれたゴミキズ画素と判断されていない画素はゴミキズとみなして補正を実施することができる。これにより、これまで赤外画像によってゴミキズ画素の抽出をおこなっても抽出できなかったゴミキズ画素を抽出できるため、可視画像上でゴミキズが一部残ってしまうという本ゴミキズ除去方式の問題点を解決できる（図１）。

［実施の形態２］
本発明の第１、第２、第３、第４、第５、及び第６の実施形態に係る画像処理装置は、図２に示すように、可視光発光部１と、赤外光発光部２と、原稿３を通過した可視光を受光するイメージセンサ４と、原稿３を通過した赤外光を受光するイメージセンサ５と、イメージセンサ４にて受光した可視光を検出する検出手段６と、イメージセンサ５にて受光した赤外光を検出する検出手段７と、赤外画像からゴミキズ画素を識別するための閾値を算出する閾値算出手段８と、赤外画像及び可視画像から閾値算出手段８により決定された閾値によりゴミキズの判別をおこなうゴミキズ判別手段９ａと、ゴミキズの分布状況を元に各画素のゴミキズ判別をおこなうゴミキズ判別手段９ｂと、ゴミキズ判別手段９ａ及び９ｂにて判別されたゴミキズ画素に対応する可視画像のゴミキズ画素を補正するための可視画像補正手段１０と、を備えている。

本実施形態は、ゴミキズ判別手段９ａより検出した赤外画像１１内のゴミキズ画素と判定されたゴミキズ画素群１２において、判定スタート画素３０より図６のアルゴリズムにてゴミキズ検索を実施する。まずゴミキズを検索する方向をきめるためのゴミキズ検索方向矢印の向きを設定、検索方向矢印３１に対して左側画素がゴミキズであるかないかを判断する（３５）。左側の画素がゴミキズの場合、本画素はゴミキズ画素群の画像端の画素ではないと判断し、検索方向矢印を左に９０°回転し左側画素へ移動する（３６）。検索方向矢印に対して左側画素がゴミキズでない場合、進行方向左前側の画素がゴミキズ画素であるかないかを判断する（３７）。進行方向左前側の画素がゴミキズ画素の場合、左前側の画素に移動する（３８）。進行方向左前側の画素がゴミキズ画素でない場合、進行方向正面の画素がゴミキズであるかないかを判断する（３９）。進行方向正面の画素がゴミキズ画素の場合、正面のゴミキズ画素に移動する（４０）。進行方向正面の画素がゴミキズ画素でない場合、検索方向矢印を右に９０°回転し（４１）、再度３５の条件に戻り、注目するゴミキズ画素がゴミキズ画素群の画像端の画素であるかどうかを判断する。また、３５→３７→３９→４１→４２の条件が繰り返され、検索方向矢印が元の方向に戻った場合は、本ゴミキズ画素が属するゴミキズ群には、ゴミキズ画素でない島状の画素群は存在しないと判断し（４３）、まだ周辺にゴミキズ画素でない島状の画素群が存在するかどうか判断していないゴミキズ画素群に対して、図６のアルゴリズムの手順でゴミキズ画素でない島状の画素群が存在するかどうかの検索を実施する。

また、図６のアルゴリズムにおいて、３６、３８、４０にて注目する画素を移動した際、移動先画素が判定を開始した画素３０あるかどうかを判断する。移動先画素が判定を開始した画素３０である場合、本ゴミキズ画素群にはゴミキズでない島状の画素群が存在すると判断し（４８）検索矢印で囲まれた内側の画素は全てゴミキズと判定する（３２）。移動先画素が判定を開始した画素３０でない場合は、移動先画素が既に検索した画素であるかどうかの判断を実施する。既に検索した画素であった場合（但し現在注目している画素に対して隣接した検索済みの画素は除く）、ゴミキズでない島状の画素群は存在しないと判断し、検索矢印で囲まれた内側の画素に関しては全てゴミキズであると判定する（３４）。移動先画素が既に検索した画素でなかった場合、３５の条件に戻り図４のアルゴリズムを実施していく。

実施の形態１及び２は、ゴミキズ画素群に対して時計回りに検索するアルゴリズムであったが、検索方向矢印の移動方向及び回転方向を実施の形態１及び２とは逆にすることで、反時計回りに検索しても良い。

尚、以上が本発明の実施形態の説明であるが、本発明は、これらの実施の形態の構成に限られるものではなく、クレームで示した機能、または、実施の形態の構成を持つ機能が達成できる構成であればどのようなものであっても適用可能である。例えば、スキャナ、フィルムスキャナ、複写機、ファクシミリ装置、デジタルカメラなどにも適用可能である。また、以上の実施形態のソフトウェア構成とハードウェア構成は、適宜置き換えることも可能である。

さらに、本発明は、クレーム又は、実施形態の構成の全体もしくは、一部が１つの装置を形成するものであっても、他の装置と結合するようなものであっても、さらには、装置を構成する要素となるようなものであってもよい。

また、本発明は、複数の機器から構成されるシステムに適用してもよいし、１つの機器からなる装置に適用してもよい。また、本発明はシステムあるいは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体をシステムあるいは装置に読み出すことによってそのシステムあるいは装置が本発明の効果を享受することが可能となる。

図７はＰＣにプログラムを供給することによって可視画像のゴミキズ補正を達成する場合の装置の構造を示す図である。本実施形態の画像処理装置は、図７に示すように可視光発光部４９と、赤外光発光部５０と、原稿５１を通過した可視光を受光するイメージセンサ５２と原稿５１を通過した赤外光を受光するイメージセンサ５３と、イメージセンサ５２にて受光した可視光を可視画像データに変換しＰＣへ出力する可視画像出力手段５４と、イメージセンサ５３にて受光した赤外光を赤外画像データに変換しＰＣへ出力する赤外画像出力手段５５と、可視画像出力手段５４及び赤外画像出力手段５５から出力される可視画像及び赤外画像を取り込む画像入力Ｉ／Ｆ５６と、ゴミキズ補正処理をするプログラムが格納されている記憶媒体５７と、記憶媒体５７に記録されているプログラムを呼び出してゴミキズ補正処理を実施するＣＰＵ５８と、を備えている。

図８は記憶媒体としてのＲＯＭ５９のメモリマップを示す図である。ＲＯＭには、閾値算出プログラム６０、ゴミキズ判定処理１プログラム６１、ゴミキズ判定処理２プログラム６２、可視画像ゴミキズ補正処理プログラム６３などが格納されている。プログラムモジュールを供給する記憶媒体としては、ＲＯＭに限らず、例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、磁気テープ、不揮発性のメモリカード等をもちいることができる。

本発明の第１及び第２の実施形態に係るこれまでのゴミキズ抽出結果の問題点を示す図本発明の第１及び第２の実施形態に係る画像処理装置を示す図本発明の第１の実施形態に係るゴミキズ判別手段２にてゴミキズを判別する様子及び判別結果を示した図本発明の第１の実施形態に係るゴミキズ判別手段２にてゴミキズを判別するアルゴリズムを示す図本発明の第２の実施形態に係るゴミキズ判別手段２にてゴミキズを判別する様子及び判別結果を示した図本発明の第２の実施形態に係るゴミキズ判別手段２にてゴミキズを判別するアルゴリズムを示す図ＰＣにプログラムを供給することによって可視画像のゴミキズ補正を達成する場合の装置の構造を示す図記憶媒体としてのメモリマップを示す図

符号の説明

１可視光発光部
２赤外光発光部
３原稿
４イメージセンサ
５イメージセンサ
６可視画像検出手段
７赤外画像検出手段
８閾値算出手段
９ゴミキズ判別手段１
１０ゴミキズ判別手段２
１１可視画像補正手段
１２ゴミキズ画像群
１３判定スタート画素
１４ゴミキズ検索方向矢印
１５ゴミキズと判定された画素
１６判定スタート画素
１７ゴミキズと判定された画素
１８検索方向矢印に対して左側画素がゴミキズ
１９検索方向矢印を左に９０°回転し左側画素へ移動
２０検索方向矢印に対して正面画素がゴミキズ
２１正面の画素へ移動
２２検索方向を右に９０°回転する
２３検索方向が元の方向に戻った
２４ゴミキズでない島状の画素群は存在しないと判定
２５移動先画素が判定スタート画素
２６ゴミキズでない島状の画素群が存在すると判定
２７既に検索した画素
２８ゴミキズでない島状の画素群は存在しないと判定
２９検索矢印で囲まれた内側の画素は全てゴミキズ画素と判定
３０判定スタート画素
３１ゴミキズ検索方向矢印
３２ゴミキズと判定された画素
３３判定スタート画素
３４ゴミキズと判定された画素
３５検索方向矢印に対して左側画素がゴミキズ
３６検索方向矢印を左に９０°回転し左側画素へ移動
３７検索方向矢印に対して左前画素がゴミキズ
３８左前側の画素へ移動
３９検索方向矢印に対して正面画素がゴミキズ
４０正面の画素へ移動
４１検索方向を右に９０°回転する
４２検索方向が元の方向に戻った
４３ゴミキズでない島状の画素群は存在しないと判定
４４移動先画素が判定スタート画素
４５ゴミキズでない島状の画素群が存在すると判定
４６既に検索した画素
４７ゴミキズでない島状の画素群は存在しないと判定
４８検索矢印で囲まれた内側の画素は全てゴミキズ画素と判定
４９可視光発光手段
５０赤外光発光手段
５１原稿
５２イメージセンサ
５３イメージセンサ
５４可視画像出力手段
５５赤外画像出力手段
５６画像入力Ｉ／Ｆ
５７ＲＡＭ
５８ＣＰＵ
５９ＲＯＭ
６０閾値算出プログラムモジュール
６１ゴミキズ判別処理１プログラムモジュール
６２ゴミキズ判別処理２プログラムモジュール
６３可視画像ゴミキズ補正処理プログラムモジュール

Claims

可視光及び不可視光を照射する発光部と、前記発光部により照射された原稿からの光を検出して可視画像データを検出する可視画像検出手段と、前記発光部から不可視光を検出して原稿上のゴミキズを検出するゴミキズ検出手段と、前記可視画像検出手段から可視画像データを出力する可視画像出力手段と、前記ゴミキズ検出手段からゴミキズ画像を出力するゴミキズ画像出力手段と、前記ゴミキズ画像出力手段から得られたゴミキズ画素に対してゴミキズ判定をおこなうための閾値を算出する閾値算出手段と、前記閾値算出手段より得られた閾値を基に各画素のゴミキズ判別をおこなうゴミキズ判別手段１と、ゴミキズの分布状況を元に各画素のゴミキズ判別をおこなうゴミキズ判別手段２と、ゴミキズ判別手段１及び２により判別されたゴミキズ画素に対応する可視画像の画素補正を実施する可視画像補正手段と、を有することを特徴とする画像処理装置。
請求項１記載の画像処理装置において、前記ゴミキズ判別手段２は、ゴミキズに対して周辺から補正していき、ゴミキズの内側にゴミキズでない画素が存在しても、ゴミキズであると判断し補正を実施することを特徴とする画像処理装置。
可視光及び不可視光を照射する発光工程と、前記発光工程により照射された原稿からの光を検出して可視画像データを検出する可視画像検出工程と、前記発光工程から不可視光を検出して原稿上のゴミキズを検出するゴミキズ検出工程と、前記可視画像検出工程から可視画像データを出力する可視画像出力工程と、前記ゴミキズ検出手段からゴミキズ画像を出力するゴミキズ画素ゴミキズ出力工程と、前記ゴミキズ検出工程から得られたゴミキズ画素に対してゴミキズ判定をおこなうための閾値を算出する閾値算出工程と、前記閾値算出工程により得られた閾値を基に各画素のゴミキズ判別をおこなうゴミキズ判別工程１と、ゴミキズの分布状況を元に各画素のゴミキズ判別をおこなうゴミキズ判別工程２と、ゴミキズ判別工程１及び２により判別されたゴミキズ画素に対応する可視画像の画素補正を実施する可視画像補正工程と、を有することを特徴とする画像処理方法。
請求項３記載の画像処理方法において、前記ゴミキズ判別工程２は、ゴミキズに対して周辺から補正していき、ゴミキズの内側にゴミキズでない画素が存在しても、ゴミキズであると判断し補正を実施することを特徴とする画像処理方法。
画像処理装置内のコンピュータによって実行され、画像を補正するプログラムが格納された記憶媒体において、前記プログラムは、ゴミキズ画素に対してゴミキズ判定をおこなうための閾値を算出する算出手順と、前記算出手順より得られた閾値を基に各画素のゴミキズ判別をおこなう判別手順と、前記判別手順により得られた閾値を基に各画素のゴミキズ判別をおこなうゴミキズ判別手順１と、ゴミキズの分布状況を元に各画素のゴミキズ判別をおこなうゴミキズ判別手順２と、ゴミキズ判別手順１及び２により判別されたゴミキズ画素に対応する可視画像の画素補正を実施する可視画像補正手順と、を有することを特徴とする記憶媒体。
請求項５記載の記憶媒体において、前記ゴミキズ判別手順２は、ゴミキズに対して周辺から補正していき、ゴミキズの内側にゴミキズでない画素が存在しても、ゴミキズであると判断し補正を実施することを特徴とする記憶媒体。