JP2008124693A - 画像処理装置、複写機およびホワイトボード用画像処理プログラム - Google Patents

Abstract

【課題】ホワイトボードのようなボード上あるいはシート上に記された線画を良好に再現することのできる画像処理装置、複写機およびプリント制御プログラムを得ること。
【解決手段】デジタルカメラで撮ったホワイトボードの画像は色変換部１２２で輝度成分と色差成分に分けられ、輪郭強調部１２４のエッジ判定部１２８でエッジが判定される。背景判定部１３４は所定範囲の領域にエッジが含まれているかを判定し、背景出力部１４１は強調後輝度データ１３２をしきい値として背景を判別する。一次変換部１４３がホワイトボードの背景部分を線画と階調差の大きな「白」の階調に固定するγ補正を行う。この後、減色処理部１４５を経て画像が印字される。
【選択図】図２

Description

本発明は、画像の処理を行う画像処理装置、複写機およびホワイトボード用画像処理プログラムに係わり、特にホワイトボードのようなボードに描かれた文字や図等の線画を表示したり印字するのに適した画像処理装置、複写機およびホワイトボード用画像処理プログラムに関する。

デジタルカメラが広く普及しており、また、携帯電話機やＰＨＳ（Personal Handy-phone System）、ＰＤＡ（Personal Digital Assistant）あるいは携帯型のパーソナルコンピュータにも同様にカメラが組み込まれていることが多い。本明細書では、これらを「デジタル処理で写真を撮ることができる」という意味で、一括してデジタルカメラと総称することにする。デジタルカメラを誰でも携行するようになった昨今では、オフィスワークでホワイトボードに書き込んだ情報のコピーを感熱紙で受け取るよりも、デジタルカメラで撮影して、これを後でコンピュータ等の画面で見たり、プリンタで自分の必要に応じてプリントアウトする方が便利な場合が多い。

ところで、ホワイトボードは文字や図形等の線画を同じ濃度で描くことがほとんどであり、中間調を描くことは想定されていない。これに対してデジタルカメラは、主として自然や人物を被写体としている場合が多く、中間調を含めたあらゆる階調を再現できることが要求されている。また、デジタルカメラでは、被写体としての人物の濃淡をより良く記録できるようにするために、たとえば、人物の背景として空等の比較的明るい領域が多くの割合で存在する場合、この明るい領域の明度を相対的に落とすといった明度を平均化するような画像特性が求められている。

このため、白地のホワイトボードに描かれた線画からなる画像情報をデジタルカメラで撮影すると、大きな領域を占める背景の白色の部分の明度が下がるような露出やシャッタ速度の調整が自動的に行われることが多い。このようにデジタルカメラでは中間調を重視して再現する結果として、デジタルカメラで撮影したホワイトボードの画像をプリンタでプリントすると、本来完全な白地となるはずの白のボード面が薄い灰色に再現されてしまう。この結果として、本来明確に再現したい線画の部分と背景部分の濃度差あるいは階調の差が小さくなり、文字や図形等の線画が不鮮明になるという問題がある。

ところで、ホワイトボードの撮影に対しては、撮影された画像領域を複数の小画像に分割して、分割後の小画像ごとに異なったγ特性を用いてガンマ補正を行うことが提案されている（たとえば特許文献１参照）。この提案では、デジタルカメラで撮影した画像情報はホワイトボードを斜め方向から撮影した場合が多いので、まず撮像画像を部分的に拡大または縮小することで斜め撮影によって生じる遠近法的な歪を補正する。次に、補正された正面撮影画像を複数の小画像に分割して、各小画像を構成する画像信号のうち、斜め補正の際に新たに補充しなかった画素としての有効な画素のみを使用してそれぞれの小画像に対するγ特性が設定される。そして、像歪補正後の画像を構成する各画素信号は小画像ごとに対応するγ特性を用いてガンマ補正を行う。
特開平１０−２１０３６０号公報（第００２０段落、図５）

ところで、この提案の技術を使用すると、画像領域を複数に区分けして、それぞれに異なったγ特性を持たせることになる。したがって、たとえばマーカでマーキングされた部分が多く占めるブロックとほとんどマーキングの存在しない白色の背景部分が多く占めるブロックとでは、背景部分自体の濃度（階調）が異なってしまう。また、マーキングが多く占めるブロックでは、複数の色のマーカを使用した場合の各マーカの色の違いは微妙な階調で表現できる一方で、それに隣接する背景部分のブロックでの白色の背景部分の階調が多少灰色っぽくなり、この結果としてマーカと背景部分の階調の差が小さくなってしまう。すなわち、文字や図形等の線画が背景との関係で不鮮明になるという問題は、この提案で何ら解決されないことになる。

そこで、従来ではデジタルカメラでホワイトボードを撮影する場合に、文字や図形等の線画の再現性を主眼とする画像処理機能を選択したり、撮影後の画像を画像補正用のソフトウェアを使用してコンピュータで補正するといった試みが行われている。ところが、デジタルカメラに撮影時の特殊な画像処理機能を付加するという解決策では、このような機能を備えていないデジタルカメラを用いてホワイトボードを撮影したときに鮮明な画像を得ることができない。また、この機能をホワイトボード以外の被写体に間違って適用してしまうと、その後に画像補正用のソフトウェアで画像の補正を行おうとしても、微妙な中間調が再現できなくなるという問題がある。

また、通常の撮影を行った後に画像補正用のソフトウェアを使用する場合には、専門の知識が必要とされるだけでなく、プリントを行う前にコンピュータを起動して画像処理を行う必要がある。このため、ホワイトボードの画像を迅速に入手することができないという問題があった。

また、ホワイトボードにはオフィスの天井に配置された蛍光灯や窓からの外光も入射してくる場合が多い。このような場合、人間の目ではほとんど白一色に見えるホワイトボードにおける線画の書き込まれていない背景部分を、デジタルカメラで撮影した画像をプリントすると、微妙な濃淡が強調されて再現されることになった。

以上、画像のプリントについて説明したが、可視的な画像情報としてコンピュータ等の情報処理装置に保存する場合についても同様の問題があった。

そこで本発明の目的は、ホワイトボードのようなボード上あるいはシート上に記された線画を良好に再現することのできる画像処理装置、複写機およびプリント制御プログラムを得ることにある。

請求項１記載の発明では、（イ）各画素を多階調で表わした画像における階調の大きく変化する線画の輪郭部分に相当する画素を判別するエッジ判別手段と、（ロ）このエッジ判別手段で線画の輪郭部分に相当するとされた画素と階調が所定値以上異なる背景領域を抽出する背景領域抽出手段と、（ハ）この背景領域抽出手段で抽出した背景領域を線画の輪郭部分に相当する画素の階調と明度の差が大きな特定の階調に固定する背景階調固定手段とを画像処理装置に具備させる。

すなわち本発明では、エッジ判別手段で線画の輪郭部分に相当する画素を判別し、背景領域抽出手段でこの線画の輪郭部分に相当するとされた画素と階調が所定値以上異なる背景領域を抽出する。これは、線画の輪郭部分とそれ以外の線画部分の階調の差よりも差が大きい部分としての背景領域を抽出するということである。背景階調固定手段は、背景領域抽出手段で抽出した背景領域を線画の輪郭部分に相当する画素の階調と明度の差が大きな特定の階調に固定するようにしている。これにより、線画の階調と背景の階調が明度の差で大きくなり、線画が明瞭に識別できるようになる。

請求項２記載の発明では、（イ）各画素を多階調で表わした画像における階調の大きく変化する線画の輪郭部分に相当する画素を判別するエッジ判別手段と、（ロ）このエッジ判別手段で線画の輪郭部分に相当するとされた画素を除外した領域の各画素の階調を、所定のしきい値と比較し、このしきい値以上の明度の高い領域としての背景領域を抽出する背景領域抽出手段と、（ハ）この背景領域抽出手段で抽出した背景領域を線画の輪郭部分に相当する画素の階調と明度の差が大きな所定の階調に固定する背景階調固定手段とを画像処理装置に具備させる。

すなわち本発明は、背景が明るい階調であることを前提とした処理である。すなわち、エッジ判別手段で各画素を多階調で表わした画像における階調の大きく変化する線画の輪郭部分に相当する画素を判別する。背景領域抽出手段は、エッジ判別手段で線画の輪郭部分に相当するとされた画素を除外した領域の各画素の階調を、所定のしきい値と比較し、このしきい値以上の明度の高い領域としての背景領域を抽出する。これにより、線画でエッジに相当しない部分が背景領域から除外されることになる。背景階調固定手段は、背景領域抽出手段で抽出した背景領域を線画の輪郭部分に相当する画素の階調と明度の差が大きな所定の階調に固定する。これにより、線画の階調と背景の階調が明度の差で大きくなり、線画が明瞭に識別できるようになる。

請求項３記載の発明では、（イ）各画素を多階調で表わした画像における階調の大きく変化する線画の輪郭部分に相当する画素を判別するエッジ判別手段と、（ロ）このエッジ判別手段の判別結果を画像の各部分と照合して所定の周辺領域に線画の輪郭部分を含まない画像領域としての第１の領域を抽出する第１の領域抽出手段と、（ハ）この第１の領域抽出手段で抽出した第１の領域のそれぞれの画素の階調を第１のしきい値と比較し、この第１のしきい値よりも明度の高い第２の領域を抽出する第２の領域抽出手段と、（ニ）この第２の領域抽出手段で抽出した第２の領域の各画素について周辺画素との平均値を求める平均値算出手段と、（ホ）この平均値算出手段で算出した平均値を画像の各部分と照合してこの平均値よりも明度の高い第３の領域を抽出する第３の領域抽出手段と、（へ）この第３の領域抽出手段によって抽出した第３の領域の全画素からなる背景領域を線画の輪郭部分に相当する画素の階調と明度の差が大きな所定の階調に固定する背景階調固定手段とを画像処理装置に具備させる。

すなわち本発明は、背景が明るい階調であることを前提とした処理である。すなわち、エッジ判別手段は、各画素を多階調で表わした画像における階調の大きく変化する線画の輪郭部分に相当する画素を判別する。第１の領域抽出手段は、エッジ判別手段の判別結果を画像の各部分と照合して所定の周辺領域に線画の輪郭部分を含まない画像領域としての第１の領域を抽出する。ここには、線画におけるエッジでない部分と、線画以外の背景部分が含まれることになる。第２の領域抽出手段は、第１の領域抽出手段で抽出した第１の領域のそれぞれの画素の階調を第１のしきい値と比較し、この第１のしきい値よりも明度の高い第２の領域を抽出する。これにより、線画におけるエッジでない部分が排除されて、線画以外の部分が抽出される。平均値算出手段は、第２の領域抽出手段で抽出した第２の領域の各画素について周辺画素との平均値を求める。そして、第３の領域抽出手段は、平均値算出手段で算出した平均値を画像の各部分と照合してこの平均値よりも明度の高い第３の領域を抽出する。これにより、濃淡のばらつきを除去した形で第３の領域としての背景領域が求められる。背景階調固定手段は、第３の領域抽出手段によって抽出した第３の領域の全画素からなる背景領域を線画の輪郭部分に相当する画素の階調と明度の差が大きな所定の階調に固定する。これにより、線画の階調と背景の階調が明度の差で大きくなり、線画が明瞭に識別できるようになる。

請求項８記載の発明では、（イ）原稿の画像を読み取るスキャナと、（ロ）外部から画像の読取結果を入力する画像入力端子と、（ハ）スキャナと画像入力端子のいずれかから処理対象の画像を選択するスイッチ手段と、（ニ）このスイッチ手段により選択された画像を処理する請求項１〜請求項７のいずれかに記載の画像処理装置と、（ホ）画像処理装置の処理した画像を記録するプリント手段とを複写機に具備させる。

すなわち本発明では、請求項１〜請求項７のいずれかに記載の画像処理装置を組み込んだ複写機を実現している。デジタルカメラから取得した画像は画像入力端子から入力されることになる。

請求項９記載の発明では、ホワイトボードの撮影画像の処理を行うコンピュータに、ホワイトボード用画像処理プログラムとして、（イ）各画素を多階調で表わしたホワイトボードの撮影画像における階調の大きく変化する線画の輪郭部分に相当する画素を判別するエッジ判別処理と、（ロ）このエッジ判別処理で線画の輪郭部分に相当するとされた画素を除外した領域の各画素の階調を、所定のしきい値と比較し、このしきい値以上の明度の高い領域としての背景領域を抽出する背景領域抽出処理と、（ハ）この背景領域抽出処理で抽出した背景領域を白色の階調に固定する背景階調固定処理とを実行させることを特徴とする。

すなわち本発明では、ホワイトボードの撮影画像の処理を行うコンピュータに、ホワイトボード用画像処理プログラムとして、請求項２記載の発明の各手段をソフトウェア的に実現させている。

請求項１０記載の発明では、ホワイトボードの撮影画像の処理を行うコンピュータに、ホワイトボード用画像処理プログラムとして、（イ）各画素を多階調で表わしたホワイトボードの撮影画像における階調の大きく変化する線画の輪郭部分に相当する画素を判別するエッジ判別処理と、（ロ）このエッジ判別処理の判別結果を画像の各部分と照合して所定の周辺領域に線画の輪郭部分を含まない画像領域としての第１の領域を抽出する第１の領域抽出処理と、（ハ）この第１の領域抽出手段で抽出した第１の領域のそれぞれの画素の階調を第１のしきい値と比較し、この第１のしきい値よりも明度の高い第２の領域を抽出する第２の領域抽出処理と、（ニ）この第２の領域抽出処理で抽出した第２の領域の各画素について周辺画素との平均値を求める平均値算出処理と、（ホ）この平均値算出処理で算出した平均値を画像の各部分と照合してこの平均値よりも明度の高い第３の領域を抽出する第３の領域抽出処理と、（へ）この第３の領域抽出処理によって抽出した第３の領域の全画素からなる背景領域を白色の階調に固定する背景階調固定処理とを実行させることを特徴とする。

すなわち本発明では、ホワイトボードの撮影画像の処理を行うコンピュータに、ホワイトボード用画像処理プログラムとして、請求項２記載の発明の各手段をソフトウェア的に実現させている。

以上説明したように、本発明によれば、複写機やスキャナの読み取り画像を処理して画像の表示または印字を行う画像処理装置が文字や図等の線画を描いた画像における線画の再現性を高めるための輪郭強調処理部分を利用することで、回路あるいはソフトウェアの大幅な追加を行うことなく、デジタルカメラで撮影したホワイトボード等のボード上あるいはシート上に描いた線画を鮮明に表示したり印字することができる。

以下実施例につき本発明を詳細に説明する。

図１は、本発明の一実施例における画像印字用処理装置を組み込んだ複写機の構成の概要を表わしたものである。この複写機１００は、ＣＰＵ（Central Processing Unit）１０１と主制御部メモリ１０２を少なくとも備えた主制御部１０３を有している。主制御部メモリ１０２内にはＣＰＵ１０１が実行する制御プログラムが格納されている。主制御部１０３は複写機１００の全体的な制御を行うため、装置内の各部と接続されている。

このうちスキャナ部１０５は、図示しないＣＣＤ（Charged Coupled Device）を備え、原稿のスキャン（走査）を行うようになっている。シェーディング補正部１０６は、スキャナ部１０５の図示しない光源の照度のむらやＣＣＤの個々の読取素子の特性のバラツキによって、本来均一な濃度で読み取られるはずの原稿部分が異なった階調として読み取られるのを補正するようになっている。入力γ補正部１０７は、入力画像情報に対してγ補正を行うようになっている。コントラスト調整彩度補正部１０８は、入力画像情報に対するコントラストや彩度を調整するようになっている。輪郭強調部１０９は、文字等の２値画像の輪郭を強調補正する処理を行う部分である。外部入力部１１０は、図示しないデジタルカメラのようにスキャナ部１０５以外から画像情報を入力する部分である。この外部入力部１１０は、外部メモリ（図示せず）からデータを入力するための入力端子を備えていたり、ＬＡＮ（Local Area Network ）等の通信インターフェイスを備えている。

ホワイトボード補正部１１１は、外部入力部１１０からデジタルカメラによるホワイトボードの画像を撮影した画像情報が入力されたとき、これを良好に再現できるようなホワイトボード独自の補正を行う部分である。このホワイトボード補正部１１１は、輪郭強調部１０９の輪郭強調処理とある部分は共通した処理を行うことになる。出力γ補正部１１２は、出力側のγ特性の補正を行うようになっている。二値化処理部１１３は、画像を白黒の二値で印字するのに適するように画像濃度について二値化処理を行う回路部分である。

スクリーニング部１１４は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）や、Ｙ（輝度）、Ｃｂ（色差）、Ｃｒ（色差）で表わされる自然界の色を、印刷のためにＹ（イエロ）、Ｍ（マゼンタ）、Ｃ（シアン）およびＫ（クロ）の４色の細かなドットの集まりに変換する処理を行う部分である。プリンタ用画処理部１１５は、γ補正やトナーが用紙に転写されるときの線幅の制御といったようなプリンタ固有の制御を一括して行う部分である。プリント部１１６は、印字用のエンジンからなる印字機構部分である。

なお、主制御部１０３に接続されたこれらの各部１０５〜１１５は、すべてがハードウェアで構成されていてもよいし、主制御部メモリ１０２に格納された制御プログラムをＣＰＵ１０１が実行することによって、これらの部品の少なくとも一部がソフトウェアによって機能的に実現されるものであってもよい。

図２は、本実施例のホワイトボード補正部の具体的な構成を表わしたものである。ホワイトボード補正部１１１は、図１に示した外部入力部１１０から、たとえばメモリカード（図示せず）に格納された画像データ１２１を入力して色変換を行う色変換部１２２を備えている。色変換部１２２は、図示しないホワイトボードの画像データを輝度成分と色差成分に分ける変換を行うようになっている。一般に画像データを輝度成分と色差成分に分ける変換については、ＲＧＢ空間をＹＣｂＣｒ空間へ変換する手法や、ＲＧＢ空間をＬ（明度指数）、ａ（知覚色度）、ｂ（知覚色度）の空間へ変える変換が知られている。このような色変換についての技術は一般的なものであり、本実施例で扱う図示しないホワイトボードやプリンタに特有のものではない。そこで、色変換部１２２についての詳細な説明は省略する。

色変換部１２２によって変換された画像データ１２３は、輪郭強調部１２４に入力されるようになっている。輪郭強調部１２４は、図１に示した輪郭強調部１０９と共通した処理を行う部分である。本実施例の輪郭強調部１２４は、輪郭を強調するために３×３構成の画素を用いたフィルタ演算を行い、データの一次微分をとることによりエッジを検出するようになっている。

３×３構成の画素を用いたフィルタ演算を行うために、最新の画像情報を表わしたラインとしての入力ラインに対して、これよりも１ライン前としての現ラインと、２ライン前についての画像データをそれぞれ格納する第１のラインメモリ１２５と第２のラインメモリ１２６が輪郭強調部１２４に接続されている。輪郭強調部１２４は、これら３ライン分のラインメモリからそれぞれ連続した３画素分ずつ読み出された３×３の画素データを基にして、フィルタ演算部１２７でフィルタ演算を行う。このフィルタ演算部１２７の演算結果としてのフィルタ演算値は、エッジ判定部１２８に入力されてエッジの判定が行われる。輪郭強調部１２４は、エッジ判定部１２８から出力されるエッジ情報と、画素データを基にして、３×３の中心画素に対して強調処理を行う強調処理部１２９を備えている。

図３は、輪郭強調部のより具体的な構成を表わしたものである。輪郭強調部１２４のフィルタ演算部１２７は、３×３構成の画素データからなるフィルタ１５１を備えている。処理の対象となる入力ラインの画像データ１２３₁と、第１のラインメモリ１２５によってこれが１ライン分遅延された現ラインの画像データ１２３₂と、第２のラインメモリ１２６によって更に１ライン分遅延された画像データ１２３₃は、ホワイトボードの注目画素１５２と、その前後左右に位置する参照画素１５３〜１６０としてフィルタ１５１に順次取り込まれる。

ここで、注目画素１５２は、ホワイトボードの画像データ読取領域（図示せず）の各画素をラスタスキャンするように移動する。したがって、フィルタ１５１も注目画素１５２の移動に応じて１画素ずつ移動していく。このため、たとえば画像データ読取領域の最初の１ラインとしての現ラインに注目画素１５２があるときには、参照画素１５３〜１５５が少なくとも存在しないことになる。このような場合には、これらの参照画素１５３〜１５５の代わりに、たとえば白色の画素に対応するダミービットを使用することになる。

フィルタ１５１は、後に説明するように注目画素１５２とその周囲を取り囲むように配置された参照画素１５３〜１６０を用いて所定のフィルタ演算を行い、輪郭強調のためのフィルタ演算値１６１を算出する。フィルタ演算値１６１は順次、エッジ判定部１２８に入力されて、注目画素１５２がエッジの部位にあるかどうかを示すエッジ情報１３１を出力することになる。本実施例で、エッジ情報１３１は、エッジである場合を「１」とし、エッジでない場合を「０」とした１ビットの情報として出力されるものとする。

フィルタ演算部１２７における第１のラインメモリ１２５から出力される注目画素１５２の画素データ１６３は、フィルタ１５１に入力される以外に、順次、強調処理部１２９にも入力されるようになっている。強調処理部１２９はエッジ判定部１２８から出力されるエッジ情報１３１を入力するようになっており、注目画素１５２がエッジに位置するときに強調処理される。強調処理部１２９からはこのような強調処理後の画像データ１６４が出力されることになる。この強調処理後の画像データ１６４は、図２に示すように輪郭強調部１２４から出力される強調後輝度データ１３２と強調後色差データ１３３に分けられる。

なお、フィルタ演算部１２７におけるエッジ検出のためのフィルタ演算や、強調処理部１２９による画像の強調処理については、すでに多くの技術が提案されている。本実施例もこれらの技術を使用することができる。また、フィルタ演算部１２７自体は本発明独自のものではない。そこで、これらの技術についての説明も省略する。

図２に戻って説明を行う。輪郭強調部１２４から出力されるエッジ情報１３１は、背景判定部１３４に入力される。背景判定部１３４は第３〜第６のラインメモリ１３５〜１３８を備えており、背景の判定を行う。そして、その結果として背景判定結果１３９を出力するようになっている。

図４は、背景判定部の構成を原理的に表わしたものである。背景判定部１３４は、５×５画素のマトリックス構成をした演算部１７１を備えている。演算部１７１における最初のラインに対応する演算位置ｋ₁₁〜ｋ₁₅には、「１」または「０」のビット情報からなる連続した５画素分のエッジ情報１３１が入力される。第３のラインメモリ１３５は、これらの画素を１ライン分遅延させて演算位置ｋ₂₁〜ｋ₂₅に供給する。また、第４のラインメモリ１３６は、これを更に１ライン分遅延させて演算位置ｋ₃₁〜ｋ₃₅に供給する。同様に、第５のラインメモリ１３７は、更に１ライン分遅延させて演算位置ｋ₄₁〜ｋ₄₅に供給し、第６のラインメモリ１３８は、これを更に１ライン分遅延させて演算位置ｋ₅₁〜ｋ₅₅に供給する。

演算部１７１は、５×５画素としての合計２５画素分のエッジ情報１３１をすべて単純に加算する。そしてこの演算値ａが「０」のとき、すなわち、この５×５画素のエリア内にエッジが存在しない場合には、背景判定結果１３９を「１」とする。また、この５×５画素のエリア内にエッジを示す「１」のエッジ情報１３１が少なくとも１つ存在した場合には、背景判定結果１３９を「０」とする。この関係は、次の（１）式で表わすことができる。

ただし
ａ＝０のとき背景判定結果は「１」
ａ≠０のとき背景判定結果は「０」 ……（１）

このように背景判定結果１３９が「１」であるということはその部分が背景であるということではない。たとえば５×５画素のエリアが均一に白かったり黒かった場合は「１」となる。

再び図２に戻って説明を行う。背景判定部１３４から出力される背景判定結果１３９は、背景出力部１４１に入力される。背景出力部１４１には、輪郭強調部１２４から強調後輝度データ１３２も入力されるようになっており、背景データ１４２を出力するようになっている。

図５は、背景出力部の構成をより具体的に表わしたものである。背景出力部１４１は、強調後輝度データ１３２と背景判定結果１３９および固定値としての係数１８１を入力する判定部１８２と、この判定部１８２の判定結果１８３と強調後輝度データ１３２を入力する加算部１８４と、加算部１８４の出力する加算値１８５を入力して平均化する平均化部１８６を備えている。平均化部１８６からは図２に示した背景データ１４２が出力されることになる。

ここで判定部１８２は、強調後輝度データ１３２を「０」（黒）から「２５５」（白）の２５６段階の階調Ｇ_Bで表わし、係数１８１をこの２５６段階の階調のうちの予め定めた階調Ｇ_C（固定値）としたとき、次の２つの条件を満たすものについて、判定結果１８３として「１」を出力する。これら２つの条件を同時に満たさない場合、判定結果１８３は「０」となる。

Ｇ_B（輝度データ）＞Ｇ_C（係数）
背景判定結果１３９は「１」（エッジが存在しない領域）

したがって、係数の階調Ｇ_Cをある程度大きな数値（明度の高いもの）に設定すると、ホワイトボードの背景部分が、判定結果１８３として「１」となる。エッジの部分および階調Ｇ_C以下のマーキングされた部分は、判定結果１８３として「０」となる。これにより、太い文字等のマーキング部分の中央部分がエッジ以外の部分と判別されている場合でも、この中央部分の判定結果１８３を「０」にすることができる。

図６は、加算部の具体的な構成を表わしたものである。加算部１８４は、強調後輝度データ１３２を順にシフトさせて保持する第１〜第４の保持回路１９１〜１９４を備えており、それぞれに判定結果１８３が出力の指示のために入力されるようになっている。すなわち、判定結果１８３が「１」のときに第１〜第４の保持回路１９１〜１９４からの出力が指示され、判定結果１８３が「０」のときには出力が指示されない。

第１〜第４の保持回路１９１〜１９４の出力１９５〜１９８は加算回路１９９に入力されて、これらの値が単純に加算される。加算回路１９９の加算値１８５は、図５に示す平均化部１８６に入力される。平均化部１８６は加算回路１９９で加算した４画素分の加算値を「４」で割って、これら４画素分の強調後輝度データ１３２の平均を２５６段階の階調で表わした背景データ１４２として出力することになる。すなわち、背景出力部１４１から出力される背景データ１４２は、注目画素の周囲にエッジが存在しないと判定された領域の画素部分を平均化された階調となることになる。

再び図２に戻って説明を続ける。背景データ１４２は、強調後輝度データ１３２と共に一次変換部１４３に入力される。一次変換部１４３はγ補正を行うもので、変換後輝度データ１４４を出力することになる。

図７は、一次変換部の処理の様子を表わしたものである。一次変換部１４３では、入力データとしての強調後輝度データ１３２の値と背景データ１４２の値の大小を比較する（ステップＳ３０１）。その結果として、強調後輝度データ１３２の値が背景データ１４２と等しいかこれよりも大きい（白っぽい）場合には（Ｙ）、出力データとしての変換後輝度データ１４４の階調を２５６段階のうちの最高の「２５５」（白）に設定する（ステップＳ３０２）。すなわち、この場合には、ホワイトボードの背景部分として「２５５」（白）に設定されることになり、強調後輝度データ１３２の値が白色に近い濃淡を表わしていた場合でも白一色に統一される。

一方、ステップＳ３０１で入力データとしての強調後輝度データ１３２の値が背景データ１４２の値よりも低い場合（Ｎ）、この部分はホワイトボード上での背景部分ではなく、かつエッジの部分でもない。このような画像部分については、次の（２）式のように２５６段階での階調を算出する（ステップＳ３０３）。

２５５×（入力データの値）÷（背景データの値） ……（２）

なお、以上説明した一次変換部１４３の処理は、ハードウェアによって行うこともできるし、図１に示したＣＰＵ１０１がソフトウェアで処理することによって実現することも可能である。

図２に示すように、このようにしてγ補正の行われた変換後輝度データ１４４と強調後色差データ１３３は、減色処理部１４５に入力される。減色処理部１４５では、変換後の輝度成分を用いて、画素データを二値化する処理を行っている。二値化後のデータは印字データ１４６として図１に示したプリント部１１６に供給されて、印字が行われることになる。

ここで減色処理部１４５で用いられる二値化の方法としては、あるしきい値よりも大きい値の階調を白、それ以外を黒とする単純なしきい値の設定による二値化が一般的である。この場合には、強調後色差データ１３３は使用しない。

減色処理部１４５では、これ以外の二値化も可能である。たとえば、強調後色差データ１３３を使用して、ホワイトボードによく用いられるマーカとしての黒、赤、青の各色情報を抽出し、最終的な印字データ１４６として、赤・青・黒・白の４値をもつデータを出力するようにしてもよい。強調後色差データ１３３による色差成分から赤・青・黒の判定を行う手法の一例としては、二値化により黒と判定された画素について、色差成分があるしきい値より赤側になっていれば赤と判定し、あるしきい値より青になっていれば青と判定して、どちらでも無い場合は黒とするようにすることになる。

図８を用いて、ホワイトボード上の画像が処理される様子を具体的に説明する。ここで、同図（Ａ）は図１に示した複写機１００の外部入力部１１０に図示しないデジタルカメラから入力された画像の一部の領域を表わしたものである。ホワイトボードにマーカで記した線画の部分４０１が他の部分４０２と区別して表わされている。同図（Ｂ）はエッジ情報画像である。エッジの部分４０３がエッジ以外の画像領域４０４と区別して表わされている。エッジ以外の画像領域４０４は、ホワイトボードにマーカで記した線画の領域４０５と、マーカで記していない本来の背景領域４０６の双方が含まれることになる。

図８（Ｃ）は、同８（Ｂ）でエッジ以外の画像領域４０４と判別された領域のうちからホワイトボードの背景領域４０７を判別したものである。このようにマーカでマーキングされた領域以外をホワイトボードの背景領域４０７として判別することで、この部分の階調をたとえば２５６段階における「２５５」（白）に固定することができる。これにより、デジタルカメラでホワイトボード上の画像を撮影しても、本実施例の複写機１００で印字すれば、背景部分を白に固定することができる。したがって、マーカの色が黄色のように比較的明るい色であっても、印字した画像ではこれらの文字や線画をそれら以外の背景の部分と階調の違いとして明確に区別できることになる。

また、ホワイトボードへ照射した光にむらが発生しているような場合、このようなむらの境界部分は線画とそれ以外の領域とは異なり階調の変化がなだらかである。したがって、エッジとして検出されることはない。このため、ホワイトボードの背景部分における光のむらが生じた領域は、図８（Ｂ）のエッジ情報画像でエッジ以外の画像領域４０４と判別されることになり、図２に示した減色処理部１４５で二値化を行うと白色一色に固定される。このようにして、ホワイトボードの背景部分が白色一色に固定され、マーカによる各色の線画が鮮明に描かれたプリントを得ることができることになる。

しかも、本実施例では通常の複写機が所持する各種の画像処理機能の一部を共用してホワイトボード用の画像処理を行う。このため、わずかの回路を付加したり、複写機の制御プログラムをわずかに変更あるいは追加するだけで、デジタルカメラによるホワイトボードの撮影画像を良好に印字することができるようになる。具体的には、輪郭強調の際に用いられるエッジ情報を再利用して背景を抽出することにより、背景を抽出するために新たな回路を用いる必要がない。また、入力された画像情報から背景データを直接求めることができるため、濃度分布などのヒストグラムメモリやヒストグラム解析の回路を必要としない。

＜発明の変形例＞

図９は、本発明の変形例における背景判定部の構成を表わしたものである。図９で実施例の背景判定部を表わした図４と同一部分には同一の符号を付しており、これらの説明を適宜省略する。

この変形例の背景判定部１３４Ａは、エッジ情報１３１を入力する６×６画素のマトリックス構成をした演算部１７１Ａを備えている。演算部１７１Ａの出力側には演算位置ｋ₁₆と演算位置ｋ₂₆のエッジ情報の論理和をとるオア回路５０１と、このオア回路５０１の出力と演算部１７１Ａの演算位置ｋ₁₆のエッジ情報をそれぞれ入力する第１のセレクタ５０２と、演算部１７１Ａの演算位置ｋ₃₆と演算位置ｋ₆₆のエッジ情報をそれぞれ入力する第２のセレクタ５０３が配置されている。第１のセレクタ５０２から出力される第１の選択信号５０５は第７のラインメモリ５０６に入力され、１ライン分だけ遅延された遅延エッジ情報５０７が演算部１７１Ａの演算位置ｋ₂₁と演算位置ｋ₃₁のエッジ情報として入力されるようになっている。また、第２のセレクタ５０３から出力される第２の選択信号５０８は第８のラインメモリ５０９に入力され、１ライン分だけ遅延された遅延エッジ情報５１１が演算部１７１Ａの演算位置ｋ₄₁、演算位置ｋ₅₁および演算位置ｋ₆₁のエッジ情報としてそれぞれ入力されるようになっている。

背景判定部１３４Ａには、ライン数を「０」から順次１ずつカウントアップするライン数カウンタ５１２と、このライン数カウンタ５１２の出力するライン数５１３を入力してこれが３の倍数であるかを比較する比較回路５１４も備えている。比較回路５１４は、ライン数５１３が３の倍数となっているときには比較信号５１５として「０」を出力し、それ以外の場合には「１」を出力するようになっている。比較信号５１５は、第１のセレクタ５０２と第２のセレクタ５０３のセレクタ情報としてそれぞれ入力されるようになっている。比較信号５１５が「０」のとき第１のセレクタ５０２は演算位置ｋ₁₆を選択し、第２のセレクタ５０３は演算位置ｋ₃₆を選択する。また、比較信号５１５が「１」のとき、第１のセレクタ５０２は演算位置ｋ₂₆を選択し、第２のセレクタ５０３は演算位置ｋ₆₆を選択するようになっている。

演算部１７１Ａは、この６×６画素のエリア内にエッジが存在しない場合には、背景判定結果１３９Ａを「１」とする。また、この６×６画素のエリア内にエッジを示す「１」のエッジ情報１３１が少なくとも１つ存在した場合には、背景判定結果１３９Ａを「０」とする。この関係は、次の（３）式で表わすことができる。

ただし
ａ＝０のとき背景判定結果は「１」
ａ≠０のとき背景判定結果は「０」 ……（３）

この変形例の背景判定部１３４Ａでは、エッジ情報を第７のラインメモリ５０６に入力するときにオア回路５０１で演算位置ｋ₁₆と演算位置ｋ₂₆のエッジ情報の論理和を取っている。これにより、前ラインの情報を縮退させることができ、図４の実施例と比較しても分るようにラインメモリの数を節約することができる。この変形例では第８のラインメモリ５０９は３ライン分の情報を格納することができる。

回路動作を説明すると次のようになる。まず、ライン数カウンタ５１２がライン数「０」を出力したとき、比較回路５１４は比較信号５１５は「０」となり、演算部１７１Ａの演算位置ｋ₁₆のエッジ情報がそのまま第７のラインメモリ５０６に格納される。次のラインでライン数カウンタ５１２がライン数「１」を出力したとき、および更に次のラインでライン数カウンタ５１２がライン数「１」または「２」を出力したとき、比較回路５１４は比較信号５１５は「１」となる。これらの場合、演算部１７１Ａの演算位置ｋ₁₆と演算位置ｋ₂₆のエッジ情報がオア回路５０１で論理和をとられる。エッジ情報１３１はエッジを示す状態で「１」なので、これらのラインにおけるエッジを示す状態「１」のエッジ情報が縮退されることになる。

以下、同様の回路動作によって演算部１７１Ａの背景判定結果１３９Ａがラインメモリ５０６、５０７を節約した状態で得られることになる。したがって、この変形例により、必要なメモリ容量の削減が可能になる。

なお、実施例では複写機１００について説明したが、本発明に必要な機能をプリンタに備えさせてもよいことは当然である。また、プリンタによる印字に限らず、ディスプレイに表示する場合についても本発明を適用することができる。

更に実施例ではホワイトボードにマーカで線画を描いた場合を説明したが、一定領域が線画によって塗り潰されている場合も含むことは当然である。また、ホワイトボード以外のボードに線画を描く場合も本発明に含まれる。たとえば、白い紙や色紙あるいは単色の布に描いた寄せ書きであってもよい。

また、黒板（緑色のボードを含む）や、緑と白の２つの色に塗り分けられた微細な磁石粒子が混合された内包液をハニカムコアにはさみ込んで密閉しパネルにしたチョークやマーカを使用しないボードに描いた線画の撮影された画像に対しても本発明を適用することができる。すなわち、実施例で説明した「背景」は必ずしも明度の高い部分を指すものではなく、地肌の色に近い部分と見てよい。

本発明の一実施例における画像印字用処理装置を組み込んだ複写機の構成の概要を表わしたブロック図である。 本実施例のホワイトボード補正部の具体的な構成を表わしたブロック図である。 本実施例の輪郭強調部のより詳細な構成を表わしたブロック図である。 本実施例の背景判定部の構成を原理的に表わした説明図である。 本実施例の背景出力部の構成をより具体的に表わしたブロック図である。 本実施例の加算部の具体的な構成を表わしたブロック図である。 本実施例の一次変換部の処理の様子を表わした流れ図である。 本実施例でホワイトボード上の画像が処理される様子を示した説明図である。 本発明の変形例における背景判定部の構成を表わしたブロック図である。

符号の説明

１００ 複写機
１０１ ＣＰＵ
１０２ 主制御部メモリ
１０３ 主制御部
１０５ スキャナ部
１０９、１２４ 輪郭強調部
１１０ 外部入力部
１１１ ホワイトボード補正部
１１６ プリント部
１２２ 色変換部
１２５ 第１のラインメモリ
１２６ 第２のラインメモリ
１２８ エッジ判定部
１３２ 強調後輝度データ
１３４、１３４Ａ 背景判定部
１３５ 第３のラインメモリ
１３６ 第４のラインメモリ
１３７ 第５のラインメモリ
１３８ 第６のラインメモリ
１４１ 背景出力部
１４３ 一次変換部
１４５ 減色処理部
１５１ フィルタ
１７１、１７１Ａ 演算部
１８２ 判定部
１８４ 加算部
１８６ 平均化部
５０１ オア回路
５０２ 第１のセレクタ
５０３ 第２のセレクタ
５０６ 第７のラインメモリ
５０９ 第８のラインメモリ
５１２ ライン数カウンタ
５１４ 比較回路

Claims (10)

1. 各画素を多階調で表わした画像における階調の大きく変化する線画の輪郭部分に相当する画素を判別するエッジ判別手段と、
   このエッジ判別手段で線画の輪郭部分に相当するとされた画素と階調が所定値以上異なる背景領域を抽出する背景領域抽出手段と、
   この背景領域抽出手段で抽出した背景領域を前記線画の輪郭部分に相当する画素の階調と明度の差が大きな特定の階調に固定する背景階調固定手段
   とを具備することを特徴とする画像処理装置。
2. 各画素を多階調で表わした画像における階調の大きく変化する線画の輪郭部分に相当する画素を判別するエッジ判別手段と、
   このエッジ判別手段で線画の輪郭部分に相当するとされた画素の階調を除外した領域の各画素を、所定のしきい値と比較し、このしきい値以上の明度の高い領域としての背景領域を抽出する背景領域抽出手段と、
   この背景領域抽出手段で抽出した背景領域を前記線画の輪郭部分に相当する画素の階調と明度の差が大きな所定の階調に固定する背景階調固定手段
   とを具備することを特徴とする画像処理装置。
3. 各画素を多階調で表わした画像における階調の大きく変化する線画の輪郭部分に相当する画素を判別するエッジ判別手段と、
   このエッジ判別手段の判別結果を前記画像の各部分と照合して所定の周辺領域に前記線画の輪郭部分を含まない画像領域としての第１の領域を抽出する第１の領域抽出手段と、
   この第１の領域抽出手段で抽出した第１の領域のそれぞれの画素の階調を第１のしきい値と比較し、この第１のしきい値よりも明度の高い第２の領域を抽出する第２の領域抽出手段と、
   この第２の領域抽出手段で抽出した第２の領域の各画素について周辺画素との平均値を求める平均値算出手段と、
   この平均値算出手段で算出した平均値を前記画像の各部分と照合してこの平均値よりも明度の高い第３の領域を抽出する第３の領域抽出手段と、
   この第３の領域抽出手段によって抽出した前記第３の領域の全画素からなる背景領域を前記線画の輪郭部分に相当する画素の階調と明度の差が大きな所定の階調に固定する背景階調固定手段
   とを具備することを特徴とする画像処理装置。
4. 前記第３の領域抽出手段で抽出した第３の領域以外の領域の画素を二値化する二値化手段を具備することを特徴とする請求項３記載の画像処理装置。
5. 前記二値化手段は、それぞれの画素の色差成分に応じて二値化により印字または表示する色を判別する色判別手段を具備することを特徴とする請求項４記載の画像処理装置。
6. 前記画像はホワイトボードを撮影した画像であり、前記背景階調固定手段は前記背景領域を前記明度の差が大きな所定の階調として白色に相当する階調に固定することを特徴とする請求項１または請求項２記載の画像処理装置。
7. 前記第１の領域抽出手段は、前記線画の輪郭部分に相当する画素を「１」とし、これ以外の画素を「０」として、前記線画の輪郭部分を含まない画像領域としての前記第１の領域は複数の画素の論理和が「１」になるかを一括して判別する論理和回路を具備することを特徴とする請求項３記載の画像処理装置。
8. 原稿の画像を読み取るスキャナと、
   外部から画像の読取結果を入力する画像入力端子と、
   前記スキャナと画像入力端子のいずれかから処理対象の画像を選択するスイッチ手段と、
   このスイッチ手段により選択された画像を処理する請求項１〜請求項７のいずれかに記載の画像処理装置と、
   前記画像処理装置の処理した画像を記録するプリント手段
   とを具備することを特徴とする複写機。
9. ホワイトボードの撮影画像の処理を行うコンピュータに、
   各画素を多階調で表わしたホワイトボードの撮影画像における階調の大きく変化する線画の輪郭部分に相当する画素を判別するエッジ判別処理と、
   このエッジ判別処理で前記線画の輪郭部分に相当するとされた画素を除外した領域の各画素の階調を、所定のしきい値と比較し、このしきい値以上の明度の高い領域としての背景領域を抽出する背景領域抽出処理と、
   この背景領域抽出処理で抽出した背景領域を白色の階調に固定する背景階調固定処理
   とを実行させることを特徴とするホワイトボード用画像処理プログラム。
10. ホワイトボードの撮影画像の処理を行うコンピュータに、
    各画素を多階調で表わしたホワイトボードの撮影画像における階調の大きく変化する線画の輪郭部分に相当する画素を判別するエッジ判別処理と、
    このエッジ判別処理の判別結果を前記画像の各部分と照合して所定の周辺領域に前記線画の輪郭部分を含まない画像領域としての第１の領域を抽出する第１の領域抽出処理と、
    この第１の領域抽出手段で抽出した第１の領域のそれぞれの画素の階調を第１のしきい値と比較し、この第１のしきい値よりも明度の高い第２の領域を抽出する第２の領域抽出処理と、
    この第２の領域抽出処理で抽出した第２の領域の各画素について周辺画素との平均値を求める平均値算出処理と、
    この平均値算出処理で算出した平均値を前記画像の各部分と照合してこの平均値よりも明度の高い第３の領域を抽出する第３の領域抽出処理と、
    この第３の領域抽出処理によって抽出した前記第３の領域の全画素からなる背景領域を白色の階調に固定する背景階調固定処理
    とを実行させることを特徴とするホワイトボード用画像処理プログラム。

Images