JP2008079258A - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Abstract

【課題】照明が反射したホワイトボードや黒板の文字を明瞭に再生できるようにする。
【解決手段】画像データの輝度分布ヒストグラムを作成することにより、ホワイトボードの背景部分と反射部分とを特定する。そして、反射部分だけを対象として、文字の無い部分と文字のある部分とを特定し、反射部分に含まれる文字が鮮明になるように、再生する。反射部分を特定して文字を再生しているので、他の画像部分の色に影響されずに、反射部分で飽和して色の差が出にくくなっている部分でも、確実に、文字の無い部分と文字のある部分とを判別することができる。
【選択図】図２

Description

本発明は、ディジタルカメラ等の画像処理装置、画像処理方法、及び画像処理プログラムに関し、特に、ホワイトボード等の撮影を行ったときに、反射部分の文字を鮮明に再現できるようにした画像処理装置、画像処理方法、及び画像処理プログラムに関する。

従来より、会議や講演会で、講師がホワイトボードに資料を書き込み、スピーチを行う場合がある。このようなホワイトボードでの書き込みを、ディジタルカメラでそのまま撮影して保存しておくことができれば、会議や講演会の後にその内容を参照でき、便利である。

ところが、ホワイトボードは、白色でコーティングされた部材から形成されているため、光を反射しやすく、ホワイトボードの書き込みをそのままディジタルカメラで撮影すると、照明光の反射の映り込みが発生しやすい。また、このような反射部分では、露光が飽和状態に近くなるため、反射部分に書かれた文字は、殆ど読めなくなってしまうという問題がある。

このような照明光の反射を除去するために、例えば、特許文献１では、撮影対象物として白板を撮影した画像から、縮小二値化画像を作成し、更に縮小二値化画像にラベリング処理を行い、面積が最大の領域の画像を撮影対象の画像とし、それ以外の領域の画像を、蛍光灯の反射画像の写り込みによる画像として、その画素値を背景画素の画素値に変更するようにしたものが提案されている。
特開２００５−２７５４４７号公報

ところが、この特許文献１に示される従来技術は、ホワイトボードを撮影する場合に、照明が反射している部分は、他の背景画像部分よりも輝度が高いという性質を利用して、ヒストグラム上で最も面積が多い部分の色を背景色と判断し、この背景色よりも輝度の高い部分を背景色に変更することで、画像データから照明の反射部分を除去するものである。

しかしながら、上述の従来技術では、照明が反射した部分が一様に背景色に変換されてしまうため、照明が反射した部分に書かれている文字が再現できないという問題があった。

また、文字の部分を明瞭にするために、エッジフィルタを用いることが知られているが、照明の反射部分の画像に対して、そのままエッジフィルタを使用すると、文字の部分ばかりでなく、照明が反射した部分とホワイトボードとの境界のエッジも検出されてしまうという問題が生じる。

そこで、本発明は、上述の課題を鑑みてなされたものであり、照明が反射したホワイトボードや黒板の文字を明瞭に再生できる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１）本発明は、被写体画像を撮像する撮像素子と、撮影モードをホワイトボード撮影モード又は黒板撮影モードに設定する入力手段と、前記撮像素子により撮像された画像データを保存する記憶手段と、前記記憶手段に保存された画像データから、背景色に相当する部分と反射部分とを特定する特定手段と、前記反射部分と特定された部分とから文字を判定する文字判定手段と、を有することを特徴とする画像処理装置を提案している。

（２）本発明は、撮影モードが、ホワイトボード撮影モード又は黒板撮影モードに設定されているかどうかを判断する第１のステップと、前記ホワイトボード撮影モード又は黒板撮影モードに設定されているときに、前記撮像素子で取得された画像データから、背景色に相当する部分と反射部分とを特定する第２のステップと、前記反射部分と特定された部分とから文字を判定する第３のステップと、を有することを特徴とする画像処理方法を提案している。

（３）本発明は、撮影モードが、ホワイトボード撮影モード又は黒板撮影モードに設定されているかどうかを判断する第１のステップと、前記ホワイトボード撮影モード又は黒板撮影モードに設定されているときには、前記撮像素子で取得された画像データから、背景色に相当する部分と反射部分とを特定する第２のステップと、前記反射部分と特定された部分とから文字を判定する第３のステップと、をコンピュータに実行させるための画像処理プログラムを提案している。

本発明によれば、例えば、画像データの輝度分布ヒストグラムを作成する等により、ホワイトボードの背景部分と反射部分とを特定する。そして、反射部分を対象として、文字の無い部分と文字のある部分とを特定し、反射部分に含まれる文字が鮮明になるように再生する。このため、他の画像部分の色に影響されずに、反射部分で飽和して色の差が出にくくなっている部分についても、確実に、文字の無い部分と文字のある部分とを判別することができるという効果がある。

以下、本発明の実施の形態について図面を参照しながら説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜ディジタルカメラの構成＞
図１は、本発明が適用できるディジタルカメラの構成を示すものである。
図１において、本発明が適用されたディジタルカメラ１は、撮影レンズ１２と、レンズ駆動ブロック１３と、アイリス１４と、撮像素子としてのＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）１５と、ＴＧ（タイミングジェネレータ）１６と、ＣＤＳ／ＡＧＣ／ＡＤ（ユニット回路）１７と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１８と、メモリ１９と、特定手段、文字判定手段、変換手段、画像データ取得手段、文字抽出手段、合成手段としてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０と、画像表示部２１と、入力手段としてのキー入力部２２と、外部通信Ｉ／Ｆ（外部通信インターフェース）２３と、ストロボ駆動部２４と、ストロボ発光部２５と、カードＩ／Ｆ（カードインターフェース）２６と、を備えており、カードインターフェース２６には、カードスロットに記憶手段としてのメモリ・カード１１が着脱自在に接続される。

撮影レンズ１２は、図示しないフォーカスレンズ、ズームレンズを含み、レンズ駆動ブロック１３が接続されている。このレンズ駆動ブロック１３は、図示しないフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるフォーカスモータ及びズームモータと、ＣＰＵ２０からの制御信号にしたがって、フォーカスモータ、ズームモータをそれぞれ光軸方向に駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。

アイリス１４は、図示しない駆動回路を含み、駆動回路はＣＰＵ２０から送られてくる制御信号にしたがって、開閉動作を行う。

ＣＣＤ１５は、撮影レンズ１２、アイリス１４を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路１７に出力する。また、ＣＣＤ１５は、タイミングジェネレータ１６によって生成された所定周波数のタイミング信号にしたがって駆動する。タイミングジェネレータ１６にはユニット回路１７が接続されている。

ユニット回路１７は、ＣＣＤ１５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路、その自動利得調整後のアナログの撮像信号をディジタル信号に変換するＡ／Ｄ変換器（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）から構成されており、ＣＣＤ１５の撮像信号は、ユニット回路１７を経てディジタル信号としてＣＰＵ２０に送られる。

ＣＰＵ２０は、ユニット回路１７から送られてきた画像データの画像処理（画素補間処理、ガンマ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、ブレ補正処処理、画像データの圧縮・伸張（例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式の圧縮・伸張）の処理等を行う機能を有するとともに、ディジタルカメラ１の各部を制御するワンチップマイコンである。ＣＣＤ１５によって撮像され、ＣＰＵ２０で画像処理された画像データは、ＪＰＥＧ形式等により圧縮された後に、画像を記憶する記憶素子としてのメモリ・カード１１に記録される。

ＤＲＡＭ１８は、ＣＣＤ１５によって撮像された後、ＣＰＵ２０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ２０のワーキングメモリとして使用される。

画像表示部２１は、カラーＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）とその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ１５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、メモリ・カード１１から読み出され、伸張された記録画像を表示させる。

キー入力部２２は、シャッタボタン、モードキー、ＳＥＴキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ２０に出力する。

外部通信インターフェース２３は、外部の電子機器（例えばパーソナルコンピュータ）との間でデータの入出力を行うものであり、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａ１ Ｂｕｓ）規格、ＩＥＥＥ１３９４規格等の各種インターフェース規格による入出力を可能としており、これらの規格によるデータ入出力可能なパソコン等の電子機器と接続可能となっている。また、ＩｒＤＡ規格による赤外線通信、Ｂｌｕｅｔｏｏｔｈ規格による無線通信により外部の電子機器と画像データの入出力を可能としているものでも良い。

ストロボ駆動部２４は、ＣＰＵ２０の制御信号にしたがつて、ストロボ発光部２５を閃光駆動させ、ストロボ発光部２５はストロボを閃光させる。ＣＰＵ２０は、図示しない測光回路によって撮影シーンが暗いか否かを判断し、撮影シーンが暗いと判断し、且つ、撮影を行うと判断した場合（シャッタボタン押下時）には、ストロボ駆動部２４に制御信号を送る。

メモリ１９には、ＣＰＵ２０によるディジタルカメラ１の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、ＣＰＵ２０は、このプログラムにしたがって処理を行う。

＜第１の実施形態＞
本発明は、上述のように構成されるディジタルカメラ１に適用される。図２は、本実施形態のフローチャートを示すものである。

なお、本実施形態においては、図１におけるキー入力部２２として、ホワイトボード撮影モードに設定するためのキーが含まれる。このキーがホワイトボード撮影モードに設定するための設定入力手段として機能する。このようなホワイトボード撮影モードに設定されることで、図２にフローチャートで示すような処理がＣＰＵ２０により実行される。

＜処理フロー＞
図２において、シャッタボタンが押されると、ＣＣＤ１５からの撮像信号を取り込み（ステップＳ１０１）、ＣＰＵ２０は、ホワイトボード撮影モードに設定されているかどうかを判断する（ステップＳ１０２）。ホワイトボード撮影モードに設定されていない場合（ステップＳ１０２の「ＮＯ」）には、他の処理に進む（ステップＳ１０３）。一方で、ステップＳ１０２で、ホワイトボード撮影モードに設定されている場合（ステップＳ１０２の「ＹＥＳ」）には、以下の処理に進む。

ホワイトボード撮影モードに設定されている場合には、輝度分布ヒストグラムを作成する（ステップＳ１０４）。輝度分布ヒストグラムは、図３に示すように、輝度レベルを横軸に、密度を縦軸にとって輝度分布状態を示すものである。

ここで、図４に示すように、ディジタルカメラ１で文字（図中、Ａ、Ｂ、Ｃ、Ｄ）の書かれたホワイトボード５１を撮影した場合には、ホワイトボードは白一色にコーティングされたボードであるから、文字の書かれた部分以外は、殆どが背景となる白に分布される。よって、典型的には、図３に示すように、そのホワイトボード５１を撮影したときの背景部分５２に相当する白の輝度レベルＹ１で密度が最も高くなり、文字の書かれた部分に相当する文字色の輝度レベルＹ３にも少し小さな分布が表れる。ここで、ホワイトボード５１に照明光が反射している場合には、この照明光の反射部分５３は、密度が最大となる輝度レベルＹ１より高い輝度レベルＹ２の部分となる。そして、照明光の反射の無い部分の背景部分の輝度レベルＹ１と文字部分の輝度レベルＹ３とのレベルの差は十分に大きいものとなる。一方、照明光の反射部分５３では輝度レベルが飽和状態に近くなるため、背景部分の輝度レベルＹ２と文字部分の輝度レベルＹ４とのレベルの差は非常に小さいものとなる。

図２において、ステップＳ１０４で、輝度分布ヒストグラムが作成されたら、この輝度分布ヒストグラム上で、最も密度の高い部分を特定する（ステップＳ１０５）。この輝度分布ヒストグラム上で最も密度が高い部分は、前述したように、背景色に相当する輝度レベルであると考えられるので、輝度分布ヒストグラム上で最も密度の高い部分の色を、ホワイトボードの背景色として特定する（ステップＳ１０６）。

次に、輝度分布ヒストグラム上で最も密度の高い部分よりも輝度の高い部分を特定する（ステップＳ１０７）。この輝度分布ヒストグラム上で最も密度が高い部分よりも輝度の高い部分は、反射部分であると考えられるので、この特定された部分の色をホワイトボードの反射部分の色として特定する（ステップＳ１０８）。

次に、ステップＳ１０８で特定したホワイトボードの反射部分に含まれる色の範囲の中で、閾値の色を設定する（ステップＳ１０９）。この閾値は、ホワイトボードの反射部分に含まれる文字の部分を取り出すための閾値である。すなわち、ホワイトボードの反射部分に文字が重なっている場合、その文字の部分は、反射部分の中で、輝度が低くなるが、上述したようにその輝度レベルの差は小さい。そこで、この閾値は、この反射部分と文字の部分とを輝度レベルでより確実に分離するために適切な閾値が設定される。例えば、ヒストグラム上のＹ２の輝度レベルとＹ４の輝度レベルとの中間の輝度レベルが閾値として設定される（図３の点線部）。

ステップＳ１０９で閾値を設定したら、画像データにおける反射部分を対象として、ステップＳ１０９で設定した閾値の色との比較を行って、文字のある部分と文字の無い部分とを判別する（ステップＳ１１０）。すなわち、画像データにおける反射部分の中で、閾値の色より輝度の高い部分は文字の無い部分と判断し、閾値の色より輝度の低い部分は文字のある部分と判断する。

そして、ステップＳ１１０で、ホワイトボードの反射部分で、文字のある部分と文字の無い部分とが判別されたら、文字の無い部分の色をステップＳ１０６で特定したホワイトボードの背景色に変換する（ステップＳ１１１）。また、文字のある部分の色を、ホワイトボードの背景色よりも輝度の低い、所定の色に変換する（ステップＳ１１２）。

以上説明したように、本実施形態では、画像データの輝度分布ヒストグラムを作成することにより、ホワイトボードの背景部分と反射部分とを特定し、反射部分だけを対象として、文字の無い部分と文字のある部分とを特定する。これにより、他の画像部分の色に影響されずに、この反射部分に含まれる色の範囲の中で、判別における基準となる色（閾値）を設定することができる。したがって、この閾値を使って文字の無い部分と文字のある部分とを判別することにより、反射部分で飽和して色の差が出にくくなっている部分についても、確実に、文字の無い部分と文字のある部分とを判別することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本実施形態に使用されるディジタルカメラ１は、前述の第１の実施形態と同様に構成される。また、キー入力部２２として、ホワイトボード又は黒板撮影モードに設定するためのキーが含まれる。前述の第１の実施形態では、ホワイトボードの撮影のみを行っているが、本実施形態では、黒板の撮影も行うことができるようにされている。

＜処理フロー＞
図５は本発明の本実施形態のフローチャートである。
図５において、シャッタボタンが押されると、ＣＣＤ１５からの撮像信号を取り込み（ステップＳ２０１）、ＣＰＵ２０は、ホワイトボード撮影モード又は黒板撮影モードに設定されているかどうかを判断する（ステップＳ２０２）。ここで、ホワイトボード撮影モード又は黒板撮影モードに設定されていない場合（ステップＳ２０２の「ＮＯ」）には、他の処理に進む（ステップＳ２０３）。一方で、ステップＳ２０２で、ホワイトボード撮影モード又は黒板撮影モードに設定されている場合（ステップＳ２０２の「ＹＥＳ」）には、以下の処理に進む。

ホワイトボード撮影モード又は黒板撮影モードに設定されている場合には、輝度分布ヒストグラムを作成する（ステップＳ２０４）。ステップＳ２０４で、輝度分布ヒストグラムが作成されたら、輝度分布ヒストグラム上で最も密度の高い部分を特定する（ステップＳ２０５）。そして、この輝度分布ヒストグラム上で最も密度の高い部分の色を、ホワイトボード又は黒板の背景色として特定する（ステップＳ２０６）。

次に、輝度分布ヒストグラム上で最も密度の高い部分よりも輝度の高い部分を特定する（ステップＳ２０７）。ここで、ホワイトボードの撮影の場合には、この輝度分布ヒストグラム上で最も密度が高い部分よりも輝度の高い部分を、ホワイトボードの反射部分の色として特定できるが、黒板を撮影した場合には、チョークの白い線についても、輝度分布ヒストグラム上で最も密度が高い部分よりも輝度の高い部分となる。このため、このままでは、黒板の反射部分の領域を正確に特定することができない。そこで、黒板の反射部分の領域を特定するのに先立って一時的にチョークの白い線を除去するため、特定された部分の色を対象として、ノイズ除去フィルタを通過させ、その後で反射部分の領域を特定する（ステップＳ２０８）。

そして、この特定されたホワイトボード又は黒板の反射部分だけを対象として、エッジ検出フィルタ、ハイパスフィルタ、平滑フィルタ、メディアンフィルタを順番に通過させることにより、ホワイトボードの照明の反射部分内にある文字を抽出する（ステップＳ２０９）。

更に、ホワイトボード又は黒板の反射部分を除く部分（背景部分）を対象として、文字を鮮明にするために、エッジ検出フィルタ、ハイパスフィルタ、平滑フィルタ、メディアンフィルタを順番に通過させ、文字を抽出する（ステップＳ２１０）。このように、ホワイトボード又は黒板の反射部分に対するエッジ検出フィルタを含むフィルタ処理と、反射部分を除く部分（背景部分）に対するエッジ検出フィルタを含むフィルタ処理とを別々に実行することにより、反射部分と背景部分との境界がエッジ検出されてしまい、文字と背景部分との境界の区別がつかなくなることを防ぐことができる。

なお、光の反射部分と反射部分を除く部分とでは、フィルタやパラメータは別々に設定しても良い。また、背景部分の文字が十分に再現できるなら、このステップＳ２１０の処理は、行わなくても良い。

そして、ホワイトボード又は黒板の反射部分中の文字の無い部分の色を、ステップＳ２０６で特定したホワイトボードの背景色に変換する（ステップＳ２１１）。

以上説明したように、前述の第１の実施形態では、反射部分に含まれる色の範囲の中で、判別における基準となる色（閾値）を設定し、この閾値を使って文字の無い部分と文字のある部分とを判別しているのに対して、本実施形態では、フィルタを用いて、文字の部分を抽出している。これらのフィルタは、基本的には、注目画素の周囲の画素に係数を乗じて、これらを加算するような構成とされている。

例えば、エッジ検出フィルタとしては、図６に示すような係数のフィルタが用いられる。図６に示すフィルタは、その中心を注目画素として、その周辺の（３×３）の画素がフィルタリングに用いられる。横方向には、図６（Ａ）に示す係数を各画素に乗算して、横方向の合計を算出する。また、縦方向には、図６（Ｂ）に示す係数を各画素に乗算して、縦方向の合計を算出する。そして、横方向の合計値と、縦方向の合計値とを加算する。

また、ハイパスフィルタとしては、図７に示すような係数のフィルタが用いられる。図７に示すフィルタは、その中心を注目画素として、その周辺の（３×３）の画素がフィルタリングに用いられる。そして、各係数を各画素に乗算して、その合計値を求める。

また、平滑フィルタとしては、図８に示すような係数のものが用いられる。図８に示すフィルタは、その中心を注目画素として、その周辺の（３×３）の画素がフィルタリングに用いられ、各係数を各画素に乗算して、その合計値を求める。

また、メディアンフィルタは、図９（Ａ）に示すように、その中心を注目画素として、その周辺の（３×３）の画素がフィルタリングに用いられる。図９（Ｂ）に示すように、この（３×３）の画素を順に並べ、そして、図９（Ｃ）に示すように、着目画素を、周辺の画素の中央値とする。

なお、これらのフィルタは一例であり、フィルタの係数やフィルタに用いる画素数は、これに限定されるものではない。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。本実施形態に使用されるディジタルカメラ１は、前述の第１及び第２の実施形態と同様に構成される。また、キー入力部２２として、ホワイトボード撮影モードに設定するためのキーが含まれる。

＜処理フロー＞
図１０は本発明の第３の実施形態のフローチャートである。
図１０において、シャッタボタンが押されると、ＣＣＤ１５からの第１の撮像データを取り込み（ステップＳ３０１）、ＣＰＵ２０は、ホワイトボード撮影モードに設定されているかどうかを判断する（ステップＳ３０２）。このとき、ホワイトボード撮影モードに設定されていない場合（ステップＳ３０２の「ＮＯ」）には、他の処理に進む（ステップＳ３０３）。一方、ステップＳ３０２で、ホワイトボード撮影モードに設定されている場合（ステップＳ３０２の「ＹＥＳ」）には、以下の処理に進む。

ステップＳ３０２で、ホワイトボード撮影モードに設定されていると判断された場合には、ステップＳ３０１で得られた第１の画像データに続いて、その直後に、同一の画像データを、露光条件を下げて取得し、これを第２の画像データとする（ステップＳ３０４）。ここで、露光条件を下げるとは、具体的には、アイリス１４を絞ったり、ＣＣＤ１５の露光時間（シャッタ速度）を短くしたり、減光フィルタを挿入したり等を行う。このようにして、露光条件を変えた第１及び第２の画像データを取得する。

第１及び第２の画像データが取得されたら、第１（又は第２）の画像データにおいて輝度分布ヒストグラムを算出する（ステップＳ３０５）。輝度分布ヒストグラムが作成されたら、この輝度分布ヒストグラム上で、最も密度の高い部分を特定する（ステップＳ３０６）。この輝度分布ヒストグラム上で最も密度の高い部分の色を、ホワイトボードの背景色として特定する（ステップＳ３０７）。

次に、輝度分布ヒストグラム上で最も密度の高い部分よりも輝度の高い部分を特定する（ステップＳ３０８）。この輝度分布ヒストグラム上で最も密度が高い部分よりも輝度の高い部分は、反射部分であると考えられるので、この特定された部分をホワイトボードの反射部分として特定する（ステップＳ３０９）。

次に、第２の画像データ中のホワイトボードの反射部分に含まれる色の範囲の中で、閾値の色を設定する（ステップＳ３１０）。閾値を設定したら、第２の画像データにおける反射部分を対象として、設定した閾値の色との比較を行って、文字のある部分と文字の無い部分とを判別する（ステップＳ３１１）。

そして、第２の画像データ中のホワイトボードの反射部分で、文字のある部分と文字の無い部分とが判別されたら、第２の画像データ中の反射部の文字のある部分の色を、ホワイトボードの背景色よりも輝度の低い所定の色に変換する（ステップＳ３１２）。

また、第１の画像データ中の反射部分の文字の無い部分の色を、ステップＳ３０７で推定されたホワイトボードの背景色に変換する（ステップＳ３１３）。そして、第１の画像データにおける反射部分に対して、第２の画像データにおける文字部分を合成する（ステップＳ３１４）。

このように、本実施形態では、第１の画像データを取得した後、露光条件を下げた状態で、第２の画像データを取得している。そして、露光条件を下げた第２の画像データを用いてホワイトボードの反射部分の文字を抽出して、通常撮影された画像データに合成している。このように、露光条件を下げると、通常撮影では光の飽和が生じて文字が判定しづらい場合でも、見やすい文字を再現することができる。

なお、本実施形態では、第１の画像データと第２の画像データの位置ずれが生じないように、連続して撮影を行ったが、第１の画像データを撮影した後に、反射部分の文字が識別可能か否かを色差の大きさ等により判断し、判別が難しいと判断された場合には、露光条件を下げた再撮影を促す警告を発し、第２の画像データを撮影した後に、特徴検出等の画像処理によって位置合わせを行ってから、処理を行うようにしても良い。

なお、画像処理装置の処理をコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを画像処理装置に読み込ませ、実行することによって本発明の画像処理装置を実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。

また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されても良い。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。更に、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明が適用できるディジタルカメラの一例のブロック図である。 本発明の第１の実施形態の説明に用いるフローチャートである。 本発明の第１の実施形態における輝度分布ヒストグラムの説明図である。 本発明の第１の実施形態における背景部分と反射部分の説明図である。 本発明の第２の実施形態の説明に用いるフローチャートである。 本発明の第２の実施形態における文字を識別するためのフィルタの説明図である。 本発明の第２の実施形態における文字を識別するためのフィルタの説明図である。 本発明の第２の実施形態における文字を識別するためのフィルタの説明図である。 本発明の第２の実施形態における文字を識別するためのフィルタの説明図である。 本発明の第２の実施形態の説明に用いるフローチャートである。

符号の説明

１ ・・・ディジタルカメラ
１１・・・メモリカード
１２・・・撮影レンズ
１３・・・レンズ駆動ブロック
１４・・・アイリス
１５・・・撮像素子
１６・・・タイミングジェネレータ
１７・・・ユニット回路
１８・・・ＤＲＡＭ
１９・・・メモリ
２０・・・ＣＰＵ
２１・・・画像表示部
２２・・・キー入力部
２３・・・外部通信インターフェース
２４・・・ストロボ駆動部
２５・・・ストロボ発光部
２６・・・カードインターフェース
５１・・・ホワイトボード
５２・・・背景部分
５３・・・反射部分

Claims (9)

1. 被写体画像を撮像する撮像素子と、
   撮影モードをホワイトボード撮影モード又は黒板撮影モードに設定する入力手段と、
   前記撮像素子により撮像された画像データを保存する記憶手段と、
   前記記憶手段に保存された画像データから、背景色に相当する部分と反射部分とを特定する特定手段と、
   前記反射部分と特定された部分とから文字を判定する文字判定手段と、
   を有することを特徴とする画像処理装置。
2. 前記特定手段が、取り込んだ画像データから輝度分布ヒストグラムを作成し、この輝度分布ヒストグラムが最大密度となる部分を背景色に相当する部分と判断し、最大密度の部分より高い輝度となる部分を反射部分と判断することを特徴とする請求項１に記載の画像処理装置。
3. 更に、前記輝度分布ヒストグラムが最大密度となる部分の色を背景色部分の色と判断し、前記反射部分として判断された部分の色を、前記背景色部分と判断された部分の色に変換する変換手段を有することを特徴とする請求項２に記載の画像処理装置。
4. 前記文字判定手段が、前記反射部分と判断された部分を対象として閾値を設定し、この閾値により、文字のある部分と文字の無い部分とを判別することを特徴とする請求項１に記載の画像処理装置。
5. 前記文字判定手段が、フィルタ演算処理により文字を検出することを特徴とする請求項１に記載の画像処理装置。
6. 前記フィルタ演算処理は、エッジ検出フィルタと、ハイパスフィルタと、平滑フィルタと、メディアンフィルタであることを特徴とする請求項５に記載の画像処理装置。
7. 更に、通常の露光条件で撮影した第１の画像データと、前記通常の露光条件より露光条件を下げて撮影した第２の画像データとを取得する画像データ取得手段と、
   前記露光条件を下げた第２の画像を用いて反射部分の文字を抽出する文字抽出手段と、
   該文字抽出手段により抽出された文字を前記通常の露光条件で撮影された第１の画像データに合成する合成手段と、
   を有することを特徴とする請求項１に記載の画像処理装置。
8. 撮影モードが、ホワイトボード撮影モード又は黒板撮影モードに設定されているかどうかを判断する第１のステップと、
   前記ホワイトボード撮影モード又は黒板撮影モードに設定されているときに、撮像素子で取得された画像データから、背景色に相当する部分と反射部分とを特定する第２のステップと、
   前記反射部分と特定された部分とから文字を判定する第３のステップと、
   を有することを特徴とする画像処理方法。
9. 撮影モードが、ホワイトボード撮影モード又は黒板撮影モードに設定されているかどうかを判断する第１のステップと、
   前記ホワイトボード撮影モード又は黒板撮影モードに設定されているときには、撮像素子で取得された画像データから、背景色に相当する部分と反射部分とを特定する第２のステップと、
   前記反射部分と特定された部分とから文字を判定する第３のステップと、
   をコンピュータに実行させるための画像処理プログラム。

Images