JP2005260657A - 撮影装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】撮影した原稿の種類や背景色に応じて適切な画像補正をおこなう。
【解決手段】デジタルカメラ１は、撮影対象物として白板ＷＢ上の原稿（文字、図、写真など）を撮影した画像から輝度ヒストグラムと色相ヒストグラムを取得する。デジタルカメラ１は、取得した輝度ヒストグラムにおける最大値、最小値、ピーク値を示す輝度ヒストグラムパラメータと、色相ヒストグラムにおける最大値、最小値、ピーク値、平均値、および、色差分散値を示す色相ヒストグラムパラメータを抽出する。デジタルカメラ１は、抽出した輝度ヒストグラムパラメータと色相ヒストグラムパラメータを用いて、撮影された原稿の種類と背景色を判別する。デジタルカメラ１は、判別した原稿の種類と背景色とに応じて、原稿の視認性を向上させるための画像処理を最適化する。
【選択図】図１

Description

本発明は、撮影装置、画像処理方法及びプログラムに関するものである。

デジタルカメラの発達と蓄積型メモリの低価格化に伴い、デジタルカメラを単なる風景や人の撮影だけに用いるのではなく、紙面文書や名刺などの書類、また、会議での筆記された黒板等に表示されたものを撮影し、これらの画像をパーソナルコンピュータ等にデジタル的に保存し、管理をおこなう応用が考えられつつある。

このようにデジタルカメラで書類や黒板の撮影を行う場合、フラットベッドスキャナなどで画像を得る場合とは異なり、撮影者の位置が不定であるため、撮影対象の正面から撮影することが難しい場合がある。また、正面位置を確保できる場合であっても、ライトの映り込みなどを避けるために正面から撮影するのを避けた方が好ましい場合もある。このような条件下で書類などの対象物（原稿）を斜め方向から撮影した場合、撮影された文字等が斜めまたは台形に歪んでしまうことがある。さらに、フラットベッドスキャナなどで画像を得る場合と異なり、デジタルカメラでの撮影では、明るさの均一化やライティング条件などが撮影ごとに変わってしまうため、光量不足やホワイトバランスの調整不足などにより、撮影した書類の白い背景がかならずしも白く撮影されずに、黄色みがかってしまう場合があった。

このような画像を補正するものとして、輝度ヒストグラムの均一化や輝度の引き伸ばしを行ったり、色合いを変化させて画像を調整するツールや方法が考案されている（例えば、特許文献１参照）。

また、この問題を解決するために、本願出願人は、特願２００３−３５４３８９などの先行特許出願において、斜め撮影された画像であっても、撮影対象の切り出しと正面補正をおこなったあとに画像鮮明化処理を可能とする手法を提案している。

この画像鮮明化処理（画像効果）では、全画像の輝度ヒストグラムと色相ヒストグラムに基づく輝度ヒストグラムのピーク値（最大ヒストグラムを有する点）から画像の背景の色を推定し、背景色の色に応じて輝度引き伸ばしの手法を変えて、原稿の種別にかかわらず良好な画像鮮明化をおこなうことができる。
特開２００１−１２５５５７号公報

しかし、上記手法では、背景の色のみに基づいて輝度引き伸ばしをおこなっているために、例えば、背景が白で文字等がカラー（すなわち、黒ではない）である場合では、背景が白になるように強く輝度の引き伸ばしをおこなうと、背景色を明るくする処理に伴い、文字等の明るい色の部分も明るさが強くなり、結果として判読しにくい画像になる場合があった。

本発明は、このような従来の問題点に鑑みてなされたもので、撮影した原稿の種類や背景色にかかわらず視認性の高い画像を得ることができる撮影装置、画像処理方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る撮影装置は、
撮影対象物を撮影する撮影装置において、
前記撮影対象物を撮影して撮影画像を取得する撮影部と、
前記撮影部が取得した撮影画像を補正するための画像処理を行う画像処理部と、を備え、
前記画像処理部は、
前記撮影画像のヒストグラムを取得するヒストグラム取得部と、
前記ヒストグラム取得部が取得したヒストグラムの所定のパラメータを検出するパラメータ検出部と、
前記パラメータ検出部が取得したパラメータに基づいて、前記撮影画像に示される撮影対象物の特徴を判別する特徴判別部と、
前記特徴判別部が判別した撮影対象物の特徴に応じて当該撮影画像を補正する画像補正部と、
を備える、
ことを特徴とする。

前記撮影対象物は所定の原稿であり、
この場合、
前記特徴判別部は、前記パラメータに基づいて、当該撮影画像に示される原稿の種類を判別することが望ましく、この場合、
前記画像補正部は、前記特徴判別部が判別した原稿の種類に応じて当該撮影画像を補正することができる。

また、
前記特徴判別部は、前記パラメータに基づいて、当該撮影画像に示される原稿の背景色を判別することが望ましく、この場合、
前記画像補正部は、前記特徴判別部が判別した原稿の種類と背景色とに応じて当該撮影画像を補正することができる。

さらに、
前記ヒストグラム取得部は、少なくとも、前記撮影画像における輝度の部分布を示す輝度ヒストグラムと、前記撮影画像における色差の分布を示す色相ヒストグラムと、を取得することが望ましく、この場合、
前記パラメータ検出部は、少なくとも、前記輝度ヒストグラムにおける輝度の最小値、最大値、ピーク値を輝度ヒストグラムパラメータとして検出し、前記色相ヒストグラムにおける色差のピーク値、平均値、分散値を色相ヒストグラムパラメータとして検出し、
前記特徴判別部は、前記パラメータ検出部が検出した輝度ヒストグラムパラメータと色相ヒストグラムパラメータとに基づいて、前記原稿の種類と背景色とを判別することが望ましい。

前記画像補正部は、前記撮影画像の輝度、及び／又は、色を補正することが望ましい。

前記画像補正部は、前記撮影画像に示される撮影対象の歪みを補正してもよく、この場合、前記画像補正部は、歪みが補正された撮影画像の輝度、及び／又は、色を補正することが望ましい。

本発明の第２の観点に係る撮影装置の画像処理方法は、
コンピュータを用いて画像補正を行うための画像処理方法であって、
所定の原稿が示される画像データを取得する画像取得ステップと、
取得された画像データに基づく所定のヒストグラムを取得するヒストグラム取得ステップと、
取得されたヒストグラムにおける所定のパラメータを検出するパラメータ検出ステップと、
検出されたパラメータに基づいて、前記原稿の種類と背景色とを判別する原稿判別ステップと、
判別された原稿の種類と背景色とに応じて、前記画像データの輝度、及び／又は、色の補正をおこなう補正ステップと、
を備えることを特徴とする。

上記画像処理方法において、
前記ヒストグラム取得ステップは、前記画像データにおける輝度分布を示す輝度ヒストグラムと、前記画像データにおける色差分布を示す色相ヒストグラムと、を取得し、
前記パラメータ検出ステップは、前記輝度ヒストグラムに現れる輝度の最小値、最大値、ピーク値を輝度ヒストグラムパラメータとして検出し、前記色相ヒストグラムにおける色差のピーク値、平均値、分散値を色相ヒストグラムパラメータとして検出し、
前記原稿判別ステップは、前記輝度ヒストグラムパラメータと色相ヒストグラムパラメータとに基づいて、当該原稿の種類がモノクロであるか否か、および、当該原稿の背景色が白色であるか否かを判別し、
前記補正ステップは、判別された原稿の種類と背景色とに応じた補正パターンで輝度補正、及び／又は、色補正をおこなうことが望ましい。

本発明の第３の観点に係るプログラムは、
コンピュータに、
所定の原稿が示される画像データを取得する手順と、
取得された画像データに基づく輝度ヒストグラムと色相ヒストグラムとを取得する手順と、
取得された輝度ヒストグラムにおける輝度の最小値、最大値、ピーク値を輝度ヒストグラムパラメータとして検出し、前記色相ヒストグラムにおける色差のピーク値、平均値、分散値を色相ヒストグラムパラメータとして検出する手順と、
検出された輝度ヒストグラムパラメータと色相ヒストグラムパラメータとに基づいて、当該原稿の種類がモノクロであるか否か、および、当該原稿の背景色が白色であるか否かを判別する手順と、
判別された原稿の種類と背景色とに応じた補正パターンで輝度補正、及び／又は、色補正をおこなう手順と、
を実行させるためのものである。

本発明によれば、画像のヒストグラムから原稿の種類と背景色を判別して補正するので、原稿の種類や背景色にかかわらず良好な画像を得ることができる。

以下、本発明の実施形態に係る撮影装置を図面を参照して説明する。本実施形態では、撮影装置としてデジタルカメラを用い、四角い形状の白板などに表された文字、図、写真等を撮影する場合を例に以下説明する。

本実施形態に係るデジタルカメラ１の構成を図１に示す。図示するように、デジタルカメラ１は、撮影レンズ部１１と、液晶モニタ１２と、シャッタボタン１３と、を備える。

撮影レンズ部１１は、光を集光するレンズ等を備え、白板ＷＢなどに表された文字、図、写真等（以下、「原稿」とする）からの光を集光するものである。

液晶モニタ１２は、撮影レンズ部１１を介して内部に取り込まれた画像を映し出すためのものである。
シャッタボタン１３は、撮影対象を撮影するときに押下するものである。

このデジタルカメラ１は、図２に示すように、光学レンズ装置２１と、イメージセンサ２２と、メモリ２３と、表示装置２４と、画像処理装置２５と、操作部２６と、コンピュータインタフェース部２７と、外部記憶ＩＯ装置２８と、プログラムコード記憶装置２９と、を備えて構成される。

光学レンズ装置２１は、撮影レンズ部１１とその駆動部とを備えたものであり、イメージセンサ２２上に、原稿からの光を集光させて像を結像させる。

イメージセンサ２２は、結像した画像を、デジタル化した画像データとして取り込むためのものであり、例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）等によって構成される。イメージセンサ２２は、ＣＰＵ３０によって制御され、シャッタボタン１３が押下されなければ、プレビュー用の解像度の低いデジタルの画像データを生成し、この画像データを秒間３０枚程度の間隔で、定期的にメモリ２３に送出する。また、イメージセンサ２２は、シャッタボタン１３が押下されると、解像度の高い画像データを生成し、生成した画像データをメモリ２３に送出する。

メモリ２３は、イメージセンサ２２からの低解像度のプレビュー画像、高解像度の画像データ又は画像処理装置２５が画像処理する元画像のデータ、処理後の画像データを一時記憶するものである。メモリ２３は、一時記憶した画像データを表示装置２４又は画像処理装置２５に送り出す。

表示装置２４は、液晶モニタ１２を備え、液晶モニタ１２に画像を表示させるためのものである。表示装置２４は、メモリ２３が一時記憶した低解像度のプレビュー画像又は解像度の高い画像を液晶モニタ１２に表示する。

画像処理装置２５は、メモリ２３に一時記憶された画像データに対して、画像の補正処理や画像データの圧縮等の画像処理を行うためのものである。

すなわち、図３（ａ）にそれぞれ示すように、白板ＷＢに向かって左方向および右方向から白板ＷＢ上の原稿をデジタルカメラ１で撮影すると、液晶モニタ１２には、図３（ｂ）、（ｃ）に示すように、白板ＷＢと原稿が台形状に歪んで表示される。画像処理装置２５は、この図３（ｂ）、（ｃ）に示すような画像に対して画像処理を施すことにより、図３（ｄ）に示すような、正面から撮影したような画像を生成する。

画像処理装置２５は、メモリ２３に一時記憶された画像データに対して、画像データの圧縮、画像の歪み補正、画像効果処理等の画像処理を行うためのものである。

さらに具体的には、画像処理装置２５は、ＣＰＵ３０に制御されて、主に、以下の処理等を行う。
（１）撮影画像からの輪郭抽出と画像の切り出し
（２）輝度あるいは色差等に関する画像鮮明化補正用パラメータの抽出及び画像鮮明化処理

上記（１）の処理は、例えば、「アファイン変換」によって実現されるものである。ここでは、画像歪みを補正するため、歪んだ画像から撮影対象の輪郭を示す四角形を切り取り、切り取った四角形に撮影画像を射影変換することで、斜め方向から撮影した画像を正面方向から撮影したように補正する。

操作部２６は、書画投影の機能を制御するためのスイッチ、キーを備えたものである。操作部２６は、ユーザによるこれらのキー・スイッチの押下に応答して、対応する操作情報（操作信号）をＣＰＵ３０に送信する。

操作部２６は、図４に示すように、上縮小キー１１１と、下縮小キー１１２と、右縮小キー１１３と、左縮小キー１１４と、右回転キー１１５と、左回転キー１１６と、を備える。

上縮小キー１１１と、下縮小キー１１２と、右縮小キー１１３と、左縮小キー１１４とは、射影変換を行なうための射影変換キーである。上縮小キー１１１は、Ｘ軸を中心に画像の上部と下部とを比較し、上部が大きい場合に、上部を紙面に向かって下方向に回転させるときに押下するキーである。

下縮小キー１１２は、Ｘ軸を中心に画像の上部と下部を比較し、下部が大きい場合に、下部を紙面に向かって下方向に回転させるときに押下するキーである。

右縮小キー１１３と左縮小キー１１４とは、Ｙ軸側を中心に左右のひずみを調整するときに押下するキーであり、右縮小キー１１３は、右が大きいときに押下するキーであり、左縮小キー１１４は、左が大きいときに押下するキーである。

右回転キー１１５と左回転キー１１６とは、画像の回転を調整するための回転補正キーである。右回転キー１１５は、画像を右に回転するときに押下するキーであり、左回転キー１１６は、画像を左に回転するときに押下するキーである。

また、操作部２６は、この他に、撮影キー、再生キー、カーソルキー、コントロールキー等（図示せず）を備える。撮影キーは、撮影対象物を撮影するときの撮影モードを選択するためのキーである。再生キーは、撮影によって得られた撮影対象画像を再生するときの再生モードを選択するためのキーである。コントロールキーは、操作を確定させるにおいてＹＥＳキー、操作をキャンセルするためのＮＯキー、編集を行うための編集キー等の機能を有するキーである。

コンピュータインタフェース部２７は、デジタルカメラ１がコンピュータ（図示せず）に接続されたときに、ＵＳＢのストアレジクラスドライバとして動作するものである。これにより、コンピュータは、デジタルカメラ１に接続されると、メモリカード３１をコンピュータの外部記憶装置として取り扱う。

外部記憶ＩＯ装置２８は、メモリカード３１との間で、画像データ等の入出力を行うものである。メモリカード３１は、外部記憶ＩＯ装置２８から供給された画像データ等を記憶するものである。

プログラムコード記憶装置２９は、ＣＰＵ３０が実行するプログラムを記憶するためのものであり、ＲＯＭやフラッシュメモリなどによって構成される。

ＣＰＵ３０は、プログラムコード記憶装置２９に格納されているプログラムに従って、システム全体を制御するものである。尚、メモリ２３は、ＣＰＵ３０の作業メモリとしても用いられる。

操作部２６のスイッチ・キーが押下されることにより、操作部２６から操作情報が送信されると、ＣＰＵ３０は、この操作情報に基づいて、イメージセンサ２２、メモリ２３、表示装置２４、画像処理装置２５等を制御する。

具体的には、ＣＰＵ３０は、操作部２６から、撮影キーが押下された旨の操作情報が送信されると、各部を撮影モードに設定する。ＣＰＵ３０は、撮影モードに設定した状態で、シャッタボタン１３が押下されなければ、イメージセンサ２２をプレビューモードに設定し、シャッタボタン１３が押下されれば、解像度の高い撮影対象画像を読み込む高解像度モードに設定する。また、ＣＰＵ３０は、再生キーが押下された旨の操作情報が送信されると、各部を再生モードに設定する。

また、ＣＰＵ３０は、操作部２６から、射影変換キー、回転補正キーが押下された旨の操作情報が送信されると、これらの操作情報を画像処理装置２５に送信して、画像処理装置２５を制御する。

また、ＣＰＵ３０は、外部記憶ＩＯ装置２８を介してメモリカード３１に、プレビュー画像、高解像度の画像のデータを記録したり、メモリカード３１から、記録された画像データを読み出したりする。ＣＰＵ３０は、メモリカード３１には、例えば、ＪＰＥＧフォーマットで圧縮した画像データを記録する。

ＣＰＵ３０は、メモリ２３に画像データを一時記憶する際、プレビュー画像、高解像度の画像データを異なる記憶領域に記録する。また、ＣＰＵ３０は、メモリカード３１には、画像データを画像ファイルに分けて記録する。

また、ＣＰＵ３０は、外部記憶ＩＯ装置２８を介してメモリカード３１に、プレビュー画像、高解像度の画像のデータを記録したり、メモリカード３１から、記録された画像データを読み出したりする。ＣＰＵ３０は、このため、メモリカード３１に、画像データを格納する画像ファイルを作成する。

そして、ＣＰＵ３０は、例えば、ＪＰＥＧフォーマットで圧縮した補正後の画像データを画像ファイルに分けて記録する。さらに、ＣＰＵ３０は、各画像ファイルに、画像ファイルのヘッダ情報記憶領域を作成し、画像データを記録する際、画像処理装置２５が求めた射影パラメータ、画像効果処理補正用パラメータといった画像データに関するヘッダ情報を、このヘッダ情報記憶領域に記録する。このヘッダ情報については後述する。

次に本実施形態に係るデジタルカメラ１の動作を説明する。
ユーザがデジタルカメラ１の電源をオン（投入）すると、ＣＰＵ３０はプログラムコード記憶装置２９に記憶されているプログラムのデータを取得する。ユーザが撮影ボタンを押下すると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０はこの操作情報を受信し、ＣＰＵ３０、画像処理装置２５等は、図５に示すフローチャートに従って「撮影処理」を実行する。

ＣＰＵ３０は、イメージセンサ２２をプレビューモードに設定する（ステップＳ１０１）。
ＣＰＵ３０は、操作部２６から送信された操作情報に基づいてシャッタボタン１３が押下されたか否かを判定する（ステップＳ１０２）。

シャッタボタン１３が押下されたと判定した場合（ステップＳ１０２においてにおいてＹｅｓ）、ＣＰＵ３０は、イメージセンサ２２に対して、プレビューモードから高解像度モードに切り替えてイメージセンサ２２を制御する（ステップＳ１０３）。

ＣＰＵ３０は、イメージセンサ２２が生成した高解像度の撮影対象画像のデータを、メモリ２３上のプレビュー画像とは異なる記憶領域に記録する（ステップＳ１０４）。

ＣＰＵ３０は画像データの読み込みが終了したか否かを判定する（ステップＳ１０５）。
読み込みが終了していないと判定した場合（ステップＳ１０５においてＮｏ）、ＣＰＵ３０は、引き続き、画像データの読み込みを行うようにイメージセンサ２２を制御する。

画像データをすべて読み込んで画像転送も終了したと判定した場合（ステップＳ１０５においてにおいてＹｅｓ）、ＣＰＵ３０は、この撮影画像（高解像度画像）から、低解像度のプレビュー画像を生成し、メモリ２３のプレビュー画像用の記憶領域上に、プレビュー画像のデータを書き込む（ステップＳ１０６）。

ＣＰＵ３０は画像処理装置２５を制御し、ステップＳ１０６で生成したプレビュー画像の切り出しをおこなう（ステップＳ１０７）。すなわち、図３（ａ）に示すように、白板ＷＢなどの四角い撮影対象を斜め方向から撮影すると、撮影対象を示す画像が台形状に歪んでしまう（図３（ｂ）、図３（ｃ））。そこで、撮影対象の輪郭を示す四角形を歪んだ画像から切り取り、切り取った四角形に撮影画像を射影変換することで、正面から撮影したような画像（図３（ｄ））に補正して切り出す。

本実施形態では、このような画像補正と切り出しを、例えば、「アフィン変換」を用いておこなうものとする。「アフィン変換」とは、画像の空間変換に広く用いられている手法であり、本実施形態では、３次元のカメラパラメータを用いずに２次元アフィン変換を用いて射影変換を行うことで、画像補正と切り出しをおこなう。

より詳細には、例えば、「Robertsフィルタ」などを用いて原稿の輪郭を示す四角形を抽出し、抽出した四角形の頂点座標から射影パラメータを求めて撮影対象物の画像を射影変換することで、斜め方向から撮影して台形状に歪んだ画像を正面から撮影したように補正して切り出す。すなわち、撮影対象物が四角形であれば、自動的に画像の歪みを補正することができる。その結果、正面から撮影した場合の画像と同等の判読性の高い画像を得ることができる。さらに、切り出す際に射影補正もおこなうことで、撮影被写体が正面画像となり、文字や図形の比率などが撮影被写体と同じになる。ここでは、射影パラメータを求めるのに、ステップＳ１０６で生成したプレビュー用の低解像度画像（縮小画像）を用いるので、演算数は低減され、効率よく演算処理を行うことができ、画像処理を高速に行うことができる。

次に画像処理装置２５は、ステップＳ１０７で切り出された画像に対して、文字などの識別性を高めるための画像処理である「画像鮮明化処理」をおこなう（ステップＳ２００）。この「画像鮮明化処理」では、輝度あるいは色差に関する「画像鮮明化補正用パラメータ」を抽出し、このパラメータを用いて画像の鮮明化をおこなう。本実施形態では「輝度補正」と「カラー調整」（色補正）をおこなうものとする。「画像鮮明化処理」の詳細は後述する。

画像処理装置２５は、鮮明化処理がされた画像の圧縮データを作成すると（ステップＳ１０８）、ＣＰＵ３０は、この圧縮データを、外部記憶ＩＯ装置２８を介してメモリカード３１に保存して（ステップＳ１０９）、処理を終了する。

ステップＳ２００での「画像鮮明化処理」の詳細を、図６に示すフローチャートを参照して説明する。

画像処理装置２５はまず、ステップＳ１０７で切り出された画像に対しシェーディング補正をおこなう（ステップＳ２０１）。このシェーディング補正は、照明条件に起因して生じる「輝度ムラ」を補正する処理である。画像鮮明化においては、白色の背景をいかに白くするかが効果に大きな影響を与える。画像に輝度ムラを含んでいる場合、一様に輝度の引き伸ばしをおこなうと、白色の背景（下地）が灰色になってしまい、不鮮明な画像になる場合もある。また、コントラスト不足の画像の場合には、下地が黒くなってしまって見えずらい画像をつくることにもなる。このような不都合を回避するために、照明効果で生じる輝度ムラをシェーディング補正により除去する。

このような撮影対象に対する照明の影響は、原稿の各領域の輝度の「最大値」に反映されていると予想される。ここで、輝度の「最大値」は原稿の下地の輝度情報のみを抽出するのに対して、「平均値」は下地の輝度と原稿に書かれた文字やグラフ上の輝度の影響を受けると考えられる。したがって、輝度の最大値と最小値との差を利用する。このため、本実施形態では、画像処理装置２５が画像の輝度ヒストグラムを作成し、これに基づいて「シェーディング補正量」を算出してシェーディング補正をおこなう。

ここではまず、切り出しがおこなわれた画像を、例えば、Ｋ×Ｌのサブブロックに分割し、各サブブロック毎に輝度ヒストグラムの作成をおこなう。本実施形態では、例えば、図７に示すように、画像を５×５のサブブロックに分割する。

「輝度ヒストグラム」は、画像に存在する輝度値（Ｙ）の分布を示すものであり、輝度値毎に画素の数を計数することにより生成される。図８（ａ）に輝度ヒストグラムの一例を示す。図８（ａ）において、横軸は輝度値（Ｙ）を示し、縦軸は画素数を示す。

次に画像処理装置２５は、このような輝度ヒストグラムから「輝度ヒストグラムパラメータ」を求める。本実施形態では、輝度ヒストグラムパラメータとして、最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を求める。「最大値」は、輝度値毎に画素の数を計数し、予め設定された所定数以上の計数値を有する輝度値のうちの最大輝度を示す値である。「最小値」は、設定された所定数以上の計数値を有する輝度値のうちの最小輝度を示す値である。「ピーク値」は、計数値が最大となる輝度値であり、撮影対象物の背景色の輝度値を示すものと考えられる。

画像処理装置２５は、各サブブロック毎に輝度ヒストグラムパラメータに基づいて、各サブブロックのシェーディング補正量を求める。ここでは、図７に示すサブブロック上における各横軸でＩ番目、縦軸でＪ番目のブロックの輝度についての最大値、最小値、ピーク値をそれぞれＹmax(I, J)、Ｙmin(I, J)、Ｙpeak(I, J)とする。画像処理装置２５は、数１の数式によって各ブロックの輝度範囲Ｙrangeを計算する。

すべての輝度範囲Ｙrangeの計算が終わると、ブロック輝度Ｙmax(I, J)の最大値Ｙmaxmaxと、その平均値Ｙmeanmaxを求める。シェーディング補正は用紙全体が均一の明るさになればよいので、各ブロックの最大輝度値Ｙmax(I, J)が同じ値になるようにするものとするのが望ましい。本実施形態ではブロックの最大輝度値がＹmaxＹmaxになるようにするものとする。

そして、画像処理装置２５は、次式によってブロックのシェーディング補正量Ｙcv(I, J)を求める。

画像処理装置２５はこのようにして求めたシェーディング補正量をもとに、各画素のシェーディング補正をおこなう。ここで対象とする画素の座標を（x, y）とし、その補正量をＹpcv(x, y)とすると、画像処理装置２５は、各画素の輝度Ｙ(x, y)を、次式のシェーディング補正によって新しい輝度Y’(x,y)に書き換える。

次に画像処理装置２５は、「画像特徴パラメータ」の抽出をおこなう（ステップＳ２０２）。ここで抽出する「画像特徴パラメータ」は、「輝度ヒストグラム」の最大値、最小値、ピーク値（輝度ヒストグラムパラメータ）、および、「色相ヒストグラム」のピーク値、平均値（色相ヒストグラムパラメータ）といった画像鮮明化処理に必要な変数である。輝度ヒストグラムパラメータは、ステップＳ２０１のシェーディング補正処理において求めたものを用いる。

「色相ヒストグラム」は、実原稿部に存在する色差（Ｕ，Ｖ）の分布を示すものであり、色差毎に実原稿部の画素の数を計数することにより生成される。図８（ｂ）に、色相ヒストグラムの一例を示す。図８（ｂ）において、横軸は「色差」を示し、縦軸は「画素数」を示す。色相ヒストグラムの場合も、画素の計数値が最大となる色差のピーク値（Ｕpeak，Ｖpeak）が現れる。このピーク値も原稿の背景色の色差を示すものと考えられる。本実施形態では、このピーク値以外に色相ヒストグラムの平均値（Ｕmean,Ｖmean）、および、色差の分散値（Ｕsd,Ｖsd）を求めるものとする。ここで、平均値は、平均計数値を有する色差の値である。

Ｕについての平均値Ｕmeanおよび色差の分散値Ｕsdは、数４、数５によって求めることができる。Ｖについての平均値Ｖmean、および、分散値Ｖsdも同様である。

なお、上記数５では演算数が多いので、次式で代用してもよい。次式において「Uhist(i)」はＵのヒストグラムを示す。この式は、Ｕのヒストグラムから、Ｕの平均値の近傍（U_BW_BAND「固定値」）内に色差値がどれだけの比率で集中しているかを示す値になるので、分散値の代用が可能である。ここで、U_BW_BANDは、実験などで得られる適切な値を用いるものとする。

輝度ヒストグラムおよび色相ヒストグラムは、通常、全画像の輝度値、色差値から求めるが、いくつかの画素間隔で間引いて計測しても、画像の特徴量はさほど変わらないので、演算量を減らすことができ効率的である。たとえば、縦、横ともに２画素おきに間引くと計測数は１／４になる。

画像処理装置２５は、ステップＳ２０２で得られた画像特徴パラメータから、原稿の種類と背景色の判定（「原稿・背景色判定処理」）をおこなう（ステップＳ３００）。本実施形態では、画像中の文字の視認性を高めるために、輝度補正や色補正などの画像鮮明化をおこなうが、このときの補正実施の要否判別や補正の最適化などを原稿の種類や背景色に応じて行うことにより、より視認性に優れた画像を得ることができる。このような適正な鮮明化処理をおこなうために、本実施形態では、原稿の種類と背景色とを判別する。ここでは、原稿種類として「モノクロ原稿」（白黒の２階調とする）と「カラー原稿」の２種類を判別するものとする。さらに、原稿の背景色が「白」であるかそれ以外であるかを判別する。

「原稿・背景色判定処理」を図９に示すフローチャートを参照して説明する。ここでは、ステップＳ２０２で求めた色差分散値（Ｕsd,Ｖsd）、および、輝度ヒストグラムと色相ヒストグラムそれぞれのピーク値であるＹpeak、Ｕpeak、Ｖpeakを用いて原稿種別と背景色を判別する。

画像処理装置２５はまず、色差分散値（Ｕsd,Ｖsd）がともに所定の閾値（USDth, VSDth）未満である（条件１：Ｕsd＜USDth、かつ、Ｖsd＜VSDth）か否かを判別する（ステップＳ３０１）。条件１を満たす場合（ステップＳ３０１においてＹｅｓ）、画像処理装置２５は当該原稿の種類を「モノクロ原稿」と判別する（ステップＳ３０２）。一方、条件１を満たさない場合（ステップＳ３０１においてＮｏ）は、当該原稿種類は「カラー原稿」と判別される（ステップＳ３０３）。

原稿種別を判別すると、画像処理装置２５はさらに、原稿の背景色を判別する。ここでは、輝度ヒストグラムパラメータと色相ヒストグラムパラメータのピーク値であるＹpeak、Ｕpeak、Ｖpeakを用いて判別をおこなう。すなわち、輝度ヒストグラムパラメータのピーク値Ｙpeakが平均値Ｙmeanより大きく、かつ、Ｕpeak、Ｖpeakがともに所定の閾値（Ｕth, Ｖth）より小さい（条件２：Ｙpeak＞Ｙmean、かつ、Ｕpeak＜Ｕth、かつ、Ｖpeak＜Ｖth）か否かを判別する（ステップＳ３０４）。

画像処理装置２５は、条件２を満たす場合（ステップＳ３０４においてＹｅｓ）、当該原稿の背景色が「白」であると判別し（ステップＳ３０５）、条件２を満たさない場合（ステップＳ３０４においてＮｏ）は、原稿の背景色が「カラー」であると判別し（ステップＳ３０６）、「画像鮮明化処理」のフローに戻る（図６）。

画像処理装置２５は、シェーディング補正がされた切り出し画像に対し、輝度補正をおこなう（ステップＳ２０３）。原稿の識別性を高めるために、通常、輝度の引き伸ばし補正をおこなう。この場合、図１０に示すような輝度変換グラフ上に示される輝度変換線（カーブ）を変化させることで、種々の輝度補正をおこなうことができる。輝度変換グラフは、横軸が補正前の輝度値（入力）を示し、縦軸が補正後の輝度値（出力）を示すものである。本実施形態のように、白板ＷＢ上に示された文字などを撮影対象としている場合、それらの文字等を明確に認識できるような画像にすることが必要である。この場合、文字等と背景とのコントラストを適切なものにすることで、視認性を向上させることができる。

コントラストの適正化を簡単に行う方法として「輝度引き伸ばし」が知られている。「輝度引き伸ばし」は、図１０（ａ）に示すように、画像中の輝度値の最小値以下と最大値以上とをカットした１つの線分となるような輝度変換線とすることで、画像の輝度を一様に引き伸ばしてコントラストを向上させる。ここで、「最大値」とは、図８（ａ）に示す輝度ヒストグラムにおいてある一定以上の画素数を持つＹ値の内最大のものであり、「最小値」とは、ある一定以上の画素数を持つ最小のＹ値のことである。ここで、階調数が２５６の場合、最小値で輝度値が０になり、輝度の最大値で２５５になるような直線的な輝度変換線とすることで輝度が一様に引き伸ばされる。

このような輝度変換グラフにおける輝度変換線のパターン（補正パターン）を、原稿の背景色に応じて変化させることで、より適切な輝度補正となることが従来より知られている。例えば、背景色が白である場合に、図１０（ｂ）に示すような輝度変換線となるよう輝度補正することで、明るい画素はより明るく、暗い画素はより暗くなるので、輝度のばらつきがひろくなり視認性がすぐれた画像とすることができる。図１０（ｂ）の例では、ピーク値をある一定の輝度値（例えば「２３０」）まで持ち上げ、最大値を最大輝度まで持ち上げる。すなわち、この場合の輝度変換線は２つの線分によって表される。

このような輝度補正は、例えば、「白地（明）に黒文字（暗）」などといった、背景と文字との輝度に大きな差がある場合には有効である。しかし、例えば、白地にカラー文字などといった原稿では、文字部分に明るい色が含まれている場合があり（すなわち、背景と文字の輝度の差が小さい）、このような場合に上記のような輝度補正をおこなうと、文字の明るい部分も含めて一様に明るくなるよう輝度が引き伸ばされてしまう。この場合、文字の明るい部分がいわゆる「白飛び」のような状態となって、かえって視認性が低下することがある。したがって、本実施形態では、画像処理装置２５が「原稿・背景色判定処理」（図９）で判別した原稿種別と背景色とに応じて輝度補正を最適化することで、どのような原稿であっても高い視認性を得られるように画像補正をおこなう。

例えば、白地にカラー文字が表示されている場合（すなわち、原稿種別が「カラー」で背景色が「白」）には、例えば、図１０（ｃ）に示すように、最大値付近（明るい部分）の輝度を抑えるような輝度変換線となるよう輝度補正することで、暗い部分と明るい部分とのコントラストを明確にしつつ、明るい部分が過度に明るくなってしまわないように補正することができる。これにより、白い背景に黒以外の文字が示されている原稿であっても視認性の高い画像とすることができる。

また、原稿種別が「モノクロ」である場合に、図１０（ｄ）に示す輝度変換線となるような輝度補正をおこなえば、中間輝度が圧縮され、白黒のメリハリがでるので、例えば、グレーの原稿の視認性が向上する。

すなわち、画像処理装置２５は、「原稿・背景色判定処理」（図９）で判別した原稿種別と背景色に応じた輝度補正をおこなうことで、どのような原稿であっても視認性が良好となるように補正することができる。

画像処理装置２５はさらに、カラー調整（色補正）をおこなう（ステップＳ２０４）。デジタルカメラにおいては、撮影時にホワイトバランスを調整することができるが、ホワイトバランスの調整が適正でない場合、例えば、全体的に黄色みがかかってしまい、本来の色が再現されないことがある。このような色の変化は輝度補正では修正できないので、カラー調整により色補正をおこなう。

本実施形態では、色相ヒストグラムパラメータを用いてカラー調整をおこなう。すなわち、図８（ｂ）に示す色相ヒストグラムに基づいて取得される色相ヒストグラムパラメータを用いる。図８（ｂ）においては、横軸が色差を示し、縦軸が画素数を示している。このような色相ヒストグラムにおいて、画素の計数値が最大となる色差のピーク値（Ｕpeak，Ｖpeak）が現れる。このピーク値は、原稿の背景色の色差を示すものと考えられる。したがって、本実施形態では、色差のピーク値を用いて色補正をおこなう。

例えば、色差ＵとＶの値がともに０である場合、色は無彩色となるため、ピーク値（Ｕpeak，Ｖpeak）が０になるようにカラー調整を行う。カラー調整を行うためのカラー変換グラフの一例を図１１に示す。このカラー調整変換グラフは、輝度変換グラフと同様に、横軸が補正前の色差を示し（入力）、縦軸が補正後の色差を示す（出力）。ここで、色差にはＵとＶの２つの値を含んでいるため、カラー変換グラフ上のカラー変換線は２つの線分によって表される。ここで、入力値Ｕに対する出力値Ｕ’、および、入力値Ｖに対する出力値Ｖ’は次の数式で与えられる。

本実施形態ではこのときに輝度補正で引き伸ばしをおこなった分、色差もゲイン調整したほうがより自然な画像になる。したがって実際の変換には次式を用いる。

本実施形態では、例えば、上式の関係を、入力色差（Ｕ、Ｖ）と出力色差（Ｕ’、Ｖ’）とを対応付けた変換テーブルを作成する。テーブル作成後、各画素の色差Ｕ、Ｖの入力を順番におこない、変換テーブルからそれぞれの値における出力をもとめ、新しい色差Ｕ’、Ｖ’に書き換え、色補正をほどこす。

ここで、原稿の背景がカラーである場合は、ホワイトバランスの影響は少なくなる。したがって、背景がカラーであって、かつ、原稿の色相に偏りがある場合、上記のような色補正処理をおこなうと、かえって悪影響をおよぼすこととなる。したがって、画像処理装置２５は、「原稿・背景色判定処理」（図９）で判別された背景色が「カラー」である場合は、上記のような色補正処理をおこなわない。

すなわち、画像処理装置２５は、判別した原稿種別や背景色に応じて、色補正の実施要否を判別したり、補正パターンを変化させることで、撮影画像に最適な補正をして視認性の高い画像とすることができる。

このような色補正が終了すると、「撮影処理」のフロー（図５）に戻り、画像の圧縮、保存が行われる。

以上説明したように、上記実施形態によれば、切り出した画像に示される原稿の種類と背景色を判別し、原稿の種類と背景色に応じて画像鮮明化処理を最適化するので、どのような原稿を撮影した場合であっても判読性の高い画像を得ることができる。

原稿の種類と背景色の判別を、画像の輝度ヒストグラムと色相ヒストグラムを用いて行うので、容易且つ高速に判別することができ、結果として判読性の高い最適な画像を高速に得ることができる。

さらにライティング効果も考慮し、切り出した画像に対してシェーディング補正をしてから画像鮮明化処理を行うので、ライティング条件にばらつきがある場合でも、判読性の高い画像を得ることができる。

また、歪み補正を行った画像から画像処理補正用パラメータを求めるようにしたので、より良好な画像鮮明化補正を行うことができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。

例えば、上記実施形態では、画像鮮明化処理をデジタルカメラ１で行うようにしたが、画像鮮明化処理を、例えば、パーソナルコンピュータなどのコンピュータで行うことも可能である。この場合、例えば、コンピュータをデジタルカメラ１のコンピュータインタフェース部２７に接続して、デジタルカメラ１が取得した画像データをコンピュータに送出する。そして、デジタルカメラ１から画像データを取得したコンピュータが、図６に示すフローチャートに従った画像鮮明化処理を実行する。なお、コンピュータがデジタルカメラ１から画像データを取得する方法は任意である。

コンピュータによって画像鮮明化処理を行えば、マウス等の種々の入力装置を利用することができるので、デジタルカメラ１に比べて入力等が容易になり、操作性が向上する。また、コンピュータの表示装置は、デジタルカメラ１の液晶モニタ１２よりも大きいのが一般的であるので、画像を詳細に視認して、画像補正を精度良く行うことが可能になる。また、コンピュータの処理装置（ＣＰＵなど）やメモリなどもデジタルカメラ１より高性能なものであることが一般的であるため、画像補正の処理速度も速く、効率的に画像補正をおこなうことができる。なお、上記実施形態における「撮影処理」（図５）のステップＳ１０７でデジタルカメラ１がおこなった画像の歪み補正および切り出しをコンピュータで実行してもよい。

尚、上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、コンピュータを、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態に係るデジタルカメラで白板上の原稿を撮影するときの状態を示す説明図である。 図１に示すデジタルカメラの構成を示すブロック図である。 撮影対象を斜め方向から撮影した場合に取得される画像を説明するための図であり、（ａ）は撮影対象を斜め方向から撮影する様子を示し、（ｂ）、（ｃ）は撮影対象を斜め方向から撮影したときに得られる画像の例を示し、（ｄ）は本発明の実施形態にかかる処理によって歪み補正した画像の例を示す。 図２に示す操作部が備える各キーを説明するための説明図である。 デジタルカメラが実行する撮影処理の内容を示すフローチャートである。 図５に示す撮影処理においてデジタルカメラが実行する画像鮮明化処理の内容を示すフローチャートである。 図６に示す画像鮮明化処理においてデジタルカメラが実行するシェーディング補正での画像のサブブロック分割の例を示す図である。 図６に示す画像鮮明化処理においてデジタルカメラが取得するヒストグラムの例を示す図であり、（ａ）は輝度ヒストグラムの例を示し、（ｂ）は色相ヒストグラムの例を示す。 図６に示す画像鮮明化処理でデジタルカメラが実行する原稿・背景色判別処理の内容を示すフローチャートである。 図６に示す画像鮮明化処理でデジタルカメラが実行する輝度補正における輝度変換グラフ上での輝度変換線パターンの例を示す図であり、（ａ）は一様に輝度引き伸ばしをする際の輝度変換線パターンを示し、（ｂ）は背景色が白色であるときに好適な輝度変換線パターンを示し、（ｃ）は背景色が白色であって原稿種類がカラーであるときに好適な輝度変換線パターンを示し、（ｃ）はモノクロ原稿で背景色がカラーであるときに好適な輝度変換線パターンを示す。 図６に示す画像鮮明化処理でデジタルカメラが実行する色補正におけるカラー調整変換グラフ上でのカラー変換線パターンの例を示す図である。

符号の説明

１…デジタルカメラ、１１…撮影レンズ部、１２…液晶モニタ、１３…シャッタボタン、２１…光学レンズ装置、２２…イメージセンサ、２３…メモリ、２４…表示装置、２５…画像処理装置、３０…ＣＰＵ、３１…メモリカード、ＷＢ…白板

Claims (10)

1. 撮影対象物を撮影する撮影装置において、
   前記撮影対象物を撮影して撮影画像を取得する撮影部と、
   前記撮影部が取得した撮影画像を補正するための画像処理を行う画像処理部と、を備え、
   前記画像処理部は、
   前記撮影画像のヒストグラムを取得するヒストグラム取得部と、
   前記ヒストグラム取得部が取得したヒストグラムの所定のパラメータを検出するパラメータ検出部と、
   前記パラメータ検出部が取得したパラメータに基づいて、前記撮影画像に示される撮影対象物の特徴を判別する特徴判別部と、
   前記特徴判別部が判別した撮影対象物の特徴に応じて当該撮影画像を補正する画像補正部と、
   を備える、
   ことを特徴とする撮影装置。
2. 前記撮影対象物は所定の原稿であり、
   前記特徴判別部は、前記パラメータに基づいて、当該撮影画像に示される原稿の種類を判別し、
   前記画像補正部は、前記特徴判別部が判別した原稿の種類に応じて当該撮影画像を補正する、
   ことを特徴とする請求項１に記載の撮影装置。
3. 前記特徴判別部は、前記パラメータに基づいて、当該撮影画像に示される原稿の背景色を判別し、
   前記画像補正部は、前記特徴判別部が判別した原稿の種類と背景色とに応じて当該撮影画像を補正する、
   ことを特徴とする請求項２に記載の撮影装置。
4. 前記ヒストグラム取得部は、少なくとも、前記撮影画像における輝度の部分布を示す輝度ヒストグラムと、前記撮影画像における色差の分布を示す色相ヒストグラムと、を取得し、
   前記パラメータ検出部は、少なくとも、前記輝度ヒストグラムにおける輝度の最小値、最大値、ピーク値を輝度ヒストグラムパラメータとして検出し、前記色相ヒストグラムにおける色差のピーク値、平均値、分散値を色相ヒストグラムパラメータとして検出し、
   前記特徴判別部は、前記パラメータ検出部が検出した輝度ヒストグラムパラメータと色相ヒストグラムパラメータとに基づいて、前記原稿の種類と背景色とを判別する、
   ことを特徴とする請求項２または３に記載の撮影装置。
5. 前記画像補正部は、前記撮影画像の輝度を補正する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮影装置。
6. 前記画像補正部は、前記撮影画像の色を補正する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮影装置。
7. 前記画像補正部は、前記撮影画像に示される撮影対象の歪みを補正し、歪みが補正された撮影画像の輝度、及び／又は、色を補正する、
   ことを特徴とする請求項６に記載の撮影装置。
8. コンピュータを用いて画像補正を行うための画像処理方法であって、
   所定の原稿が示される画像データを取得する画像取得ステップと、
   取得された画像データに基づく所定のヒストグラムを取得するヒストグラム取得ステップと、
   取得されたヒストグラムにおける所定のパラメータを検出するパラメータ検出ステップと、
   検出されたパラメータに基づいて、前記原稿の種類と背景色とを判別する原稿判別ステップと、
   判別された原稿の種類と背景色とに応じて、前記画像データの輝度、及び／又は、色の補正をおこなう補正ステップと、
   を備えることを特徴とする画像処理方法。
9. 前記ヒストグラム取得ステップは、前記画像データにおける輝度分布を示す輝度ヒストグラムと、前記画像データにおける色差分布を示す色相ヒストグラムと、を取得し、
   前記パラメータ検出ステップは、前記輝度ヒストグラムに現れる輝度の最小値、最大値、ピーク値を輝度ヒストグラムパラメータとして検出し、前記色相ヒストグラムにおける色差のピーク値、平均値、分散値を色相ヒストグラムパラメータとして検出し、
   前記原稿判別ステップは、前記輝度ヒストグラムパラメータと色相ヒストグラムパラメータとに基づいて、当該原稿の種類がモノクロであるか否か、および、当該原稿の背景色が白色であるか否かを判別し、
   前記補正ステップは、判別された原稿の種類と背景色とに応じた補正パターンで輝度補正、及び／又は、色補正をおこなう、
   ことを特徴とする請求項８に記載の画像処理方法。
10. コンピュータに、
    所定の原稿が示される画像データを取得する手順と、
    取得された画像データに基づく輝度ヒストグラムと色相ヒストグラムとを取得する手順と、
    取得された輝度ヒストグラムにおける輝度の最小値、最大値、ピーク値を輝度ヒストグラムパラメータとして検出し、前記色相ヒストグラムにおける色差のピーク値、平均値、分散値を色相ヒストグラムパラメータとして検出する手順と、
    検出された輝度ヒストグラムパラメータと色相ヒストグラムパラメータとに基づいて、当該原稿の種類がモノクロであるか否か、および、当該原稿の背景色が白色であるか否かを判別する手順と、
    判別された原稿の種類と背景色とに応じた補正パターンで輝度補正、及び／又は、色補正をおこなう手順と、
    を実行させることを特徴とするプログラム。

Images