JP2005122328A - 撮影装置、その画像処理方法及びプログラム - Google Patents

Abstract

【課題】撮影対象物の画像を補正する処理を高速化する。
【解決手段】デジタルカメラ１は、ＣＰＵ、画像処理装置を備える。画像処理装置は、撮影対象物として白板２を撮影した画像から、Ｒｏｂｅｒｔｓフィルタを用いて輪郭を取得する。画像処理装置は、取得した輪郭から、データ量を低減するため、画素を選択して縮小画像を生成する。また、画像処理装置は、白板２の画像を形成する候補となる直線を、その長さと角度情報に基づいて選択し、選択した直線で形成された白板２の四角形の形状を取得する。画像処理装置は、四角形の頂点位置から、白板２の画像と実際の白板２との関係を示す射影パラメータを求めて白板２の画像を射影変換する。
【選択図】図１

Description

本発明は、撮影装置、その画像処理方法及びプログラムに関するものである。

デジタルカメラの発達と蓄積型メモリの低価格化に伴い、デジタルカメラを単なる風景や人の撮影だけに用いるのではなく、紙面文書や名刺などの書類、また、会議での筆記された黒板等に表示されたものを撮影し、これらの画像をパーソナルコンピュータ等にデジタル的に保存し、管理を行う応用が考えられつつある。

このように書類や黒板の撮影を行う場合、その撮影対象物を正面かつ垂直に撮影することが望ましい。しかし、机上におかれた書類の撮影を正面かつ垂直に撮影することは困難である。また、黒板を撮影する場合も、撮影者の位置によって、黒板を正面から撮影することが難しい場合もある。また、正面から撮影できたとしても、ライトの映り込みなどの理由で正面から撮影するのを避けた方が好ましい場合もある。このように書類などの対象物を斜め方向から撮影した場合、文字等が斜め、または台形に歪む。もちろん、これらの文字の判読は可能である。しかし、判読できたとしても、読むには非常に疲れやすいものである。またこれらの画像は歪みをもっているので、この画像を再利用することも難しい。

このような不具合を解消するものとして、撮影時の原稿とデジタルカメラとの相対的な位置ずれによる画像の歪みを補正する画像処理装置を備えたデジタルカメラがある（例えば、特許文献１参照）。

かかるデジタルカメラでは、画像処理装置を備え、この画像処理装置は、入力された画像の上下左右の４つの部分画像を作成し、それぞれの部分画像の傾きを基に不等辺四角形を作成し、不等辺四角形の互いに対向する水平方向の２辺が平行となるようにあおり回転変換を行なう。

次に、画像処理装置は、水平あおり角αを求めてから互いに平行な２辺と垂直に交わる直線と垂直方向の線との角度をスキュー回転角βとして求める。画像処理装置は、残りの対向する２辺が平行となるように垂直方向にあおり回転変換することにより、垂直あおり角γを求める。そして、画像処理装置は、水平あおり角αとスキュー回転角βと垂直あおり角γを用いて、入力された画像に幾何変換を施すことにより画像の歪みを補正する。
特開２０００−３４１５０１号公報（第６頁−第１４頁、図１等）

しかし、かかる従来のデジタルカメラでは、多くの回転変換処理を行わなければならず、演算数が多くなり、処理に時間がかかる。また、処理時間を低減しようとすると、高価な演算装置を必要になってくる。

本発明は、上記問題点に鑑みてなされたもので、撮影対象物の画像の補正を高速化することが可能な撮影装置、その画像処理方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る撮影装置は、
撮影対象物を撮影する撮影装置において、
撮影によって得られた前記撮影対象物の画像の歪みを補正するように、前記撮影画像に対して画像処理を行う画像処理部を備え、
前記画像処理部は、
前記撮影対象物の画像の画素を選択することによってデータ量を低減させた縮小画像を生成し、前記選択した画素に対して前記撮影対象物の画像の歪曲補正を行い、生成した縮小画像から前記撮影対象物の画像のエッジ画像を生成し、生成したエッジ画像から、前記撮影対象物の画像の形状を取得する形状取得部と、
前記撮影対象物の形状と前記形状取得部が取得した前記撮影対象物の画像の形状とを対応させて、前記撮影対象物の画像から、前記画像と前記撮影対象物との関係を示す射影パラメータを求める射影パラメータ取得部と、
前記射影パラメータ取得部が求めた射影パラメータを用いて前記撮影対象物の画像の画像変換を行う画像変換部と、を備えたことを特徴とする。

前記形状取得部は、
前記撮影対象物の画像の縮小画像を生成する画素を選択し、前記選択した画素を調査対象として前記撮影対象物の画像の歪曲補正を行って前記撮影対象物の画像のエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像生成部が生成したエッジ画像から、前記エッジ画像を形成する直線を取得する直線取得部と、
前記直線取得部が取得した直線によって前記撮影対象物の画像の形状の候補を生成する形状候補生成部と、
前記形状候補生成部が生成した前記撮影対象物の画像の形状の候補から、前記撮影対象物の画像の形状を選択する形状選択部と、を備えてもよい。

前記直線取得部は、前記エッジ画像生成部が生成したエッジ画像から取得した直線の長さを求め、求めた前記直線の長さに基づいて、前記撮影対象物の画像の形状を形成する直線を選択して取得してもよい。

前記直線取得部は、前記エッジ画像生成部が生成したエッジ画像から取得した直線の角度を求め、求めた角度に基づいて、前記撮影対象物の画像の形状を形成する直線を選択して取得してもよい。

前記形状選択部は、前記形状候補生成部が生成した前記撮影対象物の画像の形状の候補のうち、前記形状で囲まれた画像領域のサイズが最大となるものを選択して、選択したものを前記撮影対象物の画像の形状として取得してもよい。

前記撮影対象物の画像データを記憶する記憶部を備えてもよい。

本発明の第２の観点に係る撮影装置の画像処理方法は、
撮影対象物を撮影することによって得られた前記撮影対象物の画像の歪みを補正するように、前記撮影対象物の画像に対して画像処理を行う撮影装置の画像処理方法であって、
前記撮影対象物の画像の画素を選択することによってデータ量を低減させた縮小画像を生成し、前記選択した画素に対して前記撮影対象物の画像の歪曲補正を行うステップと、
生成した縮小画像から前記撮影対象物の画像のエッジ画像を生成するステップと、
生成したエッジ画像から、前記撮影対象物の画像の形状を取得するステップと、
前記撮影対象物の形状と前記形状取得部が取得した前記撮影対象物の画像の形状とを対応させて、前記撮影対象物の画像から、前記画像と前記撮影対象物との関係を示す射影パラメータを求めるステップと、
求めた射影パラメータを用いて前記撮影対象物の画像の画像変換を行うステップと、を備えたことを特徴とする。

本発明の第３の観点に係るプログラムは、
コンピュータに、
前記撮影対象物の画像の画素を選択することによってデータ量を低減させた縮小画像を生成し、前記選択した画素に対して前記撮影対象物の画像の歪曲補正を行う手順、
生成した縮小画像から前記撮影対象物の画像のエッジ画像を生成する手順、
生成したエッジ画像から、前記撮影対象物の画像の形状を取得する手順、
前記撮影対象物の形状と前記形状取得部が取得した前記撮影対象物の画像の形状とを対応させて、前記撮影対象物の画像から、前記画像と前記撮影対象物との関係を示す射影パラメータを求める手順、
求めた射影パラメータを用いて前記撮影対象物の画像の画像変換を行う手順、
を実行させるためのものである。

本発明によれば、撮影対象物の画像を補正する処理を高速化することができる。

以下、本発明の実施の形態に係る撮影装置を図面を参照して説明する。
尚、実施形態では、撮影装置をデジタルカメラとして説明する。

本実施形態に係るデジタルカメラ１の構成を図１に示す。
本実施形態に係るデジタルカメラ１は、撮影対象物として、白板２等の文字、図、写真等を撮影し、撮影によって得られた画像から、画像の歪みを検出して補正し、あたかも正面から撮影したような画像を生成するものである。デジタルカメラ１は、撮影レンズ部１１と、液晶モニタ１２と、シャッタボタン１３と、を備える。

撮影レンズ部１１は、光を集光するレンズ等を備え、白板２等の文字、図、写真等からの光を集光するものである。

液晶モニタ１２は、撮影レンズ部１１を介して内部に取り込まれた画像を映し出すためのものである。
シャッタボタン１３は、撮影対象を撮影するときに押下するものである。

このデジタルカメラ１は、図２に示すように、光学レンズ装置２１と、イメージセンサ２２と、メモリ２３と、表示装置２４と、画像処理装置２５と、操作部２６と、コンピュータインタフェース部２７と、外部記憶ＩＯ装置２８と、プログラムコード記憶装置２９と、を備えて構成される。

光学レンズ装置２１は、撮影レンズ部１１とその駆動部とを備えたものであり、イメージセンサ２２上に、白板２の文字、図、写真等からの光を集光させて像を結像させる。

イメージセンサ２２は、結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ等によって構成される。イメージセンサ２２は、ＣＰＵ３０によって制御され、シャッタボタン１３が押下されなければ、プレビュー用の解像度の低いデジタルの画像データを生成し、この画像データを秒３０枚程度の間隔で、定期的にメモリ２３に送出する。また、イメージセンサ２２は、シャッタボタン１３が押下されると、解像度の高い画像データを生成し、生成した画像データをメモリ２３に送出する。

メモリ２３は、イメージセンサ２２からの低解像度のプレビュー画像、高解像度の画像データ又は画像処理装置２５が画像処理する元画像のデータ、処理後の画像データを一時記憶するものである。メモリ２３は、一時記憶した画像データを表示装置２４又は画像処理装置２５に送り出す。

表示装置２４は、液晶モニタ１２を備え、液晶モニタ１２に画像を表示させるためのものである。表示装置２４は、メモリ２３が一時記憶した低解像度のプレビュー画像又は解像度の高い画像を液晶モニタ１２に表示する。

画像処理装置２５は、メモリ２３に一時記憶された画像データに対して、画像データの圧縮、画像の歪み補正、画像効果処理等の画像処理を行うためのものである。

デジタルカメラ１が、図３（ａ）にそれぞれ示すように、白板２の文字等を、向かって左方向、右方向から撮影すると、液晶モニタ１２には、図３（ｂ），（ｃ）に示すように、白板２と文字、図、写真等の画像が歪んで表示される。画像処理装置２５は、この図３（ｂ），（ｃ）に示すような画像に対して画像処理を施すことにより、図３（ｄ）に示すような、正面から撮影したような画像を生成する。

画像処理装置２５は、画像歪みを補正するため、歪んだ画像から四角形を切り取り、切り取った四角形に撮影画像を射影変換する。

さらに具体的には、画像処理装置２５は、ＣＰＵ３０に制御されて、主に、以下の処理等を行う。
（１）撮影画像からのアフィンパラメータ抽出
（２）抽出したアフィンパラメータによる画像変換
（３）画像変換の調整処理
（４）輝度あるいは色差等に関する画像効果補正用パラメータの抽出及び画像効果処理
尚、これらの処理内容については、後述する。

操作部２６は、書画投影の機能を制御するためのスイッチ、キーを備えたものである。操作部２６は、ユーザが、これらのキー、スイッチを押下すると、応答してこのときの操作情報をＣＰＵ３０に送信する。

操作部２６は、図４に示すように、上縮小キー１１１と、下縮小キー１１２と、右縮小キー１１３と、左縮小キー１１４と、右縮小キー１１５と、左縮小キー１１６と、を備える。

上縮小キー１１１と、下縮小キー１１２と、右縮小キー１１３と、左縮小キー１１４とは、射影変換を行なうための射影変換キーである。上縮小キー１１１は、Ｘ軸を中心に画像の上部と下部とを比較し、上部が大きい場合に、上部を紙面に向かって下方向に回転させるときに押下するキーである。

下縮小キー１１２は、Ｘ軸を中心に画像の上部と下部を比較し、下部が大きい場合に、下部を紙面に向かって下方向に回転させるときに押下するキーである。

右縮小キー１１３と左縮小キー１１４とは、Ｙ軸側を中心に左右のひずみを調整するときに押下するキーであり、右縮小キー１１３は、右が大きいときに押下するキーであり、左縮小キー１１４は、左が大きいときに押下するキーである。

右回転キー１１５と左回転キー１１６とは、画像の回転を調整するための回転補正キーである。右回転キー１１５は、画像を右に回転するときに押下するキーであり、左回転キー１１６は、画像を左に回転するときに押下するキーである。

また、操作部２６は、この他に、撮影キー、再生キー、カーソルキー、コントロールキー等（図示せず）を備える。撮影キーは、撮影対象物を撮影するときの撮影モードを選択するためのキーである。再生キーは、撮影によって得られた撮影対象画像を再生するときの再生モードを選択するためのキーである。コントロールキーは、操作を確定させるＹＥＳキー、操作をキャンセルするためのＮＯキー、編集を行うための編集キー等の機能を有するキーである。

コンピュータインタフェース部２７は、デジタルカメラ１がコンピュータ（図示せず）に接続されたときに、ＵＳＢのストアレジクラスドライバとして動作するものである。これにより、コンピュータは、デジタルカメラ１に接続されると、メモリカード３１をコンピュータの外部記憶装置として取り扱う。

外部記憶ＩＯ装置２８は、メモリカード３１との間で、画像データ等の入出力を行うものである。メモリカード３１は、外部記憶ＩＯ装置２８から供給された画像データ等を記憶するものである。

プログラムコード記憶装置２９は、ＣＰＵ３０が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。

ＣＰＵ３０は、プログラムコード記憶装置２９に格納されているプログラムに従って、システム全体を制御するものである。尚、メモリ２３は、ＣＰＵ３０の作業メモリとしても用いられる。

操作部２６のスイッチ、キーが押下されることにより、操作部２６から操作情報が送信されると、ＣＰＵ３０は、この操作情報に基づいて、イメージセンサ２２、メモリ２３、表示装置２４，画像処理装置２５等を制御する。

具体的には、ＣＰＵ３０は、操作部２６から、撮影キーが押下された旨の操作情報が送信されると、各部を撮影モードに設定する。ＣＰＵ３０は、撮影モードに設定した状態で、シャッタボタン１３が押下されなければ、イメージセンサ２２をプレビューモードに設定し、シャッタボタン１３が押下されれば、解像度の高い撮影対象画像を読み込む高解像度モードに設定する。また、ＣＰＵ３０は、再生キーが押下された旨の操作情報が送信されると、各部を再生モードに設定する。

また、ＣＰＵ３０は、操作部２６から、射影変換キー、回転補正キーが押下された旨の操作情報が送信されると、これらの操作情報を画像処理装置２５に送信して、画像処理装置２５を制御する。

また、ＣＰＵ３０は、外部記憶ＩＯ装置２８を介してメモリカード３１に、プレビュー画像、高解像度の画像のデータを記録したり、メモリカード３１から、記録された画像データを読み出したりする。ＣＰＵ３０は、メモリカード３１には、例えば、ＪＰＥＧフォーマットで圧縮した画像データを記録する。

ＣＰＵ３０は、メモリ２３に画像データを一時記憶する際、プレビュー画像、高解像度の画像データを異なる記憶領域に記録する。また、ＣＰＵ３０は、メモリカード３１には、画像データを画像ファイルに分けて記録し、記録する際、画像データに関するヘッダ情報も画像ファイルのヘッダ情報記憶領域に記録する

次に本実施形態に係るデジタルカメラ１の動作を説明する。
ユーザがデジタルカメラ１の電源をオン（投入）すると、ＣＰＵ３０はプログラムコード記憶装置２９に記憶されているプログラムのデータを取得する。ユーザが撮影ボタンを押下すると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０はこの操作情報を受信し、ＣＰＵ３０、画像処理装置２５等は、図５に示すフローチャートに従って撮影処理を実行する。

ＣＰＵ３０は、イメージセンサ２２をプレビューモードに設定する（ステップＳ１１）。
ＣＰＵ３０は、操作部２６から送信された操作情報に基づいてシャッタボタン１３が押下されたか否かを判定する（ステップＳ１２）。

シャッタボタン１３が押下されたと判定した場合（ステップＳ１２においてＹｅｓ）、ＣＰＵ３０は、イメージセンサ２２に対して、プレビューモードから高解像度モードに切り替えてイメージセンサ２２を制御する（ステップＳ１３）。

ＣＰＵ３０は、イメージセンサ２２が生成した高解像度の撮影対象画像のデータを、メモリ２３上のプレビュー画像とは異なる記憶領域に記録する（ステップＳ１４）。

ＣＰＵ３０は画像データの読み込みが終了したか否かを判定する（ステップＳ１５）。
読み込みが終了していないと判定した場合（ステップＳ１５においてＮｏ）、ＣＰＵ３０は、引き続き、画像データの読み込みを行うようにイメージセンサ２２を制御する。

画像データをすべて読み込んで画像転送も終了したと判定した場合（ステップＳ１５においてＹｅｓ）、ＣＰＵ３０は、この撮影画像（高解像度画像）から、低解像度のプレビュー画像を生成し、メモリ２３のプレビュー画像用の記憶領域上に、プレビュー画像のデータを書き込む（ステップＳ１６）。

ＣＰＵ３０は、圧縮データを作成するように画像処理装置２５を制御し、画像処理装置２５は、圧縮データを作成する（ステップＳ１７）。
ＣＰＵ３０は、この圧縮データを、外部記憶ＩＯ装置２８を介してメモリカード３１に記録し、画像処理装置２５が作成した圧縮データを保存する（ステップＳ１８）。

次に、画像処理装置２５は、ＣＰＵ３０の制御の下、撮影画像から正面画像を作るための射影パラメータを抽出する（ステップＳ１９）。

ＣＰＵ３０、画像処理装置２５は、射影パラメータを抽出できたか否かを判定する（ステップＳ２０）。
抽出できたと判定した場合（ステップＳ２０においてＹｅｓ）、画像処理装置２５は、抽出した射影パラメータに基づいて射影変換画像を作成する（ステップＳ２１）。

操作部２６の射影変換キー、回転補正キーが押下されると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０は、操作部２６からの操作情報を画像処理装置２５に送信し、画像処理装置２５は、送信された操作情報に従って、画像変換の調整処理を行う（ステップＳ２２）。

画像処理装置２５は、画像効果補正用パラメータを抽出し（ステップＳ２３）、画像効果処理を行う（ステップＳ２４）。

画像処理装置２５は、画像効果処理が行われた画像データに対して、圧縮処理を行い、圧縮データを作成する（ステップＳ２５）。

画像処理装置２５は、作成された圧縮データをメモリカード３１に記録する（ステップＳ２６）。

一方、射影パラメータを抽出することができなかったと判定した場合（ステップＳ２０においてＮｏ）、ＣＰＵ３０は、警告処理を行う（ステップＳ２７）。

ＣＰＵ３０等は、このようにして撮影処理を終了させる。尚、ユーザがキーを操作しない限り、ＣＰＵ３０等は、この撮影処理を繰り返し実行する。

次に、画像処理装置２５が行う画像処理について説明する。
まず、画像処理装置２５が画像処理に用いるアフィン変換についての基本的な考え方（実現方法）を説明する。

画像の空間変換にアフィン変換が幅広く応用されている。本実施形態では、３次元のカメラパラメータを用いずに２次元アフィン変換を用いて射影変換を行う。これは、変換前の座標（u,v）の点が、移動、拡大縮小、回転などの変換によって、変換後の座標（x,y）が次の数１によって関係付けられることになる。射影変換もこのアフィン変換により行われることができる。
最終的な座標（ｘ，ｙ）は、次の数２によって算出される。
数２は、射影変換するための式であり、座標ｘ、ｙは、ｚ’の値に従い、０に向かって縮退する。即ち、ｚ’に含まれるパラメータが射影に影響を及ぼすことになる。このパラメータはa13,a23,a33である。また、他のパラメータは、パラメータa33で正規化されることができるので、a33を１としてもよい。

図６は、四角形の撮影画像の各頂点の座標を示したものである。デジタルカメラ１で撮影された四角形と実際の撮影対象物（白板２）との関係について、図７に基づいて説明する。

この図７において、Ｕ−Ｖ−Ｗ座標系は、デジタルカメラ１で撮影して得られた画像の３次元座標系である。Ａ（Ａu,Ａv,Ａw）)ベクトルとＢ（Ｂu,Ｂv,Ｂw）ベクトルとは、３次元座標系Ｕ−Ｖ−Ｗにおいて、撮影対象物をベクトルで表したものである。
また、Ｓ（Ｓu,Ｓv,Ｓw）ベクトルは、３次元座標系Ｕ−Ｖ−Ｗの原点と撮影対象物との距離を示す。

図７に示す投影スクリーンは、撮影対象物の画像の射影を行うためのものである。
投影スクリーン上の座標系をx,yとすると、この投影スクリーン上に投影される画像がデジタルカメラ１に撮影される画像と考えればよい。投影スクリーンは、Ｗ軸上から距離ｆだけ離れて垂直に位置するものとする。撮影対象物の任意の点Ｐ（u,v,w）と原点とを直線で結び、その直線と投影スクリーンと交差する点があるものとして、その交点のＸ−Ｙ座標をｐ（x,y）とする。このとき、座標ｐは、射影変換より次の数３によって表される。
数３より、図７に示すように点Ｐ0，Ｐ1，Ｐ2，Ｐ3と投影スクリーンへの投影点ｐ0，ｐ1，ｐ2，ｐ3との関係から、次の数４に示す関係が求められる。
このとき、射影係数α、βは次の数５によって表される。

次に、射影変換について説明する。
撮影対象物上の任意の点Ｐは、Ｓ，Ａ，Ｂベクトルを用いて、次の数６によって表される。
この数６に、数４の関係式を代入すると、座標ｘとｙとは、次の数７によって表される。

この関係を、アフィン変換の式に当てはめると、座標（x',y',z'）は、次の数８によって表される。

この数８にｍ，ｎを代入することにより、撮影画像の対応点（x,y）が求められる。対応点（x,y）は、整数値とは限らないので、画像補間法などを用いて画素の値を求めればよい。

上記ｍ，ｎは、予め補正画像ｐ（u,v）を出力する画像サイズ（0≦u＜umax, 0≦v＜vmax）を与えて、その画像サイズに合わせて画像を調整する方法が考えられる。この方法によれば、ｍ，ｎは次の数９によって表される。
しかし、作成される補正画像の縦横比と撮影対象物の縦横比とは一致しない。ここで、補正画像ｐ（u,v）とｍ、ｎの値との関係は、数４から、次の数１０によって表される。

カメラパラメータであるレンズの焦点距離ｆが既知であれば、数１０に従って、縦横比ｋを求めることができる。従って、補正画像ｐ（u,v）の画像サイズを（0≦u＜umax, 0≦v＜vmax）であるとすると、次の数１１に従ってｍ、ｎを求めることにより、撮影対象物と同じ縦横比ｋを得ることができる。
尚、カメラが固定焦点である場合、レンズの焦点距離ｆの値を、予め得ることができる。ズームレンズ等が存在する場合には、レンズの焦点距離ｆの値は、レンズのズーム倍率によって変化するので、そのズーム倍率とレンズの焦点距離ｆとの関係をを示すテーブルを予め作成して記憶し、ズーム倍率に基づいて焦点距離ｆを読み出し、数１０，数１１に従って、射影変換を行うことができる。

画像処理装置２５は、このようなアフィン変換を行うため、まず、撮影した撮影対象物の画像から射影パラメータを抽出する（図５のステップＳ１９）。
画像処理装置２５が実行する射影パラメータの抽出処理を図８に示すフローチャートに基づいて説明する。

画像処理装置２５は、撮影した撮影対象物の画像から、この撮影対象物の画像の４すみの座標点（四角形輪郭）を抽出する（ステップＳ３１）。画像処理装置２５は、図９のフローチャートに示す処理を行い、四角形の輪郭を抽出する。

即ち、画像処理装置２５は、画像処理の演算数を減らすため、入力画像から縮小輝度画像を生成する（ステップＳ４１）。
画像処理装置２５は、生成した縮小輝度画像から、直線のみの画像を生成し、これを撮影対象物のエッジ画像とする（ステップＳ４２）。
画像処理装置２５は、エッジ画像に歪曲収差補正を加える（ステップＳ４３）。

画像処理装置２５は、撮影対象物のエッジ画像から、このエッジ画像に含まれる直線パラメータを検出する（ステップＳ４４）。
画像処理装置２５は、検出した直線パラメータから、撮影対象物の輪郭を形成する候補となる四角形を作成する（ステップＳ４５）。

画像処理装置２５は、このように候補となる四角形を生成し、生成した各四角形に優先順位を付す（図８のステップＳ３２）。
画像処理装置２５は、優先順位に従って四角形を選択し、選択した四角形を抽出できたか否かを判定する（ステップＳ３３）。

四角形を抽出できなかったと判定した場合（ステップＳ３３においてＮｏ）、ＣＰＵ３０は、この射影パラメータ抽出処理を終了させる。

一方、四角形を抽出できたと判定した場合（ステップＳ３３においてＹｅｓ）、ＣＰＵ３０は、画像処理装置２５から、抽出した四角形を取得して、表示装置２４に送り、液晶モニタ１２に、四角形のプレビュー画像を表示させる（ステップＳ３４）。

ＣＰＵ３０は、操作部２６から送信された操作情報に基づいてＹＥＳキー、ＮＯキーのいずれが押下されたか否かを判定する（ステップＳ３５）。

ＮＯキーが押下されたとＣＰＵ３０が判定した場合（ステップＳ３５においてＮｏ）、画像処理装置２５は、次の候補の四角形を指定する（ステップＳ３６）。

一方、ＹＥＳキーが押下されたと判定した場合（ステップＳ３５においてＹｅｓ）、ＣＰＵ３０は、抽出した四角形の頂点から、アフィンパラメータを算出する（ステップＳ３７）。

次に、この射影パラメータの抽出処理を、さらに具体的に説明する。
画像処理装置２５がステップＳ４１において生成した縮小輝度画像の一例を図１０（ａ）に示す。画像処理装置２５は、このような縮小輝度画像から、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いて図１０（ｂ）に示すようなエッジ画像を生成する（ステップＳ４２）。このＲｏｂｅｒｔｓフィルタとは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１、Δ２を取得して平均化することによって、画像のエッジを検出するフィルタである。

図１１（ａ）は、フィルタΔ１の係数を示し、図１１（ｂ）は、フィルタΔ２の係数を示す。この２つのフィルタΔ１，Δ２の係数を、ある着目した座標（x,y）の画素値ｆ（x,y）に適用すると、変換後の画素値ｇ（x,y）は、次の数１２によって表される。

ステップＳ４２で生成したエッジ画像において、歪曲収差により直線が抽出できない場合がある。そこで、画像処理装置２５は、エッジ画像に対して歪曲収差補正を行う（ステップＳ４３の処理）。元画像ではなくエッジ画像に対して歪曲補正を行うのは、処理の高速化のためである。歪曲補正計算は、調査対象の画素が歪曲補正後には元画像中のどの画素になるかを画素ごとに計算するものである。その際、エッジ画像であれば、調査対象は一定間隔でスキップした座標のみとなり、画素が少ない分、高速に処理を行うことができる。

図１０（ｂ）に示すエッジ画像には、直線パラメータが含まれている。画像処理装置２５は、このエッジ画像から、ハフ変換を行って直線パラメータを検出する（ステップＳ４４の処理）。

ハフ変換は、Ｘ−Ｙ平面上の直線を構成する点を次の数１３によって定義されるρ−θ平面に投票する変換である。

各点の座標（ｘ、ｙ）においてθを０から３６０°まで変化させた場合、同一直線はρ−θ平面上では一点で表される。このため、投票数の多いρ−θ座標を直線と判定することができる。その際、投票数は直線上のピクセル数であり、直線の長さに相当する。したがって、投票数の極端に少ないρ−θ、即ち短い直線は、直線の候補から除外することができる。

このようにハフ変換を用いる手法では、調査対象の点や角度が多ければ多いほど処理速度が低下してしまう。この処理速度の低下を回避するため、エッジ検出時に調査対象の座標をＸ、Ｙ軸方向双方に一定の間隔でとばして処理することによって、エッジ画像を縮小する。これにより、調査対象を減らすことができる。

さらに、別の方法で調査角度を減らすことができる。
即ち、調査対象であるエッジ画像において画像中心を原点とした座標系で考えると、ρはマイナスの値も取ることになるため、角度０≦θ＜１８０°を測定すればよく、残りの１８０°≦θ＜３６０°はρがマイナスの値を取ることで表現できる。

しかし実際に撮影される四角形は、その四角形が画像の中心にあった場合、各辺が上下左右に存在することになる。したがって、０°≦θ＜１８０°の範囲で調査するより、図１２（ａ）及び１２（ｂ）に示すように、上下の辺、左右の辺はそれぞれ次の数１４で表される範囲で測定した方が、より効果的である。

また、数１４から明らかなように、４５°≦θ＜１３５°のｃｏｓθと１３５°≦θ＜２２５°のｓｉｎθ、４５°≦θ＜１３５°のｓｉｎθと１３５°≦θ＜２２５°のｃｏｓθにマイナスをかけたもの、がそれぞれ対応しているため、ｓｉｎテーブルとｃｏｓテーブルとを共用することが可能である。

また、図１３（ａ）に４５°≦θ＜１３５°で検出される直線を太線で、図１３（ｂ）に１３５°≦θ＜２２５°で検出された直線を太線で示すように、ρが＋の値か−の値かによって、辺の上下、または辺の左右を特定することが可能である。したがって、より効率的に、中心の四角形を構成する辺を選択することができる。

このような考え方に基づいて、画像処理装置２５は、直線を検出し、四角形を特定する。尚、この四角形特定処理は、書画撮影のように、撮影対象物を真上から撮影する場合と、撮影対象物に対してデジタルカメラ１を傾けて撮影する場合とで異なるものとなる。まず、撮影対象物を真上から撮影する場合における処理を、図１４に示すフローチャートに従って説明する。

画像処理装置２５は、ハフ変換を用いて、Ｘ−Ｙ平面からρ−θ平面への投票を行う（ステップＳ５１）。そして、画像理装置２５は、４５°≦θ＜１３５°における投票が多い座標を、上下の辺を形成する直線の候補として複数取得する（ステップＳ５２）。同様に、画像処理装置２５は、１３５°≦θ＜２２５°における投票が多い座標を、左右の辺を形成する直線の候補として複数取得する（ステップＳ５３）。

画像処理装置２５は、Ｘ軸方向の候補、Ｙ軸方向の候補のうち、ρの値の＋−が異なり、θが同じものを選択する（ステップＳ５４）。これは、撮影対象物を真上から撮影する場合、撮影対象物が大きく歪む心配がなく、その相対する辺が平行で直交する辺は垂直であると見なせるためである。さらに、直交する別方向の直線のうち、平行な２本が存在すれば、図１５（ａ）に示すように、四角形（長方形）が特定されるからである。

画像処理装置２５は、Ｘ軸方向の候補とＹ軸方向の候補とから、既存の用紙の縦横比に近い比率となる組み合わせを選択する（ステップＳ５５）。具体的には、まず、画像処理装置２５は、数１４で表される直線をｙ＝ａｘ＋ｂに置き換えて、直交するｘｙ座標を算出する。これにより２点間の距離が判明する。また、既にどの辺がｘ軸方向でどの辺がｙ軸方向なのかが特定されているため、撮影対象の縦横比が容易に判明する。画像処理装置２５は、以上の処理を実行することにより、用紙サイズ（縦横比率）に当てはまる四角形を、撮影四角形であると特定する。

次に、撮影対象物に対してデジタルカメラ１を傾けて撮影する場合における処理を、図１６に従って説明する。尚、ステップＳ６１〜Ｓ６３までの処理は、撮影対象物を真上から撮影する場合（図１４）のステップＳ５１〜Ｓ５３までの処理と同様であるため、ここでの説明は省略する。

画像処理装置２５は、Ｘ軸方向の候補、Ｙ軸方向の候補のうち、ρの絶対値｜ρ｜が等しいもの同士を特定し、その絶対値が大きいものから順に優先度を設定する（ステップＳ６４）。これは、撮影対象物を斜めから撮影する場合に、相対する辺が平行とは限らないためである。上下左右の辺を｜ρ｜の絶対値の大きなもの同士に特定することで、図１５（ｂ）に太線で示すような、面積が最大である領域を特定するための直線の優先順位を得ることができる。

画像処理装置２５は、前述した最大領域を構成する四角形を、撮影四角形として特定する（ステップＳ６５）。

このようにして、選択された撮影対象物の四角形の４点の頂点の座標（x0,y0）,（x1,y1）,（x2,y2）,（x3,y3）を用いて、数５，数８に従って、数８に示す行列内の各要素であるアフィンパラメータを求めることができる。

（１）撮影対象画像からのアフィンパラメータ抽出
このような考え方に基づいて、画像処理装置２５は、四角形の頂点からアフィンパラメータを取得する。この処理を、図１７に示すフローチャートに基づいて説明する。

画像処理装置２５は、四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数５に従って、射影係数α、βを算出する（ステップＳ７１）。

画像処理装置２５は、数１０に従って撮影対象物の縦横比ｋを算出する（ステップＳ７２）。
画像処理装置２５は、画像の中心点（ｕc,ｖc）を指定する（ステップＳ７３）。
画像処理装置２５は、最大画像サイズｖmax/ｕmaxと数１０で表される縦横比ｋとを比較する（ステップＳ７４）。

ｖmax/ｕmax≦ｋの場合（ステップＳ７４においてＮｏ）、縦横比ｋを変えないものとして、画像処理装置２５は、Ｕ軸側（横）の最大画像サイズｕmaxの方が撮影対象物の画像サイズよりも大きいと判定する。そして、画像処理装置２５は、Ｖ軸側の最大画像サイズと撮影対象物の画像サイズとが一致するように、数１１の条件（１）に従って、ｍ，ｎの値を求める（ステップＳ７５）。

ｖmax/ｕmax＞ｋの場合（ステップＳ７４においてＹｅｓ）、縦横比ｋを変えないものとして、画像処理装置２５は、Ｖ軸側（縦）の最大画像サイズｖmaxの方が撮影対象物の画像サイズよりも大きいと判定する。そして、画像処理装置２５は、Ｕ軸側の最大画像サイズと撮影対象物の画像サイズとが一致するように、数１１の条件（２）に従ってｍ，ｎの値を求める（ステップＳ７６）。

画像処理装置２５は、算出したｍ、ｎと四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数８に従って、アフィン変換行列Ａfを求める（ステップＳ７７）。
画像処理装置２５は、このアフィン変換行列Ａfの各要素をアフィンパラメータＡとして、このアフィンパラメータＡを取得する（ステップＳ７８）。

尚、四角形が認識できないような場合（図８のステップＳ３３においてＮｏ）のように、画像撮影条件等が不適であり、射影パラメータが得られない場合がある。このような場合、図１８（ａ）に示すような警告文を、液晶モニタ１２に表示させ、撮影者に領域が検出できなかったことを適切に警告し、撮影者に、図１８（ｂ）に示すようなカメラ撮影設定モードにして撮影条件を変更させ、再度撮影を促すようにした方が好ましい。さらに再度、撮影条件を変えるように警告をした方が好ましい場合がある。

ＣＰＵ３０は、このように適正な射影パラメータが得られなかった場合、図１９に示すフローチャートに従って、警告処理を行う（図５のステップＳ２７）。

ＣＰＵ３０は、表示装置２４を制御して、図１８（ａ）に示すような警告文を液晶モニタ１２に表示させる（ステップＳ８１）。

ＣＰＵ３０は、ＹＥＳキー、ＮＯキーのいずれが押下されたかを、操作部２６から送信された操作情報に基づいて判定する（ステップＳ８２）。

ＮＯキーが押下されたと判定した場合（ステップＳ８２においてＮｏ）、ＣＰＵ３０は、この警告処理を終了させる。

一方、ＹＥＳキーが押下されたと判定した場合（ステップＳ８２においてＹｅｓ）、ＣＰＵ３０は、撮影モードに切り替えて（ステップＳ８３）、この警告処理を終了させる。

（２）抽出したアフィンパラメータによる画像変換
次に、得られたアフィンパラメータを用いて補正画像を作成する画像処理方法について説明する。
まず、アフィンパラメータを用いて射影変換や他のアフィン変換を行なう場合、図２０に示すように、元の画像の点ｐ（x,y）が、変換行列Ａpによる射影変換等によって変換（後）画像の点Ｐ（u,v）に対応するものとする。この場合、元の画像の点ｐに対応する変換画像の点Ｐを求めるよりは、変換画像の点Ｐ（u,v）に対応する元の画像の点ｐ（x,y）を求めたほうが好ましい。

尚、変換画像の点Ｐの座標を求める際、バイリニア法による補間方法を用いるものとする。バイリニア法による補間方法は、一方の画像（元の画像）の座標点と対応する他方の画像（変換画像）の座標点を探し出して、一方の画像の座標点の周辺４点の（画素）値から変換画像の点Ｐ（u,v）の（画素）値を求める方法である。この方法によれば、変換画像の点Ｐの画素値Ｐは、次の数１５に従って算出される。

変換画像の点Ｐ（u,v）に対応する元の画像の点ｐ（x,y）を求めるため、画像処理装置２５は、図２１に示すフローチャートの処理を実行する。
画像処理装置２５は、変換画像の画素位置ｕを０に初期化する（ステップＳ９１）。

画像処理装置２５は、変換画像の画素位置ｖを０に初期化する（ステップＳ９２）。
画像処理装置２５は、数５及び数８で得られたアフィンパラメータＡに変換画像の画素位置（u,v）を代入し、数２に従って、元の画像の画素位置（x,y）を求める（ステップＳ９３）。

画像処理装置２５は、求めた画素位置（x,y）から、数１５に従って、バイリニア法により画素値Ｐ（u,v）を求める（ステップＳ９４）。
画像処理装置２５は、補正後画像の座標ｖを１つだけインクリメントする（ステップＳ９５）。

画像処理装置２５は、補正後画像の座標ｖと座標ｖの最大値ｖmaxとを比較して、補正後画像の座標ｖが最大値ｖmax以上になったか否かを判定する（ステップＳ９６）。

座標ｖが最大値ｖmax未満であると判定した場合（ステップＳ９６においてＮｏ）、画像処理装置２５は、ステップＳ９３〜Ｓ９５を再度実行する。

ステップＳ９３〜Ｓ９５の処理を繰り返すことにより、座標ｖが最大値ｖmaxに達したと判定した場合（ステップＳ９６においてＹｅｓ）、画像処理装置２５は、補正後画像の座標ｕを１つだけインクリメントする（ステップＳ９７）。

画像処理装置２５は、座標ｕと座標ｕの最大値ｕmaxとを比較し、座標ｕが最大値ｕmax以上になったか否かを判定する（ステップＳ９８）。
座標ｕが最大値ｕmax未満であると判定した場合（ステップＳ９８においてＮｏ）、画像処理装置２５は、再度、ステップＳ９２〜Ｓ９７の処理を実行する。

ステップ９２〜Ｓ９７の処理を繰り返すことにより、座標ｕが最大値ｕmaxに達したと判定した場合（ステップ９８においてＹｅｓ）、画像処理装置２５は、この画像変換処理を終了させる。

（３）画像変換の調整
次に、一度画像変換を行った画像に対して行われる調整（図５のステップＳ２２）について説明する。
抽出された四角形の頂点の座標に若干の誤差等が含まれているような場合、図２２（ａ）に示すように、得られたアフィンパラメータで射影した結果が好ましくない場合がある。このため、本実施形態のデジタルカメラ１は、一度画像変換した画像に対して調整を行い、図２２（ｂ）に示すような画像を得るために、ユーザによって射影変換の調整を行えるように構成されている。

ユーザが操作部２６の射影変換キー、回転補正キーを操作すると、操作部２６は、ユーザの操作に応答して、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０は、この操作情報を判別し、判別結果に従って画像処理装置２５を制御する。

尚、図２３に示すように、補正画像の補間画素Ｑ（u',v'）を求める際に、補間画素Ｑ（u',v'）に対して逆変換Ａiを行って、補間画素Ｑ（u',v'）に対応する補正画像Ｐ（u,v）を求め、さらに補正画像Ｐ（u,v）に対して逆変換を行って、元の画像のｐ（x,y）を求め、画像ｐ（x,y）に対して画素補間を行う。射影変換と拡大変換等、画像変換を２段変換する場合は、２つの変換を合成した変換行列を求めておいて、元の画像に対して変換を一度で行う。この方が、変換を２回行うより画像を高速に求めることができ、かつ画像の劣化は少なくてすむ。

変換前の画像を、Ｘ軸，Ｙ軸を中心に角度θだけ回転して得られた変換後の画像から、変換前の画像を取得する場合の回転逆変換行列Ａrは、次の数１６によって表される。
変換前の画像を、Ｘ軸，Ｙ軸を中心にしてＳc倍拡大して得られた変換後の画像から、変換前の画像を取得する場合の拡大行列Ａscは、次の数１７によって表される。

尚、一度、画像を拡大すると、アフィンパラメータの調整や計算で丸め誤差の処理等が行われる場合がある。このため、画像を拡大する場合、その前に元の等倍のアフィンパラメータに復帰させるようにしておく必要がある。

変換前の画像をＸ，Ｙ方向に、それぞれ、Ｔx，Ｔyだけ移動させることによって得られた変換後の画像から、変換前の画像を取得する場合の移動行列Ａsは、次の数１８によって表される。

補正前の画像をＸ，Ｙ方向に、それぞれ、α，βだけ傾斜することによって得られた変換後の画像から、変換前の画像を取得する場合の射影効果行列Ａpは、次の数１９によって表される。
そして、２段の逆変換を実行する場合、その逆変換行列Ａは、次の数２０によって表される。

尚、本実施形態では、射影効果パラメータα、βは0.1刻み、角度補正パラメータθは１度刻みに設定するものとする。但し、実際の補正の効果を確かめながら各パラメータの調整幅を決定することができる。

このような考え方に基づいて実行される画像変換の調整処理を、図２４に示すフローチャートに基づいて説明する。
ＣＰＵ３０は、画像の中心座標Ｘc，Ｙcを設定する（ステップＳ１０１）。
ＣＰＵ３０は、操作部２６から送信された操作情報に基づいて射影変換キーが押下されたか否かを判定する（ステップ１０２）。
射影変換キーが押下されたと判定した場合（ステップＳ１０２においてＹｅｓ）、ＣＰＵ３０は、射影変換キーとして、上縮小キー１１１、下縮小キー１１２、右縮小キー１１３、左縮小キー１１４のうちの押下されたキーの種別を判別する（ステップＳ１０３〜Ｓ１０６）。

押下された射影変換キーが上縮小キー１１１であると判別した場合、ＣＰＵ３０は、数１９に示す射影効果行列Ａpに、α＝0.1、β＝０をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１０３）。

押下された射影変換キーが下縮小キー１１２であると判別した場合、ＣＰＵ３０は、数１９に示す射影効果行列Ａpに、α＝-0.1，β＝０をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１０４）。

押下された射影変換キーが右回転キー１１３であると判別した場合、ＣＰＵ３０は、数１９に示す射影効果行列Ａpに、α＝０，β＝0.1をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１０５）。

押下された射影変換キーが左回転キー１１４であると判別した場合、ＣＰＵ３０は、数１９に示す射影効果行列Ａpに、α＝０，β＝-0.1をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１０６）。

射影変換キーは押下されなかったと判定した場合（ステップ１０２においてＮｏ）、ＣＰＵ３０は、回転補正キーが押下されたか否かを判定する（ステップＳ１０７）。
回転補正キーが押下されたと判定した場合（ステップＳ１０７においてＹｅｓ）、ＣＰＵ３０は、押下された回転補正キーの種別を判別する（ステップＳ１０８、Ｓ１０９）。

押下された回転補正キーが右回転キー１１５であると判別した場合、ＣＰＵ３０は、数１６に示す回転逆変換行列Ａrに、θ＝−１を代入して、逆変換行列Ａi＝Ａrを取得する（ステップ１０８）。

押下された回転補正キーが左回転キー１１６であると判別した場合、ＣＰＵ３０は、数１６に示す回転逆変換行列Ａrに、θ＝１を代入して、逆変換行列Ａi＝Ａrを取得する（ステップ１０９）。

また、射影変換キー又は回転補正キーが押下されたと判定して、逆変換行列Ａiを設定した場合（ステップＳ１０３〜Ｓ１０６，Ｓ１０８，Ｓ１０９）、ＣＰＵ３０は、数２０に従って、逆変換行列Ａを求める（ステップＳ１１０）。

ＣＰＵ３０は、求めた変換行列Ａを画像処理装置２５に供給し、逆変換行列Ａに基づいて画像変換を行うように画像処理装置２５を制御する。画像処理装置２５は、供給された逆変換行列Ａに基づいて、アフィン変換による画像変換を行い（ステップＳ１１１）、この画像変換の調整処理を終了させる。
一方、回転補正キーが押下されていないと判定した場合（ステップＳ１０７においてＮｏ）、ＣＰＵ３０は、そのまま、この画像変換の調整処理を終了させる。

このようにして得られたアフィンパラメータを用いて、前述した方法にて画像変換を行うことにより、補正画像に対して、さらに画像をマニュアル調整することもできる。

例えば、図２２に示すような画像を調整する場合、画像が左方向に歪んでいるので、まず右回転キー１１５を押下すると、画像処理装置２５は、画像を右回転させる。このまま、右回転キー１１５が押下されて、文字列が正しく表示されたときに右回転キー１１５の押下が停止すると、画像処理装置２５は、画像の右回転を停止させる。

次に画像の左側が右側に比較して大きいので左縮小キー１１４が押下されると、画像処理装置２５は、画像の左右を調整する。このまま、左縮小キー１１４が押下されて左右のバランスが揃ったときに左縮小キー１１４の押下が停止すると、画像処理装置２５は、左縮小処理を停止させる。

この方法は、元画像に対して一度だけの画像変換だけで、画像を得ることができるので、一度射影補正をおこなった画像に対して再度、回転、射影変換するより画質の良い画像を得ることができる。

（４）輝度あるいは色差等に関する画像効果補正用パラメータの抽出及び画像効果処理
次に、このように得られた画像から、画像効果補正用パラメータを抽出する処理と、このパラメータを用いて行う画像効果処理と、について説明する。画像効果処理は、より鮮明な画像を得るための処理である。

このようにして得られた画像は、結果として白板２や書類などを切り出した画像である。ヒストグラム補正などの画像効果を行なう場合、元の画像から補正パラメータを求めて補正を行うより、切り出す画像からパラメータを求めた方が、より有効なパラメータの取得が期待される。

本実施形態では、補正画像データから輝度（Ｙ）からヒストグラムを作成し、そのヒストグラムに応じて画像効果処理を行うものとする。

尚、画像効果補正用パラメータは、輝度ヒストグラムの最大値、最小値、ピーク値といった画像効果処理に必要な変数である。

画像効果補正用パラメータを抽出するには、輝度のヒストグラムを生成する必要がある。まず、画像効果補正用パラメータの抽出に必要な処理について説明する。

輝度ヒストグラムは、画像に存在する輝度値（Ｙ）の分布を示すものであり、輝度値毎に画素の数を計数することにより生成される。図２５に輝度ヒストグラムの一例を示す。図２５において、横軸は、輝度値（Ｙ）を示し、縦軸は、画素数を示す。画像効果を補正するには、画像効果補正用パラメータとして、最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を求める必要がある。

最大値は、輝度値毎に画素の数を計数し、予め設定された所定数以上の計数値を有する輝度値のうちの最大輝度を示す値であり、最小値は、設定された所定数以上の計数値を有する輝度値のうちの最小輝度を示す値である。ピーク値は、計数値が最大となる輝度値である。ピーク値は、撮影対象物の背景色の輝度値を示すものと考えられる。

尚、画像効果を補正して視認性に優れた画像を得るには、撮影対象物の背景色によって補正効果が異なってくるため、画像効果の補正方法を撮影対象物の背景色によって変える必要がある。このため、撮影対象物の背景色の判別が必要になってくる。撮影対象物の背景色は、輝度ヒストグラム、色差ヒストグラムの各ピーク値から判別される。

ここで、撮影対象物の背景色を、３つに分類するものとする。第１は、ホワイトボード、ノート等のように背景色が白の場合である。第２は、黒板等のように背景色が黒の場合である。第３は、雑誌、パンフレットのように背景色が白又は黒以外の場合である。

具体的に、撮影対象物の背景色は、以下の判別式に従って判別される。
（２−ａ）白の判定条件
白判定条件は、次の数２１によって表され、数２１に示す条件を満足したときに、撮影対象物の背景色は白（Ｗ）と判定される。
（２−ｂ）黒の判定条件
黒判定条件は、次の数２２によって表され、数２２に示す条件を満足したときに、撮影対象物の背景色は黒（ｂ）と判定される。

また、数２１，２２に示す条件を満足しなかった場合、撮影対象物の背景色はカラー（Ｃ）と判定される。尚、カラー閾値は、例えば、５０に、白判定閾値は、例えば、１２８に、黒判定閾値は、例えば、５０に設定される。

このような考え方に基づいて、画像処理装置２５は、図２６に示すフローチャートに従って画像効果補正用パラメータの抽出処理を実行する。
画像処理装置２５は、各輝度（Ｙ）値を有する画素の数を計数して、図２５に示すような輝度ヒストグラムを生成する（ステップＳ１２１）。

画像処理装置２５は、生成した輝度ヒストグラムから、輝度の最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を取得する（ステップＳ１２２）。

画像処理装置２５は、輝度ヒストグラムのピーク値（Ｙpeak）から、数２１，２２に示す判定条件式に従って撮影対象物の背景色を判別する（ステップＳ１２３）。
画像処理装置２５は、画像効果補正用パラメータと撮影対象物の背景色のデータをメモリ２３に記憶する（ステップＳ１２４）。

次に、画像処理装置２５は、このように抽出した画像効果補正用パラメータを用いて画像効果処理（図５のステップＳ２４）を行う。
前述のように、画像効果処理を効果的に行うには、背景色によって処理内容を替える必要がある。

ホワイトボード、ノート等のように、背景色が白である場合、図２７（ａ）に示すような輝度変換を行う。黒板等のように、背景色が黒である場合、図２７（ｂ）に示すような輝度変換を行う。雑誌、パンフレット等のように、背景色が白または黒以外である場合、図２７（ｃ）に示すような変換を行う。尚、図２７（ａ），（ｂ），（ｃ）において、横軸は、画素値の入力値を示し、縦軸は、画素値の出力値を示す。

背景色が白である場合、図２７（ａ）に示すように、ピーク値を境にして、輝度変換線の傾斜角度を変える。所定輝度値を、例えば、２３０として、入力された輝度のピーク値を輝度値２３０まで引き上げる。そして、最大値を、最大輝度まで持ち上げる。従って、輝度変換線は、図２７（ａ）に示すように、２つの線分によって表される。

背景色が黒である場合、図２７（ｂ）に示すように、ピーク値をある一定の輝度値（２０）になるように輝度変換を行う。この場合も、図２７（ｂ）に示すように、輝度変換線は２つの線分によって表される。

背景色が白または黒以外の色である場合、図２７（ｃ）に示すように、通常の引き伸ばし処理と同様に、最小値以下と最大値以上をカットし、１つの線分として表されるように輝度変換線を設定する。

尚、このように背景の輝度（Ｙ）と出力（Ｙ’）との変換テーブルを予め設定してメモリカード３１に記憶してもよい。作成した変換テーブルに従って、入力された各画素の値から、それぞれの出力値を求め、画像効果処理を施す。このように変換された画像は、明るい画素はより明るく、暗い画素はより暗くなるので、輝度分布が広がり、視認性がすぐれた画像になる。

このような考え方に基づいて、画像処理装置２５は、図２８に示すフローチャートに従って、画像効果処理を実行する。
画像処理装置２５は、保存した画像効果補正用パラメータをメモリ２３から読み出す（ステップＳ１３１）。

画像処理装置２５は、背景が白か否かを判定する（ステップＳ１３２）。
背景が白と判定した場合（ステップＳ１３２においてＹｅｓ）、画像処理装置２５は、背景をより白くして、視認性が良くなるように、図２７（ａ）に示すような輝度変換を行って、輝度ヒストグラムの調整を行う（ステップＳ１３３）。

背景が白ではないと判定した場合（ステップＳ１３２においてＮｏ）、画像処理装置２５は、背景が黒か否かを判定する（ステップＳ１３４）。

背景が黒であると判定した場合（ステップＳ１３４においてＹｅｓ）、画像処理装置２５は、背景が黒の場合、図２７（ｂ）に示すような輝度変換を行って、輝度ヒストグラムを調整する（ステップＳ１３５）。

背景が黒ではないと判定した場合（ステップＳ１３４においてＮｏ）、画像処理装置２５は、図２７（ｃ）に示すような輝度変換を行って、撮影対象物の背景色に応じたヒストグラム調整を行う（ステップＳ１３６）。

本実施形態のデジタルカメラ１では、モードを撮影モードだけでなく再生モードに設定することもできる。
操作部２６の再生キーが押下されると、操作部２６は、この操作情報をＣＰＵ３０に送信する。

ＣＰＵ３０は、この操作情報に基づいて、モードが再生モードになったことを判別すると、図２９に示すフローチャートに従って、再生処理を実行する。
ＣＰＵ３０は、メモリカード３１内に記録されている画像ファイルの中から、ユーザに選択された一枚の画像を選択する（ステップＳ１４１）。

ＣＰＵ３０は、この選択した画像ファイルをメモリカード３１から読み出し、メモリ２３に書き込む（ステップＳ１４２）。
ＣＰＵ３０は、読み出した画像から縮小画像を作成する（ステップＳ１４３）。

ＣＰＵ３０は、メモリ２３上のプレビュー画像用の記憶領域に書き込む（ステップＳ１４４）。これにより撮影モード時と同じように、この縮小画像が表示装置２４から表示される。ユーザはこの表示を見ることで、再生画像を確認することができる。

ユーザがこの表示を視認して、他の画像を見たい場合にＮＯキーを押下すると、操作部２６はこの操作情報をＣＰＵ３０に送信する。
ＣＰＵ３０は、この操作情報に従って、次の画像が指定されたか否かを判定する（ステップＳ１４５）。

次の画像が指定されたと判定した場合（ステップＳ１４５においてＹｅｓ）、ＣＰＵ３０は、次の画像を選択し（ステップＳ１４６）、再度ステップＳ１４２〜Ｓ１４４を実行する。

次の画像が指定されなかったと判定した場合（ステップＳ１４５においてＮｏ）、ＣＰＵ３０は、この再生モードが終了したか否かを判定する（ステップＳ１４７）。
撮影キーが押下されなければ、ＣＰＵ３０は、再生モードは終了していないと判定して（ステップＳ１４７においてＮｏ）、ステップ１４５（次の画像が指定されたか否かの判定）に戻る。

一方、撮影キーが押下されると、ＣＰＵ３０は、操作部２６から、この操作情報を受信して再生モードが終了したと判定し（ステップＳ１４７においてＹｅｓ）、再生処理を終了させる。

次に、パラメータのファイルヘッダへの書き込みについて説明する。
元画像と補正画像とを、共にＪＰＥＧフォーマットの画像として記録する際に、元画像のファイル名を画像ファイルのヘッダ（オプションデータ）領域に記録する。補正画像を再度修正したい場合に、修正画像ファイルを補正するのでは元の画像から作成することによって劣化の少ない画像を作成することができる。この画像編集は、デジタルカメラ１内で行われてもよい。しかし、画像編集は、コンピュータで行われることもできる。コンピュータで画像編集を行えば、さらに高度の画像補正を行えることが期待される。

さらに、ヘッダに画像処理を行ったときのパラメータを記録することにより、コンピュータは、この元画像にこのパラメータを用いて、補正画像を再度、容易に作成することができる。このため、ユーザは即時、その前回の補正画像から手を加えやすくなる。

ヘッダ情報は、図３０に示すように、データの種類（データ名）と、それぞれのデータのバイト数と、その内容と、を含む。
ＣＰＵ３０は、このヘッダ情報を、ヘッダ情報記憶領域に順次、元画像データの画像ファイル名、補正画像の画像サイズ、アフィンパラメータ、ヒストグラムテーブルを作成するための入出力のデータセットを記憶する。

入出力データセットは、入力データと出力データとの関係を示すデータのセットであり、入出力関係を示す直線の傾斜が変化する変化点毎に、入力データの小さい方から順に並べて、入力データと出力データとを組にしたものである。

変化点の入力データが、小さい方から、順に、x1,x2,…,xmとして、対応する出力データがy1，y2，...，ymとすると、データセットは、（x1,y1），（x2,y2），…，（xm,ym）のｍ個のデータセットで表される。この場合、入力データｘは、xi＜ｘ＜xi+1であれば、出力データｙは次の数２３によって表される。

例えば、入力データと出力データとの関係が、図２７（ａ）に示すような関係である場合、ＣＰＵ３０は、（0，0）、（最小値、０）、（ピーク値，一定輝度値（＝２３０））、（最大値，２５５）、（255，255）の５つのデータセットをメモリカード３１に記憶する。

同様に、入出力データの関係が、図２７（ｂ）に示すような関係である場合、ＣＰＵ３０は、（０，０），（最小値，０），（ピーク値，一定輝度値（＝２０）），（最大値，２５５），（２５５，２５５）の５つのデータセットをメモリカード３１に記憶する。

入出力データの関係が、図２７（ｃ）に示すような関係である場合、ＣＰＵ３０は、（０，０），（最小値，０），（最大値，２５５），（２５５，２５５）の４つのデータセットをメモリカード３１に記憶する。

このような輝度値のデータセットを記録することにより、様々なヒストグラムを記述することができる。ＣＰＵ３０は、このようなデータを補正画像データの記録（図５のステップＳ２６）と同時に、メモリカード３１に記録する。

次に、補正画像の編集処理について説明する。
画像データを一度保存した後、この画像データを再度補正したい場合がある。この場合、前述のように、元の画像データを一括して補正した方が、画像劣化が少ないという点で、好ましい。

ユーザがコントロールキーを操作して画像の編集モードを指定すると、ＣＰＵ３０は、図３１に示すフローチャートに従って、画像の編集処理を実行する。
ＣＰＵ３０は、操作部２６から送信された操作情報に従って、補正画像を選択する（ステップＳ１５１）。

ＣＰＵ３０は、メモリカード３１のヘッダ情報記憶領域からヘッダ情報を読み込む（ステップＳ１５２）。
ＣＰＵ３０は、元画像を読み込む（ステップＳ１５３）。
ＣＰＵ３０は、読み込んだ補正画像、ヘッダ情報、元画像を画像処理装置２５に送り、再度、補正するように、画像処理装置２５を制御する（ステップＳ１５４）。

画像処理装置２５は、補正画像、ヘッダ情報、元画像を、ＣＰＵ３０から取得して、射影変換画像を作成する（ステップＳ１５５）。画像処理装置２５は、作成した射影変換画像のデータを表示装置２４に送り、表示装置２４は、この画像を液晶モニタ１２に表示する。

ユーザが射影変換キー、回転補正キーを操作すると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０は、この操作情報を取得して、画像処理装置２５を射影手動補正処理を行うように制御する。

画像処理装置２５は、図２４に示すフローチャートに従って射影手動補正処理を行う（ステップＳ１５７）。
画像処理装置２５は、ヘッダ情報と共に射影手動補正処理された補正画像をメモリカード３１に記録し（ステップＳ１５８）、この編集処理を終了させる。

以上説明したように、本実施形態によれば、画像処理装置２５は、撮影対象物（白板２）の画像の画素を選択して縮小画像を生成するとともに、選択した画素を調査対象として、歪曲補正を行い、エッジ画像を作成するようにした。

従って、精度を維持しつつ、処理するデータ数を低減することができるので、撮影対象物の画像の歪みの補正を高速化することができる。また、直線を抽出する場合でも、調査範囲を低減させてハフ変換を実行するため、処理を高速化することができる。

また、作成したエッジ画像から輪郭を取得して、撮影対象物の形状を取得し、撮影対象物の四角形の頂点位置から、射影パラメータを求めて撮影対象物の画像を射影変換するようにしたので、撮影対象物が四角形であれば、自動的に画像の歪みを容易に補正することができる。また、斜めから撮影した場合でも、正面から撮影した撮影対象物の画像と同じような判読性の高い画像を得ることができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態では、補正画像の作成に用いたパラメータを補正画像のファイルに保存した。しかし、元画像のファイルにこのパラメータを保存することもできる。元画像のファイルにパラメータを保存すれば、補正画像を保存しなくても、元画像から容易に補正画像を作成することができる。

この場合のヘッダ情報は、図３２に示すように、画像サイズと射影パラメータと画像効果補正用パラメータとのみで構成される。

また、撮影処理を行う際、デジタルカメラ１は、変換後の画像を保存せずに、すぐに射影パラメータの抽出処理を行う。この処理内容を図３３のフローチャートに示す。
画像処理装置２５は、射影補正画像を作成し（ステップＳ１６１〜１６９）、画像変換の調整、画像効果補正用パラメータの抽出、画像効果処理を行う（ステップＳ１７０〜１７２）。

ＣＰＵ３０は、図３２に示すヘッダ情報を作成する（ステップＳ１７３）。
画像処理装置２５は、元画像データを圧縮し、ＣＰＵ３０は、作成したヘッダ情報を、圧縮した元画像データと共にメモリカード３１に記録する（ステップＳ１７４，１７５）。

また、再編集処理も図３１に示す処理内容とは異なるものになる。即ち、再編集処理は、補正画像ではなく、元画像に対して行われる。この処理内容を図３４のフローチャートに示す。
ＣＰＵ３０は、元画像を選択し、元画像のファイルからヘッダ情報を読み出す（ステップＳ１８１，Ｓ１８２）。

画像処理装置２５は、すぐに射影補正画像を作成し、画像効果処理を行う（ステップＳ１８３）。
ＣＰＵ３０と画像処理装置２５とは、射影手動補正処理を行い、補正終了後、ＣＰＵ３０は、変更された射影補正パラメータに基づいてヘッダ情報を作成し、作成したヘッダ情報を元画像のファイルに再度記録する（ステップＳ１８４〜Ｓ１８７）。

また、上記実施形態では、画像補正をデジタルカメラ１で行うようにした。しかし、画像補正をコンピュータで行うことも可能である。この場合、コンピュータをコンピュータインタフェース部２７に接続し、コンピュータが図３１に示すフローチャートに従って画像の編集処理を実行する。コンピュータがこのような画像の編集処理を行えば、コンピュータは、マウス等を備え、デジタルカメラ１に比べて操作情報の入力も容易になるので、操作性が向上する。また、コンピュータの表示装置は、デジタルカメラ１の液晶モニタ１２よりも大きいのが一般的であるので、画像を詳細に視認して、画像補正を精度良く行うことが可能になる。

また、上記実施形態では、四角形を取得できない場合、警告を行うようにした。しかし、警告を行う代わりに、撮影した画像を表示して、コントロールキー等を用いて、ユーザに四角形の４点を指定させるように構成されることもできる。そして、この指定された４点を用いてアフィンパラメータを求めるようにすることもできる。

尚、上記実施の形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、コンピュータを、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態に係るデジタルカメラで白板を撮影するときの状態を示す説明図である。 図１に示すデジタルカメラの構成を示すブロック図である。 図２に示す画像処理装置の機能を説明するための説明図である。 図２に示す操作部が備える各キーを説明するための説明図である。 デジタルカメラが実行する撮影処理の内容を示すフローチャートである。 図２に示す画像処理装置の切り抜き対象の四角形を示す説明図である。 射影パラメータの抽出とアフィン変換の基本的な考え方を説明するための説明図である。 図２に示す画像処理装置が実行する射影パラメータ抽出処理の内容を示すフローチャートである。 図２に示す画像処理装置が実行する四角形輪郭抽出処理の内容を示すフローチャートである。 縮小輝度画像とエッジ画像を説明するための説明図である。 Robertsフィルタの機能を説明するための説明図である。 ハフ変換を用いた直線検出を説明するための図であり、（ａ）は、上下の辺を検出する処理を示し、（ｂ）は、左右の辺を検出する処理を示している。 ρがプラスの値かマイナスの値かによって、上下、または左右を判定可能であることを示すイメージ図である。 図２に示す画像処理装置が実行する書画撮影の場合の四角形検出処理の内容を示すフローチャートである。 直線検出後の四角形を特定する様子を模式的に示すイメージ図であり、（ａ）は、書画撮影の場合を、（ｂ）は書画撮影以外の場合を示している。 図２に示す画像処理装置が実行する書画撮影以外の場合の四角形検出処理の内容を示すフローチャートである。 図２に示す画像処理装置が実行する四角形の頂点からアフィンパラメータを求める処理の内容を示すフローチャートである。 四角形を抽出できなかった場合の警告の内容を示す説明図である。 図２に示すＣＰＵが実行する警告処理の内容を示すフローチャートである。 射影変換後の画像から元の画像を得るための逆変換を説明するための説明図である。 図２に示す画像処理装置が実行するアフィン変換による画像変換処理の内容を示すフローチャートである。 射影変換によって画像の歪みを補正することができなかった例を示す説明図である。 元の画像、射影変換画像、拡大した射影変換画像との対応関係を説明するための説明図である。 図２に示す画像処理装置が実行する補正調整と画像変換処理の内容を示すフローチャートである。 輝度ヒストグラムの一例を示す説明図である。 図２に示す画像処理装置が実行する画像効果補正用パラメータの抽出処理の内容を示すフローチャートである。 画像効果処理を示す説明図であり、（ａ）は、背景色が白の場合の画像効果処理を示し、（ｂ）は、背景が黒の場合の画像効果処理を示し、（ｃ）は、背景が白又は黒以外の場合の画像効果処理を示す。 図２に示す画像処理装置が実行する画像効果処理の内容を示すフローチャートである。 図２に示すＣＰＵ、画像処理装置が実行する再生処理の内容を示すフローチャートである。 ヘッダ情報の内容を示す説明図である。 図２に示すＣＰＵ、画像処理装置が実行する補正画像の再編集処理の内容を示すフローチャートである。 元画像のみを保存する場合のヘッダ情報の内容を示す説明図である。 元画像のみを保存する場合に図２に示すＣＰＵ、画像処理装置が実行する撮影処理の内容を示すフローチャートである。 元画像のみを保存する場合に図２に示すＣＰＵ、画像処理装置が実行する補正画像の再編集処理の内容を示すフローチャートである。

符号の説明

１・・・デジタルカメラ、２・・・白板、１１・・・撮影レンズ部、１２・・・液晶モニタ、１３・・・シャッタボタン、２１・・・光学レンズ装置、２２・・・イメージセンサ、２３・・・メモリ、２４・・・表示装置、２５・・・画像処理装置、３０・・・ＣＰＵ、３１・・・メモリカード

Claims (8)

1. 撮影対象物を撮影する撮影装置において、
   撮影によって得られた前記撮影対象物の画像の歪みを補正するように、前記撮影画像に対して画像処理を行う画像処理部を備え、
   前記画像処理部は、
   前記撮影対象物の画像の画素を選択することによってデータ量を低減させた縮小画像を生成し、前記選択した画素に対して前記撮影対象物の画像の歪曲補正を行い、生成した縮小画像から前記撮影対象物の画像のエッジ画像を生成し、生成したエッジ画像から、前記撮影対象物の画像の形状を取得する形状取得部と、
   前記撮影対象物の形状と前記形状取得部が取得した前記撮影対象物の画像の形状とを対応させて、前記撮影対象物の画像から、前記画像と前記撮影対象物との関係を示す射影パラメータを求める射影パラメータ取得部と、
   前記射影パラメータ取得部が求めた射影パラメータを用いて前記撮影対象物の画像の画像変換を行う画像変換部と、を備えた、
   ことを特徴とする撮影装置。
2. 前記形状取得部は、
   前記撮影対象物の画像の縮小画像を生成する画素を選択し、前記選択した画素を調査対象として前記撮影対象物の画像の歪曲補正を行って前記撮影対象物の画像のエッジ画像を生成するエッジ画像生成部と、
   前記エッジ画像生成部が生成したエッジ画像から、前記エッジ画像を形成する直線を取得する直線取得部と、
   前記直線取得部が取得した直線によって前記撮影対象物の画像の形状の候補を生成する形状候補生成部と、
   前記形状候補生成部が生成した前記撮影対象物の画像の形状の候補から、前記撮影対象物の画像の形状を選択する形状選択部と、を備える、
   ことを特徴とする請求項１に記載の撮影装置。
3. 前記直線取得部は、前記エッジ画像生成部が生成したエッジ画像から取得した直線の長さを求め、求めた前記直線の長さに基づいて、前記撮影対象物の画像の形状を形成する直線を選択して取得する、
   ことを特徴とする請求項２に記載の撮影装置。
4. 前記直線取得部は、前記エッジ画像生成部が生成したエッジ画像から取得した直線の角度を求め、求めた角度に基づいて、前記撮影対象物の画像の形状を形成する直線を選択して取得する、
   ことを特徴とする請求項２に記載の撮影装置。
5. 前記形状選択部は、前記形状候補生成部が生成した前記撮影対象物の画像の形状の候補のうち、前記形状で囲まれた画像領域のサイズが最大となるものを選択して、選択したものを前記撮影対象物の画像の形状として取得する、
   ことを特徴とする請求項２に記載の撮影装置。
6. 前記撮影対象物の画像データを記憶する記憶部を備えた、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮影装置。
7. 撮影対象物を撮影することによって得られた前記撮影対象物の画像の歪みを補正するように、前記撮影対象物の画像に対して画像処理を行う撮影装置の画像処理方法であって、
   前記撮影対象物の画像の画素を選択することによってデータ量を低減させた縮小画像を生成し、前記選択した画素に対して前記撮影対象物の画像の歪曲補正を行うステップと、
   生成した縮小画像から前記撮影対象物の画像のエッジ画像を生成するステップと、
   生成したエッジ画像から、前記撮影対象物の画像の形状を取得するステップと、
   前記撮影対象物の形状と前記形状取得部が取得した前記撮影対象物の画像の形状とを対応させて、前記撮影対象物の画像から、前記画像と前記撮影対象物との関係を示す射影パラメータを求めるステップと、
   求めた射影パラメータを用いて前記撮影対象物の画像の画像変換を行うステップと、を備えた、
   ことを特徴とする撮影装置の画像処理方法。
8. コンピュータに、
   前記撮影対象物の画像の画素を選択することによってデータ量を低減させた縮小画像を生成し、前記選択した画素に対して前記撮影対象物の画像の歪曲補正を行う手順、
   生成した縮小画像から前記撮影対象物の画像のエッジ画像を生成する手順、
   生成したエッジ画像から、前記撮影対象物の画像の形状を取得する手順、
   前記撮影対象物の形状と前記形状取得部が取得した前記撮影対象物の画像の形状とを対応させて、前記撮影対象物の画像から、前記画像と前記撮影対象物との関係を示す射影パラメータを求める手順、
   求めた射影パラメータを用いて前記撮影対象物の画像の画像変換を行う手順、
   を実行させるためのプログラム。