JP2005258718A - 画像処理装置、画像投影装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】 台座上の原稿を撮影することにより得られた画像から、原稿の輪郭の形状を適切に取得することができる画像処理装置、画像投影装置、画像処理方法及びプログラムを提供する。
【解決手段】 撮影画像投影装置は、台座上の原稿を撮影することにより得られた画像から原稿の輪郭を形成する直線パラメータの候補を取得する。次に、取得した候補から台座の輪郭を形成する直線パラメータに近い直線パラメータを検出して外す。続いて、残った候補のうちから所定の条件を満たす４本の直線パラメータを検出し、検出した直線パラメータによって形成される四角形を撮影した原稿の四角形として取得する。このようにして、撮影画像投影装置は、撮影した画像から原稿の輪郭の形状のみを適切に取得することができる。
【選択図】 図１９

Description

本発明は、画像処理装置、画像投影装置、画像処理方法及びプログラムに関し、特に台座上の原稿を撮影することにより得られた画像から、原稿の輪郭の形状を適切に取得することができる画像処理装置、画像投影装置、画像処理方法及びプログラムに関する。

原稿台に載置された原稿をデジタルカメラで撮影し、撮影により得られたデジタル画像データに所定の画像処理等を施した後、アナログ変換して出力することにより、スクリーン上に原稿の拡大画像を投影する撮影画像投影装置が知られている（例えば、特許文献１参照）。
特開２００２−３５４３３１号公報（第２−３頁、図１）。

このような撮影画像投影装置によって撮影された原稿の画像の歪み補正を行う手法としては、歪んだ原稿の画像から四角形を切り取り、切り取った四角形に原稿の画像を射影変換して逆変換することにより、原稿の画像の歪みを補正するという手法がある。

上述した手法で書画台カメラ（ドキュメントカメラ）によって撮影された原稿の画像の歪み補正を行う場合、原稿の形状も書画台の一主面の形状も四角形となることから、撮影した画像より原稿の画像の四角形を適切に切り取るためには、予め書画台の一主面の形状を把握しておく必要があった。

しかしながら、あおり角の調整が可能なカメラや、書画撮影とボード撮影とが可能なカメラを用いた場合は、カメラと書画台の一主面との位置関係が変動するため、書画台の一主面の形状を予め把握しておくことはできず、撮影した画像から原稿の画像の四角形を適切に切り取ることは困難であった。

本発明は、上記問題を解決するためになされたものであり、台座上の原稿を撮影することにより得られた画像から、原稿の輪郭の形状を適切に取得することができる画像処理装置、画像投影装置、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る画像処理装置は、カメラにより撮影された台座上の原稿の画像から、該原稿の輪郭を形成する直線パラメータの候補を検出する候補検出手段と、前記候補検出手段が検出した候補のうちから、前記台座の輪郭を形成する直線パラメータとの差異が所定範囲内にある直線パラメータを検出して除外することにより、前記原稿の輪郭を形成する直線パラメータの候補を減少させる候補減少手段と、前記候補減少手段によって減少した候補のうちから、所定の条件を満たす直線パラメータの組を検出し、該検出した直線パラメータの組により形成される多角形を前記原稿の輪郭の形状として取得する原稿輪郭形状取得手段と、を備える。

また、上記画像処理装置において、前記台座の輪郭を形成する直線パラメータの組を格納する格納手段をさらに備え、前記候補減少手段は、前記候補検出手段が検出した候補のうちから、前記格納手段に格納されている直線パラメータとの差異が所定範囲内にある直線パラメータを検出して除外してもよい。

さらに、上記画像処理装置において、前記原稿輪郭形状取得手段は、前記カメラにより撮影された台座の画像から、前記所定の条件を満たす直線パラメータの組を検出し、該検出した直線パラメータの組により形成される多角形を前記台座の輪郭の形状として取得する台座輪郭形状取得手段と、前記台座輪郭形状取得手段が取得した直線パラメータの組を前記直線パラメータ格納手段に書き込むことにより、前記台座の輪郭の形状を登録する台座輪郭形状登録手段と、を含んでもよい。

また、上記画像処理装置において、前記原稿輪郭形状取得手段は、前記候補減少手段によって減少した候補のうちから、略平行の２本の直線パラメータの組を検出すると共に、該検出した２本の直線パラメータと略垂直の２本の直線パラメータの組を検出し、該検出した４本の直線パラメータの組により形成される四角形を前記原稿の輪郭の形状として取得してもよい。

さらに、上記画像処理装置において、前記原稿輪郭形状取得手段は、前記所定の条件を満たす直線パラメータの組が検出されたか否かを判別する検出判別手段と、前記検出判別手段によって前記所定の条件を満たす直線パラメータの組が検出されなかったと判別した場合、前記候補検出手段が検出した候補のうちから、該所定の条件を満たす直線パラメータの組を再度検出する再検出手段と、を含んでもよい。

また、上記画像処理装置において、前記カメラのズームを制御するズーム制御手段と、前記ズーム制御手段によってカメラのズームが変更された場合、変更前と変更後とのズーム比に応じて前記格納手段に格納されている直線パラメータの値を調整することにより、前記登録された台形の輪郭の形状を変更する台形輪郭形状変更手段と、をさらに備えてもい。

さらに、上記画像処理装置において、前記原稿輪郭形状取得手段が取得した多角形の頂点の座標からアフィンパラメータを抽出するアフィンパラメータ抽出手段と、前記アフィンパラメータ抽出手段によって抽出されたアフィンパラメータを用いて前記カメラにより撮影された原稿の画像に含まれる各画素の座標をアフィン変換することにより、該撮影された原稿の画像の傾きを補正する画像補正手段と、をさらに備えてよい。

また、上記目的を達成するため、本発明の第２の観点に係る画像投影装置は、台座に載置された原稿の画像を撮影する画像撮影手段と、前記画像撮影手段により撮影された台座上の原稿の画像から、該原稿の輪郭を形成する直線パラメータの候補を検出する候補検出手段と、前記候補検出手段が検出した候補のうちから、前記台座の輪郭を形成する直線パラメータとの差異が所定範囲内にある直線パラメータを検出して除外することにより、前記原稿の輪郭を形成する直線パラメータの候補を減少させる候補減少手段と、前記候補減少手段によって減少した候補のうちから、所定の条件を満たす直線パラメータの組を検出し、該検出した直線パラメータの組により形成される多角形を前記原稿の輪郭の形状として取得する原稿輪郭形状取得手段と、前記原稿輪郭形状取得手段が取得した多角形の頂点の座標からアフィンパラメータを抽出するアフィンパラメータ抽出手段と、前記アフィンパラメータ抽出手段によって抽出されたアフィンパラメータを用いて前記カメラにより撮影された原稿の画像に含まれる各画素の座標をアフィン変換することにより、該撮影された原稿の画像の傾きを補正する画像補正手段と、前記画像補正手段により補正された原稿の画像をスクリーン上に投影する画像投影手段と、を備える。

さらに、上記目的を達成するため、本発明の第３の観点に係る画像処理方法は、カメラにより撮影された台座上の原稿の画像から、該原稿の輪郭を形成する直線パラメータの候補を検出する候補検出工程と、前記候補検出工程が検出した候補のうちから、前記台座の輪郭を形成する直線パラメータとの差異が所定範囲内にある直線パラメータを検出して除外することにより、前記原稿の輪郭を形成する直線パラメータの候補を減少させる候補減少工程と、前記候補減少工程によって減少した候補のうちから、所定の条件を満たす直線パラメータの組を検出し、該検出した直線パラメータの組により形成される多角形を前記原稿の輪郭の形状として取得する原稿輪郭形状取得工程と、を備える。

上記目的を達成するため、本発明の第４の観点に係るプログラムは、コンピュータに、カメラにより撮影された台座上の原稿の画像から、該原稿の輪郭を形成する直線パラメータの候補を検出する候補検出手順と、前記候補検出手順が検出した候補のうちから、前記台座の輪郭を形成する直線パラメータとの差異が所定範囲内にある直線パラメータを検出して除外することにより、前記原稿の輪郭を形成する直線パラメータの候補を減少させる候補減少手順と、前記候補減少手順によって減少した候補のうちから、所定の条件を満たす直線パラメータの組を検出し、該検出した直線パラメータの組により形成される多角形を前記原稿の輪郭の形状として取得する原稿輪郭形状取得手順と、を実行させる。

本発明により、台座上の原稿を撮影することにより得られた画像から、原稿の輪郭の形状を適切に取得することができる画像処理装置、画像投影装置、画像処理方法及びプログラムを提供することができる。

本発明の実施形態に係る撮影画像投影装置を以下図面を参照して説明する。

図１は、本発明の実施形態に係る撮影画像投影装置の構成を示す図である。撮影画像投影装置は、図１に示すように、書画カメラ１と、プロジェクタ２と、コンピュータ５と、から構成されている。

書画カメラ１は、図１（ａ）に示すように投影対象の原稿４を撮影する機能と、図１（ｂ）に示すように撮影対象物としてスクリーン３等の文字、図、写真等を撮影する機能と、を有しており、カメラ部１１と、支柱１２と、台座１３と、操作台１４と、から構成されている。

カメラ部１１は、原稿４を撮影するためのものであり、デジタルカメラによって構成されている。支柱１２は、カメラ部１１を取り付けるためのものであり、台座１３は、この支柱１２を支えるためのものである。

図２は、図１に示す書画カメラ１の構成を示すブロック図である。書画カメラ１は、図２に示すように、画像データ生成部２１と、データ処理部２２と、から構成されている。この画像データ生成部２１とデータ処理部２２とは、図１に示すカメラ部１１に設けられてもよいし、画像データ生成部２１とデータ処理部２２とは、それぞれカメラ部１１と操作台１４とに設けられてもよい。

画像データ生成部２１は、撮影対象物（原稿４やスクリーン３）を撮影して撮影対象物の画像データを取り込むためのものであり、光学レンズ装置１０１と、イメージセンサ１０２と、から構成されている。

光学レンズ装置１０１は、光を集光するレンズやこのレンズを駆動する駆動装置等によって構成されており、イメージセンサ１０２上に撮影対象物の文字、図、写真等からの光を集光させて像を結像させる。

イメージセンサ１０２は、光学レンズ装置１０１が光を集光することにより結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ（Charge Coupled Device）等によって構成されている。

データ処理部２２は、画像データ生成部２１から取り込んだ原稿４やスクリーン３の画像データを取得して画像処理を行い、画像処理を施した画像データをプロジェクタ２に出力するものであり、メモリ２０１と、ビデオ出力装置２０２と、画像処理装置２０３と、操作部２０４と、プログラムコード記憶装置２０５と、ＣＰＵ（Central Processing Unit）２０６と、インタフェイス装置２０８と、から構成されている。

メモリ２０１は、イメージセンサ１０２からの画像、ビデオ出力装置２０２に送り出すための画像データ等を一時記憶するためのものである。また、メモリ２０１は、ＣＰＵ２０６の作業メモリとしても用いられる。ビデオ出力装置２０２は、コンピュータ５に送り出す画像データを図示しない表示装置に出力することによって、原稿４やスクリーン３の画像を表示装置に表示するものである。

画像処理装置２０３は、メモリ２０１に一時記憶された画像データに対して、画像データの圧縮、画像の歪み補正や画像効果などの画像処理を行うためのものである。

例えば、カメラ部１１が原稿４の文字等を撮影面に対して斜めの状態あるいは回転した状態で撮影した場合、画像処理装置２０３は、図３（ａ）に示すような斜めの状態あるいは回転した状態の原稿４の画像に対して歪み補正（台形補正）を施すことによって、図３（ｂ）に示すような正面から撮影した原稿４の画像を生成する。

また、カメラ部１１がスクリーン３の文字等を向かって左方向から撮影した場合、画像処理装置２０３は、図４（ａ）に示すような左方向から撮影されたスクリーン３の画像に対して歪み補正を施すことによって、図４（ｂ）に示すような正面から撮影したスクリーン３の画像を生成する。

画像処理装置２０３は、歪み補正するため、歪んだ画像から四角形を切り取り、切り取った四角形に撮影画像を射影変換する。より詳細には、画像処理装置２０３は、ＣＰＵ２０６に制御されて、主に、（１）撮影画像からアフィンパラメータを抽出するアフィンパラメータ抽出処理、（２）抽出したアフィンパラメータを用いて画像を射影変換して歪み補正する画像変換処理、（３）輝度あるいは色差等を補正して画像を鮮明化する鮮明化処理等を実行する。なお、これらの処理内容については、後述する。

操作部２０４は、書画投影の機能を制御するためのキーやボタンを備えるものであり、ユーザがこれらのスイッチやボタンを操作したときの操作情報をＣＰＵ２０６に出力する。

本実施形態において、操作部２０４は、撮影キーとキャリブレーション要求キーとコントロールキーとシャッターボタンとを備えている。撮影キーは、原稿４の画像を撮影する書画撮影モードとスクリーン３の画像を撮影するボード撮影モードのうちから所望の撮影モードを選択するためのキーである。キャリブレーション要求キーは、台座１３の輪郭の形状の登録を指示するためのキーである。コントロールキーは、操作を確定するためのＹＥＳキーと操作をキャンセルするためのＮＯキーとを含んでいる。シャッタボタンは、撮影対象物を撮影するときに押下するものである。ズームボタンは、小さい原稿４を撮影する場合や原稿４の一部分を拡大して撮影する場合等に、カメラ部１１のズーム制御を行うために、押下されるものである。

プログラムコード記憶装置２０５は、ＣＰＵ２０６が実行するプログラムを記憶するためのものであり、ＲＯＭ（Read Only Memory）等によって構成される。

ＣＰＵ２０６は、プログラムコード記憶装置２０５に格納されているプログラムに従って、各部を制御するものである。具体的には、操作部２０４から送信される操作情報に基づいて、イメージセンサ１０２，メモリ２０１，ビデオ出力装置２０２及び画像処理装置２０３等を制御する。

例えば、ユーザにより撮影キーが押下されると、ＣＰＵ２０６は、操作部２０４から送信される操作情報に応答して、書画撮影モード或いはボード撮影モードに各部を設定すると共に、シャッタボタンが押下されるまで、イメージセンサ１０２を動画中モードに設定する。そして、シャッタボタンが押下されると、ＣＰＵ２０６は、操作部２０４からの操作情報に応答して、高い解像度で画像の読込を行う静止中モードに設定する。

また、ＣＰＵ２０６は、光学レンズ装置１０１の焦点、露出、ホワイトバランス等のカメラ設定パラメータを動画モードに初期化する機能を有する。これにより、カメラ部１１が捉えているシーンは、光学レンズ装置１０１を経由してイメージセンサ１０２に集光され、イメージセンサ１０２は、集光された画像から動画撮影用の解像度の低いデジタルの画像データを作成し、メモリ２０１に、例えば、１秒あたり３０枚程度で送り出す。

インタフェース装置２０８は、圧縮した画像データをコンピュータ５に送信するためのものである。

図１に示すプロジェクタ２は、スクリーン３に投影光を照射して原稿４の画像を結像させるものである。コンピュータ５は、書画カメラ１とＵＳＢ等のケーブル１５を介して接続されると共に、プロジェクタ２とＲＧＢ等のケーブル１６を介して接続されている。コンピュータ５は、書画カメラ１からケーブル１５を介して送出された原稿４の画像データを受信し、この受信した画像データをケーブル１６を介してプロジェクタ２に出力するものである。

次に、本実施形態に係る撮影画像投影装置の動作を説明する。ユーザが撮影画像投影装置の電源をＯＮすると、書画カメラ１のＣＰＵ２０６は、プログラムコード記憶装置２０５からプログラムコードを読み出してカメラ基本処理を実行する。

図５は、書画カメラ基本処理のフローチャートである。このカメラ基本処理において、ＣＰＵ２０６は、まず、図５に示すように、書画カメラ１のカメラ部１１の焦点、露出、ホワイトバランスなどのカメラ設定パラメータの初期化を行う（ステップＳ１）。これによりに、カメラが捉えているシーンが、光学レンズ装置１０１を経由してイメージセンサ１０２に集光され、イメージセンサは集光された画像からデジタル画像の作成が可能なる。

次に、ＣＰＵ２０６は、モードスイッチをチェックする等して、撮影モードが書画撮影モードかボード撮影モードかを判別する（ステップＳ２）。撮影モードが書画撮影モードであると判別した場合には（ステップＳ２；Ｙｅｓ）、書画撮影処理を実行する（ステップＳ３）。一方、撮影モードがボード撮影モードであると判別した場合には（ステップＳ２；Ｎｏ）、ボード撮影処理を実行する（ステップＳ４）。

このステップＳ３及びＳ４の撮影処理で得られた画像データは、メモリ２０１の所定領域に格納される。そして、ステップＳ３又はＳ４の撮影処理が終了すると、ＣＰＵ２０６は、ステップＳ２に戻り、再度、モードスイッチを検出して、ステップＳ３又はＳ４の撮影処理を実行する。

ＣＰＵ２０６は、ステップＳ３又はＳ４の撮影処理で得られた画像データをメモリ２０１から読み出し、ビデオ出力装置１０５を介してＲＧＢ出力として外部に出力すると共に、この画像データを画像処理装置２０３にて圧縮した後、インタフェイス装置１０８を介してコンピュータ５に転送する。

続いて、コンピュータ５は、ＨＤＤ等にインストールされた書画処理用のソフトウェアが起動してＰＣ書画基本処理を実行する。図６は、ＰＣ書画基本処理を示すフローチャートである。このＰＣ書画基本処理において、コンピュータ５は、まず、図６に示すように、書画カメラから転送された画像データを受信したか否かを判別し（ステップＳ１１）、画像データを受信したと判別した場合には（ステップＳ１１；Ｙｅｓ）、受信した画像データに対してデコード処理を施す（ステップＳ１２）。一方、画像データを受信していないと判別した場合には（ステップＳ１１；Ｙｅｓ）、画像データを受信するまでループして待つ。

そして、コンピュータ５は、撮影モードが書画撮影モードかボード撮影モードかを判別し（ステップＳ１３）、撮影モードが書画撮影モードであると判別した場合には（ステップＳ１３；Ｙｅｓ）、受信した画像を描画し（ステップＳ１４）、描画した画像のデータをプロジェクタ２に出力することによって、この画像をスクリーン３に投影する。一方、撮影モードがボード撮影モードであると判別した場合には（ステップＳ１３；Ｎｏ）、受信した画像データをファイル等に保存する（ステップＳ１５）。

続いて、ステップＳ３の書画撮影処理について詳細に説明する。図７及び図８は、書画撮影処理の詳細を示すフローチャートである。この書画撮影処理において、ＣＰＵ２０６は、まず、図７に示すように、インタフェース装置２０８、画像圧縮装置２０３やメモリ２０１内の作業メモリの初期化を行う（ステップＳ１０１）。次に、ＣＰＵ２０６は、初期状態での台座１３の輪郭の形状を登録するため、キャリブレーション要求フラグをセットする（ステップＳ１０２）。

続いて、ＣＰＵ２０６は、ユーザによりキャリブレーション要求キーが押下されたか否かを判別する（ステップＳ１０３）。キャリブレーション要求キーが押下されていないと判別した場合には（ステップＳ１０３；Ｎｏ）、ズーム処理を実行する（ステップＳ１０４）。このズーム処理において、ＣＰＵ２０６は、ユーザによりズームボタン等が押下されたか否かを判別し、押下されていると判別した場合には、カメラ部１１のズーム制御を行う。さらに、ズーム処理にてカメラ部１１のズームが変更された場合、ＣＰＵ２０６は、台座登録変更処理を実行する。この台座登録変更処理において、ＣＰＵ２０６は、ズーム処理前とズーム処理後とのズーム比に応じて、メモリ２０１に格納されている台座１３の輪郭の形状を示す直線パラメータを調整する。

そして、ＣＰＵ２０６は、カメラ部１１による撮影を行い、画像データを取得する（ステップＳ１０５）。初期状態において、台座１３上には原稿４が載置されておらず、カメラ部１１は、台座１３のみを撮影して台座１３の画像データを取得する。その後、ＣＰＵ２０６は、撮影によって得られた画像データをイメージセンサ１０２からメモリ２０１に転送する。

続いて、ＣＰＵ２０６は、メモリ２０１から画像データを読み出し、この画像データと前回の撮影により得られた画像データとを比較して、画像に動きがあるか否かを判別する（ステップＳ１０６）。具体的には、画像データの差分が所定の閾値以上であるか否かを判別することによって、画像の動きを検出する。

画像に動きがあると判別された場合には（ステップＳ１０６；Ｙｅｓ）、動作中モードにセットして（ステップＳ１０７）、撮影した画像をそのまま表示装置に表示する。一方、画像に動きがないと判別された場合には（ステップＳ１０６；Ｎｏ）、動作中モードがセットされているか静止画モードがセットされているかをチェックして、前回まで画像に動きがあったか否かを判別する（ステップＳ１０８）。ＣＰＵ２０６は、前回まで画像に動きがあったと判別した場合（ステップＳ１０８；Ｙｅｓ）、静止中モードにセットする（ステップＳ１０９）。

続いて、ＣＰＵ２０６は、キャリブレーション要求フラグをチェックして、キャリブレーション要求がされている否かを判別し（ステップＳ１１０）、キャリブレーション要求がされていると判別した場合には（ステップＳ１１０；Ｙｅｓ）、台座登録処理を実行する（ステップＳ１１１）。この台座登録処理において、ＣＰＵ２０６は、撮影した画像から台座１３の輪郭の形状を取得して登録する。このように一度台座１３の輪郭の形状の登録が行われると、カメラ部１１の台座１３に対するあおり角が変動する等、カメラ部１１と台座１３との位置関係が変動してユーザによりキャリブレーション要求キーが押下されるまで、再度台座１３の輪郭の形状の登録が行われることはない。

その後、ＣＰＵ２０６は、キャリブレーション要求フラグをクリアして、ステップＳ１０３に戻り、再度キャリブレーション要求キーが押下されたかを判別する。ここで、ユーザによりキャリブレーション要求キーが押下されたものと判別した場合には（ステップＳ１０３；Ｙｅｓ）、カメラ部１１と台座１３との位置関係が変動したものと判別し、変動後の台座１３の輪郭の形状を登録すべく、ステップＳ１０２に戻り、キャリブレーション要求フラグをセットする。そして、ＣＰＵ２０６は、ステップＳ１１１の台座登録処理を再度実行して、変動後の台座の形状を登録する。

台座１３の輪郭の形状の登録がなされた後、ユーザは、原稿４を台座１３上に載置して、原稿４の書画投影を行おうとする。ユーザが原稿４をセットするまでの間、ＣＰＵ２０６は、撮影により得られた画像データをメモリ２０１の所定領域にコピーすると共に、この画像データを画像処理装置２０３にて画像データを圧縮し、インタフェース装置２０８を介して、例えば、３０フレーム程度の速度でコンピュータ５に送信する。そして、コンピュータ５は、書画カメラ１から転送された画像データにデコード処理等を施して非圧縮データを取得し、撮影された画像をディスプレイ等に表示する。

その後、ユーザが原稿４のセットを終えると、ＣＰＵ２０６は、ステップＳ１０６にて画像に動きがないと判別し（ステップＳ１０６；Ｎｏ）、メモリ２０１から撮影された画像を読み出し、画像処理装置２０３にて四角形輪郭抽出処理を実行する（ステップＳ１１２）。この四角形輪郭抽出処理において、ＣＰＵ２０６は、撮影した撮影対象物の画像から、この撮影対象物の画像の四隅の座標点（四角形輪郭）を抽出する。

続いて、ＣＰＵ２０６は、画像変換処理を実行する（ステップＳ１１３）。この画像変換処理において、ＣＰＵ２０６は、撮影対象の切抜きと正面画像への射影変換とを行う。そして、ＣＰＵ２０６は、画像鮮明化処理を実行する（ステップＳ１１４）。これらステップＳ１０１〜Ｓ１１４の処理により、書画カメラ１は、図３（ａ）に示すような斜めの状態あるいは回転した状態で撮影された原稿４の画像から、図３（ｂ）に示すような正面から撮影した原稿４の画像を取得する。

その後、ＣＰＵ２０６は、画像処理装置２０３にて画像データを圧縮し、インタフェース装置２０８を介してコンピュータ５に送信する（ステップＳ１１５）。そして、ユーザによりモードスイッチが書画撮影モードからボード撮影モードに切り替えられると（ステップＳ１１６；Ｙｅｓ）、ＣＰＵ２０６は、書画撮影処理を終了する。

続いて、ステップＳ４のボード撮影処理について詳細に説明する。図９は、ボード撮影処理の詳細を示すフローチャートである。このボード撮影処理において、ＣＰＵ２０６は、まず、図９に示すように、インタフェース装置２０８、画像処理装置２０３やメモリ２０１内の作業メモリの初期化を行う（ステップＳ１２１）。ＣＰＵ２０６は、ユーザによりシャッタが押されるのを待ち（ステップＳ１２２）、シャッタが押されると（ステップＳ１２２；Ｙｅｓ）、カメラ部１１によりスクリーン３を撮影し、画像データを取得する（ステップＳ１２３）。その後、ＣＰＵ２０６は、撮影によって得られた画像データをイメージセンサ１０２からメモリ２０１に転送する。

続いて、ＣＰＵ２０６は、メモリ２０１から撮影された画像を読み出し、書画撮影処理を行う場合と同様、画像処理装置２０３にて四角形輪郭抽出処理（ステップＳ１２４）と画像変換処理（ステップＳ１２５）と画像鮮明化処理（ステップＳ１２６）とを順次実行する。その後、ＣＰＵ２０６は、画像処理装置２０３にて画像データを圧縮し、インタフェース装置２０８を介してコンピュータ５に送信する（ステップＳ１２７）。そして、ユーザによりモードスイッチがボード撮影モードから書画撮影モードに切り替えられると（ステップＳ１２８；Ｎｏ）、ＣＰＵ２０６は、ボード撮影処理を終了する。

次に、画像処理装置２０３にて実行される画像処理について説明する。まず、画像処理装置２０３での画像処理に用いられるアフィン変換についての基本的な考え方（実現方法）を説明する。

画像の空間変換にアフィン変換が幅広く応用されている。本実施形態では、３次元のカメラパラメータを用いずに２次元アフィン変換を用いて射影変換を行う。これは、変換前の座標（u,v）の点が、移動、拡大縮小、回転などの変換によって、変換後の座標（x,y）が次の数１によって関係付けられることになる。射影変換もこのアフィン変換により行われることができる。

最終的な座標（x,y）は、次の数２によって算出される。

数２は、射影変換するための式であり、座標（x,y）は、z'の値に従い、０に向かって縮退する。即ち、z'に含まれるパラメータが射影に影響を及ぼすことになる。このパラメータはａ13，ａ23，ａ33である。また、他のパラメータは、パラメータａ33で正規化されることができるので、ａ33を１としてもよい。

図１０（ａ）は、図３（ａ）に示す四角形の撮影対象物（原稿４又はスクリーン３）の各頂点の座標を示した図である。図１１は、カメラ部１１で撮影された四角形と実際の撮影対象物の画像との関係について説明するための図である。

図１１において、Ｕ−Ｖ−Ｗ座標系は、カメラ部１１で撮影して得られた画像の３次元座標系である。Ａ（Ａu,Ａv,Ａw）ベクトルとＢ（Ｂu,Ｂv,Ｂw）ベクトルとは、３次元座標系Ｕ−Ｖ−Ｗにおいて、撮影対象物をベクトルで表したものである。また、Ｓ（Ｓu,Ｓv,Ｓw）ベクトルは、３次元座標系Ｕ−Ｖ−Ｗの原点と撮影対象物との距離を示す。

図１１に示す投影スクリーンは、撮影対象物の画像の射影を行うためのものである。投影スクリーン上の座標系を（x,y）とすると、この投影スクリーン上に投影される画像がカメラ部１１に撮影される画像と考えればよい。投影スクリーンは、Ｗ軸上から距離ｆだけ離れて垂直に位置するものとする。撮影対象物上の任意の点Ｐ（u,v,w）と原点とを直線で結び、その直線と投影スクリーンと交差する点があるものとして、その交点のＸ−Ｙ座標をｐ(x,y）とする。このとき、座標ｐは、射影変換より次の数３によって表される。

数３より、図１１に示すように点Ｐ0，Ｐ1，Ｐ2，Ｐ3と投影スクリーンへの投影点ｐ0，ｐ1，ｐ2，ｐ3との関係から、次の数４に示す関係が求められる。

このとき、射影係数α、βは次の数５によって表される。

次に、射影変換について説明する。撮影対象物上の任意の点Ｐは、Ｓ，Ａ，Ｂベクトルを用いて、次の数６によって表される。

この数６に、数４の関係式を代入すると、座標ｘとｙとは、次の数７によって表される。

この関係を、アフィン変換の式に当てはめると、座標（x',y',z'）は、次の数８によって表される。

この数８にｍ，ｎを代入することにより、撮影画像の対応点（x,y）が求められる。対応点（x,y）は、整数値とは限らないので、画像補間法などを用いて画素の値を求めればよい。

上記ｍ，ｎは、予め補正画像ｐ(u,v）を出力する画像サイズ（0≦u＜umax, 0≦v＜vmax）を与えて、その画像サイズに合わせて画像を調整する方法が考えられる。この方法によれば、ｍ，ｎは次の数９によって表される。

しかし、作成される補正画像の縦横比と撮影対象物の縦横比とは一致しない。ここで、補正画像ｐ(u,v）とｍ、ｎの値との関係は、数４から、次の数１０によって表される。

カメラパラメータであるレンズの焦点距離ｆが既知であれば、数１０に従って、縦横比ｋを求めることができる。従って、補正画像ｐ(u,v）の画像サイズを（0≦u＜umax, 0≦v＜vmax）であるとすると、次の数１１に従ってｍ、ｎを求めることにより、撮影対象物と同じ縦横比ｋを得ることができる。

なお、カメラが固定焦点である場合、レンズの焦点距離ｆの値を、予め得ることができる。ズームレンズ等が存在する場合には、レンズの焦点距離ｆの値は、レンズのズーム倍率によって変化するので、そのズーム倍率とレンズの焦点距離ｆとの関係をを示すテーブルを予め作成して記憶し、ズーム倍率に基づいて焦点距離ｆを読み出し、数１０，数１１に従って、射影変換を行うことができる。

ＣＰＵ２０６は、このようなアフィン変換を行うため、まず、ステップＳ１１２及びＳ１２４の四角形輪郭抽出処理を実行する。図１２は、この四角形輪郭抽出処理の詳細を示すフローチャートである。

この四角形輪郭抽出処理において、ＣＰＵ２０６は、まず、図１２に示すように、画像処理装置２０３を制御して、画像処理の演算数を減らすべく、入力画像から縮小輝度画像を生成する（ステップＳ２０１）。次に、ＣＰＵ２０６は、生成した縮小輝度画像から直線のみの画像を生成し、これを撮影対象物のエッジ画像とする（ステップＳ２０２）。続いて、ＣＰＵ２０６は、生成したエッジ画像の歪曲収差を補正する（ステップＳ２０３）。

続いて、ＣＰＵ２０６は、ステップＳ２０３にて補正されたエッジ画像をハフ変換してピーク値を抽出することにより、撮影対象物のエッジ画像からこのエッジ画像に含まれている直線パラメータを抽出する（ステップＳ２０４）。そして、ＣＰＵ２０６は、抽出した直線パラメータから撮影対象物の輪郭を形成する候補となる四角形を作成する（ステップＳ２０５）。

その後、ＣＰＵ２０６は、このように候補となる四角形を生成し、生成した各四角形に優先順位を付す（ステップＳ２０６）。そして、ＣＰＵ２０６は、優先順位に従って四角形を選択し、選択した四角形を抽出できたか否かを判定し（ステップＳ２０７）、四角形を抽出できなかったと判定した場合には（ステップＳ２０７；Ｎｏ）、四角形輪郭抽出処理を終了する。

一方、四角形を抽出できたと判定した場合には（ステップＳ２０７；Ｙｅｓ）、画像処理装置２０３から抽出した四角形を取得してビデオ出力装置２０２に送信し、表示装置に四角形のプレビュー画像を表示させる（ステップＳ２０８）。

続いて、ＣＰＵ２０６は、操作部２０４から送信された操作情報に基づいて、ＹＥＳキーとＮＯキーとのうちいずれのスイッチが押下されたを判別する（ステップＳ２０９）。ステップＳ２０９にてＮＯキーが押下されたと判別した場合には（ステップＳ２０９；Ｎｏ）、画像処理装置２０３にて次の候補の四角形を指定する（ステップＳ２１０）。

一方、ＹＥＳキーが押下されたと判別した場合には（ステップＳ２０９；Ｙｅｓ）、抽出した四角形の頂点からアフィンパラメータを算出する（ステップＳ２１１）。

次に、四角形輪郭抽出処理をさらに具体的に説明する。ＣＰＵ２０６が画像処理装置２０３を用いて生成した縮小輝度画像の一例を図１３（ａ）に示す。画像処理装置２０３は、このような縮小輝度画像から、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いて図１３（ｂ）に示すようなエッジ画像を生成する（ステップＳ２０２）。このＲｏｂｅｒｔｓフィルタとは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１，Δ２を取得して平均化することによって、画像のエッジを検出するフィルタである。

図１４（ａ）は、フィルタΔ１の係数を示し、図１４（ｂ）は、フィルタΔ２の係数を示す。この２つのフィルタΔ１，Δ２の係数を、ある着目した座標（x,y）の画素値ｆ(x,y）に適用すると、変換後の画素値ｇ(x,y）は、次の数１２によって表される。

ステップＳ２０２にて生成したエッジ画像において、歪曲収差により直線が抽出できない場合がある。そこで、ＣＰＵ２０６は、エッジ画像に対して歪曲収差補正を行う（ステップＳ２０３）。元画像ではなくエッジ画像に対して歪曲補正を行うのは、処理の高速化のためである。歪曲補正計算は、調査対象の画素が歪曲補正後には元画像中のどの画素になるかを画素ごとに計算するものである。その際、エッジ画像であれば、調査対象は一定間隔でスキップした座標のみとなり、画素が少ない分、高速に処理を行うことができる。

図１３（ｂ）に示すエッジ画像には、直線パラメータが含まれている。画像処理装置２０３は、このエッジ画像から、ハフ変換を行って直線パラメータを検出する（ステップＳ２０４）。

ハフ変換は、Ｘ−Ｙ平面上の直線を構成する点を次の数１３によって定義されるρ−θ平面に投票する変換である。

各点の座標（ｘ、ｙ）においてθを０から３６０°まで変化させた場合、同一直線はρ−θ平面上では一点で表される。このため、投票数の多いρ−θ座標を直線と判定することができる。その際、投票数は直線上のピクセル数であり、直線の長さに相当する。したがって、投票数の極端に少ないρ−θ、即ち短い直線は、直線の候補から除外することができる。

このようにハフ変換を用いる手法では、調査対象の点や角度が多ければ多いほど処理速度が低下してしまう。この処理速度の低下を回避するため、エッジ検出時に調査対象の座標をＸ、Ｙ軸方向双方に一定の間隔でとばして処理することによって、エッジ画像を縮小する。これにより、調査対象を減らすことができる。

さらに、別の方法で調査角度を減らすことができる。即ち、調査対象であるエッジ画像において画像中心を原点とした座標系で考えると、ρはマイナスの値も取ることになるため、角度０≦θ＜１８０°を測定すればよく、残りの１８０°≦θ＜３６０°はρがマイナスの値を取ることで表現できる。

しかし実際に撮影される四角形は、その四角形が画像の中心にあった場合、各辺が上下左右に存在することになる。したがって、０°≦θ＜１８０°の範囲で調査するより、図１５に示すように、上下の辺、左右の辺はそれぞれ次の数１４で表される範囲で測定した方が、より効果的である。

また、数１４から明らかなように、４５°≦θ＜１３５°のｃｏｓθと１３５°≦θ＜２２５°のｓｉｎθ、４５°≦θ＜１３５°のｓｉｎθと１３５°≦θ＜２２５°のｃｏｓθにマイナスをかけたもの、がそれぞれ対応しているため、ｓｉｎテーブルとｃｏｓテーブルとを共用することが可能である。

また、図１６（ａ）に４５°≦θ＜１３５°で検出される直線を太線で、図１６（ｂ）に１３５°≦θ＜２２５°で検出された直線を太線で示すように、ρが＋の値か−の値かによって、辺の上下、または辺の左右を特定することが可能である。したがって、より効率的に、中心の四角形を構成する辺を選択することができる。

このような考え方に基づいて、ＣＰＵ２０６は、直線を検出し、四角形を特定する。なお、この四角形検出処理は、書画撮影のように撮影対象物を真上から撮影するときと、ボード撮影のように撮影対象物に対して書画カメラ１を傾けて撮影するときと、で異なるものとなる。

また、書画撮影処理においてキャリブレーションキーが押下された場合に、この四角形輪郭抽出処理に先立って実行されるステップＳ１１１の台座登録処理も上述の考え方に基づいている。まず、この台座登録処理について図１７に示すフローチャートを参照して説明する。

この台座登録処理において、ＣＰＵ２０６は、まず、図１７に示すように、入力画像から縮小輝度画像を生成し、続いて、生成した縮小輝度画像から台座１３のエッジ画像を生成する（ステップＳ２２１）。次に、ＣＰＵ２０６は、エッジ画像をハフ変換して、Ｘ−Ｙ平面からρ−θ平面への投票を行う（ステップＳ２２２）。なお、書画カメラ１には、ρ−θ平面での台座１３の輪郭の形状を示す４本の直線パラメータが予め登録されている。ＣＰＵ２０６は、この直線パラメータの設計値を台座１３の輪郭の形状を示すものとしてメモリ２０１に登録する（ステップＳ２２３）。

続いて、ＣＰＵ２０６は、エッジ画像をハフ変換することにより得られたデータから、ピーク値を抽出することによって、実際に撮影された台座１３のエッジ画像に含まれている直線パラメータを検出する（ステップＳ２２４）。

そして、ＣＰＵ２０６は、ステップＳ２２４にて直線パラメータが検出されたか否かを判別し（ステップＳ２２５）、直線パラメータが検出された場合には（ステップＳ２２５；Ｙｅｓ）、メモリ２０１に登録されている直線パラメータを、設計値から、この検出した直線パラメータ（実測値）に書き換える（ステップＳ２２６）。これにより、メモリ２０１には、直線パラメータの実測値が台座１３の輪郭の形状を示すものとして登録される。

一方、直線パラメータが検出されなかった場合には（ステップＳ２２５；Ｎｏ）、ステップＳ２２６をスキップし、そのまま台座登録処理を終了する。このため、メモリ２０１には、直線パラメータの設計値が台座１３の輪郭の形状を示すものとして登録されたままとなる。

なお、小さい原稿４を投影する場合や原稿４の一部分を拡大して撮影する場合、ＣＰＵ２０６は、ステップＳ１０４のズーム処理にてカメラ部１１のズームをアップする。これに伴ってカメラ部１１によって撮影される台座１３の画像が拡大するため、ＣＰＵ２０６は、上述の台座登録変更処理にて、メモリ２０１に登録されている直線パラメータを調整する必要がある。図１８は、この台座登録変更処理の詳細を示すフローチャートである。

この台座登録変更処理において、ＣＰＵ２０６は、図１８に示すように、まず、ステップＳ１０４のズーム処理にてカメラ部１１のズームが変更されたか否かを判別する（ステップＳ２３１）。ステップＳ２３１にてカメラ部１１のズームが変更されたと判別した場合には（ステップＳ２３１；Ｙｅｓ）、ズーム処理前とズーム処理前とでのカメラ部１１のズーム比を求め、求めたズーム比に応じて、メモリ２０１に登録されている直線パラメータを調整する（ステップＳ２３２）。具体的には、ズーム処理前とズーム処理後とでのカメラ部１１のズーム比が「２」である場合、ＣＰＵ２０６は、メモリ２０１に登録されている直線パラメータの各値をそれぞれ２倍する。

一方、ステップＳ２３１にてカメラ部１１のズームが変更されていないと判別した場合（ステップＳ２３１；Ｎｏ）、ＣＰＵ２０６は、ステップＳ２３２をスキップして、台座登録変更処理を終了する。

このように、ズーム処理にてカメラ部１１のズームが変更された場合、ズーム処理前とズーム処理前とでのカメラ部１１のズーム比に応じて、直線パラメータを調整することにより、ＣＰＵ２０６は、図１７に示す台座登録処理にて登録した台座１３の輪郭の形状を変更することができる。なお、調整後の直線パラメータが画像の画角を超える場合には、画角を超える直線パラメータを候補から外してもよい。また、画角を超える直線パラメータをそのままメモリ２０１に書き込んでもよい。このようにしても、ＣＰＵ２０６がこの画角を超える直線パラメータをステップＳ２２４にて検出することはないため、処理上問題は生じない。

次に、書画撮影する場合の四角形検出処理（書画撮影時四角形検出処理）について、図１９に示すフローチャートを参照して説明する。この書画撮影時四角形検出処理において、ＣＰＵ２０６は、まず、図１９に示すように、入力画像から縮小輝度画像を生成し、続いて、生成した縮小輝度画像から原稿４のエッジ画像を生成する（ステップＳ３０１）。次に、ＣＰＵ２０６は、エッジ画像をハフ変換して、Ｘ−Ｙ平面からρ−θ平面への投票を行う（ステップＳ３０２）。

そして、ＣＰＵ２０６は、４５°≦θ＜１３５°における投票が多い座標を、上下の辺を形成する直線パラメータの候補として複数取得する（ステップＳ３０３）。同様に、ＣＰＵ２０６は、１３５°≦θ＜２２５°における投票が多い座標を、左右の辺を形成する直線パラメータの候補として複数取得する（ステップＳ３０４）。

続いて、ＣＰＵ２０６は、ステップＳ３０３及びＳ３０４にて取得した候補のうちから、メモリ２０１に登録されている台座１３の輪郭を形成する直線パラメータに近い直線パラメータを検出し、検出した直線パラメータを候補から外す（ステップＳ３０５）。具体的には、台座１３の輪郭を形成する直線パラメータとの差が、ρにおいて０〜２，３画素程度、θにおいて０〜２°程度の直線パラメータを候補から外す。

そして、ＣＰＵ２０６は、ステップＳ３０５てに残ったＸ軸方向の候補とＹ軸方向の候補とのうちから、ρの値の＋−が異なり、θが所定範囲内にあるものを選択する（ステップＳ３０６）。具体的には、ρの値の＋−が異なり、且つθの差が±１０°程度の２本の直線パラメータを検出し、さらに、これら検出した直線パラメータとのθの差が９０°±１０°程度で、且つρの値の＋−が異なる２本の直線パラメータを検出する。そして、ＣＰＵ２０６は、図２０（ａ）に示すように、これら検出された４本の直線パラメータによって形成される四角形を、撮影した原稿４の四角形として取得する。このようにして、ＣＰＵ２０６は、エッジ画像から四角形を検出することができる。

ＣＰＵ２０６は、ステップＳ３０６にて四角形が検出されたか否かを判別し（ステップＳ３０７）、四角形が検出されたと判別した場合（ステップＳ３０７；Ｙｅｓ）、そのまま書画撮影時四角形検出処理を終了する。

一方、四角形が検出されなかったと判別した場合（ステップＳ３０７；Ｎｏ）、ＣＰＵ２０６は、ステップＳ３０５てに外した直線パラメータを含めて、再度、Ｘ軸方向の候補とＹ軸方向の候補とのうちから、ρの値の＋−が異なり、θが所定範囲内にあるものを選択して、エッジ画像から四角形を検出する（ステップＳ３０８）。

次に、ボード撮影を実行する場合における四角形検出処理（ボード撮影時四角形検出処理）について、図２１に示すフローチャートを参照して説明する。なお、図２１に示すボード撮影時四角形検出処理におけるステップＳ３１１〜Ｓ３１４までの処理は、図１９に示す書画撮影時四角形検出処理におけるステップＳ３０１〜Ｓ３０４までの処理と同様であるため、ここではその説明を省略する。

ＣＰＵ２０６は、ステップＳ３１４にて取得したＸ軸方向の候補とＹ軸方向の候補とのうちから、ρの絶対値｜ρ｜が等しいもの同士を特定し、その絶対値が大きいものから順に優先度を設定する（ステップＳ３１５）。これは、スクリーン３を斜めから撮影する場合に、相対する辺が平行とは限らないためである。上下左右の辺を｜ρ｜の絶対値の大きなもの同士に特定することで、図２０（ｂ）において太線で示すような、面積が最大である領域を特定するための直線の優先順位を得ることができる。

ＣＰＵ２０６は、前述した最大領域を構成する四角形を、撮影したスクリーン３の四角形として特定する（ステップＳ３１６）。

次に、この選択された四角形から、アフィンパラメータを求める方法について説明する。選択された撮影対象物の四角形の４点の頂点の座標（x0,y0）,（x1,y1）,（x2,y2）,（x3,y3）を用いて、数５，数８に従って、数８に示す行列内の各要素であるアフィンパラメータを求めることができる。

この際、ｍ，ｎのスケールは０≦ｍ≦１，０≦ｎ≦１の範囲であるので、座標単位の修正を行う。画像の中心を変えずに、Ｕ軸側、Ｖ軸側の画像サイズを、それぞれＵsc,Ｖscでスケーリングするものとする。このとき画像の中心をｕc，ｖcとすると、画像のスケール変換は次の数１５によって表される。

この数１５をｕ，ｖスケールに書き直すと、変換後の四角形の座標（x',y',z'）は次の数１６によって表される。

ここで、Ａfは、アフィン変換行列であり、アフィン変換行列Ａfは次の数１７によって表される。

出力可能な最大画像（画面）サイズが（ｕmax,ｖmax）で与えられている場合、ｕc，ｖcは、次の数１８によって表される。

また、ｖmax/ｕmax＞ｋのとき、ｖmax/ｕmax≦ｋのときは、それぞれ、次の数１９，数２０に従って画像のスケーリングを行うと、所望の縦横比ｋの画像が得られる。

このような考え方に基づいて、ＣＰＵ２０６は、四角形の頂点からアフィンパラメータを算出する。図２２は、このアフィンパラメータ抽出処理の詳細を示すフローチャートである。

ＣＰＵ２０６は、四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数５に従って、射影係数α、βを算出する（ステップＳ３２１）と共に、原稿４の縦横比ｋを算出する（ステップＳ３２２）。

次に、ＣＰＵ２０６は、数１８に従って、画像の中心点（ｕc,ｖc）を指定し（ステップＳ３２３）、最大画像サイズｖmax/ｕmaxと数１２で表される縦横比ｋとを比較する（ステップＳ３２４）。

ｖmax/ｕmax＞ｋの場合（ステップＳ３２４；Ｙｅｓ）、縦横比ｋを変えないものとして、ＣＰＵ２０６は、Ｖ軸側（縦）の最大画像サイズｖmaxの方が撮影対象物の画像サイズよりも大きいと判定する。そして、ＣＰＵ２０６は、Ｕ軸側の最大画像サイズと撮影対象物の画像サイズとが一致するように、数１９に従ってｕsc，ｖscを求め、Ｖ軸側の撮影対象物の画像のスケールを決定する（ステップＳ３２５）。

ｖmax/ｕmax≦ｋの場合（ステップＳ３２４；Ｎｏ）、縦横比ｋを変えないものとして、ＣＰＵ２０６は、Ｕ軸側（横）の最大画像サイズｕmaxの方が撮影対象物の画像サイズよりも大きいと判定する。そして、ＣＰＵ２０６は、Ｖ軸側の最大画像サイズと撮影対象物の画像サイズとが一致するように、数２０に従って、ｕsc，ｖscを求め、Ｕ軸側の撮影対象物の画像のスケールを決定する（ステップＳ３２６）。

続いて、ＣＰＵ２０６は、算出したｕsc，ｖsc，ｕc，ｖcと四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数１７に従って、アフィン変換行列Ａfを求め（ステップＳ３２７）、このアフィン変換行列Ａfの各要素をアフィンパラメータＡとして、このアフィンパラメータＡを取得する（ステップＳ３２８）。

次に、得られたアフィンパラメータを用いて補正画像を作成する画像処理方法について説明する。まず、アフィンパラメータを用いて射影変換や他のアフィン変換を行なう場合、図２３に示すように、元の画像の点ｐ(x,y）が、変換行列Ａpによる射影変換等によって変換（後）画像の点Ｐ(u,v）に対応するものとする。この場合、元の画像の点ｐに対応する変換画像の点Ｐを求めるよりは、変換画像の点Ｐ(u,v）に対応する元の画像の点ｐ(x,y）を求めたほうが好ましい。

なお、変換画像の点Ｐの座標を求める際、バイリニア法による補間方法を用いるものとする。バイリニア法による補間方法は、一方の画像（元の画像）の座標点と対応する他方の画像（変換画像）の座標点を探し出して、一方の画像の座標点の周辺４点の（画素）値から変換画像の点Ｐ(u,v）の（画素）値を求める方法である。この方法によれば、変換画像の点Ｐの画素値Ｐは、次の数２１に従って算出される。

変換画像の点Ｐ(u,v）に対応する元の画像の点ｐ(x,y）を求めるため、ＣＰＵ２０６は、画像変換処理を実行する。図２４は、この画像変換処理の詳細を説明するためのフローチャートである。

ＣＰＵ２０６は、変換画像の画素位置ｕを０に初期化すると共に（ステップＳ２４１）、変換画像の画素位置ｖを０に初期化する（ステップＳ２４２）。

次に、ＣＰＵ２０６は、数１７で得られたアフィンパラメータＡを用いて、変換画像の画素位置（u,v）を代入し、数２に従って、元の画像の画素位置（x,y）を求める（ステップＳ２４３）。続いて、ＣＰＵ２０６は、求めた画素位置（x,y）から、数２１に従って、バイリニア法により画素値Ｐ（u,v）を求める（ステップＳ２４４）。

そして、ＣＰＵ２０６は、補正後画像の座標ｖを１つだけインクリメントする（ステップＳ２４５）。

続いて、ＣＰＵ２０６は、補正後画像の座標ｖと座標ｖの最大値ｖmaxとを比較して、補正後画像の座標ｖが最大値ｖmax以上になったか否かを判定し（ステップＳ２４６）、座標ｖが最大値ｖmax未満であると判定した場合（ステップＳ２４６；Ｎｏ）、ステップＳ２４３に戻る。

その後、ＣＰＵ２０６は、ステップＳ２４３〜Ｓ２４５の処理を繰り返し、座標ｖが最大値ｖmaxに達したと判定した場合（ステップＳ２４６；Ｙｅｓ）、補正後画像の座標ｕを１つだけインクリメントする（ステップＳ２４７）。

続いて、ＣＰＵ２０６は、座標ｕと座標ｕの最大値ｕmaxとを比較し、座標ｕが最大値ｕmax以上になったか否かを判定し（ステップＳ２４８）、座標ｕが最大値ｕmax未満であると判定した場合（ステップＳ２４８；Ｎｏ）、ステップＳ２４２に戻る。

その後、ＣＰＵ２０６は、ステップＳ２４２〜Ｓ２４７の処理を繰り返し、座標ｕが最大値ｕmaxに達したと判定した場合（ステップＳ２４８；Ｙｅｓ）、この画像変換処理を終了させる。

次に、このように得られた画像から、画像鮮明化パラメータを抽出する処理と、このパラメータを用いて行う画像鮮明化処理と、について説明する。画像鮮明化処理は、より鮮明な画像を得るための処理である。

画像鮮明化パラメータは、輝度ヒストグラムの最大値、最小値、ピーク値、色差ヒストグラムのピーク値、平均値といった画像鮮明化処理に必要な変数である。

画像鮮明化パラメータを抽出するには、さらに、全体の画像から輪郭を除く実原稿部の画像を切り出し、輝度、色差のヒストグラムを生成する必要がある。まず、画像鮮明化パラメータの抽出に必要な処理について説明する。

図２５に示すように、撮影対象物の画像には、写真、図形、文字等の実体的な画像だけでなく、台座１３や、撮影対象物の紙面の影等のように、撮影対象物の内容に無関係の画像も写っている場合がある。この全体画像に内枠と外枠とを設定し、撮影対象物の実体的な画像がある内枠内を実原稿部、台座１３や、撮影対象物の紙面の影等が写っている内枠と外枠との間を周辺部とする。周辺部に写っている撮影対象物の輪郭は、概して黒であることが多い。画像データに、このような周辺部のデータがあった方が好ましい場合もある。

しかし、撮影対象物の周辺部の画像も含めてヒストグラムを生成すると、ヒストグラムの引き伸ばしなどが有効に機能しない場合がある。

このため、画像鮮明化パラメータを取り出すときにのみ、実原稿部の画像を切り出して輝度、色差のヒストグラムを生成し、このヒストグラムから取り出した画像鮮明化パラメータを用いて画像全域に対して画像鮮明化処理を行なうものとする。この方が、より効果的なパラメータを取得することができる。

具体的には、周辺部を含めた画像データがＭ行Ｎ列であって、Ｘ、Ｙ方向とも外枠と内枠との間のドット数がＫドットであるとすると、Ｘ軸側では、実原稿部の画素データであるＫからＭ−Ｋ行までの画素データを取得し、Ｙ軸側では、実原稿部の画素データであるＫからＮ−Ｋ列までの画素データを取得する。実原稿部の画素データは、（M-2*K)行、（N-2*K)列のデータになる。

このように切り出した実原稿部の画像について、輝度ヒストグラム、色差ヒストグラムを生成する。

輝度ヒストグラムは、実原稿部に存在する輝度値（Ｙ）の分布を示すものであり、輝度値毎に実原稿部の画素の数を計数することにより生成される。図２６（ａ）に輝度ヒストグラムの一例を示す。図２６（ａ）において、横軸は、輝度値（Ｙ）を示し、縦軸は、画素数を示す。画像を鮮明化するには、画像鮮明化パラメータとして、最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を求める必要がある。

最大値は、輝度値毎に画素の数を計数し、予め設定された所定数以上の計数値を有する輝度値のうちの最大輝度を示す値であり、最小値は、設定された所定数以上の計数値を有する輝度値のうちの最小輝度を示す値である。ピーク値は、計数値が最大となる輝度値である。ピーク値は、撮影対象である原稿４やスクリーン３の背景色の輝度値を示すものと考えられる。

また、色差ヒストグラムは、実原稿部に存在する色差（Ｕ，Ｖ）の分布を示すものであり、色差毎に実原稿部の画素の数を計数することにより生成される。図２６（ｂ）に、色差ヒストグラムの一例を示す。図２６（ｂ）において、横軸は、色差を示し、縦軸は、画素数を示す。色差ヒストグラムの場合も、画素の計数値が最大となる色差のピーク値（Ｕpeak，Ｖpeak）が現れる。このピーク値も撮影対象物の背景色の色差を示すものと考えられる。画像を鮮明化するには、画像鮮明化パラメータとして色差ヒストグラムのピーク値と平均値（Ｕmean,Ｖmean）とを求める必要がある。なお、平均値は、平均計数値を有する色差の値である。

なお、画像を鮮明化して視認性に優れた画像を得るには、撮影対象物の背景色によって補正効果が異なってくるため、画像効果の補正方法を撮影対象物の背景色によって変える必要がある。このため、撮影対象物の背景色の判別が必要になってくる。撮影対象物の背景色は、輝度ヒストグラム、色差ヒストグラムの各ピーク値から判別される。

ここで、撮影対象物の背景色を、３つに分類するものとする。第１は、ホワイトボード、ノート等のように背景色が白の場合である。第２は、黒板等のように背景色が黒の場合である。第３は、雑誌、パンフレットのように背景色が白又は黒以外の場合である。具体的に、原稿４の背景色は、以下の判別式に従って判別される。

白判定条件は、次の数２２によって表され、数２２に示す条件を満足したときに、撮影対象物の背景色は白（Ｗ）と判定される。

黒判定条件は、次の数２３によって表され、数２３に示す条件を満足したときに、撮影対象物の背景色は黒（Ｂ）と判定される。

また、数２２，数２３に示す条件を満足しなかった場合、撮影対象物の背景色はカラー（Ｃ）と判定される。なお、カラー閾値は、例えば、５０及び１２８に、白判定閾値は、例えば、１２８に、黒判定閾値は、例えば、５０に設定される。

このような考え方に基づいて、ＣＰＵ２０６は、画像鮮明化パラメータ抽出処理を実行する。図２７は、この画像鮮明化パラメータ抽出処理の詳細を示すフローチャートである。

ＣＰＵ２０６は、実原稿部の中で、各輝度（Ｙ）値を有する画素の数を計数して、図２６（ａ）に示すような輝度ヒストグラムを生成し（ステップＳ３３１）、生成した輝度ヒストグラムから、輝度の最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を取得する（ステップＳ３３２）。

次に、ＣＰＵ２０６は、図２６（ｂ）に示すような色差（Ｕ，Ｖ）のヒストグラムを作成する（ステップＳ３３３）。続いて、ＣＰＵ２０６は、画像鮮明化パラメータとして、色差（Ｕ，Ｖ）のピーク値（Ｕpeak,Ｖpeak）を求めると共に（ステップＳ３３４）、色差の平均値（Ｕmean,Ｖmean）を求める（ステップＳ３３５）。

そして、ＣＰＵ２０６は、画像ヒストグラムのこれらのピーク値（Ｙpeak,Ｕpeak,Ｖpeak）から、数２２，数２３に示す判定条件式に従って撮影対象物の背景色を判別し（ステップＳ３３６）、画像鮮明化パラメータと撮影対象物の背景色のデータとをメモリ２０１に記憶する（ステップＳ３３７）。

次に、ＣＰＵ２０６は、このように抽出した画像鮮明化パラメータを用いて画像鮮明化処理を行う。前述のように、画像鮮明化処理を効果的に行うには、背景色によって処理内容を替える必要がある。

ホワイトボード、ノート等のように、背景色が白である場合、図２８（ａ）に示すような輝度変換を行う。黒板等のように、背景色が黒である場合、図２８（ｂ）に示すような輝度変換を行う。雑誌、パンフレット等のように、背景色が白または黒以外である場合、図２８（ｃ）に示すような変換を行う。なお、図２８（ａ），（ｂ），（ｃ）において、横軸は、画素値の入力値を示し、縦軸は、画素値の出力値を示す。

背景色が白である場合、図２８（ａ）に示すように、ピーク値を境にして、輝度変換線の傾斜角度を変える。所定輝度値を、例えば、２３０として、入力された輝度のピーク値を輝度値２３０まで引き上げる。そして、最大値を、最大輝度まで持ち上げる。従って、輝度変換線は、図２８（ａ）に示すように、２つの線分によって表される。

背景色が黒である場合、図２８（ｂ）に示すように、ピーク値をある一定の輝度値（２０）になるように輝度変換を行なう。この場合も、図２８（ｂ）に示すように、輝度変換線は２つの線分によって表される。

背景色が白または黒以外の色である場合、図２８（ｃ）に示すように、通常の引き伸ばし処理と同様に、最小値以下と最大値以上をカットし、１つの線分として表されるように輝度変換線を設定する。

なお、このように背景の輝度（Ｙ）と出力（Ｙ’）との変換テーブルを予め設定してメモリ２０１に記憶してもよい。作成した変換テーブルに従って、入力された各画素の値から、それぞれの出力値を求め、画像鮮明化処理を施す。このように変換された画像は、明るい画素はより明るく、暗い画素はより暗くなるので、輝度分布が広がり、視認性がすぐれた画像になる。

また、撮影された画像によっては、デジタルカメラのホワイトバランスの調整が適正に行われず、例えば、全体が黄色等に色が変わってしまう場合がある。この色の変化は、輝度ヒストグラムの画像鮮明化処理を行うだけでは、修正することができない。

この場合、好ましい画像を得るためには、カラー調整を行う。図２９は、カラー調整を行うための輝度変換グラフの一例を示す図である。図２９において、横軸は、色差の入力値を示し、縦軸は、色差の出力値を示す。カラー調整は、図２８（ｂ）に示す色差（Ｕ，Ｖ）のそれぞれの平均値（Ｕmean,Ｖmean）がグレーになるように、図２９に示す輝度変換グラフに従って輝度変換が行なわれる。

色差ＵとＶの値がともに０である場合、色は無彩色となるため、ピーク値（Ｕpeak，Ｖpeak）が０になるようにカラー調整を行う。即ち、カラーの変換線は２つの線分によって表される。入力値Ｕに対する出力値Ｕ’は次の数２４で与えられる。

色差Ｖについても同様である。

次に、画像鮮明化処理として、前述の輝度引き延ばしだけでは、十分に背景が白色化しない場合、背景の白色化を行い、画像内の背景と思われる部分の色を白（Ｙ：255，Ｕ：０，Ｖ：０）または、それに近い色にする。

図３０（ａ）は、ある画素の輝度値を基準（０）にして、この画素の輝度値に対する輝度値の引き上げ率を示す図である。横軸は、輝度値を示し、縦軸は輝度値の引き上げ率を示す。また、図３０（ｂ）は、色差と色差の変化率を示す図である。横軸は、色差を示し、縦軸は、色差の変化率を示す。

図中、Ｃ0は、輝度と色差とを１００％引き上げる０からの範囲を示し、Ｃ1は、輝度値に従って引き上げ率を可変する範囲を示す。図３０（ａ），（ｂ）に示すように、輝度（Ｙ）値が一定値以上（Ｙw）で、色差（Ｕ，Ｖ）が一定範囲内（Ｃ0）の画素の色を白色化範囲として、輝度値を引き上げ、色差を０にする。このような背景の白色化を行えば、輝度引き延ばしだけでは、十分に背景が白色化しない場合に、画像鮮明化処理が非常に有効なものとなる。

このような考え方に基づいて、ＣＰＵ２０６は、画像鮮明化処理を実行する。図３１は、この画像鮮明化処理の詳細を示すフローチャートである。

ＣＰＵ２０６は、保存した画像鮮明化パラメータをメモリ２０１から読み出す（ステップＳ２５１）。

次に、ＣＰＵ２０６は、輝度ヒストグラムの調整を行う（ステップＳ２５２）。具体的には、ＣＰＵ２０６は、背景が白か否かを判定し、背景が白と判定した場合、背景をより白くして、視認性が良くなるように、図２８（ａ）に示すような輝度変換を行って、輝度ヒストグラムの調整を行う。一方、背景が白ではないと判定した場合、ＣＰＵ２０６は、背景が黒か否かを判定し、背景が黒であると判定した場合、図２８（ｂ）に示すような輝度変換を行って、輝度ヒストグラムを調整する。一方、背景が黒ではないと判定した場合、ＣＰＵ２０６は、図２８（ｃ）に示すような輝度変換を行って、撮影対象物の背景色に応じたヒストグラム調整を行う。

続いて、ＣＰＵ２０６は、このように調整した画像に対して、図２５に示すような変換を行ってカラー調整を行い、（ステップＳ２５３）、続いて、背景の白色化処理を実行する（ステップＳ２５４）。

図３２は、ＣＰＵ２０６が行う背景の白色化処理の詳細を示すフローチャートである。なお、図中のｉmax,ｊmaxは入力画像のｘ，ｙ軸のサイズである。

この背景白色化処理において、ＣＰＵ２０６は、まず、カウント値ｊを０に初期化すると共に（ステップＳ３４１）、カウント値ｉを０に初期化する（ステップＳ３４２）。次に、ＣＰＵ２０６は、入力画像の画素（i,j）の輝度（Ｙ）が一定値以上（Ｙw）であるか否かを判定する（ステップＳ３４３）。

輝度（Ｙ）が一定値以上（Ｙw）であると判定した場合（ステップＳ３４３；Ｙｅｓ）、ＣＰＵ２０６は、色差Ｕ、Ｖの絶対値が所定値Ｃ０未満であるか否かを判定する（ステップＳ３４４）。一方、輝度（Ｙ）が一定値未満（Ｙw）であると判定した場合（ステップＳ３４３；Ｎｏ）、ＣＰＵ２０６は、ステップＳ３４８に進む。

色差Ｕ、Ｖの絶対値が所定値Ｃ０未満ではないと判定した場合（ステップＳ３４４；Ｎｏ）、ＣＰＵ２０６は、入力画像の画素（i,j）の色差Ｕ、Ｖの絶対値が所定値Ｃ１未満であるか否かを判定する（ステップＳ３４５）。

ステップＳ３４４及びＳ３４５にて色差Ｕ、Ｖの絶対値が所定値Ｃ０未満であると判定した場合（ステップＳ３４４；Ｙｅｓ）、ＣＰＵ２０６は、輝度値（Ｙ）を２５５に設定し、色差（ｕ，ｖ）を０にして、画素（i,j）の値を書き換え（ステップＳ３４６）、ステップＳ３４８に進む。

ステップＳ３４４及びＳ３４５にて色差Ｕ、Ｖの絶対値が所定値Ｃ０以上であり、且つ所定値Ｃ１未満であると判定した場合（ステップＳ３４４；Ｎｏ，ステップＳ３４５；Ｙｅｓ）、ＣＰＵ２０６は、輝度値Ｙ＝Ｙ＋ａ＊（255−Ｙ）として、画素（i,j）の値を書き換え（ステップＳ３４７）、ステップＳ３４８に進む。

ステップＳ３４４及びＳ３４５にて色差Ｕ、Ｖの絶対値が所定値Ｃ１以上であると判定した場合（ステップＳ３４４；Ｎｏ，ステップＳ３４５；Ｎｏ）、ＣＰＵ２０６は、輝度値を変更せずに、ステップＳ３４８に進む。

そして、ＣＰＵ２０６は、カウント値ｉをインクリメントする（ステップＳ３４８）。続いて、ＣＰＵ２０６は、カウント値ｉを最大値ｉmaxと比較して、カウント値ｉが最大値ｉmaxに達したか否かを判定する（ステップＳ３４９）。

カウント値ｉが最大値ｉmaxに達していないと判定した場合（ステップＳ３４９；Ｎｏ）、ＣＰＵ２０６は、ステップＳ３４３に戻る。

その後、ステップＳ３４３〜Ｓ３４８の処理を繰り返し実行し、カウント値ｉが最大値ｉmaxに達したと判定した場合（ステップＳ３４９；Ｙｅｓ）、ＣＰＵ２０６は、カウント値ｊをインクリメントする（ステップＳ３５０）。

続いて、ＣＰＵ２０６は、カウント値ｊを最大値ｊmaxと比較して、カウント値ｊが最大値ｊmaxに達したか否かを判定する（ステップＳ３５１）。

カウント値ｊが最大値ｊmaxに達していないと判定した場合（ステップＳ３５１；Ｎｏ）、ＣＰＵ２０６は、ステップＳ３４２に戻る。

その後、ステップＳ３４２〜Ｓ３５０の処理を繰り返し実行し、カウント値ｊが最大値ｊmaxに達したと判定した場合（ステップＳ３５１；Ｙｅｓ）、ＣＰＵ２０６は、この背景の白色化処理を終了させる。

以上説明したように、本実施形態によれば、ＣＰＵ２０６は、台座１３上の原稿４を撮影することにより得られた画像から、エッジ画像を生成し、生成したエッジ画像をハフ変換して、Ｘ−Ｙ平面からρ−θ平面への投票を行う。次に、ＣＰＵ２０６は、４５°≦θ＜１３５°における投票が多い座標を、上下の辺を形成する直線パラメータの候補として複数取得すると共に、１３５°≦θ＜２２５°における投票が多い座標を、左右の辺を形成する直線パラメータの候補として複数取得する。

続いて、ＣＰＵ２０６は、ステップＳ３０３及びＳ３０４にて取得した候補のうちから、メモリ２０１に格納されている台座１３の輪郭を形成する直線パラメータに近い直線パラメータを検出し、検出した直線パラメータを候補から外す。そして、ＣＰＵ２０６は、ρの値の＋−が異なり、且つθの差が±１０°程度の２本の直線パラメータを検出すると共に、これら検出した直線パラメータとのθの差が９０°±１０°程度で、且つρの値の＋−が異なる２本の直線パラメータを検出する。続いて、ＣＰＵ２０６は、これら検出された４本の直線パラメータによって形成される四角形を、撮影した原稿４の四角形として取得する。

このように、本発明の撮影画像投影装置は、原稿４の輪郭を形成する直線パラメータの候補から台座１３の輪郭を形成する直線パラメータに近い直線パラメータを外し、残った候補のうちから、原稿４の輪郭を形成する直線パラメータを検出することができるので、撮影した画像から、原稿４の輪郭の形状のみを適切に取得することができる。

また、撮影画像投影装置は、原稿４の輪郭を形成する直線パラメータの候補から台座１３の輪郭を形成する直線パラメータに近い直線パラメータを外して候補数を少なくすることで、ＣＰＵ２０６等の処理負担を低減することができる。

さらに、四角形が検出されなかったと判別した場合、ＣＰＵ２０６は、ステップＳ３０５てに外した直線パラメータを含めた候補から、再度、原稿４の輪郭を形成する直線パラメータを検出する。このため、撮影画像投影装置は、原稿４の辺が台座１３の辺に接して載置されている場合であっても、撮影した画像から原稿４の輪郭の形状を取得することができる。

また、ユーザは、カメラ部１１の台座１３に対するあおり角が変動する等、カメラ部１１と台座１３との位置関係が変動した場合、操作部２０４に含まれるキャリブレーション要求キーを押下する。ＣＰＵ２０６は、キャリブレーション要求キーが押下されたことに応答して、台座１３を撮影することにより得られた画像から、エッジ画像を生成し、生成したエッジ画像をハフ変換して、Ｘ−Ｙ平面からρ−θ平面への投票を行う。次に、ＣＰＵ２０６は、直線パラメータの設計値を台座１３の輪郭の形状を示すものとしてメモリ２０１に登録する。

続いて、ＣＰＵ２０６は、エッジ画像をハフ変換したデータからピーク値を抽出することにより、エッジ画像に含まれている直線パラメータを検出する。そして、ＣＰＵ２０６は、ステップＳ２２４にて直線パラメータが検出されたか否かを判別し、直線パラメータが検出された場合には、メモリ２０１に登録されている直線パラメータを設計値からこの検出した直線パラメータ（直線パラメータの実測値）に書き換える。これにより、メモリ２０１には、直線パラメータの実測値が台座１３の輪郭の形状を示すものとして登録される。

このように、ユーザによりキャリブレーション要求キーが押下されると、撮影画像投影装置は、撮影した画像から得られた直線パラメータを台座１３の輪郭の形状を示すものとしてメモリ２０１に登録するため、カメラ部１１の台座１３に対するあおり角が変動する等、カメラ部１１と台座１３との位置関係が変動した場合であっても、撮影した画像から原稿４の輪郭の形状のみを適切に取得することができる。

さらに、ＣＰＵ２０６は、ステップＳ１０４のズーム処理にてカメラ部１１のズームが変更された場合、ズーム処理前とズーム処理前とでのカメラ部１１のズーム比を求め、求めたズーム比に応じて、メモリ２０１に登録されている直線パラメータを調整することにより、メモリ２０１に登録した台座１３の輪郭の形状を変更する。

このように、例えばカメラ１１のあおり角が変動することなくカメラ部１１のズームのみが変化した場合等には、撮影した画像から直線パラメータを検出して取得することなく、メモリ２０１に登録されている直線パラメータを調整することによって、メモリ２０１に登録されている台座１３の輪郭の形状を変更することができるので、撮影画像投影装置は、ＣＰＵ２０６等の処理負担を低減することができる。また、カメラ部１１のズームのみを変更した場合、ユーザはキャリブレーション要求キーを押下しなくてもよいので、通常の撮影時にユーザに煩わしい作業を強いらなくてもよくなる。

なお、本発明は、上記実施形態に限定されず、種々の変形、応用が可能である。以下、本発明に適用可能な上記実施形態の変形態様について、説明する。

上記実施形態において、ＣＰＵ２０６は、ステップＳ１１１の台座登録処理にてメモリ２０１に格納されている台座１３の輪郭を形成する直線パラメータに近い直線パラメータを、ステップＳ３０３及びＳ３０４にて取得した候補から、外していた。しかしながら、本発明は、これに限定されず、ＣＰＵ２０６は、ステップＳ３０１にて得られたエッジ画像から、台座１３の輪郭を形成する直線パラメータを予め外しておき、ステップＳ３０３及びＳ３０４にて候補として検出されないようにしてもよい。また、ＣＰＵ２０６は、図３３に示すように、台座１３の輪郭よりも少し内側の画像を切り出し、その切り出した画像から、四角形を検出してもよい。

また、上記実施形態において、原稿４の輪郭の形状は、四角形であった。しかしながら、本発明は、これに限定されず、原稿の形状は、任意であり、例えば五角形であってもよい。この場合、撮影画像投影装置は、原稿４の輪郭から五角形を取得し、五角形の各頂点座標から射影パラメータを抽出すればよい。

さらに、上記実施形態において、画像処理処理は、撮影画像投影装置に適用されていたが、本発明は、これに限定されるものではなく、デジタルカメラ等、他の撮影装置に適用してもよい。

また、上記実施形態において、ＣＰＵ２３６等が実行するプログラムは、予めＲＯＭ等に記憶されていた。しかしながら、本発明は、これに限定されず、コンピュータを、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、プログラムを記憶する記憶媒体は、上述のものに限定されず、例えば、Ｂｌｕｅ−Ｒａｙ−Ｄｉｓｃ（Ｒ）やＡＯＤ（Advanced Optical Disc）などの青色レーザを用いた次世代光ディスク記憶媒体、赤色レーザを用いるＨＤ−ＤＶＤ９、青紫色レーザを用いるＢｌｕｅ−Ｌａｓｅｒ−ＤＶＤ等、今後開発される種々の大容量記憶媒体を用いて本発明を実施することが可能であることはいうまでもない。

また、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態に係る撮影画像投影装置の構成を示す図であり、（ａ）は、書画撮影時の図であり、（ｂ）は、ボード撮影時の図である。 図１に示す書画カメラの構成を示すブロック図である。 図２に示す画像処理装置の機能を説明するための図である。 図２に示す画像処理装置の機能を説明するための図である。 書画カメラ基本処理を示すフローチャートである。 ＰＣ書画基本処理を示すフローチャートである。 図５に示す書画撮影処理の詳細を示すフローチャートである。 図５に示す書画撮影処理の詳細を示すフローチャートである。 図５に示すボード撮影処理の詳細を示すフローチャートである。 図２に示す画像処理装置の切り抜き処理を説明するための図である。 アフィンパラメータの抽出とアフィン変換の基本的な考え方の説明図である。 図８に示す四角形輪郭抽出処理の詳細を示すフローチャートである。 縮小輝度画像とエッジ画像とを説明するための図である。 Ｒｏｂｅｒｔｓフィルタの機能を説明するための図である。 ハフ変換を用いた直線検出を説明するための図であり、（ａ）は、上下の辺を検出する処理を示し、（ｂ）は、左右の辺を検出する処理を示している。 ρがプラスの値かマイナスの値かによって、上下、または左右を判定可能であることを示すイメージ図である。 図８に示す台座登録処理の詳細を示すフローチャートである。 台座登録変更処理の詳細を示すフローチャートである。 書画撮影時四角形検出処理の詳細を示すフローチャートである。 直線検出後の四角形の特定を説明するための図であり、（ａ）は、書画撮影の場合を示し、（ｂ）はボード撮影の場合を示している。 ボード撮影時四角形検出処理の詳細を示すフローチャートである。 図１２に示すアフィンパラメータ抽出処理の詳細を示すフローチャートである。 射影変換後の画像から元の画像を得るための逆変換を説明するための図である。 図８に示す画像変換処理の詳細を示すフローチャートである。 図２に示す画像処理装置が切り出した画像例を示す図である。 図２６（ａ）は、輝度ヒストグラムを示す図であり、図２６（ｂ）は、色差ヒストグラムを示す図である。 画像鮮明化パラメータ抽出処理の詳細を示すフローチャートである。 図２８（ａ）は、背景色が白の場合の画像鮮明化処理を示す図であり、図２８（ｂ）は、背景が黒の場合の画像鮮明化処理を示す図であり、図２８（ｃ）は、背景が白又は黒以外の場合の画像鮮明化処理を示す図である。 カラー調整を行うための輝度変換グラフの一例を示す図である。 背景の白色化を説明するための図である。 図８に示す画像鮮明化処理の詳細を示すフローチャートである。 図３１に示す背景白色化処理の詳細を示すフローチャートである。 本発明の変形例における画像処理装置の機能を説明するための図である。

符号の説明

１…書画カメラ、２…プロジェクタ、３…スクリーン、４…原稿、１１…カメラ部、１３…台座、２０１…メモリ、２０３…画像処理装置、２０４…操作部、２０６…ＣＰＵ

Claims (10)

1. カメラにより撮影された台座上の原稿の画像から、該原稿の輪郭を形成する直線パラメータの候補を検出する候補検出手段と、
   前記候補検出手段が検出した候補のうちから、前記台座の輪郭を形成する直線パラメータとの差異が所定範囲内にある直線パラメータを検出して除外することにより、前記原稿の輪郭を形成する直線パラメータの候補を減少させる候補減少手段と、
   前記候補減少手段によって減少した候補のうちから、所定の条件を満たす直線パラメータの組を検出し、該検出した直線パラメータの組により形成される多角形を前記原稿の輪郭の形状として取得する原稿輪郭形状取得手段と、
   を備える画像処理装置。
2. 前記台座の輪郭を形成する直線パラメータの組を格納する格納手段をさらに備え、
   前記候補減少手段は、前記候補検出手段が検出した候補のうちから、前記格納手段に格納されている直線パラメータとの差異が所定範囲内にある直線パラメータを検出して除外する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記原稿輪郭形状取得手段は、前記カメラにより撮影された台座の画像から、前記所定の条件を満たす直線パラメータの組を検出し、該検出した直線パラメータの組により形成される多角形を前記台座の輪郭の形状として取得する台座輪郭形状取得手段と、
   前記台座輪郭形状取得手段が取得した直線パラメータの組を前記直線パラメータ格納手段に書き込むことにより、前記台座の輪郭の形状を登録する台座輪郭形状登録手段と、を含む、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記原稿輪郭形状取得手段は、前記候補減少手段によって減少した候補のうちから、略平行の２本の直線パラメータの組を検出すると共に、該検出した２本の直線パラメータと略垂直の２本の直線パラメータの組を検出し、該検出した４本の直線パラメータの組により形成される四角形を前記原稿の輪郭の形状として取得する、
   ことを特徴とする請求項１，２又は３に記載の画像処理装置。
5. 前記原稿輪郭形状取得手段は、前記所定の条件を満たす直線パラメータの組が検出されたか否かを判別する検出判別手段と、
   前記検出判別手段によって前記所定の条件を満たす直線パラメータの組が検出されなかったと判別した場合、前記候補検出手段が検出した候補のうちから、該所定の条件を満たす直線パラメータの組を再度検出する再検出手段と、を含む、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記カメラのズームを制御するズーム制御手段と、
   前記ズーム制御手段によってカメラのズームが変更された場合、変更前と変更後とのズーム比に応じて前記格納手段に格納されている直線パラメータの値を調整することにより、前記登録された台形の輪郭の形状を変更する台形輪郭形状変更手段と、をさらに備える、
   ことを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記原稿輪郭形状取得手段が取得した多角形の頂点の座標からアフィンパラメータを抽出するアフィンパラメータ抽出手段と、
   前記アフィンパラメータ抽出手段によって抽出されたアフィンパラメータを用いて前記カメラにより撮影された原稿の画像に含まれる各画素の座標をアフィン変換することにより、該撮影された原稿の画像の傾きを補正する画像補正手段と、をさらに備える、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 台座に載置された原稿の画像を撮影する画像撮影手段と、
   前記画像撮影手段により撮影された台座上の原稿の画像から、該原稿の輪郭を形成する直線パラメータの候補を検出する候補検出手段と、
   前記候補検出手段が検出した候補のうちから、前記台座の輪郭を形成する直線パラメータとの差異が所定範囲内にある直線パラメータを検出して除外することにより、前記原稿の輪郭を形成する直線パラメータの候補を減少させる候補減少手段と、
   前記候補減少手段によって減少した候補のうちから、所定の条件を満たす直線パラメータの組を検出し、該検出した直線パラメータの組により形成される多角形を前記原稿の輪郭の形状として取得する原稿輪郭形状取得手段と、
   前記原稿輪郭形状取得手段が取得した多角形の頂点の座標からアフィンパラメータを抽出するアフィンパラメータ抽出手段と、
   前記アフィンパラメータ抽出手段によって抽出されたアフィンパラメータを用いて前記カメラにより撮影された原稿の画像に含まれる各画素の座標をアフィン変換することにより、該撮影された原稿の画像の傾きを補正する画像補正手段と、
   前記画像補正手段により補正された原稿の画像をスクリーン上に投影する画像投影手段と、
   を備える画像投影装置。
9. カメラにより撮影された台座上の原稿の画像から、該原稿の輪郭を形成する直線パラメータの候補を検出する候補検出工程と、
   前記候補検出工程が検出した候補のうちから、前記台座の輪郭を形成する直線パラメータとの差異が所定範囲内にある直線パラメータを検出して除外することにより、前記原稿の輪郭を形成する直線パラメータの候補を減少させる候補減少工程と、
   前記候補減少工程によって減少した候補のうちから、所定の条件を満たす直線パラメータの組を検出し、該検出した直線パラメータの組により形成される多角形を前記原稿の輪郭の形状として取得する原稿輪郭形状取得工程と、
   を備える画像処理方法。
10. コンピュータに、
    カメラにより撮影された台座上の原稿の画像から、該原稿の輪郭を形成する直線パラメータの候補を検出する候補検出手順と、
    前記候補検出手順が検出した候補のうちから、前記台座の輪郭を形成する直線パラメータとの差異が所定範囲内にある直線パラメータを検出して除外することにより、前記原稿の輪郭を形成する直線パラメータの候補を減少させる候補減少手順と、
    前記候補減少手順によって減少した候補のうちから、所定の条件を満たす直線パラメータの組を検出し、該検出した直線パラメータの組により形成される多角形を前記原稿の輪郭の形状として取得する原稿輪郭形状取得手順と、
    を実行させるためのプログラム。