JP2007214857A - 撮影装置、撮影画像処理方法及びプログラム - Google Patents

Abstract

【課題】原稿画像の各辺を確実に判別する。
【解決手段】台座１３には、ＬＥＤが行列状に埋め込まれている。書画カメラ１は、原稿２の各辺に対して、それぞれ、１１パターンの角度で走査線ベクトルを設定し、設定した走査線ベクトルに従って、ＬＥＤを点灯させ、台座１３にラインを表示させる。この台座１３に原稿２が載置されると、表示されたラインが途切れてエッジが形成される。書画カメラ１は、隣接するエッジの隣接エッジベクトルデータと距離データとの有効性を走査線ベクトル毎に評価して、最も有効なエッジ座標を取得する。
【選択図】図１

Description

本発明は、撮影装置、撮影画像処理方法及びプログラムに関するものである。

近年、撮影装置として、ユーザが台座に載置した原稿をカメラで撮影して、得られた原稿画像のデータを記憶して画像処理を行い、プロジェクタを用いてスクリーン上に原稿画像を拡大して投影するものがある（例えば、特許文献１参照）。

図１３（ａ）、（ｂ）に示すように、この撮影装置の支柱５２は、カメラ部５１の向きを変えることができるように可動式になっている。図１３（ａ）に示すように、カメラ部５１が台座５３の真上に配置されて、台座５３に載置された原稿（用紙）が撮影されると、図１４（ａ）に示すような撮影画像５０ｇが得られる。

ライトの映り込みがある場合は、図１３（ｂ）に示すように、カメラ部５１が少し斜め上方向に配置される。このようにカメラ部５１が配置されて台座５３に載置された原稿５４が撮影されると、図１４（ｂ）に示すような撮影画像５０ｇが得られる。

このように撮影装置が台座５３に載置されている原稿５４を撮影すると、原稿画像５４ｇが図１４（ａ），（ｂ）に示すように歪むため、撮影装置は、原稿画像５４ｇの形状を補正し、あたかも正面から撮影したような画像を生成する。

このため、撮影によって得られた撮影画像５０ｇから原稿画像５４ｇを切り出す処理が必要となる。従来の撮影装置は、撮影画像５０ｇに存在する原稿画像５４ｇと台座画像５３ｇとを特定し、原稿画像５４ｇの輪郭を取得して、この原稿画像５４ｇを切り出すようにしている。

また、台座１３の色と原稿５４の色とが同一の場合、あるいは似通っている場合、原稿画像５４ｇの輪郭を特定できず、原稿画像５４ｇの輪郭を誤って取得してしまうおそれがある。

このため、原稿５４に対して、図１５（ａ）に示すような方向のラインLine_51を台座５３に表示することにより、原稿画像５４ｇの輪郭を認識し易くしているものもある。
特開２００５−１２２３２６号公報（第６頁、図１）

しかし、台座５３に原稿５４が載置されたときに、原稿５４の上下辺とラインLine_51とが、図１５（ｂ）に示すように平行になった場合、原稿画像５４ｇのエッジ検出時にエラーが多く発生するおそれがある。このため、原稿画像５４ｇの輪郭を判別できない場合がある。

本発明は、このような従来の問題点に鑑みてなされたもので、確実に原稿の輪郭を判別することが可能な撮影装置、撮影画像処理方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る撮影装置は、
原稿を載置する台座に、等間隔で並ぶ複数の線を、前記台座の辺に対する角度を替えて表示する線表示部と、
前記原稿及び前記台座を撮影する撮影部と、
前記撮影部の撮影によって得られた撮影画像から、前記線表示部が表示した線が前記台座に載置された前記原稿によって覆われることによって現れた各線のエッジ座標を、前記線表示部が前記複数の線の角度を替える毎に取得するエッジ座標取得部と、
前記エッジ座標取得部が取得した複数のエッジ座標から前記エッジ座標の特徴量を取得し、取得した特徴量に基づいて、前記線表示部が表示したいずれの角度の線が、前記原稿の各辺を判別させるための線として最適な線か否かを評価する線評価部と、
前記線評価部が最適と評価した角度の線が表示されたときに前記エッジ座標取得部が取得した複数のエッジ座標に基づいて、前記原稿に対応する原稿画像の頂点座標を取得する頂点座標取得部と、
前記頂点座標取得部が取得した頂点座標に従って、前記撮影画像から前記原稿画像を切り出し、切り出した原稿画像に対する画像処理を行う画像処理部と、を備えたことを特徴とする。

前記線表示部は、前記原稿のサイズに基づいて、表示する線の間隔を設定するようにしてもよい。

前記線評価部は、前記エッジ座標の特徴量として、隣接するエッジ座標毎に、隣接するエッジ座標を結ぶ隣接ベクトルを取得し、取得した複数の隣接ベクトルの方向と大きさとに許容範囲を設定し、方向と大きさとが前記許容範囲を超える隣接ベクトルを除外して、方向と大きさとが前記許容範囲内となる隣接ベクトルの数に基づいて、前記線表示部が表示した線が最適な角度の線か否かを評価するようにしてもよい。

前記エッジ座標取得部が取得したエッジ座標に基づいて、前記原稿画像の各辺を形成する直線を取得し、さらに、取得した直線の交点を、前記原稿画像の頂点座標として取得するようにしてもよい。

前記線表示部は、前記台座の各辺毎に角度を替えて前記複数の線を表示し、
前記エッジ座標取得部は、前記台座の各辺毎、各角度毎に、前記エッジ座標を取得するようにしてもよい。

前記エッジ座標取得部は、１辺に対する角度のみを替えて前記複数の線を表示したときの前記エッジ座標を取得し、
前記線表示部は、前記台座の各辺のうち、１辺に対する角度のみを替えて前記複数の線を表示し、前記エッジ座標取得部が取得した複数のエッジ座標に基づいて最適な線と前記線評価部が評価したときの角度に、前記原稿の１辺と他の辺との角度を加算して、前記原稿の他の辺について角度を設定して、前記複数の線を表示するようにしてもよい。

本発明の第２の観点に係る撮影画像処理方法は、
原稿を載置する台座に、等間隔で並ぶ複数の線を、前記台座の辺に対する角度を替えて表示するステップと、
前記原稿及び前記台座を撮影するステップと、
前記撮影によって得られた撮影画像から、前記台座に表示した線が前記台座に載置された前記原稿によって覆われることによって現れた各線のエッジ座標を、前記複数の線の角度を替える毎に取得するステップと、
前記取得した複数のエッジ座標から前記エッジ座標の特徴量を取得し、取得した特徴量に基づいて、前記表示したいずれの角度の線が、前記原稿の各辺を判別させるための線として最適な線か否かを評価するステップと、
最適と評価した角度の線が表示されたときに取得した複数のエッジ座標に基づいて、前記原稿画像の頂点座標を取得するステップと、
前記取得した頂点座標に従って、前記撮影画像から前記原稿画像を切り出し、切り出した原稿画像に対する画像処理を行うステップと、を備えた、
ことを特徴とする。

本発明の第３の観点に係るプログラムは、
コンピュータに、
原稿を載置する台座に、等間隔で並ぶ複数の線を、前記台座の辺に対する角度を替えて表示する手順、
前記原稿及び前記台座を撮影する手順、
前記撮影によって得られた撮影画像から、前記台座に表示した線が前記台座に載置された前記原稿によって覆われることによって現れた各線のエッジ座標を、前記複数の線の角度を替える毎に取得する手順、
前記取得した複数のエッジ座標から前記エッジ座標の特徴量を取得し、取得した特徴量に基づいて、前記表示したいずれの角度の線が、前記原稿の各辺を判別させるための線として最適な線か否かを評価する手順、
最適と評価した角度の線が表示されたときに取得した複数のエッジ座標に基づいて、前記原稿画像の頂点座標を取得する手順、
前記取得した頂点座標に従って、前記撮影画像から前記原稿画像を切り出し、切り出した原稿画像に対する画像処理を行う手順、
を実行させるためのものである。

本発明によれば、確実に原稿の輪郭を判別することができる。

以下、本発明の実施形態に係る撮影装置を図面を参照して説明する。尚、本実施形態では、撮影装置を書画カメラとして説明する。
本実施形態に係る書画カメラ１の構成を図１に示す。
本実施形態に係る書画カメラ１は、原稿２を撮影して、その画像データを、ＵＳＢケーブル３１を介してコンピュータ３に、又はプロジェクタ４に出力するためのカメラシステムであり、カメラ部１１と、支柱１２と、台座１３と、を備える。

カメラ部１１は、台座１３に載置された原稿２の撮影を行うためのものである。このカメラ部１１には、デジタルカメラが用いられる。支柱１２は、カメラ部１１を取り付けるためのものである。

台座１３は原稿２を載置するためのものであり、その形状は矩形である。台座１３の原稿２を載置する台座面には、図２（ａ）に示すように、複数の線が等間隔で並んで表示されるように、ＬＥＤ１４が行列状に埋め込まれている。

このＬＥＤ１４は、原稿２の各辺を判別するために点灯されるものであり、例えば、図２（ｂ）に示すようにＬＥＤ１４が点灯すると、台座１３の辺に対して４５°のラインが表示される。

ＬＥＤ１４が点灯することによって表示されるこのラインは、台座１３に載置された原稿２によって覆われることによって途切れ、エッジが現れる。本実施形態では、このエッジ座標を利用して、原稿画像の各辺を判別させるためのラインとして最適なラインを評価するように構成されている。

この方法を図３に基づいて説明する。まず、原稿２の縦辺（左右辺）に対して、例えば、１１パターンのベクトルを設定する。このベクトルを走査線ベクトルとする。書画カメラ１は、この走査線ベクトルに従って、台座１３に複数のラインを、等間隔で並ぶように表示する。

書画カメラ１は、原稿２が台座１３に載置されることによって現れた各エッジ座標を取得し、取得したエッジ座標に基づいて表示されたラインが原稿２の縦辺を判別する線として最適か否かを評価する。書画カメラ１は、このような処理を１１パターンについて行い、最も評価の高かったラインが表示されたときのエッジ座標に基づいて原稿２の縦辺を判別する。

さらに、書画カメラ１は、原稿２の他の縦辺、横辺（上下辺）についても同様の処理を行うことにより、撮影画像中の原稿画像の各辺の輪郭を得る。このような処理が行われることにより、原稿２が台座１３に対してどのような角度で載置されても、原稿画像の各辺を判別できることになる。

書画カメラ１は、図４に示すように、画像データ生成部２１と、データ処理部２２と、ＬＥＤ駆動部２３と、複数のＬＥＤ１４と、からなる。この画像データ生成部２１とデータ処理部２２とは、図１に示すカメラ部１１に備えられる。画像データ生成部２１は、原稿２を撮影して原稿２の画像データを取り込むためのものである。

画像データ生成部２１は、光学レンズ装置１０１と、イメージセンサ１０２と、から構成される。

光学レンズ装置１０１は、原稿２を撮影するために、光を集光するレンズなどで構成されたものであり、焦点、露出、ホワイトバランス等のカメラ設定パラメータを調整するための周辺回路を備える。

イメージセンサ１０２は、光学レンズ装置１０１が光を集光することによって結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ（Charge Coupled Device;電荷結合素子）等によって構成される。

カメラ部１１は、図５（ａ）に示すような台座１３を含めた範囲を撮影範囲として撮影を行い、これにより、画像データ生成部２１は、図５（ｂ）に示すような原稿２による原稿画像５ｇ、台座１３による台座画像１３ｇを含む撮影画像１ｇを取得する。各ライン画像Line_gは、撮影画像内において各ラインLineを示す画像である。前述のように、原稿２が台座１３に載置されれば、撮影画像１ｇ中のライン画像Line_gにエッジが生じる。

データ処理部２２は、画像データ生成部２１から、画像データを取得して、プロジェクタ４に出力するための画像の処理を行うものである。データ処理部２２は、メモリ２０１と、ビデオ出力装置２０２と、画像処理装置２０３と、操作部２０４と、プログラムコード記憶装置２０５と、ＣＰＵ２０６と、ＰＣインタフェース装置２０７と、から構成される。

メモリ２０１は、画像データ、各種閾値等を記憶するものである。メモリ２０１は、これらのデータが書き込まれる領域として、図６に示すように、センサ画像記憶領域２０１ａと、処理画像記憶領域２０１ｂと、表示画像記憶領域２０１ｃと、作業データ記憶領域２０１ｄと、閾値記憶領域２０１ｅと、を有する。

センサ画像記憶領域２０１ａは、イメージセンサ１０２が取り込んだ画像データを、撮影する毎に一時記憶するための領域である。イメージセンサ１０２は、画像データをセンサ画像記憶領域２０１ａに記憶する。

処理画像記憶領域２０１ｂは、画像処理装置２０３の処理に必要な画像データを記憶するための領域である。表示画像記憶領域２０１ｃは、表示用の出力画像の画像を記憶するための領域である。作業データ記憶領域２０１ｄは、座標データ等を記憶するための領域である。閾値記憶領域２０１ｅは、各種判定に用いる閾値を記憶するための領域である。

図４に戻り、ビデオ出力装置２０２は、ＣＰＵ２０６に制御され、メモリ２０１の表示画像記憶領域２０１ｃに記憶された画像データに基づいてＲＧＢ信号を生成するものである。ビデオ出力装置２０２は、図１に示すビデオ映像ケーブル３２を介してプロジェクタ４に接続された場合、生成したＲＧＢ信号をプロジェクタ４に出力する。尚、ビデオ出力装置２０２は、ＲＧＢ信号をコンピュータ３を介してプロジェクタ４に送り出すように構成されてもよい。

画像処理装置２０３は、画像データに対して画像処理を行うためのものである。
まず、画像処理装置２０３は、ＣＰＵ２０６によって指示されて、図５（ｂ）に示すような撮影によって得られた撮影画像１gをメモリ２０１のセンサ画像記憶領域２０１ａから読み出して、各ライン画像Line_gに生じたエッジ座標を取得する。画像処理装置２０３は、台座１３に表示されたラインの角度が替わる毎に、このエッジ座標を取得する。画像処理装置２０３は、取得したエッジ座標をメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

画像処理装置２０３は、すべてのデータを記憶すると、メモリ２０１の作業データ記憶領域２０１ｄから、隣接する２つのエッジ座標を読み込み、エッジ座標の特徴量として、隣接する２つのエッジ毎に、隣接するエッジ座標を結ぶ隣接ベクトルデータを取得する。また、画像処理装置２０３は、エッジ座標の特徴量として、隣接する２つのエッジ毎に、隣接する２点間の距離を取得する。

画像処理装置２０３は、このような処理をすべての隣接する２つのエッジに対して行い、隣接ベクトルデータと距離データとを取得する毎に、取得したこれらのデータをメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

画像処理装置２０３は、すべての隣接する２つのエッジに対して隣接ベクトルデータと距離データとを取得すると、ＣＰＵ２０６から、画像補正処理、画像鮮明化処理を実行するように指示される。

画像補正処理の実行時、後述するようにＣＰＵ２０６が取得した原稿画像の各辺に対応する有効なエッジ座標がメモリ２０１の作業データ記憶領域２０１ｄに記憶されている。

画像処理装置２０３は、メモリ２０１の作業データ記憶領域２０１ｄから、各辺のエッジ座標のデータを読み出して、取得したエッジ座標に基づいて、原稿２の縦、横辺に対応するように４つの線分を取得する。

この４つの線分が図７（ａ）に示すような線分Line_11〜Line_14である場合、画像処理装置２０３は、この線分Line_11〜Line_14から、原稿画像の頂点座標を取得する。即ち、画像処理装置２０３は、この４つの線分Line_11〜Line_14を最外郭の線分として、各線分の交点を取得し、図７（ｂ）に示すような最大の四角形Ｑ１を生成する。

画像処理装置２０３は、この四角形Ｑ１を原稿画像の各辺によるものと判別して、生成した四角形Ｑ１の中に、図７（ｃ）に示すような長方形Ｑ２を形成する。画像処理装置２０３は、撮影画像から原稿画像を切り出して、切り出した原稿画像を、形成した長方形Ｑ２に射影変換して補正画像を生成する。

画像処理装置２０３は、このように補正画像を生成すると、画像の鮮明化処理を行う。画像の鮮明化処理は、切り出した画像から、輝度引き伸ばし、カラー補正等を行って、視認性の優れた画像に修正する処理である。画像処理装置２０３は、このような処理を行った補正画像をメモリ２０１の表示画像記憶領域２０１ｃに記憶する。

操作部２０４は、ユーザの操作情報を取得するためのものであり、書画カメラ１の機能を制御するためのスイッチ、キーとして、電源スイッチと、シャッターと、画像調整キーと、撮影／解除キーと、を備える（図示せず）。

電源スイッチは、書画カメラ１の電源をオン（ＯＮ）、オフ（ＯＦＦ）するためのものである。

シャッターは、撮影時に押下するスイッチである。画像調整キーは、画像処理を行うとき又は画像処理された画像の調整を行うときに操作するキーであり、複数のキーからなる。

操作部２０４は、ユーザがスイッチ、キーを操作したときの操作情報をＣＰＵ２０６に出力する。

プログラムコード記憶装置２０５は、ＣＰＵ２０６が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。

ＣＰＵ２０６は、プログラムコード記憶装置２０５に格納されているプログラムに従って、各部を制御する。

具体的には、ＣＰＵ２０６は、後述するカメラ基本処理を実行し、まず、カメラ部１１の撮影条件の初期化を行う。撮影条件には、カメラ部１１のフォーカス、シャッター速度（露光時間）、絞りなどの露出、ホワイトバランス、ＩＳＯ感度などが含まれる。ＣＰＵ２０６は、オートフォーカス測定、測光などを行って撮影が最適になる条件を探して、その条件となるように画像データ生成部２１の初期化を行う。

また、ＣＰＵ２０６は、メモリ２０１の初期化、通信、画像処理等に用いるデータ、各種フラグの初期化、撮影モードの設定を行う。

ＣＰＵ２０６は、初期化を行うと、低解像度画像撮影を行うように画像データ生成部２１を制御する。ＣＰＵ２０６は、イメージセンサ１０２が取り込んだ画像データをメモリ２０１のセンサ画像記憶領域２０１ａに記憶するように、イメージセンサ１０２、メモリ２０１を制御する。

ＣＰＵ２０６は、低解像度画像に基づいて動き検出処理を実行する。ＣＰＵ２０６は、この動き検出処理として、前回撮影時の撮影画像の各画素値と現撮影時の撮影画像の画素値との差分の総和を取得する。

ＣＰＵ２０６は、取得した差分の総和を両撮影画像の画像変化量ＭＤとして取得し、取得した画像変化量ＭＤと予め設定された閾値MD_thとを比較することにより、原稿２の動きを検出する。

閾値MD_thは、この判定を行うために予め設定されたものであり、メモリ２０１は、この閾値MD_thを閾値記憶領域２０１ｅに予め記憶する。ＣＰＵ２０６は、画像変化量ＭＤが閾値MD_th以下であれば、原稿２に動きなしと判定し、閾値MD_thを越えていれば、原稿２に動きありと判定する。

ＣＰＵ２０６は、原稿２を台座１３に置いたり、置いてある原稿２を差し替えたりして原稿２に動きがあると判定した場合、撮影モードを動画モードに設定する。

動画モードは、画像データ生成部２１に低解像度画像撮影を行わせるモードであり、リアルタイム性を重視したモードである。

ＣＰＵ２０６は、原稿２を台座１３に置いたり、置いてある原稿２を差し替えたりして原稿２に動きがあった場合、画像モードを動画モードに設定する。

ＣＰＵ２０６は、動画モードにおいて、例えば、画像解像度がＸＧＡ（１０２４×７６８ドット）程度の画像を３０ｆｐｓ（フレーム/秒）の速さで動画投影を行うように、各部を制御する。

また、原稿２が台座１３に載置されたまま、スクリーン５に原稿２の画像を投影している場合のように、原稿２に動きがないと判定すると、ＣＰＵ２０６は、撮影モードを静止画モードに設定する。

静止画モードは、画像データ生成部２１に高解像度画像撮影を行わせるモードであり、解像度を重視するモードである。ＣＰＵ２０６は、この撮影モードをメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

ＣＰＵ２０６は、静止画モードにおいて、カメラ部１１に高解像度の画像撮影を行わせる。例えば、カメラ部１１が撮影解像度３００万画素のカメラである場合、ＣＰＵ２０６は、切り出した投影画像としてＸＧＡ（１０２４×７６８）の静止画像を生成するように各部を制御する。

ＣＰＵ２０６は、撮影モードを静止画モードに設定すると、原稿画像の４頂点の座標を取得するためのエッジ座標取得処理（１）を実行する。

ＣＰＵ２０６は、この処理において、まず、原稿２の１辺毎に、１１パターンのうちの１つの走査線ベクトルを設定する。ＣＰＵ２０６は、設定した走査線ベクトルに基づいて、表示するラインを設定し、点灯させるＬＥＤ１４を選択する。ＣＰＵ２０６は、このようにＬＥＤ１４を選択することにより、台座１３の辺に対する角度を替えてラインを表示する。

そして、ＣＰＵ２０６は、選択したＬＥＤ１４を示すＬＥＤ選択信号をＬＥＤ駆動部２３に供給する。

ＣＰＵ２０６は、画像処理装置２０３に各ライン画像Line_gに生じたエッジ座標を取得するように指示する。

また、ＣＰＵ２０６は、画像処理装置２０３に、隣接する２つのエッジ毎に、隣接ベクトルデータと距離データとを取得するように指示する。ＣＰＵ２０６は、画像処理装置２０３が、隣接ベクトルデータと距離データとを取得すると、取得する毎に、取得した数をカウントする。ＣＰＵ２０６は、このカウンタを備え、カウントした数をメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

ＣＰＵ２０６は、画像処理装置２０３が、すべての隣接ベクトルデータと距離データとを取得すると、メモリ２０１の作業データ記憶領域２０１ｄから、これらのデータを読み出して、エッジ座標が原稿画像の各辺を表す座標として有効か無効かを評価する。

ＣＰＵ２０６は、このような評価を行うため、まず、読み出した複数の隣接ベクトルデータから無効な隣接ベクトルデータを除外する。尚、ＣＰＵ２０６は、隣接ベクトルの有効性を判定するため、例えば、隣接ベクトルの方向、大きさの平均値を求め、さらにこの平均値に対する許容範囲を設定する。そして、ＣＰＵ２０６は、この許容範囲内のデータを有効、許容範囲を超えるデータを無効と判定する。

ＣＰＵ２０６は、複数の隣接ベクトルデータから無効な隣接ベクトルデータを除外して、有効な隣接ベクトルデータの数を算出する。ＣＰＵ２０６は、この数に重み付け係数を乗算して評価指数を算出する。評価指数は、エッジ座標の有効性を判定するための指数であり、評価指数が大きいほど、台座１３に表示されたラインが、原稿画像の各辺を判別させるためのラインとして有効性が高いことを示す。本実施の形態では、重み付け係数を１として、この有効な隣接ベクトルデータの数を評価指数とする。

また、ＣＰＵ２０６は、読み出した複数の距離データを平均化して平均距離を取得する。ＣＰＵ２０６は、平均距離についても許容範囲を設定し、この許容範囲内の距離の数に重み付け係数を乗算して評価指数を算出する。本実施形態では、この重み付け係数を１として、この有効な距離データの数を評価指数とする。

そして、ＣＰＵ２０６は、隣接ベクトルデータに基づいて求めた評価指数と距離データに基づいて求めた評価指数とを合算して最終的な評価指数を求める。

ＣＰＵ２０６は、この処理を、１１パターンの走査線ベクトル毎に行う。そして、ＣＰＵ２０６は、メモリ２０１の作業データ記憶領域２０１ｄに記憶した評価指数を前回値、新たに求めた評価指数を今回値として、評価指数を求める毎に前回値と今回値とを比較する。今回値が前回値よりも大きいとき、ＣＰＵ２０６は、評価指数の今回値と、今回値に対応する走査線ベクトルデータと、をメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

このようにして、ＣＰＵ２０６は、原稿２の１辺に対応する最終的に最も有効性の高いエッジ座標を取得する。ＣＰＵ２０６は、取得したエッジ座標をメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

ＣＰＵ２０６は、他の各辺についても同様にこのような処理を実行し、最も高い評価指数に対応する走査線ベクトルデータと最も有効性の高いエッジ座標とを各辺毎に取得して、これらのデータをメモリ２０１の作業データ記憶領域２０１ｄに記憶する。そして、ＣＰＵ２０６は、画像処理装置２０３に画像補正処理、画像鮮明化処理を実行するように指示する。

ＣＰＵ２０６は、画像処理装置２０３が補正画像生成処理、画像鮮明化処理を実行して、メモリ２０１の表示画像記憶領域２０１ｃに補正後の画像データが記憶されると、補正画像を投影するようにビデオ出力装置２０２を制御する。

ＰＣインタフェース装置２０７は、画像データ等を、ＵＳＢ（Universal Serial Bus）規格のデータに変換し、ＵＳＢケーブル３１を介してコンピュータ３に送信するとともに、コンピュータ３からのデータ、信号を受信するためのものである。

ＬＥＤ駆動回路２３は、ＣＰＵ２０６から選択信号が供給されて、複数のＬＥＤ１４のうち、供給された選択信号に基づいて選択されたＬＥＤ１４を点灯するものである。尚、複数のＬＥＤ１４とＬＥＤ駆動回路２３とＣＰＵ２０６とが線表示部に相当するものである。

コンピュータ３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置（ＨＤＤ）等を備えたものであり、書画カメラ１からＵＳＢケーブル３１を介して画像データを受信し、圧縮された画像データをデコードして、描画処理又はファイル保存処理を行う。書画撮影の場合、コンピュータ３は、描画処理を行い、ビデオ映像ケーブル３２を介してプロジェクタ４に画像データを供給する。また、コンピュータ３は、デコードした画像データをファイル保存する。

プロジェクタ４は、コンピュータ３から供給された画像データを投影光に変換し、スクリーン５にこの投影光を照射して原稿２の画像をスクリーン５上に結像させるものである。

次に本実施形態に係る書画カメラ１の動作を説明する。
ユーザが書画カメラ１の電源をＯＮすると、書画カメラ１のＣＰＵ２０６は、プログラムコード記憶装置２０５からプログラムコードを読み出してカメラ基本処理を実行する。

このカメラ基本処理を図８に示すフローチャートに従って説明する。
ＣＰＵ２０６は、光学レンズ装置１０１の周辺回路を制御して、光学レンズ装置１０１の焦点、露出、ホワイトバランス等のカメラ設定パラメータの初期化を行う（ステップＳ１１）。

ＣＰＵ２０６は、通信、画像処理等に用いるデータの初期化を行う（ステップＳ１２）。

ＣＰＵ２０６は、撮影モードを動画モードに設定する（ステップＳ１３）。
ＣＰＵ２０６は、光学レンズ装置１０１を制御して、動画モードで撮影処理を実行する（ステップＳ１４）。

ＣＰＵ２０６は、動き検出処理を実行する（ステップＳ１５）。
ＣＰＵ２０６は、動き検出処理の結果、原稿２に動きがあるか否かを判定するステップＳ１６）。

ＣＰＵ２０６は、原稿２に動きありと判定した場合（ステップＳ１６においてＹｅｓ）、ＣＰＵ２０６は、動画モードで撮影した画像をスクリーン５に投影させる（ステップＳ１３）。そして、ＣＰＵ２０６は、再度、動画モードで撮影処理を実行し、動き検出処理を実行する（ステップＳ１３〜Ｓ１５）。

一方、原稿２に動きはないと判定した場合（ステップＳ１６においてＮｏ）、ＣＰＵ２０６は、撮影モードを静止画モードに設定する（ステップＳ１７）。

ＣＰＵ２０６は、エッジ座標取得処理を実行する（ステップＳ１８）。ＣＰＵ２０６は、図９に示すフローチャートに従って、エッジ座標取得処理（１）を実行する。

ＣＰＵ２０６は、走査線ベクトルを設定する（ステップＳ３１）。
ＣＰＵ２０６は、設定した走査線ベクトルに従って、ＬＥＤ１４を点灯するように、ＬＥＤ駆動部２３にＬＥＤ選択信号を供給する（ステップＳ３２）。

ＣＰＵ２０６は、画像処理装置２０３に、各ライン画像Line_gに生じたエッジ座標を取得するように指示する（ステップＳ３３）。画像処理装置２０３は、撮影画像１gをメモリ２０１のセンサ画像記憶領域２０１ａから読み出して、各ライン画像Line_gに生じたエッジ座標を取得する。画像処理装置２０３は、取得したエッジ座標をメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

ＣＰＵ２０６は、取得したエッジ座標の有効性を評価するため、図１０に示すフローチャートに従ってデータ評価処理を実行する（ステップＳ３４）。

ＣＰＵ２０６は、画像処理装置２０３に隣接ベクトルデータと距離データとを生成するように指示する（ステップＳ４１）。画像処理装置２０３は、図１１に示すフローチャートに従って評価用データ取得処理を実行する。

画像処理装置２０３は、メモリ２０１の作業データ記憶領域２０１ｄから、隣接するエッジのそれぞれのエッジ座標を読み込む（ステップＳ６１）。

画像処理装置２０３は、読み込んだ２つのエッジ座標に基づいて、隣接ベクトルデータを取得する（ステップＳ６２）。

画像処理装置２０３は、隣接するエッジ間の距離を取得する（ステップＳ６３）。
画像処理装置２０３は、取得した隣接ベクトルデータと距離データとをメモリ２０１の作業データ記憶領域２０１ｄに記憶する（ステップＳ６４）。

画像処理装置２０３が、隣接ベクトルデータと距離データとを記憶すると、ＣＰＵ２０６は、画像処理装置２０３が取得したデータ数をインクリメントする（図１０のステップＳ４２）。
画像処理装置２０３は、エッジの座標データが終了したか否かを判定する（ステップＳ４３）。

座標データがまだあると判定した場合（ステップＳ４３においてＮｏ）、ＣＰＵ２０６は、再度、ステップＳ４１〜Ｓ４２を実行する。

座標データがなくなったと判定した場合（ステップＳ４３においてＹｅｓ）、ＣＰＵ２０６は、無効な隣接ベクトルデータを除外する（ステップＳ４４）。

ＣＰＵ２０６は、有効な隣接ベクトルデータの数を評価指数に変換する（ステップＳ４５）。
ＣＰＵ２０６は、平均距離を算出する（ステップＳ４６）。
ＣＰＵ２０６は、平均距離を評価指数に変換する（ステップＳ４７）。

ＣＰＵ２０６は、評価指数を合算する（ステップＳ４８）。
ＣＰＵ２０６は、今回値と前回値とを比較して、今回値が前回値よりも大きいか否かを判定する（ステップＳ４９）。

今回値が前回値よりも大きいと判定した場合（ステップＳ４９においてＹｅｓ）、ＣＰＵ２０６は、この走査線ベクトルデータをメモリ２０１の作業データ記憶領域２０１ｄに保存する（ステップＳ５０）。そして、ＣＰＵ２０６は、この評価処理を終了させる。

一方、今回値の方が前回値以下であると判定した場合（ステップＳ４９においてＮｏ）、ＣＰＵ２０６は、今回値をメモリ２０１に記憶せずに、この評価処理を終了させる。

ＣＰＵ２０６は、このようにデータ評価処理を実行すると、１辺のエッジ座標をメモリ２０１の作業データ記憶領域２０１ｄに記憶する（図９のステップＳ３５）。

ＣＰＵ２０６は、設定すべき走査線ベクトルが終了したか否かを判定する（ステップＳ３６）。設定すべき走査線ベクトルが終了していないと判定した場合（ステップＳ３６においてＮｏ）、即ち、設定すべき走査ベクトルがまだあると判定した場合、ＣＰＵ２０６は、再度、ステップＳ３１〜Ｓ３５の処理を実行する。

設定すべき走査線ベクトルが終了したと判定した場合（ステップＳ３６においてＹｅｓ）、即ち、走査ベクトルをすべて設定したと判定した場合、ＣＰＵ２０６は、４辺すべてについて、ステップＳ３１〜Ｓ３６の処理が終了したか否かを判定する（ステップＳ３７）。

４辺すべてについて、ステップＳ３１〜Ｓ３６の処理が終了していないと判定した場合（ステップＳ３７においてＮｏ）、ＣＰＵ２０６は、再度、ステップＳ３１〜Ｓ３６の処理を実行する。

４辺すべてについて、ステップＳ３１〜Ｓ３６の処理が終了したと判定した場合（ステップＳ３７においてＹｅｓ）、ＣＰＵ２０６は、このエッジ座標取得処理を終了させる。

ＣＰＵ２０６は、このようなエッジ座標取得処理（１）を実行すると、画像処理装置２０３を制御して画像補正処理を実行させる（図８のステップＳ１９）。

ＣＰＵ２０６は、画像処理装置２０３に画像鮮明化処理を実行させる（ステップＳ２０）。画像処理装置２０３は、画像補正の結果、得られた画像に対して、輝度引き伸ばし、カラー補正等の鮮明化処理を行って、視認性の優れた画像を取得する。そして、画像処理装置２０３は、画像鮮明化処理を施した画像をメモリ２０１の表示画像記憶領域２０１ｃに記憶する。

ＣＰＵ２０６は、画像処理装置２０３が画像鮮明化処理を施した補正画像をスクリーン５に投影するように、ビデオ出力装置２０２を制御する（ステップＳ２１）。

ＣＰＵ２０６は、スクリーン５に画像を投影すると、再度、原稿２に動きがあるか否かを判定し（ステップＳ１６）、原稿２に動きがないと判定した場合（ステップＳ１６においてＮｏ）、ステップＳ１７〜Ｓ２１を実行する。

以上説明したように、本実施形態によれば、台座１３に複数の角度でラインを表示し、各々について原稿２によって消えたラインのエッジを検出し、検出したエッジを評価するようにした。

従って、原稿２を台座１３に対してどのような角度で載置しても、原稿画像の各辺を判別でき、精度良く原稿画像の各辺を取得することができる。そして、画像補正が行われることにより、歪んだ原稿画像をあたかも正面からみたような画像に正しく変換できる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施の形態に限られるものではない。
例えば、原稿２のサイズが指定されれば、このサイズに合わせて、台座１３に表示するラインの間隔を設定して原稿画像のエッジ座標を取得することもできる。また、台座１３と原稿２との関係に基づいて原稿２のサイズを判別し、判別したサイズに合わせて、台座１３に表示するラインの間隔を設定して原稿画像のエッジ座標を取得することもできる。このようにすれば、原稿２の用紙サイズが大きくなっても、データ量の増加を抑制することができ、処理を高速化することができる。

上記実施形態では、書画カメラ１は、原稿２の４つの辺に対して、エッジ座標を独立して取得するようにした。しかし、表示されたライン情報に基づいて、ラインを９０°、１８０°，２７０°回転させて処理を高速に行うこともできる。

この場合のエッジ座標取得処理（２）を図１２に示すフローチャートに従って説明する。

ＣＰＵ２０６は、図９に示すステップＳ３１〜Ｓ３６と同様の処理を実行し、１辺のエッジ座標を取得する（ステップＳ７１〜Ｓ７６）。

ＣＰＵ２０６は、ベクトルデータをメモリ２０１の作業データ記憶領域２０１ｄに書き込む（ステップＳ７７）。

ＣＰＵ２０６は、ラインの表示が９０°回転するように、ＬＥＤ１４を選択し、ＬＥＤ選択信号をＬＥＤ駆動部２３に供給する（ステップＳ７８）。

ＣＰＵ２０６は、画像処理装置２０３に、各ライン画像Line_gに生じたエッジ座標を取得するように指示する（ステップＳ７９）。

画像処理装置２０３は、取得したエッジ座標をメモリ２０１の作業データ記憶領域２０１ｄに記憶する（ステップＳ８０）。

ＣＰＵ２０６は、すべての辺の処理がすべて終了したか否かを判定する（ステップＳ８１）。
エッジ座標を取得していない辺があれば、ＣＰＵ２０６は、処理は終了していないと判定する（ステップＳ８１においてＮｏ）。この場合、ＣＰＵ２０６は、再度、ステップＳ７８〜Ｓ８０の処理を実行する。

すべての辺について、エッジ座標をすべて取得すれば、ＣＰＵ２０６は、すべての辺の処理はすべて終了したと判定する（ステップＳ８１においてＹｅｓ）。この場合、ＣＰＵ２０６は、このエッジ座標取得処理（２）を終了させる。

このように、表示するラインを９０°、１８０°，２７０°回転させて４つの辺の各４つのエッジ座標を取得することにより、エッジ座標取得処理を高速に行うことができる。

また、上記実施形態では、ＣＰＵ２０６は、隣接ベクトルデータと距離データとに基づいて、エッジ座標の有効、無効を評価するようにした。しかし、ＣＰＵ２０６は、隣接ベクトルデータのみ、あるいは距離データのみに基づいて、このような評価を行うようにしてもよい。

また、本実施形態では、データ評価処理において、台座１３に表示されたラインの有効性を評価するための重み付け係数を、すべて１とした。しかし、重み付け係数は１に限られるものではない。例えば、有効性が高いと思われるラインのエッジ座標については、重み付け係数を１を越える値としてもよい。

また、上記実施形態では、走査線ベクトルを１１パターンとした。しかしパターン数はこれに限られるものではなく、１１パターンよりも少なくても良いし、多くてもよい。
また、本実施形態では、台座１３に表示するラインを平行線とした。しかし、ラインは平行線に限られるものではなく、複数の線が等間隔に並んでいれば、例えば、波線のようなものであってもよい。

また、上記実施形態の書画カメラ１に画像処理装置２０３を備えるようにした。しかし、撮影装置に、コンピュータ３も含め、画像処理装置２０３をコンピュータ３に備えるようにしてもよい。このようにすれば、カメラ部１１には、汎用のデジタルカメラを用いることもできる。

上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、書画カメラ１を、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態に係る書画カメラの構成を示す図である。 図１に示す台座の詳細を示す図であり、（ａ）はＬＥＤが埋め込まれた台座を示し、（ｂ）は４５°のラインが表示されるようにＬＥＤを点灯させた台座を示す図である。 走査線ベクトル生成の概念を示す図である。 図１に示す書画カメラの構成を示すブロック図である。 台座及び原稿と、その撮影画像と、の対応関係を示す図であり、（ａ）は、台座及び原稿を示し、（ｂ）は、図１に示すカメラ部が撮影した撮影画像を示す。 図４に示すメモリの各記憶領域を示すブロック図である。 図４に示す画像処理装置の長方形を取得する処理を示す図であり、（ａ）は、取得した４つの線分を示し、（ｂ）は、取得した４つの線分に基づいて生成された最大の四角形を示し、（ｃ）は、最大の四角形の中に形成された長方形を示す。 図１に示す書画カメラが実行するカメラ基本処理を示すフローチャートである。 図１に示す書画カメラが実行するエッジ座標取得処理（１）を示すフローチャートである。 図１に示す書画カメラが実行するデータ評価処理を示すフローチャートである。 図４に示す画像処理装置が実行する評価用データ取得処理を示すフローチャートである。 応用例として、図１に示す書画カメラが実行するエッジ座標取得処理（２）を示すフローチャートである。 従来の書画カメラを示す図である。 従来の書画カメラの画像の歪み補正を示す図である。 台座に表示されたラインと載置された原稿との関係を示す図であり、（ａ）は、ラインと原稿の上下辺とが平行でない場合を示し、（ｂ）は、原稿の上下辺とラインとが平行である場合を示す。

符号の説明

１・・・書画カメラ、２・・・原稿、３・・・コンピュータ、４・・・プロジェクタ、５・・・スクリーン、１１・・・カメラ部、１３・・・台座、１４・・・ＬＥＤ、２０１・・・メモリ、２０２・・・ビデオ出力装置、２０３・・・画像処理装置、２０４・・・操作部、２０６・・・ＣＰＵ

Claims (8)

1. 原稿を載置する台座に、等間隔で並ぶ複数の線を、前記台座の辺に対する角度を替えて表示する線表示部と、
   前記原稿及び前記台座を撮影する撮影部と、
   前記撮影部の撮影によって得られた撮影画像から、前記線表示部が表示した線が前記台座に載置された前記原稿によって覆われることによって現れた各線のエッジ座標を、前記線表示部が前記複数の線の角度を替える毎に取得するエッジ座標取得部と、
   前記エッジ座標取得部が取得した複数のエッジ座標から前記エッジ座標の特徴量を取得し、取得した特徴量に基づいて、前記線表示部が表示したいずれの角度の線が、前記原稿の各辺を判別させるための線として最適な線か否かを評価する線評価部と、
   前記線評価部が最適と評価した角度の線が表示されたときに前記エッジ座標取得部が取得した複数のエッジ座標に基づいて、前記原稿に対応する原稿画像の頂点座標を取得する頂点座標取得部と、
   前記頂点座標取得部が取得した頂点座標に従って、前記撮影画像から前記原稿画像を切り出し、切り出した原稿画像に対する画像処理を行う画像処理部と、を備えた、
   ことを特徴とする撮影装置。
2. 前記線表示部は、前記原稿のサイズに基づいて、表示する線の間隔を設定する、
   ことを特徴とする請求項１に記載の撮影装置。
3. 前記線評価部は、前記エッジ座標の特徴量として、隣接するエッジ座標毎に、隣接するエッジ座標を結ぶ隣接ベクトルを取得し、取得した複数の隣接ベクトルの方向と大きさとに許容範囲を設定し、方向と大きさとが前記許容範囲を超える隣接ベクトルを除外して、方向と大きさとが前記許容範囲内となる隣接ベクトルの数に基づいて、前記線表示部が表示した線が最適な角度の線か否かを評価する、
   ことを特徴とする請求項１又は２に記載の撮影装置。
4. 前記エッジ座標取得部が取得したエッジ座標に基づいて、前記原稿画像の各辺を形成する直線を取得し、さらに、取得した直線の交点を、前記原稿画像の頂点座標として取得する、
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮影装置。
5. 前記線表示部は、前記台座の各辺毎に角度を替えて前記複数の線を表示し、
   前記エッジ座標取得部は、前記台座の各辺毎、各角度毎に、前記エッジ座標を取得する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮影装置。
6. 前記エッジ座標取得部は、１辺に対する角度のみを替えて前記複数の線を表示したときの前記エッジ座標を取得し、
   前記線表示部は、前記台座の各辺のうち、１辺に対する角度のみを替えて前記複数の線を表示し、前記エッジ座標取得部が取得した複数のエッジ座標に基づいて最適な線と前記線評価部が評価したときの角度に、前記原稿の１辺と他の辺との角度を加算して、前記原稿の他の辺について角度を設定して、前記複数の線を表示する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮影装置。
7. 原稿を載置する台座に、等間隔で並ぶ複数の線を、前記台座の辺に対する角度を替えて表示するステップと、
   前記原稿及び前記台座を撮影するステップと、
   前記撮影によって得られた撮影画像から、前記台座に表示した線が前記台座に載置された前記原稿によって覆われることによって現れた各線のエッジ座標を、前記複数の線の角度を替える毎に取得するステップと、
   前記取得した複数のエッジ座標から前記エッジ座標の特徴量を取得し、取得した特徴量に基づいて、前記表示したいずれの角度の線が、前記原稿の各辺を判別させるための線として最適な線か否かを評価するステップと、
   最適と評価した角度の線が表示されたときに取得した複数のエッジ座標に基づいて、前記原稿画像の頂点座標を取得するステップと、
   前記取得した頂点座標に従って、前記撮影画像から前記原稿画像を切り出し、切り出した原稿画像に対する画像処理を行うステップと、を備えた、
   ことを特徴とする撮影画像処理方法。
8. コンピュータに、
   原稿を載置する台座に、等間隔で並ぶ複数の線を、前記台座の辺に対する角度を替えて表示する手順、
   前記原稿及び前記台座を撮影する手順、
   前記撮影によって得られた撮影画像から、前記台座に表示した線が前記台座に載置された前記原稿によって覆われることによって現れた各線のエッジ座標を、前記複数の線の角度を替える毎に取得する手順、
   前記取得した複数のエッジ座標から前記エッジ座標の特徴量を取得し、取得した特徴量に基づいて、前記表示したいずれの角度の線が、前記原稿の各辺を判別させるための線として最適な線か否かを評価する手順、
   最適と評価した角度の線が表示されたときに取得した複数のエッジ座標に基づいて、前記原稿画像の頂点座標を取得する手順、
   前記取得した頂点座標に従って、前記撮影画像から前記原稿画像を切り出し、切り出した原稿画像に対する画像処理を行う手順、
   を実行させるためのプログラム。

Images