JP2006163821A - 撮影装置、画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】撮影画像から原稿画像を確実に切り出す。
【解決手段】書画カメラ１に備えられた画像処理装置は、予め、台座１３に原稿５が載置されていない状態で撮影を行って比較画像を取得する。そして、画像処理装置は、台座１３に原稿５が載置された状態の縮小画像と比較画像とを比較して、その差分画像を取得する。これにより、台座画像は除去される。さらに、画像処理装置は、取得した差分画像から、その２値エッジ画像、２値画像を作成する。画像処理装置は、それぞれ、作成した２値エッジ画像に基づいて原稿画像の輪郭を形成する直線を検出し、直線の角度を取得する。画像処理装置は、２値画像に基づいて投影ヒストグラムを作成し、原稿画像の領域を特定する。そして、画像処理装置は、取得した直線の角度と領域とに基づいて原稿画像を切り出す。
【選択図】図１

Description

本発明は、撮影装置、画像処理装置、画像処理方法及びプログラムに関するものである。

近年、撮影装置として、ユーザが原稿台に載置した原稿をカメラで撮影して、カメラで撮影した原稿の画像データを記憶して画像処理を行い、プロジェクタを用いてスクリーン上に原稿の画像を拡大して投影するものがある（例えば、特許文献１参照）。

図２０（ａ）、（ｂ）に示すように、この撮影装置の支柱５２は、カメラ部５１の向きを変えることができるように可動式になっている。図２０（ａ）に示すように、カメラ部５１が原稿台５３の真上に配置されて、原稿台５３に載置された原稿（用紙）が撮影されると、図２１（ａ）に示すような画像が得られる。

ライトの映り込みがある場合は、図２０（ｂ）に示すように、カメラ部５１が少し斜め上方向に配置される。このようにカメラ部５１が配置されて原稿台５３に載置された原稿が撮影されると、図２１（ｂ）に示すような画像が得られる。

そして、この撮影装置は、得られた画像に対して画像処理を施し、原稿部分を切り出して、図２１（ｃ）に示すような画像を生成する。

撮影装置は、原稿の画像を切り出し対象画像として切り出しを行うため、切り出し対象画像の輪郭を取得し、取得した輪郭に基づいて切り出し対象画像を、原画像としての撮影画像から切り出す。
特開２００２−３５４３３１号公報（第２−３頁、図１）

しかし、切り出し対象画像の形状を示す輪郭を取得しにくい場合、原画像から切り出し対象画像をうまく切り出せない場合がある。

本発明は、このような従来の問題点に鑑みてなされたもので、原画像から切り出し対象画像を確実に切り出すことが可能な撮影装置、画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る撮影装置は、
多角形の原稿を撮影する撮影装置において、
前記原稿を撮影する撮影部と、
前記撮影部の撮影によって得られた撮影画像から、前記撮影画像に含まれる原稿画像を切り出す画像処理部と、を備え、
前記画像処理部は、
前記撮影画像を処理して前記原稿画像のみを含む画像を生成する撮影画像処理部と、
前記撮影画像処理部が処理した処理画像から、前記原稿画像の形状を示す輪郭による直線を取得し、取得した直線の角度として、前記撮影画像を基準とする座標系における角度を検出する角度検出部と、
前記撮影画像処理部が処理した処理画像から、前記原稿画像の輪郭による境界を、異なる画素値で表した２値画像を生成する２値画像生成部と、
前記２値画像生成部が生成した２値画像を、前記角度検出部が検出した角度に従って設定された方向に走査し、着目した画素値を有する画素の数を計数して前記処理画像の投影ヒストグラムを作成する投影ヒストグラム作成部と、
前記投影ヒストグラム作成部が作成した投影ヒストグラムから、前記原稿画像の領域を特定するための座標データを取得する領域座標取得部と、
前記領域座標取得部が取得した座標データに基づいて前記原稿画像の領域を特定し、前記撮影画像から前記原稿画像を切り出す原稿画像切り出し部と、を備えたことを特徴とする。

前記撮影部は、前記原稿を載置する台座のみ又は前記台座と前記原稿とを撮影し、
前記画像処理部の前記撮影画像処理部は、
前記撮影部が前記台座のみを撮影することによって得られた第１の撮影画像と前記台座及び前記原稿を撮影することによって得られた第２の撮影画像との差分画像を、前記原稿画像のみを含む画像として生成するようにしてもよい。

前記角度検出部は、
前記撮影画像処理部が処理した処理画像を処理して、前記原稿画像の輪郭をエッジ線で表した２値エッジ画像を生成する２値エッジ画像生成部を備え、
前記２値エッジ画像生成部が生成した２値エッジ画像から、前記原稿画像の輪郭によるエッジ線を判別して前記直線を取得し、取得した直線の角度を検出するようにしてもよい。

前記角度検出部は、
前記撮影画像処理部が処理した処理画像を第１の方向に走査して、前記原稿画像の第１の走査方向における輪郭をエッジ線で表した２値エッジ画像を生成する第１の２値エッジ画像生成部と、
前記撮影画像処理部が処理した処理画像を、前記第１の方向とは異なる第２の方向に走査して、前記原稿画像の第２の走査方向における輪郭をエッジ線で表した２値エッジ画像を生成する第２の２値エッジ画像生成部と、を備え、
前記第１の２値エッジ画像生成部が生成した２値エッジ画像と前記第２の２値エッジ画像生成部が生成した２値エッジ画像とから、前記原稿画像の輪郭による各辺のエッジ線を判別して複数の直線を独立して取得し、取得した複数の直線の前記座標系における各角度を検出するようにしてもよい。

前記角度検出部は、独立して取得した複数の直線から有効な直線を判定し、有効と判定した直線の角度に基づいて、各直線の角度に範囲を設定し、設定した範囲を越える直線の角度があった場合、当該直線の角度に代えて、有効と判定した直線の角度に基づいて設定した角度を用いるようにしてもよい。

前記角度検出部は、取得した複数の角度を平均化して、１つの角度を特定するようにしてもよい。

前記角度検出部は、独立して取得した複数の直線から有効な直線を判定し、有効と判定した直線の角度に基づいて、各直線の角度に範囲を設定し、設定した範囲内の直線の角度のみを用いて平均化し、１つの角度を特定するようにしてもよい。

前記２値エッジ画像生成部は、前記原稿画像の輪郭の近傍に範囲を設定し、設定した範囲内でエッジを取得して、前記原稿画像の輪郭をエッジ線で表した２値エッジ画像を生成するようにしてもよい。

本発明の第２の観点に係る画像処理装置は、
原画像から、前記原画像に含まれる切り出し対象画像を切り出す画像処理装置において、
前記切り出し対象画像の形状を示す輪郭による直線を取得し、取得した直線の角度として、前記原画像を基準とする座標系における角度を検出する角度検出部と、
前記原画像を処理して、前記切り出し対象画像の輪郭による境界を、異なる画素値で表した２値画像を生成する２値画像生成部と、
前記２値画像生成部が生成した２値画像を、前記角度検出部が検出した角度に従って設定された方向に走査し、着目した画素値を有する画素の数を計数して前記切り出し対象画像の投影ヒストグラムを作成する投影ヒストグラム作成部と、
前記投影ヒストグラム作成部が作成した投影ヒストグラムから、前記切り出し対象画像の領域を特定するための座標データを取得する領域座標取得部と、
前記領域座標取得部が取得した座標データに基づいて前記切り出し対象画像の領域を特定し、前記原画像から前記切り出し対象画像を切り出す原稿画像切り出し部と、を備えたことを特徴とする。

本発明の第３の観点に係る画像処理方法は、
多角形の原稿を撮影するステップと、
撮影によって得られた撮影画像から、前記原稿に対応する原稿画像の形状を示す輪郭による直線を取得し、取得した直線の角度として、前記撮影画像を基準とする座標系における角度を検出するステップと、
前記撮影画像を処理して、前記原稿画像の輪郭による境界を異なる画素値で表した２値画像を生成するステップと、
前記生成した２値画像を、前記検出した角度に従って設定された方向に走査して、着目した画素値を有する画素の数を計数して前記原稿画像の投影ヒストグラムを作成するステップと、
前記作成した投影ヒストグラムから、前記原稿画像の領域を特定するための座標データを取得するステップと、
前記取得した座標データに基づいて前記原稿画像の領域を特定し、前記撮影画像から前記原稿画像を切り出すステップと、を備えたことを特徴とする。

本発明の第３の観点に係るプログラムは、
コンピュータに、
多角形の原稿を撮影する手順、
撮影によって得られた撮影画像から、前記原稿に対応する原稿画像の形状を示す輪郭による直線を取得し、取得した直線の角度として、前記撮影画像を基準とする座標系における角度を検出する手順、
前記撮影画像を処理して、前記原稿画像の輪郭による境界を異なる画素値で表した２値画像を生成する手順、
前記生成した２値画像を、前記検出した角度に従って設定された方向に走査して、着目した画素値を有する画素の数を計数して前記原稿画像の投影ヒストグラムを作成する手順、
前記作成した投影ヒストグラムから、前記原稿画像の領域を特定するための座標データを取得する手順、
前記取得した座標データに基づいて前記原稿画像の領域を特定し、前記撮影画像から前記原稿画像を切り出す手順、
を実行させるためのものである。

本発明によれば、原画像から切り出し対象画像を確実に切り出すことができる。

以下、本発明の実施形態に係る撮影装置を図面を参照して説明する。
（実施形態１）
実施形態１に係る撮影装置の構成を図１に示す。
撮影装置は、書画カメラ１と、コンピュータ２と、プロジェクタ３と、を備える。書画カメラ１とコンピュータ２とは、通信ケーブル３１を介して接続され、コンピュータ２とプロジェクタ３とは、ビデオ映像ケーブル３２を介して接続される。

書画カメラ１は、撮影対象を撮影するためのカメラシステムであり、カメラ部１１と、支柱１２と、台座１３と、を備える。カメラ部１１は、原稿５を撮影するためのものである。カメラ部１１には、デジタルカメラが用いられる。支柱１２は、カメラ部１１を取り付けるためのものである。台座１３は、支柱１２を支えるためのものである。

台座１３は、支柱１２を支えるためのものであり、図２に示すように、台座１３のほぼ中央部には十字マーク１４が刻印されている。十字マーク１４は、原稿５が載置されているか否かを識別するために刻印されたものである。

カメラ部１１は、撮影対象として、台座１３に載置された原稿５を撮影するものである。書画カメラ１は、カメラ部１１が撮影して得られた撮影画像から原稿５部分（用紙）による原稿画像を切り出し、斜め撮影歪みの検出処理を行って、撮影画像中の原稿画像を、あたかも原稿５を正面から撮影したような画像に変換し、スクリーン４に投影する。このため、撮影装置は、撮影画像の原稿５部分を切り出し、切り出した原稿画像の斜め歪みの検出処理を行う。

このため、書画カメラ１は、図３に示すように、画像データ生成部２１と、データ処理部２２と、からなる。画像データ生成部２１は、原稿５を撮影して原稿画像のデータを取り込むためのものである。

尚、画像データ生成部２１とデータ処理部２２とは、図１に示すカメラ部１１に備えられてもよいし、画像データ生成部２１、データ処理部２２が、カメラ部１１に備えられてもよい。

画像データ生成部２１は、光学レンズ装置１０１と、イメージセンサ１０２と、から構成される。

光学レンズ装置１０１は、原稿５を撮影するために、光を集光するレンズなどで構成されたものであり、焦点、露出、ホワイトバランス等のカメラ設定パラメータを調整するための周辺回路を備える。

イメージセンサ１０２は、光学レンズ装置１０１が光を集光することによって結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ等によって構成される。

データ処理部２２は、画像データ生成部２１から、撮影対象の画像データを取得して、コンピュータ２、プロジェクタ３に出力するための画像の処理を行うものである。

データ処理部２２は、メモリ２０１と、ビデオ出力装置２０２と、画像処理装置２０３と、操作部２０４と、プログラムコード記憶装置２０５と、ＣＰＵ２０６と、ＰＣインタフェース装置２０７と、から構成される。

メモリ２０１は、画像データ、フラグの値、閾値等を記憶するものである。メモリ２０１は、これらのデータが書き込まれる領域として、図４に示すように、センサ画像記憶領域２０１ａと、処理画像記憶領域２０１ｂと、表示画像記憶領域２０１ｃと、作業データ記憶領域２０１ｄと、閾値記憶領域２０１ｅと、を有する。

センサ画像記憶領域２０１ａは、イメージセンサ１０２が取り込んだ画像データを、撮影する毎に一時記憶するための領域である。処理画像記憶領域２０１ｂは、画像処理装置２０３が処理に必要な画像データを書き込むための領域である。作業データ記憶領域２０１ｄは、座標データ、フラグを記憶するための領域である。閾値記憶領域２０１ｅは、各種判定に用いる閾値を記憶するための領域である。

ビデオ出力装置２０２は、ＲＧＢ信号を生成するものである。ビデオ出力装置２０２は、プロジェクタ３に接続されると、生成したＲＧＢ信号をプロジェクタ３に出力する。尚、ビデオ出力装置２０２は、ＲＧＢ信号をコンピュータ２を介してプロジェクタ３に送り出すように構成されてもよい。

画像処理装置２０３は、ＣＰＵ２０６に制御されて、メモリ２０１に一時記憶された画像データに対して画像処理を行うためのものである。画像処理装置２０３は、以下のような処理を行う。

単機能画像処理
（１）差分画像生成処理
（２）２値エッジ画像作成処理
（３）角度検出処理
（４）２値画像作成処理
（５）投影ヒストグラム作成処理
（６）領域座標変換処理
（７）画像変換処理（切り抜きと射影補正）
（８）画像の鮮明化処理
（９）画像の圧縮処理
複合機能画像処理
（１０）原稿有無判定処理
（１１）動画投影処理
（１２）原稿投影処理

（１）〜（９）の単機能画像処理は、単機能の画像処理であり、（１０）〜（１２）の複合機能画像処理は、（１）〜（９）のうちのいくつかの画像処理機能を組み合わせた処理である。この（１）〜（１２）までの処理を具体的に説明する。
（１）差分画像生成処理
差分画像生成処理は、原稿５が台座１３に載置されていないときの撮影画像を比較画像、原稿５が台座１３に載置されているときの撮影画像を対象画像として比較し、両画像の各ピクセルの差としての差分画像を生成する処理である。この差分画像は、次の数１によって表される。

比較画像ｒ、対象画像ｑが、それぞれ、図５（ａ），（ｂ）に示すような画像である場合、画像処理装置２０３は、両画像ｒ，ｑを比較して数１に従い、図５（ｃ）に示すような差分画像ｄを生成する。

この対象画像ｑが原画像であり、この差分画像ｄは、台座画像が除去されて原稿画像のみを含む処理画像であり、原稿画像が切り出し対象画像となる。この差分画像ｄの各ピクセルの色は、両画像ｒ，ｑの各ピクセル値の差が大きくなるに従って白に近づく。このようにして作成された差分画像をｄ(x,y)とする。画像処理装置２０３は、生成した差分画像ｄ(x,y)をメモリ２０１の処理画像記憶領域２０１ｂに記憶する。

（２）２値エッジ画像作成処理
２値エッジ画像作成処理は、画像のエッジを検出し、輪郭によって形成されるエッジ画像を作成する処理である。

エッジ画像を作成するには、例えば、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いる。このＲｏｂｅｒｔｓフィルタとは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１、Δ２を取得し、平均化することによって、画像のエッジを検出するフィルタである。

ある着目した座標（x,y）の画素の画素値ｆ(x,y）にＲｏｂｅｒｔｓフィルタを適用すると、変換後の画素値ｇ(x,y）は、次の数２によって表される。

画像処理装置２０３は、差分画像生成処理において撮影画像を処理した差分画像に対し、さらに、このようにフィルタ処理を行い、得られたエッジ画像を２値化する。画像処理装置２０３は、画素値ｇ(x,y）を予め設定された閾値g_thと比較することにより、エッジ画像の２値化を行う。

閾値g_thは、固定値であってもよいし、可変閾値法等の方法によって求められた可変値であってもよく、メモリ２０１の閾値記憶領域２１０ｅに予め記憶される。画像処理装置２０３は、数２に基づいて得られたエッジ画像の画素値ｇ（x,y）から、数３を用いて２値エッジ画像の座標(x,y)における画素値ｈ(x,y)を求める。

画像処理装置２０３は、原稿画像の角度（傾き）を検出するために、図５（ｃ）に示すような差分画像ｄ(x,y)に対してこの処理を実行する。そして、画像処理装置２０３は、図５（ｄ）に示すような２値エッジ画像ｄjを生成する。

（３）角度検出処理
角度検出処理は、２値エッジ画像作成処理において得られた２値エッジ画像ｄjから、原稿画像の形状を示す輪郭による直線として、最も長い直線を取得し、その角度を検出する処理である。画像処理装置２０３は、この処理によって取得した直線の角度を、投影ヒストグラム作成処理においても用いる。

画像処理装置２０３は、まず、２値エッジ画像作成処理において作成した２値エッジ画像ｄjに対して、ハフ変換を行うことにより、原稿画像の輪郭を形成する直線を検出する。

ハフ変換とは、図６（ａ）に示すようなＸc−Ｙc平面上の直線を構成する点を、次の数４によって表される図６（ｂ）に示すようなρ-θ平面上に投票して、ρ-θ平面上の投票数に変換する変換手法である。

尚、Ｘc−Ｙc座標系は、撮影画像を基準として、その画像中心を原点とする画像座標系である。

各点の座標（ｘc、ｙc）において角度θを０から３６０°まで変化させた場合、同一直線はρ-θ平面では一点で表される。このため、投票数の多いρ-θ座標を直線と判断することができる。

ハフ変換を用いる手法では、調査対象の点、角度θが多くなるに従って、処理速度が低下する。この処理速度の低下を回避するため、必要な精度で角度の検出が可能となる程度に画像を縮小することが好ましい。このため、画像処理装置２０３は、矩形検出用の画像として、低解像度画像又は縮小画像を用いる。これにより、調査対象を減らすことができる。

さらに、以下の方法により調査角度を減らすことができる。
調査対象であるエッジ画像において画像中心を原点とした座標系で考えると、ρはマイナスの値も取ることになるため、角度θを０°≦θ＜１８０°の範囲で測定すれば、ρは残りの１８０°≦θ＜０°の範囲で負になる。

しかし、撮影対象の中心が画像の中心近辺に位置する場合、実際に撮影される撮影対象（四角形）の各辺は、上下左右に存在することになる。この場合、ρ-θ平面上の投票数を０°≦θ＜１８０°の範囲で調査するよりは、以下の数５で表される範囲で測定した方が、より効率的である。

従って、画像処理装置２０３は、数５に示す範囲で、ρ-θ平面上の投票数を調査する。そして、投票数にピーク値が現れれば、画像処理装置２０３は、このピーク値が原稿画像の輪郭を形成する直線によるものと判別し、このうち、投票数が最大の直線を直線候補とする。

さらに、画像処理装置２０３は、この直線候補の投票数と予め設定された閾値p_thとを比較し、投票数がこの閾値p_thを越えている場合、この直線候補は有効な投票数を確保しており、原稿画像の輪郭を形成する直線のうち、最長の直線として有効な直線と判定する。メモリ２０１は、この閾値p_thを閾値記憶領域２０１ｅに予め記憶する。

（４）２値画像作成処理
２値画像作成処理は、差分画像の各画素値と予め設定された閾値とを比較することにより、差分画像の各画素値を２値化して、その２値画像を作成する処理である。

差分画像ｄでは、原稿画像の輪郭エッジを特定しにくい場合がある。画像処理装置２０３は、このような誤判定を防止するため、図５（ｃ）に示すような差分画像ｄ(x,y)を２値化して、図５（ｅ）に示すような差分２値画像ｂ(x,y)を作成し、作成した差分２値画像ｂ(x,y)に基づいて原稿画像の領域を取得する。この差分２値画像ｂ(x,y)は、図５（ｅ）に示すように、原稿画像の輪郭による境界を、異なる画素値で表した２値画像になり、この境界で原稿画像の輪郭が明示される。

図５（ｃ）に示すような差分画像ｄ(x,y)の場合、画像処理装置２０３は、数３において、ｈ(x,y)＝ｄ(x,y)として、数３の演算を行うことにより、この図５（ｅ）に示す差分２値画像ｂ(x,y)を生成する。

（５）投影ヒストグラム作成処理
投影ヒストグラム作成処理は、２値画像作成処理において取得した差分２値画像ｂ(x,y)の投影ヒストグラムを作成する処理である。画像処理装置２０３は、差分２値画像ｂ(x,y)に基づいて原稿画像の領域を取得するためにこの処理を行う。

図５（ｅ）に示すような差分２値画像ｂ(x,y)の場合、画像処理装置２０３は、この処理を実行することにより、図７に示すような差分２値画像ｂ(x,y)の投影ヒストグラムHhθ，Hvθを作成する。

図５（ｅ）に示す差分２値画像ｂ(x,y)において、白い点は、画素値が予め設定された閾値を越える画素を表す。画像処理装置２０３は、この差分２値化画像ｂ(x,y)の画素値が閾値を越える白い点の画像中心原点座標(xc,yc)と直線検出処理において検出した原稿画像５qの角度θとを数４に代入し、このときの投票箱(ρ,θ)における投票数を次の数６に代入することにより、投影ヒストグラムHhθ，Hvθを求める。

このように、画像処理装置２０３は、この差分２値化画像ｂ(x,y)を、直線検出処理において検出した直線の角度θに基づいて設定された方向に走査し、着目した白い点の画素数を設定した方向に計数して投影ヒストグラムHhθ，Hvθを求める。

（６）領域座標変換処理
領域座標変換処理は、原稿画像５qの輪郭によって形成される矩形の４つの頂点を取得する処理である。画像処理装置２０３は、図７に示すような投影ヒストグラムHhθを一端Hhθ[0]から走査して、その立ち上がり位置hθs、hθlを取得する。また、画像処理装置２０３は、投影ヒストグラムHvθの一端Hvθ[0]から走査して、その立ち上がり位置vθs、vθlを取得する。

そして、画像処理装置２０３は、投影ヒストグラムHhθの立ち上がり位置hθs、hθlと投影ヒストグラムHvθの立ち上がり位置vθs、vθlと、原稿画像５qの角度θと、を次の数７に代入する。

数７は、原稿画像５qの輪郭をなす辺（の情報）を取得するための計算式である。画像処理装置２０３は、数７に示す連立方程式を解くことにより各辺の交点を求め、原稿画像５qの輪郭をなす矩形の４つの頂点座標を取得する。この４つの頂点座標データは、原稿画像５qの領域を特定するための座標データである。

（７）画像変換処理（切り抜き、射影補正）
画像変換処理は、画像の切り抜きと射影補正等を含む処理である。切り抜き処理は、領域座標変換処理において取得した矩形の４つの頂点に基づいて、撮影画像から原稿画像を切り抜く処理である。通常、補正を行わずに切り抜かれた原稿画像は歪んだものになる。

射影補正処理は、切り取った原稿画像を射影変換することにより、原稿画像の歪みを補正する処理である。画像処理装置２０３は、この歪みを補正するため、画像の空間変換に幅広く応用されているアフィン変換を用いる。画像処理装置２０３は、原稿画像等の元画像から、射影補正画像とのアフィン変換の関係を示すアフィンパラメータＡを抽出し、この変換Ａを用いて、求める射影補正画像の各画素Ｐ(u,v)に対応する元画像の画素点ｐ(x,y)を求めることによって射影補正を行う。

次に、アフィン変換についての基本的な考え方（実現方法）を説明する。

画像の空間変換にアフィン変換が幅広く応用されている。本実施形態では、３次元のカメラパラメータを用いずに２次元アフィン変換を用いて射影変換を行う。変換前の座標(u,v）の点は、移動、拡大縮小、回転などの変換が行われることによって変換後の座標(x,y)になる。変換前の座標(u,v）と変換後の座標(x,y)とは、次の数８によって関係付けられる。射影変換はこのアフィン変換により行われる。

最終的な座標(x,y)は、次の数９によって算出される。

数９は、射影変換するための式であり、座標(x,y)は、z'の値に従い、０に向かって縮退する。即ち、z'に含まれるパラメータが射影に影響を及ぼすことになる。このパラメータはａ13，ａ23，ａ33である。また、他のパラメータは、パラメータａ33で正規化されることができるので、ａ33を１としてもよい。

図８は、カメラ部１１が四角形の撮影対象（台座１３、原稿５）を撮影した場合、撮影画像上の四角形と実際の撮影対象の形状との関係について説明するための図である。図中に各頂点の座標を示す。

図８において、Ａ（Ａu,Ａv,Ａw）ベクトルとＢ（Ｂu,Ｂv,Ｂw）ベクトルとは、３次元座標系Ｕ−Ｖ−Ｗにおいて、撮影対象をベクトルで表したものである。また、Ｓ（Ｓu,Ｓv,Ｓw）ベクトルは、３次元座標系Ｕ−Ｖ−Ｗの原点と撮影対象との距離を示す。

図８に示す撮影画像の仮想投影スクリーンＳは、カメラ部１１で撮影された画像が投影されるスクリーン４を仮想的に示したものであり、撮影対象の画像は、この仮想投影スクリーンＳに射影される。仮想投影スクリーンＳ上の座標系を（x,y）とすると、この仮想投影スクリーンＳ上に投影される画像がカメラ部１１に撮影される画像に対応する。

仮想投影スクリーンＳは、Ｗ軸上から距離ｆだけ離れて垂直に位置するものとする。撮影対象上の任意の点Ｐ（u,v,w）と原点とを直線で結び、その直線と仮想投影スクリーンＳと交差する点があるものとして、その交点のＸ−Ｙ座標をｐ(x,y）とする。このとき、座標ｐは、射影変換より次の数１０によって表される。

数１０より、図８に示すように４つの頂点Ｐ0，Ｐ1，Ｐ2，Ｐ3と仮想投影スクリーンＳへの投影点ｐ0，ｐ1，ｐ2，ｐ3との関係から、次の数１１に示す関係が求められる。

このとき、射影係数α、βは次の数１２によって表される。

次に、射影変換について説明する。撮影対象上の任意の点Ｐ=(x,y)は、Ｓ，Ａ，Ｂベクトルを用いて、次の数１３によって表される。

この数１３に、数１１の関係式を代入すると、座標ｘとｙとは、次の数１４によって表される。

この関係を、アフィン変換の式（数８）に当てはめると、座標（x',y',z'）は、次の数１５によって表される。

この数１５にｍ，ｎを代入することにより、撮影画像の対応点（x,y）が求められる。対応点（x,y）は、整数値とは限らないので、画像補間法などを用いて画素の値を求めればよい。

上記ｍ，ｎは、予め補正画像ｐ(u,v)を出力する画像サイズ（0≦u＜umax, 0≦v＜vmax）を与えて、その画像サイズに合わせて画像を調整する方法により求められることが考えられる。この方法によれば、ｍ，ｎは次の数１６によって表される。

しかし、作成される補正画像の縦横比と撮影対象の縦横比とは一致しない。ここで、補正画像ｐ(u,v)とｍ、ｎの値との関係は、数１０、１１から、次の数１７によって表される。

カメラパラメータであるレンズの焦点距離ｆが既知であれば、数１７に従って、縦横比ｋを求めることができる。従って、補正画像ｐ(u,v)の画像サイズを（0≦u＜umax, 0≦v＜vmax）であるとすると、次の数１８に従ってｍ、ｎを求めることにより、撮影対象と同じ縦横比ｋを得ることができる。

尚、カメラが固定焦点である場合、レンズの焦点距離ｆの値を、予め得ることができる。ズームレンズ等が存在する場合には、レンズの焦点距離ｆの値は、レンズのズーム倍率によって変化する。この場合、例えば、そのズーム倍率とレンズの焦点距離ｆとの関係を示すテーブルを予め作成して記憶し、ズーム倍率に基づいて焦点距離ｆを読み出し、数１３，数１４に従って、射影変換を行う。

以上から、入力画像p(x,y)から、出力画像Ｐ(u,v)の値を得るためには、まず、４つの頂点(x0,y0),(x1,y1),(x2,y2),(x3,y3)から、数１２でα、βを求める。つぎに数１７に従って縦横比ｋを算出する。

次に、数１８で出力画像の座標値(u,v)から(m,n)を求め、この(m,n)を数１５に代入して、(x',y',z')を求め、数９から入力画像の対応画素の座標(x,y)を得る。

尚、対応画素の座標(x,y)は、整数になるとは限らない。このため、対応座標の画素座標は近傍の画素の座標から補間等を行って求められる。補間方法としてバイリニア法を用いればよい。バイリニア法による補間方法は、一方の画像（画像ｐ）の座標点（x,y）と対応する他方の画像（射影変換画像Ｐ）の座標点（u,v）を探し出し、一方の画像の座標点（x,y）の周辺４点の画素値から他方の画像の座標点（u,v）の画素値を求める方法である。バイリニア方による補間法を用いた場合、画素座標は数１９に従って求められる。

（８）画像の鮮明化処理
画像の鮮明化処理は、切り出した画像を、輝度引き伸ばし、カラー補正等を行うことにより、視認性の優れた画像に修正する処理である。

画像処理装置２０３は、画像の鮮明化処理を行うため、切り出した画像から、画像効果補正用パラメータを抽出する。この画像効果補正用パラメータは、輝度ヒストグラムの最大値、最小値、ピーク値、色差ヒストグラムのピーク値、平均値といった画像効果処理に必要な変数である。画像処理装置２０３は、抽出した画像効果補正用パラメータを、画像が鮮明化されるような値に変換することにより画像の鮮明化処理を行う。

（６）画像の圧縮
画像の圧縮処理は、プロジェクタ３に送り出す画像データを圧縮する処理である。

（１０）原稿有無判定処理
原稿有無判定処理は、台座１３に原稿５が載置されているか否かを判定する処理である。画像処理装置２０３は、この処理を、被写体が静止したときに実行する。

原稿５の有無判定には、図２に示すような台座１３に刻印された十字マーク１４が用いられる。画像処理装置２０３は、原稿５の有無判定を行うため、縮小画像の作成処理を実行して、撮影画像から、図９（ａ）に示すような縮小画像ｑを生成する。次に、画像処理装置２０３は、２値エッジ画像作成処理を実行して図９（ｂ）に示すようなエッジ画像ｑjを作成し、台座１３に刻印された十字マーク１４に対応する十字エッジ画像１４jの検出処理を実行する。

このため、画像処理装置２０３は、エッジ画像ｑjの中央部分の領域Area_1(x1≦x≦x2,y1≦y≦y2)内を縦走査方向に走査して、十字エッジ画像１４jの画素数をカウントする。

また、画像処理装置２０３は、２値エッジ画像ｆj(x,y)を横走査方向に走査して、十字エッジ画像１４jの画素数をカウントする。縦走査方向、横走査方向のカウント数は、次の数２０によって表される。

数２０に従って、画像処理装置２０３は、中央部分Area_1を縦走査方向に走査したときの図９（ｃ）に示すようなヒストグラムHvを作成する。横走査方向についても、画像処理装置２０３は、同様にヒストグラムHhを作成する。

ヒストグラムHvの場合、画像処理装置２０３は、数２０に従って作成したヒストグラムHvの画素数に対して、図９（ｃ）の破線で示すような閾値Hv_thを設定する。この閾値Hv_thは、十字エッジ画像１４jによる縦走査方向の画素数のピーク値を検出するために予め設定された閾値である。メモリ２０１は、この閾値Hv_thと、横走査方向のヒストグラムHvの画素数に対して予め設定された閾値Hh_thと、を閾値記憶領域２０１ｅに記憶する。

画像処理装置２０３は、ヒストグラムHv，Hhに基づいて十字エッジ画像１４jの検出処理を行う。撮影画像に、図９（ｂ）に示すような十字エッジ画像１４jが含まれている場合、図９（ｃ）に示すように、十字マーク１４の幅に対応する間隔で、予め設定された閾値Hv_thを越えるような２つのピーク値が現れる。

縦走査方向、横走査方向において、それぞれ、２つのピーク値が閾値Hv_th、Hh_thを越えた場合、画像処理装置２０３は、十字エッジ画像１４jが検出されたと判定する。

尚、画像処理装置２０３は、検出した十字エッジ画像１４jの座標をメモリ２０１の作業データ記憶領域２０１ｄに記憶する。画像処理装置２０３は、十字エッジ画像１４jの座標を位置ずれ領域を設定するために用いる。この位置ずれ領域は、台座１３に対するカメラ部１１の撮影方向の変化を判別するために用いられる。
また、画像処理装置２０３は、十字エッジ画像１４jの座標に基づいて台座画像の４つの頂点座標(xstand_i,ystand_i)を算出する（i=0,1,2,3）。画像処理装置２０３は、算出した４つの頂点座標(xstand_i,ystand_i)のデータを、原稿画像の輪郭を取得できなかった場合の画像切り出し用座標として用いる。画像処理装置２０３は、この４つの頂点座標(xstand_i,ystand_i)のデータをメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

一方、台座１３に原稿５が載置されている場合、それぞれ、閾値Hv_th、Hh_thを越えるような２つのピーク値は現れない。閾値Hv_th、Hh_thを越えるような２つのピーク値がなければ、画像処理装置２０３は、十字エッジ画像１４jが検出されなかったと判定し、台座１３に原稿５が載置されていると判定する。

次に、十字エッジ画像１４jが検出された場合でも、画像処理装置２０３は、台座１３に原稿５が載置されていると判定することはできない。即ち、原稿５に十字マークが記載されている場合もあるからである。このため、画像処理装置２０３は、十字マーク１４を除いた台座１３の領域部分のエッジ数に基づいて、台座１３に原稿５が載置されているか否かを判定する。

まず、画像処理装置２０３は、図１０（ａ）に示すようなマスクパターンｗを用いて図１０（ｂ）に示すような台座切り出し画像ｔを取得する。このマスクパターンｗは、台座画像の輪郭１３q内側であって領域Area_1を除いた領域Area_2を有する。マスクパターンｗは、一種の２値画像であり、領域Area_2の画素値が１となるようなパターンである。

尚、このマスクパターンｗは予め作成されており、メモリ２０１は、このマスクパターンｗを処理画像記憶領域２０１ｂに予め記憶する。画像処理装置２０３は、このマスクパターンｗを処理画像記憶領域２０１ｂから読み出し、このマスクパターンｗを用いて台座切り出し画像ｔを取得する。

台座切り出し画像ｔを取得するための演算式は、次の数２１によって表され、画像処理装置２０３は、数２１に従って、台座切り出し画像ｔを取得する。

領域Area_2内のエッジの画素値を１とすると、台座切り出し画像ｔは、その領域内のエッジ情報を表すことになる。

画像処理装置２０３は、このマスクパターンｗを用いて生成した台座切り出し画像ｔを取得し、さらに、台座切り出し画像ｔ内のエッジを構成する画素の画素数を計数する。台座切り出し画像ｔ内のエッジ総数Ecountは、数２２によって表され、画像処理装置２０３は、数２２に従って、エッジ総数Ecountを取得する。

ここで、台座１３にごみが付着していたり、台座１３に傷があったりすると、ごみや傷等によるエッジを、原稿５に記載された文字や図形によるエッジであると誤判定してしまう。このような誤判定を防止するため、画像処理装置２０３は、予め設定された閾値Ecount_thと検出したエッジ総数Ecountとを比較して、台座１３に原稿５が載置されているか否かを判定する。

傷等による画像のエッジ数は、台座１３に原稿５が載置された場合に検出されたエッジの数と比較して著しく少なくなる。従って、閾値Ecount_thとエッジ総数Ecountとを比較することにより、検出されたエッジが台座１３に付着したごみや、台座１３の傷等によるものなのか、原稿５に記載された文字や図形によるものなのかを判定することができる。

メモリ２０１は、この閾値Ecount_thを閾値記憶領域２０１ｅに予め記憶する。エッジ総数Ecountが閾値Ecount_th以上であれば、検出されたエッジは、原稿５に記載された文字や図形によるものであり、画像処理装置２０３は、台座１３に原稿５が載置されていることを示すため、原稿５の有無判別用の原稿有無結果フラグのフラグ値をセットして、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する。

一方、画像処理装置２０３は、エッジ総数Ecountが閾値Ecount_th未満であれば、検出されたエッジが台座１３に付着したごみや、台座１３の傷等によるものと判定する。即ち、画像処理装置２０３は、台座１３に原稿５が載置されていないと判定する。

（１１）動画投影処理
動画投影処理は、原稿５が載置される前、あるいは原稿５の差し替えを行っているときに、プロジェクタ３を介してリアルタイムに現在の画像を投影する処理である。

画像処理装置２０３は、画像データ生成部２１から取り込まれた低解像度画像をメモリ２０１のセンサ画像記憶領域２０１ａから読み出し、同じメモリ２０１内の表示画像記憶領域２０１ｃにコピーして画像圧縮処理を行う。

（１２）原稿投影処理
原稿投影処理は、原稿５が載置されて静止しているときに、プロジェクタ３に図２１（ｃ）に示すような変換画像をスクリーン４に投影させる処理である。

画像処理装置２０３は、図２１（ｃ）に示すような変換画像を生成するため、画像変換処理を実行して原稿５の画像を切り出す。この際、台座画像の輪郭が原稿画像の輪郭の認識に影響を及ぼすため、画像処理装置２０３は、台座画像の輪郭を除去する。

このため、画像処理装置２０３は、差分画像生成処理を実行して差分画像ｄ(x,y)を生成する。画像処理装置２０３は、２値エッジ画像作成処理を実行して、２値エッジ画像ｄjを作成する。画像処理装置２０３は、角度検出処理を実行して、原稿画像の矩形領域の角度θを求める。画像処理装置２０３は、２値画像作成処理を実行して、差分画像ｄ(x,y)から、差分２値画像ｂ(x,y)を生成する。

画像処理装置２０３は、投影ヒストグラム作成処理を実行し、矩形領域の傾きθとこの差分２値画像ｂ(x,y)とから、原稿画像の投影ヒストグラムHhθ，Hvθを生成する。

画像処理装置２０３は、領域座標変換処理を実行し、原稿画像の矩形領域の傾きθと、生成した投影ヒストグラムHhθ，Hvθと、から、矩形領域の４つの頂点座標を取得する。

尚、画像処理装置２０３は、原稿画像の輪郭の取得に成功した場合には、取得した矩形領域の４頂点の座標データをメモリ２０１の作業データ記憶領域２０１ｄに記憶する。

一方、画像処理装置２０３は、原稿画像の輪郭の取得に失敗した場合、原稿有無判定処理において、メモリ２０１の作業データ記憶領域２０１ｄに記憶した台座画像の輪郭の頂点を切り出しの４頂点として用いる。

画像処理装置２０３は、取得した頂点座標の値を、高解像度画像の座標系に変換する。例えば、画像処理装置２０３は、取得した４つの頂点をそれぞれ、(xi,yi)（i＝0,1,2,3）とする。

低解像度画像の縮小画像の画素サイズを（xsmax,ysmax）、高解像度画像の画素サイズを（xhmax,yhmax）とすると、高解像度画像での矩形輪郭の頂点（x'i,y'i）（i＝0,1,2,3）は、次の数２３によって求められる。

画像処理装置２０３は、数２３に従って矩形輪郭の頂点（x'i,y'i）を取得し、画像変換処理を実行して、原稿画像の切り出しと正面画像の補正を行う。また、画像処理装置２０３は、補正された画像に対して、前述の画像の鮮明化処理を実行して、原稿画像を視認性の高い画像に変換する。

画像処理装置２０３は、このように変換した画像データを、メモリ２０１内の表示画像記憶領域２０１ｃに記録し、記録した画像データに対して、前述の画像の圧縮処理を実行する。

図３に戻り、操作部２０４は、ユーザの操作情報を取得するためのものであり、撮影装置の機能を制御するためのスイッチ、キーとして、電源スイッチと、モードスイッチと、シャッターと、画像調整キーと、撮影／解除キーと、を備える（図示せず）。

電源スイッチは、書画カメラ１の電源をオン（ＯＮ）、オフ（ＯＦＦ）するためのものである。
モードスイッチは、撮影モードとして静止画モードと動画動作モードとのいずれかを設定するためのスイッチである。

シャッターは、撮影時に押下するスイッチである。画像調整キーは、画像処理を行うとき又は画像処理された画像の調整を行うときに操作するキーであり、複数のキーからなる。

操作部２０４は、ユーザがスイッチ、キーを操作したときの操作情報をＣＰＵ２０６に出力する。

プログラムコード記憶装置２０５は、ＣＰＵ２０６が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。

ＣＰＵ２０６は、プログラムコード記憶装置２０５に格納されているプログラムに従って、各部を制御する。尚、メモリ２０１は、ＣＰＵ２０６の作業メモリとしても用いられる。

ＣＰＵ２０６は、操作部２０４のモードスイッチの状態を判別し、撮影モードを動画動作モード又は静止画モードに設定する。

また、ＣＰＵ２０６は、台座１３等、撮影範囲内の被写体に動きがあるか否かの判定を行う。ＣＰＵ２０６は、この判定を画像変化量ＭＤに基づいて行う。この画像変化量ＭＤは、新たに撮影した画像が前回撮影した時の画像と比較してどれぐらい変化したかを示す量である。ＣＰＵ２０６は、次の数２４に基づいて、画像変化量ＭＤを求める。

尚、全画素の総和を求めるには、計算量が多いので、ＣＰＵ２０６は、いくつかの画素を抜き出して画像変化量ＭＤを求めるようにしてもよい。

ＣＰＵ２０６は、撮影範囲内の被写体に動きがあるか否かの判定を、この画像変化量ＭＤと予め設定された閾値MD_thとを比較することにより行う。閾値MD_thは、この判定を行うために予め設定されたものであり、メモリ２０１は、この閾値MD_thを閾値記憶領域２０１ｅに予め記憶する。

原稿４を差し替える場合、撮影画像は変化し、画像変化量ＭＤは閾値MD_thを越える。ＣＰＵ２０６は、画像変化量ＭＤが閾値MD_thを越えていれば、撮影範囲内の被写体に動きがあると判定し、閾値MD_th以下であれば、撮影範囲内の被写体に動きがないと判定する。

尚、ＣＰＵ２０６は、撮影範囲内の被写体に動きがあると判定すると、撮影モードを動画動作モードに設定する。動画動作モードは、リアルタイム性を重視するモードである。

ＣＰＵ２０６は、動画動作モードにおいて、例えば、画像解像度がＸＧＡ（１０２４×７６８ドット）程度の画像を３０ｆｐｓ（フレーム/秒）の速さで動画投影を行なうように、各部を制御する。

また、原稿５が台座１３に載置されたまま、スクリーン４に原稿５の画像を投影している場合、撮影範囲内の被写体の動きが停止する。この場合、ＣＰＵ２０６は、被写体に動きがないと判定して、撮影モードを静止画モードに設定する。静止画モードは、解像度を重視するモードである。

ＣＰＵ２０６は、静止画モードにおいて、カメラ部１１で高解像度の画像撮影を行わせる。そして、ＣＰＵ２０６は、動画動作モード時よりも解像度が高く、より鮮明な原稿画像を取得する。そして、ＣＰＵ２０６は、この高解像度の静止画像の投影を行うように、各部を制御する。例えば、カメラ部１１が撮影解像度３００万画素のカメラである場合、ＣＰＵ２０６は、静止画モードにおいて、切り出した投影画像としてＸＧＡ（１０２４×７６８）の静止画像を生成するにように各部を制御する。

また、ＣＰＵ２０６は、メモリ２０１の作業データ記憶領域２０１ｄに記憶された原稿有無判定フラグのフラグ値を参照して、台座１３に原稿５が載置されているか否かを判定する。

ＣＰＵ２０６は、台座１３に原稿５が載置されていないと判定した場合、さらに、十字エッジ画像１４jの位置が、予め設定された位置ずれ領域内か否かを判定する。

十字エッジ画像１４jの位置が位置ずれ領域外と判定した場合、台座１３に対するカメラ部１１の撮影方向が変わっている可能性があるため、ＣＰＵ２０６は、ユーザに警告を発する。警告は、例えば、音声による警告であっても、書画カメラ１の液晶ディスプレイ（図示せず）への表示による警告であってもよい。

ＰＣインタフェース装置２０７は、画像データ等を、ＵＳＢ（Universal Serial Bus）規格のデータに変換し、通信ケーブル３１を介してコンピュータ２に送信するとともに、コンピュータ２からのデータ、信号を受信するためのものである。

コンピュータ２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、記憶装置（ＨＤＤ）等を備えたものであり、書画カメラ１から通信ケーブル３１を介して画像データを受信し、圧縮された画像データをデコードして、描画処理又はファイル保存処理を行う。書画撮影の場合、コンピュータ２は、描画処理を行い、ビデオ映像ケーブル３２を介してプロジェクタ３に画像データを供給する。ボード撮影の場合、コンピュータ２は、デコードした画像データをファイル保存する。

プロジェクタ３は、書画撮影の場合に、コンピュータ２から供給された画像データを投影光に変換し、スクリーン４にこの投影光を照射して原稿５の画像をスクリーン４上の画像を結像させるものである。

次に実施形態１に係る撮影装置の動作を説明する。
ユーザが書画カメラ１の電源をＯＮすると、書画カメラ１のＣＰＵ２０６は、プログラムコード記憶装置２０６からプログラムコードを読み出してカメラ基本処理を実行する。

このカメラ基本投影処理の内容を図１１に示すフローチャートに従って説明する。
ＣＰＵ２０６は、光学レンズ装置１０１の周辺回路を制御して、光学レンズ装置１０１の焦点、ズームレンズ位置、絞りなどのカメラ設定と、ビデオ出力装置２０２等の初期化と、を行う（ステップＳ１１）。

ＣＰＵ２０６は、メモリ２０１の初期化、通信、画像処理等に用いるデータの初期化を行うとともに、撮影モードを動画動作モードにセットする（ステップＳ１２）。

次に、ＣＰＵ２０６は、撮影が最適になる条件を探して最適条件となるように、各データの初期化を行う（ステップＳ１３）。

ＣＰＵ２０６は、画像データ生成部２１を制御して、低解像度でのカメラ撮影を行わせる（ステップＳ１４）。

ＣＰＵ２０６は、既にメモリ２０１のセンサ画像記憶領域２０１ａに記憶されている前回の画像データと、イメージセンサ１０２が新たに取り込んだ画像データとの画像変化量ＭＤを、数２４を用いて求める（ステップＳ１５）。

ＣＰＵ２０６は、次に撮影する画像と比較するための画像データとして、イメージセンサ１０２が取り込んだ画像データをメモリ２０１のセンサ画像記憶領域２０１ａに記憶する（ステップＳ１６）。

ＣＰＵ２０６は、メモリ２０１の閾値記憶領域２０１ｅから閾値MD_thを読み出し、求めた画像変化量ＭＤと読み出した閾値MD_thとを比較することにより、撮影範囲内の被写体に動きがあるか否かを判定する（ステップＳ１７）。

画像変化量ＭＤが閾値MD_thを越えている場合、ＣＰＵ２０６は、撮影範囲内の被写体に動きがあると判定する（ステップＳ１７においてＹｅｓ）。この場合、ＣＰＵ２０６は、撮影モードを動画動作モードに設定する（ステップＳ１８）。

ＣＰＵ２０６は、撮影モードを動画動作モードに設定すると、画像処理装置２０３に動画投影処理を実行させる（ステップＳ１９）。画像処理装置２０３、ビデオ出力装置２０２は、図１２に示すフローチャートに従って動画投影処理を実行する。

即ち、画像処理装置２０３は、低解像度画像のデータを、メモリ２０１のセンサ画像記憶領域２０１ａから読み出して、同じメモリ２０１内の表示画像記憶領域２０１ｃにコピーする（ステップＳ３１）。

画像処理装置２０３は、メモリ２０１内の表示画像記憶領域２０１ｃに記憶された画像データを圧縮する（ステップＳ３２）。
ビデオ出力装置２０２は、圧縮した画像データをプロジェクタ３に送信する（ステップＳ３３）。

画像処理装置２０３、ビデオ出力装置２０２が動画投影処理を実行すると、ＣＰＵ２０６は、再度、画像データ生成部２１を制御して、低解像度でのカメラ撮影を行わせ、画像変化量ＭＤを求めて撮影画像の保存を行う（図１１のステップＳ１４〜Ｓ１６）。

画像変化量ＭＤが閾値MD_th以下の場合、ＣＰＵ２０６は、撮影範囲内の被写体に動きがないと判定する（ステップＳ１７においてＮｏ）。この場合、ＣＰＵ２０６は、撮影モードが動画動作モードであるか否かを判定する（ステップＳ２０）。

撮影モードが動画動作モードではないと判定した場合（ステップＳ２０においてＮｏ）、ＣＰＵ２０６は、撮影モードが静止画モードになっているか否かを判定する（ステップＳ２１）。

静止画モードになっていると判定した場合（ステップＳ２１においてＹｅｓ）、ＣＰＵ２０６は、高解像度の静止画像を既に取得しているとして、現在の静止画像をメモリ２０１のセンサ画像記憶領域２０１ａに保持し続ける。

静止画モードにはなっていないと判定した場合（ステップＳ２１においてＮｏ）、ＣＰＵ２０６は、再度、画像処理装置２０３に動画投影処理を実行させる（ステップＳ１９）。

一方、被写体に動きがなく、撮影モードが動画動作モードであると判定した場合（ステップＳ１７においてＮｏ、ステップＳ２０においてＹｅｓ）、ＣＰＵ２０６は、被写体の動きが停止したと判定する。ＣＰＵ２０６は、このように判定すると、図１３に示すフローチャートに従って静止処理を実行する（ステップＳ２２）。

ＣＰＵ２０６は、まず、画像処理装置２０３に原稿有無判定処理を実行させる（ステップＳ４１）。

画像処理装置２０３は、図１４に示すフローチャートに従って原稿有無判定処理を実行する。
即ち、画像処理装置２０３は、メモリ２０１のセンサ画像記憶領域２０１ａから低解像度画像を読み出して、この低解像度画像に対して２値エッジ画像作成処理を実行し、２値エッジ画像を生成する（ステップＳ６１）。

画像処理装置２０３は、生成した２値エッジ画像から、十字エッジ画像１４jの検出を行う（ステップＳ６２）。即ち、画像処理装置２０３は、メモリ２０１の閾値記憶領域２０１ｅから閾値Hv_th，Hh_thを読み出し、それぞれ、縦走査方向のピーク値と閾値Hv_thとを比較し、横走査方向のピーク値と閾値Hh_thとを比較する。

画像処理装置２０３は、その比較結果に基づいて、十字エッジ画像１４jが検出されたか否かを判定する（ステップＳ６３）。

縦走査方向のピーク値が閾値Hv_th以下であるか、横走査方向のピーク値が閾値Hh_th以下である場合（ステップＳ６３においてＮｏ）、画像処理装置２０３は、十字エッジ画像１４jが検出されなかったと判定する。

画像処理装置２０３は、十字エッジ画像１４jが検出されなかったと判定すると、台座１３に原稿５が載置されていると判定して原稿有無結果フラグをセットする（ステップＳ６４）。画像処理装置２０３は、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する。

一方、十字エッジ画像１４jが検出されたと判定した場合（ステップＳ６３においてＹｅｓ）、画像処理装置２０３は、マスクパターンｗを用い、数２１に示す台座切り出しエッジ画像ｔを作成する（ステップＳ６５）

画像処理装置２０３は、この台座切り出しエッジ画像ｔから、エッジを構成する画素の画素数をカウントし、数２２に従って、エッジ総数Ecountを取得する（ステップＳ６６）。

画像処理装置２０３は、閾値記憶領域２０１ｅから閾値Ecount_thを読み出して、取得したエッジ総数Ecountと閾値Ecount_thとを比較し、エッジ総数Ecountが閾値Ecount_th未満か否かを判定する（ステップＳ６７）。

カウントしたエッジ総数Ecountが閾値Ecount_th未満であると判定した場合（ステップＳ６７においてＹｅｓ）、画像処理装置２０３は、検出した十字エッジ画像１４jが台座１３に刻印された十字マーク１４によるものと判定する。そして、画像処理装置２０３は、このときの低解像度画像を比較画像ｒとしてメモリ２０１の処理画像記憶領域２０１ｂに記憶する（ステップＳ６８）。

画像処理装置２０３は、十字エッジ画像１４jの位置を記憶する（ステップＳ６９）。

画像処理装置２０３は、台座１３に原稿５は載置されていないものとして原稿有無結果フラグのフラグ値をリセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する（ステップＳ７０）。

一方、カウントしたエッジ総数Ecountが閾値Ecount_th以上と判定した場合（ステップＳ６７においてＮｏ）、画像処理装置２０３は、検出した十字エッジ画像１４jは原稿５に記載された十字マークによるものと判定する。そして、画像処理測地２０３は、原稿有無結果フラグのフラグ値をセットし、このフラグ値をメモリ２０１の作業データ記憶領域２０１ｄに記録する。（ステップＳ６４）。

ＣＰＵ２０６は、原稿有無結果フラグのフラグ値に基づいて、台座１３に原稿５が載置されているか否かを判定する（図１３のステップＳ４２）。

原稿有無結果フラグがリセットされている場合、ＣＰＵ２０６は、台座１３に原稿５は載置されていないと判定する（ステップＳ４２においてＮｏ）。このように判定すると、ＣＰＵ２０６は、十字エッジ画像１４jの位置が予め設定された位置ずれ領域内か否かを判定する（ステップＳ４３）。

十字エッジ画像１４jの位置が位置ずれ領域外と判定した場合（ステップＳ４３においてＮｏ）、ＣＰＵ２０６は、台座１３に対するカメラ部１１の撮影方向が正しいか否か、ユーザに注意を促すため、警告を発する（ステップＳ４４）。

十字エッジ画像１４jの位置が位置ずれ領域内と判定した場合（ステップＳ４３においてＹｅｓ）、ＣＰＵ２０６は、この静止処理を終了させる。

一方、原稿有無結果フラグがセットされている場合、ＣＰＵ２０６は、台座１３に原稿５が載置されていると判定する（ステップＳ４２においてＹｅｓ）。この場合、ＣＰＵ２０６は、撮影モードを静止画モードに設定する（ステップＳ４５）。

ＣＰＵ２０６は、低解像度画像を輪郭検出用画像としてメモリ２０１の処理画像記憶領域２０１ｂに記憶する（ステップＳ４６）。
ＣＰＵ２０６は、画像データ生成部２１を制御して撮影条件を最適化する（ステップＳ４７）。

ＣＰＵ２０６は、画像データ生成部２１を制御して、高解像度で撮影を行わせる（ステップＳ４８）。ＣＰＵ２０６は、イメージセンサ１０２が取り込んだ高解像度画像を原稿画像切り出し用の画像として、そのデータをメモリ２０１の処理画像記憶領域２０１ｂに記憶する。

ＣＰＵ２０６は、撮影条件を基準に戻す（ステップＳ４９）。
ＣＰＵ２０６は、画像処理装置２０３に原稿投影処理を実行させる（ステップＳ５０）。

画像処理装置２０３は、図１５及び図１６に示すフローチャートに従って、原稿投影処理を実行する。
即ち、画像処理装置２０３は、メモリ２０１の処理画像記憶領域２０１ｂに保存した画像を比較画像ｒとして読み出し、数１に従い、低解像度の対象画像ｑと比較画像ｒとの差分画像ｄを生成する（ステップＳ８１）。画像処理装置２０３は、生成した差分画像ｄをメモリ２０１の処理画像記憶領域２０１ｂに記憶する。

画像処理装置２０３は、処理画像記憶領域２０１ｂから差分画像ｄを読み出し、この差分画像ｄに対して２値エッジ画像作成処理を実行して、差分画像ｄの２値エッジ画像ｄjを作成する（ステップＳ８２）。即ち、画像処理装置２０３は、差分画像ｄの各画素値に、数２に示すＲｏｂｅｒｔｓフィルタを適用し、さらに数３を用いて、差分画像ｄ(x,y)の２値エッジ画像ｄjを生成する。

画像処理装置２０３は、作成した２値エッジ画像ｄjから直線を検出するため、数４を用いて４５°≦θ＜２２５°の範囲において、数４に従い、ハフ変換投票を行う（ステップＳ８３）。

画像処理装置２０３は、投票の結果、ハフ変換投票数が最大の直線を候補として取得する（ステップＳ８４）。
画像処理装置２０３は、取得した直線候補の角度θを取得する（ステップＳ８５）。

画像処理装置２０３は、直線候補の投票数と予め設定された閾値p_thとを比較して、直線候補の投票数が有効な投票数を確保しているか否かを判別し、直線候補が有効な直線か否かを判定する（図１６のステップＳ８６）。

直線候補が有効な直線と判定した場合（ステップＳ８６においてＹｅｓ）、画像処理装置２０３は、差分画像ｄに対して２値画像作成処理を実行し、差分画像ｄの２値画像ｂ(x,y)を生成する（ステップＳ８７）。即ち、画像処理装置２０３は、数３において、ｈ(x,y)＝ｄ(x,y)として、数３の演算を行うことにより、差分２値画像ｂ(x,y)を生成する。

画像処理装置２０３は、直線の角度から２値画像ｂ(x,y)のＸ軸方向、Ｙ軸方向の各投影ヒストグラムHhθ，Hvθを生成する（ステップＳ８８）。即ち、画像処理装置２０３は、生成した２値画像ｂ(x,y)に対して、差分２値化画像ｂ(x,y)の画素値が閾値を越えた点の画像中心原点座標(xc,yc)と、取得した角度θと、を数４に代入する。そして、画像処理装置２０３は、このときの投票箱(ρ,θ)における投票数を数６に代入し、Ｘ軸方向、Ｙ軸方向の各投影ヒストグラムHhθ，Hvθを生成する。

画像処理装置２０３は、領域座標変換処理を実行して原稿画像５qの輪郭をなす矩形の上下左右辺の４つの直線を取得する（ステップＳ８９）。即ち、画像処理装置２０３は、領域座標変換処理として、生成した投影ヒストグラムHhθ，Hvθのそれぞれの立ち上がり位置hθs、hθlと角度θとを数７に代入して、４つの直線を取得する。

画像処理装置２０３は、数７の連立方程式を解くことにより、４つの直線の交点を取得する（ステップＳ９０）。
画像処理装置２０３は、検出した交点を原稿画像５qの輪郭をなす矩形の４つの頂点座標として、切り出し領域に設定する（ステップＳ９１）。

一方、直線候補が有効な直線ではないと判定した場合（ステップＳ８６においてＮｏ）、画像処理装置２０３は、原稿有無判定処理において記憶した台座画像の輪郭の４頂点座標(xstand_i,ystand_i)のデータを、メモリ２０１の作業データ記憶領域２０１ｄから読み出す。そして、画像処理装置２０３は、この４つの頂点座標(xstand_i,ystand_i)を切り出しの４頂点として、切り出し領域を設定する（ステップＳ９２）。

画像処理装置２０３は、このように切り出し領域を設定すると、設定された４つの頂点座標の値を高解像度画像の座標系に変換し、変換した座標と、高解像度画像データとに基づいて、原稿画像の切り出しと正面画像への補正を行う（ステップＳ９３）。

画像処理装置２０３は、補正した画像に対して画像の鮮明化処理を行い、補正画像を視認性の高い画像に変換する（ステップＳ９４）。

画像処理装置２０３は、この鮮明化処理を施した切り出し画像を表示する（ステップＳ９５）。
画像処理装置２０３は、鮮明化処理を施した切り出し画像をメモリ２０１の表示画像記憶領域２０１ｃに記録して、圧縮処理を行う（ステップＳ９６）。

画像処理装置２０３は、圧縮した画像データを、ＰＣインタフェース装置２０７を介してコンピュータ２に送信する（ステップＳ９７）。また、ビデオ出力装置２０２は、圧縮した画像データをプロジェクタ３に供給する。

画像処理装置２０３がこのような原稿投影処理を実行すると、ＣＰＵ２０６は、図１３に示す静止処理を終了させ、再び、画像データ生成部２１に、低解像度でのカメラ撮影を行わせる（図１１のステップＳ１４）。

以上説明したように、本実施形態１によれば、画像処理装置２０３は、差分画像の２値エッジ画像のエッジを利用して、差分画像ｄに対する原稿画像の角度θを取得し、差分画像の２値画像の投影ヒストグラムHhθ，Hvθに基づいて、原稿画像の領域を取得するようにした。

従って、表の罫線が記載された原稿５のように、罫線を原稿５の輪郭と誤って判別することもなく、原稿画像の輪郭だけでは特定しにくい原稿画像の領域を、確実に特定することができる。

（実施形態２）
実施形態２に係る撮影装置は、台形歪みを考慮して、原稿画像の上下左右の辺について、それぞれ、投影ヒストグラムを生成し、原稿画像の領域を取得するようにしたものである。

実施形態２の画像処理装置２０３は、縦横それぞれのエッジ画像を作成する。即ち、画像処理装置２０３は、原稿画像の上下左右の辺について、それぞれ、ヒストグラムを生成する。画像処理装置２０３は、エッジ画像の段階から、それぞれ、数２５、数２６に示すフィルタを用いて縦エッジ画像、横エッジ画像を生成する。

この数２５、数２６に示すフィルタは、それぞれ、縦方向のエッジにのみに反応するフィルタ、横方向のエッジにのみ反応するフィルタである。

画像が図５（ｅ）に示すような差分２値画像ｂ(x,y)である場合、画像処理装置２０３は、それぞれ、数２５、数２６に示すフィルタを用いて、図１７（ａ），（ｂ）にそれぞれ示すような縦エッジ画像、横エッジ画像を生成する。

次に、画像処理装置２０３は、４辺の角度を独立して検出する。即ち、画像処理装置２０３は、数５に従い、ハフ変換の範囲を横エッジに対しては上下辺のみ、縦エッジに対しては左右辺のみに分けて、ハフ変換を行う。これにより、多くなりがちなハフ変換の計算量を低減しつつ、４辺の角度を独立して検出することが可能となる。

次に、画像処理装置２０３は、角度の補正を行う。取得した角度が最大投票数の辺に対して大きく異なる場合、又は投票数が小さすぎる場合、取得した角度は誤って取得された可能性がある。

この場合、画像処理装置２０３は、各辺の投票数を参照し、最大投票数を有する辺の有効な直線の角度から、各直線の角度に範囲を設定する。そして、画像処理装置２０３は、この設定した範囲を超える直線の角度を誤りの可能性のある直線の角度と判定し、この直線の角度に代えて、有効と判定した直線の角度に基づいて設定した角度を用いる、角度が誤っている可能性ありと判定された辺が、最大投票数の直線の辺と平行である場合、画像処理装置２０３は、最大投票数の辺の角度をその辺の角度とする。

角度が誤っている可能性ありと判定された辺が、最大投票数の直線の辺と垂直である場合、画像処理装置２０３は、最大投票数を有する辺が上下辺か左右辺かによって、処理内容を設定する。即ち、最大投票数を有する辺が上下辺の場合、画像処理装置２０３は、この上下辺の角度に９０°を加算した角度を、左右辺の角度とする。一方、最大投票数を有する辺が左右辺の場合、画像処理装置２０３は、この左右辺の角度に９０°を減算した角度を、上下辺の角度とする。

次に、画像処理装置２０３は、上下左右独立して取得した角度を数４に代入し、求めた投票数ρを、次の数２７に代入して、上下左右辺の投影ヒストグラムをそれぞれ生成する。

このようにして、画像処理装置２０３は、画像に台形歪みがあった場合でも、この画像から正しい辺の角度を取得する。

次に実施形態２に係る撮影装置の動作を説明する。
実施形態２に係る撮影装置の書画カメラ１は、図１８及び図１９に示すフローチャートに従って、原稿投影処理（２）を実行する。

画像処理装置２０３は、メモリ２０１の処理画像記憶領域２０１ｂに保存した画像を比較画像ｒとして読み出し、数１に従い、低解像度の対象画像ｑと比較画像ｒとの差分画像ｄを生成する（ステップＳ１０１）。画像処理装置２０３は、生成した差分画像ｄをメモリ２０１の処理画像記憶領域２０１ｂに記憶する。

画像処理装置２０３は、処理画像記憶領域２０１ｂから差分画像ｄを読み出し、数２５に従い、差分画像ｄの横エッジ画像を作成する（ステップＳ１０２）。

画像処理装置２０３は、横エッジ画像から上下辺の直線を検出するため、数４に従い、４５°≦θ＜１３５°の範囲において、ハフ変換投票を行う（ステップＳ１０３）。

画像処理装置２０３は、投票の結果、判別した最大投票数のρがプラスの場合は上の辺の直線を、マイナスの場合は下の辺の直線を最大投票数の直線と判定して、この範囲で投票数が最大の直線を取得する（ステップＳ１０４）。

画像処理装置２０３は、メモリ２０１の処理画像記憶領域２０１ｂから差分画像を読み出し、数２５に従い、読み出した差分画像の縦エッジ画像を作成する（ステップＳ１０５）。

画像処理装置２０３は、直線を検出するため、数４に従い、１３５°≦θ＜２２５°の範囲でハフ変換投票を行う（ステップＳ１０６）。

画像処理装置２０３は、投票の結果、判別した最大投票数のρがプラスの場合は左の辺の直線が、マイナスの場合は右の辺の直線が最大投票数の直線と判定して、この範囲で投票数が最大の直線を取得する（ステップＳ１０７）。

画像処理装置２０３は、さらに、２つの投票結果から取得した２つの投票数を比較して、すべての直線の中で最大の投票数を判別し、判別した最大投票数の直線を最大得票候補として、その直線の辺が上下左右辺のいずれであるか、その位置を判別する。そして、画像処理装置２０３は、判別した位置とその角度とを取得する（ステップＳ１０８）。

画像処理装置２０３は、位置と角度とを取得した直線の投票数と予め設定した閾値p_thとを比較して、最大得票候補の投票数が有効な投票数を確保しているか否かを判別し、最大得票候補が有効な直線か否かを判定する（ステップＳ１０９）。

最大得票候補が有効な直線と判定した場合（ステップＳ１０９においてＹｅｓ）、画像処理装置２０３は、他の辺について角度を誤って取得しないように、有効と判定した直線の角度と対象の辺の角度とを比較する。

そして、画像処理装置２０３は、対象の辺の投票数が少なく、また、対象の辺の角度が、有効な直線の角度と著しく異なっている場合、この角度を補正する。即ち、画像処理装置２０３は、有効な直線の角度から、対象の辺の角度を求める。画像処理装置２０３は、求めた角度を対象の辺の角度として採用する（ステップＳ１１０）。

画像処理装置２０３は、差分画像ｄに対して２値画像作成処理を実行し、差分画像ｄの２値画像ｂ(x,y)を作成する（ステップＳ１１１）。
画像処理装置」２０３は、取得した各角度を用い、上下左右辺のそれぞれについて投影ヒストグラムHhθ，Hvθを生成する（ステップＳ１１２）。

画像処理装置２０３は、生成した投影ヒストグラムHhθ，Hvθの立ち上がり位置hθs、hθlと角度θとを数７に代入して、４つの直線を取得する（ステップＳ１１３）。

画像処理装置２０３は、数７の連立方程式を解くことにより、４つの直線の交点を取得する（ステップＳ１１４）。

画像処理装置２０３は、取得した交点に基づいて原稿画像の切り出し領域を設定する（ステップＳ１１５）。

一方、最大得票候補が有効な直線ではないと判定した場合（ステップＳ１０９においてＮｏ）、画像処理装置２０３は、作業データ記憶領域２０１ｄから読み出した台座画像の輪郭の４頂点座標(xstand_i,ystand_i)のデータを切り出しの４頂点として、切り出し領域を設定する（ステップＳ１１６）。

画像処理装置２０３は、数２３に従い、取得した頂点座標の値を高解像度画像の座標系の値に変換し、原稿画像の切り出しと正面画像への補正を行う（ステップＳ１１７）。

そして、画像処理装置２０３は、実施形態１と同様に、画像の鮮明化処理、切り出し画像の表示、画像データの圧縮、圧縮した画像データの送信を行う（ステップＳ１１８〜Ｓ１２１）。

以上説明したように、本実施形態２によれば、画像処理装置２０３は、原稿画像の上下左右の辺について、それぞれ、直線の角度θを取得し、投影ヒストグラムHhθ，Hvθを生成し、原稿画像の領域を取得するようにした。

従って、撮影環境によって大きく歪んだ画像であっても、この画像から各辺の直線の角度θを正しく取得することができ、また、原稿画像の領域を正しく取得することができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。

例えば、上記実施形態１，２において、２値エッジ画像を生成する際に、差分画像ｄのなかで原稿画像の領域の周囲にはエッジが存在しない。このため、画像処理装置２０３は、原稿画像の輪郭の近傍に範囲を設定し、エッジを原稿画像外側から一定量しか採用しないようにすることもできる。このようにして原稿画像内部のエッジを無効化し、これにより、原稿画像の領域内に含まれるエッジを無視することが可能になる。

また、上記実施形態２では、画像処理装置２０３が、４辺の角度を独立して取得し、それぞれの角度を用いて投影ヒストグラムを作成するようにした。しかし、画像処理装置２０３は、独立して検出した４辺の角度を平均化することもできる。

このようにすれば、４辺の角度を独立して取得しても、角度は１つになるため、実施形態１の原稿投影処理において、図１６のステップＳ８６以降の処理を行えばよい。

この場合、上下辺と左右辺とは直交するため、画像処理装置２０３は、上下辺の角度から４５°減算、左右辺に４５°加算することにより、上下辺、左右辺の角度を同一の角度として処理することが可能になる。

尚、最大投票数の辺と比較して、ハフ変換の投票数が著しく異なっている辺、又は角度θが著しく異なっている辺の場合、この辺は、誤って検出された可能性が高い。このため、画像処理装置２０３は、誤って検出された角度を除外して、４辺の角度を平均化することができる。

上記実施形態１，２においては、画像処理装置２０１が差分画像ｄを生成し、この生成した差分画像ｄについて角度検出処理、２値画像作成処理、投影ヒストグラム作成処理、領域座標変換処理を実行するようにした。しかし、これらの処理の対象とする画像は、原稿５のみの撮影画像が得られれば、差分画像ｄに限られるものではない。

上記実施形態では、コンピュータ２を備えるようにした。しかし、書画カメラ１がコンピュータ２の機能を備えたものであれば、必ずしもコンピュータ２を備えなくてもよい。

逆に、コンピュータ２が書画カメラ１の機能を備え、コンピュータ２が画像処理を行うようにしてもよい。このようにすれば、カメラ部１１には、汎用のデジタルカメラを用いることもできる。

また、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これをコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。そして、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態１に係る撮影装置の構成を示す図である。 図１に示す台座と十字マークとを示す図である。 図１に示す書画カメラの構成を示すブロック図である。 図３に示すメモリの各記憶領域を示すブロック図である。 図３に示す画像処理装置が生成する各画像を示す図であり、それぞれ、（ａ）は比較画像、（ｂ）は対象画像、（ｃ）は差分画像、（ｄ）は２値エッジ画像、（ｅ）は差分２値画像を示す。 ハフ変換を示す図である。 差分２値画像の投影ヒストグラムを示す図である。 射影パラメータの抽出とアフィン変換の基本的な考え方を示す図である。 台座の十字マークの検出処理を示す図であり、それぞれ、（ａ）は縮小画像、（ｂ）はエッジ画像、（ｃ）は十字マークとヒストグラムとを示す。 台座によるエッジ画像とマスクパターンとを示す図である。 図１に示す撮影装置が実行するカメラ基本処理を示すフローチャートである。 図１に示す撮影装置が実行する動画投影処理を示すフローチャートである。 図１に示す撮影装置が実行する静止処理を示すフローチャートである。 図１に示す撮影装置が実行する原稿有無判定処理を示すフローチャートである。 図１に示す撮影装置が実行する原稿投影処理（その１）を示すフローチャートである。 図１に示す撮影装置が実行する原稿投影処理（その２）を示すフローチャートである。 本発明の実施形態２として、縦エッジ画像、横エッジ画像を示す図である。 図１に示す撮影装置が実行する原稿有無判定処理（２／その１）を示すフローチャートである。 図１に示す撮影装置が実行する原稿有無判定処理（２／その２）を示すフローチャートである。 従来の撮影装置を示す図である。 撮影装置が撮影した撮影画像を示す図である。

符号の説明

１・・・書画カメラ、２・・・コンピュータ、３・・・プロジェクタ、４・・・スクリーン、５・・・原稿、１１・・・カメラ部、１３・・・台座、２０１・・・メモリ、２０２・・・ビデオ出力装置、２０３・・・画像処理装置、２０４・・・操作部、２０６・・・ＣＰＵ

Claims (11)

1. 多角形の原稿を撮影する撮影装置において、
   前記原稿を撮影する撮影部と、
   前記撮影部の撮影によって得られた撮影画像から、前記撮影画像に含まれる原稿画像を切り出す画像処理部と、を備え、
   前記画像処理部は、
   前記撮影画像を処理して前記原稿画像のみを含む画像を生成する撮影画像処理部と、
   前記撮影画像処理部が処理した処理画像から、前記原稿画像の形状を示す輪郭による直線を取得し、取得した直線の角度として、前記撮影画像を基準とする座標系における角度を検出する角度検出部と、
   前記撮影画像処理部が処理した処理画像から、前記原稿画像の輪郭による境界を、異なる画素値で表した２値画像を生成する２値画像生成部と、
   前記２値画像生成部が生成した２値画像を、前記角度検出部が検出した角度に従って設定された方向に走査し、着目した画素値を有する画素の数を計数して前記処理画像の投影ヒストグラムを作成する投影ヒストグラム作成部と、
   前記投影ヒストグラム作成部が作成した投影ヒストグラムから、前記原稿画像の領域を特定するための座標データを取得する領域座標取得部と、
   前記領域座標取得部が取得した座標データに基づいて前記原稿画像の領域を特定し、前記撮影画像から前記原稿画像を切り出す原稿画像切り出し部と、を備えた、
   ことを特徴とする撮影装置。
2. 前記撮影部は、前記原稿を載置する台座のみ又は前記台座と前記原稿とを撮影し、
   前記画像処理部の前記撮影画像処理部は、
   前記撮影部が前記台座のみを撮影することによって得られた第１の撮影画像と前記台座及び前記原稿を撮影することによって得られた第２の撮影画像との差分画像を、前記原稿画像のみを含む画像として生成する、
   ことを特徴とする請求項１に記載の撮影装置。
3. 前記角度検出部は、
   前記撮影画像処理部が処理した処理画像を処理して、前記原稿画像の輪郭をエッジ線で表した２値エッジ画像を生成する２値エッジ画像生成部を備え、
   前記２値エッジ画像生成部が生成した２値エッジ画像から、前記原稿画像の輪郭によるエッジ線を判別して前記直線を取得し、取得した直線の角度を検出する、
   ことを特徴とする請求項１又は２に記載の撮影装置。
4. 前記角度検出部は、
   前記撮影画像処理部が処理した処理画像を第１の方向に走査して、前記原稿画像の第１の走査方向における輪郭をエッジ線で表した２値エッジ画像を生成する第１の２値エッジ画像生成部と、
   前記撮影画像処理部が処理した処理画像を、前記第１の方向とは異なる第２の方向に走査して、前記原稿画像の第２の走査方向における輪郭をエッジ線で表した２値エッジ画像を生成する第２の２値エッジ画像生成部と、を備え、
   前記第１の２値エッジ画像生成部が生成した２値エッジ画像と前記第２の２値エッジ画像生成部が生成した２値エッジ画像とから、前記原稿画像の輪郭による各辺のエッジ線を判別して複数の直線を独立して取得し、取得した複数の直線の前記座標系における各角度を検出する、
   ことを特徴とする請求項１又は２に記載の撮影装置。
5. 前記角度検出部は、独立して取得した複数の直線から有効な直線を判定し、有効と判定した直線の角度に基づいて、各直線の角度に範囲を設定し、設定した範囲を越える直線の角度があった場合、当該直線の角度に代えて、有効と判定した直線の角度に基づいて設定した角度を用いる、
   ことを特徴とする請求項４に記載の撮影装置。
6. 前記角度検出部は、取得した複数の角度を平均化して、１つの角度を特定する、
   ことを特徴とする請求項４に記載の撮影装置。
7. 前記角度検出部は、独立して取得した複数の直線から有効な直線を判定し、有効と判定した直線の角度に基づいて、各直線の角度に範囲を設定し、設定した範囲内の直線の角度のみを用いて平均化し、１つの角度を特定する、
   ことを特徴とする請求項６に記載の撮影装置。
8. 前記２値エッジ画像生成部は、前記原稿画像の輪郭の近傍に範囲を設定し、設定した範囲内でエッジを取得して、前記原稿画像の輪郭をエッジ線で表した２値エッジ画像を生成する、
   ことを特徴とする請求項３乃至７のいずれか１項に記載の撮影装置。
9. 原画像から、前記原画像に含まれる切り出し対象画像を切り出す画像処理装置において、
   前記切り出し対象画像の形状を示す輪郭による直線を取得し、取得した直線の角度として、前記原画像を基準とする座標系における角度を検出する角度検出部と、
   前記原画像を処理して、前記切り出し対象画像の輪郭による境界を異なる画素値で表した２値画像を生成する２値画像生成部と、
   前記２値画像生成部が生成した２値画像を、前記角度検出部が検出した角度に従って設定された方向に走査し、着目した画素値を有する画素の数を計数して前記切り出し対象画像の投影ヒストグラムを作成する投影ヒストグラム作成部と、
   前記投影ヒストグラム作成部が作成した投影ヒストグラムから、前記切り出し対象画像の領域を特定するための座標データを取得する領域座標取得部と、
   前記領域座標取得部が取得した座標データに基づいて前記切り出し対象画像の領域を特定し、前記原画像から前記切り出し対象画像を切り出す原稿画像切り出し部と、を備えた、
   ことを特徴とする画像処理装置。
10. 多角形の原稿を撮影するステップと、
    撮影によって得られた撮影画像から、前記原稿に対応する原稿画像の形状を示す輪郭による直線を取得し、取得した直線の角度として、前記撮影画像を基準とする座標系における角度を検出するステップと、
    前記撮影画像を処理して、前記原稿画像の輪郭による境界を異なる画素値で表した２値画像を生成するステップと、
    前記生成した２値画像を、前記検出した角度に従って設定された方向に走査して、着目した画素値を有する画素の数を計数して前記原稿画像の投影ヒストグラムを作成するステップと、
    前記作成した投影ヒストグラムから、前記原稿画像の領域を特定するための座標データを取得するステップと、
    前記取得した座標データに基づいて前記原稿画像の領域を特定し、前記撮影画像から前記原稿画像を切り出すステップと、を備えた、
    ことを特徴とする画像処理方法。
11. コンピュータに、
    多角形の原稿を撮影する手順、
    撮影によって得られた撮影画像から、前記原稿に対応する原稿画像の形状を示す輪郭による直線を取得し、取得した直線の角度として、前記撮影画像を基準とする座標系における角度を検出する手順、
    前記撮影画像を処理して、前記原稿画像の輪郭による境界を異なる画素値で表した２値画像を生成する手順、
    前記生成した２値画像を、前記検出した角度に従って設定された方向に走査して、着目した画素値を有する画素の数を計数して前記原稿画像の投影ヒストグラムを作成する手順、
    前記作成した投影ヒストグラムから、前記原稿画像の領域を特定するための座標データを取得する手順、
    前記取得した座標データに基づいて前記原稿画像の領域を特定し、前記撮影画像から前記原稿画像を切り出す手順、
    を実行させるためのプログラム。

Images