JP2005092629A - 画像処理装置、及び、撮像装置 - Google Patents

Abstract

【課題】画像処理装置における画像変換の際の処理量を少なくして、処理時間の短縮、又は装置の簡易化、及び、精度の向上を行うことを目的とする。
【解決手段】撮像装置１は、斜め方向から撮像された原稿Ｐの対象物体画像を、ＣＣＤ画像センサ３２から入力して（Ｓ１１１）、原稿Ｐの３次元形状に関する形状情報を演算し（Ｓ１１２〜Ｓ１１４）、この形状情報に基づき、平面変換処理（Ｓ１１５）にて、原稿Ｐを正面から見た平面画像に変換し、面内変位回転認識処理（Ｓ１１６）にて、平面画像における原稿Ｐが写った領域である対象物体領域を識別して、平面画像の中央位置に対する対象物体領域の相対変位を求め、矩形領域切り取り処理（Ｓ１１７）にて、形状情報、及び、面内変位検出手段にて求めた相対変位に基づき、対象物体画像を、正立方向に正面から見られた対象物体を略中央位置に配した補正画像に変換する。
【選択図】 図５

Description

本発明は、入力された画像を、この画像に写った対象物体に対する視点を変えた画像に変換する画像処理装置及びこの画像処理装置を用いた撮像装置に関する。

従来、原稿に書かれた内容を、スキャナなどを用いることなく簡易に記録したい時に、デジタルカメラなど可搬型の撮像装置で原稿を撮像して記録する場合がある。そして、このような目的で原稿を撮像する場合には、書かれた文字がつぶれて写らないように、原稿の正面から撮像するのが理想的である。しかし、会議中のため起立することができず、机上の原稿を斜め方向から撮像する場合がある。

このような場合に、原稿などの対象物体が斜め方向から撮像されたために、文字がつぶれたり、斜めになったりして読みにくくなった画像を入力して、この画像に写った対象物体に対する視点を、文字が読みやすくなるような視点とした画像に変換する画像処理装置が知られている。

このような画像処理装置としては、例えば、原稿が撮像された画像を解析して、文字の並びや、原稿の縁などのライン束を識別し、このライン束から画像全体の中での原稿画像の回転量などを判別して、対象物体が、出力される画像において対象物体に書かれた文字列が真横に並ぶようになる方向（このような方向を正立方向と呼ぶ。）に回転され、正面から見られたような画像に変換するものが知られている（特許文献１参照。）。
特開２００２−３３４３２７

ところで、従来の画像処理装置においては、撮像された原稿が正立方向に回転され、正面から見られたような画像に変換するための画像解析として、次のような複雑な処理を行う。
（１）撮像された画像中のラインを識別する。
（２）識別されたラインから、原稿中の水平な文字列と考えられる水平ライン束を判別する。
（３）撮像された画像を、水平ライン束全てが画像の水平方向に平行になるように回転変換する。
（４）回転変換された画像中の文字列の左端点などによる垂直ライン束を判別する。
（５）垂直ライン束の傾きとカメラの焦点距離とから回転変換された画像を垂直変換する。

このように、従来の画像処理装置では、撮像された画像に対して、文字列などによる支配的なライン束の方向を識別して、画像を変換する必要があり、ライン束識別のための画像解析などの処理が多量となるため、画像処理に長時間かかり、画像処理装置として高い処理能力が要求される。

また、従来の画像処理装置では、原稿に書かれた内容が不鮮明で文字列を識別しにくい画像や、背景と原稿とのコントラストが低く原稿の外縁がはっきりしない画像などに対しては、画像中のライン束の識別精度が低く、画像変換した向きの精度も低くなる。

本発明は、こうした問題点に鑑みなされたものであり、入力された画像を、この画像に写った対象物体に対する視点を変えた画像に変換する画像処理装置において、画像変換の際の処理量を少なくして、処理時間の短縮、又は、装置の簡易化を行い、より見やすい画像に変換できるようにすることを目的とする。

かかる目的を達成するためになされた請求項１に記載の画像処理装置においては、所定形状の対象物体が写った対象物体画像、及び、該対象物体の３次元形状に関する形状情報が外部から入力されると、平面変換手段が、形状情報に基づき、対象物体画像を、対象物体が所定の方向から見られた平面画像に変換し、面内変位検出手段が、平面画像における対象物体が写った領域である対象物体領域を識別して、平面画像の中央位置に対する対象物体領域の相対変位を求め、第１補正変換手段が、形状情報、及び、面内変位検出手段にて求めた相対変位に基づき、対象物体画像を、所定の方向から見られた対象物体が略中央位置に配された補正画像に変換する。

この結果、本発明（請求項１）の画像処理装置によれば、対象物体の３次元形状に関する形状情報が外部から入力できるため、従来の画像処理装置のように画像からライン束を検出する画像解析処理などが不要となり、画像全体における対象物体の相対変位を求める簡易な処理で、対象物体の所定の方向から見た対象物体が略中央位置に配され、見やすくされた補正画像を得ることができる。

これにより、画像処理装置は、処理時間の短縮、又は、装置の簡易化を行うことができる。
尚、補正画像における対象物体が見られる方向は、対象物体の所定の面に書かれた文字などがつぶれて写らないように、その面に直交する方向から見られたような方向にするのが好ましい。

また、入力された対象物体画像をより見やすい補正画像にするには、請求項１に記載の画像処理装置を請求項２のように構成すると良い。
即ち、請求項２に記載の画像処理装置においては、面内角度検出手段が、平面画像における対象物体領域を識別して、平面画像面内の所定の方向に対する対象物体領域の所定の辺の角度を求め、第１補正変換手段が、形状情報、面内変位検出手段にて求めた相対変位、及び、面内角度検出手段にて求めた角度に基づき、対象物体画像を、所定の方向から見られた対象物体が略中央位置に配され、対象物体の所定の辺が当該画像内の所定の方向に向けられた補正画像に変換する。

この結果、本発明（請求項２）の画像処理装置によれば、例えば、補正画像にて対象物体の所定の辺が向けられる向きを、対象物体である原稿に書かれた文字が、補正画像の幅方向に平行になる方向にすれば、文字が読みやすくなるなど、より見やすい補正画像とすることができる。

また、請求項１又は請求項２に記載の画像処理装置は、更に見やすい補正画像にするために、請求項３に記載のように、第１補正変換手段が、補正画像への変換を、対象物体画像の対象物体が写る領域に対してだけ行うようにすると良い。

つまり、このようにすれば、対象物体以外の箇所（例えば、背景）が変換されず、対象物体だけが写った補正画像とすることができるため、補正画像をより見やすくできる。また、不要な箇所の画像データが削除されて画像データ全体のデータ量を少なくすることができるため、当該データを導出の際、及び、当該データを用いる際の画像処理量を少なくすることができる。

また、請求項１〜請求項３にいずれか記載の画像処理装置は、対象物体画像が多色画像である場合に、請求項４に記載のように、第１補正変換手段が、対象物体画像の画素の色数と同じ色数の補正画像に変換するようにすると良い。

つまり、このようにすれば、入力された対象物体画像の色情報が有効に用いられ、変換された補正画像を、見やすいものにすることができる。
尚、面内変位検出手段や、面内角度検出手段は、画像中の対象物体の位置や角度を検出するものであり、これらの各パラメータは、色情報を用いることなく検出できることから、これら各検出手段については、処理するデータの量を減らすために、対象物体画像より画素の色数を減らした画像で処理するようにしても良い。

一方、請求項５に記載の画像処理装置においては、所定形状の対象物体が写った対象物体画像、及び、対象物体の３次元形状に関する形状情報が外部から入力されると、平面変換手段が、形状情報に基づき、対象物体画像を、対象物体が所定の方向から見られた平面画像に変換し、面内角度検出手段が、平面画像における対象物体が写った領域である対象物体領域を識別して、対象物体領域の所定の辺と、平面画像面内の所定の方向との間の角度を求め、第２補正変換手段が、形状情報、及び、該面内角度検出手段で求めた角度に基づき、対象物体画像を、所定の方向から見られた対象物体の所定の辺が当該画像内の所定の方向に向けられた補正画像に変換する。

この結果、本発明（請求項５）に記載の画像処理装置よれば、対象物体の３次元形状に関する形状情報が外部から入力できるため、従来の画像処理装置のように入力された対象物体画像から、ライン束を検出する画像解析処理などが不要となり、画像中の対象物体の回転角度を検出する簡易な処理で、対象物体の所定の方向から見られた対象物体が、対象物体の所定の辺を当該画像内の所定の方向に向けられて、見やすくされた補正画像を得ることができる。これにより、画像処理装置は、処理時間の短縮、又は、装置の簡易化を行うことができる。

尚、補正画像における対象物体が見られる方向は、対象物体の所定の面に書かれた文字などがつぶれて写らないように、その面に直交する方向から見られたような方向にするのが好ましい。また、補正画像にて対象物体の所定の辺が向けられる向きを、例えば、対象物体である原稿に書かれた文字が、補正画像の幅方向に平行になる方向にすれば、文字が読みやすく、より見やすい補正画像とすることができる。

また、請求項５に記載の画像処理装置は、請求項３と同様に、請求項６に記載のように、第２補正変換手段が、補正画像への変換を、対象物体画像の対象物体が写る領域に対してだけ行うように構成すると良い。

つまり、このように構成すれば、対象物体だけが写った補正画像とすることができ、補正画像を見やすくして、画像処理の量を少なくすることができる。
また、請求項５又は請求項６に記載の画像処理装置は、請求項４と同様に、対象物体画像が多色画像である場合に、請求項７に記載のように、第２補正変換手段が、対象物体画像の画素の色数と同じ色数の補正画像に変換するよう構成すると良い。

つまり、このように構成すれば、入力された対象物体画像の色情報が有効に用いられ、見やすい補正画像とすることができる。
ところで、請求項１〜請求項７に記載の画像処理装置を、更に、画像処理の時間を短くする、又は、簡易な画像処理装置とするために、画像処理装置での処理量を少なくしたり、画像処理内容を簡易化したりするには、請求項８〜請求項１１に記載のようにすると良い。

即ち、請求項８に記載の画像処理装置においては、範囲入力手段により、平面変換手段にて変換される対象物体画像の範囲が外部から入力され、平面変換手段が、範囲入力手段により入力された対象物体画像の範囲を平面画像に変換する。

また、請求項９に記載の画像処理装置においては、対象物体が、所定の面を直交する方向から見られた形状が矩形である。
また、請求項１０に記載の画像処理装置においては、平面変換手段が、対象物体画像の解像度に比べて低解像度の平面画像に変換する。

また、請求項１１に記載の画像処理装置においては、多色画像の対象物体画像に対して、平面変換手段が、画素の色数が単色の平面画像に変換する。
この結果、請求項８の画像処理装置によれば、変換処理する範囲を限定することにより、画像処理の量を少なくすることができる。これにより、画像処理の時間を短くする、又は、簡易な画像処理装置とすることができる。

また、請求項９の画像処理装置によれば、面内変位検出手段や、面内角度検出手段などでの対象物体領域の識別処理を、対象物体の形状を矩形である場合に、矩形形状が直交する４つの辺で構成されるという特徴を利用して簡易に識別することができる。

また、請求項１０の画像処理装置によれば、平面画像の画素の数が少なくなり、平面変換手段による変換、及び、平面画像を用いた処理の際の演算量を少なくすることができる。

尚、平面画像の解像度は、面内変位検出手段、及び、面内角度検出手段の検出精度に影響を及ぼす。このため、平面画像の解像度は、この検出精度への影響が大きくならない程度に、できるだけ低解像度にするのが好ましい。

また、請求項１１の画像処理装置によれば、平面画像の画素が持つ情報量が少なくなり、平面変換手段による平面画像への変換、及び、平面画像を用いた処理の際の処理量を減らすことができる。

一方、請求項１２に記載の撮像装置においては、請求項１〜請求項１１にいずれか記載の画像処理装置を備え、対象物体撮像手段が、所定形状の対象物体を撮像して、対象物体が写った画像を前記画像処理装置に入力し、３次元形状検出手段が、所定形状の光束であるパターン光を生成して出射し、パターン光の出射口に対して一定距離離れた位置から、パターン光が照射された対象物体を撮像し、撮像された画像に基づき、対象物体におけるパターン光の反射位置を算出し、対象物体の３次元形状を求めて、対象物体の３次元形状に関する形状情報を画像処理装置に入力する。

この結果、本発明（請求項１２）の撮像装置によれば、３次元形状検出手段によりパターン光を用いて容易に精度の良い３次元形状に関する情報を求めることができ、この３次元形状に関する情報を基に、対象物体撮像手段にて撮像した画像を見やすくした補正画像を得ることができる。そして、請求項１〜請求項１１の発明の効果を得ることができる。

尚、この３次元形状検出手段によれば、対象物体を撮像する位置が、パターン光の出射口から一定距離の位置で、パターン光の出射口から出射するパターン光の角度は一定（物理的構成上既知）である。故に、３次元形状検出手段にて対象物体の３次元形状を求める際には、例えば、まず撮像された対象物体画像により、対象物体上のパターン光の反射位置（パターン光の軌跡）の所定の点と像撮位置とを結ぶ線の、撮像の際の光軸方向に対する角度を求め、次に、この角度を用いてパターン光軌跡の所定の点と、パターン光の出射口と、撮像位置とを結ぶ三角形の形状を定めること（いわゆる三角測量）により、パターン光軌跡の所定の点の３次元空間位置を求める、といった手順でパターン光軌跡の各点について３次元空間位置を求め、その結果得られるパターン光軌跡の位置から、対象物体の３次元形状を類推するようにすればよい。

以下に本発明の実施例を図面と共に説明する。第１実施例の撮像装置１全体の斜視図を図１（ａ）、概略断面図を図１（ｂ）に示す。また、撮像装置１をブロック図で表したものを図２に示す。

撮像装置１は、図１に示す様に、方形箱形の本体ケース１０と、本体ケース１０の正面に設けられた結像レンズ３１と、結像レンズ３１の後方（撮像装置１の内部側）に設けられたＣＣＤ画像センサ３２と、結像レンズ３１の下方に設けられたスリット光投光ユニット２０と、本体ケース１０に内蔵されたプロセッサ４０と、本体ケース１０の上部に設けられたレリーズボタン５２と、モード切替スイッチ５９と、本体ケース１０に内蔵されるカードメモリ５５と、本体ケース１０の背面に設けられたサイズ入力部５６とで構成され、これらの構成品は図２に示すように、それぞれ信号線により繋がっている。

その他に、撮像装置１には、撮像装置１による撮像範囲を使用者が決定する際に利用するための、本体ケース１０の背面に設けられたＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）５１及び本体ケース１０の背面から前面を通して配設されるファインダ５３が装備されている。

尚、ＬＣＤ５１は、画像を表示する液晶ディスプレイなどであり、プロセッサ４０からの画像信号を受けて画像を表示する。そして、プロセッサ４０からは、状況に応じてＣＣＤ画像センサ３２で受光したリアルタイムの画像や、カードメモリ５５に記憶された画像や、装置の設定内容の文字等を表示するための画像信号が送られて来る。

そして、撮像装置１は、使用者によりレリーズボタン５２が押されると、外部光が結像レンズ３１を通して入射されてＣＣＤ画像センサ３２上に結像した画像を、画像データとして取り込みカードメモリ５５に書き込む。このように、いわゆるデジタルカメラとして機能するものであり、この「ノーマルモード」での撮像に加え、被写体を用紙などの原稿Ｐとし、原稿Ｐを斜め方向から撮像した場合に、正面から撮像したように補正した画像データをカードメモリ５５に記憶する「補正撮像モード」の機能を実現するためのものである。

撮像装置１のスリット光投光ユニット２０は、図３に示すように、レーザーダイオード２１と、コリメートレンズ２２と、アパーチャ２３と、透明平板２４と、シリンドリカルレンズ２５と、反射ミラー２６と、ロッドレンズ２７とで構成されている。

尚、レーザーダイオード２１は、赤色レーザー光線を放射する。そして、プロセッサ４０からの指令に応じて、レーザー光線の放射及び停止を切り換える。
また、コリメートレンズ２２は、レーザーダイオード２１からのレーザー光線を、スリット光投光ユニット２０からの基準距離ＶＰに焦点を結ぶように集光する。

また、アパーチャ２３は、矩形に開口された板で構成され、コリメートレンズ２２から入射したレーザー光線を開口部で透過して矩形に整形したレーザー光７０を出射する。
また、透明平板２４は、無垢のガラス材料などの透明な平板で構成され、裏面にＡＲコート（無反射コーティング）が施され、レーザー光７０の光軸に直交する面に対して、本体ケース１０の正面側に所定角度β（例えば３３度）傾斜して配設されて、レーザー光７０の所定割合（例えば５％）を表面で反射して、残りを透過する。尚、透明平板２４でレーザー光７０を反射した方向を第２の方向と呼ぶ。

また、反射ミラー２６は、鏡など、レーザー光線を全反射する部材で構成され、透明平板２４を透過したレーザー光７０の下流に、本体ケース１０の正面側に４５度傾斜して配設され、透明平板２４を透過したレーザー光７０を全反射して光路の向きを９０度変える。このレーザー光７０を反射した方向を第１の方向と呼ぶ。

また、ロッドレンズ２７は、正の焦点距離が短い円筒形状のレンズで構成され、反射ミラー２６で反射されるレーザー光７０の下流に、円筒形状の軸方向が正立方向になるように配設されている。そして、反射ミラー２６からレーザー光７０が入射されると、焦点距離が短いため、このレーザー光７０がすぐに焦点を越えて広がり、所定の広がり角度のスリット光として第１の方向へ出射する。尚、ロッドレンズ２７から出射されるスリット光を第１スリット光７１と呼ぶ。

また、シリンドリカルレンズ２５は、負の焦点距離となるように一方向が凹形状となったレンズであり、透明平板２４で反射されたレーザー光７０の下流に、第２の方向に対してレンズ面が直交するように配設さている。そして、透明平板２４で反射されたレーザー光７０を、所定の広がり角度で、第２の方向に広がるスリット光として出射する。尚、シリンドリカルレンズ２５から出射されるスリット光を第２スリット光７２と呼ぶ。

これらの構成品によって、スリット光投光ユニット２０は、プロセッサ４０からの指令に応じて、レーザーダイオード２１からレーザー光線を放射して、第１の方向へ第１スリット光７１、及び、第２の方向へ第２スリット光７２を、本体ケース１０の結像レンズ３１の下方に設けられた窓２９から出射する。

そして、出射された第１，第２スリット光７１，７２は、例えば、シート状の部材である原稿Ｐに投光されると、図４に示すように原稿Ｐの位置及び姿勢によって、その長さや、傾きや、間隔が変わる第１スリット光の軌跡７１ａ及び第２スリット光の軌跡７２ａを形成する。

また、結像レンズ３１は、複数枚のレンズで構成され、自動で焦点距離を調整して外部からの光をＣＣＤ画像センサ３２上に結像する。
また、ＣＣＤ画像センサ３２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子などの光電変換素子がマトリクス状に配列されてなる構成で、表面に結像される画像の光の色及び強さに応じた信号を、デジタルデータに変換してプロセッサ４０へ出力する。

尚、光電変換素子一つ分のデータが画像を形成する画素の画素データであり、画像データは光電変換素子の数の画素データで構成される。そして、本実施例のＣＣＤ画像センサ３２においては、幅方向の総画素数が１２００画素、高さ方向の総画素数が１６００画素の画像データを生成する。そして、画像データの座標である幅方向位置ｃｃｄｘ及び高さ方向位置ｃｃｄｙは、画素の個数であらわされ、画像の一番左上の画素を基点として、１個目を「０」位置とする。つまり、幅方向位置ｃｃｄｘの範囲は「０」〜「１１９９」で、高さ方向位置ｃｃｄｙの範囲は「０」〜「１５９９」となる。

また、１画素あたりの大きさは、１００ｄｐｉ（ドットパーインチ）の解像度に相当する。そして、画素データは、１画素あたり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色、各２５６階調の輝度で表される画素情報をもっている。

また、レリーズボタン５２は、押しボタン式のスイッチで構成され、プロセッサ４０に接続されている。そして、プロセッサ４０にて使用者によるレリーズボタン５２の押し下げ操作が検知される。

また、カードメモリ５５は、不揮発性で書き換え可能なメモリで構成され、本体ケース１０に着脱可能である。
また、モード切替スイッチ５９は、２つの位置に切換え可能なスライドスイッチなどで構成され、プロセッサ４０に接続されている。そして、プロセッサ４０にてスイッチがいずれの位置にあるかを検知される。尚、モード切替スイッチ５９は、スイッチの位置の一方を「ノーマルモード」、もう一方を「補正撮像モード」として、プロセッサ４０に検知される。

また、プロセッサ４０は、周知のＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３で構成される。そして、ＣＰＵ４１は、ＲＯＭ４２に記憶されたプログラムに基づき、ＲＡＭ４３を利用して、レリーズボタン５２の押し下げ操作の検知、モード切替スイッチ５９の状態検出、ＣＣＤ画像センサ３２から画像データの取り込み、画像データのカードメモリ５５への書き込み、スリット光投光ユニット２０によるスリット光の出射切り換え等の各種処理を行う。

尚、ＲＯＭ４２には、図５に示すフローチャートの処理（詳細は後述する。）を含む撮像装置１全体の制御に関するプログラムであるカメラ制御プログラム４２１と、スリット光を投光した原稿Ｐの画像から、スリット光の軌跡を抽出した画像データを生成するためのプログラムである差分抽出プログラム４２２と、スリット光の軌跡の各画素に対する３次元空間位置を演算するためのプログラムである三角測量演算プログラム４２３と、原稿Ｐの位置及び３次元形状を推定して求めるプログラムである原稿姿勢演算プログラム４２４と、スリット光無し画像格納部４３２に格納された画像データを、原稿Ｐの正面から撮像したような画像データに変換するためのプログラムである平面変換プログラム４２５と、 画像データ中の原稿Ｐの変位及び回転角を検出するための面内変位回転認識プログラム４２６と、画像データ中の原稿Ｐが写った領域の画像データを変換するための矩形領域切り取りプログラム４２７とが記憶されている。

また、ＲＡＭ４３には、記憶領域として、ＣＣＤ画像センサ３２からの画像データの形式のデータを保存する大きさのスリット光有り画像格納部４３１、スリット光無し画像格納部４３２、及び、差分画像格納部４３３と、スリット光画像の各ポイントの位置を演算した結果を保存する大きさの三角測量演算結果格納部４３４と、画像データを変換した結果を保存する大きさの平面変換結果画像格納部４３５と、後述する面内変位回転認識処理の結果を保存するための面内変位回転認識結果格納部４３６と、これも後述する矩形領域切り取り処理の結果を保存するための矩形領域切り取り結果画像格納部４３７と、ＣＰＵ４１での演算のために一時的にデータを記憶させるのに使用する大きさのワーキングエリア４３８とが割り当てられている。

また、ファインダ５３は、光学レンズで構成され、撮像装置１の後ろ側から使用者がのぞき込んだ時に、結像レンズ３１がＣＣＤ画像センサ３２上に結像する範囲とほぼ一致する範囲を見ることができる。

また、サイズ入力部５６は、複数の位置に切り替わるスライドスイッチなどで構成され、プロセッサ４０に接続されている。そして、使用者により操作されたサイズ入力部５６の位置に応じて、撮像する原稿Ｐの大きさがプロセッサ４０にて判別される。例えば、プロセッサ４０は、サイズ入力部５６のスイッチの位置が使用者により操作されて、一番左端の時「指定無し」、その隣の時「Ａ４サイズ」、一番右端の時「Ａ３サイズ」として判別する。

続いて、対象物体を原稿Ｐとして、使用者によりレリーズボタン５２が押されてからの撮像装置１の動作を、撮像装置１のプロセッサ４０の処理手順を表す図５のフローチャートを用いて説明する。

まず、Ｓ１１０にて、モード切替スイッチ５９の位置を検知して「補正撮像モード」の位置であるか否かを判別し、判別の結果が「補正撮像モード」の位置の場合はＳ１１１へ移行し、「補正撮像モード」ではなく、「ノーマルモード」の位置の場合はＳ１２０へ移行する。

次に、Ｓ１１１にて、スリット光有り画像とスリット光無し画像を取得するカメラ制御処理を行う。
つまり、スリット光投光ユニット２０に対してレーザーダイオード２１の発光を指令し、第１スリット光７１及び第２スリット光７２が出射されてから、スリット光有り画像としてＣＣＤ画像センサ３２から図４に示すような第１、第２スリット光７１，７２が投光された原稿Ｐが写った画像データを取得し、この画像データをＲＡＭ４３のスリット光有り画像格納部４３１へ記憶させる。

そして、スリット光投光ユニット２０に対してレーザーダイオード２１の発光停止を指令し、第１スリット光７１及び第２スリット光７２が出射されなくなってから、スリット光無し画像としてＣＣＤ画像センサ３２から画像データを取得し、この画像データをスリット光無し画像格納部４３２へ記憶させる。

次に、Ｓ１１２にて、差分抽出処理として、差分抽出プログラム４２２によりスリット光有り画像格納部４３１の画像データに対する、スリット光無し画像格納部４３２の画像データの差分（即ち、原稿Ｐに投光された第１スリット光の軌跡７１ａ及び第２スリット光の軌跡７２ａ）を求めた画像データを生成して、差分画像格納部４３３へ記憶させる。

そして、第１スリット光の軌跡７１ａの画像に関する位置情報として、差分画像格納部４３３に記憶した画像データの下半分（高さ方向位置ｃｃｄｙが「８００」〜「１５９９」の間）において、幅方向位置ｃｃｄｘが「０」〜「１１９９」の間の２０画素毎に、高さ方向の画素１列分での輝度レベルが最大の位置を求める。そして、その位置を求めた順番に番号が割り当てられた索引ｉｄｘと、その位置を求めた際の幅方向位置ｃｃｄｘと、輝度レベルが最大の高さ方向位置ｃｃｄｙとを、図６（ａ）に示すようにスリット光画像位置データ４３３ａとして差分画像格納部４３３に記憶する。尚、輝度レベルの最大の位置は、高さ方向の各画素の輝度レベルを結んだ近似曲線の最大値の位置である。また、この最大の位置の輝度レベルが所定のレベル以上で無い場合は、第１スリット光の軌跡７１ａが無いと判断して、スリット光画像位置データ４３３ａとして記憶しない。そして、第１スリット光の軌跡７１ａの位置情報として抽出された画素の総数である抽出画素数Ｎに、索引ｉｄｘの最大値を設定する。

続いて、第２スリット光の軌跡７２ａの画像に関する位置情報として、画像データの上半分（高さ方向位置ｃｃｄｙが「０」〜「７９９」）の、幅方向位置ｃｃｄｘの中央位置（ｃｃｄｘ＝５９９）にて、高さ方向の輝度レベルが最大になる位置を求めて、第２スリット光の軌跡７２ａの位置情報として、スリット光画像位置データ４３３ａと同様の形式で差分画像格納部４３３に記憶する。また、第１スリット光の軌跡７１ａの位置情報と同様、最大の位置の輝度レベルが所定のレベル以上で無い場合は、第２スリット光の軌跡７２ａが無いと判断して差分画像格納部４３３へは記憶しない。

次に、Ｓ１１３にて、三角測量演算処理として、差分画像格納部４３３に記憶したスリット光画像位置データ４３３ａにより定まる各点に対して、三角測量演算プログラム４２３により、索引ｉｄｘ毎の３次元空間位置を求めて（詳細は後述する。）、演算結果を図６（ｂ）に示すように、索引ｉｄｘ毎の３次元座標値であるＸ値，Ｙ値，Ｚ値のデータをスリット光３次元位置データ４３４ａとして三角測量演算結果格納部４３４へ記憶する。

次に、Ｓ１１４にて、原稿姿勢演算処理として、スリット光３次元位置データ４３４ａを用いて、原稿姿勢演算プログラム４２４により、原稿Ｐの３次元空間位置（０，０，Ｌ）、傾きθ及び湾曲φを求める（詳細は後述する。）。

次に、Ｓ１１５にて、平面変換処理として、平面変換プログラム４２５により図１０のフローチャートに示す処理（詳細は、後述する。）を行い、スリット光無し画像格納部４３２に記憶された画像を、原稿Ｐが略直交方向から観察された平面画像（例えば、図７（ａ）のように、原稿Ｐが矩形形状になる画像）に変換して、平面変換結果画像格納部４３５に記憶させる。

次に、Ｓ１１６にて、面内変位回転認識処理として、平面変換結果画像格納部４３５に記憶された平面画像を、面内変位回転認識プログラム４２６により図１３のフローチャートに示す処理（詳細は、後述する。）を行い、図７（ｂ）に示すように平面画像内に写った原稿Ｐの画像領域を識別して、平面画像の中央位置に対する原稿Ｐの画像領域の中央位置の幅方向変位ＤＨ、及び、高さ方向変位ＤＶと、平面画像における原稿Ｐの画像領域の所定の辺の回転角度ＤＲＯＴとを求めて、面内変位回転認識結果格納部４３６に記憶させる。

次に、Ｓ１１７にて、矩形領域切り取り処理として、矩形領域切り取りプログラム４２７により図１８のフローチャートに示す処理（詳細は、後述する。）を行い、スリット光無し画像格納部４３２に記憶されたスリット光無し画像を、図７（ｃ）に示すように原稿Ｐが略直交方向から観察された原稿Ｐの画像領域が正立した状態で、この原稿Ｐの画像領域だけが切り取られた画像に変換し、矩形領域切り取り結果画像格納部４３７に記憶させて本処理を終了する。

一方、Ｓ１２０では、「ノーマルモード」での画像データの取得として、スリット光投光ユニット２０のレーザーダイオード２１への発光指令を停止し、第１スリット光７１及び第２スリット光７２が出射されていない状態で、ＣＣＤ画像センサ３２から画像データを取得し、この画像データをカードメモリ５５に記憶させて本処理を終了する。

尚、Ｓ１１２での差分抽出プログラム４２２による処理について具体的には、スリット光有り画像格納部４３１の画像データからスリット光無し画像格納部４３２の画像データを、画素毎にそのＲＧＢ値を差し引く。これにより、第１，第２スリット光の軌跡７１ａ，７２ａのみが抽出された多値画像を得る。

また、Ｓ１１３での三角測量演算プログラム４２３による処理について具体的には、例えば、スリット光画像位置データ４３３ａにより定まる各点に対する３次元空間位置を次のようにして求める。

ここで、図４に示すように幅方向に湾曲した原稿Ｐを撮像する際の座標系を、図８に示すように、結像レンズ３１の光軸方向をＺ軸として、撮像装置１から基準距離ＶＰ離れた位置をＸ，Ｙ，Ｚ軸の原点位置とし、撮像装置１に対して水平方向をＸ軸、垂直方向をＹ軸とする。

そして、ＣＣＤ画像センサ３２の幅方向の総画素数をＲｅｓＸ、高さ方向の総画素数をＲｅｓＹと呼び、Ｘ−Ｙ平面に、結像レンズ３１を通してＣＣＤ画像センサ３２を投影した位置の上端をＹｆｔｏｐ、下端をＹｆｂｏｔｔｏｍ、左端をＸｆｓｔａｒｔ、右端をＸｆｅｎｄと呼ぶ。また、結像レンズ３１の光軸から、スリット光投光ユニット２０から出射される第１スリット光７１の光軸までの距離をＤ、第１スリット光７１がＸ−Ｙ平面に交差するＹ軸方向の位置をｌａｓ１、第２スリット光７２がＸ−Ｙ平面に交差するＹ軸方向の位置をｌａｓ２とする。

このとき、スリット光画像位置データ４３３ａの所定のデータにより定まる点の画像上の座標（ｃｃｄｘ１，ｃｃｄｙ１）に対応する３次元空間位置（Ｘ１，Ｙ１，Ｚ１）を、ＣＣＤ画像センサ３２の結像面上の点と、第１スリット光７１及び第２スリット光７２の出射点と、Ｘ−Ｙ平面に交差する点とで形成される三角形について立てた次に示す５つの連立方程式の解から導き出す。
（１）Ｙ１＝−（（ｌａｓ１＋Ｄ）／ＶＰ）Ｚ１＋ｌａｓ１
（２）Ｙ１＝−（Ｙｔａｒｇｅｔ／ＶＰ）Ｚ１＋Ｙｔａｒｇｅｔ
（３）Ｘ１＝−（Ｘｔａｒｇｅｔ／ＶＰ）Ｚ１＋Ｘｔａｒｇｅｔ
（４）Ｘｔａｒｇｅｔ＝Ｘｆｓｔａｒｔ＋（ｃｃｄｘ１／ＲｅｓＸ）×（Ｘｆｅｎｄ−Ｘｆｓｔａｒｔ）
（５）Ｙｔａｒｇｅｔ＝Ｙｆｔｏｐ―（ｃｃｄｙ１／ＲｅｓＹ）×（Ｙｆｔｏｐ−Ｙｆｂｏｔｔｏｍ）
尚、本実施例では、第１スリット光７１がＺ軸に対して平行のためｌａｓ１＝−Ｄであり、Ｙ１＝−Ｄである。

同様に、第２スリット光の軌跡７２ａの位置情報で定まる点の画像上の座標（ｃｃｄｘ２，ｃｃｄｙ２）に対応する３次元空間位置（Ｘ２，Ｙ２，Ｚ２）を、次に示す５つの連立方程式の解から導き出す。
（１）Ｙ２＝−（（ｌａｓ２＋Ｄ）／ＶＰ）Ｚ２＋ｌａｓ２
（２）Ｙ２＝−（Ｙｔａｒｇｅｔ／ＶＰ）Ｚ２＋Ｙｔａｒｇｅｔ
（３）Ｘ２＝−（Ｘｔａｒｇｅｔ／ＶＰ）Ｚ２＋Ｘｔａｒｇｅｔ
（４）Ｘｔａｒｇｅｔ＝Ｘｆｓｔａｒｔ＋（ｃｃｄｘ２／ＲｅｓＸ）×（Ｘｆｅｎｄ−Ｘｆｓｔａｒｔ）
（５）Ｙｔａｒｇｅｔ＝Ｙｆｔｏｐ―（ｃｃｄｙ２／ＲｅｓＹ）×（Ｙｆｔｏｐ−Ｙｆｂｏｔｔｏｍ）
また、Ｓ１１４での原稿姿勢演算プログラム４２４による処理について具体的には、例えば、スリット光３次元位置データ４３４ａにより定まる３次元空間位置の各点に対する回帰曲線を求め、この曲線のＸ軸方向の位置が「０」における点と、第２スリット光の軌跡７２ａの位置情報により定まる点とを結ぶ直線を想定し、この直線がＺ軸と交わる点、つまり、光軸が原稿Ｐと交差する点を、原稿Ｐの３次元空間位置（０，０，Ｌ）（以降、位置Ｌと呼ぶ。）として求める（図９（ａ）参照。）。そして、この直線がＸ−Ｙ平面となす角を原稿Ｐの傾きθとして求める。

また、図９（ｂ）に示すように、第１スリット光の軌跡７１ａの回帰曲線を、先に求めた傾きθ分だけ逆方向に回転変換する。つまり、原稿ＰをＸ−Ｙ平面に対して平行にした状態を考える。そして、図９（ｃ）に示すように、Ｘ−Ｚ平面における原稿Ｐの断面について、Ｚ軸方向変位を複数のＸ軸方向の点で求めてその変位度から、Ｘ軸方向の位置を変数としたＸ軸方向への傾きの関数である湾曲φ（Ｘ）を求める。

また、Ｓ１１５での平面変換プログラム４２５による処理について具体的には、例えば、図１０のフローチャートに示される次に説明するような処理である。
まず、ＲＡＭ４３のワーキングエリア４３８に当該処理の処理領域を割り当て、カウンタのための変数など当該処理に用いる変数の初期値を設定する。（Ｓ１２１）
次に、原稿姿勢演算プログラム４２４での演算結果による原稿Ｐの位置Ｌと、傾きθと、湾曲φ（Ｘ）とに基づき、スリット光無し画像格納部４３２に格納されたスリット光無し画像の４隅の点を、それぞれ、湾曲φ（ｘ）でＹ軸まわりに回転移動し、Ｘ軸まわりに傾きθだけ回転し、Ｚ軸方向に位置Ｌだけ移動した点で形成される領域（つまり、原稿Ｐの文字等が書かれた面が略直交方向から観察されたような画像となる領域（通常、原稿Ｐは矩形となり、画像全体の領域は台形形状となる。））を求める。そして、この領域を含む矩形形状の平面画像の領域を設定し（図７（ａ）参照）、この領域内に含まれる画素数Ｑａを求める（Ｓ１２２）。尚、この平面画像の領域の画素は、スリット光無し画像格納部４３２に記憶されたスリット光無し画像データの解像度（１００ｄｐｉ）の１／４の解像度（２５ｄｐｉ）となる大きさとする。よって、画素数Ｑａは、スリット光無し画像データの解像度で設定する場合に比べて１／１６の数となる。

次に、設定された平面画像の領域を構成する各画素が対応する、スリット光無し画像上の座標を求めて、この座標周辺の画素情報から、平面画像の各画素の画素情報を設定する。つまり、平面画像の領域を構成する画素の位置を、湾曲φ（Ｘ）に基づいてＺ軸方向に変位させ（Ｓ１２５）、傾きθでＸ軸まわりに回転移動し（Ｓ１２６）、Ｚ軸方向に位置Ｌだけシフトして（Ｓ１２７）、求められた３次元空間位置を、先の三角測量演算処理の関係式によりＣＣＤ画像センサ３２による画像データ上の座標（ｃｃｄｘ，ｃｃｄｙ）に変換し（Ｓ１２８）、この変換された座標が、スリット光無し画像格納部４３２に格納された画像データの範囲内であれば（Ｓ１２９：ＹＥＳ）、変換された座標における画素情報をスリット光無し画像格納部４３２に格納されたスリット光無し画像データの画素情報からニアレストネイバー法で求めて、平面変換結果画像格納部４３５に格納する（Ｓ１３０）。そして、変換された座標がスリット光無し画像格納部４３２に格納された画像データの範囲内でなければ（Ｓ１２９：ＮＯ）、画素情報として「黒」の値を平面変換結果画像格納部４３５に格納する（Ｓ１３１）。これをカウンタｊが画素数Ｑａになるまで繰り返す（Ｓ１２３）。

尚、ニアレストネイバー法とは、輝度を求めるべき最近傍の点の輝度値を、求めようとする点の輝度値とする方法である。例えば、画素情報が、座標の（０，０）、（０，１）、（１，０）、（１，１）といった整数値の点に存在し、変換された座標が（０．２，０．８）となった場合に、一番近い点（０，１）の画素情報を、変換された座標の画素情報とする。

また、Ｓ１２５での湾曲計算について具体的には、平面画像の領域における３次元座標の所定の点（Ｘ，Ｙ，Ｚ）を、湾曲φ（Ｘ）に基づくＺ軸方向へ変位した点（Ｘ'，Ｙ'，Ｚ'）について、次に説明する図１１（ａ）のフローチャートに示す手順で求める。

まず、Ｘ'を、関係式Ｘ'＝ｃｏｓφ×Ｘ＋（−ｓｉｎφ）×Ｚから求め（Ｓ１２５１）、Ｙ'を、Ｙの値そのままとし（Ｓ１２５２）、Ｚ'を、関係式Ｚ'＝ｓｉｎφ×Ｘ＋ｃｏｓφ×Ｚから求める（Ｓ１２５３）。

また、Ｓ１２５６での傾き距離の計算処理について具体的には、湾曲計算処理した点（Ｘ'，Ｙ'，Ｚ'）を、Ｘ軸を中心にθ回転した点（Ｘ''，Ｙ''，Ｚ''）について、図１１（ｂ）のフローチャートに示す手順で求める。

まず、Ｘ''を、Ｘ'の値そのままとし（Ｓ１２６１）、Ｙ''を、関係式Ｙ''＝ｃｏｓθ×Ｙ'＋（−ｓｉｎθ）×Ｚ'で求め（Ｓ１２６２）、にて、Ｚ''を、関係式Ｚ''＝ｓｉｎθ×Ｙ'＋ｃｏｓθ×Ｚ'で求める（Ｓ１２６３）。

また、Ｓ１２７でのＺ方向へのシフトについて具体的には、傾き補正した点（Ｘ''，Ｙ''，Ｚ''）を、Ｚ軸方向に位置Ｌだけシフトした点（Ｘ'''，Ｙ'''，Ｚ'''）について、次に説明する図１２（ａ）のフローチャートに示すような手順で求める。

まず、Ｘ'''は、Ｘ''の値そのままとし（Ｓ１２７１）、Ｙ'''も、Ｙ''の値そのままとし（Ｓ１２７２）、Ｚ'''は、Ｚ''の値に位置Ｌを加えたものとする（Ｓ１２７３）。
また、Ｓ１２８での、Ｚ軸方向に位置Ｌだけシフトした点（Ｘ'''，Ｙ'''，Ｚ'''）を、ＣＣＤ画像上の座標（ｃｃｄｘ，ｃｃｄｙ）への変換した点について、図１２（ｂ）のフローチャートに示す手順で求める。

まず、原稿Ｐ上のＸ軸方向位置Ｘｔａｒｇｅｔを、関係式Ｘｔａｒｇｅｔ＝Ｘ'''／（１−（Ｚ'''／Ｌ）で求め（Ｓ１２８１）、原稿ＰのＹ軸方向位置Ｙｔａｒｇｅｔを、関係式Ｙｔａｒｇｅｔ＝Ｙ'''／（１−（Ｚ'''／Ｌ）で求める（Ｓ１２８２）。

そして、ＣＣＤ画像上の幅方向位置ｃｃｄｘを、関係式ｃｃｄｘ＝（ＲｅｓＸ）×（Ｘｔａｒｇｅｔ−Ｘｆｓｔａｒｔ）／（Ｘｆｅｎｄ−Ｘｆｓｔａｒｔ）で求め（Ｓ１２８３）、ＣＣＤ画像上の高さ方向位置ｃｃｄｙを、関係式ｃｃｄｙ＝（−ＲｅｓＹ）×（Ｙｔａｒｇｅｔ−Ｙｆｓｔａｒｔ）／（Ｙｆｅｎｄ−Ｙｆｓｔａｒｔ）で求める（Ｓ１２８４）。

また、Ｓ１１６での面内変位回転認識プログラム４２６による処理について具体的には、例えば、図１３のフローチャートに示される次に説明するような処理である。
まず、平面変換結果画像格納部４３５に記憶された平面画像データを、単色画像データにする。つまり、各画素のＲ、Ｇ、Ｂ３色の輝度値を加算した画像データにする（Ｓ１６１）。そして、単色となった平面画像データ全体の画像輝度分布に関するヒストグラムを演算し（例えば、横軸が輝度で縦軸が度数である図１４に示すグラフのように、輝度が高い領域と、輝度が低い領域とに度数分布が分かれたものとなる）、その重心値を求めて（Ｓ１６２）、平面画像データを、ヒストグラムの重心値より輝度が高い箇所の画素情報を「１」（つまり、「白」）、ヒストグラムの重心値より輝度が低い箇所の画素情報を「０」（つまり、「黒」）とした２値化画像データにする（Ｓ１６３）。これにより、２値化画像は、背景に対して明るい原稿Ｐの写った箇所が「白」となり、それ以外の箇所が「黒」となる。

次に、上下左右演算として、２値化画像の中心位置に対する、２値化画像における「白」の領域（つまり、原稿Ｐの領域）の中心位置の幅方向変位ＤＨ、及び、高さ方向変位ＤＶを図１５のフローチャートに示す手順により求める（Ｓ１６４）。そして、回転角演算として、２値化画像における「白」の領域（つまり、原稿Ｐの領域）の幅方向の辺の２値化画像の幅方向に対する回転角度ＤＲＯＴを図１６のフローチャートに示す手順により求めて（Ｓ１６５）、本処理を終了する。

尚、Ｓ１６４における上下左右演算についての図１５のフローチャートは、次に説明する手順で行う。
まず、２値化画像データによる画像の原稿Ｐが含まれる側（つまり、「白」）の領域の重心位置を求めて（Ｓ１６４１）、画像の中心位置に対する「白」の領域の重心位置の変位として、幅方向変位ＤＨ、高さ方向変位ＤＶを求める（Ｓ１６４２）。そして、この幅方向変位ＤＨ、高さ方向変位ＤＶを、面内変位回転認識結果格納部４３６に記憶させて（Ｓ１６４３）、本処理を終了する。

また、Ｓ１６５における回転角演算についての図１６のフローチャートは、次に説明する手順で行う。
まず、Ｓ１６３にて変換した２値化画像データを読み込み、この２値化画像データによる画像を、パラメータ角度γの角度となるように回転し（Ｓ１６５５）、この画像の幅方向の２次微分を行った画像を生成する（Ｓ１６５６）。つまり、原稿Ｐの領域の輪郭が残った画像とする。

次に、この２次微分した画像の幅方向に対する高さ方向の「白」の画素数のヒストグラムを算出する。すると、図１７に示す横軸が画像の幅方向の位置で、縦軸が高さ方向の「白」の箇所の度数のグラフのように、原稿Ｐの高さ方向の辺がある部分のヒストグラムの値が高くなり、この箇所の値をパラメータ角度γにおけるヒストグラムの最大値ｄｍａｘ（γ）として求め（Ｓ１６５７）、この最大値ｄｍａｘ（γ）の値を、ヒストグラムのこれまでの最大値ＤＭＡＸと比較して、最大値ＤＭＡＸより大きい場合（Ｓ１６５９：ＹＥＳ）、回転角度ＤＲＯＴをパラメータ角度γで置き換え（Ｓ１６６１）、最大値ＤＭＡＸを、パラメータ角度γでの最大値ｄｍａｘ（γ）で置き換る（Ｓ１６６２）。そしてパラメータ角度γが、最大値ＤＭＡＸより大きく無い場合（Ｓ１６５９：ＮＯ）、回転角度ＤＲＯＴ、及び、最大値ＤＭＡＸは、そのままとする。

これを、パラメータ角度γが、初期回転角度γｓｔａｒｔ（例えば−４５度）から最終回転角度γｅｎｄ（例えば４５度）までの範囲で、増分ａｄｄ（例えば５度）毎に行う（Ｓ１６５３，Ｓ１６６０）。

これらの処理により、２値化画像データによる画像を初期回転角度γｓｔａｒｔから最終回転角度γｅｎｄまで回転させた時の、輪郭線のヒストグラムの最大値が一番大きくなる角度を求めることができる。つまり、原稿Ｐによる矩形形状の輪郭線は、その左又は右の辺が、図１７の点線で示すように、画像の高さ方向に平行になると、左右の辺の輪郭線がある幅方向位置でのヒストグラム値が最大となる。これを利用して、原稿Ｐの領域を回転してヒストグラム値が最大となる角度を、原稿Ｐの回転角度ＤＲＯＴとして求めている。

また、Ｓ１１７での矩形領域切り取りプログラム４２７による処理について具体的には、例えば、図１８のフローチャートに示される次に説明するような処理である。
まず、ＲＡＭ４３のワーキングエリア４３８に当該処理の処理領域を割り当て、カウンタのための変数など当該処理に用いる変数の初期値を設定する。（Ｓ１７１）
次に、スリット光無し画像の４隅の点を、それぞれ、湾曲φ（ｘ）でＹ軸まわりに回転移動し、Ｘ軸まわりに傾きθだけ回転し、Ｚ軸方向に位置Ｌだけ移動して、幅方向変位ＤＨ，高さ方向変位ＤＶだけＸ−Ｙ平面を移動して、Ｚ軸を中心に回転角度ＤＲＯＴだけ回転した点で形成される領域の中心位置となるように変換して、その４つの点で形成される領域をサイズ入力部５６で入力された大きさで切り取った領域、つまり、原稿Ｐの文字等が書かれた面が略直交方向から観察され、原稿Ｐの矩形形状が画像の幅方向及び高さ方向に平行になるよう回転され、原稿Ｐの領域だけが切り取られたような画像となる切り取り画像の領域を設定し、この領域内に含まれる画素数Ｑｂを求める（Ｓ１７２）。尚、この切り取り画像の領域の画素は、スリット光無し画像格納部４３２に記憶されたスリット光無し画像データの解像度と同じ解像度（１００ｄｐｉ）となる大きさの画素とする。

次に、設定された切り取り画像の領域に含まれる各画素の３次元空間位置を、Ｚ軸を中心に回転角度ＤＲＯＴで回転して（Ｓ１７５）、この画素の座標に幅方向変位ＤＨ及び高さ方向変位ＤＶを加算して（Ｓ１７６）、湾曲φ（Ｘ）に基づいてＺ軸方向に変位させ（Ｓ１７７）、傾きθでＸ軸まわりに回転移動し（Ｓ１７８）、Ｚ軸方向に位置Ｌだけシフトして（Ｓ１７９）、求められた３次元空間位置を、先の三角測量の関係式により理想カメラで写されたＣＣＤ画像上の座標（ｃｃｄｃｘ，ｃｃｄｃｙ）に変換し（Ｓ１８０）、使用している結像レンズ３１の収差特性を基に、ＣＣＤ画像センサ３２による画像上の座標（ｃｃｄｘ，ｃｃｄｙ）に変換し（Ｓ１８１）、この座標における画素情報をスリット光無し画像の画素情報からバイリニア法で求めて、Ｓ１７２にて設定された領域の画素情報としてＲＡＭ４３のワーキングエリア４３８に格納する（Ｓ１８２）。

これをＳ１７２で求めた領域内の各画素位置に対して画素数Ｑｂだけ繰り返し、画像データを生成する。
尚、バイリニア法とは、ある変換後の点が変換前のどの領域に相当するかを計算し、その領域内にあるピクセルの色の平均値を変換後の点の色とする方法である。例えば、画素の情報は整数値の位置の点に存在し、変換前の位置を計算した座標が（０．２，０．８）となった場合に、その周囲の４つの点（０，０）、（０，１）、（１，０）、（１，１）の距離に応じた各点の画素情報の平均値を求めて、変換後の点の画素情報とする。

また、Ｓ１７７〜Ｓ１８０は、Ｓ１２５〜Ｓ１２８と同じ処理手順である。
以上のように、撮像装置１は、第１スリット光７１及び第２スリット光７２の２列のスリット光を出射し、これらのスリット光が投光された原稿Ｐを、ＣＣＤ画像センサ３２にて撮像し、続けて、スリット光が投光されていない原稿Ｐの画像を撮像する。そして、これら２つの画像データの差分をとり、画像データからスリット光の軌跡を抽出して、三角測量原理によりスリット光の軌跡各部の３次元空間位置を演算し、これらから原稿Ｐの位置Ｌ、傾きθ及び湾曲φ（ｘ）を求め、第１スリット光の軌跡７１ａの形状を原稿Ｐ全体の横断面形状として類推した結果を基に、先に撮像したスリット光が投光されていない原稿Ｐの画像を、平らな原稿Ｐが正立方向にて正面から見られ、原稿Ｐだけ切り抜かれたかのような画像データに変換して、カードメモリ５５に記録する。

尚、カードメモリ５５に記憶された画像データは、ＬＣＤ５１で表示して撮像内容を確認したり、カードメモリ５５を撮像装置１から取り外して、外部のパーソナルコンピュータなどにより表示したり、印刷したりして用いることができる。

このように、本実施例の撮像装置１によれば、使用者は、モード切替スイッチ５９をスライドさせて「補正撮像モード」とし、サイズ入力部５６を撮像する原稿Ｐの大きさに合わせて原稿Ｐを撮像することにより、湾曲した原稿Ｐを斜めから撮像しても、平らな原稿Ｐが正立方向にて正面から見られ、原稿Ｐが写った部分だけ切り抜かれた画像を得ることができる。

また、本実施例によれば、原稿Ｐの姿勢を、画像に写った第１，第２スリット光７１，７２の箇所だけを解析して、原稿Ｐの姿勢を求めており、複雑な画像解析を行うことなく、容易に検出精度が良い原稿Ｐの姿勢を求めることができる。このため、撮像装置１のプロセッサ４０による処理を短時間に、又は、プロセッサ４０を簡易なものにすることができる。

また、面内変位回転認識処理Ｓ１１６での処理は、原稿Ｐの領域が識別できれば良く、色の情報は処理内容には関係が少ないため、平面画像データを２値画像データとすることにより、処理に用いる情報量を少なくして、処理内容を簡易にし、高速化することができる。

但し、Ｓ１１７での矩形領域切り取り処理では、解像度が高く、色数が多いほど、変換した画像が見やすくなるため、それぞれが一番大きくなるスリット光無し画像と同じ解像度で、同じ色数の画像に変換している。

[本発明との対応関係]
本発明における画像処理装置及び撮像装置に対して、本実施例では、結像レンズ３１、ＣＣＤ画像センサ３２、スリット光投光ユニット２０、及び、プロセッサ４０による、Ｓ１１１でのカメラ制御処理が、対象物体撮像手段に相当し、Ｓ１１２〜Ｓ１１４での処理が、３次元形状検出手段に相当し、Ｓ１１５での平面変換処理が、平面変換手段に相当し、Ｓ１１６での面内変位回転認識処理が、面内変位検出手段、及び、面内角度検出手段に相当し、Ｓ１１７での矩形領域切り取り処理が、第１、第２補正変換手段に相当する。また、サイズ入力部５６が、範囲入力手段に相当する。
[変形例]
以上、本発明の実施形態について説明したが、本発明は上記の具体的な実施形態に限定されず、このほかにも様々な形態で実施することができる。

例えば、本実施例では、スリット光投光ユニット２０にて、第１スリット光７１、及び、第２スリット光７２の２列のスリット光を出射して３次元形状を検出しているが、これに限らず、３列以上のスリット光を出射して３次元形状を検出するものであっても良いし、スリット光に限らず、特定の輻射パターンの光束を出射して３次元形状を検出するものであっても良い。

また、本実施例では、最終的な画像データであるカードメモリ５５に記憶される画像データは、サイズ入力部５６にて指定された原稿Ｐの大きさで切り抜かれているが、切り抜き範囲の指定方法は、これに限らず、例えば、サイズ入力部５６が無く、Ｓ１１６の面内変位回転認識処理にて変換された２値化画像データにて識別した原稿Ｐの領域（「白」の領域）を基に設定しても良い。

また、最終的な画像データとする範囲は、Ｓ１１７の矩形領域切り取り処理のＳ１７２にてスリット光無し画像の４隅の点を変換して形成される領域を、サイズ入力部５６で入力された大きさで切り取った領域としているが、これに限らなくてもよい。例えば、サイズ入力部５６を装備せずに、Ｓ１１７の矩形領域切り取り処理のＳ１７２にて設定する領域が、サイズ入力部５６で入力された大きさで切り取らず、スリット光無し画像の４隅の点を変換して形成される領域を含む矩形範囲を最終的な画像データとしたものであっても良い。また、最終的な画像データとする範囲は、Ｓ１７２にて回転角度ＤＲＯＴで回転変換しない領域として、Ｓ１７５での処理を行わないものであっても良いし、Ｓ１７２にて幅方向変位ＤＨ及び高さ方向変位ＤＶによる上下変位及び左右変位の変換を行わない領域として、Ｓ１７６での処理を行わないものであっても良い。

また、Ｓ１１５での平面変換処理においても、スリット光無し画像の４隅の点を、それぞれ、湾曲φ（ｘ）、傾きθ、位置Ｌで変換した点で形成される領域を、サイズ入力部５６により入力された大きさで変形する領域を限定して、この領域内の各画素に対して変換するものであっても良い。このようにすれば、平面画像としての画素数が減るため、平面変換処理における処理量を減らすことができ、Ｓ１１６での面内変位回転認識処理の処理量も減らすことができる。これにより、プロセッサ４０による処理全体を高速化することができる。

また、Ｓ１１５での平面変換処理は、スリット光無し画像データを単色にし、１／４の解像度としているが、解像度は、スリット光無し画像の解像度で変換処理するものであっても良いし、色数も単色とせず、３色の色情報をそのままで処理するものであっても良い。

但し、本実施例のように、Ｓ１１５での平面変換処理にて、スリット光無し画像よりも解像度を落とし、色数も単色とした平面画像に変換したものによれば、スリット光無し画像と同じ解像度及び色数で行う際の処理量に比べて、スリット光無し画像と同じ解像度、及び、同じ色数の画像としたものより当該処理での処理量、及び、この平面画像を用いた面内変位回転認識処理Ｓ１１６での処理量を少なくすることができる。これにより、プロセッサ４０による処理全体を短時間にすることができる。

また、撮像装置１にて撮像する対象物体は、本実施例にて説明した原稿Ｐのように矩形形状となっているもの以外であっても良い。但し、この場合、Ｓ１１６の面内変位回転認識処理における回転角演算（Ｓ１６５）の処理は、例えば、複数の形状データに対するパターンマッチングで合致する形状を検索するなど形状の判定処置が複雑なものとなるため、本実施例の方が簡易で良い。

また、本実施例では、画像を撮像して、変換するまでを撮像装置１の１台にて行っているが、撮像装置１の外部のパーソナルコンピュータなどの画像処理装置にデータを受け渡しできるようにして、Ｓ１１２〜Ｓ１１７の処理を分けて行うものであっても良い。

本実施例の全体構成及び概略断面を表す図である。 本実施例の全体構成を表すブロック図である。 本実施例のスリット光投光ユニット２０の構成を表す概略断面図である。 本実施例のスリット光有り画像を説明するための図である。 本実施例のプロセッサ４０における処理を表すフローチャート図である。 本実施例の差分画像格納部４３３及び三角測量演算結果格納部４３４に格納されるデータを表す図である。 本実施例にて画像処理した画像データを表す図である。 本実施例の３次元空間位置算出方法を説明するための図である。 本実施例の原稿姿勢演算処理の際の座標系を説明するための図である。 本実施例の平面変換処理の処理手順を表すフローチャート図である。 本実施例の湾曲計算及び傾き距離計算の処理手順を表すフローチャート図である。 本実施例のＺシフト及び逆三角測量の処理手順を表すフローチャート図である。 本実施例の面内変位回転認識処理の処理手順を表すフローチャート図である。 本実施例における単純輝度画像のヒストグラムを表す図である。 本実施例の上下左右変位演算の処理手順を表すフローチャート図である。 本実施例の回転角度演算の処理手順を表すフローチャート図である。 本実施例における２次微分画像のヒストグラムを表す図である。 本実施例の矩形領域切り取り処理の処理手順を表すフローチャート図である。

符号の説明

１…撮像装置、１０…本体ケース、２０…スリット光投光ユニット、２１…レーザーダイオード、２２…コリメートレンズ、２３…アパーチャ、２４…透明平板、２５…シリンドリカルレンズ、２６…反射ミラー、２７…ロッドレンズ、２９…窓、３１…結像レンズ、３２…ＣＣＤ画像センサ、４０…プロセッサ、５２…レリーズボタン、５３…ファインダ、５５…カードメモリ、５６…サイズ入力部、５９…モード切替スイッチ、７０…レーザー光、７１…第１スリット光、７２…第２スリット光、４２１…カメラ制御プログラム、４２２…差分抽出プログラム、４２３…三角測量演算プログラム、４２４…原稿姿勢演算プログラム、４２５…平面変換プログラム、４２６…面内変位回転認識プログラム、４２７…矩形領域切り取りプログラム、４３１…スリット光有り画像格納部、４３２…スリット光無し画像格納部、４３３…差分画像格納部、４３４…三角測量演算結果格納部、４３５…平面変換結果画像格納部、４３６…面内変位回転認識結果格納部、４３７…矩形領域切り取り結果画像格納部、４３８…ワーキングエリア、Ｐ…原稿。

Claims (12)

1. 所定形状の対象物体が写った対象物体画像、及び、該対象物体の３次元形状に関する形状情報が外部から入力され、該形状情報に基づき、該対象物体画像を、該対象物体が所定の方向から見られた平面画像に変換する平面変換手段と、
   前記平面画像における前記対象物体が写った領域である対象物体領域を識別して、前記平面画像の中央位置に対する該対象物体領域の相対変位を求める面内変位検出手段と、
   前記形状情報、及び、該面内変位検出手段にて求めた相対変位に基づき、前記対象物体画像を、所定の方向から見られた前記対象物体が略中央位置に配された補正画像に変換する第１補正変換手段と、
   を備えることを特徴とする画像処理装置。
2. 前記平面画像における前記対象物体領域を識別して、前記平面画像面内の所定の方向に対する該対象物体領域の所定の辺の角度を求める面内角度検出手段を備え、
   前記第１補正変換手段は、前記形状情報、前記面内変位検出手段にて求めた相対変位、及び、前記面内角度検出手段にて求めた角度に基づき、前記対象物体画像を、所定の方向から見られた該対象物体が略中央位置に配され、該対象物体の所定の辺が当該画像内の所定の方向に向けられた補正画像に変換する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１補正変換手段は、
   前記補正画像への変換を、前記対象物体画像の前記対象物体が写る領域に対してだけ行うことを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記対象物体画像は、多色画像であり、
   前記第１補正変換手段は、前記対象物体画像の画素の色数と同じ色数の前記補正画像に変換することを特徴とする請求項１〜請求項３にいずれか記載の画像処理装置。
5. 所定形状の対象物体が写った対象物体画像、及び、該対象物体の３次元形状に関する形状情報が外部から入力され、該形状情報に基づき、該対象物体画像を、該対象物体が所定の方向から見られた平面画像に変換する平面変換手段と、
   前記平面画像における前記対象物体が写った領域である対象物体領域を識別して、該対象物体領域の所定の辺と、前記平面画像面内の所定の方向との間の角度を求める面内角度検出手段と、
   前記形状情報、及び、該面内角度検出手段で求めた角度に基づき、前記対象物体画像を、所定の方向から見られた該対象物体の所定の辺が当該画像内の所定の方向に向けられた補正画像に変換する第２補正変換手段と、
   を備えることを特徴とする画像処理装置。
6. 前記第２補正変換手段は、
   前記補正画像への変換を、前記対象物体画像の前記対象物体が写る領域に対してだけ行うことを特徴とする請求項５に記載の画像処理装置。
7. 前記対象物体画像は、多色画像であり、
   前記第２補正変換手段は、前記対象物体画像の画素の色数と同じ色数の前記補正画像に変換することを特徴とする請求項５又は請求項６に記載の画像処理装置。
8. 前記平面変換手段にて変換される前記対象物体画像の範囲を、外部から入力するための範囲入力手段を備え、
   前記平面変換手段は、前記範囲入力手段により入力された前記対象物体画像の範囲を前記平面画像に変換することを特徴とする請求項１〜請求項７にいずれか記載の画像処理装置。
9. 前記対象物体は、所定の面を直交する方向から見られた形状が矩形であることを特徴とする請求項１〜請求項８にいずれか記載の画像処理装置。
10. 前記平面変換手段は、
    前記対象物体画像の解像度に比べて低解像度の前記平面画像に変換することを特徴とする請求項１〜請求項９に記載の画像処理装置。
11. 前記対象物体画像は、多色画像であり、
    前記平面変換手段は、画素の色数が単色の前記平面画像に変換することを特徴とする請求項１〜請求項１０にいずれか記載の画像処理装置。
12. 請求項１〜請求項１１にいずれか記載の画像処理装置と、
    所定形状の対象物体を撮像して、該対象物体が写った画像を前記画像処理装置に入力する対象物体撮像手段と、
    所定形状の光束であるパターン光を生成して出射し、該パターン光の出射口に対して一定距離離れた位置から、該パターン光が照射された前記対象物体を撮像し、該撮像された画像に基づき、前記対象物体における該パターン光の反射位置を算出し、前記対象物体の３次元形状を求めて、該対象物体の３次元形状に関する形状情報を前記画像処理装置に入力する３次元形状検出手段と、
    を備えることを特徴とする撮像装置。
    
    
    
    

Images