JP2006004010A - 画像入出力装置 - Google Patents

Abstract

【課題】 被写体に記述された記述情報が予め設定されている参照情報と一致するかを判断し、その判断結果を示す判断結果情報を投影手段で投影することで簡易に取得することができる画像入出力装置を提供すること。
【解決手段】 解答用紙Ｐに記述されている記述情報としての解答は、その解答用紙Ｐを撮像した撮像データから記述情報認識手段によって認識され、その認識された記述情報は、記憶手段に予め設定されている参照情報と一致するか否かが判断される。そして、その判断結果を示す判断結果情報として、一致していることを示す「○」の記号や不一致であることを示す「×」の記号が、投影手段によって解答用紙Ｐ上に投影される。
【選択図】 図２４

Description

本発明は、被写体に記述された記述情報が予め設定されている参照情報と一致するかを判断し、その判断結果を示す判断結果情報を投影手段で投影することで簡易に取得することができる画像入出力装置に関する。

従来より、学校や学習塾等の教育の場では、学習成果を確認、評価する手段の一つとして筆記試験（ペーパーテスト）が実施されているが、この筆記試験における採点作業は、手作業で行われている場合が多く、非効率的であったり、誤った採点が行われたりする等の問題点があった。

そこで、次の特許文献１には、この採点作業を自動で行うことができるデジタル複写機を利用した画像処理装置が開示されている。この画像処理装置は、答案用紙の画像情報を読取り、その画像情報から各問題毎に回答を認識し、その回答の正否を判断し点数化する。そして、正否の判断結果を示す「○」、「×」の記号や合計得点を、読取った画像情報と共に記録用紙に画像形成して出力するものである。
特開平７−１９９７９４号公報

しかしながら、上述した画像処理装置では、正否の判断結果を示す「○」、「×」の記号や合計得点は、読取った画像情報と共に記録用紙に画像形成され出力されるので、答案用紙とは別の用紙が作成されることになり、手作業で答案用紙に直接に「○」、「×」の記号や合計得点を記載する場合に比べて用紙を無駄に消費するという問題点があった。

また、自己学習の場面を想定した場合、全問を消化した後に採点作業を行うのではなく、例えば、一問一答形式で回答を確認したいような場合もある。かかる場合に、この画像処理装置を利用して回答を確認しようとすれば、問題数と同じ枚数の用紙が作成され、更に用紙が無駄に消費するという問題点があった。

本発明は、上述した問題点を解決するためになされたものであり、被写体に記述された記述情報が、予め設定されている参照情報と一致するかを判断し、その判断結果を示す判断結果情報を投影手段で投影することで簡易に取得することができる画像入出力装置を提供することを目的としている。

この目的を達成するために請求項１記載の画像入出力装置は、文字や図形を含む記述情報が記述されている被写体を撮像し、第１の撮像データを取得する撮像手段と、その撮像手段で取得する第１の撮像データから前記記述情報を認識する記述情報認識手段と、予め設定されている参照情報を記憶する第１記憶手段と、その第１記憶手段に記憶されている参照情報と前記記述情報認識手段により認識される記述情報とが一致するかを判断する第１判断手段と、その第１判断手段による判断結果を示す判断結果情報を投影する投影手段とを備えている。

この請求項１記載の画像入出力装置によれば、被写体に記述されていた文字や図形を含む記述情報は、その被写体を撮像手段で撮像することで取得する第１の撮像データから記述情報認識手段によって認識される。その認識された記述情報は、第１判断手段によって、第１記憶手段に予め記憶されている参照情報と一致するかが判断される。そして、その判断結果を示す判断結果情報が投影手段によって投影される。

請求項２記載の画像入出力装置は、請求項１記載の画像入出力装置において、前記第１判断手段は、前記第１記憶手段に記憶されている参照情報と前記記述情報認識手段により認識される記述情報とが一致するか否かを判断し、前記投影手段は、その第１判断手段によって一致すると判断された場合に前記判断結果情報として、その記述情報と参照情報とが一致することを示す一致情報を投影し、その第１判断手段によって一致しないと判断された場合に前記判断結果情報として、その記述情報と参照情報とが一致しないことを示す不一致情報を投影する。

請求項２記載の画像入出力装置によれば、請求項１記載の画像入出力装置と同様に作用する上、例えば、投影手段は、一致情報として「○」の記号、「ＯＫ」の文字、「正解」の文字等を投影し、不一致情報として「×」の記号、「不正解」の文字等を投影する。

請求項３記載の画像入出力装置は、請求項２に記載の画像入出力装置において、前記投影手段は、前記第１判断手段によって前記第１記憶手段に記憶されている参照情報と前記記述情報認識手段により認識される記述情報とが一致しないと判断された場合に前記不一致情報の一部として、その記述情報に対する参照情報を投影する。

請求項３記載の画像入出力装置によれば、請求項２記載の画像入出力装置と同様に作用する上、例えば、投影手段は、不一致情報の一部として、「×」の記号、「不正解」の文字等を投影する他、記述情報に対する参照情報を投影する。例えば、被写体としての解答用紙に解答者が記述した記述情報としての解答が「イ」であって、参照情報としての模範解答が「ア」であった場合には、投影手段は、その記述情報に対する参照情報としての模範解答である「ア」の文字を投影する。

請求項４記載の画像入出力装置は、請求項１から３のいずれかに記載の画像入出力装置において、前記第１判断手段によって前記第１記憶手段に記憶されている参照情報と前記記述情報認識手段により認識される記述情報とが一致するかを判断することが可能かを判断する第２判断手段を備え、前記投影手段は、その第２判断手段によって判断不可能と判断された場合に、判断不可能であることを示す判断不可能情報を投影する。

請求項４記載の画像入出力装置によれば、請求項１から３のいずれかに記載の画像入出力装置と同様に作用する上、例えば、被写体としての解答用紙の解答欄が無解答であったり、解答が記載されていたとしても不鮮明であったりした場合には、その「無解答」や「不鮮明な解答」については、記述情報認識手段によって認識することができず、第２判断手段は判断不可能と判断し、投影手段は、その判断不可能情報としての「判断不可能」の文字あるいは「判断不可能」を示す記号、形状等を投影する。

請求項５記載の画像入出力装置は、請求項４に記載の画像入出力装置において、前記投影手段は、前記第２判断手段によって判断不可能と判断された場合に、前記判断不可能情報の一部として、その記述情報に対する参照情報を投影する。

請求項５記載の画像入出力装置によれば、請求項４に記載の画像入出力装置と同様に作用する上、例えば、被写体としての解答用紙の解答欄が無解答であったり、解答が記載されていたとしても不鮮明であり、参照情報としての模範解答が「ア」であった場合には、その「無解答」や「不鮮明な解答」については、記述情報認識手段によって認識することができず、第２判断手段は判断不可能と判断し、投影手段は、判断不可能情報の一部として、参照情報である「ア」の文字を投影する。

請求項６記載の画像入出力装置は、請求項２から５のいずれかに記載の画像入出力装置において、前記投影手段により投影される一致情報に関する評価を示す評価パラメータを演算する演算手段を備え、前記投影手段は、その演算手段により演算される評価パラメータを投影する。

請求項６記載の画像入出力装置によれば、請求項２から５のいずれかに記載の画像入出力装置と同様に作用する上、例えば、演算手段は、第１判断手段により判断した数に対する一致情報の数の割合を点数化したものを、一致情報に関する評価を示す評価パラメータとして演算し、投影手段は、その演算手段によって演算された評価パラメータとしての点数を投影する。

請求項７記載の画像入出力装置は、請求項６に記載の画像入出力装置において、前記投影手段により投影される一致情報の数を計数する計数手段を備え、前記演算手段は、その計数手段により計数される一致情報の数に基づき、前記一致情報に関する評価パラメータを演算する。

請求項８記載の画像入出力装置は、請求項７に記載の画像入出力装置において、前記撮像手段は、前記投影手段により投影される判断結果情報に基づいて使用者によって前記被写体上に記述される前記一致情報に相当する相当情報が記述された状態の被写体を撮像し、これを第２の撮像データとして取得し、前記記述情報認識手段は、その第２の撮像データから前記相当情報を認識し、前記計数手段は、前記投影手段により投影される一致情報の数として、その記述情報認識手段により認識される相当情報の数を計数する。

請求項９記載の画像入出力装置は、請求項１から８のいずれかに記載の画像入出力装置において、前記撮像手段で取得する第１の撮像データから使用者によって指定される指定領域を検出する検出手段を備え、前記記述情報認識手段は、その検出手段により検出される指定領域に基づいて特定される記述情報を認識する。

請求項１０記載の画像入出力装置は、請求項１から９のいずれかに記載の画像入出力装置において、前記第１判断手段または前記第２判断手段の判断結果に応じて前記投影手段から投影される情報を記憶する第２記憶手段と、予め設定されている数の前記第１判断手段による判断が終了したか否かを判断する第３判断手段とを備え、前記投影手段は、その第３判断手段により前記第１判断手段による判断が終了とした判断された後に、前記第２記憶手段に記憶されている情報をまとめて投影する。

請求項１１記載の画像入出力装置は、請求項１０に記載の画像入出力装置において、前記第２記憶手段は、前記演算手段により演算される評価パラメータをも記憶し、前記投影手段は、前記第３判断手段により前記第１判断手段による判断が終了とした判断された場合であって、且つ、前記演算手段により演算される評価パラメータが前記第２記憶手段に記憶された後に、前記第２記憶手段に記憶されている情報をまとめて投影する。

請求項１２記載の画像入出力装置は、請求項１から９のいずれかに記載の画像入出力装置において、前記投影手段は、前記第１判断手段によって１つの判断が終了する度に又は前記第２判断手段によって判断不可能と判断される度に、その判断結果に応じて前記投影手段から投影される情報を逐一投影する。

請求項１３記載の画像入出力装置は、請求項１から１２のいずれかに記載の画像入出力装置において、前記投影手段により投影される判断結果情報が、前記被写体上であって、その判断結果情報に対応する記述情報の近傍に投影されるように前記投影手段を制御する投影位置制御手段を備えている。

請求項１４記載の画像入出力装置は、請求項１から１３のいずれかに記載の画像入出力装置において、前記投影手段は前記被写体にパターン光を投影し、前記撮像手段は、その投影手段から被写体にパターン光が投影されている状態の被写体を撮像し、これを第３の撮像データとして取得し、その撮像手段で取得する第３の撮像データに基づき、前記被写体の三次元形状に関する三次元情報を検出する三次情報検出手段を備えている。

請求項１５記載の画像入出力装置は、請求項１４に記載の画像入出力装置において、前記三次元情報検出手段により検出される三次元情報に基づき、前記投影手段によって前記被写体上に投影される前記判断結果情報の形態を制御する投影形態制御手段を備えている。

請求項１６記載の画像入出力装置は、請求項１４または１５に記載の画像入出力装置において、前記三次元情報検出手段に検出される三次元情報に基づき、前記撮像手段で所得する第１の撮像データを前記被写体の表面を平面に展開した平面撮像データに生成する平面撮像データ生成手段を備え、前記記述情報認識手段は、その平面撮像データ生成手段で生成される平面撮像データから前記記述情報を認識する。

請求項１７記載の画像入出力装置は、請求項１から１６のいずれかに記載の画像入出力装置において、前記投影手段は、光を出射する複数個の半導体発光素子と、その複数個の半導体発光素子から出射された光に対して空間変調を施して画像信号光を出力する空間変調素子と、その空間変調素子から出力される画像信号光を投影面に向けて投影する投影光学系とを備え、前記複数の半導体発光素子は、その複数の半導体発光素子を支持する基板上に千鳥状に配置されている。

請求項１８記載の画像入出力装置は、請求項１７に記載の画像入出力装置において、１の前記半導体発光素子と、その１の半導体発光素子の周辺の半導体発光素子との間隔は、前記半導体発光素子の１つから出射された光によって空間変調素子において形成される照度分布の半値全幅以下となるように配設されている。

請求項１９記載の画像入出力装置は、請求項１７または１８に記載の画像入出力装置において、前記複数の半導体発光素子の各々は、同一色を発光する。

請求項２０記載の画像入出力装置は、請求項１９に記載の画像入出力装置において、前記複数の半導体発光素子は発光ダイオードであり、その各々から発光される発光色は、アンバー色である。

請求項１記載の画像入出力装置によれば、記述情報と参照情報とが一致するかの判断結果を示す判断結果情報が投影手段によって投影されるので、その投影手段によって投影される判断結果情報を確認することで、記述情報と参照情報とが一致するかの判断結果を確認することができる。

例えば、被写体としての解答用紙に解答者が記述した解答を記述情報とし、その解答に対する模範解答を参照情報とし、その解答と模範解答とが一致することを示す「○」の記号を判断結果情報とすれば、本装置の使用者は投影手段から投影される「○」の記号を確認することで、その解答が正解であることを認識することができる。

このように、判断結果情報は、従来のように被写体とは別の用紙に印刷されるのではなく、投影手段によって投影画像として投影されるので、用紙を無駄に消費することがなく、判断結果情報を簡易に確認することができるという効果がある。

請求項２記載の画像入出力装置によれば、請求項１に記載の画像入出力装置の奏する効果に加え、投影手段は、記述情報と参照情報とが一致していれば、一致していることを示す一致情報を投影し、一致していなければ、一致しないことを示す不一致情報を投影するので、一致している場合にだけ一致情報を投影したり、一致していない場合にだけ不一致情報を投影したりする場合に比べ、記述情報と参照情報とが一致しているか否かを明確に確認することができる。

例えば、一致情報として「○」の記号を、不一致情報として「×」の記号を投影することで、記述情報と参照情報とが一致しているか否かを明確に確認することができる。

請求項３記載の画像入出力装置によれば、請求項２に記載の画像入出力装置の奏する効果に加え、投影手段は、参照情報と記述情報とが一致しないと判断された場合には、不一致情報の一部として、その記述情報に対する参照情報を投影するので、記述情報に対する参照情報を確認することができる。

例えば、記述情報として解答者が被写体としての解答用紙に記述した解答が「ア」であり、参照情報としての模範解答が「イ」であったような場合、両者が不一致であることを示す「×」の記号の他に、模範解答である「イ」の文字を投影することで、解答が不正解であるということの他に、模範解答をも確認することができる。

請求項４記載の画像入出力装置によれば、請求項１から３のいずれかに記載の画像入出力装置の奏する効果に加え、投影手段は、第２判断手段により記述情報と参照情報とが一致するかを判断することが不可能と判断された場合に、判断不可能であることを示す判断不可能情報を投影するので、記述情報と参照情報とが一致するかを判断することができないことを確認することができる。

例えば、被写体としての解答用紙の解答欄が無解答であったり、解答が記載されていたとしても不鮮明であったりした場合には、記述情報認識手段によっては「無解答」や「不鮮明である解答」を認識することができない。しかし、かかる場合には、第２判断手段によって判断不可能と判断し、投影手段は、判断不可能情報として「判断不可能」の文字あるいは「判断不可能」を意味する記号、形状等を投影するので、「無解答」や「不鮮明である解答」のため判断することができないということを確認することができる。

請求項５記載の画像入出力装置によれば、請求項４に記載の画像入出力装置の奏する効果に加え、投影手段は、第２判断手段により記述情報と参照情報とが一致するかを判断することが不可能と判断された場合に、前記判断不可能情報の一部として、その記述情報に対する参照情報を投影するので、記述情報と参照情報とが一致するかを判断することができない場合であっても、その記述情報に対する参照情報を確認することができる。

例えば、被写体としての解答用紙の解答欄が無解答であったり、解答が記載されていたとしても不鮮明であり、参照情報としての模範解答が「ア」であった場合には、記述情報認識手段によっては「無解答」や「不鮮明である解答」を認識することができない。しかし、かかる場合には、第２判断手段によって判断不可能と判断し、投影手段は、その参照情報としての模範解答である「ア」の文字を投影するので、「無解答」や「不鮮明な解答」のため解答と模範解答とが一致するか否かを判断することができない場合であっても、模範解答を確認することができる。

請求項６記載の画像入出力装置によれば、請求項２から５のいずれかに記載の画像入出力装置の奏する効果に加え、投影手段は、演算手段により演算される一致情報に関する評価を示す評価パラメータを投影するので、評価パラメータを演算することなく確認することができるという効果がある。

例えば、第１判断手段により判断した数に対する一致情報の数の割合を点数化したものを演算手段で演算し、その点数を一致情報に関する評価を示す評価パラメータとして投影手段で投影することで、その点数を自ら演算することなく確認することができる。

請求項７記載の画像入出力装置によれば、請求項６に記載の画像入出力装置の奏する効果に加え、演算手段は、計数手段により計数される一致情報の数に基づいて評価パラメータを演算するので、一致情報の数に関する評価パラメータを演算することができるという効果がある。

請求項８記載の画像入出力装置によれば、請求項７に記載の画像入出力装置の奏する効果に加え、計数手段は一致情報の数として、判断結果情報に基づいて使用者によって被写体上に記述される一致情報に相当する相当情報の数を計数するので、投影手段で投影される判断結果情報に基づき、記述情報と一致情報とが一致するかの使用者の判断を反映させることができ、投影手段で投影した一致情報の数を直接に計数する場合に比べ、より正確な計数をすることができる。

例えば、被写体に記述された記述情報が不鮮明で、その記述情報が記述情報認識手段により誤った記述情報として認識された場合には、実際の記述情報と参照情報とが一致している場合であっても、不一致であると認識され、一致情報の数として計数されないことがある。一方、使用者がその判断結果情報を確認し、誤りであるとして、投影結果情報を修正し、一致情報に相当する相当情報を被写体上に記述し、その使用者が記述した相当情報の数を計数することで、より正確な計数をすることができる。

請求項９記載の画像入出力装置によれば、請求項１から８のいずれかに記載の画像入出力装置の奏する効果に加え、記述情報認識手段に認識される記述情報は、使用者によって指定される指定領域に基づいて特定されるので、使用者において記述情報認識手段に認識させる記述情報を特定することができる。よって、被写体上に記述されている記述情報の内から使用者の要求する記述情報だけを記述情報認識手段に認識させ、その認識させた記述情報に関する判断結果情報を確認することができるという効果がある。

請求項１０記載の画像入出力装置によれば、請求項１から９のいずれかに記載の画像入出力装置の奏する効果に加え、投影手段は、第３判断手段により第１判断手段による判断が終了とした判断された後に、第２記憶手段に記憶されている情報をまとめて投影するので、第１判断手段によって予め設定されている数の判断が終了した時点で判断結果の全部を確認することができる。従って、例えば、判断が終了する度に、その判断結果を投影する場合に比べて、時間的に効率良く判断結果を確認することができるという効果がある。

請求項１１記載の画像入出力装置によれば、請求項１０に記載の画像入出力装置の奏する効果に加え、投影手段は、第３判断手段により第１判断手段による判断が終了とした判断された場合であって、且つ、演算手段により演算される評価パラメータが第２記憶手段に記憶された後に、第２記憶手段に記憶されている情報をまとめて投影するので、判断結果の全部に加え、評価パラメータをも一度に確認することができるという効果がある。

請求項１２記載の画像入出力装置によれば、請求項１から９のいずれかに記載の画像入出力装置の奏する効果に加え、投影手段は、第１判断手段によって１つの判断が終了する度に又は第２判断手段によって判断不可能と判断される度に、その判断結果に応じて投影手段から投影される情報を逐一投影するので、例えば、一問一答形式で判断結果を確認したいような場合に便利であるという効果がある。

請求項１３記載の画像入出力装置は、請求項１から１２のいずれかに記載の画像入出力装置において、投影手段により投影される判断結果情報は、被写体上であって、その判断結果情報に対応する記述情報の近傍に投影されるように制御されるので、視覚的に記述情報とその記述情報に対応する判断結果情報との対応付けを容易にすることができるという効果がある。

請求項１４記載の画像入出力装置は、請求項１から１３のいずれかに記載の画像入出力装置において、撮像手段で取得する第３の撮像データに基づき、被写体の三次元形状に関する三次元情報を検出する三次情報検出手段を備えているので、被写体の三次元形状に関する三次元情報を検出することができるという効果がある。

請求項１５記載の画像入出力装置は、請求項１４に記載の画像入出力装置において、投影手段によって被写体上に投影される判断結果情報の形態は、被写体の形状に沿った形態になるように制御されるので、被写体上に投影される判断結果情報を自然な感覚で読み取れることができるという効果がある。

請求項１６記載の画像入出力装置によれば、請求項１４または１５に記載の画像入出力装置の奏する効果に加え、記述情報認識手段は、その平面撮像データ生成手段で生成される平面撮像データから記述情報を認識するので、記述情報認識手段による記述情報の認識精度を向上させることができるという効果がある。

例えば、湾曲している被写体を撮像した撮像データから被写体に記述されている記述情報を認識する場合には、その記述情報も湾曲した状態で認識されるものの、湾曲している状態を平面展開した平面撮像データから被写体に記述されている記述情報を認識する場合には、その記述情報は平面な状態で認識されるので、記述情報認識手段による記述情報の認識精度を向上させることができる。

請求項１７記載の画像入出力装置によれば、請求項１から１６のいずれかに記載の画像入出力装置の奏する効果に加え、複数の半導体発光素子は、その複数の半導体発光素子を支持する基板上に千鳥状に配置されているので、隣接する半導体発光素子間の照度を、その前列又は後列の半導体発光素子によって補うことができる。よって、空間変調素子における照度ムラを抑制することができる。従って、略均一な光を空間変調素子に照射することができ、高品質な投影画像を投影することができるという効果がある。

請求項１８記載の画像入出力装置によれば、請求項１７に記載の画像入出力装置の奏する効果に加え、１の前記半導体発光素子と、その１の半導体発光素子の周辺の半導体発光素子との間隔は、前記半導体発光素子の１つから出射された光によって空間変調素子において形成される照度分布の半値全幅以下となるように設定されているので、１の半導体発光素子と、その周りの半導体発光素子との間の照度の低下を抑制することができるという効果がある。

請求項１９記載の画像入出力装置によれば、請求項１７または１８に記載の画像入出力装置の奏する効果に加え、複数の半導体発光素子の各々は、同一色を発光するので、投影手段において複数色の発光色を発光させる場合に生ずる色収差の補正を考慮する必要はなく、色収差を補正するために複雑な色消しレンズを採用する必要がない。よって、簡単な面構成および安価な材料の投影手段を提供することができるという効果がある。

請求項２０記載の画像入出力装置によれば、請求項１９に記載の画像入出力装置の奏する効果に加え、複数の発光ダイオードの各々から発光される発光色は、アンバー色であるので、他の色を発光させる場合に比べて、電気を光に変換する効率（電気光変換効率）を高めることができる。よって、省電力で駆動でき、節電化、長寿命化を図ることができるという効果がある。

以下、本発明の好ましい実施例について、添付図面を参照して説明する。図１は、本発明の画像入出力装置１の外観斜視図である。

画像入出力装置１は、デジタルカメラとして機能するデジカメモード、ウェブカメラとして機能するｗｅｂｃａｍモード、３次元形状を検出して立体画像を取得するための立体画像モード、湾曲した原稿等を平面化した平面化画像を取得するための平面化画像モード、解答用紙に記述された記述情報としての解答についての正誤判定や得点演算等を行い、その判定結果等を投影する採点モード、官製葉書等に記述された記述情報としての郵便番号や住所が正しいか否かを判定し、その判定結果を投影する郵便情報モード等の種々のモードを備えた装置である。

図１では、特に、立体画像モードや平面化画像モードや採点モードや郵便情報モードにおいて、被写体としての原稿Ｐの３次元形状を検出するために、後述する画像投影部１３から明暗を交互に並べてなる縞状のパターン光を投影している様子を図示している。

画像入出力装置１は、略箱状に形成された撮像ヘッド２と、その撮像ヘッド２と一端が連結されたパイプ状のアーム部材３と、そのアーム部材３の他端と連結され、平面視略Ｌ型に形成されたベース４とを備えている。

撮像ヘッド２は、その内部に後述する画像投影部１３や画像撮像部１４を内包するケースである。撮像ヘッド２の正面には、その中央部に筒状の鏡筒５と、鏡筒５の斜め上方にファインダ６と、そのファインダ６の反対側にフラッシュ７とが配置されている。また、ファインダ６とフラッシュ７との間に、後述する画像撮像部１４の一部である撮像光学系２１のレンズの一部が外面に露出しており、この露出部分から被写体の画像が入力される。

鏡筒５は、撮像ヘッド２の正面から突出し、その内部に画像投影部１３の一部である投影光学系２０を内包するカバーである。この鏡筒５によって、投影光学系２０が保持され、全体を焦点調節のため移動可能とされ、且つ、傷つくのが防止されている。また、鏡筒５端面からは、画像投影部１３の一部である投影光学系２０のレンズの一部が外面に露出しており、この露出部分から投影面に向かって画像信号光が投影される。

ファインダ６は、撮像ヘッド２の背面から正面を通して配設される光学レンズで構成されている。撮像装置１の背面から使用者がのぞき込んだ時に、撮像光学系２１がＣＣＤ２２上に結像する範囲とほぼ一致する範囲が見えるようになっている。

フラッシュ７は、例えば、デジカメモードにおいて、必要な光量を補足するための光源であり、キセノンガスが充填された放電管で構成されている。よって、撮像ヘッド２に内蔵されているコンデンサ（図示せず）からの放電により繰り返し使用することができる。

また、撮像ヘッド２の上面には、手前側にレリーズボタン８と、そのレリーズボタン８の奥方にモード切替スイッチ９と、モード切替スイッチ９の反対側にモニタＬＣＤ１０とが配置されている。

レリーズボタン８は、「半押し状態」と「全押し状態」との２種類の状態に設定可能な２段階の押しボタン式のスイッチで構成されている。レリーズボタン８の状態は後述するプロセッサ１５に管理されており、「半押し状態」で周知のオートフォーカス（ＡＦ）および自動露出（ＡＥ）機能が起動し、ピント、絞り、シャッタスピードが調節され、「全押し状態」で撮像等が行われる。

モード切替スイッチ９は、デジカメモード、ｗｅｂｃａｍモード、立体画像モード、平面化画像モード、採点モード、郵便情報モード、オフモード等の種々のモードに設定可能なスイッチである。モード切替スイッチ９の状態はプロセッサ１５に管理されており、モード切替スイッチ９の状態がプロセッサ１５によって検出されることで各モードの処理が実行される。

モニタＬＣＤ１０は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）で構成されており、プロセッサ１５からの画像信号を受けて画像を使用者に表示する。例えば、モニタＬＣＤ１０には、デジカメモードやｗｅｂｃａｍモードにおける撮像画像や、立体画像モードにおける３次元形状検出結果画像、平面化画像モードにおける平面化画像等が表示される。

更に、撮像ヘッド２の側面には、その上方にＲＦ（無線）インターフェイスとしてのアンテナ１１と、撮像ヘッド２とアーム部材３とを連結する連結部材１２とが配置されている。

アンテナ１１は、後述するＲＦドライバ２４を介してデジカメモードで取得した撮像画像データや立体画像モードで取得した立体画像データ等を外部インターフェイスに無線通信によって送信する。

連結部材１２は、内周面に雌ねじが形成されたリング状に形成され、撮像ヘッド２の側面に回動可能に固定されている。また、アーム部材３の一端側には雄ねじが形成されている。この雌ねじと雄ねじとを嵌合させることで、撮像ヘッド２とアーム部材３とを着脱自在に連結することができると共に、撮像ヘッド２を任意の角度で固定することができるようになっている。従って、撮像ヘッド２を取り外し、通常のデジカメ（デジタルカメラ）として使用できる。

アーム部材３は、撮像ヘッド２を所定の撮像位置に変化可能に保持するためのものであり、任意の形状に屈曲可能な蛇腹状のパイプで構成されている。よって撮像ヘッド２を任意の位置に向けることができる。

ベース４は、机上等の載置台に載置され、撮像ヘッド２とアーム部材３とを支持するものである。平面視略Ｌ字型に形成されているので、安定して撮像ヘッド２等を支持することができる。また、ベース４とアーム部材３とは着脱自在に連結されているので、持ち運びに便利であり、省スペースで収納することもできる。

図２は、撮像ヘッド２の内部構成を模式的に示す図である。撮像ヘッド２の内部には、主に、画像投影部１３と、画像撮像部１４と、プロセッサ１５とが内蔵されている。

画像投影部１３は、投影面に任意の投影画像を投影するためのユニットであり、投影方向に沿って、基板１６と、複数個のＬＥＤ１７（その総称として以下「ＬＥＤアレイ１７Ａ」という）と、光源レンズ１８と、投影ＬＣＤ１９と、投影光学系２０とを備えている。尚、この画像投影部１３については、図３において詳細に説明する。

画像撮像部１４は、被写体としての原稿Ｐを撮像するためのユニットであり、光の入力方向に沿って、撮像光学系２１と、ＣＣＤ２２とを備えている。

撮像光学系２１は、複数枚のレンズで構成され、周知のオートフォーカス機能を有し、自動で焦点距離及び絞りを調整して外部からの光をＣＣＤ２２上に結像する。

ＣＣＤ２２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子などの光電変換素子をマトリクス状に配列して構成され、撮像光学系２１を介して表面に結像される画像の光の色及び強さに応じた信号を生成し、これをデジタルデータに変換してプロセッサ１５に出力する。

プロセッサ１５には、フラッシュ７、レリーズボタン８、モード切替スイッチ９、モニタＬＣＤドライバ２３を介してモニタＬＣＤ１０、ＲＦドライバ２４を介してアンテナ１１、電源インターフェイス２５を介してバッテリ２６、外部メモリ２７、キャッシュメモリ２８、光源ドライバ２９を介してＬＥＤアレイ１７Ａ、投影ＬＣＤドライバ３０を介して投影ＬＣＤ１９、ＣＣＤインターフェイス３１を介してＣＣＤ２２の各々が電気的に接続され、プロセッサ１５によって管理されている。

外部メモリ２７は、着脱自在なフラッシュＲＯＭであり、デジカメモードやｗｅｂｃａｍモード、そして立体画像モードにおいて撮像した撮像画像や３次元情報を記憶する。具体的には、ＳＤカード、コンパクトフラッシュ（登録商標）カード等を使用することができる。

キャッシュメモリ２８は、高速な記憶装置である。例えば、デジカメモードや採点モードや郵便情報モードにおいて撮像した撮像画像を高速でキャッシュメモリ２８に転送し、プロセッサ１５で画像処理を行ってから外部メモリ２７に格納されるように使われる。具体的には、ＳＤＲＡＭ、ＤＤＲＲＡＭ等を使用することができる。

尚、電源インターフェイス２５はバッテリ２６を、光源ドライバ２９はＬＥＤアレイ１７Ａを、投影ＬＣＤドライバ３０は投影ＬＥＤ１９を、ＣＣＤインターフェイス３１はＣＣＤ２２を各々制御する各種のＩＣ（Integrated Circuit：集積回路）によって構成されている。

図３（ａ）は画像投影部１３の拡大図であり、（ｂ）は光源レンズ１８の平面図であり、（ｃ）は投影ＬＣＤ１９とＣＣＤ２２との配置関係を示す図である。

上述した通り、画像投影部１３は、投影方向に沿って、基板１６と、ＬＥＤアレイ１７Ａと、光源レンズ１８と、投影ＬＣＤ１９と、投影光学系２０とを備えている。

基板１６は、ＬＥＤアレイ１７Ａを実装すると共に、ＬＥＤアレイ１７Ａとの電気的な配線をするためのものである。具体的には、アルミ製基板に絶縁樹脂を塗布してから無電解メッキにてパターンを形成したものやカラエポ基材をコアとする単層または多層構造の基板を使用することができる。

ＬＥＤアレイ１７Ａは、投影ＬＣＤ１９に向けて放射状の光を発光する光源であり、基板１６上に、複数個のＬＥＤ１７（発光ダイオード）が千鳥状に配列され、銀ペーストを介して接着されている。また、ボンディングワイヤを介して電気的に結線されている。

このように光源として複数個のＬＥＤ１７を使用することで、光源として白熱電球、ハロゲンランプ等を使用する場合に比べて、電気を光に変換する効率（電気光変換効率）を高め、同時に赤外線や紫外線の発生を抑えることができる。よって、省電力で駆動でき、節電化、長寿命化を図ることができる。また、装置の温度上昇を低減させることができる。

この様に、ＬＥＤ１７はハロゲンランプ等に比べて熱線の発生が極めて低いので、後述する光源レンズ１８や投影光学系２０として、樹脂製のレンズを採用することができる。よって、ガラス製のレンズを採用する場合に比べて、各レンズ１８，２０を安価で軽量に構成することができる。

また、ＬＥＤアレイ１７Ａを構成する各ＬＥＤ１７は、各々同じ発光色を発光するもので、材料にＡｌ、Ｉｎ、Ｇａ、Ｐの４元素を用いたアンバー色を発光するもので構成されている。よって、複数色の発光色を発光させる場合に生ずる色収差の補正を考慮する必要はなく、色収差を補正するために投影光学系２０として色消しレンズを採用する必要はないので、簡単な面構成および安価な材料の投影手段を提供することができるという効果がある。

また、他の発光色に比べて電気光変換率が約８０ｌｕｍｅｎ／Ｗと高い４元素材料のアンバー色ＬＥＤを採用することで、一層、高輝度、節電、長寿命化を図ることができる。尚、各ＬＥＤ１７を千鳥状に配置する事に関する効果については、図４を参照して説明する。

具体的には、ＬＥＤアレイ１７Ａは５９個のＬＥＤ１７からなり、各ＬＥＤ１７は５０ｍＷ（２０ｍＡ，２．５Ｖ）で駆動され、結局、全５９個のＬＥＤ１７は略３Ｗの消費電力で駆動される。また、各ＬＥＤ１７から発光される光が、光源レンズ１８、投影ＬＣＤ１９を通過して投影光学系２０から照射される場合の光束値としての明るさは、全面照射の場合であっても２５ＡＮＳＩルーメン程度に設定されている。

この明るさを採用することで、例えば、立体画像モードにおいて、人や動物の顔面等の被写体の３次元形状を検出する場合に、人や動物に眩しさを与えず、人や動物が目をつぶっていない状態の３次元形状を検出することができる。

光源レンズ１８は、ＬＥＤアレイ１７Ａから放射状に発光される光を集光するレンズであり、その材質はアクリルに代表される光学樹脂で構成されている。

具体的には、光源レンズ１８は、ＬＥＤアレイ１７Ａの各ＬＥＤ１７に対向する位置に投影ＬＥＤ１９側に向けて凸設された凸状のレンズ部１８ａと、そのレンズ部１８ａを支持するベース部１８ｂと、そのベース部１８ｂの内部空間であってＬＥＤアレイ１７Ａを内包する開口に充填されるＬＥＤ１７の封止および基板１６と光源レンズ１８との接着を目的としたエポキシまたはシリコン樹脂の封止材１８ｃと、ベース部１８ｂから基板１６側に突設され、光源レンズ１８と基板１６とを接続する位置決めピン１８ｄとを備えている。

光源レンズ１８は、開口の内部にＬＥＤアレイ１７Ａを内包させつつ、基板１６に穿設されている長孔１６に位置決めピン１８ｄを差込み、基板１６上に固定される。

よって、省スペースで光源レンズ１８を配置することができる。また、基板１６にＬＥＤアレイ１７Ａを実装するという機能の他に、光源レンズ１８を支持するという機能を兼任させることで、光源レンズ１８を支持する部品を別途必要とせず、部品の点数を削減することができる。

また、各レンズ部１８ａは、ＬＥＤアレイ１７Ａの各ＬＥＤ１７と１対１の関係で対向する位置に配置されている。

よって、各ＬＥＤ１７から発光される放射状の光は、各ＬＥＤ１７に対向する各レンズ部１８によって効率良く集光され、図に示すような指向性の高い放射光として投影ＬＥＤ１９に照射される。この様に指向性を高めたのは、投影ＬＣＤ１９に略垂直に光を入射することによって、面内の透過率ムラが抑制され得るためである。また同時に、投影光学系２０は、テレセントリック特性を持ち、その入射ＮＡが０．１程度であるため、垂直±５°以内の光のみが内部の絞りを通過できるように規制されているためである。従って、ＬＥＤ１７からの光を出射角度を垂直に揃え、且つ、±５°にほどんどの光束を入れることが画質向上の要点となる。なぜなら投影ＬＣＤ１９に垂直から外れた光を入射すると、液晶の旋光性により、透過率が入射角度に依存して変わってしまい、透過率ムラとなるからである。

投影ＬＣＤ１９は、光源レンズ１８を通過して集光された光に空間変調を施して、投影光学系２０に向けて画像信号光を出力する空間変調素子であって、具体的には、縦横の比率の異なる板状の液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）で構成されている。

また、（Ｃ）に示すように、この投影ＬＣＤ１９を構成する各画素は、その液晶ディスプレイの長手方向に沿って一直線状に並べられた１の画素列と、その１の画素列とは液晶ディスプレイの長手方向に所定間隔ずれた他の画素列とを交互に並列に並べて配置されている。

尚、（Ｃ）は紙面手前側に撮像ヘッド２の正面を向け、紙面裏側から光が投影ＬＣＤ１９に向けて照射され、紙面手間側からＣＣＤ２２に被写体像が結像される状態であるとする。

このように、投影ＬＣＤ１９を構成する画素を長手方向に千鳥状に配置することで、長手方向と直交する方向（短手方向）において、投影ＬＣＤ１９によって空間変調が施される光を１／２ピッチで制御することができる。従って、細いピッチで投影パターンを制御でき、分解能を上げて高精度に３次元の形状を検出することができる。

特に、後述する立体画像モードや平面化画像モードにおいて、被写体の３次元形状を検出すべく、被写体に向けて明暗を交互に並べてなる縞状のパターン光を投光する場合に、その縞方向を投影ＬＣＤ１９の短手方向に一致させることで、明暗の境界を１／２ピッチで制御することができるので、同様に高精度に３次元の形状を検出することができる。

また、撮像ヘッド２の内部において、投影ＬＣＤ１９とＣＣＤ２２とは、（Ｃ）に示すような関係で配置される。具体的には、投影ＬＣＤ１９の幅広面とＣＣＤ２２の幅広面とは略同一の方向に向いて配置されているので、投影ＬＣＤ１９から投影面に投影されている画像をＣＣＤ２２に結像させる場合に、投影画像をハーフミラー等で屈曲させることなく、そのままの状態で投影画像を結像させることができる。

また、ＣＣＤ２２は、投影ＬＣＤ１９の長手方向側（画素列が延びる方向側）に配置されている。よって、特に、立体画像モードや平面化画像モードにおいて、三角測量の原理を利用して被写体の３次元形状を検出する場合には、ＣＣＤ２２と被写体とのなす傾きを１／２ピッチで制御することができるので、同様に高精度に３次元の形状を検出することができる。

投影光学系２０は、投影ＬＥＤ１９を通過した画像信号光を投影面に向けて投影する複数のレンズであり、ガラス及び樹脂の組み合わせからなるテレセントリックレンズで構成されている。テレセントリックとは、投影光学系２０を通過する主光線は、入射側の空間では光軸に平行になり、射出瞳の位置は無限になる構成をいう。このようにテレセントリックにすることで、前述のように投影ＬＣＤ１９を垂直±５°で通過する光のみを投影し得るので、画質を向上させることができる。

図４は、ＬＥＤアレイ１７Ａの配列に関する説明をするための図である。（ａ）は光源レンズ１８を通過した光の照度分布を示す図であり、（ｂ）はＬＥＤアレイ１７Ａの配列状態を示す平面図であり、（ｃ）は投影ＬＣＤ１９面における合成照度分布を示す図である。

（ａ）に示すように、光源レンズ１８を通過した光は、半値拡がり半角θ（＝略５°）で、（ａ）左側に図示するような照度分布を有する光として投影ＬＣＤ１９の表面に到達するように設計されている。

また、（ｂ）に示すように、複数のＬＥＤ１７は基板上１６に千鳥状に配列されている。具体的には、複数個のＬＥＤ１７をｄピッチで直列に並べたＬＥＤ列を、√３／２ｄピッチで並列に並べ、更に、そのＬＥＤ列を１列おきに同じ方向に１／２ｄ移動させた状態になるように配置されている。

換言すれば、１のＬＥＤ１７と、その１のＬＥＤ１７の周辺のＬＣＤ１７との間隔はｄになるように設定されている（三角格子配列）。

そして、このｄの長さは、ＬＥＤ１７の１つから出射された光によって投影ＬＣＤ１９において形成される照度分布の半値全幅（ＦＷＨＭ（Full Width Half Maximun））以下となる様に決定されている。

よって、光源レンズ１８を通過して投影ＬＣＤ１９の表面に到達する光の合成照度分布は、（ｃ）に示すように小さなリップルを含んだ略直線状になり、投影ＬＣＤ１９の面に略均一に光を照射することができる。従って、投影ＬＣＤ１９における照度ムラを抑制することができ、結果的に、高品質な画像を投影することができる。

図５は、画像入出力装置１の電気的なブロック図である。尚、既に上述した構成ついては、その説明を省略する。プロセッサ１５は、ＣＰＵ３５と、ＲＯＭ３６と、ＲＡＭ３７とを備えている。

ＣＰＵ３５は、ＲＯＭ３６に記憶されたプログラムによる処理に応じて、ＲＡＭ３７を利用して、レリーズボタン８の押下げ操作の検知、ＣＣＤ２２から画像データの取り込み、その画像データの転送、格納、モード切替スイッチ９の状態の検出等の各種処理を行う。

ＲＯＭ３６には、カメラ制御プログラム３６ａと、パターン光撮影プログラム３６ｂと、輝度画像生成プログラム３６ｃと、コード画像生成プログラム３６ｄと、コード境界抽出プログラム３６ｅと、レンズ収差補正プログラム３６ｆと、三角測量演算プログラム３６ｇと、原稿姿勢演算プログラム３６ｈと、平面変換プログラム３６ｉと、指定領域認識プログラム３６ｊと、記述情報認識プログラム３６ｋと、参照情報抽出プログラム３６ｌと、正誤判定プログラム３６ｍと、得点演算プログラム３６ｎと、投影画像生成プログラム３６ｏと、参照情報格納部３６ｐとを備えている。

カメラ制御プログラム３６ａは、図６に示すメイン処理を含む撮像装置１全体の制御に関するプログラムである。

パターン光撮影プログラム３６ｂは、原稿Ｐの３次元形状を検出するために被写体にパターン光を投影した状態と、投影していない状態とを撮像するプログラムである。

輝度画像生成プログラム３６ｃは、パターン光撮影プログラム３６ｂによってパターン光を投影した状態を撮像したパターン光有画像と、パターン光を投影していない状態を撮像したパターン光無画像のそれぞれについて、ＹＣｂＣｒ空間におけるＹ値を画像のＲＧＢ値から算出するプログラムである。

また、パターン光は複数種類のものが時系列に投影され各パターン光毎に撮像され、複数種類の輝度画像が生成される。

コード画像生成プログラム３６ｄは、輝度画像生成プログラム３６ｃによって生成される複数枚の輝度画像について、予め設定した輝度閾値あるいはパターン光無画像の輝度画像を参照して２値化し、その結果より各画素毎に所定のコードを割り当てたコード画像を生成するプログラムである。

コード境界抽出プログラム３６ｅは、コード画像生成プログラム３６ｄによっって生成されるコード画像と、輝度画像生成プログラム３６ｃによって生成される輝度画像とを利用して、コードの境界座標をサブピクセル精度で求めるプログラムである。

レンズ収差補正プログラム３６ｆは、コード境界抽出プログラム３６ｅによってサブピクセル精度で求められているコードの境界座標に対して、撮像光学系２０の収差補正を行うプログラムである。

三角測量演算プログラム３６ｇは、レンズ収差補正プログラム３６ｆによって収差補正がなされたコードの境界座標から、その境界座標に関する実空間の３次元座標を演算するプログラムである。

原稿姿勢演算プログラム３６ｈは、三角測量演算プログラム３６ｇで演算された３次元座標から原稿Ｐの３次元形状を推定して求めるプログラムである。

平面変換プログラム３６ｉは、原稿姿勢演算プログラム３６ｈで演算される原稿Ｐの３次元形状に基づき、原稿Ｐの正面から撮像したような平面化画像を生成するプログラムである。

指定領域認識プログラム３６ｊは、採点モードや郵便情報モードにおいて、被写体上において使用者が指定する領域を認識するプログラムであり、動画撮像において取得する撮像画像において、被写体上における使用者の指の軌跡を検出し、その軌跡によって囲まれる領域を認識するプログラムである。

記述情報認識プログラム３６ｋは、被写体を撮像した撮像画像から被写体に記述されている文字や図形を含む記述情報を認識するプログラムであり、周知のＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）プログラムにより構成されている。具体的には、採点モードにおいて被写体としての解答用紙に記述されている解答や郵便情報モードにおいて被写体としての官製葉書に記述されている住所や郵便番号を認識するプログラムである。

参照情報抽出プログラム３６ｌは、記述情報認識プログラム３６ｋによって認識された記述情報に対応する参照情報を参照情報格納部３６ｐに格納されている参照情報から抽出するプログラムである。具体的には、採点モードにおいて認識した解答に対する模範解答や郵便情報モードにおいて認識した住所に対応する郵便番号を抽出するプログラムである。

正誤判定プログラム３６ｍは、記述情報認識プログラム３６ｋにより認識した記述情報と参照情報抽出プログラム３６ｌにより抽出した参照情報とが一致するか否かや、その記述情報と参照情報とが一致するか否かを判定することが可能か否かを判定するプログラムである。具体的には、採点モードにおいて認識した解答と、抽出した模範解答とが一致するか否かを判定したり、郵便情報モードにおいて認識した郵便番号と、住所情報に基づいて抽出した郵便番号とが一致するか否かを判定したり、記述情報としての解答や郵便番号等を認識し、その認識した記述情報について正誤判定が可能か否かを判定するプログラムである。

得点演算プログラム３６ｎは、採点モードにおいて、後述する○数カウンタ３７ｍにおける計数結果に基づき、得点を演算するプログラムである。

投影画像生成プログラム３６ｏは、正誤判定プログラム３６ｍによる判定結果や得点演算プログラム３６ｎにより演算される得点等を、被写体の所定の位置に、所定の形状で投影するための投影画像を生成するプログラムである。

参照情報格納部３６ｐは、採点モードにおいて用いられる解答用紙に対する各解答欄の位置とその模範解答とを対応つけて記憶する採点用データベースや、郵便情報モードにおいて用いられる住所と郵便番号とを対応つけて記憶する郵便情報用データベースが記憶されてる。

尚、本実施例では、採点用データベースや郵便情報用データベースを参照情報格納部３６ｐに格納してある場合について説明するが、これらのデータベースを本装置とは別体の外部装置に格納し、その外部装置に格納したデータベースからアンテナ１１やＲＦドライバ２４を含む無線通信手段や有線通信手段により所定の参照情報を抽出するように構成しても良い。

ＲＡＭ３７には、パターン光有画像格納部３７ａと、パターン光無画像格納部３７ｂと、輝度画像格納部３７ｃと、コード画像格納部３７ｄと、コード境界座標格納部３７ｅと、ＩＤ格納部３７ｆと、収差補正座標格納部３７ｇと、３次元座標格納部３７ｈと、原稿姿勢演算結果格納部３７ｉと、平面変換結果格納部３７ｊと、投影画像格納部３７ｋと、指差座標格納部３７ｌと、○数カウンタ３７ｍと、ワーキングエリア３７ｎとが記憶領域として割り当てられている。

パターン光有画像格納部３７ａは、パターン光撮影プログラム３６ｂによって原稿Ｐにパターン光を投影した状態を撮像したパターン光有画像を格納する。パターン光無画像格納部３７ｂは、パターン光撮影プログラム３６ｂによって原稿Ｐにパターン光を投影していない状態を撮像したパターン光無画像を格納する。

輝度画像格納部３７ｃは、輝度画像生成プログラム３６ｃによって生成される輝度画像を格納する。コード画像格納部３７ｄは、コード画像生成プログラム３６ｄによって生成されるコード画像を格納する。コード境界座標格納部３７ｅは、コード境界抽出プログラム３６ｅによって、抽出されるサブピクセル精度で求められた各コードの境界座標を格納する。ＩＤ格納部３７ｆは、境界を有する画素位置において明暗の変化を有する輝度画像に割り当てられるＩＤ等を格納する。収差補正座標格納部３７ｇは、レンズ収差補正プログラム３６ｆによって収差補正がなされたコードの境界座標を格納する。３次元形状座標格納部３７ｈは、三角測量演算プログラム３６ｇによって演算される実空間の３次元座標を格納する。

原稿姿勢演算結果格納部３７ｉは、原稿姿勢演算プログラム３６ｈによって演算される原稿Ｐの３次元形状に関するパラメータを格納する。平面変換結果格納部３７ｊは、平面変換プログラム３６ｉよって生成される平面変換結果を格納する。

投影画像格納部３７ｋは、投影画像生成プログラム３６ｏによって生成される投影画像を格納する。指差座標格納部３７ｌは、採点モードや郵便情報モードにおいて使用者が被写体上において指定する指の先端座標を格納する。○数カウンタ３７ｍは、採点モードにおいて投影する「○」の記号の数を計数し、その計数値を格納する。ワーキングエリア３７ｎは、ＣＰＵ１５での演算のために一時的に使用するデータを格納する。

図６は、メイン処理のフローチャートである。尚、このメイン処理におけるデジカメ処理（Ｓ６０５）、ｗｅｂｃａｍ処理（Ｓ６０７）、立体画像処理（Ｓ６０９）、平面化画像処理（Ｓ６１１）、データベース検索処理（Ｓ６１３）の各処理についての詳細は後述する。

メイン処理では、まず、電源が起動されると（Ｓ６０１）、プロセッサ１５やその他のインターフェイス等が初期化される（Ｓ６０２）。

そして、モード切替スイッチ９の状態を判別するキースキャンが行われ（Ｓ６０３）、モード切替スイッチ９の設定がデジカメモードか否かが判断され（Ｓ６０４）、デジカメモードであれば（Ｓ６０４：Ｙｅｓ）、後述するデジカメ処理に移行する（Ｓ６０５）。

一方、デジカメモードでなければ（Ｓ６０４：Ｎｏ）、モード切替スイッチ９の設定がｗｅｂｃａｍモードか否かが判断され（Ｓ６０６）、ｗｅｂｃａｍモードであれば（Ｓ６０６：Ｙｅｓ）、後述するｗｅｂｃａｍ処理に移行する（Ｓ６０７）。

一方、ｗｅｂｃａｍモードでなければ（Ｓ６０５：Ｎｏ）、モード切替スイッチ９の設定が立体画像モードか否かが判断され（Ｓ６０８）、立体画像モードであれば（Ｓ６０８：Ｙｅｓ）、後述する立体画像処理に移行する（Ｓ６０９）。

一方、立体画像モードでなければ（Ｓ６０８：Ｎｏ）、モード切替スイッチ９の設定が平面化画像モードか否かが判断され（Ｓ６１０）、平面化画像モードであれば（Ｓ６１０：Ｙｅｓ）、後述する平面化画像処理に移行する（Ｓ６１１）。

一方、平面化画像モードでなければ（Ｓ６１０：Ｎｏ）、モード切替スイッチ９の設定が採点モードか否かが判断され（Ｓ６１２）、採点モードであれば（Ｓ６１２：Ｙｅｓ）、後述する採点処理に移行する（Ｓ６１３）。

一方、採点モードでなければ（Ｓ６１２：Ｎｏ）、モード切替スイッチ９の設定が郵便情報モードか否かが判断され（Ｓ６１４）、郵便情報モードであれば（Ｓ６１４：Ｙｅｓ）、後述する郵便情報処理に移行する（Ｓ６１５）。

一方、郵便情報モードでなければ（Ｓ６１４：Ｎｏ）、モード切替スイッチ９がオフモードか否かが判断され（Ｓ６１６）、オフモードでなければ（Ｓ６１６：Ｎｏ）、Ｓ６０３からの処理を繰り返し、オフモードであれば（Ｓ６１６：Ｙｅｓ）、当該処理を終了する。

図７は、デジカメ処理（図６のＳ６０５）のフローチャートである。デジカメ処理は、画像撮像部１４によって撮像した画像を取得する処理である。

この処理では、まず、ＣＣＤ２２に高解像度設定信号を送信する（Ｓ７０１）。これにより高品質の撮像画像を使用者に提供することができる。

次に、モニタＬＣＤ１０にファインダ画像（ファインダ６を介して見える範囲の画像）を表示する（Ｓ７０２）。よって、使用者は、ファインダ６を覗き込むことなく、モニタＬＣＤ１０に表示された画像によって実際の撮像の前に、撮像画像（撮像範囲）を確認することができる。

次に、レリーズボタン８をスキャンし（Ｓ７０３ａ）、レリーズボタン８が半押しされたか否かを判断する（Ｓ７０３ｂ）。半押しされていれば（Ｓ７０３ｂ：Ｙｅｓ）、オートフォーカス（ＡＦ）および自動露出（ＡＥ）機能を起動し、ピント、絞り、シャッタスピードを調節する（Ｓ７０３ｃ）。尚、半押しされていなければ（Ｓ７０３ｂ：Ｎｏ）、Ｓ７０３ａからの処理を繰り返す。

次に、再び、レリーズボタン８をスキャンし（Ｓ７０３ｄ）、レリーズボタン８が全押しされたか否かを判断する（Ｓ７０３ｅ）。全押しされていれば（Ｓ７０３ｅ：Ｙｅｓ）、フラッシュモードか否かを判断する（Ｓ７０４）。

その結果、フラッシュモードであれば（Ｓ７０４：Ｙｅｓ）、フラッシュ７を投光して（Ｓ７０５）、撮影し（Ｓ７０６）、フラッシュモードでなければ（Ｓ７０４：Ｎｏ）、フラッシュ７を投光することなく撮影する（Ｓ７０６）。尚、Ｓ７０３ｅの判断において、全押しされていなければ（Ｓ７０３ｅ：Ｎｏ）、Ｓ７０３ａからの処理を繰り返す。

次に、撮影した撮像画像をＣＣＤ２２からキャッシュメモリ２８に転送し（Ｓ７０７）、キャッシュメモリ２８に記憶された撮像画像をモニタＬＣＤ１０に表示する（Ｓ７０８）。このように、撮像画像をキャッシュメモリ２８に転送することでメインメモリに転送する場合に比較して、撮像画像を高速にモニタＬＣＤ１０に表示させることができる。そして、その撮像画像を外部メモリ２７に格納する（Ｓ７０９）。

最後に、モード切替スイッチ９に変化が無いか否かを判断し（Ｓ７１０）、変化が無ければ（Ｓ７１０：Ｙｅｓ）、Ｓ７０２からの処理を繰り返し、変化があれば（Ｓ７１０：Ｎｏ）、当該処理を終了する。

図８は、ｗｅｂｃａｍ処理（図６のＳ６０７）のフローチャートである。ｗｅｂｃａｍ処理は、画像撮像部１４で撮像した撮像画像（静止画および動画を含む）を外部ネットワークに送信する処理である。尚、本実施例では、撮像画像として動画を外部ネットワークに送信する場合を想定している。

この処理では、ます、ＣＣＤ２２に低解像度設定信号を送信し（Ｓ８０１）、周知のオートフォーカス（ＡＦ）及び自動露出（ＡＥ）機能を起動して、ピント、絞り、シャッター速度を調節した後に（Ｓ８０２）、撮影を開始する（Ｓ８０３）。

そして、撮影された撮像画像をモニタＬＣＤ１０に表示し（Ｓ８０４）、ファインダ画像を投影画像格納部３７ｋに格納し（Ｓ８０５）、後述する投影処理を行い（Ｓ８０６）、投影画像格納部３７ｋに格納されている画像を投影面に投影する。

また、撮像画像をＣＣＤ２２からキャッシュメモリ２８に転送し（Ｓ８０７）、キャッシュメモリ２８に転送された撮像画像をＲＦインターフェイスであるＲＦドライバ２４及びアンテナ１１を介して外部ネットワークに送信する（Ｓ８０８）。

そして、最後に、モード切替スイッチ９に変化が無いか否かを判断し（Ｓ８０９）、変化が無ければ（Ｓ８０９：Ｙｅｓ）、Ｓ８０２からの処理を繰り返し、変化があれば（Ｓ８０９：Ｎｏ）、当該処理を終了する。

図９は、投影処理（図８のＳ８０６）のフローチャートである。この処理は、投影画像投影部１３から投影画像格納部３７ｋに格納されている画像を投影面に投影する処理である。この処理では、まず、投影画像格納部３７ｋに画像が格納されているか否かを確認する（Ｓ９０１）。格納されていれば（Ｓ９０１：Ｙｅｓ）、投影画像格納部３７ｋに格納されている画像を投影ＬＣＤドライバ３０に転送し（Ｓ９０２）、投影ＬＣＤドライバ３０から、その画像に応じた画像信号を投影ＬＣＤ１９に送り、投影ＬＣＤ１９に画像を表示する（Ｓ９０３）。

次に、光源ドライバ２９を駆動し（Ｓ９０４）、その光源ドライバ２９からの電気信号によってＬＥＤアレイ１７Ａを点灯し（Ｓ９０５）、当該処理を終了する。

こうして、ＬＥＤアレイ１７Ａが点灯すると、ＬＥＤアレイ１７Ａから発光する光は、光源レンズ１８を介して投影ＬＣＤ１９に到達し、投影ＬＣＤ１９において、投影ＬＣＤドライバ３０から送信される画像信号に応じた空間変調が施され、画像信号光として出力される。そして、その投影ＬＣＤ１９から出力される画像信号光は、投影光学系２０を介して投影面に投影画像として投影される。

図１０は、立体画像処理（図６のＳ６０９）のフローチャートである。立体画像処理は、被写体の３次元形状を検出し、その立体画像としての３次元形状検出結果画像を取得、表示、投影する処理である。

この処理では、まず、ＣＣＤ２２に高解像度設定信号を送信し（Ｓ１００１）、モニタＬＣＤ１０にファインダ画像を表示する（Ｓ１００２）。

次に、レリーズボタン８をスキャンし（Ｓ１００３ａ）、レリーズボタン８が半押しされたか否かを判断する（Ｓ１００３ｂ）。半押しされていれば（Ｓ１００３ｂ：Ｙｅｓ）、オートフォーカス（ＡＦ）および自動露出（ＡＥ）機能を起動し、ピント、絞り、シャッタスピードを調節する（Ｓ１００３ｃ）。尚、半押しされていなければ（Ｓ１００３ｂ：Ｎｏ）、Ｓ１００３ａからの処理を繰り返す。

次に、再び、レリーズボタン８をスキャンし（Ｓ１００３ｄ）、レリーズボタン８が全押しされたか否かを判断する（Ｓ１００３ｅ）。全押しされていれば（Ｓ１００３ｅ：Ｙｅｓ）、フラッシュモードか否かを判断する（Ｓ１００３ｆ）。

その結果、フラッシュモードであれば（Ｓ１００３ｆ：Ｙｅｓ）、フラッシュ７を投光して（Ｓ１００３ｇ）、撮影し（Ｓ１００３ｈ）、フラッシュモードでなければ（Ｓ１００３ｆ：Ｎｏ）、フラッシュ７を投光することなく撮影する（Ｓ１００３ｈ）。尚、Ｓ１００３ｅの判断において、全押しされていなければ（Ｓ１００３ｅ：Ｎｏ）、Ｓ１００３ａからの処理を繰り返す。

次に、後述する３次元形状検出処理を行い、被写体の３次元形状を検出する（Ｓ１００６）。

次に、３次元形状検出処理（Ｓ１００６）における３次元形状検出結果を外部メモリ２７に格納し（Ｓ１００７）、３次元形状検出結果をモニタＬＣＤ１０に表示する（Ｓ１００８）。尚、この３次元形状検出結果とは、各計測頂点の実空間における３次元座標（Ｘ，Ｙ，Ｚ）の集合体として表示する。

次に、３次元形状検出結果としての計測頂点をポリゴンで結んでそのサーフェスを表示した立体画像（３ＤのＣＧ画像）としての３次元形状検出結果画像を投影画像格納部３７ｋに格納し（Ｓ１００９）、図８のＳ８０６の投影処理と同様な投影処理を行う（Ｓ１０１０）。尚、この場合には、図１８において説明する投影ＬＣＤ１９上の座標を３次元空間座標に変換する式の逆関数を利用して、求められた３次元座標に対する投影ＬＣＤ１９上の座標を求めることで、３次元形状結果座標を投影面に投影させることができる。

そして、モード切替スイッチ９に変化が無いか否かを判断し（Ｓ１０１１）、変化が無ければ（Ｓ１０１１：Ｙｅｓ）、Ｓ７０２からの処理を繰り返し、変化があれば（Ｓ１０１１：Ｎｏ）、当該処理を終了する。

図１１（ａ）は、上述した３次元形状検出処理（図１０のＳ１００６）において、３次元形状を検出するために利用する空間コード法の原理を説明するための図であり、（ｂ）は（ａ）とは異なるパターン光を示す図である。パターン光にはこれら（ａ）または（ｂ）のいずれを用いても良く、更には、多階調コードであるグレイレベルコードを用いても良い。

尚、この空間コード法につての詳細は、佐藤宏介、他１名、「空間コード化による距離画像入力」、電子通信学会論文誌、８５／３Ｖｏｌ．Ｊ ６８−Ｄ Ｎｏ３ ｐ３６９〜３７５に詳細に開示されている。

空間コード法は、投影光と観測画像間の三角測量に基づいて被写体の３次元形状を検出する方法の１種であり、（ａ）に示すように、投影光源Ｌと観測器Ｏとを距離Ｄだけ離して設置し、空間を細長い扇状領域に分割しコード化することを特徴とする。

図中の３枚のマスクパターンＡ，Ｂ，ＣをＭＳＢから順番に投影すると、各扇状領域はマスクによって明「１」と暗「０」とにコード化される。例えば、点Ｐを含む領域は、マスクＡ，Ｂでは光が当たらず、マスクＣでは明になるので、００１（Ａ＝０、Ｂ＝０、Ｃ＝１）とコード化される。

各扇状の領域には、その方向φに相当するコードが割り当てられ、それぞれを１本のスリット光線とみなすことができる。そこで各マスクごとに情景を観測機器としてのカメラで撮影し、明暗パターンを２値化してメモリの各ビットプレーンを構成していく。

こうして、得られた多重ビットプレーン画像の横方向の位置（アドレス）は、観測方向θに相当し、このアドレスのメモリの内容は投影光コード、即ち、φを与える。このθとφとから注目点の座標を決定する。

また、この方法で使用するマスクパターンとしては、（ａ）ではマスクパターンＡ，Ｂ，Ｃのような純２進コードを用いる場合を図示しているが、マスクの位置ズレが起こると領域の境界で大きな誤差が生ずる危険性がある。

例えば、（ａ）の点Ｑは領域３（０１１）と領域４（１００）の境界を示しているが、もしマスクＡの１がずれ込むと領域７（１１１）のコードが生ずる可能性がある。換言すれば、隣接する領域間でハミング距離が２以上のところで、大きな誤差が発生する可能性がある。

そこで、この方法で使用するマスクパターンとしては、（ｂ）に示すように、隣接する領域間でハミング距離が常に１であるコードを使うことで、上述したようなコード化誤差を避けることができるとされている。

図１２（ａ）は、３次元形状検出処理（図１０のＳ１００６）のフローチャートである。この処理では、まず、撮像処理を行う（Ｓ１２１０）。この撮像処理は、図１１（ａ）に示す複数枚の純２進コードのマスクパターンを利用して画像投影部１３から、明暗を交互に並べてなる縞状のパターン光（図１参照）を時系列的に被写体に投影し、各パターン光が投影されている状態を撮像したパターン光有画像と、パターン光が投影されていな状態を撮像したパターン光無画像とを取得する処理である。

撮像処理を終了すると（Ｓ１２１０）、３次元計測処理を行う（Ｓ１２２０）。３次元計測処理は、撮像処理によって取得したパターン光有画像とパターン光無画像とを利用して、実際に被写体の３次元形状を計測する処理である。こうして、３次元計測処理を終了すると（Ｓ１２２０）、当該処理を終了する。

図１２（ｂ）は、撮像処理（図１２（ａ）のＳ１２１０）のフローチャートである。この処理は、パターン光撮影プログラム３６ａに基づき実行され、まず、画像投影部１３からパターン光を投影することなく、画像撮像部１４によって被写体を撮像することで、パターン光無画像を取得する（Ｓ１２１１）。尚、取得したパターン光無画像はパターン光無画像格納部３７ｂに格納される。

次に、カウンタｉを初期化し（Ｓ１２１２）、そのカウンタｉの値が最大値ｉｍａｘか否かを判断する（Ｓ１２１３）。尚、最大値ｉｍａｘは使用するマスクパターンの数によって決定される。例えば、８種類のマスクパターンを使用する場合には、最大ｉｍａｘ（＝８）となる。

そして、判断の結果、カウンタｉの値が最大値ｉｍａｘより小さい場合には（Ｓ１２１３：Ｙｅｓ）、使用するマスクパターンの内、ｉ番のマスクパターンを投影ＬＣＤ１９に表示し、そのｉ番のマスクパターンによって投影されるｉ番のパターン光を投影面に投影し（Ｓ１２１４）、そのパターン光が投影されている状態を画像撮像部１４によって撮影する（Ｓ１２１５）。

こうして、被写体にｉ番のパターン光が投影された状態を撮像したパターン光有画像を取得する。尚、取得したパターン光有画像は、パターン光有画像格納部３７ａに格納される。

撮影を終了すると、ｉ番のパターン光の投影を終了し（Ｓ１２１６）、次のパターン光を投影すべく、カウンタｉに「１」を加算して（Ｓ１２１７）、Ｓ１２１３からの処理を繰り返す。

そして、カウンタｉの値が最大値ｉｍａｘより大きいと判断すると（Ｓ１２１３：Ｎｏ）、当該処理を終了する。即ち、この撮像処理においては、１枚のパターン光無画像と、最大値ｉｍａｘ枚のパターン光有画像とを取得することになる。

図１２（ｃ）は、３次元計測処理（図１２（ａ）のＳ１２２０）のフローチャートである。この処理は、輝度画像生成プログラム３６ｃに基づき実行され、まず、輝度画像を生成する（Ｓ１２２１）。ここで、輝度は、ＹＣｂＣｒ空間におけるＹ値であり、各画素のＲＧＢ値よりＹ＝０．２９８９・Ｒ＋０．５８６６・Ｇ＋０．１１４５・Ｂから計算される値である。各画素についてＹ値を求めることにより、各パターン光有及び無し画像に関する輝度画像を生成する。生成した輝度画像は、輝度画像格納部３７ｃに格納される。また、パターン光の番号に対応した番号を各輝度画像に割り付けておく。

次に、コード画像生成プログラム３６ｄにより、上述した空間コード法を利用して、生成した輝度画像を組み合わせることで、各画素毎にコード化されたコード画像を生成する（Ｓ１２２２）。

このコード画像は、輝度画像格納部３７ｃに格納したパターン光有り画像に関する輝度画像の各画素について、あらかじめ設定した輝度閾値あるいはパターン光無画像と比較することで２値化し、その結果を図１１（ａ），（ｂ）に説明した様に、ＬＳＢ〜ＭＳＢに割り当てることで生成することができる。生成されたコード画像はコード画像格納部３７ｄに格納される。

次に、コード境界抽出プログラム３６ｅにより、後述するコード境界座標検出処理を行い（Ｓ１２２３）、各画素毎に割り当てられたコードの境界座標をサブピクセル精度で検出する。

次に、レンズ収差補正プログラム３６ｆにより、レンズ収差補正処理を行う（Ｓ１２２４）。この処理によって、撮像光学系２１の歪みなどの影響で誤差を含んでいるＳ１２２３で検出されるコード境界座標の誤差を補正することができる。

次に、三角測量演算プログラム３６ｇにより、三角測量原理による実空間変換処理を行う（Ｓ１２２５）。この処理によって収差補正が施された後のＣＣＤ空間上のコード境界座標は、実空間における３次元座標に変換され、３次元形状検出結果としての３次元座標が求められる。

図１３は、コード境界座標検出処理（図１２のＳ１２２３）の概略を説明するための図である。上側の図は、ＣＣＤ空間において実際のパターン光の明暗の境界を境界線Ｋで示し、そのパターン光を上述した空間コード法でコード化し、１のコードと他のコードとの境界を図中太線で示した図である。

即ち、上述した空間コード法におけるコード化は、各画素単位で行われるため、実際のパターン光の境界線Ｋと、コード化された境界（図中太線）とではサブピクセル精度の誤差が生ずる。そこで、このコード境界座標検出処理は、コードの境界座標をサブピクセル精度で検出することを目的とする。

この処理では、まず、ある検出位置（以下「ｃｕｒＣＣＤＸ」と称す）において、ある着目コード（以下「ｃｕｒＣｏｄｅ」という）から他のコードに変化する第１画素Ｇを検出する（第１画素検出工程）。

例えば、ｃｕｒＣＣＤＸにおいて、上から順番に各画素を検出すると、境界（太線）まではｃｕｒＣｏｄｅを有する画素であるが、境界の次の画素、即ち、第１画素Ｇにおいて、ｃｕｒＣｏｄｅは変化しているので、これを第１画素Ｇとして検出する。

次に、その第１画素Ｇの画素位置において、図１２のＳ１２２１において輝度画像格納部３７ｃに格納された輝度画像の内から、明暗の変化を持つ輝度画像の全部を抽出する（輝度画像抽出工程）。

次に、近似に利用するための画素領域を特定するために検出位置を「２」左側に移動させ、検出位置ｃｕｒＣＣＤＸ−２の位置において、コード画像を参照して、着目コード（ｃｕｒＣｏｄｅ）から他のコードに変化する画素（境界画素（ｃｕｒＣＣＤＸ−２の検出位置では画素Ｈ））を探し、その画素を中心に予め定めた範囲（本実施例の場合Ｙ軸方向に−３画素と＋２画素の範囲）の画素範囲を特定する（画素領域特定工程の一部）。

次に、その予め定めた範囲内において、図中の下側の左側のグラフに示すように、Ｙ方向の画素位置と輝度とに関する近似式（図中実線で示す）を求め、その近似式における輝度閾値ｂＴｈとの交点におけるＹ座標Ｙ１を求める（境界座標検出工程の一部）。

尚、輝度閾値ｂＴｈは、予め定められた範囲内から算出（例えば、各画素の輝度の平均の２分の１）しても良く、予め与えられた固定値であっても良い。これにより、明と暗との境界をサブピクセル精度で検出することができる。

次に、検出位置をｃｕｒＣＣＤＸ−２から「１」右側に移動させ、ｃｕｒＣＣＤＸ−１において上述したのと同様な処理を行い、ｃｕｒＣＣＤＸ−１における代表値を求める（境界座標検出工程の一部）。

このように、境界画素を中心にＹ軸方向に予め定めた範囲と、Ｘ軸方向におけるｃｕｒＣＣＤＸ−２からｃｕｒＣＣＤＸ＋２の範囲とで構成される画素領域（図中右下がり斜線部参照）において、各検出位置における代表値を求める。

これまでの処理をｃｕｒＣｏｄｅから他のコードへ変化する画素を持つ輝度画像の全てに行い、各輝度画像についての代表値の加重平均値を最終的にｃｕｒＣｏｄｅにおける境界座標として採用する（境界座標検出工程の一部）。

これにより、コードの境界座標を高精度にサブピクセル精度で検出することができ、この境界座標を利用して上述した三角測量原理による実空間変換処理（図１２のＳ１２２５）を行うことで、高精度に被写体の３次元形状を検出することができる。

また、このように輝度画像に基づき算出される近似式を利用して境界座標をサブピクセル精度で検出することができるため、従来のように撮像枚数を増加させることもなく、また、純２進コードで明暗付けられたパターン光であっても良く、特殊なパターン光であるグレイコードを用いる必要はない。

尚、本実施例では、各検出位置において境界画素を中心にＹ軸方向に「−３」から「＋２」の範囲と、Ｘ軸方向における検出位置としてのｃｕｒＣＣＤＸ−２からｃｕｒＣＣＤＸ＋２の範囲とで構成される領域を、近似を求めるための画素領域として説明したが、この画素領域のＹ軸、Ｘ軸の範囲はこれらに限定されるものではない。例えば、ｃｕｒＣＣＤＸの検出位置における境界画素を中心としたＹ軸方向への所定範囲だけを画素領域としても良い。

図１４は、コード境界座標検出処理（図１２のＳ１２２３）のフローチャートである。この処理は、コード境界抽出プログラム３６ｅに基づき実行され、まず、ＣＣＤ空間におけるコード境界座標列の各要素を初期化し（Ｓ１４０１）、ｃｕｒＣＣＤＸを開始座標に設定する（Ｓ１４０２）。

次に、ｃｕｒＣＣＤＸが終了座標以下か否かを判断し（Ｓ１４０３）、終了座標以下であれば（Ｓ１４０３：Ｙｅｓ）、ｃｕｒＣｏｄｅを「０」に設定する（Ｓ１４０４）。即ち、ｃｕｒＣｏｄｅは当初、最小値に設定される。

次に、ｃｕｒＣｏｄｅが最大コードより小さいか否かを判断する（Ｓ１４０５）。ｃｕｒＣｏｄｅが最大コードより小さければ（Ｓ１４０５：Ｙｅｓ）、ｃｕｒＣＣＤＸにおいてコード画像を参照して、ｃｕｒＣｏｄｅの画素を探し（Ｓ１４０６）、ｃｕｒＣｏｄｅの画素が存在するか否かを判断する（Ｓ１４０７）。

その結果、ｃｕｒＣｏｄｅの画素が存在していれば（Ｓ１４０７：Ｙｅｓ）、ｃｕｒＣＣＤＸにおいて、そのｃｕｒＣｏｄｅよりも大きなＣｏｄｅの画素をコード画像を参照して探し（Ｓ１４０８）、そのｃｕｒＣｏｄｅよりも大きなｃｕｒＣｏｄｅの画素が存在するか否かを判断する（Ｓ１４０９）。

その結果、ｃｕｒＣｏｄｅよりも大きなＣｏｄｅの画素が存在していれば（Ｓ１４０９：Ｙｅｓ）、後述する境界をサブピクセル精度で求める処理を行う（Ｓ１４１０）。そして、次のｃｕｒＣｏｄｅについて境界座標を求めるべく、ｃｕｒＣｏｄｅに「１」を加算して（Ｓ１４１１）、Ｓ１４０５からの処理を繰り返す。

即ち、境界は、ｃｕｒＣｏｄｅを有する画素の画素位置またはｃｕｒＣｏｄｅよりも大きなＣｏｄｅの画素の画素位置に存在しているため、本実施例では、暫定的に境界は、ｃｕｒＣｏｄｅより大きなｃｕｒＣｏｄｅの画素の画素位置にあると仮定して処理を進めるものである。

また、ｃｕｒＣｏｄｅが存在していない場合や（Ｓ１４０７：Ｎｏ）、ｃｕｒＣｏｄｅよりも大きなＣｏｄｅの画素が存在していない場合には（Ｓ１４０９：Ｎｏ）、次のｃｕｒＣｏｄｅについて境界座標を求めるべく、ｃｕｒＣｏｄｅに「１」を加算して（Ｓ１４１１）、Ｓ１４０５からの処理を繰り返す。

こうして、０から最大コードまでのｃｕｒＣｏｄｅについて、Ｓ１４０５からＳ１４１１までの処理を繰り返し、ｃｕｒＣｏｄｅが最大コードより大きくなると（Ｓ１４０５：Ｎｏ）、検出位置を変更すべく、ｃｕｒＣＣＤＸに「ｄＣＣＤＸ」を加算し（Ｓ１４１２）、新たな検出位置において、上述したのと同様にＳ１４０３からの処理を繰り返す。

そして、ｃｕｒＣＣＤＸを変更してゆき、最終的にｃｕｒＣＣＤＸが終了座標より大きくなると（Ｓ１４０３）、即ち、開始座標から終了座標までの検出が終了すると、当該処理を終了する。

図１５は、コード境界座標をサブピクセル精度で求める処理（図１４のＳ１４１０）のフローチャートである。

この処理では、まず、図１２のＳ１２２１において輝度画像格納部３７ｃに格納された輝度画像の内から、図１４のＳ１４０９において検出されたｃｕｒＣｏｄｅよりも大きなＣｏｄｅを有する画素の画素位置において、明暗の変化を持つ輝度画像の全部を抽出する（Ｓ１５０１）。

そして、その抽出した輝度画像のマスクパターン番号を配列ＰａｔＩＤ［］へ格納し、その抽出した輝度画像の画像数をｎｏＰａｔＩＤへ格納する（Ｓ１５０２）。尚、配列ＰａｔＩＤ［］とｎｏＰａｔＩＤとはＩＤ格納部３７ｆに格納される。

次に、カウンタｉを初期化し（Ｓ１５０３）、カウンタｉの値がｎｏＰａｔＩＤより小さいか否かを判断する（Ｓ１５０４）。その結果、小さいと判断されれば（Ｓ１５０４：Ｙｅｓ）、カウンタｉに対応するＰａｔＩＤ［ｉ］のマスクパターン番号を持つ輝度画像について、境界のＣＣＤＹ値を求め、その値をｆＣＣＤＹ［ｉ］へ格納する（Ｓ１５０５）。

このＳ１５０５の処理を終了すると、カウンタｉに「１」を加算し（Ｓ１５０６）、Ｓ１５０４からの処理を繰り返す。そして、Ｓ１５０４において、カウンタｉの値がｎｏＰａｔＩＤより大きいと判断されると（Ｓ１５０４：Ｎｏ）、即ち、Ｓ１５０１で抽出された全部の輝度画像についてＳ１５０５の処理が終了すると、Ｓ１５０５の処理で求めたｆＣＣＤＹ［ｉ］の加重平均値を計算し、その結果を境界値とする（Ｓ１５０７）。

尚、加重平均値に代えて、Ｓ１５０５の処理で求めたｆＣＣＤＹ［ｉ］の中央値を計算し、その結果を境界値としたり、統計的な計算により境界値を計算したりすることもできる。

即ち、境界座標は、ｃｕｒＣＣＤＸの座標と、Ｓ１５０７で求められる加重平均値とで表現され、この境界座標をコード境界座標格納部３７ｅに格納して、当該処理を終了する。

図１６は、ＰａｔＩＤ［ｉ］のマスクパターン番号を持つ輝度画像について、境界のＣＣＤＹ値を求める処理（図１５のＳ１５０５）のフローチャートである。

この処理では、まず、「ｃｕｒＣＣＤＸ−ｄｘ」と「０」との内、大きい値をｃｃｄｘとして設定する「ｃｃｄｘ＝ＭＡＸ（ｃｕｒＣＣＤＸ−ｄｘ，０）」で表される処理を行うと共に、カウンタｊを初期化する（Ｓ１６０１）。

具体的には、Ｓ１６０１でいう「０」はＣＣＤＸ値の最小値を意味し、例えば、今、検出位置としてのｃｕｒＣＣＤＸ値が「１」で、予め設定されているｄｘ値が「２」であったとすると、「ｃｕｒＣＣＤＸ−ｄｘ」は「−１」となり、ＣＣＤＸ値の最小値である「０」よりも小さくなるため、「−１」における以降の処理は、「ｃｃｄｘ＝０」として設定する処理を行う。

即ち、ＣＣＤＸ値の最小値よりも小さい位置については、以降の処理を除外する処理を行う。

尚、この「ｄｘ」の値は、予め「０」を含む適当な整数に設定することができ、図１３で説明した例では、この「ｄｘ」は「２」に設定されており、図１３の例に従えば、このｃｃｄｘは「ｃｕｒＣＣＤＸ−２」に設定されることになる。

次に、ｃｃｄｘ＜＝ＭＩＮ（ｃｕｒＣＣＤＸ＋ｄｘ，ｃｃｄＷ−１）であるか否かを判断する（Ｓ１６０２）。つまり、左辺の「ＭＩＮ（ｃｕｒＣＣＤＸ＋ｄｘ，ｃｃｄＷ−１）」は、「ｃｕｒＣＣＤＸ＋ｄｘ」と、ＣＣＤＸ値の最大値「ｃｃｄＷ」から「１」を減算した「ｃｃｄＷ−１」との内、小さい値であることを意味しているので、その値と「ｃｃｄｘ」値との大小を比較する。

即ち、ＣＣＤＸ値の最大値よりも大きい位置については、以降の処理を除外する処理を行う。

そして、判断の結果、ｃｃｄｘがＭＩＮ（ｃｕｒＣＣＤＸ＋ｄｘ，ｃｃｄＷ−１）よりも小さければ（Ｓ１６０２：Ｙｅｓ）、コード画像とＰａｔＩＤ［ｉ］が割り当てられた輝度画像とを参照して、境界の存在する画素の画素位置のｅＣＣＤＹ値を求める（Ｓ１６０３）。

例えば、検出位置を図１３に示すｃｕｒＣＣＤＸ−１であるとすると、画素Ｉを境界が存在する画素候補として検出し、画素Ｉの位置においてｅＣＣＤＹ値を求める。

次に、ＰａｔＩＤ［ｉ］のマスクパターン番号を持つ輝度画像から、ＭＡＸ（ｅＣＣＤＹ−ｄｙ，０）＜＝ｃｃｄｙ＜＝ＭＩＮ（ｅＣＣＤＹ＋ｄｙ−１，ｃｃｄＨ−１）の範囲で、ｃｃｄｙ方向における輝度に関する近似多項式Ｂｔ＝ｆｂ（ｃｃｄｙ）を求める（Ｓ１６０４）。

次に、その近似多項式Ｂｔと輝度閾値ｂＴｈとの交差するｃｃｄｙ値を求め、その値をｅｆＣＣＤＹ［ｊ］へ格納する（Ｓ１６０５）。このＳ１６０４とＳ１６０５とによって、サブピクセル精度の境界座標の検出をすることができる。

次に、ｃｃｄｘとカウンタｊとに各々「１」を加算し（Ｓ１６０５）、Ｓ１６０２からの処理を繰り返す。即ち、ｃｕｒＣＣＤＸを中心とした左右の所定範囲内における各検出位置において、サブピクセル精度の境界を検出するのである。

そして、Ｓ１６０２において、「ｃｃｄｘ」が「ＭＩＮ（ｃｕｒＣＣＤＸ＋ｄｘ，ｃｃｄＷ−１）」より大きいと判断されると（Ｓ１６０２：Ｎｏ）、ｃｕｒＣＣＤＸ−ｄｘからｃｕｒＣＣＤＸ＋ｄｘの範囲で計算されたｅｆＣＣＤＹ［ｊ］について、ｃｃｄｙ＝ｆｙ（ｃｃｄｘ）の近似多項式を求める（Ｓ１６０６）。この処理によってＳ１６０５において検出された各値を用いるので、１つの検出位置において境界座標を検出しようとする場合に比べて、境界座標の検出精度を向上させることができる。

こうして得られた近似多項式とｃｕｒＣＣＤＸとの交点を、ＰａｔＩＤ［ｉ］のマスクパターン番号を持つ輝度画像についての境界のＣＣＤＹ値として（Ｓ１６０７）、当該処理を終了する。ここまでの処理を図１５のフローチャートに示すように、抽出した全部の輝度画像の１枚、１枚に実行し、求められた境界座標について加重平均値を計算して、その結果を最終的な境界座標としているので（Ｓ１５０７）、更に、境界座標の検出精度を向上させることができる。

図１７は、レンズ収差補正処理（図１２のＳ１２２４）を説明するための図である。レンズ収差補正処理は、図１７（ａ）に示すように、撮像光学系２１の収差により、入射した光束が理想レンズにより結像すべき位置からずれてしまうことに対して、撮像された画素の位置を本来結像すべき位置へ補正する処理である。

この収差補正は、例えば、図１７（ｂ）に示すように、撮像光学系２１の撮像範囲において、入射光の角度である半画角ｈｆａをパラメータとして光学系の収差を計算して求めたデータを基に補正する。

この収差補正処理では、レンズ収差補正プログラム３６ｆに基づき実行され、コード境界座標格納部３７ｅに格納されているコード境界座標について行なわれ、収差補正処理がなされたデータは、収差補正座標格納部３７ｇに格納される。

具体的には、実画像における任意点座標（ｃｃｄｘ、ｃｃｄｙ）を理想カメラ画像での座標（ｃｃｄｃｘ、ｃｃｄｃｙ）に変換する次の（ａ）から（ｃ）のカメラキャリブレーション（近似式）を用いて補正する。

本実施例では、収差量ｄｉｓｔ（％）は、半画角ｈｆａ（ｄｅｇ）を用いてｄｉｓｔ＝ｆ（ｈｆａ）と記述する。また、撮像光学系２１の焦点距離をｆｏｃａｌｌｅｎｇｔｈ（ｍｍ）、ｃｃｄ画素長ｐｉｘｅｌｌｅｎｇｔｈ（ｍｍ）、ＣＣＤ２２におけるレンズの中心座標を（Ｃｅｎｔｘ、Ｃｅｎｔｙ）とする。

（ａ）ｃｃｄｃｘ＝（ｃｃｄｘ−Ｃｅｎｔｘ）／（１＋ｄｉｓｔ／１００）＋Ｃｅｎｔｘ
（ｂ）ｃｃｄｃｙ＝（ｃｃｄｙ−Ｃｅｎｔｙ）／（１＋ｄｉｓｔ／１００）＋Ｃｅｎｔｙ
（ｃ）ｈｆａ＝ａｒｃｔａｎ［（（（ｃｃｄｘ−Ｃｅｎｔｘ）^２＋（ｃｃｄｙ−Ｃｅｎｔｙ）^２）^０．５）×ｐｉｘｅｌｌｅｎｇｔｈ／ｆｏｃａｌｌｅｎｇｔｈ］
図１８は、三角測量原理による実空間変換処理（図１２のＳ１２２５）において、ＣＣＤ空間における座標から、３次元空間における３次元座標を算出する方法を説明するための図である。

三角測量原理による実空間変換処理では、三角測量演算プログラム３６ｇによって、収差補正座標格納部３７ｇに格納されている収差補正がなされたコード境界座標についての３次元空間における３次元座標が算出される。こうして算出される３次元座標は、３次元座標格納部３７ｈに格納される。

本実施例では、撮像される横方向に湾曲した原稿Ｐに対する画像入力出力装置１の座標系として、撮像光学系２１の光軸方向をＺ軸、そのＺ軸に沿って撮像レ光学系２１の主点位置からＶＰＺ離れた地点を原点、画像入出力装置１に対して水平方向をＸ軸、垂直方向をＹ軸とする。

また、３次元空間（Ｘ，Ｙ，Ｚ）への画像投影部１３からの投影角度θｐ、撮像レンズ光学系２０の光軸と画像投影部１３の光軸との距離をＤ、撮像光学系２１のＹ方向の視野をＹｆｔｏｐからＹｆｂｏｔｔｏｍ、Ｘ方向の視野をＸｆｓｔａｒｔからＸｆｅｎｄ、ＣＣＤ２２のＹ軸方向の長さ（高さ）をＨｃ、Ｘ軸方向の長さ（幅）をＷｃとする。尚、投影角度θｐは、各画素毎に割り当てられたコードに基づき与えられる。

この場合、ＣＣＤ２２の任意座標（ｃｃｄｘ，ｃｃｄｙ）に対応する３次元空間位置（Ｘ，Ｙ，Ｚ）は、ＣＣＤ２２の結像面上の点と、パターン光の投影点と、Ｘ−Ｙ平面に交差する点とで形成される三角形について５つの式を解くことで得ることができる。
（１）Ｙ＝−（ｔａｎθｐ）Ｚ＋ＰＰＺ＋ｔａｎθｐ−Ｄ＋ｃｍｐ（Ｘｔａｒｇｅｔ）
（２）Ｙ＝−（Ｙｔａｒｇｅｔ／ＶＰＺ）Ｚ＋Ｙｔａｒｇｅｔ
（３）Ｘ＝−（Ｘｔａｒｇｅｔ／ＶＰ）Ｚ＋Ｘｔａｒｇｅｔ
（４）Ｙｔａｒｇｅｔ＝Ｙｆｔｏｐ−（ｃｃｄｃｙ／Ｈｃ）×（Ｙｆｔｏｐ−Ｙｆｂｏｔｔｏｍ）
（５）Ｘｔａｒｇｅｔ＝Ｘｆｓｔａｒｔ＋（ｃｃｄｃｘ／Ｗｃ）×（Ｘｆｅｎｄ−Ｘｆｓｔａｒｔ）
尚、（１）におけるｃｍｐ（Ｘｔａｒｇｅｔ）は、撮像光学系２０と画像投影部１３とのズレを補正する関数であり、ズレが無い理想的な場合にはｃｍｐ（Ｘｔａｒｇｅｔ）＝０とみなすことができる。この式は、湾曲した原稿Ｐに限られるものではなく、任意の三次元形状を有するものに対しても利用できるものである。

一方、上述したのと同様に、画像投影部１３に含まれる投影ＬＣＤ１９上の任意座標（ｌｃｄｃｘ、ｌｃｄｃｙ）と３次元空間中の３次元座標（Ｘ，Ｙ，Ｚ）との関係は次の（６）から（９）の式で表せる。

尚、本実施例では、画像投影部１３の主点位置（０，０，ＰＰＺ）、画像投影部１３のＹ方向の視野をＹｐｆｔｏｐからＹｐｆｂｏｔｔｏｍ、Ｘ方向の視野をＸｐｆｓｔａｒｔからＸｐｆｅｎｄ、投影ＬＥＤ１９のＹ軸方向の長さ（高さ）をＨｐ、Ｘ軸方向の長さ（幅）Ｗｐとする。
（６）Ｙ＝−（Ｙｐｔａｒｇｅｔ／ＰＰＺ）Ｚ＋Ｙｐｔａｒｇｅｔ
（７）Ｘ＝−（Ｘｐｔａｒｇｅｔ／ＰＰＺ）Ｚ＋Ｘｐｔａｒｇｅｔ
（８）Ｙｐｔａｒｇｅｔ＝Ｙｐｆｔｏｐ−（ｌｃｄｃｙ／Ｈｐ）×（Ｙｐｆｔｏｐ−Ｙｐｆｂｏｔｔｏｍ）
（９）Ｘｐｔａｒｇｅｔ＝Ｘｐｆｓｔａｒｔ＋（ｌｃｄｃｘ／Ｗｐ）×（Ｘｐｆｅｎｄ−Ｘｐｆｓｔａｒｔ）
この関係式を利用することで、３次元空間座標（Ｘ，Ｙ，Ｚ）を上記（６）から（９）の式に与えることで、ＬＣＤ空間座標を（ｌｃｄｃｘ，ｌｃｄｃｙ）を算出することができる。よって、例えば、３次元空間に任意の形状、文字を投影するためのＬＣＤ素子パターンを算出することができる。

図１９は、平面化画像処理（図６のＳ６１１）のフローチャートである。平面化画像処理は、例えば、図１に示すような湾曲した状態の原稿Ｐを撮像した場合や矩形状の原稿を斜め方向から撮像した場合（撮像された画像は台形状になる）であっても、その原稿が湾曲していない状態やその面に対して垂直方向から撮像したような状態に補正された平面化画像を取得、表示する処理である。

この処理では、まず、ＣＣＤ２２に高解像度設定信号を送信し（Ｓ１９０１）、モニタＬＣＤ１０にファインダ画像を表示する（Ｓ１９０２）。

次に、レリーズボタン８をスキャンし（Ｓ１９０３ａ）、レリーズボタン８が半押しされたか否かを判断する（Ｓ１９０３ｂ）。半押しされていれば（Ｓ１９０３ｂ：Ｙｅｓ）、オートフォーカス（ＡＦ）および自動露出（ＡＥ）機能を起動し、ピント、絞り、シャッタスピードを調節する（Ｓ１９０３ｃ）。尚、半押しされていなければ（Ｓ１９０３ｂ：Ｎｏ）、Ｓ１９０３ａからの処理を繰り返す。

次に、再び、レリーズボタン８をスキャンし（Ｓ１９０３ｄ）、レリーズボタン８が全押しされたか否かを判断する（Ｓ１９０３ｅ）。全押しされていれば（Ｓ１９０３ｅ：Ｙｅｓ）、フラッシュモードか否かを判断する（Ｓ１９０３ｆ）。

その結果、フラッシュモードであれば（Ｓ１９０３ｆ：Ｙｅｓ）、フラッシュ７を投光して（Ｓ１９０３ｇ）、撮影し（Ｓ１９０３ｈ）、フラッシュモードでなければ（Ｓ１９０３ｆ：Ｎｏ）、フラッシュ７を投光することなく撮影する（Ｓ１９０３ｈ）。尚、Ｓ１９０３ｅの判断において、全押しされていなければ（Ｓ１９０３ｅ：Ｎｏ）、Ｓ１９０３ａからの処理を繰り返す。

次に、上述した３次元形状検出処理（図１０のＳ１００６）と同一の処理である３次元形状検出処理を行い、被写体の３次元形状を検出する（Ｓ１９０６）。

次に、３次元形状検出処理（Ｓ１９０６）によって得られた３次元形状検出結果に基づき、原稿Ｐの姿勢を演算する原稿姿勢演算処理を行う（Ｓ１９０７）。この処理によって原稿Ｐの姿勢パラメータとして、原稿Ｐの画像入力装置１に対する位置Ｌや角度θ、湾曲φ（ｘ）が演算される。

次に、その演算結果に基づき、後述する平面変換処理を行い（Ｓ１９０８）、たとえ、原稿Ｐが湾曲していたとしても湾曲していない状態に平面化された平面化画像を生成する。

次に、平面変化処理（Ｓ１９０８）によって得られた平面化画像を外部メモリ２７に格納し（Ｓ１９０９）、平面化画像をモニタＬＣＤ１０に表示する（Ｓ１９１０）。

そして、モード切替スイッチ９に変化が無いか否かを判断し（Ｓ１９１１）、その結果、変化が無ければ（Ｓ１９１１：Ｙｅｓ）、再び、Ｓ７０２からの処理を繰り返し、変化があれば（Ｓ１９１１：Ｎｏ）、当該処理を終了する。

図２０は、原稿姿勢演算処理（図１９のＳ１９０７）を説明するための図である。尚、本等の原稿の仮定条件として、原稿Ｐの湾曲はｙ方向に一様であるとする。この原稿姿勢演算処理では、まず、図２０（ａ）に示すように、３次元座標格納部３７ｈに格納されているコード境界に関する座標データから３次元空間位置において２列に並ぶ点を回帰曲線近似した２本の曲線を求める。

例えば、パターン光を投影した範囲の上下それぞれ４分の１の位置情報（コード６３とコード６４の境界と、コード１９１とコード１９２との境界とに関する境界）から求めることができる。

その２本の曲線のＸ軸方向の位置が「０」における点を結ぶ直線を想定し、この直線がＺ軸と交わる点、つまり、光軸が原稿Ｐと交差する点を、原稿Ｐの３次元空間位置（０，０，Ｌ）とし、この直線がＸ−Ｙ平面となす角を原稿ＰのＸ軸まわりの傾きθとする。

次に、図２０（ｂ）に示すように、原稿Ｐを、先に求めたＸ軸まわりの傾きθ分だけ逆方向に回転変換し、つまり、原稿ＰをＸ−Ｙ平面に対して平行にした状態を想定する。

そして、図２０（ｃ）に示すように、Ｘ−Ｚ平面における原稿Ｐの断面について、Ｚ軸方向の変位をＸの関数として湾曲φ（Ｘ）で表すことができる。こうして、原稿姿勢パラメータとして、原稿Ｐの位置Ｌや角度θ、湾曲φ（ｘ）が演算され、当該処理を終了する。

図２１は、平面変換処理（図１９のＳ１９０８）のフローチャートである。この処理は、まず、ＲＡＭ３７のワーキングエリア３７ｎに当該処理の処理領域を割り当て、当該処理に用いるカウンタｂの変数を初期値（ｂ＝０）に設定する（Ｓ２１０１）。

次に、原稿姿勢演算プログラム３６ｈでの演算結果による原稿Ｐの位置Ｌと、傾きθと、湾曲φ（ｘ）とに基づき、パターン光無画像格納部３７ｂに格納されたパターン光無画像の４隅の点を、それぞれ、Ｚ方向に−Ｌ移動し、Ｘ軸方向に−θ回転し、更にφ（ｘ）にする湾曲の逆変換（後述する「湾曲処理」と同等な処理）により求められる点で取成される矩形領域（つまり、原稿Ｐの文字等が書かれた面が略直交方向から観察されたような画像となる矩形領域）を設定すると共に、この矩形領域内に含まれる画素数ａを求める（Ｓ２１０２）。

次に、設定された矩形領域を構成する各画素に対応するパターン光無画像上の座標を求めて、この座標周辺の画素情報から、平面化画像の各画素の画素情報を設定する。

つまり、まず、カウンタｂが画素数ａに到達したか否かを判断する（Ｓ２１０３）。カウンタｂが画素数ａに到達していなけば（Ｓ２１０３：Ｎｏ）、矩形領域を構成する１つの画素について、Ｙ軸を中心に湾曲φ（ｘ）回転移動させる湾曲計算処理を行い（Ｓ２１０４）、Ｘ軸を中心に傾きθ回転移動させ（Ｓ２１０５）、Ｚ軸方向に距離Ｌだけシフトさせる（Ｓ２１０６）。

次に、求められた３次元空間位置を、先の３角測量の逆関数により理想カメラで写されたＣＣＤ画像上の座標（ｃｃｄｃｘ，ｃｃｄｃｙ）を求め（Ｓ２１０７）、使用している撮像光学系２０の収差特性に従って、先のカメラキャリブレーションの逆関数により、実際のカメラで写されたＣＣＤ画像上の座標（ｃｃｄｘ，ｃｃｄｙ）を求め（Ｓ２１０８）、この位置に対応するパターン光無画像の画素の状態を求めて、ＲＡＭ３７のワーキングエリア３７ｎに格納する（Ｓ２１０９）。

そして、次の画素について上述したＳ２１０３からＳ２１０９までの処理を実行すべく、カウンタｂに「１」を加算する（Ｓ２１１０）。

こうして、Ｓ２１０４からＳ２１１０までの処理をカウンタｂが画素数ａになるまで繰り返すと（Ｓ２１０３：Ｙｅｓ）、Ｓ２１０１において、当該処理を実行するためにワーキングエリア３７ｎに割り当てた処理領域を開放して（Ｓ２１１１）、当該処理を終了する。

図２２（ａ）は、湾曲処理（図２１のＳ２１０４）についての概略を説明するための図であり、（ｂ）は平面変換処理（図１９のＳ１９０８）によって平面化された原稿Ｐを示している。尚、この湾曲処理についての詳細については、電子情報通信学会論文誌ＤＩＩＶｏｌ.Ｊ８６−Ｄ２ Ｎｏ.３ ｐ４０９「アイスキャナによる湾曲ドキュメント撮影」に詳細に開示されている。

湾曲Ｚ＝φ（ｘ）は、求められたコード境界座標列（実空間）で構成される３次元形状を、任意のＹ値におけるＸＺ平面に平行な平面切断された断面形状を、最小２乗法により多項式で近似した式で表現される。

湾曲する曲面を平面化する場合、（ａ）に示すように、Ｚ＝φ（ｘ）上の点に対応する平面化された点は、Ｚ＝φ（０）からＺ＝φ（ｘ）までの曲線の長さによって対応付けられることになる。

こうした湾曲処理を含む平面変換処理によって、例えば、図１のように湾曲している状態の原稿Ｐを撮像した場合であっても、図２２（ｂ）に示すように、平面化された平面画像を取得することができ、このように平面化された画像を用いればＯＣＲ処理の精度を高めることができるため、その画像によって、原稿に記載された文字や図形等を明確に認識することができる。

次に、図２３乃至図２７を参照して第１実施例の採点モードについて説明する。尚、図２３乃至図２７においては、上述した被写体としての原稿Ｐが解答用紙Ｐとして形成されているものとして説明する。

この第１実施例の採点モードは、解答用紙Ｐに記述されている全ての解答を自動的にまとめて採点し、その採点結果等を解答用紙に投影するモードである。図２３は、解答用紙Ｐのレイアウトを説明するための図である。図２４は、採点結果等を解答用紙Ｐに投影している状態を示す図である。

図２３に示すように、解答用紙Ｐには、その上方左側に得点欄Ｔと、中央部の上方から下方に向かって並ぶ問１から問１０の各問題文Ｍ１等と、各問題文Ｍ１等の右下側に各問題の解答欄Ｋ１等とが印刷されている。

また、各解答欄Ｋ１等には、本採点モードに先立ち、解答者によって解答が記述されており、問１に対応する解答欄Ｋ１には「正三角形」、問２に対応する解答欄Ｋ２には「ｙ＝ａｘ」、問１０に対応する解答欄Ｋ１０は、解答が記述されていない「無解答」の状態である。

この解答用紙Ｐを、画像入出力装置１の撮影範囲内にセットし、モード切替スイッチ９を採点モードに設定すると、画像入出力装置１は、この解答用紙Ｐを撮像し、その撮像データから、参照情報格納部ｐに記憶されている各解答欄Ｋ１等の位置情報に基づき、各解答欄Ｋ１等の全部を認識する。そして、各解答欄に記述された解答を認識し、各解答欄Ｋ１に対応つけて記憶されている模範解答を抽出し、その抽出した模範解答と、認識した解答とが一致しているか否かを判定する。

その結果、解答者が記述した解答が模範解答と一致していれば、図２４に示すように、一致していることを示す情報として「○」の記号を解答欄Ｋ１上に投影する。また、一致してなければ、一致していないことを示す情報として「×」の記号を解答欄Ｋ２上に投影すると共に、抽出した模範解答「ｙ＝ａｘ^２＋ｂ」を解答欄Ｋ２の左側に投影する。更に、解答欄が「無解答」であるような場合には、「×」の記号を解答欄Ｋ１０上に投影すると共に、抽出した模範解答「ｘ＝１６」を解答欄Ｋ１０の左側に投影する。

また、画像入出力装置１は、投影する「○」の記号の数を○数カウンタ３７ｍにおいて計数し、各問題の正誤判定が終了すると、その○数カウンタ３７ｍの計数結果に基づき、得点演算プログラム３６ｎにより得点を演算して、その演算した得点「８０」を得点欄Ｔに投影する。

図２５は、採点処理（図６のＳ６１３）のフローチャートである。この処理では、まず、ＣＣＤ２２に高解像度設定を送信し（Ｓ２５０１）、モニタＬＣＤ１０にファインダ画像を表示する（Ｓ２５０２）。

次に、レリーズボタン８をスキャンし（Ｓ２５０３）、レリーズボタン８が半押しされたか否かを判断する（Ｓ２５０４）。レリーズボタン８が半押しされていなければ（Ｓ２５０４：Ｎｏ）、Ｓ２５０３から処理を繰り返し、半押しされていれば（Ｓ２５０４：Ｙｅｓ）、オートフォーカス（ＡＦ）および自動露出（ＡＥ）機能を起動し、ピント、絞り、シャッタスピードを調節する（Ｓ２５０５）。

そして、再び、レリーズボタンをスキャンし（Ｓ２５０５ａ）、レリーズボタン８が全押しされたか否かを判断する（Ｓ２５０６）。全押しされていなければ（Ｓ２５０６：Ｎｏ）、上述したＳ２５０３からの処理を繰り返す。

一方、全押しされていれば（Ｓ２５０６：Ｙｅｓ）、フラッシュモードか否か判断し（Ｓ２５０７）、フラッシュモードであれば（Ｓ２５０７：Ｙｅｓ）、フラッシュ７を投光して（Ｓ２５０８）、撮影する（Ｓ２５０９）。一方、フラッシュモードでなけば（Ｓ２５０７：Ｎｏ）、フラッシュ７を投光することなく撮影する（Ｓ２５０９）。

次に、上述した３次元形状検出処理（図１０のＳ１００６）と同一の処理である３次元形状検出処理を行い、被写体の３次元形状を検出する（Ｓ２５１０）。

次に、上述した原稿姿勢演算処理（図１９のＳ１９０７）と同一の処理である原稿姿勢演算処理を行い、３次元形状検出結果に基づき、解答用紙Ｐの姿勢パラメータとして、解答用紙Ｐの画像入力装置１に対する位置Ｌや角度θ、湾曲φ（ｘ）を演算する（Ｓ２５１１）。

次に、上述した平面変換処理（図１９のＳ１９０８）と同一の処理である平面変換処理を行い、平面化された平面化画像を生成し（Ｓ２５１２）、この平面変換処理によって得られた平面化画像を外部メモリ２７に格納する（Ｓ２５１３）。

次に、後述する判定処理によって（Ｓ２５１４）、解答用紙Ｐに記述された各解答に対する正誤判定や得点演算等を行い、その結果を投影する。そして、最後に、モード切替スイッチ９に変化が無いか否かを判断し（Ｓ２５１５）、その結果、変化が無ければ（Ｓ２５１５：Ｙｅｓ）、再び、Ｓ２５０１からの処理を繰り返し、変化があれば（Ｓ２５１５：Ｎｏ）、当該処理を終了する。

図２６は、上述した判定処理（図２５のＳ２５１４）のフローチャートである。この判定処理では、まず、図２５のＳ２５１３において外部メモリ２７に格納された平面化画像において、解答用紙Ｐのレイアウトを解析し、解答用紙Ｐに印刷されている全ての解答欄の解答用紙Ｐにおける位置を認識する（Ｓ２６０１）。

各解答欄は、参照情報格納部３６ｐに格納されている採点用データベースの各解答欄の位置情報に基づき認識されることになる。ここで、解答欄の解答用紙Ｐにおける位置は平面化画像において認識されるので、平面化画像を用いることなく処理する場合に比べて正確に各解答欄の位置を把握することができる。

例えば、図２３に示すように、解答用紙Ｐが冊子状に綴じられており、解答用紙Ｐを湾曲した状態で撮像したような場合、その湾曲した状態を撮像した撮像画像から各解答欄を認識する場合には、湾曲の程度により、各解答欄の形状が多様に歪むため各解答欄を正確に認識できない恐れがある。

一方、本実施例のように、平面変換処理（図２５のＳ２５１２）において湾曲した状態の解答用紙Ｐを撮像した画像を平面化した平面化画像を用いるので各解答欄の形状の歪みも補正されているため正確に解答欄を認識することができる。

次に、○数カウンタ３７ｍを初期化（＝「０」）し（Ｓ２６０２）、投影画像格納部３７ｋをクリアする（Ｓ２６０２ａ）。そして、Ｓ２６０１において認識した解答欄の内から、１つの解答欄に関し、その解答欄に記述されている解答を記述情報認識プログラム３６ｋにより認識し（Ｓ２６０３）、その認識した解答について正誤判定が可能か否かを判断する（Ｓ２６０４）。

尚、解答欄に記述されている解答を認識する場合にも、解答の文字の歪みも補正された平面化画像において認識されるので、記述情報認識プログラム３６ｋによる認識精度を向上させることができる。

正誤判定の結果、正誤判定が可能と判定した場合には（Ｓ２６０４：Ｙｅｓ）、その解答欄に対応する参照情報としての模範解答を参照情報格納部３６ｐに格納されている採点用データベースから抽出する（Ｓ２６０５）。

そして、認識した解答と抽出した模範解答とが一致するか否か、即ち、認識した解答が正解か否かを判断する（Ｓ２６０６）。その結果、正解（一致する）であれば（Ｓ２６０６：Ｙｅｓ）、○数カウンタ３７ｍに「１」を加算し（Ｓ２６０７）、「○」の記号を投影する投影画像を投影画像生成プログラム３６ｏにより生成し、その投影画像を投影画像格納部３７ｋへ書き込む（Ｓ２６０８）。

一方、正誤判定が不可能であると判定した場合（例えば、解答が記述されていない場合や認識できない文字が存在する様な場合）や（Ｓ２６０４：Ｎｏ）、認識した解答と抽出した模範解答とが一致しない場合、即ち、不正解の場合には（Ｓ２６０６：Ｎｏ）、「×」の記号と、「模範解答」とを投影する投影画像を投影画像生成プログラム３６ｏにより生成し、その投影画像を投影画像格納部３７ｋへ書き込む（Ｓ２６０９）。

ここで、Ｓ２６０８やＳ２６０９において生成される投影画像では、後述する図２７のフローチャートで説明する無歪投影用画像変換処理により、「○」記号や「×」の記号が対応する解答欄に重なるように、「模範解答」が対応する解答欄の左側に位置するように設定されるので、使用者が、その解答に対する判定結果や模範解答を一見して把握することができる。

また、Ｓ２６０４において、認識した解答について正誤判定が可能か否かを判断することで、例えば、解答欄が「無解答」であったり、認識できない文字が存在する様な場合には、記述情報認識プログラム３６ｋによって解答を認識することができないが、かかる場合には、正誤判定が不可能と判断し（Ｓ２６０４：Ｎｏ）、「×」の記号と「模範解答」とを投影することで、たとえ、解答が「無解答」等であったとしても「模範解答」を確認することができる。

次に、Ｓ２６０１に認識した全部の解答欄に記述された解答について、正誤の判定が終了したか否かを判断し（Ｓ２６１１）、終了していなければ（Ｓ２６１１：Ｎｏ）、Ｓ２６０３からの処理を繰り返す。

一方、終了していれば（Ｓ２６１１：Ｙｅｓ）、○数カウンタ３７ｍの計算結果に基づき、得点演算プログラム３６ｎにより点数を算出し（Ｓ２６１２）、点数を投影する投影画像を生成し、その投影画像を投影画像格納部３７ｋに書き込む（Ｓ２６１３）。

こうして、Ｓ２６１３までの処理が終了すると、Ｓ２６０８、Ｓ２６０９、Ｓ２６１３において投影画像格納部３７ｋに書き込まれた投影画像をまとめて投影し（Ｓ２６１４）、当該処理を終了する。

このように、第１実施例の採点モードによれば、解答用紙Ｐに記述されている全ての判定結果情報や点数をまとめて確認することができる。また、「○」の記号や「×」の記号や「模範解答」は、従来のように解答用紙とは別の用紙に印刷されるのではなく、投影画像として、解答用紙Ｐ上に投影されるので、用紙を無駄に消費することなく採点作業を行うことができる。

図２７は、その無歪投影用画像変換処理のフローチャートである。この無歪投影用画像変換処理は、図２６のＳ２６０８、Ｓ２６０９、Ｓ２６１３の処理において投影する「○」の記号、「×」の記号、「模範解答」、「得点」等を、解答用紙Ｐの所定位置に、所定の形態で投影するための投影画像を生成する処理である。

この処理では、まず、ＲＡＭ３７のワーキングエリア３７ｎに当該処理の処理領域を割り当て、当該処理に用いるカウンタｑの変数を初期値（ｑ＝０）に設定する（Ｓ２７０１）。

次に、無歪投影用画像（つまり、湾曲した被写体上において無歪である画像）に変換された後の画像となる矩形領域として、ＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）の空間に相当するメモリをＲＡＭ３７のワーキングエリア３７ｎに確保し、設定すると共に、この矩形領域内に含まれる画素数Ｑａを求める（Ｓ２７０２）。

次に、投影画像格納部３７ｋに格納された「○」の記号、「×」の記号、「模範解答」、「得点」等の画像情報の各画素値を、理想カメラ画像座標系（ｃｃｄｃｘ，ｃｃｄｃｙ）の矩形領域（この矩形領域も同様にＲＡＭ３７のワーキングエリア３７ｎに確保する）の各画素に配置する（Ｓ２７０３）。

次に、設定された矩形領域を構成するＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）上の各画素について、上述した式（６）〜（９）により、３次元座標格納部３７ｈに格納された被写体の表面上の対応点である三次元座標（Ｘ，Ｙ，Ｚ）を求め、さらに式（１）〜（５）において、（ｃｃｄｃｘ，ｃｃｄｃｙ）について解くことにより、無歪投影用画像の各画素の画素情報を算出し設定する。

つまり、まず、カウンタｑが画素数Ｑａに到達したか否かを判断する（Ｓ２７０４）。カウンタｑが画素数Ｑａに到達していなければ（Ｓ２７０４：Ｎｏ）、カウンタｑの値に対応する画素のＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）を、式（６）〜（９）により、ワーキングエリア３７ｎに格納された被写体上の座標（Ｘ，Ｙ，Ｚ）に変換する（Ｓ２７０５）。

次に、Ｓ２７０５の処理により変換されて得られた被写体上の座標（Ｘ，Ｙ，Ｚ）を、式（１）〜（５）において、（ｃｃｄｃｘ，ｃｃｄｃｙ）について解いた式を利用して理想カメラ画像上の座標（ｃｃｄｃｘ，ｃｃｄｃｙ）に変換する（Ｓ２７０６）。

次に、Ｓ２７０６の処理により変換されて得られた座標（ｃｃｄｃｘ，ｃｃｄｃｙ）に配置されている画素情報を取得し、その画素情報を、カウンタｑの値に対応するＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）に書き込む（Ｓ２７０７）。

そして、次の画素について上述したＳ２７０４からＳ２７０７までの処理を実行すべく、カウンタｑに「１」を加算する（Ｓ２７０８）。

こうして、Ｓ２７０４からＳ２７０８までの処理を、カウンタｑが画素数Ｑａになるまで繰り返すと（Ｓ２７０４：Ｙｅｓ）、設定された矩形領域を構成するＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）に対応付けられた画素情報を、投影ＬＣＤドライバ３０に転送する（Ｓ２７０９）。

最後に、Ｓ２７０１において、当該処理を実行するためにワーキングエリア３７ｎに割り当てた処理領域を開放して（Ｓ２７１０）、当該処理を終了する。

Ｓ２７０９の処理により、ＬＣＤ空間座標（ｌｃｄｃｘ，ｌｃｄｃｙ）上の画素情報が投影ＬＣＤドライバ３０へ転送されることにより、投影ＬＣＤ１９は、歪曲面上において無歪に投影される投影画像が表示される。よって、被写体上に無歪な画像が投影される。

従って、無歪投影用画像変換処理を実行することにより、投影方向が斜めである場合だけでなく、被写体が３次元形状を有し、そのためにその表面が湾曲している場合であっても、無歪な投影画像を投影することができる。その結果として、「○」の記号等を投影する場合に、使用者にその情報を正確に認識させることができる。

上記例では、画像上述した実施例では、画像撮像部１４からの視点で無歪な投影画像に変換したが、任意の視点から無歪な投影画像に変換することも可能である。その場合にも視点に合わせたパラメータに変換した式（６）〜（９）を用いれば良い。

次に、図２８乃至図３１を参照して、第２実施例の採点モードについて説明する。第１実施例の採点モードは、解答用紙Ｐの全ての解答をまとめて採点するのに対し、第２実施例の採点モードは、正誤判定する解答を使用者が指定し、その指定された解答について正誤判定を行う点で異なる。

また、第１実施例の採点モードは、○数カウンタ３７ｍを用いて投影した「○」の記号の数を計数し、その計数結果に基づき得点を演算するのに対し、この第２実施例の採点モードは、投影される「○」の記号等に基づき、使用者が解答用紙上に直接に「○」の記号等を記述し、その「○」の記号等が記述された解答用紙を撮像し、その撮像画像から「○」の記号の数を計数し、得点を演算する点で異なる。

図２８は、使用者の操作方法を説明する図である。図２９は、採点結果等を解答用紙に投影している状態を示す図である。尚、採点する解答用紙Ｐは、上述した解答用紙Ｐと同じものとし、その解答用紙Ｐについての説明は省略する。

この第２実施例の採点モードでは、解答用紙Ｐを、画像入出力装置１の撮像範囲内に置き、モード切替スイッチ９を採点モードに設定すると、画像入出力装置１から、図２８に示すように、解答用紙Ｐの下方に３つの指示マークが投影される。

この３つの指示マークは、左側から順番に指定終了マーク６４と、次マーク６５と、採点マーク６６とによって構成されている。この解答用紙Ｐ上に投影されている指示マークを使用者が指６３で差すと、画像入出力装置１は、各マークに対応して設定されている動作を実行するように構成されている。

指定終了マーク６４は、正誤判定をする解答の指定が終了したことを指示すマークである。次マーク６５は、別の解答について正誤判定を指示するマークである。採点マーク６６は、得点の算出を指示するマークである。

使用者は、この指示マークが投影されたことを契機に、正誤判定を要求する解答が記述された解答欄の周囲を囲むように指を移動させ、その後で、指定終了マーク６４を選択する。

画像入出力装置１では、指示マークを投影すると動画撮像を開始し、使用者の指の動きを検出して、使用者が指定した解答欄を認識する。具体的には、動画撮影した連続する２つの画像について差分をとり、その指先の軌跡から使用者が指定した解答欄を認識する。

そして、解答欄を認識すると、その解答欄に対応つけて記憶されている模範解答を参照情報格納部３６ｐから抽出し、その解答欄に記述された解答を認識し、認識した解答と抽出した模範解答とが一致しているか否かを判定する。

その判定結果は、上述したのと同様に、図２９に示すように、「○」の記号や、「×」の記号や、「模範解答」として、指定された解答に対応させて投影される。ここで、この第２実施例の採点モードにおいては、使用者が、その投影された「○」の記号等に基づき、解答用紙に直接に「○」の記号等を記入するようしている。

例えば、解答が不鮮明で本来は正解であるのに、記述情報認識プログラム３６ｋによって誤って或いは認識不可能と認識されるような場合には、その判定結果として「×」の記号が投影されることになるが、使用者が正解であると判断することが可能であれば、投影される「×」の記号を修正して、直接に「○」の記号が解答用紙Ｐに記入されることになる。

一方、使用者が次の解答について正誤判定を要求をする場合には、次マーク６５を選択した後、次の正誤判定を要求する解答が記述された解答欄の周囲を囲むように指を移動させ、その後で、指定終了マーク６４を選択する。すると、上述したのと同様に、その指定した解答欄に記述された解答について、正誤判定が行われ、その判定結果が投影される。

こうして、使用者が正誤判定をする解答を指定してゆき、解答用紙Ｐに記述された全ての解答について、正誤判定が終了した場合に、採点マーク６６を選択すると、画像入出力装置１は、使用者によって「○」の記号等が記入された解答用紙を撮像し、その撮像した画像から「○」の記号を認識し、その「○」の記号の数に基づき、得点を算出し、その得点を得点欄Ｔに投影する。

図３０は、第２実施例の採点モードにおける判定処理（図２５のＳ２５１４）を示すフローチャートである。第１実施例の採点モードと第２実施例の採点モードとは、図２５に示す採点処理のフローチャートにおいて、その判定処理（図２５のＳ２５１４）を異にし、その他は共通するため、その判定処理について説明し、その他の処理についての説明は省略する。

第２実施例の採点モードにおける判定処理（図２５のＳ２５１４）では、ＣＣＤ２２に低解像度設定を送信し（Ｓ３００１）、ＣＣＤ２２の解像度の設定を高解像度から低解像度に切り替え、指示マークを投影して（Ｓ３００２）、動画撮影を開始する（Ｓ３００３）。

すると、使用者は、この指示マークが投影されたことを契機に、解答用紙Ｐの中から、正誤判定を要求する解答が記述された解答欄を囲むように指６３を移動するので、その指差座標を検出する（Ｓ３００４）。具体的には、２つの連続する撮像画像の差分をとり、その差分画像から抽出される指先座標を検出する。

尚、この使用者の動作を要求すべく、指示マークを投影すると同時に、例えば「正誤判定を要求する解答が記述された解答欄を囲んで下さい。」等の所定のメッセージを解答用紙Ｐ上に投影させるように構成しても良い。このメッセージにより操作方法の未熟なユーザにとっても、操作方法を容易に把握することができる。

そして、使用者が指定終了マーク６４を選択したか否かを判断し（Ｓ３００５）、指定終了マーク６４を選択していなければ（Ｓ３００５：Ｎｏ）、検出した指差座標を指差座標格納部３７ｌに格納し（Ｓ３００６）、Ｓ３００４からの処理を繰り返す。

一方、指定終了マーク６４が選択された場合には（Ｓ３００５：Ｙｅｓ）、投影画像格納部３７ｋをクリアにした後（Ｓ３００６ａ）、指先座標格納部３７ｌに格納さている指先座標に基づき、指定された解答欄を認識する（Ｓ３００７）。

次に、図２５のＳ２５１３において外部メモリ２７に格納された平面化画像において、認識した解答欄を特定し（Ｓ３００８）、その特定した解答欄に記述された解答を認識し（Ｓ３００９）、その認識した解答について正誤判定が可能か否かを判断する（Ｓ３０１０）。

その結果、正誤判定が可能であると判断した場合には（Ｓ３０１０：Ｙｅｓ）、特定した解答欄に対応する模範解答を参照情報格納部３６ｐに格納されている採点用データベースから抽出する（Ｓ３０１１）。

そして、認識した解答と抽出した模範解答とが一致するか否か、即ち、認識した解答が正解か否かを判断する（Ｓ３０１２）。

その結果、正解（一致）であれば（Ｓ３０１２：Ｙｅｓ）、「○」の記号を投影する投影画像を生成し、その投影画像を投影画像格納部３７ｋへ書き込む（Ｓ３０１３）。

一方、例えば、解答欄が「無解答」であったり、解答に認識できない文字が存在するような場合には、認識した解答について正誤判定が不可能であると判断し（Ｓ３０１０：Ｎｏ）、また、認識した解答と抽出した模範解答とが一致しない場合、即ち、不正解の場合には（Ｓ３０１２：Ｎｏ）、「×」の記号と「模範解答」とを投影する投影画像を生成し、その投影画像を投影画像格納部３７ｋへ書き込む（Ｓ３０１４）。こうして、Ｓ３０１３やＳ３０１４において生成され、投影画像格納部３７ｋに書き込まれた投影画像を投影手段によって投影する（Ｓ３０１５）。こうして、使用者は指定した解答欄について判断結果を確認することができる。尚、使用者は、その投影された判定結果情報に基づき、解答用紙Ｐ上に直接に「○」の記号や、「×」の記号を記入する。

次に、使用者によって別の解答についての正誤判定の要求されたか否かを判断する（Ｓ３０１６）。即ち、次マーク６５が選択されたか否かが判断され、別の解答について正誤判定の要求されていれば（Ｓ３０１６：Ｙｅｓ）、Ｓ３００４からの処理を繰り返され、上述したのと同様に、その別の解答について正誤判定が行われ、その判定結果情報が投影される。

このように第２実施例の採点モードは、第１実施例の採点モードが全ての正誤判定の終了後にその判断結果をまとめて投影するのに対し、使用者が要求する解答欄だけについて正誤判定をし、その都度、その判断結果を投影するので、例えば、一問一答形式で模範解答を確認したいような場合に便利である。

一方、要求されていない場合には（Ｓ３０１６：Ｎｏ）、採点が要求されているか否かが判断される（Ｓ３０１７）。即ち、採点マーク６６が選択されたか否かが判断され、採点マーク６６が選択されれば（Ｓ３０１７：Ｙｅｓ）、解答用紙Ｐを静止画モードで撮像し（Ｓ３０１８）、その撮像画像から使用者が記述した「○」の数を記述情報認識プログラム３６ｋによって認識し（Ｓ３０１９）、その認識した「○」の記号の数に基づき、点数を算出する（Ｓ３０２０）。

そして、算出した点数を投影する投影画像を生成し、その投影画像を投影画像格納部３７ｋに書き込み（Ｓ３０２１）、その投影投影画像を投影し（Ｓ３０２２）、当該処理を終了する。尚、採点マーク６６が選択されなければ（Ｓ３０１７：Ｎｏ）、採点をすることなく、当該処理を終了する。

このように第２実施例の採点モードによれば、得点は、使用者が解答用紙Ｐに直接に記述した情報に基づき演算されるので、記述情報識別手段３６ｋの誤認識に基づく誤まった判定結果に基づき、得点が演算されるのを防止することができる。

また、上記の例では、使用者が正誤判定をする解答欄を指定する場合について説明したが、使用者が正誤判定をする解答欄を指定せずに、次マーク６５が選択される毎に自動的に順次（例えば、解答欄が左右２列に構成されている場合には、左側の上から下に、そして右側の上から下に順番に）正誤判定の対象となる解答欄を切り替える様にしても良い。

次に、図３１乃至図３４を参照して郵便情報モードについて説明する。郵便情報モードは、例えば、官製葉書Ｈ等に記載されている住所や郵便番号が正しく記述されているか否かを判定し、その判定結果を投影するモードである。図３１は、郵便情報モードにおける使用者の操作方法を示す図である。図３２及び図３３は、判定結果を投影している状態を示す図である。

本実施例では、図３１に示すように、住所として「静岡県 浜松市 竜禅寺町ＸＸＸ番地」、宛名として「特許 太郎 様」、郵便番号として「４３０ ０９２４」という文字が記述されている官製葉書Ｈにおいて、その住所に対して郵便番号が正しく記述されているか否かを判定し、その判定結果を投影する場合について説明する。

この官製葉書Ｈを、画像入出力装置１の撮像範囲内に置き、モード切替スイッチ９を郵便情報モードに設定すると、画像入出力装置１からは、図３１に示すように、官製葉書Ｈの下方に向けて３つの種別マークが投影される。

この３つの種別マークは、左側から順番に基準情報マーク６９と、判定情報マーク７０と、入力終了マーク７１とによって構成されている。各マークを指６３で差すと、画像入出力装置１は、そのマークに対応して設定されている動作を実行するように構成されている。

基準情報マーク６９は、基準情報に対応つけて予め設定されている参照情報を特定するために、その基準情報の認識を指示するマークである。判定情報マーク７０は、正誤判定を要求する判定情報の認識を指示するマークである。入力終了マーク７１は、基準情報や判定情報の入力終了を指示するマークである。

例えば、本実施例のように、官製葉書Ｈに記載した住所に対して郵便番号が正しいか否かを判定する場合には、使用者は、基準情報マーク６９を選択した後、「静岡県 浜松市 竜禅寺町ＸＸＸ番地」を囲むように指６３を移動させ、その後、入力終了マーク７１を選択する。

すると、画像入出力装置１は、その指で囲まれた領域に記載された住所を基準情報として認識し、その基準情報としての住所に対して参照情報格納部３６ｐの郵便用データベースに予め設定されている参照情報としての郵便番号を抽出する。

一方、基準情報の入力を終了すると、次に、判定情報マーク７０を選択した後、郵便番号記載欄Ｕを囲むように指６３を移動させ、その後、入力終了マーク７１を選択する。

すると、画像入出力装置１は、その指で囲まれた郵便番号記載欄Ｕに記述された郵便番号を判定情報として認識し、その認識した判定情報としての郵便番号と、基準情報に基づき抽出された参照情報としての郵便番号とが一致するか否かを判定する。

その結果、一致していれば、図３２に示すように、一致していることを示す情報として「○」の記号を郵便番号欄Ｕの上に重ねて投影し、一致していなければ、図３３に示すように、「×」の記号を郵便番号欄Ｕの上に重ねて投影すると共に、参照情報としての郵便番号「４３０‐０９２５」を郵便番号欄Ｕの下に投影する。尚、図示は省略するが、郵便番号欄Ｕに郵便番号が記載されていないような場合や記載されていても不明確な文字が記述されているような場合には、「判定不能」の文字を郵便番号欄Ｕの下に投影する。

図３４は、郵便情報処理（図６のＳ６１５）のフローチャートである。この処理では、まず、ＣＣＤ２２に高解像度設定を送信し（Ｓ３４０１）、モニタＬＣＤ１０にファインダ画像を表示する（Ｓ３４０２）。

次に、レリーズボタン８をスキャンし（Ｓ３４０３）、レリーズボタン８が半押しされたか否かを判断する（Ｓ３４０４）。レリーズボタン８が半押しされていなければ（Ｓ３４０４：Ｎｏ）、Ｓ３４０３から処理を繰り返し、半押しされていれば（Ｓ３４０４：Ｙｅｓ）、オートフォーカス（ＡＦ）および自動露出（ＡＥ）機能を起動し、ピント、絞り、シャッタスピードを調節する（Ｓ３４０５）。

そして、再び、レリーズボタンをスキャンし（Ｓ３４０５ａ）、レリーズボタン８が全押しされたか否かを判断する（Ｓ３４０６）。全押しされていなければ（Ｓ３４０６：Ｎｏ）、上述したＳ３４０３からの処理を繰り返す。

一方、全押しされていれば（Ｓ３４０６：Ｙｅｓ）、フラッシュモードか否か判断し（Ｓ３４０７）、フラッシュモードであれば（Ｓ３４０７：Ｙｅｓ）、フラッシュ７を投光して（Ｓ３４０８）、撮影する（Ｓ３４０９）。一方、フラッシュモードでなけば（Ｓ３４０７：Ｎｏ）、フラッシュ７を投光することなく撮影する（Ｓ３４０９）。

次に、上述した３次元形状検出処理（図１０のＳ１００６）と同一の処理である３次元形状検出処理を行い、被写体としての官製葉書Ｈの３次元形状を検出する（Ｓ３４１０）。

次に、上述した原稿姿勢演算処理（図１９のＳ１９０７）と同一の処理である原稿姿勢演算処理を行い、３次元形状検出結果に基づき、官製葉書Ｈの姿勢パラメータとして、官製葉書Ｈの画像入力装置１に対する位置Ｌや角度θ、湾曲φ（ｘ）を演算する（Ｓ３４１１）。

次に、上述した平面変換処理（図１９のＳ１９０８）と同一の処理である平面変換処理を行い、平面化された平面化画像を生成し（Ｓ３４１２）、この平面変換処理によって得られた平面化画像を外部メモリ２７に格納する（Ｓ３４１３）。

次に、ＣＣＤ２２に低解像度設定を送信し（Ｓ３４１４）、ＣＣＤ２２の解像度の設定を高解像度から低解像度に切り替え、種別マークを投影して（Ｓ３４１５）、動画撮影を開始する（Ｓ３４１６）。

次に、基準情報が入力されたか否かを判断する（Ｓ３４１７）。具体的には、基準情報マーク６９が選択されたか否かを判断する。基準情報マーク６９が選択されると（Ｓ３４１７：Ｙｅｓ）、使用者によって基準情報が記述された領域がが指６３で囲まれるので、その指差座標を検出する（Ｓ３４１８）。

そして、使用者が入力終了マーク７１を選択したか否かを判断し（Ｓ３４１９）、入力終了マーク７１を選択していなければ（Ｓ３４１９：Ｎｏ）、検出した指差座標を指差座標格納部３７ｌに格納し（Ｓ３４１９）、Ｓ３４１７からの処理を繰り返す。

一方、入力終了マーク７１が選択されたと判断した場合には（Ｓ３４１９：Ｙｅｓ）、指先座標格納部３７ｌに格納さている指先座標に基づき、使用者によって指定された指定領域を認識する（Ｓ３４２１）。

そして、Ｓ３４１３において外部メモリ２７に格納された平面化画像において、認識した指定領域を特定し（Ｓ３４２２）、特定した指定領域に記述された基準情報を認識し（Ｓ３４２３）、その認識した基準情報について正誤判定が可能か否かを判定する（Ｓ３４２３ａ）。

その結果、判定可能であると判定した場合には（Ｓ３４２３ａ：Ｙｅｓ）、認識した基準情報に対応する参照情報を参照情報格納部３６ｐの郵便用データベースから抽出する（Ｓ３４２４）。

次に、判定情報が入力されたか否かを判断する（Ｓ３４２５）。具体的には判定情報マーク７０が選択されたか否かを判断する。判定情報マーク７０が選択されると（Ｓ３４２５：Ｙｅｓ）、使用者によって判定情報が記述された領域が指６３で囲まれるので、その指差座標を検出する（Ｓ３４２６）。そして、使用者が入力終了マーク７１を選択したか否かを判断し（Ｓ３４２７）、その結果、入力終了マーク７１を選択していなければ（Ｓ３４２７：Ｎｏ）、検出した指差座標を指差座標格納部３７ｌに格納し（Ｓ３４２８）、Ｓ３４２６からの処理を繰り返す。

一方、入力終了マーク７１が選択されたと判断した場合には（Ｓ３４２７：Ｙｅｓ）、投影画像格納部３７ｋをクリアにした後（Ｓ３４２８ａ）、指先座標格納部３７ｌに格納さている指先座標に基づき、指定された指定領域を認識する（Ｓ３４２９）。

次に、Ｓ３４１３において外部メモリ２７に格納された平面化画像において、認識した指定領域を特定し（Ｓ３４３０）、特定した指定領域に記述された判定情報を認識する（Ｓ３４３１）。

そして、その認識した判定情報ついて正誤判定が可能か否かを判定し（Ｓ３４３２）、その正誤判定が可能であると判断した場合には（Ｓ３４３２：Ｙｅｓ）、認識した判定情報と抽出した参照情報とが一致するか否か、即ち、判定情報が正しいか否かを判断する（Ｓ３４３３）。その結果、正しければ（Ｓ３４３３：Ｙｅｓ）、「○」の記号を投影する投影画像を生成し、その投影画像を投影画像格納部３７ｋに書き込む（Ｓ３４３４）。

一方、Ｓ３４２３ａの処理において認識した基準情報について正誤判定不可能と判断した場合（Ｓ３４２３ａ：Ｎｏ）やＳ３４３２の処理において認識した判定情報について正誤判定不可能と判断した場合には（Ｓ３４３２ａ：Ｎｏ）、「判定不能」のメッセージの投影画像を生成し、その投影画像を投影画像格納部３７ｋに書き込む（Ｓ３４３１ａ）。

また、Ｓ３４３３において、認識した判定情報と抽出した参照情報とが一致しない場合、即ち、正しくない場合には（Ｓ３４３３：Ｎｏ）、「×」の記号と「参照情報」とを投影する投影画像を生成し、その投影画像を投影画像格納部３７ｋに書き込む（Ｓ３４３５）。

こうして、Ｓ３４３４やＳ３４３１ａやＳ３４３５で生成され、投影画像格納部３７ｋに格納されている投影画像を一時的に投影する（Ｓ３４３６）。

最後に、モード切替スイッチ９に変化が無いか否かを判断し（Ｓ３４３７）、その結果、変化が無ければ（Ｓ３４３７：Ｙｅｓ）、再び、Ｓ３４０１からの処理を繰り返し、変化があれば（Ｓ３４３７：Ｎｏ）、当該処理を終了する。

このように、この郵便情報モードによれば、官製葉書Ｈに記載された住所に対して郵便番号が正しいか否かを簡易に確認することができる。また、郵便番号を白紙の状態にしておくことで、住所に対して正しい郵便番号を簡易に取得することもできる。

尚、上述した場合には、基準情報として住所を入力する場合について説明したが、基準情報として郵便番号を入力し、判定情報として住所を入力すれば、判定情報として入力した住所が、その基準情報としての郵便番号に基づき特定される住所に対して正しいか否かを簡易に確認することもできる。

図３５は、上述した第１実施例の光源レンズ１８に関する第２実施例の光源レンズ６０を説明するための図であり、（ａ）は第２実施例の光源レンズ６０を示す側面図であり、（ｂ）は第２実施例の光源レンズ６０を示す平面図である。尚、上述したのと同一な部材には、同一の符号を付し、その説明は省略する。

第１実施例における光源レンズ１８は、各ＬＥＤ１７に対応する凸状の非球面形状からレンズ部１８ａをベース１８ｂ上に一体的に並べて配置して構成されているのに対し、この第２実施例の光源レンズ５０は、ＬＥＤ１７の各々を内包する砲弾型に形成された樹脂製レンズを各々別体に構成したものである。

このように、各ＬＥＤ１７を内包する光源レンズ５０を各々別体に構成することで、各々のＬＥＤ１７とそれに対応する各々の光学レンズ５０との位置が１対１で決められるので、相対的な位置精度を高めることができ、光の出射方向が揃うという効果がある。

これに対し、基板１６上にレンズアレイをまとめて位置合わせをすると、各々のＬＥＤ１７がダイボンディングされる際の位置決め誤差やレンズアレイと基板の線膨張係数の違いから、光の出射方向がバラバラになってしまう恐れがある。

従って、投影ＬＣＤ１９の面には、ＬＥＤ１７からの光の入射方向が投影ＬＣＤ１９の面に垂直にそろった光が照射され、投影光学系２０の絞りを均一に通過できる様になるため、投影画像の照度ムラを抑えることができ、結果的に高品質な画像を投影することができる。尚、光源レンズ５０に内包されているＬＥＤ１７はリードおよびリフレクタからなる電極５１を介して基板１６に実装されている。

また、この第２実施例における１群の光源レンズ５０の外周面には、各光源レンズ５０を束ねて所定の方向に規制する枠状の弾性を有する固定部材５２が配置されている。この固定部材５２は、ゴム、プラスチック等の樹脂製材料で構成されている。

第２実施例の光源レンズ５０は各ＬＥＤ１７に対して各々別体に構成されているので、各光源レンズ５０の凸状の先端部が形成する光軸の角度を正しく揃えて投影ＬＣＤ１９と対向するように設置することが困難である。

そこで、この固定部材５２によって１群の光源レンズ５０を取り囲み、各光源レンズ５０の外周面同士を接触させ、各光源レンズ５０の光軸が投影ＬＣＤ１９と正しい角度で対向するように各光源レンズ５０の位置を規制することで、各光源レンズ５０から投影ＬＣＤ１９に向けて光を略垂直に照射させることができる。よって、投影ＬＣＤ１９の面に垂直にそろった光が照射され、投影レンズの絞りを均一に通過できる様になるため、投影画像の照度ムラを抑えることができる。従って、一層、高品質な画像を投影することができる。

尚、この固定部材５２は、予め所定の大きさに規定された剛性を有するものであっても良く、弾性力を有する材料で構成してその弾性力によって各光源レンズ５０の位置を所定の位置に規制するようにしても良い。

図３６は、図３５で説明した光源レンズ５０を所定位置に規制する固定部材５２に関する第２実施例を説明するための図であり、（ａ）は光源レンズ５０を固定した状態を示す斜視図であり、（ｂ）はその部分的な断面図である。尚、上述したのと同一の部材には、同一の符号を付し、その説明は省略する。

この第２実施例の固定部材６０は、各光源レンズ５０の外周面に沿った断面を有する断面視円錐形状の貫通孔６０ａが穿設された板状に形成されている。各光源レンズ５０は、この各貫通孔６０ａに差し込まれて固定される。

また、この固定部材６０と基板１６との間には弾性を有する付勢プレート６１が介装されており、更に、この付勢プレート６１と各光源レンズ５０の下面との間には、電極５１を囲むように弾性を有する環状のＯリング６２が配置されている。

尚、光源レンズ５０に内包されるＬＥＤ１７は、付勢プレート６１、基板１６に穿設されたスルーホールを貫通する電極５１を介して基板１６に実装されている。

上述した固定部材６０によれば、各光源レンズ５０を、その光源レンズの外周面に沿った断面を有する各貫通孔６０ａに各々貫通させて固定するので、上述した固定部材５０よりも、一層確実に光源レンズ５０の光軸を正しい角度で投影ＬＣＤ１９に向くように固定することができる。

また、組立時に、Ｏリング６２の付勢力によってＬＥＤ１７を正しい位置に付勢して固定することができる。

また、本装置１を運搬する場合等に生ずる可能性のある衝撃力を、Ｏリング６２の弾性力によって吸収することができ、その衝撃の影響で光源レンズ５０の位置がずれてしまい、光源レンズ５０から垂直に投影ＬＣＤ１９に向けて光を照射できないという不都合を防止することができる。

上記実施例において、請求項１記載の記述情報認識手段としては、図２６のＳ２６０３の処理、図３０のＳ３００９の処理、図３４のＳ３４３１の処理が該当する。第１判断手段としては、図２６のＳ２６０６の処理、図３０のＳ３０１２の処理、図３４のＳ３４３３の処理が該当する。また、請求項４記載の第２判断手段としては、図２６のＳ２６０４の処理、図３０のＳ３０１０の処理、図３４のＳ３４２３ａ、Ｓ３４３２の処理が該当する。

また、請求項６記載の演算手段としては、図２６のＳ２６１２の処理や、図３０のＳ３０２０の処理が該当する。請求項９記載の検出手段としては、図３０のＳ３００７、Ｓ３００８の処理、図３４のＳ３４３０、Ｓ３４３１の処理が該当する。請求項１０記載の第３判断手段としては図２６のＳ２６１１の処理が該当する。請求項１３記載の投影位置制御手段としては、図２６のＳ２６０８、Ｓ２６０９、Ｓ２６１３の処理、図３０のＳ３０１３、Ｓ３０１４、Ｓ３０２１の処理、図３４のＳ３４３４、Ｓ３４３５、Ｓ３４３１ａの処理が該当する。

また、請求項１４記載の三次元情報検出手段としては、図２５のＳ２５１０、Ｓ２５１１の処理、図３４のＳ３４１０、Ｓ３４１１の処理が該当する。請求項１５記載の投影形態制御手段としては、図２６のＳ２６０８、Ｓ２６０９、Ｓ２６１３の処理、図３０のＳ３０１３、Ｓ３０１４、Ｓ３０２１の処理、図３４のＳ３４３４、Ｓ３４３５、Ｓ３４３１ａの処理が該当する。請求項１６記載の平面撮像データ生成手段としては、図２５のＳ２５１２の処理、図３４のＳ３４１２の処理が該当する。

以上実施例に基づき本発明を説明したが、本発明は上記実施例に何ら限定されるものでなく、本発明の主旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。

例えば、上述した採点モードにおいては、認識した解答と抽出した模範解答とが一致しない場合や、正誤判定ができない場合に「模範解答」を投影する場合について説明したが、正誤判定が可能で且つ、認識した解答と抽出した模範解答とが一致する場合であっても、「模範解答」を投影するように構成しても良い。

かかる場合には、例えば、記述情報認識プログラム３６ｋによる誤認識により、不正解の解答であっても正解である情報を示す「○」の記号が投影された場合であっても「模範解答」を投影することで、その判断が間違いであることを使用者が確認することができる。

また、上述した採点モードにおいては、一致情報としての「○」の記号に関する評価パラメータとして、「○」の記号の数に基づき、「得点」を演算する場合について説明したが、「○」の記号に関する評価パラメータとしては、かかる得点に限定されるものではなく、例えば、計数した「○」の記号の数に応じて「Ａ」、「Ｂ」、「Ｃ」の３段階の評価を設定し、その「Ａ」、「Ｂ」、「Ｃ」の各評価を投影するようにしても良い。

また、上述した郵便情報モードでは、官製葉書Ｈに記述された住所を基準情報として入力し、郵便番号を判定情報として入力し、その住所に対して郵便番号が正しいか否かを判定する場合について説明した。

しかしならが、例えば、参照情報格納部３６ｏに氏名と住所と郵便番号と電話番号とＦＡＸ番号とメールアドレスとの各々を対応つけてたアドレスデータベースを格納し、被写体に記述されている氏名と住所と郵便番号と電話番号とＦＡＸ番号とメールアドレスとの内、いずれかの情報を基準情報として入力し、別の情報を判定情報として入力するこで、その基準情報に対して判定情報が正しいか否かを判定するようにしても良い。

また、上記第１実施例では、全解答欄に関してまとめて採点し、第２実施例では、使用者が特定した部分を採点する場合について説明したが、採点方法としてはかかる場合に限られず、問１から順番に自動的に採点するように構成しても良い。例えば、まず、問１を採点し、次に、図２８の次マーク６５を使用者が選択か否かを判断し、選択されていなければ採点を中止し、選択されれば次に自動的に問２を採点するように構成することもできる。

また、上記実施例における図１５のＳ１５０１においては、明暗の変化を持つ輝度画像の全部を抽出し、その全部について暫定的なＣＣＤＹ値を求める場合について説明したが、抽出する輝度画像としては、全部である必要はなく、１枚以上であれば、その枚数に限定されることはない。抽出する枚数を減らすことで境界座標を高速に求めることができる。

また、上記実施例における図１５のＳ１５０７では、ｆＣＣＤＹ［ｉ］を加重平均し、図１６のＳ１６０７ではｅｆＣＣＤＹ［ｊ］を近似多項式として、各値を平均化する場合について説明したが、各値を平均化する方法としては、これらに限定されるものではなく、例えば、各値の単純平均値を採る方法、各値の中央値を採用する方法、各値の近似式を算出し、その近似式における検出位置を境界座標とする方法、統計的な演算により求める方法等であっても良い。

また、例えば、上記実施例における平面化画像モードにおける３次元形状検出処理においては、原稿Ｐの３次元形状を検出するために、複数種類の明暗を交互に並べてなる縞状のパターン光を投影する場合について説明したが、３次元形状を検出するための光は、かかるパターン光に限定されるものではない。

例えば、図３７に示すように、湾曲原稿の３次元形状の検出を簡便に行う場合には、画像投影部１３から２本の帯状のスリット光７０，７１を投影するようにしても良い。この場合には、８枚のパターン光を投影する場合にくらべ、僅か２枚の撮像画像から高速に３次元形状の検出をすることができる。

画像入出力装置の外観斜視図である。 撮像ヘッドの内部構成を示す図である。 （ａ）は画像投影部の拡大図であり、（ｂ）は光源レンズの平面図であり、（ｃ）は投影ＬＣＤ１９の正面図である。 ＬＥＤアレイの配列に関する説明をするための図である。 画像入出力装置の電気的なブロック図である。 メイン処理のフローチャートである。 デジカメ処理のフローチャートである。 ｗｅｂｃａｍ処理のフローチャートである。 投影処理のフローチャートである。 立体画像処理のフローチャートである。 （ａ）は、空間コード法の原理を説明するための図であり、（ｂ）は（ａ）とは異なるマスクパターン（グレイコード）を示す図である。 （ａ）は３次元形状検出処理のフローチャートである。（ｂ）は撮像処理のフローチャートである。（ｃ）は３次元計測処理のフローチャートである。 コード境界座標検出処理の概略を説明するための図である。 コード境界座標検出処理のフローチャートである。 コード境界座標をサブピクセル精度で求める処理のフローチャートである。 ＰａｔＩＤ［ｉ］のマスクパターン番号を持つ輝度画像について、境界のＣＣＤＹ値を求める処理のフローチャートである。 レンズ収差補正処理を説明するための図である。 ＣＣＤ空間における座標から３次元空間における３次元座標を算出する方法を説明するための図である。 平面化画像処理のフローチャートである。 原稿姿勢演算処理を説明するための図である。 平面変換処理のフローチャートである。 （ａ）は、湾曲計算処理についての大略を説明するための図であり、（ｂ）は平面変換処理によって平面化された平面化画像を示す図である。 解答用紙Ｐのレイアウトを説明するための図である。 採点モードにおける採点結果等が投影されている状態を示す図である。 採点処理のフローチャートである。 判定処理のフローチャートである。 無歪投影用画像変換処理のフローチャートである。 郵便情報モードにおける使用者の操作方法を説明する図である。 第２実施例の採点モードにおける判定結果を投影している状態を示す図である。 第２実施例の採点モードにおける判定処理のフローチャートである。 郵便情報モードにおける使用者の操作方法を示す図である。 郵便情報モードにおける判定結果を投影している状態を示す図である。 郵便情報モードにおける判定結果を投影している状態を示す図である。 郵便情報処理のフローチャートである。 （ａ）は第２実施例の光源レンズ６０を示す側面図であり、（ｂ）は第２実施例の光源レンズ６０を示す平面図である。 （ａ）は、光源レンズ５０を固定した状態を示す斜視図であり、（ｂ）はその部分的な断面図である。 被写体に投影するパターン光としての他の例を示す図である。

符号の説明

１ 画像入出力装置
１３ 画像投影部（投影手段）
１４ 画像撮像部（撮像手段）
１７ ＬＥＤ（光源手段）
１９ 投影ＬＣＤ（空間変調手段）
２０ 投影光学系（投影手段の一部）
２１ 撮像光学系（撮像手段の一部）
２２ ＣＣＤ（撮像手段の一部）
３６ｐ 参照情報格納部（第１記憶手段）
３７ｍ ○数カウンタ（計数手段）
３７ｋ 投影画像格納部（第２記憶手段）

Claims (20)

1. 文字や図形を含む記述情報が記述されている被写体を撮像し、第１の撮像データを取得する撮像手段と、
   その撮像手段で取得する第１の撮像データから前記記述情報を認識する記述情報認識手段と、
   予め設定されている参照情報を記憶する第１記憶手段と、
   その第１記憶手段に記憶されている参照情報と前記記述情報認識手段により認識される記述情報とが一致するかを判断する第１判断手段と、
   その第１判断手段による判断結果を示す判断結果情報を投影する投影手段とを備えていることを特徴とする画像入出力装置。
2. 前記第１判断手段は、前記第１記憶手段に記憶されている参照情報と前記記述情報認識手段により認識される記述情報とが一致するか否かを判断し、
   前記投影手段は、その第１判断手段によって一致すると判断された場合に前記判断結果情報として、その記述情報と参照情報とが一致することを示す一致情報を投影し、その第１判断手段によって一致しないと判断された場合に前記判断結果情報として、その記述情報と参照情報とが一致しないことを示す不一致情報を投影することを特徴とする請求項１に記載の画像入出力装置。
3. 前記投影手段は、前記第１判断手段によって前記第１記憶手段に記憶されている参照情報と前記記述情報認識手段により認識される記述情報とが一致しないと判断された場合に前記不一致情報の一部として、その記述情報に対する参照情報を投影することを特徴とする請求項２に記載の画像入出力装置。
4. 前記第１判断手段によって前記第１記憶手段に記憶されている参照情報と前記記述情報認識手段により認識される記述情報とが一致するかを判断することが可能かを判断する第２判断手段を備え、
   前記投影手段は、その第２判断手段によって判断不可能と判断された場合に、判断不可能であることを示す判断不可能情報を投影することを特徴とする請求項１から３のいずれかに記載の画像入出力装置。
5. 前記投影手段は、前記第２判断手段によって判断不可能と判断された場合に、前記判断不可能情報の一部として、その記述情報に対する参照情報を投影することを特徴とする請求項４に記載の画像入出力装置。
6. 前記投影手段により投影される一致情報に関する評価を示す評価パラメータを演算する演算手段を備え、
   前記投影手段は、その演算手段により演算される評価パラメータを投影することを特徴とする請求項２から５のいずれかに記載の画像入出力装置。
7. 前記投影手段により投影される一致情報の数を計数する計数手段を備え、
   前記演算手段は、その計数手段により計数される一致情報の数に基づき、前記一致情報に関する評価パラメータを演算することを特徴とする請求項６に記載の画像入出力装置。
8. 前記撮像手段は、前記投影手段により投影される判断結果情報に基づいて使用者によって前記被写体上に記述される前記一致情報に相当する相当情報が記述された状態の被写体を撮像し、これを第２の撮像データとして取得し、
   前記記述情報認識手段は、その第２の撮像データから前記相当情報を認識し、
   前記計数手段は、前記投影手段により投影される一致情報の数として、その記述情報認識手段により認識される相当情報の数を計数することを特徴とする請求項７に記載の画像入出力装置。
9. 前記撮像手段で取得する第１の撮像データから使用者によって指定される指定領域を検出する検出手段を備え、
   前記記述情報認識手段は、その検出手段により検出される指定領域に基づいて特定される記述情報を認識することを特徴とする請求項１から８のいずれかに記載の画像入出力装置。
10. 前記第１判断手段または前記第２判断手段の判断結果に応じて前記投影手段から投影される情報を記憶する第２記憶手段と、
    予め設定されている数の前記第１判断手段による判断が終了したか否かを判断する第３判断手段とを備え、
    前記投影手段は、その第３判断手段により前記第１判断手段による判断が終了とした判断された後に、前記第２記憶手段に記憶されている情報をまとめて投影することを特徴とする請求項１から９のいずれかに記載の画像入出力装置。
11. 前記第２記憶手段は、前記演算手段により演算される評価パラメータをも記憶し、
    前記投影手段は、前記第３判断手段により前記第１判断手段による判断が終了とした判断された場合であって、且つ、前記演算手段により演算される評価パラメータが前記第２記憶手段に記憶された後に、前記第２記憶手段に記憶されている情報をまとめて投影することを特徴とする請求項１０に記載の画像入出力装置。
12. 前記投影手段は、前記第１判断手段によって１つの判断が終了する度に又は前記第２判断手段によって判断不可能と判断される度に、その判断結果に応じて前記投影手段から投影される情報を逐一投影することを特徴とする請求項１から９のいずれかに記載の画像入出力装置。
13. 前記投影手段により投影される判断結果情報が、前記被写体上であって、その判断結果情報に対応する記述情報の近傍に投影されるように前記投影手段を制御する投影位置制御手段を備えていることを特徴とする請求項１から１２のいずれかに記載の画像入出力装置。
14. 前記投影手段は前記被写体にパターン光を投影し、
    前記撮像手段は、その投影手段から被写体にパターン光が投影されている状態の被写体を撮像し、これを第３の撮像データとして取得し、
    その撮像手段で取得する第３の撮像データに基づき、前記被写体の三次元形状に関する三次元情報を検出する三次情報検出手段を備えていることを特徴とする請求項１から１３のいずれかに記載の画像入出力装置。
15. 前記三次元情報検出手段により検出される三次元情報に基づき、前記投影手段によって前記被写体上に投影される前記判断結果情報の形態を制御する投影形態制御手段を備えていることを特徴とする請求項１４に記載の画像入出力装置。
16. 前記三次元情報検出手段に検出される三次元情報に基づき、前記撮像手段で所得する第１の撮像データを前記被写体の表面を平面に展開した平面撮像データに生成する平面撮像データ生成手段を備え、
    前記記述情報認識手段は、その平面撮像データ生成手段で生成される平面撮像データから前記記述情報を認識することを特徴とする請求項１４または１５に記載の画像入出力装置。
17. 前記投影手段は、光を出射する複数個の半導体発光素子と、その複数個の半導体発光素子から出射された光に対して空間変調を施して画像信号光を出力する空間変調素子と、その空間変調素子から出力される画像信号光を投影面に向けて投影する投影光学系とを備え、
    前記複数の半導体発光素子は、その複数の半導体発光素子を支持する基板上に千鳥状に配置されていることを特徴とする請求項１から１６のいずれかに記載の画像入出力装置。
18. １の前記半導体発光素子と、その１の半導体発光素子の周辺の半導体発光素子との間隔は、前記半導体発光素子の１つから出射された光によって空間変調素子において形成される照度分布の半値全幅以下となるように配設されていることを特徴とする請求項１７に記載の画像入出力装置。
19. 前記複数の半導体発光素子の各々は、同一色を発光することを特徴とする請求項１７または１８に記載の画像入出力装置。
20. 前記複数の半導体発光素子は発光ダイオードであり、その各々から発光される発光色は、アンバー色であることを特徴とする請求項１９に記載の画像入出力装置。

Images