JP2003338907A

JP2003338907A - 画像入力装置

Info

Publication number: JP2003338907A
Application number: JP2002209947A
Authority: JP
Inventors: Yushi Hasegawa; 雄史長谷川; Norihiko Murata; 憲彦村田; Takashi Kitaguchi; 貴史北口; Yasuhiro Sato; 康弘佐藤; Tomofumi Kitazawa; 智文北澤
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-03-14
Filing date: 2002-07-18
Publication date: 2003-11-28
Anticipated expiration: 2022-07-18
Also published as: JP4133060B2

Abstract

(57)【要約】【課題】書籍などの湾曲している被写体画像の３次元
形状を多く取得することにより、歪み補正精度を向上さ
せ、高解像度の撮影を実現する。【解決手段】投光器１２の投光方向に連動して撮像部
１１が回転し、投光器１２により所定の投光パターン２
２を介し、被写体２１に投光し、撮像部１１によ分割撮
影を行なう際に、撮像部１１は、投光器１２の移動距離
にしたがって投光パターン２２を変更し、被写体画像の
歪み補正に必要な３次元形状データが含まれる方向と分
解能の高い３次元形状の計測が可能な方向とを一致させ
て撮影し、歪み補正のための３次元形状データを取得
し、当該３次元形状データより撮影された被写体の分割
画像の歪み補正を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、書籍などの被写体
に所定の投光パターンを光照射し、その反射光から得ら
れる画像の３次元形状を計測して被写体画像の歪み補正
を行ない、高解像度の撮影を得る画像入力装置に関す
る。

【０００２】

【従来の技術】従来の画像入力装置（撮影装置）におい
て、被写体に、たとえば平行線などのパターンを投光
し、その反射光を入力して被写体画像の３次元画像を計
測することが行なわれている。このような被写体の３次
元形状を計測する技術に関しては、マシンビジョン・コ
ンピュータビジョンの分野で研究されている。また、３
次元形状の計測方法についてはマシンビジョン（江尻正
員、大田友一、池内克史著）や三次元画像計測（井口往
史、佐藤宏介、昭晃堂出版）などに開示されている。

【０００３】ところで、被写体が製本された原稿などで
ある場合、製本された本を開きその上方から撮影する
と、本の継ぎ目の部分では画像が圧縮されて歪んだ画像
になる。そこで、これを解消するものとして、たとえ
ば、原稿を走査して読み取るラインセンサと原稿面との
距離を検出する距離センサとを用い、読み取り時に、検
出した距離に応じてラインセンサの副走査方向の読み取
りピッチを変化させるものが特開昭６２−１４３５５７
号公報に開示されている。また、特開平３−１１７９６
５号公報には、読み取り面を上向きに配置された原稿を
読み取る原稿読み取り装置において、原稿面上に所定角
度で直線状の光を照射する照射手段と、撮像面の曲がり
具合を検出する検出手段と、読み取り面を上向きに配置
された原稿に対して原稿の上方に所定の間隔で配置され
た原稿読み取り手段と、を有し、原稿の歪みを補正する
ことが開示されている。

【０００４】また、特開平４−１９９４７８号公報に
は、原稿表面の３次元位置を測定し、その３次元位置情
報を利用して原稿の歪みを補正するものが開示されてい
る。さらに、特開平１０−６５８７７号公報には、原稿
を撮影して得られたエッジ情報から原稿のスキューを検
出するエッジ検出手段と、原稿のスキューを検出するス
キュー検出手段と、原稿のエッジ情報とスキュー情報か
ら本の歪みを補正する補正手段とを有した撮像装置によ
り、原稿の歪みを補正することが開示されている。

【０００５】また、投光器のパターンに液晶を使用し、
撮影する被写体の大きさによって投光器のパターンを変
化させて、被写体の３次元形状の計測制度を向上させる
ものが特開平５−１１３３２０号公報に開示されてい
る。さらに、原稿画像を分割撮影し合成することによ
り、撮影画像の解像度を向上させるものが特公平８−１
３０８８号公報に開示されている。ここでは、原稿画像
全体を撮影し、全体画像より原稿画像の大きさを算出
し、全体画像の大きさと解像度より分割撮影のための分
割画像領域を求めて分割画像を撮影し、これを合成して
任意の解像度の原稿画像を得ている。

【０００６】また、画像シンポジウム２００１におい
て、「次世代ドキュメント撮影装置アイスキャナの試
作」（講演番号：Ｇ−２２、講演者：富士ゼロックス）
の講演でデジタルカメラと、Ｃｕｂｉｃｓｃｏｐｅ（市
販のパターン投光ユニット）を使用することによって、
分割撮影による高解像度撮影と被写体画像の歪み補正を
可能にした撮影装置が発表されている。

【０００７】

【発明が解決しようとする課題】しかしながら、３次元
計測で使用される投光手段が撮像部と一体化しているこ
とが多い従来の装置にあっては、被写体画像を高解像度
で撮影を行なうために、撮像部と支持台の接合部にある
二軸回転機構を利用して原稿画像の分割撮影を行なう際
に、撮像部が移動するので、投光手段と被写体の位置関
係に変化が生じる。

【０００８】これをさらに図３、図２７〜図２９を参照
して説明すると、図３に示すように、被写体２１と投光
パターン２２の位置関係が最適な状態であれば、図２８
に示すように縞模様のパターンが被写体２１（製本され
た原稿）に照射されるため、被写体画像の歪みが大きい
方向、すなわち被写体画像の歪み補正に必要な３次元形
状データが含まれる方向と分解能の高い３次元形状の計
測が可能な方向とが一致するので、被写体画像の歪み補
正を行なうに必要な３次元形状を多く得ることができ
る。しかし、原稿画像の分割撮影時には、投光器１２と
被写体２１の位置関係に変化が生じるため、被写体２１
と投光パターン２２との配置関係に対応してパターンを
移動する手段がない場合には、図２７に示すように、被
写体２１と投光パターン２２が正確に配置されず、図２
９に示すように、投光パターン２２が被写体２１に照射
されるため、被写体画像の歪みが大きい方向と分解能の
高い３次元形状の計測が可能な方向とが一致しない。こ
のため、被写体画像の歪み補正を行なうに必要な３次元
形状データを多く得られず、この３次元形状データを用
いた被写体画像の歪み補正を精度よく行なうことができ
ないので、高解像度の撮影が実現されないという問題点
があった。

【０００９】なお、特開昭６２−１４３５５７号公報、
特開平３−１１７９６５号公報に開示されている方法に
あっては、画像の歪み補正を行なうだけのため、分割撮
影による高解像度の画像撮影を行なうことができなかっ
た。また、特開平５−１１３３２０号公報に開示されて
いる方法にあっては、被写体と投光パターンの配置関係
に対応して投光パターンを変化させる機能が設けられて
いないので、撮像部の移動によって被写体と投光パター
ンとの位置関係が変化すると３次元形状の計測精度を向
上させることができなかった。さらに、特公平８−１３
０８８号公報にか開示されている方法では、分割撮影に
よる高解像度の撮影を行なうだけのため、画像の歪み補
正を行なうことができなかった。

【００１０】さて、今後、画像を用いたコミュニケーシ
ョンが特に重要になってくると予想される。たとえば、
会議など電子データを表示する大画面を囲んだコミュニ
ケーションの場において、手元の被写体を画像入力装置
（図１参照）を用いて取り込んで大画面に表示させるこ
とが多くなる。このようにコミュニケーションを行なっ
ている最中に被写体を撮影し、被写体画像の歪み補正を
行なうことを想定した場合、従来の技術では被写体とパ
ターンを正確に配置する作業があるため、コミュニケー
ションの場が中断されることがある。

【００１１】ところが、特開平１０−６５８７７号公報
に開示されている方法にあっては、スキュー検出手段を
使用することにより、被写体とパターンが正確に配置さ
れていない場合に対しても被写体画像の歪みを補正する
ことができるものの、被写体画像の歪み補正に被写体画
像のエッジ情報を使用するため、エッジ部分に急激な歪
みまたは損傷があるような被写体においては被写体画像
の歪みを補正することができなかった。なお、特開平４
−１９９４７８号公報に開示されている方法にあって
は、被写体を上方から撮影した場合を考慮したものでは
ない。

【００１２】本発明は、上記に鑑みてなされたものであ
って、書籍などの湾曲している被写体画像の３次元形状
を多く取得することにより、歪み補正精度を向上させ、
高解像度の撮影を実現することを第１の目的とする。

【００１３】また、被写体とパターンが正確に配置され
ていなくても、かつエッジ部分に急激な歪みまたは損傷
が存在するような被写体であっても、被写体画像の精度
のよい歪み補正を可能にすることを第２の目的とする。

【００１４】

【課題を解決するための手段】上記の目的を達成するた
めに、請求項１にかかる画像入力装置にあっては、投光
手段の投光方向に連動して撮像手段が回転し、前記投光
手段により所定の投光パターンを介し、被写体に投光
し、前記撮影手段により移動毎の反射光を撮像素子に結
像して分割撮影を行なう画像入力装置において、前記撮
影手段は、前記分割撮影時における前記投光手段の移動
距離にしたがって前記投光パターンを変更し、被写体画
像の歪み補正に必要な３次元形状データが含まれる方向
と分解能の高い３次元形状の計測が可能な方向とを一致
させて撮影し、被写体画像の歪み補正を行なうに必要な
３次元形状データを取得し、当該３次元形状データより
撮影された被写体の分割画像の歪み補正を行なった後、
複数枚の被写体画像を合成するものである。

【００１５】この発明によれば、撮像手段を移動させて
被写体を分割撮影する際に、撮影手段に付随している投
光手段の移動する移動距離を検出し、その検出結果にし
たがって投光パターンを変更し、被写体画像の歪みが大
きい方向、つまり被写体画像の歪み補正に必要な３次元
形状データが含まれる方向と分解能の高い３次元形状の
計測が可能な方向とを一致させて撮影することにより、
被写体画像の歪み補正を行なうに必要な３次元形状デー
タを数多く取得することができ、さらにこの取得した３
次元形状データより分割撮影時に撮影された被写体の分
割画像の精度のよい歪み補正を行なうことが可能にな
る。

【００１６】また、請求項２にかかる画像入力装置にあ
っては、前記撮像手段は、前記撮像素子で撮像された全
体画像から、前記撮像素子を回転させる角度を算出する
角度算出手段を備えたものである。

【００１７】この発明によれば、請求項１において、撮
像素子で撮像された全体画像から、撮像素子を回転させ
る角度を算出することにより、被写体の大きさを設定す
ることなく、被写体画像の歪み補正を行なうに必要な３
次元形状データを数多く取得することができる。

【００１８】また、請求項３にかかる画像入力装置にあ
っては、前記撮像手段は、前記投光パターンが平面状の
被写体に照射された場合、前記投光パターンを直線状の
パターンとなるように調整するものである。

【００１９】この発明によれば、請求項１または２にお
いて、投光パターンが平面状の被写体に照射された場
合、当該パターンを直線状のパターンとなるように調整
することにより、被写体と投光パターンの最適な位置関
係による撮影が可能になる。

【００２０】また、請求項４にかかる画像入力装置にあ
っては、前記撮像手段は、回転角度に対応して前記投光
パターンの間隔を調整するものである。

【００２１】この発明によれば、請求項１、２または３
において、撮像手段の撮影位置によって投光パターンが
被写体に照射される角度に差が生じ、被写体の高さ方向
の変化に対して当該パターンが移動する割合が変化する
ことを考慮し、撮像方向の角度に応じて投光パターンの
間隔を調整することにより、撮影領域全体での所定の高
さまで計測することが可能になる。

【００２２】また、請求項５にかかる画像入力装置にあ
っては、外部コンピュータと接続し、撮影した画像情報
および当該投光パターンの情報を前記外部コンピュータ
に転送し、記憶させるものである。

【００２３】この発明によれば、請求項４において、撮
影した画像情報および当該投光パターンの情報をパーソ
ナルコンピュータなどの外部装置に転送し、記憶させる
ことにより、撮影した画像情報に投光パターンを変化さ
せたときの形状情報を画面に表示可能になると共に、撮
影終了後における被写体の３次元形状の計測条件を確認
することが可能になる。

【００２４】また、請求項６にかかる画像入力装置にあ
っては、前記撮像手段は、撮影する場所に対応して前記
投光パターンの光量を変化させるものである。

【００２５】この発明によれば、請求項１〜５のいずれ
か一つにおいて、撮影する場所に対応して前記投光パタ
ーンの光量を変化させることにより、投光手段からの光
が通過する面積に変化が生じる場合の光量の不均一に対
応させることが可能になる。

【００２６】また、請求項７にかかる画像入力装置にあ
っては、前記撮像手段は、被写体のエッジ部分を検出し
て当該検出結果から撮影する領域を判定し、撮像方向の
回転と前記投光パターンを変化させ、被写体の一部分の
３次元形状から被写体全体の３次元形状を推定するもの
である。

【００２７】この発明によれば、請求項１〜６のいずれ
か一つにおいて、被写体の一部分だけの３次元形状を計
測し、被写体の３次元形状を推定することにより、被写
体の３次元形状の計測時間の短縮が可能になる。

【００２８】また、請求項８にかかる画像入力装置にあ
っては、前記撮像手段は、あらかじめ指定された被写体
の３次元形状の計測対象領域にしたがって前記投光パタ
ーンによる撮影を行ない、当該投光パターンが投光され
た部分の３次元形状から被写体全体の３次元形状を推定
するものである。

【００２９】この発明によれば、請求項１〜６のいずれ
か一つにおいて、あらかじめ指定された被写体の３次元
形状の計測対象領域にしたがって投光パターンによる撮
影を行ない、当該投光パターンが投光された部分の３次
元形状から被写体全体の３次元形状を推定することによ
り、被写体の３次元形状の計測時間の短縮が可能にな
る。

【００３０】また、請求項９にかかる画像入力装置にあ
っては、前記撮像手段は、被写体の３次元形状を計測す
る一部分を判定する方法を選択する選択手段を備えたも
のである。

【００３１】この発明によれば、請求項７または８にお
いて、３次元形状の計測領域を判定する方法をユーザに
より選択させることにより、ユーザの意図した被写体の
３次元形状を計測する一部分を判定する方法による処理
が可能となる。

【００３２】また、請求項１０にかかる画像入力装置に
あっては、支持手段によって支持され、被写体を撮影す
る撮影手段と、前記被写体に所定のパターンを照射する
投光手段と、を有し、前記投光手段により、前記被写体
に前記パターンを照射して被写体画像を取り込み、前記
被写体画像の３次元形状を計測し、その３次元形状にし
たがって前記被写体画像の歪みを補正する画像入力装置
において、前記被写体と前記パターンとの位置関係を検
出する位置検出手段と、前記位置検出手段の検出結果に
したがって前記被写体と前記パターンとの位置関係を調
整する位置調整手段と、前記位置調整手段により位置調
整が行なわれた後に、前記投光手段により前記パターン
が照射された被写体を前記撮影手段で撮影し、当該撮影
して取得した画像から前記被写体の３次元形状を計測す
る計測手段と、を備えたものである。

【００３３】この発明によれば、撮影対象の被写体（た
とえば書籍など）を撮影可能な適当な位置に配置し、そ
の被写体に投光パターンを照射して予備撮影を行ない、
そこで取得した被写体と投光パターンとの配置位置を検
出し、当該検出結果にしたがって被写体と投光パターン
との配置位置を調整し、その調整された最適位置での撮
影を行ない、その画像から被写体の３次元形状を計測
し、さらにこの３次元形状の計測結果にしたがって被写
体画像の歪み補正を実行することにより、被写体と投光
パターンが正確に配置されない場合にも被写体画像の歪
み補正が可能になる。

【００３４】また、請求項１１にかかる画像入力装置に
あっては、前記位置検出手段は、前記計測手段で計測さ
れた前記被写体の３次元形状にしたがって前記被写体と
前記パターンとの位置関係を検出するものである。

【００３５】この発明によれば、請求項１０において、
計測手段で計測された被写体の３次元形状にしたがって
被写体とパターンとの大まかな位置関係を検出する予備
撮影を実行し、この予備撮影の結果にしたがって被写体
とパターンとの配置位置を調整し、その調整された最適
位置での撮影を行ない、その画像から被写体の３次元形
状を計測し、さらにこの３次元形状の計測結果にしたが
って被写体画像の歪み補正を実行することにより、被写
体と投光パターンが正確に配置されない場合にも被写体
画像の歪み補正が可能になる。

【００３６】また、請求項１２にかかる画像入力装置に
あっては、前記位置検出手段は、前記撮影手段で撮影さ
れた被写体画像にしたがって前記被写体と前記パターン
との位置関係を検出するものである。

【００３７】この発明によれば、請求項１０において、
撮影手段で撮影された被写体画像（画像の特徴）にした
がって被写体と前記パターンとの位置関係を検出する予
備撮影を実行し、この予備撮影の結果にしたがって被写
体とパターンとの配置位置を調整し、その調整された最
適位置での撮影を行ない、その画像から被写体の３次元
形状を計測し、さらにこの３次元形状の計測結果にした
がって被写体画像の歪み補正を実行することにより、被
写体と投光パターンが正確に配置されない場合にも被写
体画像の歪み補正が可能になる。

【００３８】また、請求項１３にかかる画像入力装置に
あっては、前記位置調整手段は、前記投光手段を移動さ
せて前記被写体と前記パターンとの位置関係を調整する
ものである。

【００３９】この発明によれば、請求項１０、１１また
は１２において、予備撮影を行なって被写体と投光パタ
ーンとの大まかな位置関係を求め、この結果にしたがっ
て投光手段を移動し、両者の位置合わせを行なった後、
その調整された最適位置での撮影を行ない、その画像か
ら被写体の３次元形状を計測し、さらにこの３次元形状
の計測結果にしたがって被写体画像の歪み補正を実行す
ることにより、被写体と投光パターンが正確に配置され
ない場合にも被写体画像の歪み補正が可能になる。

【００４０】また、請求項１４にかかる画像入力装置に
あっては、前記位置調整手段は、前記投光手段による前
記パターンを変化させて前記被写体と前記パターンとの
位置関係を調整するものである。

【００４１】この発明によれば、請求項１０、１１また
は１２において、予備撮影を行なって被写体と投光パタ
ーンとの大まかな位置関係を求め、この結果にしたがっ
て投光パターンを変化させて両者の位置合わせを行なっ
た後、その調整された最適位置での撮影を行ない、その
画像から被写体の３次元形状を計測し、さらにこの３次
元形状の計測結果にしたがって被写体画像の歪み補正を
実行することにより、被写体と投光パターンが正確に配
置されない場合にも被写体画像の歪み補正が可能にな
る。

【００４２】また、請求項１５にかかる画像入力装置に
あっては、前記位置調整手段は、前記被写体を移動させ
て前記被写体と前記パターンとの位置関係を調整するも
のである。

【００４３】この発明によれば、請求項１０、１１また
は１２において、予備撮影を行なって被写体と投光パタ
ーンとの大まかな位置関係を求め、この結果にしたがっ
て被写体をたとえばターンテーブに載せて移動させて両
者の位置合わせを行なった後、その調整された最適位置
での撮影を行ない、その画像から被写体の３次元形状を
計測し、さらにこの３次元形状の計測結果にしたがって
被写体画像の歪み補正を実行することにより、被写体と
投光パターンが正確に配置されない場合にも被写体画像
の歪み補正が可能になる。

【００４４】

【発明の実施の形態】以下、本発明にかかる画像入力装
置の好適な実施の形態について添付図面を参照し、詳細
に説明する。なお、本発明はこの実施の形態に限定され
るものではない。

【００４５】本発明は、被写体の高解像度の撮影を実現
するために、撮像部を移動させて被写体画像の分割撮影
を行なうものである。すなわち、分割撮影時に、移動さ
せる撮影部に付随している投光器が移動する移動距離を
検出し、その検出結果にしたがって照射パターンを変更
する。さらに、被写体画像の歪みが大きい方向、つまり
被写体画像の歪み補正に必要な３次元形状データが含ま
れる方向と分解能の高い３次元形状の計測が可能な方向
とを一致させて撮影することにより、被写体画像の歪み
補正を行なうに必要な３次元形状データを数多く取得す
る。また、この取得した３次元形状データより分割撮影
時に撮影された被写体の分割画像の歪み補正を行なう。
さらに、歪み補正後の複数枚の被写体画像を合成するこ
とにより、書籍などの湾曲している被写体画像の歪み補
正の精度を向上させ、高解像度の撮影、および安価で汎
用性の画像入力装置を実現するものである。以下、実施
の形態１〜６において具体的な構成および動作について
説明する。

【００４６】（実施の形態１）図１は、本発明の実施の
形態にかかる画像入力装置の概略構成を示す説明図であ
る。この画像入力装置１０は、撮像部１１と、投光器１
２と、支持部１３と、解像度指示部１４と、移動部１５
と、撮影スイッチ１６と、Ｉ／Ｆ部１７と、後述する計
測位置設定方法切換スイッチ１８と、を備えている。な
お、符号２１は書籍などの被写体、符号２２は投光パタ
ーンである。

【００４７】撮像部１１と投光器１２は、移動部１５を
介して支持部１３によって支持され、支持部１３に対し
て投光器１２と撮像部１１が上下、左右、斜め方向にそ
の投光軸や撮像光軸を移動できるような首振り機構とな
っている。解像度指示部１４により、被写体画像に要す
る解像度を指定する。解像度指示部１４は、表示つきの
タッチパネルなどで構成され、所望の解像度を選択でき
るように機能する。撮影スイッチ１６を押下すると、支
持部１３が設置されている机などに配置されている被写
体２１を撮像する。Ｉ／Ｆ部１７は、パーソナルコンピ
ュータなどの外部装置に接続するために、ＲＳ２３２Ｃ
やＵＳＢなどの所定のインターフェイス仕様に準拠し、
撮影した画像を転送するために用いられる。

【００４８】図２は、図１における撮像部１１の構成を
示すブロック図である。図２において、符号１はレン
ズ、符号２は絞り部、符号３は撮像素子、符号４は相関
二重サンプリング回路（以下、ＣＤＳという）、符号５
はＡ／Ｄ変換器、符号６はタイミングジェネレータ（以
下、ＴＧという）、符号７は画像前処理回路（以下、Ｉ
ＰＰという）、符号８はメモリ、符号９は撮影などの一
連の動作を統括的に制御するＭＰＵである。また、符号
２０は液晶パネルなどで構成され、投光パターン２２を
形成させるための投光パターンフィルタである。

【００４９】以上のように構成された画像入力装置１０
は、被写体２１は、投光器１２で照射されその反射画像
が、レンズ１、絞り部２によって撮像素子３の上の結像
される。撮像素子３からの画像信号はＣＤＳ４でサンプ
リングされた後、Ａ／Ｄ変換器５でデジタルの信号に変
換される。このときのタイミング信号はＴＧ６で生成さ
れる。上記画像信号は、ＩＰＰ７でアパーチャ補正など
の画像処理、圧縮などが行なわれメモリ８に保存され
る。この一連の動作はＭＰＵ９によって制御される。

【００５０】また、投光器１２も撮像部１１のＭＰＵ９
によって投光のタイミングが制御される。投光器１２に
は投光パターンフィルタ２０が設けられており、投光器
１２から照射される光が投光パターンフィルタ２０を通
過することにより特定のパターンが被写体２１に投光さ
れる。

【００５１】投光パターン２２は一般的に３次元形状を
計測する際の計算処理の短縮化を考慮し、平面上の被写
体にパターンを照射したときには、図３に示すように、
パターン形状が直線状になることが多いが、他の模様で
あってもよい。

【００５２】つぎに、被写体の撮影動作について図４に
示すフローチャートを参照し、説明する。まず、撮影開
始前に解像度指示部１４により、被写体２１の画像撮影
に関する画像解像度、または被写体の大きさを指定する
（ステップＳ１１）。さらに、解像度指示部１４により
指定された画像解像度または被写体の大きさにしたがっ
て撮像部１１を移動部１５により回転させる（ステップ
Ｓ１２）。

【００５３】さて、撮像部１１と投光器１２が一体化し
ている構造であると撮像部１１の回転に伴い、投光器１
２も回転し、投光器１２が被写体２１に対して最適なパ
ターンを投光する位置からずれる場合がある。このよう
な場合には投光器１２の回転に応じて投光パターン２０
を変化させることにより、被写体２１に照射するパター
ンを最適な撮影条件となるように変化させる（ステップ
Ｓ１３）。

【００５４】続いて、解像度指示部１４により指定され
た画像解像度に対応してズーム倍率を変更し、被写体１
２のテクスチャ画像の撮影を行なう（ステップＳ１
４）。さらに、投光器１２より投光パターン２２を被写
体２１に照射し、撮像部１１により撮影を行ない（ステ
ップＳ１５）、撮影された画像から被写体２１の３次元
形状を計測し（ステップＳ１６）、３次元形状の計測結
果にしたがって被写体画像の歪みを補正する（ステップ
Ｓ１７）。

【００５５】続いて、上述の撮影動作において、全体画
像の撮影範囲まで撮影したか否かを判断し（ステップＳ
１８）、全体画像の撮影が行なわれていないと判断した
場合には、上記ステップＳ１２に戻り、以降の動作を全
体画像の撮影終了まで繰り返し実行する。全体画像の撮
影が行なわれると、補正された複数枚の画像を合成する
（ステップＳ１９）。

【００５６】つぎに、図４のステップＳ１６における撮
像画像から被写体２１の３次元形状を計測する例として
投光パターン２２が直線状である場合について説明す
る。投光器１２より投光パターン２２を被写体２１に照
射し、撮像部１１で撮像することにより、被写体２１に
照射されて歪んだパターンが撮影される。この歪みの程
度より被写体表面上の点の３次元的な位置を検出するこ
とができる。この検出方法について図５を用いて説明す
る。

【００５７】投光器１２から投光パターン２２が照射さ
れた部分は、撮像素子３上の点（ｕ，ｖ）で結像され
る。撮像部１１の光学中心を原点とする座標系を定義す
ると、投光パターン２２が照射された被写体２１上の奥
行き距離ｚは次式（数１）で表される。

【００５８】

【数１】

【００５９】上記式において、θ₁は投光パターン２２
を照射した角度であり既知である。また、θ₂は次式
（数２）で与えられる。また、ｆは撮像部１１の焦点距
離である。

【００６０】

【数２】

【００６１】上記式によりｚが求まると、次式（数３）
によりｘ，ｙが求まる。

【００６２】

【数３】

【００６３】以上により、被写体２１上の点の３次元位
置が求まる。これを様々な点で求めることにより、被写
体２１の３次元形状が得られる。

【００６４】つぎに、図４におけるステップＳ１２〜Ｓ
１８の分割撮影の方法について図６を用いて説明する。
ここで、解像度指示部１４により指示された解像度をｒ
とし、被写体２１までの距離をｈとすると、光学系に焦
点距離（画素換算値）ｆは、ｆ＝ｒ・ｈとなる。図６（ａ）は、被写体２１の全体と、撮像部１
１の焦点距離の画素換算値ｆ＝ｒ・ｈとしたときの撮影
エリア２５の概略を示したものである。

【００６５】まず、図６（ｂ）に示すように、その画角
で原稿の左上を第１分割画像として撮影する。続い
て、図６（ｃ）に示すように、第１分割画像に含まれ
ていない領域の一部を撮影できるように、撮像部１１を
移動させ、第２分割画像として撮影する。このような
動作を繰り返し実行し、図６（ｄ）に示すように、原稿
全体（図中における〜）が撮影されれば終了する。

【００６６】ところで、分割撮影では、撮像部１１を２
軸回転機構によって図７に示すように回転移動させて撮
影を行なうため、被写体２１を斜めから撮影することに
なり、被写体２１の撮影画像には図７に示すような画像
のあおりが発生する。被写体２１の位置回転前に撮影さ
れる画像の位置を（ｕ₁，ｖ₁）、回転後の画像の位置を
（ｕ₂，ｖ₂）とすると、両者の間には次式（数４）の関
係が成立する。

【００６７】

【数４】

【００６８】上記式において、Ｒは２軸回転機構によっ
て撮像部１１が移動した回転を表す回転行列である。ま
た、ｆは焦点距離の画素換算値であり、ａは左辺の列ベ
クトルの第３成分をｆに保つための係数である。

【００６９】回転前の画像範囲外の点（ｕ₁，ｖ₁）にあ
る像は、回転後の画像の（ｕ₂，ｖ₂）の位置にある。し
たがって、（ｕ₁，ｖ₁）の画素値を（ｕ₂，ｖ₂）の画素
値にすれば画像を修正することができる。また、
（ｕ₂，ｖ₂）は整数値をとるとは限らないので、バイリ
ニア法などで補間すると被写体画像の修正精度が向上す
る。

【００７０】つぎに、被写体画像の歪み補正方法につい
て説明する。図８は、３次元形状から被写体画像の歪み
を補正するまでの動作を示すフローチャートである。図
９は、図８の動作における画像撮影座標系を示す説明図
である。図８において、まず、被写体表面上の複数点の
３次元位置（ｕ，ｖ，ｚ）を入力し（ステップＳ２
１）、曲率を持たない方向（ｕ方向）の高さの平均値ｚ
（ｖ）を算出する（ステップＳ２２）。続いて、被写体
画像をｕ方向に伸張し（ステップＳ２３）、さらに被写
体画像をｖ方向に伸張する（ステップＳ２４）。

【００７１】上記動作について図９を用いてさらに説明
する。図９に示す画像撮影座標系ｕ，ｖが、被写体２１
に対してｖ方向までの距離ｚは、ｕ方向には曲率を持た
ないようにとる。理想的には、撮像面（画像面２６）か
ら被写体２１までの距離ｚは、ｕに依存せずｖのみの関
数ｚ（ｖ）と表現できる。しかしながら、実際には３次
元位置計測値は、ノイズや被写体２１の特性などに起因
してばらつくことがある。したがって、ｚ（ｖ）は以下
の式（数５）で算出する。

【００７２】

【数５】

【００７３】ここで、ｕがＵ１からＵ２の間に被写体２
１が確実に存在するものとする。また、すべての画素に
撮像面から被写体２１までの距離ｚの情報が割り当てら
れているわけではない。そこで、その範囲に撮像面（画
像面２６）から被写体２１までの距離ｚの情報を有して
いる画素の数をＮ（ｖ）とする。このＮ（ｖ）の数が多
いほど歪み補正に使用される３次元形状の計測精度は向
上する。

【００７４】分割撮影時には被写体２１と投光パターン
２２の位置関係が変化するが、撮像部１１の回転に対し
て投光パターン２２を変化させることにより、ｖ方向に
伸びたマルチスリット光による３次元形状計測を行なう
ことができるので、被写体画像の歪み補正を行なうため
に必要な３次元形状データを多く計測することができ
る。理想的は、ｖ方向の全画素についての３次元位置を
算出することができる。しかし、被写体２１に反射率が
非常に小さい部分があるなどの場合、撮像面（画像面２
６）から被写体２１までの距離ｚの情報を求めることは
できない。あるｖについて撮像面（画像面２６）から被
写体２１までの距離ｚの情報を有する画素がない場合、
あるいは極少数である場合、その上下で撮像面（画像面
２６）から被写体２１までの距離ｚの情報を有する画素
から、スプライン補間によって、撮像面（画像面２６）
から被写体２１までの距離ｚを算出する。

【００７５】つぎに、撮像面（画像面２６）から被写体
２１までの距離ｚを用いてｕ方向の歪みを補正する。被
写体２１の撮影画像３０を図１０に示す。まず、各列
は、撮像面（画像面２６）から被写体２１までの距離ｚ
が異なることにより、撮影画像３０上での、原稿領域の
長さが変化するので、これを補正する。

【００７６】基準となる列ｖ＝Ｖ０のときの撮像面（画
像面２６）から被写体２１までの距離ｚの平均値ｚ（Ｖ
０）を用い、以下の式（数６）にしたがって画素（ｕ，
ｖ）を（ｕ'，ｖ）に再配置する。なお、この式におけ
るｃｕは画像のｕ方向の中心位置である。

【００７７】

【数６】

【００７８】上述した歪み補正処理により、ｕ方向の歪
みを除去することができ、四角い被写体２１は四角形の
画像になる。しかし、ｖ方向の歪みが残っており、縦に
縮んだような画像になっている。そこで、図１１に示す
ように、ｖ方向に画像を伸張することにより、撮像画像
３０の歪みを除去することができる。この歪み補正方法
について図１２を用いて説明する。

【００７９】図１２において符号３０は被写体２１の３
次元位置である。図１２では、ある列内の画素Ｐｉ０〜
Ｐｉ３に相当する３次元位置空間上での点の位置を白丸
で示している。これらの点の隣接する点の間の距離Ｌ０
１〜Ｌ２３を求める。さらに、長さを求めるために、各
点の間をスプライン補間によって埋める。その後、再配
置すべき画素の位置を、画像の基準線からの距離とし
て、縮尺を合わせて順次足し合わせていくことにより決
定する。

【００８０】たとえば、Ｐｉ３は、（Ｌ０＋Ｌ１２＋Ｌ
２３）・ｆ／Ｆの位置に再配置される。なお、ｆは焦点
距離、Ｆは画像の中心点に相当する被写体２１までの奥
行きの距離である。この再配置処理と、各画素間の補間
処理により、ｖ方向の歪みが除去される。したがって、
被写体２１の分割された画像の歪み補正を行なうことが
できる。

【００８１】つぎに、分割撮影のために撮像部１１が回
転した角度に対応して投光パターン２２を変化させる例
について図１３を用いて説明する。分割撮影時に投光パ
ターン２２が並ぶ方向に撮像部１１を回転させても、平
面状の物体に投影される投光パターン２２の形状変化は
ないが、投光パターン２２が伸びている方向に撮像部１
１を回転させたときには、投光器１２から被写体２１ま
での距離の変化により、図１３に示すように、投光パタ
ーン２２の並びは等ピッチの直線パターンではなく扇型
に変化するために、被写体２１に投光パターン２２が照
射される本数が減少して３次元形状を計測できる点数が
少なくなる。そこで、撮像部１１から被写体２１までの
距離の変化に応じて図１４に示すように変化させること
により、撮像部２１を回転させたときであっても、３次
元形状を計測できる点数が減少しないようにすることが
できる。

【００８２】（実施の形態２）上述した実施の形態１で
は、使用者が指定した被写体２１の大きさの値に対応し
て撮像部１１の回転量を判定したが、この実施の形態２
では、使用者が被写体２１の大きさを指定する作業をし
なくても、撮像部１１の回転量を自動的に判定し、撮影
を開始するものである。なお、この実施の形態２におけ
る装置構成は実施の形態１と同一とする。

【００８３】図１５は、本発明の実施の形態２にかかる
撮影動作を示すフローチャートである。まず、撮影開始
前に解像度指示部１４から被写体２１の撮影する際の画
像解像度を指定する（ステップＳ３１）。続いて、撮像
部１１の倍率を最小にし、撮影領域全体の画像を撮影し
（ステップＳ３２）、この撮影された全体画像から被写
体２１の大きさを抽出する（ステップＳ３３）。なお、
被写体２１の範囲を抽出するには、被写体２１の端部を
示すエッジやコーナーなどの特徴を利用するとか、ある
いは背景との輝度値の差異により抽出しても、あるいは
３次元計測結果から被写体２１の高さの差異により抽出
してもよい。

【００８４】続いて、抽出された被写体２１の大きさと
指示された画像解像度にしたがって分割撮影のために回
転させる撮像部１１の回転角を算出する（ステップＳ３
４）。さらに、算出した回転角に応じて撮像部１１を回
転する（ステップＳ３５）。その後は、前述した図４の
ステップＳ１３〜Ｓ１９と同様の動作を実行する（ステ
ップＳ３６〜Ｓ４２）。これにより、被写体画像の歪み
補正の精度を向上させ、高解像度の撮影が実現する。

【００８５】（実施の形態３）実施の形態１で説明した
ように、投光器１２から照射された投光パターン２２の
反射を撮像部１１で撮影することにより、３次元形状の
計測を行なっている。図５に示すように、撮像素子３の
左側部分と右側部分では、投光器１２から投光される投
光パターン２２が被写体２に照射される角度θ₁に差が
生じるために、被写体２１の高さ方向の変化に対して投
光パターン２２が移動する割合が変化する。

【００８６】撮像素子３の場所に対する投光パターン２
２の移動の割合を図１６を用いて説明する。投光パター
ン２２を照射する間隔を投光パターン２２の移動する割
合に対応させて変化させることにより、撮影領域全体に
おいて所定の高さまで計測することができ、空間解像度
を向上させ、３次元形状を計測することができる。

【００８７】すなわち、投光器１２投光される投光パタ
ーン２２が被写体２に照射される角度θ₁が大きくなる
ほど、高さの変化に対する投光パターン２２の移動量が
小さくなり、反対に角度θ₁が小さくなるにしたがって
高さの変化に対する投光パターン２２の移動量を大きく
することにより、投光パターン２２の間隔を変化させ
る。

【００８８】（実施の形態４）これまでの実施の形態１
〜３においては３次元形状の計測精度を向上させるため
に投光パターン２２を変化させる例について説明した
が、この実施の形態４では、投光パターン２２を変化さ
せたときの形状情報を被写体２１の画像情報に付随させ
て記憶させる例について説明する。

【００８９】図１の構成において、Ｉ／Ｆ部１７にたと
えばパーソナルコンピュータやサーバなどの外部計算装
置を接続し、撮像部１１で撮影した画像を転送し、記憶
装置に記憶させる。また、撮影した画像情報に投光パタ
ーン２２を変化させたときの形状情報を付随させてディ
スプレイに表示させることにより、撮影が終了した後で
あっても、被写体２１の３次元形状の計測条件を容易に
確認することが可能となる。

【００９０】（実施の形態５）ところで、投光パターン
２２の模様を変化させると、投光パターンフィルタ２０
の場所によっては投光器１２からの光が通過する面積に
変化が生じる場合がある。この状態を図１７に示す。図
１７に示すように、投光器１２からの光量が強い部分と
弱い部分では投光パターン２２の線幅が異なる。すなわ
ち、投光器２２からの光量が強い部分では、投光パター
ン２２の光量が弱くなる部分４０ａが生じ、反対に、投
光器２２からの光量が弱い部分では、投光パターン２２
の光量が強くなる部分４０ｂが生じる。

【００９１】そこで、投光器１２からの光が投光パター
ンフィルタ２０を通過する面積が小さい箇所（左部分）
では投光器１２の光量を上昇させることによって、撮影
領域全体に照射される投光パターン２２の光量を一定に
して撮影する。光量の調整は、投光器１２と投光パター
ンフィルタ２０の間に鏡を入れて光量の少ない場所に投
光器１２からの光を誘導してもよいし、投光パターンフ
ィルタ２０の透過率を投光パターン２２の変化に応じて
変化させるか、あるいは投光器１２に複数台の発光素子
を入れて光量を調整してもよい。

【００９２】（実施の形態６）さて、書籍などの被写体
２１の形状は、被写体全体の３次元形状を計測しなくて
も、被写体２１の一部分だけの３次元形状の情報より、
被写体全体の３次元形状を推定することができる。図１
８に示すように、画像領域Ａ，Ｂ，Ｃ内にある被写体２
１の３次元形状を計測することにより、被写体全体（Ａ
〜Ｉの画像領域）の形状を推定することができる。

【００９３】つぎに、図１９に示すフローチャートを参
照し、上述の一連の動作について説明する。まず、撮影
領域全体を撮影し（ステップＳ５１）、撮影領域内にあ
る被写体２１の位置と２次元平面状に投影されたときの
形を検出し、撮影領域の全体画像から被写体２１のエッ
ジを検出する（ステップＳ５２）。続いて、被写体２１
を２次元平面状に投影されたときの形が、長方形に近い
形状であれば書籍とみなし、被写体２１の３次元形状を
計測する領域を判定する（ステップＳ５３）。

【００９４】上記における計測する領域としては、たと
えば図１８における撮影領域Ａ，Ｂ，Ｃだけでよい。続
いて、撮影領域Ａ，Ｂ，Ｃの３次元形状の計測を行なう
ために撮像部２１を回転し（ステップＳ５４）、投光パ
ターン２２を変化させ（ステップＳ５５）、そのパター
ン投光画像を撮影し（ステップＳ５６）、その撮影画像
から３次元形状を計測する（ステップＳ５７）。続い
て、判定した撮影範囲まで撮影したか否かを判断し（ス
テップＳ５８）、判定した撮影範囲まで撮影が行なわれ
た場合には、被写体全体の３次元形状を推定する（ステ
ップＳ５９）。この際、図１８の撮影領域Ｄ，Ｇ内にあ
る被写体２１の３次元形状は、撮影領域Ａ内にある被写
体２１の３次元形状とほぼ同じ形状になる（撮影領域
Ｂ，Ｅ，Ｈ，Ｃ，Ｆ，Ｉにおいても同様）ので、撮影領
域Ａ，Ｂ，Ｃの３次元形状から被写体全体の３次元形状
を推定することができる。

【００９５】一方、ステップＳ５８において、判定した
撮影範囲まで撮影していない場合にはステップＳ５４に
戻り、以降の動作を、判定した撮影範囲まで撮影が行な
われるまで繰り返し実行する。ステップＳ５９の処理が
終了すると、つぎに撮像部１１を回転し（ステップＳ６
０）、テクスチャ画像を撮影し（ステップＳ６１）、さ
らに、３次元形状の計測結果にしたがって被写体画像の
歪みを補正する（ステップＳ６２）。続いて、上述の撮
影動作において、全体画像の撮影範囲まで撮影したか否
かを判断し（ステップＳ６３）、全体画像の撮影が行な
われていないと判断した場合には、上記ステップＳ６０
に戻り、以降の動作を全体画像の撮影終了まで繰り返し
実行する。全体画像の撮影が行なわれると、補正された
複数枚の画像を合成する（ステップＳ６４）。

【００９６】また、上述した動作において、被写体２１
の３次元形状を計測する領域を撮影前から指定しておく
ことにより、撮影領域の全体画像の撮影と、被写体２１
のエッジを検出し３次元形状を計測する撮影領域を判定
する作業が不要となる。さらに、ユーザが意図した３次
元形状を計測する領域を切り換えるための計測位置設定
方法切換スイッチ１８（図１参照）を設けることによ
り、被写体２１の３次元形状を計測する一部分を判定す
る方法を選択することができる。

【００９７】（実施の形態７）この実施の形態７以降に
おいては、図１および図２に示す画像入力装置を用い、
予備撮影を行ない被写体２１と投光パターン２２との配
置関係を検出（図５参照）し、その検出結果に応じて、
被写体画像の歪み補正を実行するのに必要な３次元デー
タを多く計測する最適な撮影条件となるように、被写体
２１と投光パターン２２との配置位置を変化させること
により、撮影前に被写体２１と投光パターン２２との位
置関係を正確に調整しなくても、被写体画像の歪み補正
を精度よく行なえる例について説明する。

【００９８】図２０は、本発明の実施の形態７にかかる
撮影動作を示すフローチャートである。まず、画像入力
装置１の撮影位置へ被写体２１を適当に配置し、撮影ス
イッチ１６を押下して予備撮影を行なう（ステップＳ７
１）。なお、予備撮影の詳細については後述する（実施
の形態８、９参照）。続いて、この予備撮影で取得した
画像情報から被写体２１と投光パターン２２との位置関
係を検出し（ステップＳ７２）、その検出結果にしたが
って被写体２１と投光パターン２２と位置関係を調整す
る（ステップＳ７３）。なお、この位置調整については
後述する（実施の形態１０〜１２参照）。

【００９９】続いて、投光器１２より投光パターン２２
を被写体２１に対して投光し（ステップＳ７４）、撮像
部１１により被写体２１の撮影を実行する（ステップＳ
７５）。さらに、この撮影された画像から被写体２１の
３次元形状を前述した手順（実施の形態１）を計測し
（ステップＳ７６）、この計測した３次元形状にしたが
って被写体画像の歪み補正を行なう(ステップＳ７７)。

【０１００】なお、上記ステップＳ７６，Ｓ７７におけ
る３次元形状の計測処理および被写体画像の歪み補正処
理は、画像入力装置１０の計算処理の負荷を軽減させる
ために、画像情報を画像入力装置１０からパーソナルコ
ンピュータやサーバなどの外部計算機へ転送し、その計
算機内で実行させるようにしてもよい。

【０１０１】(実施の形態８)この実施の形態８は、被写
体２１と投光パターン２２との位置関係を検出するため
の予備撮影について記述するものである。図２１は、本
発明の実施の形態８にかかる撮影動作を示すフローチャ
ートである。まず、画像入力装置１０の撮影位置へ被写
体２１を適当にに配置し、撮影スイッチ１６を押下する
ことにより予備撮影が開始される（ステップＳ８１）。
投光器１２より投光パターン２２を被写体２１に投光し
（ステップＳ８２）、撮像部１１によって撮影を行なう
（ステップＳ８３）。さらに、撮像部１１で取得した画
像から３次元形状を計測し（ステップＳ８４）、予備撮
影を終了する（ステップＳ８５）。

【０１０２】続いて、上記ステップＳ８１〜ステップＳ
８５の予備撮影処理にしたがって、前述の図２０と同様
に、被写体２１と投光パターン２２との位置検出、位置
合わせ、３次元形状の計測、被写体画像の歪み補正を実
行する（ステップＳ８６〜ステップＳ９１）。

【０１０３】なお、上述の予備撮影において被写体２１
の３次元形状が計測されない場合には、投光器１２を移
動させ、再度、予備撮影を行ない、大まかな３次元形状
が計測されるまで予備撮影を繰り返し実行する。また、
この予備撮影に制限時間を設定し、当該制限時間を過ぎ
た場合に、たとえば音や投光パターン２２などにより撮
影不可能であることをユーザに知らせるようにしてもよ
い。

【０１０４】（実施の形態９）この実施の形態９は、被
写体２１と投光パターン２２との位置関係を画像の特徴
から検出する予備撮影について記述するものである。図
２２は、本発明の実施の形態９にかかる撮影動作を示す
フローチャートである。まず、画像入力装置１０の撮影
位置へ被写体２１を適当に配置し、撮影スイッチ１６を
押下することにより予備撮影が開始される（ステップＳ
１０１）。続いて、撮像部１１により被写体２１のテク
スチャ画像の撮影を行ない（ステップＳ１０２）、被写
体２１のテクスチャ画像の輝度情報にしたがって被写体
２１の特徴点の位置を抽出する（ステップＳ１０３）。
これらの予備撮影を終了し（ステップＳ１０４）、予備
撮影処理にしたがって、前述の図２０と同様に、被写体
２１と投光パターン２２との位置検出、位置合わせ、３
次元形状の計測、被写体画像の歪み補正を実行する（ス
テップＳ１０５〜ステップＳ１１０）。

【０１０５】上述した撮影処理において、被写体２１
が、たとえば製本された原稿など特徴点がほぼ決定して
いるものであれば、被写体２１の特徴点の位置を計測す
ることにより、被写体２１と投光パターン２２との位置
関係を検出することができる。製本された原稿などの特
徴点の抽出には、本の継ぎ目の部分など外光が照射され
ず影になって被写体２１の輝度が低くなる部分や、被写
体２１のエッジ情報、被写体２１に記載されている文字
列などを利用することができる。

【０１０６】このように、テクスチャ画像から被写体２
１と投光パターン２２との位置関係を検出することによ
り、予備撮影時における３次元形状の計測処理が軽減さ
れるので、撮影時間を短縮することができる。

【０１０７】なお、上述の予備撮影において被写体２１
の特徴点が抽出されない場合には、投光器１２を移動さ
せ、再度、予備撮影を行ない、特徴点が抽出されるまで
予備撮影を繰り返し実行する。また、この予備撮影に制
限時間を設定し、当該制限時間を過ぎた場合に、たとえ
ば音や投光パターン２２などにより撮影不可能であるこ
とをユーザに知らせるようにしてもよい。

【０１０８】(実施の形態１０)この実施の形態１０で
は、被写体２１と投光パターン２２との位置関係を予備
撮影によって求めた後に、その位置調整を、投光器１１
を支持部１３に対して移動させて行なう例について説明
する。画像入力装置１０は、先に述べたように、投光器
１２が、移動部１５を介して支持部１３によって支持さ
れ、支持部１３に対して投光器１２が上下、左右、斜め
に投光軸や撮影光軸を移動する機構を有している。

【０１０９】図２３は、本発明の実施の形態１０にかか
る撮影動作を示すフローチャートである。まず、画像入
力装置１０の撮影位置へ被写体２１を適当に配置し、撮
影スイッチ１６を押下することにより予備撮影が開始さ
れる（ステップＳ１１１）。続いて、この予備撮影で取
得した画像情報から被写体２１と投光パターン２２との
位置関係を検出し（ステップＳ１１２）、その検出結果
にしたがって被写体２１と投光パターン２２と位置関係
の調整を開始し（ステップＳ１１３）、移動部１５の首
振り機構を用いて投光器１２を支持部１３から移動させ
（ステップＳ１１４）、被写体２１と投光パターン２２
と位置合わせを行なう（ステップＳ１１５）。その後、
前述と同様に、投光パターン２２の投光、被写体２１の
撮影、３次元形状の計測、被写体画像の歪み補正を実行
する（ステップＳ１１６〜ステップＳ１１９）。

【０１１０】（実施の形態１１）この実施の形態１１で
は、被写体２１と投光パターン２２との位置関係を予備
撮影によって求めた後に、その位置調整を、投光パター
ン２２を変化させることにより行なう例について説明す
る。

【０１１１】図２４は、本発明の実施の形態１１にかか
る撮影動作を示すフローチャートである。まず、画像入
力装置１０の撮影位置へ被写体２１を適当に配置し、撮
影スイッチ１６を押下することにより予備撮影を行なう
（ステップＳ１２１）。続いて、この予備撮影で取得し
た画像情報から被写体２１と投光パターン２２との位置
関係を検出し（ステップＳ１２２）、その検出結果にし
たがって投光パターンフィルタ２０を変化させて投光パ
ターンを変化させ（ステップＳ１２４）、被写体２１と
投光パターン２２と位置合わせを行なう（ステップＳ１
２５）。

【０１１２】なお、ステップＳ１２４では、投光器１２
の投光口に設置されている投光パターンフィルタ２０の
材料には液晶パネルなどを用い、たとえば図１４に示す
ように、投光パターン２２を可変させる。

【０１１３】その後、前述と同様に、投光パターン２２
の投光、被写体２１の撮影、３次元形状の計測、被写体
画像の歪み補正を実行する（ステップＳ１２６〜ステッ
プＳ１２９）。

【０１１４】（実施の形態１２）この実施の形態１２で
は、被写体２１と投光パターン２２との位置関係を予備
撮影によって求めた後に、その位置調整を、被写体２１
を回転させることにより行なう例について説明する。被
写体２１を回転させる機構としては、たとえば図２６に
示すターンテーブル５０を用いる。

【０１１５】図２５は、本発明の実施の形態１２にかか
る撮影動作を示すフローチャートである。まず、画像入
力装置１０の撮影位置へ被写体２１を適当に配置し、撮
影スイッチ１６を押下することにより予備撮影を行なう
（ステップＳ１３１）。続いて、この予備撮影で取得し
た画像情報から被写体２１と投光パターン２２との位置
関係を検出し（ステップＳ１３２）、その検出結果にし
たがって被写体２１と投光パターン２２の位置合わせを
開始し（ステップＳ１３３）、被写体２１をターンテー
ブル５０で移動し（ステップＳ１３４）、被写体２１と
投光パターン２２と位置合わせを行なう（ステップＳ１
３５）。その後、前述と同様に、投光パターン２２の投
光、被写体２１の撮影、３次元形状の計測、被写体画像
の歪み補正を実行する（ステップＳ１３６〜ステップＳ
１３９）。

【０１１６】すなわち、撮影前に被写体２１をターンテ
ーブル５０に載せ、被写体２１と投光パターン２２の位
置関係の検出結果にしたがってターンテール５０を回転
させることにより、被写体２１に照射される投光パター
ン２２を変化させる。なお、ターンテーブル５０の制御
をパーソナルコンピュータ６０やサーバなどを介して行
なうことにより、画像入力装置１０の処理負担が軽減す
る。

【０１１７】

【発明の効果】以上説明したように、本発明にかかる画
像入力装置（請求項１）によれば、撮像手段を移動させ
て被写体を分割撮影する際に、撮影手段に付随している
投光手段の移動する移動距離を検出し、その検出結果に
したがって投光パターンを変更し、被写体画像の歪みが
大きい方向、つまり被写体画像の歪み補正に必要な３次
元形状データが含まれる方向と分解能の高い３次元形状
の計測が可能な方向とを一致させて撮影することによ
り、被写体画像の歪み補正を行なうのに必要な３次元形
状データを数多く取得することができ、さらにこの取得
した３次元形状データより分割撮影時に撮影された被写
体の分割画像の精度のよい歪み補正を行なうことが可能
になるため、書籍などの湾曲している被写体画像の歪み
補正の精度が向上し、高解像度の撮影を行なうことがで
きる。

【０１１８】また、本発明にかかる画像入力装置（請求
項２）によれば、請求項１において、撮像素子で撮像さ
れた全体画像から、撮像素子を回転させる角度を算出す
ることにより、被写体の大きさを設定することなく、被
写体画像の歪み補正を行なうに必要な３次元形状データ
を数多く取得することができるため、被写体の歪み補正
精度が向上し、高解像度の撮影が実現する。

【０１１９】また、本発明にかかる画像入力装置（請求
項３）によれば、請求項１または２において、投光パタ
ーンが平面状の被写体に照射された場合、当該パターン
を直線状のパターンとなるように調整するため、被写体
と投光パターンの位置関係がずれても、両者の最適な位
置関係による撮影を行なうことができる。

【０１２０】また、本発明にかかる画像入力装置（請求
項４）によれば、請求項１、２または３において、撮像
手段の撮影位置によって投光パターンが被写体に照射さ
れる角度に差が生じ、被写体の高さ方向の変化に対して
当該パターンが移動する割合が変化することを考慮して
撮像方向の角度に応じて投光パターンの間隔を調整する
ことにより、撮影領域全体での所定の高さまで計測する
ことが可能になるので、空間解像度が向上した３次元形
状の計測が行なえる。

【０１２１】また、本発明にかかる画像入力装置（請求
項５）によれば、請求項４において、撮影した画像情報
および当該投光パターンの情報をパーソナルコンピュー
タなどの外部装置に転送し、記憶させることにより、撮
影した画像情報に投光パターンを変化させたときの形状
情報を画面に表示可能になると共に、撮影終了後におけ
る被写体の３次元形状の計測条件を確認することが可能
になるので、再度撮影を行なう際の有効な参考情報が得
らる。

【０１２２】また、本発明にかかる画像入力装置（請求
項６）によれば、請求項１〜５のいずれか一つにおい
て、撮影する場所に対応して前記投光パターンの光量を
変化させることにより、投光手段からの光が通過する面
積に変化が生じる場合の光量の不均一に対応させること
が可能になるので、撮影位置にかかわらず常に良好な光
量状態で撮影を行なうことができる。

【０１２３】また、本発明にかかる画像入力装置（請求
項７）によれば、請求項１〜６のいずれか一つにおい
て、被写体の一部分だけの３次元形状を計測し、被写体
の３次元形状を推定することが可能なため、被写体の３
次元形状の計測時間を短縮することができる。

【０１２４】また、本発明にかかる画像入力装置（請求
項８）によれば、請求項１〜６のいずれか一つにおい
て、あらかじめ指定された被写体の３次元形状の計測対
象領域にしたがって投光パターンによる撮影を行ない、
当該投光パターンが投光された部分の３次元形状から被
写体全体の３次元形状を推定することが可能なため、被
写体の３次元形状の計測時間を短縮することができる。

【０１２５】また、本発明にかかる画像入力装置（請求
項９）によれば、請求項７または８において、３次元形
状の計測領域を判定する方法をユーザにより選択させる
ことが可能なため、被写体の３次元形状を計測する一部
分を判定する方法をユーザの意図した方法で行なうこと
ができる。

【０１２６】また、本発明にかかる画像入力装置（請求
項１０）によれば、撮影対象の被写体（たとえば書籍な
ど）を撮影可能な適当な位置に配置し、その被写体に投
光パターンを照射して予備撮影を行ない、そこで取得し
た被写体と投光パターンとの配置位置を検出し、当該検
出結果にしたがって被写体と投光パターンとの配置位置
を調整し、その調整された最適位置での撮影を行ない、
その画像から被写体の３次元形状を計測し、さらにこの
３次元形状の計測結果にしたがって被写体画像の歪み補
正を実行することにより、被写体と投光パターンが正確
に配置されない場合にも被写体画像の歪み補正が可能に
なるため、撮影前に被写体と投光パターンとの位置関係
を正確に調整して合わすという煩わしい作業をしなくて
も、被写体画像の歪み補正を精度よく実行することがで
きる。

【０１２７】また、本発明にかかる画像入力装置（請求
項１１）によれば、請求項１０において、計測手段で計
測された被写体の３次元形状にしたがって被写体とパタ
ーンとの大まかな位置関係を検出する予備撮影を実行
し、この予備撮影の結果にしたがって被写体とパターン
との配置位置を調整し、その調整された最適位置での撮
影を行ない、その画像から被写体の３次元形状を計測
し、さらにこの３次元形状の計測結果にしたがって被写
体画像の歪み補正を実行することにより、被写体と投光
パターンが正確に配置されない場合にも被写体画像の歪
み補正が可能になるため、エッジ部分に急激な歪みや損
傷があるような被写体であっても、被写体の歪み補正を
行なうことができる。

【０１２８】また、本発明にかかる画像入力装置（請求
項１２）によれば、請求項１０において、撮影手段で撮
影された被写体画像（画像の特徴）にしたがって被写体
と前記パターンとの位置関係を検出する予備撮影を実行
し、この予備撮影の結果にしたがって被写体とパターン
との配置位置を調整し、その調整された最適位置での撮
影を行ない、その画像から被写体の３次元形状を計測
し、さらにこの３次元形状の計測結果にしたがって被写
体画像の歪み補正を実行することにより、被写体と投光
パターンが正確に配置されない場合にも被写体画像の歪
み補正が可能になるため、予備撮影時の３次元形状の計
測処理、テクスチャ画像の撮影作業が軽減され、撮影時
間の短縮化を図ることができる。

【０１２９】また、本発明にかかる画像入力装置（請求
項１３）によれば、請求項１０、１１または１２におい
て、予備撮影を行なって被写体と投光パターンとの大ま
かな位置関係を求め、この結果にしたがって投光手段を
移動し、両者の位置合わせを行なった後、その調整され
た最適位置での撮影を行ない、その画像から被写体の３
次元形状を計測し、さらにこの３次元形状の計測結果に
したがって被写体画像の歪み補正を実行することによ
り、被写体と投光パターンが正確に配置されない場合に
も被写体画像の歪み補正が可能になるため、最適な条件
で被写体を撮影しているかを確認することができる。

【０１３０】また、本発明にかかる画像入力装置（請求
項１４）によれば、請求項１０、１１または１２におい
て、予備撮影を行なって被写体と投光パターンとの大ま
かな位置関係を求め、この結果にしたがって投光パター
ンを変化させて両者の位置合わせを行なった後、その調
整された最適位置での撮影を行ない、その画像から被写
体の３次元形状を計測し、さらにこの３次元形状の計測
結果にしたがって被写体画像の歪み補正を実行すること
により、被写体と投光パターンが正確に配置されない場
合にも被写体画像の歪み補正が可能になるため、投光手
段を移動させる時間が短縮され、撮影時間の短縮化を図
ることができる。

【０１３１】また、本発明にかかる画像入力装置（請求
項１５）によれば、請求項１０、１１または１２におい
て、予備撮影を行なって被写体と投光パターンとの大ま
かな位置関係を求め、この結果にしたがって被写体をた
とえばターンテーブに載せて移動させて両者の位置合わ
せを行なった後、その調整された最適位置での撮影を行
ない、その画像から被写体の３次元形状を計測し、さら
にこの３次元形状の計測結果にしたがって被写体画像の
歪み補正を実行することにより、被写体と投光パターン
が正確に配置されない場合にも被写体画像の歪み補正が
可能になるため、装置本体の処理負荷が軽減され、撮影
時間が短縮される。

【図面の簡単な説明】

【図１】本発明の実施の形態にかかる画像入力装置の概
略構成を示す説明図である。

【図２】図１における撮像部の構成を示すブロック図で
ある。

【図３】投光器による直線状のパターン投光例を示す説
明図である。

【図４】本発明の実施の形態１にかかる被写体の撮影動
作を示すフローチャートである。

【図５】被写体表面上の点の３次元位置を検出する方法
を示す説明図である。

【図６】分割撮影の方法を示す説明図である。

【図７】撮像部の回転による画像のあおり現象を示す説
明図である。

【図８】３次元形状から被写体画像の歪み補正を行なう
動作を示すフローチャートである。

【図９】図８における画像撮影座標系を示す説明図であ
る。

【図１０】歪み補正前の撮影画像およびｕ方向の歪み補
正の状態を示す説明図である。

【図１１】図１０の撮影画像に対するｖ方向への伸張処
理を示す説明図である。

【図１２】図１１におけるｖ方向の歪み補正方法を示す
説明図である。

【図１３】分割撮影時における撮像部回転に被写体まで
の距離の変化による投光パターンの状態および被写体画
像の状態を示す説明図である。

【図１４】撮像部の回転角度に対応して投光パターンを
変化させる例を示す説明図である。

【図１５】本発明の実施の形態２にかかる撮影動作を示
すフローチャートである。

【図１６】本発明の実施の形態３にかかる投光パターン
の調整例を示す説明図である。

【図１７】投光パターンフィルタの場所の違いによるパ
ターンの変化状態およびその調整例を示す説明図であ
る。

【図１８】本発明の実施の形態６にかかる３次元形状の
推定例を示す説明図である。

【図１９】被写体の一部分の３次元形状から被写体全体
の３次元形状を推定する動作などを示すフローチャート
である。

【図２０】本発明の実施の形態７にかかる撮影動作を示
すフローチャートである。

【図２１】本発明の実施の形態８にかかる撮影動作を示
すフローチャートである。

【図２２】本発明の実施の形態９にかかる撮影動作を示
すフローチャートである。

【図２３】本発明の実施の形態１０にかかる撮影動作を
示すフローチャートである。

【図２４】本発明の実施の形態１１にかかる撮影動作を
示すフローチャートである。

【図２５】本発明の実施の形態１２にかかる撮影動作を
示すフローチャートである。

【図２６】本発明の実施の形態１２にかかるシステム構
成を示す説明図である。

【図２７】被写体と投光パターンとの位置関係がずれた
状態を示す説明図である。

【図２８】図３の正常な投光時における撮影状態を示す
説明図である。

【図２９】図２７の不正確な投光時における撮影状態を
示す説明図である。

【符号の説明】

３撮像素子７ＩＰＰ８メモリ９ＭＰＵ１０画像入力装置１１撮像部１２投光器１３支持部１４解像度指示部１５移動部１６撮影スイッチ１７Ｉ／Ｆ部１８計測位置設定方法切換スイッチ２０投光パターンフィルタ２１被写体２２投光パターン５０ターンテーブル

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 1/107 Ｈ０４Ｎ 5/238 Ｚ５Ｃ０７２ 1/387 7/18 Ｋ５Ｃ０７６ 5/222 1/10 5/238 Ｇ０１Ｂ 11/24 Ｋ 7/18 (72)発明者北口貴史東京都大田区中馬込１丁目３番６号株式会社リコー内 (72)発明者佐藤康弘東京都大田区中馬込１丁目３番６号株式会社リコー内 (72)発明者北澤智文東京都大田区中馬込１丁目３番６号株式会社リコー内Ｆターム(参考） 2F065 AA51 AA53 FF04 HH07 JJ26 LL21 MM25 QQ03 QQ24 QQ31 5B047 AA01 AA07 BA02 BA04 BC12 CA17 CA19 CB09 CB23 5B057 AA11 BA02 BA15 BA19 CA02 CA06 CA12 CA16 CD12 CE10 CE20 CH08 CH18 DA07 DB02 DB05 DB08 5C022 AB15 AB66 AB68 AC27 AC42 CA07 5C054 AA05 CA04 CE02 CE16 CF06 CH02 FD01 FE12 5C072 AA01 BA17 CA20 DA21 DA23 LA12 RA03 UA06 UA11 VA06 5C076 AA36 AA40 BA01 BA06

Claims

【特許請求の範囲】

【請求項１】投光手段の投光方向に連動して撮像手段
が回転し、前記投光手段により所定の投光パターンを介
し、被写体に投光し、前記撮影手段により移動毎の反射
光を撮像素子に結像して分割撮影を行なう画像入力装置
において、前記撮影手段は、前記分割撮影時における前記投光手段
の移動距離にしたがって前記投光パターンを変更し、被
写体画像の歪み補正に必要な３次元形状データが含まれ
る方向と分解能の高い３次元形状の計測が可能な方向と
を一致させて撮影し、被写体画像の歪み補正を行なうに
必要な３次元形状データを取得し、当該３次元形状デー
タより撮影された被写体の分割画像の歪み補正を行なっ
た後、複数枚の被写体画像を合成することを特徴とする
画像入力装置。
【請求項２】前記撮像手段は、前記撮像素子で撮像さ
れた全体画像から、前記撮像素子を回転させる角度を算
出する角度算出手段を備えたことを特徴とする請求項１
に記載の画像入力装置。
【請求項３】前記撮像手段は、前記投光パターンが平
面状の被写体に照射された場合、前記投光パターンを直
線状のパターンとなるように調整することを特徴とする
請求項１または２に記載の画像入力装置。
【請求項４】前記撮像手段は、回転角度に対応して前
記投光パターンの間隔を調整することを特徴とする請求
項１、２または３に記載の画像入力装置。
【請求項５】外部コンピュータと接続し、撮影した画
像情報および当該投光パターンの情報を前記外部コンピ
ュータに転送し、記憶させることを特徴とする請求項４
に記載の画像入力装置。
【請求項６】前記撮像手段は、撮影する場所に対応し
て前記投光パターンの光量を変化させることを特徴とす
る請求項１〜５のいずれか一つに記載の画像入力装置。
【請求項７】前記撮像手段は、被写体のエッジ部分を
検出して当該検出結果から撮影する領域を判定し、撮像
方向の回転と前記投光パターンを変化させ、被写体の一
部分の３次元形状から被写体全体の３次元形状を推定す
ることを特徴とする請求項１〜６のいずれか一つに記載
の画像入力装置。
【請求項８】前記撮像手段は、あらかじめ指定された
被写体の３次元形状の計測対象領域にしたがって前記投
光パターンによる撮影を行ない、当該投光パターンが投
光された部分の３次元形状から被写体全体の３次元形状
を推定することを特徴とする請求項１〜６のいずれか一
つに記載の画像入力装置。
【請求項９】前記撮像手段は、被写体の３次元形状を
計測する一部分を判定する方法を選択する選択手段を備
えたことを特徴とする請求項７または８に記載の画像入
力装置。
【請求項１０】支持手段によって支持され、被写体を
撮影する撮影手段と、前記被写体に所定のパターンを照
射する投光手段と、を有し、前記投光手段により、前記被写体に前記パターンを照射
して被写体画像を取り込み、前記被写体画像の３次元形
状を計測し、その３次元形状にしたがって前記被写体画
像の歪みを補正する画像入力装置において、前記被写体と前記パターンとの位置関係を検出する位置
検出手段と、前記位置検出手段の検出結果にしたがって前記被写体と
前記パターンとの位置関係を調整する位置調整手段と、前記位置調整手段により位置調整が行なわれた後に、前
記投光手段により前記パターンが照射された被写体を前
記撮影手段で撮影し、当該撮影して取得した画像から前
記被写体の３次元形状を計測する計測手段と、を備えたことを特徴とする画像入力装置。
【請求項１１】前記位置検出手段は、前記計測手段で
計測された前記被写体の３次元形状にしたがって前記被
写体と前記パターンとの位置関係を検出することを特徴
とする請求項１０に記載の画像入力装置。
【請求項１２】前記位置検出手段は、前記撮影手段で
撮影された被写体画像にしたがって前記被写体と前記パ
ターンとの位置関係を検出することを特徴とする請求項
１０に記載の画像入力装置。
【請求項１３】前記位置調整手段は、前記投光手段を
移動させて前記被写体と前記パターンとの位置関係を調
整することを特徴とする請求項１０、１１または１２に
記載の画像入力装置。
【請求項１４】前記位置調整手段は、前記投光手段に
よる前記パターンを変化させて前記被写体と前記パター
ンとの位置関係を調整することを特徴とする請求項１
０、１１または１２に記載の画像入力装置。
【請求項１５】前記位置調整手段は、前記被写体を移
動させて前記被写体と前記パターンとの位置関係を調整
することを特徴とする請求項１０、１１または１２に記
載の画像入力装置。