JP2019192949A - 画像処理システム、及び、画像処理方法 - Google Patents

Abstract

【課題】物体を撮影して生成された画像の歪み補正を行うのに有効な画像処理システムを提供する。【解決手段】画像処理システム１１０は、物体を照明する照明部１４、１５と、物体上に所定パターンを投写する投写部１７と、照明部１４、１５により照明された物体を所定パターンを含まずに撮影して第１画像データを生成し、照明部１４、１５により照明された物体を所定パターンと共に撮影して第２画像データを生成する撮像部１３ａと、照明部１４、１５及び撮像部１３ａを物体に対して相対的に移動させる駆動部１６とを有する撮像装置１０と、第２画像データが示す第２画像における所定パターンに対応したパターン画像の歪み量を検出し、検出した歪み量に基づいて第１画像データが示す第１画像の歪み補正を行う画像処理装置２０とを備える。【選択図】図１

Description

本開示は、物体を撮影して生成された画像の歪み補正を行う画像処理システム、及び画像処理方法に関する。

特許文献１は、平面の原画像に高さ方向の情報を付加して立体画像データを生成する画像処理装置を開示する。この画像処理装置は、原画像データの焦点情報に基づいて分離した領域毎に高さ情報を付加することによって、陰影や質感をリアルに表現することを可能にしている。

特開２０１６−６３５２２号公報

原画像は何らかの物体を撮影して生成されるが、その際、原画像に歪みが生じることがある。

本開示は、物体を撮影して生成された画像の歪み補正を行うのに有効な画像処理システム、及び画像処理方法を提供する。

本開示における画像処理システムは、物体を照明する照明部と、物体上に所定パターンを投写する投写部と、照明部により照明された物体を所定パターンを含まずに撮影して第１画像データを生成し、照明部により照明された物体を所定パターンと共に撮影して第２画像データを生成する撮像部と、照明部及び撮像部を物体に対して相対的に移動させる駆動部とを有する撮像装置と、第２画像データが示す第２画像における所定パターンに対応したパターン画像の歪み量を検出し、検出した歪み量に基づいて第１画像データが示す第１画像の歪み補正を行う画像処理装置とを備える。

本開示における画像処理方法は、駆動部により照明部及び撮像部を物体に対して相対的に移動させ、照明部により照明された物体を、投写部により物体上に投写される所定パターンを含まずに撮像部により撮影して第１画像データを生成し、照明部により照明された物体を、所定パターンと共に撮像部により撮影して第２画像データを生成し、第２画像データが示す第２画像における所定パターンに対応したパターン画像の歪み量を検出し、検出した歪み量に基づいて第１画像データが示す第１画像の歪み補正を行う。

本開示における画像処理システム、及び画像処理方法は、物体を撮影して生成された画像の歪み補正を行うのに有効である。

実施形態１の複製システムの構成を示すブロック図である。 実施形態１における撮像装置の移動装置の斜視図である。 実施形態１における撮像装置の移動装置を側面から見たときの概略図である。 実施形態１における撮像時の照明角度と陰影との関係を説明するための図である。 分割画像と合成画像とを示す図である。 レンズ歪みにより歪んだ分割画像の一例を示す図である。 レンズ歪みにより歪んだ分割画像の他の一例を示す図である。 実施形態１における撮像装置の投写部による所定パターンの一例を示す図である。 所定パターンを含む第２画像の一例、及び、補正後の所定パターンを含まない第１画像の一例を示す図である。 実施形態１における撮像装置及び画像処理装置（すなわち、画像処理システム）による色画像データと高さ画像データの生成処理を示すフローチャートの一部である。 実施形態１における撮像装置及び画像処理装置（すなわち、画像処理システム）による色画像データと高さ画像データの生成処理を示すフローチャートの残りの一部である。 実施形態１における印刷装置による印刷により形成された複製画像の断面の例を示した図である。 駆動装置の速度歪みにより歪んだ分割画像の一例を示す図である。 実施形態２における撮像装置の投写部による所定パターンの一例を示す図である。 所定パターンを含む第２画像の一例を示す図である。 他の実施形態における撮像装置の投写部による所定パターンの一例を示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施形態１）
実施形態１について、図面を用いて説明する。本実施形態においては、凸部を有する物体（例えば、油彩画などの絵画）の色彩と共に、物体の凹凸感についても再現可能な複製システムを提供する。この複製システムは、物体を撮影して生成された画像の歪み補正を行う機能を有する。

１．構成
図１は、本実施形態の複製システムの構成を示している。本実施形態の複製システム１００は、物体（本実施形態において、絵画）を撮像して画像データを生成する撮像装置１０と、生成された画像データを処理して絵画の複製に必要な画像情報（高さ画像データ及び色画像データ）を出力する画像処理装置２０と、画像情報に基づいた印刷により絵画を複製する印刷装置３０と、を備える。撮像装置１０と画像処理装置２０とは、本実施形態の画像処理システム１１０を構成し、物体を撮影して生成された画像の歪み補正も行う。

本実施形態の撮像装置１０は、ラインスキャンカメラを用いたスキャナである。撮像装置１０は、撮像の開始の指示を受け付け、撮像した絵画の画像データを出力する入出力部１１と、撮像装置１０全体を制御する制御部１２と、絵画を撮像して画像データを生成するカメラ１３と、絵画を照明する第１照明部１４及び第２照明部１５と、カメラ１３と第１照明部１４と第２照明部１５とを移動させる移動装置（駆動部）１６と、投写部１７とを備える。

入出力部１１は、入力部１１ａと通信部１１ｂとを含む。入力部１１ａは、キーボード、マウス、タッチパネル等である。通信部１１ｂは、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。撮像装置１０は、例えば、撮像開始の指示を入力部１１ａ又は通信部１１ｂを介して入力し、絵画を撮像して生成した画像データを通信部１１ｂから出力する。

制御部１２は、入力された撮像開始の指示に基づいて、移動装置１６により、カメラ１３、第１照明部１４、及び第２照明部１５を同時に移動させながら、第１照明部１４と第２照明部１５の少なくともいずれか一方により絵画を照明した状態で、カメラ１３により絵画を撮像させる。また、制御部１２は、画像処理装置２０からの指示に基づいて、投写部１７を制御する。制御部１２は、半導体素子などで実現可能である。制御部１２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部１２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。

投写部１７は、画像処理装置２０からの指示に基づいて制御部１２によって制御されて、所定パターンを絵画上に投写する。投写部１７は、赤外光を照射する複数の赤外光光源を含む。これらの赤外光光源は、例えばＬＥＤ（発光ダイオード）であり、直線上に配置される。投写部１７は、赤外光による所定パターンを絵画上に投写する。後述するように、所定パターンは格子状のパターンである。

カメラ１３は、撮像部１３ａとメモリ１３ｂとを含む。撮像部１３ａは、例えば、ＣＣＤラインセンサ又はＣＭＯＳラインセンサを含み、１ラインずつ絵画をスキャン撮像して、絵画の画像データを取り込む。撮像部１３ａが取り込んだ画像データはメモリ１３ｂに格納される。メモリ１３ｂは、例えば、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、又は磁気ディスク、又はこれらの組み合わせによって実現できる。本実施形態では、撮像部１３ａは、可視光画像を撮像するための画像センサと、赤外線画像を撮像するための画像センサとを含む。カメラ１３は、これらの画像センサにより、赤外光の所定パターンが投写された状態の物体を撮影して、所定パターンに対応したパターン画像を含まない第１画像データ（又は、後述する第３画像データ、第５画像データ）と、パターン画像を含む第２画像データ（又は、後述する第４画像データ、第６画像データ）とを生成する。

なお、撮像部１３ａは、可視光画像（ＲＧＢ画像）及び赤外光画像（ＩＲ画像）を同時に撮像する画像センサを含んでもよい。

第１照明部１４及び第２照明部１５は、スキャン用の照明光源である。具体的には、第１照明部１４及び第２照明部１５は、高演色性の直管型蛍光灯や、高演色性の白色発光ダイオード（ＬＥＤ）を直線状に配置したラインＬＥＤ照明などである。すなわち、第１照明部１４及び第２照明部１５は可視光を照射する。本実施形態において、第１照明部１４及び第２照明部１５は、カメラ１３の両側に設置される。第１照明部１４又は第２照明部１５によって絵画を照明した状態で、カメラ１３で絵画を撮像することによって、絵画の凸部の陰影が含まれる画像の画像データを生成することができる。

移動装置１６には、カメラ１３、第１照明部１４、及び第２照明部１５が連結されている。移動装置１６は、カメラ１３、第１照明部１４、及び第２照明部１５をスキャン方向に移動させる。これにより、カメラ１３は移動しながら絵画を１ラインずつ撮像することが可能になる。撮像装置１０は、ライン毎にスキャンしてメモリ１３ｂに取り込んだ画像データを組み合わせて二次元画像のデータを生成し、通信部１１ｂから出力する。移動装置１６は、カメラ１３、第１照明部１４及び第２照明部１５を絵画に対して相対的に移動させる駆動部の一例である。

画像処理装置２０は、画像データを入力して物体の表面の高さを示す高さ情報を出力する入出力部２１と、画像処理装置２０全体を制御するとともに入力された画像データを処理して、物体の表面の凸部の高さを示す高さ情報を生成する制御部２２と、メモリ２３とを含む。入出力部２１は、入力部２１ａと通信部２１ｂとを含む。入力部２１ａは、キーボード、マウス、タッチパネル等である。通信部２１ｂは、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。画像処理装置２０は、例えば、ユーザによる画像データの取り込みの指示を入力部２１ａを介して入力すると、画像データの取り込み要求を通信部２１ｂを介して撮像装置１０に出力して、撮像装置１０から送信された画像データを通信部２１ｂを介して受信する。

制御部２２は、画像データとして第１画像データ（又は、後述する第３画像データ、第５画像データ）と第２画像データ（又は、後述する第４画像データ、第６画像データ）とを受信する。制御部２２は、第２画像データが示す第２画像における所定パターンに対応したパターン画像の歪み量を検出する。制御部２２は、検出した歪み量に基づいて第１画像データが示す第１画像の歪み補正を行う。

制御部２２は、歪み補正された第１画像に含まれる陰影の長さから、絵画の表面の高さ（凸部の高さ）を算出し、算出した高さを示す高さ情報を生成する。具体的には、高さ情報として、絵画の表面の高さを画素毎に数値で表した高さ画像データを生成する。生成された情報はメモリ２３に格納される。また、制御部２２は、生成した高さ情報を通信部２１ｂを介して、印刷装置３０に出力する。制御部２２は、半導体素子などで実現可能である。制御部２２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部２２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。メモリ２３は、例えば、ＲＡＭ、ＤＲＡＭ、ＲＯＭ、強誘電体メモリ、フラッシュメモリ、又は磁気ディスク、又はこれらの組み合わせによって実現できる。

印刷装置３０は、画像処理装置２０から受け取った高さ情報（高さ画像データ）に基づいて、絵画の表面の高さを再現した（凸部を含む）画像を生成する。印刷装置３０は、例えば、紫外線を当てることで硬化するＵＶインクを用いたＵＶインクジェットプリンタであり、多層印刷により、高さの数値が大きいほどインクを厚く盛り上げて、凸部を含む画像を生成する。

図２は、移動装置１６の斜視図である。図３は、移動装置１６を側面から見たときの概略図である。図２及び図３において、Ｙ方向は、撮像装置（スキャナ）１０の１ライン毎のスキャン方向（主走査方向）であり、Ｘ方向は、Ｙ方向に直交する方向（副走査方向）である。図２及び図３に示すように、撮像装置１０の移動装置１６は、Ｙ方向に延在する第１ガイドレール１６ｂと、第１ガイドレール１６ｂ沿いに進退移動する第１可動体１６ａと、Ｘ方向に延在する第２ガイドレール１６ｃと、第２ガイドレール１６ｃ沿いに進退移動する第２可動体１６ｄと、第１可動体１６ａに連結されたフレーム１６ｅとによって、構成される。第１可動体１６ａ及び第２可動体１６ｄは、モータ等の駆動により進退移動する。図３に示すように、カメラ１３と第１照明部１４と第２照明部１５は、フレーム１６ｅに固定される。この構成により、カメラ１３と第１照明部１４と第２照明部１５は、ＸＹ方向に移動可能である。なお、移動装置１６は、第１照明部１４及び第２照明部１５を昇降可能にさせる第３可動体１６ｆを有することもできる。カメラ１３が絵画２００をスキャン撮像するとき、制御部１２は、移動装置１６を駆動制御して、カメラ１３と第１照明部１４及び第２照明部１５とを一体的にスキャン方向に一定速度で平行移動させる。図２及び図３では、Ｙ方向に絵画２００の上下が位置するように配置されている。すなわち、絵画２００の上から下に向けて１ライン毎にスキャンされる。スキャン方向は、絵画２００の上下方向に限定されるものではなく、任意の方向でもよい。例えば、スキャン方向は、絵画２００の配置又は向きに応じて、上下方向、左右方向、又は斜め方向でもよい。

投写部１７は、絵画２００のＸ方向の一側面側、及び、絵画２００のＹ方向の一側面側に配置されている。投写部１７は、絵画２００全体に所定パターンを投写するために、カメラ１３、第１照明部１４、第２照明部１５、及び移動装置１６よりも低い位置に配置される。これにより、投写部１７は、カメラ１３、第１照明部１４、第２照明部１５、及び移動装置１６により遮蔽されることがない。

カメラ１３は、絵画２００を撮像して各画素について色情報（ＲＧＢ又はＣＭＹＫ）を含む色画像及び陰影情報を含む陰影画像を取得し、メモリ１３ｂに記憶する。

本実施形態においては、図３に示すように、第１照明部１４及び第２照明部１５の照明光による、カメラ１３の直下の絵画２００の被撮像部１５０（１ライン分）への照明方向１４ａ，１５ａと、平置きされた絵画２００全面（主面）との間の角度（照明角度）θが一定角度になるようにして、被撮像部１５０を照明する。この一定角度θは、例えば３０°である。第１照明部１４と第２照明部１５は、それぞれ、カメラ１３の直下の被撮像部１５０に対して、被撮像部１５０（すなわち、絵画）の上側方向と下側方向（Ｙ軸方向の上下）から、照明する。このように、絵画２００に対して、斜め上方向または斜め下方向から被撮像部１５０を照明することによって、陰影付きの画像データを生成することができる。なお、照明角度θは、照明によって陰影が現れる角度であれば良く、特に、２０°〜４５°が適している。

図４（ａ）は、第１照明部１４が絵画２００を斜め上側から照明したときに生じる陰影を示している。図４（ｂ）は、第２照明部１５が絵画２００を斜め下側から照明したときに生じる陰影を示している。絵画２００には、例えば、油彩画などのように色を重ね塗りすることによって形成された凸部（絵の具の厚み部分）２０１が含まれる場合がある。本実施形態の複製システム１００は、絵画を複製する際に、色彩に加え、絵画の凸部２０１についても複製する。そのために、本実施形態の複製システム１００は、絵画の凸部２０１の高さを算出する。図４（ａ）に示すように、第１照明部１４によって絵画２００を斜め上側から照明すると、凸部２０１の下側（Ｙ軸の正方向）に凸部２０１の陰影Ｓ１が現れる。画像処理装置２０は、この陰影Ｓ１の長さ（画素数）と第１照明部１４の照明角度θとに基づいて、凸部２０１の下側の高さＨ１を算出する（Ｈ１＝陰影Ｓ１の長さ×tan（θ））。同様に、第２照明部１５によって絵画２００を斜め下側から照明すると、凸部２０１の上側（Ｙ軸の負方向）に凸部２０１の陰影Ｓ２が現れる。画像処理装置２０は、この陰影Ｓ２の長さ（画素数）と第２照明部１５の照明角度θとに基づいて、凸部２０１の上側の高さＨ２を算出する（Ｈ２＝陰影Ｓ２の長さ×tan（θ））。

２．動作
［本開示の課題］
図２において、カメラ１３をＹ方向（主走査方向）に移動させながらＹ方向の１ラインの撮影を行い、その後カメラ１３をＸ方向（副走査方向）にずらして、次のラインの撮影を行うことにより、複数の短冊状の画像を得、これらの短冊状の画像を合成して絵画２００の画像を得る。このとき、図５に示すように、１つの短冊状の画像３１０の一部３１１と画像３１０に隣接する短冊状の画像３２０の一部３２１とが重複するように絵画を撮影し、重複して撮影した一部３１１、３２１を重ね合わせて画像３１０と画像３２０とを合成し、合成画像３００を得る。

ところで、カメラ１３のレンズ等の光学系の歪みや、移動装置１６によりカメラ１３を移動する際に生じるカメラ１３の蛇行等により、撮影した画像に幾何学歪みが生じ、正確な画像が得られないことがある。特に、レンズによる歪は、撮影エリアの両端部で大きくなりやすい。例えば、図６Ａに示すように、レンズ歪みにより短冊状の画像３１０、３２０が曲面状に歪むことがある。このような場合、画像３１０の一部３１１と画像３２０の一部３２１とが一致せず、これらの一部３１１、３２０を重ね合わせる際に形状が不一致となり、画像３１０と画像３２０とを正確に合成できないという課題がある。また、図６Ｂに示すように、レンズ歪みにより短冊状の画像３１０、３２０の左端部が縮み、右端部が延びて歪むことがある。このような場合にも、画像３１０の一部３１１と画像３２０の一部３２１とが一致せず、これらの一部３１１、３２０を重ね合わせる際に形状が不一致となり、画像３１０と画像３２０とを正確に合成できないという課題がある。

そこで、本開示では、絵画上に歪みを測定するための所定パターンを投写して物体を撮影し、撮影した所定パターンの歪み量に基づいて、撮影した画像の歪み補正を行う。具体的には、図７に示すように、投写部１７によって物体２００上に格子状の所定パターン５００を投写する。カメラ１３によって所定パターンを含まない絵画を撮影して第１画像を生成し、所定パターンを含む絵画を撮影して第２画像を生成する。図８に示すように、第２画像４１０に含まれる所定パターン５００に対応したパターン画像５０１の歪み量を検出し、検出した歪み量に基づいて第１画像３１０の歪み補正を行う。

本実施形態では、図７に示すように、投写部１７における複数の赤外光光源の一部は、絵画のＸ方向の一側面に沿って直線上に配置され、Ｘ方向に延びる複数のラインを絵画上に投写する。また、投写部１７における複数の赤外光光源の他の一部は、絵画のＹ方向の一側面に沿って直線上に配置され、Ｙ方向に延びる複数のラインを絵画上に投写する。これにより、格子状のパターンを投写する。なお、図７にはカメラ１３の撮影エリア１３ｒが破線で示されている。

［動作の詳細］
図９Ａ及び図９Ｂに、撮像装置１０及び画像処理装置２０（すなわち、画像処理システム１１０）による色画像データと高さ画像データの生成処理を示す。

まず、撮像装置１０は、図３に示すように第１照明部１４及び第２照明部１５の両方により、絵画２００の被撮像部１５０の上下側（Ｙ軸の正負方向）から被撮像部１５０を照明角度θで同時に照明する（Ｓ１）。このとき、撮像装置１０は、投写部１７により、絵画２００に赤外光を照射し、図７に示すように絵画２００上に格子状の所定パターン５００を投写する（Ｓ２）。この状態において、撮像装置１０は、カメラ１３をＹ方向（主走査方向）及びＸ方向（副走査方向）に移動させながら所定パターン５００を含む絵画２００を、撮像部１３ａの可視光画像を撮像するための画像センサと、赤外線画像を撮像するための画像センサで同時に撮像して、赤外光の所定パターン５００に対応したパターン画像５０１（図８参照）を含まない複数の短冊状の第１画像のデータと、パターン画像５０１を含む複数の短冊状の第２画像のデータを生成する。

画像処理装置２０は、撮像装置１０によって生成された複数の短冊状の第１画像のデータ及び複数の短冊状の第２画像のデータを取得する（Ｓ３）。画像処理装置２０は、各第２画像に含まれるパターン画像５０１（図８参照）の歪み量を検出する（Ｓ４）。画像処理装置２０は、図８に示すように、パターン画像５０１から検出した各歪み量に基づいてこの歪みをキャンセルするように各第１画像の歪み補正を行う（Ｓ５）。画像処理装置２０は、図５に示すように、補正した複数の第１画像を合成して色画像のデータを生成する（Ｓ６）。このとき、第１照明部１４及び第２照明部１５の両方により同時に絵画２００が照明されているため、凸部２０１の陰影を含まない画像データが得られる。すなわち、このようにして得られる色画像のデータは、絵画２００の各画素の色情報（ＲＧＢ又はＣＭＹＫ）を含み、凸部２０１の陰影を含まない２次元画像の画像データである。

このように、所定パターン５００を撮影したパターン画像５０１の歪み量を検出し、この歪み量に基づいて絵画を撮影した画像の歪み補正を行う。これにより、レンズ歪みによる画像の歪みを補正することができる。また、絵画と所定パターン５００とを同時に撮影するので、カメラ１３の蛇行等による画像の歪みをも補正することができる。そのため、複数の画像を正確に合成することができる。

次に、撮像装置１０は、図４（ａ）のように第１照明部１４のみによって絵画２００の被撮像部１５０を照明する（Ｓ７）。このとき、撮像装置１０は、投写部１７により、絵画２００に赤外光を照射し、図７に示すように絵画２００上に格子状の所定パターン５００を投写する（Ｓ８）。この状態において、撮像装置１０は、カメラ１３をＹ方向（主走査方向）及びＸ方向（副走査方向）に移動させながら所定パターン５００を含む絵画２００を、撮像部１３ａの可視光画像を撮像するための画像センサと、赤外線画像を撮像するための画像センサで同時に撮像して、赤外光の所定パターン５００に対応したパターン画像５０１（図８参照）を含まない複数の短冊状の第３画像のデータと、パターン画像５０１を含む複数の短冊状の第４画像のデータを生成する。

画像処理装置２０は、撮像装置１０によって生成された複数の短冊状の第３画像のデータ及び複数の短冊状の第４画像のデータを取得する（Ｓ９）。画像処理装置２０は、各第４画像に含まれるパターン画像５０１（図８参照）の歪み量を検出する（Ｓ１０）。画像処理装置２０は、図８に示すように、パターン画像５０１から検出した各歪み量に基づいてこの歪みをキャンセルするように各第３画像の歪み補正を行う（Ｓ１１）。画像処理装置２０は、図５に示すように、補正した複数の第３画像を合成して第１陰影画像のデータを生成する（Ｓ１２）。陰影画像のデータは、凸部２０１の下側の陰影Ｓ１を含む２次元画像の画像データである。画像処理装置２０は、例えば画素の輝度値又は色に基づいて、第１陰影画像に含まれる凸部２０１の下側の陰影Ｓ１の長さ（例えば、画素数）を算出する（Ｓ１３）。画像処理装置２０は、算出した陰影Ｓ１の長さと第１照明部１４の照明角度θとに基づいて、凸部２０１の下側の高さＨ１を算出する（Ｓ１４）。

このように、第１陰影画像を生成するときにも、色画像を生成するときと同様に、レンズ歪みによる画像の歪み、及び、カメラ１３の蛇行等による画像の歪みを補正することができる。そのため、複数の画像を正確に合成することができる。

次に、撮像装置１０は、図４（ｂ）のように第２照明部１５のみによって絵画２００の被撮像部１５０を照明する（Ｓ１５）。このとき、撮像装置１０は、投写部１７により、絵画２００に赤外光を照射し、図７に示すように絵画２００上に格子状の所定パターン５００を投写する（Ｓ１６）。この状態において、撮像装置１０は、カメラ１３をＹ方向（主走査方向）及びＸ方向（副走査方向）に移動させながら所定パターン５００を含む絵画２００を、撮像部１３ａの可視光画像を撮像するための画像センサと、赤外線画像を撮像するための画像センサで同時に撮像して、赤外光の所定パターン５００に対応したパターン画像５０１（図８参照）を含まない複数の短冊状の第５画像のデータと、パターン画像５０１を含む複数の短冊状の第６画像のデータを生成する。

画像処理装置２０は、撮像装置１０によって生成された複数の短冊状の第５画像のデータ及び複数の短冊状の第６画像のデータを取得する（Ｓ１７）。画像処理装置２０は、各第６画像に含まれるパターン画像５０１（図８参照）の歪み量を検出する（Ｓ１８）。画像処理装置２０は、図８に示すように、パターン画像５０１から検出した各歪み量に基づいてこの歪みをキャンセルするように各第５画像の歪み補正を行う（Ｓ１９）。画像処理装置２０は、図５に示すように、補正した複数の第５画像を合成して第２陰影画像のデータを生成する（Ｓ２０）。第２陰影画像のデータは、凸部２０１の上側の陰影Ｓ２を含む２次元画像の画像データである。画像処理装置２０は、例えば輝度値又は色に基づいて、第２陰影画像に含まれる凸部２０１の上側の陰影Ｓ２の長さ（例えば、画素数）を算出する（Ｓ２１）。画像処理装置２０は、算出した陰影Ｓ２の長さと第２照明部１５の照明角度θとに基づいて、凸部２０１の上側の高さＨ２を算出する（Ｓ２２）。

このように、第２陰影画像を生成するときにも、色画像を生成するときと同様に、レンズ歪みによる画像の歪み、及び、カメラ１３の蛇行等による画像の歪みを補正することができる。そのため、複数の画像を正確に合成することができる。

画像処理装置２０は、第１陰影画像のデータに基づいて算出した凸部２０１の下側の高さＨ１と、第２陰影画像のデータに基づいて算出した凸部２０１の上側の長さＨ２とに基づいて、凸部２０１全体の高さＨ３を算出する。凸部２０１の全体の高さは、例えば、凸部２０１の下側の高さＨ１と上側の高さＨ２とに基づいて、その間の高さＨ３を補間することによって算出できる。

このようにして、画像処理装置２０は、絵画２００に含まれる全ての凸部２０１の高さを算出することによって、絵画２００の画像全体（画像を構成する全画素）の高さを算出し、画像全体の高さ情報として高さ画像データを生成する（Ｓ２３）。例えば、画像内の各画素の高さを数値で表した高さ画像データを生成する。

その後、画像処理装置２０は、色画像データと高さ画像データとを印刷装置３０に出力する（Ｓ２４）。

以上のように生成された色画像データと高さ画像データとを用いて、印刷装置３０は複製画像を生成する。図１０は、印刷装置３０による印刷により形成された複製画像の断面の例を示した図である。印刷装置３０は、画像処理装置２０から出力された高さ画像データに基づいて、基材（紙、布、プラスチックなど）７１の上に、透明インク７２を複数回印刷する。例えば、高さ画像データの数値が大きい画素ほど透明インクの吐出量を多くする。透明インク７２は、紫外線を当てることによってすぐに硬化するため、下層を印刷したあとすぐに上層を印刷することが可能である。透明インク７２を複数回印刷することによって、複数の層が形成され、透明インクの吐出量が多い画素がより高く盛り上がるため、凸部２０１を表すことができる。印刷装置３０は、画像処理装置２０から出力された色画像データに基づいて、透明インク７２の上面にカラーインク７３を使用して画像を印刷する。これにより、凸部２０１を再現した絵画２００を複製することができる。

３．効果等
以上のように、本実施の形態において、複製システム１００（画像処理システム１１０）は、撮像装置１０と画像処理装置２０とを備える。撮像装置１０は、第１及び第２照明部１４、１５と、投写部１７と、撮像部１３ａと、移動装置１６とを有する。第１及び第２照明部１４、１５は、絵画２００を照明する。投写部１７は、絵画２００上に所定パターン５００を投写する（図７参照）。撮像部１３ａは、第１及び第２照明部１４、１５により照明された絵画２００を所定パターン５００を含まずに撮影して第１画像データを生成し、第１及び第２照明部１４、１５により照明された絵画２００を所定パターン５００と共に撮影して第２画像データを生成する。移動装置１６は、第１及び第２照明部１４、１５及び撮像部１３ａを絵画２００に対して相対的に移動させる。画像処理装置２０は、第２画像データが示す第２画像４１０における所定パターン５００に対応したパターン画像５０１の歪み量を検出し、検出した歪み量に基づいて第１画像データが示す第１画像３１０の歪み補正を行う（図８参照）。

従来の絵画の複製品（レプリカ）は、カメラやスキャナ等により撮影したデータをカラー印刷して生成されていたため平面状であり、絵画に含まれる凸部は再現されていなかった。そのため、従来の絵画の複製品は見る人の視点の変化や、当てる照明の変化が反映されず、実物感が不足していた。また、従来、樹脂等を使用して凹凸感を表現することは可能であったが、手作業で凸部を生成しなければならず、高価であった。

一方、本開示の複製システム１００によれば、所定の角度で絵画を照明した状態で絵画を撮像することによって、絵画の凸部の陰影を撮影し、この陰影の長さから凸部の高さを算出している。よって、絵画を複製する際に、絵画の凸部（絵画表面の高さ）を再現することができる。これにより、より実物に近い絵画の複製物を生成することができる。

また、本開示の複製システム１００（画像処理システム１１０）によれば、所定パターン５００を撮影したパターン画像５０１の歪み量を検出し、この歪み量に基づいて絵画を撮影した画像の歪み補正を行う。これにより、レンズ歪みによる画像の歪みを補正することができる。また、絵画と所定パターン５００とを同時に撮影するので、カメラ１３の蛇行等による画像の歪みをも補正することができる。そのため、複数の画像を正確に合成することができる。

本開示の複製システム１００によれば、絵画２００の表面の高さを測定するために、特殊な凹凸測定装置を使用していない。よって、安価に、凹凸感のある複製品を作成することができる。

また、本開示の複製システム１００によれば、高さ情報を得るために、絵画にレーザを照射していないため、絵画に負荷を掛けることなく、凹凸感のある複製品を作成することができる。

（実施形態２）
実施形態１では、絵画２００上に赤外光による所定パターンを投写した。実施形態２では、絵画２００上に可視光による所定パターンを投写する。

実施形態２の複製システム１００（画像処理システム１１０）は、実施形態１の複製システム１００（画像処理システム１１０）と比較して、撮像装置１０における投写部１７、カメラ１３の構成、及び制御部１２の機能、動作が異なる。

投写部１７は、可視光を照射する複数の可視光光源を含む。これらの可視光光源は、例えばＬＥＤ（発光ダイオード）である。図７に示すように、複数の可視光光源の一部は、絵画のＸ方向の一側面に沿って直線上に配置され、複数の可視光光源の他の一部は、絵画のＹ方向の一側面に沿って直線上に配置される。投写部１７は、制御部１２の制御により、絵画２００上に可視光による所定パターンを断続的に所定周期で繰り返し投写する。本実施形態でも、所定パターンは格子状のパターンである。

カメラ１３における撮像部１３ａは、可視光画像を撮像するための画像センサのみを含んでいればよい。撮像部１３ａは、制御部１２の制御により、投写部１７による所定のパターンの所定周期での繰り返し投写に同期して、可視光の所定パターンが投写されていない絵画２００と、所定パターンが投写された絵画２００とを交互に撮影する。これにより、撮像部１３ａは、所定パターンに対応したパターン画像を含まない第１画像データ（又は、第３画像データ、第５画像データ）と、パターン画像を含む第２画像データ（又は、第４画像データ、第６画像データ）とを生成する。

制御部１２は、投写部１７の所定周期での点滅タイミング、及び、カメラ１３の所定周期での撮影タイミングを制御する。

この実施形態２の複製システム１００（画像処理システム１１０）でも、実施形態１の複製システム１００（画像処理システム１１０）と同様の利点を得ることができる。すなわち、所定パターン５００を撮影したパターン画像５０１の歪み量を検出し、この歪み量に基づいて絵画を撮影した画像の歪み補正を行うので、レンズ歪みによる画像の歪みを補正することができる。また、絵画と所定パターン５００とを略同時に撮影するので、カメラ１３の蛇行等による画像の歪みをも補正することができる。そのため、複数の画像を正確に合成することができる。

（実施形態３）
本開示が解決する別の課題について説明する。図１１に示すように、格子状の所定パターン５００を用いた場合、移動装置１６によるカメラ１３の移動速度が変動すると、Ｙ方向（移動方向）に画像４１０が伸縮する歪みが生じる。例えば、移動速度が速くなるとＹ方向（移動方向）に画像４１０が縮み、Ｙ方向に直交するラインの間隔が狭くなる。一方、移動速度が遅くなるとＹ方向（移動方向）に画像４１０が伸び、Ｙ方向に直交するラインの間隔が広くなる。このような移動速度の変動による画像の歪みは、Ｙ方向（移動方向）に平行なライン及び垂直なラインを有する格子状の所定パターンでは検出が困難である。

そこで、本開示では、移動装置（駆動部）１６による移動方向（Ｙ方向）に延びるラインが移動方向と非平行な所定パターンを用いる。

実施形態３の複製システム１００（画像処理システム１１０）は、実施形態１の複製システム１００（画像処理システム１１０）と比較して、撮像装置１０における投写部１７の構成が異なる。

上述したように、投写部１７における複数の赤外光光源の一部は、絵画２００のＸ方向の一側面に沿って直線上に配置され、複数の赤外光光源の他の一部は、絵画２００のＹ方向の一側面に沿って直線上に配置される（図７参照）。絵画２００のＹ方向の一側面側に配列された光源は、光の出射方向が不規則的に異なるように設定される。具体的には、図１２に示すように、投写部１７により投写される所定パターン５００ｂは、移動装置（駆動部）１６による移動方向（Ｙ方向）に直交する第１ライン５１０と、第１ライン５１０と交差する第２ライン５２０とを有し、第２ライン５２０は移動方向と非平行に設定される。なお、第１ライン５１０は移動装置１６による移動方向に交差し、直交せずともよい。

この所定パターン５００ｂを撮影したパターン画像においては、カメラ１３の移動速度の変動により第１ライン５１０と第２ライン５２０とがなす角度が変化する。例えば、カメラ１３の移動速度が速くなり、第１ライン５１０の間隔が狭くなると、図１３に示すように、第１ライン５１０と第２ライン５２０との交差点Ａにおけるこれらのライン５１０、５２０がなす角度θ１が小さくなる。一方、カメラ１３の移動速度が遅くなり、第１ライン５１０の間隔が広くなると、第１ライン５１０と第２ライン５２０との交差点Ｂにおけるこれらのライン５１０、５２０がなす角度θ２が大きくなる。これより、画像処理装置２０は、第１ライン５１０と第２ライン５２０とがなす角度を例えば画像処理等により検出することにより、移動速度の変動による画像の歪みを検出することが可能となる。

そして、画像処理装置２０は、この角度の変化量に応じて、第１ライン５１０の間隔ごとに伸縮量、すなわち歪み補正量を決定すればよい。なお、上記説明は一例であり、図１３における検出角度位置によって画像伸縮と角度変化との関係が異なる。

実施形態３の所定パターン５００ｂは、実施形態２の複製システム１００（画像処理システム１１０）に適用しても、実施形態１の複製システム１００（画像処理システム１１０）に適用したと同様の利点を得ることができる。すなわち、レンズ歪みによる画像の歪み、及びカメラ１３の蛇行等による画像の歪みを補正することができる。

さらに、実施形態３の複製システム１００（画像処理システム１１０）では、上述したように、所定パターン５００ｂにおいて、移動装置（駆動部）１６による移動方向（Ｙ方向）に延びる第２ライン５２０が移動方向と非平行である。これより、第１ライン５１０と第２ライン５２０とがなす角度を検出することにより、移動速度の変動による画像の歪みを検出することが可能となり、駆動装置の速度変動による画像の歪みを補正することが可能となる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜３で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

上記の実施の形態では、ＬＥＤ等の複数の光源を備える投写部１７を例示した。しかし、本開示はこれに限定されず、投写部１７として種々の光源やプロジェクタ等の投写装置を用いてもよい。

上記の実施の形態３では、絵画２００上に直線状のラインからなる所定パターンを投写した。しかし、本開示はこれに限定されず、所定パターンとして種々のパターンを用いてもよい。例えば、図１４に示すようにカメラ１３の移動方向（Ｙ方向）に延びるラインがジグザグなラインとする所定パターン５００ｃを用いてもよい。このような所定パターン５００ｃは例えば投写部１７としてプロジェクタを用いることにより実現可能である。

上記の実施の形態では、絵画２００の全体に所定パターンを投写したが、カメラ１３の移動に追従して、撮像エリア近傍のみに選択的に所定パターンを投写してもよい。これにより、絵画２００の全体に所定パターンを長時間照射することによる絵画２００の劣化を抑制することができる。このような形態は、投写部１７としてプロジェクタを用いることにより実現可能である。

上記の実施の形態では、例えば図１２に示すように、移動装置（駆動部）１６による移動方向（Ｙ方向）に交差する第１ライン５１０と、第１ライン５１０と交差する第２ライン５２０とを有する所定パターン５００において、隣り合う第２ライン５２０の色を互いに異ならせてもよい。これにより、画像合成する際に、重ね合わせ部分の位置の識別が簡易となる。また、第１ライン５１０、及び、第２ライン５２０が赤外光などの非可視光の場合、発光波長特性を異ならせる。

上記の実施の形態では、撮像装置１０は、カメラ１３に対して上下方向（Ｙ軸方向）に配置された第１照明部１４及び第２照明部１５を備えたが、撮像装置はこれに限定されるものではない。撮像装置１０は、カメラ１３に対して左右方向（Ｘ軸方向）に配置された第３照明部及び第４照明部をさらに備えても良い。この場合、第３照明部及び第４照明部は、被撮像部１５０の左右方向から照明角度θで被撮像部１５０を照明する。これにより、凸部２０１の左右方向についての陰影付きの画像データが得られる。この場合、凸部２０１の上下方向及び左右方向の陰影から算出した高さに基づいて、凸部２０１の全体の高さを算出しても良い。この場合にも、被撮像部１５０を第３照明部及び第４照明部により照明して撮像し、凸部２０１の左右方向についての陰影付きの画像データを生成する際に、上述した画像の歪み補正を適用すればよい。

上記の実施の形態では、撮像装置１０は、ラインスキャンカメラを用いたスキャナとしたが、撮像装置はスキャナに限定されるものではない。陰影付きの画像データを、凸部の高さが算出できる形で取得できればよいため、例えば、二次元画像を取得できる通常のカメラであっても良い。

上記の実施の形態では、本開示の複製システム１００の複製対象として絵画を例として説明したが、複製対象は絵画に限定されるものではない。本開示の複製システム１００の思想は、凸部を有する平面状の物体を、物体表面の高さ情報を含めて複製する際に適用できる。

さらに、上記の実施の形態では、凸部を有する物体（例えば、絵画）を複製する複製システム１００に適用した画像処理システム１１０を説明した。しかし、本開示の画像処理システム１１０は、物体を撮影して画像を生成する際に画像の歪み補正を行う種々の装置に適用可能である。

本開示の複製システム１００は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現可能である。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

例えば、上述の実施形態では移動装置１６が、カメラ１３、第１照明部１４、及び第２照明部１５をスキャン方向に移動させる構成としているが、例えばカメラ１３、第１照明部１４、及び第２照明部１５を固定し、絵画２００及び所定パターン５００を移動させる構成としても良い。本開示の課題解決においてはカメラ１３、第１照明部１４、及び第２照明部１５の相対的な位置関係が明確であればよく、スキャンの方法は課題解決に必須ではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、物体を撮影して生成された画像の歪み補正を行う画像処理装置に適用可能である。

１０ 撮像装置
１１ 入出力部
１１ａ 入力部
１１ｂ 通信部
１２ 制御部
１３ カメラ
１３ａ 撮像部
１３ｂ メモリ
１４ 第１照明部
１５ 第２照明部
１６ 移動装置
１７ 投写部
２０ 画像処理装置
２１ 入出力部
２１ａ 入力部
２１ｂ 通信部
２２ 制御部
２３ メモリ
３０ 印刷装置
１００ 複製システム
１１０ 画像処理システム

Claims (11)

1. 物体を照明する照明部と、前記物体上に所定パターンを投写する投写部と、前記照明部により照明された前記物体を前記所定パターンを含まずに撮影して第１画像データを生成し、前記照明部により照明された前記物体を前記所定パターンと共に撮影して第２画像データを生成する撮像部と、前記照明部及び前記撮像部を前記物体に対して相対的に移動させる駆動部と、を有する撮像装置と、
   前記第２画像データが示す第２画像における前記所定パターンに対応したパターン画像の歪み量を検出し、検出した前記歪み量に基づいて前記第１画像データが示す第１画像の歪み補正を行う画像処理装置と、
   を備える画像処理システム。
2. 前記照明部は可視光を照射し、
   前記投写部は前記所定パターンを非可視光により投写し、
   前記撮像部は、前記所定パターンを含む前記物体を撮影して、前記第１画像データと前記第２画像データとを同時に生成する、
   請求項１に記載の画像処理システム。
3. 前記撮像部は、可視光を撮像する第１画像センサと、非可視光を撮像する第２画像センサを有し、
   前記第１画像センサで前記第１画像データを撮影し、前記第２画像センサで前記第２画像データを撮影する、
   請求項２に記載の画像処理システム。
4. 前記非可視光は赤外光である、
   請求項２又は３に記載の画像処理システム。
5. 前記照明部は可視光を照射し、
   前記投写部は可視光による前記所定パターンを断続的に所定周期で繰り返し投写し、
   前記撮像部は、前記所定周期に同期して、前記所定パターンを含まない前記物体と前記所定パターンを含む前記物体とを交互に撮影して前記第１画像データ及び前記第２画像データを生成する、
   請求項１に記載の画像処理システム。
6. 前記所定パターンは格子状のパターンである、
   請求項１乃至５のいずれかに記載の画像処理システム。
7. 前記所定パターンは、前記駆動部による移動方向に交差する第１ラインと、前記第１ラインと交差する第２ラインとを有し、
   前記第１ライン及び第２ラインは前記駆動部による移動方向と非平行である、
   請求項６に記載の画像処理システム。
8. 前記所定パターンは、前記駆動部による移動方向に交差する第１ラインと、前記第１ラインと交差する第２ラインとを有し、
   隣り合う前記第２ラインの発光波長特性は互いに異なる、
   請求項６に記載の画像処理システム。
9. 前記物体は凸部を有し、
   前記第１画像データが示す前記第１画像は、前記物体の凸部による陰影を示す陰影情報を含み、
   前記画像処理装置は、前記陰影情報に基づいて前記物体の表面の高さを示す高さ情報を生成する、
   請求項１乃至８のいずれかに記載の画像処理システム。
10. 前記画像処理装置は、歪み補正を行った前記第１画像の陰影情報に基づいて前記物体の表面の高さを示す高さ情報を生成する、
    請求項９に記載の画像処理システム。
11. 駆動部により照明部及び撮像部を物体に対して相対的に移動させ、
    前記照明部により照明された前記物体を、投写部により前記物体上に投写される所定パターンを含まずに前記撮像部により撮影して第１画像データを生成し、
    前記照明部により照明された前記物体を、前記所定パターンと共に前記撮像部により撮影して第２画像データを生成し、
    前記第２画像データが示す第２画像における前記所定パターンに対応したパターン画像の歪み量を検出し、検出した前記歪み量に基づいて前記第１画像データが示す第１画像の歪み補正を行う、
    画像処理方法。

Images