JP2019174116A - 画像処理システム及び方法 - Google Patents

Abstract

【課題】凸部を有する物体を複製するのに有効な画像処理システムを提供する。【解決手段】画像処理システム１１０は、物体を異なる方向から照明する第１及び第２照明部１４、１５と、第１及び第２照明部の両方により照明された物体を撮影し、物体の色情報を含む画像データを生成し、第１及び第２照明部の一方により照明された物体を撮影し、凸部による陰影を示す陰影情報を生成する撮像部１３ａとを有する撮像装置１０と、陰影情報に基づいて物体の表面の高さを示す高さ情報を生成する画像処理装置２０とを備える。第１及び第２照明部１４、１５は複数の光源１４Ａ〜１４Ｃ、１５Ａ〜１５Ｃを有する。撮像部１３ａが陰影情報を生成するとき、第１及び第２照明部１４、１５の一方における複数の光源の一つが物体を照明する。【選択図】図１

Description

本開示は、凸部を有する物体（例えば、絵画）を複製するためのデータを生成する画像処理システム及び方法に関する。

特許文献１は、平面の原画像に高さ方向の情報を付加して立体画像データを生成する画像処理装置を開示する。この画像処理装置は、原画像データの焦点情報に基づいて分離した領域毎に高さ情報を付加することによって、陰影や質感をリアルに表現することを可能にしている。

特開２０１６−６３５２２号公報

本開示は、凸部を有する物体を複製するのに有効な画像処理システム及び方法を提供する。

本開示における画像処理システムは、凸部を有する物体を互いに異なる方向から照明する第１照明部及び第２照明部と、第１照明部及び第２照明部の両方により照明された物体を撮影し、物体の色情報を含む画像データを生成し、第１照明部及び第２照明部の何れか一方により照明された物体を撮影し、凸部による陰影を示す陰影情報を生成する撮像部とを有する撮像装置と、陰影情報に基づいて物体の表面の高さを示す高さ情報を生成し、画像データと共に高さ情報を出力する画像処理装置とを備え、第１照明部及び第２照明部の各々は複数の光源を有し、撮像部が陰影情報を生成するときには、第１照明部及び第２照明部の何れか一方における複数の光源の何れか一つが物体を照明する。

本開示における画像処理方法は、凸部を有する物体を、互いに異なる方向から第１照明部及び第２照明部の両方により、かつ、第１照明部及び第２照明部の両方における複数の光源により照明して撮影し、物体の色情報を含む画像データを生成し、前記物体を、互いに異なる方向のそれぞれから第１照明部及び第２照明部の何れか一方により、かつ、第１照明部及び第２照明部の何れか一方における複数の光源の何れか一つにより照明して撮影し、凸部による陰影を示す陰影情報を生成し、陰影情報に基づいて物体の表面の高さを示す高さ情報を生成し、画像データと共に高さ情報を出力する。

本開示における画像処理システム及び方法は、凸部を有する物体を複製するのに有効である。

実施形態１の複製システムの構成を示すブロック図である。 実施形態１における第１照明部及び第２照明部の構成を示す図（第１照明部における複数の光源の全て及び第２照明部における複数の光源の全てにより照明して陰影画像を撮像する場合について説明する図）である。 実施形態１における撮像装置の移動装置の斜視図である。 実施形態１における撮像装置の移動装置を側面から見たときの概略図である。 実施形態１における撮像時の照明角度と陰影との関係を説明するための図である。 実施形態１における物体からの正反射光がカメラに入射する場合を示す図である。 第１照明部における複数の光源の全てにより照明して陰影画像を撮像する場合について説明する図である。 第１照明部における複数の光源のうちの一つにより照明して陰影画像を撮像する場合について説明する図である。 実施形態１における撮像装置及び画像処理装置（すなわち、画像処理システム）による色画像データと高さ画像データの生成処理を示すフローチャートである。 実施形態１における印刷装置による印刷により形成された複製画像の断面の例を示した図である。 実施形態２における撮像装置及び画像処理装置（すなわち、画像処理システム）による色画像データと高さ画像データの生成処理を示すフローチャートの一部である。 実施形態２における撮像装置及び画像処理装置（すなわち、画像処理システム）による色画像データと高さ画像データの生成処理を示すフローチャートの残りの一部である。 実施形態２における物体からの正反射光がカメラに入射する場合を示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施形態１）
実施形態１について、図面を用いて説明する。本実施形態においては、凸部を有する物体（例えば、油彩画などの絵画）の色彩と共に、物体の凹凸感についても再現可能な複製システムを提供する。

１．構成
図１は、本実施形態の複製システムの構成を示している。本実施形態の複製システム１００は、物体（本実施形態において、絵画）を撮像して画像データを生成する撮像装置１０と、生成された画像データを処理して絵画の複製に必要な画像情報（高さ画像データ及び色画像データ）を出力する画像処理装置２０と、画像情報に基づいた印刷により絵画を複製する印刷装置３０と、を備える。撮像装置１０と画像処理装置２０とは、本実施形態の画像処理システム１１０を構成する。

本実施形態の撮像装置１０は、ラインスキャンカメラを用いたスキャナである。撮像装置１０は、撮像の開始の指示を受け付け、撮像した絵画の画像データを出力する入出力部１１と、撮像装置１０全体を制御する制御部１２と、絵画を撮像して画像データを生成するカメラ１３と、絵画を照明する第１照明部１４及び第２照明部１５と、カメラ１３と第１及び第２照明部１４、１５とを移動させる移動装置１６と、を備える。

入出力部１１は、入力部１１ａと通信部１１ｂとを含む。入力部１１ａは、キーボード、マウス、タッチパネル等である。通信部１１ｂは、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。撮像装置１０は、例えば、撮像開始の指示を入力部１１ａ又は通信部１１ｂを介して入力し、絵画を撮像して生成した画像データを通信部１１ｂから出力する。

制御部１２は、入力された撮像開始の指示に基づいて、移動装置１６により、カメラ１３、第１及び第２照明部１４、１５を同時に移動させながら、第１及び第２照明部１４、１５の少なくともいずれか一方により絵画を照明した状態で、カメラ１３により絵画を撮像させる。制御部１２は、半導体素子などで実現可能である。制御部１２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部１２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。

カメラ１３は、撮像部１３ａとメモリ１３ｂとを含む。撮像部１３ａは、例えば、ＣＣＤラインセンサ又はＣＭＯＳラインセンサを含み、１ラインずつ絵画をスキャン撮像して、絵画の画像データを取り込む。撮像部１３ａが取り込んだ画像データはメモリ１３ｂに格納される。メモリ１３ｂは、例えば、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、又は磁気ディスク、又はこれらの組み合わせによって実現できる。

第１及び第２照明部１４、１５は、スキャン用の照明光源である。本実施形態において、第１及び第２照明部１４、１５は、カメラ１３の両側に設置される。第１照明部１４又は第２照明部１５によって絵画を照明した状態で、カメラ１３で絵画を撮像することによって、絵画の凸部の陰影が含まれる画像の画像データを生成することができる。

図２は、第１及び第２照明部１４、１５の構成を示す模式図である。なお、図２では、第１及び第２照明部１４、１５、及びカメラ１３を支持するための機構（後述するフレーム１６ｅ等）を省略している。第１照明部１４は複数の光源として第１光源１４Ａ、第２光源１４Ｂ及び第３光源１４Ｃを含み、第２照明部１５は複数の光源として第１光源１５Ａ、第２光源１５Ｂ、第３光源１５Ｃを含む。各光源１４Ａ、１４Ｂ、１４Ｃ、１５Ａ、１５Ｂ、１５Ｃは、例えば、高演色性の白色発光ダイオード（ＬＥＤ）を直線状に配置したラインＬＥＤなどである。また、各光源１４Ａ、１４Ｂ、１４Ｃ、１５Ａ、１５Ｂ、１５Ｃは、物体２００の被撮像部１５０から同じ距離、つまり、図２のように物体の被撮像部１５０を中心に描いた円弧上に配置されている。この配置により、いずれの光源を点灯させた時でも、被撮像部１５０は同じ明るさに照明される。

図１に戻り、移動装置１６には、カメラ１３、第１及び第２照明部１４、１５が連結されている。移動装置１６は、カメラ１３、第１及び第２照明部１４、１５をスキャン方向に移動させる。これにより、カメラ１３は移動しながら絵画を１ラインずつ撮像することが可能になる。撮像装置１０は、ライン毎にスキャンしてメモリ１３ｂに取り込んだ画像データを組み合わせて二次元画像のデータを生成し、通信部１１ｂから出力する。

画像処理装置２０は、画像データを入力して物体の表面の高さを示す高さ情報を出力する入出力部２１と、画像処理装置２０全体を制御するとともに入力された画像データを処理して、物体の表面の凸部の高さを示す高さ情報を生成する制御部２２と、メモリ２３とを含む。入出力部２１は、入力部２１ａと通信部２１ｂとを含む。入力部２１ａは、キーボード、マウス、タッチパネル等である。通信部２１ｂは、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。画像処理装置２０は、例えば、ユーザによる画像データの取り込みの指示を入力部２１ａを介して入力すると、画像データの取り込み要求を通信部２１ｂを介して撮像装置１０に出力して、撮像装置１０から送信された画像データを通信部２１ｂを介して受信する。

制御部２２は、受信した画像データの画像に含まれる陰影の長さから、絵画の表面の高さ（凸部の高さ）を算出し、算出した高さを示す高さ情報を生成する。具体的には、高さ情報として、絵画の表面の高さを画素毎に数値で表した高さ画像データを生成する。生成された情報はメモリ２３に格納される。また、制御部２２は、生成した高さ情報を通信部２１ｂを介して、印刷装置３０に出力する。制御部２２は、半導体素子などで実現可能である。制御部２２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部２２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。メモリ２３は、例えば、ＲＡＭ、ＤＲＡＭ、ＲＯＭ、強誘電体メモリ、フラッシュメモリ、又は磁気ディスク、又はこれらの組み合わせによって実現できる。

印刷装置３０は、画像処理装置２０から受け取った高さ情報（高さ画像データ）に基づいて、絵画の表面の高さを再現した（凸部を含む）画像を生成する。印刷装置３０は、例えば、紫外線を当てることで硬化するＵＶインクを用いたＵＶインクジェットプリンタであり、多層印刷により、高さの数値が大きいほどインクを厚く盛り上げて、凸部を含む画像を生成する。

図３は、移動装置１６の斜視図である。図４は、移動装置１６を側面から見たときの概略図である。図３及び図４において、Ｙ方向は、撮像装置（スキャナ）１０の１ライン毎のスキャン方向（主走査方向）であり、Ｘ方向は、Ｙ方向に直交する方向（副走査方向）である。図３及び図４に示すように、撮像装置１０の移動装置１６は、Ｙ方向に延在する第１ガイドレール１６ｂと、第１ガイドレール１６ｂ沿いに進退移動する第１可動体１６ａと、Ｘ方向に延在する第２ガイドレール１６ｃと、第２ガイドレール１６ｃ沿いに進退移動する第２可動体１６ｄと、第１可動体１６ａに連結されたフレーム１６ｅとによって、構成される。第１可動体１６ａ及び第２可動体１６ｄは、モータ等の駆動により進退移動する。図４に示すように、カメラ１３と第１及び第２照明部１４、１５は、フレーム１６ｅに固定される。この構成により、カメラ１３と第１及び第２照明部１４、１５は、ＸＹ方向に移動可能である。なお、移動装置１６は、第１及び第２照明部１４、１５を昇降可能にさせる第３可動体１６ｆを有することもできる。カメラ１３が絵画２００をスキャン撮像するとき、制御部１２は、移動装置１６を駆動制御して、カメラ１３と第１及び第２照明部１４、１５とを一体的にスキャン方向に一定速度で平行移動させる。図３及び図４では、Ｙ方向に絵画２００の上下が位置するように配置されている。すなわち、絵画２００の上から下に向けて１ライン毎にスキャンされる。スキャン方向は、絵画２００の上下方向に限定されるものではなく、任意の方向でもよい。例えば、スキャン方向は、絵画２００の配置又は向きに応じて、上下方向、左右方向、又は斜め方向でもよい。

カメラ１３は、絵画２００を撮像して各画素について色情報（ＲＧＢ又はＣＭＹＫ）を含む色画像及び陰影情報を含む陰影画像を取得し、メモリ１３ｂに記憶する。

本実施形態においては、図４に示すように、第１照明部１４の第２光源１４Ｂ及び第２照明部１５の第２光源１５Ｂの照明光による、カメラ１３の直下の絵画２００の被撮像部１５０（１ライン分）への照明方向１４ｂ，１５ｂと、平置きされた絵画２００全面（主面）との間の角度（照明角度）θｂが一定角度になるようにして、被撮像部１５０を照明する。この一定角度θｂは、例えば３０°である。第１及び第２照明部１４、１５は、それぞれ、カメラ１３の直下の被撮像部１５０に対して、被撮像部１５０（すなわち、絵画）の上側方向と下側方向（Ｙ軸方向の上下）から、照明する。このように、絵画２００に対して、斜め上方向または斜め下方向から被撮像部１５０を照明することによって、陰影付きの画像データを生成することができる。なお、照明角度θｂは、照明によって陰影が現れる角度であれば良く、特に、２０°〜４５°が適している。

また、第１光源１４Ａ、１５Ａの照明方向１４ａ、１５ａおよび第３光源１４Ｃ、１５Ｃの照明方向１４ｃ、１５ｃは、第２光源１４Ｂ、１５Ｂの照明方向１４ｂ、１５ｂと照明角度の差Δθを３°〜１０°としている。各々の光源の照明角度の差Δθが大きいほど、絵画２００の凸部２０１での正反射光の位置が異なるので、撮像する色画像における白飛びやハイライトの位置を移動させることができ、色画像データの白飛びやハイライトをより低減することができる。但し、照明角度の差Δθが大きいほど第１及び第２照明部１４、１５の構造が大きくなるため、移動装置１６の負荷や第１及び第２照明部１４、１５の移動時の揺れが大きくなる問題を発生させる。

これらのことから、第１光源１４Ａ、１５Ａの照明方向１４ａ、１５ａに関する照明角度θａは、１０°〜４２°で、第３光源１４Ｃ、１５Ｃの照明方向１４ｃ、１５ｃに関する照明角度θｃは、２３°〜５５°が適している。

図５（ａ）は、第１照明部１４が絵画２００を上側から照明したときに生じる陰影を示している。図５（ｂ）は、第２照明部１５が絵画２００を下側から照明したときに生じる陰影を示している。図５において、第２光源１４Ｂ、１５Ｂで照明したときを例示している。絵画２００には、例えば、油彩画などのように色を重ね塗りすることによって形成された凸部（絵の具の厚み部分）２０１が含まれる場合がある。本実施形態の複製システム１００は、絵画を複製する際に、色彩に加え、絵画の凸部２０１についても複製する。そのために、本実施形態の複製システム１００は、絵画の凸部２０１の高さを算出する。図５（ａ）に示すように、第１照明部１４によって絵画２００を斜め上側から照明すると、凸部２０１の下側（Ｙ軸の正方向）に凸部２０１の陰影Ｓ１が現れる。画像処理装置２０は、この陰影Ｓ１の長さ（画素数）と第１照明部１４の第２光源１４Ｂの照明角度θｂとに基づいて、凸部２０１の下側の高さＨ１を算出する（Ｈ１＝陰影Ｓ１の長さ×tan（θｂ））。同様に、第２照明部１５によって絵画２００を斜め下側から照明すると、凸部２０１の上側（Ｙ軸の負方向）に凸部２０１の陰影Ｓ２が現れる。画像処理装置２０は、この陰影Ｓ２の長さ（画素数）と第２照明部１５の第２光源１５Ｂの照明角度θｂとに基づいて、凸部２０１の上側の高さＨ２を算出する（Ｈ２＝陰影Ｓ２の長さ×tan（θｂ））。

２．動作
［本開示の課題］
絵画２００を二方向から照明した状態で、カメラ１３により絵画２００をスキャン撮像して色画像を生成する際、白飛びやハイライトによるテカリが発生する場合があった。白飛びやハイライトによるテカリの発生を低減するためには、第１及び第２照明部１４、１５として拡散光光源を用いることが考えられる。ここで、拡散光光源とは、指向性が低い拡散光を出射する光源である。言い換えると、拡散光源は、ある照射位置に対して複数の光を異なる照射角度で照射する光源である。

上記の課題を解決するため、本実施形態１では、図２に示すように、第１及び第２照明部１４、１５を複数の光源１４Ａ、１４Ｂ、１４Ｃ又は１５Ａ、１５Ｂ、１５Ｃで構成する。第１照明部１４は、光源１４Ａ〜１４Ｃを同時に点灯することにより、ある照射位置に対して複数の光を異なる照射角度で照射する。これにより、第１照明部１４は、拡散光源のように機能し、拡散光のような光を出射することができる。同様に、第２照明部１５は、光源１５Ａ〜１５Ｃを同時に点灯することにより、拡散光源のように機能する。このような拡散光により、以下に説明するように、撮像した色画像における白飛びやハイライトによるテカリの発生を低減できる。

図６（ａ）及び図６（ｂ）は、物体２００からの正反射光がカメラ１３に入射する場合を示す図である。図６（ａ）と図６（ｂ）とは、物体２００に対する第１照明部１４の光源１４Ａ、１４Ｂ及びカメラ１３の位置が異なる。例えば、図６（ａ）の状態から光源１４Ａ、１４Ｂ及びカメラ１３がスキャン方向に移動した状態が図６（ｂ）に示されている。これより、図６（ａ）の状態と図６（ｂ）の状態とでは、光源１４Ａ、１４Ｂによる物体２００からの正反射光の出射方向が異なる。

図６（ａ）に示すように、各光源１４Ａ、１４Ｂからの照明光が物体２００の法線２２１Ａに対して異なる角度で物体２００に入射することにより、物体２００の照射位置２２０Ａで反射する正反射光１４ａａ、１４ｂｂは法線２２１Ａに対して異なる角度で出射される（図６（ｂ）でも同様）。また、図６（ａ）の状態と図６（ｂ）の状態とでは、光源１４Ａ、１４Ｂによる物体２００の照射位置２２０Ａ、２２０Ｂが異なる。このため、図６（ｂ）の状態における各光源１４Ａ、１４Ｂからの照明光の法線２２１Ｂに対する入射角度は、図６（ａ）の状態における各光源１４Ａ、１４Ｂからの照明光の法線２２１Ａに対する入射角度と異なる。よって、図６（ｂ）の状態における各正反射光１４ａａ、１４ｂｂの法線２２１Ｂに対する出射角度は、図６（ａ）の状態における各正反射光１４ａａ、１４ｂｂの法線２２１Ａに対する出射角度と異なる。なお、図６（ａ）及び図６（ｂ）では、物体２００の表面の微細な凹凸により、拡散光１４ｄも出射する。

これより、図６（ａ）の状態では、光源１４Ｂからの照明光が物体２００で反射した正反射光１４ｂｂがカメラ１３に入射し、光源１４Ａからの照明光が物体２００で反射した正反射光１４ａａはカメラ１３に入射しない。一方、図６（ｂ）の状態では、光源１４Ｂからの照明光が物体２００で反射した正反射光１４ｂｂはカメラ１３に入射せず、光源１４Ａからの照明光が物体２００で反射した正反射光１４ａａがカメラ１３に入射する。このように、複数の光源１４Ａ、１４Ｂを用いても、カメラ１３に入射する光は、何れか一つの光源からの光の正反射光のみとなり、正反射光の強度を低減することができる。これにより、撮像した色画像における白飛びやハイライトによるテカリの発生を低減できる。

しかし、これらの第１及び第２照明部１４、１５を用いて陰影画像を生成する際、以下のような問題がある。

図７は、第１照明部１４における複数の光源１４Ａ、１４Ｂ、１４Ｃの全てにより照明して陰影画像を撮像する場合について説明する図である。以下では、説明の簡略化のために、第１照明部１４の二つの光源１４Ａ、１４Ｂのみに着目して説明する。図７に示すように、例えば第１照明部１４の複数の光源１４Ａ、１４Ｂにより絵画２００を一方向から照明すると、光源１４Ａにより凸部２０１の陰影２１１Ａが生成され、光源１４Ｂにより凸部２０１の陰影２１１Ｂが生成される。このように異なる複数の陰影が存在することで、凸部２０１の陰影の輪郭がぼやけ、陰影の長さが検出し難くなる。光源１４Ｃからの照明が加わると、凸部２０１の陰影の輪郭はさらにぼやけ、その結果、凸部２０１の高さ情報の精度が低下するという問題がある。

この問題を解決するために、本実施形態１では、色画像を生成するときと陰影画像を生成するときとで、点灯する光源の数を変更する。具体的には、色画像を撮像するときには、図２に示すように、第１及び第２照明部１４、１５の両方により絵画２００を二方向から、かつ、第１照明部１４の複数の光源１４Ａ〜１４Ｃの全て及び第２照明部１５の複数の光源１５Ａ〜１５Ｃの全てにより絵画２００を照明する。これより、第１及び第２照明部１４、１５は上述したように拡散光源のように機能し、撮像する色画像における白飛びやハイライトによるテカリの発生を低減することができる。

一方、陰影画像を撮像するときには、図８に示すように、第１照明部１４の複数の光源１４Ａ〜１４Ｃのうちの何れか１つ、又は、第２照明部１５の複数の光源１５Ａ〜１５Ｃのうちの何れか１つにより照明する。図８では、第１照明部１４の光源１４Ｂのみで照明する場合を例示している。これにより、凸部２０１による陰影２１２がぼやけることを低減することができ、陰影２１２の長さが検出し難くなることを低減することができる。

さらに、本実施形態では、色画像を撮像するときに点灯させる複数の光源１４Ａ〜１４Ｃ、１５Ａ〜１５Ｃの各々の照度を、陰影画像を撮像するときに点灯させる一つの光源の照度よりも低く設定する。より具体的には、第１及び第２照明部１４、１５の各々がＮ個の光源を有する場合、色画像を撮像するときに点灯させる２×Ｎ個の光源の各々の照度は、陰影画像を撮像するときに点灯させる一つの光源の照度の１／（２×Ｎ）倍に設定される。これにより、色画像を撮像するとき、カメラ１３に入射する正反射光１４ａａ、１４ｂｂの光量を低減でき、白飛びやハイライトによるテカリの発生をより低減することができる。このとき、複数の光源１４Ａ、１４Ｂにより同時に照明するため、拡散反射光１４ｄの総光量は１つの光源を点灯させたときと同じで、撮像した色画像は白飛びやハイライトによるテカリを低減させた画像となる。

［動作の詳細］
図９に、撮像装置１０及び画像処理装置２０（すなわち、画像処理システム１１０）による色画像データと高さ画像データの生成処理を示す。

まず、撮像装置１０は、図４のように第１及び第２照明部１４、１５の両方により、絵画２００の被撮像部１５０の上下側（Ｙ軸の正負方向）から被撮像部１５０に同時に照明する（Ｓ１）。このとき、撮像装置１０は、第１照明部１４における複数の光源１４Ａ〜１４Ｃの全て及び第２照明部１５における複数の光源１５Ａ〜１５Ｃの全てを点灯させる。さらに、撮像装置１０は、光源１４Ａ〜１４Ｃ、１５Ａ〜１５Ｃの各々の照度を、後述の陰影画像を撮像するときに照明する一つの光源の照度よりも低く設定する。より具体的には、撮像装置１０は、光源１４Ａ〜１４Ｃ、１５Ａ〜１５Ｃの各々の照度を、後述の陰影画像を生成するときに照明する一つの光源の照度の１／６倍に設定する。この状態において、撮像装置１０は、カメラ１３を移動させながら絵画２００を撮像して、色画像データを取得する（Ｓ２）。このとき、カメラ１３は、絵画２００の全体画像を撮像するようにＸ方向及びＹ方向に移動する。第１及び第２照明部１４、１５の両方が同時に絵画２００を照明することによって、凸部２０１の陰影を含まない色画像データが得られる。色画像データは、絵画２００の各画素の色情報（ＲＧＢ又はＣＭＹＫ）を含み、凸部２０１の陰影を含まない２次元画像の画像データである。画像処理装置２０は、撮像装置１０によって生成された色画像データを取得する。

このとき、第１及び第２照明部１４、１５は拡散光源のように機能し、複数の光源１４Ａ〜１４Ｃ、１５Ａ〜１５Ｃからの照明光は絵画２００のある照射位置に対して異なる照射角度で照射する（図６参照）。これより、カメラ１３に正反射光が入射する場合でも、何れか一つの光源からの光の正反射光しか入射せず、撮像する色画像における白飛びやハイライトによるテカリの発生を低減することができる。

また、色画像を撮像するときに照明する複数の光源１４Ａ〜１４Ｃ、１５Ａ〜１５Ｃの各々の照度を、陰影画像を撮像するときに照明する一つの光源の照度よりも低く設定する。より具体的には、色画像を撮像するときに照明する２×Ｎ個の光源１４Ａ〜１４Ｃ、１５Ａ〜１５Ｃの各々の照度は、陰影画像を生成するときに照明する一つの光源の照度の１／（２×Ｎ）倍である。このように色画像を撮影するときと陰影画像を撮像するときとで光源の照度を変更することにより、絵画２００での正反射光の光量を低減でき、白飛びやハイライトによるテカリの発生をより低減することができる。

次に、撮像装置１０は、図５（ａ）に示すように第１照明部１４における複数の光源１４Ａ〜１４Ｃの何れか一つのみによって絵画２００の被撮像部１５０を照明する（Ｓ３）。この状態において、撮像装置１０は、カメラ１３により、絵画２００をスキャン撮像して第１陰影画像データを生成する。第１陰影画像データは、凸部２０１の下側の陰影Ｓ１を含む２次元画像の画像データである。画像処理装置２０は、撮像装置１０によって生成された第１陰影画像データを取得する（Ｓ４）。画像処理装置２０は、例えば画素の輝度値又は色に基づいて、第１陰影画像に含まれる凸部２０１の下側の陰影Ｓ１の長さ（例えば、画素数）を算出する（Ｓ５）。画像処理装置２０は、算出した陰影Ｓ１の長さと第１照明部１４の第２光源１４Ｂの照明角度θｂとに基づいて、凸部２０１の下側の高さＨ１を算出する（Ｓ６）。

次に、撮像装置１０は、図５（ｂ）に示すように第２照明部１５における複数の光源１５Ａ〜１５Ｃの何れか一つのみによって絵画２００の被撮像部１５０を照明する（Ｓ７）。この状態において、撮像装置１０は、カメラ１３により、絵画２００をスキャン撮像して第２陰影画像データを生成する。第２陰影画像のデータは、凸部２０１の上側の陰影Ｓ２を含む２次元画像の画像データである。画像処理装置２０は、撮像装置１０によって生成された第２陰影画像データを取得する（Ｓ８）。画像処理装置２０は、例えば輝度値又は色に基づいて、第２陰影画像に含まれる凸部２０１の上側の陰影Ｓ２の長さ（例えば、画素数）を算出する（Ｓ９）。画像処理装置２０は、算出した陰影Ｓ２の長さと第２照明部１５の第２光源１５Ｂの照明角度θｂとに基づいて、凸部２０１の上側の高さＨ２を算出する（Ｓ１０）。

画像処理装置２０は、第１陰影画像のデータに基づいて算出した凸部２０１の下側の高さＨ１と、第２陰影画像のデータに基づいて算出した凸部２０１の上側の長さＨ２とに基づいて、凸部２０１全体の高さＨ３を算出する。凸部２０１の全体の高さは、例えば、凸部２０１の下側の高さＨ１と上側の高さＨ２とに基づいて、その間の高さＨ３を補間することによって算出できる。

このようにして、画像処理装置２０は、絵画２００に含まれる全ての凸部２０１の高さを算出することによって、絵画２００の画像全体（画像を構成する全画素）の高さを算出し、画像全体の高さ情報として高さ画像データを生成する（Ｓ１１）。例えば、画像内の各画素の高さを数値で表した高さ画像データを生成する。

このように、陰影画像を撮像するときには、図８に示すように、第１照明部１４の複数の光源１４Ａ〜１４Ｃのうちの何れか１つ、又は、第２照明部１５の複数の光源１５Ａ〜１５Ｃのうちの何れか１つにより照明する。これにより、凸部２０１による陰影２１２の輪郭がぼやけることを低減することができ、陰影２１２の長さが検出し難くなることを低減することができる。

その後、画像処理装置２０は、色画像データと高さ画像データとを印刷装置３０に出力する（Ｓ１２）。

以上のように生成された色画像データと高さ画像データとを用いて、印刷装置３０は複製画像を生成する。図１０は、印刷装置３０による印刷により形成された複製画像の断面の例を示した図である。印刷装置３０は、画像処理装置２０から出力された高さ画像データに基づいて、基材（紙、布、プラスチックなど）７１の上に、透明インク７２を複数回印刷する。例えば、高さ画像データの数値が大きい画素ほど透明インクの吐出量を多くする。透明インク７２は、紫外線を当てることによってすぐに硬化するため、下層を印刷したあとすぐに上層を印刷することが可能である。透明インク７２を複数回印刷することによって、複数の層が形成され、透明インクの吐出量が多い画素がより高く盛り上がるため、凸部２０１を表すことができる。印刷装置３０は、画像処理装置２０から出力された色画像データに基づいて、透明インク７２の上面にカラーインク７３を使用して画像を印刷する。これにより、凸部２０１を再現した絵画２００を複製することができる。

３．効果等
従来の絵画の複製品（レプリカ）は、カメラやスキャナ等によりカラー印刷して生成されていたため平面状であり、絵画に含まれる凸部は再現されていなかった。そのため、従来の絵画の複製品は見る人の視点の変化や、当てる照明の変化が反映されず、実物感が不足していた。また、従来、樹脂等を使用して凹凸感を表現することは可能であったが、手作業で凸部を生成しなければならず、高価であった。

一方、本開示の複製システム１００によれば、所定の角度で絵画を照明した状態で絵画を撮像することによって、絵画の凸部の陰影を撮影し、この陰影の長さから凸部の高さを算出している。よって、絵画を複製する際に、絵画の凸部（絵画表面の高さ）を再現することができる。これにより、より実物に近い絵画の複製物を生成することができる。

また、本開示の複製システム１００（画像処理システム１１０）によれば、第１照明部１４は複数の光源１４Ａ、１４Ｂ、１４Ｃを含み、第２照明部１５は複数の光源１５Ａ、１５Ｂ、１５Ｃを含む。色画像を撮像するときには、図２に示すように、第１照明部１４における複数の光源１４Ａ〜１４Ｃの全て及び第２照明部１５における複数の光源１５Ａ〜１５Ｃの全てが同時に絵画２００を照明する。このとき、第１及び第２照明部１４、１５は拡散光源のように機能し、複数の光源１４Ａ〜１４Ｃ、１５Ａ〜１５Ｃからの照明光は絵画２００のある照射位置に対して異なる照射角度で照射する（図６参照）。これより、カメラ１３には、何れか一つの光源からの光の正反射光しか入射せず、撮像した色画像における白飛びやハイライトによるテカリの発生を低減することができる。

また、色画像を撮像するときに照明する複数の光源１４Ａ〜１４Ｃ、１５Ａ〜１５Ｃの各々の照度を、陰影画像を撮像するときに照明する一つの光源の照度よりも低く設定する。より具体的には、色画像を撮像するときに照明する２×Ｎ個の光源１４Ａ〜１４Ｃ、１５Ａ〜１５Ｃの各々の照度は、陰影画像を撮像するときに照明する一つの光源の照度の１／（２×Ｎ）倍である。そのため、絵画２００での正反射光の光量を低減でき、白飛びやハイライトによるテカリの発生をより低減することができる。

一方、陰影画像を撮像するときには、図８に示すように、第１照明部１４の複数の光源１４Ａ〜１４Ｃのうちの何れか１つ、又は、第２照明部１５の複数の光源１５Ａ〜１５Ｃのうちの何れか１つにより照明する。そのため、凸部２０１による陰影２１２の輪郭がぼやけることを低減することができ、陰影２１２の長さが検出し難くなることを低減することができる。

また、本開示の複製システム１００によれば、絵画２００の表面の高さを測定するために、特殊な凹凸測定装置を使用していない。よって、安価に、凹凸感のある複製品を作成することができる。

また、本開示の複製システム１００によれば、高さ情報を得るために、絵画にレーザを照射していないため、絵画に負荷を掛けることなく、凹凸感のある複製品を作成することができる。

（実施形態１の変形例）
実施形態１では、色画像を撮像するときに照明する複数の光源１４Ａ〜１４Ｃ、１５Ａ〜１５Ｃの各々の照度を、陰影画像を撮像するときに照明する一つの光源の照度よりも低く設定した。しかし、本開示はこれに限定されず、色画像を撮像するときに照明する複数の光源１４Ａ〜１４Ｃ、１５Ａ〜１５Ｃの各々の照度を、陰影画像を撮像するときに照明する一つの光源の照度と同様に設定されてもよい。この場合でも、第１及び第２照明部１４、１５は上述したように拡散光源のように機能し、撮像する色画像における白飛びやハイライトによるテカリの発生を低減することができる。

第１及び第２照明部１４、１５の各々が光源を１つだけしか有さない場合、色画像のスキャン撮像時のある時点のみにおいて光源からの光の正反射光がカメラ１３に入射する。これより、この時点のみにおいて、撮像した色画像にハイライトによるテカリが発生する。そのため、部分的にはっきりしたテカリが発生し、不自然な色画像となる。

これに対して、第１照明部１４が複数の光源１４Ａ、１４Ｂ、１４Ｃを含み、第２照明部１５が複数の光源１５Ａ、１５Ｂ、１５Ｃを含む場合、色画像のスキャン撮像時の複数の時点において光源からの光の正反射光がカメラ１３に入射する。これより、複数の時点において、撮像した色画像にハイライトによるテカリが発生する。そのため、テカリの輪郭がぼけて、自然な色画像が得られる。

（実施形態２）
実施形態１では、色画像を撮像するとき、図２に示すように、第１及び第２照明部１４、１５の両方により絵画２００を二方向から、かつ、第１照明部１４の複数の光源１４Ａ〜１４Ｃ及び第２照明部１５の複数の光源１５Ａ〜１５Ｃの全てにより絵画２００を照明した。実施形態２では、色画像を撮像するとき、第１照明部１４における複数の光源１４Ａ〜１４Ｃのそれぞれ及び第２照明部１５における複数の光源１５Ａ〜１５Ｃのそれぞれにより順次に照明された絵画２００を順次に撮影し、複数の色画像を生成する。そして、画像処理装置２０は、複数の色画像を合成して、白飛びやハイライトによるテカリがない一つの色画像を生成する。

実施形態２にかかる複製システム１００の構成は、図１〜図５を参照して説明した実施形態１のものと基本的に同様であるが、複製システム１００の撮像装置１０及び画像処理装置２０の制御部の機能、動作が前述のものと異なる。以下、図１１Ａ及び図１１Ｂを用いて、実施形態２にかかる複製システム１００の動作を説明する。

図１１Ａ及び図１１Ｂに、撮像装置１０及び画像処理装置２０（すなわち、画像処理システム１１０）による色画像データと高さ画像データの生成処理を示す。

まず、撮像装置１０は、第１照明部１４の第１光源１４Ａ及び第２照明部１５の第１光源１５Ａにより、絵画２００の被撮像部１５０の上下側（Ｙ軸の正負方向）から被撮像部１５０に同時に照明し（Ｓ１Ａ）、この状態において、カメラ１３により、絵画２００をスキャン撮像して第１色画像データを生成する（Ｓ２Ａ）。画像処理装置２０は、撮像装置１０によって生成された第１色画像データを取得する（Ｓ２Ａ）。

次に、撮像装置１０は、第１照明部１４の第２光源１４Ｂ及び第２照明部１５の第２光源１５Ｂにより、絵画２００の被撮像部１５０の上下側（Ｙ軸の正負方向）から被撮像部１５０に同時に照明し（Ｓ１Ｂ）、この状態において、カメラ１３により、絵画２００をスキャン撮像して第２色画像データを生成する（Ｓ２Ｂ）。画像処理装置２０は、撮像装置１０によって生成された第２色画像データを取得する（Ｓ２Ｂ）。

次に、撮像装置１０は、第１照明部１４の第３光源１４Ｃ及び第２照明部１５の第３光源１５Ｃにより、絵画２００の被撮像部１５０の上下側（Ｙ軸の正負方向）から被撮像部１５０に同時に照明し（Ｓ１Ｃ）、この状態において、カメラ１３により、絵画２００をスキャン撮像して第３色画像データを生成する（Ｓ２Ｃ）。画像処理装置２０は、撮像装置１０によって生成された第３色画像データを取得する（Ｓ２Ｃ）。

次に、画像処理装置２０は、第１〜第３色画像データを合成して色画像データを生成する（Ｓ２Ｄ）。具体的には、画像処理装置２０は、第１〜第３色画像データにおいて、輝度が所定値以下の領域を合成して色画像データを生成する。所定値とは、白飛びやハイライトによるテカリが発生しないときの輝度に設定されればよい。

次に、画像処理装置２０により、図１１Ｂのフローチャートに示すステップＳ３〜ステップＳ１２の動作が行われる。この動作は、図９のフローチャートにおけるステップＳ３〜ステップＳ１２と同じであるので、ここでの説明は省略する。

図１２（ａ）及び図１２（ｂ）は、物体２００からの正反射光がカメラ１３に入射する場合を示す図である。図１２（ａ）と図１２（ｂ）とは、図６（ａ）及び図６（ｂ）と同様に、物体２００に対する照明部１４の光源１４Ａ、１４Ｂ及びカメラ１３の位置が異なる。これより、図１２（ａ）の状態と図１２（ｂ）の状態とでは、光源１４Ａ、１４Ｂによる物体２００の照射位置２２０Ａ、２２０Ｂが異なる。

図１２（ａ）の状態では、光源１４Ｂからの照明光が物体２００で反射した正反射光１４ｂｂがカメラ１３に入射し、光源１４Ａからの照明光が物体２００で反射した正反射光１４ａａはカメラ１３に入射しない。このような状態では、第１光源１４Ａのみを点灯し、第２光源１４Ｂを点灯せずに色画像を撮影すると、白飛びやハイライトによるテカリが発生しない。

一方、図１２（ｂ）の状態では、光源１４Ｂからの照明光が物体２００で反射した正反射光１４ｂｂはカメラ１３に入射せず、光源１４Ａからの照明光が物体２００で反射した正反射光１４ａａがカメラ１３に入射する。このような状態では、第２光源１４Ｂのみを点灯し、第１光源１４Ａを点灯せずに色画像を撮影すると、白飛びやハイライトによるテカリが発生しない。

このように、点灯させる光源１４Ａ、１４Ｂを切り替えて物体２００を照明して複数の色画像を生成し、白飛びやハイライトによるテカリが発生していない色画像の領域を画像合成することによって、白飛びやハイライトによるテカリがない色画像を生成することができる。

この実施形態２によれば、色画像を撮像するときは、第１及び第２照明部１４、１５において点灯させる光源を順次切り替えながら絵画を照明して第１〜第３色画像を生成し、輝度が所定値以下の領域を合成して色画像データを生成する。これにより、白飛びやハイライトによるテカリが発生していない色画像の領域を用い、白飛びやハイライトによるテカリが発生している色画像の領域を用いないので、白飛びやハイライトによるテカリの発生をより低減することができる。

一方、上述したように、陰影画像を撮像するときには、図８に示すように、第１照明部１４の複数の光源１４Ａ〜１４Ｃのうちの何れか１つ、又は、第２照明部１５の複数の光源１５Ａ〜１５Ｃのうちの何れか１つにより照明する。これにより、凸部２０１による陰影２１２がぼやけることを低減することができ、陰影２１２の長さが検出し難くなることを低減することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

上記の実施の形態では、撮像装置１０は、カメラ１３に対して上下方向（Ｙ軸方向）に配置された第１及び第２照明部１４、１５を備えたが、撮像装置はこれに限定されるものではない。撮像装置１０は、カメラ１３に対して左右方向（Ｘ軸方向）に配置された第３照明部及び第４照明部をさらに備え、第３照明部及び第４照明部のそれぞれは複数の光源を備えても良い。陰影画像を撮像するとき、第３照明部の複数の光源の何れか一つ、又は、第４照明部の複数の光源の何れか一つは、被撮像部１５０の左右方向から被撮像部１５０を照明する。これにより、凸部２０１の左右方向についての陰影付きの画像データが得られる。この場合、凸部２０１の上下方向及び左右方向の陰影から算出した高さに基づいて、凸部２０１の全体の高さを算出しても良い。一方、色画像を撮像するとき、第１〜第４照明部における複数の光源の全てが同時に物体２００を照明すればよい。或いは、第１〜第４照明部による四方向から、かつ、第１照明部の複数の光源のそれぞれ、第２照明部の複数の光源のそれぞれ、第３照明部の複数の光源のそれぞれ、及び、第４照明部の複数の光源のそれぞれにより順次に照明された絵画２００を順次に撮影し、複数の色画像を生成して合成してもよい。

上記の実施の形態では、撮像装置１０は、ラインスキャンカメラを用いたスキャナとしたが、撮像装置はスキャナに限定されるものではない。陰影付きの画像データを、凸部の高さが算出できる形で取得できればよいため、例えば、二次元画像を取得できる通常のカメラであっても良い。

上記の実施の形態では、本開示の複製システム１００の複製対象として絵画を例として説明したが、複製対象は絵画に限定されるものではない。本開示の複製システム１００の思想は、凸部を有する平面状の物体を、物体表面の高さ情報を含めて複製する際に適用できる。

本開示の複製システム１００は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現可能である。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

例えば、上述の実施形態では移動装置１６が、カメラ１３、第１及び第２照明部１４、１５をスキャン方向に移動させる構成としているが、例えばカメラ１３、第１及び第２照明部１４、１５を固定し、絵画２００を移動させる構成としても良い。本開示の課題解決においてはカメラ１３、第１及び第２照明部１４、１５の相対的な位置関係が明確であればよく、スキャンの方法は課題解決に必須ではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、凸部を有する平面状物体（例えば、絵画）を複製するためのデータを生成する画像処理装置、及び絵画を複製する複製システムに適用可能である。

１０ 撮像装置
１１ 入出力部
１１ａ 入力部
１１ｂ 通信部
１２ 制御部
１３ カメラ
１３ａ 撮像部
１３ｂ メモリ
１４ 第１照明部
１４Ａ 第１光源
１４Ｂ 第２光源
１４Ｃ 第３光源
１５ 第２照明部
１５Ａ 第１光源
１５Ｂ 第２光源
１５Ｃ 第３光源
１６ 移動装置
２０ 画像処理装置
２１ 入出力部
２１ａ 入力部
２１ｂ 通信部
２２ 制御部
２３ メモリ
３０ 印刷装置
１００ 複製システム
１１０ 画像処理システム

Claims (10)

1. 凸部を有する物体を互いに異なる方向から照明する第１照明部及び第２照明部と、前記第１照明部及び前記第２照明部の両方により照明された前記物体を撮影し、前記物体の色情報を含む画像データを生成し、前記第１照明部及び前記第２照明部の何れか一方により照明された前記物体を撮影し、前記凸部による陰影を示す陰影情報を生成する撮像部と、を有する撮像装置と、
   前記陰影情報に基づいて前記物体の表面の高さを示す高さ情報を生成し、前記画像データと共に前記高さ情報を出力する画像処理装置と、
   を備え、
   前記第１照明部及び前記第２照明部の各々は複数の光源を有し、
   前記撮像部が前記陰影情報を生成するときには、前記第１照明部及び前記第２照明部の何れか一方における前記複数の光源の何れか一つが前記物体を照明する、
   画像処理システム。
2. 前記撮像部が前記画像データを生成するときには、前記第１照明部及び前記第２照明部の両方における前記複数の光源の、それぞれ少なくとも２つ以上が同時に前記物体を照明する、
   請求項１に記載の画像処理システム。
3. 前記撮像部が前記画像データを生成するときに点灯させる前記複数の光源の各々の照度は、前記撮像部が前記陰影情報を生成するときに点灯させる一つの光源の照度よりも低く設定される、
   請求項１又は２に記載の画像処理システム。
4. 前記第１照明部及び前記第２照明部の各々においてＮ個の光源が前記物体を照明する場合、前記撮像部が前記画像データを生成するときに点灯させる前記Ｎ個の光源の各々の照度は、前記撮像部が前記陰影情報を生成するときに点灯させる一つの光源の照度の１／（２×Ｎ）倍に設定される、
   請求項３に記載の画像処理システム。
5. 前記撮像部は、前記画像データを生成するとき、前記第１照明部及び前記第２照明部の両方における前記複数の光源の各々により照明された前記物体を各々撮影し、複数の前記画像データを生成し、
   前記画像処理装置は、複数の前記画像データを合成して合成画像データを生成し、前記合成画像データを出力する、
   請求項１に記載の画像処理システム。
6. 前記画像処理装置は、複数の前記画像データの各々が示す複数の画像において、輝度が所定値以下の領域を合成して前記合成画像データを生成する、
   請求項５に記載の画像処理システム。
7. 前記第１照明部及び前記第２照明部の複数の光源は、前記物体の被撮像部から同じ距離で配置される、
   請求項１乃至６のいずれかに記載の画像処理システム。
8. 凸部を有する物体を、互いに異なる方向から第１照明部及び第２照明部の両方により、かつ、前記第１照明部及び前記第２照明部の両方における複数の光源により照明して撮影し、前記物体の色情報を含む画像データを生成し、
   前記物体を、互いに異なる方向のそれぞれから前記第１照明部及び前記第２照明部の何れか一方により、かつ、前記第１照明部及び前記第２照明部の何れか一方における前記複数の光源の何れか一つにより照明して撮影し、前記凸部による陰影を示す陰影情報を生成し、
   前記陰影情報に基づいて前記物体の表面の高さを示す高さ情報を生成し、
   前記画像データと共に前記高さ情報を出力する、
   画像処理方法。
9. 前記画像データを生成するときには、前記第１照明部及び前記第２照明部の両方における前記複数の光源の、それぞれ少なくとも２つ以上が同時に前記物体を照明する、
   請求項８に記載の画像処理方法。
10. 前記画像データを生成するとき、前記第１照明部及び前記第２照明部の両方における前記複数の光源の各々により照明された前記物体を各々撮影し、複数の前記画像データを生成し、
    複数の前記画像データを合成して合成画像データを生成し、前記合成画像データを出力する、
    請求項８に記載の画像処理方法。

Images