JP2019192948A - 撮像装置、画像処理システム、及び画像処理方法 - Google Patents

Abstract

【課題】凸部を有する物体の陰影を含む画像データを生成するのに有効な撮像装置、それを含む画像処理システム、及び画像処理方法を提供する。【解決手段】撮像装置（１００）は、第１の方向に延在する第１の撮像領域を撮像可能な第１の撮像部（１３１ａ）と、第１の撮像領域を少なくとも１つの方向から照明する第１の照明部（１４ａ、１５ａ）とを含む第１の画像生成部（１０Ａ）と、第１の方向と異なる第２の方向に延在する第２の撮像領域を撮像可能な第２の撮像部（１３１ｂ）と、第２の撮像領域を第１の照明部と異なる少なくとも１つの方向から照明する第２の照明部（１４ｂ、１５ｂ）とを含む第２の画像生成部（１０Ｂ）と、第１及び第２の画像生成部を一体的に移動させる駆動部（１６）と、を備える。【選択図】図１

Description

本開示は、凸部を有する物体（例えば、絵画）の陰影を含む画像データを生成する撮像装置、凸部を有する物体の高さデータを生成する画像処理システム及び画像処理方法に関する。

特許文献１は、平面の原画像に高さ方向の情報を付加して立体画像データを生成する画像処理装置を開示する。この画像処理装置は、原画像データの焦点情報に基づいて分離した領域毎に、コントラストの高低（明暗）に基づいて又はオブジェクトの輪郭情報に基づいて高さ情報を付加することによって、陰影や質感をリアルに表現することを可能にしている。

特開２０１６−６３５２２号公報

本開示は、凸部を有する物体（例えば、絵画）の陰影を含む画像データを生成するのに有効な撮像装置、凸部を有する物体の高さデータを生成する画像処理システム及び画像処理方法を提供する。

本開示にかかる撮像装置は、第１の方向に延在する第１の撮像領域を撮像可能な第１の撮像部と、第１の撮像領域を少なくとも１つの方向から照明する第１の照明部とを含む第１の画像生成部と、第１の方向と異なる第２の方向に延在する第２の撮像領域を撮像可能な第２の撮像部と、第２の撮像領域を第１の照明部と異なる少なくとも１つの方向から照明する第２の照明部とを含む第２の画像生成部と、第１及び第２の画像生成部を一体的に移動させる駆動部と、を備える。

本開示にかかる画像処理システムは、上記撮像装置と、第１の照明部の照明方向と物体の主面とがなす角度及び第１の陰影情報と、第２の照明部の照明方向と物体の主面とがなす角度及び第２の陰影情報とに基づいて、物体の表面の高さを示す高さ情報を生成する画像処理装置と、を含む。

本開示にかかる画像処理方法は、第１の方向に延在する第１の撮像領域内の凸部を有する物体を、第１の照明方向から照明して撮影し、凸部による陰影を示す第１の陰影情報を生成し、第１の方向と異なる第２の方向に延在する第２の撮像領域内の物体を、第１の照明方向とは異なる第２の照明方向から照明して撮影し、凸部による陰影を示す第２の陰影情報を生成し、第１の照明方向と物体の主面とがなす角度及び第１の陰影情報と、第２の照明方向と物体の主面とがなす角度及び第２の陰影情報とに基づいて、物体の表面の高さを示す高さ情報を生成する。

本開示における撮像装置は、凸部を有する物体（例えば、絵画）の陰影を含む画像データを生成するのに有効である。本開示における画像処理システム及び画像処理方法は、凸部を有する物体の高さデータを生成するのに有効である。

実施形態１の画像処理システムの構成及び画像処理システムに接続される印刷装置を示すブロック図 実施形態１における撮像装置による絵画の撮像を説明するための図 実施形態１における撮像装置の駆動部を説明するための図 実施形態１の撮像装置の第１及び第２の画像生成部の位置関係を説明するための図 実施形態１における撮像装置の照明角度を説明するための図 実施形態１における撮像装置の撮像時の移動方向を説明するための図 実施形態１における撮像装置の動作を説明するためのフローチャート 実施形態１における撮像時の照明角度と陰影との関係を説明するための図 実施形態１における画像処理装置の動作を説明するためのフローチャート 撮像領域間の許容角度を説明するための図 他の実施形態における撮像装置の第１及び第２の画像生成部の位置関係を説明するための図 他の実施形態における撮像装置の第１、第２、及び第３の画像生成部の位置関係を説明するための図 課題を説明するための図

以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（課題）
凸部を有する物体（被写体）を光により照明して撮像することによって、物体の陰影を含む画像データを生成するときに、図１３（ａ）に示すように、物体４１０が、高さの高い凸部４１１の近傍に高さの低い凸部４１２を含む場合、凸部４１２の陰影が凸部４１１の陰影によって隠れた状態になる場合がある。このような場合、凸部４１２の陰影情報を取得できない。凸部４１２の陰影が表れた画像データを生成するためには、図１３（ｂ）に示すように物体４１０を回転させ、再度、凸部４１１、４１２の陰影を撮像する必要がある。この場合、物体４１０の回転を精度良く行う必要がある。回転の精度が不正確であれば、図１３（ａ）の状態で撮像した画像データと図１３（ｂ）の状態で撮像した画像データとを合成するときに、凸部４１１、４１２の位置ずれが発生して、凸部４１１、４１２の正確な陰影を含む画像データを生成することができなくなるからである。

本開示は、高さの異なる凸部が隣接して存在する又は近傍にある場合でも、陰影を含む画像データを精度良く生成する撮像装置及びそれを含む画像処理システムを提供する。具体的には、本開示の撮像装置は、複数の画像生成部を固定して同時に移動させながら、凸部を有する物体（例えば、油彩画などの絵画）を、複数の各々の方向からの照明で撮像することによって、陰影を含む複数の画像データを取得する。そして、本開示の画像処理システムは、複数の画像データから高さデータを生成する。以下、本開示の詳細を説明する。なお、以下の実施形態では、画像処理対象の物体として絵画を例に説明する。

（実施形態１）
１．構成
図１は、本実施形態の画像処理システムの構成を示している。本実施形態の画像処理システム１は、油彩画などの絵画（物体の一例）の表面を撮像して画像データを生成する撮像装置１００と、生成された画像データを処理して絵画の情報（高さデータ及び色画像データ）を出力する画像処理装置２００と、を備える。画像処理装置２００は、例えば、画像処理装置２００の出力情報に基づいて、印刷により絵画を複製する印刷装置３００に接続される。

本実施形態の撮像装置１００は、直線状の領域の画像を撮像するラインスキャンカメラを用いたスキャナである。撮像装置１００は、撮像の開始の指示を受け付け、撮像した絵画の画像データを出力する入出力部１１と、撮像装置１００全体を制御する制御部１２と、絵画を照明して撮像する第１の画像生成部１０Ａ及び第２の画像生成部１０Ｂと、第１の画像生成部１０Ａ及び第２の画像生成部１０Ｂを一体的に移動させる駆動部１６と、を備える。

入出力部１１は、入力部１１ａと通信部１１ｂとを含む。入力部１１ａは、キーボード、マウス、タッチパネル等である。通信部１１ｂは、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。撮像装置１００は、例えば、撮像開始の指示を入力部１１ａ又は通信部１１ｂを介して入力し、絵画を撮像して生成した画像データを通信部１１ｂから出力する。

制御部１２は、入力された撮像開始の指示に基づいて、駆動部１６により、第１の画像生成部１０Ａ及び第２の画像生成部１０Ｂを一体的に移動させながら、第１の画像生成部１０Ａ及び第２の画像生成部１０Ｂにより、絵画を照明した状態で絵画を撮像させる。制御部１２は、半導体素子などで実現可能である。制御部１２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部１２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。

第１の画像生成部１０Ａは、絵画を撮像して画像データを生成するカメラ１３ａと、絵画を照明する第１照明部１４ａ及び第２照明部１５ａとを備える。第１の画像生成部１０Ａにおいて、カメラ１３ａは、撮像部１３１ａとメモリ１３２ａとを含む。撮像部１３１ａは、例えば、ＣＣＤラインセンサ又はＣＭＯＳラインセンサを含み、１ラインずつ絵画をスキャン撮像して、絵画の画像データを取り込む。撮像部１３１ａが取り込んだ画像データはメモリ１３２ａに格納される。例えば、カメラ１３ａは、絵画を撮像して各画素について色情報（ＲＧＢ又はＣＭＹＫ）を取得し、メモリ１３２ａに記憶する。メモリ１３２ａは、例えば、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、又は磁気ディスク、又はこれらの組み合わせによって実現できる。

第１照明部１４ａ及び第２照明部１５ａは、スキャン用の照明光源である。具体的には、第１照明部１４ａ及び第２照明部１５ａは、高演色性の直管型蛍光灯や、高演色性の白色発光ダイオード（ＬＥＤ）を直線状に配置したラインＬＥＤ照明などである。第１照明部１４ａ又は第２照明部１５ａによって絵画を照明した状態で、カメラ１３ａが絵画を撮像することによって、絵画の凸部の陰影が含まれる画像の画像データを生成することができる。

第２の画像生成部１０Ｂは、絵画を撮像して画像データを生成するカメラ１３ｂと、絵画を照明する第１照明部１４ｂ及び第２照明部１５ｂとを備える。第２の画像生成部１０Ｂの内部構成（すなわち、カメラ１３ｂ、第１照明部１４ｂ、及び第２照明部１５ｂ）は、それぞれの配置位置を除いて、第１の画像生成部１０Ａの内部構成（すなわち、カメラ１３ａ、第１照明部１４ａ、及び第２照明部１５ａ）と同一である。

駆動部１６は、第１の画像生成部１０Ａのカメラ１３ａ、第１照明部１４ａ、及び第２照明部１５ａと、第２の画像生成部１０Ｂのカメラ１３ｂ、第１照明部１４ｂ、及び第２照明部１５ｂとに連結されている。そして、駆動部１６は、制御部１２に制御されて、第１の画像生成部１０Ａと第２の画像生成部１０Ｂを一体的に移動させる。これにより、カメラ１３ａ、１３ｂは移動しながら絵画を同時に１ラインずつ撮像することが可能になる。

撮像装置１００は、カメラ１３ａがライン毎にスキャンしてメモリ１３２ａに取り込んだ画像データから二次元の画像データを生成すると共に、カメラ１３ｂがライン毎にスキャンしてメモリ１３２ｂに取り込んだ画像データから二次元の画像データを生成し、この２つの画像データを通信部１１ｂから出力する。

画像処理装置２００は、画像データを入力して物体の表面の高さを示す高さ情報を出力する入出力部２１と、画像処理装置２００全体を制御するとともに入力された２つの画像データを処理して、物体の表面の高さを示す高さ情報を生成する制御部２２と、メモリ２３とを含む。入出力部２１は、入力部２１ａと通信部２１ｂとを含む。入力部２１ａは、キーボード、マウス、タッチパネル等である。通信部２１ｂは、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。画像処理装置２００は、例えば、ユーザによる画像データの取り込みの指示を入力部２１ａを介して入力すると、画像データの取り込み要求を通信部２１ｂを介して撮像装置１００に出力して、撮像装置１００から送信された画像データを通信部２１ｂを介して受信する。

制御部２２は、受信した画像データの画像に含まれる陰影の長さから、絵画の表面の高さ（凸部の高さ）を算出し、算出した高さを示す高さ情報を生成する。具体的には、高さ情報として、絵画の表面の高さを画素毎に数値で表した高さデータを生成する。例えば、凸部の高さが高いほど、数値が大きくなるような高さデータを生成する。生成された情報はメモリ２３に格納される。また、制御部２２は、生成した高さ情報を通信部２１ｂを介して、印刷装置３００に出力する。制御部２２は、半導体素子などで実現可能である。制御部２２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部２２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。メモリ２３は、例えば、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、又は磁気ディスク、又はこれらの組み合わせによって実現できる。

印刷装置３００は、画像処理装置２００から受け取った高さ情報（高さデータ）に基づいて、絵画の表面の高さを再現した（凸部を含む）画像を印刷する。印刷装置３００は、例えば、紫外線を当てることで硬化するＵＶインクを用いたＵＶインクジェットプリンタであり、多層印刷により、高さの数値が大きいほどインクを厚く盛り上げて、凸部を含む画像を印刷する。

図２は、撮像装置１００が絵画４００を撮像している状態を示している。図３は、撮像装置１００の概略の側面図を示す。図２及び図３に示すように、撮像装置１００の駆動部１６は、Ｙ方向に延在する第１ガイドレール１６ｂと、第１ガイドレール１６ｂ沿いに進退移動する第１可動体１６ａと、Ｘ方向に延在する第２ガイドレール１６ｃと、第２ガイドレール１６ｃ沿いに進退移動する第２可動体１６ｄと、第１可動体１６ａに連結されたフレーム１６ｅとによって、構成される。第１可動体１６ａ及び第２可動体１６ｄは、モータ等の駆動により進退移動する。フレーム１６ｅには、第１の画像生成部１０Ａと第２の画像生成部１０Ｂの両方が固定される。これにより、駆動部１６は第１の画像生成部１０Ａと第２の画像生成部１０Ｂを一体的に移動させる。第１の画像生成部１０Ａと第２の画像生成部１０Ｂは、それぞれ、カメラ１３ａ、１３ｂの直下の絵画４００の撮像領域Ｌ１、Ｌ２（１ライン分）を撮像する。

図４は、撮像装置１００の概略の上面図を示している。第１の画像生成部１０Ａのカメラ１３ａは、スキャン方向に対して４５度の角度で交差する第１の方向に延在する撮像領域Ｌ１を撮像可能である。第１照明部１４ａと第２照明部１５ａは、第１照明部１４ａと第２照明部１５ａの長手方向と、撮像領域Ｌ１の延在する方向が平行になるように、カメラ１３ａの両側に配置される。第１照明部１４ａと第２照明部１５ａは、カメラ１３ａの両側から撮像領域Ｌ１を照明する。第２の画像生成部１０Ｂのカメラ１３ｂは、第１の方向に対して所定角度（本実施形態において、９０度）で交差する第２の方向に延在する撮像領域Ｌ２を撮像可能である。第１照明部１４ｂと第２照明部１５ｂは、第１照明部１４ｂと第２照明部１５ｂの長手方向と、撮像領域Ｌ２の延在する方向が平行になるように、カメラ１３ｂの両側に配置される。第１照明部１４ｂと第２照明部１５ｂは、カメラ１３ｂの両側から撮像領域Ｌ２を照明する。本実施形態において、撮像領域Ｌ１、Ｌ２の大きさは同一である。

第１の画像生成部１０Ａと第２の画像生成部１０Ｂは、撮像時の移動方向（Ｙ軸方向）に並べて配置される。また、撮像領域Ｌ１、Ｌ２の延在する方向と撮像時の移動方向（Ｙ軸方向）とがなす角度は、それぞれ４５度である。このような構成により、撮像装置１００は、絵画４００を回転させることなく、図１３（ａ）及び図１３（ｂ）に示すような、物体に対する照明方向が９０度異なる画像データを一度に生成することが可能になる。

撮像装置１００は、第１の画像生成部１０Ａの第１照明部１４ａ及び第２の照明部１５ａの照明光が第２の画像生成部１０Ｂの撮像領域Ｌ２に漏れないように、且つ第２の画像生成部１０Ｂの第１照明部１４ｂ及び第２の照明部１５ｂの照明光が第１の画像生成部１０Ａの撮像領域Ｌ１に漏れないようにするために、第１の画像生成部１０Ａと第２の画像生成部１０Ｂの間に照明光を遮蔽する遮光部材１７をさらに備える。

図５は、図４の矢印Ｖ１の方向から見た撮像装置１００の第１の画像生成部１０Ａと第２の画像生成部１０Ｂを概略的に示している（遮光部材１７は省略）。本実施形態においては、第１照明部１４ａ及び第２照明部１５ａの照明光による、カメラ１３ａの直下の絵画４００の撮像領域Ｌ１（１ライン分）への照明方向Ｄ１、Ｄ２と、平置きされた絵画４００全面（主面）との間の角度（照明角度）θが一定角度になるようにして、撮像領域Ｌ１を照明する。この一定角度θは、例えば３０°である。第１照明部１４ａと第２照明部１５ａは、それぞれ、カメラ１３ａの直下の撮像領域Ｌ１に対して、撮像領域Ｌ１（すなわち、絵画）の斜め右上側方向と斜め左下側方向から照明する。このように、絵画４００に対して、斜め上方向または斜め下方向から撮像領域Ｌ１を照明することによって、陰影付きの画像データを生成することができる。同様に、第２の画像生成部１０Ｂは、第１照明部１４ｂ及び第２照明部１５ｂの照明光による、カメラ１３ｂの直下の絵画４００の撮像領域Ｌ２（１ライン分）への照明方向Ｄ１、Ｄ２と、平置きされた絵画４００全面（主面）との間の角度（照明角度）θが一定角度になるようにして、撮像領域Ｌ２を照明する。なお、照明角度θは、照明によって陰影が現れる角度であれば良く、特に、２０°〜４５°が適している。

第１の画像生成部１０Ａにおいて、カメラ１３ａと第１照明部１４ａと第２照明部１５ａは、フレーム１６ｅに固定される。なお、駆動部１６は、第１照明部１４ａ及び第２照明部１５ａを昇降可能にさせる第３可動体１６ｆを有することもできる。第２の画像生成部１０Ｂのカメラ１３ｂと第１照明部１４ｂと第２照明部１５ｂは、第１の画像生成部１０Ａと同様に、フレーム１６ｅに固定される。カメラ１３ａ、１３ｂが絵画４００をスキャン撮像するとき、制御部１２は、駆動部１６を駆動制御して、カメラ１３ａ、１３ｂと第１照明部１４ａ、１４ｂ及び第２照明部１５ａ、１５ｂとを一体的にスキャン方向に一定速度で平行移動させる。

２．動作
２．１ 撮像装置の動作
図６は、撮像装置１００の撮像時の移動方向（スキャン方向）を示している。撮像装置１００は、絵画４００を固定した状態で、絵画４００の上下方向（Ｙ軸方向）に移動しながら絵画４００を撮像する。なお、スキャン方向は、絵画４００の上下方向に限定されるものではなく、任意の方向でもよい。例えば、スキャン方向は、絵画４００の配置又は向きに応じて、上下方向、左右方向、又は斜め方向でもよい。

図７に、撮像装置１００による絵画の撮像処理を示す。まず、撮像装置１００によって撮像される絵画４００が、例えば、図２に示すように撮像装置１００の真下側に固定される。

撮像装置１００は、第１の画像生成部１０Ａ及び第２の画像生成部１０Ｂのそれぞれにおいて、一方向から撮像領域Ｌ１、Ｌ２を照明して、凸部の陰影を含む画像データを生成する（Ｓ７０１）。具体的には、撮像装置１００は、駆動部１６により、図６の開始位置から終了位置まで、第１の画像生成部１０Ａ及び第２の画像生成部１０Ｂを移動させながら、絵画４００を撮像する。このとき、撮像装置１００は、第１の画像生成部１０Ａにおいて、第１照明部１４ａのみによって、撮像領域Ｌ１を照明した状態で、カメラ１３ａにより、絵画４００をスキャン撮像して第１画像データ（陰影画像データ）を生成すると共に、第２の画像生成部１０Ｂにおいて、第１照明部１４ｂのみによって撮像領域Ｌ２を照明した状態で、カメラ１３ｂにより、絵画４００をスキャン撮像して第２画像データ（陰影画像データ）を生成する。第１及び第２画像データは、絵画４００の凸部の陰影を含む２次元の画像データである。

次に、撮像装置１００は、第１の画像生成部１０Ａ及び第２の画像生成部１０Ｂのそれぞれにおいて、他の方向から撮像領域Ｌ１、Ｌ２を照明して、凸部の陰影を含む画像データを生成する（Ｓ７０２）。具体的には、撮像装置１００は、駆動部１６により、再度、図６の開始位置から終了位置まで、又は図６の終了位置から開始位置まで逆方向に、第１の画像生成部１０Ａ及び第２の画像生成部１０Ｂを移動させながら、絵画４００を撮像する。このとき、撮像装置１００は、第１の画像生成部１０Ａにおいて、第２照明部１５ａのみによって、撮像領域Ｌ１を照明した状態で、カメラ１３ａにより、絵画４００をスキャン撮像して第３画像データ（陰影画像データ）を生成すると共に、第２の画像生成部１０Ｂにおいて、第２照明部１５ｂのみによって撮像領域Ｌ２を照明した状態で、カメラ１３ｂにより、絵画４００をスキャン撮像して第４画像データ（陰影画像データ）を生成する。第３及び第４画像データは、絵画４００の凸部の陰影を含む２次元の画像データである。

その後、撮像装置１００は、第１の画像生成部１０Ａ及び第２の画像生成部１０Ｂの少なくとも一方において、双方の方向から、撮像領域Ｌ１又は撮像領域Ｌ２を照明して、凸部の陰影を含まない画像データを生成する（Ｓ７０３）。具体的には、撮像装置１００は、駆動部１６により、図６の開始位置から終了位置まで又は図６の終了位置から開始位置まで、第１の画像生成部１０Ａ及び第２の画像生成部１０Ｂを移動させながら、再度、絵画４００を撮像する。このとき、撮像装置１００は、第１の画像生成部１０Ａと第２の画像生成部１０Ｂのいずれか一方又は両方において、絵画４００をスキャン撮像して第５画像データ（色画像データ）を生成する。例えば、第１の画像生成部１０Ａにおいて、第１照明部１４ａ及び第２照明部１５ａの両方により、撮像領域Ｌ１の上下側から撮像領域Ｌ１に照明角度θで同時に照明した状態で、カメラ１３ａが絵画４００をスキャン撮像して、第５画像データ（色画像データ）を生成する。第５画像データは、絵画４００の各画素の色情報（ＲＧＢ又はＣＭＹＫ）を含み、凸部の陰影を含まない２次元の画像データである。第１照明部１４ａ及び第２照明部１５ａの両方が同時に絵画４００を照明することによって、凸部の陰影を含まない画像データが得られる。

撮像装置１００は、生成した第１画像データ〜第５画像データを通信部１１ｂから出力する（Ｓ７０４）。

図８（ａ）は、第１の画像生成部１０Ａの第１照明部１４ａが絵画４００を斜め右上側から照明したときに生じる陰影を示している。図８（ｂ）は、第１の画像生成部１０Ａの第２照明部１５ａが絵画４００を斜め左下側から照明したときに生じる陰影を示している。絵画４００には、例えば、油彩画などのように色を重ね塗りすることによって形成された凸部（絵の具の厚み部分）４０１が含まれる場合がある。第１の画像生成部１０Ａの第１照明部１４ａ及び第２照明部１５ａによって、凸部４０１の２方向側（例えば、右上側と左下側）の陰影Ｓ１、Ｓ２が得られる。同様に、第２の画像生成部１０Ｂの第１照明部１４ｂ及び第２照明部１５ｂによって、絵画４００の主面（ＸＹ平面）において第１の画像生成部１０Ａの陰影Ｓ１、Ｓ２と９０度異なる凸部４０１の２方向側（例えば、左上側と右下側）の陰影が得られる。すなわち、本実施形態によれば、凸部４０１に対して４方向の陰影が得られる。

２．２ 画像処理装置の動作
画像処理装置２００は、絵画の凸部４０１の高さを以下のように算出する。

図９に、画像処理装置２００の制御部２２による高さデータの生成処理を示す。画像処理装置２００は、撮像装置１００から出力された第１画像データ〜第４画像データ（陰影画像データ）と第５画像データ（色画像データ）を入力する（Ｓ９０１）。

画像処理装置２００は、第１の画像生成部１０Ａによって生成された第１及び第３画像データ（陰影画像データ）からそれぞれ凸部４０１の陰影の長さを算出する（Ｓ９０２）。図８（ａ）に示すように、第１照明部１４ａによって絵画４００を斜め右上側から照明すると、凸部４０１の一方向（例えば、凸部４０１の左下側）に凸部４０１の陰影Ｓ１が現れる。画像処理装置２００は、例えば、第１画像データの画素の輝度値又は色に基づいて、凸部４０１の陰影Ｓ１の長さ（例えば、画素数）を算出する。また、図８（ｂ）に示すように、第２照明部１５ａによって絵画４００を斜め左下側から照明すると、凸部４０１の他の方向（例えば、凸部４０１の右上側）に凸部４０１の陰影Ｓ２が現れる。画像処理装置２００は、例えば、第２画像データの画素の輝度値又は色に基づいて、凸部４０１の陰影Ｓ２の長さ（例えば、画素数）を算出する。

画像処理装置２００は、算出した陰影Ｓ１、Ｓ２の長さと、第１照明部１４ａ及び第２照明部１５ａの照明角度θとに基づいて、凸部４０１の高さＨ３を算出する（Ｓ９０３）。具体的には、画像処理装置２００は、算出した陰影Ｓ１の長さ（画素数）と第１照明部１４ａの照明角度θとに基づいて、凸部４０１の一方向（例えば、左下側）の高さＨ１を算出する（Ｈ１＝陰影Ｓ１の長さ×tan（θ））。同様に、画像処理装置２００は、算出した陰影Ｓ２の長さ（画素数）と第２照明部１５ａの照明角度θとに基づいて、凸部４０１の他の方向（例えば、右上側）の高さＨ２を算出する（Ｈ２＝陰影Ｓ２の長さ×tan（θ））。それから、画像処理装置２００は、凸部４０１の２方向（右上側と左下側）の高さＨ１、Ｈ２に基づいて、その間の高さＨ３を補間する。

次に、画像処理装置２００は、第２の画像生成部１０Ｂによって生成された第２及び第４画像データ（陰影画像データ）から、それぞれ第１画像生成部１０Ａと９０度異なる方向（例えば、凸部４０１の左上側と右下側）の凸部４０１の陰影の長さを算出する（Ｓ９０４）。それから、画像処理装置２００は、算出した陰影の長さと、第１照明部１４ｂ及び第２照明部１５ｂの照明角度θとに基づいて、凸部４０１の高さＨ３を算出する（Ｓ９０５）。ここでは、第１画像生成部１０Ａと９０度異なる方向（例えば、凸部４０１の左上側と右下側）の凸部４０１の陰影の長さから、第１画像生成部１０Ａと９０度異なる方向（例えば、凸部４０１の左上側と右下側）の凸部４０１の高さを算出して、その間の高さＨ３を補間する。

画像処理装置２００は、第１の画像生成部１０Ａと第２の画像生成部１０Ｂの高さ情報を合成して、凸部４０１全体の高さを算出して、高さデータを生成する（Ｓ９０６）。すなわち、第１の画像生成部１０Ａの画像データに基づいて算出した凸部４０１の高さＨ３（Ｓ９０３の結果）と、第２の画像生成部１０Ｂの画像データに基づいて算出した凸部４０１の高さＨ３（Ｓ９０５の結果）とから、凸部４０１全体の高さを算出する。例えば、絵画４００の各画素について、凸部４０１の右上側と左下側の高さに基づいて補間して得られた高さＨ３（Ｓ９０３の結果）と、凸部４０１の左上側と右下側の高さに基づいて補間して得られた高さＨ３（Ｓ９０５の結果）とを比較して、高い方の値を選択することによって、凸４０１の全体の高さを算出する。

本実施形態によれば、第１の画像生成部１０Ａが生成する陰影画像データが、図１３（ａ）に示すような、高い凸部４１１の陰影に低い凸部４１２の陰影が重なるような状態で生成されたものであったとしても、第２の画像生成部１０Ｂが生成する陰影画像データは、図１３（ｂ）に示すような、高い凸部４１１の陰影と低い凸部４１２の陰影が重ならない状態で生成されたものになる。よって、第１の画像生成部１０Ａが生成する陰影画像データと第２の画像生成部１０Ｂが生成する陰影画像データの両方を使用することによって、凸部４０１の全体の高さを精度良く算出することができる。画像処理装置２００は、絵画４００に含まれる全ての凸部４０１の高さを算出することによって、絵画４００の画像全体（画像を構成する全画素）の高さを算出し、画像全体の高さ情報として高さデータを生成する。例えば、画像内の各画素の高さを数値で表した高さデータを生成する。

その後、画像処理装置２００は、色画像データと高さデータとを印刷装置３００に出力する（Ｓ９０７）。

２．３ 印刷装置の動作
印刷装置３００は、画像処理装置２００から出力された高さデータに基づいて、例えば、高さデータの数値が大きい画素ほど透明インクの吐出量を多くして、透明インクを基材（紙、布、プラスチックなど）の上に印刷する。これにより、透明インクの吐出量が多い画素がより高く盛り上がるため、凸部４０１を表すことができる。印刷装置３００は、画像処理装置２００から出力された色画像データに基づいて、透明インクの上面にカラーインクを使用して画像を印刷する。これにより、凸部４０１を再現した絵画４００を複製することができる。

３．効果等
以上のように、本実施形態の撮像装置１００は、第１の方向に延在する第１の撮像領域Ｌ１を撮像可能な第１の撮像部（撮像部１３１ａ）と、第１の撮像領域Ｌ１を少なくとも１つの方向から照明する第１の照明部（第１の画像生成部１０Ａの第１照明部１４ａ及び第２照明部１５ａ）とを含む第１の画像生成部１０Ａと、第１の方向と異なる第２の方向に延在する第２の撮像領域Ｌ２を撮像可能な第２の撮像部（撮像部１３１ｂ）と、第２の撮像領域Ｌ２を第１の照明部（第１照明部１４ａ及び第２照明部１５ａ）と異なる少なくとも１つの方向から照明する第２の照明部（第２の画像生成部１０Ｂの第１照明部１４ｂ、第２照明部１５ｂ）と、を含む第２の画像生成部１０Ｂと、第１及び第２の画像生成部１０Ａ、１０Ｂを一体的に移動させる駆動部１６と、を備える。これにより、第１の照明部（第１の画像生成部１０Ａの第１照明部１４ａ及び第２照明部１５ａ）と、第２の照明部（第２の画像生成部１０Ｂの第１照明部１４ｂ、第２照明部１５ｂ）によって、複数の異なる方向から照明した状態の撮像が可能になる。すなわち、物体（例えば、絵画）を回転させなくても、図１３（ａ）及び図１３（ｂ）のような、異なる照明方向による撮像が可能になる。よって、第１の画像生成部１０Ａと第２の画像生成部１０Ｂによって生成される画像データの合成を、画像の位置ずれが発生することなく、行うことができるようになる。これにより、高さの異なる凸部が近傍にあった場合であっても、陰影を含む画像データを精度良く生成することができる。

第１の画像生成部１０Ａは、第１の撮像領域Ｌ１内にある凸部を有する物体を、第１照明部（第１照明部１４ａ及び第２照明部１５ａ）によって照明して撮影し、凸部による陰影を示す第１の陰影情報を生成し、第２の画像生成部１０Ｂは、第２の撮像領域Ｌ２内にある物体を、第２の照明部（第１照明部１４ｂ及び第２照明部１５ｂ）によって照明して撮影し、凸部による陰影を示す第２の陰影情報を生成する。これにより、高さの異なる凸部が近傍にあった場合であっても、画像の位置ずれが発生することなく、陰影を含む画像データを精度良く生成することができる。

また、第１の照明部は、第１の撮像部の両側に配置される複数の照明部（第１照明部１４ａ及び第２照明部１５ａ）を含み、第１の画像生成部１０Ａは、第１の撮像領域Ｌ１内にある物体を、第１の照明部の複数の照明部のそれぞれによって照明して撮影して、第１の陰影情報を生成し、第２の照明部は、第２の撮像部の両側に配置される複数の照明部（第１照明部１４ｂ及び第２照明部１５ｂ）を含み、第２の画像生成部１０Ｂは、第２の撮像領域Ｌ２内にある物体を、第２の照明部の複数の照明部のそれぞれによって照明して撮影して、第２の陰影情報を生成する。これにより、第１の撮像領域Ｌ１に対して異なる２方向から照明した状態と、第２の撮像領域Ｌ２に対してさらに異なる２方向から照明した状態とにおける撮像が可能になる。よって、より精度良く画像データを生成することができる。

本開示の撮像装置１００は、第１の画像生成部１０Ａによる第１の撮像領域Ｌ１の撮影と、第２の画像生成部１０Ｂによる第２の撮像領域Ｌ２の撮影とを同時に行う。これにより、複数の画像データを短時間で生成することができる。

第１の方向（撮像領域Ｌ１の延在する方向）と第１の照明部（第１照明部１４ａ及び第２照明部１５ａ）の長手方向は平行であり、第２の方向（撮像領域Ｌ２の延在する方向）と第２の照明部（第１照明部１４ｂ、第２照明部１５ｂ）の長手方向は平行である。すなわち、撮像領域Ｌ１、Ｌ２全体において、第１照明部１４ａ、１４ｂから撮像領域Ｌ１、Ｌ２内の各画素への距離は同一であり、第２照明部１５ａ、１５ｂから撮像領域Ｌ１、Ｌ２内への各画素への距離もまた同一である。よって、撮像領域Ｌ１、Ｌ２内の全ての画素が、均一の角度及び光量で照明されうる。これにより、精度の良い陰影画像データが得られる。

第１の方向（撮像領域Ｌ１の延在する方向）と第２の方向（撮像領域Ｌ２の延在する方向）が交差する角度は９０度である。よって、本開示の撮像装置１００によれば、９０度異なる方向から絵画を照明した状態の画像データを、絵画を回転させることなく、取得することができる。

第１の方向（撮像領域Ｌ１の延在する方向）及び第２の方向（撮像領域Ｌ２の延在する方向）と、第１の画像生成部１０Ａと第２の画像生成部１０Ｂの撮像時の移動方向とがなす角度が４５度である。このように、本開示の撮像装置１００では、撮像領域Ｌ１、Ｌ２が延在する方向と、撮像時の移動方向とが４５度で交差するため、撮像領域Ｌ１、Ｌ２のサイズは、Ｘ軸方向において同一であり、さらにＹ軸方向においても同一である。よって、画像処理装置２００は、撮像領域Ｌ１、Ｌ２のそれぞれで撮像して得られた画像データの高さ情報の合成を簡単に行うことができる。

撮像装置１００は、第１の画像生成部１０Ａと第２の画像生成部１０Ｂの間に、第１及び第２の照明部（第１照明部１４ａ、第２照明部１５ａ、第１照明部１４ｂ、第２照明部１５ｂ）の照明光を遮蔽する遮光部材１７を備えているため、一方の撮像領域に他方の照明光が漏れて、陰影が薄くなったり、陰影の方向が変わったりすることを防ぐことができる。よって、陰影画像データをより精度良く生成することができる。

本開示の画像処理システム１は、撮像装置１００と、第１照明部の照明方向と物体の主面とがなす角度及び第１の陰影情報（第１画像データ及び第３画像データ）と、第２照明部の照明方向と物体の主面とがなす角度及び第２の陰影情報（第２画像データ及び第４画像データ）とに基づいて、物体の表面の高さを示す高さ情報（高さデータ）を生成する画像処理装置２００と、を含む。本開示の撮像装置１００によれば、陰影を含む画像データを精度良く生成することができるため、本開示の画像処理システム１によれば、凸部全体の高さを陰影の長さから精度良く算出できる。

また、本開示は、撮像装置１００と画像処理装置２００と印刷装置３００とを備えた複製システムを提供しても良い。この複製システムによれば、絵画を複製する際に、絵画の凸部（絵画表面の高さ）を精度良く再現することができる。これにより、より実物に近い絵画の複製物を生成することができる。

（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施形態にも適用可能である。また、上記実施形態１で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。そこで、以下、他の実施形態を例示する。

上記実施形態においては、図７のステップＳ７０１〜７０３に示すように、スキャンの開始位置から終了位置まで（又は終了位置から開始位置まで）の移動を３回行うことによって、４方向からの照明による陰影画像データ（第１画像〜第４画像データ）と色画像データ（第５画像データ）を取得した。しかし、移動回数は３回でなくても良い。絵画４００に対して９０度ずつ異なる４方向（例えば、右上側と左下側、左上側と右下側）からの照明による陰影画像データ（第１画像〜第４画像データ）と色画像データ（第５画像データ）を取得できれば、移動回数を任意に設定しても良い。例えば、スキャン方向へ移動する毎に、撮像領域Ｌ１、Ｌ２を３種類の照明状態（第１照明部１４ａ、１４ｂのみで照明した状態、第２照明部１５ａ、１５ｂのみで照明した状態、及び第１照明部１４ａと第２照明部１５ａの両方（又は第１照明部１４ｂと第２照明部１５ｂの両方）で照明した状態）でそれぞれ撮影することによって、スキャンの開始位置から終了位置までの１回の移動によって、陰影画像データ（第１画像〜第４画像データ）と色画像データ（第５画像データ）を取得しても良い。

上記実施形態においては、絵画の色彩を再現する例について説明したが、凸部を有する物体の色彩を再現せず、物体の立体形状のみを再現する場合は、色画像データの生成に関する処理（ステップＳ７０３）を省略することができる。

上記実施形態において、撮像領域Ｌ１、Ｌ２の延在する方向の交差角度は９０度であったが、この交差角度は９０度ちょうどでなくても良い。図１０に、撮像部１３１ａ、１３１ｂの画素数に応じた交差角度の許容範囲を示す。図１０は、撮像部１３１ａ、１３１ｂによって撮像された画像データを解像度１０００ｄｐｉにより合成した時に１ｍｍのずれまでを許容可能であるとした場合の、撮像領域Ｌ１、Ｌ２の交差角度の許容範囲を示している。この場合、例えば、撮像部１３１ａ、１３１ｂの画素数が７０００であれば、交差角度の許容範囲は８９．５°〜９０．５°となる。撮像領域Ｌ１、Ｌ２の交差角度は、図１０に示すような、撮像部１３１ａ、１３１ｂの画素数に応じた許容角度の範囲内で決定しても良い。

上記実施形態においては、第１の画像生成部１０Ａ及び第２の画像生成部１０Ｂは、図４に示すように、スキャン方向に対して前後に並べて（Ｙ軸方向に沿って）配置されたが、その他の位置関係で配置されても良い。図１１に、第１の画像生成部１０Ａ及び第２の画像生成部１０Ｂの異なる位置関係を示す。第１の画像生成部１０Ａ及び第２の画像生成部１０Ｂは、図１１に示すように、スキャン方向に対して左右に並べて（Ｘ軸方向に沿って）配置されても良い。このとき、撮像領域Ｌ１、Ｌ２が延在する方向とスキャン方向とが４５度で交差するように配置すると、撮像領域Ｌ１、Ｌ２のサイズは、Ｘ軸方向において同一となり、且つＹ軸方向においても同一になるため、撮像領域Ｌ１、Ｌ２のそれぞれで撮像して得られた画像データの高さ情報の合成を簡単に行うことができるようになる。

なお、図１１に示すようなスキャン方向の左右に並べる配置は、図４に示す配置の第１の画像生成部１０Ａ及び第２の画像生成部１０Ｂのスキャン方向をＹ軸方向ではなく、Ｘ軸方向に変えることによって、実現しても良い。第１の画像生成部１０Ａ及び第２の画像生成部１０Ｂの配置を、図４に示すようにスキャン方向に対して前後に並べた方向にするか、又は図１１に示すようにスキャン方向に対して左右に並べた方向にするかは、撮像する絵画の縦横比に応じて決定しても良い。例えば、縦長の絵画を撮像するときは、スキャン方向に対して前後に並べた配置にしても良い。

上記実施形態においては、撮像装置１００が第１の画像生成部１０Ａ及び第２の画像生成部１０Ｂの２つの画像生成部を備える例について説明したが、画像生成部の数は２つに限らない。例えば、撮像装置１００は３つ以上の画像生成部を備えても良い。図１２は、撮像装置１００が３つの画像生成部１０Ａ、１０Ｂ、１０Ｃを備えるときの位置関係を示している。撮像装置１００は、図１２に示すように、３つの画像生成部１０Ａ、１０Ｂ、１０Ｃを、それぞれの撮像領域の延在する方向が６０度で交差するように、配置しても良い。これにより、より精度良く、凸部の高さを算出することが可能になる。

上記実施形態では、本開示の撮像装置１００の撮像対象として絵画を例として説明したが、撮像対象は絵画に限定されるものではない。本開示の撮像装置１００の思想は、凸部を有する平面状の物体を撮像する際に適用できる。また、上記実施形態では、本開示の画像処理システム１の画像処理対象として絵画を例として説明したが、画像処理対象は絵画に限定されるものではない。本開示の画像処理システム１の思想は、凸部を有する平面状の物体の表面の高さ情報を生成する際に適用できる。

本開示の複製システム１は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現可能である。

添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、凸部を有する物体（例えば、絵画）の陰影を含む画像データを生成する撮像装置、陰影を含む画像データから凸部を有する物体の高さデータを生成する画像処理システムに適用可能である。

１ 画像処理システム
１０Ａ 第１の画像生成部
１０Ｂ 第２の画像生成部
１１ 入出力部
１１ａ 入力部
１１ｂ 通信部
１２ 制御部
１３ａ、１３ｂ カメラ
１３１ａ、１３１ｂ 撮像部
１３２ａ、１３２ｂ メモリ
１４ａ、１４ｂ 第１照明部
１５ａ、１５ｂ 第２照明部
１６ 駆動部
２１ 入出力部
２１ａ 入力部
２１ｂ 通信部
２２ 制御部
２３ メモリ
１００ 撮像装置
２００ 画像処理装置
３００ 印刷装置

Claims (14)

1. 第１の方向に延在する第１の撮像領域を撮像可能な第１の撮像部と、前記第１の撮像領域を少なくとも１つの方向から照明する第１の照明部とを含む第１の画像生成部と、
   前記第１の方向と異なる第２の方向に延在する第２の撮像領域を撮像可能な第２の撮像部と、前記第２の撮像領域を前記第１の照明部と異なる少なくとも１つの方向から照明する第２の照明部とを含む第２の画像生成部と、
   前記第１及び第２の画像生成部を一体的に移動させる駆動部と、
   を備えた、撮像装置。
2. 前記第１の画像生成部は、前記第１の撮像領域内にある凸部を有する物体を、前記第１の照明部によって照明して撮影し、前記凸部による陰影を示す第１の陰影情報を生成し、
   前記第２の画像生成部は、前記第２の撮像領域内にある前記物体を、前記第２の照明部によって照明して撮影し、前記凸部による陰影を示す第２の陰影情報を生成する、
   請求項１に記載の撮像装置。
3. 前記第１の照明部は、前記第１の撮像部の両側に配置される複数の照明部を含み、前記第１の画像生成部は、前記第１の撮像領域内にある前記物体を、前記第１の照明部の複数の照明部のそれぞれによって照明して撮影して、前記第１の陰影情報を生成し、
   前記第２の照明部は、前記第２の撮像部の両側に配置される複数の照明部を含み、第２の画像生成部は、前記第２の撮像領域内にある前記物体を、前記第２の照明部の複数の照明部のそれぞれによって照明して撮影して、前記第２の陰影情報を生成する、
   請求項２に記載の撮像装置。
4. 前記第１の画像生成部による前記第１の撮像領域の撮影と、前記第２の画像生成部による前記第２の撮像領域の撮影とを同時に行う、請求項２に記載の撮像装置。
5. 前記第１の方向と前記第１の照明部の長手方向は平行であり、
   前記第２の方向と前記第２の照明部の長手方向は平行である、
   請求項１に記載の撮像装置。
6. 前記第１の方向と前記第２の方向が交差する角度は９０度である、請求項１に記載の撮像装置。
7. 前記第１の方向及び前記第２の方向と、前記第１の画像生成部と前記第２の画像生成部の撮像時の移動方向とがなす角度が４５度である、請求項６に記載の撮像装置。
8. 前記第１の画像生成部と前記第２の画像生成部は、撮像時の移動方向に並べて配置される、請求項１に記載の撮像装置。
9. 前記第１の画像生成部と第２の画像生成部の間に、前記第１及び第２の照明部の照明光を遮蔽する遮光部材を備える、請求項１に記載の撮像装置。
10. 前記第１の方向及び第２の方向の双方と異なる第３の方向に延在する第３の撮像領域を撮像可能な第３の撮像部と、前記第１及び第２の照明部と異なる少なくとも１つの方向から前記第３の撮像領域を照明する第３の照明部とを含む第３の画像生成部をさらに備える、請求項１に記載の撮像装置。
11. 前記第１の方向及び前記第２の方向と、前記第３の方向とがなす角度が６０度である、請求項１０に記載の撮像装置。
12. 前記第１及び第２の画像生成部のうちの少なくとも１つにおいて、前記複数の照明部によって複数の方向から同時に前記物体を照明して撮影し、前記物体の色情報を含む画像データを生成する請求項３に記載の撮像装置。
13. 請求項２に記載の撮像装置と、
    前記第１の照明部の照明方向と前記物体の主面とがなす角度及び前記第１の陰影情報と、前記第２の照明部の照明方向と前記物体の主面とがなす角度及び前記第２の陰影情報とに基づいて、前記物体の表面の高さを示す高さ情報を生成する画像処理装置と、
    を含む、画像処理システム。
14. 第１の方向に延在する第１の撮像領域内の凸部を有する物体を、第１の照明方向から照明して撮影し、前記凸部による陰影を示す第１の陰影情報を生成し、
    前記第１の方向と異なる第２の方向に延在する第２の撮像領域内の前記物体を、前記第１の照明方向とは異なる第２の照明方向から照明して撮影し、前記凸部による陰影を示す第２の陰影情報を生成し、
    前記第１の照明方向と前記物体の主面とがなす角度及び前記第１の陰影情報と、前記第２の照明方向と前記物体の主面とがなす角度及び前記第２の陰影情報とに基づいて、前記物体の表面の高さを示す高さ情報を生成する、
    画像処理方法。

Images