JP2021012641A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】迅速かつ簡便に対象物の拓本画像を生成するための画像処理装置を提供する。【解決手段】画像処理装置１は、対象物の表面に形成された凹凸を含む背景画像３１を取得する背景画像取得部２１と、表面の少なくとも一部に斜めの光が照射された斜光画像３２を取得する斜光画像取得部２２と、斜光画像３２および背景画像３１に基づいて、光が照射されたことによる輝度変化を表す輝度変化画像３３を生成する輝度変化画像生成部２３と、輝度変化画像３３に平滑化処理を適用して、平滑化画像３４を生成する平滑化画像生成部２４と、平滑化画像３４および輝度変化画像３３に基づいて、凹凸が強調された強調画像３５を生成する強調画像生成部２５と、を備える。【選択図】図２

Description

本発明は、対象物の拓本画像を生成するための画像処理装置、画像処理方法およびプログラムに関する。

拓本は、墨と紙を用いて構造物の凹凸を写し取る古典的な技術である。石碑等の文化財を調査する現場において記録結果を確認することができ、再調査のリスクが少ないこと、実寸に近い画像を取得することができることなどから、拓本は文化財の調査においてこれまで広く利用されている。

一方、拓本の取得には習熟が必要であること、一件の対象物につき約１５分から３０分程度の時間を要すること、対象物への接触が前提であるため、崩壊や汚損が懸念される資料や水気を嫌う木版画等には適用できないことなど、拓本は多くの欠点も抱えている。そこで近年では、従来の拓本に代わる種々の技術が提案されている。

例えば、３ＤスキャナやＳｆＭ／ＭＶＳ（Structure from Motion/Multi-view stereo）技術を用いて、文化財等の対象物に接触することなく三次元形状を記録する方法が提案されている。特許文献１には、三次元計測器により石器等の立体的造形物を計測して、立体的造形物の実測図を作成する方法および装置が開示されている。

特開２００５−２５１０４３号公報

しかしながら、３ＤスキャナやＳｆＭ／ＭＶＳ技術を用いて三次元形状を記録する方法は、次のような欠点を抱えている。例えば、対象物の形状データの取得および解析には高価な撮像装置や高性能の計算機が必要とされる。対象物に応じてＳｆＭ／ＭＶＳの解析パラメータを調整するためには、ユーザに専門的な知識が必要とされる。計算機による解析処理にも比較的長い時間（例えば、現状では約６時間）を要しており、石碑等の文化財を調査する現場において解析結果を確認することは困難である。

記録した三次元形状のデータを確認した結果、データに欠損がある場合や解析結果が不鮮明である場合には、調査現場において再調査が必要になる。しかしながら、例えば海外の遺跡での調査や膨大な数の悉皆調査では、現場において調査を行う機会自体が限られている。よって、３ＤスキャナやＳｆＭ／ＭＶＳ技術を用いて三次元形状を記録する方法や特許文献１の技術は、調査現場において石碑等の拓本を取得するフィールドワークには適していない。対象物の表面に形成されている凹凸の画像（以下、拓本画像と呼ぶ）を迅速かつ簡便に取得する手法が求められている。

本発明の目的は、迅速かつ簡便に対象物の拓本画像を生成するための画像処理装置を提供することにある。

上記目的を達成するための本発明は、例えば以下に示す態様を含む。
（項１）
対象物の表面に形成された凹凸を含む背景画像を取得する背景画像取得部と、
前記表面の少なくとも一部に斜めの光が照射された斜光画像を取得する斜光画像取得部と、
前記斜光画像および前記背景画像に基づいて、前記光が照射されたことによる輝度変化を表す輝度変化画像を生成する輝度変化画像生成部と、
前記輝度変化画像に平滑化処理を適用して、平滑化画像を生成する平滑化画像生成部と、
前記平滑化画像および前記輝度変化画像に基づいて、前記凹凸が強調された強調画像を生成する強調画像生成部と、
を備える、画像処理装置。
（項２）
前記平滑化画像生成部は、前記平滑化処理として、平滑化フィルタ、メディアンフィルタ、およびガウシアンフィルタのいずれか一つまたはこれらの組み合わせを、前記輝度変化画像に適用して前記平滑化画像を生成する、項１に記載の画像処理装置。
（項３）
前記輝度変化画像生成部は、前記斜光画像と前記背景画像との差分により、前記輝度変化画像を生成する、項１または２に記載の画像処理装置。
（項４）
前記強調画像生成部は、前記平滑化画像と前記輝度変化画像との差分により、前記強調画像を生成する、項３に記載の画像処理装置。
（項５）
前記強調画像生成部は、
前記平滑化画像と、前記輝度変化画像の前記平滑化画像よりも輝度が低い部分との差分により低輝度強調画像を生成し、
前記輝度変化画像の前記平滑化画像よりも輝度が高い部分と、前記平滑化画像との差分により高輝度強調画像を生成し、
前記低輝度強調画像および前記高輝度強調画像を合成して、前記強調画像を生成する、項４に記載の画像処理装置。
（項６）
前記斜光画像取得部は、前記光の照射領域が異なる複数の前記斜光画像を取得し、
前記照射領域が異なる前記斜光画像のそれぞれについて作成された複数の前記強調画像を合成する強調画像合成部をさらに備える、項１から５のいずれかに記載の画像処理装置。
（項７）
前記強調画像合成部は、前記強調画像内の前記凹凸の輝度に基づいて、複数の前記強調画像を比較明合成する、項６に記載の画像処理装置。
（項８）
対象物の表面に形成された凹凸を含む背景画像を取得する背景画像取得ステップと、
前記表面の少なくとも一部に斜めの光が照射された斜光画像を取得する斜光画像取得ステップと、
前記斜光画像および前記背景画像に基づいて、前記光が照射されたことによる輝度変化を表す輝度変化画像を生成する輝度変化画像生成ステップと、
前記輝度変化画像に平滑化処理を適用して、平滑化画像を生成する平滑化画像生成ステップと、
前記平滑化画像および前記輝度変化画像に基づいて、前記凹凸が強調された強調画像を生成する強調画像生成ステップと、
を含む、画像処理方法。
（項９）
項１から７に記載の画像処理装置の各部として、コンピュータを機能させるためのプログラム。

本発明によると、迅速かつ簡便に対象物の拓本画像を生成するための画像処理装置を提供することができる。

本発明の一実施形態に係る画像処理装置の使用態様を説明するための図である。 本発明の一実施形態に係る画像処理装置の機能を説明するためのブロック図である。 本発明の一実施形態に係る画像処理装置を用いて画像処理を行う手順を説明するためのフローチャートである。 取得した背景画像の一例である。 取得した斜光画像の一例である。 生成した輝度変化画像の一例である。 生成した平滑化画像の一例である。 輝度変化画像および平滑化画像の或る横方向の位置に沿った輝度値の分布を示すグラフである。 生成した強調画像の一例である。 強調画像を説明するための図である。 画像間での字形の変化を比較するための図である。 合成された拓本画像の一例である。 凹凸の表面に光源から斜めの光が照射されている状態を示す模式図である。 他の実施形態に係る画像処理方法において生成する低輝度強調画像および高輝度強調画像の二種類の強調画像を説明するための図である。 第１の実施例において本発明の方法と従来の他の手法とを比較するための図である。 第２の実施例に係る対象物の画像および拓本画像である。 第３の実施例に係る対象物の画像および拓本画像である。 第４の実施例に係る対象物の画像および拓本画像である。 第５の実施例に係る拓本画像である。

以下、本発明の実施形態を、添付の図面を参照して詳細に説明する。なお、以下の説明および図面において、同じ符号は同じまたは類似の構成要素を示すこととし、よって、同じまたは類似の構成要素に関する重複した説明を省略する。
［発明の概要］

図１は、本発明の一実施形態に係る画像処理装置の使用態様を説明するための図である。

一実施形態に係る画像処理装置１は、対象物９の表面に形成されている凹凸８の画像（拓本画像）を生成する装置である。対象物９の表面は外部撮像装置２を用いて撮像され、撮像画像は、例えばBluetooth（登録商標）等の無線接続または有線接続により、画像処理装置１に転送される。

画像処理装置１は、背景画像および斜光画像の２種類の撮像画像を用いて、拓本画像として、凹凸８が強調された強調画像を生成する。生成した拓本画像は、例えば画像処理装置１の表示部１５に表示される。背景画像は、対象物９の表面に形成された凹凸８を含む画像である。斜光画像は、対象物９の表面の少なくとも一部に斜めの光が照射された画像である。斜めの光は光源３を用いて対象物９の表面に部分的に照射される。本実施形態では、対象物９の表面への斜めの光の照射は、画像処理装置１のユーザにより行われる。

対象物９は、好ましくは天然素材による構造物であり、凹凸８は構造物に形成されている文字または模様である。本実施形態では、対象物９は石碑であり、画像処理装置１は、石碑９に彫刻されている文字の拓本画像として強調画像を生成する。

外部撮像装置２は、例えばＣＭＯＳイメージセンサまたはＣＣＤイメージセンサ等の撮像素子を備える例えば市販のデジタルカメラ等の装置で構成されている。本実施形態では、外部撮像装置２には、適切な焦点距離を有する光学レンズ４が装着され、外部撮像装置２は、三脚５により撮像位置が固定されて対象物９の全体を撮像する。他の実施形態では、動画を撮影するビデオカメラ等で外部撮像装置２を構成し、撮影した動画から対象物９の表面を含む静止画像を切り出して使用してもよい。

光源３には、例えば市販のＬＥＤ照明等の照明器具を用いることができる。好ましくは、光源３の波長は可視光域の波長である。光源３の波長は、外部撮像装置２の受光特性に応じて種々の波長を用いることができる。
［装置の構成］

図２は、本発明の一実施形態に係る画像処理装置の機能を説明するためのブロック図である。

一実施形態に係る画像処理装置１は、データ処理部１２と、補助記憶装置１３と、入力部１４と、表示部１５と、通信インタフェース部（通信Ｉ／Ｆ部）１６とを備えている。本実施形態では、タブレット端末またはスマートフォン（以下、タブレット端末等と記載する）を用いて画像処理装置１を構成する。他の実施形態では、画像処理装置１は、外部撮像装置２に代えて撮像部１１を備えることができる。撮像部１１には、例えばタブレット端末等に予め設けられているＣＭＯＳイメージセンサ等の撮像素子を用いることができる。さらに他の実施形態では、画像処理装置１には例えばノートブックＰＣ等の汎用コンピュータを用いることができる。

本実施形態では、画像処理装置１は、ハードウェアの構成として、補助記憶装置１３、入力部１４、表示部１５および通信Ｉ／Ｆ部１６を備えている。図示していないが、画像処理装置１は、ハードウェアの構成として、データ処理を行うＣＰＵ等のプロセッサと、プロセッサがデータ処理の作業領域に使用するメモリとをさらに備えている。

補助記憶装置１３は、オペレーティングシステム（ＯＳ）、各種制御プログラム、および、プログラムによって生成されたデータなどを記憶する不揮発性の記憶装置であり、例えば、フラッシュメモリやｅＭＭＣ（embedded Multi Media Card）、ＳＳＤ（Solid State Drive）等によって構成される。本実施形態では、補助記憶装置１３には、背景画像３１、斜光画像３２、輝度変化画像３３、平滑化画像３４、強調画像３５、および画像処理プログラムＰが記憶される。

背景画像３１は、対象物９の表面に形成された凹凸８を含む画像である。斜光画像３２は、対象物９の表面の少なくとも一部に斜めの光を照射した時の画像である。輝度変化画像３３は、対象物９の表面の少なくとも一部に斜めの光が照射されたことによる輝度変化を表す画像である。輝度変化画像３３は、斜光画像３２および背景画像３１に基づいて生成される。平滑化画像３４は、輝度変化画像３３に平滑化処理を適用した画像である。強調画像３５は、対象物９の表面に形成された凹凸８が強調された画像である。強調画像３５は、平滑化画像３４および輝度変化画像３３に基づいて生成される。

本実施形態では、背景画像３１および斜光画像３２は、例えば８ビット（輝度値が０〜２５５の合計２５６階調）のグレースケール画像として記憶される。輝度変化画像３３、平滑化画像３４、および強調画像３５も８ビットのグレースケール画像として生成され、拓本画像も８ビットのグレースケール画像として生成される。

画像処理プログラムＰは、ソフトウェアによる機能ブロックである後述するデータ処理部１２内の各部２１〜２６を実現するためのコンピュータプログラムである。画像処理プログラムＰは、通信Ｉ／Ｆ部１６により接続されるインターネット等のネットワークを介して画像処理装置１にインストールしてもよい。あるいは、画像処理プログラムＰを記録したメモリカード等のコンピュータ読み取り可能な非一時的な有体の記録媒体を画像処理装置１に読み取らせることにより、画像処理プログラムＰを画像処理装置１にインストールしてもよい。画像処理プログラムＰは、例えばタブレット端末等のアプリケーションとすることができる。

入力部１４は、例えばマウスやキーボード等で構成することができ、表示部１５は、例えば液晶ディスプレイおよび有機ＥＬディスプレイ等で構成することができる。本実施形態では、入力部１４および表示部１５はタッチパネルとして一体化されている。

通信Ｉ／Ｆ部１６は、有線または無線のネットワークを介して、外部撮像装置２等の外部機器とのデータの送受信を行う。通信Ｉ／Ｆ部１６は、Bluetooth（登録商標）、Wi-Fi（登録商標）、およびZigBee（登録商標）等の種々の無線接続または有線接続であってもよい。他の実施形態において、外部撮像装置２に代えて撮像部１１を用いる場合、通信Ｉ／Ｆ部１６は省略することもできる。

本実施形態では、画像処理装置１は、ソフトウェアの構成としてデータ処理部１２を備えている。データ処理部１２は、プロセッサが画像処理プログラムＰを実行することにより実現される機能ブロックである。

背景画像取得部２１は、対象物９の表面に形成された凹凸８を含む背景画像３１を取得する。取得した背景画像３１は補助記憶装置１３に記憶される。本実施形態では、背景画像３１は外部撮像装置２を介して取得する。取得した背景画像３１が例えばＲＧＢ２４ビットのフルカラーでありグレースケール画像ではない場合、背景画像取得部２１は、取得した背景画像３１を例えば８ビットのグレースケール画像に変換して記憶することができる。

斜光画像取得部２２は、対象物９の表面の少なくとも一部に斜めの光が照射された斜光画像３２を取得する。取得した斜光画像３２は補助記憶装置１３に記憶される。本実施形態では、斜光画像３２は外部撮像装置２を介して取得する。取得した斜光画像３２が例えばＲＧＢ２４ビットのフルカラーでありグレースケール画像ではない場合、斜光画像取得部２２は、取得した斜光画像３２を例えば８ビットのグレースケール画像に変換して記憶することができる。斜めの光は光源３を用いて対象物９の表面に部分的に照射されており、斜光画像取得部２２は、光源３により対象物９の表面に照射される光の領域に応じて、光の照射領域が異なる複数の斜光画像３２を取得する。

輝度変化画像生成部２３は、斜光画像３２および背景画像３１に基づいて、光が照射されたことによる輝度変化を表す輝度変化画像３３を生成する。生成した輝度変化画像３３は補助記憶装置１３に記憶される。本実施形態では、輝度変化画像生成部２３は、斜光画像３２と背景画像３１との差分により、輝度変化画像３３を生成する。

平滑化画像生成部２４は、輝度変化画像３３に平滑化処理を適用して、平滑化画像３４を生成する。生成した平滑化画像３４は補助記憶装置１３に記憶される。平滑化画像生成部２４は、平滑化処理として、平滑化フィルタ、メディアンフィルタ、およびガウシアンフィルタのいずれか一つまたはこれらの組み合わせを、輝度変化画像３３に適用して平滑化画像３４を生成する。これら３つのフィルタはいずれもローパスフィルタとして機能する。本実施形態では、平滑化画像生成部２４は、輝度変化画像３３に平滑化フィルタを適用して平滑化画像３４を生成する。

強調画像生成部２５は、平滑化画像３４および輝度変化画像３３に基づいて、凹凸が強調された強調画像３５を生成する。生成した強調画像３５は補助記憶装置１３に記憶される。本実施形態では、強調画像生成部２５は、平滑化画像３４と輝度変化画像３３との差分により、強調画像３５を生成する。

強調画像合成部２６は、照射領域が異なる斜光画像３２のそれぞれについて作成された複数の強調画像３５を合成する。本実施形態では、強調画像合成部２６は、強調画像３５内の凹凸の輝度に基づいて、複数の強調画像３５を比較明合成する。強調画像合成部２６は、合成した強調画像を、拓本画像として例えば表示部１５に表示する。強調画像合成部２６は、合成した強調画像を例えば補助記憶装置１３に記憶してもよい。
［処理手順］

図３は、本発明の一実施形態に係る画像処理装置を用いて画像処理を行う手順を説明するためのフローチャートである。

ステップＳ１（背景画像取得ステップ）において、対象物９の表面に形成された凹凸８を含む背景画像３１を取得する。ここで、対象物９が例えば屋外に存在する場合には、自然光が対象物９全体に概ね均等にあたる状態となっている。取得した背景画像３１の一例を図４に示す。本実施形態では、背景画像３１は最初に一度だけ取得する。他の実施形態では、背景画像３１は、斜光画像３２を取得する度に毎回取得して、常に最新のものを上書きして利用してもよい。

ステップＳ２において、対象物９の表面の少なくとも一部に斜めの光を照射する。本実施形態では、対象物９の表面への斜めの光の照射は、画像処理装置１のユーザにより行われる。ユーザは、光源３を用いて対象物９の表面に斜めの光を部分的に照射する。対象物９の表面に対する照射光の角度は、曲率半径が大きい略平面の表面の場合、好ましくは約５°〜２０°の範囲である。ここで、照射光の角度とは、対象物９の表面と光源３から照射される照射光の光軸とがなす角度である。照射光の角度が増大し９０°に近づくにつれ、照射光は斜光から正面光となる。

なお、対象物９の表面に対する照射光の角度は常に一定である必要はない。対象物９の表面上の同じ照射領域であっても、異なる照射角度で対象物９の表面に斜めの光を照射することができ、それにより、後述するステップＳ３において、対象物９の表面上の同じ照射領域であっても、異なる斜光画像３２を取得することができる。

ステップＳ３（斜光画像取得ステップ）において、対象物９の表面の少なくとも一部に斜めの光が照射された斜光画像３２を取得する。取得した斜光画像３２の一例を図５に示す。斜めの光が照射されることにより、斜光画像３２は背景画像３１と比較して全体的に輝度値が上昇していることがわかる。例示する手順の態様では、光源３は対象物９の右側（図５の上側）から斜めの光を照射している。斜めの光は光源３を用いて対象物９の表面に部分的に照射されており、光源３により対象物９の表面に照射される光の領域に応じて、光の照射領域が異なる斜光画像３２を取得することができる。

ステップＳ４（輝度変化画像生成ステップ）において、斜光画像３２および背景画像３１に基づいて、光が照射されたことによる輝度変化を表す輝度変化画像３３を生成する。生成した輝度変化画像３３の一例を図６に示す。

本実施形態では、斜光画像３２と背景画像３１との差分により、輝度変化画像３３を生成する。画像の差分とは、画素毎の輝度値（例えば８ビットの場合は０〜２５５の範囲の値）の差分であり、斜光画像３２および背景画像３１で対応する位置の画素について、例えば斜光画像３２の輝度値から背景画像３１の輝度値を減算することにより算出する。これにより、輝度変化画像３３には、斜めに光が照射されたことにより明るくなった輝度値の数値の変化が抽出される。

ステップＳ５（平滑化画像生成ステップ）において、輝度変化画像３３に平滑化処理を適用して、平滑化画像３４を生成する。生成した平滑化画像３４の一例を図７に示す。本実施形態では、輝度変化画像３３に平滑化フィルタを適用して平滑化画像３４を生成する。平滑化画像３４は、光源３により対象物９の表面に照射された斜めの光による照射領域の形状を抽出した画像である。

図８を参照して、平滑化画像３４について説明する。図８は、画像の或る横方向の位置に沿った輝度値の分布を示すグラフである。（Ａ）には輝度変化画像３３の輝度値の分布を示すグラフ３３ｇを示し、（Ｂ）には平滑化画像３４の輝度値の分布を示すグラフ３４ｇを示す。なお、（Ａ）には比較用にグラフ３３ｇおよびグラフ３４ｇの両方を示している。

（Ａ）のグラフ３３ｇに示すように、輝度変化画像３３では画像内の位置毎に輝度値が激しく変化しており、高周波の成分と低周波の成分とが混在している。グラフ３３ｇの上下の振幅も激しく変化している。例示する手順の態様では、光源３は対象物９の右側（図７の上側）から斜めの光を照射しており、グラフ３３ｇの右側へ行くにつれて輝度値も上昇している。輝度値の変化は凹凸８による反射光の強度の変化を反映している。例えば凹凸８の影に相当する画像内の位置では輝度値は増加しにくく、斜めの光により凹凸８が直接照射される画像内の位置では輝度値は増加する。

これに対し、（Ｂ）のグラフ３４ｇに示すように、平滑化画像３４では、平滑化処理の適用により画像内の位置毎の輝度値の変化は均されており、平滑化画像３４には低周波の成分のみが抽出されている。グラフ３４ｇの上下の振幅の変化も穏やかになっている。これにより、平滑化画像３４には、光源３により対象物９の表面に照射された斜めの光による照射領域の形状が抽出される。

ステップＳ６（強調画像生成ステップ）において、平滑化画像３４および輝度変化画像３３に基づいて、対象物９の表面に形成された凹凸８が強調された強調画像３５を生成する。生成した強調画像３５の一例を図９に示す。

本実施形態では、平滑化画像３４と輝度変化画像３３との差分により、強調画像３５を生成する。画像の差分は、平滑化画像３４および輝度変化画像３３で対応する位置の画素について、例えば平滑化画像３４の輝度値から輝度変化画像３３の輝度値を減算することにより算出する。これにより、強調画像３５には、凹凸８の影に対応する部分の輝度値が抽出される。

図１０を参照して、強調画像３５について説明する。図１０は、強調画像を説明するための図である。（Ａ）および（Ｂ）は、画像の或る横方向の位置に沿った輝度値の分布を示すグラフである。（Ａ）には、輝度変化画像３３および平滑化画像３４の対応する画像内の位置について、輝度変化画像３３の輝度値の分布を示すグラフ３３ｇ（黒色）と、平滑化画像３４の輝度値の分布を示すグラフ３４ｇ（灰色）とが示されている。（Ｂ）には、強調画像３５の輝度値の分布を示すグラフ３５ｇ（灰色）が示されている。（Ｃ）は輝度変化画像３３の一部を拡大した図であり、（Ａ）に示すグラフ３３ｇは（Ｃ）中の破線ＬＩＮＥに沿った輝度値の分布である。同様に、（Ｄ）は強調画像３５の一部を拡大した図であり、（Ｂ）に示すグラフ３５ｇは（Ｄ）中の破線ＬＩＮＥに沿った輝度値の分布である。（Ａ）〜（Ｄ）中に示す参照符号Ｓは、凹凸８の主な影に対応する破線ＬＩＮＥ上の部分である。

（Ａ）を参照すると、グラフ３３ｇに示すように、凹凸８の影Ｓに対応する部分の輝度値は概ね２０未満と低く、これまでの技術では、この凹凸８の影Ｓに対応する部分を周囲と比較して高いコントラスト比で抽出することは達成されていない。一方で、グラフ３４ｇに示すように、平滑化画像３４では、この凹凸８の影Ｓに対応する部分の輝度値は、平滑化処理によりその周囲と同程度の輝度値に均されている。本発明では、平滑化画像３４から、平滑化画像３４の作成の元となった、高周波の成分を含む輝度変化画像３３を減算することにより、強調画像３５を生成する。これにより、輝度変化画像３３のグラフ３３ｇでは輝度値が概ね２０未満と低く、平滑化画像３４のグラフ３４ｇとの対比では埋もれていた低い輝度値は、減算処理後の強調画像３５のグラフ３５ｇでは平滑化画像３４の輝度値を基準として反転され、高い輝度値として抽出される。

なお、（Ｂ）のグラフ３５ｇに示すように、輝度変化画像３３の画素のうち、平滑化画像３４の輝度値よりも高い輝度値を有する画素については、減算処理により輝度値はゼロとして抽出される。また、そもそも照射領域外の画素の輝度値は概ねゼロであり、平滑化処理により均されても概ねゼロのままであるので、平滑化画像３４から輝度変化画像３３を減算しても、照射領域外の画素の輝度値は概ねゼロ（すなわち、黒色）のまま抽出される。

図６に示す輝度変化画像３３では、光源３による光が照射されていない照射領域外の輝度値と、照射領域内の凹凸８の影に対応する部分の輝度値とはいずれも低い。よって、輝度変化画像３３を用いて、照射領域内に含まれている凹凸８の影の部分の画素を輝度値に基づいて抽出しようとすると、照射領域外の画素も誤って抽出される。

これに対し、本発明では、輝度変化画像３３に平滑化処理を適用して平滑化画像３４を生成し、生成した平滑化画像３４から輝度変化画像３３を減算することにより、照射領域外の輝度値と、照射領域内に含まれている凹凸８の影の部分の輝度値とを分離することを可能にしている。

図１１は、画像間での字形の変化を比較するための図である。（Ａ）は背景画像３１であり、（Ｂ）は斜光画像３２であり、（Ｃ）は輝度変化画像３３であり、（Ｄ）は強調画像３５である。（Ａ）〜（Ｄ）の各画像には、文字「南無阿弥陀仏」の「陀仏」に相当する部分が示されている。（Ｄ）に示す強調画像３５では、（Ａ）〜（Ｃ）に示す各画像と比較して、凹凸８の影に対応する部分は周囲と比較して高いコントラスト比で抽出されており、文字の形も明瞭に抽出されている。

ステップＳ７において、ユーザが所望する対象物９の表面の領域を全て処理する（ステップＳ７においてＹｅｓ）まで、ステップＳ２から処理を繰り返し、照射領域を変更して複数の強調画像３５を次々に生成する。

ステップＳ８（強調画像合成ステップ）において、照射領域が異なる斜光画像３２のそれぞれについて作成された複数の強調画像３５を合成する。本実施形態では、強調画像３５内の凹凸の輝度に基づいて、複数の強調画像３５を比較明合成する。比較明合成は画像合成の手法であり、例えば星の軌跡を撮像する際に用いられている。比較明合成には種々の公知の手法を用いることができる。

合成された複数の強調画像３５は、対象物９の拓本画像として、例えば表示部１５に表示される。合成された拓本画像の一例を図１２に示す。なお、ユーザが所望する対象物９の表面の領域が最初の１つ目の領域のみである場合は、本ステップにおける画像合成処理は省略され、ステップＳ６において生成した１枚の強調画像３５がそのまま対象物９の拓本画像となる。
［効果］

以上、本発明の一実施形態に係る画像処理装置によると、迅速かつ簡便に対象物の拓本画像を生成することができる。ユーザは専門的な知識を必要とすることなく簡便に、短時間で迅速に対象物の拓本画像を生成することができる。

本発明によると、外部撮像装置２または撮像部１１を用いて対象物９を撮像した画像を用いて、拓本画像を作成する。これにより、墨と紙を用いた従来の拓本とは異なり、対象物へ接触することなく拓本画像を生成することができ、崩壊や汚損が懸念される資料や水気を嫌う木版画等についても、拓本画像を作成することができる。

また、本発明によると、専用の高価な機器を準備する必要はなく、市販の機器を用いて簡便かつ容易に拓本画像を生成することができる。上記した実施形態において例示するタブレット端末等、デジタルカメラおよびＬＥＤ照明はいずれも市販されている機器である。拓本画像を生成する際の手順も簡便かつ容易である。例えばデジタルカメラにインターバルタイマーを設定して、対象物９を撮像した画像を所定の時間間隔で次々に取得しながら、ＬＥＤ照明等で対象物９に斜めの光を部分的に照射し、照射領域を次々に変更することにより、拓本画像を生成することができる。

また、本発明によると、画像処理装置を構成するタブレット端末等、デジタルカメラおよびＬＥＤ照明は携帯可能なサイズおよび重量であり、拓本画像の作成に要する時間も短時間であることから、石碑等の文化財を調査する現場において迅速に記録結果を確認することができる。記録結果を確認した結果、仮に拓本画像に欠損や不鮮明な箇所があった場合であっても、現場において欠損箇所や不鮮明な箇所について即座に強調画像を追加で生成することができる。これにより再調査のリスクも低下する。

また、本発明は文化財調査のフィールドワークにも適している。例えばデジタルカメラに代えて、タブレット端末等に予め設けられている撮像素子を用いることにより、画像処理装置はよりいっそう簡便な構成となる。例えばタブレット端末等に本発明のプログラム（スマートフォンアプリ）をインストールすることにより、フィールドワークの参加者が所有するタブレット端末等を、本発明の画像処理装置とすることができる。これにより、フィールドワークの参加者は、専門的な知識を必要とすることなく迅速かつ簡便に、参加者の郷土に点在する石碑等の拓本画像を生成し記録することができる。また、例えば郷土に存在する石碑等の拓本画像を収集した、郷土史のデジタルデータベースを手軽に作成することができる。
［その他の形態］

以上、本発明を特定の実施形態によって説明したが、本発明は上記した実施形態に限定されるものではない。

上記実施形態では、対象物９は石碑であり、画像処理装置１は、石碑９に彫刻されている文字の拓本画像として強調画像３５を生成しているが、画像処理装置１が生成する拓本画像はこれに限定されない。例えば、画像処理装置１は、版木を対象物９として、版木に彫刻されている模様の拓本画像を生成してもよく、洞窟を対象物９として、洞窟に彫刻されている壁画の拓本画像を生成してもよく、城壁や堀等の石垣を対象物９として、石垣の外観の拓本画像を生成してもよい。強調画像３５では対象物９の凹凸８が強調されているが、強調される凹凸８は凹であっても凸であってもよい。

上記実施形態では、対象物９は天然素材による構造物であるが、対象物９は構造物であればよく、合成樹脂等の人工素材や例えば細胞等の生体であってもよい。対象物９の寸法も、上記実施形態では数１０センチメートルから数メートル程度の肉眼で目視可能な寸法であるが、外部撮像装置２および光学レンズ４の解像度（分解能）の性能に応じた、対象物９の表面に形成された凹凸８を判別可能な寸法であればよい。

上記実施形態では、斜光画像３２の輝度値から背景画像３１の輝度値を減算することにより輝度変化画像３３を生成しているが、画像を生成する際の減算は、補数表現を用いた加算により行ってもよい。例えば、２進数で表現されている背景画像３１の輝度値の全ビットを反転してから２進数の１を加算することにより、背景画像３１の輝度値を補数で表現し、斜光画像３２の輝度値と、補数で表現された背景画像３１の輝度値とを加算することにより、輝度変化画像３３を生成することができる。これにより、画像を加算することにより輝度変化画像３３を生成することができる。同様に、平滑化画像３４の輝度値と、補数で表現された輝度変化画像３３の輝度値とを加算することにより、強調画像３５を生成することができる。

上記実施形態では、斜光画像３２の輝度値から背景画像３１の輝度値を減算することにより輝度変化画像３３を生成しているが、画像を生成する際の減算の順序は制限されない。例えば、背景画像３１および斜光画像３２の輝度値を反転させ、輝度値を反転させた背景画像３１から輝度値を反転させた斜光画像３２を減算することにより、輝度変化画像３３を生成してもよい。これにより、輝度変化画像３３を生成する際に画像を減算する順序を入れ替えることができる。同様に、輝度変化画像３３および平滑化画像３４の輝度値を反転させ、輝度値を反転させた輝度変化画像３３から輝度値を反転させた平滑化画像３４を減算することにより、強調画像３５を生成してもよい。なお、輝度値の反転とは、例えば８ビットグレースケールの画像の場合、輝度値を最大階調値の２５５から減算した値に変換することを意味する。

上記実施形態では、斜光画像３２と背景画像３１との差分により輝度変化画像３３を生成しているが、輝度変化画像３３を生成する処理はこれに限定されない。輝度変化画像３３は、斜光画像３２および背景画像３１に基づいて生成すればよい。例えば、斜光画像３２と背景画像３１との差分により得られた画像に、さらに種々の画像処理フィルタを適用することにより、輝度変化画像３３を生成してもよい。同様に、平滑化画像３４と輝度変化画像３３との差分により得られた画像にさらに種々の画像処理フィルタを適用することにより、強調画像３５を生成してもよい。

上記実施形態では、対象物９の背景画像３１は最初に撮像された一枚を取得し、輝度変化画像３３はこの最初に撮像された背景画像３１を用いて生成しているが、背景画像３１の取得は一枚に限定されない。例えば、画像処理装置１のユーザは、光源３と外部撮像装置２または撮像部１１とを用いて、背景画像３１と斜光画像３２とを交互に撮像し、画像処理装置１は、取得した複数の背景画像３１および複数の斜光画像３２に基づいて、例えば斜光画像３２と当該斜光画像３２の直前に撮像された背景画像３１とのペアに基づいて、輝度変化画像３３を生成してもよい。輝度変化画像３３を生成する際に用いる背景画像３１と斜光画像３２とのペアも、時間的に隣接したペアに限定されない。

上記実施形態では、照射領域を変更して複数の強調画像３５を次々に生成した後に、生成した複数の強調画像３５を一括して合成しているが、強調画像３５は、ステップＳ６において生成される度に、これまでの繰り返し処理において既に合成されている強調画像３５に順次合成されてもよい。

上記実施形態では、平滑化画像３４の輝度値から輝度変化画像３３の輝度値を減算することにより、凹凸８の影に対応する部分の輝度値が抽出された強調画像３５（以下、低輝度強調画像と呼ぶ）を生成し、生成した複数の強調画像３５同士を合成して拓本画像を生成しているが、合成する強調画像３５は低輝度強調画像の一種類に限定されない。例えば、輝度変化画像３３の輝度値から平滑化画像３４の輝度値を減算することにより、もう一種類の強調画像として、凹凸８の明るい部分に対応する部分の輝度値が抽出された強調画像（以下、高輝度強調画像と呼ぶ）を生成し、低輝度強調画像と高輝度強調画像とを合成してもよい。低輝度強調画像と高輝度強調画像との合成により得られた複数の強調画像同士を合成して、拓本画像を生成してもよい。

図１３は、凹凸の表面に光源から斜めの光が照射されている状態を示す模式図である。凹凸８に斜めの光が照射されると、凹凸８の符号Ｓで示す部分は、光源からの光が十分に照射されず影となり、凹凸８の符号Ｌで示す部分は、光源からの光が照射されて明るくなる。

他の実施形態に係る画像処理方法では、符号Ｓで示す部分が強調された低輝度強調画像と、符号Ｌで示す部分が強調された高輝度強調画像とを生成し、これら低輝度強調画像および高輝度強調画像を合成して、強調画像３５を生成する。他の実施形態に係る画像処理装置では、強調画像生成部２５は、低輝度強調画像および高輝度強調画像の二種類の強調画像を生成する。強調画像生成部２５は、平滑化画像３４と、輝度変化画像３３の平滑化画像３４よりも輝度が低い部分との差分により低輝度強調画像を生成し、輝度変化画像３３の平滑化画像３４よりも輝度が高い部分と、平滑化画像３４との差分により高輝度強調画像を生成する。強調画像生成部２５は、低輝度強調画像および高輝度強調画像を合成して、強調画像３５を生成する。

図１４を参照して、二種類の強調画像について説明する。図１４は、他の実施形態に係る画像処理方法において生成する低輝度強調画像および高輝度強調画像の二種類の強調画像を説明するための図である。

（Ａ）〜（Ｃ）は、画像の或る横方向の位置に沿った輝度値の分布を示すグラフである。（Ａ）には、凹凸８の影に対応する部分Ｓの輝度値が抽出された、低輝度強調画像の輝度値の分布を示すグラフ３５ｇ（灰色）が示されている。（Ｂ）には、凹凸８の明るい部分Ｌに対応する部分の輝度値が抽出された、高輝度強調画像の輝度値の分布を示すグラフ３５ｇ（黒色）が示されている。（Ｃ）は、（Ａ）に示す低輝度強調画像のグラフ３５ｇ（灰色）と、（Ｂ）に示す高輝度強調画像のグラフ３５ｇ（黒色）とを合成したグラフである。（Ｄ）は、低輝度強調画像および高輝度強調画像を合成することにより生成された強調画像の一部を拡大した図である。なお、（Ａ）に示すグラフ３５ｇは、図１０（Ｂ）に示すグラフ３５ｇと同じである。（Ｄ）に示すように、低輝度強調画像および高輝度強調画像を合成すると、凹凸８に対する斜めの光の一回の照射により、凹凸８により構成されている文字の字形の縦方向の線を抽出することができる。

このように、他の実施形態に係る画像処理方法では、背景画像および斜光画像の同じ１つのペアから低輝度強調画像および高輝度強調画像の二種類の強調画像を生成してこれらを合成することにより、凹凸８により構成されている文字の字形の補完割合が高い強調画像３５を生成することが可能となる。これにより、より少ない撮像枚数にて拓本画像を生成することが可能となる。また、この二種類の強調画像を生成してこれらを合成する態様は、例えば対象物の表面のノイズが少なく、凹凸により構成されている文字が複雑な場合に有用である。対象物の表面のノイズが少ないとは、例えば文字を構成する凹凸以外の凹凸が対象物の表面に形成されている割合が少ないことを意味する。

上記実施形態では、画像処理装置１および外部撮像装置２はそれぞれが独立した構成であるが、画像処理装置１および外部撮像装置２は一体化されてもよい。この一体化された構成にさらに光源３を一体化させてもよい。

上記実施形態では、対象物９の表面への斜めの光の部分的な照射は、光源３を用いてユーザにより行われているが、光源３を例えばドローン等に搭載してもよい。さらに、画像処理装置１からドローンを制御することにより照射作業を自動化してもよい。ドローンにはさらに外部撮像装置２を搭載してもよい。すなわち、光源３および外部撮像装置２のいずれか一方または両方をドローンに搭載して、画像処理装置１から照射位置および撮像位置のいずれか一方または両方を制御してもよい。

データ処理部１２の機能および補助記憶装置１３内のデータ項目は、一部または全部が、通信Ｉ／Ｆ部１６を介して接続されるサーバ装置（図示せず）においてクラウド化されていてもよい。例えば、輝度変化画像生成部２３、平滑化画像生成部２４、強調画像生成部２５および強調画像合成部２６がサーバ装置に設けられていてもよい。この場合、画像処理装置１は、Ｉ／Ｆ部１６を介して背景画像３１および斜光画像３２をサーバ装置に送信する。サーバ装置の輝度変化画像生成部２３、平滑化画像生成部２４、強調画像生成部２５および強調画像合成部２６は、受信した背景画像３１および斜光画像３２に基づいて、輝度変化画像３３、平滑化画像３４および強調画像３５を生成し、複数の強調画像３５を合成する。サーバ装置は、合成した強調画像をＩ／Ｆ部１６を介して画像処理装置１に送信し、画像処理装置１は、受信した合成された強調画像を表示部１５に表示してもよい。

上記実施形態では、データ処理部１２を構成する各機能ブロック２１〜２６はソフトウェアにより実現されているが、これら各機能ブロック２１〜２６は、一部または全部がハードウェアとして実現されてもよい。データ処理部１２を構成する各機能ブロック２１〜２６の処理は単一のプロセッサで処理される必要はなく、複数のプロセッサで分散して処理されてもよい。

以下に本発明の実施例を示し、本発明の特徴をより明確にする。

以下の実施例では、画像処理装置１にはMacBook Pro（登録商標）2013を用い、外部撮像装置２にはNikon（登録商標）D810を用いた。外部撮像装置２にはワイヤレストランスミッターを接続し、Wi-Fi（登録商標）により撮像画像を画像処理装置１に転送した。光源３にはペンライト型のＬＥＤ照明を使用した。対象物９の表面への斜めの光の部分的な照射は、光源３を用いてユーザにより行われた。

第１の実施例では、本発明の画像処理装置を用いた方法と従来の他の手法との間で、得られる拓本画像の精度および処理に要する時間を比較した。

図１５は、本発明の方法と従来の他の手法とを比較するための図である。（Ａ）は従来の墨および紙を用いた紙本拓本の画像である。（Ｂ）はＳｆＭ技術により記録された三次元形状のデータから切り出した二次元画像である。（Ｃ）は本発明の画像処理装置による拓本画像である。（Ｄ）は対象物である石碑に記載されている文字の翻刻である。翻刻の出典は、海部郡誌刊行会により編纂され昭和２年に海部郡誌刊行会により発行された「海部郡誌」である。

（Ａ）に示す紙本拓本の作製には約３０分を要した。（Ｂ）に示す二次元画像の作成に要した総作業時間は約６時間５７分２０秒であった。作業時間の内訳は、撮影に要した時間が約５分４０秒であり、解析に要した時間が約６時間５１分５０秒であった。（Ｃ）に示す拓本画像は、後述する第３の実施例において作成した拓本画像であり、拓本画像の生成に要した総作業時間は４分４７秒であった。

（Ｄ）に示す文字の翻刻を基準として、（Ａ）〜（Ｃ）に示されている拓本画像の精度について確認した。（Ｃ）に示す本発明の画像処理装置による拓本画像が最も鮮明かつ高精度に、（Ｄ）に示す翻刻文字を再現していることが確認された。また、（Ｃ）に示す本発明の画像処理装置による拓本画像が、最も迅速に生成されていることが確認された。

第２の実施例〜第４の実施例では、種々の対象物について、拓本画像の処理に要する時間を検証した。

図１６は、第２の実施例に係る画像である。（Ａ）は対象物の画像であり、（Ｂ）は本発明の画像処理装置による拓本画像である。

（Ａ）に示す対象物について、背景画像および斜光画像を交互に撮像して、背景画像および斜光画像のペアを３５セット、合計７０枚を撮像し、３５枚の強調画像を比較明合成することにより（Ｂ）に示す拓本画像を生成した。対象物の表面への斜めの光の部分的な照射作業を含む、背景画像の撮像を開始してから拓本画像を得るまで要した総作業時間は６分１９秒であった。対象物の合計７０枚の画像を撮像した後に撮像画像を画像処理装置に転送して、画像処理装置による画像処理を行い、（Ｂ）に示す拓本画像を生成した。画像処理に要した時間は２８秒であった。

図１７は、第３の実施例に係る画像である。（Ａ）は対象物の画像であり、（Ｂ）は本発明の画像処理装置による拓本画像である。（Ｃ）は（Ｂ）の拓本画像を白黒反転して拡大した画像である。

（Ａ）に示す対象物について、１枚の背景画像および８枚の斜光画像の合計９枚を撮像し、８枚の強調画像を比較明合成することにより（Ｂ）に示す拓本画像を生成した。総作業時間は１分であった。対象物の合計９枚の画像を撮像した後に撮像画像を画像処理装置に転送して、画像処理装置による画像処理を行い、（Ｂ）に示す拓本画像を生成した。画像処理に要した時間は７秒であった。（Ｃ）に示す白黒反転した拓本画像について、ＯＣＲ機能を有する市販のソフトウェアにより文字認識を行ったところ、文字の認識率は約８８％であった。

図１８は、第４の実施例に係る画像である。（Ａ）は対象物の画像であり、（Ｂ）は本発明の画像処理装置による拓本画像である。（Ａ）に対象物として示す石碑は、徳島県美波町に存在する日本最古の津波碑といわれている。この石碑は、正平16年6月24日（西暦1361年8月3日）に発生した南海地震の津波災害による供養碑とされ、津波災害から20年後の康暦2年(1380)に建立されたため、康暦の碑と呼ばれている。

（Ａ）に示す対象物について、背景画像および斜光画像を交互に撮像して、背景画像および斜光画像のペアを２２４セット、合計４４８枚を撮像し、２２４枚の強調画像を比較明合成することにより（Ｂ）に示す拓本画像を生成した。総作業時間は４分４７秒であった。第４の実施例では、平滑化処理にガウシアンフィルタを用いた。これにより、リアルタイムでの画像転送および画像処理装置でのリアルタイムでの画像処理が可能となった。

図１９は、第５の実施例に係る画像である。（Ａ）は複数の低輝度強調画像を比較明合成することにより生成した拓本画像であり、（Ｂ）は低輝度強調画像および高輝度強調画像の合成画像を複数生成し比較明合成することにより生成した拓本画像である。

（Ａ）および（Ｂ）に示す拓本画像の生成には、全く同じソースデータの背景画像および斜光画像が用いられた。（Ａ）および（Ｂ）の拓本画像を比較すると、石碑に彫刻されている文字（梵字）の字形は、（Ｂ）に示す拓本画像の方が（Ａ）に示す拓本画像よりもより鮮明であることが確認された。

以上、第１の実施例〜第５の実施例を通じて、本発明の画像処理装置は、迅速かつ簡便に対象物の拓本画像を生成することが可能であることが確認された。

１ 画像処理装置
２ 外部撮像装置
３ 光源
４ 光学レンズ
５ 三脚
８ 凹凸
９ 対象物（石碑）
１１ 撮像部
１２ データ処理部
１３ 補助記憶装置
１４ 入力部
１５ 表示部
１６ 通信インタフェース部
２１ 背景画像取得部
２２ 斜光画像取得部
２３ 輝度変化画像生成部
２４ 平滑化画像生成部
２５ 強調画像生成部
２６ 強調画像合成部
３１ 背景画像
３２ 斜光画像
３３ 輝度変化画像
３４ 平滑化画像
３５ 強調画像
Ｐ 画像処理プログラム

Claims (9)

1. 対象物の表面に形成された凹凸を含む背景画像を取得する背景画像取得部と、
   前記表面の少なくとも一部に斜めの光が照射された斜光画像を取得する斜光画像取得部と、
   前記斜光画像および前記背景画像に基づいて、前記光が照射されたことによる輝度変化を表す輝度変化画像を生成する輝度変化画像生成部と、
   前記輝度変化画像に平滑化処理を適用して、平滑化画像を生成する平滑化画像生成部と、
   前記平滑化画像および前記輝度変化画像に基づいて、前記凹凸が強調された強調画像を生成する強調画像生成部と、
   を備える、画像処理装置。
2. 前記平滑化画像生成部は、前記平滑化処理として、平滑化フィルタ、メディアンフィルタ、およびガウシアンフィルタのいずれか一つまたはこれらの組み合わせを、前記輝度変化画像に適用して前記平滑化画像を生成する、請求項１に記載の画像処理装置。
3. 前記輝度変化画像生成部は、前記斜光画像と前記背景画像との差分により、前記輝度変化画像を生成する、請求項１または２に記載の画像処理装置。
4. 前記強調画像生成部は、前記平滑化画像と前記輝度変化画像との差分により、前記強調画像を生成する、請求項３に記載の画像処理装置。
5. 前記強調画像生成部は、
   前記平滑化画像と、前記輝度変化画像の前記平滑化画像よりも輝度が低い部分との差分により低輝度強調画像を生成し、
   前記輝度変化画像の前記平滑化画像よりも輝度が高い部分と、前記平滑化画像との差分により高輝度強調画像を生成し、
   前記低輝度強調画像および前記高輝度強調画像を合成して、前記強調画像を生成する、請求項４に記載の画像処理装置。
6. 前記斜光画像取得部は、前記光の照射領域が異なる複数の前記斜光画像を取得し、
   前記照射領域が異なる前記斜光画像のそれぞれについて作成された複数の前記強調画像を合成する強調画像合成部をさらに備える、請求項１から５のいずれかに記載の画像処理装置。
7. 前記強調画像合成部は、前記強調画像内の前記凹凸の輝度に基づいて、複数の前記強調画像を比較明合成する、請求項６に記載の画像処理装置。
8. 対象物の表面に形成された凹凸を含む背景画像を取得する背景画像取得ステップと、
   前記表面の少なくとも一部に斜めの光が照射された斜光画像を取得する斜光画像取得ステップと、
   前記斜光画像および前記背景画像に基づいて、前記光が照射されたことによる輝度変化を表す輝度変化画像を生成する輝度変化画像生成ステップと、
   前記輝度変化画像に平滑化処理を適用して、平滑化画像を生成する平滑化画像生成ステップと、
   前記平滑化画像および前記輝度変化画像に基づいて、前記凹凸が強調された強調画像を生成する強調画像生成ステップと、
   を含む、画像処理方法。
9. 請求項１から７に記載の画像処理装置の各部として、コンピュータを機能させるためのプログラム。