JP2018055258A

JP2018055258A - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP2018055258A
Application number: JP2016188407A
Authority: JP
Inventors: 知頼岩尾; Tomoyori IWAO
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-09-27
Filing date: 2016-09-27
Publication date: 2018-04-05
Anticipated expiration: 2036-09-27
Also published as: CN107871326B; KR102255148B1; JP6800676B2; US10430960B2; CN107871326A; KR20180034237A; US20180089850A1

Abstract

【課題】高精度に物体の表面にある繊維状の凹凸形状を再現するための画像処理を提供することを目的とする。
【解決手段】表面に繊維状の凹凸を有する物体を撮像することで得られる画像データを取得する第１取得手段と、前記物体の形状を表す形状データを取得する第２取得手段と、前記画像データを解析することによって、前記物体の表面が有する前記凹凸のうち、第１凹凸の位置と前記第１凹凸よりも周波数の高い第２凹凸の位置とを特定する特定手段と、前記形状データが表す前記物体の形状の表面における、前記第１凹凸の位置に対応する位置に前記第１凹凸が付加されるように、前記形状データを補正する第１補正手段と、前記第２凹凸の位置に基づいて、前記第１凹凸の上に前記第２凹凸が重ねて付加されるように、前記第１補正手段によって補正された前記形状データを補正する第２補正手段と、を有することを特徴とする画像処理装置。
【選択図】図５

Description

本発明は、物体の表面の微細な凹凸形状を再現するための画像処理技術に関する。

近年、３Ｄプリンタを用いた胸像製作や美容化粧品のＣＧ再現などへの利用を目的として、人の頭部の３次元形状を取得し再現する技術が求められている。頭髪の質感を表現したデータを得るための技術として、特許文献１は、画像から頭髪に対応する部分を抽出し、抽出した部分に起伏を付加することができるとしている。

特許第３８３２０６５号公報

しかしながら、特許文献１の技術では、画像から抽出した頭髪に対応した部分を表す頭髪画像を予め登録された細かい毛髪模様で置換しているため、広域的な流れをもつ毛の束を再現することができない。また、細かい凹凸を高精度に再現するためには、直線の方向を細かく変化させた毛髪模様のテンプレートを大量に用意する必要がある。

本発明は、上記課題に鑑みてなされたものであり、高精度に物体の表面にある繊維状の凹凸形状を再現するための画像処理を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、表面に繊維状の凹凸を有する物体を撮像することで得られる画像データを取得する第１取得手段と、前記物体の形状を表す形状データを取得する第２取得手段と、前記画像データを解析することによって、前記物体の表面が有する前記凹凸のうち、第１凹凸の位置と前記第１凹凸よりも周波数の高い第２凹凸の位置とを特定する特定手段と、前記形状データが表す前記物体の形状の表面における、前記第１凹凸の位置に対応する位置に前記第１凹凸が付加されるように、前記形状データを補正する第１補正手段と、前記第２凹凸の位置に基づいて、前記第１凹凸の上に前記第２凹凸が重ねて付加されるように、前記第１補正手段によって補正された前記形状データを補正する第２補正手段と、を有することを特徴とする。

本発明により、高精度に物体の表面にある繊維状の凹凸形状を再現することができる。

頭髪の模式図画像処理装置１のハードウェア構成の一例を示すブロック図多視点から対象物体を撮像する方法の一例を示す図画像処理装置１の論理構成の一例を示すブロック図画像処理装置１で行われる処理の流れを示すフローチャート処理結果の一例を示す図処理結果の一例を示す図凹凸の形状の一例を示す図

以下、本発明の実施例について、図面を参照して説明する。尚、以下の実施例は本発明を限定するものではなく、本実施例で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。尚、同一の構成については、同じ符号を付して説明する。

［実施例１］
図１に頭髪の模式図を示す。図１に示すように、髪の形状は低周波な凹凸（毛の束）と高周波な凹凸（毛が１本〜数本）の二つから構成されているとみなせる。本実施例においては、画像内の頭髪に対応する領域を低周波な凹凸と高周波な凹凸（低周波な凹凸よりも周波数が高い凹凸）とから構成されているとみなしてそれぞれの位置を特定する。そして、頭髪の概形を表す３次元形状データ上の対応する位置に微細な形状を付加する例について述べる。

図２は、本実施例における画像処理装置１のハードウェア構成例である。画像処理装置１は、例えばコンピュータであり、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を備える。ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２、ＨＤＤ（ハードディスクドライブ）１５などに格納されたＯＳ（オペレーティングシステム）や各種プログラムを実行する。また、ＣＰＵ１０１は、システムバス１０７を介して各構成を制御する。尚、後述するフローチャートによる処理は、ＲＯＭ１０２やＨＤＤ１５などに格納されたプログラムコードがＲＡＭ１０３に展開され、ＣＰＵ１０１によって実行される。汎用Ｉ／Ｆ（インターフェース）１０４には、シリアルバス１１を介して、マウスやキーボードなどの入力デバイス１２やプリンタ１３が接続される。ＳＡＴＡ（シリアルＡＴＡ）Ｉ／Ｆ１０５には、シリアルバス１４を介して、ＨＤＤ１５や各種記録メディアの読み書きを行う汎用ドライブ１６が接続される。ＣＰＵ１０１は、ＨＤＤ１５や汎用ドライブ１６にマウントされた各種記録メディアを各種データの格納場所として使用する。ビデオＩ／Ｆ１０６には、ディスプレイ１７が接続される。ＣＰＵ１０１は、プログラムによって提供されるＵＩ（ユーザインターフェース）をディスプレイ１７に表示し、入力デバイス１２を介して受け付けるユーザ指示などの入力を受信する。

図４は、本実施例における画像処理装置１の機能構成を示すブロック図である。画像処理装置１は、画像取得部３０１、形状取得部３０２、第１特定部３０３、第２特定部３０４、第１補正部３０５、第２補正部３０６を有する。画像取得部３０１は、対象物体を多視点から撮像することによって得られた複数の画像データを取得する。形状取得部３０２は、複数の画像データから対象物体（被写体）の３次元形状表す３次元形状データを取得する。第１特定部３０３は、画像データが表す画像内の頭髪に対応する領域において、低周波な凹凸となる領域の位置を特定する。第２特定部３０４は、画像データが表す画像の頭髪に対応する領域において、高周波な凹凸となる領域の位置を特定する。第１補正部３０５は、３次元形状データにおいて第１特定部３０３で特定した位置に対応する位置に半円筒状の凹凸が付加されるように、３次元形状データを補正する。第２補正部３０６は、３次元形状データにおいて第２特定部３０４で特定した位置に対応する位置に半円筒状の凹凸が付加されるように、３次元形状データを補正する。

次に、画像処理装置１で行われる処理について、図５に示すフローチャートを参照して説明する。画像処理装置１は、ＣＰＵ１０１が、ＲＯＭ１０３に格納されたプログラムをＲＡＭ１０２をワークメモリとして実行することで、図４に示す各ブロックとして機能し、図５に示す各ステップの処理を行う。尚、以下に示す処理の全てがＣＰＵ１０１によって実行される必要はなく、処理の一部又は全てがＣＰＵ１０１以外の一つ又は複数の処理回路によって行われるように画像処理装置１が構成されていてもよい。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ４０１において、画像取得部３０１は、ＨＤＤ１５等の外部記憶装置３０７から処理対象である複数の画像データを取得し、形状取得部３０２と第１特定部３０３と第２特定部３０４とに出力する。ここで取得される画像データは、図３のように、撮像装置２０１〜２０３を用いて、多視点（複数の方向）から対象物体２０４を撮像することによって得られた画像群である。形状取得部３０２に対しては、対象物体の３次元形状を取得するために、複数の画像データを出力する。第１特定部３０３及び第２特定部３０４に対しては、複数の画像データのうち、対象物体を正面から撮像して得られた１つの画像データ（撮像装置２０２による撮像で得られる画像データ）を出力する。尚、ユーザからの指示を受け付けることで、第１特定部３０３及び第２特定部３０４に対して出力する１つの画像データを選択する構成であっても良い。

Ｓ４０２において、形状取得部３０２は、画像取得部３０１から入力した複数の画像データに基づき、対象物体の３次元形状（髪型の概形）を表す３次元形状データを取得し、第１補正部３０５に出力する。多視点からの撮像によって得られた画像群から３次元形状を生成する方法の一例として、ステレオマッチングがある。ステレオマッチングは、異なる視点から撮像された複数枚の画像を用いて物体の３次元形状を取得する手法である。本実施例では、このステレオマッチングを用いて３次元形状の取得を行う。

Ｓ４０３において、第１特定部３０３は、画像取得部３０１から入力した画像データを解析することによって、低周波な凹凸の位置を特定する。尚、本実施例において、画像データにおける低周波な凹凸の位置を特定することは、画像データに平滑化フィルタを適用した上でエッジ（輝度の変化）の検出を行うことを意味する。低周波な凹凸の位置を特定するために、まずは画像の解像度を低減させ、実寸５ｍｍから１ｃｍ程度の低周波な凹凸の位置を特定しやすくする。本実施例では、画像の解像度を低減させる処理として、ガウシアンフィルタを画像データに適用する。画像データの輝度値をＩ、標準偏差をσｇ、フィルタサイズを２ｗ＋１として画素（ｕ、ｖ）に対してガウシアンフィルタをかけた場合の出力輝度値Ｉｇは式（１）で表わされる。

ここで標準偏差σｇは低周波な凹凸の周期に相当する。尚、画像取得部３０１で取得したデータが色信号（ＲＧＢ値）などを表す画像データであった場合、ガウシアンフィルタを適用する前に、公知の変換式によって輝度を表すグレースケール画像データに変換しておく。尚、外部記憶装置３０７に予めグレースケール画像データを準備しておいて、それを画像取得部３０１で取得しても良い。

尚、上述したガウシアンフィルタの代わりに、移動平均フィルタやメディアンフィルタなどを用いても良い。移動平均フィルタを用いた場合の出力輝度値をＩＡは式（２）で表わされる。

また、メディアンフィルタは、着目画素とその近傍領域の輝度値を大きい順から小さい順に並べ替え、並べ変えた時の中央値を出力するフィルタである。

次に、ガウシアンフィルタを適用した画像データに対して、低周波な凹凸の位置を特定するためにアンシャープマスクを畳み込む。アンシャープマスクは、画素間の色の差を強調するフィルタの一つである。アンシャープマスクを畳み込んだ時の出力画像の輝度値Ｉ’は、フィルタサイズを２ｗ’＋１、鮮鋭化定数をｋとして式（３）で表わされる。通常、アンシャープマスクのフィルタサイズはガウシアンフィルタのフィルタサイズとほぼ一致する。
Ｉ’（ｕ，ｖ，ｗ’）＝Ｉ（ｕ，ｖ）＋ｋ（Ｉ（ｕ，ｖ）−Ｉ_ｇ（ｕ，ｖ，ｗ’））・・・（３）

尚、アンシャープマスクの代わりに、ガボールフィルタを用いてエッジの検出（凹凸の位置の特定）を行ってもよい。

最後に、アンシャープマスクを畳み込んだ画像データに対して、輝度についての閾値をｔとして、式（４）により２値化処理を行う。これにより、低周波な凹凸の位置（Ｉ’’＝１の位置）を表す位置データ（２値データ）を得る。

４において、第２特定部３０４は、画像取得部３０１が出力した画像データを解析することによって、高周波な凹凸（周期：１ｍｍから５ｍｍ程度）の位置を特定する。尚、本実施例において、画像データにおける高周波な凹凸の位置を特定することは、画像データに平滑化フィルタを適用しないでエッジ検出を行うことを意味する。高周波な凹凸の位置を特定するために、アンシャープマスクを画像データにそのまま畳み込んだ後に、第１特定部と同様に２値化処理を行う。

Ｓ４０５において、第１補正部３０５は、第１特定部３０３で特定した低周波な凹凸の位置に対応する３次元形状データ上の位置に低周波な凹凸を付加し、第２補正部３０６に出力する。所定の凹凸の形状について、本実施例では図８（ａ）のような半円筒形状をとする。尚、凹凸の形状は円筒形状に限定されず、図８（ｂ）、（ｃ）のように断面が台形や長方形である柱状の形状でも良い。低周波な凹凸を付加するための３次元形状データの補正方法については後述する。

Ｓ４０６において、第２補正部３０６は、第２特定部３０４で特定した高周波な凹凸の位置に対応する３次元形状データ上の位置に高周波な凹凸を付加する。所定の凹凸の形状についてはＳ４０５と同様には半円筒形状とするが、断面が台形や長方形である柱状の形状でも良い。ここで、Ｓ４０６で付加する高周波な凹凸の周期は、低周波な凹凸の周期よりも短くなっている。高周波な凹凸を付加するための３次元形状データの補正方法については後述する。

以下では、低周波な凹凸を付加するための３次元形状データの補正処理（Ｓ３０５）について説明する。本実施例において、ステレオマッチングによって得られる、髪型の概形を表す３次元形状のデータは、デプスデータとする。デプスデータは、被写体から撮像装置までの距離（深度）を表すデータである。尚、３次元形状データは、デプスデータに限定されず、メッシュデータや点群データ等でも良い。また、画像の表面からの高さを表すデータであっても良い。

まず、各画素に深度ｄ（ｕ，ｖ）を有しているデプスデータについて、画素毎の法線ｎ（ｕ，ｖ）を式（５）により算出する。
ｎ（ｕ，ｖ）＝∇ｄ（ｕ，ｖ）・・・（５）

ここで∇は勾配を示す。次に、Ｓ４０３で得られた２値データにおいて画素値が１である画素に対応する法線を変換する。２値データＩ’’の左上の画素から右下の画素まで、一行ずつ横方向に画素値が１である画素を探索する。そして、横方向に連結した画素値が１である画素群の中心となる画素の法線ｎ（ｕ，ｖ）を基準として、画素群の画素それぞれに対応する法線の変換を行う。この時、連結画素数をｃ、中心画素を（ｕ’，ｖ’）、Ｒθをｙ軸周りにθ回転する三次元回転行列として、式（６）により法線の変換を行う。

法線が変換された画素については、式（７）により法線から深度を算出し、深度の値を置き換える。

以上のようにして、凹凸を付加する領域の深度を補正することによって、３次元形状データ上で低周波な凹凸の再現を行う。

次に、高周波な凹凸を付加するための３次元形状データの補正処理（Ｓ３０６）について説明する。高周波な凹凸の付加は低周波な凹凸の上に重ねて行うため、高周波な凹凸を付加する前に、低周波な凹凸の位置を表す位置データを用いて、高周波な凹凸の位置を表す位置データを補正する。補正について、低周波な凹凸の位置を表す位置データにおいて画素値が０となっている画素に対応する、高周波な凹凸の位置を表す位置データの画素の画素値を０にする。これにより、低周波な凹凸が付加されていない位置に高周波な凹凸は付加されない。位置データの補正以降はＳ４０５と同様に、式（５）から法線を算出した後、式（６）によって高周波な凹凸の位置に対応する法線を変換する。そして、法線が変換された画素の深度を式（７）から算出して置き換える。

以上から、本実施例における画像処理装置は、平滑化フィルタをかけた画像データとかけない画像データとでエッジ検出を行い、低周波な凹凸と高周波な凹凸の位置に対応する位置を特定する。そして、特定した位置に対応する３次元形状データが表す位置の深度を補正することで、頭髪の微細な凹凸を再現する。尚、本実施例の効果を説明するため、表面に繊維状の凹凸を有する物体としてウィッグ（頭髪）を撮像し、撮像したデータから再現した形状を図６に示す。図６から、低周波な形状と高周波な形状の両方が再現できていることが分かる。また、この処理は細かい繊維構造を持った布にも適用可能である。実写のニット帽に対して取得した形状を図７に示す。図７から、ニット帽に対しても髪と同様に、低周波な形状と高周波な形状の両方が再現できていることが分かる。以上のように本実施例によれば、髪に類似した微細構造を持つ被写体の形状を再現することもできる。

［変形例］
上述した実施例では、３次元形状データ上で頭髪の微細な凹凸形状を再現したが、２次元の画像データが表す画像の表面の高さを制御することで凹凸形状を再現しても良い。この場合、画像取得部３０１は１つの画像データを取得する。この画像データを第１特定部３０３と第２特定部３０４とに出力する。形状取得部３０２は、外部記憶装置３０７から各画素に基準面からの高さ又は深度を有する２次元形状データを取得する。そして、第１特定部３０３及び第２特定部３０４で特定した位置に対応する画素の高さ又は深度を補正する。上述した処理によって、２次元の画像データ上で頭髪の微細な凹凸形状を再現できる。

上述した実施例では、３次元形状データ上で頭髪の微細な凹凸形状を再現したが、この３次元形状データ（又は２次元形状データ）をプリンタに出力し、プリント物によって頭髪の微細な凹凸形状を再現しても良い。この場合、出力対象となるプリンタとして、３Ｄプリンタ又は、ＵＶ硬化型インクを搭載した表面に凹凸を形成できるプリンタを用いることができる。

上述した実施例では、凹凸の位置を特定した位置データをそのまま用いて、３次元形状データに凹凸を付加していた。しかし、特定された凹凸の位置を表す位置データにはノイズが含まれている場合があるため、そのノイズの低減を行ってから凹凸の付加を行っても良い。この場合、式（６）による法線の変換を行う前にノイズの低減を行う。ノイズ低減の方法の一例としては、着目画素の連結画素数を用いる方法がある。着目画素に隣接する連結画素数について、閾値ｔ’を設定すると、二値化処理は式（８）で与えられる。式（８）は連結画素数が閾値より少ないと、その画素値をノイズとみなす処理を行うためのものである。

尚、上記の一例には限定されず、メディアンフィルタを用いてノイズを低減しても良い。

上述した実施例では、法線の変換を式（６）を用いて行ったが、上記一例に限定されない。より鋭い凹凸を付加するために、凹凸の幅に相当する連結画素数を低減するように（付加する凹凸の断面の直径が特定された位置よりも狭くなるように）法線の変換を行ってもよい。低減する画素数をｒとすると、法線の変換は式（９）のように与えられる。

上述した実施例では、多視点からの撮像によって得られた複数の画像データから３次元形状データを取得していたが上記一例には限定されない。例えば、レーザースキャナやＣＧレンダリングによって得られた３次元形状データを直接取得しても良い。

上述した実施例では、２値データにおいて連結画素を横方向に探索したが、縦方向でも良い。

［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１画像処理装置
３０１画像取得部
３０２形状取得部
３０３第１特定部
３０４第２特定部
３０５第１補正部
３０６第２補正部

Claims

表面に繊維状の凹凸を有する物体を撮像することで得られる画像データを取得する第１取得手段と、
前記物体の形状を表す形状データを取得する第２取得手段と、
前記画像データを解析することによって、前記物体の表面が有する前記凹凸のうち、第１凹凸の位置と前記第１凹凸よりも周波数の高い第２凹凸の位置とを特定する特定手段と、
前記形状データが表す前記物体の形状の表面における、前記第１凹凸の位置に対応する位置に前記第１凹凸が付加されるように、前記形状データを補正する第１補正手段と、
前記第２凹凸の位置に基づいて、前記第１凹凸の上に前記第２凹凸が重ねて付加されるように、前記第１補正手段によって補正された前記形状データを補正する第２補正手段と、
を有することを特徴とする画像処理装置。
前記表面に繊維状の凹凸形状を有する物体は、頭髪又は布であることを特徴とする請求項１に記載の画像処理装置。
前記形状データは、前記物体の３次元の形状を表すデータであることを特徴とする請求項１又は請求項２に記載の画像処理装置。
前記第１取得手段は、複数の方向から前記物体を撮像することによって得られる複数の画像データを取得し、
前記第２取得手段は、前記複数の画像データに基づいて、前記物体の３次元の形状を表す前記形状データを生成し取得することを特徴とする請求項３に記載の画像処理装置。
前記形状データは、レーザースキャナ又はＣＧレンダリングによって得られるデータであることを特徴とする請求項３に記載の画像処理装置。
前記第１凹凸は、周期が５ｍｍから１ｃｍの凹凸で構成され、前記第２凹凸は周期が１ｍｍから５ｍｍの凹凸で構成されることを特徴とする請求項１乃至請求項５のいずれか一項に記載の画像処理装置。
前記特定手段は、前記画像データの解像度を下げてから前記画像データにおける輝度の変化の検出を行うことによって前記第１凹凸の位置を特定し、前記画像データの解像度を下げずに前記画像データにおける輝度の変化の検出を行うことによって前記第２凹凸の位置を特定することを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像処理装置。
前記特定手段は、ガウシアンフィルタを用いて前記画像データの解像度を下げてから前記第１凹凸の位置を特定することを特徴とする請求項７に記載の画像処理装置。
前記特定手段は、移動平均フィルタ又はメディアンフィルタを用いて前記画像データの解像度を下げてから前記第１凹凸の位置を特定することを特徴とする請求項７に記載の画像処理装置。
前記特定手段は、アンシャープマスクを用いて前記輝度の変化の検出を行うことを特徴とする請求項７乃至請求項９のいずれか一項に記載の画像処理装置。
前記特定手段は、ガボールフィルタを用いて前記輝度の変化の検出を行うことを特徴とする請求項７乃至請求項９のいずれか一項に記載の画像処理装置。
前記形状データは深度を表すデータであって、
前記形状データが表す深度に基づいて、前記深度に対応する前記物体の表面における法線を算出する算出手段と、
前記特定手段によって特定された前記第１凹凸の位置及び前記第２凹凸の位置に対応する前記形状データにおける位置の形状が所定の形状となるように前記法線を変換する変換手段と、をさらに有し、
前記第１補正手段及び前記第２補正手段は、前記変換手段によって変換された前記法線から深度を算出し、前記形状データが表す前記深度と置き換えることで前記物体の形状を補正することを特徴とする請求項１乃至請求項１１のいずれか一項に記載の画像処理装置。
前記所定の形状は、半円筒形状であることを特徴とする請求項１２に記載の画像処理装置。
前記所定の形状は、断面が台形又は長方形である柱状の形状であることを特徴とする請求項１２に記載の画像処理装置。
前記特定手段によって特定された前記第１凹凸の位置及び前記第２凹凸の位置を表す位置データに含まれるノイズを低減する低減手段と、をさらに有し、
前記１補正手段及び前記第２補正手段は、前記低減手段によってノイズが低減された前記位置データに基づいて、前記形状データを補正することを特徴とする請求項１乃至請求項１４のいずれか一項に記載の画像処理装置。
前記変換手段は、前記特定手段によって特定された前記第１凹凸及び前記第２凹凸の位置に対応する前記形状データの位置よりも前記所定の形状の断面の直径が狭くなるように、前記法線の変換を行うことを特徴とする請求項１２乃至請求項１４のいずれか一項に記載の画像処理装置。
コンピュータを請求項１乃至請求項１６のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
表面に繊維状の凹凸を有する物体を撮像することで得られる画像データを取得する第１取得ステップと、
前記物体の形状を表す形状データを取得する第２取得ステップと、
前記画像データを解析することによって、前記物体の表面が有する前記凹凸のうち、第１凹凸の位置と前記第１凹凸よりも周波数の高い第２凹凸の位置とを特定する特定ステップと、
前記形状データが表す前記物体の形状の表面における、前記第１凹凸の位置に対応する位置に前記第１凹凸が付加されるように、前記形状データを補正する第１補正ステップと、
前記第２凹凸の位置に基づいて、前記第１凹凸の上に前記第２凹凸が重ねて付加されるように、前記第１補正ステップによって補正された前記形状データを補正する第２補正ステップと、
を有することを特徴とする画像処理方法。