JP2015011496A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】動画像における認識対象の変形情報を取得し、メッシュを生成することが可能な画像処理装置等を提供する。【解決手段】画像入力部２１は、メディア入出力部１３、通信制御部１４、または周辺機器Ｉ／Ｆ（インターフェイス）部１７を介して、動画像を入力する。特徴点抽出部２３は、ノイズ除去部２２でノイズが除去された動画像中における非剛体の柄から、FAST法を用いて各画像中の特徴点を抽出する。メッシュ生成部２４は、抽出された特徴点を頂点とする２次元のメッシュを、ドロネー三角形分割法を用いて生成する。頂点推定部２５は、オプティカルフロー追跡アルゴリズムを用いて、動画像中における特徴点の移動を追跡（推定）する。メッシュ変形部２７は、特徴点の追跡位置に基づいて、メッシュ生成部２４で生成された２次元のメッシュを変形（適用）する。【選択図】図２

Description

本発明は、動画像における認識対象を追跡し、表面形状の変形情報を取得する技術に関し、特に、非剛体の表面の柄などの表面形状の変形情報を取得する技術に関する。

従来、動画像における認識対象の表面形状を、多角形の集まりであるメッシュ（ポリゴンメッシュ）により表現する技術が知られている。

これに関して、例えば、１台のカメラで撮影された動画像から特徴点を抽出し、作成済みの２次元のメッシュを、その特徴点に重畳して近似する技術が知られている（非特許文献１）。

また例えば、１台のカメラで撮影された動画像の特徴点を抽出し、その特徴点と予め用意した学習データとの比較により、３次元のメッシュを近似する技術が知られている（非特許文献２、非特許文献３）。

また例えば、１台のカメラで撮影された動画像において、予め用意した複数のデータセットから主成分分析により特徴点を推定し、３次元のメッシュを近似する技術が知られている（非特許文献４）。

また例えば、多数のカメラで撮影された動画像から特徴点を抽出し、マーカーにより３次元のメッシュを近似する技術が知られている（非特許文献５、非特許文献６）。

また例えば、１台のカメラで撮影された動画像において、Linear Programmingにより３次元のメッシュを近似する技術が知られている（非特許文献７）。

Hilsmann,et al., "Realistic cloth augmentation in single view video underocclusions", Computers & Graphics, 34(5), pp. 567-574, October 2010. Perriollat,et al., "Monocular Template-based Reconstruction of Inextensible Surfaces",2011. Wang,et al., "A fast approach to deformable surface 3D tracking", PatternRecognition, 44(12), pp. 2915-2925, December 2011. Salzmann,et al., "Surface Deformation Models for Nonrigid 3D Shape Recovery",IEEE Transactions on Pattern Analysis and Machine Intelligence, 29(8), August 2007. Scholz,et al., "Garment Motion Capture Using Color Coded Patterns",EUROGRAPHICS, 24(3), 2005. White,et al., "Capturing and Animating Occluded Cloth", 2007. Wang,et al, "Deformable surface 3D tracking using Linear Programming",2009.

しかし、非特許文献１の手法では、特徴点が多いマークや画像が必要であり、使用するマークや画像に制限があるという問題があった。また、近似を行うため、パラメータが多くパラメータの調整が難しいという問題があった。
非特許文献２、３の手法では、学習データが必須であり、実行前に試行が多数必要であるという問題があった。

また、非特許文献４の手法では、主成分分析によって特徴点を推定するため、複数のデータセットが必要であるという問題があった。
また、非特許文献５、６の手法では、多数のカメラが必要なため、調整が必要であったり設置が大変であるという問題があった。
また、非特許文献７の手法では、処理時間がかかりすぎるという問題があった。

本発明は、前述した問題点に鑑みてなされたもので、動画像における認識対象を画像処理技術で追跡し、低負荷で高速に表面形状の変形情報を取得することを目的とする。

前述した目的を達成するための第１の発明は、動画像に含まれる認識対象に対して、多角形の集合であるメッシュを生成する画像処理装置であって、初期画像から、複数の特徴点を抽出する特徴点抽出手段と、抽出した前記複数の特徴点から選択されたものを頂点として、前記多角形の集合であるメッシュを生成するメッシュ生成手段と、対象画像に含まれる前記メッシュの頂点から、画素値または色情報に基づいて、次の画像の対応する頂点を推定する頂点推定手段と、推定した前記頂点に基づいて、前記次の画像において前記メッシュを変形するメッシュ変形手段と、を備えることを特徴とする画像処理装置である。
第１の発明によって、動画像中に含まれる非剛体の表面の柄などの変形情報である２次元のメッシュをリアルタイムに生成することができる。

前記多角形は三角形であることが望ましい。
また、前記メッシュ生成手段は、前記頂点から１つの三角形分割を求め、前記三角形分割の辺に対して、隣接する２つの三角形の和が凸四角形で、一方の前記三角形の外接円が他の前記三角形の共有していない頂点を含む場合、前記凸四角形において前記辺とは異なる対角線を前記辺と交換して前記三角形分割に含めるという、ドロネー三角形分割法を用いて、前記メッシュを生成することが望ましい。
これによって、メッシュ生成処理を高速に行うことができる。

また、前記認識対象は、非剛体であることが望ましい。
これによって、動画像中に含まれる非剛体の表面の柄などの変形情報を取得することができる。

また、前記特徴点抽出手段は、FAST（Features from Accelerated Segment Test）法によって、前記初期画像の任意の画素ｐについて、当該画素ｐを中心とする所定半径の円周上の画素ｃに対して、画素ｐの画素値と画素ｃの画素値との差が閾値以上である画素ｃが所定数以上連続する場合、又は、画素ｐの画素値と画素ｃの画素値との差が閾値以下である画素ｃが所定数以上連続する場合、当該画素ｐを特徴点として抽出することが望ましい。
これによって、特徴点抽出処理を高速に行うことができる。

また、前記頂点推定手段は、Lucas-Kanade法によって、前記対象画像及び前記次の画像から、それぞれの画像の数段階の解像度の異なる画像を作成し、前記対象画像の前記頂点について、解像度の異なる対象画像の対応する頂点を求め、最も解像度の低い画像間においてオプティカルフローを計算し、その結果に基づいて、順に解像度の高い画像間においてオプティカルフローを計算し、前記次の画像の対応する頂点を推定することが望ましい。
これによって、頂点推定処理を高速に行うことができる。

前記動画像に含まれる各画像のノイズを除去するノイズ除去手段を、さらに備える。
これによって、高精度にメッシュを生成することができる。

前記メッシュ変形手段により変形された前記メッシュにテクスチャを貼り付けるテクスチャ貼り付け手段を、さらに備える。
これによって、貼り付けられたテクスチャが、動画像の動きに伴い自然に見えるように再現することができる。

第２の発明は、動画像に含まれる認識対象に対して、多角形の集合であるメッシュを生成する画像処理方法であって、初期画像から、複数の特徴点を抽出する特徴点抽出ステップと、抽出した前記複数の特徴点から選択されたものを頂点として、前記多角形の集合であるメッシュを生成するメッシュ生成ステップと、対象画像に含まれる前記メッシュの頂点から、画素値または色情報に基づいて、次の画像の対応する頂点を推定する頂点推定ステップと、推定した前記頂点に基づいて、前記次の画像において前記メッシュを変形するメッシュ変形ステップと、を含むことを特徴とする画像処理方法である。
第２の発明によって、動画像中に含まれる非剛体の表面の柄などの変形情報である２次元のメッシュをリアルタイムに生成することができる。

第３の発明は、コンピュータを、動画像に含まれる認識対象に対して、多角形の集合であるメッシュを生成する画像処理装置として機能させるためのプログラムであって、前記コンピュータを、初期画像から、複数の特徴点を抽出する特徴点抽出手段、抽出した前記複数の特徴点から選択されたものを頂点として、前記多角形の集合であるメッシュを生成するメッシュ生成手段、対象画像に含まれる前記メッシュの頂点から、画素値または色情報に基づいて、次の画像の対応する頂点を推定する頂点推定手段、推定した前記頂点に基づいて、前記次の画像において前記メッシュを変形するメッシュ変形手段、として機能させることを特徴とするプログラムである。
第３の発明のプログラムを汎用のコンピュータにインストールすることによって、第１の発明を得て、第２の発明を実施することができる。

本発明により、動画像における認識対象を画像処理技術で追跡し、低負荷で高速に表面形状の変形情報を取得することが可能となる。

本発明の実施の形態に係る画像処理装置のハードウェアの構成例を示す図である。 画像処理装置の機能構成例を示すブロック図である。 FAST法を用いた特徴点抽出の手法について説明する図である。 ドロネー三角形分割法を用いた２次元のメッシュ生成の手法について説明する図である。 Lucas-Kanade法で用いるピラミッド画像の構造について説明する図である。 メッシュ生成処理を説明するフローチャートである。 図６のステップＳ１において入力される動画像の一枚分のフレーム画像、ステップＳ２において抽出される特徴点、ステップＳ４において生成されるメッシュの一例を示す図である。 図６のステップＳ１において入力される動画像の次フレームのフレーム画像、ステップＳ５において追跡される特徴点、ステップＳ７において変形されるメッシュの一例を示す図である。

以下、図面に基づいて、本発明の実施の形態を詳細に説明する。

［本発明の実施の形態］
図１は、本発明の実施の形態に係る画像処理装置１のハードウェアの構成例を示す図である。尚、図１のハードウェア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。

画像処理装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。

制御部１１は、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等で構成される。CPUは、記憶部１２、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、画像処理装置１が行う後述する処理を実現する。ROMは、不揮発性メモリであり、画像処理装置１のブートプログラムやBIOS（Basic Input/Output System）等のプログラム、データ等を恒久的に保持している。RAMは、揮発性メモリであり、記憶部１２、ROM、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。

記憶部１２は、HDD（ハードディスクドライブ）等であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、後述する処理を画像処理装置１に実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部１１により必要に応じて読み出されてRAMに移され、CPUに読み出されて各種の手段として実行される。

メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、CDドライブ（-ROM、-R、-RW等）、DVDドライブ（-ROM、-R、-RW等）等のメディア入出力装置を有する。

通信制御部１４は、通信制御装置、通信ポート等を有し、画像処理装置１とネットワーク間の通信を媒介する通信インターフェイスであり、ネットワークを介して、他の装置間との通信制御を行う。ネットワークは、有線、無線を問わない。

入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部１５を介して、画像処理装置１に対して、操作指示、動作指示、データ入力等を行うことができる。

表示部１６は、CRTモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携して画像処理装置１のビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。

周辺機器Ｉ／Ｆ（インターフェイス）部１７は、画像処理装置１に周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介して画像処理装置１は周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、USB（Universal Serial Bus）やIEEE（The Institute of Electrical and
Electronics Engineers）１３９４やＲＳ−２３５Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。

バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

図２は、画像処理装置１の機能構成例を示すブロック図である。図２に示す機能部のうちの少なくとも一部は、図１の制御部１１により所定のプログラムが実行されることによって実現される。

画像入力部２１は、メディア入出力部１３、通信制御部１４、または周辺機器Ｉ／Ｆ（インターフェイス）部１７を介して、動画像を入力する。入力される動画像は、複数のフレームで構成される。入力される動画像は、複数のフレームがまとめて入力されても、１枚ごとに入力されてもよい。
なお、動画像は、カメラで撮影した動画像のほか、ＣＧで作られた動画像等であってもよい。

ノイズ除去部２２は、画像入力部２１に入力された動画像のノイズを、平滑化フィルタ等を用いて除去する。平滑化フィルタは、近傍の画素に重み付けを行い足し込むフィルタなど、周知のものを利用すればよい。

特徴点抽出部２３は、ノイズ除去部２２でノイズが除去された動画像の初期フレームにおける認識対象（例えば、布などの非剛体の表面の柄）から、FAST（Features from Accelerated Segment Test）法を用いて、特徴点を抽出する。

図３は、FAST法を用いた特徴点抽出の手法について説明する図である。なお、FAST法を用いた特徴点抽出の手法は、公知技術であり（非特許文献８）、ここでは、概略を説明する。
＜非特許文献８＞Edward
Rosten and Tom Drummond, Machine learning for high-speed corner detection.

まず、特徴点抽出部２３は、動画像の初期フレームにおける認識対象を、ユーザが入力部１５を用いて領域指定するか、あるいは、予め用意したパターンとの比較によるパターンマッチング法を用いて認識対象だけを抽出して領域指定する。次に、特徴点抽出部２３は、図３に示すように、指定領域Ｓ内において、画像上の任意の点ｐを決定し、その画素値をＩ_ｐと設定する。

そして、特徴点抽出部２３は、画像中の任意の画素ｐを中心とした所定の半径Ｒの円周上に存在する各画素（図３の例では、１６個）に対し、円の中心に位置する画素ｐの画素値Ｉ_ｐとの差が、閾値Ｔ以上の画素が所定数Ｎ（例えば、１２）以上連続する場合、あるいは、円の中心に位置する画素ｐの画素値Ｉ_ｐとの差が、閾値Ｔ以下の画素が所定数Ｎ以上連続する場合、円の中心ｐを特徴点と判定する。FAST法は、このような処理を全ての画素について調べることで、特徴点を抽出する手法である。

なお、特徴点抽出部２３は、抽出した特徴点に特徴点ＩＤを付けて、特徴点の座標を、初期フレームであることを示すフレームＩＤ（例えば１）、及び、特徴点ＩＤに対応させて、記憶部１２又はＲＡＭに記憶する。

図２の説明に戻る。
メッシュ生成部２４は、特徴点抽出部２３で抽出された特徴点を頂点とする２次元のメッシュ（三角形の集合）を、公知技術のドロネー三角形分割法を用いて生成する。
メッシュ生成部２４は、特徴点抽出部２３で抽出された特徴点を、ドロネー三角形分割法の入力である頂点とするため、特徴点座標から頂点座標への変換処理等が必要なく高速化を図ることができる。

ドロネー三角形分割法とは、複数の頂点から１つの三角形分割を求め、求めた三角形分割の辺に対して、隣接する２つの三角形の和が凸四角形で、一方の三角形の外接円が他の三角形の共有していない頂点を含む場合、凸四角形において辺とは異なる対角線を辺と交換して三角形分割に含める手法である。ドロネー三角形分割法では、比較的隣接した特徴点による三角形が生成される。

図４は、ドロネー三角形分割法を用いた２次元のメッシュ生成の手法について説明する図である。

図４（Ａ）は、「ＡＢＣ」という柄（ロゴ）が印刷されたＴシャツを着用した人物の動画像の一枚分のフレーム画像Ｑ１の一例を示している。
図４（Ｂ）は、図４（Ａ）に示したフレーム画像Ｑ１の領域Ａを部分的に拡大しており、認識対象（Ｔシャツの表面に印刷された「ＡＢＣ」）から、特徴点抽出部２３によって抽出された特徴点Ｋ１〜Ｋ９を示している。

まず、メッシュ生成部２４は、２次元のメッシュ生成にあたり、認識対象（図４（Ａ）の例では、Ｔシャツの表面に印刷された「ＡＢＣ」）が写っている画面上に凸多角形を形成する。この凸多角形は、次の条件を満たすように形成される。

まず、認識対象に凸多角形を形成する場合、特徴点抽出部２３によって抽出された認識対象を写した画像の特徴点、または、それ以外の仮の特徴点（例えば、画像の四隅部）を頂点として凸多角形を形成する。そして、抽出された特徴点の全てが、凸多角形の内部か周上にあるようにする。

ドロネー三角形分割法では、この凸多角形内部のすべての特徴点に対し、複数の三角形を求めるが、それぞれの形の外接円が他の特徴点を含まないように、三角形が分割される。そして、メッシュ生成部２４は、図４（Ｃ）に示すように、認識対象に形成された凸多角形の頂点または複数の特徴点を頂点とする複数の三角形の領域に分割し、２次元のメッシュＭ１を生成する。

なお、メッシュ生成部２４は、生成した２次元メッシュの各三角形を、構成する特徴点の特徴点ＩＤによって指定し、記憶部１２又はＲＡＭに記憶する。

図２の説明に戻る。
頂点推定部２５は、オプティカルフロー追跡アルゴリズムを用いて、直前フレームに含まれる特徴点から、直前フレームの次のフレーム（以下、対象フレームともいう。）の特徴点を追跡（推定）する。以下では、この追跡（推定）した特徴点を追跡特徴点ともいう。

頂点推定部２５は、最初の処理では、メッシュ生成部２４から入力される（特徴点が抽出され、メッシュが生成された）初期フレームを用いて、画像入力部２１から入力される初期フレームの次のフレームに対して、特徴点の推定を行い、次回以降の処理では、後述するメッシュ変形部２７から入力される（特徴点が推定され、メッシュが生成された）フレームを用いて、画像入力部２１から入力される当該フレームの次のフレームに対して、特徴点の推定を行う。

頂点推定部２５が用いるオプティカルフローとは、連続する２つの画像において、これらの画像を構成する画素毎の動きを表すベクトルを意味する。すなわち、オプティカルフローは、画像の動きを表す画素毎の移動ベクトルであり、オプティカルフローを算出することによって、画像に含まれる対象を追跡することができる。

ここで、オプティカルフローを用いた特徴点の移動を追跡する手法について説明する。本実施の形態では、オプティカルフローの算出方法として、ピラミッド画像を用いたLucas-Kanade法を適用する。なお、ピラミッド画像を用いたLucas-Kanade法は、公知技術であり（非特許文献９）、ここでは、概略を説明する。
＜非特許文献９＞Jean-Yves
Bouguet, Pyramidal Implementation of the Lucas Kanade Feature Tracker Description
of the algorithm.

まず、ある時刻ｔの画像座標Ｐ＝（ｘ，ｙ）の濃淡パターンＩ（ｘ，ｙ，ｔ）が、ある微小時間後（δｔ）に座標（ｘ＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったまま移動した時、次式（１）に示すようなオプティカルフロー拘束式が成り立つ。なお、濃淡パターンは、色情報(画素値等)に基づくものである。

２次元画像でオプティカルフロー｛ｖ＝（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｗ）｝を計算するには、未知パラメータ数が２個であるため、もう一つ拘束式が必要である。そこで、同一物体の局所領域では、同一のオプティカルフローを持つと仮定することにする。

例えば、画像上の局所領域ω内で、オプティカルフローが一定である場合、最小化したい濃淡パターンの二乗誤差Ｅは、Ｉ_０（ｐ）＝Ｉ（ｘ，ｙ，ｔ），Ｉ_１（ｐ＋ｖ）＝Ｉ（ｘ＋ｕ，ｙ＋ｗ，ｔ＋δｔ）と書き改めると、次式（２）に示すように定義できる。

ここで、ｖが微小な場合には、テーラー展開の２次以上の項を無視できるため、次式（３）の関係が成り立つ。ｇ（ｐ）は、Ｉ_１（ｐ）の一次微分である。

誤差Ｅが最小になるのは、Ｅのｖに対する微分値が０の時であるため、次式（４）の関係が成り立つ。

従って、オプティカルフローｖは、次式（５）で求められる。

さらに、次式（６）に示すように、ニュートン・ラフソン法の反復演算によって精度良く求めることができる。

本実施の形態では、以上の計算を、解像度の異なる複数の画像からなるピラミッド画像構造を用いて行う。

まず、頂点推定部２５は、２枚の連続したフレーム(直前フレームと対象フレーム)から、予め、それぞれの画像の数段階の解像度の異なる画像をピラミッド階層型に作成する。例えば、図５に示すように、原画像Ｑ１１が階層レベル１の画像、階層レベル１より低解像度の画像が階層レベル２の画像、階層レベル２より低解像度の画像が階層レベル３の画像、階層レベル３より低解像度の画像が階層レベル４の画像として作成される。

次に、頂点推定部２５は、最も解像度の低い画像間（図５の例では、階層レベル４の画像間）において、上述したオプティカルフローを計算し、各特徴点の大まかな次フレームでの移動ベクトルを決定する。頂点推定部２５は、この結果を参考にして、一段解像度の高い画像間（図５の例では、階層レベル３の画像間）において、低解像度時の移動ベクトル付近を探索する。

頂点推定部２５は、以上の処理を最も解像度の高い画像間まで順次繰り返し、最終的な移動ベクトルを得る。このような処理によって、無駄な計算ステップを省く事ができる。

そして、頂点推定部２５は、直前フレームの特徴点の対象フレームにおける対応する点を、求めた移動ベクトルによって移動させて、対象フレームにおける特徴点（追跡特徴点）と推定する。頂点推定部２５は、特徴点を推定した対象フレームを、追跡特徴点のノイズ除去部２６へ出力する。

なお、頂点推定部２５は、対象フレームにおいて推定した特徴点の座標を、対応する特徴点ＩＤ（直前フレームの対応する特徴点の有する特徴点ＩＤ）、及び、対象フレームのフレームＩＤに対応させて、記憶部１２又はＲＡＭに記憶する。

図２の説明に戻る。
追跡特徴点のノイズ除去部２６は、頂点推定部２５によって推定された追跡特徴点を、閾値でフィルタリングすることによってノイズ除去し、特徴点の追跡位置（座標）を補正する。これは、頂点推定部２５の処理により発生するノイズによって、移動ベクトルが著しく大きくなることがあるためである。

追跡特徴点のノイズ除去部２６は、フレーム間の特徴点の変位量（移動ベクトルの長さ）に所定の閾値を定め、対象フレームの特徴点の変位量が当該閾値を超えた場合、直前フレームの対応する特徴点の移動ベクトルを対象フレームにおいても移動ベクトルとし、特徴点の位置の補正を行う。

なお、追跡特徴点のノイズ除去部２６は、特徴点の座標を補正した場合には、当該補正した特徴点に係る特徴点座標を、記憶部１２又はＲＡＭに記憶し直す。

メッシュ変形部２７は、追跡特徴点のノイズ除去部２６でノイズが除去された特徴点の追跡位置に基づいて、メッシュ生成部２４で生成された２次元のメッシュを変形（適用）する。

具体的には、メッシュ生成部２４により、メッシュを構成する三角形ごとに、頂点の特徴点ＩＤは確定しており、頂点推定部２５、及び、追跡特徴点のノイズ除去部２６により、対象フレームにおける特徴点ＩＤの座標が確定しているため、メッシュ変形部２７は、これらの情報を用いて、２次元メッシュを構成する三角形の座標を算出する。

テクスチャ貼り付け部２８は、メッシュ変形部２７で変形されたメッシュ上に、予め用意したテクスチャを貼り付ける。つまり、生成された２次元のメッシュ上にテクスチャマッピング法を適用することで、テクスチャを貼り付ける。こうすることで、貼り付けられたテクスチャが、動画像の動きに伴い自然に見えるように再現することができる。

（メッシュ生成処理）
図６は、画像処理装置１が実行する、動画像における認識対象の表面形状のメッシュを生成する処理を説明するフローチャートである。なお、図６の説明に当たり、図７、図８を参照し、具体的な処理内容も説明する。

ステップＳ１において、画像処理装置１の制御部１１（画像入力部２１）は、通信制御部１４、または周辺機器Ｉ／Ｆ（インターフェイス）部１７を介して、動画像の初期フレームを入力する。これにより、例えば、図７（Ａ）に示すような動画像の一枚分のフレーム画像Ｑ２１が入力される。
ステップＳ２において、画像処理装置１の制御部１１（ノイズ除去部２２）は、ステップＳ１の処理で入力された初期フレームのノイズを、平滑化フィルタを用いて除去する。

ステップＳ３において、画像処理装置１の制御部１１（特徴点抽出部２３）は、ステップＳ２の処理でノイズが除去された初期フレームにおける認識対象（例えば、布などの非剛体の表面の柄）を、ユーザが入力部１５を用いて領域指定するか、あるいは、パターンマッチング法により領域指定する。そして、画像処理装置１の制御部１１（特徴点抽出部２３）は、指定された領域内の特徴点を、FAST法を用いて抽出する。これにより、例えば、図７（Ｂ）に示すように、認識対象（Ｔシャツの表面に印刷された「ＡＢＣ」）から、特徴点Ｋ１１〜Ｋ１９が抽出される。図７（Ｃ）は、抽出された特徴点Ｋ１１〜Ｋ１９のみを示す図である。

ステップＳ４において、画像処理装置１の制御部１１（メッシュ生成部２４）は、ステップＳ３の処理で抽出された特徴点を頂点とする２次元のメッシュを、ドロネー三角形分割法を用いて生成する。これにより、例えば、図７（Ｄ）に示すように、２次元のメッシュＭ１１が生成される。

また、２次元のメッシュＭ１１の生成によって、各三角形を構成する特徴点の組み合わせが決定する。図７（Ｄ）の例の場合、以下に示すような特徴点の組み合わせが決定される。
・特徴点Ｋ１１、Ｋ１２、Ｋ１６の組み合わせ
・特徴点Ｋ１１、Ｋ１４、Ｋ１６の組み合わせ
・特徴点Ｋ１２、Ｋ１３、Ｋ１７の組み合わせ
・特徴点Ｋ１２、Ｋ１６、Ｋ１７の組み合わせ
・特徴点Ｋ１３、Ｋ１８、Ｋ１９の組み合わせ
・特徴点Ｋ１３、Ｋ１７、Ｋ１８の組み合わせ
・特徴点Ｋ１４、Ｋ１５、Ｋ１６の組み合わせ
・特徴点Ｋ１５、Ｋ１６、Ｋ１７の組み合わせ

ステップＳ５において、画像処理装置１の制御部１１（画像入力部２１）は、通信制御部１４、または周辺機器Ｉ／Ｆ（インターフェイス）部１７を介して、動画像の次のフレーム（以下、対象フレームともいう。）を入力する。

ステップＳ６において、画像処理装置１の制御部１１（頂点推定部２５）は、動画像の対象フレームにおける特徴点の移動を、ピラミッド画像を用いたLucas-Kanade法を用いて追跡（推定）する。

例えば、入力された動画像の対象フレームが、図８（Ａ）に示すようなフレーム画像Ｑ２２であった場合、図８（Ｂ）に示すように、そのフレーム画像Ｑ２２における特徴点の移動ベクトルが探索される。図８（Ｃ）は、探索された特徴点Ｋ１１´〜Ｋ１９´、および、ステップＳ４の処理で生成された２次元のメッシュＭ１１のみを示す図である。

ステップＳ７において、追跡特徴点のノイズ除去部２６は、ステップＳ５の処理で推定された追跡特徴点を、閾値でフィルタリングすることによってノイズ除去し、特徴点の追跡位置を補正する。

ステップＳ８において、メッシュ変形部２７は、ノイズが除去された特徴点の追跡位置に基づいて、ステップＳ４の処理で生成された２次元のメッシュＭ１１を変形し、図８（Ｄ）のように、２次元メッシュＭ１２を生成する。つまり、始めに生成された２次元のメッシュの特徴点の組み合わせに対し、追跡特徴点の座標位置が適用されることで、２次元メッシュＭ１１が、２次元メッシュＭ１２の形状に変形される。

ステップＳ９において、制御部１１は、特徴点の追跡終了であるか否か、つまり、入力された動画像において、処理すべきフレームがなくなったか否かを判定し、まだ特徴点の追跡中であると判定した場合、ステップＳ５に戻り、上述した処理を繰り返し実行する。そして、ステップＳ８において、特徴点の追跡終了と判定された場合、メッシュ生成処理を終了する。

本実施形態は上述のものに限られず、その趣旨を逸脱しない範囲で変更可能である。
例えば、ノイズ除去部２２は、動画像の初期フレームに対してのみノイズを除去しても、動画像の全てのフレームに対してノイズを除去してもよい。
また、例えば、画像処理装置１は、ノイズ除去部２２、又は、追跡特徴点のノイズ除去部２６のいずれか一方、又は、その両方を備えなくてもよい。

［本発明の実施の形態における効果］
１．動画像中に含まれる認識対象（例えば、布などの非剛体の表面の柄）の変形情報である２次元のメッシュをリアルタイムに生成することができる。
２．動画像の初期フレームから、FAST法を用いて、画像中の特徴点を抽出することで、高速に処理を行うことができる。
３．動画像の初期フレームにおいて抽出された特徴点を頂点として、ドロネー三角形分割法を用いて、ダイレクトに２次元のメッシュを生成することで、高速に処理を行うことができる。
４．動画像の直前フレームにおいて抽出された特徴点を用いて、ピラミッド画像を用いたLucas-Kanade法によって、対象フレームの特徴点を追跡するため、計算ステップ数を減らし、高速に処理を行うことができる。
５．生成された２次元のメッシュ上に、テクスチャマッピング法を適用することで、貼り付けられたテクスチャが動画像の動きに伴い自然に見えるように再現することができる。

以上、添付図面を参照しながら、本発明に係る画像処理装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１………画像処理装置
１１………制御部
２１………画像入力部
２２………ノイズ除去部
２３………特徴点抽出部
２４………メッシュ生成部
２５………頂点推定部
２６………追跡特徴点のノイズ除去部
２７………メッシュ変形部
２８………テクスチャ貼り付け部

Claims (10)

1. 動画像に含まれる認識対象に対して、多角形の集合であるメッシュを生成する画像処理装置であって、
   初期画像から、複数の特徴点を抽出する特徴点抽出手段と、
   抽出した前記複数の特徴点から選択されたものを頂点として、前記多角形の集合であるメッシュを生成するメッシュ生成手段と、
   対象画像に含まれる前記メッシュの頂点から、画素値または色情報に基づいて、次の画像の対応する頂点を推定する頂点推定手段と、
   推定した前記頂点に基づいて、前記次の画像において前記メッシュを変形するメッシュ変形手段と、
   を備えることを特徴とする画像処理装置。
2. 前記多角形は三角形である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記メッシュ生成手段は、前記頂点から１つの三角形分割を求め、前記三角形分割の辺に対して、隣接する２つの三角形の和が凸四角形で、一方の前記三角形の外接円が他の前記三角形の共有していない頂点を含む場合、前記凸四角形において前記辺とは異なる対角線を前記辺と交換して前記三角形分割に含めるという、ドロネー三角形分割法を用いて、前記メッシュを生成する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記認識対象は、非剛体である
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の画像処理装置。
5. 前記特徴点抽出手段は、FAST（Features from Accelerated Segment Test）法によって、前記初期画像の任意の画素ｐについて、当該画素ｐを中心とする所定半径の円周上の画素ｃに対して、画素ｐの画素値と画素ｃの画素値との差が閾値以上である画素ｃが所定数以上連続する場合、又は、画素ｐの画素値と画素ｃの画素値との差が閾値以下である画素ｃが所定数以上連続する場合、当該画素ｐを特徴点として抽出する
   ことを特徴とする請求項１乃至請求項４のいずれかに記載の画像処理装置。
6. 前記頂点推定手段は、Lucas-Kanade法によって、前記対象画像及び前記次の画像から、それぞれの画像の数段階の解像度の異なる画像を作成し、前記対象画像の前記頂点について、解像度の異なる対象画像の対応する頂点を求め、最も解像度の低い画像間においてオプティカルフローを計算し、その結果に基づいて、順に解像度の高い画像間においてオプティカルフローを計算し、前記次の画像の対応する頂点を推定する
   ことを特徴とする請求項１乃至請求項５のいずれかに記載の画像処理装置。
7. 前記動画像に含まれる各画像のノイズを除去するノイズ除去手段を、さらに備える
   ことを特徴とする請求項１乃至請求項６のいずれかに記載の画像処理装置。
8. 前記メッシュ変形手段により変形された前記メッシュにテクスチャを貼り付けるテクスチャ貼り付け手段を、さらに備える
   ことを特徴とする請求項１乃至請求項７のいずれかに記載の画像処理装置。
9. 動画像に含まれる認識対象に対して、多角形の集合であるメッシュを生成する画像処理方法であって、
   初期画像から、複数の特徴点を抽出する特徴点抽出ステップと、
   抽出した前記複数の特徴点から選択されたものを頂点として、前記多角形の集合であるメッシュを生成するメッシュ生成ステップと、
   対象画像に含まれる前記メッシュの頂点から、画素値または色情報に基づいて、次の画像の対応する頂点を推定する頂点推定ステップと、
   推定した前記頂点に基づいて、前記次の画像において前記メッシュを変形するメッシュ変形ステップと、
   を含むことを特徴とする画像処理方法。
10. コンピュータを、動画像に含まれる認識対象に対して、多角形の集合であるメッシュを生成する画像処理装置として機能させるためのプログラムであって、
    前記コンピュータを、
    初期画像から、複数の特徴点を抽出する特徴点抽出手段、
    抽出した前記複数の特徴点から選択されたものを頂点として、前記多角形の集合であるメッシュを生成するメッシュ生成手段、
    対象画像に含まれる前記メッシュの頂点から、画素値または色情報に基づいて、次の画像の対応する頂点を推定する頂点推定手段、
    推定した前記頂点に基づいて、前記次の画像において前記メッシュを変形するメッシュ変形手段、
    として機能させることを特徴とするプログラム。

Images