JP2008021224A - 画像処理プログラム、画像処理方法、及び画像処理装置 - Google Patents

Abstract

【課題】原画像とは別の画像データを予め用意することなく原画像の一部の画像を他の画像に置換する。
【解決手段】領域抽出部１０１は、画像メモリ１１０から１枚の原画像を読み出し、原画像から金又は銀等の歯を覆う金属の領域（金歯領域）を抽出すると共に、金属が覆われていない歯である白歯の領域（白歯領域）を抽出する。置換部１０２は、領域抽出部１０１により抽出された金歯領域から１つの金歯領域を特定し、特定した金歯領域に対して形状が最も近い白歯領域を、領域抽出部１０１により抽出された白歯領域の中から特定し、特定した白歯領域の形状が、特定した金歯領域の形状となるように変形し、変形した白歯領域で、特定した金歯領域を置換する。
【選択図】図２

Description

本発明は、コンピュータグラフィックスに関するものである。

従来、予め用意された素材データを、原画像中に予め設定されたはめ込み領域の形状に合わせて変形して変形素材データを生成し、上記はめ込み領域を変形素材データで更新する画像シミュレーション装置が知られている（特許文献１）。

また、従来、撮影された人物の顔のヘアースタイルを、予め用意されたヘアースタイルの中から人物によって選択されたヘアースタイルに置換し、置換したヘアースタイルを撮影された人物の動きに追従させる表示装置が開示されている（特許文献２）。

また、従来、撮像部で撮像したユーザ画像データと、予め保存されているヘアースタイル及びヘアーカラー等の装着部材画像データとを合成して表示し、実際にヘアーカットやヘアーセットを行う前に、そのヘアースタイルがユーザに似合っているかどうかを的確に判断することができる表示装置が知られている（特許文献３）。

また、従来、被写体を撮影した撮影画像が記録されたＡＰＳフィルム等に含まれる撮影地点を示す撮影情報から、地図データベースを参照して、シミュレーション画像を作成し、作成したシミュレーション画像を用いて撮影画像の欠陥部分を補正する写真処理システムが知られている（特許文献４）。
特開平８−２８７２２５号公報 特表２００１−５２２１０８号公報 特開２００５−１０３５６号公報 特開２００５−２８６３９５号公報

しかしながら、特許文献１〜３の技術は、いずれも原画像とは別の画像データを用いて原画像の一部の画像が置き換えられているため、別の画像データを予め用意しておかなければならないという問題があった。また、特許文献４の技術は、撮影フィルムに撮影地点を示す撮影情報を記録させる必要があると共に、地図データベースを予め記憶しなければならないという問題があった。

本発明の目的は、原画像とは別の画像データを予め用意することなく原画像の一部の画像を他の画像に置換することができる画像処理プログラム、画像処理装置、及び画像処理方法を提供することである。

本発明による画像処理プログラムは、原画像から置換対象となる第１の物体を示す第１の領域を抽出すると共に、前記原画像から前記第１の領域を置換するために使用される第２の物体を示す第２の領域を抽出する領域像抽出手段と、前記第２の領域の形状を前記第１の領域の形状に変形し、変形した第２の領域で、前記１の領域を置換する置換手段としてコンピュータを機能させることを特徴とする。

また、本発明による画像処理装置は、原画像から置換対象となる第１の物体を示す第１の領域を抽出すると共に、前記原画像から前記第１の領域を置換するために使用される第２の物体を示す第２の領域を抽出する領域像抽出手段と、前記第２の領域の形状を前記第１の領域の形状に変形し、変形した第２の領域で前記１の領域を置換する置換手段とを備えることを特徴とする。

また、本発明による画像処理方法は、コンピュータが、原画像から置換対象となる第１の物体を示す第１の領域を抽出すると共に、前記原画像から前記第１の領域を置換するために使用される第２の物体を示す第２の領域を抽出し、コンピュータが、前記第２の領域の形状を前記第１の領域の形状に変形し、変形した第２の領域で、前記１の領域を置換することを特徴とする。

これらの構成によれば、原画像から置換対象となる物体を示す第１の領域が抽出され、原画像から第１の領域を置換するために使用される第２の物体を示す第２の領域が抽出され、抽出された第２の領域の形状が第１の領域の形状に変形され、第１の領域が置換される。そのため、置換に使用される画像データを予め用意することなく、原画像中に含まれる第１の物体を他の物体の画像で置換することができる。

また、前記領域抽出手段は、原画像を複数の分割領域に分割し、各分割領域の色の代表色と前記第１の物体の色の基準値との色空間上での距離が所定の値以下である分割領域を前記第１の領域として抽出すると共に、各分割領域の色の代表色と前記第２の物体の色の基準値との色空間上での距離が所定の値以下である分割領域を前記第２の領域として抽出することが好ましい。

この構成によれば、原画像が複数の分割領域に分割され、各分割領域の色の代表色と第１の物体の色の基準値との色空間上での距離が算出され、算出された距離が所定の値以下である分割領域が第１の領域として抽出される。また、各分割領域の色の代表色と第２の物体の色の基準値との色空間上での距離が算出され、算出された距離が所定の値以下である分割領域が第２の領域として抽出される。そのため、第１の領域は抽出対象となる第１の物体を精度良く示すと共に、第２の領域は置換に使用される第２の物体を精度よく示すことになる。

また、前記領域抽出手段は、階調数を少なくする減色処理を前記原画像に実行し、減色処理が実行された原画像において、類似する画素値からなる連続する領域を１つの分割領域とすることが好ましい。

この構成によれば、原画像において類似する画素値を有する１塊の領域が１つの分割領域とされるため、各分割領域は、１つの物体を表す可能性が高くなる結果、第１及び第２の物体をより精度良く抽出することができる。

また、前記置換手段は、前記領域抽出手段により複数の第１領域が抽出されると共に、複数の第２の領域が抽出された場合、複数の第１の領域の中から１つの第１の領域を注目する第１の領域として順次特定し、特定した注目する第１の領域に対して形状が最も近い第２の領域を複数の第２の領域の中から特定し、特定した第２の領域で前記注目する第１の領域を置換することが好ましい。

この構成によれば、第１の領域と第２の領域とが複数抽出された場合、各第１の領域に対して形状が最も近い第２の領域を用いて第１の領域が置換されるため、全ての第１の領域を自動的に第２の領域で置換することができ、かつ、第１の領域を第２の領域で置換した際の違和感をより少なくすることができる。

また、前記置換手段は、前記注目する第１の領域に外接する多角形を設定すると共に、各第２の領域に外接する多角形を設定し、第１の領域に対して設定した多角形に、大きさが最も近い多角形が設定された第２の領域を、前記注目する第１の領域に対して形状が最も近い第２の領域として特定することが好ましい。

この構成によれば、比較的簡便な処理でありながら精度良く各第１の領域に形状が最も近い第２の領域を特定することができる。

また、前記領域抽出手段は、前記第１及び第２の領域の各々から特徴的な領域を示す特徴領域を抽出し、前記領域抽出手段により抽出された第１の特徴領域の大きさを、近傍に位置する第２の特徴領域の大きさを基に変更し、変更した第１の特徴領域を、前記置換手段により第２の領域で置換された第１の領域に設定する領域設定手段としてコンピュータを更に機能させることが好ましい。

この構成によれば、置換される前の第１の領域に含まれていた特徴的な領域の大きさが、近傍に位置する第２の特徴領域の大きさを加味して、第２の領域で置換された後の第１の領域に設定されるため、第１の領域にもともと含まれていた特徴的な領域を、周囲の第２の特徴領域に対して違和感なく表示することができる。

また、前記領域抽出手段は、前記第１及び第２の領域からハイライトの基準色に対する色空間上での距離が所定の値以下の領域を前記第１及び第２の特徴領域として抽出し、前記領域設定手段は、前記第１の特徴領域の大きさを前記第２の特徴領域の大きさに近づくように変更することが好ましい。

この構成によれば、第２の領域で置換された第１の領域に違和感なくハイライト領域を設定することができる。

また、前記第１の物体は歯を覆う金属であり、前記第２の物体は前記金属に覆われていない歯であることが好ましい。

この構成によれば、第１の領域として歯を覆う金属を示す画像が抽出され、第２の領域として歯を示す画像が抽出されるため、歯を覆う金属を白い歯で置換することができる。

本発明によれば、原画像から置換対象となる第１の物体を示す第１の領域が抽出され、原画像から第１の領域を置換するために使用される第２の物体を示す第２の領域が抽出され、抽出された第２の領域の形状が第１の領域の形状に変形され、第１の領域が置換される。そのため、置換に使用される画像データを予め用意することなく、原画像中に含まれる第１の物体を他の物体の画像で置換することができる。

以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、本発明の実施の形態による画像処理装置のハードウェア構成を示すブロック図である。画像処理装置は、通常のコンピュータ等から構成され、入力装置１、ＲＯＭ（リードオンリメモリ）２、ＣＰＵ（中央演算処理装置）３、ＲＡＭ（ランダムアクセスメモリ）４、外部記憶装置５、表示装置６、記録媒体駆動装置７、入出力インターフェイス部（Ｉ／Ｆ）９、及び撮影装置１０を備える。各ブロックは内部のバスに接続され、このバスを介して種々のデータ等が入出され、ＣＰＵ３の制御の下、種々の処理が実行される。

入力装置１は、キーボード、マウス等から構成され、ユーザが種々のデータを入力するために使用される。ＲＯＭ２には、ＢＩＯＳ（Basic Input/Output System）等のシステムプログラムが記憶される。外部記憶装置５は、ハードディスクドライブ等から構成され、所定のＯＳ（Operating System）及び本発明による画像処理プログラム等が記憶される。ＣＰＵ３は、外部記憶装置５から画像処理プログラム等を読み出し、各ブロックの動作を制御する。ＲＡＭ４は、ＣＰＵ３の作業領域等として用いられる。

表示装置６は、液晶表示装置等から構成され、ＣＰＵ３の制御の下に種々の画像を表示する。記録媒体駆動装置７は、ＣＤ−ＲＯＭドライブ、フレキシブルディスクドライブ等から構成される。

なお、画像処理プログラムは、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体８に格納されて市場に流通される。ユーザはこの記録媒体８を記録媒体駆動装置７に読み込ませることで、画像処理プログラムをコンピュータにインストールする。また、画像処理プログラムをインターネット上のサーバに格納し、このサーバからダウンロードすることで、画像処理プログラムをコンピュータにインストールしてもよい。

Ｉ／Ｆ９は、撮影装置１０により撮影された原画像を取り込むと共に、撮影装置１０に対して種々のデータを出力する。撮影装置１０は、静止画像を撮影するデジタルカメラから構成される。

図２は、図１に示す画像処理装置の機能ブロック図を示している。図２に示すように画像処理装置は、制御部１００、画像メモリ１１０、入力部１２０、撮影部１３０、及び表示部１４０を備えている。

制御部１００は、ＣＰＵ３等から構成され、領域抽出部１０１、置換部１０２、及びハイライト処理部１０３を備えている。領域抽出部１０１は、画像メモリ１１０から１枚の原画像を読み出し、原画像から歯を覆う金又は銀等の金属を示す領域（金歯領域）を抽出する。また、領域抽出部１０１は、原画像から金属が覆われていない白い歯（白歯）を示す領域（白歯領域）を抽出する。ここで、原画像中に複数本の白歯が含まれている場合、領域抽出部１０１は、１本の白歯を１つの白歯領域として抽出する。また、原画像中に複数個の歯を覆う金属が含まれている場合、領域抽出部１０１は、１個の金属を１つの金歯領域として抽出する。

更に、１本の歯の一部が金属で覆われている場合、領域抽出部１０１は、１本の歯のうちの金属の領域を１つの金歯領域として抽出し、金属が覆われていない白歯の領域を１つの白歯領域として抽出する。更に、領域抽出部１０１は、原画像から抽出した白歯領域と金歯領域とからハイライト領域を抽出する。

置換部１０２は、領域抽出部１０１により抽出された金歯領域から１つの金歯領域を特定し、特定した金歯領域に対して形状が最も近い白歯領域を、領域抽出部１０１により抽出された白歯領域の中から特定し、特定した白歯領域の形状が、特定した金歯領域の形状となるように変形し、変形した白歯領域で、特定した金歯領域を置換する。なお、置換部１０２は、全ての金歯領域に対して、白歯領域で置換する処理を実行する。

ハイライト処理部１０３は、領域抽出部１０１により抽出された金歯領域のハイライト領域の大きさを、その金歯領域の近傍に位置する白歯領域のハイライト領域の大きさに近づくように変更し、白歯領域で置換された金歯領域にハイライトを設定する。

画像メモリ１１０は、外部記憶装置５等から構成され、撮影装置１０により撮影された原画像を記憶する。ここで、原画像には、歯が表れた人間の顔の画像が含まれる。入力部１２０は、入力装置１から構成され、ユーザから種々の操作指令を受け付ける。撮影部１３０は、撮影装置１０から構成され、歯が表れた人間の顔の画像を撮影する。表示部１４０は、表示装置６から構成され、金歯領域が白歯領域で置換された画像を表示する。

図３は、画像処理装置のメインルーチンを示すフローチャートである。まず、領域抽出部１０１は、画像メモリ１１０から１枚の原画像を読み出し、領域抽出処理を実行し、原画像に含まれる金歯領域と白歯領域とを抽出する（ステップＳ１）。なお、領域抽出処理の詳細については後述する。次に、置換部１０２は、ステップＳ１で抽出された金歯領域のうち、１つの金歯領域を特定する（ステップＳ２）。ここで、置換部１０２は、複数の金歯領域が存在する場合は、例えば重心が左上に位置する金歯領域から順番に金歯領域を特定する。

次に、置換部１０２は、置換処理を実行し、ステップＳ２で特定された金歯領域を白歯領域で置換する（ステップＳ３）。なお、置換処理の詳細については後述する。次に、ハイライト処理部１０３は、ハイライト処理を実行し、ステップＳ３で白歯領域に置換された金歯領域にハイライトを描画する（ステップＳ４）。なお、ハイライト処理の詳細については後述する。

次に、置換部１０２は、ステップＳ１で抽出された全ての金歯領域に対する処理が終了した場合（ステップＳ５でＹＥＳ）、処理を終了し、未処理の金歯領域が残っている場合は（ステップＳ５でＮＯ）、処理をステップＳ２に戻し、次の金歯領域を特定する。

図４は、図３のステップＳ１に示す領域抽出処理のフローチャートである。まず、領域抽出部１０１は、画像メモリ１１０から読み出した１枚の原画像に対し、原画像を構成する各画素の階調数を少なくする減色処理を実行する。ここで、原画像は、所定行×所定列でマトリックス状に配列された画素から構成され、各画素の画素値は、Ｒ，Ｇ，Ｂの３つの色成分を有し、Ｒ，Ｇ，Ｂの色成分は、各々、例えば０〜２５５の数値で表される。なお、原画像を構成する各画素の画素値のことをＲＧＢ値と呼ぶ。

詳細には、領域抽出部１０１は、画像データを構成するＲ，Ｇ，Ｂの３つの色成分を座標軸とする、Ｒ，Ｇ，Ｂの３軸からなる３次元色空間を設定し、Ｒ軸，Ｇ軸，Ｂ軸をそれぞれ、所定の量子化ステップ数Ｓで量子化し、３次元色空間を、一辺をＳとする立方体から構成される複数のセル領域に区分する。

次に、領域抽出部１０１は、原画像を構成する各画素のＲＧＢ値を量子化ステップ数Ｓで除して、各画素を量子化し、（Ｒ／Ｓ，Ｇ／Ｓ，Ｂ／Ｓ）を求める。次に、領域抽出部１０１は、量子化された画素（Ｒ／Ｓ，Ｇ／Ｓ，Ｂ／Ｓ）が３次元色空間のどのセルに属するかを判定する。例えば、Ｒ／Ｓ，Ｇ／Ｓ，Ｂ／Ｓとして、（１，２，３）が算出された場合、この画素は、Ｒ軸が１〜２、Ｇ軸が２〜３、Ｂ軸が３〜４に位置するセルに属すると判定される。そして、領域抽出部１０１は、全ての画素が、３次元色空間中のどのセルに属するかを判定する。ここで、領域抽出部１０１は、Ｒ／Ｓ，Ｇ／Ｓ，Ｂ／Ｓの値として小数を含む値が得られた場合は、小数点以下の数値を切り捨てる又は四捨五入等することで、Ｒ／Ｓ，Ｇ／Ｓ，Ｂ／Ｓを整数化する。

次に、領域抽出部１０１は、各セルに属する画素のＲＧＢ値の平均値を各セルの代表色として求め、求めた代表色を各セルに属する画素の画素値とする。ここで、減色処理がされた画素の画素値のことを減色画素値と呼び、ＲＧＢ値と区別する。以上の減色処理により、各画素は階調数が少なくされる。なお、各セルの重心のＲＧＢ値を、各セルの代表色として求め、求めた代表色を各セルに属する画素の画素値としてもよい。

ステップＳ１２において、領域抽出部１０１は、ステップＳ１１で減色処理が施された原画像をラベリングして複数の分割領域に分割する。詳細には、領域抽出部１０１は、減色処理が施された原画像において、同一の減色画素値からなる連続する領域に同一のラベルを付し、原画像を複数の分割領域に分割する。ここで、各分割領域のうち、周囲がある一つの分割領域に取り囲まれた領域であって、面積が所定値以下である分割領域は、ハイライト等を表すものとして、その分割領域に対し、その分割領域を取り囲む分割領域のラベルと同一のラベルを付する。また、領域抽出部１０１は、減色処理が施された原画像において、一定の範囲内の減色画素値からなる連続する領域に同一のラベルを付し、原画像を複数の分割領域に分割してもよい。

次に、領域抽出部１０１は、ステップＳ１２で求めた各分割領域を構成する画素のＲＧＢ値の代表値（代表色）を算出する（ステップＳ１３）。ここで、代表値としては、各分割領域の画素のＲＧＢ値の平均値、最大頻度を有する色、又は中央値等を採用することができる。

次に、領域抽出部１０１は、各分割領域の色の代表値と、予め定められた白歯の色の基準値とのＲＧＢ色空間上での距離を算出し、算出した距離が、白歯と認識される所定の範囲内にある領域を、白歯領域として抽出する（ステップＳ１４）。ここで、各分割領域の色の代表値をＲ１，Ｇ１，Ｂ１とし、白歯の色の基準値をＲ２，Ｇ２，Ｂ２とすると、領域抽出部１０１は、例えば（（Ｒ１−Ｒ２）^２＋（Ｇ１−Ｇ２）^２＋（Ｂ１−Ｂ２）^２）^１／２により、各分割領域の色の代表値と白歯の色の基準値との距離を算出する。なお、白歯の色の基準値としては、人間の歯の標準的な色を表すＲＧＢ値を採用することができる。

図７は、原画像の一例を示す図である。この場合、図７に示すように、原画像から７個の白歯領域ＷＴ１〜ＷＴ７が抽出される。なお、白歯領域を総称するときは、白歯領域にＷＴの符号を付す。また、各歯に含まれる白抜きの領域はハイライトを示し、濃い網点は金歯を示し、薄い網点は歯茎を示している（図８〜図９も同様）。

次に、領域抽出部１０１は、ステップＳ１３で求めた各分割領域の色の代表値と、予め定められた歯を覆う金属の色の基準値とのＲＧＢ色空間上での距離を白歯の場合と同様にして算出し、算出した距離が歯を覆う金属と認識される所定の範囲内にある分割領域を、金歯領域として抽出する（ステップＳ１５）。この場合、図７に示すように、原画像から３個の金歯領域ＧＴ１〜ＧＴ３が抽出される。なお、金歯領域を総称するときは、金歯領域にＧＴの符号を付す。なお、歯を覆う金属の色の基準値としては、歯を覆う金の標準的な色のＲＧＢ値、又は歯を覆う銀の標準的な色のＲＧＢ値を採用することができる。

次に、領域抽出部１０１は、ステップＳ１４及びＳ１５で抽出された白歯領域ＷＴ及び金歯領域ＧＴの各領域を整形する（ステップＳ１６）。詳細には、領域抽出部１０１は、白歯領域ＷＴ１〜ＷＴ７及び金歯領域ＧＴ１〜ＧＴ３に対し、スムージング処理を実行し、白歯領域ＷＴ１〜ＧＴ７及び金歯領域ＧＴ１〜ＧＴ３の輪郭を滑らかな線で結ぶ。

次に、領域抽出部１０１は、白歯領域ＷＴ１〜ＷＴ７及び金歯領域ＧＴ１〜ＧＴ３からハイライト領域を抽出する（ステップＳ１７）。詳細には、領域抽出部１０１は、予め定められた低彩度かつ高輝度のハイライトの基準色に対し、ハイライトと認識される所定範囲内のＲＧＢ値を有する画素を、白歯領域ＷＴ１〜ＷＴ７及び金歯領域ＧＴ１〜ＧＴ３から抽出し、抽出した画素からなる領域をハイライト領域として抽出する。

図５は、図３に示す置換処理のフローチャートである。以下、金歯領域ＧＴ１に対する処理を例に挙げて説明する。まず、置換部１０２は、白歯領域ＷＴ１〜ＷＴ７のうち、金歯領域ＧＴ１と形状が最も近い白歯領域ＷＴを選択する（ステップＳ３１）。詳細には、置換部１０２は、金歯領域ＧＴ１に外接する多角形（例えば矩形）を設定すると共に、白歯領域ＷＴ１〜ＷＴ７の各々に外接する多角形（例えば矩形）を設定し、金歯領域ＧＴ１に設定した多角形に対して、大きさが最も近い多角形が設定された白歯領域ＷＴを、形状が最も近い白歯領域ＷＴとして抽出する。この場合、図７に示す白歯領域ＷＴ２が、金歯領域ＧＴ１に対して、形状が最も近い歯として抽出される。

次に、置換部１０２は、図４のステップＳ１７で抽出された白歯領域ＷＴ２からハイライト領域を除去する（ステップＳ３２）。次に、置換部１０２は、白歯領域ＷＴ２に対してモーフィング処理を施し、白歯領域ＷＴ２の形状を金歯領域ＧＴ１の形状に変形させる（ステップＳ３３）。

詳細には、置換部１０２は、白歯領域ＷＴ２の輪郭線上に所定の間隔で複数個の特徴点（ｘ_ｉ，ｙ_ｉ）を設定する。ここで、（ｘ_ｉ，ｙ_ｉ）は、ｉ番目の特徴点の座標を表している。次に、置換部１０２は、金歯領域ＧＴ１の輪郭線上に、白歯領域ＷＴ２に設定した特徴点に対応する複数個の特徴点（ｘ´_ｉ，ｙ´_ｉ）を設定する。なお、ｘ´，ｙ´の添え字はｉは、特徴点（ｘ_ｉ，ｙ_ｉ）に対応付けられた特徴点を表している。ここで、例えば白歯領域ＷＴ２よりも金歯領域ＧＴ１の方が大きい場合は、１つの特徴点（ｘ_ｉ，ｙ_ｉ）に対して複数の特徴点（ｘ´_ｉ，ｙ´_ｉ）を対応付け、白歯領域ＷＴ２よりも金歯領域ＧＴ１の方が小さい場合は、複数個の特徴点（ｘ_ｉ，ｙ_ｉ）に対して１つの特徴点（ｘ´_ｉ，ｙ´_ｉ）を対応付けてもよく、特徴点（ｘ_ｉ，ｙ_ｉ）と（ｘ´_ｉ，ｙ´_ｉ）とは１対１に対応づけなくともよい。

次に、置換部１０２は、白歯領域ＷＴの重心（ｘ_ｇ，ｙ_ｇ）を求める。次に、置換部１０２は、（ｘ_ｉ，ｙ_ｉ）、（ｘ_ｉ＋１，ｙ_ｉ＋１）、（ｘ_ｇ，ｙ_ｇ）からなる微小な三角形を求める。次に、置換部１０２は、重心（ｘ_ｇ，ｙ_ｇ）を原点としたときの、（ｘ_ｉ，ｙ_ｉ）と（ｘ´_ｉ，ｙ´_ｉ）との関係、及び（ｘ_ｉ＋１，ｙ_ｉ＋１）と（ｘ´_ｉ＋１，ｙ´_ｉ＋１）との関係から２行２列の変換行列Ｓを求める。

次に、置換部１０２は、微小な三角形内の全ての画素の座標を、変換行列Ｓを用いて変換する。このようにして、置換部１０２は、全ての微小な三角形内の画素の座標を、変換行列Ｓを用いて変換する。次に、置換部１０２は、白歯領域ＷＴ２のある画素（ｘ_ｊ，ｙ_ｊ）が、変換行列Ｓにより（ｘ´_ｊ，ｙ´_ｊ）に変換されたとすると、変換後の画素（ｘ´_ｊ，ｙ´_ｊ）の画素値を変換前の画素（ｘ_ｊ，ｙ_ｊ）の画素値とする。ここで、複数の画素（ｘ_ｉ，ｙ_ｉ）が変換行列Ｓにより１つの画素（ｘ´_ｊ，ｙ´_ｊ）に変換された場合は、画素（ｘ´_ｊ，ｙ´_ｊ）の画素値を変換前の複数の画素（ｘ_ｉ，ｙ_ｉ）の平均値とする。以上により、白歯領域ＷＴ２の形状が、金歯領域ＧＴ１の形状に変形される。

次に、置換部１０２は、形状が変形された白歯領域ＷＴ２で、金歯領域ＧＴ１を上書きし、金歯領域ＧＴ１を白歯領域ＷＴ２で置換する（ステップＳ３４）。置換部１０２は、以上の置換処理を全ての金歯領域ＧＴに対して実行し、全ての金歯領域ＧＴを、白歯領域ＷＴで置換する。

図８は、白歯領域ＷＴで置換された金歯領域ＧＴを示した図である。図８に示すように、図７に示す金歯領域ＧＴ１〜ＧＴ３が白歯領域ＷＴで上書きされ、歯を覆う金属が白歯で置換されていることが分かる。

図６は、図３に示すハイライト処理のフローチャートである。以下の説明では金歯領域ＧＴ１に対してハイライト処理を施す場合を例に挙げて説明する。まず、ハイライト処理部１０３は、金歯領域ＧＴ１に隣接する白歯領域ＷＴを特定し、金歯領域ＧＴ１の大きさが、特定した白歯領域ＷＴのハイライト領域の大きさとなるように、金歯領域ＧＴ１のハイライト領域の大きさを変更する（ステップＳ４１）。

詳細には、ハイライト処理部１０３は、白歯領域ＷＴ１〜ＷＴ７の各重心と、金歯領域ＧＴ１の重心との距離を求め、求めた距離が最短となる白歯領域ＷＴを金歯領域ＧＴ１に隣接する白歯領域ＷＴとして特定する。ここでは、図７に示す白歯領域ＷＴ１が金歯領域ＧＴ１に隣接する白歯領域ＷＴとして抽出される。

次に、ハイライト処理部１０３は、図７に示す金歯領域ＧＴ１のハイライト領域ＨＧ１に外接矩形を設定すると共に、白歯領域ＷＴ１のハイライト領域ＨＴ１に外接矩形を設定する。ここで、ハイライト領域ＨＧ１に設定された外接矩形の横方向の一辺の長さをＷｇ、縦方向の一辺の長さをＨｇとおく。また、ハイライト領域ＨＴ１に設定された外接矩形の横方向の一辺の長さをＷｔ、縦方向の一辺の長さをＨｔとおく。

次に、ハイライト処理部１０３は、ハイライト領域ＨＧ１の外接矩形の横方向の一辺の長さＷｇが、ハイライト領域ＨＴ１の一辺の長さＷｔとなり、かつ、ハイライト領域ＨＧ１の外接矩形の縦方向の一辺の長さＨｇがハイライト領域ＨＴ１の一辺の長さＨｔとなるように、ハイライト領域ＨＧ１を拡大又は縮小する。すなわち、ハイライト領域ＨＧ１は、縦の拡大率又は縮尺率がＨｔ／Ｈｇ、横の拡大率又は縮尺率がＷｔ／Ｗｇで、拡大又は縮小される。図９は、白歯領域ＷＴ２で置換された金歯領域ＧＴ１に設定されたハイライト領域ＨＧ１´を示した図である。

ステップＳ４２において、ハイライト処理部１０３は、図７に示す金歯領域ＧＴ１のハイライト領域ＨＧ１の重心に、ステップＳ４１で大きさが変更された図９に示すハイライト領域ＨＧ１´の重心が位置するように、白歯領域ＷＴ２で置換された金歯領域ＧＴ１にハイライト領域を描画する。

この場合、図９に示すように、白歯領域ＷＴ２で置換される前の金歯領域ＧＴ１のハイライト領域ＨＧ１の重心Ｃ１に、ステップＳ４１で大きさが変更されたハイライト領域ＨＧ１´の重心が位置するように、ハイライト領域ＨＧ１´が描画されていることが分かる。

なお、ハイライト処理部１０３は、残りの金歯領域ＧＴ２，ＧＴ３に対しても、金歯領域ＧＴ１と同様のハイライト処理を施す。

以上説明したように、本画像処理装置によれば、原画像から金歯領域ＧＴと白歯領域ＷＴが抽出され、抽出された白歯領域ＷＴを用いて金歯領域ＧＴが置換されているため、予め白歯を示す画像を用意しなくとも、白歯領域ＷＴを金歯領域ＧＴに置換することができる。

また、原画像に減色処理を施し、減色処理後の画素値に基づいて原画像を分割し、分割した各分割領域の色の代表値を求め、各分割領域の色の代表値と歯を覆う金属の色の基準値とを基に、金歯領域ＧＴが抽出されているため、原画像から歯を覆う金属を精度よく抽出することができる。更に、分割された各分割領域の色の代表値と白歯の色の基準値とを基に、白歯領域ＷＴが抽出されているため、原画像から白歯を精度良く抽出することができる。

更に、金歯領域ＧＴの近傍に位置する白歯領域ＷＴに含まれるハイライト領域の大きさに近づくように、金歯領域ＧＴのハイライト領域の大きさが変更されて、白歯領域ＷＴで置換された金歯領域ＧＴにハイライトが設定されるため、白歯領域ＷＴで置換された金歯領域ＧＴにハイライトを違和感なく描画することができる。

なお、上記実施の形態では、金歯領域ＧＴと白歯領域ＷＴで置き換える態様を示したが、本発明はこれに限定されず、例えば、人間の手の甲の画像から、マニキュアが施された爪の領域とマニキュアが施されていない爪の領域とを抽出し、マニキュアが施された爪の領域をマニキュアが施されていない爪の領域で置換してもよい。

また、上記図４のステップＳ１４，Ｓ１５において、各分割領域の色の代表値と、白歯の基準色及び金歯の基準色との距離をＲＧＢ表色系で求めているが、この距離をＨＳＶ（Ｈ：色相、Ｓ：彩度、Ｖ：明度）表色系を用いて求めても良い。この場合、白歯の色の基準値として、白歯の標準的な色のＨＳＶ値を採用すると共に、金歯の標準的な色のＨＳＶ値を採用し、各分割領域をＲＧＢ表色系からＨＳＶ表色系に変換し、各分割領域の色の代表値を求め、各分割領域の色の代表値と、白歯の標準的な色のＨＳＶ値及び金歯の標準的な色のＨＳＶ値とのＨＳＶ色空間上での距離を求めればよい。更に、ＨＳＶ表色系以外の表色系、例えばマンセル表色系、Ｌ＊ａ＊ｂ＊表色系、ＸＹＺ表色系、又はＣＩＥ表色系等を用いて色空間上の距離を求めてもよい。

また、上記実施の形態では、静止画像に対する処理を示したが、これに限定されず、動画像に対して上記実施の形態の処理を適用してもよい。この場合、動画像を構成するフィールドを原画像として上記実施の形態の処理を適用すればよい。

本発明の実施の形態による画像処理装置のハードウェア構成を示すブロック図である。 図１に示す画像処理装置の機能ブロック図を示している。 画像処理装置のメインルーチンを示すフローチャートである。 図３に示す領域抽出処理のフローチャートである。 図３に示す置換処理のフローチャートである。 図３に示すハイライト処理のフローチャートである。 原画像の一例を示す図である。 図７に示す原画像から抽出された金歯領域を示した図である。 白歯領域で置換された金歯領域に設定されたハイライト領域を示した図である。

符号の説明

１００ 制御部
１０１ 領域抽出部
１０２ 置換部
１０３ ハイライト処理部
１１０ 画像メモリ
１２０ 入力部
１３０ 撮影部
１４０ 表示部
Ｃ１ 重心
ＧＴ，ＧＴ１〜ＧＴ３ 金歯領域
ＨＧ１ ハイライト領域
ＨＴ１ ハイライト領域
Ｓ 量子化ステップ数
ＷＴ，ＷＴ１〜ＷＴ７ 白歯領域

Claims (10)

1. 原画像から置換対象となる第１の物体を示す第１の領域を抽出すると共に、前記原画像から前記第１の領域を置換するために使用される第２の物体を示す第２の領域を抽出する領域像抽出手段と、
   前記第２の領域の形状を前記第１の領域の形状に変形し、変形した第２の領域で、前記１の領域を置換する置換手段としてコンピュータを機能させることを特徴とする画像処理プログラム。
2. 前記領域抽出手段は、原画像を複数の分割領域に分割し、各分割領域の色の代表色と前記第１の物体の色の基準値との色空間上での距離が所定の値以下である分割領域を前記第１の領域として抽出すると共に、各分割領域の色の代表色と前記第２の物体の色の基準値との色空間上での距離が所定の値以下である分割領域を前記第２の領域として抽出することを特徴とする請求項１記載の画像処理プログラム。
3. 前記領域抽出手段は、階調数を少なくする減色処理を前記原画像に実行し、減色処理が実行された原画像において、類似する画素値からなる連続した領域を１つの分割領域とすることを特徴とする請求項２記載の画像処理プログラム。
4. 前記置換手段は、前記領域抽出手段により複数の第１領域が抽出されると共に、複数の第２の領域が抽出された場合、複数の第１の領域の中から１つの第１の領域を注目する第１の領域として順次特定し、特定した注目する第１の領域に対して形状が最も近い第２の領域を複数の第２の領域の中から特定し、特定した第２の領域で前記注目する第１の領域を置換することを特徴とする請求項２又は３記載の画像処理プログラム。
5. 前記置換手段は、前記注目する第１の領域に外接する多角形を設定すると共に、各第２の領域に外接する多角形を設定し、第１の領域に対して設定した多角形に、大きさが最も近い多角形が設定された第２の領域を、前記注目する第１の領域に対して形状が最も近い第２の領域として特定することを特徴とする請求項４記載の画像処理プログラム。
6. 前記領域抽出手段は、前記第１及び第２の領域の各々から特徴的な領域を示す特徴領域を抽出し、
   前記領域抽出手段により抽出された第１の特徴領域の大きさを、近傍に位置する第２の特徴領域の大きさを基に変更し、変更した第１の特徴領域を、前記置換手段により第２の領域で置換された第１の領域に設定する領域設定手段としてコンピュータを更に機能させることを特徴とする請求項１〜５のいずれかに記載の画像処理プログラム。
7. 前記領域抽出手段は、前記第１及び第２の領域からハイライトの基準色に対する色空間上での距離が所定の値以下の領域を前記第１及び第２の特徴領域として抽出し、
   前記領域設定手段は、前記第１の特徴領域の大きさを前記第２の特徴領域の大きさに近づくように変更することを特徴とする請求項６記載の画像処理プログラム。
8. 前記第１の物体は歯を覆う金属であり、前記第２の物体は前記金属に覆われていない歯であることを特徴とする請求項１〜７のいずれかに記載の画像処理プログラム。
9. 原画像から置換対象となる第１の物体を示す第１の領域を抽出すると共に、前記原画像から前記第１の領域を置換するために使用される第２の物体を示す第２の領域を抽出する領域像抽出手段と、
   前記第２の領域の形状を前記第１の領域の形状に変形し、変形した第２の領域で前記１の領域を置換する置換手段とを備えることを特徴とする画像処理装置。
10. コンピュータが、原画像から置換対象となる第１の物体を示す第１の領域を抽出すると共に、前記原画像から前記第１の領域を置換するために使用される第２の物体を示す第２の領域を抽出し、
    コンピュータが、前記第２の領域の形状を前記第１の領域の形状に変形し、変形した第２の領域で、前記１の領域を置換することを特徴とする画像処理方法。

Images