JP2010066943A - 画像処理方法および装置 - Google Patents

Abstract

【課題】 証明写真のような顔画像の中のシワ、シミなどを修正するためのスムージング処理において、顔画像のサイズの大小にかかわらず、均質なスムージング効果が得られるとともに、大サイズの顔画像であっても、品質劣化が少なく、かつ高速にて処理可能であるような画像処理方法および装置を提供することを課題とする。
【解決手段】 顔画像から顔サイズや肌領域を抽出し画像サイズに合わせたフィルタサイズを算出（Ｓ１６）することにより画像の大小にかかわらず均質なスムージング効果を得る。また、フィルタリング処理において、処理対象画素を飛び石状に選択することにより、品質劣化の少ない、高速な処理を実現する。
【選択図】 図３

Description

本発明は、コンピュータを用いた画像処理技術に関し、特に人物の顔画像の肌部分に現れるシワやシミを目立たなくなるよう補正する、いわゆる「美肌」効果を目的とする画像処理技術に関する。

写真画像をデジタルデータとしてコンピュータに取り込み、コンピュータ上で画像に対する種々の加工処理を施すフォトレタッチ技術は、様々な分野で利用されている。中でも、人物の顔画像の肌の質感向上への要求は大きく、シワ、シミ等の「美観を損なう」不要部分を除去あるいは軽減する試みは、静止画から動画に至るまで従来から広く行なわれている。最近では、コンピュータの性能向上に伴い、個人レベルでも、パソコンを用いて写真画像に対する種々のレタッチ処理を施すことができるようになっている。

このような不要部分を効果的に軽減、除去する、いわゆるスムージング処理のための画像処理手法として、ε-フィルタやＭＴＭフィルタなどが知られている。
これらのフィルタは、平均値フィルタの一種であり、本来は小振幅の高周波雑音成分の除去を目的としたものであるが、顔画像のような画像信号に適用した場合は、エッジなどの境界情報を保存しながらシワなどの不要部分（小振幅信号）を除去できるため、特に、仕上がり品質が重視される証明写真のような用途には好適である。
例えば、特許文献１には、大小異なる閾値を用いたε-フィルタによる「肌つる」化に関する技術を開示し、特許文献２では、画像データのノイズ除去法として、信号処理の観点からＭＴＭフィルタを含む各種二次元フィルタの特性を論じている。
特開２００１−１１８０６４号公報 特開２００６−６０８４１号公報

また、顔画像のスムージング処理にあたっては、目、口唇や頭髪のディテールが損なわれないよう、肌部分のみにスムージング処理を施すことが望ましく、顔の肌部分であることを示す肌領域マスクに従い、肌部分のみに処理が施される例が多い。このように顔画像の中から肌色の領域を認識し肌領域マスクを生成する手法は、例えば、本発明と同一の出願人による特許文献３に開示されている。
特開２００５−２７６１８２号公報

しかしながら、このような「美肌」機能を実用しようとした場合、以下に述べるような問題が生じる。
例えば、証明写真に適用すると、証明写真の仕上がりサイズは用途により大きく変わるため、画像データのサイズも大きく変化することになる。加えて、フレーム内での顔サイズも撮影距離等で変化するため、画像データ上での顔画像のサイズは大きな変動幅を持つことになる。
このようにサイズの範囲が広い顔画像データに一様なサイズの二次元フィルタを作用させても望む効果は得られず、フィルタによるスムージング効果に大きなバラツキが生じることとなる。そこで、顔の大きさによらずに安定したスムージング効果を得るためには、画像データの顔サイズに応じて二次元フィルタのサイズを変化させることが必要となる。

一方、顔画像サイズが大きくなると二次元フィルタのサイズも大きくなるが、各画素の演算時間は二次元フィルタの面積比で増大するため、顔画像が大きくなるにつれ、フィルタリング処理の演算時間が著しく増大するという新たな問題が生じる。これに対しては、フィルタリング処理の際に、画素を間引くことにより演算量を縮減するなどの手法が考えられるが、反面、これによる画質劣化や疑似ノイズの発生など別の問題も生じる。

そこで本発明は、取り込まれた顔画像のサイズの大小にかかわらず、均質なスムージング効果が得られるとともに、大サイズの顔画像であっても、品質劣化が少なく、かつ高速にて処理可能であるような画像処理方法および装置を提供することを目的とする。

上記課題を解決する本発明の画像処理方法は、人物の顔画像を表わす画像信号の肌部に現れるシミ、シワ、キズなどの不要画像を修整する美肌化を目的とするものであり、人物の顔を含む画像データをコンピュータに入力する人物画像入力段階と、前記人物画像から顔領域を特定し、この顔領域から肌部を抽出し肌領域を示す肌領域マスクデータを生成する肌領域抽出段階と、前記肌領域マスクデータに基き、肌領域にある各画素に正方配列の二次元マトリクスによるフィルタリング処理を施すスムージング処理段階と、
を有する、顔画像の不要画像部分を修正する画像処理方法であって、
前記スムージング処理段階は、顔の実寸の寸法を指定する顔実寸法設定ステップと、前記不要画像部分の実物上での寸法を指定する不要画像実寸法設定ステップと、前記不要画像実寸法を前記顔実寸法で除した値と、前記顔領域から得られる顔画像の画素数とを積算し、この積算結果に最も近い奇数値を前記二次元マトリクスの一辺の画素数として定めるマトリクスサイズ決定ステップとを含むことを特徴とする。

また、前記二次元マトリクスの一辺の画素数が５以上の場合、フィルタリング処理で用いる演算対象画素を、飛び石状に間引いて選択することを特徴としている。

さらに、前記フィルタリング処理で用いる演算対象画素を、前記二次元マトリクスの中心にある着目画素に対し、同着目画像を中心に同心円状に選定することを特徴としている。

本件第２の発明は、
人物の顔を含む画像データをコンピュータに入力する人物画像入力手段と、前記人物画像から顔領域を特定し、この顔領域から肌部を抽出し肌領域を示す肌領域マスクデータを生成する肌領域抽出手段と、前記肌領域マスクデータに基き、肌領域にある各画素に正方配列の二次元マトリクスによるフィルタリング処理を施すスムージング処理手段と、前記フィルタリング処理の対象とする不要画像部分の実物上での寸法を設定する不要画像実寸法入力手段と、予め設定された平均的顔サイズの寸法で前記不要画像実寸法を除した値と、前記顔領域から得られる顔画像の画素数とを積算し、この積算結果に最も近い奇数値を前記二次元マトリクスの一辺の画素数として定めるマトリクスサイズ決定手段と、
を備えることを特徴とする画像処理装置にある。

ここで、前記二次元マトリクスの一辺の画素数が５以上の場合、フィルタリング処理で用いる演算対象画素を、飛び石状に間引いて選択することを特徴とする。

また、前記フィルタリング処理で用いる演算対象画素を、前記二次元マトリクスの中心にある着目画素に対し、同着目画像を中心に同心円状に選定することを特徴とする。

本発明の画像処理方法および装置によれば、処理対象となる顔画像データに対し、その顔画像のサイズに応じたサイズの二次元マトリクスを得ることにより、顔画像のサイズによらず一定のフィルタリング効果を得ることができ、また、フィルタリング処理における演算対象画素を同心円状に配すことにより、画質劣化が少なく高速な処理を実現することができる。

以下、本発明の実施形態について、図面を参照しながら説明する。
図1は本発明の画像処理方法の機能ブロック図、図２はこれをコンピュータ処理で実現した場合のハードウェア構成例を示す。
図３は本発明の画像処理の処理フローを示す図、図４は肌領域マスクを生成する過程を示す図、図５は顔サイズと二次元マトリクスの関係を示す図、図６はＭＴＭフィルタの原理を示す図、図７は二次元マトリクスと間引きパターンの関係を示す図である。

図１の操作部２１は、図２のモニタ４から視覚情報を得ながら、キーボード６、マウス７を用いて本発明の画像処理に関する指示を与えるためのものである。また処理部２０はデータ格納部２７にあるデータやパラメータを参照し画像処理を行なうことを示し、本発明の画像処理で用いる画像入力機能２２、肌領域抽出機能２３、スムージング処理機能２４、画像出力機能２５などから構成される。Ｉ／Ｏ外部接続部は、主に画像データの入出力のためのものであり、例えば、入力の場合は、データ格納メディアやデジタル撮像機器などが接続され、また、出力の場合は、データ格納メディアの他にプリンタなどが接続されることを想定している。

図３は本発明のスムージング処理にかかわる詳細フローを表わす。
まず、画像入力段階（Ｓ１１）でコンピュータに入力された人物画像は、顔検出処理により顔部が特定される。顔検出のための手法は種々あるが図３に示すフローでは「Ｈａａｒ−ｌｉｋｅ特徴」を用いている。
Ｈａａｒ−ｌｉｋｅ特徴を用いた物体検出手法は、検出対象となる物体の明暗のパターンを基に、高速に識別を行うことを特徴とし、静止画や動画像中における顔検出などに利用されている。特に、証明写真のような正面、無帽の人物像に対しては高い検出精度を発揮する。Ｈａａｒ−ｌｉｋｅ特徴を用いた顔の検出結果は、目・鼻・口などといった顔の局所情報と、顔の中心、サイズなどの情報を含んだ領域として表わされる。

なお、Ｈａａｒ−ｌｉｋｅ特徴による対象物検出の原理、顔検出への適用例などについては、下記の文献（非特許文献１、非特許文献２）に紹介されている。
Paul Viola and Michel J. Jones: "Rapid Object Detection Using a Boosted Cascade of Simple Features", Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.511-518, (2001) Rainer Lienhart and Jochen Maydt: "An Extended Set of Haar-likeFeatures for Rapid Object Detection", Proceedings of the 2002 IEEEInternational Conference on Image Processing, Vol.1, pp.900-903, (2002)

また、Ｈａａｒ−ｌｉｋｅ特徴を用い、画像中から顔を特定し、顔のサイズや位置を取得する手法は、既に画像処理のライブラリとして提供されており（Ｉｎｔｅｌ社が開発、公開しているＯｐｅｎＣＶライブラリ）、これらを利用し顔の領域を表わす顔矩形領域を導くことは容易である。図４（２）に示す顔矩形領域４２は、Ｈａａｒ−ｌｉｋｅ特徴およびＯｐｅｎＣＶを用いて得られた顔領域を図示したものであり、同顔矩形領域は処理画像中の顔の位置（中心）と大きさ（顔の幅および高さ）を表わしている。

このように顔部が特定されると、顔の平均的肌色を示す部位の色を参照し顔の肌部を抽出するといった肌領域検出が可能となる。本発明では、特許文献３に開示される人物の肌領域抽出の方法およびマスクデータの作成方法を用いてマスクデータ生成を行なうこととしている（Ｓ１３）。肌領域抽出により生成されたマスクデータの様態を図４（３）に示す。

一方、前記Ｈａａｒ−ｌｉｋｅ特徴による顔矩形領域から得られる顔の巾方向の大きさ（画素数）と、別途設定される顔の実寸法（Ｓ１４）および不要画像実寸法（Ｓ１５）により画像データ上でのフィルタの画素数であるマトリクスサイズ（一辺の画素数）を決定することができる（Ｓ１６）。
なお、顔の実寸法は個人毎に測る必要はなく、図１の構成では、予めデータとして、例えば平均的日本人の顔のサイズ１７０ミリメートルという値が、データ格納部２７に格納されている（顔実寸法２７３）。また、不要画像実寸法とは、シミ、シワなどの修整したい不要部分の大きさであり、前記顔の実寸法と単位を合わせミリメートル単位で測った数値を設定するが、この大きさの設定方法としては、図２のキーボード６から入力してもよいし、いくつかの大きさの中からマウス７で選択することも可能である。

フィルタのマトリクスサイズの算出は、
ａ＝Ｌ×Ｍ／Ｆ
（ただし、Ｌは画像データ上の顔サイズすなわち顔矩形領域の巾方向の画素数、
Ｍは不要画像実寸法、
Ｆは顔の実寸法）
の計算式に基き、さらにここから得たａに最も近い奇数値とすることにより得られる。この値をＡとすると、Ａは、
Ａ＝ＩＮＴ（ａ／２＋１）＊２−１
（ただし、ＩＮＴは小数点以下切り捨て型整数化を表わす演算子）
のような計算式で表わすことができる。
これにより、マトリクスサイズＡは、入力された画像データの顔サイズに応じて変化することになるため、顔画像データのサイズや画素密度によらず一定したフィルタリング効果を得ることができる。
図５（イ）に人物の顔上での不要部分の様態、図５（ロ）（ハ）に顔画像上でのマトリクスサイズの様子を示す。（ロ）は顔画像が小サイズの場合、（ハ）は顔画像が大サイズの場合を示すが、図中のＡ、Ａ’は顔画像の大小に応じてマトリクスサイズＡも変化する様子を表わす。

上記より得たマトリクスサイズＡの大きさのフィルタを用い、肌領域抽出（Ｓ１３）で得た肌領域マスクデータを参照しながらフィルタリング処理（Ｓ１７）を行なうが、ここではＭＴＭフィルタを例にフィルタリング処理を説明する。
ＭＴＭフィルタは、基本は平均化フィルタであるが、着目画素と近傍の画素とを比較しその差分について、差分が小さい場合は着目画素と近傍画素との相関が強いとし、この近傍画素を演算対象に取り入れ、逆に差分が大きい場合は、演算対象から除外すことで、小振幅信号に対し重点的にフィルタ効果を作用させるものである。図６にＭＴＭフィルタの原理を示す。

一方、このようなフィルタリング処理における演算量はフィルタのサイズに依存するため、二次元マトリクスの一辺の画素数が増加するにつれ演算量は面積比で増加することになり、処理時間の著しい増大を招く。
処理時間の増大を避けるためには、フィルタリング処理時に処理対象画素を間引くことにより演算量を減少させることが望ましい。そこで本発明では、フィルタの二次元マトリクス上に演算対象とする画素のパターンを予め設定しておき、設定された画素以外は計算対象から外すことで演算量の減少、すなわち演算の高速化を実現している。
図７は二次元マトリクス上の間引きパターンの例であり、（Ａ）は縦横の格子状のパターン、（Ｂ）は千鳥格子状のパターンを示す。なお、二次元マトリクスの一辺の画素数が３以下では間引きの効果は得られず、一辺の画素数が５以上で有効となる。

例えば図７（Ａ）の例では、二次元マトリクスのサイズは７×７であり、着目画素６１を中心とした近傍画素の数は４８画素となるが、演算対象画素６２を飛び石状に選定することにより演算対象画素の合計数を８画素まで縮減させている。この結果、画素ごとの繰り返し演算にかかわる処理時間が大幅に短縮でき、スムージング処理全体の処理時間短縮を達成した。

ところが、上記（Ａ）、（Ｂ）の飛び石状パターンように規則性の繰り返しがあるパターンでは、このパターンと処理対象とする元画像に含まれるパターンとが干渉し、フィルタリング結果に干渉縞等の副次的文様が現れるといった副作用を生じることがある。例えば、肌部にかかった髪の毛のような線状の像に対しては、この部分に濃淡のパターンが残ることがある。
このような副作用を避けるには、間引きパターンから規則性をなくすのが有効であり、実験の結果、演算対象とする画素を図７（Ｃ）に示すような同心円状に配したパターンがより望ましいとの結果を得た。

このようにスムージング処理を施した結果は、画像出力（Ｓ１８）としてデータ記録媒体（ＣＤ、ＤＶＤ）やプリンタに出力することができる。

図２は、本発明の画像処理方法をコンピュータ処理で実現した時のハードウェア構成例である。画像処理装置１は、バス９を介して接続されるＣＰＵ２、メモリ３、モニタ４、Ｉ／Ｏ５、キーボード６、マウス７とハードディスク８などで構成される。
メモリ３は、ＣＰＵ２がプログラム８２を実行する際に、実行すべきプログラムや一時的作業データを格納するデータ記憶場所である。
モニタ４は、視覚情報を表示する表示装置であり、キーボード６およびマウス７は、操作者による情報入力や指示を受け付け、その信号をＣＰＵに伝達する入力装置である。
Ｉ／Ｏ５は外部との接続に関する接続口を表わし、例えば、デジタルカメラ、ＣＤ、ＤＶＤなどの外部機器、あるいはネットワークを介してプリンタや他のシステムと接続される。
ハードディスク８には、本システムが扱う対象とする情報からなるデータ８１、図３のスムージング処理フローの各ステップを実行する画像処理プログラムを始め、ＣＰＵが実行するプログラム８２、本システムがコンピュータとして機能するための基盤ソフトウェアであるＯＳ８３などが格納される。
また、上記の画像処理や入出力の制御は図２のＣＰＵ２がプログラム８２を実行することにより実現される。

本発明の画像処理方法の機能ブロック図 ハードウェア構成図 本発明の画像処理の処理フローを示す図 肌領域マスクを生成する過程を示す図 顔サイズと二次元マトリクスの関係を示す図 ＭＴＭフィルタの原理を示す図 二次元マトリクスと間引きパターンの関係を示す図

符号の説明

１ 画像処理装置
２ ＣＰＵ
３ メモリ
４ モニタ
５ Ｉ／Ｏ
６ キーボード
７ マウス
８ ハードディスク
２０ 処理部
２１ 操作部
２７ データ格納部
４２ 顔矩形領域
４３ 肌領域マスク
６１ 着目画素
６２ 演算対象画素

Claims (6)

1. 人物の顔を含む画像データをコンピュータに入力する人物画像入力段階と、
   前記人物画像から顔領域を特定し、この顔領域から肌部を抽出し肌領域を示す肌領域マスクデータを生成する肌領域抽出段階と、
   前記肌領域マスクデータに基き、肌領域にある各画素に正方配列の二次元マトリクスによるフィルタリング処理を施すスムージング処理段階と、
   を有する、顔画像の不要画像部分を修正する画像処理方法であって、
   前記スムージング処理段階は、顔の実寸の寸法を指定する顔実寸法設定ステップと、
   前記不要画像部分の実物上での寸法を指定する不要画像実寸法設定ステップと、
   前記不要画像実寸法を前記顔実寸法で除した値と、前記顔領域から得られる顔画像の画素数とを積算し、この積算結果に最も近い奇数値を前記二次元マトリクスの一辺の画素数として定めるマトリクスサイズ決定ステップと、
   を含むことを特徴とする画像処理方法。
2. 前記二次元マトリクスの一辺の画素数が５以上の場合、フィルタリング処理で用いる演算対象画素を、飛び石状に間引いて選択することを特徴とする請求項１に記載の画像処理方法。
3. 前記フィルタリング処理で用いる演算対象画素を、前記二次元マトリクスの中心にある着目画素に対し、同着目画像を中心に同心円状に選定することを特徴とする請求項２に記載の画像処理方法。
4. 人物の顔を含む画像データをコンピュータに入力する人物画像入力手段と、
   前記人物画像から顔領域を特定し、この顔領域から肌部を抽出し肌領域を示す肌領域マスクデータを生成する肌領域抽出手段と、
   前記肌領域マスクデータに基き、肌領域にある各画素に正方配列の二次元マトリクスによるフィルタリング処理を施すスムージング処理手段と、
   前記フィルタリング処理の対象とする不要画像部分の実物上での寸法を設定する不要画像実寸法入力手段と、
   予め設定された平均的顔サイズの寸法で前記不要画像実寸法を除した値と、前記顔領域から得られる顔画像の画素数とを積算し、この積算結果に最も近い奇数値を前記二次元マトリクスの一辺の画素数として定めるマトリクスサイズ決定手段と、
   を備えることを特徴とする画像処理装置。
5. 前記二次元マトリクスの一辺の画素数が５以上の場合、フィルタリング処理で用いる演算対象画素を、飛び石状に間引いて選択することを特徴とする請求項４に記載の画像処理装置。
6. 前記フィルタリング処理で用いる演算対象画素を、前記二次元マトリクスの中心にある着目画素に対し、同着目画像を中心に同心円状に選定することを特徴とする請求項５に記載の画像処理装置。

Images