JP2008139941A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】特定のイベントにおいて人物が写っているデジタル画像や、特定の季節において人物が写っているデジタル画像、また特定の服を着ている人物が写っているデジタル画像を、大量のデジタル画像から精度良く抽出できる画像処理装置、画像処理方法、および画像処理プログラムを提供する。
【解決手段】着用した服に対応する画像を構成する画素の階調データを、特定の階調データとして設定する。一方、服装に相当する部分の画像領域を、服装画像領域としてデジタル画像から切り出す。そして服装画像領域の画素の階調データが、設定された特定の階調データと一致したデジタル画像は、特定の服を着ている人物が写っているデジタル画像であり、抽出の対象となるイベントや季節において人物が写っているデジタル画像と判定する。
【選択図】図１

Description

本発明は、複数の画素によって構成され、前記画素が特定の階調データを有する画像領域が含まれる特定デジタル画像を、複数のデジタル画像から抽出する画像処理装置、画像処理方法、および画像処理プログラムに関する。

近年、デジタルビデオカメラやデジタルカメラの普及により、動画を構成するデジタル画像を含めて、撮影時に多くの枚数のデジタル画像が撮影されるようになり、ハードディスクやＤＶＤ−ＲＯＭ，ＣＤ−ＲＯＭなどといった記録容量の大きい記録媒体に、撮影された多数枚のデジタル画像が記録されるようになってきた。そのため、これらの記録媒体には膨大な枚数のデジタル画像が記録されている状況がしばしば発生するようになってきている。

このように、記録媒体に膨大な枚数のデジタル画像が記録されていると、ユーザーは、所望するデジタル画像を探し出すまでに長い時間を費やすことになる。このため、大量のデジタル画像から効率よく所望のデジタル画像を抽出する技術が提案されている。例えば、大量の映像から所望のシーンを検索可能な「服装・顔を用いた人物検索システム」が開示されている（非特許文献１）。

非特許文献１に開示されたシステムにおける技術は、入力された映像から動領域を抽出し、抽出した動領域から人物の頭部または顔を検出する。そして、人物について服装の色特徴量、顔が検出できた場合は顔特徴量をメタデータとして出力し、出力したメタデータが類似しているシーンを検索するものである。あるいは、人物の服装色を色名をキーとして所望のシーンを検索するものである。

佐藤正章ほか１名，「服装・顔を用いた人物検索システム」，Ｍａｔｓｕｓｈｉｔａ Ｔｅｃｈｎｉｃａｌ Ｊｏｕｒｎａｌ，Ｖｏｌ．５２，Ｎｏ．３，Ｊｕｎ．２００６，Ｐ．６７〜７１

ところで、ユーザーが所望するデジタル画像が、特定のイベントにおいて人物が写っているデジタル画像や、特定の季節において人物が写っているデジタル画像である場合がある。例えば、前者は、結婚式や観光旅行などといった特定のイベントで人物が写っているデジタル画像であり、後者は、海水浴や登山などといった夏の季節において人物が写っているデジタル画像である場合である。また、特定の服を着ている人物が写っているデジタル画像である場合もある。例えば、ユーザーがお気に入りの服を着ているユーザー自身が写っているデジタル画像の場合である。

ユーザーが所望するデジタル画像がこのようなデジタル画像であった場合、非特許文献１に開示されたシステムにおける技術を用いると、同一の人物が写っているシーンに対応するデジタル画像を抽出することができる。しかしながら、抽出されたシーンは、人物が写っているデジタル画像ではあるものの、必ずしもユーザーが所望するイベントではなく、異なるイベントにおいて人物が写ったデジタル画像が抽出されてしまうという課題がある。

また、特定の服を着ている人物が写っているデジタル画像を抽出する場合、同じく非特許文献１に開示された色名をキーとしてシーンを検出する方法を用いると、背景も含めた画像全体の中にキーとなる色の画像領域が含まれている場合は、人物が写っていないデジタル画像が抽出されることになる。従って、人物が写っているデジタル画像を精度良く抽出できないという課題がある。

本発明はこのような課題を解決するためになされたもので、特定のイベントにおいて人物が写っているデジタル画像や、特定の季節において人物が写っているデジタル画像、また特定の服を着ている人物が写っているデジタル画像を、大量のデジタル画像から精度良く抽出できる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。

上記目的を達成する本発明の画像処理装置は、複数のデジタル画像を記憶するデジタル画像記憶部と、特定の階調データを設定する特定階調データ設定部と、前記記憶された複数のデジタル画像から人物の顔画像領域を抽出する顔画像領域抽出部と、前記抽出した顔画像領域に基づいて、前記顔画像領域が抽出されたデジタル画像から前記人物の服装部分に相当する服装画像領域を切り出す服装画像領域切り出し部と、前記切り出された服装画像領域の階調データと前記特定の階調データとが略一致するか否かを判定する一致判定部と、前記一致判定部により前記特定の階調データと略一致すると判定された服装画像領域を有するデジタル画像を、前記複数のデジタル画像から抽出するデジタル画像抽出部と、を備えたことを要旨とする。

この構成によれば、抽出した顔画像領域に基づいて、デジタル画像から人物の服装部分に相当する服装画像領域を切り出す。そして、切り出された服装画像領域を構成する画素の階調データ（以降、単に「服装画像領域の階調データ」）が、設定された特定の階調データと略一致するデジタル画像を抽出する。ここで、服装画像領域の階調データが、設定された特定の階調データと略一致するとは、それぞれの階調データ同士が完全に一致する場合だけでなく、それぞれの階調データの差が、所定の閾値以内である場合も含む。

ところで、特定のイベントにおいて人物が着ている服は凡そ決まった服である場合が多い。例えば、結婚式では、モーニングなどの礼服を通常着用する。また、観光旅行では、旅行者は通常お気に入りの服を着用する。また、登山では、専用の登山服を着用する。従って、言い換えれば、人物が着用した服を特定することによって、デジタル画像が撮影されたイベントを特定することができる。すなわち、着ている服によって、ユーザーが所望するイベントにおいて人物が写っているデジタル画像を特定することができる。

また、特定の季節において人物が着ている服も凡そ決まった服である場合が多い。例えば、夏の季節では、他の季節に比べて暑さを防ぐために白い色の服を着用することが多い。逆に、冬の季節では、コートなどの決まった防寒服を着用することが多い。従って、人物が着用した服を特定することによって、デジタル画像が撮影された季節を特定することができる。つまり、ユーザーが所望する季節において人物が写っているデジタル画像を、着ている服によって特定することができる。

また、特定の服を着ている人物が写っているデジタル画像の場合は、着ている服そのものによって、ユーザーが所望するデジタル画像を特定することができる。

そこで、この着用した服の撮影画像を構成する画素の階調データを、特定の階調データとして設定し、服装に相当する部分である服装画像領域の階調データと比較する。比較の結果、服装画像領域の階調データが、設定された特定の階調データと一致したデジタル画像は、抽出の対象となるイベントや季節において人物が写っているデジタル画像であり、特定の服を着ている人物が写っているデジタル画像である。この結果、特定のイベントにおいて人物が写っているデジタル画像や、特定の季節において人物が写っているデジタル画像、また特定の服を着ている人物が写っているデジタル画像を、大量のデジタル画像から精度良く抽出できることになる。

ここで、前記服装画像領域切り出し部は、前記抽出された顔画像領域について、当該顔画像領域が抽出されたデジタル画像を基準にして顔の向きと顔の大きさとを算出し、当該算出結果に応じて予め定められた画像領域を前記服装画像領域として、前記顔画像領域が抽出されたデジタル画像から切り出すことが好ましい。

一般的な撮影画像においては、人物は逆立ち姿勢や身体を水平状態にして撮影されることは殆どないことから、人物の胴体部分は頭の下側に位置すると考えてよい。従って、胴体は、撮影画面における顔の中心線の方向であって、撮影画面の下側の方向に位置するので、顔の向きと顔の大きさとから、胴体の部分をほぼ特定することができる。そこで、撮影されたデジタル画像を基準にして顔の向きと顔の大きさとを算出し、この算出結果に応じて予め定められた画像領域をデジタル画像から切り出せば、切り出された画像領域の部分は、特定の服装部分に相当する画像領域となる確率が高くなる。この結果、切り出した画像領域の階調データが特定の階調データと一致するデジタル画像を抽出すれば、抽出されたデジタル画像は、ユーザーが所望するデジタル画像である確率がさらに高くなる。

また、前記特定階調データ設定部は、所定の表色系で定められる色に対応する階調データを、前記特定の階調データとして設定することとしてもよい。

こうすれば、特定の階調データを色を表すデータとして設定するので、例えば礼服であれば黒色というように、色によって服装が特定できる場合、色を表す階調データによって容易に服装を特定することができる。

また、前記特定階調データ設定部は、前記服装画像領域を構成する総ての画素に対応して、前記特定の階調データを設定することとしてもよい。

例えば特定のイベントに着ていた服が、白地に青色の縦縞模様が入った服であった場合、白色を表す階調データと青色を表す階調データとを、服装画像領域を構成する総ての画素に対応して設定する。すなわち、服装画像領域の画像が白地に青色の縦縞模様として設定される。こうすれば、より詳細に服装を特定することができるので、特定のイベントにおいて人物が写っているデジタル画像を、服装を示す階調データによってさらに精度よく抽出することができる。

また、本発明を画像処理方法として捉えることもできる。すなわち、複数のデジタル画像を記憶するデジタル画像記憶工程と、特定の階調データを設定する特定階調データ設定工程と、前記記憶された複数のデジタル画像から人物の顔画像領域を抽出する顔画像領域抽出工程と、前記抽出した顔画像領域に基づいて、前記顔画像領域が抽出されたデジタル画像から前記人物の服装部分に相当する服装画像領域を切り出す服装画像領域切り出し工程と、前記切り出された服装画像領域の階調データと前記特定の階調データとが略一致するか否かを判定する一致判定工程と、前記一致判定工程により前記特定の階調データと略一致すると判定された服装画像領域を有するデジタル画像を、前記複数のデジタル画像から抽出するデジタル画像抽出工程と、を備えたことを要旨とする。

本発明の画像処理方法によれば、上述した本発明の画像処理装置と同様の作用効果を得ることができる。なお、この画像処理方法は、上述した種々の態様を有する画像処理装置において実行してもよいし、他の態様を有する画像処理装置において実行してもよい。また、上述した画像処理装置の機能を実現するような工程を追加してもよい。

さらに、本発明をコンピュータプログラムとして捉えることもできる。すなわち、複数のデジタル画像を記憶するデジタル画像記憶機能と、特定の階調データを設定する特定階調データ設定機能と、前記記憶された複数のデジタル画像から人物の顔画像領域を抽出する顔画像領域抽出機能と、前記抽出した顔画像領域に基づいて、前記顔画像領域が抽出されたデジタル画像から前記人物の服装部分に相当する服装画像領域を切り出す服装画像領域切り出し機能と、前記切り出された服装画像領域の階調データと前記特定の階調データとが略一致するか否かを判定する一致判定機能と、前記一致判定機能により前記特定の階調データと略一致すると判定された服装画像領域を有するデジタル画像を、前記複数のデジタル画像から抽出するデジタル画像抽出機能と、をコンピュータに実現させることを要旨とする。

このプログラムが所定のオペレーションシステム上で実行されることによって、上述した画像処理方法が実行され、同じく上述した本発明の画像処理装置と同様の作用効果を得ることができる。このプログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよいし、インターネットなどの伝送媒体を介してコンピュータに授受されるものでもよい。

次に、本発明の実施の形態を実施例に基づいて説明する。図１は本発明の一実施例としての画像処理装置１００の構成を示す説明図である。本実施例の画像処理装置１００は、基本的に、所定のオペレーティングシステムの下で、所定のアプリケーションプログラムを実行する汎用のパーソナルコンピュータである。こうしたコンピュータとしては、本実施例のような汎用のパーソナルコンピュータはもとより、サーバや大型コンピュータなどアプリケーションプログラムが動作するコンピュータであれば、いずれのコンピュータでも用いることができる。

このパーソナルコンピュータには、動画像や静止画像などのデジタル画像を供給するための供給機器としてのデジタルビデオカメラ１４０、ＣＤ−ＲＯＭ（ＤＶＤ−ＲＯＭ）ドライブ１５０、デジタルカメラ１６０、スキャナ１７０が接続されている。また、パーソナルコンピュータを操作するユーザー（以降、単に「ユーザー」と呼ぶ）が、必要な操作入力を行うための入力機器としてのキーボード１３１およびマウス１３２が接続されている。また、画像処理に際して必要な画像を表示するための表示機器としてのモニター１３０が接続されている。なお、デジタル画像の供給機器としては、図１に示したものの他に、ＵＳＢメモリやカード型のメモリなどであってもよい。

パーソナルコンピュータは、画像処理のための演算処理を実行するＣＰＵ１１０と、その処理プログラムなどを記憶するＲＯＭ１１１と、デジタル画像を構成する画素の階調データなどを一時的に保存するＲＡＭ１１２と、画像処理のために複数のデジタル画像などを格納するハードディスク（ＨＤ）１１３と、各供給機器との間のインターフェイスを司るＩ／Ｆ１２０と、各入力機器および表示機器との間のインターフェイスを司るＩ／Ｆ１２１とを備えている。それらは、バスライン１１５を介して必要なデータが授受されるように結線されている。

従って、ＣＰＵ１１０が、ＲＯＭ１１１に格納された画像処理プログラムを読み出して実行することによって、請求項に記載したデジタル画像記憶部１００ａ、特定階調データ設定部１００ｂ、顔画像領域抽出部１００ｃ、服装画像領域切り出し部１００ｄ、一致判定部１００ｅ、デジタル画像抽出部１００ｆとして機能する。各部は、主として以下の処理を司る。

デジタル画像記憶部１００ａは、Ｉ／Ｆ１２０を介して各供給機器から供給されるデジタル画像を、ハードディスク１１３に縦横がそれぞれ所定の画素数で構成されるデジタル画像として格納する。特定階調データ設定部１００ｂは、ユーザーが所望するデジタル画像を抽出するために、特定の階調データを設定する。顔画像領域抽出部１００ｃは、格納されたデジタル画像から人物の顔の画像領域を抽出する。服装画像領域切り出し部１００ｄは、抽出された顔画像領域について、顔の向きと顔の大きさを解析し、顔の向きと顔の大きさに基づいて定まる服装部分の画像領域を、服装画像領域としてデジタル画像から切り出す。一致判定部１００ｅは、切り出された服装画像領域を構成する画素の階調データと、設定された特定の階調データとを比較し、一致しているか否かを判定する。デジタル画像抽出部１００ｆは、服装画像領域を構成する画素の階調データが、特定の階調データと一致していると判定されたとき、一致していると判定された服装画像領域が切り出されたデジタル画像を、特定デジタル画像として抽出する。

次に、以上の機能構成部を有する画像処理装置１００が行う画像処理について、図２のフローチャートに従って説明する。

この処理が開始されると、まずステップＳ２０１にて、複数のデジタル画像を記憶する処理を行う。ＣＰＵ１１０は、Ｉ／Ｆ１２０を介して各供給機器から供給されるデジタル画像を、ハードディスク１１３に、縦横がそれぞれ所定の画素数で構成されるデジタル画像として格納する。なお本実施例では、供給されるデジタル画像について必要に応じて、ニアレストネイバ法などといった周知の画像補間処理技術を用いて画素数変換処理を行い、短辺の画素数が９６０個、長辺の画素数が１２８０個の矩形のデジタル画像として格納する。もとより、画素数変換を行わず、供給されるデジタル画像における画素数のままで格納することとしても差し支えない。また、変換後の画素数も、特に縦９６０画素、横１２８０画素に限るものでないことは勿論である。

次に、ステップＳ２０２にて、服装の画像の取り込み処理を行う。本実施例では、ユーザーが所望するイベントのデジタル画像は、登山の時に人物を撮影したデジタル画像であるものとする。従って、登山時に着用した服装の画像を、前述したデジタル画像の供給機器や入力機器から取り込む。

取り込み方法は、本実施例では、デジタルカメラ１６０から、Ｉ／Ｆ１２０を介してＲＡＭ１１２の所定の記録エリアに格納することによって、服装の画像を取り込むものとする。ここで、取り込みの様子について、図３を用いて説明する。

図３に示したように、まずユーザーは、登山を特定する服装として、登山時にいつも着用する縦縞が入ったセーターをデジタルカメラ１６０で撮影する。このとき、ユーザーは、後述するステップＳ２０８の処理において切り出される服装画像領域と凡そ同じ位置と大きさとなるセーターの部分を撮影する。その後、デジタルカメラ１６０を、パーソナルコンピュータに接続することによって、登山で着ていたセーターの撮影画像（図中、吹き出し部）が、デジタルカメラ１６０からＩ／Ｆ１２０を介してパーソナルコンピュータに入力される。

本実施例では、デジタルカメラの撮影画像の画素数は、縦が９６０画素、横が１２８０画素（縦横比３対４）であるものとする。従って、特定の階調データとして、図３下側に示したように、縦９６０画素、横１２８０画素の合計１，２２８，８００画素についての階調データがＲＡＭ１１２に格納される。また、本実施例においては、格納される階調データはＲ（赤）Ｇ（緑）Ｂ（青）それぞれ８ビットで表された階調データであるものとする。従って、１つの画素ごとに、Ｒ，Ｇ、Ｂそれぞれ２５６階調で表された階調データが格納される。

なお、ステップＳ２０２において、ＣＰＵ１１０は、モニター１３０（図１参照）に、デジタル画像から切り出す服装画像領域の位置と大きさを、顔の位置を基準に規定した切り出しテンプレート（後述する）を表示することとしてもよい。こうすれば、ユーザーはモニター１３０に表示された服装画像領域の位置と大きさを見ながら、切り出される服装画像領域と凡そ同じ位置と大きさに対応する服の部分を撮影することが容易となる。

図２に戻り、次にステップＳ２０３にて、取り込んだ服装の画像から、特定の階調データを設定する。本実施例では、ステップＳ２０２にてＲＡＭ１１２に取り込んだ撮影画像全体を構成する総ての画素の階調データを、特定の階調データとして設定する。これは、縦縞が入ったセーターを特定するためには、服装の模様を比較する必要があるからである。

次に、ステップＳ２０５にて、デジタル画像の１つを読み出す処理を行う。ＣＰＵ１１０は、ハードディスク１１３に格納された複数のデジタル画像から、所定の順序に従って１つのデジタル画像を構成する画素の階調データを、ＲＡＭ１１２の所定のワーキングエリアに読み出す。

次に、ステップＳ２０６にて、顔画像領域を抽出する処理を行う。本実施例では、Ｈ（色相），Ｓ（彩度），Ｖ（明度）表色系の肌色を示す画素を抽出するという周知の顔画像領域抽出技術を用いる。「肌色」は、ＨＳＶ表色系の色相環において、特定の角度の範囲として特定され、その角度の範囲に対応するＲ，Ｇ，Ｂの階調データを有する画素を抽出することで、顔画像を抽出することができる。

具体的には、ＣＰＵ１１０は、ＲＡＭ１１２の所定のワーキングエリアに読み出され、デジタル画像を構成する各画素のＲ，Ｇ，Ｂの階調データから、所定の演算式によって色相データを算出し、色相環の肌色の範囲に相当する色相データを有する画素を抽出する。ちなみに、「Ｒ，Ｇ，Ｂ」データから色相（Ｈ）データへの変換は、Ｈ＝１．７３２（Ｒ−Ｂ）／（２Ｒ−Ｇ−Ｂ）で行うことができる。ここでＲ，Ｇ，Ｂはそれぞれ２５６階調で表した階調データである。

そして、次のステップＳ２０７にて、顔の向きと顔の大きさとを算出する処理を行う。ＣＰＵ１１０は、まず、抽出した肌色部分を構成する画像領域において、人物の目に相当する画素を判定する。本実施例では、周囲が肌色に囲まれた部分の画素を、目と判定する。もとより、目を判定する方法として、例えば瞳を検出する方法など周知の検出技術を用いて、目を判定することとしてもよい。

ところで、一般に撮影時においては、人物は撮影カメラに対して正対する場合が多い。従って、撮影画像に写っている人物は、凡そ正面を向いていることが多いので、判定される「目」を表す画素は、通常右目と左目の２つが判定される。そこで、ＣＰＵ１１０は、判定された２つの「目」を示す画素の位置から、デジタル画像における顔画像の方向を算出する。さらに、ＣＰＵ１１０は、抽出された肌色部分を構成する画像領域の大きさを算出する。本実施例では、顔画像の幅に相当する画素数を、顔画像の方向に基づいて算出する。

上述したステップＳ２０６およびステップＳ２０７における処理について、その様子を図４を用いて補足説明する。図４（ａ）は、ＲＡＭ１１２に読み込んだ１つのデジタル画像を示したもので、縦縞が入った登山用のセーターを着ている人物が写っているデジタル画像である。

図４（ａ）において、デジタル画像は、前述したようにＸ方向（図面左右方向）に１２８０個、Ｙ方向（図面上下方向）に９６０個それぞれ画素が存在することから、デジタル画像の画面左上隅に位置する画素の座標を（１，１）と表すと、デジタル画像の画面右下隅に位置する画素の座標は（１２８０，９６０）と表される。そして、このデジタル画像から、ステップＳ２０６にて抽出された顔画像を図４（ｂ）に示した。顔画像は図４（ｂ）の網掛け部分に示したように抽出され、抽出された顔画像を構成する画素は、図４（ｂ）に網掛け部分で示した画像領域に含まれる総ての画素となる。この顔画像に含まれる画素の座標を（Ｘｎ，Ｙｎ）と表すことにする。

次に、図４（ｂ）に示したように、顔画像領域が抽出されたデジタル画像において、座標（Ｘｎ，Ｙｎ）によって囲まれた画素部分（図面白抜きの画素部分）が２つ存在することになる。この２つの画素部分は左右の目と考えてよい。そこで、まず、この２つの目に相当する画素部分のそれぞれ中心を通る線ＩＬを算出する。そして、線ＩＬと直交し、２つの目に相当する画素部分の中間に位置する線ＫＣを算出する。算出した線ＫＣの傾き方向が、顔の向きを示すことになる。

また、算出された線ＫＣと平行な方向において、顔画像を構成する座標（Ｘｎ，Ｙｎ）の画素のうち、線ＫＣの両側であって最も外側に位置する画素を調べ、その画素間の距離を顔の大きさＫＷＤとして算出する。もとより、顔の大きさＫＷＤは画素数として算出され、線ＫＣがＹ軸と平行である場合は、Ｘ軸の座標の差分となる画素数が算出される。また、線ＫＣがＹ軸と平行でない場合は、Ｘ軸方向の画素数とＹ軸方向の画素数との平方根となる画素数が算出される。なお、本実施例では、図４に示したように、線ＩＬはＸ軸と平行であり、線ＫＣはＹ軸と平行であるものとしている。従って、本実施例では、顔の大きさＫＷＤは座標Ｘｎの最大と最小の差分となる画素数として算出される。

図２に戻り、次のステップＳ２０８にて服装画像領域を切り出す処理を行う。本実施例では、顔の位置を基準に服装画像領域の位置と大きさとを規定した切り出しテンプレートが、予めＲＯＭ１１１に格納され、この切り出しテンプレートに基づいて服装画像領域を切り出す。この処理の様子を、図５と図６とを用いて説明する。

図５は、ＲＯＭ１１１に格納された切り出しテンプレートの１つを示したもので、セーターやシャツなどといった人物の胴体の上半身に着用する服装を特定する場合における服装画像領域の位置を、顔を基準にして規定したものである。具体的には、切り出しテンプレートには、顔画像の目の位置と顔の大きさとを基準として、服装画像領域の中心位置と縦横の大きさとが規定されている。すなわち、２つの目の中間線上であって、目の位置からの距離を示すオフセット量ＯＳと、服装画像領域の縦の大きさＷｙと横の大きさＷｘとが、顔画像の大きさＫＷに対して規定されている。なお、本実施例では、オフセット量ＯＳおよび大きさＷｙ，Ｗｘは、画素数で規定されている。また、ＷｙとＷｘとの比は、Ｗｙ：Ｗｘ＝３：４に設定されている。もとより、オフセット量ＯＳと大きさＷｙ，Ｗｘは、顔画像の大きさＫＷに対する比率を示す数値であれば、画素数以外の単位を用いて規定されていても差し支えない。

ＣＰＵ１１０は、この切り出しテンプレートに基づいて、ステップＳ２０７にて算出した顔の大きさＫＷＤと、切り出しテンプレートの顔画像の大きさＫＷに対する比率ＲＴを求め、この比率ＲＴをオフセット量ＯＳおよび大きさＷｙ，Ｗｘに乗算して、デジタル画像から切り出すべき服装画像領域の位置と大きさとを求める。そして、求めた位置と大きさとに従って、服装画像領域に相当する画像領域をデジタル画像から切り出すのである。

図６は、読み込んだデジタル画像から、切り出しテンプレートによって求めた服装画像領域の部分を切り出す様子を示した模式図である。図示するように、線ＫＣ上であって、線ＩＬからのオフセット量ＲＴ×ＯＳの位置を中心とする縦ＲＴ×Ｗｙ，横ＲＴ×Ｗｘの矩形領域（図中、網掛け部）が、服装画像領域として切り出される領域になる。従って、服装画像領域によって、登山で着ている縦縞が入ったセーターの画像部分が切り出されることになる。

その後、ＣＰＵ１１０は切り出した服装画像領域における総ての画素について、階調データをＲＡＭ１１２に設けられた所定のメモリ領域に格納する。このとき、図６下側に示したように、格納される階調データは、横方向はＲＴ×Ｗｘの画素数分についての階調データであり、縦方向はＲＴ×Ｗｙの画素数分についての階調データである。

図２に戻り、次にステップＳ２０９にて、服装画像領域の画素の階調データと、特定の階調データとを比較処理する。ＣＰＵ１１０は、ＲＡＭ１１２のそれぞれの所定のメモリ領域に格納した服装画像領域における総ての画素の階調データと特定の階調データとを比較する。

さて、本実施例における特定の階調データは、図３にて説明したように、横が１２８０画素、縦が９６０画素の階調データとして設定されている。一方、切り出された服装画像領域は、図６にて説明したように、横が１２８０画素よりも少ないＲＴ×Ｗｘの画素数分の階調データであり、縦が９６０画素よりも少ないＲＴ×Ｗｙの画素数分の階調データが格納されている。従って、特定の階調データと服装画像領域の画素の階調データとは、画素数が異なることから、画素ごとに階調データを１対１で比較することはできないことになる。

そこで、本実施例では、ステップＳ２０９での処理に際して、ＣＰＵ１１０は特定の階調データを、服装画像領域の画素数である縦ＲＴ×Ｗｙ，横ＲＴ×Ｗｘの画素数で構成される縮小画像に変換する。このような変換は、画像の補間処理によって行うことができる。例えば、ニアレストネイバ法などの周知の画素の補間処理方法を用いればよい。本実施例では、このような画素の補間処理によって縮小画像に変換する。

このように画素数を変換することによって、特定の階調データは、服装画像領域の画素の階調データと１対１で対応するように設定することができる。この結果、ステップＳ２０９にて、これらの階調データを１対１で比較することができるようになる。

そして、次のステップＳ２１０にて、これらの階調データが一致するか否かを判定処理する。ＣＰＵ１１０は、１つの画素について２つの階調データが同じであるか、つまりＲ，Ｇ，Ｂのそれぞれの階調値の差が所定の閾値以内であるか否かを調べる。ここで、本実施例では、所定の閾値は、人間の目にとって色が同一であると感じられるＲ，Ｇ，Ｂの階調データの取り得る範囲に基づいて定められたものとする。そして、各画素についての階調データを比較し、階調データの差が閾値以内である画素の合計が、比較する総ての画素数に対して所定の割合以上（例えば半数以上）であれば一致していると判定する。もとより、一致しているか否かの判定については、閾値以内の画素数の割合以外に、総ての階調データの差分合計が所定の閾値以内であるか否かによって判定するなど、他の判定方法を用いても良い。

ステップＳ２１０にて一致すると判定されると（ＹＥＳ）、次にステップＳ２１１にて、読み出したデジタル画像を特定デジタル画像として抽出処理を行い、ステップＳ２１５に進む。ＣＰＵ１１０は、ハードディスク１１３に格納された抽出対象のデジタル画像に識別処理（例えば、ラベリング処理）を行う。あるいは、ハードディスク１１３もしくはＲＡＭ１１２にファイルエリアを設定して、抽出対象の特定デジタル画像をこのファイルエリアに格納することによって抽出することとしてもよい。なお、抽出された特定デジタル画像は、Ｉ／Ｆ１２１を介してモニター１３０に表示されることとしてもよい。

一方、ステップＳ２１０にて一致しないと判定されると（ＮＯ）、読み出したデジタル画像は特定デジタル画像ではないので、何もしないでそのままステップＳ２１５に進む。

そして、ステップＳ２１５にて、ハードディスク１１３に格納された残りのデジタル画像は存在するか否かを判定処理し、存在すれば（ＹＥＳ）ステップＳ２０５に戻って、次のデジタル画像を１つ読み出す処理を行う。そして、前述したようにステップＳ２０６からステップＳ２１１までの処理を繰り返す。その後、残りのデジタル画像が存在しなくなったら（ステップＳ２１５：ＮＯ）、本実施例における画像処理を終了する。

上述したように、本実施例によれば、着用したセーターに対応する画像を構成する画素の階調データを、特定の階調データとして設定する。一方、セーターに相当する部分の画像領域を、服装画像領域としてデジタル画像から切り出す。そして、服装画像領域の画素の階調データが、設定された特定の階調データと一致したデジタル画像は、抽出の対象となる登山において人物が写っているデジタル画像である。この結果、登山という特定のイベントにおいて人物が写っているデジタル画像を、大量のデジタル画像から精度良く抽出できるのである。

以上、本発明の実施の形態について実施例により説明したが、本発明はこうした実施例に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。以下、変形例を挙げて説明する。

（第１変形例）
本実施例では、読み込んだデジタル画像に写っている人物の顔の向き（線ＫＣ）がＹ軸と平行な方向であるものとしたが、実際には顔の向きがＹ軸に対して角度θ分傾いている場合も多々存在する。このような場合、切り出される服装画像領域も、Ｙ軸に対して角度θ分傾くことになる。この結果、服装画像領域を構成する画素の並び方向は、画面に対して斜めになってしまう。一方、図３に示したように、特定の階調データは、服装画像領域における画素の配列が画面の縦横方向であるものとして設定されている。従って、このままでは、画素の配列が異なることから、画素ごとに２つの階調データを比較することが困難である。そこで、本変形例では、服装画像領域における画素の配列を、一致判定処理（ステップＳ２１０）に先んじて、服装画像領域と同じ縦と横の配列方向にすることで、階調データの比較が行えるようにする。

本変形例を図７を用いて説明する。図７は、読み込んだデジタル画像に、顔の方向がＹ軸に対して時計周りの方向に角度θ傾いた人物が写っている状態を示している。このようなデジタル画像の場合、切り出しテンプレートに従って切り出される服装画像領域は、図中網掛け部で示したように、画素の配列方向（Ｘ軸，Ｙ軸）に対して斜めに切り出される。この結果、図面中央に示したように、服装画像領域の階調データは、服装画像領域の画面の縦（Ｙ１方向）と横（Ｘ１方向）に対して斜めの画素配列を有した状態になる。

そこで、角度θ分傾いたＸ１，Ｙ１方向を改めてＸ軸，Ｙ軸に置き換え、この置き換えたＸ軸方向とＹ軸方向にそれぞれ画素数ＲＴ×Ｗｘ，ＲＴ×Ｗｙ分の画素を補間処理によって生成する。画素の補間処理は、前述したニアレストネイバ法など周知の補間処理技術を用いて行えばよい。この結果、切り出された服装画像領域は、画素の補間処理によって等価的に画像回転が行われ、画面に対して縦横方向に配列された画素となる。従って、図７下側に示したように、ＲＡＭ１１２に格納される階調データは、特定の階調データと同じ配列方向を有する画素の階調データとなる。

（第２変形例）
上記実施例において使用した服装画像領域の切り出し位置を規定する切り出しテンプレートは、人物がほぼ正面を向いている状態に対応するものとしたが、人物が正面ではなく横向きの場合に対応した切り出しテンプレートとしてもよい。この切り出しテンプレートについて、図８を用いて説明する。

図８は、顔を横（図面右方向）に向けた人物を想定して規定した切り出しテンプレートを示した図である。図示するように、顔が横を向いていることによって２つの目の中間となる線ＫＣＤは、顔の中心を示す線ＫＣに対して、距離Ｄだけずれる。このとき、一般的に、人物の胴体の向きも、顔の向きにつれて横を向くと考えてよいので、破線で示した正面を向いているときの胴体に対して、実線で示したように図面左右方向が縮んだ胴体になる。そこで、切り出す服装画像領域の横の画素数を、正面を向いているときの画素数Ｗｘに相当する画素数ＷｘＤとする。つまり、画素数ＷｘＤは、距離Ｄがゼロのとき画素数Ｗｘと等しくなるように、距離Ｄに応じて決められた値である。

このように規定した切り出しテンプレートによって切り出された服装画像領域の画像は、胴体が横を向くことに伴って横の画素数が少なくなる。従って、特定の階調データと比較する際には、横方向の画像を拡大する必要がある。つまり、横の画素数をＷｘＤからＷｘに増やす処理を行う。こうすることによって、縦の画素数に対する横の画素数の比率を、図３にて説明した特定の階調データの比率と同じにできるので、２つの階調データの比較が可能となる。画像の拡大は、画素の補間処理によって行う。もとより、バイ・リニア法などの周知の画素の補間処理技術を用いて行えばよい。

ところで、例えば人物がほぼ真横を向いている場合は、１つの目のみが判定されることになる。このような場合は、図８において、この１つの目の位置が線ＫＣＤの位置であるものとして、対応する切り出しテンプレートを用いることとすればよい。

（第３変形例）
上記実施例では、登山時に着用していたセーターを一例として、上半身に着用する服装に対応して規定された切り出しテンプレートを、１つの切り出しテンプレートとして用いたが、もとより、これ以外の切り出しテンプレートを用いることとしてもよい。

図９（ａ）〜（ｄ）に、セーター以外の服装に対応する種々の切り出しテンプレートを例示した。例えば、上記実施例では、セーターの縦縞模様の部分を服装画像領域とし、上半身のほぼ中央に位置する部分を切り出すための切り出しテンプレートを用いたが、例えば、特定のイベントで着用していた上着には、左胸に特徴のある図形マークが施されていた場合、この図形マーク部分を服装画像領域とすることが好ましい。このような場合は、図９（ａ）に示した服装画像領域を規定した切り出しテンプレートを用いる。この切り出しテンプレートには、左胸に施される図形マークの一般的な位置を包含するように、顔の中心線ＫＣからのオフセット量ＯＳｘと、目に位置を示す線ＩＬからのオフセット量ＯＳｙと、服装画像領域の横の大きさＷｘ，縦の大きさＷｙとが規定されている。

また、特定のイベントで着用していた上着が、例えば背広やブレザーのように、腹部の部分に服装部分が存在する確率が低いような場合、着用時ほぼ服装部分が存在する確率が高い肩の部分を服装画像領域とすることが好ましい。このような場合は、図９（ｂ）に示した服装画像領域を規定した切り出しテンプレートを用いる。

あるいは、セーターや背広といった上半身の胴体に着用した服装ではなく、帽子などといった頭部にかぶる服装部分によってイベントを特定できる場合、図９（ｃ）に示した服装画像領域を規定した切り出しテンプレートを用いることが好ましい。あるいは、ズボンやスカートなどといった下半身に着用する服装部分によってイベントを特定できる場合、図９（ｄ）に示した服装画像領域を規定した切り出しテンプレートを用いることが好ましい。

なお、本変形例においては、図２のステップＳ２０２における処理に際して、ユーザーが、最適な切り出しテンプレートを選択する。具体的には、ステップＳ２０２での処理に際して、ＣＰＵ１１０がＲＯＭ１１１に格納された各切り出しテンプレートをモニター１３０に一覧表示させ、ユーザーがマウス１３２やキーボード１３１を操作して、用いる切り出しテンプレートを選択する。その後、ここで選択された切り出しテンプレートに従って、ステップＳ２０８において服装画像領域が切り出されるのである。

このように、各切り出しテンプレートの中から、イベントを特定できる服装部分に応じて、最適な服装画像領域が規定された切り出しテンプレートを用いるので、特定のイベントにおいて人物が写ったデジタル画像を精度良く抽出することが可能となる。

さらに、切り出しテンプレートが規定する服装画像領域の位置と大きさとを、ユーザーがマウス１３２によるドラッグ操作などによって変更できるようにしてもよい。こうすれば、イベントを特定する服装部分において、特徴ある部分が確実に含まれるように服装画像領域を調整できるので、特定のイベントにおいて人物が写ったデジタル画像を、さらに精度良く抽出することが可能となる。

（第４変形例）
上記実施例では、一致判定のために、服装画像領域を構成する画素の階調データと１対１で比較できるように、特定の階調データについて画素の補間処理を行って階調データを変換処理したが、変換処理を行わずに一致判定することとしてもよい。

本変形例では、一致判定の方法として、服装画像領域を構成する画素総ての階調データのヒストグラムと、特定の階調データのヒストグラムとを比較することによって、２つの階調データが一致するか否かを判定する方法を用いる。こうすれば、画素が１対１でなくても一致判定を行うことができる。

例えば、上記実施例のように、白色の地に青色の縦縞模様が入ったセーターの場合、このような縦縞模様を撮影した画像のヒストグラムは、Ｒ，Ｇ，Ｂの階調値が白色と青色に相当する階調値の出現頻度が高いヒストグラムとなり、他の画像におけるヒスグラムとは異なるヒストグラムを呈することになる。また、服装画像の画素の階調データのヒストグラム、および特定の階調データのヒストグラムは、Ｒ，Ｇ，Ｂの階調値が白色と青色に相当する階調値の出現頻度が同じ形のヒストグラムとなる。従って、ヒストグラムの比較によって、２つの階調データが一致するか否かを判定することができるので、特定の階調データについて画素の補間処理を行って階調データを変換処理する必要はない。

また、図３においてユーザーがセーターをデジタルカメラ１６０で撮影したとき、撮影した画像が、切り出される服装画像領域に対して位置と大きさとが同じでなく、画素の階調データを１対１で比較することが困難な場合がある。このような場合でも、階調値のヒストグラムによって２つの階調データの比較を行えば、２つの階調データが一致するか否かを判定することができる。

（その他の変形例）
上記実施例では、セーターの縦縞模様のように、所定の画像領域についての一致を判定するため、服装画像領域に対応する総ての画素について特定の階調データを設定したが、１つの画素について特定の階調データを設定することとしてもよい。例えば、前述したような礼服であれば黒色で特定できるように、服装の模様を比較することなく色のみで服装が特定できる場合は、取り込んだ撮影画像全体を構成する総ての画素の階調データを、特定の階調データとして設定する必要はない。このような場合は、１つの画素の階調データを特定の階調データとして設定しても差し支えない。また、このような場合は、一致判定処理において、特定の階調データについて画素の補間処理による階調データの変換処理を行うことなく、服装画像領域を構成する画素の階調データと特定の階調データとを１対１で比較することが可能である。

また、上記実施例では、服装の画像の取り込み方法は、デジタルカメラ１６０によって服を撮影した撮影画像を取り込む方法としたが、これ以外の方法であってもよい。例えば、スキャナ１７０によって読み取った服装の画像を取り込む方法としてもよいし、デジタルビデオカメラ１４０で服装を撮影したフレーム画像を取り込む方法としてもよい。あるいは、モニター１３０に、服装画像領域に対応する複数の画素とカラーマップとを表示し、登山時に着用していた服と同一の色や柄になるように、キーボード１３１やマウス１３２を用いて、表示された画素ごとにユーザーがカラーマップから色を選択することによって、パーソナルコンピュータに服装の画像を取り込む方法としてもよい。あるいは、キーボード１３１を操作して、階調データとなる数値を直接ユーザーがパーソナルコンピュータに入力することによって、服装の画像を取り込む方法としてもよい。もしくは、記憶したデジタル画像など既存のデジタル画像をモニター１３０に表示し、表示されたデジタル画像の一部を、キーボード１３１やマウス１３２を操作して指定することにより、服装の画像を取り込む方法としてもよい。

また、服装の画像を取り込む方法として、カラーマップから色を選択する場合や、階調データとなる数値をパーソナルコンピュータに入力する場合、直接色を示す顕色系である前述のＨＳＶ表色系で定められる色を選択したり、その色に対応する階調データ入力したりすることとしてもよい。こうすれば、ユーザーは、服装の色と同じ色を選択すればよいことから、選択作業が容易となる。また、色を表すデータを入力するので、服装の色を表す階調データを正しく入力することができる。もとより、表色系は、ＲＧＢ表色係やＸＹＺ表色系など、他の表色系であっても差し支えない。

また、上記実施例では、特定の階調データと服装画像領域の階調データとの一致判定処理を１回行って、特定のイベントにおいて人物が写ったデジタル画像を抽出することとしたが、抽出されたデジタル画像について、さらに異なる服装画像領域について特定の階調データとの一致判定を行うこととしてもよい。つまり、複数の服装部分によってイベントを特定できるような場合、このように、複数の服装部分に応じて複数の服装画像領域の階調データと、複数の服装部分を示す特定の階調データとを比較することによって、精度良くユーザーが所望するデジタル画像を抽出することができる。

また、上記実施例では、デジタル画像に写っている人物が１人であるものとして説明したが、人物が２人以上写っている場合においても、本発明を適用できることは勿論である。この場合、写っている人数分の顔画像領域が抽出されるので、抽出された総ての顔画像領域について、図２に示したステップＳ２０６からステップＳ２１１までの処理を繰り返して行えばよい。

また、本実施例における画像処理装置１００は、汎用のパーソナルコンピュータで構成するようにしたが、本発明はこれに限定されるものでなく、モバイルコンピュータやワークステーションなどで構成するようにしてもよい。あるいは、コンピュータとしての機能を有するデジタルカメラやデジタルビデオカメラ、プリンタ、プロジェクタ、携帯電話、デジタルテレビなど種々の機器において本発明の画像処理装置を構成するようにしてもよい。

本発明の一実施例としての画像処理装置についての構成説明図。 実施例の画像処理装置が行う処理を説明するフローチャート。 特定の階調データを設定する服装の画像を取り込む様子を示す説明図。 （ａ）は、読み込んだデジタル画像の１つを示す説明図。（ｂ）は、顔画像領域の抽出処理と顔の向きと大きさの算出処理を説明する説明図。 切り出しテンプレートの１つを示すテンプレート図。 読み込んだデジタル画像から服装画像領域を切り出す様子を示す模式図。 人物が傾いている場合に、服装画像領域を切り出す様子を示す模式図。 横を向いている人物に対応した切り出しテンプレートを示す説明図。 （ａ）〜（ｄ）は、イベントを特定する服装部分に応じた切り出しテンプレートを示す図。

符号の説明

１００…画像処理装置、１００ａ…デジタル画像記憶部、１００ｂ…特定階調データ設定部、１００ｃ…顔画像領域抽出部、１００ｄ…服装画像領域切り出し部、１００ｅ…一致判定部、１００ｆ…デジタル画像抽出部、１１０…ＣＰＵ、１１１…ＲＯＭ、１１２…ＲＡＭ、１１３…ハードディスク、１１５…バスライン、１２０…Ｉ／Ｆ、１２１…Ｉ／Ｆ、１３０…モニター、１３１…キーボード、１３２…マウス、１４０…デジタルビデオカメラ、１５０…ＣＤ−ＲＯＭドライブ、１６０…デジタルカメラ、１７０…スキャナ。

Claims (6)

1. 複数のデジタル画像を記憶するデジタル画像記憶部と、
   特定の階調データを設定する特定階調データ設定部と、
   前記記憶された複数のデジタル画像から人物の顔画像領域を抽出する顔画像領域抽出部と、
   前記抽出した顔画像領域に基づいて、前記顔画像領域が抽出されたデジタル画像から前記人物の服装部分に相当する服装画像領域を切り出す服装画像領域切り出し部と、
   前記切り出された服装画像領域の階調データと前記特定の階調データとが略一致するか否かを判定する一致判定部と、
   前記一致判定部により前記特定の階調データと略一致すると判定された服装画像領域を有するデジタル画像を、前記複数のデジタル画像から抽出するデジタル画像抽出部と、
   を備えた画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記服装画像領域切り出し部は、前記抽出された顔画像領域について、当該顔画像領域が抽出されたデジタル画像を基準にして顔の向きと顔の大きさとを算出し、当該算出結果に応じて予め定められた画像領域を前記服装画像領域として、前記顔画像領域が抽出されたデジタル画像から切り出すことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記特定階調データ設定部は、所定の表色系で定められる色に対応する階調データを、前記特定の階調データとして設定することを特徴とする画像処理装置。
4. 請求項１ないし３のいずれか一項に記載の画像処理装置であって、
   前記特定階調データ設定部は、前記服装画像領域を構成する総ての画素に対応して、前記特定の階調データを設定することを特徴とする画像処理装置。
5. 複数のデジタル画像を記憶するデジタル画像記憶工程と、
   特定の階調データを設定する特定階調データ設定工程と、
   前記記憶された複数のデジタル画像から人物の顔画像領域を抽出する顔画像領域抽出工程と、
   前記抽出した顔画像領域に基づいて、前記顔画像領域が抽出されたデジタル画像から前記人物の服装部分に相当する服装画像領域を切り出す服装画像領域切り出し工程と、
   前記切り出された服装画像領域の階調データと前記特定の階調データとが略一致するか否かを判定する一致判定工程と、
   前記一致判定工程により前記特定の階調データと略一致すると判定された服装画像領域を有するデジタル画像を、前記複数のデジタル画像から抽出するデジタル画像抽出工程と、
   を備えた画像処理方法。
6. 複数のデジタル画像を記憶するデジタル画像記憶機能と、
   特定の階調データを設定する特定階調データ設定機能と、
   前記記憶された複数のデジタル画像から人物の顔画像領域を抽出する顔画像領域抽出機能と、
   前記抽出した顔画像領域に基づいて、前記顔画像領域が抽出されたデジタル画像から前記人物の服装部分に相当する服装画像領域を切り出す服装画像領域切り出し機能と、
   前記切り出された服装画像領域の階調データと前記特定の階調データとが略一致するか否かを判定する一致判定機能と、
   前記一致判定機能により前記特定の階調データと略一致すると判定された服装画像領域を有するデジタル画像を、前記複数のデジタル画像から抽出するデジタル画像抽出機能と、
   をコンピュータに実現させる画像処理プログラム。

Images