JP2016103759A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減する。【解決手段】画像データを取得し、画像データの少なくとも１部の領域を選択するためのマスクデータを取得する入力画像データ／入力マスクデータ取得部２３と、画像データにおける選択領域に基づいて、画像特徴データを抽出する選択領域画像データ作成部２５と、マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを予め記憶する外部記憶部１２と、画像特徴データ、及びカテゴリ特徴データに基づいて、取得されたマスクデータを分類する選択領域画像データ分類部２７と、を備える。【選択図】図２

Description

本発明は、入力画像データに参照画像データの色データを転写する際に用いるマスクデータの管理に好適な画像処理装置、画像処理方法、及びプログラムに関する。

従来、画像処理に係る分野にあっては、色調を変更する処理が知られている。
入力画像データのレタッチ（画像データ編集）をする場合には、色調を変更したい部分を選択領域（選択領域外部をマスクする）とし、その選択領域に対してのみ色調を変更する。他の部分にもこの処理を繰り返して行うことで、所望の色調に手動で変更していくという処理がＰｈｏｔｏｓｈｏｐ（登録商標）やその他の画像処理ソフトとして知られている。
また、画像処理に係る分野にあっては、色彩転写処理が知られている。
画像データの一部の選択領域（オブジェクト）の色調を、別の参照画像データ中の選択領域の色調に似せるという色彩転写処理を行って、対象となる選択領域の色調を変更するという処理も既に知られている。

例えば、赤色の車両が写っている写真がユーザの写真アルバムに保存されていることとする。この写真上に写った車両の色が、くすんだ濃い目の赤色である場合に、例えばトマトのような鮮やかな赤色に修整して欲しいというユーザの要望がある。
このような要望に応える１つの方法として、入力画像データに参照画像データの色データを転写する色彩転写処理が知られている。

このような色彩転写処理の方法では、マスクデータを用いて詳細な指定を行う方式の方が、ユーザの意図を反映させ易い。このためには、色彩転写の対象となる入力画像データと、入力画像データの色彩転写を行う部分を表す入力マスクデータ、色彩転写の参照元として用いる色彩データとなる参照用画像データ、参照画像データの色彩値を有する部分を表す参照マスクデータの４つが必要となる。マスクデータは、例えば人物の場合、肌、髪、口、目、背景のように分類された構成になっている。

ここで、図１５、図１６を参照して、色彩転写処理の概要について説明する。図１５（ａ）は色彩転写処理の対象となる入力画像データであり、（ｂ）は色彩転写結果である出力画像データであり、（ｃ）はマスクデータであり、（ｄ）は色彩転写処理に用いる色彩データの参照対象となる参照画像データである。
詳しくは、図１５（ｂ）は、複数のマスクデータ（ｃ）を用いて参照画像データから抽出した夫々の色彩データを、入力画像データ（ａ）に対して色彩転写処理（ｄ）を行ったときの結果画像データである。この場合、複数の部位を示すマスクデータ（ｃ）から順次選択した１枚を用いて色彩転写処理を行った結果、複数の部分の色彩が変化した例となっている。

従来の色彩転写処理については、図１６に示す処理フローを参照して説明する。
画像データファイルを読み出し、入力画像データを入力する（Ｓ１００１）。入力画像データに対して、色修正を行いたい領域を対象領域として領域を設定する（Ｓ１００３）。この対象領域を表すデータをマスクデータと呼ぶ。なお、マスクデータとは、処理対象以外をマスクして処理を行うという意味であり、選択領域のデータと同じ意味である。
このマスクデータを手動で設定することも可能であるが、自動処理を利用することも可能である。ただし、自動処理であっても、ユーザの意図が介在するため、どの部分の領域をユーザが必要としているのかをアプリケーション上で指し示すためのユーザインターフェースＵＩが必ず必要である。

このマスク作成処理は、事前処理として、予め対象領域を表すマスクデータを複数作成しておき、作成済みのマスクデータを読み込むという使い方もある。
図１５（ａ）に示す入力画像データは、予めア）〜キ）のマスクデータが作成されており、そのマスクデータは未だ分類されていない状態である。
入力画像データ（ａ）と、画像データ中のオブジェクト形状に対応したマスクデータ（ｃ）は、複数枚分用意してあるが、マスクデータ（ｃ）はカテゴリ分類がされていない状態である。
入力画像データに対して、処理対象領域を表すマスクデータを作成（又は選択）した状態において、次に参照画像データをユーザが選択する（Ｓ１００５）。
参照画像データは、参照画像データベースＤＢに保存されており、１つ１つの参照画像データには、オブジェクト毎にマスクデータが作成されており、マスクデータも分類やキーワードが設定されている状態になっている。
それらの参照画像データに対して、使用できる参照画像データを一覧できるようになっており、ユーザが一覧を目視確認して所望の参照画像データを選択する。
参照画像データが選択されると、次にその参照画像データに関連するマスクデータをユーザに提示し、その中から所望のマスクデータを選択する（Ｓ１００９）。
こうして入力画像データ、入力マスクデータ、参照画像データ、参照マスクデータの４つが揃い、このデータセットを用いて、色調補正処理（色彩転写処理）を実行する（Ｓ１０１１）ことで、入力画像データのユーザが決めた対象領域を所望の色調に変更することができる。

特許文献１には、デジタルカメラで画像データを撮影した時に、属性情報を付与するものではなく、ＰＣ等を用いて、画像データを他のマルチメディア情報と関連付けて、編集を容易にする目的で、（ａ）画像データ表示手段に表示された画像データの一部を選択する画像データ領域選択手段と、（ｂ）画像データ領域選択手段により選択された領域に含まれる記号を認識する記号認識手段と、（ｃ）記号認識手段により認識された記号を画像データと関連づけて、画像データと共に記憶する画像データ記憶手段とを備えた構成が開示されている。

特許文献２には、半導体製造装置の検査精度を向上する目的で、（ａ）マスクパターンの画像データを取得する工程と、（ｂ）マスクパターン画像データから任意のパターン部分を切り出す工程と、（ｃ）該パターン部と同じ位置の設計データ、又は正常なマスクパターンから正常なパターン部分の画像データを取得する工程と、（ｄ）正常なパターン部分画像データの輪郭を抽出する工程と、（ｅ）輪郭線からベクトルデータを生成する工程と、（ｆ）ベクトルデータからパターン信号への変換を行う工程と、（ｇ）パターン信号からパターン形状の種類を決定するパターン形状認識をする工程と、（ｈ）パターン形状認識によって決定した形状の種類毎にパターン部分の形状特性値を計測する工程と、からなる各工程を実行することによりマスクパターン画像データの所望のパターン部分について自動分類及び形状特性値の自動計測を行うという構成が開示されている。

特許文献３には、人物姿勢に対応した画像処理を行う目的で、入力画像データに対して、人物領域を検出する人物領域検出手段と、前記人物領域検出手段により検出された人物領域内の人物の姿勢を認識する人物姿勢認識手段と、前記記憶手段に記憶されているデータベースを参照して、前記人物姿勢認識手段により認識された姿勢に適合する前記特定姿勢データを求めるマッチング手段と、前記マッチング手段により求められた前記特定姿勢データに対応付けられている前記演出加工データに基づいて、前記画像データに対する加工を施す加工手段の構成が開示されている。

しかしながら、上述した一連の処理において、参照画像データを選択するステップＳ１００５では、大量にある参照画像データからユーザが所望のものを選択する必要があり、ユーザに作業の手間を掛けることになるといった問題があった。
特に、入力画像データが複数のマスクデータを持っていて、複数の領域の色調を変更しようとする場合、入力画像データの１つのマスクデータに対して、参照画像データと参照マスクデータのペアを設定するという作業を、入力マスクデータの数分繰り返す必要があり、ユーザに強いる手間が非常に大きなものとなるといった問題があった。
この原因は、画像データに対応したマスクデータの分類手法に起因しており、画像データの１部の領域を選択するために用いるマスクデータを分類する際の操作手間が掛かるといった問題があった。

特許文献１には、画像データに対して各種情報を付与する点が開示されている。しかし、特許文献１にあっては、認識処理の前に領域を設定する必要があり、領域を設定するための作業が必要（自動で領域を認識することができない）であるというという問題は解消できていない。また、ネットワーク接続を前提とした構成となっており、スタンドアロン運用（装置単体での運用）が困難であるというといった問題は解消できていない。
特許文献２には、形状パターンを認識して自動分類する点が開示されている。しかし、特許文献２にあっては、半導体や電気回路など、ある程度決まった形状のパターンを対象としており、人物像などをはじめとする決まった形状が少ないものに対して、パターン認識を行うには十分ではない（誤検出する）可能性があるといった問題は解消できていない。
特許文献３には、色形状を検出して、この形状に対応した画像処理を行う点が開示されている。しかし、特許文献３にあっては、人物姿勢を中心としており、顔、髪、口、体など人物像の各部位に対して形状を検出することができないといった問題は解消できていない。

本発明は、上記に鑑みてなされたもので、その目的は、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することにある。

請求項１記載の発明は、上記課題を解決するため、画像データを取得する画像データ取得手段と、前記画像データの少なくとも１部の領域を選択するためのマスクデータを取得するマスクデータ取得手段と、前記画像データにおける前記選択領域に基づいて、画像特徴データを抽出する抽出手段と、マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを予め記憶するカテゴリ特徴データ記憶手段と、前記画像特徴データ、及び前記カテゴリ特徴データに基づいて、前記マスクデータ取得手段により取得されたマスクデータを分類するマスクデータ分類手段と、を備えることを特徴とする。

本発明によれば、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。

本発明の第１実施形態に係わる画像処理装置１のハードウエア構成を示すブロック図である。 本発明の第１実施形態に係る画像処理装置１に適用可能な機能ブロックを示す図である。 本発明の第１実施形態に係わる画像処理装置１の動作を表すフローチャートである。 （ａ）〜（ｃ）は、選択領域画像データを抽出するまでの手順について説明するための図である。 色彩転写処理のサブルーチンを示すフローチャートである。 本発明の第２実施形態に係わる画像処理装置１の動作を表すフローチャートである。 （ａ）〜（ｃ）は、関連付け処理について説明するための図である。 本発明の第３実施形態に係わる画像処理装置１の動作を表すフローチャートである。 （ａ）〜（ｃ）は、選択領域外部画像データを抽出するまでの手順について説明するための図である。 （ａ）〜（ｃ）は、十字形状の画像データとその特徴点、楕円形状の画像データとその特徴点、特徴点の詳細な画素データを示す図である。 本発明の第５実施形態に係る画像処理装置１００に適用可能な機能ブロックを示す図である。 局所特徴量から特徴量を抽出する処理（学習フェーズ）のフローチャートである。 局所特徴量から特徴量を抽出する処理（運用フェーズ）のフローチャートである。 （Ａ）（Ｂ）は、本発明の第５実施形態に係わる画像処理装置１００による特徴ベクトルの算出処理について説明するための図である。 （ａ）〜（ｄ）は、色彩転写処理の概要について説明するための図である。 従来の色彩転写処理を説明するためのフローチャートである。

以下、本発明を図面に示した実施の形態により詳細に説明する。
本発明は、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減するために、以下の構成を有する。
すなわち、本発明の画像処理装置は、画像データを取得する画像データ取得手段と、画像データの少なくとも１部の領域を選択するためのマスクデータを取得するマスクデータ取得手段と、画像データにおける選択領域に基づいて、画像特徴データを抽出する抽出手段と、マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを予め記憶するカテゴリ特徴データ記憶手段と、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータ取得手段により取得されたマスクデータを分類するマスクデータ分類手段と、を備えることを特徴とする。
以上の構成を備えることにより、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
上記の本発明の特徴に関して、以下、図面を用いて詳細に説明する。

＜第１実施形態＞
図１を参照して、本発明の第１実施形態に係わる画像処理装置１のハードウエアのブロック構成について説明する。図１は、本発明の第１実施形態に係わる画像処理装置１のハードウエア構成を示すブロックである。
画像処理装置１は、ＣＰＵ１０、スキャナ部１１、外部記憶部１２、画像メモリ部１３、表示部１４、操作部１５、画像処理部１６、カメラ部１７、通信制御部１８、ネットワークＮを備えている。
ＣＰＵ１０は、ＲＯＭ（図示しない）又はハードディスクからプログラムを読み出してＲＡＭに記憶し、ＲＡＭから順次にプログラムを読み出して装置全体の制御を実行する。
本実施形態では、本発明に係る画像処理をソフトウェア（もしくはプログラムをＲＯＭなどのハードウェアチップで収納されたもの）を用いて実現する構成である。
スキャナ部１１は、原稿台上に置かれた例えば記録媒体（例えば、紙体）となる原稿に対してラインセンサを走査することで原稿から画像データを取得する。

外部記憶部１２は、カメラ部１７で被写体を撮影したことにより取得されたカメラ画像データや処理結果の情報をハードディスクやＣＤ／ＤＶＤ／メモリカードなどの記憶媒体に記憶する。記憶媒体としては、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ／Ｒ／ＲＷ／ＲＡＭ、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃのようなディスク１９、またはハードディスクＨＤＤ、ＳＤやＵＳＢメモリカード等のフラッシュメモリカードのような記憶装置２０でもよい。
外部記憶部１２は、マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを予め記憶する。外部記憶部１２は、カテゴリ特徴データとして、マスクデータにより選択される選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、画像データ全体の色データを予め記憶する。
記憶装置２０は、画像データの形状を有するテンプレートデータと、当該テンプレートデータの固有の分類データとを１個のレコードとしておき、異なる複数のテンプレートデータについての形状データベース２０ａを予め記憶している。すなわち、形状データベース２０ａは、基準画像データの形状に係る特徴量データを有するテンプレートデータと、当該テンプレートデータに固有の分類データとを１対１に対応させて記憶する。

画像メモリ部１３は、スキャナ部１１、外部記憶部１２、カメラ部１７から取得した画像データを一時的に記憶（保管）する。
表示部１４は、入力画像データをモニタの表示画面上に表示する。
操作部１５は、表示部１４の表示画面の表層に配置されたタッチパネルに対する利用者によるクリック操作やタップ操作やドラッグ操作等を入力するとともに、該操作時の座標データを入力する。操作部１５は、画像データの取得や画像処理の制御等に関する操作を行う。
画像処理部１６は、入力画像データをＶＲＡＭ上に記憶しておき、ＶＲＡＭ上の画像データに対して位置合わせ処理、拡大縮小処理、回転処理、ノイズ付与・除去処理、スキュー補正処理などの画像処理を行う。

カメラ部１７は、被写体を撮影して画像データを取得する。
通信制御部１８は、インターネット、クラウドなどのネットワーク網Ｎを介して外部から入力画像データを受信する一方、処理結果の情報をネットワークＮを介して外部に配信する。
なお、本実施形態では、画像処理装置１は、デジタルカメラとコンピュータを接続した構成を想定しており、コンピュータは、パソコン、ノートＰＣ、スマートフォン端末、タブレット端末、多機能周辺装置ＭＦＰ、専用装置などであり、特定の環境に依存しない構成であることを想定している。
また、本実施形態において行われる画像処理の全般については、ソフトウェア（もしくはプログラムをＲＯＭなどのハードウェアチップに収納されたもの）で実現する構成であることを想定している。

次に、図２を参照して、本発明の第１実施形態に係る画像処理装置１に適用可能な機能ブロックについて説明する。図２は本発明の第１実施形態に係る画像処理装置１に適用可能な機能ブロックを示す図である。
画像処理装置１は、機能ブロックとして、入力画像データ／入力マスクデータ取得部２３、選択領域画像データ作成部２５、選択領域画像データ分類部２７、参照画像データ表示部２９、参照画像データ・参照マスク選択受付部３１、色調補正処理部３３、結果出力部３５を備えている。
入力画像データ／入力マスクデータ取得部２３は、スキャナ部１１、外部記憶部１２、表示部１４、操作部１５、カメラ部１７、通信制御部１８、ネットワークＮにより構成されている。
入力画像データ／入力マスクデータ取得部２３は、操作部１５を介して入力されたユーザ操作に基づいて、スキャナ部１１、又はカメラ部１７を用いて撮影した大量の画像データを画像メモリ部１３に取得する。また入力画像データ／入力マスクデータ取得部２３は、操作部１５を介して入力されたユーザ操作に基づいて、外部記憶部１２、ディスク１９、記憶装置２０、ネットワークＮ（クラウドシステム）などを用いて大量の画像データを画像メモリ部１３に取得する。

入力画像データ／入力マスクデータ取得部２３は、画像データの少なくとも１部の領域をマスクするための形状データを含むマスクデータを取得する。
選択領域画像データ作成部２５は、ＣＰＵ１０、画像メモリ部１３、表示部１４、操作部１５、画像処理部１６により構成され、入力画像データ／入力マスクデータ取得部２３によって取得された入力画像データ／入力マスクデータを利用して、入力画像データ中の選択領域画像データを作成する。
選択領域画像データ分類部２７は、ＣＰＵ１０、画像メモリ部１３、表示部１４、操作部１５、画像処理部１６により構成され、選択領域画像データ作成部２５で作成された選択領域の画像データに基づいて、特徴抽出処理を行い画像特徴データを抽出する。選択領域画像データ分類部２７は、特徴抽出処理の結果として得られた画像特徴データと各カテゴリの特徴点データとのパターンマッチング処理を行い、類似度が基準値よりも高いカテゴリが画像データのカテゴリでることとして、カテゴリに分類する。詳しくは、選択領域画像データ分類部２７は、選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、及び画像データ全体の色データのうち少なくとも２つ以上のデータ、カテゴリ特徴データに基づいて、入力画像データ／入力マスクデータ取得部２３により取得されたマスクデータを分類する。

参照画像データ表示部２９は、ＣＰＵ１０、表示部１４、により構成され、選択領域画像データ分類部２７によって設定されたカテゴリを利用した、画像データ／マスクデータをユーザに提示（表示）する。詳しくは、参照画像データ表示部２９は、選択領域画像データ分類部２７による分類結果を用いて、別途用意してある参照画像データに対して絞込み処理を行った上で、ユーザに提示をする。
参照画像データ・参照マスク選択受付部３１は、参照画像データ表示部２９によって表示されている参照画像に対するユーザの参照画像データ・マスクデータ指定の指示を受け付ける。
色調補正処理部３３は、ＣＰＵ１０、画像メモリ部１３、表示部１４、操作部１５、画像処理部１６により構成され、入力画像データ、入力マスクデータ、参照画像データ、参照マスクデータという４つのデータセットを用いて色調補正処理行う。
結果出力部３５は、色調補正処理部３３によって生成された結果を出力する。

次に、図３を参照して、本発明の第１実施形態に係わる画像処理装置１における全体の処理について説明する。図３は本発明の第１実施形態に係わる画像処理装置１の動作を表すフローチャートである。
まず、入力画像データ／入力マスクデータ取得部２３は、スキャナ部１１、カメラ部１７、ネットワークＮなど様々なデバイスによって入力画像データ、入力マスクデータを取得する（Ｓ１）。
次いで、選択領域画像データ作成部２５は、入力画像データに対して処理を行うための対象領域を設定する（Ｓ２）。
この対象領域（＝選択領域）は、グラフィックユーザインターフェースＧＵＩ画面を表示部１４に表示しておき、入力画像データを表示して、ユーザのＧＵＩ操作によって入力画像データの１部の領域が選択されると選択領域を作成する。なお、マスクデータを予め作成しておき、このマスクデータを読み込んでもよく、この場合、Ａｄｏｂｅ Ｐｈｏｔｏｓｈｏｐ（登録商標）などの画像処理ソフトなどでは、マスクデータなどを元画像データとあわせて、そのまま保存できるファイル形式を利用できる。
選択領域画像データ作成部２５は、入力画像データと、処理対象領域を示すためのマスクデータを利用して、仮想的に選択領域画像データを作成する（Ｓ３）。

ここで、図４（ａ）〜（ｃ）を参照して、選択領域画像データの一例について説明する。
この例に示すように、選択領域の画素だけで構成される画像データのことを選択領域画像データ（ｃ）と呼ぶ。本来、分類の対象となるデータは、入力画像データ（ａ）を対象として入力マスクデータ（ｂ）によって選択された部分なので、実質はこの選択領域画像データ（ｃ）を分類することを意味している。
ただし、本実施形態では、この例のような選択領域画像データ（ｃ）を作らずに、入力画像データ（ａ）と入力マスクデータ（ｂ）を用いて選択領域画像データ（ｃ）の画素のある部分だけを抽出するという方法もある。
なお、図４（ｃ）では、チェッカ模様を用いて背景部分に画素がないことを示している。

図３に戻り、選択領域画像データ分類部２７は、選択領域画像データをカテゴリ分類する（Ｓ５）。
選択領域画像データ分類部２７は、選択領域画像データ作成部２５で作成された選択領域の画像データに基づいて、特徴抽出処理を行い画像特徴データを抽出する。選択領域画像データ分類部２７は、特徴抽出処理の結果として得られた画像特徴データと、外部記憶部１２から取得した各カテゴリの特徴点データとのパターンマッチング処理を行い、類似度が基準値よりも高いカテゴリが画像データのカテゴリでることとして、カテゴリに分類する。
詳しくは、選択領域画像データ分類部２７は、選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、及び画像データ全体の色データのうち少なくとも２つ以上のデータ、カテゴリ特徴データに基づいて、入力画像データ／入力マスクデータ取得部２３により取得されたマスクデータを分類する。
ここで、最大カテゴリ数は予め指定されているものとする。例えば参照画像データはその選択領域毎に手動などにより分類され、さらに夫々の参照画像データはタグ付けなどがされており、その最大カテゴリ数以下の数のカテゴリに分類することが望ましい。

選択領域画像データの分類ができた場合、入力画像データの中でユーザが処理をしたい（色調を変えたい）という領域（≒オブジェクト）の分類ができたことを意味する。
参照画像表示部２９は、選択領域画像データ分類部２７による分類結果を用いて、別途用意してある参照画像データの絞込みを行った上で、ユーザに提示をする。
分類結果として、カテゴリ内の参照画像データを表示する場合、例えば、分類結果が「髪」であったとすると、システム側は参照画像データベースＤＢから、「髪」の分類がされているマスクデータを持つ参照画像データを抽出（ピックアップ）し、その参照画像データを選択画面に表示する（Ｓ７）。

参照画像データ・参照マスク選択受付部３１は、参照画像表示部２９によって表示されている参照画像について、上述したＧＵＩ機能を用いてユーザによる選択を受け付ける（Ｓ９）。
このとき、ユーザは髪の色データを持つ参照画像データのみを選択する。このため、何もないランダムな参照画像データから選択するという手法よりも、無駄なく「髪」のカテゴリのマスク画像データを持つ参照画像データを閲覧して選択することが可能となる。
この段階において、特定の１画像データを選択した際には、分類結果であるカテゴリとして、システム側ではすでに「髪」が修正対象であることを解っているため、自動的に参照画像データの「髪」と同じカテゴリになっているマスクデータを、参照マスクデータとして読み込んで利用する（Ｓ１１）。これにより、１手間を減らせることができる。

他の例として、分類結果が「髪」である場合、参照画像データを表示する際に、画像データ全面のサムネールを使うのではなく、参照画像データ中の「髪」が含まれる領域を拡大したサムネールを表示してもよい。
このようにすることで、複数の人物が映っている写真を参照画像データとして用いる場合でも、その中のどの人物の髪の色を好みと感じたのかを指定するのが容易になる。この場合、全体を示した場合、写真指定を行った後に、人物指定を行うという二手間かかるが、「髪」中心の表示をした場合、ダイレクトに人物指定ができる。
色調補正処理部３３は、これらの選択処理によって指定された参照画像データ、参照マスクデータを利用して色調補正処理を行う（Ｓ１３）。例えば非特許文献１に記載されている色彩転写処理が使用できる。詳しくは、非特許文献１には、色相ヒストグラムＨを定義しておき、入力画像データの対象領域と目標画像データ（論文では参照画像データ）の対象領域で、色相ヒストグラムＨの形状を一致させることにより、色転写を行うという手法の色彩転写処理が記載されている。
なお、本実施形態では、このような色彩転写処理に留まらず、一般的に知られている方法で色調補正処理を行うことが可能である。
次いで、結果出力部３５は、色調補正処理部３３によって生成された結果を出力する（Ｓ１５）。
このように、画像データにおける選択領域に基づいて、画像特徴データを抽出しておき、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータを分類することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。

ここで、図５を参照して、色調補正処理部による色彩転写処理について説明する。図５は色彩転写処理のサブルーチンを示すフローチャートである。
まず、色調補正処理部３３は、入力画像データにおける選択領域内の色相ヒストグラムＨｉを生成する（Ｓ２２）。次に、色調補正処理部３３は、目標画像データにおける対象領域内の色相ヒストグラムＨｇを生成する（Ｓ２１）。
次に、色調補正処理部３３は、色相ヒストグラムＨｉの統計データとして平均値、及び分散値を計算する（Ｓ２３）。次に、色調補正処理部３３は、色相ヒストグラムＨｇの統計データとして平均値、及び分散値を計算する（Ｓ２４）。
次に、色調補正処理部３３は、色相ヒストグラムＨｉの統計データがＨｇの統計データと同一になるように変換式を作成する（Ｓ２５）。次に、色調補正処理部３３は、作成した変換式を用いて、入力画像データの選択領域の画素値（色）を変換する（Ｓ２６）。

このように、入力画像データと入力画像データのマスクデータ、参照画像データと参照画像データのマスクデータを使用して行う色調補正処理において、ユーザが選択した選択領域（入力マスクデータ）についての分類を自動で行うことで、参照画像データＤＢの大量のデータから、その分類結果に一致するカテゴリに属するものを優先的にユーザに提示することで、ランダムに大量のデータを提示したり、手動でカテゴリを設置してそのカテゴリのものを手辞したりするよりも、無駄な参照画像データを閲覧することや、カテゴリ選択の手間をなく、参照画像データを選ぶことができ、しかも参照画像データに付随しているマスクデータも自動選択することができる。

＜第２実施形態＞
本発明の第２実施形態に係わる画像処理装置は、図１に示す画像処理装置１を用いるものであり、その説明を省略する。
図６を参照して、本発明の第２実施形態に係わる画像処理装置１の動作について説明する。図６は、本発明の第２実施形態に係わる画像処理装置１の動作を表すフローチャートである。
第２実施形態に係る画像処理装置１は、自動分類された結果の使い方が第１実施形態と異なっている。
第２実施形態では、入力画像データに予め選択領域が複数設定されているものを使用する。この場合、事前に複数の選択領域が設定されている状態から開始することとする。

まず、ＣＰＵ１０は、入力画像データを読み込む（Ｓ３１）。この際、処理番号ｉ＝１としてメモリに設定する。
次いで、ＣＰＵ１０は、処理番号ｉがｎ（入力マスクデータの数）以下か否かを判断する（Ｓ３３）。
ＣＰＵ１０は、処理番号ｉがｎ以下である場合はステップＳ３５に進み、処理番号ｉがｎ以上になった場合はステップＳ４１に進む。ＣＰＵ１０は、処理番号ｉがｎ以下である場合は、入力マスクデータを読み込む（Ｓ３５）。
次いで、ＣＰＵ１０は、入力マスクデータを用いて、入力画像データに含まれる入力マスクデータで選択された領域についての選択領域データを一つずつ読込み、選択領域画像データを作成する（Ｓ３７）。
そして、ＣＰＵ１０は、その選択領域画像データを自動分類した結果をＲＡＭに設けられたテーブル上に保持しておく（Ｓ３９）。
次いで、ＣＰＵ１０は、処理番号ｉをインクリメントし、ｉ＝ｉ＋１を新たな処理番号ｉとしてメモリに設定する。本実施形態では、この選択領域画像データの自動分類を選択領域データの数ｎ（マスクデータの数）だけ行う。

処理番号ｉがｎ以上になった場合、すべての選択領域データにカテゴリが関連付けられ情報がテーブル上に保持されていることになる。
ＣＰＵ１０は、この状態で参照画像データ選択ＧＵＩ（グラフィックユーザインターフェース）などを表示部１４に表示し、表示画面に対するユーザからの参照画像データの選択指示を待つ（Ｓ４３）。
このときに、第１実施形態の応用例として、入力画像データに付随するマスクデータのカテゴリがすべて入っている参照画像データのみを優先して提示することができる。
ＣＰＵ１０は、参照画像データ選択ＧＵＩによりユーザの選択を受け付けたら、そこに付随する参照マスクデータのカテゴリと、入力マスクデータのカテゴリを関連付ける関連付け処理を行う（Ｓ４５）。
ここで、関連付け処理は、図７に示すように、入力画像データ（ａ）に対応した入力マスクデータ（ｃ）のカテゴリと参照画像データ（ｂ）に対応したマスクデータ（ｄ）のカテゴリが一致するものを関連付けたペアのデータをＲＡＭ上のテーブルに作成しておく。
すなわち、本実施形態では、マスクデータの分類結果に基づいて、参照画像データの少なくとも１部の領域を選択するための第１のマスクデータと、入力画像データの少なくとも１部の領域を選択するための第２のマスクデータとが同一のカテゴリである場合に、第１のマスクデータと第２のマスクデータとを関連付けする。

次いで、ＣＰＵ１０は、色調補正処理をマスク数分だけ繰り返して行う（Ｓ４７）。
次いで、ＣＰＵ１０は、色調補正処理により得られた結果の画像データを出力（Ｓ４９）して終了する。

このように、参照画像データの複数のマスクデータと、入力画像データの複数のマスクデータを自動的に関連付けすることができるため、従来の手動で行う操作に比べて非常に容易に参照画像データから選択領域の画像データを取得することができる。このため、一度に複数領域（マスク）の色彩転写処理を容易に行うことができる。
また、画像データは、色彩転写処理に用いる色彩データの参照対象となる参照画像データ、又は／及び、色彩データの転写対象となる入力画像データ、であることで、参照画像データ又は／及び、入力画像データの少なくとも１部の領域を選択するためのマスクデータを分類する際の操作負荷を軽減することができる。
さらに、カテゴリを分類した後の入力画像データのマスクデータと参照画像データのマスクデータとを関連付けすることで、更に操作負荷を軽減することができる。

＜第３実施形態＞
本発明の第３実施形態に係わる画像処理装置は、図１に示す画像処理装置１を用いるものであり、その説明を省略する。
図８を参照して、本発明の第３実施形態に係わる画像処理装置１の動作について説明する。図８は、本発明の第３実施形態に係わる画像処理装置１の動作を表すフローチャートである。

まず、ＣＰＵ１０は、スキャナ部１１、カメラ部１７、ネットワークＮなどの何れか１つから入力画像データを取得する（Ｓ５１）。
次いで、入力データに対して処理を行うための対象領域を設定する（Ｓ５３）。
この対象領域（＝選択領域）は、入力画像データを読み込んだ後にユーザの手で作成する形態を１つの実施例として想定しているが、マスクデータという形で予め作成しておいたものを読み込むタイプにも対応できる。Ａｄｏｂｅ Ｐｈｏｔｏｓｈｏｐ（登録商標）などの画像処理ソフトなどでは、マスクデータなどを元画像データと合わせて、そのまま保存できるファイル形式を利用できる。
ＣＰＵ１０は、入力画像データと、処理対象領域を示すためのマスクデータを利用して、仮想的に選択領域画像データを作成する（Ｓ５５）。

これまで説明してきたとおり、入力マスクデータは本発明の処理に入る前にユーザが手動あるいは自動で作成してもよいし、すでに作られている入力マスクデータを読み込むことをしてもよい。
第３実施形態では、図４に示すように、この入力画像データ（ａ）と入力マスクデータ（ｂ）とに基づいて、仮想的な選択領域画像データ（ｃ）を作成する。
ここで、仮想的な選択領域画像データ（ｃ）としたのは、入力画像データ（ａ）と入力マスクデータ（ｂ）との位置座標は一致しているため、実際に選択領域画像データ（ｃ）という物理的な画像データを作るだけでなく、入力マスクデータ（ｂ）の選択領域内に限定して入力画像データ（ｂ）を抽出することで、選択領域画像データ（ｃ）を作成しなくても同様の処理が可能である。ここで、ＣＰＵ１０は、選択領域内部の色データを抽出する（Ｓ５７）。

さらに、第３実施形態では、図９に示すように、この入力画像データ（ａ）と入力マスクデータ（ｂ）、反転マスクデータ（ｂ‘）、仮想的な選択領域外部画像データ（ｃ）を参照する。
ＣＰＵ１０は、入力マスクデータ（ｂ）を白黒反転させた反転マスクデータ（ｂ‘）と、入力画像データ（ａ）とで上記処理と同じ処理を行うことで、選択領域外部画像データを作成する（Ｓ５９）。このデータを仮想的な選択領域外部画像データ（図９（ｃ））と呼ぶ。

次いで、ＣＰＵ１０は、選択領域外部画像データを抽出するための準備ができたら、それぞれの選択領域外部画像データから色特徴を抽出する（Ｓ６１）。
ここで、色特徴とは、例えば平均色、輝度分布、何色あるか、といった情報である。ここで、選択領域外部画像データを扱う場合は、この画像データの全面を処理することも考えられるが、選択領域に近接している領域のみを使うという手法もとれる。なお、選択領域に近接するか否かの判断は選択領域（境界）から鉛直方向に一定距離離れているところまでとする方法や、選択領域の外接矩形から一定距離を離れている方法などの手法も選べる。
例えば顔の部位である唇や目、眉などはその周囲に肌色があるという傾向が強く、選択領域の周囲、つまり選択領域外部の境界付近の色データは十分に色特徴になり得る。

次いで、ＣＰＵ１０は、選択領域画像データから外形特徴を抽出する（Ｓ６３）。
ここで、入力画像データと選択領域の情報とに基づいて、選択領域の「周囲」とみなす領域の外形特徴を特定する。特定の方法としては例えば次の方法が使用できる。
［１］選択領域の境界を定める。選択領域と非選択が二値で表される場合はそのまま境界として使用できるし、もしも選択領域と選択領域外部の確率を濃度で示している場合には、０〜２５５の範囲の画素値であれば中間値の１２８を閾値として使用するなどの方法で、境界を確立させる。
［２］選択領域の境界領域の法線方向に一定の距離Ｄだけ離れているところを周囲領域の境界と考え、選択領域を１週することで、境界の領域が定まる。
［３］選択領域の内部に選択領域外部が（穴のように）含まれている場合は、その領域も周囲領域に含める。
［４］周囲領域として計算された座標値が入力画像データの外側にある場合には、画像データから外側にはみ出した部分は周囲領域には含めない。
［２］における一定の距離Ｄには、入力画像データのサイズに対して１／Ｘという値を用いる（Ｘの値は実験から決めた定数）ものとする。

この他に、この一定の距離Ｄには選択領域の面積の平方根、あるいは選択領域を囲む最小矩形サイズ（縦、横）のうち、大きい方の１／４という決め方もある。
この決め方では、入力画像データに対する選択領域の大きさに応じてパラメータを切り替える方法となるため、選択領域が小さければ小さい領域を、選択領域が大きければ大きい領域を周囲領域とする。
選択領域の内部の色クラスタリングの情報は、分類するのに有効な情報となる。
例えば人の肌の色分布は、モデル化することができ、そのモデルと測定した色分布の特徴量の距離を用いて、「肌らしい／肌らしくない」という判断を行うことが可能である。
同様に、オブジェクト抽出のときに、そのオブジェクトの背景となるものがある程度固定化されているもの、例えば、上述した唇、目、眉などの部位は、その対象の外側に肌があるという情報を利用できるため、選択領域外部の色データも、選択領域内の画像データを判断する情報となり得る。

本発明では、それらに加えて、外形特徴として選択領域の外形情報を使用することができる。
本発明におけるマスク画像データは、切り出し画像データとして用いるため、誤検出が存在しないとまでは断言できないが、少なくとも主に扱いたいオブジェクトは含まれており、境界部分に多少余計なデータが入っている程度の状態を想定している。この状態を想定している理由は、一般的な画像データの修正処理（レタッチ処理）を行う場合、このような選択領域を作って画像処理をした後、周囲との境界をぼかして全体としてなじませるという手法を使用することが多いからである。
このため、マスク領域から、主選択領域を明確に確定する前処理が必要な場合もある。この場合の前処理に適している処理の１つとして、グラフカット処理（グラフ構造のエネルギー最小化のアルゴリズム）である。
グラフカット処理については、特許文献４に、オブジェクトを枠で囲んだ情報を初期情報として内側の画素分布モデルと外側の画素分布モデルを作成し、モデル間のグラフ構造のエネルギー最小化のアルゴリズムを使うことで、前景つまり、対象のオブジェクトを分割する技術が開示されている。この手法を用いることで、多少の背景部分が前景部分に入っていたとしても影響を最小限に抑えることができる。

対象となるオブジェクトを明確に切り出した選択領域、あるいは上記グラフカット処理を用いて対象オブジェクトを抽出した選択領域は、誤検出の量が少ない状態になっていると考えられる。
その境界と考える成分（ほぼ輪郭と言える）を追跡することで、対象オブジェクトの形状がわかる。対象オブジェクトの形状がわかると、例えば、縦横比、まるいのか、多角形なのか、トポロジーがどうなのか、といった情報を抽出することができる。これらの情報を人手によるルールベース特徴、あるいは機械学習によって事前に特徴付けられた特徴と比較することで、選択領域のカテゴリを識別することができる。

次いで、ステップＳ６５では、ＣＰＵ１０（選択領域画像データ分類部２７）は、選択領域の色特徴データと、各カテゴリの色特徴データとのパターンマッチング処理を行い、類似度を算出する。
同様に、選択領域画像データ分類部２７は、選択領域外部の色特徴データと、各カテゴリの色特徴データとのパターンマッチング処理を行い、類似度を算出する。
さらに、選択領域画像データ分類部２７は、選択領域の外形特徴データと、各カテゴリの外形特徴データとのパターンマッチング処理を行い、類似度を算出する。
選択領域画像データ分類部２７は、この結果として得られた、選択領域の色特徴データの類似度、選択領域外部の色特徴データの類似度、選択領域の外形特徴データの類似度をＲＡＭ上の処理テーブル（表２）に記憶する。

このように、選択領域の外形形状データと、カテゴリに係る特徴量データとをマッチングさせて、当該マッチングに係る類似度を算出することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。

次いで、ＣＰＵ１０（選択領域画像データ分類部２７）は、各特徴データの類似度とカテゴリとの組に対して、ソート処理、及び評価処理を行う（Ｓ６７）。例えば、選択領域の色特徴データの類似度％とカテゴリとの組に対して、類似度％が高い順になるようにソート処理を行う。同様に、選択領域外部の色特徴データの類似度％とカテゴリとの組、選択領域の外形特徴データの類似度％とカテゴリとの組に対して、それぞれに類似度％が高い順になるようにソート処理を行う。この結果、各特徴データの類似度％が高い順にカテゴリもソートされるので、最も類似度が高いカテゴリが３種類とも同一の場合に最大評価となり、次に、最も類似度が高いカテゴリの３種類のうち２種類が同一の場合に中評価となる。
この結果、最大評価又は中評価となったカテゴリを、当該入力画像データに対して設定したマスク領域が属するカテゴリとして分類することができる。
次いで、ＣＰＵ１０は、色調補正処理により得られた結果の画像データを出力（Ｓ６９）して終了する。

このように、画像特徴データとして、画像データにおける選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、及び画像データ全体の色データを抽出することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
また、画像データにおける選択領域に基づいて、画像特徴データを抽出しておき、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータを分類することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。

＜第４実施形態＞
第４実施形態では、マスクデータ（切り出し画像データ）から特徴量抽出処理を行う点について説明する。
ここで、図１０を参照して、特徴量抽出処理について概略的に説明する。
図１０（ａ）は十字形状の画像データとその特徴点を示し、（ｂ）は楕円形状の画像データとその特徴点を示し、（ｃ）は特徴点の詳細な画素データを示す図である。
図１０（ａ）（ｂ）には、対象点Ｐａ１〜Ｐａ１２、Ｐｂ１〜Ｐｂ１２に明度が変化する箇所を表すエッジ部が存在する。このような対象点付近から延びるエッジが２本以上あり、その２つのエッジで表す２本の直線が同一直線上にない場合に、このような部分がある対象点Ｐを特徴点とする。本実施形態では、図１０（ｃ）に示すように、白画素〜黒画素までの中間値も当然あるため、中間値による影響を考慮している。

非特許文献２において、まず、図１０に示すように、マスクデータの特徴点の部分の周辺パターンを例えばＢＯＦ（ｂａｇ ｏｆ ｆｅａｔｕｒｅｓ）という手法を用いてベクトル化（特徴点記述という）する。こうしてできたベクトルデータ（これを特徴量とする）は、非特許文献２の６１ページに示すような数値の集合（又は行列）で表すことができる。数値の集合体の傾向性により形状を把握することができる。

これとは別の方法として、マスクデータに対してエッジ強調を行った結果として得られる線データを抽出する方法がある。非特許文献２の１０ページ目にエッジ強調に関する概念図に示してある。
非特許文献２に示すように、形状の特徴をＭｅａｎ Ｓｈｉｆｔ法によって数値化する。その数値の集合体の傾向性で形状を把握することができる。数値データについては、非特許文献３の３ページ目以降に数値例が示されている。Ｍｅａｎ Ｓｈｉｆｔ法とは、画素の座標値プラス色やその他の特徴を組み合わせた特徴空間で（ガウス関数等の）重み付平均を繰り返し適用し、特徴空間の同じ箇所に集まってきた（収束した）画素を同じ領域とする方法である。

非特許文献４に示すように、テンプレートマッチングという方法で特徴量を抽出する方法がある。テンプレートはマスクパターンとして用意し、これらのマスクパターンと実際の画像データとの一致度合を計算しながら比較する。この計算値がエッジの強度であり、エッジの強度が有する傾向で形状を把握することができる。
なお、特徴量抽出については、画像データを入力しておき、マスクデータの形状からその特徴量を抽出する手法であれば適用できる。以上の特徴量抽出処理によって得られた値に対応した分類値を代入する。
特徴量から分類値を設定するための処理としては、テンプレートデータ（特定の形状を数値化したデータ）と比較対象画像データ（ここでは特徴量を数値化したマスクデータ）を重ね合わせ、その差異を算出してその差異値の範囲によって分類値を設定してもよい。

マスク画像データは、切り出し画像データとして用いるため、誤検出が存在しない切り出し画像データであり、切り出し処理では誤検出が常に付きまとうものである。このため、最初（多値画像データ）から二値化／多値マスクデータ（ｅｘ．８ｂｉｔ ２５６階調グレースケール）して切り出し画像データを取得するというステップは不要である。
また、上述したＧＵＩ機能を用いて手動で作成したマスクデータの場合、顔肌のつもりが背景部分を切ったものになっていたりするなど、間違ったマスクデータになることはあり得えない。すなわち、マスクデータだけで判断すると、マスク部分の精度がある程度保証されているものとみなせるため、後述する特徴量抽出処理でもある程度精度が高まることが期待できる。

＜第５実施形態＞
図１１は本発明の第５実施形態に係る画像処理装置１００に適用可能な機能ブロックを示す図である。
画像処理装置１００は、機能ブロックとして、入力画像データ取得部１２２、入力マスクデータ取得部１２３、参照画像データ取得部１２４、参照マスクデータ取得部１２５、特徴量抽出処理部１２６、マスクデータ分類設定部１２９、データ出力部１３０、データ入力部１３１を備えている。
入力画像データ取得部１２２は、スキャナ部１１、外部記憶部１２、表示部１４、操作部１５、カメラ部１７、通信制御部１８、ネットワークＮにより構成されている。

入力画像データ取得部１２２は、操作部１５を介して入力されたユーザ操作に基づいて、スキャナ部１１、又はカメラ部１７を用いて撮影した大量の画像データを画像メモリ部１３に取得する。また入力画像データ取得部１２２は、操作部１５を介して入力されたユーザ操作に基づいて、外部記憶部１２、ディスク１９、記憶装置２０、ネットワークＮ（クラウドシステム）などを用いて大量の画像データを画像メモリ部１３に取得する。
入力マスクデータ取得部１２３は、画像データの少なくとも１つの領域をマスクするための形状データを含むマスクデータを取得する。
なお、入力マスクデータ取得部１２３、参照画像データ取得部１２４、及び参照マスクデータ取得部１２５は、夫々に入力画像データ取得部１２２と同様に構成されているので、その説明を省略する。

特徴量抽出処理部１２６は、ＣＰＵ１０、画像メモリ部１３、表示部１４、操作部１５、画像処理部１６により構成され、入力画像データ取得部１２２、入力マスクデータ取得部１２３、参照画像データ取得部１２４、参照マスクデータ取得部１２５によって取得された入力画像データ、入力マスクデータ、参照画像データ、及び参照マスクデータに対して、夫々に固有な形状の特徴量を抽出して数値化する。
マスクデータ分類設定部１２９は、ＣＰＵ１０、画像メモリ部１３、表示部１４、操作部１５、画像処理部１６により構成され、特徴量抽出処理部１２６によって抽出された特徴量データに基づいて、マスクデータの分類データをカテゴリとして設定する。
マスクデータ分類設定部１２９は、マスクデータに係る形状データに基づいてマスクデータに対して、１つの分類データを付与する。マスクデータ分類設定部１２９は、特徴量データを用いてマスクデータを分類する。特徴量データ、特徴量データのうちの代表的な特徴量データを複数組み合わせて分類する。

マスクデータ分類設定部１２９は、形状認識処理部１２７により認識された特徴量データに対して、形状データベース２０ａから取得したある形状の特徴量データとマッチングさせて、当該マッチングに係る一致度が一定値以上である場合に、固有の分類データをマスクデータに設定する。
データ出力部１３０は、スキャナ部１１、外部記憶部１２、表示部１４、操作部１５、カメラ部１７、通信制御部１８、ネットワークＮにより構成され、マスクデータ分類設定部１２９によって設定されたカテゴリと、画像データ又は／及びマスクデータを出力する。
データ入力部１３１は、外部記憶部１２、記憶装置２０により構成され、学習フェーズで作成したｋ個の代表局所特徴量を外部記憶部１２から読み込む。

なお、特徴量抽出処理部１２６は、形状認識処理部１２７を有している。形状認識処理部１２７は、マスクデータに基づいて形状の特徴量を数値化することで、マスクデータに係る形状データについての特徴量データを認識する。
このように、マスクデータの形状を表す特徴量データを用いてマスクデータを分類することができ、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。
外形形状データは、特徴量データ、特徴量データのうちの代表的な特徴量データを複数組み合わせて構成されることを特徴とする。
これにより、特徴量データ、特徴量データのうちの代表的な特徴量データを複数組み合わせて、マスクデータを分類することができ、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。

形状認識処理部１２７は、特徴ベクトル化部１２８を有する。
特徴ベクトル化部１２８は、画像データから該画像データの検出対象となる領域の特徴となる１つの特徴ベクトルを算出する。詳しくは、特徴ベクトル化部１２８は、局所特徴量算出部１２８ａ、代表局所特徴量作成部１２８ｂ、最近傍代表局所特徴量選択部１２８ｃ、差分ベクトル和算出部１２８ｄ、差分ベクトル正規化部１２８ｅを備えている。
局所特徴量算出部１２８ａは、一般的によく知られているＳＵＲＦ法（ＳＵＲＦ：Speeded-Up Robust Features）やＳＩＦＴ法（ＳＩＦＴ：Scale Invariant Feature Transformation）などを用いて、画像データから代表される局所特徴量を算出する。

ここでは、スケール不変特徴変換（ＳＩＦＴ：Scale Invariant Feature Transformation）法を用いて特徴点抽出及び特徴量抽出を行なう際の方法について説明する。
この特徴点抽出処理においては、まず、画像データに含まれるノイズを取り除き、安定した特徴点を得るために、画像データにガウスフィルタを適用して平均化処理を行う。そして、ある周波数以上の成分をカットする処理を行う。また、ガウスフィルタを適用した画像データの二次微分を算出し、その極値を特徴点候補とする。さらに、ノイズに由来する特徴点を取り除くために、極値の絶対値が所定の閾値以上の点のみを特徴点として採用する。なお、特徴点候補を得るために二次微分を算出しているのは、均一な領域ではなく、変化があるエッジ部を画像データから抽出するためである。また、撮影において斜めから光源照射がなされたときにおいて、一定の傾きで変化する領域が画像データに生ずることがあるが、このような領域を特徴点候補としないためである。二次微分の算出は、具体的には、静脈画像データとガウス導関数の畳み込み積分により行われる。また、これにより特徴点の位置座標が取得される。

代表局所特徴量作成部１２８ｂは、算出された局所特徴量からｋ個の代表局所特徴量を作成する部分であり、作成方法としては、例えば、局所特徴量からＫ−ｍｅａｎｓ法で作成してもよいし、より計算量を減らすためにランダムにｋ個選択するという方法でもよい。
最近傍代表局所特徴量選択部１２８ｃは、処理対象となる１個の局所特徴量に最も近い代表局所特徴量を選択するものである。
差分ベクトル和算出部１２８ｄは、選択された代表局所特徴量と局所特徴量との差分ベクトルを求め、その差分ベクトルの代表局所特徴量毎の和として差分ベクトル和を求める。
差分ベクトル正規化部１２８ｅは、差分ベクトル和を当該差分ベクトル和の長さで割って正規化し、正規化差分ベクトル和を出力する。

以下、図１２、図１３を参照して、画像データのマスクデータに対応した画像データ部分のデータから特徴量を抽出するための限定的な領域、そして特徴量を抽出するための詳細について説明する。
まず、図１２を参照して、本発明の実施例１の局所特徴量から特徴量を抽出する処理（学習フェーズ）の流れについて説明する。図１２は、局所特徴量から特徴量を抽出する処理（学習フェーズ）のフローチャートである。
この学習フェーズは、色彩転写処理の実施に先立って、色彩転写処理に用いるマスクデータに係わる形状データベース１２０ａを作成するためにある。
まず、局所特徴量算出部１２８ａは、すべての訓練画像データについて画像データごとに複数の局所領域における局所特徴量を算出する（Ｓ１０１）。なお、ここの訓練画像データは、画像データのマスクデータに対応した画像データ部分のデータを指している。局所特徴量としては、例えばＳＵＲＦやＳＩＦＴ等が利用できる。

次いで、代表局所特徴量作成部１２８ｂは、算出された局所特徴量からｋ個の代表局所特徴量を作成する（Ｓ１０２）。なお、代表局所特徴量作成部１２８ｂにおける代表局所特徴量の作成方法としては、例えば、局所特徴量からＫ−ｍｅａｎｓ法で作成してもよいし、より計算量を減らすためにランダムにｋ個選択するという方法でもよい。
次いで、各訓練画像データに対して、以下の処理を行う。差分ベクトル和算出部１２８ｄは、代表局所特徴量毎の差分ベクトル和を０に初期化しておく（Ｓ１０３）。
処理対象の１枚の画像データに含まれる各局所特徴量について以下の処理を行う（Ｓ１０４）。

最近傍代表局所特徴量選択部１２８ｃは、処理対象となる１個の局所特徴量に最も近い代表局所特徴量を選択する（Ｓ１０５）。
差分ベクトル和算出部１２８ｄは、選択された代表局所特徴量と局所特徴量と差分ベクトルを求める（ステップＳ１０６）。
差分ベクトル和算出部１２８ｄは、差分ベクトルを代表局所特徴量毎の和に加える（Ｓ１０７）。
処理対象画像データに含まれる全ての局所特徴量について処理が完了したかを判定し、まだ処理すべき局所特徴量が残っていればステップＳ１０４に戻って処理を続行し、完了していればステップＳ１０９に進む（Ｓ１０８）。
差分ベクトル正規化部１２８ｅは、差分ベクトル和をその長さで割って正規化する（Ｓ１０９）。
特徴ベクトル化部１２８は、各代表局所特徴量に対する正規化された差分ベクトル和を並べて対象画像データの１個の特徴ベクトルとする（Ｓ１１０）。
全ての訓練画像データについて処理が完了したかを判定し、まだ処理すべき画像データが残っていればステップＳ１０３に戻って処理を続行し、完了していれば特徴ベクトル化の処理を終了する（Ｓ１１１）。

次に、図１３を参照して、本発明の第５実施形態における局所特徴量から特徴量を抽出する処理（運用フェーズ）の流れについて説明する。図１３は、局所特徴量から特徴量を抽出する処理（運用フェーズ）のフローチャートである。
この運用フェーズは、色彩転写処理の実施に先立って、入力された入力マスクデータ又は参照マスクデータから形状的な特徴量を抽出するためにある。
局所特徴量算出部１２８ａは、すべての入力画像データ（マスクデータ）について画像データごとに複数の局所領域における局所特徴量を算出する（Ｓ２０１）。なお、この入力画像データは、修正対象画像データのマスクデータに対応した画像データ部分のデータのことを指している。局所特徴量としては、例えばＳＵＲＦやＳＩＦＴ等が利用できる。
データ入力部１３１は、学習フェーズで作成したｋ個の代表局所特徴量を外部記憶部１２から読み込む（Ｓ２０２）。
次いで、差分ベクトル和算出部１２８ｄは、代表局所特徴量毎の差分ベクトル和を０に初期化しておく（ステップＳ２０３）。
次いで、処理対象の１枚の画像データに含まれる各局所特徴量について以下の処理を行う（ステップＳ２０４）。

次いで、最近傍代表局所特徴量選択部１２８ｃは、処理対象となる１個の局所特徴量に最も近い代表局所特徴量を選択する（ステップＳ２０５）。
次いで、差分ベクトル和算出部１２８ｄは、選択された代表局所特徴量と局所特徴量と差分ベクトルを求める（ステップＳ２０６）。
次いで、差分ベクトル和算出部１２８ｄは、差分ベクトルを代表局所特徴量毎の和に加算することで差分ベクトル和を求める（ステップＳ２０７）。
次いで、処理対象画像データに含まれる全ての局所特徴量について処理が完了したか否かを判定し、まだ処理すべき局所特徴量が残っていればステップＳ２０４に戻って処理を続行し、完了していればステップＳ３９に進む（ステップＳ２０８）。

次いで、差分ベクトル正規化部１２８ｅは、差分ベクトル和を当該差分ベクトル和の長さで除算して正規化し、正規化差分ベクトル和を出力する（ステップＳ２０９）。
次いで、特徴ベクトル化部１２８は、各代表局所特徴量に対する正規化差分ベクトル和を並べて対象画像データの１個の特徴ベクトルとする（ステップＳ２１０）。
次いで、全ての訓練画像データについて処理が完了したか否かを判定し、まだ処理すべき画像データが残っていればステップＳ２０３に戻って処理を続行し、完了していれば特徴ベクトル化の処理を終了する（ステップＳ２１１）。

次に、図１４を参照して、本発明の第５実施形態に係わる画像処理装置１００による特徴ベクトルの算出処理について説明する。
図１４（Ａ）は、学習フェーズにおける処理の流れを示す。ここで、局所特徴量算出部５ａは、訓練画像データ（ａ）から局所特徴量算出処理（ｂ）を行うことにより複数の局所領域における局所特徴量（ｃ）を算出する。
次いで、代表局所特徴量作成部５ｂは、局所特徴量（ｃ）から代表局所特徴量作成処理（ｄ）を行うことによりｋ個の代表局所特徴量（ｅ）を生成する。
図１４（Ｂ）は、学習フェーズまたは運用フェーズにおける処理の流れを示す。ここで、局所特徴量算出部５ａは、訓練画像データまたは入力画像データ（ａ）から局所特徴量算出処理（ｂ）を行うことにより複数の局所領域における局所特徴量（ｃ）を算出する。
次いで、差分ベクトル和算出部５ｄは、各局所特徴量（ｄ）について、最も近い代表局所特徴量との差分ベクトルを求めて和（ｅ）を取る。次いで、差分ベクトル正規化部５ｅは、差分ベクトル和（ｅ）を該差分ベクトル和の長さで除算して正規化（ｆ）し、正規化差分ベクトル和を出力する。各代表局所特徴量に対する正規化差分ベクトル和（ｇ）を並べて（ｈ）対象画像データの１個の特徴ベクトル（ｉ）を生成する。

本実施形態によれば、入力画像データと入力画像データのマスクデータ、参照画像データと参照画像データのマスクデータを使用して行う色彩転写処理において、ユーザが選択した選択領域（入力マスクデータ）についての分類を自動で行うことで、参照画像データベースＤＢの大量のデータから、その分類結果に一致するカテゴリに属するものを優先的にユーザに提示するなど、ユーザが参照画像データの選択時に掛かる負担を軽減することができる。
本実施形態によれば、作成済みであるが分類していない段階のマスクデータによって示される選択領域を自動でカテゴリ分類することによって、ユーザが参照画像データの選択時に掛かる負担を軽減することができる。

また、選択領域を自動でカテゴリ分類するときには、入力画像データとマスクデータを使用する。これによって、マスクデータによって選択領域の形状データを知ることができると共に、選択領域の色データ（輝度・彩度）が分類時に利用できる。
また、選択領域がわかるということは、マスクデータの選択領域を逆転させることで選択領域外部がわかることと同意であり、この情報も追加することで、選択領域の色データに限らず、選択領域外部の色データも利用することができるため、これらの情報が無い状態で画像データを分類することに比べ、精度のよい分類方法を実現することができる。
この自動分類処理を行うことで、参照画像データの選択時にかかる負担を軽減することができる。

＜本発明の実施態様例の構成、作用、効果＞
＜第１態様＞
本態様の画像処理装置１は、画像データを取得する入力画像データ／入力マスクデータ取得部２３と、画像データの少なくとも１部の領域（選択領域）を選択するためのマスクデータを取得する入力画像データ／入力マスクデータ取得部２３と、画像データにおける選択領域に基づいて、画像特徴データを抽出する選択領域画像データ分類部２７と、マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを予め記憶する外部記憶部１２（カテゴリ特徴データ記憶手段）と、画像特徴データ、及びカテゴリ特徴データに基づいて、入力画像データ／入力マスクデータ取得部２３により取得されたマスクデータを分類する選択領域画像データ分類部２７と、を備えることを特徴とする。
本態様によれば、画像データにおける選択領域に基づいて、画像特徴データを抽出しておき、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータを分類することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。

＜第２態様＞
本態様の選択領域画像データ作成部２５（抽出手段）は、画像特徴データとして、画像データにおける選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、画像データ全体の色データを抽出することを特徴とする。
本態様によれば、画像特徴データとして、画像データにおける選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、及び画像データ全体の色データを抽出することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。

＜第３態様＞
本態様の外部記憶部１２は、カテゴリ特徴データとして、マスクデータにより選択される選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、画像データ全体の色データを予め記憶することを特徴とする。
本態様によれば、カテゴリ特徴データとして、マスクデータにより選択される選択領域の外形形状データ、選択領域内部の色データ、選択領域外部の色データ、画像データ全体の色データを予め記憶しておくことで、カテゴリ特徴データに基づいてマスクデータを分類することができ、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。

＜第４態様＞
本態様の入力画像データ／入力マスクデータ取得部２３は、マスクデータの形状を表す外形形状データを認識する形状認識処理部１２７を備えることを特徴とする。
本態様によれば、マスクデータの形状を表す特徴量データを用いてマスクデータを分類することができ、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。

＜第５態様＞
本態様の外形形状データは、特徴量データ、特徴量データのうちの代表的な特徴量データを複数組み合わせて構成されることを特徴とする。
本態様によれば、特徴量データ、特徴量データのうちの代表的な特徴量データを複数組み合わせて、マスクデータを分類することができ、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。

＜第６態様＞
本態様の選択領域画像データ分類部２７は、選択領域の外形形状データと、外部記憶部１２（カテゴリ特徴データ記憶手段）から取得したあるカテゴリに係る特徴量データとをマッチングさせて、当該マッチングに係る類似度を算出することを特徴とする。
本態様によれば、選択領域の外形形状データと、カテゴリに係る特徴量データとをマッチングさせて、当該マッチングに係る類似度を算出することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。

＜第７態様＞
本態様の画像処理装置１は、画像データは、色彩転写処理に用いる色彩データの参照対象となる参照画像データ、又は／及び、前記色彩データの転写対象となる入力画像データ、であることを特徴とする。
本態様によれば、画像データは、色彩転写処理に用いる色彩データの参照対象となる参照画像データ、又は／及び、色彩データの転写対象となる入力画像データ、であることで、参照画像データ又は／及び、入力画像データの少なくとも１部の領域を選択するためのマスクデータを分類する際の操作負荷を軽減することができる。

＜第８態様＞
本態様の画像処理装置１は、選択領域画像データ分類部２７によるマスクデータの分類結果に基づいて、参照画像データの少なくとも１部の領域を選択するための第１のマスクデータと、入力画像データの少なくとも１部の領域を選択するための第２のマスクデータとが同一のカテゴリである場合に、第１のマスクデータと第２のマスクデータとを関連付けするＣＰＵ１０（ステップＳ４５）（関連付け手段）を備えることを特徴とする。
本態様によれば、カテゴリを分類した後の入力画像データのマスクデータと参照画像データのマスクデータとを関連付けすることで、更に操作負荷を軽減することができる。

＜第９態様＞
本態様の画像処理装置１による画像処理方法は、画像データを取得する画像データ取得ステップ（Ｓ５１）と、画像データの少なくとも１部の領域（選択領域）を選択するためのマスクデータを取得するマスクデータ取得ステップ（Ｓ５３）と、前記画像データにおける選択領域に基づいて、画像特徴データを抽出する抽出ステップ（Ｓ５７、Ｓ５９、Ｓ６１、Ｓ６３）と、マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを外部記憶部１２に予め記憶する記憶ステップ（Ｓ６５）と、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータ取得ステップ（Ｓ６５）により取得されたマスクデータを分類するマスクデータ分類ステップ（Ｓ６５、Ｓ６７）と、を実行することを特徴とする。
本態様によれば、画像データにおける選択領域に基づいて、画像特徴データを抽出しておき、画像特徴データ、及びカテゴリ特徴データに基づいて、マスクデータを分類することで、画像データの領域を選択するために用いるマスクデータを分類する際の操作負荷を軽減することができる。

＜第１０態様＞
本態様のプログラムは、第９態様に記載の各ステップをプロセッサに実行させることを特徴とする。
本態様によれば、各ステップをプロセッサに実行させることができる。

１…画像処理装置、１０…ＣＰＵ、１１…スキャナ部、１２…外部記憶部、１３…画像メモリ部、１４…表示部、１５…操作部、１６…画像処理部、１７…カメラ部、１８…通信制御部、１９…ディスク、２０…記憶装置、２０ａ…形状データベース、２３…入力画像データ／入力マスクデータ取得部、２５…選択領域画像データ作成部、２７…選択領域画像データ分類部、２９…参照画像データ表示部、３１…参照画像データ・参照マスク選択受付部、３３…色調補正処理部、３５…結果出力部、１２２…入力画像データ取得部、１２３…入力マスクデータ取得部、１２４…参照画像データ取得部、１２５…参照マスクデータ取得部、１２６…特徴量抽出処理部、１２７…形状認識処理部、１２８…特徴ベクトル化部、１２９…マスクデータ分類設定部、１３０…データ出力部、１３１…データ入力部

特開２００５−２３６４３２公報 特開２００３−０４３６６３公報 特開２０１１−１０３５６１公報 特開２０１３−１９６３０８公報

色彩転写処理 ｈｔｔｐｓ：／／ｓｎｓ．ｊ−ｓｏｆｔ．ｏｒｇ／９２０１０８／ｔｈｅｓｉｓ／１６６６ ｈｔｔｐ：／／ｗｗｗ．ｎｃｓ．ｃｏ．ｊｐ／ｔｅｃｈ／ｉｍａｃｈａｎｇｅｒ／Ｃｈａｐｔｅｒ２／ｉｍｃ２．ｈｔｍｌ ｈｔｔｐ：／／ｎｉｋｏｍａｔ．ｏｒｇ／ｐｒｉｖ／ｃａｍｅｒａ／ｃｏｌｏｒ／ｉｎｄｅｘ．ｈｔｍｌ 一般物体認識における機械学習の利用 ｈｔｔｐ：／／ｉｍｇ．ｃｓ．ｕｅｃ．ａｃ．ｊｐ／ｐｕｂ／ｃｏｎｆ１０／１００６１５ｙａｎａｉ＿７＿ｐｐｔ．ｐｄｆ デジタル画像データと定量化 ｈｔｔｐ：／／ｗｗｗ．ｒｉｋｅｎ．ｊｐ／ｂｒｉｃｔ／Ｙｏｓｈｉｚａｗａ／Ｌｅｃｔｕｒｅｓ／Ｋｙｕｕｓｙｕ／Ｌｅｃｔｕｒｅｓ２０１１＿０５．ｐｄｆ Ｃ言語で学ぶ実践画像処理 書誌、オーム社刊行

Claims (10)

1. 画像データを取得する画像データ取得手段と、
   前記画像データの少なくとも１部の領域を選択するためのマスクデータを取得するマスクデータ取得手段と、
   前記画像データにおける前記選択領域に基づいて、画像特徴データを抽出する抽出手段と、
   マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データを予め記憶するカテゴリ特徴データ記憶手段と、
   前記画像特徴データ、及び前記カテゴリ特徴データに基づいて、前記マスクデータ取得手段により取得されたマスクデータを分類するマスクデータ分類手段と、を備えることを特徴とする画像処理装置。
2. 前記抽出手段は、前記画像特徴データとして、前記画像データにおける前記選択領域の外形形状データ、前記選択領域内部の色データ、前記選択領域外部の色データ、前記画像データ全体の色データを抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記カテゴリ特徴データ記憶手段は、前記カテゴリ特徴データとして、マスクデータにより選択される選択領域の外形形状データ、前記選択領域内部の色データ、前記選択領域外部の色データ、前記画像データ全体の色データを予め記憶することを特徴とする請求項１に記載の画像処理装置。
4. 前記マスクデータ取得手段は、前記マスクデータの形状を表す外形形状データを認識する形状認識処理手段を備えることを特徴とする請求項１に記載の画像処理装置。
5. 前記外形形状データは、前記特徴量データ、前記特徴量データのうちの代表的な特徴量データを複数組み合わせて構成されることを特徴とする請求項４に記載の画像処理装置。
6. 前記マスクデータ分類手段は、
   前記選択領域の外形形状データと、前記カテゴリ特徴データ記憶手段から取得したあるカテゴリに係る特徴量データとをマッチングさせて、当該マッチングに係る類似度を算出することを特徴とする請求項２に記載の画像処理装置。
7. 前記画像データは、色彩転写処理に用いる色彩データの参照対象となる参照画像データ、又は／及び、前記色彩データの転写対象となる入力画像データ、であることを特徴とする請求項１乃至６の何れか１つに記載の画像処理装置。
8. 前記マスクデータ分類手段による前記マスクデータの分類結果に基づいて、前記参照画像データの少なくとも１部の領域を選択するための第１のマスクデータと、前記入力画像データの少なくとも１部の領域を選択するための第２のマスクデータとが同一のカテゴリである場合に、前記第１のマスクデータと前記第２のマスクデータとを関連付けする関連付け手段を備えることを特徴とする請求項７に記載の画像処理装置。
9. 請求項１乃至８の何れか１つに記載の画像処理装置による画像処理方法であって、
   画像データを取得する画像データ取得ステップと、
   前記画像データの少なくとも１部の領域を選択するためのマスクデータを取得するマスクデータ取得ステップと、
   前記画像データにおける前記選択領域に基づいて、画像特徴データを抽出する抽出ステップと、
   マスクデータを分類するためのカテゴリの特徴を表すカテゴリ特徴データをカテゴリ特徴データ記憶手段に予め記憶する記憶ステップと、
   前記画像特徴データ、及び前記カテゴリ特徴データに基づいて、前記マスクデータ取得手段により取得されたマスクデータを分類するマスクデータ分類ステップと、を実行することを特徴とする画像処理方法。
10. 請求項９に記載の各ステップをプロセッサに実行させることを特徴とするプログラム。

Images