JP2016051277A - 被写体検索装置、被写体検索方法、および被写体検索プログラム - Google Patents

Abstract

【課題】対象画像の被写体に類似する被写体を適切に検索することができる被写体検索装置を提供する。【解決手段】被写体を特定するための特徴量を画像から抽出する抽出部３０と、対象画像から抽出した特徴量に基づいて、対象画像とは異なる複数の画像の中から対象画像の被写体に類似する被写体を検索する被写体検索部３０と、を備えることを特徴とする被写体検索装置。【選択図】 図１

Description

本発明は、被写体検索装置、被写体検索方法、および被写体検索プログラムに関する。

従来より、対象画像の特徴量を抽出することで、対象画像以外の複数の画像の中から、対象画像に類似する画像を検索する技術が知られている（たとえば、特許文献１参照）。

特許第４８６７４２８号公報

しかしながら、従来技術は、対象画像全体の特徴量を抽出することで、画像全体で類似する画像を検索するものであるため、対象画像の被写体に類似する被写体を複数の画像の中から検索することができない場合があった。

本発明は、以下の解決手段によって上記課題を解決する。

[１]本発明に係る被写体検索装置は、被写体を特定するための特徴量を画像から抽出する抽出部と、対象画像から抽出した前記特徴量、前記対象画像とは異なる複数の画像の中から前記対象画像の被写体に類似する被写体を検索する被写体検索部と、を備えることを特徴とする。

[２]上記被写体検索装置に係る発明において、前記抽出部は、前記対象画像に２値化処理を施して２値化画像を生成し、生成した前記２値化画像にラベリング処理を施し、独立した画素のまとまりを示す島領域を特定し、前記島領域ごとに被写体らしさを示す評価値を算出し、算出した前記評価値に基づいて前記島領域について被写体らしさの順位付けを行うことで、前記島領域の中から前記対象画像の被写体に対応する被写体領域を検出し、前記被写体領域から抽出した特徴量を、前記特徴量として抽出するように構成することができる。

[３]上記被写体検索装置に係る発明において、前記被写体領域の面積と当該被写体領域の慣性モーメントとの比に基づいて、前記被写体らしさを示す評価値を算出し、前記評価値を含む特徴量を前記特徴量として抽出するように構成することができる。

[４]上記被写体検索装置に係る発明において、前記対象画像のうち前記被写体領域に対応する画像領域の画素平均値をマスク強度として算出し、前記マスク強度を含む特徴量を前記特徴量として抽出するように構成することができる。

[５] 上記被写体検索装置に係る発明において、前記抽出部は、前記被写体領域の慣性主軸周りの慣性モーメントと前記慣性主軸に直交する軸周りの慣性モーメントとの比を、慣性モーメント比として算出し、前記慣性モーメント比を含む特徴量を前記特徴量として抽出するように構成することができる。

[６] 上記被写体検索装置に係る発明において、前記抽出部は、前記対象画像のうち前記被写体領域に対応する画像領域の彩度平均値および色相平均値の少なくとも１つを算出し、前記彩度平均値および前記色相平均値のうち少なくとも１つを含む特徴量を前記特徴量として抽出するように構成することができる。

[７]本発明に係る被写体検索方法は、対象画像から被写体を特定するための特徴量を抽出する第１工程と、前記対象画像から抽出した前記特徴量に基づいて、前記対象画像とは異なる複数の画像の中から前記対象画像の被写体に類似する被写体を検索する第２工程と、を備えることを特徴とする。

[８]本発明に係る被写体検索プログラムは、対象画像から被写体を特定するための特徴量を抽出する抽出手順と、前記対象画像から抽出した前記特徴量に基づいて、前記対象画像とは異なる複数の画像の中から前記対象画像の被写体に類似する被写体を検索する検索手順と、を備えることを特徴とする。

本発明によれば、対象画像の被写体に類似する被写体を適切に検索することができる。

図１は、本実施形態に係る被写体検索装置を示すブロック図である。 図２は、本実施形態に係る被写体検索処理を示すフローチャートである。 図３は、対象画像の一例を示す図である。 図４は、ステップＳ１０２の主要被写体検出処理を示すフローチャートである。 図５は、図３に示す対象画像の差分画像の一例を示す図である。 図６は、図５に示す差分画像の２値化画像の一例を示す図である。 図７は、ステップＳ２０６の特徴量算出処理を示すフローチャートである。 図８は、ラベリング処理後の２値化画像の一例を示す図である。 図９は、第１島領域および第２島領域の一例を示す図である。 図１０は、ステップＳ１０３の類似被写体検索処理を示すフローチャートである。 図１１は、対象画像と検索画像の一例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

図１は、本実施形態に係る被写体検索装置の構成を示すブロック図である。本実施形態に係る被写体検索装置１は、パーソナルコンピューター、タブレット、スマートフォンなどに搭載され、複数の画像の中から、ユーザが選択した対象画像の主要被写体に類似する被写体を検索する機能を有する。図１に示すように、本実施形態に係る被写体検索装置１は、入力部１０、記憶部２０、被写体検索部３０、および表示部４０を有する。

入力部１０は、タッチパネル、マウス、キーボードなどのユーザが操作可能な部材であり、ユーザにより操作されることで、ユーザの指示情報を入力する。本実施形態において、ユーザは、入力部１０を操作することで、たとえば被写体検索処理の実行指示や対象画像の選択などを行うことができる。入力部１０により入力されたユーザの指示情報は、被写体検索部３０に送信される。

記憶部２０は、複数の画像データを記憶する記憶媒体である。なお、記憶部２０に記憶されている画像データは、ＲＧＢ表色系で表される画像データとして記憶されている。

被写体検索部３０は、ＣＰＵ、メモリ、およびその他の周辺回路により構成される。本実施形態において、被写体検索部３０は、入力部１０から入力されたユーザの指示情報に基づいて、記憶部２０に記憶されている複数の検索画像の中からユーザが選択した対象画像に類似する被写体を検索する被写体検索処理を実行する。なお、被写体検索部３０による被写体検索方法の詳細については後述する。

表示部４０は、たとえばディスプレイや液晶モニタであり、記憶部２０に記憶されている画像データのサムネイル画像や、被写体検索処理で検索された被写体が撮像されている検索画像などを表示する。

続いて、図２を参照して、本実施形態に係る被写体検索処理について説明する。以下においては、記憶部２０に記憶されている複数の検索画像の中から、図３に示す対象画像の被写体に類似する被写体を検索する場面を例示して説明する。

まず、ステップＳ１０１では、被写体検索部３０により、ユーザが被写体検索処理の実行を指示したか否かの判断が行われる。たとえば、被写体検索部３０は、ユーザが入力部１０を介して被写体検索処理の実行指示を入力した場合に、ユーザが被写体検索処理の実行を指示したものと判断することができる。ユーザが被写体検索処理の実行を指示したと判断した場合には、ステップＳ１０２に進み、一方、ユーザが被写体検索処理の実行を指示していないと判断した場合には、ステップＳ１０１で待機する。なお、以下においては、ユーザが図３に示す対象画像を指定して、被写体検索処理の実行を指示したものとして説明する。

ステップＳ１０２では、被写体検索部３０により、対象画像内の主要被写体を検出する主要被写体検出処理が行われる。ここで、図４は、ステップＳ１０２に示す主要被写体検出処理を示すフローチャートである。以下において、図４を参照して、ステップＳ１０２の主要被写体検出処理を説明する。

まず、ステップＳ２０１では、被写体検索部３０により、ユーザに選択された対象画像の画像データが取得される。そして、ステップＳ２０２では、被写体検索部３０により、ステップＳ２０１で取得された対象画像の画像データをＹＣｂＣｒ形式の画像データに変換する色空間変換処理が行われる。

すなわち、本実施形態では、記憶部２０に記憶されている画像データはＲＧＢ表色系で表される画像データであるため、被写体検索部３０は、ＲＧＢ表色系で表される対象画像の画像データを、下記式（１）〜（３）に基づいて、ＹＣｂＣｒ色空間における輝度成分（Ｙ成分）からなる輝度画像の画像データと、色差成分（Ｃｂ成分、Ｃｒ成分）とからなる色差画像の画像データとに変換する。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ…（１）
Ｃｂ＝−０．１６９Ｒ−０．３３２Ｇ＋０．５０００Ｂ…（２）
Ｃｒ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ…（３）

なお、以下においては、上記式（１）に基づいて生成されたＹ成分からなる輝度画像をＹプレーン画像、上記式（２）に基づいて生成されたＣｂ成分からなる色差画像をＣｂプレーン画像、上記式（３）に基づいて生成されたＣｒ成分からなる色差画像をＣｒプレーン画像として説明する。

ステップＳ２０３では、被写体検索部３０により、基準濃度画像の生成が行われる。具体的には、被写体検索部３０は、ステップＳ２０２で生成されたＹプレーン画像の画素値の平均値を求め、Ｙプレーン画像の全ての画素の画素値をＹプレーン画像の画素値の平均値とした一様の画像を、Ｙプレーン画像の基準濃度画像として生成する。同様に、被写体検索部３０は、全ての画素の画素値をＣｂプレーン画像の画素値の平均値とした一様の画像を、Ｃｂプレーン画像の基準濃度画像として生成し、全ての画素の画素値をＣｒプレーン画像の画素値の平均値とした一様の画像を、Ｃｒプレーン画像の基準濃度画像として生成する。なお、以下においては、説明の便宜のため、Ｙプレーン画像の基準濃度画像を「Ｙ基準濃度画像」、Ｃｂプレーン画像の基準濃度画像を「Ｃｂ基準濃度画像」、Ｃｒプレーン画像の基準濃度画像を「Ｃｒ基準濃度画像」と称する。

ステップＳ２０４では、被写体検索部３０により、差分画像の生成が行われる。ここで、図５は、差分画像の一例を示す図である。後述するように、本実施形態において、被写体検索部３０は、ステップＳ２０２で生成されたＹプレーン画像、Ｃｂプレーン画像、およびＣｒプレーン画像のそれぞれについて、正負２つの差分画像を生成する。すなわち、被写体検索部３０は、Ｙプレーン画像の正側差分画像、Ｃｂプレーン画像の正側差分画像、Ｃｒプレーン画像の正側差分画像、Ｙプレーン画像の負側差分画像、Ｃｂプレーン画像の負側差分画像、およびＣｒプレーン画像の負側差分画像の６つの差分画像を生成する。

なお、以下においては、Ｙプレーン画像の正側差分画像、Ｃｂプレーン画像の正側差分画像、およびＣｒプレーン画像の正側差分画像をまとめて単に「正側差分画像」ともいい、Ｙプレーン画像の負側差分画像、Ｃｂプレーン画像の負側差分画像、およびＣｒプレーン画像の負側差分画像をまとめて単に「負側差分画像」ともいう。さらに、「正側差分画像」および「負側差分画像」をまとめて単に「差分画像」ともいう。

まず、正側差分画像の生成方法について説明する。被写体検索部３０は、まず、ステップＳ２０２で生成されたＹプレーン画像と、ステップＳ２０３で生成されたＹ基準濃度画像との差分を求めることで、暫定差分画像（Ｙプレーン画像−Ｙ基準濃度画像）を生成する。この暫定差分画像（Ｙプレーン画像−Ｙ基準濃度画像）では、Ｙプレーン画像の画素値がＹ基準濃度画像の値を上回る箇所において画素値は正の値を示し、Ｙプレーン画像の画素値がＹ基準濃度画像の値を下回る箇所において画素値は負の値を示す。被写体検索部３０は、この暫定差分画像（Ｙプレーン画像−Ｙ基準濃度画像）において負の値を示す画素の画素値をゼロに置換することで、図５（ａ）に示すように、Ｙプレーン画像の正側差分画像を生成する。

たとえば、Ｙ基準濃度画像の画素値が１１８であり、Ｙプレーン画像の画素Ａの画素値が１５０、Ｙプレーン画像の画素Ｂの画素値が９０である場合、被写体検索部３０は、画素Ａの画素値を３２、画素Ｂの画素値を−２８として、暫定差分画像（Ｙプレーン画像−Ｙ基準濃度画像）を生成する。さらに、被写体検索部３０は、画素Ｂの画素値は負の値であるため、暫定差分画像における画素Ｂの画素値をゼロに置換することで、Ｙプレーン画像の正側差分画像を生成する。

同様に、被写体検索部３０は、Ｃｂプレーン画像の正側差分画像およびＣｒプレーン画像の正側差分画像を生成する。具体的には、被写体検索部３０は、Ｃｂプレーン画像とＣｂ基準濃度画像との差分を求めることで、暫定差分画像（Ｃｂプレーン画像−Ｃｂ基準濃度画像）を生成し、生成した暫定差分画像（Ｃｂプレーン画像−Ｃｂ基準濃度画像）において負の値を示す画素の画素値をゼロに置換することで、図５（ｂ）に示すように、Ｃｂプレーン画像の正側差分画像を生成する。同様に、被写体検索部３０は、Ｃｒプレーン画像とＣｒ基準濃度画像との差分を求めることで、暫定差分画像（Ｃｒプレーン画像−Ｃｒ基準濃度画像）を生成し、生成した暫定差分画像（Ｃｒプレーン画像−Ｃｒ基準濃度画像）において負の値を示す画素の画素値をゼロに置換することで、図５（ｃ）に示すように、Ｃｒプレーン画像の正側差分画像を生成する。

このように、正側差分画像では、プレーン画像の画素値が基準濃度画像の画素値（すなわちプレーン画像の画素平均値）を上回る箇所において階調が保持されるとともに、正側差分画像の画素値の大きさが基準濃度画像の画素値（すなわちプレーン画像の画素平均値）からの乖離度合いを示すこととなる。なお、図５（ａ）〜（ｃ）では、正側差分画像において画素値が正の値を示す画素（すなわち、プレーン画像の画素値が平均値を上回る箇所）を黒色以外の色で表示するとともに、正側差分画像において画素値が大きい画素ほど白色に近い色で表示している。

次に、負側差分画像の生成方法について説明する。被写体検索部３０は、まず、ステップＳ２０３で生成されたＹ基準濃度画像と、ステップＳ２０２で生成されたＹプレーン画像との差分を求めることで、暫定差分画像（Ｙ基準濃度画像−Ｙプレーン画像）を生成する。この暫定差分画像（Ｙ基準濃度画像−Ｙプレーン画像）では、Ｙプレーン画像の画素値がＹ基準濃度画像の値を上回る箇所で画素値は負の値を示し、Ｙプレーン画像の画素値がＹ基準濃度画像の値を下回る箇所で画素値は正の値を示す。被写体検索部３０は、この暫定差分画像（Ｙ基準濃度画像−Ｙプレーン画像）において、負の値を示す画素をゼロ値に置換することで、図５（ｄ）に示すように、Ｙプレーン画像の負側差分画像を生成する。

同様に、被写体検索部３０は、Ｃｂプレーン画像の負側差分画像と、Ｃｒプレーン画像の負側差分画像とを生成する。具体的には、被写体検索部３０は、Ｃｂ基準濃度画像とＣｂプレーン画像との差分を求めることで、暫定差分画像（Ｃｂ基準濃度画像−Ｃｂプレーン画像）を生成し、生成した暫定差分画像（Ｃｂ基準濃度画像−Ｃｂプレーン画像）において負の値を示す画素の画素値をゼロに置換することで、図５（ｅ）に示すように、Ｃｂプレーン画像の負側差分画像を生成する。同様に、被写体検索部３０は、Ｃｒ基準濃度画像とＣｒプレーン画像との差分に基づいて、暫定差分画像（Ｃｒ基準濃度画像−Ｃｒプレーン画像）を生成し、生成した暫定差分画像（Ｃｒ基準濃度画像−Ｃｒプレーン画像）において負の値を示す画素の画素値をゼロに置換することで、図５（ｆ）に示すように、Ｃｒプレーン画像の負側差分画像を生成する。

このように、負側差分画像では、プレーン画像の画素値が基準濃度画像の画素値（すなわちプレーン画像の画素平均値）を下回る箇所において階調が保持されるとともに、負側差分画像の画素値の大きさが、基準濃度画像の画素値（すなわちプレーン画像の画素平均値）からの乖離度合いを示すこととなる。なお、図５（ｄ）〜（ｆ）に示す例では、負側差分画像の画素値が正の値を示す画素（プレーン画像の画素値が平均値を下回る箇所）を黒色以外の色で表示するとともに、負側差分画像において画素値が大きい画素ほど白色に近い色で表示している。

ステップＳ２０５では、被写体検索部３０により、ステップＳ２０４で生成された差分画像に基づいて、２値化画像の生成が行われる。具体的には、被写体検索部３０は、Ｙプレーン画像に基づく正側差分画像の各画素の画素値と所定の判定閾値Ｙ１とをそれぞれ比較し、画素値が判定閾値Ｙ１以上である画素（以下、白画素ともいう。）と、画素値が判定閾値Ｙ１未満である画素（以下、黒画素ともいう。）とを分けることで、図６（ａ）に示すように、Ｙプレーン画像の正側２値化画像を生成する。なお、図６（ａ）は、図５（ａ）に示すＹプレーン画像の正側差分画像に基づいて生成された、Ｙプレーン画像の正側２値化画像の一例を示す図である。

同様に、被写体検索部３０は、図５（ｂ）に示すＣｂプレーン画像の正側差分画像の各画素の画素値と所定の判定閾値Ｃｂ１とをそれぞれ比較することで、図６（ｂ）に示すように、Ｃｂプレーン画像の正側２値化画像を生成し、図５（ｃ）に示すＣｒプレーン画像の正側差分画像の各画素の画素値と所定の判定閾値Ｃｒ１とをそれぞれ比較することで、図６（ｃ）に示すように、Ｃｒプレーン画像の正側２値化画像を生成する。

さらに、被写体検索部３０は、図５（ｄ）に示すＹプレーン画像の負側差分画像の各画素の画素値と所定の判定閾値Ｙ２とをそれぞれ比較することで、図６（ｄ）に示すように、Ｙプレーン画像の負側２値化画像を生成し、図５（ｅ）に示すＣｂプレーン画像の負側差分画像の各画素の画素値と所定の判定閾値Ｃｂ２とをそれぞれ比較することで、図６（ｅ）に示すように、Ｃｂプレーン画像に基づく負側２値化画像を生成し、図５（ｆ）に示すＣｒプレーン画像の負側差分画像の各画素の画素値と所定の判定閾値Ｃｒ２とをそれぞれ比較することで、図６（ｆ）に示すように、Ｃｒプレーン画像の負側２値化画像を生成する。

なお、上述した判定閾値Ｙ１，Ｙ２，Ｃｂ１，Ｃｂ２，Ｃｒ１，Ｃｒ２は、特に限定されず、適宜設定することができる。たとえば、判別分析法を用いて各差分画像の画素値から判定閾値を動的に決定してもよいし、あるいは、各差分画像の画素値の標準偏差σを求め、標準偏差の２σまたは３σに相当する値を判定閾値として設定してもよい。さらに、各差分画素の画素値の平均値をＡｖｅ、標準偏差をσとした場合に、「Ａｖｅ＋α・σ」、「Ａｖｅ＋σ」、または「Ａｖｅ−β・σ」で表される値を判定閾値として設定してもよい。なお、α，βは所定の係数である。

なお、以下においては、Ｙプレーン画像の正側２値化画像、Ｃｂプレーン画像の正側２値化画像、Ｃｒプレーン画像の正側２値化画像、Ｙプレーン画像の負側２値化画像、Ｃｂプレーン画像の負側２値化画像、Ｃｒプレーン画像の負側２値化画像をまとめて単に「２値化画像」ともいう。

ステップＳ２０６では、被写体検索部３０により、対象画像内の主要被写体を検出し、検出した主要被写体の特徴量を算出する特徴量算出処理が行われる。ここで、図７は、ステップＳ２０６の特徴量算出処理を示すフローチャートである。以下に、図７を参照して、ステップＳ２０６の特徴量算出処理を説明する。

まず、ステップＳ３０１では、被写体検索部３０により、ステップＳ２０５で生成された各２値化画像に対してラベリング処理が行われる。ここで、図８（ａ）〜（ｆ）は、ラベリング処理後の２値化画像の一例を示す図であり、図６（ａ）〜（ｆ）に示す２値化画像にそれぞれ対応する。

具体的には、被写体検索部３０は、まず、図６（ａ）〜（ｆ）に示す２値化画像において、白色で示す白画素（画素値が判定閾値以上の画素）が互いに隣接する一まとまりの画素領域と、黒色で示す黒画素（画素値が判定閾値未満の画素）が互いに隣接する一まとまりの画素領域とをそれぞれラベリング領域として抽出する。なお、図８中においては、図６において白色で示した白画素が互いに隣接するラベリング領域を白色またはグレーで示しており、また、図６において黒色で示した黒画素が互いに隣接するラベリング領域を黒色で示している。

そして、被写体検索部３０は、抽出したラベリング領域のうち白画素からなるラベリング領域を、主要被写体に対応する可能性がある領域と判断し、島領域として検出する。なお、被写体検索部３０は、白画素からなるラベリング領域を島領域として検出する場合に、以下に説明するように、主要被写体に対応する領域であるか否かをさらに判断する構成とすることができる。

たとえば、被写体検索部３０は、白画素からなる島領域であっても、２値化画像の総面積に対して６０％以上の面積となる島領域や、２値化画像の総面積に対して１％以下となる島領域は、主要被写体に対応する領域である可能性は低いものと判断し、被写体候補から除外する構成とすることができる。また、被写体検索部３０は、白画素からなる島領域であっても、画像の左端または右端にかかる島領域は、主要被写体に対応する領域である可能性は低いものと判断し、被写体候補から除外する構成とすることもできる。

さらに、被写体検索部３０は、白画素からなる島領域を囲むように矩形領域を設定し、当該矩形領域内で白画素が占める面積比や当該矩形領域の縦横比を用いて、白画素からなる島領域が、主要被写体に対応する領域であるか否かをさらに判断する構成としてもよい。たとえば、被写体検索部３０は、矩形領域内で白画素が占める面積比を示す値が所定の閾値（例えば０．２）以下である島領域を被写体候補から除外することができる。これにより、被写体として通常ありえない凹凸や空洞部分のある島領域が被写体候補から除外される。また、たとえば、被写体検索部３０は、矩形領域の縦横比を示す値が所定の範囲（たとえば０．２以上５未満）に含まれる島領域を被写体候補から除外することができる。これにより、被写体としてありえない細長い島領域を被写体候補から除外することができる。

このように、被写体検索部３０は、白画素からなる島領域のうち主要被写体に対応する可能性が低い領域を被写体候補から除外し、残った島領域を被写体候補の島領域として判断する。なお、このように主要被写体に対応する可能性が低い島領域を被写体候補から除外した場合、以下のステップＳ３０２〜Ｓ３０４においては、被写体候補として残った島領域を用いて処理が行われることとなる。なお、図８（ａ）〜（ｆ）においては、被写体候補として残った島領域を白色で示し、被写体候補から除外された島領域をグレーで示している。

ステップＳ３０２では、被写体検索部３０により、ステップＳ３０１で検出された島領域の慣性モーメントが算出される。具体的には、被写体検索部３０は、ステップＳ３０１で検出された島領域の重心点を求め、求めた重心点を基準として島領域の慣性モーメントＭＯＩを算出する。

たとえば、被写体検索部３０は、島領域の各画素について、重心点からの距離を求め、重心点からの距離の２乗に各画素の画素値を積算した値を島領域ごとに合計することで、島領域の慣性モーメントＭＯＩを島領域ごとに算出することができる。この場合、重心点から離れた画素が多いほど、島領域の慣性モーメントは大きくなる。また、被写体検索部３０は、島領域の各画素について、画面中心からの距離を求めることで、画面中心周りの慣性モーメントを算出する構成としてもよい。

ステップＳ３０３では、被写体検索部３０により、ステップＳ３０２で算出された慣性モーメントＭＯＩを用いて、島領域ごとに、被写体らしさを示す評価値の算出が行われる。被写体らしさを示す評価値の算出方法は、特に限定されないが、たとえば、被写体検索部３０は、下記式（４）に基づいて、被写体らしさを示す評価値Ｅｖを算出することができる。
Ｅｖ＝Ａｒ＾γ／ＭＯＩ ・・・（４）
なお、上記式（４）において、「Ａｒ」は島領域の面積であり、「ＭＯＩ」はステップＳ３０２で算出された島領域の慣性モーメントである。また、上記式（４）において、γはチューニングパラメータとしての係数である。このように、評価値Ｅｖは、島領域の面積Ａｒが大きくなるほど大きな値となり、島領域の慣性モーメントＭＯＩが大きくなるほど小さな値となる。

ステップＳ３０４では、被写体検索部３０により、ステップＳ３０１で検出された島領域のうち、主要被写体に対応する領域が被写体領域として検出される。具体的には、被写体検索部３０は、まず、ステップＳ３０３で算出された島領域の評価値に基づいて、ステップＳ２０５で生成された複数の２値化画像の中から、被写体領域を検出するための２値化画像を選択する。より具体的には、被写体検索部３０は、評価値が最も高い島領域が検出された２値化画像を、被写体領域を検出するための２値化画像として選択する。

ここで、図９（ａ）〜（ｆ）は、各２値化画像における島領域の一例を示す図であり、図８（ａ）〜（ｆ）に示す２値化画像にそれぞれ対応するものである。また、図９（ａ）〜（ｆ）では、各２値化画像において被写体候補として残された島領域のうち、評価値が上から２番目までの島領域を示している。以下、各２値化画像において、評価値が１番目に高い島領域を第１島領域（図９中、濃いグレーで示す。）といい、評価値が２番目に高い島領域を第２島領域（図９中、薄いグレーで示す。）という。

図９（ｃ），（ｅ）に示す２値化画像では、被写体候補として残された島領域が１つのため、第１島領域のみが示されている。また、図９（ｂ），（ｆ）に示す２値化画像では、被写体候補として残された島領域がないため、島領域は示されていない。さらに、図９（ａ），（ｄ）に示す２値化画像では、被写体候補として残された島領域が２つ以上あるため、評価値が１番目に高い島領域が第１島領域として、評価値が２番目に高い島領域が第２島領域として示されている。

図９に示す例では、図９（ｃ）に示すＣｒプレーン画像の正側２値化画像における第１島領域が、全ての２値化画像内の島領域の中で評価値が最も高く、図９（ｅ）に示すＣｂプレーン画像の正側２値化画像における第１島領域が、全ての２値化画像内の島領域の中で２番目に評価値が高く、図９（ａ）に示すＹプレーン画像の正側２値化画像における第１島領域が、全ての２値化画像内の島領域の中で３番目に評価値が高い。この場合、被写体検索部３０は、図９（ｃ）に示すＣｒプレーン画像の正側２値化画像を、被写体領域を検出するための２値化画像として選択する。

そして、被写体検索部３０は、被写体領域を検出するために選択した２値化画像に含まれる第１島領域を被写体領域として検出する。たとえば、図９に示す例では、図９（ｃ）に示すＣｒプレーン画像の正側２値化画像が被写体領域を検出するための２値化画像として選択されているため、図９（ｃ）に示す第１島領域、すなわち、図３に示す対象画像のうち花部分に対応する画像が主要被写体に対応する被写体領域として検出されることとなる。なお、被写体検索部３０は、第１島領域を被写体領域として検出してもよいし、あるいは、選択された２値化画像に第１島領域と第２島領域とが存在する場合には、第１島領域および第２島領域を被写体領域として検出する構成としてもよい。

図７に戻り、ステップＳ３０５では、被写体検索部３０により、主要被写体のマスク強度が算出される。具体的には、被写体検索部３０は、被写体領域が検出された２値化画像に対応するプレーン画像のうち、被写体領域に対応する画像領域の画素値の平均値を、主要被写体のマスク強度として算出する。たとえば、図９に示す例では、Ｃｒプレーン画像の正側２値化画像における第１島領域が被写体領域として検出されているため、被写体検索部３０は、Ｃｒプレーン画像のうち、図９（ｃ）の第１島領域に対応する画像領域の画素値の平均値を、主要被写体のマスク強度として算出する。

さらに、ステップＳ３０６では、被写体検索部３０により、主要被写体の慣性モーメント比の算出が行われる。具体的には、被写体検索部３０は、被写体領域における慣性主軸周りの慣性モーメントを主軸慣性モーメントとして算出するとともに、被写体領域の重心点において慣性主軸と直交する軸周りの慣性モーメントを副軸慣性モーメントとして算出する。そして、被写体検索部３０は、主軸慣性モーメントと副軸慣性モーメントとの比を、主要被写体の慣性モーメント比として算出する。たとえば、図９に示す例において、被写体検索部３０は、図９（ｃ）の第１島領域の主軸慣性モーメントと副軸慣性モーメントとの比を、主要被写体の慣性モーメント比として算出する。

ステップＳ３０７では、被写体検索部３０により、彩度平均値および色相平均値の算出が行われる。たとえば、被写体検索部３０は、対象画像のうち被写体領域に対応する画像領域の彩度および色相の平均値を、彩度平均値および色相平均値としてそれぞれ算出することができる。たとえば、図９に示す例において、被写体検索部３０は、図３に示す対象画像のうち、図９（ｃ）に示す第１島領域に対応する画像領域、すなわち花部分の彩度および色相の平均値を、彩度平均値および色相平均値としてそれぞれ算出することができる。

そして、ステップＳ３０８では、被写体検索部３０により、対象画像における主要被写体の特徴量の算出が行われる。具体的には、被写体検索部３０は、ステップＳ３０３で算出した「評価値」と、ステップＳ３０５で算出した「マスク強度」と、ステップＳ３０６で算出した「慣性モーメント比」と、ステップＳ３０７で算出した「彩度平均値」および「色相平均値」とをそれぞれ正規化し、正規化した各値を主要被写体の特徴量としてそれぞれ算出する。

たとえば、被写体検索部３０は、過去に対象画像について算出した「評価値」、「マスク強度」、「慣性モーメント比」、「彩度平均値」、および「色相平均値」を記憶しておき、これらの標準偏差σの３倍の値をそれぞれの値に対する正規化係数として算出することができる。そして、被写体検索部３０は、今回処理において算出した「評価値」、「マスク強度」、「慣性モーメント比」、「彩度平均値」、および「色相平均値」を、それぞれの正規化係数で割ることで、「評価値」、「マスク強度」、「慣性モーメント比」、「彩度平均値」、および「色相平均値」を正規化することができる。そして、このように正規化した各値を、対象画像における主要被写体の特徴量として算出することができる。

このようにして、図７に示すステップＳ２０６の特徴量算出処理が行われる。そして、図４に戻り、続くステップＳ２０７では、被写体検索部３０により、被写体領域が検出された２値化画像の画像番号の取得が行われる。本実施形態では、図９に示すように、それぞれの２値化画像に対して所定の画像番号が割り当てられている。たとえば、本実施形態では、Ｙプレーン画像の正側２値化画像には１番が、Ｃｂプレーン画像の正側２値化画像には２番が、Ｃｒプレーン画像の正側２値化画像には３番が、Ｙプレーン画像の負側２値化画像には４番が、Ｃｂプレーン画像の負側２値化画像には５番が、Ｃｒプレーン画像の負側２値化画像には６番が予め割り当てられている。そのため、たとえば図９に示す例においては、被写体検索部３０は、被写体領域が検出された２値化画像の番号として、Ｃｒプレーン画像の正側２値化画像の画像番号である「３番」を取得する。

このように、ステップＳ１０２の主要被写体検出処理が行われる。なお、ステップＳ２０６で算出された主要被写体の特徴量、およびステップＳ２０７で取得された画像番号は、対象画像に関連付けられて記憶部２０に記憶されることとなる。

図２に戻り、ステップＳ１０３では、被写体検索部３０により、ステップＳ１０２で検出された対象画像の主要被写体の特徴量に基づいて、記憶部２０に記憶されている複数の検索画像の中から、対象画像の被写体に類似する被写体を検索するための類似被写体検索処理が行われる。ここで、図１０は、ステップＳ１０３に示す類似被写体検索処理を示すフローチャートである。以下に、図１０を参照して、ステップＳ１０３の類似被写体検索処理について説明する。

まず、ステップＳ４０１では、被写体検索部３０により、対象画像の主要被写体の特徴量と、主要被写体が検出された２値化画像の画像番号の取得が行われる。

そして、ステップＳ４０２では、被写体検索部３０により、ステップＳ１０２において被写体領域が検出された２値化画像と同様の２値化画像となるように、各検索画像が２値化画像に変換される。たとえば、図９に示す例では、Ｃｒプレーン画像の正側２値化画像において被写体領域が検出されているため、ステップＳ４０１において、被写体検索部３０は、Ｃｒプレーン画像の正側２値化画像の画像番号である「３番」を取得する。この場合、被写体検索部３０は、主要被写体が検出された２値化画像の画像番号「３番」に基づいて、Ｃｒプレーン画像の正側２値化画像において被写体領域が検出されたものと判断し、記憶部２０に記憶されている各検索画像を、Ｃｒプレーン画像の正側２値化画像に変換する。

次いで、ステップＳ４０３では、被写体検索部３０により、それぞれの検索画像について、主要被写体の特徴量が算出される。具体的には、被写体検索部３０は、ステップＳ３０２で生成された検索画像の２値化画像に対して、図９に示す特徴量算出処理を行うことで、検索画像における主要被写体の特徴量を算出する。これにより、対象画像と同様に、各検索画像においても、正規化された「評価値」、「マスク強度」、「慣性モーメント比」、「彩度平均値」、および「色相平均値」が、主要被写体の特徴量として算出される。

ステップＳ４０４では、被写体検索部３０により、ステップＳ２０６で算出された対象画像における主要被写体の特徴量と、ステップＳ４０３で算出された検索画像における主要被写体の特徴量とが比較され、この比較結果に基づいて、検索画像ごとに、検索画像が対象画像に類似している度合いが類似度として算出される。なお、類似度の算出方法は特に限定されないが、一例として、被写体検索部３０は、以下のように、類似度を算出することができる。

たとえば、被写体検索部３０は、各特徴量の差、すなわち、正規化された対象画像の主要被写体の「評価値」と検索画像の主要被写体の「評価値」との差ｄ１、正規化された対象画像の主要被写体の「マスク強度」と検索画像の主要被写体の「マスク強度」との差ｄ２、正規化された対象画像の主要被写体の「慣性モーメント比」と検索画像の主要被写体の「慣性モーメント比」との差ｄ３、正規化された対象画像の主要被写体の「彩度平均値」と検索画像の主要被写体の「彩度平均値」との差ｄ４、および、正規化された対象画像の主要被写体の「色相平均値」と検索画像の主要被写体の「色相平均値」との差ｄ５をそれぞれ算出する。そして、被写体検索部３０は、「評価値」の差ｄ１と、「マスク強度」の差ｄ２と、「慣性モーメント比」の差ｄ３と、「彩度平均値」の差ｄ４と、「色相平均値」の差ｄ５とを合計した値を、類似度として算出することができる。すなわち、被写体検索部３０は、対象画像と検索画像との「評価値」、「マスク強度」、「慣性モーメント比」、「彩度平均値」および「色相平均値」の差を、各々の正規化係数を用いて正規化したものの和を、類似度として算出する。この場合、類似度は、対象画像における主要被写体と検索画像における主要被写体とが類似するほど小さい値となる。言い換えると、類似度が小さいほど、検索画像の主要被写体は対象画像の主要被写体に類似すると判断することができる。

図１１は類似度を説明するための図であり、図１１（ａ）は対象画像の一例を示し、図１１（ｂ）〜（ｅ）は検索画像の一例を示している。図１１では、図１１（ｂ）〜（ｅ）で示す検索画像ごとに、図１１（ａ）で示す対象画像に対する類似度を表示している。また、図１１（ａ），（ｃ）〜（ｅ）では、特徴量を算出する際に検出された被写体領域を枠線で表示している。

図１１（ａ）に示す対象画像は、図３に示す対象画像と同じ画像であり、上述したように、Ｃｒプレーン画像の２値化画像において被写体領域が検出されたものである。そのため、図１１（ｂ）〜（ｅ）に示す検索画像は、ステップＳ４０２において、Ｃｒプレーン画像の正側２値化画像に変換され、主要被写体の特徴量が算出されることとなる。

ここで、図１１（ｂ）に示す検索画像は、山の風景を撮影した画像であり、全体的にＣｂ成分（青系統の色差成分）が強い一方、Ｃｒ成分（赤系統の色差成分）は弱くなっている。また、図１１（ｂ）に示す検索画像は、山に対応する画像領域は広く、また、画像の端部にかかっているため、被写体らしさの評価値も低くなる（なお、この点は、Ｙプレーン画像、Ｃｂプレーン画像であったとしても、被写体らしさの評価値は低くなる）。そのため、図１１（ｂ）に示す例では、Ｃｒプレーン画像の正側２値化画像から被写体領域を検出できず、主要被写体の特徴量が検出されないため、類似度は計測不能として算出される。

また、図１１（ｃ）に示す検索画像は、水族館内での撮像画像であり、画像下部の見学者の一部が主要被写体として検出されている。しかしながら、図１１（ｃ）に示す検索画像では、主要被写体（見学者）の位置や色合いなどが、対象画像の主要被写体（花）とは大きく異なるため、類似度は図１１（ｃ）〜（ｅ）の中で最も高くなっている（最も類似していない）。

また、図１１（ｄ）に示す検索画像は、リンゴを撮影した撮像画像であり、画面右上のリンゴが主要被写体として検出されている。また、図１１（ｅ）に示す検索画像は、対象画像と同じ花を別の構図で撮影した撮像画像であり、対象画像と同様に花が主要被写体として検出される。図１１（ｄ）に示す検索画像と図１１（ｅ）に示す検索画像とでは、図１１（ｅ）に示す検索画像の方が主要被写体の色合いや形状が対象画像に類似しているため、図１１（ｅ）に示す検索画像の類似度が最も低く（最も類似しているとして）算出される。

そして、ステップＳ４０５では、被写体検索部３０により、ステップＳ４０４で算出された類似度のうち類似度が最も低い検索画像の主要被写体が、対象画像の主要被写体に類似する被写体として検出される。たとえば、図１１に示す例では、図１１（ｂ）〜（ｅ）に示す検索画像のうち図１１（ｅ）に示す検索画像の類似度が最も低いため、図１１（ｅ）に示す検索画像の主要被写体が対象画像の主要被写体に類似する被写体として検出される。

そして、図２に戻り、ステップＳ１０４では、被写体検索部３０により、ステップＳ１０３で検出された被写体の画像データが表示部４０に送信され、表示部４０によりユーザに提示される。これにより、ユーザは対象画像の主要被写体に類似する被写体を確認することができる。

以上のように、本実施形態では、対象画像および検索画像から主要被写体を特定するための複数の特徴量を検出し、これら複数の特徴量に基づいて、対象画像における主要被写体の特徴量と、検索画像における主要被写体の特徴量とを算出する。そして、対象画像における主要被写体の特徴量と検索画像における主要被写体の特徴量とを比較することで、検索画像の中から、対象画像の主要被写体に類似する被写体を検索する。これにより、本実施形態では、対象画像の主要被写体に類似する被写体を適切に検索することができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

たとえば、上述した実施形態では、図４に示す主要被写体検出処理および図１０に示す類似被写体検索処理を被写体検索装置１で行う構成を例示したが、この構成に限定されず、たとえば、図示しないカメラにおいて、撮像した撮像画像に対して、図４に示す主要被写体検出処理を行い、算出した主要被写体の特徴量を撮像画像ととともに被写体検索装置１に送信することで、被写体検索装置１において、図１０に示す類似被写体検索処理を行う構成とすることができる。また、図示しないカメラにおいて抽出した主要被写体の特徴量を、図示しないサーバに送信し、サーバにおいて、サーバに記憶されている複数の検索画像の中から撮像画像の主要被写体に類似する被写体を検索し、カメラまたはパソコンにおいて、検索した被写体を表示する構成とすることもできる。

また、上述した実施形態では、対象画像および検索画像から被写体領域を検出する場合に、プレーン画像と基準濃度画像との差分を求めることで差分画像を生成し、差分画像の画素値を２値化することで２値化画像を生成する構成を例示したが、この構成に限定されず、たとえば、プレーン画像の画素値を２値化することで２値化画像を生成する構成としてもよい。

さらに、上述した実施の形態では、ＲＧＢ表色系で表された画像データをＹＣｂＣｒ形式に変換し、主要被写体の特徴量を求める構成を例示したが、画像データのデータ形式は特に限定されず、主要被写体の特徴量が得られるように、適宜、画像データの色空間処理を行うことで、主要被写体の特徴量を求めることができる。

また、上述した実施形態では、主要被写体を特定するための特徴量として、「評価値」、「マスク強度」、「慣性モーメント比」、「彩度平均値」、および「色相平均値」を抽出し、これらの特徴量に基づいて主要被写体の特徴量を算出する構成を例示したが、この構成に限定されず、「評価値」、「マスク強度」、「慣性モーメント比」、「彩度平均値」、および「色相平均値」のうち１以上の特徴量に基づいて主要被写体の特徴量を算出する構成とすることができる。

１…被写体検索装置
１０…入力部
２０…記憶部
３０…被写体検索部
４０…表示部

Claims (8)

1. 被写体を特定するための特徴量を画像から抽出する抽出部と、
   対象画像から抽出した前記特徴量に基づいて、前記対象画像とは異なる複数の画像の中から前記対象画像の被写体に類似する被写体を検索する被写体検索部と、を備えることを特徴とする被写体検索装置。
2. 請求項１に記載の被写体検索装置において、
   前記抽出部は、
   前記対象画像に２値化処理を施して２値化画像を生成し、生成した前記２値化画像にラベリング処理を施し、独立した画素のまとまりを示す島領域を特定し、前記島領域ごとに被写体らしさを示す評価値を算出し、算出した前記評価値に基づいて前記島領域について被写体らしさの順位付けを行うことで、前記島領域の中から前記対象画像の被写体に対応する被写体領域を検出し、
   前記被写体領域から抽出した特徴量を、前記特徴量として抽出することを特徴とする被写体検索装置。
3. 請求項２に記載の被写体検索装置において、
   前記抽出部は、前記被写体領域の面積と当該被写体領域の慣性モーメントとの比に基づいて、前記被写体らしさを示す評価値を算出し、前記評価値を含む特徴量を前記特徴量として抽出することを特徴とする被写体検索装置。
4. 請求項２または３に記載の被写体検索装置であって、
   前記抽出部は、前記対象画像のうち前記被写体領域に対応する画像領域の画素平均値をマスク強度として算出し、前記マスク強度を含む特徴量を前記特徴量として抽出することを特徴とする被写体検索装置。
5. 請求項２〜４のいずれかに記載の被写体検索装置であって、
   前記抽出部は、前記被写体領域の慣性主軸周りの慣性モーメントと、前記慣性主軸に直交する軸周りの慣性モーメントとの比を、慣性モーメント比として算出し、前記慣性モーメント比を含む特徴量を前記特徴量として抽出することを特徴とする被写体検索装置。
6. 請求項２〜５のいずれかに記載の被写体検索装置であって、
   前記抽出部は、前記対象画像のうち前記被写体領域に対応する画像領域の彩度平均値および色相平均値の少なくとも１つを算出し、前記彩度平均値および前記色相平均値のうち少なくとも１つを含む特徴量を前記特徴量として抽出することを特徴とする被写体検索装置。
7. 対象画像から被写体を特定するための特徴量を抽出する第１工程と、
   前記対象画像から抽出した前記特徴量に基づいて、前記対象画像とは異なる複数の画像の中から前記対象画像の被写体に類似する被写体を検索する第２工程と、備えることを特徴とする被写体検索方法。
8. 対象画像から被写体を特定するための特徴量を抽出する抽出手順と、
   前記対象画像から抽出した前記特徴量に基づいて、前記対象画像とは異なる複数の画像の中から前記対象画像の被写体に類似する被写体を検索する検索手順と、を備えることを特徴とする被写体検索プログラム。