JP2011133988A5

JP2011133988A5 -

Info

Publication number: JP2011133988A5
Application number: JP2009291129A
Authority: JP
Filing date: 2009-12-22
Publication date: 2012-12-27
Anticipated expiration: 2029-12-22

Description

表示制御部２１は、記憶部１４の人物相関データベース４１に記憶されているデータに基づき表示部１１の表示を制御する。人物相関データベース４１に記憶されるデータは、人物相関データ生成部２３により生成される。人物相関データ生成部２３は、グループ化部２５によるグループ化の結果や、顔クラスタリング部２６のクラスタリングの結果に基づいて、人物同士の相関に関するデータを生成する。グループ化部２５は、画像解析部２７の顔認識部３１による画像に写っている人物（顔）の認識結果に基づき、人物同士のグループを作成する。

ステップＳ１７において、タグが決定されると、その情報から人物相関データが生成され、人物相関データベース４１に記憶される（ステップＳ１８）。このようにして、人物相関データベース４１は生成される。この人物相関データベース４１のデータは、画像から抽出された人物同士が、どのような関係にあるかに関するデータである。

暫定近似直線は、次式（９）に基づいて算出される。
暫定近似曲線(interim-approxLine) l_interim ：ｙ＝ａｘ＋ｂ・・・（９）
式（９）における係数ａ、係数ｂは、それぞれ、式（５）、式（６）に基づいて算出される。ただし、ｎは、この場合、処理対象とされた画像内の「可」顔の数とされる。

このような状況の場合、ステップＳ１３３において、距離Ｌ１４１と距離Ｌ１４３との差分値が算出される。この差分値は、０もしくは、０に近い小さい値となる。よって、ステップＳ１３４において、差分値は、平均顔サイズよりも小さいと判断される。このような場合、「可」顔１４１乃至１４６は、１つのグループとされる。

ステップＳ１６１において、基準となる第１番目の顔が、画像内の全ての「可」顔の中から１つ選択される。この選択は、ステップＳ８１（図６、図７）の処理結果を用いて行われる。すなわちソートされた結果が用いられ、近似直線からの距離が小さい順に選択されることで行われる。後に、他の顔も順次、第１番目の顔とされるため、ステップＳ１６３において、全ての顔を第１番目の顔としたか否かが判断される処理がある。

一方、ステップＳ１６３において、全ての顔が第１番目の顔として処理が実行されたと判断された場合、ステップＳ１６４に処理が進められる。ステップＳ１６４において、ステップＳ１６３までの処理でグループが生成された場合、そのグループに関する情報として、グループ化に使用した近似直線が登録される。

ステップＳ１６３において、全ての顔を第１番目の顔としたか否かが判断される。このステップＳ１６３以降の処理は、既に説明したので、ここではその説明を省略する。ステップＳ１６４において、グループ化に使用した近似直線が登録されると、ステップＳ８４（図６）に処理が進められる。

一方、ステップＳ３３２において、近似直線を利用したグループがあると判断された場合、ステップＳ３３３に処理が進められる。ステップＳ３３３において、処理対象とされるグループが選択される。ステップＳ３３４において、選択されたグループ内に含まれる顔の平均顔サイズが算出される。そして、ステップＳ３３５において、グループ化されていない「可」顔または「未定」顔のうちの１つの顔が選択され、処理対象に設定される。

一方、ステップＳ３４２において、全てのグループ化されていない「可」顔および「未定」顔を処理対象としたと判断された場合、ステップＳ３４３に処理が進められる。ステップＳ３４３において、全てのグループ化に使用した近似直線を処理対象としたか否かが判断される。ステップＳ３４３において、全てのグループ化した近似直線（全てのグループ）を処理対象としていないと判断された場合、ステップＳ３４３に処理が戻され、まだ処理対象とされていないグループが選択され、ステップＳ３３４以降の処理が繰り返される。

ステップＳ３６２において、グループ化されてない「可」顔が２以上あるか否かが判断される。この“座標の平均からの距離を利用したグループ化の処理”は、“孤立顔の近似直線グループへの追加処理”（ステップＳ８４（図６））と異なり、「可」とのタグが付けられている「可」顔のみが処理対象とされ、「未定」とのタグが付けられた「未定」顔は、処理対象とされない。

例えば、集合候補Ｇｃに第１番目の顔のみが登録されている状態のときであれば、第１番目の顔と追加顔との座標の平均値が算出される（算出されている座標平均が用いられる）。そして、集合候補Ｇｃ内には、第１番目の顔のみが登録されている状態なので、第１番目の顔と座標平均との距離が求められ、その距離が、距離の総和とされる。

ステップＳ３８８において、集合Ｇは空であるか否かが判断される。ステップＳ３８８において、集合Ｇが空ではないと判断された場合、ステップＳ３８９に処理が進められる。ステップＳ３８９において、集合Ｇ内の顔の数の合計と、集合候補Ｇｃ内の顔の数の合計が比較され、集合候補Ｇｃ内の顔の数の合計の方が、集合Ｇ内の顔の数の合計よりも大きいか否かが判断される。

ステップＳ３８９において、集合候補Ｇｃ内の顔の数の合計の方が、集合Ｇ内の顔の数の合計よりも大きくはないと判断された場合、換言すれば、同数、またはそれ以下であると判断された場合、ステップＳ３９０に処理が進められる。ステップＳ３９０において、集合Ｇ内の顔の数の合計と、集合候補Ｇｃ内の顔の数の合計が、同数であり、座標平均と各顔の距離の総和は、集合候補Ｇｃの方が小さいか否かが判断される。

ステップＳ３９０において、集合Ｇ内の顔の数の合計と、集合候補Ｇｃ内の顔の数の合計が同数であり、座標平均と各顔の距離の総和は、集合候補Ｇｃの方が小さいと判断された場合、ステップＳ３９１に処理が進められる。ステップＳ３９１には、ステップＳ３８８において、集合Ｇは空ではないと判断された場合、またはステップＳ３８９において、集合候補Ｇｃ内の顔の数の合計の方が、集合Ｇ内の顔の数の合計よりも大きくないと判断された場合にもくる。

ステップＳ３６８における処理で、集合Ｇが新規グループとして追加されることにより、その追加される集合Ｇに含まれる「可」顔は、グループ化された「可」顔になるため、ステップＳ３６２以降の処理の対象とはされなくなる。その結果、ステップＳ３６２において、グループ化されていない「可」顔が２個以上ないと判断された場合、換言すれば、グループ化されていない「可」顔が、１個または０個であると判断された場合、図１７に示した“座標平均からの距離を利用したグループ化の処理”は終了され、ステップＳ８６（図６）に処理が進められる。

図６のフローチャートの説明に戻る。ステップＳ８５において、座標平均からの距離を利用したグループ化の処理が実行されることにより、グループ化されていない「可」顔の個数は、１個または０個となっている。１個の場合、まだグループ化されていない「可」顔が存在することになるため、ステップＳ８６において、単独で残った顔のグループ化の処理が実行される。この“単独で残った顔のグループ化の処理”とは、グループに含まれていない顔を処理対象として、単独で残った顔をグループとする処理であり、顔のサイズが、顔のサイズの平均値に対して一定値以上の大きさがある顔を１つのグループとする処理である。

「グループ化の処理における単独で残った顔のグループ化の処理」
ステップＳ８６において実行される単独で残った顔のグループ化の処理について、図１９のフローチャートを参照して説明する。ステップＳ４１１において、グループ化されてない「可」顔があるか否かが判断される。この“単独で残った顔のグループ化の処理”は、「可」とのタグが付けられている「可」顔のみが処理対象とされ、「未定」とのタグが付けられた「未定」顔は、処理対象とされない。また、仮にグループ化されていない「可」顔が１つであった場合も処理が実行される。

ステップＳ４１１において、グループ化されていない「可」顔はないと判断された場合、処理すべき「可」顔がないことを意味するため、図１９に示したフローチャートの処理は終了される。

一方で、ステップＳ８３乃至Ｓ８５の各処理が実行されたが、グループが１つも生成されなかった場合、全ての「可」顔のサイズの平均値が、ステップＳ４１３において用いられる平均顔サイズとされる。この場合、全ての「可」顔の個数は１個である。これは、上述したように、ステップＳ３６２（図１７）において、グループ化されていない「可」顔が２個以上ないと判断されたときに、ステップＳ８６に処理が進められ、このステップＳ４１３の処理が実行されるため、この時点で、全ての「可」顔の個数は１個である。

よって、グループが１つも生成されていない状態で、ステップＳ４１３の処理が実行されるときには、平均顔サイズとは、１個の「可」顔のサイズとされる。

ステップＳ８７の処理に関する説明の前に、ここまでの処理で作成されたグループについて、図２０を参照して説明する。図２０に示した処理対象とされた画像２０１には、顔２１１乃至２２７が撮像されている。図２０中、顔の周りの四角形は、抽出された顔の範囲を示している。顔２１１乃至顔２２０は、ほぼ直線上に並んでいるため、“近似直線を用いたグループ化の処理”（図６のステップＳ８３における処理）により、グループ化（グループＡとする）される。ただし、顔２１６は、“孤立顔の近似直線への追加処理”（図６のステップＳ８４の処理）によりグループＡに追加される。同様に、顔２２１乃至顔２２５も、ほぼ直線上に並んでいるため、近似直線を用いたグループ化の処理（図６のステップＳ８３における処理）により、グループ化（グループＢとする）される。

テーブル３２１を参照することで、“ATR_FRIENDS_GROUP_ADULT”とのタグ名は、“グループ化あり”であり、“人数＞2”かつ“ (ATR_MAN+ ATR_WOMAN) > Th2* ATR_CHILD”であるという条件が満たされるときのグループに対して付けられることがわかる。そして、これらの情報が満たされるとき、“ATR_FRIENDS_GROUP_ADULT”とのタグ名は、“友人３人以上（大人）”という意味であり、そのようなグループに対してはＩＤとして“３０”が付けられることが、テーブル３２２を参照することでわかる。

テーブル３２１を参照することで、“ATR_FRIENDS_GROUP_CHILD”とのタグ名は、“グループ化あり”であり、“人数＞2 ”かつ“ATR_CHILD > Th3* (ATR_MAN+ ATR_WOMAN)”であるという条件が満たされるときのグループに対して付けられることがわかる。そして、これらの情報が満たされるとき、“ATR_FRIENDS_GROUP_CHILD”とのタグ名は、“友人３人以上（子供）”という意味であり、そのようなグループに対してはＩＤとして“３１”が付けられることが、テーブル３２２を参照することでわかる。

テーブル３２１を参照することで、“ATR_WOMAN”とのタグ名は、“個人追加時”であり、“adult - baby > Th7 adult > Th8 gender < Th9”であるという条件が満たされるときのグループに対して付けられることがわかる。そして、これらの情報が満たされるとき、“ATR_WOMAN”とのタグ名は、“女性”という意味であり、そのようなグループに対してはＩＤとして“５２”が付けられることが、テーブル３２２を参照することでわかる。なお、Th7、Th8、Th9は、それぞれ所定の閾値である。

同様に、顔３６１と顔３６３は、第１階層と第２の階層にそれぞれ属するため、Ｎtreeは、“１”である。よって、このＮtree＝１を、式（１３）に代入すると、“１”というScoreｆが算出される。よって、顔３６１と顔３６３の距離スコアは、１である。図２６Ｃに示した表３９１では、顔ＩＤとして“３６１”と顔ＩＤとして“３６３”が交わる欄には、距離スコアとして“１”との数値が書き込まれる。また、顔３６１と顔３６３は、“友達”というタグが付けられているので、“Friend”とのタグ名が書き込まれている。

同様に、顔３６１と顔３６４は、第１階層と第３の階層にそれぞれ属するため、Ｎtreeは、“２”である。よって、このＮtree＝２を、式（１３）に代入すると、“０．５”というScoreｆが算出される。よって、顔３６１と顔３６４の距離スコアは、０．５である。図２６Ｃに示した表３９１では、顔ＩＤとして“３６１”と顔ＩＤとして“３６４”が交わる欄には、距離スコアとして“０．５”との数値が書き込まれる。また、顔３６１と顔３６４は、“友達”というタグが付けられているので、“Friend”とのタグ名が書き込まれている。

同様に、顔３６２と顔３６４は、第１階層と第３の階層にそれぞれ属するため、Ｎtreeは、“２”である。よって、このＮtree＝２を、式（１３）に代入すると、“０．５”というScoreｆが算出される。よって、顔３６２と顔３６４の距離スコアは、０．５である。図２６Ｃに示した表３９１では、顔ＩＤとして“３６２”と顔ＩＤとして“３６４”が交わる欄には、距離スコアとして“０．５”との数値が書き込まれる。また、顔３６２と顔３６４は、“友達”というタグが付けられているので、“Friend”とのタグ名が書き込まれている。

表４２１において、顔ＩＤとして“３６１”と顔ＩＤとして“３６４”が交わる欄には、親密度スコアとして“１”との数値が書き込まれ、“Friend”というタグが付けられている。これは、顔３６１と顔３６４の距離スコアは、表３９１では“０．５”であり、表４１１では“０．５”であるため、それらの値が加算された“１”が、親密度スコアとして表４２１に書き込まれるからである。また、顔３６１と顔３６４のタグは、表３９１、表４１１ともに“Friend”であるため、この１つのタグが表４２１に書き込まれるからである。

表４２１において、顔ＩＤとして“３６２”と顔ＩＤとして“３６３”が交わる欄には、親密度スコアとして“２”との数値が書き込まれ、“Friend”というタグが付けられている。これは、顔３６２と顔３６３の距離スコアは、表３９１では“１”であり、表４１１では“１”であるため、それらの値が加算された“２”が、親密度スコアとして表４２１に書き込まれるからである。また、顔３６２と顔３６３のタグは、表３９１、表４１１ともに“Friend”であるため、この１つのタグが表４２１に書き込まれるからである。

表４２１において、顔ＩＤとして“３６２”と顔ＩＤとして“３６４”が交わる欄には、親密度スコアとして“１．５”との数値が書き込まれ、“Friend”というタグが付けられている。これは、顔３６２と顔３６４の距離スコアは、表３９１では“０．５”であり、表４１１では“１”であるため、それらの値が加算された“１．５”が、親密度スコアとして表４２１に書き込まれるからである。また、顔３６２と顔３６４のタグは、表３９１、表４１１ともに“Friend”であるため、この１つのタグが表４２１に書き込まれるからである。

表４２１において、顔ＩＤとして“３６３”と顔ＩＤとして“３６４”が交わる欄には、親密度スコアとして“１．５”との数値が書き込まれ、“Friend”というタグが付けられている。これは、顔３６３と顔３６４の距離スコアは、表３９１では“１”であり、表４１１では“０．５”であるため、それらの値が加算された“１．５”が、親密度スコアとして表４２１に書き込まれるからである。また、顔３６３と顔３６４のタグは、表３９１、表４１１ともに“Friend”であるため、この１つのタグが表４２１に書き込まれるからである。

テーブル４５１は、タグ名と、そのタグ名が付けられているタグに乗算する係数が関連付けられて管理されているテーブルである。図２８に示したテーブル４５１を参照するに、“Couple”というタグ名には、“１．５”という係数が関連付けられている。“Parent Child”というタグ名には、“１．５”という係数が関連付けられている。“Family”というタグ名には、“１．２”という係数が関連付けられている。“Friend”というタグ名には、“１．０”という係数が関連付けられている。

顔画像６１１には、紐６２１と紐６２２が張られている。紐は、顔画像同士（人物同士）が何らかの関係があることを示す。また、親密度が高い顔画像同士の紐は短く、親密度が高くない顔同士の紐は長く表示されるようにしても良い。顔画像６１１と顔画像６１２との間には、紐６２１が張られ、その間柄を表すタグとして、タグ６４１が紐６２１の近傍に表示されている。このタグ６４１の情報は、データ５０３から抽出された情報である。具体的には、例えば、顔画像６１１の人物ＩＤが“００１”であり、顔画像６１２の人物ＩＤが“００２”である場合、データ５０３が参照されることで、タグが“Couple”であることがわかる。そしてこのタグの情報から、タグ６４１の画像が生成され、顔画像６１１と顔画像６１２との間に張られた紐６２１の近傍に表示される。

顔画像６１１と顔画像６１５の間には、紐６２５が張られ、その間柄を表すタグとして、“Parent”とのタグ６４４が紐６２５の近傍に表示されている。この場合、顔画像６１１の人物と、顔画像６１５の人物は、親子関係があることがわかり、かつ、その親子関係は、顔画像６１１の人物を中心として考えた場合、顔画像６１５の人物は親にあたることがわかる。すなわち、中心人物が、顔画像６１１の人物であるため、顔画像６１１の人物に対して、顔画像６１３の人物は子であり、顔画像６１５の人物は親となる。

このような状態から、撮影者が、さらに顔画像６１４から顔画像６１２の方にドラッグなどの所定の操作を実行すると、図３３に示すように、顔画像６１２と顔画像６１４との間に紐６２４が表示され、さらに“Friend”というタグ６４３も表示される。このように、撮影者は、顔画像にリンクを張りたいとき、ツール表示部６０２から所望の紐６６１乃至６６４を選択し、顔画像同士を接続するような所定の操作を実行することで、リンクを張ることが可能な構成とされている。

図３４に示したフローチャートは、図３１を参照して説明した紐の削除（リンクの削除）が行われたときに実行される処理について説明するためのフローチャートである。紐が削除される操作が実行されたと判断された場合、ステップＳ５１１において、２つの人物ＩＤをキーに、対応するデータが検索される。例えば、図３１に示した例では、顔画像６１２と顔画像６１４との間の紐６２４（タグ６４３）が削除される操作が実行されたときであるので、この顔画像６１２に対応する人物ＩＤと、顔画像６１４に対応する人物ＩＤとがキーにされる。

まず、図３７のフローチャートを参照して、個別の顔の追加処理について説明する。個別の顔の追加処理とは、例えば、相関画像表示部６０１内に表示されている同一の人物の顔画像が２以上表示されている場合、換言すれば、誤った判断により同一人物であるのに、異なる人物として処理されているような場合、ユーザにより同一の人物として扱われるように修正が入ったときの処理である。また、相関画像表示部６０１に表示されていないが、表示させたい顔（顔画像）があるときに、その顔が追加される処理でもある。

ステップＳ６０１において、ユーザにより指定された顔（顔画像）が、人物ＩＤを持つか否かが判断される。ステップＳ６０１において、ユーザにより指定された顔が人物ＩＤを持つと判断された場合、ステップＳ６０２に処理が進められる。ステップＳ６０２において、反映されている、元の人物ＩＤが存在するという情報が更新される。すなわち、ユーザにより指定された顔に対応する人物ＩＤに関する情報が更新される。

次に、図３８のフローチャートを参照して、人物間の追加処理について説明する。人物間の追加処理とは、人物間の関係性を１００％の精度で判定することはできない可能性であり、そのためにまずは、上記したようにして人物相関に関するデータを生成し、その後、ユーザにより関係の追加や誤判定の削除を行えるようにするための処理である。

ステップＳ５５１において、分離が指示された顔が人物ＩＤを持つか否かが判断される。ステップＳ６５１において、顔が人物ＩＤを持つと判断された場合、ステップＳ６５２に処理が進められる。ステップＳ６５２において、反映されている、元の人物ＩＤが存在するという情報が修正される。すなわち、ユーザにより指定された顔に対応する人物ＩＤに関する情報が修正される。

このようにして、顔の識別精度は１００％の制度ではないのが一般的であり、そのために、間違いが発生する可能性がある。そのような間違いをユーザにより訂正できることで、より精度の高い人物相関に関する情報を生成させることが可能となる。

すなわち、顔クラスタリング部２６は、まず、イベントクラスタリング部８０１の処理結果から、同一のイベントの画像の画像ＩＤを取得する。そして、顔クラスタリング部２６は、顔認識処理の結果から、イベント単位で該当する画像ＩＤの顔識別特徴量および顔ＩＤを取得し、顔識別特徴量同士の類似度を用いて同一イベント内の写真に写っている同一人物ごとにグルーピングを行なう。

このような処理が実行されることで、イベント毎に、画像毎に、人物が生成され、同一人物が同一人物として扱われる状態となる。そのような状態になると、ステップＳ８１０において、人物間の親密度の算出処理が実行される。このステップＳ８０８乃至Ｓ８１０の各処理は、図２に示したフローチャートのステップＳ１５乃至Ｓ１７の各処理と同様に行われ、その詳細な説明は既にしたので、ここではその説明を省略する。