JP2018081597A - 属性判定方法、属性判定装置及びコンピュータプログラム - Google Patents
属性判定方法、属性判定装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2018081597A JP2018081597A JP2016224582A JP2016224582A JP2018081597A JP 2018081597 A JP2018081597 A JP 2018081597A JP 2016224582 A JP2016224582 A JP 2016224582A JP 2016224582 A JP2016224582 A JP 2016224582A JP 2018081597 A JP2018081597 A JP 2018081597A
- Authority
- JP
- Japan
- Prior art keywords
- attribute
- reliability
- occurrence
- attribute determination
- attributes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】対象物の属性の判定精度を向上させること。【解決手段】複数の学習用画像から得られる複数の属性の共起の度合いを表す第1の関係値を算出する算出ステップと、対象物が撮像された画像から得られる特徴量に基づいて、対象物に関する属性の信頼性の高さを表す信頼度を取得する信頼度取得ステップと、関係値と、信頼度とに基づいて対象物の属性を判定する属性判定ステップと、を有する属性判定方法。【選択図】図1
Description
本発明は、画像中の対象物の属性を判定する技術に関する。
従来、図5に示すように、学習用画像から特徴量を抽出し(ステップS301)、抽出した特徴量を用いて各属性に関する特徴量を学習し、SVM(Support Vector Machine)等の各属性に対する識別器を作成し(ステップS302)、入力された画像(以下「入力画像」という。)に対象物の属性が存在するか否かを判定していた(ステップS303)(例えば、非特許文献1及び2参照)。
S. Miura, K. Aizawa, "snapper : Fashion Coordinate Image Retrieval using Fashion Snap Photos", 情報科学技術フォーラム講演論文集, 12(3), p.151-152, 2013.
S. Liu, J. Feng, Z. Song, T. Zhang, H. Lu, C. Xu, S. Yan, "Hi, Magic Closet, Tell Me What to Wear!", Area Chair: Chong-Wah Ngo, pp.619−628.
しかしながら、類似した特徴量をもつ属性が複数ある場合、単一の識別器による判定では判定精度が低下してしまうという問題があった。例えば、ファッションアイテムにおける柄属性の判定において、小さい花柄と水玉等のように特徴量が類似する場合には判定精度が低下する。このような問題は、特に低解像の画像において顕著な問題である。
上記事情に鑑み、本発明は、対象物の属性の判定精度を向上させる技術の提供を目的としている。
本発明の一態様は、複数の学習用画像から得られる複数の属性の共起の度合いを表す第1の関係値を算出する算出ステップと、対象物が撮像された画像から得られる特徴量に基づいて、前記対象物に関する属性の信頼性の高さを表す信頼度を取得する信頼度取得ステップと、前記第1の関係値と、前記信頼度とに基づいて前記対象物の属性を判定する属性判定ステップと、を有する属性判定方法である。
本発明の一態様は、上記の属性判定方法であって、前記信頼度取得ステップにおいて、階層間の属性の共起の度合いを表す第2の関係値をさらに算出し、前記属性判定ステップにおいて、各階層における属性の信頼度と、前記第1の関係値と、前記第2の関係値とを用いて前記対象物の属性を判定する。
本発明の一態様は、上記の属性判定方法であって、前記算出ステップにおいて、時代毎、季節毎、年代毎及び地域毎のいずれか又は全てで関係値を算出する。
本発明の一態様は、複数の学習用画像から得られる複数の属性の共起関係の度合いを表す関係値を算出する算出部と、対象物が撮像された画像から得られる特徴量に基づいて、前記対象物に関する属性の信頼性の高さを表す信頼度を取得する信頼度取得部と、前記関係値と、前記信頼度とに基づいて前記対象物の属性を判定する属性判定部と、を備える属性判定装置である。
本発明の一態様は、上記の属性判定方法をコンピュータに実行させるためのコンピュータプログラムである。
本発明により、対象物の属性の判定精度を向上させることが可能となる。
以下、本発明の一実施形態を、図面を参照しながら説明する。
図1は、本実施形態における属性判定装置10の機能構成を表す概略ブロック図である。本実施形態における属性判定装置10は、パーソナルコンピュータ等の情報処理装置を用いて構成される。属性判定装置10は、入力された画像に撮像されている対象物の属性を判定する。本実施形態において対象物とは、画像に撮像されている人物が着用している衣類(例えば、トップス、ボトムス等)である。本実施形態では、衣類としてトップスを例に説明する。
図1は、本実施形態における属性判定装置10の機能構成を表す概略ブロック図である。本実施形態における属性判定装置10は、パーソナルコンピュータ等の情報処理装置を用いて構成される。属性判定装置10は、入力された画像に撮像されている対象物の属性を判定する。本実施形態において対象物とは、画像に撮像されている人物が着用している衣類(例えば、トップス、ボトムス等)である。本実施形態では、衣類としてトップスを例に説明する。
また、本実施形態において属性とは、例えば衣類の柄、衣類の色、トップスの首回りデザイン及び丈の種類を表す。衣類の柄の種類は、例えば、花柄、ボーダ及び無地等である。衣類の色の種類は、例えば、赤、青及び黄色等である。トップスの首回りデザインの種類は、例えば、丸首、Vネック及び襟あり等である。丈の種類は、例えば、ショート丈、ロング丈及びスタンダード等である。
属性判定装置10は、作成モードと、属性判定モードの2つのモードを備える。作成モードは、学習用画像を用いて、属性判定モードで使用するデータベースを作成するモードである。属性判定モードは、作成モードで作成されたデータベースを用いて、属性の判定対象となる画像(以下「対象画像」という。)に撮像されている対象物の属性を判定するモードである。属性判定装置10は、各モードをユーザの操作に応じて切り替える。
次に、属性判定装置10の構成について説明する。属性判定装置10は、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備え、属性判定プログラムを実行する。属性判定プログラムの実行によって、属性判定装置10は、画像入力部101、共起DB作成部102、共起DB記憶部103、特徴量抽出部104、信頼度取得部105、属性判定部106を備える装置として機能する。なお、属性判定装置10の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。また、属性判定プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、属性判定プログラムは、電気通信回線を介して送受信されてもよい。
画像入力部101は、属性判定装置10に対して入力される画像のデータを受け付ける。画像入力部101は、例えば学習用画像及び対象画像のデータを受け付ける。画像入力部101は、CD−ROMやUSBメモリ(Universal Serial Bus Memory)等の記録媒体に記録された画像のデータを読み出してもよい。また、画像入力部101は、スチルカメラやビデオカメラによって撮像された画像を、カメラから受信しても良い。また、画像入力部101は、ネットワークを介して他の情報処理装置から画像のデータを受信してもよい。画像入力部101は、画像のデータの入力を受けることが可能な構成であれば、さらに異なる態様で構成されてもよい。
画像入力部101は、自装置のモードが作成モードである場合には入力された画像を学習用画像として共起DB作成部102に出力し、自装置のモードが属性判定モードである場合には入力された画像を対象画像として特徴量抽出部104に出力する。
共起DB作成部102は、画像入力部101から出力された学習用画像を入力とする。共起DB作成部102は、入力された学習用画像に基づいて、共起DB(Data base)を作成する。共起DBは、属性間の共起の度合いに関する情報が記録されたデータベースである。属性間の共起の度合いとは、ある属性と他の属性とのつながりの高さを表す。属性間の共起の度合いが高いほど、ある属性と他の属性とのつながりが高いことを表す。
共起DB作成部102は、画像入力部101から出力された学習用画像を入力とする。共起DB作成部102は、入力された学習用画像に基づいて、共起DB(Data base)を作成する。共起DBは、属性間の共起の度合いに関する情報が記録されたデータベースである。属性間の共起の度合いとは、ある属性と他の属性とのつながりの高さを表す。属性間の共起の度合いが高いほど、ある属性と他の属性とのつながりが高いことを表す。
共起DB記憶部103は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。データベースを記憶している。共起DB記憶部103は、共起DB作成部102によって作成された共起DBを記憶する。
特徴量抽出部104は、画像入力部101から出力された対象画像を入力とする。特徴量抽出部104は、入力された対象画像から特徴量を抽出する。特徴量は、例えばBOF(Bag Of Features)、DCNN(Deep Convolutional Neural Network)等が用いられる。
特徴量抽出部104は、画像入力部101から出力された対象画像を入力とする。特徴量抽出部104は、入力された対象画像から特徴量を抽出する。特徴量は、例えばBOF(Bag Of Features)、DCNN(Deep Convolutional Neural Network)等が用いられる。
信頼度取得部105は、特徴量抽出部104によって抽出された特徴量に基づいて、属性の信頼性の高さを表す信頼度を取得する。
属性判定部106は、信頼度取得部105によって取得された信頼度と、共起DB記憶部103に記憶されている共起DBとに基づいて、対象物の属性を判定する。
属性判定部106は、信頼度取得部105によって取得された信頼度と、共起DB記憶部103に記憶されている共起DBとに基づいて、対象物の属性を判定する。
図2は、属性判定装置10による共起DB作成処理の流れを示すフローチャートである。共起DB作成処理は、属性判定装置10が作成モードである場合に実行される。
共起DB作成部102は、画像入力部101から出力された学習用画像から属性を抽出する(ステップS101)。共起DB作成部102は、ステップS101の処理を入力された学習用画像分実行する。次に、共起DB作成部102は、抽出した属性に基づいて、属性同士の共起の度合いを式1に示すGoogle Distanceに基づいて算出する。
共起DB作成部102は、画像入力部101から出力された学習用画像から属性を抽出する(ステップS101)。共起DB作成部102は、ステップS101の処理を入力された学習用画像分実行する。次に、共起DB作成部102は、抽出した属性に基づいて、属性同士の共起の度合いを式1に示すGoogle Distanceに基づいて算出する。
上記式1において、kipは、属性のグループiのp番目の属性を指し、kirは属性のグループiの属性のうちp番目の属性を除いた属性、Nは学習用画像の総数であり、Nkip(iとpはkの下付き)は属性kipが付与されている画像数、Nkjq(jとqはkの下付き)は属性kjqが付与されている画像数、Nkip,kjq(iとpはkの下付き、jとqはkの下付き)は(kip,kjq)の両方の属性が付与されている画像数である。なお、Google Distanceとして、例えば参考文献1に記載された技術が用いられてもよい。ここで、属性のグループとは柄、首回りデザイン、丈等を指し、例えば、k11は柄グループの花柄、k12は柄グループのボーダ柄、k21は首回りデザインの丸首、k22は首回りデザイングループのVネック、k31は丈グループのショート丈、k32は丈グループのロング丈であることを示す。
(参考文献1:R. L. Cilibrasi and P. M.B. Vitanyi,“The Google Similarity Distance”, IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, VOL.19, NO 3, pp. 370−383 (2007).)
(参考文献1:R. L. Cilibrasi and P. M.B. Vitanyi,“The Google Similarity Distance”, IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, VOL.19, NO 3, pp. 370−383 (2007).)
共起DB作成部102は、ステップS102の処理を各属性間で実行する。なお、共起DB作成部102は、同一グループの属性同士に関する共起の度合いは0とする。具体的には、トップスの柄グループであれば花柄とボーダ等、トップスの首回りデザイングループであれば丸首とVネック等、丈グループであればショート丈とロング丈等の属性の共起の度合いはそれぞれ0としてもよい。共起DB作成部102は、上記式1によって算出した属性同士の共起の度合いを表す値(以下「関係値」という。)を、各属性と対応付けて記録することによって共起DBを作成する(ステップS102)。
図3は、共起DBの一例を示す図である。
図3に示される例では、共起DBには、属性同士の組み合わせ(例えば、属性“トップスの柄”、“トップスの首回りデザイン”、“トップスの丈”と、“トップスの柄”、“トップスの首回りデザイン”、“トップスの丈”との組み合わせ)毎に、共起DB作成部102によって算出された関係値が示されている。例えば、図3に示す共起DBでは、ある衣類に対して、トップスの柄“花柄”とトップスの首回りデザイン“丸首”との関係値が0.2であることが示されており、トップスの柄“花柄”とトップスの首回りデザイン“Vネック”との関係値が0.7であることが示されており、トップスの柄“花柄”とトップスの首回りデザイン“襟あり”との関係値が0.1であることが示されている。すなわち、トップスの柄が“花柄”である場合には、トップスの首回りデザインが“Vネック”である可能性が最も高いことが示されている。
図3に示される例では、共起DBには、属性同士の組み合わせ(例えば、属性“トップスの柄”、“トップスの首回りデザイン”、“トップスの丈”と、“トップスの柄”、“トップスの首回りデザイン”、“トップスの丈”との組み合わせ)毎に、共起DB作成部102によって算出された関係値が示されている。例えば、図3に示す共起DBでは、ある衣類に対して、トップスの柄“花柄”とトップスの首回りデザイン“丸首”との関係値が0.2であることが示されており、トップスの柄“花柄”とトップスの首回りデザイン“Vネック”との関係値が0.7であることが示されており、トップスの柄“花柄”とトップスの首回りデザイン“襟あり”との関係値が0.1であることが示されている。すなわち、トップスの柄が“花柄”である場合には、トップスの首回りデザインが“Vネック”である可能性が最も高いことが示されている。
図4は、属性判定装置10による属性判定処理の流れを示すフローチャートである。属性判定処理は、属性判定装置10が属性判定モードである場合に実行される。
画像入力部101は、画像を入力する(ステップS201)。画像入力部101は、自装置のモードが属性判定モードであるため、入力された画像を対象画像として特徴量抽出部104に出力する。特徴量抽出部104は、画像入力部101から出力された対象画像から特徴量を抽出する(ステップS202)。特徴量抽出部104は、抽出した特徴量を信頼度取得部105に出力する。
画像入力部101は、画像を入力する(ステップS201)。画像入力部101は、自装置のモードが属性判定モードであるため、入力された画像を対象画像として特徴量抽出部104に出力する。特徴量抽出部104は、画像入力部101から出力された対象画像から特徴量を抽出する(ステップS202)。特徴量抽出部104は、抽出した特徴量を信頼度取得部105に出力する。
信頼度取得部105は、特徴量抽出部104から出力された特徴量を入力とする。信頼度取得部105は、入力された特徴量に基づいて、複数の属性の信頼度を取得する(ステップS203)。具体的には、信頼度取得部105は、確率推定付のSVMを用いて取得された確率値を、複数の属性に対する信頼度として取得する。確率推定付のSVMとして、例えば参考文献2に記載された技術が用いられてもよい。なお、SVMは、学習用画像によって作成される。
(参考文献2:T.-F. Wu, C.-J. Lin, and R. C. Weng, “Probability Estimates for Multi-class Classification by Pairwise Coupling”, JMLR, 2004.)
(参考文献2:T.-F. Wu, C.-J. Lin, and R. C. Weng, “Probability Estimates for Multi-class Classification by Pairwise Coupling”, JMLR, 2004.)
信頼度取得部105は、取得した複数の属性に対する信頼度を属性判定部106に出力する。属性判定部106は、信頼度取得部105から出力された複数の属性に対する信頼度と、共起DBとに基づいて、対象物の属性を判定する(ステップS204)。具体的には、属性判定部106は、各属性に対する信頼度Sと、共起DBに記録されている関係値Rから下記式2の評価値Tを最大にする組み合わせを選択する。グループiから選択されたpi番目の属性kipiの組み合わせをGとおく。評価値Tを最大にする属性の組み合わせGを選択する。
上記式2において、αとβは係数であり、経験的あるいは学習によって重みを決定してもよい。なお、係数βは、関係が強いとあらかじめわかっているグループ同士の関係値における係数は大きい値を付与するなど、関係値毎に係数を決定してもよい。また、式2におけるkipiの添え字は(i,pi)であり、組み合わせGとしてグループiから選択されたpi番目の属性を意味する。柄の属性の種類が花柄、ボーダ、無地であり、首回りデザインの属性の種類が丸首、Vネック、襟ありであり、丈の属性の種類がショート丈、ロング丈、スタンダードであった場合、属性判定部106は柄から一種類、首回りデザインから一種、丈から一種の属性をそれぞれ選択し、27個の組み合わせの中から上記式2で得られる値が最大の組み合わせを選択する。そして、属性判定部106は、選択した組み合わせから対象物の属性を判定する。
なお、上記式2は、上記の式に限定される必要はなく、例えば、3個のグループの属性値の関係値を、(学習画像における3つの属性の共起数)/(学習画像数)とし、関係値R(k1p1、k2p2,k3p3)を評価式に用いるなど、また式におけるΠ(パイ)ではなくΣ(シグマ)を用いるなど関係値を認識に適した形で評価する式があればその他の式であってもよい。
属性の組み合わせGとして、属性グループが3個ある場合、1番目のグループからp1番目の属性、2番目のグループからp2番目の属性、3番目のグループからp3番目の属性が選択された場合、属性判定部106は上記式2に基づいて評価値Tを以下のように算出する。
T(p1,p2,p3)=α{S(k1p1)*S(k2p2)*S(k3p3)}+β{R(k1p1,k2p2)*R(k2p2,k3p3)*R(k3p3,k1p1)}
T(p1,p2,p3)=α{S(k1p1)*S(k2p2)*S(k3p3)}+β{R(k1p1,k2p2)*R(k2p2,k3p3)*R(k3p3,k1p1)}
例えば、柄グループから花柄、首回りデザイングループからは丸首、丈グループからはショット丈がグループGとして選択された場合、評価値Tは、下記のようになる。
T(花柄、丸首、ショート丈)=α{S(花柄)*S(丸首)*S(ショート丈)}+β{R(花柄,丸首)*R(丸首,ショート丈)*R(ショート丈,花柄)}
T(花柄、丸首、ショート丈)=α{S(花柄)*S(丸首)*S(ショート丈)}+β{R(花柄,丸首)*R(丸首,ショート丈)*R(ショート丈,花柄)}
ここで、S(p)は属性pの信頼度を示し、R(q、r)は属性qと属性rの関係値を示す。また、例えば、スカートの属性の場合、グループが色、模様、丈、シルエットと4個ある場合、属性が黒、花柄、スタンダード丈、タイトの評価値Tは、
T(黒、花柄、スタンダード丈、タイト)=α{S(黒)*S(花柄)*S(スタンダード丈)*S(タイト)}+β{R(花柄,黒)*R(黒,スタンダード丈)*R(スタンダード丈,花柄)*R(花柄、タイト)*R(黒、タイト)*R(スタンダード、タイト)}を算出したものである。
T(黒、花柄、スタンダード丈、タイト)=α{S(黒)*S(花柄)*S(スタンダード丈)*S(タイト)}+β{R(花柄,黒)*R(黒,スタンダード丈)*R(スタンダード丈,花柄)*R(花柄、タイト)*R(黒、タイト)*R(スタンダード、タイト)}を算出したものである。
なお、関係値を算出するグループはあらかじめ選択しておいてもよく、属性間すべての関係値が閾値以下のグループ同士は、関係値を算出処理しないことにしてもよい。例えば、色グループのすべての属性と丈グループのすべての属性同士の関係値がすべて閾値に満たない場合は、
T(黒、花柄、スタンダード丈、タイト)=α{S(黒)*S(花柄)*S(スタンダード丈)*S(タイト)}+β{R(花柄,黒)*R(スタンダード丈,花柄)*R(花柄、タイト)*R(黒、タイト)*R(スタンダード、タイト)}を評価値としてもよい。
T(黒、花柄、スタンダード丈、タイト)=α{S(黒)*S(花柄)*S(スタンダード丈)*S(タイト)}+β{R(花柄,黒)*R(スタンダード丈,花柄)*R(花柄、タイト)*R(黒、タイト)*R(スタンダード、タイト)}を評価値としてもよい。
例えば、上記式2で得られる値が最大の組み合わせが、柄の属性の種類が花柄、首回りデザインの属性の種類がVネック、丈の属性の種類がショート丈であった場合、属性判定部106は花柄、Vネック及びショート丈を対象物の属性と判定する。属性判定部106は、判定結果を出力する。
以上のように構成された属性判定装置10によれば、画像中の認識した複数の属性の共起の度合いを利用することによって対象物の属性を判定する。これにより、各属性における識別器だけでは難しかった判定の精度を向上させることが可能となる。
<変形例>
本実施形態では、衣類の柄の種類として、花柄、ボーダ、無地を例に説明し、トップスの首回りデザインの種類として、丸首、Vネック、襟ありを例に説明し、全体のシルエットの種類として、ショート丈、ロング丈、スタンダードを例に説明したが、各属性はこれに限定される必要はない。例えば、衣類の柄の種類としては、衣類の柄であればどのような柄であってもよい。また、例えば、トップスの首回りデザインの種類としては、クールネック、ハイネック等、トップスの首回りデザインに関するデザインであればどのようなデザインであってもよい。
本実施形態では、衣類の柄の種類として、花柄、ボーダ、無地を例に説明し、トップスの首回りデザインの種類として、丸首、Vネック、襟ありを例に説明し、全体のシルエットの種類として、ショート丈、ロング丈、スタンダードを例に説明したが、各属性はこれに限定される必要はない。例えば、衣類の柄の種類としては、衣類の柄であればどのような柄であってもよい。また、例えば、トップスの首回りデザインの種類としては、クールネック、ハイネック等、トップスの首回りデザインに関するデザインであればどのようなデザインであってもよい。
属性判定部106は、ステップS204の処理時において、属性の数が所定の数より多い場合には、属性の信頼度が閾値以上の属性を決定とし、信頼度が閾値未満の属性に関して上記式2を用いて属性を判定してもよい。具体例として、本実施形態のように、柄の属性の種類が花柄、ボーダ、無地であり、首回りデザインの属性の種類が丸首、Vネック、襟ありであり、丈の属性の種類がショート丈、ロング丈、スタンダードである場合を例に説明する。柄の属性の種類のうち、ボーダである信頼度が0.9であり、花柄及び無地である信頼度が0.9未満であった場合、属性判定部106は柄の属性の種類はボーダであると決定する。この場合、属性判定部106は、残りの9個の組み合わせ(首回りデザインの属性の種類“丸首”、“Vネック”、“襟あり”と、丈の属性の種類“ショート丈”、“ロング丈”、“スタンダード”における組み合わせ)の中から上記式2の値が最大になる組み合わせを選択する。そして、属性判定部106は、選択した組み合わせと、予め決定した種類とを対象物の属性と判定する。
このように構成されることによって、演算量を抑えることができ、処理負荷を軽減することができる。
このように構成されることによって、演算量を抑えることができ、処理負荷を軽減することができる。
共起DB作成部102は、関係値を以下の式3に基づいて算出してもよい。
式3において、Nkip,kjq(kip,kjqはNの下付き)は属性kip(kipはNの下付き)と属性kjq(NkjqはNの下付き)が同時に出現した回数を表す。
また、ファッションにおいて、上衣の場合、カーディガン、Tシャツ、ブラウス等といったトップスの属性の種類それぞれにおいて、柄、首回りデザイン及び丈の属性の種類が存在する。ここで、トップスの属性の種類を上位階層とし、柄、首回りデザイン及び丈の属性の種類を下位階層とする。属性判定装置10は、上位階層と、下位階層との間の共起の度合いを利用して対象物の属性を判定するように構成されてもよい。このように構成される場合、属性判定装置10は、ステップS101及びステップS102の処理と同様の処理を行うことによって階層間の共起の度合いを表す値(以下「第2関係値」という。)を算出し、算出した第2関係値を記録することによって階層間における共起DBを作成する。
具体的な処理の一例について説明する。属性判定装置10は、上位階層の属性の種類“カーディガン”と、下位階層“柄”、“首回りデザイン”及び“丈”の属性の種類それぞれとの第2関係値を算出し、算出した第2関係値を対応関係毎に記録することによってカーディガン用の共起DBを作成する。同様に、属性判定装置10は、上位階層の属性の種類“Tシャツ”と、下位階層“柄”、“首回りデザイン”及び“丈”の属性の種類それぞれとの第2関係値を算出し、算出した第2関係値を対応関係毎に記録することによってTシャツ用の共起DBを作成する。そして、属性判定装置10は、属性判定処理時において、入力された特徴量に基づいて各階層の属性の信頼度を取得する。そして、属性判定装置10は、各階層の属性に対する信頼度と、共起DBとに基づいて、対象物の属性を判定する。具体的には、属性判定装置10は、上記式2を最大にする組み合わせを対象物の属性と判定する。
このように、例えばカーディガンが丸首と共起しやすいなどといった共起関係が得られれば、属性判定において誤認識を軽減することができる。また、上位階層の属性の種類が予め与えられている場合には、属性の判定精度をさらに向上させることができる。
このように、例えばカーディガンが丸首と共起しやすいなどといった共起関係が得られれば、属性判定において誤認識を軽減することができる。また、上位階層の属性の種類が予め与えられている場合には、属性の判定精度をさらに向上させることができる。
また、コーディネートされた画像から属性の関係値を算出する場合、パーツ間の属性の関係値を算出することにより、属性の認識精度をあげることができる。例えば、トップスと、ボトムスといったパーツ間の属性は強い関係がある場合が多い。女性のコーディネートを学習した場合、トップスに襟ありという属性がある場合は、通勤用など比較的フォーマルなコーディネートと考えられ、ボトムスにはタイトという属性が出現する回数が多いと考えられる。そこで、共起DB作成部102は、パーツ間の属性の共起関係について、関係値を上記と同様の方法で算出して記録する。
例えば、トップスのパーツの属性の種類として、トップスの柄がボーダ、花柄、無地であり、トップスの首回りデザインが丸首、Vネック、襟ありであり、ボトムスのパーツの属性の種類として、ボトムスの柄が無地、花柄、ボーダであり、ボトムスのシルエットがワイド、スタンダード、タイトである場合、共起DB作成部102はトップスにおける全ての属性6種類と、ボトムスにおける全ての属性6種類との合計36通りの関係値を算出してもよい。
共起DB作成部102は、これらの関係値を用いて、上記と同様、トップスとボトムスのそれぞれのグループから選択した属性の組み合わせGにおける評価値Tを算出する。
例えば、(花柄(トップス)、丸首(トップス)、無地(ボトムス)、タイト(ボトムス)の組み合わせにおける評価値Tは下記のように算出する。
T(花柄(トップス)、丸首(トップス)、無地(ボトムス)、タイト(ボトムス))=α{S(花柄(トップス))*S(丸首(トップス))*S(無地(ボトムス)*S(タイト(ボトムス)))+β{R(花柄、無地)*R(花柄,タイト)*R(丸首,無地)*R(丸首、タイト)*R(花柄、丸首)*R(無地、ボトムス)}
例えば、(花柄(トップス)、丸首(トップス)、無地(ボトムス)、タイト(ボトムス)の組み合わせにおける評価値Tは下記のように算出する。
T(花柄(トップス)、丸首(トップス)、無地(ボトムス)、タイト(ボトムス))=α{S(花柄(トップス))*S(丸首(トップス))*S(無地(ボトムス)*S(タイト(ボトムス)))+β{R(花柄、無地)*R(花柄,タイト)*R(丸首,無地)*R(丸首、タイト)*R(花柄、丸首)*R(無地、ボトムス)}
評価値Tに用いる関係値は選択でき、トップス、またはボトムスの属性同士の関係値(上記の例だとR(花柄、丸首)*R(無地、ボトムス))は用いないことにしてもよい。また、トップスの柄とボトムスの柄において、例えばトップスがボーダでボトムスもボーダとなる回数は少ないと考えられるため柄の共起関係は強いと考えられ、このような場合、共起DB作成部102はトップスの柄とボトムスの柄の共起関係のみを算出してもよい。
また、属性の共起関係は流行等に強く依存する傾向がある。そのため、共起DB作成部102は、時代毎、季節毎、地域毎、年代毎等のいずれか又は全てにおいて、それぞれ共起DBを作成するように構成されてもよい。このように構成されることによって、対象物の属性の判定精度を向上させることができる。
また、属性の共起関係は流行等に強く依存する傾向がある。そのため、共起DB作成部102は、時代毎、季節毎、地域毎、年代毎等のいずれか又は全てにおいて、それぞれ共起DBを作成するように構成されてもよい。このように構成されることによって、対象物の属性の判定精度を向上させることができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
10…属性判定装置, 101…画像入力部, 102…共起DB作成部, 103…共起DB記憶部, 104…特徴量抽出部, 105…信頼度取得部, 106…属性判定部
Claims (5)
- 複数の学習用画像から得られる複数の属性の共起の度合いを表す第1の関係値を算出する算出ステップと、
対象物が撮像された画像から得られる特徴量に基づいて、前記対象物に関する属性の信頼性の高さを表す信頼度を取得する信頼度取得ステップと、
前記第1の関係値と、前記信頼度とに基づいて前記対象物の属性を判定する属性判定ステップと、
を有する属性判定方法。 - 前記信頼度取得ステップにおいて、階層間の属性の共起の度合いを表す第2の関係値をさらに算出し、
前記属性判定ステップにおいて、各階層における属性の信頼度と、前記第1の関係値と、前記第2の関係値とを用いて前記対象物の属性を判定する、請求項1に記載の属性判定方法。 - 前記算出ステップにおいて、時代毎、季節毎、年代毎及び地域毎のいずれか又は全てで関係値を算出する、請求項1又は2に記載の属性判定方法。
- 複数の学習用画像から得られる複数の属性の共起関係の度合いを表す関係値を算出する算出部と、
対象物が撮像された画像から得られる特徴量に基づいて、前記対象物に関する属性の信頼性の高さを表す信頼度を取得する信頼度取得部と、
前記関係値と、前記信頼度とに基づいて前記対象物の属性を判定する属性判定部と、
を備える属性判定装置。 - 請求項1から3のいずれか一項に記載の属性判定方法をコンピュータに実行させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016224582A JP2018081597A (ja) | 2016-11-17 | 2016-11-17 | 属性判定方法、属性判定装置及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016224582A JP2018081597A (ja) | 2016-11-17 | 2016-11-17 | 属性判定方法、属性判定装置及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018081597A true JP2018081597A (ja) | 2018-05-24 |
Family
ID=62197773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016224582A Pending JP2018081597A (ja) | 2016-11-17 | 2016-11-17 | 属性判定方法、属性判定装置及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018081597A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020168233A (ja) * | 2019-04-04 | 2020-10-15 | 株式会社日立製作所 | 超音波撮像装置、および、画像処理装置 |
-
2016
- 2016-11-17 JP JP2016224582A patent/JP2018081597A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020168233A (ja) * | 2019-04-04 | 2020-10-15 | 株式会社日立製作所 | 超音波撮像装置、および、画像処理装置 |
JP7269778B2 (ja) | 2019-04-04 | 2023-05-09 | 富士フイルムヘルスケア株式会社 | 超音波撮像装置、および、画像処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI760650B (zh) | 一種神經網路的訓練方法及圖像匹配方法、裝置 | |
Chen et al. | Describing clothing by semantic attributes | |
US11410411B2 (en) | Method and apparatus for recognizing descriptive attribute of appearance feature | |
TWI604332B (zh) | 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體 | |
JP6528723B2 (ja) | 物体認識装置、物体認識方法及びプログラム | |
JP2011134114A (ja) | パターン認識方法およびパターン認識装置 | |
JP5756443B2 (ja) | 画像分類装置及び画像識別装置並びにプログラム | |
Huang et al. | Clothing landmark detection using deep networks with prior of key point associations | |
Zhao et al. | Clothing cosegmentation for shopping images with cluttered background | |
US20160026857A1 (en) | Image processor comprising gesture recognition system with static hand pose recognition based on dynamic warping | |
Khan et al. | Multiple human detection in depth images | |
JP2018081597A (ja) | 属性判定方法、属性判定装置及びコンピュータプログラム | |
CN107358244B (zh) | 一种快速局部不变特征提取与描述方法 | |
CA3011713A1 (en) | Hash-based appearance search | |
JP6387290B2 (ja) | 画像検索装置、画像登録装置、画像特徴選択装置、方法、及びプログラム | |
WO2012161291A1 (ja) | 部位分離位置抽出装置、プログラム、方法 | |
JP2017175466A (ja) | 映像処理装置、映像処理システムおよび制御方法 | |
WO2017179728A1 (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
Cao et al. | Real-time head detection with kinect for driving fatigue detection | |
Aulia et al. | HOG of region of interest for improving clothing retrieval performance | |
JP6739896B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
Wu et al. | Unsupervised change detection of remote sensing images based on SURF and SVM | |
Liu et al. | Gender recognition technology of whole body image | |
JP2017027227A (ja) | ラベル推定関数学習装置、方法、ラベル推定装置、方法及びプログラム | |
US20240202931A1 (en) | Measuring method and system for body-shaped data |