JP2015001921A - Personal attribute presenting device and personal attribute presenting method - Google Patents
Personal attribute presenting device and personal attribute presenting method Download PDFInfo
- Publication number
- JP2015001921A JP2015001921A JP2013127328A JP2013127328A JP2015001921A JP 2015001921 A JP2015001921 A JP 2015001921A JP 2013127328 A JP2013127328 A JP 2013127328A JP 2013127328 A JP2013127328 A JP 2013127328A JP 2015001921 A JP2015001921 A JP 2015001921A
- Authority
- JP
- Japan
- Prior art keywords
- attribute
- image
- person
- unit
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、画像中の人物の年齢や性別等の人物属性を推定し、推定結果を提示する人物属性提示装置及び人物属性提示方法に関する。 The present invention relates to a person attribute presenting apparatus and a person attribute presenting method for estimating person attributes such as age and sex of a person in an image and presenting an estimation result.
人物を含む画像から、画像中の人物の年齢や性別等の人物属性を推定する技術がある。例えば、画像が顔を含む顔画像である場合、顔画像中の人物の属性である年齢を推定することで、スキンケアや美容整形等の効果を提示することができる。 There is a technique for estimating person attributes such as age and sex of a person in the image from an image including the person. For example, when the image is a face image including a face, effects such as skin care and cosmetic surgery can be presented by estimating the age that is the attribute of the person in the face image.
例えば、特許文献１には、顔の特定の部位の皺と年齢との相関関係を求め、スキンケアを行う前の顔画像と、スキンケアを行った顔画像との差から年齢差を推定し、スキンケアの効果を算出する技術が開示されている。 For example, Patent Literature 1 obtains a correlation between wrinkles and age of a specific part of a face, estimates an age difference from a difference between a face image before performing skin care and a face image subjected to skin care, and skin care A technique for calculating the effect of the above is disclosed.
また、例えば特許文献２には、顔の４種類の皺の程度を５段階に分け、それぞれ基準となる写真と入力画像とを比較することでスコアを算出し、部位ごとのスコアと年齢の回帰式により年齢を推定する技術が開示されている。 Further, for example, in Patent Document 2, the degree of four types of wrinkles on a face is divided into five stages, and a score is calculated by comparing a reference photo with an input image, and the score of each part and regression of age A technique for estimating the age by an equation is disclosed.
しかし、特許文献１、２に開示された技術では、顔の部位を用いて人物の属性を推定しているが、顔全体の属性推定結果を表示させるにとどまっており、部位毎といった顔の一部の領域の属性推定結果を得ることはできないという問題があった。 However, in the techniques disclosed in Patent Documents 1 and 2, the attribute of a person is estimated using a part of the face, but only the attribute estimation result of the entire face is displayed. There was a problem that the attribute estimation result of the part area could not be obtained.
また、顔全体の属性推定結果の表示にあたり、顔の各領域がどの程度、顔全体の属性推定結果に影響しているのかを表示できないという問題があった。 In addition, when displaying the attribute estimation result of the entire face, there is a problem that it is not possible to display how much each area of the face affects the attribute estimation result of the entire face.
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像中の人物の人物属性を分割された領域毎に属性を推定し、推定した結果を表示させることが可能な、新規かつ改良された人物属性提示装置および人物属性提示方法を提供することにある。 Accordingly, the present invention has been made in view of the above problems, and an object of the present invention is to estimate the attribute of a person attribute of a person in an image for each divided area and display the estimated result. It is an object of the present invention to provide a new and improved person attribute presentation device and person attribute presentation method that can be implemented.
上記課題を解決するために、本発明のある観点によれば、人物が含まれる画像を複数の領域に分割する領域分割部と、分割された複数の領域毎に人物属性を推定する属性推定部と、分割された複数の領域毎の人物属性の推定結果に関する情報を出力部に表示させる属性出力制御部と、を備える、人物属性提示装置が提供される。 In order to solve the above problems, according to an aspect of the present invention, an area dividing unit that divides an image including a person into a plurality of areas, and an attribute estimating unit that estimates a person attribute for each of the divided areas And an attribute output control unit that causes the output unit to display information related to the estimation result of the human attribute for each of the plurality of divided areas.
領域分割部は、画像の一部または全体を複数の領域に分割してもよい。 The area dividing unit may divide a part or the whole of the image into a plurality of areas.
前記属性出力制御部は、分割された前記領域毎の人物属性の推定結果に関する情報を、前記画像または前記画像を模式化
した模式画像のうち少なくともいずれか一方に重畳させて前記出力部に表示させてもよい。
The attribute output control unit causes the output unit to display information related to the estimation result of the human attribute for each of the divided areas, superimposed on at least one of the image or a schematic image schematically representing the image. May be.
属性表示制御部は、分割された領域毎の人物属性の推定結果に関する情報を、推定結果毎に設定された表示形態で領域を表示するよう制御してもよい。 The attribute display control unit may control the information related to the estimation result of the person attribute for each divided area so that the area is displayed in a display form set for each estimation result.
属性推定部は、分割された領域毎に、各領域が含まれるＨａａｒ−ｌｉｋｅ特徴の特徴量に基づいて、人物属性の推定を行ってもよい。 The attribute estimation unit may estimate the person attribute for each divided area based on the feature amount of the Haar-like feature including each area.
前記属性推定部は、予め人物が含まれる複数の画像と当該画像の人物属性とに基づいてＨａａｒ−ｌｉｋｅ特徴毎に算出される重み付けを用いて人物属性の推定を行ってもよい。 The attribute estimation unit may perform estimation of a person attribute using a weight calculated for each Haar-like feature based on a plurality of images including a person in advance and the person attribute of the image.
属性推定部は、画像全体における人物属性を推定してもよい。 The attribute estimation unit may estimate a person attribute in the entire image.
属性推定部は、Ｈａａｒ−ｉｌｋｅ特徴の特徴量に基づいて、画像全体における人物属性を推定してもよい。 The attribute estimation unit may estimate a person attribute in the entire image based on the feature amount of the Haar-ilke feature.
前記属性出力制御部は、前記画像全体における人物属性の推定結果に関する情報を前記出力部に表示させてもよい。 The attribute output control unit may cause the output unit to display information related to a person attribute estimation result in the entire image.
ユーザから入力された画像に対する修正情報に基づいて、画像の分割された領域のうち少なくとも一つ以上の該領域に対して画像処理を行い、修正後画像を作成する画像修正部をさらに備え、属性推定部は、修正後画像の領域の人物属性を推定してもよい。 An image correction unit that performs image processing on at least one of the divided areas of the image based on the correction information for the image input by the user and creates a corrected image; The estimation unit may estimate the person attribute of the corrected image area.
修正前の前記画像について、分割された前記領域毎の人物属性の推定結果に関する情報と、修正後画像について、分割された領域毎の人物属性の推定結果に関する情報との少なくともいずれか一方を記憶する記憶部をさらに備えてもよい。 For the image before correction, at least one of information on the estimation result of the person attribute for each divided area and information on the estimation result of the person attribute for each divided area is stored for the corrected image. A storage unit may be further provided.
１つの前記画像に対応する前記修正後画像が複数ある場合に画像処理が行われた前記画像の人物属性の複数の推定結果と、前記修正後画像の人物属性の推定結果との評価の差が最も大きい前記修正後画像に関する情報を選択する画像修正効果比較部をさらに備えてもよい。 When there are a plurality of corrected images corresponding to one image, there is a difference in evaluation between a plurality of estimation results of the person attribute of the image subjected to image processing and a estimation result of the person attribute of the corrected image. You may further provide the image correction effect comparison part which selects the information regarding the said largest after-correction image.
前記属性出力制御部は、前記画像の人物属性の推定結果に関する情報と、前記修正後画像の人物属性の推定結果に関する情報との比較結果を前記出力部に出力させてもよい。 The attribute output control unit may cause the output unit to output a comparison result between the information related to the estimation result of the person attribute of the image and the information related to the estimation result of the person attribute of the corrected image.
画像は、人物の顔が含まれる顔画像であってもよい。 The image may be a face image including a human face.
前記属性表示制御部の出力結果に基づいて、前記属性推定部による推定結果に関する情報を表示する前記出力部をさらに備えてもよい。 You may further provide the said output part which displays the information regarding the estimation result by the said attribute estimation part based on the output result of the said attribute display control part.
また、上記課題を解決するために、本発明の別の観点によれば、人物が含まれる画像を複数の領域に分割するステップと、分割された複数の領域毎に人物属性を推定するステップと、分割された複数の領域毎の人物属性の推定結果に関する情報を表示させるステップと、を含む、人物属性提示方法が提供される。 In order to solve the above problem, according to another aspect of the present invention, a step of dividing an image including a person into a plurality of regions, a step of estimating a person attribute for each of the plurality of divided regions, And displaying information related to the estimation result of the person attribute for each of the plurality of divided areas.
以上説明したように本発明によれば、画像中の人物の人物属性を分割された領域毎に推定し、推定した結果を表示させることが可能になる。 As described above, according to the present invention, it is possible to estimate a person attribute of a person in an image for each divided area and display the estimated result.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
＜１．第１の実施形態＞
［１−１．装置構成］
まず、図１を参照して、本発明の第１の実施形態に係る人物属性提示装置の概略構成について説明する。図１は、本発明の第１の実施形態に係る人物属性提示装置１００を示すブロック図である。人物属性提示装置１００は、例えば人物が含まれる画像から、画像中の人物の年齢や性別等の人物属性を推定する装置である。人物属性提示装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備える情報処理装置である。
<1. First Embodiment>
[1-1. Device configuration]
First, with reference to FIG. 1, a schematic configuration of the person attribute presentation device according to the first embodiment of the present invention will be described. FIG. 1 is a block diagram showing a person attribute presentation device 100 according to the first embodiment of the present invention. The person attribute presentation apparatus 100 is an apparatus that estimates person attributes such as the age and sex of a person in the image from an image including the person, for example. The person attribute presentation device 100 is an information processing device including, for example, a CPU (Central Processing Unit), a RAM (Random Access Memory), and the like.
図１を参照すると、人物属性提示装置１００は、例えば画像入力部１１０と、制御部１２０と、出力部１６０とを備える。 Referring to FIG. 1, the person attribute presentation device 100 includes an image input unit 110, a control unit 120, and an output unit 160, for example.
画像入力部１１０は、例えば人物が含まれる画像を、人物属性提示装置１００に接続された外部装置から取得する。外部装置は、例えば人物属性提示装置１００に直接またはネットワークを介して接続されたカメラ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｉｒｉａｌ Ｂｕｓ）メモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の記憶媒体、光ディスク等に記録媒体に記憶された情報を読み取るデバイス等である。 The image input unit 110 acquires, for example, an image including a person from an external device connected to the person attribute presentation device 100. The external device is stored in a recording medium such as a camera, a USB (Universal Serial Bus) memory, a HDD (Hard Disc Drive), or an optical disk connected directly to the person attribute presentation device 100, for example, via a network. A device that reads information.
制御部１２０は、例えば画像入力部１１０により取得された画像を複数の領域に分割し、領域毎に人物属性の推定を行い、推定結果を出力部１６０に表示させる。制御部１２０は、例えば領域分割部１３０と、属性推定部１４０と、属性出力制御部１５０とを備える。 For example, the control unit 120 divides the image acquired by the image input unit 110 into a plurality of regions, estimates a person attribute for each region, and causes the output unit 160 to display an estimation result. The control unit 120 includes, for example, an area dividing unit 130, an attribute estimation unit 140, and an attribute output control unit 150.
領域分割部１３０は、画像入力部１１０により取得された画像を、複数の領域に分割する。領域分割部１３０は、複数の領域に分割された画像を属性推定部１４０に出力する。 The area dividing unit 130 divides the image acquired by the image input unit 110 into a plurality of areas. The area dividing unit 130 outputs an image divided into a plurality of areas to the attribute estimating unit 140.
属性推定部１４０は、領域分割部１３０で複数の領域に分割された画像について、各領域の年齢や性別等の人物属性を推定する。属性推定部１４０は、各領域の人物属性の推定結果を属性出力制御部１５０に出力する。 The attribute estimation unit 140 estimates personal attributes such as age and gender of each region for the image divided into a plurality of regions by the region dividing unit 130. The attribute estimation unit 140 outputs the estimation result of the person attribute of each area to the attribute output control unit 150.
属性出力制御部１５０は、属性推定部１４０で推定された推定結果から、推定結果に関する画像等の推定結果に関する情報を作成し、推定結果に関する情報を出力部１６０に表示させる。 The attribute output control unit 150 creates information related to an estimation result such as an image related to the estimation result from the estimation result estimated by the attribute estimation unit 140 and causes the output unit 160 to display information related to the estimation result.
出力部１６０は、例えば画像等を出力するモニター等の表示装置である。出力部１６０は、属性出力制御部１５０から出力された人物属性の推定結果に関する情報を表示する。 The output unit 160 is a display device such as a monitor that outputs an image or the like. The output unit 160 displays information related to the estimation result of the person attribute output from the attribute output control unit 150.
［１−２．処理フロー］
次に、図２を参照して、本施形態に係る人物属性提示装置１００の人物属性提示処理の概要について説明する。図２は、同実施形態に係る人物属性提示処理を示すフローチャートである。
[1-2. Processing flow]
Next, with reference to FIG. 2, an outline of the person attribute presentation processing of the person attribute presentation device 100 according to the present embodiment will be described. FIG. 2 is a flowchart showing person attribute presentation processing according to the embodiment.
まず、画像入力部１１０は、人物属性提示装置１００に接続された外部装置から入力される人物が含まれる画像を取得する（Ｓ１００：入力処理）。 First, the image input unit 110 acquires an image including a person input from an external device connected to the person attribute presentation device 100 (S100: input processing).
次いで、領域分割部１３０は、画像入力部１１０により取得された画像を、複数の領域に分割する（Ｓ１１０：領域分割処理）。このとき、領域分割部１３０が分割する画像の領域は、画像全体でもよく、画像中の人物の特定の部位を含む領域でもよい。分割された領域は、例えば１画素単位や、一定のサイズ及び形状のグリッド、任意のサイズ及び形状でもよい。 Next, the area dividing unit 130 divides the image acquired by the image input unit 110 into a plurality of areas (S110: area dividing process). At this time, the area of the image divided by the area dividing unit 130 may be the entire image or an area including a specific part of a person in the image. The divided area may be, for example, one pixel unit, a grid having a certain size and shape, or an arbitrary size and shape.
さらに、属性推定部１４０は、領域分割部１３０で複数の領域に分割された画像について、各領域の年齢や性別等の人物属性を推定する（Ｓ１２０：属性推定処理）。 Furthermore, the attribute estimation unit 140 estimates personal attributes such as age and gender of each region of the image divided into a plurality of regions by the region dividing unit 130 (S120: attribute estimation process).
その後、属性出力制御部１５０は、属性推定部１４０で推定された推定結果から、推定結果に関する画像等の推定結果に関する情報を作成し、推定結果に関する情報を出力部１６０に表示させる（Ｓ１３０：属性出力制御処理）。 Thereafter, the attribute output control unit 150 creates information related to an estimation result such as an image related to the estimation result from the estimation result estimated by the attribute estimation unit 140, and causes the output unit 160 to display information related to the estimation result (S130: attribute). Output control processing).
以上、本実施形態に係る人物属性提示処理の概要について説明した。本実施形態に係る人物提示処理では、複数の領域に分割された画像の各領域について、人物属性の推定を行い、表示させる。これにより、ユーザは、例えば画像中の人物の人物属性を領域毎に認識できる。 The outline of the person attribute presentation process according to the present embodiment has been described above. In the person presentation process according to the present embodiment, the person attribute is estimated and displayed for each area of the image divided into a plurality of areas. Thereby, the user can recognize the person attribute of the person in the image for each area, for example.
［１−３．処理例］
次に、図３から５を参照して、本実施形態に係る人物属性提示装置１００により、人物属性として年齢を推定する一処理例について説明する。また、本処理例では、人物を含む画像として、人物の顔が含まれる顔画像を用いた処理を実行する。
[1-3. Processing example]
Next, an example of processing for estimating the age as a person attribute by the person attribute presenting apparatus 100 according to the present embodiment will be described with reference to FIGS. In this processing example, processing using a face image including a person's face is executed as an image including a person.
（１−３−１．入力処理（Ｓ１００））
まず、図２のステップＳ１００における入力処理について詳細な説明をする。入力処理は、例えば人物が含まれる画像を、人物属性提示装置１００に接続された外部装置から取得する処理である。本処理例では画像入力部１１０は、画像として人物の顔が含まれる顔画像を取得する。顔画像は、例えば人物の顔が正面から撮像された画像であり、画像中には例えば人物の目、鼻、口及び顔の輪郭が含まれる。
(1-3-1. Input processing (S100))
First, the input process in step S100 of FIG. 2 will be described in detail. The input process is a process of acquiring, for example, an image including a person from an external device connected to the person attribute presentation device 100. In the present processing example, the image input unit 110 acquires a face image including a human face as an image. The face image is, for example, an image obtained by capturing a person's face from the front, and includes, for example, the eyes, nose, mouth, and face outline of the person.
また、入力処理では、画像入力部１１０は、取得する顔画像に関する情報を人物属性提示装置１００に接続された図示しない入力装置または外部装置から取得してもよい。入力装置は、例えばマウスやキーボードなどのユーザからの入力を検知する装置である。顔画像に関する情報は、例えば顔画像中の人物の実年齢や実際の性別等の情報である。本処理例では、人物属性として年齢を推定するため、画像入力部１１０は、顔画像中の人物の実年齢を取得する。 Further, in the input process, the image input unit 110 may acquire information on the acquired face image from an input device (not shown) connected to the person attribute presentation device 100 or an external device. The input device is a device that detects an input from a user such as a mouse or a keyboard. The information related to the face image is, for example, information such as the actual age and actual sex of the person in the face image. In this processing example, in order to estimate the age as the person attribute, the image input unit 110 acquires the actual age of the person in the face image.
（１−３−２．領域分割処理（Ｓ１１０））
次に、図２のステップＳ１１０における領域分割処理について詳細な説明をする。領域分割処理は、例えば画像入力部１１０により取得された画像を、複数の領域に分割する処理である。本処理例では、領域分割部１３０は、顔画像をグリッド状の領域に分割する。
(1-3-2. Area division processing (S110))
Next, the area dividing process in step S110 of FIG. 2 will be described in detail. The area dividing process is a process for dividing an image acquired by the image input unit 110 into a plurality of areas, for example. In the present processing example, the region dividing unit 130 divides the face image into grid-like regions.
図３は、同実施形態における人物属性提示装置１００による人物属性の推定結果の一提示例を示す説明図である。図３に、グリッド状の領域２２に分割された顔画像２０を示す。図３に図示した例では、顔画像２０は、縦１７マス、横１４マスのグリッド状の領域２２に分割される。なお、領域のサイズや分割数は、予め設定されていてもよく、ユーザの指示に応じて決定されてもよい。 FIG. 3 is an explanatory diagram illustrating an example of presentation of a person attribute estimation result by the person attribute presenting apparatus 100 according to the embodiment. FIG. 3 shows a face image 20 divided into grid-like regions 22. In the example illustrated in FIG. 3, the face image 20 is divided into a grid-like region 22 having a vertical 17 squares and a horizontal 14 squares. Note that the size of the area and the number of divisions may be set in advance or may be determined according to a user instruction.
（１−３−３．属性推定処理（Ｓ１２０））
次に、図２のステップＳ１２０における属性推定処理について詳細な説明をする。属性推定処理は、領域分割部１３０で複数の領域２２に分割された画像について、各領域２２の年齢や性別等の人物属性を弱識別器に基づいて推定し、推定結果に関する画像を作成する処理である。本処理例では、属性推定部１４０は、各領域２２の人物属性として年齢を推定する。本処理例に係る属性推定処理は、例えばＨａａｒ−ｌｉｋｅ特徴と、ＡｄａＢｏｏｓｔとを用いることができる。
(1-3-3. Attribute Estimation Processing (S120))
Next, the attribute estimation process in step S120 of FIG. 2 will be described in detail. The attribute estimation process is a process for estimating an individual attribute such as age and gender of each area 22 based on the weak classifier for an image divided into a plurality of areas 22 by the area dividing unit 130 and creating an image related to the estimation result. It is. In the present processing example, the attribute estimation unit 140 estimates age as the person attribute of each region 22. For example, Haar-like features and AdaBoost can be used in the attribute estimation processing according to this processing example.
Ｈａａｒ−ｌｉｋｅ特徴は、検出対象の物体に対する様々な形状の明暗パターンであり、特徴量は明暗パターンの輝度差を基に算出される値であり、原理は非特許文献１に記載されている。図４は、同実施形態に係るＨａａｒ−ｌｉｋｅ特徴の例を示す説明図である。Ｈａａｒ−ｌｉｋｅ特徴は、画像中の複数のパターンについて算出される。本処理例では、これらのＨａａｒ−ｌｉｋｅ特徴のうち、人物属性の判定に大きな影響を与えるパターンが選択される。属性推定部１４０は、選択されたパターンのＨａａｒ−ｌｉｋｅ特徴を用いて各領域の人物属性を推定する。例えば図４では、６つのパターンｘ１〜ｘ６が特徴として選択される。例えばＨａａｒ−ｌｉｋｅ特徴は、明暗パターンである第１局所領域４０と第２局所領域５０とからなる領域である。本処理例では、例えば第１局所領域４０と第２局所領域５０との明暗差からＨａａｒ−ｌｉｋｅ特徴の特徴量を算出する。 The Haar-like feature is a light and dark pattern of various shapes with respect to the object to be detected. The feature amount is a value calculated based on the luminance difference between the light and dark patterns, and the principle is described in Non-Patent Document 1. FIG. 4 is an explanatory diagram illustrating an example of Haar-like features according to the embodiment. Haar-like features are calculated for a plurality of patterns in an image. In this processing example, a pattern that greatly affects the determination of the person attribute is selected from these Haar-like features. The attribute estimation unit 140 estimates the human attribute of each area using the Haar-like feature of the selected pattern. For example, in FIG. 4, six patterns x 1 to x 6 are selected as features. For example, the Haar-like feature is an area composed of a first local area 40 and a second local area 50 that are bright and dark patterns. In this processing example, for example, the feature amount of the Haar-like feature is calculated from the difference in brightness between the first local region 40 and the second local region 50.
ＡｄａＢｏｏｓｔは、教師付学習アルゴリズムの一つであり、学習サンプルに対する重みという概念を取り入れることによって、弱識別器の信頼度を求めることができ、原理は非特許文献２に記載されている。本処理例では、予め複数の顔画像と各顔画像の人物の実年齢とを用いて、年齢の推定に有効なＨａａｒ−ｌｉｋｅ特徴をＡｄａＢｏｏｓｔにより求めておく。例えば、年齢の推定に有効なＨａａｒ−ｌｉｋｅ特徴として図４に示すパターンｘ１〜ｘ６が求められた場合、各パターンに対して年齢の推定に用いる弱識別器ｈ１（ｘ１）〜ｈ６（ｘ６）と重みα１〜α６とが算出される。 AdaBoost is one of supervised learning algorithms, and the reliability of weak classifiers can be obtained by incorporating the concept of weights for learning samples. The principle is described in Non-Patent Document 2. In this processing example, a Haar-like feature effective for age estimation is obtained in advance using AdaBoost using a plurality of face images and the actual age of the person of each face image. For example, when patterns x 1 to x 6 shown in FIG. 4 are obtained as Haar-like features effective for age estimation, weak classifiers h 1 (x 1 ) to h used for age estimation for each pattern. 6 (x 6 ) and weights α 1 to α 6 are calculated.
図５を参照して、Ｈａａｒ−ｌｉｋｅ特徴を用いた推定領域２４の人物属性の推定例を説明する。図５は、本実施形態に係るＨａａｒ−ｌｉｋｅ特徴を用いた推定領域２４の人物属性の推定例を示す説明図である。推定領域２４は、属性推定部１４０により人物属性を推定する領域であり、１又は複数の領域２２からなる。図５に示した例では、推定領域２４は、右目の右上側の分割された一つの領域２２である。本推定例では、この推定領域２４について、人物属性である年齢を推定する。属性推定部１４０は、推定領域２４を含むＨａａｒ−ｌｉｋｅ特徴を、上記ＡｄａＢｏｏｓｔを用いて算出された弱識別器ｈｉ（ｘｉ）に重みαｉをそれぞれ乗じた値から強識別器を求め、強識別器を用いて人物属性を推定する。図５に図示した例では、推定領域２４は、図４に示すＨａａｒ−ｌｉｋｅ特徴のうちパターンｘ１〜ｘ３に含まれている。したがって、属性推定部１４０は、これら３パターンのＨａａｒ−ｌｉｋｅ特徴を用いて推定領域２４の人物属性を推定する。属性推定部１４０は、パターンｘ１〜ｘ３のＨａａｒ−ｌｉｋｅ特徴に対して、弱識別器ｈ１（ｘ１）〜ｈ３（ｘ３）と重みα１〜α３とをそれぞれ乗じて強識別器を求め、強識別器の識別結果から、推定領域２４の人物属性を推定する。図５の例では、推定領域２４の年齢は３０代と推定されている。 With reference to FIG. 5, an example of estimating the human attribute of the estimation area 24 using the Haar-like feature will be described. FIG. 5 is an explanatory diagram illustrating an estimation example of the person attribute of the estimation region 24 using the Haar-like feature according to the present embodiment. The estimation area 24 is an area in which a person attribute is estimated by the attribute estimation unit 140 and includes one or a plurality of areas 22. In the example illustrated in FIG. 5, the estimation region 24 is one divided region 22 on the upper right side of the right eye. In this estimation example, for this estimation area 24, the age that is the person attribute is estimated. The attribute estimation unit 140 obtains a strong classifier from a value obtained by multiplying the Haar-like feature including the estimation area 24 by the weight α i and the weak classifier h i (x i ) calculated using the AdaBoost, respectively. Estimate person attributes using a strong classifier. In the example illustrated in FIG. 5, the estimation region 24 is included in the patterns x 1 to x 3 among the Haar-like features illustrated in FIG. 4. Therefore, the attribute estimation unit 140 estimates the human attribute of the estimation area 24 using these three patterns of Haar-like features. The attribute estimation unit 140 multiplies the Haar-like features of the patterns x 1 to x 3 by weak classifiers h 1 (x 1 ) to h 3 (x 3 ) and weights α 1 to α 3 , respectively. A classifier is obtained, and the person attribute of the estimation area 24 is estimated from the identification result of the strong classifier. In the example of FIG. 5, the age of the estimation area 24 is estimated to be in the thirties.
また、図２のステップＳ１２０において、属性推定部１４０は、人物が含まれる画像全体での人物属性を推定してもよい。この場合、属性推定部１４０は、各領域の人物属性推定処理と同様、Ｈａａｒ−ｌｉｋｅ特徴を特徴量とし、ＡｄａＢｏｏｓｔを識別器として用いることで人物属性を推定してもよい。本処理例では、予め複数の顔画像と顔画像の人物の実年齢とを用いて、年齢の推定に有効なＨａａｒ−ｌｉｋｅ特徴をＡｄａＢｏｏｓｔにより求めておく。例えば、年齢の推定に有効なＨａａｒ−ｌｉｋｅ特徴として図４に示すパターンｘ１〜ｘ６が求められた場合、年齢の推定に用いる弱識別器ｈ１（ｘ１）〜ｈ６（ｘ６）と重みα１〜α６とが算出される。属性推定部１４０は、これらのＡｄａＢｏｏｓｔを用いて算出された弱識別器ｈ１（ｘ１）〜ｈ６（ｘ６）に重みα１〜α６をそれぞれ乗じた値から求められる強識別器により識別を行うことで年齢を推定する。 Further, in step S120 of FIG. 2, the attribute estimation unit 140 may estimate the person attribute in the entire image including the person. In this case, the attribute estimation unit 140 may estimate a person attribute by using the Haar-like feature as a feature amount and using AdaBoost as a discriminator, as in the person attribute estimation process of each region. In this processing example, a Haar-like feature effective for age estimation is obtained in advance using AdaBoost using a plurality of face images and the actual age of the person in the face image. For example, when the patterns x 1 to x 6 shown in FIG. 4 are obtained as Haar-like features effective for age estimation, weak classifiers h 1 (x 1 ) to h 6 (x 6 ) used for age estimation are obtained. And weights α 1 to α 6 are calculated. The attribute estimator 140 uses a strong classifier obtained from values obtained by multiplying the weak classifiers h 1 (x 1 ) to h 6 (x 6 ) calculated using these AdaBoosts by the weights α 1 to α 6 , respectively. The age is estimated by identification.
（１−３−４．属性出力制御処理（Ｓ１３０））
次に、図２のステップＳ１３０における属性出力制御処理について詳細な説明をする。属性出力制御処理は、属性推定部１４０で推定された推定結果から、推定結果に関する画像等の推定結果に関する情報を作成し、推定結果に関する情報を出力部１６０に表示させる処理である。
(1-3-4. Attribute output control process (S130))
Next, the attribute output control process in step S130 of FIG. 2 will be described in detail. The attribute output control process is a process of creating information related to an estimation result such as an image related to the estimation result from the estimation result estimated by the attribute estimation unit 140 and causing the output unit 160 to display information related to the estimation result.
本処理例では、属性出力制御部１５０は、推定結果に関する情報の１つである推定結果を表す推定属性マップを作成する。図３に、人物属性の推定結果の一提示例である、属性推定マップ３０を示す。属性推定マップ３０は、例えばグリッド状に分割された顔画像２０の各領域２２の表示形態を、各領域２２の推定結果に応じて変化させた画像である。図３に図示した例では、属性出力制御部１５０は、各領域２２の内、顔の一部が含まれる領域２２に対して、推定した人物属性を推定結果に応じて異なるハッチングで領域２２を表した属性推定マップ３０を作成している。このとき、属性出力制御部１５０は、例えば推定された年齢を１０代、２０代、３０代、４０代、５０代以上の５つに区分して表示させてもよい。また、属性出力制御部１５０は、推定結果に応じて設定された色で領域２２の人物属性の推定結果を表した属性推定マップ３０を作成してもよい。このとき、属性出力制御部１５０は、例えば年齢が上がるにしたがって、色を濃くするように区分の色を設定してもよい。 In this processing example, the attribute output control unit 150 creates an estimated attribute map representing an estimation result that is one piece of information related to the estimation result. FIG. 3 shows an attribute estimation map 30 which is an example of presentation of person attribute estimation results. The attribute estimation map 30 is an image obtained by changing the display form of each region 22 of the face image 20 divided in a grid shape, for example, according to the estimation result of each region 22. In the example illustrated in FIG. 3, the attribute output control unit 150 applies the estimated person attribute to the region 22 including a part of the face in each region 22 with different hatching according to the estimation result. The attribute estimation map 30 shown is created. At this time, for example, the attribute output control unit 150 may display the estimated ages by dividing them into five groups of teens, 20s, 30s, 40s, and 50s. Further, the attribute output control unit 150 may create the attribute estimation map 30 that represents the estimation result of the person attribute of the region 22 with the color set according to the estimation result. At this time, the attribute output control unit 150 may set the colors of the sections so that the colors become darker as the age increases, for example.
次に、本処理例では、属性出力制御部１５０は、領域毎の人物属性の推定結果に関する情報として、作成した属性推定マップを出力部に表示させる。人物属性の推定結果の一提示例である図３を参照すると、表示画面１０内には、属性推定マップ３０と、凡例３２とが示される。凡例３２は、属性推定マップ３０における各領域２２の表示形態が、どの属性に対応するかを示す。図３に図示した例では、人物属性である年齢を５つに区分しておいる。本処理例では、各区分の表示形態を変えることで視覚的に各領域２２の推定結果を分かり易くする。これにより、推定年齢の分布が可視化され、ユーザは、顔のどの領域が他の領域と比較して差があるのかを容易に確認することができる。 Next, in this processing example, the attribute output control unit 150 causes the output unit to display the created attribute estimation map as information related to the estimation result of the person attribute for each region. Referring to FIG. 3, which is an example of presentation of person attribute estimation results, an attribute estimation map 30 and a legend 32 are shown in the display screen 10. The legend 32 indicates which attribute the display form of each area 22 in the attribute estimation map 30 corresponds to. In the example illustrated in FIG. 3, the age that is the person attribute is divided into five. In the present processing example, the estimation result of each region 22 is made easy to understand visually by changing the display form of each section. Thereby, the distribution of the estimated age is visualized, and the user can easily confirm which area of the face is different from other areas.
また、属性出力制御部１５０は、属性推定部１４０が推定した画像全体の人物属性の推定結果に関する情報を出力部１６０に表示させてもよい。例えば、図示しないが、属性出力制御部１５０は、図３の出力部１６０である表示画面１０内に顔画像全体の人物属性の推定結果として年齢を表示することができる。これにより、ユーザは顔画像全体で推定された年齢と、顔の各領域の推定年齢との差を容易に把握することができる。 Further, the attribute output control unit 150 may cause the output unit 160 to display information related to the estimation result of the human attribute of the entire image estimated by the attribute estimation unit 140. For example, although not shown, the attribute output control unit 150 can display the age as the estimation result of the person attribute of the entire face image in the display screen 10 which is the output unit 160 of FIG. Thereby, the user can easily grasp the difference between the estimated age of the entire face image and the estimated age of each face region.
以上、本実施形態に係る人物属性提示装置１００について説明した。本実施形態に係る人物属性提示装置１００は、人物が含まれる画像を複数の領域２２に分割し、各領域２２について人物属性の推定を行い、推定結果に関する情報を作成し、出力部に表示させる。これにより、ユーザは、例えば画像中の人物のどの領域が他の領域と属性の評価の差があるかを容易に確認することができる。 The person attribute presentation device 100 according to the present embodiment has been described above. The person attribute presentation device 100 according to the present embodiment divides an image including a person into a plurality of areas 22, estimates the person attributes for each area 22, creates information about the estimation result, and causes the output unit to display the information. . Thereby, for example, the user can easily confirm which region of the person in the image has a difference in attribute evaluation from other regions.
＜２．第２の実施形態＞
［２−１．装置構成］
次に、本発明の第２の実施形態に係る人物属性提示装置１００について説明する。まず、図６を参照して、本発明の第２の実施形態に係る人物属性提示装置１００の概略構成について説明する。図６は、本発明の第２の実施形態に係る人物属性提示装置１００を示すブロック図である。なお、図６の説明において、図１と同じ構成については、詳細な説明を省略する。
<2. Second Embodiment>
[2-1. Device configuration]
Next, a person attribute presentation device 100 according to the second embodiment of the present invention will be described. First, a schematic configuration of the person attribute presentation device 100 according to the second embodiment of the present invention will be described with reference to FIG. FIG. 6 is a block diagram showing a person attribute presentation device 100 according to the second embodiment of the present invention. In the description of FIG. 6, detailed description of the same configuration as that of FIG. 1 is omitted.
図６を参照すると、本実施形態に係る人物属性提示装置１００は、画像入力部１１０と、制御部１２０と、修正情報入力部１３２と、記憶部１４２と、出力部１６０とを備える。 Referring to FIG. 6, the person attribute presentation device 100 according to the present embodiment includes an image input unit 110, a control unit 120, a correction information input unit 132, a storage unit 142, and an output unit 160.
制御部１２０は、領域分割部１３０と、画像修正部１３４と、属性推定部１４０と、画像修正効果比較部１４４と、属性出力制御部１５０とを有する。 The control unit 120 includes an area dividing unit 130, an image correction unit 134, an attribute estimation unit 140, an image correction effect comparison unit 144, and an attribute output control unit 150.
画像入力部１１０は、例えば人物が含まれる画像を、人物属性提示装置１００に接続された外部装置から取得する。 The image input unit 110 acquires, for example, an image including a person from an external device connected to the person attribute presentation device 100.
領域分割部１３０は、例えば画像入力部１１０により取得された画像を、複数の領域に分割する。領域分割部１３０は、複数の領域に分割された画像を属性推定部１４０に出力する。 The area dividing unit 130 divides an image acquired by the image input unit 110 into a plurality of areas, for example. The area dividing unit 130 outputs an image divided into a plurality of areas to the attribute estimating unit 140.
修正情報入力部１３２は、例えばユーザからの入力操作に基づいて、画像入力部１１０で取得された画像に対する修正情報を取得する。修正情報は、例えば画像において修正される領域を示す修正領域や、修正内容等の情報が含まれる。ユーザからの入力操作は、例えばマウス、キーボード、タッチパネル等の入力装置を介して行われる。修正情報入力部１３２は、入力装置から取得した修正情報を、画像修正部１３４に出力する。 The correction information input unit 132 acquires correction information for the image acquired by the image input unit 110 based on, for example, an input operation from the user. The correction information includes, for example, information such as a correction area indicating an area to be corrected in the image and correction contents. An input operation from the user is performed via an input device such as a mouse, a keyboard, or a touch panel. The correction information input unit 132 outputs the correction information acquired from the input device to the image correction unit 134.
画像修正部１３４は、例えば修正情報入力部１３２で取得された修正情報に基づいて、画像を修正し、修正された修正後画像を作成する。画像修正部１３４は、修正後画像を属性推定部１４０に出力する。なお、以下では修正がされる前の画像のことを、修正前画像という。 The image correction unit 134 corrects the image based on the correction information acquired by the correction information input unit 132, for example, and creates a corrected post-correction image. The image correction unit 134 outputs the corrected image to the attribute estimation unit 140. Hereinafter, an image before correction is referred to as an image before correction.
属性推定部１４０は、修正前画像及び修正後画像について、各領域の年齢や性別等の人物属性を推定する。属性推定部１４０は、各領域２２の人物属性の推定結果を記憶部１３６、画像修正効果比較部１４４又は属性出力制御部１５０のうち少なくともいずれか一方に出力する。 The attribute estimation unit 140 estimates person attributes such as age and gender of each region for the pre-correction image and the post-correction image. The attribute estimation unit 140 outputs the estimation result of the person attribute of each region 22 to at least one of the storage unit 136, the image correction effect comparison unit 144, and the attribute output control unit 150.
記憶部１４２は、例えば修正前画像または修正後画像のうち少なくともいずれか一方の推定結果に関する情報を記憶する。記憶部１４２は、これらの推定結果に関する情報を画像修正効果比較部１４４に出力する。 For example, the storage unit 142 stores information related to the estimation result of at least one of the pre-correction image and the post-correction image. The storage unit 142 outputs information regarding these estimation results to the image correction effect comparison unit 144.
画像修正効果比較部１４４は、後述する修正前画像及び修正後画像の人物属性の推定結果に関する情報に基づいて、画像修正の効果を比較する。推定結果に関する情報は、属性推定部１４０、記憶部１４２又は属性出力制御部１５０のうち少なくともいずれかから出力される。画像修正効果比較部１４４は、例えば一つの修正前画像に対して、対応する修正後画像が複数ある場合に、複数の修正後画像の中から修正前画像と比べて人物属性の推定結果の評価の差が大きい修正後画像の推定結果に関する情報を選択する。画像修正効果比較部１４４は、選択した修正後画像及び修正前画像の推定結果に関する情報を属性出力制御部１５０に出力する。 The image correction effect comparison unit 144 compares the effects of image correction based on information related to the estimation result of the person attributes of the pre-correction image and the post-correction image, which will be described later. Information on the estimation result is output from at least one of the attribute estimation unit 140, the storage unit 142, and the attribute output control unit 150. For example, when there are a plurality of corresponding corrected images for one pre-correction image, the image correction effect comparison unit 144 evaluates the estimation result of the person attribute from the plurality of corrected images compared to the pre-correction image. The information regarding the estimation result of the corrected image having a large difference is selected. The image correction effect comparison unit 144 outputs information about the selected corrected image and the estimation result of the uncorrected image to the attribute output control unit 150.
属性出力制御部１５０は、属性推定部１４０で推定された推定結果から、推定結果に関する画像等の推定結果に関する情報を作成し、推定結果に関する情報を画像修正効果比較部１４４に出力する。また、属性出力制御部１５０は、作成した推定結果に関する情報、又は画像修正効果比較部１４４から出力された修正後画像及び修正前画像の推定結果に関する情報のうち少なくともいずれかを出力部１６０に出力させる。 The attribute output control unit 150 creates information related to an estimation result such as an image related to the estimation result from the estimation result estimated by the attribute estimation unit 140, and outputs information related to the estimation result to the image correction effect comparison unit 144. In addition, the attribute output control unit 150 outputs at least one of the information related to the created estimation result or the information related to the estimation result of the corrected image and the uncorrected image output from the image correction effect comparison unit 144 to the output unit 160. Let
出力部１６０は、属性出力制御部１５０から出力された各領域２２の人物属性の推定結果に関する情報を出力する。このとき、出力部１６０は、例えば推定結果に関する情報を表示させるモニター等の表示装置であってもよく、音声等を出力するスピーカー等の音声出力装置であってもよい。 The output unit 160 outputs information related to the estimation result of the person attribute of each area 22 output from the attribute output control unit 150. At this time, the output unit 160 may be a display device such as a monitor that displays information on the estimation result, or may be a sound output device such as a speaker that outputs sound or the like.
［２−２．処理フロー］
次に、図７、８を参照して、本実施形態に係る人物属性提示装置１００の人物属性提示処理について説明する。図７は、本実施形態に係る人物属性提示処理を示すフローチャートである。なお、図７の説明において、図２と同じ処理については、詳細な説明を省略する。
[2-2. Processing flow]
Next, with reference to FIGS. 7 and 8, the human attribute presentation process of the human attribute presentation device 100 according to the present embodiment will be described. FIG. 7 is a flowchart showing person attribute presentation processing according to the present embodiment. In the description of FIG. 7, detailed description of the same processing as in FIG. 2 is omitted.
まず、画像入力部１１０は、人物属性提示装置１００に接続された外部装置から入力される人物が含まれる画像を取得する（Ｓ２００：入力処理）。図７のステップＳ２００は、図２のステップＳ１００の処理と同様に行うことができる。 First, the image input unit 110 acquires an image including a person input from an external device connected to the person attribute presentation device 100 (S200: input processing). Step S200 in FIG. 7 can be performed in the same manner as the process in step S100 in FIG.
次いで、領域分割部１３０は、画像入力部１１０により取得された画像を、複数の領域２２に分割する（Ｓ２１０：領域分割処理）。図７のステップＳ２１０は、図２のステップＳ１１０の処理と同様に行うことができる。 Next, the region dividing unit 130 divides the image acquired by the image input unit 110 into a plurality of regions 22 (S210: region dividing process). Step S210 in FIG. 7 can be performed in the same manner as the process in step S110 in FIG.
さらに、属性推定部１４０は、領域分割部１３０で複数の領域２２に分割された画像である修正前画像について、各領域２２の年齢や性別等の人物属性を推定する（Ｓ２２０：属性推定処理）。図７のステップＳ２２０は、図２のステップＳ１２０の処理と同様に行うことができる。 Furthermore, the attribute estimation unit 140 estimates personal attributes such as age and sex of each region 22 for the pre-correction image that is the image divided into the plurality of regions 22 by the region dividing unit 130 (S220: attribute estimation processing). . Step S220 in FIG. 7 can be performed in the same manner as the process in step S120 in FIG.
その後、修正情報入力部１７０は、ユーザからの入力操作に基づいて、修正前画像に対する修正情報を取得する（Ｓ２３０：修正情報入力処理）。修正情報は、例えば修正前画像の修正領域、修正する処理の内容等の情報が含まれる。修正領域は、ユーザにより任意に選択される一つ以上の領域２２や、人物の特定の部位等を含む領域２２である。修正する処理の内容は、選択された領域に対して行われる、回転、変形、皺やシミを消す、輝度値の変換等の画像処理の処理内容である。選択される人物の特定の部位は、例えば修正前画像が、顔画像である場合、目、鼻、口、頬等の顔の部分が選択されてもよい。また、修正前画像が全身である場合、腕、足、腰等の部分が選択されてもよい。例えば、画像修正処理で目尻を上げたい場合、修正領域として目尻を含む領域が選択され、修正情報にはアフィン変換により領域を回転させる処理内容が含まれる。 Thereafter, the correction information input unit 170 acquires correction information for the pre-correction image based on an input operation from the user (S230: correction information input process). The correction information includes, for example, information such as the correction area of the pre-correction image and the content of the processing to be corrected. The correction area is one or more areas 22 arbitrarily selected by the user, or an area 22 including a specific part of a person. The content of the processing to be corrected is the processing content of image processing such as rotation, deformation, crease and stain removal, luminance value conversion, and the like performed on the selected area. For example, when the pre-correction image is a face image, the specific portion of the selected person may be a face portion such as an eye, nose, mouth, or cheek. Further, when the pre-correction image is the whole body, parts such as arms, legs, and waists may be selected. For example, when it is desired to raise the corner of the eye in the image correction process, a region including the corner of the eye is selected as the correction region, and the correction information includes processing contents for rotating the region by affine transformation.
次いで、画像修正部１３４は、修正情報入力部１３２で取得された修正情報に基づいて、領域分割部１３０で複数の領域２２に分割された修正前画像を修正し、修正された修正後画像を作成する（Ｓ２４０：画像修正処理）。このとき、画像修正部１３４は、修正情報に応じて、複数の修正後画像を作成してもよい。例えば、画像修正部１３４は、修正領域が複数ある場合や修正する処理の内容が複数のパターンである場合には、修正処理に応じて複数の修正後画像を作成する。 Next, the image correction unit 134 corrects the pre-correction image divided into the plurality of regions 22 by the region dividing unit 130 based on the correction information acquired by the correction information input unit 132, and displays the corrected post-correction image. Create (S240: image correction process). At this time, the image correction unit 134 may create a plurality of corrected images according to the correction information. For example, when there are a plurality of correction areas or when the content of processing to be corrected is a plurality of patterns, the image correction unit 134 creates a plurality of corrected images according to the correction processing.
ここで、図８を参照して、ステップＳ２４０における画像修正処理について、詳細に説明をする。図８は、本実施形態に係る画像修正処理を示すフローチャートである。 Here, with reference to FIG. 8, the image correction process in step S240 will be described in detail. FIG. 8 is a flowchart showing image correction processing according to the present embodiment.
まず、図７のステップＳ２４０における画像修正処理が開始されると、画像修正部１３４は、ユーザに選択された修正前画像の修正領域を選択する（Ｓ２４２）。修正領域は、修正前画像の分割された領域単位で選択されてもよく、また人物の特定の部位を含む範囲として複数の領域２２が選択されてもよい。 First, when the image correction process in step S240 of FIG. 7 is started, the image correction unit 134 selects the correction area of the pre-correction image selected by the user (S242). The correction area may be selected in units of divided areas of the pre-correction image, or a plurality of areas 22 may be selected as a range including a specific part of the person.
次いで、画像修正部１３４は、ステップＳ２４２で選択された領域に対して、ユーザに選択された処理内容の画像処理をする（Ｓ２４４）。処理内容は、選択された修正領域に対して行われる、回転、変形、皺やシミを消す等の画像処理である。 Next, the image correction unit 134 performs image processing of the processing content selected by the user on the region selected in step S242 (S244). The processing content is image processing such as rotation, deformation, crease and stain removal performed on the selected correction area.
さらに、画像修正部１３４は、選択された修正領域に画像処理を行った修正後画像を属性推定部１４０に出力する（Ｓ２４６）。 Further, the image correction unit 134 outputs a corrected image obtained by performing image processing on the selected correction area to the attribute estimation unit 140 (S246).
図７の説明に戻り、ステップＳ２４０にて修正後画像が属性推定部１４０に出力されると、属性推定部１４０は、修正後画像の各領域２２の年齢や性別等の人物属性を推定する（Ｓ２５０：属性推定処理）。図７のステップＳ２５０は、図２のステップＳ１２０の処理と同様に行うことができる。 Returning to the description of FIG. 7, when the corrected image is output to the attribute estimating unit 140 in step S240, the attribute estimating unit 140 estimates the person attributes such as age and sex of each region 22 of the corrected image ( S250: attribute estimation process). Step S250 of FIG. 7 can be performed in the same manner as the process of step S120 of FIG.
その後、属性出力制御部１５０は、属性推定部１４０で修正前画像及び修正後画像の人物属性の推定結果から、推定結果に関する画像等の推定結果に関する情報を作成する（Ｓ２６０：第１の属性推定処理）。図７のステップＳ２６０は、図２のステップＳ１３０における推定結果に関する情報を作成する処理と同様に行うことができる。 Thereafter, the attribute output control unit 150 creates information related to the estimation result such as an image related to the estimation result from the estimation result of the person attribute of the pre-correction image and the post-correction image in the attribute estimation unit 140 (S260: first attribute estimation processing). Step S260 in FIG. 7 can be performed in the same manner as the process for creating information related to the estimation result in step S130 in FIG.
次いで、画像修正効果比較部１４４は、修正前画像修正前画像及び修正後画像の推定結果に関する情報に基づいて、画像修正の効果を比較する（Ｓ２７０：画像修正効果比較処理）。画像修正効果比較部１４４は、例えば一つの修正前画像に対して、対応する修正後画像が複数ある場合に、複数の修正後画像の中から修正前画像と比べて人物属性の推定結果の評価の差が大きい修正後画像を選択する。例えば、人物属性として年齢を推定する場合、画像修正効果比較部１４４は、修正前画像の推定結果と比較して、最も若い年齢が推定された修正後画像の推定結果に関する情報を選択する。 Next, the image correction effect comparison unit 144 compares the effects of image correction based on the information about the estimation results of the pre-correction image and the post-correction image (S270: image correction effect comparison process). For example, when there are a plurality of corresponding corrected images for one pre-correction image, the image correction effect comparison unit 144 evaluates the estimation result of the person attribute from the plurality of corrected images compared to the pre-correction image. Select a corrected image with a large difference. For example, when the age is estimated as the person attribute, the image correction effect comparison unit 144 selects information related to the estimation result of the corrected image in which the youngest age is estimated as compared with the estimation result of the uncorrected image.
さらに、属性出力制御部１５０は、画像修正効果比較部１４４で選択された修正後画像及び修正前画像の推定結果に関する情報を出力部に出力させる（Ｓ２８０：第２の属性出力制御処理）。 Further, the attribute output control unit 150 causes the output unit to output information related to the post-correction image and the pre-correction image estimation result selected by the image correction effect comparison unit 144 (S280: second attribute output control process).
以上、本実施形態に係る人物属性推定処理の概要について説明した。本実施形態に係る人物属性提示装置１００は、ユーザからの指示にしたがって修正前画像に対して画像処理を行い修正後画像を作成し、修正前画像及び修正後画像の各領域について人物属性を推定する。これにより、ユーザは、例えばスキンケアや美容整形等を実際に行わなくても、スキンケアや美容整形等の効果を容易に確認することができる。 The outline of the person attribute estimation process according to the present embodiment has been described above. The person attribute presentation device 100 according to the present embodiment performs image processing on the uncorrected image according to an instruction from the user to create a corrected image, and estimates the person attribute for each area of the uncorrected image and the corrected image. To do. Thereby, the user can confirm easily the effects, such as skin care and cosmetic surgery, without actually performing skin care, cosmetic surgery, etc., for example.
また、本実施形態に係る人物属性提示装置１００は、複数の修正後画像の中から修正前画像と比べて人物属性の推定結果の評価の差が大きい修正後画像の推定結果に関する情報を選択する。これにより、例えば複数のスキンケアや美容整形等の選択肢の中から効果的な選択肢が自動的に選択され、ユーザは効果的なスキンケアや美容整形等の選択肢を簡便に確認することができる。 In addition, the person attribute presentation device 100 according to the present embodiment selects information related to the estimation result of the post-correction image having a large difference in evaluation of the estimation result of the human attribute from the plurality of post-correction images. . Thereby, for example, an effective option is automatically selected from a plurality of options such as skin care and cosmetic surgery, and the user can easily confirm effective skin care and cosmetic surgery options.
［２−３．処理例］
次に、図９を参照して、本実施形態に係る人物属性提示装置１００により、人物を含む画像の修正を行い、人物属性として年齢を推定し、修正前後での推定結果を比較する処理例について説明する。また、本処理例では、人物を含む画像として、人物の顔が含まれる顔画像を用いた処理を実行する。なお、第１の実施形態と同じＳ２００〜Ｓ２３０の処理については、詳細な説明をする。
[2-3. Processing example]
Next, referring to FIG. 9, a processing example in which the human attribute presentation device 100 according to the present embodiment corrects an image including a person, estimates the age as a human attribute, and compares the estimation results before and after the correction. Will be described. In this processing example, processing using a face image including a person's face is executed as an image including a person. Note that the same processes in S200 to S230 as in the first embodiment will be described in detail.
［２−３−１．画像修正処理（Ｓ２４０）］
まず、図７のステップＳ２４０における画像修正処理について詳細な説明をする。画像修正処理は、例えば修正情報に基づいて、領域分割部１３０で複数の領域に分割された画像を修正し、修正された修正後画像を作成する画像修正処理を実行する処理である。本処理例では、顔画像として人物の顔が含まれる顔画像を取得する。
[2-3-1. Image Correction Process (S240)]
First, the image correction process in step S240 of FIG. 7 will be described in detail. The image correction process is a process for executing an image correction process for correcting an image divided into a plurality of areas by the area dividing unit 130 based on the correction information and creating a corrected image after correction. In this processing example, a face image including a human face is acquired as a face image.
図９は、本実施形態における一処理例に係る人物属性の推定結果の一提示例を示す説明図である。図９の左側に、修正前画像である修正前顔画像２０Ａを示し、右側に、修正後画像である修正後顔画像２０Ｂとを示す。図９に図示した例では、画像修正部１３４は、例えば修正前顔画像２０Ａに対して、部位を含む領域の推定年齢が他の領域の推定年齢と比べて高い部位である鼻と目を含む領域をそれぞれ変形させる。 FIG. 9 is an explanatory diagram illustrating an example of presentation of a person attribute estimation result according to an example of processing in the present embodiment. The left side of FIG. 9 shows a pre-correction face image 20A, which is a pre-correction image, and the right side shows a post-correction face image 20B, which is a post-correction image. In the example illustrated in FIG. 9, the image correction unit 134 includes, for example, a nose and eyes that are higher in the estimated age of the region including the region than the estimated age of the other region with respect to the uncorrected face image 20A. Each region is deformed.
図９の修正後顔画像２０Ｂでは、ステップＳ２４２にて選択された修正領域７０を太枠で囲まれた領域として示す。図９の右上側に示した修正後顔画像２０Ｂは、両目を含む領域が選択され、右下側に示した修正後顔画像２０Ｂは、鼻を含む領域が選択される。 In the corrected face image 20B of FIG. 9, the correction area 70 selected in step S242 is shown as an area surrounded by a thick frame. In the corrected face image 20B shown in the upper right side of FIG. 9, a region including both eyes is selected, and in the corrected face image 20B shown in the lower right side, a region including the nose is selected.
また、ステップＳ２４４において、画像修正部１３４は、画像の修正処理を行う。図９の右上側の修正後顔画像２０Ｂは、目を細くさせる処理が行われた例であり、右下側の修正後顔画像２０Ｂは、鼻を細くさせる処理が行われた例である。このような処理は、例えば修正前顔画像２０Ａの修正領域７０をアフィン変換することで行われてもよい。 In step S244, the image correction unit 134 performs image correction processing. The corrected face image 20B on the upper right side in FIG. 9 is an example in which processing for narrowing the eyes is performed, and the corrected face image 20B on the lower right side is an example in which processing for narrowing the nose is performed. Such processing may be performed, for example, by affine transformation of the correction area 70 of the uncorrected face image 20A.
さらに、ステップＳ２４６において、画像修正部１３４は、作成した修正後顔画像２０Ｂを属性推定部１４０に出力する。図９に図示した例では、画像修正部１３４は、目を変形させた修正後顔画像２０Ｂと、鼻を変形させた修正後顔画像２０Ｂの２つの修正後顔画像２０Ｂを、属性推定部１４０に出力する。 Further, in step S246, the image correction unit 134 outputs the created corrected face image 20B to the attribute estimation unit 140. In the example illustrated in FIG. 9, the image correction unit 134 converts the two corrected face images 20 </ b> B, that is, the corrected face image 20 </ b> B with deformed eyes and the corrected face image 20 </ b> B with deformed nose into the attribute estimation unit 140. Output to.
［２−３−２．修正後顔画像の属性推定処理（Ｓ２５０）］
次に、図７のステップＳ２５０における修正後画像の属性推定処理について説明する。修正後画像の人物属性の推定は、ステップＳ２２０と同様の方法で行われる。推定する修正後画像の領域は、修正後画像の分割された各領域全てに対して行われてもよい。また、推定する修正後画像の領域は、ステップＳ２４０にて修正が行われた修正領域７０のみでもよい。この場合、推定が行われていない領域には、修正前画像の推定結果が用いることができる。
[2-3-2. Post-correction face image attribute estimation processing (S250)]
Next, the post-correction image attribute estimation processing in step S250 of FIG. 7 will be described. The estimation of the person attribute of the corrected image is performed by the same method as in step S220. The region of the corrected image to be estimated may be performed on all the divided regions of the corrected image. Further, the region of the post-correction image to be estimated may be only the correction region 70 that has been corrected in step S240. In this case, the estimation result of the uncorrected image can be used for the area where the estimation is not performed.
［２−３−３．第１の属性出力制御処理（Ｓ２６０）］
さらに、図７のステップＳ２６０における第１の属性出力制御処理について説明する。第１の属性出力制御処理は、修正前画像及び修正後画像の人物属性の推定結果から、推定結果に関する画像等の推定結果に関する情報を作成する処理である。修正前画像及び修正後画像の推定結果に関する情報の作成は、ステップＳ１３０における、推定結果に関する画像等の推定結果に関する情報を作成する処理と同様に行われる。
[2-3-3. First attribute output control process (S260)]
Further, the first attribute output control process in step S260 of FIG. 7 will be described. The first attribute output control process is a process of creating information related to an estimation result such as an image related to the estimation result from the estimation result of the person attribute of the pre-correction image and the post-correction image. The creation of information related to the estimation result of the pre-correction image and the post-correction image is performed in the same manner as the process of creating information related to the estimation result such as the image related to the estimation result in step S130.
［２−３−４．画像修正効果比較処理（Ｓ２７０）］
次に、図７のステップＳ２７０における画像修正効果比較処理について説明する。画像修正効果比較処理は、修正前画像及び修正後画像の推定結果に関する情報に基づいて、画像修正の効果を比較する処理である。例えば、画像修正効果比較部１４４は、修正前画像と修正後画像の効果の差として、画像全体の人物属性の推定結果の評価の差を算出することができる。また、画像修正効果比較部１４４は、修正前画像と修正後画像の効果の差として、修正領域７０における人物属性の推定結果の差を算出してもよい。評価の差は、例えば人物属性が年齢である場合は、年齢の差であってもよい。
[2-3-4. Image Correction Effect Comparison Processing (S270)]
Next, the image correction effect comparison process in step S270 of FIG. 7 will be described. The image correction effect comparison process is a process for comparing the effects of image correction based on information on the estimation results of the pre-correction image and the post-correction image. For example, the image correction effect comparison unit 144 can calculate a difference in evaluation of estimation results of human attributes of the entire image as a difference in effect between the pre-correction image and the post-correction image. In addition, the image correction effect comparison unit 144 may calculate the difference between the estimation results of the person attributes in the correction area 70 as the difference in effect between the pre-correction image and the post-correction image. The difference in evaluation may be a difference in age when, for example, the person attribute is age.
図９に図示した例では、画像修正効果比較部１４４は、修正前顔画像２０Ａ及び修正後顔画像２０Ｂの顔画像全体での年齢の差を評価値として用いる。図９を参照すると、顔画像全体での年齢を推定した結果である全体属性推定結果６０が示される。例えば、図９の上側の目を変形させた修正後顔画像２０Ｂでは、全体属性推定結果６０は２６歳となり、全体属性推定結果６０が２９歳である修正前顔画像２０Ａとの評価値の差は３歳となる。一方、図９の下側の鼻を変形させた修正後顔画像２０Ｂでは、全体属性推定結果６０は２８歳となり、修正前顔画像２０Ａとの評価値の差は１歳となる。この場合、画像修正効果比較部１４４は、目を変形させた修正後顔画像２０Ｂの方が、差が大きく、年齢が若くなっていると判断し、目を変形させた修正後顔画像２０Ｂを選択する。 In the example illustrated in FIG. 9, the image correction effect comparison unit 144 uses the age difference between the entire face image of the uncorrected face image 20A and the corrected face image 20B as an evaluation value. Referring to FIG. 9, an overall attribute estimation result 60, which is the result of estimating the age of the entire face image, is shown. For example, in the corrected face image 20B in which the upper eye in FIG. 9 is deformed, the overall attribute estimation result 60 is 26 years old, and the evaluation value difference from the uncorrected face image 20A in which the overall attribute estimation result 60 is 29 years old Will be 3 years old. On the other hand, in the corrected face image 20B in which the lower nose of FIG. 9 is deformed, the overall attribute estimation result 60 is 28 years old, and the evaluation value difference from the uncorrected face image 20A is 1 year old. In this case, the image correction effect comparison unit 144 determines that the corrected face image 20B with deformed eyes has a larger difference and the younger age, and determines the corrected face image 20B with deformed eyes. select.
［２−３−５．第２の属性出力制御処理（Ｓ２８０）］
次に、図７のステップＳ２８０における第２の属性出力制御処理について説明する。第２の属性出力制御処理は、例えば画像修正効果比較部１４４で選択された修正後顔画像及び修正前画像の人物属性の推定結果に関する情報を出力部１６０に出力させる処理である。
[2-3-5. Second attribute output control process (S280)]
Next, the second attribute output control process in step S280 of FIG. 7 will be described. The second attribute output control process is a process for causing the output unit 160 to output information related to the estimation result of the person attribute of the post-correction face image and the pre-correction image selected by the image correction effect comparison unit 144, for example.
例えば、属性出力制御部１５０は、選択された修正後顔画像及び修正前画像の人物属性の推定結果に関する画像を配列させて出力部１６０に表示させてもよい。これにより、ユーザは、修正前画像と修正後画像とを比較しやすくなり、修正による効果を確認しやすくなる。また、属性出力制御部１５０は、修正後画像の人物属性の推定結果に関する画像と、推定結果に関する情報を出力部１６０に表示させてもよい。推定結果に関する情報は、例えば修正した修正前顔画像２０Ａの部位や範囲等の情報、修正前画像と修正後画像との推定結果の評価の差である。図９に図示した例では、属性出力制御部１５０は、出力部である表示画面１０に、修正後画像の人物属性の推定結果に関する画像として修正後顔画像２０Ｂの属性推定マップと、推定結果に関する情報として修正した部位に関するメッセージ８０とが表示される。このとき、表示されるメッセージは、出力部に表示されるだけでなく、音声出力部から音声として出力されてもよい。これにより、ユーザは、例えばスキンケアや美容整形等の選択肢の内どれが効果的であるかを確認しやすくなる。 For example, the attribute output control unit 150 may arrange the images related to the estimation result of the person attribute of the selected corrected face image and the uncorrected image and display them on the output unit 160. As a result, the user can easily compare the uncorrected image and the corrected image, and can easily confirm the effect of the correction. Further, the attribute output control unit 150 may cause the output unit 160 to display an image related to the estimation result of the person attribute of the corrected image and information related to the estimation result. The information related to the estimation result is, for example, information such as a part and a range of the corrected face image 20A before correction, and a difference in evaluation of the estimation result between the image before correction and the image after correction. In the example illustrated in FIG. 9, the attribute output control unit 150 relates to the attribute estimation map of the corrected face image 20 </ b> B as an image related to the estimation result of the person attribute of the corrected image and the estimation result on the display screen 10 that is the output unit. A message 80 regarding the corrected part is displayed as information. At this time, the displayed message is not only displayed on the output unit, but may be output as audio from the audio output unit. This makes it easier for the user to confirm which of the options such as skin care or cosmetic surgery is effective.
以上、本実施形態に係る本実施形態に係る人物属性提示装置１００について、説明した。本実施形態に係る人物属性提示装置１００は、修正前画像に対する画像処理により修正後画像を作成し、修正前画像及び修正後画像の各領域について人物属性の推定を行い、推定結果に関する画像を作成し、出力部に表示させる。これにより、ユーザは、例えばスキンケアや美容整形等を実際に行わなくても、スキンケアや美容整形等の効果を容易に確認することができる。 Heretofore, the person attribute presentation device 100 according to the present embodiment according to the present embodiment has been described. The human attribute presentation device 100 according to the present embodiment creates a post-correction image by image processing on the pre-correction image, estimates human attributes for each area of the pre-correction image and the post-correction image, and creates an image related to the estimation result And display it on the output section. Thereby, the user can confirm easily the effects, such as skin care and cosmetic surgery, without actually performing skin care, cosmetic surgery, etc., for example.
また、本実施形態に係る人物属性提示装置１００は、複数の修正後画像の中から修正前画像と比べて人物属性の推定結果の評価の差が大きい修正後画像を選択する。これにより、例えば複数のスキンケアや美容整形等の選択肢の中から効果的な選択肢が自動的に選択され、ユーザは効果的なスキンケアや美容整形等の選択肢を簡便に取得することができる。 In addition, the person attribute presentation device 100 according to the present embodiment selects a corrected image having a large difference in evaluation of human attribute estimation results from a plurality of corrected images as compared to an uncorrected image. Thereby, for example, an effective option is automatically selected from a plurality of options such as skin care and cosmetic surgery, and the user can easily acquire effective skin care and cosmetic surgery options.
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
例えば、第１および第２の実施形態では、推定する人物属性を年齢としたが、本発明はかかる例に限定されない。例えば、人物属性は性別であってもよい。この場合、例えば男性的な度合または女性的な度合を推定することができる。例えば、男性的な度合を＋１．０〜−１．０で示される値とし、＋１．０が最も男性らしく、−１．０が最も女性らしいという連続した値を用いてもよい。 For example, in the first and second embodiments, the estimated person attribute is age, but the present invention is not limited to this example. For example, the person attribute may be gender. In this case, for example, a masculine degree or a feminine degree can be estimated. For example, the masculine degree may be a value indicated by +1.0 to −1.0, and a continuous value in which +1.0 is most masculine and −1.0 is most feminine may be used.
また、例えば、第１の実施形態では、人物属性を推定する画像を顔が含まれる顔画像としたが、本発明はかかる例に限定されない。例えば、人物属性を推定する画像は、人物の全身が含まれる全身画像してもよい。これにより、手、足及び腰等の体の部位毎の人物属性を推定することができる。 For example, in the first embodiment, the image for estimating the person attribute is a face image including a face, but the present invention is not limited to such an example. For example, the image for estimating the person attribute may be a whole body image including the whole body of the person. Thereby, the person attribute for every part of the body such as hands, feet, and waist can be estimated.
また、例えば、第１および第２の実施形態では、属性推定マップ３０は、顔画像２０に人物属性の推定結果を重畳させて表示されるが、本発明はかかる例に限定されない。例えば、顔画像２０ではなく、顔を模式化した模式画像に人物属性の推定結果を重畳させて表示させてもよい。 Further, for example, in the first and second embodiments, the attribute estimation map 30 is displayed with the estimation result of the person attribute superimposed on the face image 20, but the present invention is not limited to such an example. For example, instead of the face image 20, the estimation result of the person attribute may be superimposed and displayed on a schematic image in which the face is modeled.
また、例えば、第２の実施形態では、画像修正効果比較部１４４は、複数の修正後画像の中から修正前画像と比べて人物属性の推定結果の評価の差が大きい修正後画像の推定結果に関する情報を一つ選択するが、本発明はかかる例に限定されない。例えば、画像修正効果比較部１４４は、人物属性の推定結果の評価の差が大きい修正後画像の推定結果に関する情報を複数選択してもよい。さらに、画像修正効果比較部１４４は、例えば評価の差がユーザに予め設定された値に近い推定結果に関する情報を選択してもよい。 In addition, for example, in the second embodiment, the image correction effect comparison unit 144 has the estimation result of the corrected image having a large difference in evaluation of the estimation result of the person attribute compared to the image before correction among the plurality of corrected images. Although one piece of information is selected, the present invention is not limited to such an example. For example, the image correction effect comparison unit 144 may select a plurality of pieces of information related to the estimated result of the corrected image having a large difference in evaluation of the estimation result of the person attribute. Furthermore, the image correction effect comparison unit 144 may select, for example, information regarding an estimation result in which the difference in evaluation is close to a value set in advance by the user.
また、例えば、第２の実施形態では、画像修正効果比較部１４４は、複数の修正後画像の中から修正前画像と比べて人物属性の推定結果の年齢が最も若い修正後画像の推定結果に関する情報を選択するが、本発明はかかる例に限定されない。例えば、選択される修正後画像の推定結果に関する情報は、例えば年齢の高い推定結果に関する情報であってもよい。 Further, for example, in the second embodiment, the image correction effect comparison unit 144 relates to the estimation result of the corrected image having the youngest age of the estimation result of the person attribute compared to the pre-correction image among the plurality of corrected images. Information is selected, but the present invention is not limited to such an example. For example, the information related to the estimated result of the corrected image to be selected may be information related to the estimated result of older age, for example.
また、例えば、第１および第２の実施形態では、属性推定マップ３０は、顔画像２０に人物属性の推定結果に応じて領域２２をハッチングして表示させるが、本発明はかかる例に限定されない。例えば、推定する人物属性が年齢である場合に数字等を顔画像２０に重畳させて表示させてもよい。このとき、年齢表示の単位は、１０代、２０代、３０代…のように、１０歳単位で表示させてもよく、１０歳、１１歳、１２歳…のように、１歳単位で表示させてもよい。さらに、例えば、推定結果に応じて設定された色等で属性推定マップ３０を作成する場合、推定結果の値に応じて連続的に色を変化させて表示させてもよい。 Further, for example, in the first and second embodiments, the attribute estimation map 30 causes the face image 20 to be displayed by hatching the region 22 according to the estimation result of the person attribute, but the present invention is not limited to such an example. . For example, when the estimated person attribute is age, numbers and the like may be superimposed on the face image 20 and displayed. At this time, the unit of age display may be displayed in units of 10 years, such as teens, 20s, 30s, etc., and may be displayed in units of 1 year, such as 10 years, 11 years, 12 years, etc. You may let them. Furthermore, for example, when creating the attribute estimation map 30 with a color or the like set according to the estimation result, the color may be continuously changed and displayed according to the value of the estimation result.
また、例えば、第１および第２の実施形態では、属性推定処理において、Ｈａａｒ−ｌｉｋｅ特徴の特徴量に基づいて人物属性を推定したが、本発明はかかる例に限定されない。例えば、エッジ量等の他の特徴量を含む弱識別器を用いてもよい。 For example, in the first and second embodiments, the person attribute is estimated based on the feature amount of the Haar-like feature in the attribute estimation process, but the present invention is not limited to such an example. For example, a weak classifier including other feature amounts such as an edge amount may be used.
１００ 人物属性提示装置
１１０ 画像入力部
１２０ 制御部
１３０ 領域分割部
１４０ 属性推定部
１４４ 画像修正効果比較部
１５０ 属性出力制御部
１６０ 出力部
１７０ 修正情報入力部
１８０ 画像修正部
１９０ 記憶部
１０ 表示画面
２０ 顔画像
２０Ａ 修正前画像
２０Ｂ 修正後画像
２２ グリッド
２４ 推定領域
３０ 属性推定マップ
３２ 属性凡例
４０ 第１局所領域
５０ 第２局所領域
６０ 画像全体の推定結果
７０ 修正領域
８０ メッセージ
DESCRIPTION OF SYMBOLS 100 Person attribute presentation apparatus 110 Image input part 120 Control part 130 Area division part 140 Attribute estimation part 144 Image correction effect comparison part 150 Attribute output control part 160 Output part 170 Correction information input part 180 Image correction part 190 Storage part 10 Display screen 20 Face image 20A Image before correction 20B Image after correction 22 Grid 24 Estimation area 30 Attribute estimation map 32 Attribute legend 40 First local area 50 Second local area 60 Overall image estimation result 70 Correction area 80 Message
Claims (16)
分割された複数の前記領域毎に人物属性を推定する属性推定部と、
分割された複数の前記領域毎の人物属性の推定結果に関する情報を出力部に表示させる属性出力制御部と、
を備える、人物属性提示装置。 An area dividing unit for dividing an image including a person into a plurality of areas;
An attribute estimation unit that estimates a person attribute for each of the plurality of divided areas;
An attribute output control unit that causes the output unit to display information on the estimation result of the person attribute for each of the plurality of divided areas;
A personal attribute presentation device.
前記属性推定部は、前記修正後画像の前記領域の人物属性を推定する、請求項１〜９のいずれか１項に記載の人物属性提示装置。 An image correction unit that performs image processing on at least one of the divided areas of the image based on correction information for the image input from a user and creates a corrected image; Prepared,
The person attribute presenting apparatus according to claim 1, wherein the attribute estimating unit estimates a person attribute of the region of the corrected image.
前記修正後画像について、分割された前記領域毎の人物属性の推定結果に関する情報とのうち少なくともいずれか一方を記憶する記憶部をさらに備える、請求項１０に記載の人物属性提示装置。７ For the image before correction, information on the estimation result of the person attribute for each of the divided areas,
The personal attribute presentation device according to claim 10, further comprising: a storage unit that stores at least one of the information regarding the estimation result of the human attribute for each of the divided areas with respect to the corrected image. 7
分割された複数の前記領域毎に人物属性を推定するステップと、
分割された複数の前記領域毎の人物属性の推定結果に関する情報を表示させるステップと、
を含む、人物属性提示方法。
Dividing an image including a person into a plurality of regions;
Estimating a person attribute for each of the plurality of divided areas;
Displaying information related to the estimation result of the person attribute for each of the plurality of divided areas;
Including a personal attribute presentation method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013127328A JP6131732B2 (en) | 2013-06-18 | 2013-06-18 | Person attribute presentation apparatus and person attribute presentation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013127328A JP6131732B2 (en) | 2013-06-18 | 2013-06-18 | Person attribute presentation apparatus and person attribute presentation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015001921A true JP2015001921A (en) | 2015-01-05 |
| JP6131732B2 JP6131732B2 (en) | 2017-05-24 |
Family
ID=52296388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013127328A Active JP6131732B2 (en) | 2013-06-18 | 2013-06-18 | Person attribute presentation apparatus and person attribute presentation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6131732B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022529677A (en) * | 2019-04-23 | 2022-06-23 | ザ プロクター アンド ギャンブル カンパニー | Devices and methods for visualizing cosmetic skin properties |
| US11605243B2 (en) | 2019-04-23 | 2023-03-14 | The Procter & Gamble Company | Apparatus and method for determining cosmetic skin attributes |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7400343B2 (en) | 2019-10-25 | 2023-12-19 | スズキ株式会社 | Outboard motor |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006142005A (en) * | 2004-10-22 | 2006-06-08 | Shiseido Co Ltd | Skin condition diagnostic system and beauty counseling system |
| JP2008282089A (en) * | 2007-05-08 | 2008-11-20 | Omron Corp | Person attribute estimation device |
| JP2010244239A (en) * | 2009-04-03 | 2010-10-28 | Nikon Corp | Image processor, digital camera and program |
-
2013
- 2013-06-18 JP JP2013127328A patent/JP6131732B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006142005A (en) * | 2004-10-22 | 2006-06-08 | Shiseido Co Ltd | Skin condition diagnostic system and beauty counseling system |
| JP2008282089A (en) * | 2007-05-08 | 2008-11-20 | Omron Corp | Person attribute estimation device |
| JP2010244239A (en) * | 2009-04-03 | 2010-10-28 | Nikon Corp | Image processor, digital camera and program |
Non-Patent Citations (2)
| Title |
|---|
| 山本 一真: "顔向き正規化と部分毎の推定による顔向き変化に頑健な性別推定", 第１９回画像センシングシンポジウム 講演論文集 ［ＣＤ−ＲＯＭ］, vol. IS2-15, JPN6017001672, 12 June 2013 (2013-06-12), JP, pages 2 - 15, ISSN: 0003483595 * |
| 川出 雅人: "《２−６》顔・人体メディアが拓く新産業の画像技術", 映像情報メディア学会誌 第６５巻 第１１号, vol. 65, no. 11, JPN6017001673, 1 November 2011 (2011-11-01), JP, pages 1534 - 1544, ISSN: 0003483596 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022529677A (en) * | 2019-04-23 | 2022-06-23 | ザ プロクター アンド ギャンブル カンパニー | Devices and methods for visualizing cosmetic skin properties |
| JP7235895B2 (en) | 2019-04-23 | 2023-03-08 | ザ プロクター アンド ギャンブル カンパニー | Apparatus and method for visualizing cosmetic skin characteristics |
| US11605243B2 (en) | 2019-04-23 | 2023-03-14 | The Procter & Gamble Company | Apparatus and method for determining cosmetic skin attributes |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6131732B2 (en) | 2017-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11113842B2 (en) | Method and apparatus with gaze estimation | |
| Zheng et al. | Automated “disease/no disease” grading of age-related macular degeneration by an image mining approach | |
| Fowlkes et al. | Local figure–ground cues are valid for natural images | |
| CN106446781A (en) | Face image processing method and face image processing device | |
| KR20150122441A (en) | APPARATUS AND METHOD FOR DETERMINATION of FACIAL EXPRESSION TYPE | |
| JP6131732B2 (en) | Person attribute presentation apparatus and person attribute presentation method | |
| US10885636B2 (en) | Object segmentation apparatus and method using Gaussian mixture model and total variation | |
| JP5726646B2 (en) | Image processing apparatus, method, and program | |
| Amir et al. | Greater sensitivity to nonaccidental than metric shape properties in preschool children | |
| Zhao et al. | Emotion based image musicalization | |
| JP4219521B2 (en) | Matching method and apparatus, and recording medium | |
| JP2020163100A5 (en) | ||
| JP2015094973A (en) | Image processor, image processing method, image processing program, and recording medium | |
| JP2017164215A (en) | Interest degree estimation apparatus, interest degree estimation method, program, and recording medium | |
| JP2015114946A (en) | Image processor, program, and image processing method | |
| TWI675646B (en) | Breast image analysis method, system, and non-transitory computer-readable medium | |
| JP6476608B2 (en) | Operation processing apparatus, operation processing method, and program | |
| JP6318451B2 (en) | Saliency image generating apparatus, method, and program | |
| JP4530173B2 (en) | Method and system for detecting the position of a facial part | |
| WO2015125759A1 (en) | Aging analysis method and aging analysis device | |
| JP2019036151A (en) | Evaluation device, evaluation method and evaluation program | |
| Santos et al. | Deep neural network model based on one-stage detector for identifying fundus lesions | |
| US20220366248A1 (en) | Learning apparatus, a learning method, object detecting apparatus, object detecting method, and recording medium | |
| JP2016066383A (en) | Makeup support device and makeup support method | |
| Baby et al. | Digital image forgery detection based on glcm and hog features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170313 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170321 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170403 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6131732 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |