JP2018013886A - Recognition easiness index calculation device, method, and program - Google Patents
Recognition easiness index calculation device, method, and program Download PDFInfo
- Publication number
- JP2018013886A JP2018013886A JP2016141829A JP2016141829A JP2018013886A JP 2018013886 A JP2018013886 A JP 2018013886A JP 2016141829 A JP2016141829 A JP 2016141829A JP 2016141829 A JP2016141829 A JP 2016141829A JP 2018013886 A JP2018013886 A JP 2018013886A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- feature descriptor
- positive
- image feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、認識容易性指標算出装置、方法、及びプログラムに関する。 The present invention relates to a recognizability index calculation apparatus, method, and program.
信頼度の低いタグが付与された大量の画像データの例として、ソーシャルネットワークサービス（ＳＮＳ）に各ユーザがタグ付きで投稿する画像データ等がある。サービスユーザが自由に付与したタグは非常に多様であり、そうしたタグ付きの画像はコンピュータによる画像認識のための教師データとして有用でありながら、どのようなタグが真に有用かを整理することが課題となる。 As an example of a large amount of image data to which a tag with low reliability is assigned, there is image data that each user posts with a tag to a social network service (SNS). Tags given freely by service users are very diverse, and images with such tags are useful as teacher data for image recognition by computers, but it is possible to sort out what tags are truly useful. It becomes a problem.
例えば、非特許文献１の従来技術では、ウェブから収集したタグ付きの画像データセットから、画像特徴が高い相関をもつ画像のタグ同士は意味的に近いとみなし、それらのタグをもつ画像群を利用してタグ識別器を更新する。 For example, in the prior art of Non-Patent Document 1, it is considered that tags of images having a high correlation in image characteristics are semantically close from tagged image data sets collected from the web, and image groups having these tags are selected. Use to update the tag identifier.
上記の非特許文献１の技術では、タグの有無と画像特徴の近さとに着目し、それによって信頼度の低いタグが付けられた大量の画像データの認識を容易にしているが、タグの視覚的な認識容易性の指標を抽出していないため、画像に付与されたタグが有用であるか否かを判別することができず、認識が容易なタグを特定することができない。 The technique of Non-Patent Document 1 focuses on the presence or absence of a tag and the proximity of image features, thereby facilitating the recognition of a large amount of image data with a tag with low reliability. Therefore, it is not possible to determine whether or not the tag attached to the image is useful, and it is not possible to specify a tag that can be easily recognized.
本発明は、上記問題点を解決するために成されたものであり、認識が容易なタグを特定することができる認識容易性指標算出装置、方法、及びプログラムを提供することを目的とする。 The present invention has been made to solve the above problems, and an object of the present invention is to provide an easy-to-recognition index calculation apparatus, method, and program capable of specifying a tag that can be easily recognized.
上記目的を達成するために、本発明に係る認識容易性指標算出装置は、画像に含まれる特定の物体を表すタグが付与された画像の集合であるポジティブセット及び前記タグが付与されていない画像の集合であるネガティブセットに基づいて、前記画像から得られる複数の画像特徴の各々に対し、前記ポジティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムと、前記ネガティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムとを生成する画像特徴生成部と、前記画像特徴生成部によって生成された、複数の前記画像特徴の各々についての、前記ポジティブセットの前記ヒストグラムと前記ネガティブセットの前記ヒストグラムとの間の距離を計算する画像特徴分布比較部と、前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記画像特徴を画像特徴記述子として選択する特徴記述子選択部と、前記ポジティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子、及び前記ネガティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子に基づいて、前記画像特徴記述子から前記画像に前記特定の物体が含まれているか否かを識別するための識別器を学習する学習部と、前記ポジティブセットに含まれる画像から得られる前記画像特徴記述子と、前記ネガティブセットに含まれる画像から得られた前記画像特徴記述子と、前記学習部によって得られた前記識別器とに基づいて、前記ポジティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ポジティブセットの画像に対して前記特定の物体が含まれている度合いを表す第１の信頼度が、予め定められた第１の値以上である前記ポジティブセットの画像を高信頼データとして取得し、前記ネガティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ネガティブセットの画像に対して前記特定の物体が含まれていない度合いを表す第２の信頼度が、予め定められた第２の値以上である前記ネガティブセットの画像を前記高信頼データとして取得する信頼度算出部と、前記信頼度算出部によって得られた前記高信頼データに含まれる画像から得られる複数の前記画像特徴に基づいて、前記学習部によって得られた前記識別器を更新し認識容易性評価用識別器として得る認識容易性評価用識別学習部と、前記ポジティブセットの各画像と、前記ネガティブセットの各画像と、前記認識容易性評価用識別学習部によって得られた前記認識容易性評価用識別器とに基づいて、前記ポジティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていると識別される割合を表す第１の正解率と、前記ネガティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、前記第１の正解率と前記第２の正解率との比を、前記タグの認識容易性指標として算出する正解率算出部と、を含んで構成されている。 In order to achieve the above-described object, the recognizability index calculating apparatus according to the present invention includes a positive set which is a set of images to which a tag representing a specific object included in an image is assigned, and an image to which the tag is not assigned. A histogram representing a distribution of the image features for each of the images included in the positive set for each of a plurality of image features obtained from the image based on a negative set that is a set of An image feature generation unit that generates a histogram representing the distribution of the image features for each of the images to be generated, and the histogram of the positive set for each of the plurality of image features generated by the image feature generation unit And an image feature distribution comparison unit for calculating a distance between the negative set and the histogram of the negative set; A feature descriptor selecting unit that selects, as image feature descriptors, the top N image features for the distance calculated by the image feature distribution comparing unit; and the feature descriptor obtained from an image included in the positive set. Based on the image feature descriptor selected by the selection unit and the image feature descriptor selected by the feature descriptor selection unit obtained from the images included in the negative set, the image feature descriptor from the image feature descriptor A learning unit for learning a discriminator for identifying whether or not the specific object is included in an image, the image feature descriptor obtained from an image included in the positive set, and included in the negative set Based on the image feature descriptor obtained from the image and the classifier obtained by the learning unit, the positive set. The image feature descriptor obtained from the image is input to the discriminator, and a first reliability representing the degree to which the specific object is included in the image of the positive set is determined in advance. The positive set image that is greater than or equal to a first value is acquired as highly reliable data, the image feature descriptor obtained from the negative set image is input to the classifier, and the negative set image A reliability calculation unit that acquires, as the high-reliability data, an image of the negative set in which a second reliability representing a degree that the specific object is not included is equal to or greater than a predetermined second value; Based on a plurality of the image features obtained from the image included in the highly reliable data obtained by the reliability calculation unit, the classifier obtained by the learning unit is updated and recognized. The recognition learning unit for recognition evaluation obtained as a classifier for ease evaluation, each image of the positive set, each image of the negative set, and the recognition easy obtained by the recognition learning unit for recognition recognition evaluation Based on the sex assessment classifier, when each image of the positive set is input to the recognition ease assessment classifier, the ratio of identifying that the specific object is included in the image And a ratio of identifying that the specific object is not included in the image when each image of the negative set is input to the recognizability evaluation discriminator. And a correct rate calculation unit that calculates a ratio between the first correct rate and the second correct rate as a tag recognizability index. ing.
本発明に係る認識容易性指標算出方法は、画像特徴生成部が、画像に含まれる特定の物体を表すタグが付与された画像の集合であるポジティブセット及び前記タグが付与されていない画像の集合であるネガティブセットに基づいて、前記画像から得られる複数の画像特徴の各々に対し、前記ポジティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムと、前記ネガティブセットに含まれる画像の各々についての前記画像特徴の分布を表すヒストグラムとを生成するステップと、画像特徴分布比較部が、前記画像特徴生成部によって生成された、複数の前記画像特徴の各々についての、前記ポジティブセットの前記ヒストグラムと前記ネガティブセットの前記ヒストグラムとの間の距離を計算するステップと、特徴記述子選択部が、前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記画像特徴を画像特徴記述子として選択するステップと、学習部が、前記ポジティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子、及び前記ネガティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子に基づいて、前記画像特徴記述子から前記画像に前記特定の物体が含まれているか否かを識別するための識別器を学習するステップと、信頼度算出部が、前記ポジティブセットに含まれる画像から得られる前記画像特徴記述子と、前記ネガティブセットに含まれる画像から得られた前記画像特徴記述子と、前記学習部によって得られた前記識別器とに基づいて、前記ポジティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ポジティブセットの画像に対して前記特定の物体が含まれている度合いを表す第１の信頼度が、予め定められた第１の値以上である前記ポジティブセットの画像を高信頼データとして取得し、前記ネガティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ネガティブセットの画像に対して前記特定の物体が含まれていない度合いを表す第２の信頼度が、予め定められた第２の値以上である前記ネガティブセットの画像を前記高信頼データとして取得するステップと、認識容易性評価用識別学習部が、前記信頼度算出部によって得られた前記高信頼データに含まれる画像から得られる複数の前記画像特徴に基づいて、前記学習部によって得られた前記識別器を更新し認識容易性評価用識別器として得るステップと、正解率算出部が、前記ポジティブセットの各画像と、前記ネガティブセットの各画像と、前記認識容易性評価用識別学習部によって得られた前記認識容易性評価用識別器とに基づいて、前記ポジティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていると識別される割合を表す第１の正解率と、前記ネガティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、前記第１の正解率と前記第２の正解率との比を、前記タグの認識容易性指標として算出するステップと、を含んで実行することを特徴とする。 In the recognizability index calculation method according to the present invention, the image feature generation unit includes a positive set that is a set of images to which a tag representing a specific object included in the image is assigned and a set of images to which the tag is not assigned. A histogram representing a distribution of the image features for each of the images included in the positive set, and an image included in the negative set, for each of a plurality of image features obtained from the image based on the negative set Generating a histogram representing the distribution of the image features for each of the image features, and an image feature distribution comparison unit of the positive set for each of the plurality of image features generated by the image feature generation unit. Calculating a distance between the histogram and the histogram of the negative set; A descriptor selecting unit selecting the top N image features as image feature descriptors for the distance calculated by the image feature distribution comparing unit; and a learning unit obtaining from the images included in the positive set. Based on the image feature descriptor selected by the feature descriptor selector and the image feature descriptor selected by the feature descriptor selector obtained from the images included in the negative set. Learning a discriminator for discriminating whether or not the specific object is included in the image from an image feature descriptor; and the image obtained by the reliability calculation unit from the image included in the positive set A feature descriptor, the image feature descriptor obtained from an image included in the negative set, and the obtained by the learning unit. The image feature descriptor obtained from the positive set image is input to the discriminator based on a separate device, and represents the degree to which the specific object is included in the positive set image. The positive set image having a reliability of 1 or higher than a predetermined first value is acquired as highly reliable data, and the image feature descriptor obtained from the negative set image is input to the discriminator. The negative set image in which the second reliability indicating the degree that the specific object is not included in the negative set image is equal to or higher than a predetermined second value is used as the high reliability data. A plurality of the images obtained from the image included in the high-reliability data obtained by the reliability calculation unit by the recognition learning evaluation recognition learning unit Updating the discriminator obtained by the learning unit based on the characteristics to obtain a discriminator for evaluating ease of recognition; and a correct rate calculation unit, each image of the positive set and each image of the negative set And when each image of the positive set is input to the recognizability evaluation discriminator based on the recognizability evaluation discriminator obtained by the recognizability evaluation discrimination learning unit, When the first correct answer rate representing the ratio of identifying that the specific object is included in the image and each image of the negative set are input to the recognizer for evaluating ease of recognition, the image And calculating a second accuracy rate representing a ratio of identifying that the specific object is not included, and calculating a ratio between the first accuracy rate and the second accuracy rate of the tag. As a recognition index And executes includes a step of leaving, the.
また、本発明の前記画像特徴生成部は、前記ポジティブセット及び前記ネガティブセットと、予め学習されたニューラルネットワークとに基づいて、前記ポジティブセットに含まれる画像の各々及び前記ネガティブセットに含まれる画像の各々を前記ニューラルネットワークへ入力し、前記画像から得られる複数の画像特徴の各々としての前記ニューラルネットワークの各ユニットの出力に対し、前記ポジティブセットに含まれる画像の各々についての前記ユニットの出力の分布を表すヒストグラムと、前記ネガティブセットに含まれる画像の各々についての前記ユニットの出力の分布を表すヒストグラムとを生成し、前記特徴記述子選択部は、前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記ユニットの出力を画像特徴記述子として選択するようにしてもよい。 In addition, the image feature generation unit of the present invention may be configured so that each of the images included in the positive set and the images included in the negative set is based on the positive set and the negative set and a neural network learned in advance. Distribution of the output of the unit for each of the images included in the positive set with respect to the output of each unit of the neural network as each of a plurality of image features obtained from the image, each input to the neural network And a histogram representing the distribution of the output of the unit for each of the images included in the negative set, and the feature descriptor selection unit calculates the distance calculated by the image feature distribution comparison unit The output of the top N units It may be selected as an image feature descriptors.
また、前記ニューラルネットワークにはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いるようにしてもよい。 The neural network may be a CNN (Convolutional Neural Network).
本発明に係るプログラムは、コンピュータを、上記の認識容易性指標算出装置の各部として機能させるためのプログラムである。 The program according to the present invention is a program for causing a computer to function as each unit of the above-described recognizability index calculating apparatus.
本発明の映像パターン学習装置、方法、及びプログラムによれば、画像から得られる複数の画像特徴の各々に対し、ポジティブセットに含まれる画像の各々についての画像特徴の分布を表すヒストグラムと、ネガティブセットに含まれる画像の各々についての画像特徴の分布を表すヒストグラムとの間の距離を計算し、計算された距離について上位Ｎ個の画像特徴を画像特徴記述子として選択し、ポジティブセットに含まれる画像から得られる画像特徴記述子、及びネガティブセットに含まれる画像から得られる画像特徴記述子に基づいて、画像に対しタグが表す特定の物体が含まれているか否かを識別するための識別器を学習し、識別器の出力に応じて高信頼データとして取得し、高信頼データに含まれる画像から得られる複数の画像特徴に基づいて、識別器を更新し認識容易性評価用識別器として取得し、ポジティブセットの各画像を認識容易性評価用識別器に入力した場合に、画像に対してタグが表す特定の物体が含まれていると識別される割合を表す第１の正解率と、ネガティブセットの各画像を認識容易性評価用識別器に入力した場合に、画像に対してタグが表す特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、第１の正解率と第２の正解率との比を、タグの認識容易性指標として算出することにより、認識が容易なタグを特定することができる、という効果が得られる。 According to the video pattern learning apparatus, method, and program of the present invention, for each of a plurality of image features obtained from an image, a histogram representing the distribution of image features for each of the images included in the positive set, and a negative set Calculates a distance between the image representing the distribution of image features for each of the images included in the image, selects the top N image features for the calculated distance as image feature descriptors, and includes images included in the positive set. A discriminator for identifying whether or not a specific object represented by the tag is included in the image based on the image feature descriptor obtained from the image feature descriptor obtained from the image and the image feature descriptor obtained from the image included in the negative set Multiple image features that are learned and acquired as high-reliability data according to the output of the classifier, and obtained from images included in the high-reliability data Based on this, when a classifier is updated and acquired as a classifier for recognizability evaluation, and each image of the positive set is input to the classifier for ease of recognition evaluation, the specific object represented by the tag is included in the image When the first correct answer rate representing the ratio identified as being recognized and each image of the negative set is input to the recognizer for recognition ease evaluation, a specific object represented by the tag is included in the image. It is easy to recognize by calculating a second correct answer rate that represents a ratio identified as non-existent and calculating a ratio between the first correct answer rate and the second correct answer rate as a tag recognizability index. The effect that the tag can be specified is obtained.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
＜本発明の実施の形態に係る概要＞ <Outline according to Embodiment of the Present Invention>
本発明の実施の形態では、信頼度の低いタグが付与された大量の画像データから、視覚的に認識が容易なタグを選択する技術に関する。具体的には、信頼度の低いタグが付与された大量の画像データに対し、画像データから得られる画像特徴とタグとの関係性に基づいて、視覚的に認識が容易なタグを選択する。 The embodiment of the present invention relates to a technique for selecting a tag that is visually easy to recognize from a large amount of image data to which a tag with low reliability is assigned. Specifically, for a large amount of image data to which a tag with low reliability is assigned, a tag that is visually recognizable is selected based on the relationship between the image feature obtained from the image data and the tag.
本発明の実施の形態では、タグの有無による画像特徴の分布の変化を用いてタグの認識容易性を評価する。具体的には、何らかの局所的な画像特徴記述子を画像集合に適用し、あるタグが付与された画像集合から得られる画像特徴の分布と、タグが付与されていない画像集合から得られる画像特徴の分布との間の距離を算出し、最も距離が離れているものから認識容易なタグであるとして選出する。 In the embodiment of the present invention, tag recognizability is evaluated using a change in the distribution of image features depending on the presence or absence of a tag. Specifically, any local image feature descriptor is applied to the image set, the distribution of image features obtained from an image set with a tag, and image features obtained from an image set without a tag. The distance between the distribution and the tag is calculated, and the tag that is the most distant is selected as the tag that can be easily recognized.
このとき、画像特徴記述子を複数用意することで、分布間の距離の大きいタグと同時に分布間の距離の大きな画像特徴記述子を得ることができる。これは、視覚的な認識において有用な画像特徴記述子であると見ることができる。 At this time, by preparing a plurality of image feature descriptors, an image feature descriptor having a large distance between distributions can be obtained simultaneously with a tag having a large distance between distributions. This can be seen as an image feature descriptor useful in visual recognition.
＜本発明の実施の形態に係る認識容易性指標算出装置の構成＞ <Configuration of recognizable index calculation apparatus according to embodiment of the present invention>
次に、本発明の実施の形態に係る認識容易性指標算出装置の構成について説明する。図１に示すように、本発明の実施の形態に係る認識容易性指標算出装置１００は、ＣＰＵと、ＲＡＭと、後述する認識容易性指標算出処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この認識容易性指標算出装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部４０とを備えている。 Next, the configuration of the recognizability index calculating apparatus according to the embodiment of the present invention will be described. As shown in FIG. 1, a recognizability index calculating apparatus 100 according to an embodiment of the present invention stores a CPU, a RAM, a program for executing a recognizability index calculating process routine described later, and various data. And a computer including a ROM. Functionally, the recognizability index calculating apparatus 100 includes an input unit 10, a calculation unit 20, and an output unit 40 as shown in FIG.
入力部１０は、低信頼タグ付き画像集合Ｄを受け付ける。タグは、画像に特定の物体が含まれていることを表す。低信頼タグ付き画像集合Ｄには、タグｕ毎に、タグｕが付与された画像の集合であるポジティブセットＤｕ ＋と、タグｕが付与されていない画像の集合であるネガティブセットＤｕ −とが含まれている。 The input unit 10 receives the image set D with the low reliability tag. The tag represents that a specific object is included in the image. In the low-reliability tagged image set D, for each tag u, a positive set D u + that is a set of images to which the tag u is assigned and a negative set D u − that is a set of images to which the tag u is not assigned. And are included.
本実施の形態では、低信頼タグ付き画像集合Ｄとして、ＳＮＳに投稿されたファッションコーディネート画像と関連するタグとのセットを想定する。本実施の形態で想定するファッションコーディネート画像とタグのセットとを含む画像集合のような低信頼タグ付き画像集合Ｄでは、信頼度の低いタグ付けがなされている。例えば、ポジティブセットＤｕ ＋には、実際にはタグｕが含まれていない画像が存在する場合や、ネガティブセットＤｕ −には、実際にはタグｕが含まれる画像が存在する場合があり得る。 In the present embodiment, a set of tags associated with fashion coordinated images posted to the SNS is assumed as the low-reliability tagged image set D. In the image set D with a low-reliability tag such as an image set including a fashion coordinated image and a tag set assumed in the present embodiment, tagging with low reliability is performed. For example, the positive set D u + may include an image that does not actually include the tag u, and the negative set D u − may include an image that actually includes the tag u. obtain.
演算部２０は、画像集合データベース２２と、高信頼データ生成部２４と、認識容易性指標算出部２６とを備えている。 The calculation unit 20 includes an image set database 22, a highly reliable data generation unit 24, and a recognizability index calculation unit 26.
画像集合データベース２２は、入力部１０によって受け付けた、各タグｕのポジティブセットＤｕ ＋とネガティブセットＤｕ −とを含む低信頼タグ付き画像集合Ｄが格納される。 The image set database 22 stores the low-reliability tagged image set D including the positive set D u + and the negative set D u − of each tag u, which is received by the input unit 10.
高信頼データ生成部２４は、画像集合データベース２２に格納された、ポジティブセットＤｕ ＋とネガティブセットＤｕ −とを入力として高信頼データを生成する。そして、高信頼データ生成部２４は、ポジティブセットＤｕ ＋とネガティブセットＤｕ −とから、高信頼データとしてポジティブセットＤｕC ＋とネガティブセットＤｕC −とを抽出する。高信頼データ生成部２４は、図２に示すように、画像特徴生成部２４０と、画像特徴分布比較部２４２と、特徴記述子選択部２４４と、学習部２４６と、信頼度算出部２４８とを備えている。 The high-reliability data generation unit 24 generates high-reliability data with the positive set D u + and the negative set D u − stored in the image set database 22 as inputs. Then, the high reliability data generation unit 24 extracts the positive set D uC + and the negative set D uC − as the high reliability data from the positive set D u + and the negative set D u − . As shown in FIG. 2, the highly reliable data generation unit 24 includes an image feature generation unit 240, an image feature distribution comparison unit 242, a feature descriptor selection unit 244, a learning unit 246, and a reliability calculation unit 248. I have.
画像特徴生成部２４０は、タグｕ毎に、画像集合データベース２２に格納されているポジティブセットＤｕ ＋及びネガティブセットＤｕ −と、予め学習されたニューラルネットワークとに基づいて、ポジティブセットＤｕ ＋及びネガティブセットＤｕ −に含まれる全ての画像に対し、画像特徴を生成する。 The image feature generation unit 240, for each tag u, positive set D u + based on the positive set D u + and negative set D u − stored in the image set database 22 and the neural network previously learned. Image features are generated for all images included in the negative set D u − .
具体的には、まず、画像特徴生成部２４０は、画像集合データベース２２に格納されたポジティブセットＤｕ ＋に含まれる画像の各々及びネガティブセットＤｕ −に含まれる画像の各々を、予め学習されたニューラルネットワークへ入力する。 Specifically, first, the image feature generation unit 240 learns in advance each of the images included in the positive set D u + and each of the images included in the negative set D u − stored in the image set database 22. Input to the neural network.
本実施の形態では、画像から得られる各画像特徴として、予め学習されたニューラルネットワークの各ユニットの出力を用いる場合を例に説明する。また、予め学習されたニューラルネットワークとして、Convolutional Neural Network（ＣＮＮ）を用いる場合を例に説明する。ＣＮＮは局所的な画像特徴記述子としてみなすことができる。ＣＮＮは内部に多数のフィルタを保持しており、それぞれのフィルタの出力を異なる特徴記述子として用いることができる。なお、本実施の形態では、ＣＮＮのフィルタは物体認識のための画像データセットなどを用いて事前に学習されたものを用いる。以下では、ＣＮＮの各層において用いられるフィルタをユニットと呼ぶ。 In the present embodiment, a case where the output of each unit of a neural network learned in advance is used as each image feature obtained from an image will be described as an example. A case where a convolutional neural network (CNN) is used as a previously learned neural network will be described as an example. The CNN can be viewed as a local image feature descriptor. The CNN has a large number of filters inside, and the output of each filter can be used as a different feature descriptor. In the present embodiment, a CNN filter that has been learned in advance using an image data set for object recognition or the like is used. Below, the filter used in each layer of CNN is called a unit.
次に、画像特徴生成部２４０は、画像から得られる各画像特徴としてのニューラルネットワークの各ユニットｉの出力に対し、ポジティブセットＤｕ ＋に含まれる画像の各々についての当該ユニットｉの出力の分布を表すヒストグラムＰｉ ＋と、ネガティブセットＤｕ −に含まれる画像の各々についての当該ユニットｉの出力の分布を表すヒストグラムＰｉ −とを生成する。 Next, with respect to the output of each unit i of the neural network as each image feature obtained from the image, the image feature generation unit 240 distributes the output of the unit i for each of the images included in the positive set D u +. a histogram P i + representing a negative set D u - histogram representing the distribution of the output of the unit i for each image included in the P i - generates the.
画像特徴分布比較部２４２は、タグｕ毎に、複数のユニットｉの各々について、画像特徴生成部２４０によって生成されたポジティブセットＤｕ ＋のヒストグラムＰｉ ＋とネガティブセットＤｕ −のヒストグラムＰｉ −との間の距離を計算する。 Image feature distribution comparing unit 242, for each tag u, for each of a plurality of units i, positive set generated by the image feature generation unit 240 D u + histogram P i + and negative set of D u - histogram P i - calculating the distance between the.
本実施の形態では、ヒストグラムＰｉ ＋とヒストグラムＰｉ −と間の距離として、カルバック・ライブラー距離（以下、ＫＬ距離と称する）を用いる場合を例に説明する。 In the present embodiment, a case will be described as an example in which a Cullback-Lailer distance (hereinafter referred to as KL distance) is used as the distance between the histogram P i + and the histogram P i − .
画像集合データベース２２に格納された低信頼タグ付き画像集合Ｄから得られる、タグｕに対する、ポジティブセットＤｕ ＋とネガティブセットＤｕ −との間のＫＬ距離Ｓｉ（ｕ│Ｄ）は、ヒストグラムの各ｂｉｎをｘとして以下の式（１）に示すように求められる。なお、ｘは各ユニットから出力される値を表す。 The KL distance S i (u | D) between the positive set D u + and the negative set D u − for the tag u obtained from the low-reliability tagged image set D stored in the image set database 22 is a histogram. Each bin of x is determined as x as shown in the following formula (1). Note that x represents a value output from each unit.
例えば、ｕが視覚的に認識容易でないタグである場合、ポジティブセットＤｕ ＋の画像特徴の分布はランダムに近くなり、ポジティブセットＤｕ ＋の画像特徴の分布とネガティブセットＤｕ −の画像特徴の分布との差は小さくなる。一方、ｕが視覚的に認識容易なタグである場合、ポジティブセットＤｕ ＋の画像特徴の分布とネガティブセットＤｕ −の画像特徴の分布との差が大きくなる。 For example, if u is a tag not visually recognized easily, the distribution of positive set D u + of the image features it is close to random, positive set D u + of the image features of the distribution and negative set D u - image features The difference from the distribution of is small. On the other hand, when u is a visually recognizable tag, the difference between the distribution of image features of the positive set D u + and the distribution of image features of the negative set D u − becomes large.
そのため、例えば「赤」「白」といった色の名前のタグや、「ボーダー」「花柄」といったテクスチャのタグの場合、ＫＬ距離Ｓｉ（ｕ│Ｄ）の値は大きくなる。 Therefore, for example, in the case of a tag with a color name such as “red” or “white” or a texture tag such as “border” or “floral pattern”, the value of the KL distance S i (u | D) increases.
そして、画像特徴分布比較部２４２は、複数のユニットの各々についての、ＫＬ距離Ｓｉ（ｕ│Ｄ）を出力する。 Then, the image feature distribution comparison unit 242 outputs the KL distance S i (u | D) for each of the plurality of units.
特徴記述子選択部２４４は、タグｕ毎に、画像特徴分布比較部２４２によって計算された距離について上位Ｎ個のユニットの出力を画像特徴記述子として選択する。 The feature descriptor selection unit 244 selects, for each tag u, the output of the top N units for the distance calculated by the image feature distribution comparison unit 242 as an image feature descriptor.
具体的には、特徴記述子選択部２４４は、画像特徴分布比較部２４２によって計算されたＫＬ距離Ｓｉ（ｕ│Ｄ）を入力として、ＫＬ距離Ｓｉ（ｕ│Ｄ）の値が大きい方からＮ個のユニットの出力を画像特徴記述子として選択し、選択されたＫＬ距離Ｓｉ（ｕ│Ｄ）の上位Ｎ個の集合をθｕとする。 Specifically, the feature descriptor selection unit 244 receives the KL distance S i (u | D) calculated by the image feature distribution comparison unit 242 as an input, and has a larger value of the KL distance S i (u | D). The output of N units is selected as an image feature descriptor, and the top N sets of the selected KL distance S i (u | D) are set as θ u .
学習部２４６は、タグｕ毎に、ポジティブセットＤｕ ＋に含まれる画像から得られる、特徴記述子選択部２４４によって選択された画像特徴記述子、及びネガティブセットＤｕ −に含まれる画像から得られる、特徴記述子選択部２４４によって選択された画像特徴記述子に基づいて、画像特徴記述子から、画像に、タグｕが表す特定の物体が含まれているか否かを識別するための識別器ｆを学習する。 The learning unit 246 obtains, for each tag u, the image feature descriptor selected by the feature descriptor selection unit 244 obtained from the image included in the positive set D u + and the image included in the negative set D u −. Based on the image feature descriptor selected by the feature descriptor selection unit 244, an identifier for identifying whether or not the image includes the specific object represented by the tag u from the image feature descriptor learn f.
具体的には、学習部２４６は、特徴記述子選択部２４４で選択された各ユニットの出力ｙｉ（ｕ│Ｄ），ｉ∈θｕを画像特徴記述子として、ポジティブセットＤｕ ＋とネガティブセットＤｕ −に対し、初期の２クラスの識別器ｆを生成する。２クラスの識別器ｆの生成には、例えばナイーブベイズ識別器、ロジスティック回帰、ＳＶＭ等を用いることができる。 Specifically, the learning unit 246 uses the outputs y i ( u | D) and iεθ u of each unit selected by the feature descriptor selection unit 244 as image feature descriptors, and a positive set D u + and a negative set. For the set D u − , the initial two classes of classifiers f are generated. For example, a naive Bayes classifier, logistic regression, SVM, or the like can be used to generate the two-class classifier f.
信頼度算出部２４８は、タグｕ毎に、ポジティブセットＤｕ ＋に含まれる画像から得られる画像特徴記述子と、ネガティブセットＤｕ −に含まれる画像から得られた画像特徴記述子と、学習部２４６によって得られた識別器ｆとに基づいて、高信頼データとしてポジティブセットＤｕC ＋とネガティブセットＤｕC −とを取得する。 For each tag u, the reliability calculation unit 248 includes an image feature descriptor obtained from an image included in the positive set D u + , an image feature descriptor obtained from an image included in the negative set D u − , and learning. Based on the discriminator f obtained by the unit 246, a positive set D uC + and a negative set D uC − are obtained as highly reliable data.
具体的には、信頼度算出部２４８は、ポジティブセットＤｕ ＋及びネガティブセットＤｕ −に対し、学習部２４６によって得られた識別器ｆを用いた識別を実施し、識別器ｆの出力値を信頼度として算出する。 Specifically, the reliability calculation unit 248 performs identification using the classifier f obtained by the learning unit 246 for the positive set D u + and the negative set D u − , and the output value of the classifier f Is calculated as the reliability.
例えば、信頼度算出部２４８は、ポジティブセットＤｕ ＋の画像から得られる画像特徴記述子を、学習部２４６によって得られた識別器ｆに入力し、ポジティブセットＤｕ ＋の画像に対してタグｕが表す特定の物体が含まれている度合いを表す第１の信頼度を算出する。 For example, the reliability calculation unit 248 inputs the image feature descriptor obtained from the image of the positive set D u + to the classifier f obtained by the learning unit 246, and tags the image of the positive set D u +. A first reliability representing the degree to which the specific object represented by u is included is calculated.
また、信頼度算出部２４８は、ネガティブセットＤｕ −の画像から得られる画像特徴記述子を、学習部２４６によって得られた識別器ｆに入力し、ネガティブセットＤｕ −の画像に対してタグｕが表す特定の物体が含まれていない度合いを表す第２の信頼度を算出する。 Further, the reliability calculation unit 248 inputs the image feature descriptor obtained from the image of the negative set D u − to the classifier f obtained by the learning unit 246, and tags the image of the negative set D u −. A second reliability indicating the degree that the specific object represented by u is not included is calculated.
そして、信頼度算出部２４８は、算出された信頼度の高さに応じて画像を順位づけし、ポジティブセットＤｕ ＋とネガティブセットＤｕ −のうち信頼度が一定以上であるもののみを抽出したセットを、高信頼データのポジティブセットＤｕC ＋とネガティブセットＤｕC −とする。 Then, the reliability calculation unit 248 ranks the images according to the calculated high reliability, and extracts only positive sets D u + and negative sets D u − that have a certain level of reliability. These sets are defined as a positive set D uC + and a negative set D uC − of high reliability data.
具体的には、信頼度算出部２４８は、第１の信頼度が予め定められた第１の値以上であるポジティブセットＤｕ ＋の画像を高信頼データＤｕC ＋として取得する。また、信頼度算出部２４８は、第２の信頼度が予め定められた第２の値以上であるネガティブセットＤｕ −の画像を高信頼データＤｕC −として取得する。 Specifically, the reliability calculation unit 248 acquires, as the high reliability data D uC + , an image of the positive set D u + whose first reliability is equal to or higher than a predetermined first value. In addition, the reliability calculation unit 248 acquires an image of the negative set D u − in which the second reliability is equal to or higher than a predetermined second value as the high reliability data D uC − .
認識容易性指標算出部２６は、タグｕ毎に、高信頼データ生成部２４によって出力された高信頼データ（ＤｕC ＋，ＤｕC −）に基づいて、当該タグｕについての認識容易性指標Ｖを算出する。認識容易性指標算出部２６は、図３に示すように、認識容易性評価用識別器学習部２６０と、正解率算出部２６２とを備えている。 The recognizability index calculation unit 26 recognizes the tag u for each tag u based on the high reliability data (D uC + , D uC − ) output by the high reliability data generation unit 24. Is calculated. As shown in FIG. 3, the recognizability index calculation unit 26 includes a recognizability evaluation discriminator learning unit 260 and a correct answer rate calculation unit 262.
認識容易性評価用識別器学習部２６０は、タグｕ毎に、信頼度算出部２４８によって得られた高信頼データ（ＤｕC ＋，ＤｕC −）と、ＣＮＮとに基づいて、高信頼データ（ＤｕC ＋，ＤｕC −）に含まれる画像から得られるＣＮＮの全てのユニットの出力に基づいて、学習部２４６によって得られた識別器ｆを更新し認識容易性評価用識別器ｆ￣として得る。 The discriminator learning unit 260 for evaluating recognizability is based on the highly reliable data (D uC + , D uC − ) obtained by the reliability calculating unit 248 and the CNN for each tag u. Based on the outputs of all the CNN units obtained from the images included in D uC + , D uC − ), the classifier f obtained by the learning unit 246 is updated to obtain the classifier f 認識 for recognition ease evaluation. .
具体的には、認識容易性評価用識別器学習部２６０は、高信頼データのポジティブセットＤｕC ＋とネガティブセットＤｕC −とを用いて、高信頼データ（ＤｕC ＋，ＤｕC −）をＣＮＮに入力し、ＣＮＮの全てのユニットの出力ｙｉ（ｕ│Ｄ）を入力として識別器ｆを学習させて更新し、認識容易性評価用識別器ｆ￣とする。 Specifically, the discriminator learning unit 260 for recognizability evaluation uses the positive set D uC + and the negative set D uC − of the high reliability data to generate the high reliability data (D uC + , D uC − ). The classifier f is input to the CNN, and the classifier f is learned and updated using the outputs y i (u | D) of all the units of the CNN as inputs, and is set as the classifier f ￣ for recognition ease evaluation.
正解率算出部２６２は、タグｕ毎に、認識容易性評価用識別器学習部２６０によって更新された識別器ｆ￣に、ＣＮＮの全てのユニットの出力ｙｉ（ｕ│Ｄ）を入力し、タグｕが表す特定の物体の有無を識別して、タグｕの認識容易性指標を算出する。 Correct answer rate calculation unit 262, for each tag u, input to discriminator f ¯, which is updated by the recognition ease evaluation classifier learning unit 260, an output y i of all units of the CNN of (u│D), The presence / absence of a specific object represented by the tag u is identified, and a recognizability index for the tag u is calculated.
具体的には、正解率算出部２６２は、ポジティブセットＤｕ ＋の各画像と、ネガティブセットＤｕ −の各画像と、認識容易性評価用識別器学習部２６０によって得られた認識容易性評価用識別器ｆ￣とに基づいて、ポジティブセットＤｕ ＋の各画像を認識容易性評価用識別器ｆ￣に入力した場合に、画像に対してタグｕが表す特定の物体が含まれていると識別される割合を表す第１の正解率と、ネガティブセットＤｕ −の各画像を認識容易性評価用識別器ｆ￣に入力した場合に、画像に対してタグｕが表す特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出する。 Specifically, the correct rate calculation unit 262 recognizes each image of the positive set D u + , each image of the negative set D u − , and the ease of recognition evaluation obtained by the recognizability evaluation discriminator learning unit 260. based on the use identifier f ¯, if you enter a positive set D u + each image of the recognition easiness evaluation discriminator f ¯, it contains a specific object represented by the tag u for the image When the images of the first correct answer rate representing the ratio identified as “N” and the negative set D u − are input to the recognizability evaluation discriminator f が , the specific object represented by the tag u with respect to the image is A second correct answer rate representing a ratio identified as not included is calculated.
そして、正解率算出部２６２は、第１の正解率と第２の正解率との比を、タグの認識容易性指標として算出する。 Then, the correct rate calculation unit 262 calculates the ratio between the first correct rate and the second correct rate as a tag recognizability index.
画像に付与された複数のタグのうちのあるタグの正解率のバランスは、そのタグと見た目の相関が強いかどうかを示すと考えられる。ポジティブセットＤｕ ＋とネガティブセットＤｕ −との正解率が変わらなければ、タグｕは見た目との相関は弱く、正解率が大きく変わる場合は、タグｕと見た目の相関は強いと考えられる。 The balance of the correct answer rate of a certain tag among a plurality of tags attached to the image is considered to indicate whether or not the tag and the visual correlation are strong. If the correct answer rate between the positive set D u + and the negative set D u − does not change, the tag u has a weak correlation with the appearance, and if the correct answer rate changes greatly, the tag u and the visual correlation are considered to be strong.
そこで、認識容易性評価用識別器ｆ￣を用いて、ポジティブセットＤｕ ＋の正解率とネガティブセットＤｕ −の正解率との比として、視覚的な認識容易性指標Ｖ（ｕ，ｆ￣）を定義する。このとき、ポジティブセットＤｕ ＋とネガティブセットＤｕ −との数の不均衡の影響を低減するため、それぞれの数が同じになるようにＤｕ ＋，Ｄｕ −をリサンプリングしてもよい。 Therefore, using the recognizability evaluation discriminator f ￣, as a ratio between the correct answer rate of the positive set D u + and the correct answer rate of the negative set D u − , the visual recognition ease index V (u, f 視 覚 ) Is defined. At this time, in order to reduce the influence of the imbalance of the numbers of the positive set D u + and the negative set D u − , D u + and D u − may be resampled so that the numbers are the same. .
本実施の形態では、認識容易性指標Ｖ（ｕ，ｆ￣）を、認識容易性評価用識別器ｆ￣を用いたデータＤｕ ＋，Ｄｕ −の正解率（accuracy）により以下の式（２）に示すように定義する。 In this embodiment, the recognition easiness index V (u, f ¯), recognition ease evaluation identifier data using the f ¯ D u +, D u - the accuracy rate (accuracy) by the following formula ( Define as shown in 2).
出力部４０は、認識容易性評価用識別器学習部２６０によって得られた、各タグｕについての認識容易性指標Ｖ（ｕ，ｆ￣）を結果として出力する。 The output unit 40 outputs the recognizability index V (u, f ￣ ) for each tag u obtained by the recognizability evaluation discriminator learning unit 260 as a result.
出力部４０により出力された認識容易性指標を用いて、認識容易性指標が高いタグを選択して画像認識器を学習させることで、ノイズが多い学習データセットをそのまま用いて画像認識器を学習するよりも、高精度な画像認識器を構築することが可能である。 Using the recognizability index output by the output unit 40, the image recognizer is trained by selecting a tag having a high recognizability index and learning the image recognizer, and using the learning data set having a lot of noise as it is. Rather than doing this, it is possible to construct a highly accurate image recognizer.
＜本発明の実施の形態に係る認識容易性指標算出装置の作用＞ <Operation of the recognizability index calculating apparatus according to the embodiment of the present invention>
次に、本発明の実施の形態に係る認識容易性指標算出装置１００の作用について説明する。入力部１０において低信頼タグ付き画像集合Ｄを受け付けて画像集合データベース２２に格納すると、認識容易性指標算出装置１００は、タグｕ毎に、図４に示す認識容易性指標算出処理ルーチンを実行する。 Next, the operation of the recognizability index calculating apparatus 100 according to the embodiment of the present invention will be described. When the input unit 10 receives the image set D with the low reliability tag and stores it in the image set database 22, the recognizability index calculating apparatus 100 executes a recognizability index calculating process routine shown in FIG. 4 for each tag u. .
まず、ステップＳ１００において、画像特徴生成部２４０は、画像集合データベース２２に格納された、ポジティブセットＤｕ ＋とネガティブセットＤｕ −とを取得する。 First, in step S100, the image feature generation unit 240 acquires the positive set D u + and the negative set D u − stored in the image set database 22.
次に、ステップＳ１０２において、画像特徴生成部２４０は、上記ステップＳ１００で取得したポジティブセットＤｕ ＋に含まれる画像の各々及びネガティブセットＤｕ −に含まれる画像の各々を、ＣＮＮへ入力する。そして、画像特徴生成部２４０は、ＣＮＮの各ユニットｉの出力に対し、ポジティブセットＤｕ ＋に含まれる画像の各々についての当該ユニットｉの出力の分布を表すヒストグラムＰｉ ＋と、ネガティブセットＤｕ −に含まれる画像の各々についての当該ユニットｉの出力の分布を表すヒストグラムＰｉ −とを生成する。 Next, in step S102, the image feature generation unit 240 inputs each of the images included in the positive set D u + acquired in step S100 and each of the images included in the negative set D u − to the CNN. Then, the image feature generation unit 240 outputs a histogram P i + representing the distribution of the output of the unit i for each of the images included in the positive set D u + with respect to the output of each unit i of the CNN, and the negative set D. A histogram P i − representing the output distribution of the unit i for each of the images included in u − is generated.
ステップＳ１０４において、画像特徴分布比較部２４２は、上記ステップＳ１０２で生成された、複数のユニットの各々についての、ポジティブセットＤｕ ＋のヒストグラムＰｉ ＋とネガティブセットＤｕ −のヒストグラムＰｉ −との間の距離を、上記式（１）に従って計算する。 In step S104, the image feature distribution comparison unit 242 generates the positive set D u + histogram P i + and the negative set D u − histogram P i − for each of the plurality of units generated in step S102. Is calculated according to the above equation (1).
ステップＳ１０６において、特徴記述子選択部２４４は、上記ステップＳ１０４で計算された距離について上位Ｎ個のユニットを画像特徴記述子θｕとして選択する。 In step S106, the characteristic descriptor selecting unit 244 selects the top N units for the distance calculated in step S104 as the image feature descriptor theta u.
ステップＳ１０８において、学習部２４６は、ポジティブセットＤｕ ＋に含まれる画像から得られる、上記ステップＳ１０６で選択された画像特徴記述子、及びネガティブセットＤｕ −に含まれる画像から得られる、上記ステップＳ１０６で選択された画像特徴記述子に基づいて、画像特徴記述子から画像に対しタグｕが表す特定の物体が含まれているか否かを識別するための識別器ｆを学習する。 In step S108, the learning unit 246 obtains the image feature descriptor selected in step S106 obtained from the image included in the positive set D u + and the image included in the negative set D u −. Based on the image feature descriptor selected in S106, the discriminator f for identifying whether or not the specific object represented by the tag u is included in the image from the image feature descriptor is learned.
ステップＳ１１０において、信頼度算出部２４８は、ポジティブセットＤｕ ＋に含まれる画像から得られる画像特徴記述子と、ネガティブセットＤｕ −に含まれる画像から得られた画像特徴記述子と、上記ステップＳ１０８で得られた識別器ｆとに基づいて信頼度を算出する。そして、信頼度算出部２４８は、信頼度が一定以上であるポジティブセットＤｕC ＋とネガティブセットＤｕC −とを高信頼データとして取得する。 In step S110, the reliability calculation unit 248 includes an image feature descriptor obtained from an image included in the positive set D u + , an image feature descriptor obtained from an image included in the negative set D u − , and the above step. The reliability is calculated based on the classifier f obtained in S108. Then, the reliability calculation unit 248 acquires a positive set D uC + and a negative set D uC − having reliability of a certain level or more as highly reliable data.
ステップＳ１１２において、認識容易性評価用識別器学習部２６０は、上記ステップＳ１１０で得られた高信頼データ（ＤｕC ＋，ＤｕC −）と、ＣＮＮとに基づいて、高信頼データ（ＤｕC ＋，ＤｕC −）に含まれる画像から得られる全てのユニットの出力を用いて、上記ステップＳ１０８で得られた識別器ｆを更新し認識容易性評価用識別器ｆ￣として得る。 In step S112, the recognition easiness evaluation classifier learning unit 260, reliable data obtained in step S110 (D uC +, D uC -) and, based on the CNN, reliable data (D uC + , D uC -) in using the output of all the units derived from the images included, obtained as the resulting update the classifier f recognition easiness evaluation classifier f ¯ at step S108.
ステップＳ１１４において、正解率算出部２６２は、ポジティブセットＤｕ ＋の各画像と、ネガティブセットＤｕ −の各画像と、上記ステップＳ１１２で得られた認識容易性評価用識別器ｆ￣とに基づいて、上記式（２）に示す、タグｕの認識容易性指標Ｖ（ｕ，ｆ￣）を算出する。 In step S114, the correct answer rate calculation unit 262 is based on each image of the positive set D u + , each image of the negative set D u − , and the recognizability evaluation discriminator f 得 obtained in step S112. Thus, the recognizability index V (u, f ￣ ) of the tag u shown in the above equation (2) is calculated.
ステップＳ１１６において、出力部４０は、上記ステップＳ１１４で得られた、タグｕについての認識容易性指標Ｖ（ｕ，ｆ￣）を結果として出力し処理を終了する。 In step S116, the output unit 40, obtained in the above step S114, the processing is ended readily recognized index V (u, f ¯) for the tag u as a result.
＜実験例＞ <Experimental example>
表１は、実際の海外の商品画像のデータセットに、本実施の形態を適用した場合の結果の例である。なお、表１に示す結果は、認識容易性指標Ｖ（ｕ，ｆ￣）が予め設定された閾値よりも大きいタグを「認識容易性が高いタグ」とし、認識容易性指標Ｖ（ｕ，ｆ￣）が予め設定された閾値以下のタグを「認識容易性が低いタグ」としている。 Table 1 shows an example of a result when the present embodiment is applied to a data set of actual overseas product images. The results shown in Table 1 indicate that a tag whose recognizability index V (u, f ￣ ) is larger than a preset threshold value is a “tag with high recognizability”, and the recognizability index V (u, f A tag having a threshold value ￣ ) that is equal to or lower than a preset threshold value is set as a “tag with low recognizability”.
表１に示すように、認識容易性が高いものには色やテクスチャなどの画像と相関が高いと思われるタグが含まれており、認識容易性が低いものには抽象的なタグが含まれている。 As shown in Table 1, tags that are highly recognizable include tags that are highly correlated with images such as colors and textures, and those that have low recognizability include abstract tags. ing.
以上説明したように、本発明の実施の形態に係る認識容易性指標算出装置によれば、画像から得られるＣＮＮの各ユニットの出力に対し、ポジティブセットに含まれる画像の各々についてのユニットの出力の分布を表すヒストグラムと、ネガティブセットに含まれる画像の各々についてのユニットの出力の分布を表すヒストグラムとの間の距離を計算し、計算された距離について上位Ｎ個のユニットを画像特徴記述子として選択し、ポジティブセットに含まれる画像から得られる画像特徴記述子、及びネガティブセットに含まれる画像から得られる画像特徴記述子に基づいて、画像に対しタグが表す特定の物体が含まれているか否かを識別するための識別器を学習し、識別器の出力に応じて高信頼データとして取得し、高信頼データに含まれる画像から得られる全てのユニットの出力に基づいて、識別器を更新し認識容易性評価用識別器として取得し、ポジティブセットの各画像を認識容易性評価用識別器に入力した場合に、画像に対してタグが表す特定の物体が含まれていると識別される割合を表す第１の正解率と、ネガティブセットの各画像を認識容易性評価用識別器に入力した場合に、画像に対してタグが表す特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、第１の正解率と第２の正解率との比を、タグの認識容易性指標として算出することにより、認識が容易なタグを特定することができる。 As described above, according to the recognizability index calculating apparatus according to the embodiment of the present invention, the output of the unit for each of the images included in the positive set with respect to the output of each unit of the CNN obtained from the image. And the histogram representing the output distribution of the unit for each of the images included in the negative set, and the top N units for the calculated distance as image feature descriptors Whether the image contains a specific object represented by the tag based on the image feature descriptor obtained from the image included in the positive set and the image feature descriptor obtained from the image included in the negative set It learns the classifiers for identifying and obtains as high-reliability data according to the output of the classifier and is included in the high-reliability data Based on the output of all units obtained from the image, the classifier is updated and acquired as a classifier for evaluation of ease of recognition, and each image of the positive set is input to the classifier for evaluation of ease of recognition. On the other hand, when each image of the first correct answer rate representing the ratio identified as containing the specific object represented by the tag and the negative set is input to the discriminator for ease of recognition evaluation, A second accuracy rate representing a ratio of identifying that the specific object represented by the tag is not included is calculated, and a ratio between the first accuracy rate and the second accuracy rate is calculated as a tag recognition ease index. As a result, it is possible to specify a tag that can be easily recognized.
また、本発明の実施の形態によって、信頼度の低いタグが付与された大量の画像データから視覚的な認識が容易なタグを選び出すことができる。 Further, according to the embodiment of the present invention, it is possible to select a tag that can be easily visually recognized from a large amount of image data to which a tag with low reliability is assigned.
上述のようにして得られたタグは、画像から自動で認識できる可能性が高く、得られたタグが付与された画像に基づいて画像認識器を学習することで、高精度なタグ認識器を構築できることが期待される。これによって、タグの付与されていない画像に新たにタグを付与する認識システムを構築する際に、多種多様なタグ候補から信頼度が高くなるであろうタグのみを事前に選び出すことで、システム利用者の満足度を高めることができると考えられる。 The tag obtained as described above is highly likely to be automatically recognized from the image, and by learning the image recognizer based on the image to which the obtained tag is assigned, a highly accurate tag recognizer can be obtained. It is expected that it can be constructed. In this way, when constructing a recognition system that adds a new tag to an image that has not been tagged, only the tags that will have high reliability are selected in advance from a wide variety of tag candidates. It is thought that the satisfaction level of the person can be increased.
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications can be made without departing from the gist of the present invention.
例えば、上記の実施の形態は、画像から得られる各画像特徴として、予め学習されたニューラルネットワークの各ユニットの出力を用いる場合を例に説明したが、これに限定されるものではなく、他の画像特徴を用いてもよい。 For example, in the above-described embodiment, the case where the output of each unit of the neural network learned in advance is used as each image feature obtained from the image is described as an example. However, the present invention is not limited to this. Image features may be used.
また、上記の実施の形態は、例えば画像検索に用いることができる。タグが付与されたある画像集合から獲得されたタグは、同じドメインの別の画像集合においても有用であると考えられるため、上記の実施の形態によってタグが付与されていない画像集合に対して自動でタグ付けを行うことで、信頼度の高いタグベースの画像検索を実現することができる。 Moreover, said embodiment can be used for an image search, for example. Tags acquired from a set of images with a tag are considered useful in another set of images in the same domain. By tagging with, tag-based image retrieval with high reliability can be realized.
また、上述した実施の形態では、ニューラルネットワークとしてＣＮＮを用いる場合を例に説明したがこれに限定されるものではなく、他のニューラルネットワークを用いてもよい。 In the above-described embodiment, the case where CNN is used as the neural network has been described as an example. However, the present invention is not limited to this, and another neural network may be used.
また、上述した実施の形態では、ヒストグラム間の距離としてカルバック・ライブラー距離を用いる場合を例に説明したがこれに限定されるものではなく、他の距離を用いてもよい。 Further, in the above-described embodiment, the case where the Cullback / Librer distance is used as the distance between the histograms has been described as an example, but the present invention is not limited to this, and other distances may be used.
上述の認識容易性指標算出装置１００は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。 The recognizable index calculation apparatus 100 described above has a computer system inside, but the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. Shall be.
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。 In the present specification, the embodiment has been described in which the program is installed in advance. However, the program can be provided by being stored in a computer-readable recording medium.
１０ 入力部
２０ 演算部
２２ 画像集合データベース
２４ 高信頼データ生成部
２６ 認識容易性指標算出部
４０ 出力部
１００ 認識容易性指標算出装置
２４０ 画像特徴生成部
２４２ 画像特徴分布比較部
２４４ 特徴記述子選択部
２４６ 学習部
２４８ 信頼度算出部
２６０ 認識容易性評価用識別器学習部
２６２ 正解率算出部
DESCRIPTION OF SYMBOLS 10 Input part 20 Operation part 22 Image set database 24 High reliability data generation part 26 Recognizability index calculation part 40 Output part 100 Recognizability index calculation apparatus 240 Image feature generation part 242 Image feature distribution comparison part 244 Feature descriptor selection part 246 Learning unit 248 Reliability calculation unit 260 Recognizability evaluation classifier learning unit 262 Correct rate calculation unit
Claims (5)
前記画像特徴生成部によって生成された、複数の前記画像特徴の各々についての、前記ポジティブセットの前記ヒストグラムと前記ネガティブセットの前記ヒストグラムとの間の距離を計算する画像特徴分布比較部と、
前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記画像特徴を画像特徴記述子として選択する特徴記述子選択部と、
前記ポジティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子、及び前記ネガティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子に基づいて、前記画像特徴記述子から前記画像に前記特定の物体が含まれているか否かを識別するための識別器を学習する学習部と、
前記ポジティブセットに含まれる画像から得られる前記画像特徴記述子と、前記ネガティブセットに含まれる画像から得られた前記画像特徴記述子と、前記学習部によって得られた前記識別器とに基づいて、
前記ポジティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ポジティブセットの画像に対して前記特定の物体が含まれている度合いを表す第１の信頼度が、予め定められた第１の値以上である前記ポジティブセットの画像を高信頼データとして取得し、
前記ネガティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ネガティブセットの画像に対して前記特定の物体が含まれていない度合いを表す第２の信頼度が、予め定められた第２の値以上である前記ネガティブセットの画像を前記高信頼データとして取得する信頼度算出部と、
前記信頼度算出部によって得られた前記高信頼データに含まれる画像から得られる複数の前記画像特徴に基づいて、前記学習部によって得られた前記識別器を更新し認識容易性評価用識別器として得る認識容易性評価用識別学習部と、
前記ポジティブセットの各画像と、前記ネガティブセットの各画像と、前記認識容易性評価用識別学習部によって得られた前記認識容易性評価用識別器とに基づいて、前記ポジティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていると識別される割合を表す第１の正解率と、前記ネガティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、前記第１の正解率と前記第２の正解率との比を、前記タグの認識容易性指標として算出する正解率算出部と、
を含む認識容易性指標算出装置。 Based on a positive set which is a set of images to which a tag representing a specific object included in the image is assigned and a negative set which is a set of images to which the tag is not assigned, a plurality of image features obtained from the image Image features that generate, for each, a histogram representing the distribution of the image features for each of the images included in the positive set and a histogram representing the distribution of the image features for each of the images included in the negative set. A generator,
An image feature distribution comparison unit that calculates a distance between the histogram of the positive set and the histogram of the negative set for each of a plurality of the image features generated by the image feature generation unit;
A feature descriptor selection unit that selects, as image feature descriptors, the top N image features for the distance calculated by the image feature distribution comparison unit;
The image feature descriptor selected by the feature descriptor selection unit obtained from an image included in the positive set, and the feature descriptor selection unit selected from the image included in the negative set Based on an image feature descriptor, a learning unit for learning a discriminator for identifying whether or not the specific object is included in the image from the image feature descriptor;
Based on the image feature descriptor obtained from the image included in the positive set, the image feature descriptor obtained from the image included in the negative set, and the classifier obtained by the learning unit,
The image feature descriptor obtained from the image of the positive set is input to the discriminator, and a first reliability representing the degree to which the specific object is included in the image of the positive set is previously set. An image of the positive set that is equal to or greater than a predetermined first value is acquired as highly reliable data;
The image feature descriptor obtained from the negative set image is input to the discriminator, and a second reliability representing a degree that the specific object is not included in the negative set image is previously set. A reliability calculation unit that acquires, as the high-reliability data, an image of the negative set that is equal to or greater than a predetermined second value;
Based on a plurality of the image features obtained from the image included in the high reliability data obtained by the reliability calculation unit, the classifier obtained by the learning unit is updated as a classifier for recognizability evaluation. A recognition learning unit for evaluation of recognition ease to obtain,
Based on each image of the positive set, each image of the negative set, and the discriminator for recognizability evaluation obtained by the identification learning unit for recognizability evaluation, the images of the positive set are A first accuracy rate representing a ratio of identifying that the specific object is included in the image when input to the discriminator for recognizability evaluation, and each image of the negative set are recognized. A second accuracy rate representing a ratio of identifying that the specific object is not included in the image when input to the classifier for ease evaluation, and calculating the first accuracy rate A correct rate calculation unit that calculates a ratio of the second correct rate as a tag recognizability index;
A recognizability index calculation apparatus including:
前記特徴記述子選択部は、前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記ユニットの出力を画像特徴記述子として選択する
請求項１に記載の認識容易性指標算出装置。 The image feature generation unit is configured to convert each of the images included in the positive set and each of the images included in the negative set based on the positive set and the negative set and a previously learned neural network to the neural network. A histogram representing the distribution of the output of the unit for each of the images included in the positive set, for the output of each unit of the neural network as each of a plurality of image features obtained from the image; Generating a histogram representing the distribution of the output of the unit for each of the images included in the negative set;
The recognizability index calculation apparatus according to claim 1, wherein the feature descriptor selection unit selects, as image feature descriptors, outputs of the top N units for the distance calculated by the image feature distribution comparison unit.
請求項２に記載の認識容易性指標算出装置。 The recognizability index calculation apparatus according to claim 2, wherein the neural network uses a CNN (Convolutional Neural Network).
画像特徴分布比較部が、前記画像特徴生成部によって生成された、複数の前記画像特徴の各々についての、前記ポジティブセットの前記ヒストグラムと前記ネガティブセットの前記ヒストグラムとの間の距離を計算するステップと、
特徴記述子選択部が、前記画像特徴分布比較部によって計算された前記距離について上位Ｎ個の前記画像特徴を画像特徴記述子として選択するステップと、
学習部が、前記ポジティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子、及び前記ネガティブセットに含まれる画像から得られる、前記特徴記述子選択部によって選択された前記画像特徴記述子に基づいて、前記画像特徴記述子から前記画像に前記特定の物体が含まれているか否かを識別するための識別器を学習するステップと、
信頼度算出部が、前記ポジティブセットに含まれる画像から得られる前記画像特徴記述子と、前記ネガティブセットに含まれる画像から得られた前記画像特徴記述子と、前記学習部によって得られた前記識別器とに基づいて、
前記ポジティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ポジティブセットの画像に対して前記特定の物体が含まれている度合いを表す第１の信頼度が、予め定められた第１の値以上である前記ポジティブセットの画像を高信頼データとして取得し、
前記ネガティブセットの画像から得られる前記画像特徴記述子を前記識別器に入力して、前記ネガティブセットの画像に対して前記特定の物体が含まれていない度合いを表す第２の信頼度が、予め定められた第２の値以上である前記ネガティブセットの画像を前記高信頼データとして取得するステップと、
認識容易性評価用識別学習部が、前記信頼度算出部によって得られた前記高信頼データに含まれる画像から得られる複数の前記画像特徴に基づいて、前記学習部によって得られた前記識別器を更新し認識容易性評価用識別器として得るステップと、
正解率算出部が、前記ポジティブセットの各画像と、前記ネガティブセットの各画像と、前記認識容易性評価用識別学習部によって得られた前記認識容易性評価用識別器とに基づいて、前記ポジティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていると識別される割合を表す第１の正解率と、前記ネガティブセットの各画像を前記認識容易性評価用識別器に入力した場合に、前記画像に対して前記特定の物体が含まれていないと識別される割合を表す第２の正解率とを算出し、前記第１の正解率と前記第２の正解率との比を、前記タグの認識容易性指標として算出するステップと、
を含む認識容易性指標算出方法。 The image feature generation unit is obtained from the image based on a positive set that is a set of images to which a tag representing a specific object included in the image is assigned and a negative set that is a set of images to which the tag is not assigned. A histogram representing the distribution of the image features for each of the images included in the positive set and a histogram representing the distribution of the image features for each of the images included in the negative set. Generating and
An image feature distribution comparison unit calculating a distance between the histogram of the positive set and the histogram of the negative set for each of the plurality of image features generated by the image feature generation unit; ,
A feature descriptor selection unit selecting, as image feature descriptors, the top N image features for the distance calculated by the image feature distribution comparison unit;
The learning unit is obtained from the image included in the positive set, the image feature descriptor selected by the feature descriptor selecting unit, and the feature descriptor selecting unit obtained from the image included in the negative set. Learning a discriminator for identifying whether or not the specific object is included in the image from the image feature descriptor based on the selected image feature descriptor;
A reliability calculation unit includes the image feature descriptor obtained from an image included in the positive set, the image feature descriptor obtained from an image included in the negative set, and the identification obtained by the learning unit. Based on the vessel
The image feature descriptor obtained from the image of the positive set is input to the discriminator, and a first reliability representing the degree to which the specific object is included in the image of the positive set is previously set. An image of the positive set that is equal to or greater than a predetermined first value is acquired as highly reliable data;
The image feature descriptor obtained from the negative set image is input to the discriminator, and a second reliability representing a degree that the specific object is not included in the negative set image is previously set. Obtaining an image of the negative set that is equal to or greater than a predetermined second value as the highly reliable data;
Based on a plurality of the image features obtained from the image included in the high reliability data obtained by the reliability calculation unit, the discriminator obtained by the learning unit is used for the recognition learning evaluation discrimination learning unit. Updating and obtaining as a recognizer for recognizability evaluation;
The correct rate calculation unit is configured to perform the positive recognition based on each image of the positive set, each image of the negative set, and the discriminator for recognition recognition evaluation obtained by the recognition learning evaluation recognition unit. A first accuracy rate representing a ratio of identifying that the specific object is included in the image when each image of the set is input to the recognizer for recognizability evaluation; and the negative set And calculating a second accuracy rate representing a ratio of identifying that the specific object is not included in the image when each image is input to the recognizability evaluation discriminator, Calculating a ratio between a first correct answer rate and the second correct answer rate as an index for recognizing the tag;
Recognition index calculation method including
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016141829A JP6573233B2 (en) | 2016-07-19 | 2016-07-19 | Recognizability index calculation apparatus, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016141829A JP6573233B2 (en) | 2016-07-19 | 2016-07-19 | Recognizability index calculation apparatus, method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018013886A true JP2018013886A (en) | 2018-01-25 |
| JP6573233B2 JP6573233B2 (en) | 2019-09-11 |
Family
ID=61019498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016141829A Active JP6573233B2 (en) | 2016-07-19 | 2016-07-19 | Recognizability index calculation apparatus, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6573233B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200094622A (en) * | 2019-01-30 | 2020-08-07 | 주식회사 스트라드비젼 | Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same |
| JP2020126613A (en) * | 2019-01-31 | 2020-08-20 | 株式会社ストラドビジョンＳｔｒａｄｖｉｓｉｏｎ，Ｉｎｃ． | Method for automatically evaluating labeling reliability of training image for use in deep learning network to analyze image, and reliability-evaluating device using the same |
| JP2022024118A (en) * | 2020-12-24 | 2022-02-08 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Sensing data detection method and device |
-
2016
- 2016-07-19 JP JP2016141829A patent/JP6573233B2/en active Active
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200094622A (en) * | 2019-01-30 | 2020-08-07 | 주식회사 스트라드비젼 | Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same |
| JP2020123330A (en) * | 2019-01-30 | 2020-08-13 | 株式会社ストラドビジョン | Method for acquiring sample image for label acceptance inspection from among auto-labeled images utilized for neural network learning, and sample image acquisition device utilizing the same |
| KR102263397B1 (en) | 2019-01-30 | 2021-06-11 | 주식회사 스트라드비젼 | Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same |
| JP2020126613A (en) * | 2019-01-31 | 2020-08-20 | 株式会社ストラドビジョンＳｔｒａｄｖｉｓｉｏｎ，Ｉｎｃ． | Method for automatically evaluating labeling reliability of training image for use in deep learning network to analyze image, and reliability-evaluating device using the same |
| JP2022024118A (en) * | 2020-12-24 | 2022-02-08 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Sensing data detection method and device |
| US11869247B2 (en) | 2020-12-24 | 2024-01-09 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Perception data detection method and apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6573233B2 (en) | 2019-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11657084B2 (en) | Correlating image annotations with foreground features | |
| US10025950B1 (en) | Systems and methods for image recognition | |
| CN106682696B (en) | The more example detection networks and its training method refined based on online example classification device | |
| US11416710B2 (en) | Feature representation device, feature representation method, and program | |
| JP5214760B2 (en) | Learning apparatus, method and program | |
| CN104537341B (en) | Face picture information getting method and device | |
| TW201909112A (en) | Image feature acquisition | |
| CN106022317A (en) | Face identification method and apparatus | |
| CN111783505A (en) | Method and device for identifying forged faces and computer-readable storage medium | |
| JP6897749B2 (en) | Learning methods, learning systems, and learning programs | |
| CN109919106B (en) | Progressive target fine recognition and description method | |
| CN103824051A (en) | Local region matching-based face search method | |
| CN110287313A (en) | A kind of the determination method and server of risk subject | |
| CN106537387B (en) | Retrieval/storage image associated with event | |
| CN112948575B (en) | Text data processing method, apparatus and computer readable storage medium | |
| CN113761259A (en) | Image processing method and device and computer equipment | |
| JP2010092413A (en) | Image classification learning device, image classification learning method, and image classification learning system | |
| JP6573233B2 (en) | Recognizability index calculation apparatus, method, and program | |
| CN112417121A (en) | Client intention recognition method and device, computer equipment and storage medium | |
| CN110163130B (en) | Feature pre-alignment random forest classification system and method for gesture recognition | |
| CN108496185A (en) | System and method for object detection | |
| TW202125323A (en) | Processing method of learning face recognition by artificial intelligence module | |
| CN116882414B (en) | Automatic comment generation method and related device based on large-scale language model | |
| JP2018013887A (en) | Feature selection device, tag relevant area extraction device, method, and program | |
| CN108846386B (en) | Intelligent identification and correction method for hand-drawn pattern |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160720 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180713 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180713 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190624 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190805 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6573233 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |