JP2020013272A - 特徴量生成方法、特徴量生成装置、及び特徴量生成プログラム - Google Patents
特徴量生成方法、特徴量生成装置、及び特徴量生成プログラム Download PDFInfo
- Publication number
- JP2020013272A JP2020013272A JP2018134398A JP2018134398A JP2020013272A JP 2020013272 A JP2020013272 A JP 2020013272A JP 2018134398 A JP2018134398 A JP 2018134398A JP 2018134398 A JP2018134398 A JP 2018134398A JP 2020013272 A JP2020013272 A JP 2020013272A
- Authority
- JP
- Japan
- Prior art keywords
- content
- feature amount
- type
- group
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/438—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/45—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2133—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on naturality criteria, e.g. with non-negative factorisation or negative correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
次に、本実施形態における特徴量生成装置1の各処理部について説明する。
次に、本実施形態における特徴量生成装置1の2つの処理の流れについてそれぞれ説明する。本実施形態に係る特徴量生成装置1は、特徴量変換関数を学習して生成する特徴量変換関数学習処理、及び、初期特徴量を低次元特徴量に変換する特徴量変換処理を実行する。
最初に、特徴量変換関数学習処理について説明する。図2は、特徴量変換関数学習処理の流れを示すフローチャートである。特徴量変換関数学習処理は、画像ファイル4に対して特徴量変換処理を実行する前に、少なくとも1度実施しておく処理であり、利用者の指示が入力されたタイミングで実行される。
次に、特徴量変換処理について説明する。図3は、特徴量変換処理の流れを示すフローチャートである。特徴量変換処理は、記憶部3に格納された特徴量変換関数31Aを用いて、画像ファイル4の初期特徴量を低次元化する処理である。特徴量変換処理は、利用者により画像ファイル4が指定された上で、利用者の指示が入力されたタイミングで実行される。
以降、上述した各々の処理の詳細について、本実施形態における一例を説明する。
初期特徴量を抽出する初期特徴量抽出方法について説明する。初期特徴量は、数値データであればよくスカラー又は次元を持つベクトルであれば有効であり、どのような初期特徴量を抽出するかは、本実施形態の要件として重要ではなく、公知の特徴抽出処理を用いて公知の初期特徴量を抽出して構わない。これはコンテンツが画像や文書ではなく、音や映像などその他の種類のコンテンツに対しても同様である。
続いて、コンテンツペアを選定する方法について詳細に説明する。
(1)
(2)
Xjに含まれる初期特徴量の内一つ、及び、Yjに含まれる初期特徴量の内一つをランダムに選定し、これをxjt、yjtとする。
Xjの統計量とYjの統計量を求め、これに最も近い初期特徴量をそれぞれxjt、yjtとする。統計量としては例えば平均値や中央値などを用いればよい。
精度の観点から最も好ましい選定方法である。まず、XjとYjに含まれる初期特徴量を、現時点でのAとBを用いて、(1)と(2)に基づき低次元特徴量に変換する。Xjに対する変換後の低次元特徴量の集合をUj={uj1、uj2、・・・、ujNjx}、Yjに対する変換後の低次元特徴量の集合をVj={vj1、vj2、・・・、vjNjy}と表す。UjとVjに含まれる全ての低次元特徴量間で相関を求める。Ujのi番目の低次元特徴量ujiと、Vjのk番目の低次元特徴量vjkの相関は次式により求めることができる。
(3)
(4)
次に、特徴量変換関数の生成方法について詳細に説明する。
(5)
ここで、Xt=(x1t x2t ・・・ xMt)、Yt=(y1t y2t ・・・ yMt)は、それぞれ各グループの組のコンテンツペアを含む行列である。この問題は正準相関分析として知られており、一般化固有値問題として解くことができる。
特徴量変換関数fを求めた後であれば、任意の画像に対し低次元特徴量を求めることができる。具体的には、既に述べた処理方法で初期特徴量xを求め、この初期特徴量xに対して平均が0になるようシフトした後、上記(1)式により新たな低次元特徴量を計算する。
2 コンテンツデータベース
3 記憶部
4 コンテンツ
5 低次元特徴量
11 初期特徴量抽出部
12 コンテンツペア選定部
13 特徴量変換関数生成部
14 低次元化部
21 第一のコンテンツグループ群
22 第二のコンテンツグループ群
23 関係指示子
31A、31B 特徴量変換関数
Claims (7)
- 一つ以上の第一の種類のコンテンツを含む一つ以上の第一の種類のコンテンツのグループと、
一つ以上の第二の種類のコンテンツを含む一つ以上の第二の種類のコンテンツのグループと、
前記第一の種類のコンテンツのグループと、前記第二の種類のコンテンツのグループとの間の関係を示した関係指示子とが所与である場合に、前記コンテンツの低次元特徴量を生成する特徴量変換関数を学習する特徴量生成方法であって、
前記第一の種類のコンテンツ、及び、前記第二の種類のコンテンツの初期特徴量を抽出する初期特徴量抽出ステップと、
前記関係指示子により示されている前記グループの組の各々から、前記第一の種類のコンテンツ、及び、前記第二の種類のコンテンツを一つずつ選び出すことで、コンテンツペアを選定するコンテンツペア選定ステップと、
前記グループの組の各々から選定された全ての前記コンテンツペアに基づいて、前記第一の種類のコンテンツの前記初期特徴量を低次元特徴量に変換する特徴量変換関数、及び前記第二の種類のコンテンツの前記初期特徴量を低次元特徴量に変換する特徴量変換関数を生成し、出力する特徴量変換関数生成ステップと、
を有する特徴量生成方法。 - 前記コンテンツペア選定ステップは、前記グループの組の各々から、前記特徴量変換関数生成ステップによって新たに生成された特徴量変換関数を用いて変換された低次元特徴量の相関が最も高い前記第一の種類のコンテンツと前記第二の種類のコンテンツとのペアを選び出して新たなコンテンツペアとし、
前記コンテンツペア選定ステップによる新たなコンテンツペアの選定と、当該新たなコンテンツペアを用いた前記特徴量変換関数生成ステップによる特徴量変換関数の生成を、終了条件を満たすまで繰り返す請求項1に記載の特徴量生成方法。 - 前記特徴量変換関数は、前記第一の種類のコンテンツの変換行列、及び前記第二の種類のコンテンツの変換行列であり、
前記第一の種類のコンテンツの前記低次元特徴量は、前記第一の種類のコンテンツの初期特徴量に対して前記第一の種類のコンテンツの前記変換行列を掛けることで生成され、
前記第二の種類のコンテンツの前記低次元特徴量は、前記第二の種類のコンテンツの初期特徴量に対して前記第二の種類のコンテンツの前記変換行列を掛けることで生成され、
前記特徴量変換関数生成ステップは、前記第一の種類のコンテンツの変換行列、及び前記第二の種類のコンテンツの変換行列を、前記コンテンツペアの低次元特徴量の相関が最大となるように学習する請求項1または請求項2に記載の特徴量生成方法。 - 一つ以上の第一の種類のコンテンツを含む一つ以上の第一の種類のコンテンツのグループと、
一つ以上の第二の種類のコンテンツを含む一つ以上の第二の種類のコンテンツのグループと、
前記第一の種類のコンテンツのグループと、前記第二の種類のコンテンツのグループとの間の関係を示した関係指示子とが所与である場合に、前記コンテンツの低次元特徴量を生成する特徴量変換関数を学習する特徴量生成装置であって、
前記第一の種類のコンテンツ、及び、前記第二の種類のコンテンツの初期特徴量を抽出する初期特徴量抽出部と、
前記関係指示子により示されている前記グループの組の各々から、前記第一の種類のコンテンツ、及び、前記第二の種類のコンテンツを一つずつ選び出すことで、コンテンツペアを選定するコンテンツペア選定部と、
前記グループの組の各々から選定された全ての前記コンテンツペアに基づいて、前記第一の種類のコンテンツの前記初期特徴量を低次元特徴量に変換する特徴量変換関数、及び前記第二の種類のコンテンツの前記初期特徴量を低次元特徴量に変換する特徴量変換関数を生成し、出力する特徴量変換関数生成部と、
を有する特徴量生成装置。 - 前記コンテンツペア選定部は、前記グループの組の各々から、前記特徴量変換関数生成部によって新たに生成された特徴量変換関数を用いて変換された低次元特徴量の相関が最も高い前記第一の種類のコンテンツと前記第二の種類のコンテンツとのペアを選び出して新たなコンテンツペアとし、
前記コンテンツペア選定部による新たなコンテンツペアの選定と、当該新たなコンテンツペアを用いた前記特徴量変換関数生成部による特徴量変換関数の生成を、終了条件を満たすまで繰り返す請求項4に記載の特徴量生成装置。 - 前記特徴量変換関数は、前記第一の種類のコンテンツの変換行列、及び前記第二の種類のコンテンツの変換行列であり、
前記第一の種類のコンテンツの前記低次元特徴量は、前記第一の種類のコンテンツの初期特徴量に対して前記第一の種類のコンテンツの前記変換行列を掛けることで生成され、
前記第二の種類のコンテンツの前記低次元特徴量は、前記第二の種類のコンテンツの初期特徴量に対して前記第二の種類のコンテンツの前記変換行列を掛けることで生成され、
前記特徴量変換関数生成部は、前記第一の種類のコンテンツの変換行列、及び前記第二の種類のコンテンツの変換行列を、前記コンテンツペアの低次元特徴量の相関が最大となるように学習する請求項4または請求項5に記載の特徴量生成装置。 - コンピュータに、請求項1〜請求項3の何れか1項記載の特徴量生成方法の各ステップを実行させるための特徴量生成プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018134398A JP7014072B2 (ja) | 2018-07-17 | 2018-07-17 | 特徴量生成方法、特徴量生成装置、及び特徴量生成プログラム |
US17/260,540 US11615132B2 (en) | 2018-07-17 | 2019-07-08 | Feature amount generation method, feature amount generation device, and feature amount generation program |
PCT/JP2019/027005 WO2020017380A1 (ja) | 2018-07-17 | 2019-07-08 | 特徴量生成方法、特徴量生成装置、及び特徴量生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018134398A JP7014072B2 (ja) | 2018-07-17 | 2018-07-17 | 特徴量生成方法、特徴量生成装置、及び特徴量生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020013272A true JP2020013272A (ja) | 2020-01-23 |
JP7014072B2 JP7014072B2 (ja) | 2022-02-01 |
Family
ID=69164060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018134398A Active JP7014072B2 (ja) | 2018-07-17 | 2018-07-17 | 特徴量生成方法、特徴量生成装置、及び特徴量生成プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11615132B2 (ja) |
JP (1) | JP7014072B2 (ja) |
WO (1) | WO2020017380A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108922528B (zh) * | 2018-06-29 | 2020-10-23 | 百度在线网络技术(北京)有限公司 | 用于处理语音的方法和装置 |
CN114708608B (zh) * | 2022-06-06 | 2022-09-16 | 浙商银行股份有限公司 | 一种银行票据全自动化特征工程方法及装置 |
US11900436B1 (en) * | 2022-10-17 | 2024-02-13 | Inmar Clearing, Inc. | Natural language processing based product substitution system and related methods |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016197375A (ja) * | 2015-04-06 | 2016-11-24 | 日本電信電話株式会社 | 写像学習方法、情報圧縮方法、装置、及びプログラム |
JP2017027526A (ja) * | 2015-07-27 | 2017-02-02 | 日本電信電話株式会社 | 特徴量生成方法、特徴量生成装置、及び特徴量生成プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001031502A1 (fr) * | 1999-10-27 | 2001-05-03 | Fujitsu Limited | Dispositif et procede de classement et de rangement d'informations multimedia |
JP5191443B2 (ja) | 2009-06-02 | 2013-05-08 | 日本電信電話株式会社 | 多次元信号対圧縮装置、多次元信号対圧縮方法、及びプログラム |
-
2018
- 2018-07-17 JP JP2018134398A patent/JP7014072B2/ja active Active
-
2019
- 2019-07-08 WO PCT/JP2019/027005 patent/WO2020017380A1/ja active Application Filing
- 2019-07-08 US US17/260,540 patent/US11615132B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016197375A (ja) * | 2015-04-06 | 2016-11-24 | 日本電信電話株式会社 | 写像学習方法、情報圧縮方法、装置、及びプログラム |
JP2017027526A (ja) * | 2015-07-27 | 2017-02-02 | 日本電信電話株式会社 | 特徴量生成方法、特徴量生成装置、及び特徴量生成プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210271702A1 (en) | 2021-09-02 |
US11615132B2 (en) | 2023-03-28 |
JP7014072B2 (ja) | 2022-02-01 |
WO2020017380A1 (ja) | 2020-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yu et al. | Deep cross-modal correlation learning for audio and lyrics in music retrieval | |
Pancoast et al. | Bag-of-audio-words approach for multimedia event classification. | |
CN109493881B (zh) | 一种音频的标签化处理方法、装置和计算设备 | |
US20140245463A1 (en) | System and method for accessing multimedia content | |
CN109684506B (zh) | 一种视频的标签化处理方法、装置和计算设备 | |
WO2020017380A1 (ja) | 特徴量生成方法、特徴量生成装置、及び特徴量生成プログラム | |
WO2015027751A1 (zh) | 基于音频指纹特征的音乐检索系统 | |
JP6104209B2 (ja) | ハッシュ関数生成方法、ハッシュ値生成方法、装置、及びプログラム | |
Chen et al. | Semantic event detection via multimodal data mining | |
JP6397378B2 (ja) | 特徴量生成方法、特徴量生成装置、及び特徴量生成プログラム | |
JP5592337B2 (ja) | コンテンツ変換方法、コンテンツ変換装置及びコンテンツ変換プログラム | |
JP5596648B2 (ja) | ハッシュ関数生成方法、ハッシュ関数生成装置、ハッシュ関数生成プログラム | |
US20220238087A1 (en) | Methods and systems for determining compact semantic representations of digital audio signals | |
Hussein et al. | Unified embedding and metric learning for zero-exemplar event detection | |
Kuzminykh et al. | Audio interval retrieval using convolutional neural networks | |
JP6368677B2 (ja) | 写像学習方法、情報圧縮方法、装置、及びプログラム | |
JP6373292B2 (ja) | 特徴量生成装置、方法、及びプログラム | |
JP2016066012A (ja) | ハッシュ関数生成方法、ハッシュ値生成方法、装置、及びプログラム | |
JP6152032B2 (ja) | ハッシュ関数生成方法、ハッシュ値生成方法、ハッシュ関数生成装置、ハッシュ値生成装置、ハッシュ関数生成プログラム及びハッシュ値生成プログラム | |
JP6134246B2 (ja) | ハッシュ関数生成方法、ハッシュ値生成方法、ハッシュ関数生成装置、ハッシュ値生成装置、ハッシュ関数生成プログラム及びハッシュ値生成プログラム | |
JP6364387B2 (ja) | 特徴量生成装置、方法、及びプログラム | |
JP6461773B2 (ja) | ベクトル量子化器生成方法、ベクトル量子化方法、装置、及びプログラム | |
JP2012019305A (ja) | 映像要約装置,映像要約方法および映像要約プログラム | |
Shrivastav et al. | Towards an ontology based framework for searching multimedia contents on the web | |
da Silva et al. | Audio plugin recommendation systems for music production |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220103 |