JP2019079536A - 連合クラスタリング深層学習ニューラルネットワークに基づくデータ識別方法 - Google Patents
連合クラスタリング深層学習ニューラルネットワークに基づくデータ識別方法 Download PDFInfo
- Publication number
- JP2019079536A JP2019079536A JP2018199173A JP2018199173A JP2019079536A JP 2019079536 A JP2019079536 A JP 2019079536A JP 2018199173 A JP2018199173 A JP 2018199173A JP 2018199173 A JP2018199173 A JP 2018199173A JP 2019079536 A JP2019079536 A JP 2019079536A
- Authority
- JP
- Japan
- Prior art keywords
- class
- label
- data
- output
- data sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
Description
イエスであれば、前記一つのプロフィール画像と前記一つの音声が同一人物に対応し、
そうでなければ、前記一つのプロフィール画像と前記一つの音声が異なった人に対応する。
Claims (1)
- 連合クラスタリング深層学習ニューラルネットワークに基づくデータ識別方法は、ステップ1〜9を含み、
ステップ1は、まずNクラスデータサンプルセットと各クラスのデータサンプルセットが対応するラベルセットを取得し、また前記Nクラスデータサンプルセットの中の各クラスのデータサンプルのデータプリセットフォーマットを取得し、ラベルプリセットフォーマットも取得し、それからNクラスデータサンプルセットとラベルセットを前処理し、前記Nが1以上であり、
ステップ2は、Nクラスデータサンプルセットが対応するN個の深層学習ニューラルネットワークを初期化し、
ステップ3は、ステップ1で取得した各クラスのデータサンプルセットを入力とし、それに対応するラベルセットを出力とし、当該クラスの対応する深層学習ニューラルネットワークを訓練し、N個の訓練された深層学習ニューラルネットワークを取得し、
ステップ4は、各クラスの対応する深層学習ニューラルネットワークのために一つのテストデータを取得し、各クラスのテストデータのデータフォーマットを当該クラスのデータサンプルのデータプリセットフォーマットに変換し、それから当該テストデータを当該クラスの対応する深層学習ニューラルネットワークの入力とし、当該深層学習ニューラルネットワークの計算を通じて当該クラスが対応するテスト出力ラベルを取得し、
ステップ5は、ステップ1で前処理されたラベルセットの中で各クラスのテスト出力ラベルが存在するラベルセットを検索し、それから当該ラベルセットが一つのラベル要素しか持っていないかどうかを判断し、もし各クラスのテスト出力ラベルが存在するラベルセットが一つのラベル要素しか持っていなければ、各クラスのテスト出力ラベルを当該クラスの最優出力ラベルとし、そうでなければ次のステップに進み、
ステップ6は、各クラスのテスト出力ラベルが対応するデータサンプルセットと当該クラスのテスト出力ラベルが存在するラベルセットの中の各ラベル要素が対応するデータサンプルセットの類似度を計算し、それから当該類似度に基づいて各組の可能出力ラベルを計算して決定し、その中に、各組の可能出力ラベルの中には各クラスの一つの可能出力ラベルが含まれ、
ステップ7は、各組の可能出力ラベルの中の各クラスの可能出力ラベルが対応するデータサンプルセットと当該クラスのテストデータセットの類似度を計算し、また当該類似度に基づいて一組の可能出力ラベルを計算決定して最優出力ラベルとし、
ステップ8は、可能出力ラベルの中の各クラスの出力ラベルの一致する確率と一致しない確率を計算し、各クラスの出力ラベルの一致する確率と一致しない確率とし、
ステップ9は、可能出力ラベル、最優出力ラベル、各クラスの出力ラベルの一致する確率及び一致しない確率を出力し、
前記Nクラスの中の各クラスのデータサンプルのデータプリセットフォーマットを取得し、ラベルプリセットフォーマットも取得するのは、具体的には、
各クラスのデータサンプルセットの中の各データサンプルのデータフォーマットを取得し、当該クラスの中の同じのデータフォーマットを合併してs 種のデータフォーマットを取得し、当該クラスのデータサンプルセットの中の各種のデータフォーマットPiが対応するデータサンプル数Miを統計し、一番大きなMiが対応データフォーマットPiを当該クラスのデータサンプルのデータプリセットフォーマットとするステップ(sが1以上であり、iが1以上且つs以下である)と、
各クラスのデータサンプルセットが対応するラベルセットの中の各ラベルのラベルフォーマットを取得し、すべてのクラスの同じのラベルフォーマットを合併して少なくともt種のラベルフォーマットを取得し、当該クラスのラベルセットの中の各種のラベルフォーマットQjが対応するラベル数Njを統計し、一番大きなNjが対応するラベルフォーマットQjをラベルプリセットフォーマットとする(tが1以上であり、jが1以上且つt以下である)ステップを含み、
Nクラスデータサンプルセットとラベルセットを前処理するステップ1は、具体的にはステップ1-1〜ステップ1-5を含み、
ステップ1-1、各クラスのデータサンプルセットの中の各データサンプルのデータフォーマットが当該クラスのデータサンプルのデータプリセットフォーマットに一致するかどうかを判断し、一致でなければ、当該クラスの当該データサンプルのデータフォーマットを当該クラスのデータサンプルのデータプリセットフォーマットに変換し、
ステップ1-2、各クラスのデータサンプルセットの中の各データサンプルが対応するラベルのデータフォーマットがラベルプリセットフォーマットに一致するかどうかを判断し、一致でなければ、当該クラスの当該データサンプルが対応するラベルのデータフォーマットをラベルプリセットフォーマットに変換し、
ステップ1-3、Nクラスデータサンプルセットの中の各クラスのデータサンプルセットをクラスタリング処理し、J個のクラスタ化されたデータサンプルセット及びそれに対応する出力ラベルセットを取得し、
ステップ1-4、J個のクラスタ化された出力ラベルセットの各クラスの同じのラベルを合併し、更新されたJ個の出力ラベルセットを取得し、
ステップ1-5、更新されたJ個の出力ラベルセットの同じのラベルを持つラベルセット及び対応のデータサンプルセットをそれぞれ合併し、前処理されたデータサンプルセット及びそれに対応する出力ラベルセットを取得し、
Nクラスデータサンプルセットが対応するN個の深層学習ニューラルネットワークを初期化するのは、具体的にはステップ2-1〜2-3を含み、
ステップ2-1、各クラスのデータサンプルのデータプリセットフォーマットを当該クラスの対応する深層学習ニューラルネットワークの入力フォーマットとし、
ステップ2-2、ラベルプリセットフォーマットを各クラスの対応する深層学習ニューラルネットワークの出力フォーマットとし、
ステップ2-3、各クラスの対応する深層学習ニューラルネットワークの構成情報を取得し、それを当該クラスの対応する深層学習ニューラルネットワークの構成情報とし、また当該クラスの対応する深層学習ニューラルネットワークを配置し、
各クラスの対応する深層学習ニューラルネットワークのプリセット構成情報を取得し、それを当該クラスの対応する深層学習ニューラルネットワークの構成情報とするのは、具体的にはステップ2-3-1〜2-3-4を含み、
ステップ2-3-1、深層学習ニューラルネットワーク構成知識ベースから入力フォーマット、出力フォーマットと各クラスのデータプリセットフォーマット及びラベルプリセットフォーマットとが一番一致する深層学習ニューラルネットワークの対応する構成情報を取得し、それを当該クラスの対応する深層学習ニューラルネットワークのプリセット構成情報とし、
その中に、入力フォーマット、出力フォーマットと各クラスのデータプリセットフォーマット及びラベルプリセットフォーマットとのマッチング程度=入力フォーマットが当該クラスのデータプリセットフォーマットとのマッチング程度×u%+出力フォーマットがラベルプリセットフォーマットとのマッチング程度×(1-u%)、uのデフォルト値が90であり、
ステップ2-3-2、各クラスの対応する深層学習ニューラルネットワークのプリセット構成情報をユーザーに出力し、
ステップ2-3-3、ユーザーによっての各クラスの対応する深層学習ニューラルネットワークのプリセット構成情報の変更を取得し、
ステップ2-3-4、変更された各クラスの対応する深層学習ニューラルネットワークのプリセット構成情報を、当該クラスの対応する深層学習ニューラルネットワークのプリセット構成情報とし、
ステップ1で取得した各クラスのデータサンプルセットを入力とし、それに対応するラベルセットを出力とし、当該クラスの対応する深層学習ニューラルネットワークを訓練し、N個の訓練された深層学習ニューラルネットワークを取得するのは、具体的にはステップ3-1〜3-2を含み、
ステップ3-1、各クラスのデータサンプルセットの中の各データサンプルを当該クラスの対応する深層学習ニューラルネットワークの入力とし、当該クラスの対応する深層学習ニューラルネットワークに対してアセンディングオーダーの監督なし訓練を行い、
ステップ3-2、各クラスのデータサンプルセットの中の各データサンプルを当該クラスの対応する深層学習ニューラルネットワークの入力とし、当該クラスのデータサンプルセットが対応するラベルセットの中の当該データサンプルが対応するラベルを出力とし、当該クラスの対応する深層学習ニューラルネットワークに対しトップダウンの監督学習を行い、N個の訓練された深層学習ニューラルネットワークを取得し、
各クラスのテスト出力ラベルが対応するデータサンプルセットと当該クラスのテスト出力ラベルが存在するラベルセットの中の各ラベル要素が対応するデータサンプルセットの類似度を計算し、それから当該類似度に基づいて各組の可能出力ラベルを計算決定するのは、具体的には:
N=1であれば、テスト出力ラベルが対応するデータサンプルセットとテスト出力ラベルが存在するラベルセットの中の各ラベル要素が対応するデータサンプルセットの類似度を計算し、類似度が第一プリセット値aを超えるすべてのラベル要素を一組の可能出力ラベルとし、
N>1であれば、第iクラスのテスト出力ラベルが対応するデータサンプルセットDiを取得し、第iクラスのテスト出力ラベルが存在するラベルセットの中のラベル要素の数miを取得し、第iクラスのテスト出力ラベルが存在するラベルセットの中の第j個のラベル要素が対応するデータサンプルセットDijを取得し、DiとDijの類似度Pijを計算し、その中に、iが1からNまでの各自然数であり、jが1からmiまでの各自然数であり、
k1、k2、…、kNの各値に対し、類似度第一綜合値f(P1k1、P2k2、…、PNkN)を計算し、もしf(P1k1、P2k2、…、PNkN)が第二プリセット値bより大きければ、第一クラスのテスト出力ラベルが存在するラベルセットの中の第k1番のラベル要素、第二クラスのテスト出力ラベルが存在するラベルセットの中の第k2番のラベル要素、…、第Nクラスのテスト出力ラベルが存在するラベルセットの中の第kN番のラベル要素を、一組の可能出力ラベルとし、その中に、k1が1からm1までの各自然数であり、k2が1からm2までの各自然数であり、…、kNが1からmNまでの各自然数であり、f(P1k1、P2k2、…、PNkN)が(P1k1、P2k2、…、PNkN)の乗積であり、
データサンプルセットAとデータサンプルセットBの類似度=max(データサンプルセットAの中の各サンプルとデータサンプルセットBの中の各サンプルの類似度)、
各組の可能出力ラベルの中の各クラスの可能出力ラベルが対応するデータサンプルセットと当該クラスのテストデータセットの類似度を計算し、また当該類似度に基づいて一組の可能出力ラベルを計算決定して最優出力ラベルとするのは、具体的には:
N=1の場合、各組の可能出力ラベルの中の可能出力ラベルが対応するデータサンプルセットと当該クラスのテストデータセットの類似度を計算し、一番大きな類似度が対応する一組の可能出力ラベルを取得して一組の最優出力ラベルとし、
N>1の場合、各組の可能出力ラベルの中の第iクラスの可能出力ラベルが対応するデータサンプルセットと当該クラスのテストデータセットの類似度Piを計算し、それから類似度第二綜合値g(P1、P2、…、PN)を計算し、一番大きな類似度第二綜合値が対応する一組の可能出力ラベルを取得し一組の最優出力ラベルとし、その中にg(P1、P2、…、PN)が(P1、P2、…、PN)の乗積であり、その中に、iが1からNまでの各自然数であり、
可能出力ラベルの中の各クラスの出力ラベルの一致する確率と一致しない確率を計算し、各クラスの出力ラベルの一致する確率と一致しない確率とするのは、具体的には:N=1の場合、一クラスの出力ラベルしかなく、従って各クラスの出力ラベルが一致する確率が100%であり、一致しない確率が0%であり、
N>1の場合、まず各組の可能出力ラベルの中の各クラスの可能出力ラベルが一致するかどうかを判断し、また一致すると判断される各組の可能出力ラベルが対応する類似度第二綜合値の和をすべての可能出力ラベルが対応する類似度第二綜合値の和と除算し、各クラスの出力ラベルが一致する確率を取得し、最後に100%から各クラスの出力ラベルが一致する確率を引いて各クラスの出力ラベルの一致しない確率を取得する。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710994336.8 | 2017-10-23 | ||
CN201710994336.8A CN107704888B (zh) | 2017-10-23 | 2017-10-23 | 一种基于联合聚类深度学习神经网络的数据识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019079536A true JP2019079536A (ja) | 2019-05-23 |
JP6928206B2 JP6928206B2 (ja) | 2021-09-01 |
Family
ID=61182830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018199173A Active JP6928206B2 (ja) | 2017-10-23 | 2018-10-23 | 連合クラスタリング深層学習ニューラルネットワークに基づくデータ識別方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6928206B2 (ja) |
CN (1) | CN107704888B (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112114360A (zh) * | 2019-06-21 | 2020-12-22 | 中国石油天然气集团有限公司 | 一种地震波形分析方法及装置 |
CN112866156A (zh) * | 2021-01-15 | 2021-05-28 | 浙江工业大学 | 一种基于深度学习的无线电信号聚类方法及系统 |
CN113313254A (zh) * | 2021-06-10 | 2021-08-27 | 浙江工业大学 | 面向记忆增强元学习的深度学习模型去偏方法 |
CN114143210A (zh) * | 2021-11-11 | 2022-03-04 | 中国电子科技集团公司第五十四研究所 | 一种基于深度学习的指挥控制网络关键节点识别方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108828948B (zh) * | 2018-07-15 | 2021-06-18 | 大国创新智能科技(东莞)有限公司 | 基于深度学习的人工智能作战方法和机器人系统 |
CN109582795B (zh) * | 2018-11-30 | 2021-01-05 | 奇安信科技集团股份有限公司 | 基于全生命周期的数据处理方法、设备、系统和介质 |
CN111435452B (zh) * | 2019-01-11 | 2023-11-03 | 百度在线网络技术(北京)有限公司 | 模型训练方法、装置、设备和介质 |
CN110011942B (zh) * | 2019-02-15 | 2021-07-23 | 中国人民解放军战略支援部队信息工程大学 | 基于深度学习的莫尔斯报文智能检测识别方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05101028A (ja) * | 1991-10-04 | 1993-04-23 | Nippon Telegr & Teleph Corp <Ntt> | 複数特徴量の統合判定方法 |
US20180247159A1 (en) * | 2017-02-27 | 2018-08-30 | Zecang Gu | Method of constructing a neural network model for super deep confrontation learning |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9836671B2 (en) * | 2015-08-28 | 2017-12-05 | Microsoft Technology Licensing, Llc | Discovery of semantic similarities between images and text |
CN105320967A (zh) * | 2015-11-04 | 2016-02-10 | 中科院成都信息技术股份有限公司 | 基于标签相关性的多标签AdaBoost集成方法 |
CN106022380A (zh) * | 2016-05-25 | 2016-10-12 | 中国科学院自动化研究所 | 基于深度学习的个体身份识别方法 |
CN107122396B (zh) * | 2017-03-13 | 2019-10-29 | 西北大学 | 基于深度卷积神经网络的三维模型检索方法 |
-
2017
- 2017-10-23 CN CN201710994336.8A patent/CN107704888B/zh active Active
-
2018
- 2018-10-23 JP JP2018199173A patent/JP6928206B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05101028A (ja) * | 1991-10-04 | 1993-04-23 | Nippon Telegr & Teleph Corp <Ntt> | 複数特徴量の統合判定方法 |
US20180247159A1 (en) * | 2017-02-27 | 2018-08-30 | Zecang Gu | Method of constructing a neural network model for super deep confrontation learning |
CN108510057A (zh) * | 2017-02-27 | 2018-09-07 | 顾泽苍 | 一种超深度对抗学习的神经网络模型的构成方法 |
JP2018142323A (ja) * | 2017-02-27 | 2018-09-13 | 澤蒼 顧 | 超深層競合学習のニューラルネットワークモデルの構築方法、その装置、及びそのモデルが搭載された汎用モバイル端末装置、及びそのプログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112114360A (zh) * | 2019-06-21 | 2020-12-22 | 中国石油天然气集团有限公司 | 一种地震波形分析方法及装置 |
CN112866156A (zh) * | 2021-01-15 | 2021-05-28 | 浙江工业大学 | 一种基于深度学习的无线电信号聚类方法及系统 |
CN113313254A (zh) * | 2021-06-10 | 2021-08-27 | 浙江工业大学 | 面向记忆增强元学习的深度学习模型去偏方法 |
CN113313254B (zh) * | 2021-06-10 | 2024-03-29 | 浙江工业大学 | 面向记忆增强元学习的深度学习模型去偏方法 |
CN114143210A (zh) * | 2021-11-11 | 2022-03-04 | 中国电子科技集团公司第五十四研究所 | 一种基于深度学习的指挥控制网络关键节点识别方法 |
CN114143210B (zh) * | 2021-11-11 | 2024-05-03 | 中国电子科技集团公司第五十四研究所 | 一种基于深度学习的指挥控制网络关键节点识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107704888B (zh) | 2021-04-16 |
CN107704888A (zh) | 2018-02-16 |
JP6928206B2 (ja) | 2021-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019079536A (ja) | 連合クラスタリング深層学習ニューラルネットワークに基づくデータ識別方法 | |
CN109189901B (zh) | 一种智能客服系统中自动发现新分类以及对应语料的方法 | |
CN107918633B (zh) | 基于语义分析技术的敏感舆情内容识别方法和预警系统 | |
CN104992191B (zh) | 基于深度学习的特征和最大置信路径的图像分类方法 | |
CN107562918A (zh) | 一种数学题知识点发现与批量标签获取方法 | |
CN106205609B (zh) | 一种基于音频事件和主题模型的音频场景识别方法及其装置 | |
JP2009086901A (ja) | 年齢推定システム及び年齢推定方法 | |
CN104199840B (zh) | 基于统计模型的智能地名识别技术 | |
KR101062672B1 (ko) | 유해 동영상 검출장치 및 그 방법 | |
CN106649849A (zh) | 文本信息库建立方法和装置、以及搜索方法、装置和系统 | |
CN107577665B (zh) | 文本情感倾向的判别方法 | |
CN106250925B (zh) | 一种基于改进的典型相关分析的零样本视频分类方法 | |
JP2017168057A (ja) | 画像分類装置、画像分類システム及び画像分類方法 | |
CN115374189B (zh) | 基于区块链的食品安全溯源方法、装置及设备 | |
CN110992988B (zh) | 一种基于领域对抗的语音情感识别方法及装置 | |
CN113408581A (zh) | 一种多模态数据匹配方法、装置、设备及存储介质 | |
CN114492663B (zh) | 事件智能分拨方法、装置、设备及存储介质 | |
CN109448154A (zh) | 一种输电线路人员巡检方法及装置 | |
CN109063743A (zh) | 基于半监督多任务学习的医疗数据分类模型的构建方法 | |
CN109902284A (zh) | 基于论辩挖掘的一种无监督论点提取方法 | |
Phan et al. | Multi-view audio and music classification | |
CN114282059A (zh) | 视频检索的方法、装置、设备及存储介质 | |
CN104850864A (zh) | 一种基于卷积神经网络的非监督图像识别方法 | |
Ali et al. | Fake accounts detection on social media using stack ensemble system | |
CN113705242B (zh) | 面向教育咨询服务的智能语义匹配方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200414 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210518 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210604 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6928206 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |