CN110209658A - 数据清洗方法和装置 - Google Patents
数据清洗方法和装置 Download PDFInfo
- Publication number
- CN110209658A CN110209658A CN201910480675.3A CN201910480675A CN110209658A CN 110209658 A CN110209658 A CN 110209658A CN 201910480675 A CN201910480675 A CN 201910480675A CN 110209658 A CN110209658 A CN 110209658A
- Authority
- CN
- China
- Prior art keywords
- training sample
- sample set
- training
- feature extraction
- cleaned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
Description
Claims (18)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910480675.3A CN110209658B (zh) | 2019-06-04 | 2019-06-04 | 数据清洗方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910480675.3A CN110209658B (zh) | 2019-06-04 | 2019-06-04 | 数据清洗方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110209658A true CN110209658A (zh) | 2019-09-06 |
CN110209658B CN110209658B (zh) | 2021-09-14 |
Family
ID=67790664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910480675.3A Active CN110209658B (zh) | 2019-06-04 | 2019-06-04 | 数据清洗方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110209658B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110928862A (zh) * | 2019-10-23 | 2020-03-27 | 深圳市华讯方舟太赫兹科技有限公司 | 数据清洗方法、数据清洗设备以及计算机存储介质 |
CN111259000A (zh) * | 2020-01-20 | 2020-06-09 | 佛山科学技术学院 | 一种数据清洗方法 |
CN112348107A (zh) * | 2020-11-17 | 2021-02-09 | 百度(中国)有限公司 | 图像数据清洗方法及装置、电子设备和介质 |
CN112783883A (zh) * | 2021-01-22 | 2021-05-11 | 广东电网有限责任公司东莞供电局 | 一种多源数据接入下电力数据标准化清洗方法和装置 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9336484B1 (en) * | 2011-09-26 | 2016-05-10 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) | System and method for outlier detection via estimating clusters |
CN106202922A (zh) * | 2016-07-06 | 2016-12-07 | 吴本刚 | 一种基于聚类算法的变压器故障诊断系统 |
CN106503656A (zh) * | 2016-10-24 | 2017-03-15 | 厦门美图之家科技有限公司 | 一种图像分类方法、装置和计算设备 |
CN107067077A (zh) * | 2017-04-18 | 2017-08-18 | 武汉大学 | 一种卷积神经网络的加权算法 |
CN107878244A (zh) * | 2017-11-27 | 2018-04-06 | 深圳市菊水皇家科技有限公司 | 一种数据清洗和预测方法及电动汽车移动充电宝系统 |
CN108776683A (zh) * | 2018-06-01 | 2018-11-09 | 广东电网有限责任公司 | 一种基于孤立森林算法和神经网络的电力运维数据清洗方法 |
CN108875821A (zh) * | 2018-06-08 | 2018-11-23 | Oppo广东移动通信有限公司 | 分类模型的训练方法和装置、移动终端、可读存储介质 |
CN108960331A (zh) * | 2018-07-10 | 2018-12-07 | 重庆邮电大学 | 一种基于行人图像特征聚类的行人再识别方法 |
CN109241903A (zh) * | 2018-08-30 | 2019-01-18 | 平安科技(深圳)有限公司 | 样本数据清洗方法、装置、计算机设备及存储介质 |
CN109284372A (zh) * | 2018-09-03 | 2019-01-29 | 平安证券股份有限公司 | 用户操作行为分析方法、电子装置及计算机可读存储介质 |
CN109299271A (zh) * | 2018-10-30 | 2019-02-01 | 腾讯科技(深圳)有限公司 | 训练样本生成、文本数据、舆情事件分类方法及相关设备 |
CN109344146A (zh) * | 2018-09-13 | 2019-02-15 | 海南电网有限责任公司电力科学研究院 | 一种大规模过电压数据智能自清洗方法 |
-
2019
- 2019-06-04 CN CN201910480675.3A patent/CN110209658B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9336484B1 (en) * | 2011-09-26 | 2016-05-10 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) | System and method for outlier detection via estimating clusters |
CN106202922A (zh) * | 2016-07-06 | 2016-12-07 | 吴本刚 | 一种基于聚类算法的变压器故障诊断系统 |
CN106503656A (zh) * | 2016-10-24 | 2017-03-15 | 厦门美图之家科技有限公司 | 一种图像分类方法、装置和计算设备 |
CN107067077A (zh) * | 2017-04-18 | 2017-08-18 | 武汉大学 | 一种卷积神经网络的加权算法 |
CN107878244A (zh) * | 2017-11-27 | 2018-04-06 | 深圳市菊水皇家科技有限公司 | 一种数据清洗和预测方法及电动汽车移动充电宝系统 |
CN108776683A (zh) * | 2018-06-01 | 2018-11-09 | 广东电网有限责任公司 | 一种基于孤立森林算法和神经网络的电力运维数据清洗方法 |
CN108875821A (zh) * | 2018-06-08 | 2018-11-23 | Oppo广东移动通信有限公司 | 分类模型的训练方法和装置、移动终端、可读存储介质 |
CN108960331A (zh) * | 2018-07-10 | 2018-12-07 | 重庆邮电大学 | 一种基于行人图像特征聚类的行人再识别方法 |
CN109241903A (zh) * | 2018-08-30 | 2019-01-18 | 平安科技(深圳)有限公司 | 样本数据清洗方法、装置、计算机设备及存储介质 |
CN109284372A (zh) * | 2018-09-03 | 2019-01-29 | 平安证券股份有限公司 | 用户操作行为分析方法、电子装置及计算机可读存储介质 |
CN109344146A (zh) * | 2018-09-13 | 2019-02-15 | 海南电网有限责任公司电力科学研究院 | 一种大规模过电压数据智能自清洗方法 |
CN109299271A (zh) * | 2018-10-30 | 2019-02-01 | 腾讯科技(深圳)有限公司 | 训练样本生成、文本数据、舆情事件分类方法及相关设备 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110928862A (zh) * | 2019-10-23 | 2020-03-27 | 深圳市华讯方舟太赫兹科技有限公司 | 数据清洗方法、数据清洗设备以及计算机存储介质 |
CN111259000A (zh) * | 2020-01-20 | 2020-06-09 | 佛山科学技术学院 | 一种数据清洗方法 |
CN112348107A (zh) * | 2020-11-17 | 2021-02-09 | 百度(中国)有限公司 | 图像数据清洗方法及装置、电子设备和介质 |
CN112783883A (zh) * | 2021-01-22 | 2021-05-11 | 广东电网有限责任公司东莞供电局 | 一种多源数据接入下电力数据标准化清洗方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110209658B (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110209658A (zh) | 数据清洗方法和装置 | |
CN106911697B (zh) | 访问权限设置方法、装置、服务器及存储介质 | |
CN107908789A (zh) | 用于生成信息的方法和装置 | |
CN109902186A (zh) | 用于生成神经网络的方法和装置 | |
CN108090162A (zh) | 基于人工智能的信息推送方法和装置 | |
CN109460514A (zh) | 用于推送信息的方法和装置 | |
CN109460513A (zh) | 用于生成点击率预测模型的方法和装置 | |
CN108171191B (zh) | 用于检测人脸的方法和装置 | |
CN107145485B (zh) | 用于压缩主题模型的方法和装置 | |
CN109165573A (zh) | 用于提取视频特征向量的方法和装置 | |
CN108345387A (zh) | 用于输出信息的方法和装置 | |
CN109308490A (zh) | 用于生成信息的方法和装置 | |
CN108062416B (zh) | 用于在地图上生成标签的方法和装置 | |
CN109872242A (zh) | 信息推送方法和装置 | |
CN109447156A (zh) | 用于生成模型的方法和装置 | |
CN109360028A (zh) | 用于推送信息的方法和装置 | |
CN109815365A (zh) | 用于处理视频的方法和装置 | |
CN108960912A (zh) | 用于确定目标位置的方法和装置 | |
CN109447246A (zh) | 用于生成模型的方法和装置 | |
CN107977678A (zh) | 用于输出信息的方法和装置 | |
CN109862100A (zh) | 用于推送信息的方法和装置 | |
CN108182472A (zh) | 用于生成信息的方法和装置 | |
CN108446659A (zh) | 用于检测人脸图像的方法和装置 | |
CN110263255A (zh) | 用户属性信息的获取方法、系统、服务器及存储介质 | |
CN110427915A (zh) | 用于输出信息的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee after: Douyin Vision Co.,Ltd. Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee before: Tiktok vision (Beijing) Co.,Ltd. Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee after: Tiktok vision (Beijing) Co.,Ltd. Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd. |
|
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230704 Address after: 100190 1309, 13th floor, building 4, Zijin Digital Park, Haidian District, Beijing Patentee after: Beijing volcano Engine Technology Co.,Ltd. Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing. Patentee before: Douyin Vision Co.,Ltd. |