CN112632172A - 量体数据整合方法、装置、计算机设备和存储介质 - Google Patents

量体数据整合方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112632172A
CN112632172A CN202011621751.7A CN202011621751A CN112632172A CN 112632172 A CN112632172 A CN 112632172A CN 202011621751 A CN202011621751 A CN 202011621751A CN 112632172 A CN112632172 A CN 112632172A
Authority
CN
China
Prior art keywords
data
volume data
volume
initial
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011621751.7A
Other languages
English (en)
Other versions
CN112632172B (zh
Inventor
方琴
杨阳
朱兵兵
张小马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Beidu Technology Co ltd
Original Assignee
Hangzhou Beidu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Beidu Technology Co ltd filed Critical Hangzhou Beidu Technology Co ltd
Priority to CN202011621751.7A priority Critical patent/CN112632172B/zh
Publication of CN112632172A publication Critical patent/CN112632172A/zh
Application granted granted Critical
Publication of CN112632172B publication Critical patent/CN112632172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275Synchronous replication
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种量体数据整合方法、装置、计算机设备和存储介质,其中,该量体数据整合方法包括:获取数据同步指令;基于所述数据同步指令,获取多个源数据库中的初始量体数据,不同所述源数据库的初始量体数据至少包括数据格式不同以及数据维度不同;对所述初始量体数据进行预处理,得到第一量体数据,所述预处理至少包括:格式转换处理以及维度筛选处理;将所述第一量体数据存储至归档数据库,得到第二量体数据。通过本申请,解决了来自不同数据库的量体数据排序速度较慢的技术问题,实现了将来自多个数据库的量体数据整合至归档数据库中以实现量体数据快速排序的技术效果。

Description

量体数据整合方法、装置、计算机设备和存储介质
技术领域
本申请涉及数据处理领域,特别是涉及量体数据整合方法、装置、计算机设备和存储介质。
背景技术
随着互联网和电子商务的快速发展,服装市场环境发生了深刻的变化,以客户需求为导向的买方市场开始形成并发展,使得服装生产方式和销售方式也在逐步改变。除了对服装的功能性需求,人们对于美观、个性、定制的需求也日益增长。消费者追求个性化的服装设计,对服装合体性的要求越来越高,要求服装穿在人体上不仅使人感到舒适,还能展现和增添人体的美。基于互联网的数字经济的兴起,使得传统的服装生产模式从过去的大批量、少品种向着小批量、多品种乃至量身定制的方向转变。在服装量身定制的过程中,制作合体的服装对用户的量体数据的精度要求较高,往往通过对用户的多组量体数据进行排序并进行归号等处理,进而开展制版工作。在对量体数据进行排序的过程中,由于量体数据可能来自于多个数据库,来自不同数据库的量体数据由于数据结构不同,导致量体数据处理起来非常繁琐,排序速度较慢。
目前针对相关技术中来自不同数据库的量体数据排序速度较慢的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种量体数据整合方法、装置、计算机设备和存储介质,以至少解决相关技术中来自不同数据库的量体数据排序速度较慢的问题。
第一方面,本申请实施例提供了一种量体数据整合方法,包括:获取数据同步指令;基于所述数据同步指令,获取多个源数据库中的初始量体数据,不同所述源数据库的初始量体数据至少包括数据格式不同以及数据维度不同;对所述初始量体数据进行预处理,得到第一量体数据,所述预处理至少包括:格式转换处理以及维度筛选处理;将所述第一量体数据存储至归档数据库,得到第二量体数据。
在其中一个实施例中,所述初始量体数据至少包括:顾问量体数据、健身房量体数据、AI量体数据。
在其中一个实施例中,所述对所述初始量体数据进行预处理还包括:获取预设数据范围,所述预设数据范围至少包括:身高信息范围、体重信息范围以及腰围信息范围;根据所述预设数据范围获取所述AI量体数据中属于所述预设数据范围的数据。
在其中一个实施例中,所述对所述初始量体数据进行预处理包括:获取关键维度信息,所述关键维度信息至少包括:身高信息、体重信息以及腰围信息;根据所述关键维度信息获取所述初始量体数据中包含所述关键维度信息的数据。
在其中一个实施例中,所述将所述第一量体数据存储至归档数据库,得到第二量体数据之后包括:在所述初始量体数据对应的源数据库中创建记录日志,所述记录日志用于记录所述源数据库中的数据变更信息。
在其中一个实施例中,所述在所述初始量体数据对应的源数据库中创建记录日志之后还包括:周期性的获取数据更新指令;基于所述数据更新指令获取所述记录日志;对所述记录日志进行解析,获取所述记录日志中记录的数据变更信息;基于所述数据变更信息对所述归档数据库中的所述第二量体数据进行更新。
在其中一个实施例中,所述记录日志采用row模式逐行记录所述初始量体数据的数据变更情况。
第二方面,本申请实施例提供了一种量体数据整合装置,包括:指令获取模块:用于获取数据同步指令;数据获取模块:用于基于所述数据同步指令,获取多个数据库中的初始量体数据;预处理模块:用于对所述初始量体数据进行预处理,得到第一量体数据,所述预处理至少包括:格式转化处理以及维度筛选处理;整合模块:用于将所述第一量体数据存储至归档数据库,得到第二量体数据。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的量体数据整合方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的量体数据整合方法。
相比于相关技术,本申请实施例提供的量体数据整合方法,通过获取数据同步指令;基于所述数据同步指令,获取多个源数据库中的初始量体数据,不同所述源数据库的初始量体数据至少包括数据格式不同以及数据维度不同;对所述初始量体数据进行预处理,得到第一量体数据,所述预处理至少包括:格式转换处理以及维度筛选处理;将所述第一量体数据存储至归档数据库,得到第二量体数据,解决了来自不同数据库的量体数据排序速度较慢的技术问题,实现了将来自多个数据库的量体数据整合至归档数据库中以实现量体数据快速排序的技术效果。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的量体数据整合方法流程图;
图2是根据本申请实施例的量体数据整合装置的结构框图;
图3是根据本申请实施例的计算机设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
随着网络购物的风行,服装行业的购销模式已经发生了翻天覆地的变化。但往往用户在网络购买服装的时候,只是通过输入身高体重、胸围、腰围等部分体征数据来进行购买决策。但事实上人体的量体数据特别多,那每个人的体型都存在一定的差异。因此网购服装的退货率较高。随着服装量体定制业务和大数据统计技术的发展,从多个渠道获取用户的量体数据,再将这些量体数据进行汇总分析,从而得到适合用户服装版型,进而将该用户服装产品推荐给用户,可以极大的提高用户的购物体验。然而,由于量体数据的来源不同,导致来着各个数据库的数据结构存在很大的差异,例如:数据格式不同、数据名称不同、数据的准确度不同、数据所包含的用户信息详细程度不同等。因此,亟需一种量体数据整合方法,用以快速对来自多个数据库的量体数据进行排序和分析,从而为量体定制服务提供更准确的用户量体数据。
本实施例还提供了一种量体数据整合方法。图1是根据本申请实施例的量体数据整合方法的流程图,如图1所示,该流程包括如下步骤:
步骤S101,获取数据同步指令。
步骤S102,基于所述数据同步指令,获取多个源数据库中的初始量体数据。
具体的,初始量体数据是指,通过不同方式测量的、存储于不同的数据库中的量体数据。在进行服装定制时,想要穿衣合体,就要依靠量体数据选择衣服的尺寸,尺寸选择的正确与否,对衣着合体度有着很大的影响。量体数据包括多个维度,例如:头围、颈围、肩宽、胸围、上臂围、上臂长、腰围、腹围、大腿围、膝围、小腿围、总身长、脐高以及体重等。此外,不同数据库的数据获取方式不同,即每个源数据库对应着不同的量体数据获得渠道。例如:通过健身房的量体设备对应的健身房量体数据库与量体顾问量得的量体数据对应的顾问量体数据库为不同的两个源数据库,因为其存储的数据的来源不同。不同所述源数据库的初始量体数据至少包括数据格式不同以及数据维度不同。数据维度是指量体数据中包括的部位信息的种类。
在其中一个实施例中,所述初始量体数据至少包括:顾问量体数据、健身房量体数据、AI量体数据。具体的,顾问量体数据是指由专业的量体顾问通过线下上门服务,与用户实际接触测量到的用户的相关数据。由于量体顾问受过专业的量体培训,因此,顾问量体数据的数据准确度较高,而且相较于其他渠道获得的量体数据,顾问量体数据包含的身体部位尺寸信息也比较多。健身房量体数据是指来自健身房数据库中的用户体型数据。健身房量体数据的特点是其数据较为准确,但测量的身体部位较少,且对于身体部位的命名上可能与顾问量体尺寸有所差异。AI(Artificial Intelligence,人工智能)量体数据是指用户通过人工智能量体程序获取的自身量体数据。随着人工智能的快速发展和应用,相关技术中已经可以实现通过对用户进行扫描或对用户照片进行分析得到用户的体型数据。但是该数据的准确度相对较低。此外,量体数据还可以是用户自行填写的体型数据,量体数据也可以以其他的量体方式得到,只要是该量体数据能够反映用户的体型特征即可。
步骤S103,对所述初始量体数据进行预处理,得到第一量体数据。
所述预处理至少包括:格式转换处理以及维度筛选处理。具体的,来自不同数据库中的数据结构存在差异,该差异既包括数据格式的差异,也包括数据所包括的测量的数据维度的差异。数据维度是指量体数据中包括的部位信息的种类。例如:顾问量体数据包括身高信息、体重信息、头围信息以及腰围信息,则顾问量体数据的数据维度为4;健身房量体数据包括身高信息、体重信息以及腰围信息,则健身房量体数据的数据维度是3。基于量体数据的数据维度,保留量体数据中指定数据维度全部不为空的数据,实现量体数据的维度筛选。
在其中一个实施例中,所述对所述初始量体数据进行预处理还包括:获取预设数据范围,所述预设数据范围至少包括:身高信息范围、体重信息范围以及腰围信息范围;根据所述预设数据范围获取所述AI量体数据中属于所述预设数据范围的数据。具体的,由于AI量体的数据可能出现较大误差,因此,用户可自定义设置身高信息范围、体重信息范围以及腰围信息,若AI量体数据中的某条数据不在该范围内,则不保留该条数据。此外,用户还可对其他维度的数据信息设定范围,并基于设定范围进行筛选,本申请对此不作限定。
在其中一个实施例中,所述对所述初始量体数据进行预处理包括:获取关键维度信息,所述关键维度信息至少包括:身高信息、体重信息以及腰围信息;根据所述关键维度信息获取所述初始量体数据中包含所述关键维度信息的数据。具体的,用户可自定义设置关键维度信息,若初始量体数据中的某条数据的关键维度信息为空,则不保留该条数据。此外,用户还可将其他维度的数据信息设置为关键维度信息,并相应进行筛选,本申请对此不作限定。
在其中一个实施例中,在进行维度筛选处理之前还包括,对多个数据库中的数据进行字段处理。例如,针对单个用户的量体数据,在该用户的顾问量体数据中包括上胸围尺寸和下胸围尺寸;而在该用户的健身房量体数据中只包括该用户的胸围尺寸;在实际的应用中,健身房量体数据中的胸围尺寸和顾问量体数据中的上胸围尺寸所指的数据相同,其区别仅仅在于数据名称不同,则可通过字段处理将顾问健身房量体数据中的胸围尺寸数据对应的名称转换为上胸围尺寸。
步骤S104,将所述第一量体数据存储至归档数据库,得到第二量体数据。
具体的,初始量体数据经过预处理后全量同步至归档数据库,得到第一量体数据。全量同步即定时或周期性将全部数据从源服务器拷贝至目标服务器,在全量同步的过程中,可以直接全部覆盖,即使用“新”数据覆盖“旧数据”;也可以是通过逻辑更新,即在覆盖前进行判断,如果目标服务器中的数据与源数据库中待同步的数据新旧一致,则不覆盖,若不一致,则用“新”数据覆盖“旧”数据。优选的,可以将第一量体数据同步到elasticsearch(一个基于Lucene的搜索服务器)数据库中。elasticsearch是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。elasticsearch的实现原理为:首先用户将数据提交到elasticsearch数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据。当用户搜索数据的时候,再根据权重将结果排名,打分,再将返回结果呈现给用户。通过将初始量体数据进行预处理并存储到指定数据,将用户存储在各个数据库中的数据进行了整合,大大提高了量体数据的排序速度。
在其中一个实施例中,所述将所述第一量体数据存储至归档数据库,得到第二量体数据之后包括:在所述初始量体数据对应的源数据库中创建记录日志,所述记录日志用于记录所述源数据库中的数据变更信息。具体的,分别在初始量体数据对应的数据库中创建binlog日志,通过binlog日志记录对应的数据库中数据的增删改查信息。
在其中一个实施例中,所述在所述初始量体数据对应的源数据库中创建记录日志之后还包括:周期性的获取数据更新指令;基于所述数据更新指令获取所述记录日志;对所述记录日志进行解析,获取所述记录日志中记录的数据变更信息;基于所述数据变更信息对所述归档数据库中的所述第二量体数据进行更新。具体的,将多个数据库中的数据整合至归档数据库之后,周期性的将多个数据库中更新的数据增量同步至归档数据库中。可通过binlog日志的方式实现数据实时同步到elasticsearch数据库中。binlog日志是二进制格式的日志文件,用于记录Mysql内部对数据库的改动。该binlog日志只记录数据的修改操作,主要用于数据库的主从复制以及增量恢复。可设置更新时间,当达到更新时间时,获取binlog日志,对binlog日志进行解析,获取binlog日志中记载的数据的增删改查操作,以实现对binlog日志中的事件重放,进而对elasticsearch中对应的数据进行增删改操作。通过对多个源数据库中的数据进行,可以在归档数据库中掌握用户的体型变化情况,同时避免了每次数据更新都需要将全部数据进行导入导出,提高了数据同步效率。
在其中一个实施例中,所述记录日志采用row模式逐行记录所述初始量体数据的数据变更情况。具体的,row模式时binlog日志三种模式中的一种。在该模式下,日志中会记录成每一行数据被修改的形式,然后在slave端,即归档数据库中,再对相同的数据进行修改,只记录要修改的数据,不会有SQL多表关联的情况。采用row模式的优点在于,在row模式下,binlog日志中可以不记录执行的SQL语句的上下文相关的信息,仅仅只需要记录哪一条数据被修改了以及修改后的数据的状态,所以说row模式下的binlog日志内容会非常清楚的记录下每一行数据修改的细节,非常容易理解;而且不会出现某些特定情况下的存储过程和function函数的调用以及trigger触发器的触发无法被正确复制的问题。
在其中一个优选的实施例中,首先获取用户的初始量体数据,该初始量体数据包括:初始顾问量体数据、初始健身房量体数据以及初始AI量体数据。其中,初始顾问量体数据由专业量体师为该用户线下人工测得;初始健身房量体数据由社会中的健身房数据中调取该用户量体数据得到;初始AI量体数据由AI智能量体系统得到。然后对不同来源的原始数据进行预处理;例如,针对初始顾问量体数据、初始健身房量体数据以及初始AI量体数据,按照时间顺序对来自多个数据库中的量体数据进行排序,筛选出最近一段时间内的初始顾问量体数据、初始健身房量体数据以及初始AI量体数据;其次,针对初始AI量体数据,设置预设数据范围,保留数据的数值范围在预设数据范围中的AI量体数据。然后采用全量同步将来自三个不同数据库的初始量体数据同步到elasticsearch数据库中。例如,使用Mysqldump工具分别对初始顾问量体数据、初始健身房量体数据以及初始AI量体数据进行一次全量同步。Mysqldump是Mysql用于转存储数据库的实用程序。其主要产生一个SQL脚本,其中包含从头重新创建数据库所必需的命令等。在将三部分的初始量体数据全量同步至elasticsearch前需要将三部分的初始量体数据整合成统一的数据格式。例如,可以根据预设的标注数据格式,将三部分的初始量体数据统一为相同数据格式。其次考虑到来自不同数据库的初始量体数据的数据维度不同,需要对初始量体数据进行筛选。例如,一般情况下初始顾问量体数据和初始健身房量体数据的维度均要高于初始AI量体数据,但这三种初始量体数据均需要具体关键维度的数据,比如身高、体重和腰围等,需要筛选出同时包括这些关键维度的数据。最后,需要分别对三个数据库中的初始量体数据进行增量同步。增量同步是指将三部分初始量体数据中后续的更新、插入记录同步到elasticsearch,进行增量同步需要知道三部分数据源中后续插入和更新的数据;可通过使用binlog日志的方式实现数据实时或周期性同步到elasticsearch,例如,分别在三部分源数据库中创建binlog,通过binlog分别记录对应源数据库中数据的增删改查操作,数据增量同步时,elasticsearch先向源数据库中同步binlog,然后elasticsearch根据binlog中的记录,解析binlog日志的数据内容,以实现对binlog日志中的事件进行重放,进而实现对elasticsearch中对应数据的增删改操作。需要说明的是,在采用binlog将数据同步到elasticsearch中,考虑到后期存在用户的原始顾问量体数据、原始健身房量体数据、原始AI量体数据进行改动,因此在通过binlog将数据同步到elasticsearch中时采用row模式,row模式完整地记录了要修改的某行数据。
通过上述步骤,本申请通过对初始量体数据进行预处理,包括格式转化处理、字段处理以及关键维度筛选,将来自多个数据库中的数据进行了筛选和格式统一,将与处理后的量体数据通过全量同步至归档数据库中,解决了来自不同数据库的量体数据排序速度较慢的技术问题,实现了将来自多个数据库的量体数据整合至归档数据库中以实现量体数据快速排序的技术效果。此外,本申请还通过增量同步的方法,周期性的将多个数据库中的数据更新情况同步至归档数据库,以实现归档数据库中的数据更新。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种量体数据整合装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本申请实施例的量体数据整合装置的结构框图,如图2所示,该装置包括:
指令获取模块10:用于获取数据同步指令。
数据获取模块20:用于基于所述数据同步指令,获取多个源数据库中的初始量体数据,不同所述源数据库的初始量体数据至少包括数据格式不同以及数据维度不同。
预处理模块30:用于对所述初始量体数据进行预处理,得到第一量体数据,所述预处理至少包括:格式转换处理以及维度筛选处理。
整合模块40:用于将所述第一量体数据存储至归档数据库,得到第二量体数据。
所述数据获取模块20,还用于获取的所述初始量体数据至少包括:顾问量体数据、健身房量体数据、AI量体数据。
所述预处理模块30,还用于获取预设数据范围,所述预设数据范围至少包括:身高信息范围、体重信息范围以及腰围信息范围;根据所述预设数据范围获取所述AI量体数据中属于所述预设数据范围的数据。
所述预处理模块30,还用于获取关键维度信息,所述关键维度信息至少包括:身高信息、体重信息以及腰围信息;根据所述关键维度信息获取所述初始量体数据中包含所述关键维度信息的数据。
所述数据整合模块40,还用于在所述初始量体数据对应的源数据库中创建记录日志,所述记录日志用于记录所述源数据库中的数据变更信息。
所述数据整合模块40,还用于周期性的获取数据更新指令;基于所述数据更新指令获取所述记录日志;对所述记录日志进行解析,获取所述记录日志中记录的数据变更信息;基于所述数据变更信息对所述归档数据库中的所述第二量体数据进行更新。
所述数据整合模块40,还用于使所述记录日志采用row模式逐行记录所述初始量体数据的数据变更情况。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外,结合图1描述的本申请实施例量体数据整合方法可以由计算机设备来实现。图3为根据本申请实施例的计算机设备的硬件结构示意图。
计算机设备可以包括处理器51以及存储有计算机程序指令的存储器52。
具体地,上述处理器51可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器52可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器52可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器52可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器52可在数据处理装置的内部或外部。在特定实施例中,存储器52是非易失性(Non-Volatile)存储器。在特定实施例中,存储器52包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(RandomAccess Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory,简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory,简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-Access Memory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器52可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器51所执行的可能的计算机程序指令。
处理器51通过读取并执行存储器52中存储的计算机程序指令,以实现上述实施例中的任意一种量体数据整合方法。
在其中一些实施例中,计算机设备还可包括通信接口53和总线50。其中,如图3所示,处理器51、存储器52、通信接口53通过总线50连接并完成相互间的通信。
通信接口53用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口53还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线50包括硬件、软件或两者,将计算机设备的部件彼此耦接在一起。总线50包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线80可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(Front Side Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该计算机设备可以基于获取到的计算机程序指令,执行本申请实施例中的量体数据整合方法,从而实现结合图1描述的量体数据整合方法。
另外,结合上述实施例中的量体数据整合方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种量体数据整合方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种量体数据整合方法,其特征在于,包括:
获取数据同步指令;
基于所述数据同步指令,获取多个源数据库中的初始量体数据,不同所述源数据库的初始量体数据至少包括数据格式不同以及数据维度不同;
对所述初始量体数据进行预处理,得到第一量体数据,所述预处理至少包括:格式转换处理以及维度筛选处理;
将所述第一量体数据存储至归档数据库,得到第二量体数据。
2.根据权利要求1所述的量体数据整合方法,其特征在于,所述初始量体数据至少包括:顾问量体数据、健身房量体数据、AI量体数据。
3.根据权利要求2所述的量体数据整合方法,其特征在于,所述对所述初始量体数据进行预处理还包括:
获取预设数据范围,所述预设数据范围至少包括:身高信息范围、体重信息范围以及腰围信息范围;
根据所述预设数据范围获取所述AI量体数据中属于所述预设数据范围的数据。
4.根据权利要求1所述的量体数据整合方法,其特征在于,所述对所述初始量体数据进行预处理还包括:
获取关键维度信息,所述关键维度信息至少包括:身高信息、体重信息以及腰围信息;
根据所述关键维度信息获取所述初始量体数据中包含所述关键维度信息的数据。
5.根据权利要求1所述的量体数据整合方法,其特征在于,所述将所述第一量体数据存储至归档数据库,得到第二量体数据之后包括:
在所述初始量体数据对应的源数据库中创建记录日志,所述记录日志用于记录所述源数据库中的数据变更信息。
6.根据权利要求5所述的量体数据整合方法,其特征在于,所述在所述初始量体数据对应的源数据库中创建记录日志之后还包括:
周期性的获取数据更新指令;
基于所述数据更新指令获取所述记录日志;
对所述记录日志进行解析,获取所述记录日志中记录的数据变更信息;
基于所述数据变更信息对所述归档数据库中的所述第二量体数据进行更新。
7.根据权利要求6所述的量体数据整合方法,其特征在于,
所述记录日志采用row模式逐行记录所述初始量体数据的数据变更情况。
8.一种量体数据整合装置,其特征在于,包括:
指令获取模块:用于获取数据同步指令;
数据获取模块:用于基于所述数据同步指令,获取多个源数据库中的初始量体数据,不同所述源数据库的数据获取方式不同;
预处理模块:用于对所述初始量体数据进行预处理,得到第一量体数据,所述预处理至少包括:格式转换处理以及维度筛选处理;
整合模块:用于将所述第一量体数据存储至归档数据库,得到第二量体数据。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的量体数据整合方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至7中任一项所述的量体数据整合方法。
CN202011621751.7A 2020-12-30 2020-12-30 量体数据整合方法、装置、计算机设备和存储介质 Active CN112632172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011621751.7A CN112632172B (zh) 2020-12-30 2020-12-30 量体数据整合方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011621751.7A CN112632172B (zh) 2020-12-30 2020-12-30 量体数据整合方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112632172A true CN112632172A (zh) 2021-04-09
CN112632172B CN112632172B (zh) 2023-05-09

Family

ID=75287357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011621751.7A Active CN112632172B (zh) 2020-12-30 2020-12-30 量体数据整合方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112632172B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447083A (zh) * 2015-11-06 2016-03-30 深圳市中润四方信息技术有限公司 一种多源异构数据库数据聚散方法及系统
CN105493146A (zh) * 2013-05-13 2016-04-13 姆波特有限公司 用于实现用户独自测定身体尺寸和身材信息和在网络环境中利用此类信息的装置、框架以及方法
CN106690617A (zh) * 2015-11-17 2017-05-24 北京三件客科技有限公司 3d模型量体系统及衬衫个性化定制3d模型量体系统
CN107784078A (zh) * 2017-09-27 2018-03-09 圣凯诺服饰有限公司 一种规模化服装定制量体数据归整分析方法及分析系统
CN110955709A (zh) * 2019-11-05 2020-04-03 北京字节跳动网络技术有限公司 一种数据的处理方法、装置及电子设备
CN110990391A (zh) * 2019-12-04 2020-04-10 中山市凯能集团有限公司 多源异构数据的整合方法、系统、计算机设备及存储介质
CN111459954A (zh) * 2020-03-04 2020-07-28 深圳壹账通智能科技有限公司 分布式数据同步方法、装置、设备及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105493146A (zh) * 2013-05-13 2016-04-13 姆波特有限公司 用于实现用户独自测定身体尺寸和身材信息和在网络环境中利用此类信息的装置、框架以及方法
CN105447083A (zh) * 2015-11-06 2016-03-30 深圳市中润四方信息技术有限公司 一种多源异构数据库数据聚散方法及系统
CN106690617A (zh) * 2015-11-17 2017-05-24 北京三件客科技有限公司 3d模型量体系统及衬衫个性化定制3d模型量体系统
CN107784078A (zh) * 2017-09-27 2018-03-09 圣凯诺服饰有限公司 一种规模化服装定制量体数据归整分析方法及分析系统
CN110955709A (zh) * 2019-11-05 2020-04-03 北京字节跳动网络技术有限公司 一种数据的处理方法、装置及电子设备
CN110990391A (zh) * 2019-12-04 2020-04-10 中山市凯能集团有限公司 多源异构数据的整合方法、系统、计算机设备及存储介质
CN111459954A (zh) * 2020-03-04 2020-07-28 深圳壹账通智能科技有限公司 分布式数据同步方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任荣,王伦津: "基于数据挖掘技术的服装号型辅助决策系统研究与开发", 青岛大学学报(工程技术版) *

Also Published As

Publication number Publication date
CN112632172B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN107688618B (zh) 数据对比方法、装置、计算机设备和存储介质
JP6053131B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN109524070B (zh) 数据处理方法及装置、电子设备、存储介质
CN110222992A (zh) 一种基于受骗群体画像的网络诈骗预警方法及装置
CN111290956A (zh) 基于脑图的测试方法、装置、电子设备及存储介质
CN113220657B (zh) 数据处理方法、装置及计算机设备
CN110008309A (zh) 一种短语挖掘方法及装置
CN109871368B (zh) 数据库检测方法、装置、计算机装置及存储介质
CN111048215A (zh) 一种基于crm的医疗视频制作方法及系统
CN107480435A (zh) 一种应用于临床数据的自动搜索机器学习系统及方法
CN112417133A (zh) 排序模型的训练方法和装置
CN114168565B (zh) 业务规则模型的回溯测试方法、装置、系统及决策引擎
CN107368500A (zh) 数据抽取方法及系统
CN112632172A (zh) 量体数据整合方法、装置、计算机设备和存储介质
US8050904B2 (en) System and method for circuit symbolic timing analysis of circuit designs
CN116483344A (zh) 代码生成方法及装置、终端设备、计算机可读存储介质
CN110008352A (zh) 实体发现方法及装置
CN107943872A (zh) 图形化文件生成方法及系统
CN106155878B (zh) 用于在数据库中创建供软件测试用的测试环境的方法和装置
CN114021716A (zh) 一种模型训练的方法、系统及电子设备
CN110941719A (zh) 数据分类方法、测试方法、装置及存储介质
CN117349358B (zh) 基于分布式图处理框架的数据匹配与合并的方法和系统
CN111198893A (zh) 一种数据更新方法、装置、可读介质及电子设备
Nayrolles Mastering Apache Solr: A practical guide to get to grips with Apache Solr
CN109739835A (zh) 一种数据版本保存方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant