CN109542901B - 数据处理方法、装置、计算机可读存储介质及电子设备 - Google Patents
数据处理方法、装置、计算机可读存储介质及电子设备 Download PDFInfo
- Publication number
- CN109542901B CN109542901B CN201811339320.4A CN201811339320A CN109542901B CN 109542901 B CN109542901 B CN 109542901B CN 201811339320 A CN201811339320 A CN 201811339320A CN 109542901 B CN109542901 B CN 109542901B
- Authority
- CN
- China
- Prior art keywords
- metadata information
- nodes
- data
- tree structure
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种数据处理方法、装置、计算机可读存储介质及电子设备,涉及数据处理技术领域。该数据处理方法包括:获取原始数据,并根据所述原始数据获取与所述原始数据对应的元数据信息;判断所述数据库中是否存在与所述元数据信息匹配的关系树结构;若存在,则将所述关系树结构作为所述元数据信息对应的数据结构。本公开一方面提高了数据生产的效率、降低了难度;另一方面随着知识的积累,可以评估数据生产中碰到的问题是否符合知识库的规则,避免出现错误,提高了数据生产的质量。
Description
技术领域
本公开涉及数据处理技术领域,具体而言,涉及一种数据处理方法、数据处理装置、计算机可读存储介质以及电子设备。
背景技术
在医疗信息化领域,各医疗信息化公司的竞争逐渐演变的更加激烈,但是目前医疗行业内存在大量的医疗信息化厂商,行业集中度低,医疗数据比较分散。
目前,即使是同一厂商,其信息系统碎片化程度也很高,医疗信息系统在系统的整个生命周期内随着不同业务需求在各个实施单位产生数据结构的差异也越来越大。为了使得医疗数据能够在整个医疗行业通用,所以通常通过医疗数据生产的方法将原始的医疗数据转化为统一标准高质量的结构化医疗数据,且通过结构化查询语言(如:SQL)记录数据转换的过程。但是现有的数据生成过程中转换的数据无法直接作为知识库的知识,这就使得医疗数据生产的难度高、效率低,并且获得的医疗数据的质量低。
因此,本领域需要一种新的数据处理方法及装置,以解决上述问题中的一个或多个问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开实施例的目的在于提供一种数据处理方法、数据处理装置、计算机可读存储介质以及电子设备,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
根据本公开实施例的第一方面,提供了一种数据处理方法,其特征在于,包括:
获取原始数据,并根据所述原始数据获取与所述原始数据对应的元数据信息;
判断数据库中是否存在与所述元数据信息匹配的关系树结构;
若存在,则将所述关系树结构作为所述元数据信息对应的数据结构。
在本公开的示例性实施例中,判断数据库中是否存在与所述元数据信息匹配的关系树结构,包括:
深度遍历各所述关系树结构中的树节点;
根据所述树节点与所述元数据信息的匹配程度,判断所述数据库中是否存在与所述元数据信息匹配的所述关系树结构。
在本公开的示例性实施例中,所述树节点包括表节点、血缘字段节点和关系字段节点,且所述表节点通过所述关系字段节点相互连接,所述血缘字段节点与对应的所述表节点连接。
在本公开的示例性实施例中,根据所述节点与所述元数据信息的匹配程度,判断所述数据库中是否存在与所述元数据信息匹配的所述关系树结构,包括:
当所述关系树结构中的所述表节点、所述血缘字段节点和所述关系字段节点与所述元数据信息完全匹配时,将所述关系树结构作为所述数据结构。
在本公开的示例性实施例中,根据所述节点与所述元数据信息的匹配程度,判断所述数据库中是否存在与所述元数据信息匹配的所述关系树结构,包括:
当所述关系树结构中与所述表节点对应的部分所述血缘字段节点与所述元数据信息不匹配,其它节点与所述元数据信息匹配时,将不匹配的所述血缘字段节点从所述关系树结构中剪除,并将剪枝后的所述关系树结构作为所述数据结构。
在本公开的示例性实施例中,根据所述节点与所述元数据信息的匹配程度,判断所述数据库中是否存在与所述元数据信息匹配的所述关系树结构,包括:
当非根的所述表节点、与非根的所述表节点对应的全部的所述血缘字段节点、与非根的所述表节点对应的所述关系字段节点中的一个或多个与所述元数据信息不匹配,其它节点与所述元数据信息匹配时,将非根的所述表节点对应的分枝全部剪除,并将剪枝后的所述关系树结构作为所述数据结构。
在本公开的示例性实施例中,根据所述节点与所述元数据信息的匹配程度,判断所述数据库中是否存在与所述元数据信息匹配的所述关系树结构,包括:
当所述关系树结构中的所述表节点、所述血缘字段节点和所述关系字段节点与所述元数据信息完全不匹配时,通过数据处理语言处理所述元数据信息以生成所述数据结构。
根据本公开的一个方面,提供了一种数据处理装置,其特征在于,包括:
信息获取模块,用于获取原始数据,并根据所述原始数据获取与所述原始数据对应的元数据信息;
信息匹配模块,用于判断数据库中是否存在与所述元数据信息匹配的关系树结构;
结构生成模块,用于当存在与所述元数据信息匹配的所述关系树结构时,将所述关系树结构作为所述元数据信息对应的数据结构。
根据本公开的一个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的数据处理方法。
根据本公开的一个方面,提供了一种电子设备,包括:
处理器;以及
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如上所述的数据处理方法。
在本公开的一些实施例所提供的技术方案中,从数据源中抽取原始数据,根据原始数据获取对应的元数据信息;接着将元数据信息与数据库中的关系树结构进行匹配,判断是否存在匹配的关系树结构;若存在,则将匹配的关系树结构作为元数据信息对应的数据结构。本公开一方面通过数据库中的关系树结构指导数据生产,提高了数据生产的效率,帮助工程师完成简单性和重复性的工作,降低了数据生成的难度,使经验不足的工程师也能借助知识库的帮助完成数据生产工作;另一方面将原始数据以关系树结构的形式存储在数据库中以形成知识,随着知识的积累,可以评估数据生产中碰到的问题是否符合知识库的规则,避免出现错误,提高了数据生产的质量。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示意性示出了一种数据处理方法的流程示意图;
图2示意性示出了一种数据处理方法的应用场景示例图;
图3示意性示出了一种SQL语句转化为SQL关系树的结构示意图;
图4示意性示出了一种有知识库指导数据生产的流程示意图;
图5示意性示出了一种数据生产的方法示意图;
图6示意性示出了一种剪枝操作的流程示意图;
图7示意性示出了一种剪枝操作的流程示意图;
图8示意性示出了一种无知识库指导数据生产的流程示意图;
图9示意性示出了一种数据处理装置的结构示意图;
图10示意性示出了一种数据处理方法的电子设备示例框图;
图11示意性示出了一种数据处理方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本公开将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
图1示出了根据本公开的示例性实施例的数据处理方法的流程示意图。参照图1所示,该数据处理方法可以包括以下步骤:
步骤S110,获取原始数据,并根据所述原始数据获取与所述原始数据对应的元数据信息;
步骤S120,判断所述数据库中是否存在与所述元数据信息匹配的关系树结构;
步骤S130,若存在,则将所述关系树结构作为所述元数据信息对应的数据结构。
根据本示例实施例中的数据处理方法,获取原始数据及与原始数据对应的元数据信息,将元数据信息与数据库中的关系树结构进行匹配,以判断是否存在匹配的关系树结构,若存在则将匹配的关系树结构作为元数据信息对应的数据结构。本公开的数据处理方法一方面通过数据库中已有的关系树结构指导数据的生产,提高了数据生产的效率、降低了难度;另一方面随着数据库中关系树结构形成的知识的积累,可以评估数据生产中碰到的问题是否符合知识库的规则,避免出现错误,提高了数据生产的质量。
下面,以医疗数据的处理为例,根据图2示出的结构对本示例实施例中的数据处理方法进行详细的描述。
在步骤S110中,获取原始数据,并根据所述原始数据获取与所述原始数据对应的元数据信息。
在本示例实施例中,原始数据可以是服务器201或终端设备202从数据源中抽取的原始数据,由于每个行业对应的数据差异较大,那么第一数据也可以是对应不同行业的原始数据,如对于医疗行业而言,提取的原始数据就是原始医疗数据。
在本示例实施例中,获取原始数据后,可以根据原始数据获取其对应的元数据信息,元数据是描述数据本身的数据,本公开中的元数据描述了原始医疗数据和标准数据仓库的数据结构、字段属性等信息。进一步的,从数据源抽取原始数据后,可以对原始数据进行清洗,以发现并纠正原始数据中可识别的错误,如检查数据一致性、处理无效值和缺失值等,最终获得高质量的原始数据。
在步骤S120中,判断数据库中是否存在与所述元数据信息匹配的关系树结构。
在本示例实施例中,数据库可以是一个可用于存储知识的标准数据仓库,也可以是一个独立于标准数据仓库的知识库。其中,标准数据仓库可以用于存储经过结构化处理语言处理源数据而获得的标准数据,同时还可以存储数据生产过程中形成的知识,标准数据仓库中的数据存储量大,且数据结构很少变化;知识库则主要用于存放数据生产过程中形成的知识,其数据存储量小,数据结构复杂多变。数据库中存储有多个关系树结构,每个关系树结构都可以看做是一个知识。当服务器接收到原始数据及原始数据对应的元数据信息后,可以通过已有的关系树结构指导原始数据的生产,向原始数据对应的元数据信息推荐匹配的关系树结构作为数据结构,并将该数据结构存储于数据库中,用于指导后续的数据生产。数据生产的过程可以通过多种方式进行,例如通过SQL记录数据生产转化的场景。下文将以通过SQL记录数据转化为例进行说明,本公开可以采用面向对象的知识表示方式形成关系树结构,在将原始数据进行转化的过程中,SQL可以分解为表、关系字段和血缘字段三个对象,继而可以将SQL分解形成SQL关系树。相应的,形成的SQL关系树结构中存在三类节点:表节点、关系字段节点和血缘字段节点。
图3示出了SQL语句转化为SQL关系树结构的结构示意图,如图3所示,左边的SQL语句与右边的SQL关系树结构是等价的,表A、表B和表C来自原始数据对应的元数据信息,其中表A为SQL关系树结构的根节点;表B和表C为SQL关系树结构的叶节点,并且表A与表B通过关系字段1关联,表A与表C通过关系字段2关联,其中关系字段1和关系字段2也构成SQL关系树结构中的叶节点,关系字段等价于数据实体关系的一条记录,用于记录两个表的关联关系。同时通过SQL语言可以获得与表A具有引用关系的血缘字段1和血缘字段2、与表B具有引用关系的血缘字段3和血缘字段4及与表C具有引用关系的血缘字段5,在SQL关系树结构中,血缘字段1、血缘字段2、血缘字段3、血缘字段4和血缘字段5也可以作为叶节点,并与对应的表节点连接。
以医疗数据生产为例,一个完整的入院患者的信息可能需要上百个字段的信息,而该些字段的信息来自不同的管理系统,如从住院登记系统中获取患者的基本信息和入院时间等信息,从临床系统获取患者的入院诊断记录、现病史、既往史、过敏情况等信息,从检查检验系统获取患者的血型、各项检查信息等。同时由于每个医院的信息化系统都不一样,例如有的医院用0表示男性,用1表示女性;有的医院则用M表示男性,用F表示女性,为了统一数据的表示形式,就需要对医疗数据进行加工。另外为了获取患者的部分信息,如患者入院时的年龄,也需要对数据进行加工,比如通过患者的入院时间和生日获得患者入院时的年龄,等等。而上述的数据加工操作就是数据血缘关系的体现。对应图3所示的SQL关系树结构,其中的表A、表B和表C可以是来自上述一个系统或多个系统中具有关联关系的表,关系字段就是该关联关系的具体体现,同时,血缘字段1~5可以是表A、表B或表C中的数据经过加工生成另一数据的过程所对应的字段信息。
在本公开的示例性实施例中,形成SQL关系树结构后,可以将原始数据对应的元数据信息与数据库中所有的SQL关系树结构进行匹配,判断SQL关系树结构中是否存在与元数据信息匹配的关系树结构。图4示出了判断数据库中是否存在与元数据信息匹配的关系树结构的流程图,如图4所示,匹配的具体流程为:
步骤S401:深度遍历各所述关系树结构中的树节点;
在本示例实施例中,获得原始数据和对应的元数据信息后,通过对数据库中的关系树结构进行深度优先遍历,判断关系树中各树节点对应的对象是否与元数据信息匹配。深度优先遍历是利用深度优先搜索算法产生目标图的相应拓扑排序表,具体定义为:对于所有顶点均未曾访问过的图G,首先访问初始出发点v,并将其标记为已访问过;然后依次从v出发搜索v的每个邻接点w。若w未曾访问过,则以w为新的出发点继续进行深度优先遍历,直至图中所有和源点v有路径相通的顶点(亦称为从源点可达的顶点)均已被访问为止。若此时图中仍有未访问的顶点,则另选一个尚未访问的顶点作为新的源点重复上述过程,直至图中所有顶点均已被访问为止。
步骤S402:根据所述树节点与所述元数据信息的匹配程度,判断所述数据库中是否存在与所述元数据信息匹配的所述关系树结构。
在本公开的示例性实施例中,关系树结构中的树节点可能与元数据信息完全匹配、部分匹配或完全不匹配,通过确定树节点与元数据信息的匹配程度,可以判断数据库中是否存在与元数据信息匹配的关系树结构。
在步骤S130中,若存在,则将所述关系树结构作为所述元数据信息对应的数据结构。
在本公开的示例性实施例中,图5示出了知识库指导数据生产的流程示意图,如图5所示,获取原始数据B后,在数据库中查询是否存在已有的知识能够适用于数据生产,若存在可以利用的知识,如SQL A(SQL A是原始数据A通过SQL语言进行数据生产形成的),则将原始数据B与已有的知识SQL A进行匹配,如果匹配,则将匹配的SQL关系树结构作为原始数据B对应的数据结构,即SQL B,并将SQL B存储于数据库中,以完善知识库的结构,为后续的数据生产提供方便。
在本公开的示例性实施例中,在将原始数据对应的元数据信息与数据库中的关系树结构进行匹配时,可以通过关系树推理机进行匹配,以获取元数据信息对应的关系树结构。
在本公开的示例性实施例中,深度遍历数据库中所有的关系树结构,校验关系树结构的每一个树节点的属性,如果存在一关系树结构,该关系树结构中的表节点、血缘字段节点和关系字段节点与元数据信息完全匹配,那么该关系树结构即为元数据信息对应的数据结构。
进一步的,如果关系树结构中与表节点对应的部分血缘字段节点与元数据信息不匹配,而其它节点与元数据信息匹配,则可以将不匹配的血缘字段节点从关系树结构中剪除,并将剪枝后的关系树结构作为元数据信息对应的数据结构。
图6示出了一种剪枝操作的流程示意图,如图6所示,当表B与元数据信息中的表信息匹配,但是引用的血缘字段3无法匹配时,则可以将血缘字段3剪掉,将剪枝后的SQL关系树作为元数据信息对应的数据结构。
进一步的,如果非根的表节点、与非根的表节点对应的全部的血缘字段节点、与非根的表节点对应的关系字段节点中的一个或多个与元数据信息不匹配,而其它节点与元数据信息匹配,则可以将非根的表节点对应的分枝全部剪除,并将剪枝后的关系树结构作为元数据信息对应的数据结构。
图7示出了一种剪枝操作的流程示意图,如图7所示,当表B无法与元数据信息匹配、与表B对应的关系字段1无法与元数据信息匹配和/或与表B对应的血缘字段3和4无法与元数据信息匹配,则将表B对应的整个分枝剪除,并将剪枝后的SQL关系树作为元数据信息对应的数据结构。
在本公开的示例性实施例中,如果关系树结构中的所有表节点、所有血缘字段节点或所有关系字段节点与元数据信息完全不匹配,则通过数据处理语言处理元数据信息以生成元数据信息对应的数据结构。图8示出了无知识数据库指导数据生产的流程示意图,如图8所示,原始数据C通过SQL语言进行数据生产,生成SQL关系树结构后,将该SQL关系树结构存储在数据库中,并直接作为知识。
此外,在本公开的实施例中,还提供了一种数据处理装置。参照图8所示,该数据处理装置900可以包括:信息获取模块901、信息匹配模块902和结构生成模块903。具体地:
信息获取模块901,用于获取原始数据,并根据所述原始数据获取与所述原始数据对应的元数据信息;
信息匹配模块902,用于判断所述数据库中是否存在与所述元数据信息匹配的关系树结构;
结构生成模块903,用于当存在与所述元数据信息匹配的所述关系树结构时,将所述关系树结构作为所述元数据信息对应的数据结构。
由于本公开的示例实施例的数据处理装置的各个功能模块与上述数据处理方法的示例实施例的步骤对应,因此在此不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图10来描述根据本公开的这种实施方式的电子设备1000。图10显示的电子设备1000仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示,电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于:上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元1010执行,使得所述处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元1010可以执行如图1中所示的步骤S110:获取原始数据,并根据所述原始数据获取与所述原始数据对应的元数据信息;步骤S120:判断所述数据库中是否存在与所述元数据信息匹配的关系树结构;步骤S130:若存在,则将所述关系树结构作为所述元数据信息对应的数据结构。
存储单元1020可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)10201和/或高速缓存存储单元10202,还可以进一步包括只读存储单元(ROM)10203。
存储单元1020还可以包括具有一组(至少一个)程序模块10205的程序/实用工具10204,这样的程序模块10205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1030可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1000也可以与一个或多个外部设备1200(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备1000交互的设备通信,和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且,电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1000使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
参考图11所示,描述了根据本公开的实施方式的用于实现上述方法的程序产品1100,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
Claims (9)
1.一种数据处理方法,其特征在于,包括:
获取原始数据,并根据所述原始数据获取与所述原始数据对应的元数据信息;其中,所述元数据信息用于描述所述原始数据本身;
深度遍历数据库中各关系树结构中的树节点;并根据所述树节点中的表节点、血缘字段节点和关系字段节点与所述元数据信息的匹配程度,判断所述数据库中是否存在与所述元数据信息匹配的所述关系树结构;
若存在,则将所述关系树结构作为所述元数据信息对应的数据结构。
2.根据权利要求1所述的数据处理方法,其特征在于,所述表节点通过所述关系字段节点相互连接,所述血缘字段节点与对应的所述表节点连接。
3.根据权利要求2所述的数据处理方法,其特征在于,根据所述树节点中的表节点、血缘字段节点和关系字段节点与所述元数据信息的匹配程度,判断所述数据库中是否存在与所述元数据信息匹配的所述关系树结构,包括:
当所述关系树结构中的所述表节点、所述血缘字段节点和所述关系字段节点与所述元数据信息完全匹配时,将所述关系树结构作为所述数据结构。
4.根据权利要求2所述的数据处理方法,其特征在于,根据所述树节点中的表节点、血缘字段节点和关系字段节点与所述元数据信息的匹配程度,判断所述数据库中是否存在与所述元数据信息匹配的所述关系树结构,包括:
当所述关系树结构中与所述表节点对应的部分所述血缘字段节点与所述元数据信息不匹配,其它节点与所述元数据信息匹配时,将不匹配的所述血缘字段节点从所述关系树结构中剪除,并将剪枝后的所述关系树结构作为所述数据结构。
5.根据权利要求2所述的数据处理方法,其特征在于,根据所述树节点中的表节点、血缘字段节点和关系字段节点与所述元数据信息的匹配程度,判断所述数据库中是否存在与所述元数据信息匹配的所述关系树结构,包括:
当非根的所述表节点、与非根的所述表节点对应的全部的所述血缘字段节点、与非根的所述表节点对应的所述关系字段节点中的一个或多个与所述元数据信息不匹配,其它节点与所述元数据信息匹配时,将非根的所述表节点对应的分枝全部剪除,并将剪枝后的所述关系树结构作为所述数据结构。
6.根据权利要求2所述的数据处理方法,其特征在于,根据所述树节点中的表节点、血缘字段节点和关系字段节点与所述元数据信息的匹配程度,判断所述数据库中是否存在与所述元数据信息匹配的所述关系树结构,包括:
当所述关系树结构中的所述表节点、所述血缘字段节点和所述关系字段节点与所述元数据信息完全不匹配时,通过数据处理语言处理所述元数据信息以生成所述数据结构。
7.一种数据处理装置,其特征在于,包括:
信息获取模块,用于获取原始数据,并根据所述原始数据获取与所述原始数据对应的元数据信息;其中,所述元数据信息用于描述所述原始数据本身;
信息匹配模块,用于深度遍历数据库中各关系树结构中的树节点;并根据所述树节点中的表节点、血缘字段节点和关系字段节点与所述元数据信息的匹配程度,判断所述数据库中是否存在与所述元数据信息匹配的所述关系树结构;
结构生成模块,用于当存在与所述元数据信息匹配的所述关系树结构时,将所述关系树结构作为所述元数据信息对应的数据结构。
8.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据处理方法。
9.一种电子设备,其特征在于,包括:
处理器;以及
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如权利要求1至6中任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811339320.4A CN109542901B (zh) | 2018-11-12 | 2018-11-12 | 数据处理方法、装置、计算机可读存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811339320.4A CN109542901B (zh) | 2018-11-12 | 2018-11-12 | 数据处理方法、装置、计算机可读存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109542901A CN109542901A (zh) | 2019-03-29 |
CN109542901B true CN109542901B (zh) | 2020-09-18 |
Family
ID=65846686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811339320.4A Active CN109542901B (zh) | 2018-11-12 | 2018-11-12 | 数据处理方法、装置、计算机可读存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109542901B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110188113B (zh) * | 2019-05-09 | 2022-05-13 | 厦门市美亚柏科信息股份有限公司 | 一种利用复杂表达式进行数据比对的方法、装置及存储介质 |
CN110457371A (zh) * | 2019-08-13 | 2019-11-15 | 杭州有赞科技有限公司 | 数据管理方法、装置、存储介质及系统 |
CN110489628A (zh) * | 2019-08-22 | 2019-11-22 | 北大方正集团有限公司 | 数据处理方法、装置及电子设备 |
CN110704699A (zh) * | 2019-09-06 | 2020-01-17 | 中国平安财产保险股份有限公司 | 数据画像的构建方法、装置、计算机设备及存储介质 |
CN110633333A (zh) * | 2019-09-25 | 2019-12-31 | 京东数字科技控股有限公司 | 数据血缘关系的处理方法及系统、计算设备和介质 |
CN111522807B (zh) * | 2020-04-28 | 2023-05-30 | 电子科技大学 | 一种数据库错误数据修复方法 |
CN112100661B (zh) * | 2020-09-16 | 2024-03-12 | 深圳集智数字科技有限公司 | 一种数据处理方法及装置 |
CN112783857B (zh) * | 2020-12-31 | 2023-10-20 | 北京知因智慧科技有限公司 | 一种数据血缘管理方法、装置、电子设备及存储介质 |
CN112860811B (zh) * | 2021-02-05 | 2023-07-18 | 北京百度网讯科技有限公司 | 数据血缘关系的确定方法、装置、电子设备和存储介质 |
CN112860812B (zh) * | 2021-02-09 | 2023-07-11 | 北京百度网讯科技有限公司 | 在大数据中无侵入确定数据字段级关联关系的方法和装置 |
CN115994194B (zh) * | 2023-03-23 | 2023-06-02 | 河北东软软件有限公司 | 政务大数据的数据质量检查方法、系统、设备及介质 |
CN117238487B (zh) * | 2023-11-16 | 2024-02-23 | 南京志行信息科技有限公司 | 医疗大数据处理方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8438229B2 (en) * | 2007-03-07 | 2013-05-07 | True Engineering Technology, Llc | System and method of supporting constructive discourse on computers and mobile devices |
CN102591952A (zh) * | 2011-12-28 | 2012-07-18 | 用友软件股份有限公司 | 基于语义的数据查询装置和基于语义的数据查询方法 |
CN107908631B (zh) * | 2017-07-25 | 2021-04-20 | 平安科技(深圳)有限公司 | 数据处理方法、装置、存储介质和计算机设备 |
CN107895168A (zh) * | 2017-10-13 | 2018-04-10 | 平安科技(深圳)有限公司 | 数据处理的方法、数据处理的装置及计算机可读存储介质 |
CN108345659B (zh) * | 2018-01-31 | 2020-11-24 | 平安科技(深圳)有限公司 | 一种数据处理方法、装置、设备及计算机可读存储介质 |
-
2018
- 2018-11-12 CN CN201811339320.4A patent/CN109542901B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109542901A (zh) | 2019-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109542901B (zh) | 数据处理方法、装置、计算机可读存储介质及电子设备 | |
CN107818169B (zh) | 电子病历检索、存储方法及装置、存储介质、电子终端 | |
CN109524070B (zh) | 数据处理方法及装置、电子设备、存储介质 | |
CN111078729B (zh) | 医疗数据溯源方法、装置、系统、存储介质以及电子设备 | |
CN109637602B (zh) | 医疗数据存储和查询方法、装置、存储介质及电子设备 | |
JP2020501267A (ja) | 電子医療レコードからの自動的な知識ベースの特徴抽出 | |
CN109448859B (zh) | 数据处理方法及装置、电子设备、存储介质 | |
US11907213B2 (en) | Query processing method, data source registration method, and query engine | |
CN110688544A (zh) | 一种查询数据库的方法、设备及存储介质 | |
CN113672628A (zh) | 数据血缘分析方法、终端设备及介质 | |
CN111061739A (zh) | 海量医疗数据的入库方法及装置、电子设备、存储介质 | |
JP2012113706A (ja) | データベース・クエリ最適化のためのコンピュータで実装される方法、コンピュータ・プログラム、およびデータ処理システム | |
CN112287603A (zh) | 一种基于机器学习的预测模型构建方法、装置和电子设备 | |
CN112818181A (zh) | 图数据库检索方法、系统、计算机设备和存储介质 | |
CN109493928B (zh) | 基于条件树的患者数据筛选方法、系统、设备及存储介质 | |
CN113032642A (zh) | 针对目标对象的数据处理方法、装置、介质及电子设备 | |
CN112905620A (zh) | 数据查询方法及装置、电子设备、存储介质 | |
CN114253995A (zh) | 数据溯源方法、装置、设备及计算机可读存储介质 | |
CN110309214B (zh) | 一种指令执行方法及其设备、存储介质、服务器 | |
CN111125363B (zh) | 用于医疗文本数据标注的方法、装置、设备及存储介质 | |
CN109616215B (zh) | 医疗数据抽取方法、装置、存储介质及电子设备 | |
CN112507075A (zh) | 一种病例数据搜索方法、系统、设备及存储介质 | |
CN111930891A (zh) | 基于知识图谱的检索文本扩展方法及相关装置 | |
CN110716949A (zh) | 结构化查询语句自动优化方法、装置、介质及电子设备 | |
CN113343036B (zh) | 基于关键拓扑结构分析的数据血缘关系解析方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |