CN110534170A - 数据处理方法、装置、电子设备及计算机可读存储介质 - Google Patents
数据处理方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110534170A CN110534170A CN201910822450.1A CN201910822450A CN110534170A CN 110534170 A CN110534170 A CN 110534170A CN 201910822450 A CN201910822450 A CN 201910822450A CN 110534170 A CN110534170 A CN 110534170A
- Authority
- CN
- China
- Prior art keywords
- phrase
- pathology
- word
- text
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Machine Translation (AREA)
Abstract
本申请提供了一种数据处理方法、装置、电子设备及计算机可读存储介质,其中,该数据处理方法包括:将待处理病理文本进行切词处理,以得到病理词组;对所述病理词组中的各个病理词进行识别,确定出标志词;根据所述标志词对所述病理词组进行分组,得到至少一组信息词组;对所述至少一组信息词组进行关键信息提取,并以提取的关键信息词组合成病理结构数据。
Description
技术领域
本申请涉及数据处理领域,具体而言,涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。
背景技术
目前,病理报告通常为包含各类信息的文本数据,文本数据形式的病理报告可能会导致计算机分析及处理时的效率变低。
发明内容
有鉴于此,本申请实施例的目的在于提供一种数据处理方法、装置、电子设备及计算机可读存储介质。能够提取出结构化的病理结构数据,可以提高对病理数据分析的效率。
第一方面,本申请实施例提供了一种数据处理方法,包括:
将待处理病理文本进行切词处理,以得到病理词组;
对所述病理词组中的各个病理词进行识别,确定出标志词;
根据所述标志词对所述病理词组进行分组,得到至少一组信息词组;
对所述至少一组信息词组进行关键信息提取,并以提取的关键信息词组合成病理结构数据。
由于现有的病理报告通常为非结构化的文本,不利于计算机直接分析及处理,但是本申请实施例提供的数据处理方法通过对待处理病理文本的多轮处理,可以得到病理结构数据。基于此病理结构数据,可以方便存储病理数据,提高相关人员或计算机对病人数据的后续处理或分析的效率。
结合第一方面,本申请实施例提供了第一方面的第一种可能的实施方式,其中:在将待处理病理文本进行切词处理,以得到病理词组的步骤之前,所述方法还包括:
获取原始病理文本;
对所述原始病理文本进行预处理,得到所述待处理病理文本。
本申请实施例提供的数据处理方法,还可以先对病理原始文本进行预处理,从而可以有助于后续切词处理的效率。
结合第一方面的第一种可能的实施方式,本申请实施例提供了第一方面的第二种可能的实施方式,其中:所述对所述原始病理文本进行预处理,得到所述待处理病理文本的步骤,包括:
a.将所述原始病理文本中第一类限定字符转换成指定类字符,所述第一类限定字符串表示病理特殊字符;或/及,
b.将所述原始病理文本中第二类限定字符删除,所述第二类限定字符表示不具有病理含义或不具有病人特征上的含义的词;或/及,
c.将所述原始病理文本中关联字符串使用标识进行标记,所述标识用于记录不可被切词的字符串;
将经过步骤a、b、c中至少一种的处理方式进行预处理后的文本确定为所述待处理病理文本。
本申请实施例提供的数据处理方法,还可以针对病理报告中特有的字符、不可拆分的字符串、以及无意义词的处理,能够使后续针对待处理病理文本的切词处理得到的切词结果更加准确。
结合第一方面的,本申请实施例提供了第一方面的第三种可能的实施方式,其中,所述将待处理病理文本进行切词处理,以得到病理词组的步骤,包括:
基于第一指定词库对所述待处理病理文本进行切词操作,得到第一拆分词组,所述第一指定词库包括jieba词库;
基于第二指定词库对所述第一拆分词组进行词拆分或/及词重组操作,以对所述第一拆分词组进行纠错,得到病理词组,所述第二指定词库中包括病理常用词组、病理常用错词组中的至少一组词组。
本申请实施例提供的数据处理方法,可以先基于基础的切词操作实现第一级的处理,再对第一拆分词组进行词拆分或/及词重组操作实现第二级的处理,可以使切词得到病理词组能够相对更准确地表达出待处理病理文本所包含的词。
结合第一方面,本申请实施例提供了第一方面的第四种可能的实施方式,其中:所述将待处理病理文本进行切词处理,以得到病理词组的步骤,包括:
基于第一指定词库对所述待处理病理文本进行切词操作,得到第一拆分词组,所述第一指定词库包括jieba词库;
将所述第一拆分词组中的词与第三指定词库进行对比,确定出所述第一拆分词组中的非标准字符串,所述第三指定词库中包括标准字符串及与该标准字符串对应的非标准字符串;
将所述第一拆分词组中的非标准字符串转换成所述第三指定词库的对应的标准字符串,以得到病理词组。
本申请实施例提供的数据处理方法,可以先基于基础的切词操作实现第一级的处理,再对第一拆分词组中非标准字符串进行转换实现第二级的处理,可以使切词得到病理词组能够相对更准确地表达出待处理病理文本所包含的词。
结合第一方面,本申请实施例提供了第一方面的第五种可能的实施方式,其中:所述对所述病理词组中的各个病理词进行识别,确定出标志词的步骤,包括:
将所述病理词组中的各个病理词与第四指定词库进行对比,以确定出所述病理词组中的标志词,所述第四指定词库中包括部位词组、样本词组中的至少一组词组。
本申请实施例提供的数据处理方法,还可以通过预先设定的第四指定词库进行比对,将可能得到部位词或样本词作为标志词,从而可以更清楚地表示待处理病理文本中所需要表达的信息。
结合第一方面,本申请实施例提供了第一方面的第六种可能的实施方式,其中:所述对所述至少一组信息词组进行关键信息提取,并以提取的关键信息词组合成病理结构数据的步骤,包括:
识别所述至少一组信息词组中与所述标志词关联的关键词,所述关键词用于表示所述标志词的一个属性;
从所述至少一组信息词中提取表示所述关键词对应状态的价值词;
将所述关键词及与所述关键词对应的价值词形成关键信息词组,所述关键信息词组作为病理结构数据。
本申请实施例提供的数据处理方法,对标志词相关的词进行识别,确定出所述标志词对应的价值词,基于价值词及标志词组成的病理结构数据可以相对更好地表示出待处理病理文本中的信息。
第二方面,本申请实施例还提供一种数据处理装置,包括:
切词模块,用于将待处理病理文本进行切词处理,以得到病理词组;
识别模块,用于对所述病理词组中的各个病理词进行识别,确定出标志词;
分组模块,用于根据所述标志词对所述病理词组进行分组,得到至少一组信息词组;
提取模块,用于对所述至少一组信息词组进行关键信息提取,并以提取的关键信息词组合成病理结构数据。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面的任一种可能的实施方式中的方法的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面的任一种可能的实施方式中的方法的步骤。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的方框示意图。
图2为本申请实施例提供的数据处理方法的流程图。
图3为本申请另一实施例提供的数据处理方法的流程图。
图4为本申请实施例提供的数据处理装置的功能模块示意图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
现有的病理报告通常为非结构化的文本,不利于计算机直接分析及处理。因此,发明人就病理报告进行研究。提出可以将病理报告结构化,而病理报告结构化可以使用信息抽取技术提取病理报告中的信息。基于上述研究,本申请实施例提供的数据处理方法,实现将病理报告转化成结构化的数据。
实施例一
为便于对本实施例进行理解,首先对执行本申请实施例所公开的数据处理方法的电子设备进行详细介绍。
如图1所示,是电子设备的方框示意图。电子设备100可以包括存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、显示单元116。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对电子设备100的结构造成限定。例如,电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
上述的存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115及显示单元116各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器113用于执行存储器中存储的可执行模块。
其中,存储器111可以是,但不限于,随机存取存储器(Random Access Memory,简称RAM),只读存储器(Read Only Memory,简称ROM),可编程只读存储器(ProgrammableRead-Only Memory,简称PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,简称EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,简称EEPROM)等。其中,存储器111用于存储程序,所述处理器113在接收到执行指令后,执行所述程序,本申请实施例任一实施例揭示的过程定义的电子设备100所执行的方法可以应用于处理器113中,或者由处理器113实现。
上述的处理器113可能是一种集成电路芯片,具有信号的处理能力。上述的处理器113可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(digital signalprocessor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述的外设接口114将各种输入/输出装置耦合至处理器113以及存储器111。在一些实施例中,外设接口114,处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
上述的输入输出单元115用于提供给用户输入数据。所述输入输出单元115可以是,但不限于,鼠标和键盘等。
上述的显示单元在电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,所述显示单元可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器进行计算和处理。
本实施例中的电子设备100可以用于执行本申请实施例提供的各个方法中的各个步骤。下面通过几个实施例详细描述数据处理方法的实现过程。
实施例二
请参阅图2,是本申请实施例提供的数据处理方法的流程图。下面将对图2所示的具体流程进行详细阐述。
步骤202,将待处理病理文本进行切词处理,以得到病理词组。
可选地,在分词之前可以先对待处理病理文本进行停用词的删除。
由于在医生在撰写病理文本过程中,可能会在数字和符号之间出现一些空格、的、可等停用词。可以先对停用词进行删除,再进行切词等一系列操作。
在一种实施方式中,步骤202可以包括:基于第一指定词库对所述待处理病理文本进行切词操作,得到第一拆分词组。
可选地,第一指定词库包括jieba词库。
示例性地,还可以针对病理领域所需的特殊词对jieba词库进行扩充。在一个实例中,可以将病理文本中的常用字符加入jieba词库中。例如,可以将“βα][”等病理报告中常用的字符集加入jieba词库。
可以知道的是,第一指定词库可以根据具体使用场景的不同而有所区别。具体可以依据每个医院或个人书写的特殊情况进行适应性调整jieba词库中的词。
在一种实施方式中,步骤202还可以包括:基于第二指定词库对所述第一拆分词组进行词拆分或/及词重组操作,以对所述第一拆分词组进行纠错,得到病理词组。
第二指定词库中包括病理常用词组、病理常用错词组中的至少一组词组。
若第一拆分词组中包括病理常用错词,针对第一拆分词组中的病理常用错词,按照第二指定词库中与该第二指定词库对应的正确的表达方式进行纠错,以得到正确的词组。
其中,常用错词可以包括将多个词合并为一个词而形成的错词、还可以包括将不应该被分开的词拆分成多个词而形成的错词。
示例性地,将多个词合并为一个词而形成的错词可以按照第二指定词库中的标准表达方式进行拆分。
可选地,上述的第二指定词库中可以有针对将多个词合并为一个词而形成的错词的拆分子词库。该拆分子词库中可以包括多个词合并为一个词而形成的错词、以及该错词对应的多个正确的词。
示例性地,可以将第一拆分词组中的词与拆分子词库中提供的“多个词合并为一个词而形成的错词”进行匹配,如果匹配成功,则将匹配成功的错词修改为拆分子词库中与该错词对应的多个正确的词。
示例性地,不应该被分开的词可以包括表示大小维度的词、个数维度的词、百分数类、淋巴结检测与侵犯个数的词等。例如,一表示大小维度的词“3.5×3×1.8CM”被拆分为“3.5”,“×”,“3”,“×”,“1.8”,“CM”六个字符串。再例如,一表示个数维度的词“2个”被拆分为“2”,“个”。再例如,一表示百分数范围的词“20%-50%”被拆分为“20%”,“-”,“50%”。再例如,一表示淋巴结检测与侵犯个数的词“0/1”被拆分为“0”,“/”,“1”。
针对不应该被分开的词可以将拆分后的多个字符串进行合并。
许多词是在切词过程中通过自动计算被切分的,可能会有错误。另外由于修改了jieba的切词模式,许多符号可能被切到一起,则需要结合第三指定词库进行修正。
在一种实施方式中,步骤202可以包括:将所述第一拆分词组中的词与第三指定词库进行对比,确定出所述第一拆分词组中的非标准字符串,将所述第一拆分词组中的非标准字符串转换成所述第三指定词库的对应的标准字符串,以得到病理词组。
其中,第三指定词库中包括标准字符串及与该标准字符串对应的非标准字符串。
示例性地,标准字符串可以包括医学上的常用的字符。例如,非标准字符串“#:”,对应的标准字符串可以是“#”和“:”。再例如,非标准字符串“肝被摸”对应的标准字符串可以是“肝被膜”。再例如,非标准字符串“内未见”对应的标准字符串可以是“内”,“未见”。再例如,非标准字符串“肝细胞癌”对应的标准字符串可以是“肝细胞肝癌”。再例如,非标准字符串“肝部分S5”对应的标准字符串可以是“肝S5段”。
由于书写习惯问题可能会导致对同一概念的用词不同。再例如,常用词的差异、以及输入法的记忆等情况可能会导致待处理病理文本中可能会出现错别字,故切词模块将各种概念的不同描述统一化,并纠正一些错别写法,为后续结构化处理提供基础。
步骤204,对所述病理词组中的各个病理词进行识别,确定出标志词。
在一实施方式中,步骤204可以包括:将所述病理词组中的各个病理词与第四指定词库进行对比,以确定出所述病理词组中的标志词。
第四指定词库中包括部位词组、样本词组中的至少一组词组。
上述的部位词组可以包括医学领域中可能用到的人体部位的名词。
通过对病理词组中的各个病理词进行识别,确定出病理词组中可能表达部位或样本的病理词。可选地,可以对识别为部位词或样本词进行标记,并记录识别为部位词或样本词的在病理词组中的位置。
可选地,还可以根据病理词组中的各个病理的临近的各个病理词进行推理,以确定该病理词是否为部位词或样本词。
示例性地,可以以多组训练词组对一神经网络模型进行训练得到一部位词或样本词的训练模型。其中,训练词组中包括部位词或样本词,并标记训练词组中的部位词或样本词。
其中,部位词可以包括:左肺上叶、右肺上叶等。样本词可以包括:免疫组化、病理类型、组织学亚型等。
步骤206,根据所述标志词对所述病理词组进行分组,得到至少一组信息词组。
示例性地,针对其中一标志词对病理词组进行划分方式可以是:将该标志词的病理词划分成一组。
可选地,还可以将分组得到的多组信息词组按照分段模式进行分段。示例性地,每一组信息词组被置放在同一段落中。
步骤208,对所述至少一组信息词组进行关键信息提取,并以提取的关键信息词组合成病理结构数据。
在一种实施方式中,步骤208可以包括:识别所述至少一组信息词组中与所述标志词关联的关键词;从所述至少一组信息词中提取表示所述关键词对应状态的价值词;将关键词及与该关键词对应的价值词形成关键信息词组,并将该关键信息词组作为病理结构数据。
每一关键词用于表示该关键词对应的标志词的一个属性。
示例性地,可以先对至少一组信息词组中的标志词和关键信息进行标记提取。
可选地,可以对至少一组信息词组中的关键词进行识别。其中,该关键词用于表示标志词的一个属性。
例如,标志词为“右肺上叶”对应的关键词可以是:病理类型、组织学亚型、免疫组化、脏层胸膜侵犯、肿瘤最大径、支气管断端信息、淋巴结信息等。
可选地,步骤208也可以基于一指定数据库进行识别,该指定数据库中包括多个标志词,以及该标志词对应的关键词。
示例性地,可以先就信息词组中的关键词进行识别,在识别到关键词后,可以在信息词组中该关键词周边的词进行识别,以确定出该关键词对应的价值词。
示例性地,上述的信息词组中的关键词进行识别可以被实施为:将信息词组与关键词典或正则模式匹配切词列表中的各个词进行匹配,以识别出信息词组中的关键词。示例性地,可以再根据识别出的关键词在信息词组中的上下环境中确定出该关键词对应的价值词。
在另一种实施方式中,步骤208可以包括:将信息词组与价值词典或正则模式匹配切词列表中的各个词进行匹配,以识别出信息词组中的价值词,根据该价值词确定出与该价值词匹配的关键词,从而形成包含价值词和关键词的关键信息。
关键词可以包括:疾病类型、(ck,+)等,与关键词对应的价值词可以包括:肺鳞癌、(cd,+)等。其中,(疾病类型,肺鳞癌)可以形成一组关键信息,((ck,+),(cd,+))可以形成一组关键信息。
在另一种实施方式中,也可以不对待处理病理文本中的部位进行识别分段等。步骤208也可以包括:对病理词组进行识别,以确定出关键信息。
示例性地,对病理词组进行识别,以确定出关键信息的步骤包括:
词标记:识别病理词组中的词进行识别,确定出病理词组中的词所属词典,若病理词组中的词属于关键词典中,则标记第一标记;若病理词组中的词属于价值词典中,则标记第二标记;若病理词组中的词不属于关键词典且不属于价值词典中,则标记第三标记,以得到标记词组;
示例性地,上述的第一标记可以是“K”,第二标记可以是“V”,第三标记可以是“O”。进一步地,还可以对病理词组中的部分词进行合并,以作为对照词组。
前文推理关键词:遍历标记词组中标记为第一标记的词,提取该第一标记词的前指定数量的词进行推理识别,若推理确定该词为非关键词,则将第一标记更改为第三标记;
后文推理关键词:遍历标记词组中标记为第一标记的词,提取该第一标记词的后指定数量的词进行推理识别,若推理确定该词为非关键词,则将第一标记更改为第三标记;
前文推理价值词:遍历标记词组中标记为第二标记的词,提取该第二标记词的前指定数量的词进行推理识别,若推理确定该词为非价值词,则将第二标记更改为第三标记;
遍历key值,提取该key值后边h个词,结合value字典匹配,如果匹配成功则把匹配成功的词的标记’O’改为标记’V’;
后文推理价值词:遍历标记词组中标记为第二标记的词,提取该第二标记词的后指定数量的词进行推理识别,若推理确定该词为非价值词,则将第二标记更改为第三标记;
得到病理结构数据:将标记的词按照(关键词,价值词)填充,以得到病理结构数据。
示例性地,可以将提取的病理结构数据进行保存。其中,保存位置可以根据不同的业务场景或者需求保存到不同的数据文件中,例如数据库、json(JavaScript ObjectNotation,中文称:JS对象简谱)、csv(Comma-Separated Values,中文称:字符分隔值)等通用的数据格式。
由于现有的病理报告通常为非结构化的文本,不利于计算机直接分析及处理,但是本申请实施例提供的数据处理方法通过对待处理病理文本的多轮处理,可以得到病理结构数据。基于此病理结构数据,可以方便存储病理数据,提高相关人员或计算机对病人数据的后续处理或分析的效率。
本实施例中,在步骤202之前,如图3所示,数据处理方法还可以包括:步骤201,获取原始病理文本,并对所述原始病理文本进行预处理,得到所述待处理病理文本。
可选地,根据不同的业务场景从不同的路径中获取需要结构化处理的原始病理文本。
示例性地,执行本实施例提供的方法的电子设备可以与一数据库对接,以获取数据库中的原始病理文本。其中,原始病理文本可以是txt文本、json文本、xls文本、csv文本以及其他数据格式的存储文件。
可选地,步骤201可以包括以下多种实现方式。
在第一种实施方式中,将所述原始病理文本中第一类限定字符转换成指定类字符。
第一类限定字符串表示病理特殊字符。
示例性地,病理特殊字符可以包括:全角字符、特殊数字,例如:“肝脏标本①见脉管癌栓”中的“①”等。
示例性地,可以将全角字符转换为半角字符。例如,将“KI—67(+)”转换为“KI—67(+)”。示例性地,可以将特殊数据“①”转换成常用数字,例如,将“肝脏标本①见脉管癌栓”转换为“肝脏标本1见脉管癌栓”。
在第二种实施方式中,将所述原始病理文本中第二类限定字符删除。
其中,第二类限定字符表示不具有病理含义或不具有病人特征上的含义的词。
例如,不具有病理含义或不具有病人特征上的含义的词可以包括:“×累及脉管数量累犯脉管最远距离(MM)悬浮癌细胞≤50个/>50个门脉分支(包括肿瘤包膜)肝静脉分支肝动脉分支淋巴管”、“该检测只对本次实验负责”等。
再例如,不具有病理含义或不具有病人特征上的含义的词可以包括:“请进一步左面组化确认(某某医院7楼203室)”、“该病人家族有人遗传病历史”等。
在第三种实施方式中,将所述原始病理文本中关联字符串使用标识进行标记,所述标识用于记录不可被切词的字符串。
示例性地,样本号和蜡块号应该被当作一个整体,因此,样本号和蜡块号可以标记。在连续的数字与字母可以使用标识进行标记。
带有该标记的词在切词时,将不会被切开。例如:可以将数字与字母组合“2015-N2169”进行标记;再例如:数字与字母组合“15S04612-003”也可以进行标记。
可选地,步骤201可以包括上述的三种实施方式中至少一种的处理方式,则可以得到待处理病理文本。
示例性地,上述的各个指定数据库可以被存储在一公共存储空间,通过登录具有权限的账号可以访问该公共存储空间。在需要对上述的各个指定数据库进行更新时,可以通过账号访问上述的公共存储空间,以获取当前最新的指定数据库,对当前最新的指定数据库进行写入、更改、删除等操作。
下面通过一个实例描述本申请实施例提供的数据处理方法的总流程。
首先,原始病理文本表示为:
(右肺上叶)切除:
-腺癌,可见乳头状(85%)及腺泡状(15%)结构,大小2×1.5×1.2cm;
-未见脉管癌栓及神经侵犯;
-癌组织累及脏层胸膜(弹力ELASTIC染色证实);
-支气管断端及血管断端未见癌;
-淋巴结未见癌转移(支气管旁0/2,4R组0/1,第7组0/1,第10组0/6,第11组0/7,第12组0/2);
-肿瘤病理分期:pT2aN0
-------------------------------------------
免疫组化结果显示:
EGFR(19)(1+),EGFR(21)(0),HER2(1+),Ki-67(10%+)ROS-1(-)。
经过步骤201的预处理可以得到待处理病理文本,表示为:
(右上肺)切除:\n-腺癌,可见乳头状(85%)及腺泡状(15%)结构,大小2×1.5×1.2CM;\n-未见脉管癌栓及神经侵犯;\n-癌组织累及脏层胸膜(弹力ELASTIC染色证实);\n-支气管断端及血管断端未见癌;\n-淋巴结未见癌转移(支气管旁淋巴结0/2,第4R组0/1,第7组0/1,第10组0/6,第11组0/7,第12组0/2);\n-肿瘤病理分期:PT2AN0\n免疫组化结果显示:EGFR[19](1+),EGFR[21](0阴性),HER2(1+),KI-67(10%+),ROS-1(-);
经过步骤202的切词处理后得到病理词组,表示为:
['(','右肺上叶',')','切除',':','\n','-','腺癌',',','可见','乳头状','(','85%',')','及','腺泡状','(','15%',')','结构',',','大小','2×1.5×1.2CM',';','\n','-','未见','脉管癌栓','及','神经侵犯',';','\n','-','癌组织','累及','脏层胸膜','(','弹力','ELASTIC','染色','证实',')',';','\n','-','支气管断端','及','血管','断端','未见','癌',';','\n','-','淋巴结','未见','癌','转移','(','支气管旁淋巴结','0/2',',','第4R组','0/1',',','第7组','0/1',',','第10组','0/6',',','第11组','0/7',',','第12组','0/2',')',';','\n','-','肿瘤','病理分期',':','PT2AN0','\n','免疫组化','结果显示',':','EGFR[19]','(','1+',')',',','EGFR[21]','(','0阴性',')',',','HER2','(','1+',')',',','KI-67','(','10%','+',')','ROS-1','(','-',')',';']
经过步骤204的标志词的确定,确定的标志词表示为:
{1:'右肺上叶'}
经过步骤206的段落划分可以得到至少一组信息词组,可表示为:
{'右肺上叶':['(','右肺上叶',')','切除',':','\n','-','腺癌',',','可见','乳头状','(','85%',')','及','腺泡状','(','15%',')','结构',',','大小','2×1.5×1.2CM',';','\n','-','未见','脉管癌栓','及','神经侵犯',';','\n','-','癌组织','累及','脏层胸膜','(','弹力','ELASTIC','染色','证实',')',';','\n','-','支气管断端','及','血管','断端','未见','癌',';','\n','-','淋巴结','未见','癌','转移','(','支气管旁淋巴结','0/2',',','第4R组','0/1',',','第7组','0/1',',','第10组','0/6',',','第11组','0/7',',','第12组','0/2',')',';','\n','-','肿瘤','病理分期',':','PT2AN0','\n','免疫组化','结果显示',':','EGFR[19]','(','1+',')',',','EGFR[21]','(','0阴性',')',',','HER2','(','1+',')',',','KI-67','(','10%','+',')','ROS-1','(','-',')',';']}
经过步骤208的信息提取,可以得到病理结构数据,表示为:
{'病理类型':[('右肺上叶','肺腺癌')]}
{'组织学亚型':[('右肺上叶','乳头型,腺泡样')]}
{'免疫组化':{'右肺上叶':{'未知':{'EGFR-19':'+','EGFR[21]':'0','HER2':'+','KI-67':'10%+','ROS1':'-'}}}}
{'脏层胸膜侵犯':[('右肺上叶','可见')]}
{'肿瘤最大径':[('右肺上叶','2')]}
{'支气管断端信息':'未见癌'}
{'淋巴结信息':[('支气管旁淋巴结','0/2'),('4R组','0/1'),('第7组','0/1'),('第10组','0/6'),('第11组','0/7'),('第12组','0/2')]}
{'分子检测':[]}。
上面描述的仅仅是一个实例中得到的结果,在实际使用时,可能由提供的原始病理文本的不同,导致信息提取的病理结构数据也就不同。
实施例三
基于同一申请构思,本申请实施例中还提供了与数据处理方法对应的数据处理装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述数据处理方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
请参阅图4,是本申请实施例提供的数据处理装置的功能模块示意图。本实施例中的数据处理装置中的各个模块用于执行上述方法实施例中的各个步骤。数据处理装置包括切词模块301、识别模块302、分组模块303以及提取模块304;其中,
切词模块301,用于将待处理病理文本进行切词处理,以得到病理词组;
识别模块302,用于对所述病理词组中的各个病理词进行识别,确定出标志词;
分组模块303,用于根据所述标志词对所述病理词组进行分组,得到至少一组信息词组;
提取模块304,用于对所述至少一组信息词组进行关键信息提取,并以提取的关键信息词组合成病理结构数据。
一种可能的实施方式中,本申请实施例提供的数据处理装置还可以包括:预处理模块305,用于:
获取原始病理文本;
对所述原始病理文本进行预处理,得到所述待处理病理文本。
一种可能的实施方式中,预处理模块,还用于:
a.将所述原始病理文本中第一类限定字符转换成指定类字符,所述第一类限定字符串表示病理特殊字符;或/及,
b.将所述原始病理文本中第二类限定字符删除,所述第二类限定字符表示不具有病理含义或不具有病人特征上的含义的词;或/及,
c.将所述原始病理文本中关联字符串使用标识进行标记,所述标识用于记录不可被切词的字符串;
将经过上述的a、b、c中至少一种的处理方式进行预处理后的文本确定为所述待处理病理文本。
一种可能的实施方式中,切词模块301,还用于:
基于第一指定词库对所述待处理病理文本进行切词操作,得到第一拆分词组,所述第一指定词库包括jieba词库;
基于第二指定词库对所述第一拆分词组进行词拆分或/及词重组操作,以对所述第一拆分词组进行纠错,得到病理词组,所述第二指定词库中包括病理常用词组、病理常用错词组中的至少一组词组。
一种可能的实施方式中,切词模块301,还用于:
基于第一指定词库对所述待处理病理文本进行切词操作,得到第一拆分词组,所述第一指定词库包括jieba词库;
将所述第一拆分词组中的词与第三指定词库进行对比,确定出所述第一拆分词组中的非标准字符串,所述第三指定词库中包括标准字符串及与该标准字符串对应的非标准字符串;
将所述第一拆分词组中的非标准字符串转换成所述第三指定词库的对应的标准字符串,以得到病理词组。
一种可能的实施方式中,识别模块302,还用于:
将所述病理词组中的各个病理词与第四指定词库进行对比,以确定出所述病理词组中的标志词,所述第四指定词库中包括部位词组、样本词组中的至少一组词组。
一种可能的实施方式中,提取模块304,还用于:
识别所述至少一组信息词组中与所述标志词关联的关键词,所述关键词用于表示所述标志词的一个属性;
从所述至少一组信息词中提取表示所述关键词对应状态的价值词;
将所述关键词及与所述关键词对应的价值词形成关键信息词组,所述关键信息词组作为病理结构数据。
此外,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的数据处理方法的步骤。
本申请实施例所提供的数据处理方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的数据处理方法的步骤,具体可参见上述方法实施例,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
将待处理病理文本进行切词处理,以得到病理词组;
对所述病理词组中的各个病理词进行识别,确定出标志词;
根据所述标志词对所述病理词组进行分组,得到至少一组信息词组;
对所述至少一组信息词组进行关键信息提取,并以提取的关键信息词组合成病理结构数据。
2.根据权利要求1所述的方法,其特征在于,在将待处理病理文本进行切词处理,以得到病理词组的步骤之前,所述方法还包括:
获取原始病理文本;
对所述原始病理文本进行预处理,得到所述待处理病理文本。
3.根据权利要求2所述的方法,其特征在于,所述对所述原始病理文本进行预处理,得到所述待处理病理文本的步骤,包括:
a.将所述原始病理文本中第一类限定字符转换成指定类字符,所述第一类限定字符串表示病理特殊字符;或/及,
b.将所述原始病理文本中第二类限定字符删除,所述第二类限定字符表示不具有病理含义或不具有病人特征上的含义的词;或/及,
c.将所述原始病理文本中关联字符串使用标识进行标记,所述标识用于记录不可被切词的字符串;
将经过步骤a、b、c中至少一种的处理方式进行预处理后的文本确定为所述待处理病理文本。
4.根据权利要求1所述的方法,其特征在于,所述将待处理病理文本进行切词处理,以得到病理词组的步骤,包括:
基于第一指定词库对所述待处理病理文本进行切词操作,得到第一拆分词组,所述第一指定词库包括jieba词库;
基于第二指定词库对所述第一拆分词组进行词拆分或/及词重组操作,以对所述第一拆分词组进行纠错,得到病理词组,所述第二指定词库中包括病理常用词组、病理常用错词组中的至少一组词组。
5.根据权利要求1所述的方法,其特征在于,所述将待处理病理文本进行切词处理,以得到病理词组的步骤,包括:
基于第一指定词库对所述待处理病理文本进行切词操作,得到第一拆分词组,所述第一指定词库包括jieba词库;
将所述第一拆分词组中的词与第三指定词库进行对比,确定出所述第一拆分词组中的非标准字符串,所述第三指定词库中包括标准字符串及与该标准字符串对应的非标准字符串;
将所述第一拆分词组中的非标准字符串转换成所述第三指定词库的对应的标准字符串,以得到病理词组。
6.根据权利要求1所述的方法,其特征在于,所述对所述病理词组中的各个病理词进行识别,确定出标志词的步骤,包括:
将所述病理词组中的各个病理词与第四指定词库进行对比,以确定出所述病理词组中的标志词,所述第四指定词库中包括部位词组、样本词组中的至少一组词组。
7.根据权利要求1所述的方法,其特征在于,所述对所述至少一组信息词组进行关键信息提取,并以提取的关键信息词组合成病理结构数据的步骤,包括:
识别所述至少一组信息词组中与所述标志词关联的关键词,所述关键词用于表示所述标志词的一个属性;
从所述至少一组信息词中提取表示所述关键词对应状态的价值词;
将所述关键词及与所述关键词对应的价值词形成关键信息词组,所述关键信息词组作为病理结构数据。
8.一种数据处理装置,其特征在于,包括:
切词模块,用于将待处理病理文本进行切词处理,以得到病理词组;
识别模块,用于对所述病理词组中的各个病理词进行识别,确定出标志词;
分组模块,用于根据所述标志词对所述病理词组进行分组,得到至少一组信息词组;
提取模块,用于对所述至少一组信息词组进行关键信息提取,并以提取的关键信息词组合成病理结构数据。
9.一种电子设备,其特征在于,包括:处理器、存储器,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910822450.1A CN110534170A (zh) | 2019-08-30 | 2019-08-30 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910822450.1A CN110534170A (zh) | 2019-08-30 | 2019-08-30 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110534170A true CN110534170A (zh) | 2019-12-03 |
Family
ID=68666105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910822450.1A Pending CN110534170A (zh) | 2019-08-30 | 2019-08-30 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110534170A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111696640A (zh) * | 2020-06-12 | 2020-09-22 | 上海联影医疗科技有限公司 | 自动获取病历模板的方法、装置和存储介质 |
CN112185572A (zh) * | 2020-09-25 | 2021-01-05 | 志诺维思(北京)基因科技有限公司 | 一种肿瘤专病数据库构建系统、方法、电子设备和介质 |
CN112289398A (zh) * | 2020-08-17 | 2021-01-29 | 上海柯林布瑞信息技术有限公司 | 病理报告解析方法及装置、存储介质、终端 |
CN112289398B (zh) * | 2020-08-17 | 2024-05-31 | 上海柯林布瑞信息技术有限公司 | 病理报告解析方法及装置、存储介质、终端 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017156138A1 (en) * | 2016-03-08 | 2017-09-14 | Vizread LLC | System and method for content enrichment and for teaching reading and enabling comprehension |
CN107908768A (zh) * | 2017-09-30 | 2018-04-13 | 北京颐圣智能科技有限公司 | 电子病历处理的方法、装置、计算机设备及存储介质 |
CN108920453A (zh) * | 2018-06-08 | 2018-11-30 | 医渡云(北京)技术有限公司 | 数据处理方法、装置、电子设备及计算机可读介质 |
CN109977422A (zh) * | 2019-04-18 | 2019-07-05 | 中国石油大学(华东) | 一种基于分词技术的病历关键信息提取模型 |
CN109992777A (zh) * | 2019-03-26 | 2019-07-09 | 浙江大学 | 一种基于关键词的中医病情文本关键语义信息提取方法 |
-
2019
- 2019-08-30 CN CN201910822450.1A patent/CN110534170A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017156138A1 (en) * | 2016-03-08 | 2017-09-14 | Vizread LLC | System and method for content enrichment and for teaching reading and enabling comprehension |
CN107908768A (zh) * | 2017-09-30 | 2018-04-13 | 北京颐圣智能科技有限公司 | 电子病历处理的方法、装置、计算机设备及存储介质 |
CN108920453A (zh) * | 2018-06-08 | 2018-11-30 | 医渡云(北京)技术有限公司 | 数据处理方法、装置、电子设备及计算机可读介质 |
CN109992777A (zh) * | 2019-03-26 | 2019-07-09 | 浙江大学 | 一种基于关键词的中医病情文本关键语义信息提取方法 |
CN109977422A (zh) * | 2019-04-18 | 2019-07-05 | 中国石油大学(华东) | 一种基于分词技术的病历关键信息提取模型 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111696640A (zh) * | 2020-06-12 | 2020-09-22 | 上海联影医疗科技有限公司 | 自动获取病历模板的方法、装置和存储介质 |
CN112289398A (zh) * | 2020-08-17 | 2021-01-29 | 上海柯林布瑞信息技术有限公司 | 病理报告解析方法及装置、存储介质、终端 |
CN112289398B (zh) * | 2020-08-17 | 2024-05-31 | 上海柯林布瑞信息技术有限公司 | 病理报告解析方法及装置、存储介质、终端 |
CN112185572A (zh) * | 2020-09-25 | 2021-01-05 | 志诺维思(北京)基因科技有限公司 | 一种肿瘤专病数据库构建系统、方法、电子设备和介质 |
CN112185572B (zh) * | 2020-09-25 | 2024-03-01 | 志诺维思(北京)基因科技有限公司 | 一种肿瘤专病数据库构建系统、方法、电子设备和介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11581070B2 (en) | Electronic medical record summary and presentation | |
CN106407443B (zh) | 一种结构化医疗数据生成方法及装置 | |
Berman | Principles of big data: preparing, sharing, and analyzing complex information | |
JP6749835B2 (ja) | コンテキスト依存医学データ入力システム | |
US20180025121A1 (en) | Systems and methods for finer-grained medical entity extraction | |
US20190139642A1 (en) | System and methods for medical image analysis and reporting | |
JP7392120B2 (ja) | 自然言語処理を使用する病理報告内の自動化された情報の抽出及び改良 | |
JP7289047B2 (ja) | ブロックに基づく文書メタデータの抽出のための方法、コンピュータ・プログラム及びシステム | |
EP2523126A2 (en) | Information processing apparatus, information processing method, program, and information processing system | |
JP2006146894A (ja) | 階層リストおよびアウトラインを構文解析すること | |
CN110162786A (zh) | 构建配置文件以及抽取结构化信息的方法、装置 | |
US20210183526A1 (en) | Unsupervised taxonomy extraction from medical clinical trials | |
Kim et al. | Second prize: A natural language processing program effectively extracts key pathologic findings from radical prostatectomy reports | |
CN112749547A (zh) | 文本分类器训练数据的产生 | |
CN110534170A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
JP7324058B2 (ja) | 文章解析方法、文章解析プログラム、および文章解析システム | |
CN113658720A (zh) | 匹配诊断名称和icd编码的方法、装置、电子设备和存储介质 | |
KR101607672B1 (ko) | 비구조화 임상 문서의 치환 기반 패턴 검색 장치 및 검색 방법 | |
US11829386B2 (en) | Identifying anonymized resume corpus data pertaining to the same individual | |
CN108733733B (zh) | 基于机器学习的生物医学文本分类方法、系统和存储介质 | |
CN112185572A (zh) | 一种肿瘤专病数据库构建系统、方法、电子设备和介质 | |
EP3654339A1 (en) | Method of classifying medical records | |
KR20180110639A (ko) | 사용자 생성 콘텐츠의 동적 용어 식별 체계 구축 장치 및 방법 | |
CN111755091B (zh) | 一种电子病历的处理方法及装置 | |
CN112949306B (zh) | 命名实体识别模型创建方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191203 |
|
RJ01 | Rejection of invention patent application after publication |