CN112381167A - 训练任务分类模型的方法、任务分类方法和装置 - Google Patents
训练任务分类模型的方法、任务分类方法和装置 Download PDFInfo
- Publication number
- CN112381167A CN112381167A CN202011316966.8A CN202011316966A CN112381167A CN 112381167 A CN112381167 A CN 112381167A CN 202011316966 A CN202011316966 A CN 202011316966A CN 112381167 A CN112381167 A CN 112381167A
- Authority
- CN
- China
- Prior art keywords
- task
- complaint
- tasks
- historical
- historical complaint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013145 classification model Methods 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000012549 training Methods 0.000 title claims abstract description 62
- 230000007246 mechanism Effects 0.000 claims abstract description 61
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims description 54
- 238000012545 processing Methods 0.000 claims description 30
- 230000008520 organization Effects 0.000 claims description 28
- 230000015654 memory Effects 0.000 claims description 26
- 238000013075 data extraction Methods 0.000 claims description 5
- 238000003058 natural language processing Methods 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 238000010276 construction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种训练任务分类模型的方法、装置、电子设备以及介质，涉及深度学习、自然语言处理等领域。训练任务分类模型的方法包括：获取多个第一历史投诉任务，多个第一历史投诉任务中的每个第一历史投诉任务具有标签，第一历史投诉任务的标签指示处理第一历史投诉任务的机构；从每个第一历史投诉任务中提取特征数据，特征数据表征了第一历史投诉任务中的投诉问题和问题发生地点；以及利用每个第一历史投诉任务的特征数据和标签，对待训练任务分类模型进行训练以得到经训练任务分类模型。
Description
技术领域
本申请涉及人工智能技术领域，具体地，涉及深度学习、自然语言处理等领域，更具体地，涉及一种训练任务分类模型的方法、任务分类方法、训练任务分类模型的装置、任务分类装置、电子设备和介质。
背景技术
随着社会的发展，市民的维权意识不断地加强，政府为了顺应人民群众的需求也相应增加了各种各样的投诉渠道，例如投诉热线、便民服务平台等等。但是，目前针对来自市民的投诉任务，通常需要依赖人工基于投诉任务的内容将投诉任务分发至相关机构进行处理，导致投诉任务的处理效率低、耗费大量的人力物力。
发明内容
本申请提供了一种训练任务分类模型的方法、任务分类方法、装置、电子设备以及存储介质。
根据第一方面，本申请提供了一种训练任务分类模型的方法，包括：获取多个第一历史投诉任务，所述多个第一历史投诉任务中的每个第一历史投诉任务具有标签，所述第一历史投诉任务的标签指示处理所述第一历史投诉任务的机构，从每个第一历史投诉任务中提取特征数据，所述特征数据表征了所述第一历史投诉任务中的投诉问题和问题发生地点，利用每个第一历史投诉任务的特征数据和标签，对待训练任务分类模型进行训练以得到经训练任务分类模型。
根据第二方面，本申请提供了一种任务分类方法，包括：获取当前投诉任务，利用所述经训练任务分类模型对所述当前投诉任务进行分类处理，得到针对所述当前投诉任务的分类结果，基于所述分类结果，从多个机构中确定所述当前投诉任务所属的机构。
根据第三方面，本申请提供了一种训练任务分类模型的装置，包括：第一获取模块、数据提取模块以及训练模块。其中，第一获取模块用于获取多个第一历史投诉任务，所述多个第一历史投诉任务中的每个第一历史投诉任务具有标签，所述第一历史投诉任务的标签指示处理所述第一历史投诉任务的机构。数据提取模块用于从每个第一历史投诉任务中提取特征数据，所述特征数据表征了所述第一历史投诉任务中的投诉问题和问题发生地点。训练模块用于利用每个第一历史投诉任务的特征数据和标签，对待训练任务分类模型进行训练以得到经训练任务分类模型。
根据第四方面，本申请提供了一种任务分类装置，包括第二获取模块、分类处理模块以及确定模块。其中，第二获取模块用于获取当前投诉任务。分类处理模块用于利用所述经训练任务分类模型对所述当前投诉任务进行分类处理，得到针对所述当前投诉任务的分类结果。确定模块用于基于所述分类结果，从多个机构中确定所述当前投诉任务所属的机构。
根据第五方面，本申请提供了一种电子设备，包括：至少一个处理器和与所述至少一个处理器通信连接的存储器。其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：获取多个第一历史投诉任务，所述多个第一历史投诉任务中的每个第一历史投诉任务具有标签，所述第一历史投诉任务的标签指示处理所述第一历史投诉任务的机构，从每个第一历史投诉任务中提取特征数据，所述特征数据表征了所述第一历史投诉任务中的投诉问题和问题发生地点，利用每个第一历史投诉任务的特征数据和标签，对待训练任务分类模型进行训练以得到经训练任务分类模型。
根据第六方面，本申请提供了一种电子设备，包括：至少一个处理器和与所述至少一个处理器通信连接的存储器。其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：获取当前投诉任务，利用所述经训练任务分类模型对所述当前投诉任务进行分类处理，得到针对所述当前投诉任务的分类结果，基于所述分类结果，从多个机构中确定所述当前投诉任务所属的机构。
根据第七方面，本申请提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行：获取多个第一历史投诉任务，所述多个第一历史投诉任务中的每个第一历史投诉任务具有标签，所述第一历史投诉任务的标签指示处理所述第一历史投诉任务的机构，从每个第一历史投诉任务中提取特征数据，所述特征数据表征了所述第一历史投诉任务中的投诉问题和问题发生地点，利用每个第一历史投诉任务的特征数据和标签，对待训练任务分类模型进行训练以得到经训练任务分类模型。
根据第八方面，本申请提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行：获取当前投诉任务，利用所述经训练任务分类模型对所述当前投诉任务进行分类处理，得到针对所述当前投诉任务的分类结果，基于所述分类结果，从多个机构中确定所述当前投诉任务所属的机构。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1示意性示出了根据本申请实施例的训练任务分类模型和任务分类的应用场景；
图2示意性示出了根据本申请一实施例的训练任务分类模型的方法的流程图；
图3示意性示出了根据本申请另一实施例的训练任务分类模型的方法的流程图；
图4示意性示出了根据本申请实施例的更新第一历史投诉任务的示意图；
图5示意性示出了根据本申请实施例的任务分类方法的流程图；
图6示意性示出了根据本申请实施例的训练任务分类模型的装置的框图；
图7示意性示出了根据本申请实施例的任务分类装置的框图；以及
图8是用来实现本申请实施例的训练任务分类模型的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本申请。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本申请的实施例提供了一种训练任务分类模型的方法，包括：获取多个第一历史投诉任务，多个第一历史投诉任务中的每个第一历史投诉任务具有标签，第一历史投诉任务的标签指示处理第一历史投诉任务的机构，从每个第一历史投诉任务中提取特征数据，特征数据表征了第一历史投诉任务中的投诉问题和问题发生地点，利用每个第一历史投诉任务的特征数据和标签，对待训练任务分类模型进行训练以得到经训练任务分类模型。
本申请的实施例还提供了一种任务分类方法，包括：获取当前投诉任务，利用经训练任务分类模型对当前投诉任务进行分类处理，得到针对当前投诉任务的分类结果，基于分类结果，从多个机构中确定当前投诉任务所属的机构。
图1示意性示出了根据本申请实施例的训练任务分类模型和任务分类的应用场景。
如图1所示，本申请实施例的应用场景100例如包括待训练任务分类模型110、经训练任务分类模型120以及优化的经训练任务分类模型130。
在本申请的实施例中，待训练任务分类模型110例如包括梯度提升决策树(Gradient Boosting Decision Tree，GBDT)分类模型，更具体地可以包括LightGBM分类模型。
根据本申请的实施例，例如将多个第一历史投诉任务111输入至待训练任务分类模型110中进行训练。其中，多个第一历史投诉任务111例如为已经被相关机构处理过的任务，第一历史投诉任务111中包括投诉内容和标签，该标签例如表征了处理该任务的机构。通过多个第一历史投诉任务111来训练待训练任务分类模型110，使得待训练任务分类模型110能够学习到投诉内容和机构之间的关联关系，即学习到当任务中具有哪些投诉内容时，应该归属于哪个机构来进行处理。例如，当任务的投诉内容包括施工噪音时，该任务应该属于机构A管理，当任务的投诉内容包括乱扔垃圾时，该任务应该属于机构B管理。
在训练待训练任务分类模型110时，可以预先确定该模型的分类类别，该分类类别例如与多个机构一一对应。例如，当有78个机构时，可以指定待训练任务分类模型110的分类类别为78个类别，该78个类别与78个机构一一对应。利用待训练任务分类模型110对多个第一历史投诉任务111进行分类时得到多个分类类别，每个分类类别中的第一历史投诉任务111例如表示为属于一个机构管理。
基于多个第一历史投诉任务111训练待训练任务分类模型110得到经训练任务分类模型120。为了保证经训练任务分类模型120的分类准确性，可以利用多个第二历史投诉任务121对经训练任务分类模型120进行测试优化，以便得到优化的经训练任务分类模型130。
多个第二历史投诉任务121例如为已经被相关机构处理过的任务，每个第二历史投诉任务121中包括投诉内容和标签，该标签例如表征了处理该任务的机构。利用多个第二历史投诉任务121对经训练任务分类模型120进行测试优化包括，将多个第二历史投诉任务121输入至经训练任务分类模型120中得到分类结果，分类结果例如为经训练任务分类模型120所识别得到的处理该第二历史投诉任务121的机构。通过确认每个第二历史投诉任务的分类结果是否与标签一致来确认分类结果的准确率。当分类结果的准确率满足预设的准确性时，得到优化的经训练任务分类模型130。
在本申请的一示例中，待训练任务分类模型110的训练过程和经训练任务分类模型120的测试过程可以通过离线的方式来完成。在得到优化的经训练任务分类模型130之后，可以通过在线的方式利用优化的经训练任务分类模型130对当前投诉任务131进行分类处理得到分类结果，以便基于分类结果确定当前投诉任务131所属的机构，并将当前投诉任务131分发至所属的机构进行处理。其中，当前投诉任务131可以是未经相关机构处理的任务。
有鉴于此，本申请实施例提供了一种训练任务分类模型的方法，下面结合图1的应用场景，参考图2～图4来描述根据本申请示例性实施方式的训练任务分类模型的方法。
图2示意性示出了根据本申请一实施例的训练任务分类模型的方法的流程图。
如图2所示，本申请实施例的训练任务分类模型的方法200例如可以包括操作S201～操作S203。
在操作S201，获取多个第一历史投诉任务，多个第一历史投诉任务中的每个第一历史投诉任务具有标签，第一历史投诉任务的标签指示处理第一历史投诉任务的机构。
在操作S202，提取每个第一历史投诉任务的特征数据，特征数据表征了第一历史投诉任务中的投诉问题和问题发生地点。
在操作S203，利用每个第一历史投诉任务的特征数据和标签，对待训练任务分类模型进行训练以得到经训练任务分类模型。
根据本申请的实施例，多个第一历史投诉任务已经被相关机构处理。针对每个第一历史投诉任务，将处理该第一历史投诉任务的机构作为该第一历史投诉任务的标签。例如，多个机构例如包括机构A、机构B、机构C等。机构A、机构B、机构C的机构标识例如分别为“机构A”、“机构B”、“机构C”，或者分别为“A”、“B”、“C”。本申请的实施例可以将机构标识作为第一历史投诉任务的标签。可以理解，本申请实施例对机构标识不作具体限定，机构标识可以是机构名称、机构代码或者唯一表示机构的符号均可。
在本申请的实施例中，例如可以通过自然语言处理技术来处理每个第一历史投诉任务，以提取第一历史投诉任务中的特征数据。自然语言处理技术包括但不仅限于深度语义理解技术。
在本申请的实施例中，特征数据一方面表征了第一历史投诉任务中的投诉问题，投诉问题例如可以是施工噪音、乱扔垃圾、出租隔断等等。即，该投诉问题表征了第一历史投诉任务中的关键问题。
在本申请的实施例中，特征数据另一方面表征了第一历史投诉任务中的问题发生地点，问题发生地点例如可以是城市、社区、小区、街道等等。
在本申请的实施例中，根据第一历史投诉任务的投诉问题和问题发生地点可以确定处理该第一历史投诉任务的机构。换言之，针对相同的投诉问题，由于问题发生地点不一样，需要由不同地区的机构来进行处理。例如，以两个第一历史投诉任务为例，两个第一历史投诉任务中的投诉问题例如均为“施工噪音”，但是第一个历史投诉任务中的问题发生地点在a地区，第二个历史投诉任务中的问题发生地点在b地区，则第一个历史投诉任务应由a地区的相关机构进行处理，第二个历史投诉任务应由b地区的相关机构进行处理，a地区的相关机构和b地区的相关机构例如为不同的机构，相关机构例如为城市管理机构。
在提取到每个第一历史投诉任务的特征数据之后，可以将每个第一历史投诉任务的特征数据和其标签输入至待训练任务分类模型中进行训练得到经训练任务分类模型。经训练任务分类模型通过多个第一历史投诉任务学习到投诉问题和问题发生地点以及机构之间的关联关系。
在本申请的实施例中，在训练待训练任务分类模型时，可以预先确定该模型的分类类别，该分类类别例如与多个机构一一对应。利用待训练任务分类模型对多个第一历史投诉任务进行分类时得到多个分类类别，每个分类类别中的第一历史投诉任务例如表示为属于一个机构。
在本申请的实施例中，通过将机构作为第一历史投诉任务的标签，并通过提取第一历史投诉任务中的投诉问题和问题发生地点作为特征数据。基于特征数据和标签来训练待训练任务分类模型，得到的经训练任务分类模型能够基于投诉问题和问题发生地点来确定第一历史投诉任务所属的机构，便于后续自动识别任务的处理机构，以将任务分发给相应机构进行处理，从而提高任务的分发效率和分发准确性，由此提高任务的处理效率。
在本申请的另一示例中，经训练任务分类模型可以包括LightGBM模型。相比于其他决策树分类模型，该LightGBM模型针对多分类问题具有较佳的分类效果。在本申请的实施例中，分类类别的数量与多个机构的数量一致，即每个类别对应于一个机构，可见本申请实施例的分类类别较多。因此，本申请的实施例通过LightGBM模型进行任务分类，可以提高分类的效果。
图3示意性示出了根据本申请另一实施例的训练任务分类模型的方法的流程图。
如图3所示，本申请实施例的训练任务分类模型的方法300例如可以包括操作S301～操作S308。
在操作S301，获取多个第一历史投诉任务，多个第一历史投诉任务中的每个第一历史投诉任务具有标签，第一历史投诉任务的标签指示处理第一历史投诉任务的机构。
在操作S302，从每个第一历史投诉任务中提取特征数据，特征数据表征了第一历史投诉任务中的投诉问题和问题发生地点。
在操作S303，利用每个第一历史投诉任务的特征数据和标签，对待训练任务分类模型进行训练以得到经训练任务分类模型。
其中，操作S301～操作S303的具体操作过程可参考上文描述，在此不再赘述。
在操作S304，获取多个第二历史投诉任务，多个第二历史投诉任务中的每个第二历史投诉任务具有标签，第二历史投诉任务的标签指示处理第二历史投诉任务的机构。
在本申请的实施例中，第二历史投诉任务作为测试集，第二历史投诉任务为已被相应机构处理过的任务。第二历史投诉任务可用于测试经训练任务分类模型的分类效果。每个第二历史投诉任务均包括指示处理第二历史投诉任务的机构的标签。
在操作S305，利用多个第二历史投诉任务，对经训练任务分类模型进行测试，得到测试分类结果。
例如，可以通过自然语言处理技术来处理每个第二历史投诉任务，以提取第二历史投诉任务中的特征数据。该特征数据表征了第二历史投诉任务中的投诉问题和问题发生地点。然后，将每个第二历史投诉任务的特征数据和标签输入至经训练任务分类模型中进行分类以得到测试分类结果。
在操作S306，确定测试分类结果指示的测试错误率是否大于预设错误率。如果是，则实现操作S307，如果否则结束。
以一个第二历史投诉任务为例，例如该第二历史投诉任务的标签为“机构A”，表示该第二历史投诉任务已被机构A处理。如果经训练任务分类模型对该第二历史投诉任务进行分类得到的测试分类结果为“机构A”，则表示针对该第二历史投诉任务的测试结果正确。如果经训练任务分类模型对该第二历史投诉任务进行分类得到的测试分类结果为“机构B”或其他机构，则表示针对该第二历史投诉任务的测试结果错误。
在本申请的实施例中，测试错误率包括目标历史投诉任务的数量与多个第二历史投诉任务的数量之间的比值，预设错误率包括预设比值。其中，目标历史投诉任务为多个第二历史投诉任务中测试分类结果与标签不一致的第二历史投诉任务。
即，对于多个第二历史投诉任务，如果测试结果错误的目标历史投诉任务的任务数量与多个第二历史投诉任务的任务总数量之间的比值超过预设比值，则表示测试错误率是否大于预设错误率。预设比值可以是10％、20％等等。
在操作S307，在测试分类结果指示测试错误率大于预设错误率的情况下，基于测试分类结果更新多个第一历史投诉任务。
在操作S308，基于更新后的多个第一历史投诉任务优化经训练任务分类模型。
在本申请的实施例中，由于多个第一历史投诉任务作为训练集，多个第一历史投诉任务的数量和任务类型之间的比例会对训练效果产生影响。因此，基于测试分类结果更新多个第一历史投诉任务例如包括针对多个第一历史投诉任务进行添加任务、删除任务、调整任务比例等等。
其中，添加任务包括增加训练集中第一历史投诉任务的任务数量，从而提高训练效果。删除任务包括删除一些质量不佳的任务，以提高训练效果。调整任务比例包括增加或删除相应标签的第一历史投诉任务，使得多个第一历史投诉任务中各类型的标签的任务数量较均匀，以避免具有不同类型的标签的任务数量不均匀而导致训练效果不佳。
在本申请的实施例中，通过利用第二历史投诉任务来测试经训练任务分类模型，具体根据测试分类结果的测试错误率来更新第一历史投诉任务，便于基于更新后的第一历史投诉任务来优化经训练任务分类模型，提高了经训练任务分类模型的分类效果。
图4示意性示出了根据本申请实施例的更新第一历史投诉任务的示意图。
如图4所示，多个第一历史投诉任务410被划分为与多个机构一一对应的多个第一分组，每个第一分组中的第一历史投诉任务具有相同的标签。以3个机构“机构A”、“机构B”、“机构C”以及3个第一分组411、412、413为例。第一分组411中例如包括多个第一历史投诉任务(例如包括任务1、任务2、任务3)，任务1、任务2、任务3的标签例如均为“机构A”。类似地，第一分组412例如包括任务4，任务4的标签例如为“机构B”，第一分组413例如包括任务5、任务6，任务5、任务6的标签例如均为“机构C”。
利用每个第一历史投诉任务的特征数据和标签来训练待训练任务分类模型420，得到经训练任务分类模型430。
接下来，利用多个第二历史投诉任务440来对经训练任务分类模型430进行测试。
与多个第一历史投诉任务410类似，多个第二历史投诉任务440被划分为与多个机构一一对应的多个第二分组，每个第二分组中的第二历史投诉任务具有相同的标签。以3个第二分组441、442、443为例。第二分组441中例如包括多个第二历史投诉任务(例如包括任务7、任务8)，任务7、任务8的标签例如均为“机构A”。类似地，第二分组442例如包括任务9、任务10，任务9、任务10的标签例如均为“机构B”，第二分组443例如包括任务11、任务12、任务13，任务11、任务12、任务13的标签例如均为“机构C”。
利用每个第二历史投诉任务的特征数据和标签来测试经训练任务分类模型430，得到测试分类结果450。该测试分类结果450中例如包括测试正确的任务组451和测试错误的任务组452。其中，测试错误的任务组452中的任务例如为上文提及的目标历史投诉任务。其中，测试正确的任务组451中例如包括4个任务，4个任务分别为任务8、任务11、任务12、任务13。测试错误的任务组452中例如包括3个任务，3个任务分别为任务7、任务9、任务10。其中，测试错误率例如为测试错误的任务数量与第二历史投诉任务总数量之间的比值，例如测试错误率为3/(3+4)＝42.9％。以预设错误率(预设比值)为20％举例，测试错误率42.9％大于预设错误率20％，则可以基于测试分类结果450更新多个第一历史投诉任务410。
例如，基于测试分类结果450，从多个第二分组441、442、443中确定出目标第二分组，其中，与目标第二分组对应的测试错误率大于与其他第二分组对应的测试错误率，其他第二分组为多个第二分组中除目标第二分组之外的第二分组。例如第二分组442中的任务9、任务10测试错误，显然，第二分组442的测试错误率大于第二分组441和第二分组443的测试错误率，则确定第二分组442作为目标第二分组。
然后，基于目标第二分组，从多个第一分组411、412、413中确定出目标第一分组，目标第一分组中的第一历史投诉任务的标签和目标第二分组中的第二历史投诉任务的标签一致。例如，目标第二分组(第二分组442)中第二历史投诉任务的标签为“机构B”，则基于标签“机构B”确定的目标第一分组为第一分组412。
在本申请的实施例中，导致经训练任务分类模型430的分类效果不佳在一定程度上是由于某些标签的任务数量较少，例如是由于标签为“机构B”的第一历史投诉任务的数量较少。因此，通过增加目标第一分组中第一历史投诉任务的数量来优化经训练任务分类模型430，以提高经训练任务分类模型430的分类效果。例如，将具有标签“机构B”的任务14、任务15添加至第一分组412中，以增加第一分组412的任务数量。基于更新后的多个第一历史投诉任务410来优化经训练分析模型430具体包括利用更新后的多个第一历史投诉任务410重新训练待训练任务分类模型420，或者也可以基于增量的第一历史投诉任务(任务14、任务15)来优化经训练任务分类模型430。
在本申请一实施例中，多个第一历史投诉任务410中具有各标签的任务之间的比例和多个第二历史投诉任务440中具有各标签的任务之间的比例尽量一致，以降低训练过程和测试过程之间的误差。例如，多个第一历史投诉任务中具有标签“机构A”、“机构B”、“机构C”的任务之间的比例为P＝P1∶P2∶P3，多个第二历史投诉任务中具有标签“机构A”、“机构B”、“机构C”的任务之间的比例为P’＝P1’∶P2’∶P3’。其中，P尽量与P’一致。
在本申请的另一示例中，多个第一历史投诉任务410的数量例如远大于多个第二历史投诉任务440的数量。
在本申请的实施例中，根据测试分类结果的测试错误率来更新第一历史投诉任务中具有相应标签的任务，便于基于更新后的历史投诉任务来优化经训练任务分类模型，由此提高经训练任务分类模型的分类效果。
在本申请的另一实施例中，在提取第一历史投诉任务或第二历史投诉任务的特征数据之前，可以首先对第一历史投诉任务或第二历史投诉任务进行预处理，预处理包括但不仅限于过滤第一历史投诉任务或第二历史投诉任务中无效的、低质量的部分信息。例如去除第一历史投诉任务或第二历史投诉任务中信息缺失的部分、内容较少的部分、纯数字的部分、纯标点符号的部分、乱码的部分、无语义的部分等等，以提高特征数据的提取效果，并提高特征数据的提取效率。
图5示意性示出了根据本申请实施例的任务分类方法的流程图。
如图5所示，本申请实施例的任务分类方法500例如可以包括操作S501～操作S503。
在操作S501，获取当前投诉任务。其中，当前投诉任务为待处理的任务。
在本申请的实施例中，提取当前投诉任务的特征数据，特征数据表征了当前投诉任务中的投诉问题和问题发生地点。例如可以通过自然语言处理技术来处理当前投诉任务，以提取当前投诉任务中的特征数据。自然语言处理技术包括但不仅限于深度语义理解技术。
在操作S502，利用经训练任务分类模型对当前投诉任务进行分类处理，得到针对当前投诉任务的分类结果。
例如，利用经训练任务分类模型对当前投诉任务的特征数据进行分类处理，得到针对当前投诉任务的分类结果。分类结果表征了用于处理该当前投诉任务的机构。
在操作S503，基于分类结果，从多个机构中确定当前投诉任务所属的机构作为目标机构，以将当前投诉任务发送至目标机构进行处理。
在本申请的实施例中，通过经训练任务分类模型处理具有投诉问题和问题发生地点的当前投诉任务，得到用于处理当前投诉任务的目标机构，并将当前投诉任务分发给目标机构进行处理，从而提高任务的分发效率和分发准确性，由此提高任务的处理效率。
在本申请的实施例中，可以利用经训练任务分类模型对当前投诉任务进行在线分类处理，并基于在线分类处理结果来实时更新优化经训练任务分类模型。例如可以将在线分类处理结果实时反馈给经训练任务分类模型，便于经训练任务分类模型基于反馈在线更新和优化。
在本申请的另一实施例中，在提取当前投诉任务的特征数据之前，可以首先对当前投诉任务进行预处理，预处理包括但不仅限于过滤当前投诉任务中无效的、低质量的部分信息。例如去除当前投诉任务中信息缺失的部分、内容较少的部分、纯数字的部分、纯标点符号的部分、乱码的部分、无语义的部分等等，以提高特征数据的提取效果，并提高特征数据的提取效率。
图6示意性示出了根据本申请实施例的训练任务分类模型的装置的框图。
如图6所示，本申请实施例的训练任务分类模型的装置600例如包括第一获取模块601、数据提取模块602以及训练模块603。
第一获取模块601可以用于获取多个第一历史投诉任务，多个第一历史投诉任务中的每个第一历史投诉任务具有标签，第一历史投诉任务的标签指示处理第一历史投诉任务的机构。根据本申请实施例，第一获取模块601例如可以执行上文参考图2描述的操作S201，在此不再赘述。
数据提取模块602可以用于从每个第一历史投诉任务中提取特征数据，特征数据表征了第一历史投诉任务中的投诉问题和问题发生地点。根据本申请实施例，数据提取模块602例如可以执行上文参考图2描述的操作S202，在此不再赘述。
训练模块603可以用于利用每个第一历史投诉任务的特征数据和标签，对待训练任务分类模型进行训练以得到经训练任务分类模型。根据本申请实施例，训练模块603例如可以执行上文参考图2描述的操作S203，在此不再赘述。
图7示意性示出了根据本申请实施例的任务分类装置的框图。
如图7所示，本申请实施例的任务分类装置700例如包括第二获取模块701、分类处理模块702以及确定模块703。
第二获取模块701可以用于获取当前投诉任务。根据本申请实施例，第二获取模块701例如可以执行上文参考图5描述的操作S501，在此不再赘述。
分类处理模块702可以用于利用经训练任务分类模型对当前投诉任务进行分类处理，得到针对当前投诉任务的分类结果。根据本申请实施例，分类处理模块702例如可以执行上文参考图5描述的操作S502，在此不再赘述。
确定模块703可以用于基于分类结果，从多个机构中确定当前投诉任务所属的机构。根据本申请实施例，确定模块703例如可以执行上文参考图5描述的操作S503，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
图8是用来实现本申请实施例的训练任务分类模型的方法的电子设备的框图。
如图8所示，是根据本申请实施例的训练任务分类模型的方法的电子设备800的框图。电子设备800旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，该电子设备800包括：一个或多个处理器810、存储器820，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备800内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备800，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器810为例。
存储器820即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的训练任务分类模型的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的训练任务分类模型的方法。
存储器820作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的训练任务分类模型的方法对应的程序指令/模块(例如，附图6所示的第一获取模块601、数据提取模块602以及训练模块603)。处理器810通过运行存储在存储器820中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的训练任务分类模型的方法。
存储器820可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据训练任务分类模型的电子设备800的使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器820可选包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至训练任务分类模型的电子设备800。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
训练任务分类模型的方法的电子设备800还可以包括：输入装置830和输出装置840。处理器810、存储器820、输入装置830和输出装置840可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置830可接收输入的数字或字符信息，以及产生与训练任务分类模型的电子设备800的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置840可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
该电子设备可以用于执行图5所示的方法。该电子设备例如可以包括处理器、存储器、输入装置、输出装置。其中，该电子设备中的处理器、存储器、输入装置、输出装置例如具有与图8中所示的电子设备的处理器、存储器、输入装置、输出装置相同或类似的功能，在此不再赘述。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (14)
1.一种训练任务分类模型的方法，包括：
获取多个第一历史投诉任务，所述多个第一历史投诉任务中的每个第一历史投诉任务具有标签，所述第一历史投诉任务的标签指示处理所述第一历史投诉任务的机构；
从每个第一历史投诉任务中提取特征数据，所述特征数据表征了所述第一历史投诉任务中的投诉问题和问题发生地点；以及
利用每个第一历史投诉任务的特征数据和标签，对待训练任务分类模型进行训练以得到经训练任务分类模型。
2.根据权利要求1所述的方法，还包括：
获取多个第二历史投诉任务，所述多个第二历史投诉任务中的每个第二历史投诉任务具有标签，所述第二历史投诉任务的标签指示处理所述第二历史投诉任务的机构；
利用所述多个第二历史投诉任务，对所述经训练任务分类模型进行测试，得到测试分类结果；
在所述测试分类结果指示测试错误率大于预设错误率的情况下，基于所述测试分类结果更新所述多个第一历史投诉任务；以及
基于更新后的多个第一历史投诉任务优化所述经训练任务分类模型。
3.根据权利要求2所述的方法，其中，所述测试错误率包括目标历史投诉任务的数量与所述多个第二历史投诉任务的数量之间的比值，所述预设错误率包括预设比值，其中，所述目标历史投诉任务为所述多个第二历史投诉任务中测试分类结果与标签不一致的第二历史投诉任务。
4.根据权利要求2所述的方法，其中：
所述多个第一历史投诉任务被划分为与多个机构一一对应的多个第一分组，每个第一分组中的第一历史投诉任务具有相同标签；
所述多个第二历史投诉任务被划分为与多个机构一一对应的多个第二分组，每个第二分组中的第二历史投诉任务具有相同标签。
5.根据权利要求4所述的方法，其中，所述基于所述测试分类结果更新所述多个第一历史投诉任务包括：
基于所述测试分类结果，从所述多个第二分组中确定出目标第二分组，其中，与所述目标第二分组对应的测试错误率大于与其他第二分组对应的测试错误率，所述其他第二分组为所述多个第二分组中除所述目标第二分组之外的第二分组；
基于所述目标第二分组，从多个第一分组中确定出目标第一分组，所述目标第一分组中的第一历史投诉任务的标签和所述目标第二分组中的第二历史投诉任务的标签一致；以及
增加所述目标第一分组中第一历史投诉任务的数量。
6.根据权利要求1所述的方法，其中，所述经训练任务分类模型包括LightGBM模型。
7.一种任务分类方法，包括：
获取当前投诉任务；
利用根据权利要求1至6中任意一项所述的经训练任务分类模型对所述当前投诉任务进行分类处理，得到针对所述当前投诉任务的分类结果；以及
基于所述分类结果，从多个机构中确定所述当前投诉任务所属的机构。
8.根据权利要求7所述的方法，其中：
所述方法还包括：提取所述当前投诉任务的特征数据，所述特征数据表征了所述当前投诉任务中的投诉问题和问题发生地点；
所述利用经训练任务分类模型对所述当前投诉任务进行分类处理，得到针对所述当前投诉任务的分类结果包括：利用经训练任务分类模型对所述当前投诉任务的特征数据进行分类处理，得到针对所述当前投诉任务的分类结果。
9.一种用于训练任务分类模型的装置，包括：
第一获取模块，用于获取多个第一历史投诉任务，所述多个第一历史投诉任务中的每个第一历史投诉任务具有标签，所述第一历史投诉任务的标签指示处理所述第一历史投诉任务的机构；
数据提取模块，用于从每个第一历史投诉任务中提取特征数据，所述特征数据表征了所述第一历史投诉任务中的投诉问题和问题发生地点；以及
训练模块，用于利用每个第一历史投诉任务的特征数据和标签，对待训练任务分类模型进行训练以得到经训练任务分类模型。
10.一种任务分类装置，包括：
第二获取模块，用于获取当前投诉任务；
分类处理模块，用于利用根据权利要求1至6中任意一项所述的经训练任务分类模型对所述当前投诉任务进行分类处理，得到针对所述当前投诉任务的分类结果；以及
确定模块，用于基于所述分类结果，从多个机构中确定所述当前投诉任务所属的机构。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6中任一项所述的方法。
12.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求7至8中任一项所述的方法。
13.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1至6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求7至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011316966.8A CN112381167A (zh) | 2020-11-20 | 2020-11-20 | 训练任务分类模型的方法、任务分类方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011316966.8A CN112381167A (zh) | 2020-11-20 | 2020-11-20 | 训练任务分类模型的方法、任务分类方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112381167A true CN112381167A (zh) | 2021-02-19 |
Family
ID=74587753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011316966.8A Pending CN112381167A (zh) | 2020-11-20 | 2020-11-20 | 训练任务分类模型的方法、任务分类方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381167A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113935427A (zh) * | 2021-10-22 | 2022-01-14 | 北京达佳互联信息技术有限公司 | 训练任务的执行方法、装置、电子设备及存储介质 |
| CN115221329A (zh) * | 2022-09-19 | 2022-10-21 | 广州云趣信息科技有限公司 | 注意力机制提取特征实现投诉责任认定的方法、装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107958272A (zh) * | 2017-12-12 | 2018-04-24 | 北京旷视科技有限公司 | 图片数据集更新方法、装置、系统及计算机存储介质 |
| CN108573031A (zh) * | 2018-03-26 | 2018-09-25 | 上海万行信息科技有限公司 | 一种基于内容的投诉分类方法和系统 |
| CN109255499A (zh) * | 2018-10-25 | 2019-01-22 | 阿里巴巴集团控股有限公司 | 投诉、投诉案件处理方法、装置及设备 |
| CN111340323A (zh) * | 2018-12-19 | 2020-06-26 | 中国移动通信集团湖南有限公司 | 一种投诉服务请求自动派单方法及系统 |
-
2020
- 2020-11-20 CN CN202011316966.8A patent/CN112381167A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107958272A (zh) * | 2017-12-12 | 2018-04-24 | 北京旷视科技有限公司 | 图片数据集更新方法、装置、系统及计算机存储介质 |
| CN108573031A (zh) * | 2018-03-26 | 2018-09-25 | 上海万行信息科技有限公司 | 一种基于内容的投诉分类方法和系统 |
| CN109255499A (zh) * | 2018-10-25 | 2019-01-22 | 阿里巴巴集团控股有限公司 | 投诉、投诉案件处理方法、装置及设备 |
| CN111340323A (zh) * | 2018-12-19 | 2020-06-26 | 中国移动通信集团湖南有限公司 | 一种投诉服务请求自动派单方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113935427A (zh) * | 2021-10-22 | 2022-01-14 | 北京达佳互联信息技术有限公司 | 训练任务的执行方法、装置、电子设备及存储介质 |
| CN115221329A (zh) * | 2022-09-19 | 2022-10-21 | 广州云趣信息科技有限公司 | 注意力机制提取特征实现投诉责任认定的方法、装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507104B (zh) | 建立标签标注模型的方法、装置、电子设备和可读存储介质 | |
| US20210209416A1 (en) | Method and apparatus for generating event theme | |
| CN111325020A (zh) | 一种事件论元抽取方法、装置以及电子设备 | |
| CN109359277B (zh) | 数据监控方法、设备及计算机存储介质 | |
| CN111753914A (zh) | 模型优化方法和装置、电子设备及存储介质 | |
| JP7222040B2 (ja) | モデル訓練、画像処理方法及びデバイス、記憶媒体、プログラム製品 | |
| CN111414482A (zh) | 一种事件论元抽取方法、装置以及电子设备 | |
| CN111078878B (zh) | 文本处理方法、装置、设备及计算机可读存储介质 | |
| EP3916584A1 (en) | Information processing method and apparatus, electronic device and storage medium | |
| CN113342946B (zh) | 客服机器人的模型训练方法、装置、电子设备及介质 | |
| CN111143577B (zh) | 数据标注方法、装置和系统 | |
| CN112445775A (zh) | 一种光刻机的故障分析方法、装置、设备和存储介质 | |
| CN111767334A (zh) | 信息抽取方法、装置、电子设备及存储介质 | |
| CN110647937A (zh) | 标注模型训练方法及装置 | |
| CN111858905A (zh) | 模型训练方法、信息识别方法、装置、电子设备及存储介质 | |
| CN112381167A (zh) | 训练任务分类模型的方法、任务分类方法和装置 | |
| CN114021156A (zh) | 漏洞自动化聚合的整理方法、装置、设备以及存储介质 | |
| CN112380847A (zh) | 兴趣点处理方法、装置、电子设备及存储介质 | |
| CN112561332A (zh) | 模型管理方法、装置、电子设备、存储介质和程序产品 | |
| CN112269706A (zh) | 接口参数校验方法、装置、电子设备以及计算机可读介质 | |
| CN112084150A (zh) | 模型训练、数据检索方法，装置，设备以及存储介质 | |
| CN115759100A (zh) | 数据处理方法、装置、设备及介质 | |
| CN111563198A (zh) | 一种物料召回方法、装置、设备及存储介质 | |
| CN113312451B (zh) | 文本标签确定方法和装置 | |
| CN111310481B (zh) | 语音翻译方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |