CN116402478A - 基于语音交互的生成清单的方法和装置 - Google Patents

基于语音交互的生成清单的方法和装置 Download PDF

Info

Publication number
CN116402478A
CN116402478A CN202310666905.1A CN202310666905A CN116402478A CN 116402478 A CN116402478 A CN 116402478A CN 202310666905 A CN202310666905 A CN 202310666905A CN 116402478 A CN116402478 A CN 116402478A
Authority
CN
China
Prior art keywords
fields
association
materials
field
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310666905.1A
Other languages
English (en)
Other versions
CN116402478B (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Planck Technology Co ltd
Original Assignee
Chengdu Planck Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Planck Technology Co ltd filed Critical Chengdu Planck Technology Co ltd
Priority to CN202310666905.1A priority Critical patent/CN116402478B/zh
Publication of CN116402478A publication Critical patent/CN116402478A/zh
Application granted granted Critical
Publication of CN116402478B publication Critical patent/CN116402478B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种基于语音交互的生成清单的方法和装置，涉及软件工程领域，本申请包括，采集音频数据；对音频数据语义分析后进行字段抓取；依据判别模型对抓取后的字段进行判别并归类，输出带关联信息的字段数据；基于字段数据进行联想建模，生成带关联关系的字段数据的产品模型；基于产品模型与清单间的对应关系输出清单。本申请提供的一种基于语音交互的生成清单的方法和装置，通过语义分析、字段抓取和联想生成模型，解决了交互困难的问题，帮助用户实现智能化、自动化、高效化的产品模型搭建，利用模型的可交互性和可视化，更利于调整产品的生产规划，实现企业在智能制造环境下的低成本高效益生产。

Description

基于语音交互的生成清单的方法和装置
技术领域
本申请涉及软件工程领域，具体涉及一种基于语音交互的生成清单的方法和装置。
背景技术
随着国家智能制造热度持续升温，智能工厂、数字车间建设进入白热化阶段。企业在车间信息化建设基本达成的前提下，对于生产过程自动化、智能化、高效化管控的要求越来越高。
用户有远程对产品的工艺路径和产品涉及的物料规划的需求，但面临实际操作情况，涉及不熟知操作手册的用户、在订单中难以反应物料材料的产品、还有涉及困难场景下的处理需求，即缺少办公PC等情况。
发明内容
本申请一种基于语音交互的生成清单的方法和装置，解决用户规划产品的需求问题。
第一方面，一种基于语音交互的生成清单的方法，包括：
采集音频数据；
对音频数据语义分析后进行字段抓取；
依据判别模型对抓取后的字段进行判别并归类，输出带关联信息的字段数据；
基于字段数据进行联想建模，生成带关联关系的字段数据的产品模型；
基于产品模型与清单间的对应关系输出清单；
其中，对抓取后的字段进行判别并归类，输出带关联信息的字段数据，基于字段数据进行联想建模，生成带关联关系的字段数据的产品模型的过程具体为：
依据判别模型对字段归类为物料字段、工序字段两大类，物料字段包括字段中物料的品类、层级关系和属性数据，工序字段包括字段中的工序的名称、工序的逻辑顺序和工序的属性数据；
依据物料字段、工序字段进行联想，组合为字段涉及产品的工艺路径生产模型。
进一步的，所述依据物料字段、工序字段进行联想，导出字段涉及产品的工艺路径生产模型，包括：
基于预设工序间、物料间、工序和物料间的关联关系，对物料字段、工序字段进行构建，包括涉及构建中的层级交互选项，并对层级交互选项涉及的逻辑关系进行构建，并按逻辑关系对层级交互选项进行处理；
依据用户依序处理结果对预期产品模型展开搭建，生成字段涉及产品的工艺路径生产模型。
进一步的，其中，输出层级由大到小的物料字段涉及物料的层级交互选项，对层级交互选项转换为面向人交互的二次判别选项，人工处理层级由大到小的二次判别选项，并按逻辑关系对二次判别选项进行顺序处理，并反馈。
进一步的，所述基于预设工序间、物料间、工序和物料间的关联关系，对物料字段、工序字段进行构建，包括涉及构建中的层级交互选项，并对层级交互选项涉及的逻辑关系进行构建，发送二次判别选项，对二次判别选项进行分析，并按逻辑关系对层级交互选项进行处理，具体为：
包括预训练语言模型，所述预训练语言模型基于训练集数据训练而成，所述训练集数据包括物料字段间的关联关系、工序字段间的关联关系、物料字段与工序字段间的关联关系；
其中，物料字段间的关联关系包括物料的层级关系，工序字段间的关联关系包括工序字段的逻辑关系；
对预训练语言模型输入采集到的物料字段、工序字段，预训练语言模型生成包括物料字段涉及的物料的关联关系、物料字段涉及的相关物料的关联关系、物料字段涉及的物料和工序字段涉及的工序的关联关系、工序字段涉及的工序的关联关系、物料字段涉及的相关物料和工序字段涉及的工序的关联关系；
所述预训练语言模型输出层次交互选项的处理结果，包括三条逻辑关系梳理的输出结果：
物料间的层级逻辑输出结果、工序间的层级逻辑输出结果和物料与工序间的层级逻辑输出结果。
进一步的，所述依据用户依序处理结果对预期产品模型展开搭建，生成字段涉及产品的工艺路径生产模型，包括：
依据预训练语言模型的输出结果，生成产品模型，所述产品模型为可视化的可交互预期产品模型，所述预期产品模型包括产品涉及工艺路径的展开路线、物料的层级关系、物料与工序的实行顺序和物料及工序的对应属性信息。
进一步的，所述可交互预期产品模型包括可交互物料控件模块；
所述可交互物料控件模块包括可交互物料控件模块对应物料或工序的属性数据、关联周边可交互物料控件模块的关联关系和可交互物料控件模块间的属性数据的关联关系。
进一步的，所述基于产品模型与清单间的对应关系输出清单，包括：
基于可交互物料控件模块对应物料或工序的属性数据、关联周边可交互物料控件模块的关联关系和可交互物料控件模块间的属性数据的关联关系，
与所述产品模型与清单间的对应关系输出对应的清单。
第二方面，本申请提供一种基于语音交互的生成清单的装置，包括：
采集模块，用于采集音频数据；
语义分析模块，用于对音频数据语义分析后进行字段抓取；
判别模块，用于依据判别模型对抓取后的字段进行判别并归类，输出带关联信息的字段数据；
联想模块，用于基于字段数据进行联想建模，生成带关联关系的字段数据的产品模型；
输出模块，用于基于产品模型与清单间的对应关系输出清单；
其中，所述判别模块具体用于依据判别模型对字段归类为物料字段、工序字段两大类，物料字段包括字段中物料的品类、层级关系和属性数据，工序字段包括字段中的工序的名称、工序的逻辑顺序和工序的属性数据；
所述联想模块具体用于依据物料字段、工序字段进行联想，组合为字段涉及产品的工艺路径生产模型。
进一步的，所述联想模块具体用于基于预设工序间、物料间、工序和物料间的关联关系，对物料字段、工序字段进行构建，包括涉及构建中的层级交互选项，并对层级交互选项涉及的逻辑关系进行构建，并按逻辑关系对层级交互选项进行处理；
依据用户依序处理结果对预期产品模型展开搭建，生成字段涉及产品的工艺路径生产模型。
进一步的，所述联想模块包括预训练语言模型，所述预训练语言模型基于训练集数据训练而成，所述训练集数据包括物料字段间的关联关系、工序字段间的关联关系、物料字段与工序字段间的关联关系；
其中，物料字段间的关联关系包括物料的层级关系，工序字段间的关联关系包括工序字段的逻辑关系；
对预训练语言模型输入采集到的物料字段、工序字段，预训练语言模型生成包括物料字段涉及的物料的关联关系、物料字段涉及的相关物料的关联关系、物料字段涉及的物料和工序字段涉及的工序的关联关系、工序字段涉及的工序的关联关系、物料字段涉及的相关物料和工序字段涉及的工序的关联关系；
所述预训练语言模型输出层次交互选项的处理结果，包括三条逻辑关系梳理的输出结果：
物料间的层级逻辑输出结果、工序间的层级逻辑输出结果和物料与工序间的层级逻辑输出结果。
本申请提供的一种基于语音交互的生成清单的方法和装置，通过语义分析、字段抓取和联想生成模型，解决了交互困难的问题，帮助用户实现智能化、自动化、高效化的产品模型搭建，利用模型的可交互性和可视化，更利于调整产品的生产规划，实现企业在智能制造环境下的低成本高效益生产。
附图说明
此处所说明的附图用来提供对本申请实施例的进一步理解，构成本申请的一部分，并不构成对本申请实施例的限定。在附图中：
图1为本申请一示例性实施例1提供的一种基于语音交互的生成清单的方法流程图。
图2为本申请一示例性实施例3提供的一种基于语音交互的生成清单的方法流程图。
图3为本申请一示例性实施例2提供的一种基于语音交互的生成清单的装置示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
首先对本申请所涉及的名词进行解释：
工序是指一个(或一组)工人在一个工作地对一个(或几个)劳动对象连续进行生产活动的综合，是组成生产过程的基本单位。根据性质和任务的不同，可分为工艺工序、检验工序、运输工序等。各个工序，按加工工艺过程，可细分为各个工步；按其劳动过程，可细分为若干操作。划分工序所制约的因素有：生产工艺及设备的特点，生产技术的具体要求，劳动分工和劳动生产率能提供的条件。
工艺路径亦称“加工流程”或“生产流程”。指通过一定的生产设备或管道，从原材料投入到成品产出，按顺序连续进行加工的全过程。工艺路径是由工业企业的生产技术条件和产品的生产技术特点决定的。一个完整的工艺路径，通常包括若干道工序。如镶贴砖石工程中，一般要经过拌合砂浆、砖块浸水、打底、贴砖、平缝、表面清扫等工艺过程。可见，工艺路径的基本内容，就是工人利用劳动工具，改变劳动对象的形状、大小、位置、成分、性能等，使其成为预期产品。
物料：对于多数企业来说，它有广义和狭义之分。狭义的物料就是指材料或原料，而广义的物料包括与产品生产有关的所有的物品，如原材料、辅助用品、半成品、成品等。对于制药企业，2010年修订GMP中规定：物料指原料、辅料、包装材料。物料清单（Bill ofMaterials，简称BOM）是描述企业产品组成的技术文件。在加工资本式行业，它表明了产品的总装件、分装件、组件、部件、零件、直到原材料之间的结构关系，以及所需的数量。在化工、制药和食品行业产品组成则对主要原料、中间体、辅助材料及其配方和所需数量的说明。BOM是将用图表示的产品组成改用数据表格的形式表示出来。其中，本申请中提及的物料清单指的是，物料清单，包括订单对应产品中，所有可以称之为物料的所有物料的清单。
本申请中提及的bom清单，是指的是，包括主物料及其对应下级物料的清单，其中，一个bom表单仅包括一种主物料及其对应下级，多个bom表单包括多种主物料及其对应下级。
随着国家智能制造热度持续升温，智能工厂、数字车间建设进入白热化阶段。企业在车间信息化建设基本达成的前提下，对于生产过程自动化、智能化、高效化管控的要求越来越高。
而现有的用户在遇到交互界面不熟悉的情况下，很难开展工作，而又用户本身对该产品或技术领域很熟稔，所以可能会遗漏工序和对上下级物料的陈述，进行产品规划时候，影响到效率；
而当现场缺少相关pc设备和用户熟悉的显示器时，难以开展工作，因此本申请考虑一种基于语音识别的方法去构建产品规划，并生成用户需求清单的方法和装置。
本申请中涉及的模型为基于人语言交流的所依赖的环境，进行RLHF（Reinforcement Learning from Human Feedback）获得的多个训练模型、学习模型和评价模型；
本申请中的预训练语言模型实现的功能包括：
回答问题，即对用户读入的字段涉及的问题进行回复，并且能够理解乱序的字段数据，还能够依据学习对错误的字段意思进行处理，而且在训练该模型的过程中还加入对本申请涉及的物料、工序相关的训练集数据进行学习；
本申请基于该领域的相关数据，进行针对性训练，解决原有模型正确率低的问题；
用户可以通过本申请得到的模型进行调整，还可以通过对过程中的调整过程进行选择，操作过程可以通过语音处理实现；
因此，本申请构思一种通过语音交互的来输入数据用于生成清单的方法，对音频数据进行处理，并根据判别模型来对音频数据对应的字段数据进行处理，包括判别、归类、输出等方式，然后解构得到块状的字段数据，每块字段数据为一块带关联信息的字段数据，并通过判别模型，优先筛选出符合本领域的字段数据，并修正字段数据的代指本领域的物料或工序的主题名称，然后绑定关于该主题名称所对应陈述中的属性数据，包括数量、需求等详细内容数据；工序则涉及工艺要求等；
然后基于联想建模的方式，对其中缺少的工序步骤和物料进行补全、对错误的陈述内容涉及的工序和物料进行修改，构建彼此的关联关系，对字段数据进行打标签的方式，用于对应一段或一次语义数据中涉及的字段数据。
然后将得到的字段数据组合成可以导出的交互类模型，可以是控件模块组成的交互类模型，也可以是二维三维的立体模型，可以搭建在VR或触摸显示器上，配合手势使用，也可以通过语音控制。
该交互类模型即本申请中提及的产品模型。
本申请具体的应用场景是销售端到制造车间之间具备语音采集功能的任何一环节，还可以是远程用户自行填入订单，企业远程接收带用户需求的语音数据，实现本申请的智能化清单生成。
本申请提供的一种基于语音交互的生成清单的方法和装置，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
实施例1：一种基于语音交互的生成清单的方法，图1为本申请一示例性实施例1提供的一种基于语音交互的生成清单的方法流程图，如图1所示，包括：
采集音频数据；
对音频数据语义分析后进行字段抓取；
依据判别模型对抓取后的字段进行判别并归类，输出带关联信息的字段数据；
基于字段数据进行联想建模，生成带关联关系的字段数据的产品模型；
基于产品模型与清单间的对应关系输出清单；
其中，对抓取后的字段进行判别并归类，输出带关联信息的字段数据，基于字段数据进行联想建模，生成带关联关系的字段数据的产品模型的过程具体为：
依据判别模型对字段归类为物料字段、工序字段两大类，物料字段包括字段中物料的品类、层级关系和属性数据，工序字段包括字段中的工序的名称、工序的逻辑顺序和工序的属性数据；
依据物料字段、工序字段进行联想，组合为字段涉及产品的工艺路径生产模型。
本申请实施例1提供的一种可能的实现方式，所述依据物料字段、工序字段进行联想，导出字段涉及产品的工艺路径生产模型，包括：
基于预设工序间、物料间、工序和物料间的关联关系，对物料字段、工序字段进行构建，包括涉及构建中的层级交互选项，并对层级交互选项涉及的逻辑关系进行构建，并按逻辑关系对层级交互选项进行处理；
依据用户依序处理结果对预期产品模型展开搭建，生成字段涉及产品的工艺路径生产模型。
本申请实施例1提供的一种可能的实现方式，其中，输出层级由大到小的物料字段涉及物料的层级交互选项，对层级交互选项转换为面向人交互的二次判别选项，人工处理层级由大到小的二次判别选项，并按逻辑关系对二次判别选项进行顺序处理，并反馈。
本申请实施例1提供的一种可能的实现方式，所述基于预设工序间、物料间、工序和物料间的关联关系，对物料字段、工序字段进行构建，包括涉及构建中的层级交互选项，并对层级交互选项涉及的逻辑关系进行构建，发送二次判别选项，对二次判别选项进行分析，并按逻辑关系对层级交互选项进行处理，具体为：
包括预训练语言模型，所述预训练语言模型基于训练集数据训练而成，所述训练集数据包括物料字段间的关联关系、工序字段间的关联关系、物料字段与工序字段间的关联关系；
其中，物料字段间的关联关系包括物料的层级关系，工序字段间的关联关系包括工序字段的逻辑关系；
对预训练语言模型输入采集到的物料字段、工序字段，预训练语言模型生成包括物料字段涉及的物料的关联关系、物料字段涉及的相关物料的关联关系、物料字段涉及的物料和工序字段涉及的工序的关联关系、工序字段涉及的工序的关联关系、物料字段涉及的相关物料和工序字段涉及的工序的关联关系；
所述预训练语言模型输出层次交互选项的处理结果，包括三条逻辑关系梳理的输出结果：
物料间的层级逻辑输出结果、工序间的层级逻辑输出结果和物料与工序间的层级逻辑输出结果。
本申请实施例1提供的一种可能的实现方式，所述依据用户依序处理结果对预期产品模型展开搭建，生成字段涉及产品的工艺路径生产模型，包括：
依据预训练语言模型的输出结果，生成产品模型，所述产品模型为可视化的可交互预期产品模型，所述预期产品模型包括产品涉及工艺路径的展开路线、物料的层级关系、物料与工序的实行顺序和物料及工序的对应属性信息。
本申请实施例1提供的一种可能的实现方式，所述可交互预期产品模型包括可交互物料控件模块；
所述可交互物料控件模块包括可交互物料控件模块对应物料或工序的属性数据、关联周边可交互物料控件模块的关联关系和可交互物料控件模块间的属性数据的关联关系。
本申请实施例1提供的一种可能的实现方式，所述基于产品模型与清单间的对应关系输出清单，包括：
基于可交互物料控件模块对应物料或工序的属性数据、关联周边可交互物料控件模块的关联关系和可交互物料控件模块间的属性数据的关联关系，
与所述产品模型与清单间的对应关系输出对应的清单。
实施例2，本申请提供一种基于语音交互的生成清单的装置，图3为本申请一示例性实施例2提供的一种基于语音交互的生成清单的装置示意图，如图3所示，包括：
采集模块，用于采集音频数据；
语义分析模块，用于对音频数据语义分析后进行字段抓取；
判别模块，用于依据判别模型对抓取后的字段进行判别并归类，输出带关联信息的字段数据；
联想模块，用于基于字段数据进行联想建模，生成带关联关系的字段数据的产品模型；
输出模块，用于基于产品模型与清单间的对应关系输出清单；
其中，所述判别模块具体用于依据判别模型对字段归类为物料字段、工序字段两大类，物料字段包括字段中物料的品类、层级关系和属性数据，工序字段包括字段中的工序的名称、工序的逻辑顺序和工序的属性数据；
所述联想模块具体用于依据物料字段、工序字段进行联想，组合为字段涉及产品的工艺路径生产模型。
本申请实施例2提供的一种可能的实现方式，所述联想模块具体用于基于预设工序间、物料间、工序和物料间的关联关系，对物料字段、工序字段进行构建，包括涉及构建中的层级交互选项，并对层级交互选项涉及的逻辑关系进行构建，并按逻辑关系对层级交互选项进行处理；
依据用户依序处理结果对预期产品模型展开搭建，生成字段涉及产品的工艺路径生产模型。
本申请实施例2提供的一种可能的实现方式，所述联想模块包括预训练语言模型，所述预训练语言模型基于训练集数据训练而成，所述训练集数据包括物料字段间的关联关系、工序字段间的关联关系、物料字段与工序字段间的关联关系；
其中，物料字段间的关联关系包括物料的层级关系，工序字段间的关联关系包括工序字段的逻辑关系；
对预训练语言模型输入采集到的物料字段、工序字段，预训练语言模型生成包括物料字段涉及的物料的关联关系、物料字段涉及的相关物料的关联关系、物料字段涉及的物料和工序字段涉及的工序的关联关系、工序字段涉及的工序的关联关系、物料字段涉及的相关物料和工序字段涉及的工序的关联关系；
所述预训练语言模型输出层次交互选项的处理结果，包括三条逻辑关系梳理的输出结果：
物料间的层级逻辑输出结果、工序间的层级逻辑输出结果和物料与工序间的层级逻辑输出结果。
实施例3，具体地，本申请提供一种基于语音交互的生成清单的方法，图2为本申请一示例性实施例3提供的一种基于语音交互的生成清单的方法流程图，如图2所示，具体步骤包括：
S100，采集音频数据信息；
S101，处理音频数据为音频文本数据；
S200，对音频文本数据中涉及的字段进行抓取；
S201，对字段数据进行判别、分类；
S300，构建字段数据间层级关系；
例如，即物料之间涉及的上下级关系，在已知的预设数据中对应构建，还包括工序之间的前后级关系构建，还包括相关物料与工序在生产中涉及的前后逻辑关系构建；
S301，生成层级交互选项；
对归类字段数据间的层级关系进行两两比对分析，分析两类字段间是否存在层级关系，然后生成多个层级关系选项，即，存在——上下级或同级，或，不存在；
S302，对层级交互选项之间的逻辑关系进行构建；
即对S301中涉及的是否存在层级关系的问题，对问题产生的逻辑先后顺序进行构建，即字段A与字段B是否存在层级关系为问题一，字段A与字段A1是否存在层级关系为问题二，字段A1与字段B是否存在层级关系为问题三；
问题一、问题二和问题三是否存在逻辑关系，然后是，问题一、问题二和问题三之间存在什么样的逻辑关系，为S302中提及的，对层级交互选项之间的逻辑关系进行构建；
S303，生成针对该层级交互选项逻辑关系的二次判别选项；
其中，二次判别用于区别本申请在S201中提及的判别，该S303中的判别为不同的判别操作，具体如下：
S201中的判别为对字段数据中是否与本领域关联的字段数据进行判别，即筛出无效字段数据，该操作解决了计算量大，占用资源多，计算负荷大的问题；
S303中的二次判别选项为对S302中涉及的多个问题进行判别是否两两存在逻辑关系，并剔除无关联的问题；无关联的问题可能是，字段中涉及非主题名称的其他字段数据包括数量、工艺精度等字段构成的层级关系，该操作技术效果与S201中的判别技术效果一致，但处理操作和处理的输入数据不同；
二次判别选项仅生成与工序、物料字段的层级交互关系。
S304，对二次判别选项进行分析；
其中，由于字段A1是字段A的下级物料，两者均为物料字段，而字段B为工序字段；
问题二涉及同类型物料，问题一、问题三涉及非同类型物料；
S305，按逻辑关系对层级交互选项进行处理；
由于问题二涉及同类型物料，问题一、问题三涉及非同类型物料；
即问题二最优先级处理，确定物料的上下级关系，然后用最基础的也是最下一级的物料字段与工序字段进行逻辑关系分析；即问题三对比问题一，问题三优先处理
因此问题二、问题三、问题一顺序为S305中提及的，对层级交互选项之间的逻辑关系处理结果；
S400，生成产品模型。
依据S300-S305的处理结果，生成可视化的可交互预期产品模型。
本申请提供的一种基于语音交互的生成清单的方法和装置，通过语义分析、字段抓取和联想生成模型，解决了交互困难的问题，帮助用户实现智能化、自动化、高效化的产品模型搭建，利用模型的可交互性和可视化，更利于调整产品的生产规划，实现企业在智能制造环境下的低成本高效益生产。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
本领域内的技术人员应明白，本发明的实施例可提供为方法或装置。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由上面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种基于语音交互的生成清单的方法，其特征在于，包括：
采集音频数据；
对音频数据语义分析后进行字段抓取；
依据判别模型对抓取后的字段进行判别并归类，输出带关联信息的字段数据；
基于字段数据进行联想建模，生成带关联关系的字段数据的产品模型；
基于产品模型与清单间的对应关系输出清单；
其中，对抓取后的字段进行判别并归类，输出带关联信息的字段数据，基于字段数据进行联想建模，生成带关联关系的字段数据的产品模型的过程具体为：
依据判别模型对字段归类为物料字段、工序字段两大类，物料字段包括字段中物料的品类、层级关系和属性数据，工序字段包括字段中的工序的名称、工序的逻辑顺序和工序的属性数据；
依据物料字段、工序字段进行联想，组合为字段涉及产品的工艺路径生产模型。
2.根据权利要求1所述的方法，其特征在于，所述依据物料字段、工序字段进行联想，组合为字段涉及产品的工艺路径生产模型，包括：
基于预设工序间、物料间、工序和物料间的关联关系，对物料字段、工序字段进行构建，包括涉及构建中的层级交互选项，并对层级交互选项涉及的逻辑关系进行构建，并按逻辑关系对层级交互选项进行处理；
依据用户依序处理结果对预期产品模型展开搭建，生成字段涉及产品的工艺路径生产模型。
3.根据权利要求2所述的方法，其特征在于，其中，输出层级由大到小的物料字段涉及物料的层级交互选项，对层级交互选项转换为面向人交互的二次判别选项，人工处理层级由大到小的二次判别选项，并按逻辑关系对二次判别选项进行顺序处理，并反馈。
4.根据权利要求3所述的方法，其特征在于，所述基于预设工序间、物料间、工序和物料间的关联关系，对物料字段、工序字段进行构建，包括涉及构建中的层级交互选项，并对层级交互选项涉及的逻辑关系进行构建，发送二次判别选项，对二次判别选项进行分析，并按逻辑关系对层级交互选项进行处理，具体为：
包括预训练语言模型，所述预训练语言模型基于训练集数据训练而成，所述训练集数据包括物料字段间的关联关系、工序字段间的关联关系、物料字段与工序字段间的关联关系；
其中，物料字段间的关联关系包括物料的层级关系，工序字段间的关联关系包括工序字段的逻辑关系；
对预训练语言模型输入采集到的物料字段、工序字段，预训练语言模型生成包括物料字段涉及的物料的关联关系、物料字段涉及的相关物料的关联关系、物料字段涉及的物料和工序字段涉及的工序的关联关系、工序字段涉及的工序的关联关系、物料字段涉及的相关物料和工序字段涉及的工序的关联关系；
所述预训练语言模型输出层次交互选项的处理结果，包括三条逻辑关系梳理的输出结果：
物料间的层级逻辑输出结果、工序间的层级逻辑输出结果和物料与工序间的层级逻辑输出结果。
5.根据权利要求4所述的方法，其特征在于，所述依据用户依序处理结果对预期产品模型展开搭建，生成字段涉及产品的工艺路径生产模型，包括：
依据预训练语言模型的输出结果，生成产品模型，所述产品模型为可视化的可交互预期产品模型，所述预期产品模型包括产品涉及工艺路径的展开路线、物料的层级关系、物料与工序的实行顺序和物料及工序的对应属性信息。
6.根据权利要求5所述的方法，其特征在于，所述可交互预期产品模型包括可交互物料控件模块；
所述可交互物料控件模块包括可交互物料控件模块对应物料或工序的属性数据、关联周边可交互物料控件模块的关联关系和可交互物料控件模块间的属性数据的关联关系。
7.根据权利要求6所述的方法，其特征在于，所述基于产品模型与清单间的对应关系输出清单，包括：
基于可交互物料控件模块对应物料或工序的属性数据、关联周边可交互物料控件模块的关联关系和可交互物料控件模块间的属性数据的关联关系，
与所述产品模型与清单间的对应关系输出对应的清单。
8.一种基于语音交互的生成清单的装置，其特征在于，包括：
采集模块，用于采集音频数据；
语义分析模块，用于对音频数据语义分析后进行字段抓取；
判别模块，用于依据判别模型对抓取后的字段进行判别并归类，输出带关联信息的字段数据；
联想模块，用于基于字段数据进行联想建模，生成带关联关系的字段数据的产品模型；
输出模块，用于基于产品模型与清单间的对应关系输出清单；
其中，所述判别模块具体用于依据判别模型对字段归类为物料字段、工序字段两大类，物料字段包括字段中物料的品类、层级关系和属性数据，工序字段包括字段中的工序的名称、工序的逻辑顺序和工序的属性数据；
所述联想模块具体用于依据物料字段、工序字段进行联想，组合为字段涉及产品的工艺路径生产模型。
9.根据权利要求8所述的装置，其特征在于，所述联想模块具体用于基于预设工序间、物料间、工序和物料间的关联关系，对物料字段、工序字段进行构建，包括涉及构建中的层级交互选项，并对层级交互选项涉及的逻辑关系进行构建，并按逻辑关系对层级交互选项进行处理；
依据用户依序处理结果对预期产品模型展开搭建，生成字段涉及产品的工艺路径生产模型。
10.根据权利要求9所述的装置，其特征在于，所述联想模块包括预训练语言模型，所述预训练语言模型基于训练集数据训练而成，所述训练集数据包括物料字段间的关联关系、工序字段间的关联关系、物料字段与工序字段间的关联关系；
其中，物料字段间的关联关系包括物料的层级关系，工序字段间的关联关系包括工序字段的逻辑关系；
对预训练语言模型输入采集到的物料字段、工序字段，预训练语言模型生成包括物料字段涉及的物料的关联关系、物料字段涉及的相关物料的关联关系、物料字段涉及的物料和工序字段涉及的工序的关联关系、工序字段涉及的工序的关联关系、物料字段涉及的相关物料和工序字段涉及的工序的关联关系；
所述预训练语言模型输出层次交互选项的处理结果，包括三条逻辑关系梳理的输出结果：
物料间的层级逻辑输出结果、工序间的层级逻辑输出结果和物料与工序间的层级逻辑输出结果。
CN202310666905.1A 2023-06-07 2023-06-07 基于语音交互的生成清单的方法和装置 Active CN116402478B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310666905.1A CN116402478B (zh) 2023-06-07 2023-06-07 基于语音交互的生成清单的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310666905.1A CN116402478B (zh) 2023-06-07 2023-06-07 基于语音交互的生成清单的方法和装置

Publications (2)

Publication Number Publication Date
CN116402478A true CN116402478A (zh) 2023-07-07
CN116402478B CN116402478B (zh) 2023-09-19

Family

ID=87018365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310666905.1A Active CN116402478B (zh) 2023-06-07 2023-06-07 基于语音交互的生成清单的方法和装置

Country Status (1)

Country Link
CN (1) CN116402478B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130211822A1 (en) * 2012-02-14 2013-08-15 Nec Corporation Speech recognition apparatus, speech recognition method, and computer-readable recording medium
CN103605665A (zh) * 2013-10-24 2014-02-26 杭州电子科技大学 一种基于关键词的评审专家智能检索与推荐方法
US8799762B1 (en) * 2009-09-24 2014-08-05 Intuit Inc. Generating forms from user-defined information
US20160110677A1 (en) * 2014-06-30 2016-04-21 Utopia Global, Inc. Systems and techniques for ensuring the integrity of enterprise asset management data
US20170371866A1 (en) * 2016-06-27 2017-12-28 Facebook, Inc. Language model using reverse translations
CN108182229A (zh) * 2017-12-27 2018-06-19 上海科大讯飞信息科技有限公司 信息交互方法及装置
CN109408510A (zh) * 2018-10-19 2019-03-01 中国银行股份有限公司 一种数据模型的规范方法及装置
CN110826194A (zh) * 2019-10-18 2020-02-21 内蒙动力机械研究所 一种固体火箭发动机可靠性数据的建模方法
US20210056508A1 (en) * 2019-08-19 2021-02-25 Siemens Aktiengesellschaft System and method for automatically capturing technology transfer knowledge
CN112668337A (zh) * 2020-12-23 2021-04-16 广州橙行智动汽车科技有限公司 一种语音指令分类方法和装置
US20210142819A1 (en) * 2019-11-13 2021-05-13 Baidu Online Network Technology (Beijing) Co., Ltd. Method, apparatus, device and computer-readable storage medium for voice interaction
CN114327605A (zh) * 2022-03-08 2022-04-12 深圳市城市交通规划设计研究中心股份有限公司 一种基于Vue远程表单生成方法、计算机及存储介质
CN114491277A (zh) * 2022-02-17 2022-05-13 智广海联大数据技术有限公司 基于数据清洗的知识标签赋予与应用方法
CN114691337A (zh) * 2022-04-06 2022-07-01 成都阿普奇科技股份有限公司 一种数字化工厂生产管理系统
CN114840563A (zh) * 2021-02-01 2022-08-02 腾讯科技（深圳）有限公司 一种字段描述信息的生成方法、装置、设备及存储介质
CN115881106A (zh) * 2022-11-07 2023-03-31 浪潮通用软件有限公司 一种基于多场景语义分析的智能填单方法、设备及介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8799762B1 (en) * 2009-09-24 2014-08-05 Intuit Inc. Generating forms from user-defined information
US20130211822A1 (en) * 2012-02-14 2013-08-15 Nec Corporation Speech recognition apparatus, speech recognition method, and computer-readable recording medium
CN103605665A (zh) * 2013-10-24 2014-02-26 杭州电子科技大学 一种基于关键词的评审专家智能检索与推荐方法
US20160110677A1 (en) * 2014-06-30 2016-04-21 Utopia Global, Inc. Systems and techniques for ensuring the integrity of enterprise asset management data
US20170371866A1 (en) * 2016-06-27 2017-12-28 Facebook, Inc. Language model using reverse translations
CN108182229A (zh) * 2017-12-27 2018-06-19 上海科大讯飞信息科技有限公司 信息交互方法及装置
CN109408510A (zh) * 2018-10-19 2019-03-01 中国银行股份有限公司 一种数据模型的规范方法及装置
US20210056508A1 (en) * 2019-08-19 2021-02-25 Siemens Aktiengesellschaft System and method for automatically capturing technology transfer knowledge
CN110826194A (zh) * 2019-10-18 2020-02-21 内蒙动力机械研究所 一种固体火箭发动机可靠性数据的建模方法
US20210142819A1 (en) * 2019-11-13 2021-05-13 Baidu Online Network Technology (Beijing) Co., Ltd. Method, apparatus, device and computer-readable storage medium for voice interaction
CN112668337A (zh) * 2020-12-23 2021-04-16 广州橙行智动汽车科技有限公司 一种语音指令分类方法和装置
CN114840563A (zh) * 2021-02-01 2022-08-02 腾讯科技（深圳）有限公司 一种字段描述信息的生成方法、装置、设备及存储介质
CN114491277A (zh) * 2022-02-17 2022-05-13 智广海联大数据技术有限公司 基于数据清洗的知识标签赋予与应用方法
CN114327605A (zh) * 2022-03-08 2022-04-12 深圳市城市交通规划设计研究中心股份有限公司 一种基于Vue远程表单生成方法、计算机及存储介质
CN114691337A (zh) * 2022-04-06 2022-07-01 成都阿普奇科技股份有限公司 一种数字化工厂生产管理系统
CN115881106A (zh) * 2022-11-07 2023-03-31 浪潮通用软件有限公司 一种基于多场景语义分析的智能填单方法、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李鑫星;陈英义;李道亮;傅泽田;张领先;: "面向移动终端的农业知识文语转换系统", 农业机械学报, no. 01, pages 266 - 271 *
魏群;段国林;蔡瑾;周桂霞;: "STEP模型基于数据仓库的关系数据库映射实现", 机械设计与制造, no. 05, pages 209 - 211 *

Also Published As

Publication number Publication date
CN116402478B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
Lu et al. Standards landscape and directions for smart manufacturing systems
CN101221590A (zh) 定义输入产品的计算机实现的方法
CN107729668A (zh) 基于三维模型的工艺设计协同管理系统及其方法
Hassan Zadeh et al. Integration of process planning and production planning and control in cellular manufacturing
Oztemel et al. A taxonomy of industry 4.0 and related technologies
Larek et al. Industry 4.0 in manual assembly processes–a concept for real time production steering and decision making
Grznar et al. Quick workplace analysis using simulation
Tarigan et al. The effect of procedure change, TQM and ERP implementation to company performance on manufacturing industries
KR102219643B1 (ko) 조선, 플랜트산업 중소 제조업의 생산고도화를 위한 3d 기반 스마트 작업정보 시스템
CN116402478B (zh) 基于语音交互的生成清单的方法和装置
Bejjani et al. Flow chart based information modeling for factory planning
Kibira et al. Framework for standardization of simulation integrated production planning
Elghoneimy et al. Agent-based decision support and simulation for wood products manufacturing
Azizi et al. An integrated model of Kano and quality function deployment for evaluation of lean production tools in assembly environment
Harper et al. New Engineer’s knowledge for success with subcontractors and trade partners
US20130205224A1 (en) Electronic data plate system for collaboration amongst multiple disparate parties
CN116402479B (zh) 基于订单特征识别自动建模生成清单的方法和系统
Schuh et al. Design of production control's behavior
JPH0469136A (ja) 日程管理方法及び装置
Prümmer et al. Periphery evaluation for interlinked manufacturing systems in industrial tooling
Karaz et al. Waste management using lean construction and building infrmoation modelling: systematic literature review
KR20160081246A (ko) Epc 공정률 산출 및 관리 시스템
Heinrich et al. Creating, reinterpreting, combining, cuing: Paper practices on the shopfloor
Gamboa et al. Waste minimization in a concrete block company using lean Six Sigma, ECRS, and TRIZ methods
Kandasamy et al. Using data analytics as a decision support platform for effective production planning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant