CN111353304A - 一种众包测试报告聚合和摘要的方法 - Google Patents
一种众包测试报告聚合和摘要的方法 Download PDFInfo
- Publication number
- CN111353304A CN111353304A CN201811477862.8A CN201811477862A CN111353304A CN 111353304 A CN111353304 A CN 111353304A CN 201811477862 A CN201811477862 A CN 201811477862A CN 111353304 A CN111353304 A CN 111353304A
- Authority
- CN
- China
- Prior art keywords
- test
- report
- reports
- test report
- clustering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3604—Software analysis for verifying properties of programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Development Economics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Educational Administration (AREA)
- Software Systems (AREA)
- Game Theory and Decision Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种众包测试报告聚合和摘要的方法，利用自然语言处理和图片处理的技术，计算测试报告的相似程度，并基于此对测试报告进行层次聚类，展示每个层级聚类的重要信息，最终根据报告的主题特征、开发人员的历史修复记录，自动地把聚类得到的测试报告分配给开发者，以进行测试报告管理和诊断。
Description
技术领域
本发明属于软件工程中程序分析与验证技术领域，尤其是并发软件的分析与验证领域；同时本发明亦属于软件工程中Bug修复验证领域。这些领域主要依托程序静态或动态亦或动静态结合的程序分析技术，对软件的正确性、修复的正确性进行验证。
背景技术
由于众包测试能够提供大量的、不同的、真实场景下的测试结果，众包已经成为一个广受欢迎的移动应用测试方式。和传统的测试方式相比，众包测试通过雇佣许多非专业测试人员的众包工人，在给定的时间内，完成测试任务，并且根据完成的测试任务数量，决定工人报酬。而由于测试报告中存在大量的重复报告，因此需求者通常需要对所有的报告进行诊断。和传统的桌面应用测试相比，移动应用的测试人员更习惯于提交截屏，而不是对异常的文本描述，因此，对移动测试报告的分类、理解和诊断往往非常耗时。
较为广泛使用的Bugzilla和Mantis，都是通过关键词搜索的技术，减少重复报告的数目。然而，由于众包测试报告通常是在有限的时间段内提交的，并且基于多提交报告多报酬的激励，这种基于搜索的特性很少用于众包测试。
目前，在对众包测试进行重复检测的研究工作主要集中在以下三种主要方法:(1)自动聚类测试报告，(2)过滤重复报告，减少测试报告的数量，(3)确定诊断的测试报告优先级。经研究发现，这些不能在重复集群中利用的测试报告信息，对于提供报告理解和调试的额外信息非常有用。基于这些研究基础，本文提出一种众包测试报告聚合和摘要的方法。
发明内容
本发明所要解决的技术问题是：一种众包测试报告聚合和摘要的方法，利用自然语言处理和图片处理两个方面，检测测试报告的重复性并对其进行聚类。
本发明的技术方案为：一种众包测试报告聚合和摘要的方法，利用自然语言处理和图片处理的技术，计算测试报告的相似程度，并基于此对测试报告进行层次聚类，展示每个层级聚类的重要信息，最终根据报告的主题特征、开发人员的历史修复记录，自动地把聚类得到的测试报告分配给开发者，以进行测试报告管理和诊断，包括以下步骤：
1)一种众包测试报告聚合和摘要的方法，定义了一些名词帮助理解和表达：
聚合报告：相似和重复报告集群，总结性的展示最为相关或最为一致的细节；
主报告：能最好地代表一个集群特征的一份测试报告；
补充点：测试报告子群，拥有主报告中没有包含的特征或者主题。
2)对于大量测试报告的重复性检测。由于移动应用众包测试的报告是由文本描述和异常截图组成的，因此，重复报告的检测工作由文本相似性和图片相似性两个部分组成。在文本相似性部分，使用自然语言技术(NLP)处理，从词性标注、停用词删除和相似性计算这三步完成。在图的相似性部分，使用空间金字塔匹配(SPM)算法，提取尺度不变量特征变换 (SIFT)特征，计算卡方距离。文本和图片的双重检测，精确了测试报告的重复性检测，为测试报告的聚类提供基础。
3)确定一个聚类集群的主要报告，并从重复的报告中提取补充的主题。基于重复报告检测中生成的距离矩阵，在聚合的过程，使用网页排名(PageRank)算法来度量集群中每个测试报告的重要性，以进一步确认主报告。
4)总结每个测试报告集群的补充信息。当主报告确定后，该方法将其他报告中的每一句话都和主报告进行对比，标注出不同的地方。然后，采用网页排名算法对标记的句子进行排序，并在集合上进行层次聚类以识别主题。由于在众包测试的过程中，所有被提出的主题都有助于对Bug的理解，因此对于这些非主题的描述，都被认为是补充描述。同时，根据句子聚类的结果，标注出每个报告中的核心句子，以帮助重复的报告进一步聚类。为了帮助用户人工地判断聚类结果的合理性，基于测试报告的聚类还为每一个报告提供了重复关系图。对于一些没被聚类到任何集群的测试报告，这些测试报告被认为揭示了一个明显的Bug。
5)自动将聚合的测试报告分配给开发人员，以实现对测试报告的诊断。在重复测试报告聚类过程中，对于每个测试报告得到的每个加权关键字，与历史版本数据库中的任务分配信息相比较，找到每个集群最为合适的开发解决人员。与传统相似工具手工分配测试报告的方式相比，而本方法将通过最优适配计算，自动向开发人员推送适合其自身能力的异常，开发人员查看确认并思考是否接受对该异常的修改。
对于一些新的报告，可能暂时寻找不到合适的开发者解决，在这种情况下，这就不能通过自动分配的算法，寻找开发解决者，因此对这样的报告，将其推荐者标注为“无”。
6)将重复性检测、聚类和测试人员推荐的过程，以网页的形式可视化。一个聚合的测试报告，不同主题的描述和总结是通过标签云来显示的。可视化的过程主要致力于表达一个单独的测试报告和其他相似测试报告、聚合得到的报告，这之间的重复关系。也就是说，可视化形成的聚合图，不仅仅包括所有聚合测试报告中的关系，还包含一个聚类中，不同主题之间的关系。
附图说明
图1为本发明方法的实施流程图。
图2为重复性检测流程图。
图3为新报告融合过程。
图4为融合和摘要结果。
具体实施方式
1)一种众包测试报告聚合和摘要的方法，定义了一些名词帮助理解和表达：
聚合报告：相似和重复报告集群，总结性的展示最为相关或最为一致的细节；
主报告：能最好地代表一个集群特征的一份测试报告；
补充点：测试报告子群，拥有主报告中没有包含的特征或者主题；
2)对于大量测试报告的重复性检测。由于移动应用众包测试的报告是由文本描述和异常截图组成的，因此，重复报告的检测工作由文本相似性和图片相似性两个部分组成。在文本相似性部分，使用自然语言技术(NLP)处理，从词性标注、停用词删除和相似性计算这三步完成。第一步，使用语言技术平台(LTP)将文本进行分词，并标注词性。第二步，根据停用词表筛选并删除停用词。第三部，将筛选后的词转换为特征向量，使用杰卡德相似系数计算文本相似性。在图片的相似性部分，使用空间金字塔匹配(SPM)算法，提取尺度不变量特征变换(SIFT)特征，计算卡方距离。将文本距离和图片距离进行加权，得到报告相似性。如果相似性大于某阈值，则判断报告相似。文本和图片的双重检测，精确了测试报告的重复性检测，为测试报告的融合提供基础。
3)新提交测试报告的融合。新的测试报告提交后，与已有测试报告进行重复性检测。选取重复度最高的报告所在集群进行融合。
4)确定一个聚类集群的主要报告。基于重复报告检测中生成的距离矩阵，在聚合的过程，使用网页排名(PageRank)算法来度量集群中每个测试报告的重要性，以进一步确认主报告。
5)总结每个测试报告集群的补充信息。当主报告确定后，该方法将报告中的文本以句为粒度进行拆分。将其他报告中的每一句话都和主报告进行对比，标注出不同句子。并对这些与主报告不同的句子进行层次聚类以识别补充点主题。然后，对于相同主题的句子，采用网页排名算法进行排序。由于在众包测试的过程中，所有被提出的主题都有助于对Bug的理解，因此对于这些与主报告不同的主题描述，都被认为是对主报告的补充。同时，根据句子聚类的结果，标注出每个报告中的核心句子，以帮助重复的报告进一步聚类。为了帮助用户判断聚类结果的合理性，基于测试报告的聚类还为每一个报告提供了重复关系图。
6)自动将聚合的测试报告分配给开发人员，以实现对测试报告的诊断。在重复测试报告聚类过程中，对于每个测试报告得到的加权关键字，与历史版本数据库中的任务分配信息相比较，找到每个集群最为合适的开发人员。与传统相似工具手工分配测试报告的方式相比，而本方法将通过最优适配计算，自动向开发人员推送适合其自身能力的异常，开发人员查看确认并思考是否接受对该异常的修改。
对于一些新的报告，可能暂时寻找不到合适的开发者解决，在这种情况下，这就不能通过自动分配的算法，寻找开发解决者，因此对这样的报告，将其推荐者标注为“无”。
7)将重复性检测、聚类和测试人员推荐的过程，以网页的形式可视化。一个聚合的测试报告，包括两个部分，一是环境信息，包括测试设备、操作系统等，二是测试报告部分，包括主报告和补充点。主报告提供一组重复报告所描述缺陷的关键信息。补充点按主题展示，每个主题展示若干个主报告中没有包含的，但与当前缺陷相关的测试报告。不同主题的描述和总结通过标签云来展示。可视化的过程主要致力于表达一个bug的关键信息报告和其他相似测试报告、聚合得到的报告，以及这之间的相关关系。
Claims (6)
1.一种众包测试报告聚合和摘要的方法，其特征是能够根据文本信息和屏幕截图自动检测重复内容，并将重复的测试报告进一步聚类，以汇总并汇总为一个综合的、可理解的汇总报告；在展示不同测试报告集群不同主题的同时，突出显示在每个测试报告聚类的子组中提到的补充主题，并在汇总的报告中显示加权关键字，以协助用户对众包测试报告的管理和诊断；包括以下步骤：
1)根据移动应用测试报告文本描述和截屏相结合的特点，使用文本相似性和屏幕截图相似性，共同度量测试报告的相似性；
2)在报告相似度的基础上，自动地在测试报告上进行聚类，汇总重复的报告；
3)在聚类的基础上，总结和可视化每个测试报告集群的关键信息，包括测试报告主题、补充主题、加权关键字、重复的关系；
4)然后自动将聚合的测试报告分配给开发人员，以帮助测试报告管理和诊断。
2.根据权利要求1所述的一种众包测试报告聚合和摘要的方法，其特征是从大量的测试报告中，检测出重复的测试报告；由于移动应用众包测试的报告是由文本描述和异常截图组成的，因此，重复报告的检测工作由文本相似性和图片相似性两个部分组成；在文本相似性部分，使用自然语言技术(NLP)处理，从词性标注、停用词删除和相似性计算这三步完成；在图的相似性部分，使用空间金字塔匹配(SPM)算法，提取尺度不变量特征变换(SIFT)特征，计算卡方距离；文本和图片的双重检测，精确了测试报告的重复性检测，为测试报告的聚类提供基础。
3.根据权利要求1所述一种众包测试报告聚合和摘要的方法，其特征是确定一个聚类的主要报告，并从重复的报告中提取补充的主题。基于重复报告检测中生成的距离矩阵，在聚合的过程，使用网页排名(PageRank)算法来度量集群中每个测试报告的重要性，以进一步确认主报告。
4.根据权利要求1所述一种众包测试报告聚合和摘要的方法，其特征是总结每个测试报告集群的补充信息。当主报告确定后，该方法将其他报告中的每一句话都和主报告进行对比，标注出不同的地方；然后，采用网页排名算法对标记的句子进行排序，并在集合上进行层次聚类以识别主题；由于在众包测试的过程中，所有被提出的主题都有助于对Bug的理解，因此对于这些非主题的描述，都被认为是补充描述；根据句子聚类的结果，标注出每个报告中的核心句子，以帮助重复的报告进一步聚类；为了帮助用户人工地判断聚类结果的合理性，基于测试报告的聚类还为每一个报告提供了重复关系图；对于有一些没被聚类到任何集群的测试报告，这些测试报告被认为揭示了一个明显的Bug。
5.根据权利要求1所述一种众包测试报告聚合和摘要的方法，其特征是自动将聚合的测试报告分配给开发人员，以实现对测试报告的诊断；在重复测试报告聚类过程中，对于每个测试报告得到的每个加权关键字，与历史版本数据库中的任务分配信息相比较，找到每个集群最为合适的开发解决人员；与传统相似工具手工分配测试报告的方式相比，而本方法将通过最优适配计算，自动向开发人员推送适合其自身能力的异常，开发人员查看确认并思考是否接受对该异常的修改。
6.根据权利要求1所述一种众包测试报告聚合和摘要的方法，其特征是将重复性检测、聚类和测试人员推荐的过程，以网页的形式可视化；一个聚合的测试报告，不同主题的描述和总结是通过标签云来显示的；可视化的过程主要致力于表达一个单独的测试报告和其他相似测试报告、聚合得到的报告，这之间的重复关系；也就是说，可视化形成的聚合图，不仅仅包括所有聚合测试报告中的关系，还包含一个聚类中，不同主题之间的关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811477862.8A CN111353304B (zh) | 2018-12-05 | 2018-12-05 | 一种众包测试报告聚合和摘要的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811477862.8A CN111353304B (zh) | 2018-12-05 | 2018-12-05 | 一种众包测试报告聚合和摘要的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111353304A true CN111353304A (zh) | 2020-06-30 |
| CN111353304B CN111353304B (zh) | 2023-04-18 |
Family
ID=71196679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811477862.8A Active CN111353304B (zh) | 2018-12-05 | 2018-12-05 | 一种众包测试报告聚合和摘要的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111353304B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112416780A (zh) * | 2020-11-25 | 2021-02-26 | 南京大学 | 一种众包测试报告的处理和分类方法 |
| CN112966708A (zh) * | 2021-01-27 | 2021-06-15 | 中国人民解放军陆军工程大学 | 一种基于语义相似度的中文众包测试报告聚类方法 |
| CN113220565A (zh) * | 2021-04-26 | 2021-08-06 | 广东拓思软件科学园有限公司 | 一种众包测试报告的处理方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102262663A (zh) * | 2011-07-25 | 2011-11-30 | 中国科学院软件研究所 | 一种软件缺陷报告修复方法 |
| CN108090234A (zh) * | 2018-01-12 | 2018-05-29 | 扬州大学 | 一种面向软件缺陷的信息网络自动构建方法 |
| CN108304328A (zh) * | 2018-02-05 | 2018-07-20 | 苏州大学 | 一种众包测试报告的文本描述生成方法、系统及装置 |
-
2018
- 2018-12-05 CN CN201811477862.8A patent/CN111353304B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102262663A (zh) * | 2011-07-25 | 2011-11-30 | 中国科学院软件研究所 | 一种软件缺陷报告修复方法 |
| CN108090234A (zh) * | 2018-01-12 | 2018-05-29 | 扬州大学 | 一种面向软件缺陷的信息网络自动构建方法 |
| CN108304328A (zh) * | 2018-02-05 | 2018-07-20 | 苏州大学 | 一种众包测试报告的文本描述生成方法、系统及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李楠;王晓博;刘超;: "自动分析软件缺陷报告间相关性的方法研究" * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112416780A (zh) * | 2020-11-25 | 2021-02-26 | 南京大学 | 一种众包测试报告的处理和分类方法 |
| CN112416780B (zh) * | 2020-11-25 | 2022-03-25 | 南京大学 | 一种众包测试报告的处理和分类方法 |
| CN112966708A (zh) * | 2021-01-27 | 2021-06-15 | 中国人民解放军陆军工程大学 | 一种基于语义相似度的中文众包测试报告聚类方法 |
| CN112966708B (zh) * | 2021-01-27 | 2024-05-28 | 中国人民解放军陆军工程大学 | 一种基于语义相似度的中文众包测试报告聚类方法 |
| CN113220565A (zh) * | 2021-04-26 | 2021-08-06 | 广东拓思软件科学园有限公司 | 一种众包测试报告的处理方法及装置 |
| CN113220565B (zh) * | 2021-04-26 | 2022-05-27 | 广东拓思软件科学园有限公司 | 一种众包测试报告的处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111353304B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fan et al. | The impact of mislabeled changes by szz on just-in-time defect prediction | |
| Wang et al. | Images don’t lie: Duplicate crowdtesting reports detection with screenshot information | |
| Yan et al. | Automating change-level self-admitted technical debt determination | |
| Ramdhani et al. | Verification of research logical framework based on literature review | |
| Van Der Meer | Automated content analysis and crisis communication research | |
| Yusop et al. | Reporting usability defects: A systematic literature review | |
| Weller | Lessons from three years of inspection data (software development) | |
| Chuang et al. | TopicCheck: Interactive alignment for assessing topic model stability | |
| CN111353304B (zh) | 一种众包测试报告聚合和摘要的方法 | |
| KR101953190B1 (ko) | 복잡한 양자 또는 다자 상대방 관계를 탐색하기 위해 이용되는 다차원 재귀적 학습 과정 및 시스템 | |
| Mgala et al. | Data-driven intervention-level prediction modeling for academic performance | |
| Liu et al. | Generating descriptions for screenshots to assist crowdsourced testing | |
| CN113779261B (zh) | 知识图谱的质量评价方法、装置、计算机设备及存储介质 | |
| Ceolin et al. | Capturing the ineffable: Collecting, analysing, and automating web document quality assessments | |
| Herraiz et al. | Impact of installation counts on perceived quality: A case study on debian | |
| Papas et al. | Combining clustering and classification for software quality evaluation | |
| CN110765007A (zh) | 一种面向安卓应用的崩溃信息线上分析方法 | |
| Ostrand et al. | A Tool for Mining Defect-Tracking Systems to Predict Fault-Prone Files. | |
| US20230273964A1 (en) | Apparatus and method for evaluating search engine performance, and dashboard | |
| CN115934548A (zh) | 一种基于信息检索的语句级软件缺陷定位方法及系统 | |
| Jubair et al. | A multi‐agent K‐means with case‐based reasoning for an automated quality assessment of software requirement specification | |
| Sadiq et al. | On the Evolutionary Relationship between Change Coupling and Fix-Inducing Changes. | |
| Hauptmann et al. | Can clone detection support test comprehension? | |
| Vieira et al. | Bayesian analysis of bug-fixing time using report data | |
| Zhi et al. | Quality assessment for large-scale industrial software systems: Experience report at Alibaba |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211008 Address after: 518000 903a, building 10, Shenzhen Bay science and technology ecological park, No. 10, Gaoxin South ninth Road, Gaoxin community, Yuehai street, Nanshan District, Shenzhen, Guangdong Applicant after: Shenzhen Muzhi Technology Co.,Ltd. Address before: Room 1302, 301 Hanzhongmen street, Gulou District, Nanjing City, Jiangsu Province, 210000 Applicant before: NANJING MUCE INFORMATION TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |