CN115757843B - 影像标注方法、装置、终端设备以及存储介质 - Google Patents

影像标注方法、装置、终端设备以及存储介质 Download PDF

Info

Publication number
CN115757843B
CN115757843B CN202310029828.9A CN202310029828A CN115757843B CN 115757843 B CN115757843 B CN 115757843B CN 202310029828 A CN202310029828 A CN 202310029828A CN 115757843 B CN115757843 B CN 115757843B
Authority
CN
China
Prior art keywords
image
digital
resource
images
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310029828.9A
Other languages
English (en)
Other versions
CN115757843A (zh
Inventor
赵淦森
林成创
吴晓源
蔡斯凯
徐文枫
莫泽枫
刘添翼
李茂源
王友群
林子明
老晋平
周俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202310029828.9A priority Critical patent/CN115757843B/zh
Publication of CN115757843A publication Critical patent/CN115757843A/zh
Application granted granted Critical
Publication of CN115757843B publication Critical patent/CN115757843B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本申请提供一种影像标注方法、装置、终端设备以及存储介质,通过对经过特定处理后的影像数字文件进行打印处理,得到影像纸质文件,能够利用数码笔对影像纸质文件中的影像进行标注处理,进而提高对影像进行标注的效率,而且使得所描绘出的影像内容的轮廓线条更加流畅和自然,进而提高影像的标注质量;再通过响应于数码笔对影像纸质文件中的影像进行标注处理,获取数码笔的运动轨迹信息,以及与影像纸质文件对应的序列标识和资源标识,能够根据序列标识、资源标识和运动轨迹信息,在终端设备上映射出数码笔在影像纸质文件中对影像进行标注处理而得到的标注结果。因此,本申请实施例能够提高对影像标注的效率,以及影像的标注质量。

Description

影像标注方法、装置、终端设备以及存储介质
技术领域
本申请实施例涉及但不限于图像处理技术领域,尤其涉及一种影像标注方法、装置、终端设备以及存储介质。
背景技术
在图像处理领域,尤其是基于使用标注图像数据进行训练的深度学习图像处理领域,为了训练满足特定用途(例如医学影像AI(Artificial Intelligence,人工智能)诊断)的人工智能模型,需要完成大量的影像标注工作,构建影像标注数据库(例如医学影像标注数据库),并利用该影像标注数据库训练该应用于图像处理方面的人工智能模型。在图像标注的相关技术中,通常借助计算机的鼠标和键盘对影像进行标注,然而,这种借助计算机的鼠标和键盘对影像进行标注的方式,降低了对影像进行标注的效率,而且通过计算机的鼠标和键盘所描绘图像的内容轮廓线条不够流畅和自然,严重限制了影像的标注效率和质量。
发明内容
本申请实施例提供了一种影像标注方法、装置、终端设备以及存储介质,能够提高对影像进行标注的效率,以及影像的标注质量。
第一方面,本申请实施例提供了一种影像标注方法,包括:
获取待标注的影像;
获取资源库中的数字编码资源,其中,所述数字编码资源标注有资源标识;
在所述数字编码资源中对所述待标注的影像进行数字编码,得到数字编码后的影像数字文件,所述影像数字文件包括序列标识和所述资源标识,所述序列标识结合所述资源标识与所述影像相对应;
对所述影像数字文件进行打印处理,得到影像纸质文件;
响应于数码笔对所述影像纸质文件中的所述影像进行标注处理,获取数码笔的运动轨迹信息,以及与所述影像纸质文件对应的所述序列标识和所述资源标识;
根据所述序列标识、所述资源标识和所述运动轨迹信息,得到所述影像的标注结果。
可选地,在本申请的一个实施例中,所述待标注的影像有多个,所述在所述数字编码资源中对所述待标注的影像进行数字编码,得到数字编码后的影像数字文件,包括:
在同一个所述数字编码资源中对多个所述待标注的影像进行数字编码,得到多个所述影像数字文件,其中,同一所述数字编码资源对应的不同的所述影像数字文件对应有不同的所述序列标识,同一个所述数字编码资源对应的不同的所述影像数字文件对应有相同的所述资源标识。
可选地,在本申请的一个实施例中,所述在所述数字编码资源中对所述待标注的影像进行数字编码,得到数字编码后的影像数字文件,包括:
对所述数字编码资源进行编码,得到扩容后的数字编码资源,其中,所述扩容后的数字编码资源包括二维数组;
确定所述待标注的影像对应的所述序列标识;
将所述序列标识填写于所述扩容后的数字编码资源中的所述二维数组;
在填写了所述序列标识的所述扩容后的数字编码资源中,对与所述序列标识对应的所述待标注的影像进行数字编码,得到所述数字编码后的影像数字文件。
可选地,在本申请的一个实施例中,所述根据所述序列标识、所述资源标识和所述运动轨迹信息,得到所述影像的标注结果,包括:
根据所述序列标识和所述资源标识确定对应的所述影像数字文件以及所述影像数字文件中的所述影像;
确定所述影像在所述影像数字文件中的影像位置信息,以及所述影像的影像像素信息;
根据所述运动轨迹信息、所述影像位置信息和所述影像像素信息,确定所述数码笔的笔尖在所述影像中的目标位置信息;
根据所述目标位置信息,得到所述影像的标注结果。
可选地,在本申请的一个实施例中,所述数码笔有多个,不同的数码笔有对应的唯一标识;所述待标注的影像标注有影像标识;
所述响应于数码笔对所述影像纸质文件中的所述影像进行标注处理之后,还包括:
获取所述数码笔标注所述影像时的标注时间,以及所述数码笔的数码笔标识;
所述根据所述序列标识、所述资源标识和所述运动轨迹信息,得到所述影像的标注结果之后,还包括:
响应于所述影像纸质文件中的所述影像被提交,将所述被提交的影像的所述序列标识、所述资源标识、所述影像标识、所述标注时间以及所述数码笔标识进行关联处理,得到所述被提交的影像的影像信息;
将所述影像信息添加至数据库中进行保存处理。
可选地,在本申请的一个实施例中,所述影像标注方法还包括:
响应于所述数字编码资源对应的所有的所述影像纸质文件中的所述影像被提交,将所述影像纸质文件对应的数字编码资源添加至所述资源库中。
可选地,在本申请的一个实施例中,所述获取待标注的影像,包括:
确定所述待标注的影像的影像数量;
当所述影像数量小于预设数量,获取所有的所述待标注的影像;或者,当所述影像数量大于或者等于所述预设数量,获取所述预设数量的所述待标注的影像。
第二方面,本申请实施例还提供了一种影像标注装置,包括:
第一获取模块,用于获取待标注的影像;
第二获取模块,用于获取资源库中的数字编码资源,其中,所述数字编码资源标注有资源标识;
数字编码模块,用于在所述数字编码资源中对所述待标注的影像进行数字编码,得到数字编码后的影像数字文件,所述影像数字文件包括序列标识和所述资源标识,所述序列标识结合所述资源标识与所述影像相对应;
打印模块,用于对所述影像数字文件进行打印处理,得到影像纸质文件;
第三获取模块,用于响应于数码笔对所述影像纸质文件中的所述影像进行标注处理,获取数码笔的运动轨迹信息,以及与所述影像纸质文件对应的所述序列标识和所述资源标识;
标注结果生成模块,用于根据所述序列标识、所述资源标识和所述运动轨迹信息,得到所述影像的标注结果。
第三方面,本申请实施例还提供了一种终端设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上第一方面所述的影像标注方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行如上第一方面所述的影像标注方法。
本申请实施例包括:通过获取待标注的影像,获取资源库中的标注有资源标识的数字编码资源,在标注有资源标识的数字编码资源中对待标注的影像进行数字编码,得到包括有序列标识和资源标识的数字编码后的影像数字文件,其中,序列标识结合资源标识与影像相对应,对影像数字文件进行打印处理,得到影像纸质文件,能够利用数码笔对影像纸质文件中的影像进行标注处理,进而提高对影像进行标注的效率,而且使得所描绘出的影像内容的轮廓线条更加流畅和自然,进而提高影像的标注质量;再通过响应于数码笔对影像纸质文件中的影像进行标注处理,获取数码笔的运动轨迹信息,以及与影像纸质文件对应的序列标识和资源标识,能够根据序列标识、资源标识和运动轨迹信息,在终端设备上映射出数码笔在影像纸质文件中对影像进行标注处理而得到的标注结果。因此,本申请实施例能够提高对影像进行标注的效率,以及影像的标注质量。
附图说明
图1是本申请一个实施例提供的影像标注方法的流程图;
图2是图1中步骤S130的一种具体方法的流程图;
图3是图1中步骤S160的一种具体方法的流程图;
图4为本申请一个实施例提供的影像数字文件的示意图;
图5是本申请另一个实施例提供的影像标注方法的流程图;
图6是本申请另一个实施例提供的终端设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图的描述中,两个或者两个以上(或多项)的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到“第一”、“第二”等只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
值得注意的是,影像的标注是开展基于深度学习的人工智能的基础。相关技术中,根据任务的不同,影像的标注主要分成影像的分类标注(例如医学应用中用于区分是否有癌)、影像的语义分割标注(例如医学应用中用于区分同一影像中的肝组织、肺组织、癌组织等)、影像的实例标注(例如医学应用中同一个影像中标识不同病灶的边界)等。
对于影像的分类标注主要是给图像一个标签,该标签代表图像的类别,这类型的任务是影像处理任务中的最基础任务;对于影像的语义分割标注和实例标注,通常使用计算机算法或者模型先对图像进行初次标注,然后在标注系统中使用鼠标进行描线的方式进行标注。但是,对于组织边缘的描绘通过将若干个点进行直线连接,这不仅使得所描绘的线条不够流畅和自然,还降低了对影像进行标注的效率,以及提高了标注成本。
基于此,本申请提供了一种影像标注方法,通过获取待标注的影像,获取资源库中的标注有资源标识的数字编码资源,在标注有资源标识的数字编码资源中对待标注的影像进行数字编码,得到包括有序列标识和资源标识的数字编码后的影像数字文件,其中,序列标识结合资源标识与影像相对应,对影像数字文件进行打印处理,得到影像纸质文件,能够利用数码笔对影像纸质文件中的影像进行标注处理,进而提高对影像进行标注的效率,而且使得所描绘出的影像内容的轮廓线条更加流畅和自然,进而提高影像的标注质量;再响应于数码笔对影像纸质文件中的影像进行标注处理,获取数码笔的运动轨迹信息,以及与影像纸质文件对应的序列标识和资源标识,能够根据序列标识、资源标识和运动轨迹信息,在终端设备上映射出数码笔在影像纸质文件中对影像进行标注处理而得到的标注结果。因此,本申请实施例能够提高对影像进行标注的效率,以及影像的标注质量。
下面结合附图,对本申请实施例作进一步阐述。
如图1所示,图1是本申请一个实施例提供的影像标注方法的流程图,该影像标注方法包括但不限于步骤S110、步骤S120、步骤S130、步骤S140、步骤S150和步骤S160。
步骤S110:获取待标注的影像。
在一实施例中,获取待标注的影像,具体可以是确定待标注的影像的影像数量,当影像数量小于预设数量,获取所有的待标注的影像;或者,当影像数量大于或者等于预设数量,获取预设数量的待标注的影像。其中,预设数量可以是2、3或者5等等,可以根据实际情况设置,本申请实施例对此不作具体限制。
比如,假设影像数量为4,预设数量为7,那么可以获取所有的待标注的影像;又如,假设影像数量为8,预设数量为6,那么可以先获取6张待标注的影像,再获取2张待标注的影像,等等,本申请实施例对此不作具体限制。
步骤S120:获取资源库中的数字编码资源,其中,数字编码资源标注有资源标识。
其中,数字编码资源为设置有按照一定的算法规则排列而成的阵列的二维数字阵列资源,该数字阵列可用于表征坐标参数信息,以保证数码笔在由数字编码资源生成的影像数字文件所打印出的影像纸质文件上运动时,能够准确的记录数码笔的运动轨迹信息。
步骤S130:在数字编码资源中对待标注的影像进行数字编码,得到数字编码后的影像数字文件,影像数字文件包括序列标识和资源标识,序列标识结合资源标识与影像相对应。
在一实施例中,假设待标注的影像有多个,可以在同一个数字编码资源中对多个待标注的影像进行数字编码,得到多个数字编码后的影像数字文件,其中,同一数字编码资源对应的不同的影像数字文件对应有不同的序列标识,同一个数字编码资源对应的不同的影像数字文件对应有相同的资源标识。可以理解的是,在本申请实施例中,通过在同一个数字编码资源中对多个待标注的影像进行数字编码,可以节省数字编码资源,进而可以在有限的数字编码资源的情况下,实现大规模影像的数字编码映射工作,同时降低影像数字文件的生产成本。
在一实施例中,在数字编码资源中对待标注的影像进行数字编码,得到数字编码后的影像数字文件,具体可以是调用数字编码的SDK(Software Development Kit,软件开发工具包)对待标注的影像进行数字编码,得到数字编码后的影像数字文件。比如,当在同一个数字编码资源中对多个待标注的影像进行数字编码时,可以调用数字编码的SDK,并根据资源标识、序列标识以及影像标识对待标注的影像进行数字编码,得到数字编码后的影像数字文件,其中,影像标识为待标注的影像的标识信息。又如,当在一个数字编码资源中只对一个待标注的影像进行数字编码时,可以调用数字编码的SDK,并根据资源标识以及影像标识对待标注的影像进行数字编码,得到数字编码后的影像数字文件;或者,可以调用数字编码的SDK,并根据序列标识以及影像标识对待标注的影像进行数字编码,得到数字编码后的影像数字文件,等等,本申请实施例对此不作具体限制。
步骤S140:对影像数字文件进行打印处理,得到影像纸质文件。
其中,可以将影像数字文件打印在普通的纸张上(例如A4纸),在此不作具体限制。
在一实施例中,在影像数字文件生成后,该影像数字文件将会被自动发送至打印机进行打印处理,得到影像纸质文件;或者,通过人为操作将影像数字文件发送至打印机进行打印处理,得到影像纸质文件,等等,本申请实施例对此不作具体限制。另外,还可以对影像数字文件进行批量打印,以提高处理效率。
步骤S150:响应于数码笔对影像纸质文件中的影像进行标注处理,获取数码笔的运动轨迹信息,以及与影像纸质文件对应的序列标识和资源标识。
其中,影像纸质文件中的序列标识与该影像纸质文件对应的影像数字文件中的序列标识相同,影像纸质文件中的资源标识与该影像纸质文件对应的影像数字文件中的资源标识相同。
其中,运动轨迹信息可以是数码笔的笔尖在影像纸质文件中的位置信息(比如坐标信息),可以理解的是,运动轨迹信息即是数码笔的笔尖所识别到的影像的像素点在影像纸质文件中的位置信息。数码笔可以是阵列编码识别数码笔,数码笔内置有压力传感器、处理器、阵列编码识别摄像头、存储模块和通讯模块等,摄像头为可识别阵列编码的高速摄像头。具体地,当压力传感器接收到压力信号后,启动摄像头,该摄像头通过识码的方式获取笔尖经过的位置信息(即数码笔对影像纸质文件中的影像进行标注处理),记录笔尖在标注过程中的横坐标和纵坐标(即运动轨迹信息),即记录数码笔所标注的每一个像素点在影像纸质文件中的坐标信息,从而实现数码笔的运动轨迹信息的精确采集。而处理器可以记录数码笔的笔尖运动的时间戳。另外,终端设备可以通过两种方式获取数码笔的运动轨迹信息,其中,一种是实时获取,即数码笔内置的处理器实时将运动轨迹信息发送至终端设备,以使数码笔对影像纸质文件中的影像进行标注处理而得到的运动轨迹信息同步显示于终端设备,便于标注人员掌握标注情况;另一种是非实时获取,即数码笔内置的处理器将运动轨迹信息缓存至存储模块,根据设定时间、终端设备的运动轨迹信息获取请求或者其他方式,将存储模块所缓存的运动轨迹信息发送至终端设备,本申请实施例对此不作具体限制。
在一实施例中,可以通过有线方式获取数码笔的运动轨迹信息,或者可以通过蓝牙、红外、Wifi等无线方式获取数码笔的运动轨迹信息,本申请实施例对此不作具体限制。
在一实施例中,数码笔对影像纸质文件中的影像的标注方式可以包括但不限于打钩“√”、画“×”、涂画或者其他标注方式,本申请实施例对此不作具体限制。
步骤S160:根据序列标识、资源标识和运动轨迹信息,得到影像的标注结果。
其中,标注结果为在终端设备上映射出数码笔在影像纸质文件中所标注的影像内容的轮廓线条。
本实施例中,通过采用包括上述步骤S110至步骤S160的影像标注方法,通过获取待标注的影像,获取资源库中的标注有资源标识的数字编码资源,在标注有资源标识的数字编码资源中对待标注的影像进行数字编码,得到包括有序列标识和资源标识的数字编码后的影像数字文件,其中,序列标识结合资源标识与影像相对应,对影像数字文件进行打印处理,得到影像纸质文件,能够利用数码笔对影像纸质文件中的影像进行标注处理,进而提高对影像进行标注的效率,而且使得所描绘出的影像内容的轮廓线条更加流畅和自然,进而提高影像的标注质量,使得所标注出的影像的轮廓更加拟合组织的边缘;再通过响应于数码笔对影像纸质文件中的影像进行标注处理,获取数码笔的运动轨迹信息,以及与影像纸质文件对应的序列标识和资源标识,能够根据序列标识、资源标识和运动轨迹信息,在终端设备上映射出数码笔在影像纸质文件中对影像进行标注处理而得到的标注结果。因此,本申请实施例能够提高对影像进行标注的效率,以及影像的标注质量。
参照图2,本申请的一个实施例,对步骤S130进行进一步的说明,步骤S130可以包括但不限于有步骤S210、步骤S220、步骤S230和步骤S240。
步骤S210:对数字编码资源进行编码,得到扩容后的数字编码资源,其中,扩容后的数字编码资源包括二维数组。
其中,对数字编码资源进行编码,得到扩容后的数字编码资源,可以是通过图像再编码算法在数字编码资源中设置二维数组,其中,该二维数组可以是n行m列数组,即可以在扩容后的数字编码资源中对个待标注的影像进行数字编码,n与m均为自然数,n可以是1、......或者9等等,m也可以是1、......或者9等等,在此不作具体限制。
步骤S220:确定待标注的影像对应的序列标识。
步骤S230:将序列标识填写于扩容后的数字编码资源中的二维数组。
步骤S240:在填写了序列标识的扩容后的数字编码资源中,对与序列标识对应的待标注的影像进行数字编码,得到数字编码后的影像数字文件。
本实施例中,通过采用包括上述步骤S210至步骤S240的影像标注方法,通过对数字编码资源进行编码,得到包括二维数组的扩容后的数字编码资源,然后确定待标注的影像对应的序列标识,再将序列标识填写于扩容后的数字编码资源中的二维数组,最后在填写了序列标识的扩容后的数字编码资源中,对与序列标识对应的待标注的影像进行数字编码,得到数字编码后的影像数字文件,即是说,每次在扩容后的数字编码资源中对待标注的影像进行数字编码之前,通过将与待标注的影像对应的序列标识填写于扩容后的数字编码资源中的二维数组,能够通过序列标识在同一个数字编码资源中确定对应的待标注的影像,以达到在同一个数字编码资源中对多个待标注的影像进行数字编码的目的,节省了数字编码资源,进而可以在有限的数字编码资源的情况下,实现大规模影像的数字编码映射工作,同时能够降低影像数字文件的生产成本。
参照图3,本申请的一个实施例,对步骤S160进行进一步的说明,步骤S160可以包括但不限于有步骤S310、步骤S320、步骤S330和步骤S340。
步骤S310:根据序列标识和资源标识确定对应的影像数字文件以及影像数字文件中的影像。
可以理解的是,在数字编码资源有多个,且可以在一个数字编码资源对多个待标注的影像进行数字编码的情况下,可以根据序列标识和资源标识确定对应的影像。其中,不同的数字编码资源对应有不同的资源标识。
步骤S320:确定影像在影像数字文件中的影像位置信息,以及影像的影像像素信息。
其中,确定影像在影像数字文件中的影像位置信息,即以影像数字文件为参考系,确定影像的影像位置信息。该影像位置信息可以是影像左上角的顶点坐标以及右下角的顶点坐标;或者,可以是影像右上角的顶点坐标以及左下角的顶点坐标;或者,可以是影像左上角的顶点坐标、左下角的顶点坐标、右上角的顶点坐标以及右下角的顶点坐标;或者,可以是影像中点的坐标,以及影像的长度和宽度,等等,本申请实施例对此不作具体限制。影像像素信息可以是影像的宽度的像素数量,以及影像的高度的像素数量。
步骤S330:根据运动轨迹信息、影像位置信息和影像像素信息,确定数码笔的笔尖在影像中的目标位置信息。
其中,影像位置信息可以是预先设定的。
可以理解的是,可以根据运动轨迹信息、影像位置信息和影像像素信息进行影像的像素点的相对位置的转换,即通过数码笔识别影像中的像素点在影像纸质文件中的绝对坐标,能够对应至对应的影像中的目标位置信息,其中,目标位置信息是以影像为参考系,该影像中的像素点的坐标。
可以理解的是,笔尖在影像中的目标位置信息,可以是以影像为参考系,笔尖所识别到的影像中的任意一个像素点的坐标;也可以是以影像为参考系,笔尖所识别到的影像中的所有像素点的坐标的集合。
在一实施例中,以目标位置信息为以影像为参考系,笔尖所识别到的影像中的任意一个像素点的坐标为例,假设影像像素信息表征影像的宽度为W个像素,以及影像的高度为H个像素,影像位置信息包括影像左上角的顶点坐标,以及右下角的顶点坐标,运动轨迹信息为,,则目标位置信息可以通过如下公式表示:
其中,表示笔尖在影像中的横坐标,表示笔尖在影像中的纵坐标,目标位置信息为。可以理解的是,在本申请实施例中,目标位置信息为笔尖所识别到的影像中的任意一个像素点的坐标。
相应地,在数字编码资源中对待标注的影像进行数字编码的过程中,需要进行位置映射处理。具体地,可以先确定影像中的像素点在影像中的位置信息,影像像素信息以及影像位置信息,若影像中的任意一个像素点在影像中的位置信息(即目标位置信息)为,影像像素信息表征影像的宽度为W个像素,以及影像的高度为H个像素,影像位置信息包括影像左上角的顶点坐标,以及右下角的顶点坐标,则影像中的像素点在影像数字文件中的位置信息可以通过下式进行计算:
其中,表示影像中的像素点在影像数字文件中的横坐标,表示影像中的像素点在影像数字文件中的纵坐标,该像素点在影像数字文件中的位置信息为,
可以理解的是,影像中的像素点在影像数字文件中的位置信息相当于运动轨迹信息。
步骤S340:根据目标位置信息,得到影像的标注结果。
其中,当目标位置信息为以影像为参考系,笔尖所识别到的影像中的任意一个像素点的坐标,将该影像中的所有目标位置信息的集合作为影像的标注结果;当目标位置信息为以影像为参考系,笔尖所识别到的影像中的所有像素点的坐标的集合,将该目标位置信息作为影像的标注结果,本申请实施例对此不作具体限制。
本实施例中,通过采用包括上述步骤S310至步骤S340的影像标注方法,因此,可以根据序列标识和资源标识确定对应的影像数字文件以及影像数字文件中的影像,接着确定该影像在影像数字文件中的影像位置信息,以及影像的影像像素信息,然后根据运动轨迹信息、影像位置信息和影像像素信息,确定数码笔的笔尖在影像中的目标位置信息,最后根据目标位置信息,得到影像的标注结果,因此,本申请实施例可以在终端设备上映射出数码笔在影像纸质文件中对影像进行标注处理而得到的标注结果。
在一实施例中,在数码笔有多个,不同的数码笔对应有不同的数码笔标识,且待标注的影像标注有影像标识的情况下,执行步骤S150之后,该影像标注方法还包括但不限于以下步骤:
获取数码笔标注影像时的标注时间,以及数码笔的数码笔标识。
执行步骤S160之后,该影像标注方法还包括但不限于以下步骤:
响应于影像纸质文件中的影像被提交,将被提交的影像的序列标识、资源标识、影像标识、标注时间以及数码笔标识进行关联处理,得到被提交的影像的影像信息;
将影像信息添加至数据库中进行保存处理。
本实施例中,在数码笔有多个,不同的数码笔对应有不同的数码笔标识,且待标注的影像标注有影像标识的情况下,当响应于数码笔对影像纸质文件中的影像进行标注处理,可以获取数码笔标注影像时的标注时间,以及数码笔的数码笔标识,然后在根据序列标识、资源标识和运动轨迹信息,得到影像的标注结果之后,当响应于影像纸质文件中的影像被提交,可以将被提交的影像的序列标识、资源标识、影像标识、标注时间以及数码笔标识进行关联处理,得到被提交的影像的影像信息,并将影像信息添加至数据库中进行保存处理,以便于后续从数据库中获取影像信息进行溯源。
在一实施例中,当发现标注结果与原始的影像存在较大的偏差时,可以根据该影像的影像信息中的标注时间以及数码笔标识确定该标注结果的标注人员,进而能够对该标注人员进行相应的处罚;或者,可以根据该影像的影像信息中的标注时间以及数码笔标识确定各个标注结果的标注人员,进而对该标注人员进行相应的奖励,等等,本申请实施例对此不作具体限制。
在一实施例中,响应于数字编码资源对应的所有的影像纸质文件中的影像被提交,将影像纸质文件对应的数字编码资源添加至资源库中。可以理解的是,数字编码资源是非常昂贵且可以重复利用的资源,因此,通过将影像纸质文件对应的数字编码资源添加至资源库,可以重复使用该数字编码资源,同时可以降低对影像进行标注过程中的所产生的花销。
具体地,参考图4,图4为本申请一个实施例提供的影像数字文件的示意图,其中,待标注的影像位于在影像数字文件的中间区域,该影像中显示有多个染色体实例。在影像数字文件的上方有一个4行8列的二维数组,在该二维数组中,灰色小方格中的数字所组成的序列5343为序列标识,通过该二维数组可知,在该影像数字文件对应的数字编码资源中可以对84个待标注的影像进行数字编码。在影像数字文件的左边缘设置有“确认”、“提交”、“1”以及“2”等参数,每当完成一个染色体实例的标注,可以点击“确认”,当完成所有染色体实例的标注时,可以点击“提交”,此时,终端设备可以将该被提交的影像的序列标识、资源标识、影像标识、标注时间以及数码笔标识进行关联处理,得到被提交的影像的影像信息,将影像信息添加至数据库中进行保存处理;若该被提交的影像为占用该数字编码资源的最后一个影像,则终端设备可以响应于数字编码资源对应的所有的影像纸质文件中的影像被提交,将影像纸质文件对应的数字编码资源添加至资源库中。另外,还可以在影像数字文件中标注影像的影像标识、标注人、标注时间以及标注该影像的累计时长等信息,本申请实施例对此不作具体限制。
针对上述实施例所提供的信息传输方法,下面以具体的示例进行详细的描述:
参照图5,首先,系统判断待标注的影像的影像集合U1是否为空,如果待标注的影像的影像集合为空,则直接结束。如果待标注的影像的影像集合不为空,那么系统从待标注的影像的影像集合U1中选择预设数量batch_size(单批次的影像数量)的影像,如果待标注的影像的影像集合中的影像数量小于预设数量batch_size个,则按照实际的待标注的影像的数量取出所有影像。
接着,系统从资源库中获取数字编码资源。然后,进行位置映射处理,由于在数字编码的过程中,影像的像素点在影像中的位置信息和影像的像素点在影像数字文件(或者数字编码资源)中的像素位置会发生改变,因此,需要进行位置映射处理,根据影像位置信息和影像像素信息将影像中的像素点在影像中的位置信息进行相对位置的转换,以便于后续通过数码笔识别影像中的像素点在影像纸质文件中的绝对坐标,能够对应至对应的影像中的目标位置信息。可以理解的是,影像的像素点在影像数字文件中的像素位置与影像的像素点在数字编码资源中的像素位置相同。
紧接着,进行数字编码资源映射操作。由于数字编码资源(即二维阵列数字编码资源)属于稀缺资源,若一个待标注的影像使用一个数字编码资源且永久占用该数字编码资源,则会造成大量数字编码资源的浪费和成本的增加。基于此,可以引入图像再编码算法,图像再编码算法中使用n行m列的二维数组(编号依次为0~n-1),则通过图像再编码的方式将原本在一个数字编码资源中对一个待标注的影像进行数字编码,扩容成在一个数字编码资源中对mn个待标注的影像进行数字编码。
然后,进行数字编码。调用数字编码的SDK,并根据序列标识、资源标识和影像标识在数字编码资源中对待标注的影像进行数字编码,生成数字编码后的影像数字文件。再对影像数字文件进行打印处理,即将影像数字文件自动发送到打印机进行批量打印,得到影像纸质文件。
最后,进行图像标注。标注人员使用数码笔在影像纸质文件上对影像进行标注处理,系统通过数码笔识别出数码笔的运动轨迹信息,以及与影像纸质文件对应的序列标识和资源标识,并经过位置映射处理,返回数码笔的笔尖在影像中的目标位置信息,从而生成标注结果,完成影像的标注。同时,当系统检测到标注人员使用数码笔点击提交影像时,将该影像从待标注的影像的影像集合中移除,并将被提交的影像的序列标识、资源标识、影像标识、标注时间以及数码笔标识进行关联处理,得到被提交的影像的影像信息。当影像纸质文件中所有的影像被提交后(即影像纸质文件中所有的影像均被标注完成,系统自动释放影像纸质文件对应的数字编码资源(即二维标注资源),并将该数字编码资源加入到资源库中,以便于对数字编码资源的再次使用,节省数字编码资源,降低对影像进行标注过程中的所产生的花销。
进一步地,可以采用“先进先出”的规则获取资源库中的数字编码资源,即先加入资源库中的数字编码资源,先被获取;后加入资源库中的数字编码资源,后被获取,本申请实施例对此不作具体限制。
可以理解的是,相较于传统标注方法,本申请实施例中的影像标注方法有两个明显的好处,一是标注起来更加顺手,拥有如使用铅笔或者圆珠笔的线下手写的体验感,从而使得标注的效率更高,同时不需要使用计算机的鼠标去勾勒边缘,使得标注的效果更拟合组织的边缘。
本申请实施例提供的一种影像标注装置,该影像标注装置包括:
第一获取模块,用于获取待标注的影像;
第二获取模块,用于获取资源库中的数字编码资源,其中,数字编码资源标注有资源标识;
数字编码模块,用于在数字编码资源中对待标注的影像进行数字编码,得到数字编码后的影像数字文件,影像数字文件包括序列标识和资源标识,序列标识结合资源标识与影像相对应;
打印模块,用于对影像数字文件进行打印处理,得到影像纸质文件;
第三获取模块,用于响应于数码笔对影像纸质文件中的影像进行标注处理,获取数码笔的运动轨迹信息,以及与影像纸质文件对应的序列标识和资源标识;
标注结果生成模块,用于根据序列标识、资源标识和运动轨迹信息,得到影像的标注结果。
在一些实施例中,在待标注的影像有多个的情况下,数字编码模块具体包括:
第一数字编码单元,用于在同一个数字编码资源中对多个待标注的影像进行数字编码,得到多个数字编码后的影像数字文件,其中,同一数字编码资源对应的不同的影像数字文件对应有不同的序列标识,同一个数字编码资源对应的不同的影像数字文件对应有相同的资源标识。
在一些实施例中,数字编码模块具体包括:
编码单元,用于对数字编码资源进行编码,得到扩容后的数字编码资源,其中,扩容后的数字编码资源包括二维数组;
第一确定单元,用于确定待标注的影像对应的序列标识;
填写单元,用于将序列标识填写于扩容后的数字编码资源中的二维数组;
第二数字编码单元,用于在填写了序列标识的扩容后的数字编码资源中,对与序列标识对应的待标注的影像进行数字编码,得到数字编码后的影像数字文件。
在一些实施例中,标注结果生成模块具体包括:
第二确定单元,用于根据序列标识和资源标识确定对应的影像数字文件以及影像数字文件中的影像;
第三确定单元,用于确定影像在影像数字文件中的影像位置信息,以及影像的影像像素信息;
第四确定单元,用于根据运动轨迹信息、影像位置信息和影像像素信息,确定数码笔的笔尖在影像中的目标位置信息;
标注结果生成单元,用于根据目标位置信息,得到影像的标注结果。
在一些实施例中,在数码笔有多个,不同的数码笔对应有不同的数码笔标识,待标注的影像标注有影像标识的情况下,在第三获取模块执行之后,该影像标注装置还包括:
第一获取单元,用于获取数码笔标注影像时的标注时间,以及数码笔的数码笔标识;
在标注结果生成模块执行之后,该影像标注装置还包括:
关联单元,用于响应于影像纸质文件中的影像被提交,将被提交的影像的序列标识、资源标识、影像标识、标注时间以及数码笔标识进行关联处理,得到被提交的影像的影像信息;
保存单元,用于将影像信息添加至数据库中进行保存处理。
在一些实施例中,该影像标注装置还包括:
添加单元,用于响应于数字编码资源对应的所有的影像纸质文件中的影像被提交,将影像纸质文件对应的数字编码资源添加至资源库中。
在一些实施例中,第一获取模块具体包括:
第五确定单元,用于确定待标注的影像的影像数量;
第二获取单元,用于当影像数量小于预设数量,获取所有的待标注的影像;或者,当影像数量大于或者等于预设数量,获取预设数量的待标注的影像。
需要说明的是,由于本实施例的消息处理装置能够实现如前面任意实施例的消息处理方法,因此本实施例的消息处理装置与前面任意实施例的消息处理方法,具有相同的技术原理以及相同的技术效果,为了避免内容重复冗余,此处不再赘述。
另外,参照图6,本申请的一个实施例还提供了一种终端设备,该终端设备200包括存储器202、处理器201及存储在存储器202上并可在处理器201上运行的计算机程序。
处理器201和存储器202可以通过总线或者其他方式连接。
存储器202作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外,存储器202可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器202可选包括相对于处理器201远程设置的存储器,这些远程存储器可以通过网络连接至该处理器201。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述实施例的影像标注方法所需的非暂态软件程序以及指令存储在存储器202中,当被处理器201执行时,执行上述实施例中的影像标注方法,例如,执行以上描述的图1中的方法步骤S110至S160、图2中的方法步骤S210至S240、图3中的方法步骤S310至S340。
以上所描述的设备实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
此外,本申请的一个实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个处理器或控制器执行,例如,被上述设备实施例中的一个处理器执行,可使得上述处理器执行上述实施例中的影像标注方法,执行以上描述的图1中的方法步骤S110至S160、图2中的方法步骤S210至S240、图3中的方法步骤S310至S340。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。

Claims (10)

1.一种影像标注方法,其特征在于,包括:
获取待标注的影像;
获取资源库中的数字编码资源,其中,所述数字编码资源标注有资源标识;
在所述数字编码资源中对所述待标注的影像进行数字编码,得到数字编码后的影像数字文件,所述影像数字文件包括序列标识和所述资源标识,所述序列标识结合所述资源标识与所述影像相对应;
对所述影像数字文件进行打印处理,得到影像纸质文件;
响应于数码笔对所述影像纸质文件中的所述影像进行标注处理,获取数码笔的运动轨迹信息,以及与所述影像纸质文件对应的所述序列标识和所述资源标识;
根据所述序列标识、所述资源标识和所述运动轨迹信息,得到所述影像的标注结果。
2.根据权利要求1所述的影像标注方法,其特征在于,所述待标注的影像有多个,所述在所述数字编码资源中对所述待标注的影像进行数字编码,得到数字编码后的影像数字文件,包括:
在同一个所述数字编码资源中对多个所述待标注的影像进行数字编码,得到多个所述数字编码后的影像数字文件,其中,同一所述数字编码资源对应的不同所述影像数字文件对应有不同的所述序列标识,同一个所述数字编码资源对应的不同的所述影像数字文件对应有相同的所述资源标识。
3.根据权利要求1所述的影像标注方法,其特征在于,所述在所述数字编码资源中对所述待标注的影像进行数字编码,得到数字编码后的影像数字文件,包括:
对所述数字编码资源进行编码,得到扩容后的数字编码资源,其中,所述扩容后的数字编码资源包括二维数组;
确定所述待标注的影像对应的所述序列标识;
将所述序列标识填写于所述扩容后的数字编码资源中的所述二维数组;
在填写了所述序列标识的所述扩容后的数字编码资源中,对与所述序列标识对应的所述待标注的影像进行数字编码,得到所述数字编码后的影像数字文件。
4.根据权利要求1所述的影像标注方法,其特征在于,所述根据所述序列标识、所述资源标识和所述运动轨迹信息,得到所述影像的标注结果,包括:
根据所述序列标识和所述资源标识确定对应的所述影像数字文件以及所述影像数字文件中的所述影像;
确定所述影像在所述影像数字文件中的影像位置信息,以及所述影像的影像像素信息;
根据所述运动轨迹信息、所述影像位置信息和所述影像像素信息,确定所述数码笔的笔尖在所述影像中的目标位置信息;
根据所述目标位置信息,得到所述影像的标注结果。
5.根据权利要求1所述的影像标注方法,其特征在于,所述数码笔有多个,不同的数码笔对应有不同的数码笔标识;所述待标注的影像标注有影像标识;
所述响应于数码笔对所述影像纸质文件中的所述影像进行标注处理之后,还包括:
获取所述数码笔标注所述影像时的标注时间,以及所述数码笔的数码笔标识;
所述根据所述序列标识、所述资源标识和所述运动轨迹信息,得到所述影像的标注结果之后,还包括:
响应于所述影像纸质文件中的所述影像被提交,将所述被提交的影像的所述序列标识、所述资源标识、所述影像标识、所述标注时间以及所述数码笔标识进行关联处理,得到所述被提交的影像的影像信息;
将所述影像信息添加至数据库中进行保存处理。
6.根据权利要求1所述的影像标注方法,其特征在于,所述影像标注方法还包括:
响应于所述数字编码资源对应的所有的所述影像纸质文件中的所述影像被提交,将所述影像纸质文件对应的数字编码资源添加至所述资源库中。
7.根据权利要求1所述的影像标注方法,其特征在于,所述获取待标注的影像,包括:
确定所述待标注的影像的影像数量;
当所述影像数量小于预设数量,获取所有的所述待标注的影像;或者,当所述影像数量大于或者等于所述预设数量,获取所述预设数量的所述待标注的影像。
8.一种影像标注装置,其特征在于,包括:
第一获取模块,用于获取待标注的影像;
第二获取模块,用于获取资源库中的数字编码资源,其中,所述数字编码资源标注有资源标识;
数字编码模块,用于在所述数字编码资源中对所述待标注的影像进行数字编码,得到数字编码后的影像数字文件,所述影像数字文件包括序列标识和所述资源标识,所述序列标识结合所述资源标识与所述影像相对应;
打印模块,用于对所述影像数字文件进行打印处理,得到影像纸质文件;
第三获取模块,用于响应于数码笔对所述影像纸质文件中的所述影像进行标注处理,获取数码笔的运动轨迹信息,以及与所述影像纸质文件对应的所述序列标识和所述资源标识;
标注结果生成模块,用于根据所述序列标识、所述资源标识和所述运动轨迹信息,得到所述影像的标注结果。
9.一种终端设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述的影像标注方法。
10.一种计算机可读存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任意一项所述的影像标注方法。
CN202310029828.9A 2023-01-09 2023-01-09 影像标注方法、装置、终端设备以及存储介质 Active CN115757843B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310029828.9A CN115757843B (zh) 2023-01-09 2023-01-09 影像标注方法、装置、终端设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310029828.9A CN115757843B (zh) 2023-01-09 2023-01-09 影像标注方法、装置、终端设备以及存储介质

Publications (2)

Publication Number Publication Date
CN115757843A CN115757843A (zh) 2023-03-07
CN115757843B true CN115757843B (zh) 2023-05-05

Family

ID=85348788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310029828.9A Active CN115757843B (zh) 2023-01-09 2023-01-09 影像标注方法、装置、终端设备以及存储介质

Country Status (1)

Country Link
CN (1) CN115757843B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1637775A (zh) * 2004-01-06 2005-07-13 微软公司 位置编码的文档图像分析和标签
JP2006277565A (ja) * 2005-03-30 2006-10-12 Hitachi Maxell Ltd 予約システム
WO2007047702A2 (en) * 2005-10-17 2007-04-26 Is2Be Method of and apparatus for capturing, recording, displaying and correcting information entered on a printed form
CN101162468A (zh) * 2006-10-11 2008-04-16 日立麦克赛尔株式会社 数字笔的数据处理系统
CN107493446A (zh) * 2016-06-12 2017-12-19 绍兴瑞楠信息技术有限公司 一种基于点阵数码笔的教学场景录制方法及系统
CN108664869A (zh) * 2017-04-02 2018-10-16 田雪松 点阵识别系统
CN112633266A (zh) * 2020-11-26 2021-04-09 华南师范大学 染色体簇分割方法、系统和存储介质
CN114864057A (zh) * 2021-02-03 2022-08-05 南方科技大学 一种数字病理分析标注方法、移动终端及计算机可读介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080142279A1 (en) * 2006-12-13 2008-06-19 Velosum, Inc. Method and system for detecting updates to data acquired from paper forms using a digital pen

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1637775A (zh) * 2004-01-06 2005-07-13 微软公司 位置编码的文档图像分析和标签
JP2006277565A (ja) * 2005-03-30 2006-10-12 Hitachi Maxell Ltd 予約システム
WO2007047702A2 (en) * 2005-10-17 2007-04-26 Is2Be Method of and apparatus for capturing, recording, displaying and correcting information entered on a printed form
CN101162468A (zh) * 2006-10-11 2008-04-16 日立麦克赛尔株式会社 数字笔的数据处理系统
CN107493446A (zh) * 2016-06-12 2017-12-19 绍兴瑞楠信息技术有限公司 一种基于点阵数码笔的教学场景录制方法及系统
CN108664869A (zh) * 2017-04-02 2018-10-16 田雪松 点阵识别系统
CN112633266A (zh) * 2020-11-26 2021-04-09 华南师范大学 染色体簇分割方法、系统和存储介质
CN114864057A (zh) * 2021-02-03 2022-08-05 南方科技大学 一种数字病理分析标注方法、移动终端及计算机可读介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
gansen zhao 等. Review of Image Data Augmentation in Computer Vision.《Journal of Frontiers of Computer Science &amp Technology》.2021,第15卷(第3期),全文. *
赵淦森 等.深度学习下的医学影像分割算法综述.《计算机工程与应用》.2021,第57卷(第3期),全文. *

Also Published As

Publication number Publication date
CN115757843A (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
CN111027563A (zh) 一种文本检测方法、装置及识别系统
CN114511041B (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
CN112487883B (zh) 智能笔书写行为特征分析方法、装置及电子设备
CN112486338B (zh) 医疗信息处理方法、装置及电子设备
CN113011412B (zh) 基于笔顺及ocr文字识别方法、装置、设备及存储介质
CN109359208B (zh) 一种精准无损标注图像实例的分布式方法及系统
CN110321837A (zh) 一种试题得分的识别方法、装置、终端及存储介质
CN111814716A (zh) 印章去除方法、计算机设备和可读存储介质
CN107369097A (zh) 基于光学点阵技术的保险单及其信息录入方法及装置
CN115757843B (zh) 影像标注方法、装置、终端设备以及存储介质
CN111414907A (zh) 数据集标注方法、数据集标注装置和计算机可读存储介质
CN115731554A (zh) 快件面单识别方法、装置、计算机设备及存储介质
CN112487897B (zh) 笔迹内容评价方法、装置及电子设备
CN112486337B (zh) 笔迹图形分析方法、装置及电子设备
CN116108804B (zh) 点码文件生成方法、内容审阅方法和内容审阅系统
CN110889262B (zh) 教学系统、点阵教学课件
CN108921000B (zh) 头部角度标注、预测模型训练、预测方法、设备和介质
CN112487774B (zh) 书写表单电子化方法、装置及电子设备
CN116704518A (zh) 一种文本识别方法及装置、电子设备、存储介质
CN112435291A (zh) 一种多目标体积测量方法、装置及存储介质
CN111507991A (zh) 特征区域的遥感图像分割方法及装置
CN116071605B (zh) 基于深度学习的标注方法、装置及存储介质
CN116798056B (zh) 表格图像定位方法、装置、设备、计算机可读存储介质
CN107730571B (zh) 用于绘制图像的方法和装置
CN117692576B (zh) 点阵码及其编码方法、解码方法、控制器、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant