CN117894012B - 基于机器视觉的大批量糕点烘焙阶段识别方法 - Google Patents

基于机器视觉的大批量糕点烘焙阶段识别方法 Download PDF

Info

Publication number
CN117894012B
CN117894012B CN202410276143.9A CN202410276143A CN117894012B CN 117894012 B CN117894012 B CN 117894012B CN 202410276143 A CN202410276143 A CN 202410276143A CN 117894012 B CN117894012 B CN 117894012B
Authority
CN
China
Prior art keywords
target
surface image
target surface
cake
baking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410276143.9A
Other languages
English (en)
Other versions
CN117894012A (zh
Inventor
朱江
陈静
段晓娟
程渭峰
程红京
马维静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Daye Food Co ltd
Original Assignee
Xi'an Daye Food Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Daye Food Co ltd filed Critical Xi'an Daye Food Co ltd
Priority to CN202410276143.9A priority Critical patent/CN117894012B/zh
Publication of CN117894012A publication Critical patent/CN117894012A/zh
Application granted granted Critical
Publication of CN117894012B publication Critical patent/CN117894012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像识别处理技术领域,具体涉及基于机器视觉的大批量糕点烘焙阶段识别方法,该方法包括:获取待烘焙阶段识别的待识别大批量糕点在当前时刻下的目标表面图像,以及历史大批量糕点在每个历史检测时刻下的目标表面图像;对每个目标表面图像进行糕点区域分割;对每个目标糕点区域进行烘焙形状颜色变化分析处理;确定每个目标表面图像对应的整体变化特征、差异性容差和目标烘焙特征;根据所有目标表面图像对应的目标烘焙特征,对所有目标表面图像进行聚类;根据当前时刻下的目标表面图像所在的目标聚类簇,判定待识别大批量糕点在当前时刻下的烘焙阶段。本发明通过对目标表面图像进行识别处理,提高了糕点烘焙阶段识别的准确度。

Description

基于机器视觉的大批量糕点烘焙阶段识别方法
技术领域
本发明涉及图像识别处理技术领域,具体涉及基于机器视觉的大批量糕点烘焙阶段识别方法。
背景技术
糕点是人们日常生活中一种常见的食品,因为糕点作为一种食品和文化元素,不仅可以满足人的食欲,同时更是社交活动中的重要元素之一。所以糕点产业在很多国家都是一个庞大的产业,对其进行更加高效的生产可以提升整体的生产效率以及提供更多的附加价值因素。现有的提高糕点的生产效率的方式一般是利用机械化的糕点烘焙系统进行糕点的生产与加工。而在机械化的糕点生产中最为重要的一个环节为糕点的烘焙阶段的识别,准确的识别糕点的烘焙阶段可以对于糕点进行更加优秀的改进以及生产工艺的改良。
传统的糕点烘焙阶段识别主要依赖人工视觉检查,并且面对大批量糕点烘焙阶段识别来说,人工视觉检测需要大量的人力投入,增加了生产成本,并且由于人的主观判断,可能导致糕点烘焙阶段识别的准确度较差。
目前,还有一种糕点烘焙阶段识别的方法为:通过烘焙时间,判断糕点的烘焙阶段。然而,由于烘焙设备的新旧程度等原因,糕点的烘焙时间和烘焙阶段并不构成严格的函数关系,因此,直接基于烘焙时间,判断糕点的烘焙阶段时,可能导致糕点烘焙阶段识别的准确度较差。
发明内容
为了解决糕点烘焙阶段识别的准确度较差的技术问题,本发明提出了基于机器视觉的大批量糕点烘焙阶段识别方法。
本发明提供了基于机器视觉的大批量糕点烘焙阶段识别方法,该方法包括:
获取待烘焙阶段识别的待识别大批量糕点在当前时刻下的目标表面图像,以及历史大批量糕点在每个历史检测时刻下的目标表面图像;
对每个目标表面图像进行糕点区域分割,得到目标糕点区域;
根据预先获取的每个目标表面图像及其之前帧的目标表面图像,对每个目标表面图像中的每个目标糕点区域进行烘焙形状颜色变化分析处理,得到每个目标糕点区域对应的形状颜色变化特征;
根据每个目标表面图像中所有目标糕点区域对应的形状颜色变化特征,确定每个目标表面图像对应的整体变化特征;
根据预先获取的每个目标表面图像及其之前帧的目标表面图像中目标糕点区域对应的形状颜色变化特征,以及每个目标表面图像对应的整体变化特征,确定每个目标表面图像对应的差异性容差;
根据每个目标表面图像对应的整体变化特征和差异性容差,确定每个目标表面图像对应的目标烘焙特征;
根据所有目标表面图像对应的目标烘焙特征,对所有目标表面图像进行聚类,得到目标聚类簇;
根据当前时刻下的目标表面图像所在的目标聚类簇,判定待识别大批量糕点在当前时刻下的烘焙阶段。
可选地,所述根据预先获取的每个目标表面图像及其之前帧的目标表面图像,对每个目标表面图像中的每个目标糕点区域进行烘焙形状颜色变化分析处理,得到每个目标糕点区域对应的形状颜色变化特征,包括:
将任意一个目标表面图像确定为标记表面图像,并将所述标记表面图像的前一帧目标表面图像,确定为所述标记表面图像对应的参考表面图像;
将所述标记表面图像中任意一个目标糕点区域确定为标记糕点区域,并将所述标记糕点区域对应在所述参考表面图像中的目标糕点区域,确定为所述标记糕点区域对应的参考糕点区域;
根据所述标记糕点区域与其对应的参考糕点区域,确定所述标记糕点区域对应的形状颜色变化特征。
可选地,目标糕点区域对应的形状颜色变化特征对应的公式为:
;其中,TO是目标糕点区域对应的形状颜色变化特征;是归一化函数;/>是取绝对值函数;/>是目标糕点区域内所有像素点对应的灰度值的均值;/>是目标糕点区域对应的参考糕点区域内所有像素点对应的灰度值的均值;/>是以自然常数为底的指数函数;/>是目标糕点区域内像素点的数量;/>是目标糕点区域对应的参考糕点区域内像素点的数量。
可选地,所述根据每个目标表面图像中所有目标糕点区域对应的形状颜色变化特征,确定每个目标表面图像对应的整体变化特征,包括:
根据所述目标表面图像中所有目标糕点区域对应的形状颜色变化特征的均值,以及所述目标表面图像中每个目标糕点区域对应的形状颜色变化特征,确定所述目标表面图像中每个目标糕点区域对应的特征置信度;
根据所述目标表面图像中所有目标糕点区域对应的特征置信度和形状颜色变化特征,确定所述目标表面图像对应的整体变化特征。
可选地,目标表面图像对应的整体变化特征对应的公式为:
;/>;其中,ZTO是目标表面图像对应的整体变化特征;N是目标表面图像中目标糕点区域的数量;i是目标表面图像中目标糕点区域的序号;/>是目标表面图像中第i个目标糕点区域对应的特征置信度;/>是目标表面图像中第i个目标糕点区域对应的形状颜色变化特征;/>是向上取整函数;/>是以自然常数为底的指数函数;/>是取绝对值函数;/>是目标表面图像中所有目标糕点区域对应的形状颜色变化特征的均值;/>是目标表面图像中对应的形状颜色变化特征等于第i个目标糕点区域对应的形状颜色变化特征的目标糕点区域的数量。
可选地,所述根据预先获取的每个目标表面图像及其之前帧的目标表面图像中目标糕点区域对应的形状颜色变化特征,以及每个目标表面图像对应的整体变化特征,确定每个目标表面图像对应的差异性容差,包括:
将任意一个目标表面图像确定为标记表面图像,并将所述标记表面图像的前预设数量帧目标表面图像,构成所述标记表面图像对应的候选图像集合;
根据所述标记表面图像和其对应的候选图像集合中目标表面图像对应目标糕点区域之间的形状颜色变化特征差异,以及所述标记表面图像对应的整体变化特征,确定所述标记表面图像对应的差异性容差。
可选地,目标表面图像对应的差异性容差对应的公式为:
;/>;其中,ZZAM是目标表面图像对应的差异性容差;/>是归一化函数;ZTO是目标表面图像对应的整体变化特征;N是目标表面图像中目标糕点区域的数量;i是目标表面图像中目标糕点区域的序号;/>是以自然常数为底的指数函数;/>是目标表面图像中第i个目标糕点区域对应的特征差异因子;n是预设数量;a是目标表面图像对应的候选图像集合中目标表面图像的序号;/>是取绝对值函数;/>是目标表面图像中第i个目标糕点区域对应的形状颜色变化特征;/>是目标表面图像中,第i个目标糕点区域对应在候选图像集合中第a个目标表面图像中的目标糕点区域对应的形状颜色变化特征;/>是预先设置的大于0的因子。
可选地,目标表面图像对应的整体变化特征和差异性容差均与其对应的目标烘焙特征呈正相关。
可选地,所述根据所有目标表面图像对应的目标烘焙特征,对所有目标表面图像进行聚类,得到目标聚类簇,包括:
根据所有目标表面图像对应的目标烘焙特征,通过K均值聚类算法,对所有目标表面图像进行聚类,并将得到的每个聚类簇,确定为目标聚类簇。
可选地,所述根据当前时刻下的目标表面图像所在的目标聚类簇,判定待识别大批量糕点在当前时刻下的烘焙阶段,包括:
将当前时刻下的目标表面图像确定为当前表面图像,并从当前表面图像所在的目标聚类簇中除了当前表面图像之外的所有目标表面图像对应的烘焙阶段中筛选出最多的烘焙阶段,作为当前烘焙阶段;
将所述当前烘焙阶段,判定为待识别大批量糕点在当前时刻下的烘焙阶段。
本发明具有如下有益效果:
本发明的基于机器视觉的大批量糕点烘焙阶段识别方法,通过对目标表面图像进行识别处理,实现了大批量糕点烘焙阶段的识别,解决了大批量糕点烘焙阶段识别的准确度较差的技术问题,提高了大批量糕点烘焙阶段识别的准确度。首先,由于目标表面图像中包含了对应大批量糕点在不同时刻下的表面信息,因此,获取待识别大批量糕点在当前时刻下的目标表面图像,可以便于后续分析待识别大批量糕点在当前时刻下的烘焙阶段。由于历史大批量糕点是历史烘焙的糕点,所以历史大批量糕点在每个历史检测时刻下的烘焙阶段可以是已知的,因此获取历史大批量糕点在每个历史检测时刻下的目标表面图像,可以便于后续对当前时刻下的目标表面图像和所有历史检测时刻下的目标表面图像进行聚类,得到的当前时刻下的目标表面图像所在聚类簇中历史检测时刻下的目标表面图像对应的烘焙阶段往往是当前时刻下的烘焙阶段,从而实现了对待识别大批量糕点的烘焙阶段的识别。然后,由于不同的烘焙阶段下糕点的形状颜色变化情况往往不同,因此,对每个目标糕点区域进行烘焙形状颜色变化分析处理,量化的目标糕点区域对应的形状颜色变化特征可以表征目标糕点区域的烘焙情况。接着,基于目标表面图像中所有目标糕点区域对应的形状颜色变化特征,量化的目标表面图像对应的整体变化特征可以表征目标表面图像对应的采集时刻下的整体糕点烘焙情况。继续,由于不同烘焙阶段的糕点变化程度往往不同,所以不同烘焙阶段所允许的差异性容差往往不同,因此,量化目标表面图像对应的差异性容差,可以便于后续更加准确地表征目标表面图像对应的采集时刻下的整体糕点烘焙情况。之后,基于目标表面图像对应的整体变化特征和差异性容差,量化的目标表面图像对应的目标烘焙特征可以比较准确地表征目标表面图像对应的采集时刻下的整体糕点烘焙情况。而后,基于所有目标表面图像对应的目标烘焙特征,对所有目标表面图像进行聚类,得到的同一个目标聚类簇中的目标表面图像可以表征同一个烘焙阶段。最后,基于当前时刻下的目标表面图像所在的目标聚类簇,判定待识别大批量糕点在当前时刻下的烘焙阶段,实现了待识别大批量糕点烘焙阶段的识别。并且相较于通过人工视觉检查,本发明量化了大批量糕点在每个时刻下的目标烘焙特征,从而使后续大批量糕点烘焙阶段的识别相对比较客观,进而提高了大批量糕点烘焙阶段的识别的准确度。其次,相较于直接基于烘焙时间,判断糕点的烘焙阶段,本发明量化了大批量糕点在每个时刻下的目标烘焙特征,其中,目标烘焙特征表征对应的时刻下的整体糕点烘焙情况,因此,基于目标烘焙特征进行烘焙阶段的识别,可以在一定程度上提高了烘焙阶段识别的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明的基于机器视觉的大批量糕点烘焙阶段识别方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外,一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
参考图1,示出了根据本发明的基于机器视觉的大批量糕点烘焙阶段识别方法的一些实施例的流程。该基于机器视觉的大批量糕点烘焙阶段识别方法,包括以下步骤:
步骤S1,获取待烘焙阶段识别的待识别大批量糕点在当前时刻下的目标表面图像,以及历史大批量糕点在每个历史检测时刻下的目标表面图像。
其中,待识别大批量糕点可以是待进行烘焙阶段识别的大批量糕点。待识别大批量糕点中的所有糕点的规格类型可以相同,并且待识别大批量糕点中的所有糕点可以采用相同的设备同时进行烘焙。大批量糕点可以是数量较多的糕点。例如,数量超过100的糕点可以认为是大批量糕点。当前时刻,也就是当前时间。待识别大批量糕点在当前时刻下的目标表面图像可以是在当前时刻下采集的待识别大批量糕点的表面图像。历史大批量糕点可以是规格类型与待识别大批量糕点相同的,已烘焙完成的大批量糕点。历史检测时刻可以是历史大批量糕点进行烘焙过程中的时刻。历史大批量糕点在历史检测时刻下的目标表面图像可以是在历史检测时刻下采集的历史大批量糕点的表面图像。目标表面图像可以是灰度图。
需要说明的是,由于目标表面图像中包含了对应大批量糕点在不同时刻下的表面信息,因此,获取待识别大批量糕点在当前时刻下的目标表面图像,可以便于后续分析待识别大批量糕点在当前时刻下的烘焙阶段。由于历史大批量糕点是历史烘焙的糕点,所以历史大批量糕点在每个历史检测时刻下的烘焙阶段可以是已知的,因此获取历史大批量糕点在每个历史检测时刻下的目标表面图像,可以便于后续对当前时刻下的目标表面图像和所有历史检测时刻下的目标表面图像进行聚类,得到的当前时刻下的目标表面图像所在聚类簇中历史检测时刻下的目标表面图像对应的烘焙阶段往往是当前时刻下的烘焙阶段,从而实现了对待识别大批量糕点的烘焙阶段的识别。
作为示例,本步骤可以包括以下步骤:
第一步,获取待烘焙阶段识别的待识别大批量糕点在当前时刻下的目标表面图像。
例如,可以通过摄像头,录制待识别大批量糕点在烘焙过程中的视频,并将该视频中的每帧图像,作为目标表面图像;将该视频中当前时刻下采集的图像,作为当前时刻下的目标表面图像。
第二步,获取历史大批量糕点在每个历史检测时刻下的目标表面图像。
例如,可以通过摄像头,录制历史大批量糕点在烘焙过程中的视频,并将该视频中的每帧图像,作为目标表面图像;将该视频中每个历史检测时刻下采集的图像,作为历史大批量糕点在每个历史检测时刻下的目标表面图像。
步骤S2,对每个目标表面图像进行糕点区域分割,得到目标糕点区域。
其中,一个目标糕点区域可以表征一个糕点。
作为示例,可以对目标表面图像进行连通域分割,并将分割得到的每个连通域作为目标糕点区域。
可选地,可以通过阈值分割技术,从目标表面图像中分割出每个糕点所在的区域,作为目标糕点区域。
可选地,可以通过神经网络技术,从目标表面图像中识别出每个糕点所在的区域,作为目标糕点区域。
步骤S3,根据预先获取的每个目标表面图像及其之前帧的目标表面图像,对每个目标表面图像中的每个目标糕点区域进行烘焙形状颜色变化分析处理,得到每个目标糕点区域对应的形状颜色变化特征。
需要说明的是,由于不同的烘焙阶段下糕点的形状颜色变化情况往往不同,因此,对每个目标糕点区域进行烘焙形状颜色变化分析处理,量化的目标糕点区域对应的形状颜色变化特征可以表征目标糕点区域的烘焙情况。
作为示例,本步骤可以包括以下步骤:
第一步,将任意一个目标表面图像确定为标记表面图像,并将上述标记表面图像的前一帧目标表面图像,确定为上述标记表面图像对应的参考表面图像。
例如,若标记表面图像是待识别大批量糕点烘焙过程中的目标表面图像,则标记表面图像的前一帧目标表面图像可以为:待识别大批量糕点在烘焙过程中的视频中,标记表面图像的前一帧图像。若标记表面图像是历史大批量糕点烘焙过程中的目标表面图像,则标记表面图像的前一帧目标表面图像可以为:历史大批量糕点在烘焙过程中的视频中,标记表面图像的前一帧图像。即,标记表面图像与其前一帧目标表面图像表征的是同一个大批量糕点的烘焙情况。
第二步,将上述标记表面图像中任意一个目标糕点区域确定为标记糕点区域,并将上述标记糕点区域对应在上述参考表面图像中的目标糕点区域,确定为上述标记糕点区域对应的参考糕点区域。
其中,标记糕点区域和其对应的参考糕点区域可以表征不同时刻下的同一个糕点。
例如,标记糕点区域对应的参考糕点区域的获取方法可以为:将参考表面图像中位置与标记糕点区域的位置相同的目标糕点区域,作为标记糕点区域对应的参考糕点区域。
需要说明的是,由于在烘焙过程中糕点的形状会发生一定的变化,因此,若同一个烘焙过程中分别位于两个不同帧目标表面图像中的两个目标糕点区域的质心位置之间的距离小于预设距离阈值,则为认为这两个目标糕点区域位置相同。
第三步,根据上述标记糕点区域与其对应的参考糕点区域,确定上述标记糕点区域对应的形状颜色变化特征。
例如,确定目标糕点区域对应的形状颜色变化特征对应的公式可以为:
;其中,TO是目标糕点区域对应的形状颜色变化特征。是归一化函数。/>是取绝对值函数。/>是目标糕点区域内所有像素点对应的灰度值的均值。/>是目标糕点区域对应的参考糕点区域内所有像素点对应的灰度值的均值。/>是以自然常数为底的指数函数。/>是目标糕点区域内像素点的数量。/>是目标糕点区域对应的参考糕点区域内像素点的数量。
需要说明的是,在烘焙过程中糕点的颜色往往会发生变化,所以在烘焙过程中拍摄的糕点区域对应的灰度值往往会发生变化。当越大时,往往说明目标糕点区域表征的糕点在该目标糕点区域对应的采集时刻下发生的颜色变化程度相对越大。在烘焙过程中糕点的形状往往会发生变化,比如,糕点形状随着烘焙阶段的进行往往会膨胀化,并且膨胀之后收缩,即糕点面积往往会发生变化。当/>越大时,往往说明目标糕点区域表征的糕点面积在该目标糕点区域对应的采集时刻下发生变化的程度相对越大,往往说明目标糕点区域表征的糕点在该目标糕点区域对应的采集时刻下发生的形状变化程度相对越大。当TO越大时,往往说明目标糕点区域表征的糕点在该目标糕点区域对应的采集时刻下发生的颜色变化程度和形状变化程度相对越大。
步骤S4,根据每个目标表面图像中所有目标糕点区域对应的形状颜色变化特征,确定每个目标表面图像对应的整体变化特征。
需要说明的是,基于目标表面图像中所有目标糕点区域对应的形状颜色变化特征,量化的目标表面图像对应的整体变化特征可以表征目标表面图像对应的采集时刻下的整体糕点烘焙情况。
作为示例,本步骤可以包括以下步骤:
第一步,根据上述目标表面图像中所有目标糕点区域对应的形状颜色变化特征的均值,以及上述目标表面图像中每个目标糕点区域对应的形状颜色变化特征,确定上述目标表面图像中每个目标糕点区域对应的特征置信度。
第二步,根据上述目标表面图像中所有目标糕点区域对应的特征置信度和形状颜色变化特征,确定上述目标表面图像对应的整体变化特征。
例如,确定目标表面图像对应的整体变化特征对应的公式可以为:
;/>;其中,ZTO是目标表面图像对应的整体变化特征。N是目标表面图像中目标糕点区域的数量。i是目标表面图像中目标糕点区域的序号。/>是目标表面图像中第i个目标糕点区域对应的特征置信度。/>是目标表面图像中第i个目标糕点区域对应的形状颜色变化特征。/>是向上取整函数。/>是以自然常数为底的指数函数。/>是取绝对值函数。/>是目标表面图像中所有目标糕点区域对应的形状颜色变化特征的均值。/>是目标表面图像中对应的形状颜色变化特征等于第i个目标糕点区域对应的形状颜色变化特征的目标糕点区域的数量,也就是说,/>可以用目标表面图像中,与第i个目标糕点区域对应的形状颜色变化特征相同的目标糕点区域的数量表征。
需要说明的是,当越大时,往往说明第i个目标糕点区域表征的糕点在该目标糕点区域对应的采集时刻下发生的颜色变化程度和形状变化程度相对越大。大批量糕点进行烘焙处理时,可能因为不同的糕点的个体因素和环境因素等的影响,使得部分的糕点在进行烘焙的过程中存在一部分的特征变化的滞后性和优先性,即所有的糕点在时序上不一定具有相同的特征变化,所以考虑大批量糕点的整体情况时,往往需要考虑大多数糕点具备的特征。其中,个体因素可以包括发酵时间和原材料的层次性等因素。环境因素可以包括设备温度分布不均衡等因素。当/>越小时,往往说明第i个目标糕点区域表征的糕点的形状颜色变化,越符合在该目标糕点区域对应的采集时刻下大多数糕点的形状颜色变化;往往说明第i个目标糕点区域表征的糕点状态越符合该目标糕点区域对应的采集时刻下大多数糕点的状态,往往说明第i个目标糕点区域表征的糕点越可以代表该目标糕点区域对应的采集时刻下的整体糕点。当/>越大时,往往说明目标表面图像中与第i个目标糕点区域对应的形状颜色变化特征相同的目标糕点区域越多,往往说明第i个目标糕点区域表征的糕点越可以代表该目标糕点区域对应的采集时刻下的大多数糕点。所以,当/>越大时,往往说明第i个目标糕点区域表征的糕点越可以代表该目标糕点区域对应的采集时刻下的大多数糕点,往往说明第i个目标糕点区域表征的糕点信息越重要。因此,ZTO可以表征目标表面图像对应的采集时刻下糕点的整体性的形状颜色变化,其值越大,往往说明目标表面图像对应的采集时刻下糕点的颜色形状变化程度相对越大。
步骤S5,根据预先获取的每个目标表面图像及其之前帧的目标表面图像中目标糕点区域对应的形状颜色变化特征,以及每个目标表面图像对应的整体变化特征,确定每个目标表面图像对应的差异性容差。
需要说明的是,由于不同烘焙阶段的糕点变化程度往往不同,所以不同烘焙阶段所允许的差异性容差往往不同,因此,量化目标表面图像对应的差异性容差,可以便于后续更加准确地表征目标表面图像对应的采集时刻下的整体糕点烘焙情况。
作为示例,本步骤可以包括以下步骤:
第一步,将任意一个目标表面图像确定为标记表面图像,并将上述标记表面图像的前预设数量帧目标表面图像,构成上述标记表面图像对应的候选图像集合。
其中,预设数量可以是预先设置的数量。例如,预设数量可以是5。标记表面图像与其前预设数量帧目标表面图像表征的是同一个大批量糕点在不同时刻下的烘焙情况。
第二步,根据上述标记表面图像和其对应的候选图像集合中目标表面图像对应目标糕点区域之间的形状颜色变化特征差异,以及上述标记表面图像对应的整体变化特征,确定上述标记表面图像对应的差异性容差。
例如,确定目标表面图像对应的差异性容差对应的公式可以为:
;/>;其中,ZZAM是目标表面图像对应的差异性容差。/>是归一化函数。ZTO是目标表面图像对应的整体变化特征。N是目标表面图像中目标糕点区域的数量。i是目标表面图像中目标糕点区域的序号。/>是以自然常数为底的指数函数。/>是目标表面图像中第i个目标糕点区域对应的特征差异因子。n是预设数量。a是目标表面图像对应的候选图像集合中目标表面图像的序号。/>是取绝对值函数。/>是目标表面图像中第i个目标糕点区域对应的形状颜色变化特征。/>是目标表面图像中,第i个目标糕点区域对应在候选图像集合中第a个目标表面图像中的目标糕点区域对应的形状颜色变化特征;也就是第a个目标表面图像中,位置与第i个目标糕点区域的位置相同的目标糕点区域对应的形状颜色变化特征。/>是预先设置的大于0的因子,主要用于防止分母为0,比如,/>可以为0.001。
需要说明的是,ZTO可以表征目标表面图像对应的采集时刻下糕点的整体性的形状颜色变化,其值越大,往往说明目标表面图像对应的采集时刻下糕点的颜色形状变化程度相对越大,往往说明目标表面图像对应的采集时刻需要的差异性容差越大。当某个时刻的整体变化特征的变化速度较大的时候,往往说明该时刻的糕点烘焙可能正处于一个快速的变化的烘焙阶段,那么大部分的糕点的变化应当是一致的,所以存在小部分的糕点由于具有烘焙滞后性以及优先性,其对于整体的大批量的糕点烘焙的影响是较小的。而当某个时刻的整体变化特征的变化速度较小时,往往说明该时刻的糕点所处的烘焙阶段可能是一个较为漫长的,并且糕点缓慢变化的阶段,在这个阶段过程中,因为整体的烘焙周期较长,可能会放大糕点自身以及环境因素的影响,进而需要更大的容差使得大部分的糕点烘焙处于同一个阶段。当越大时,往往说明第i个目标糕点区域和其对应在第a个目标表面图像中的目标糕点区域之间的形状颜色变化特征差异相对越大,往往说明第i个目标糕点区域表征的糕点在第i个目标糕点区域和其对应在第a个目标表面图像之间的时间段内的颜色形状变化速率越大。故当/>越大时,往往说明第i个目标糕点区域表征的糕点在第i个目标糕点区域对应的时刻附近的颜色形状变化速率越大,往往说明第i个目标糕点区域表征的糕点在对应时刻下的差异性容差往往越小。所以,当/>越小时,往往说明目标表面图像中大多数目标糕点区域表征的糕点在目标表面图像对应的时刻附近的颜色形状变化速率越大,往往说明目标表面图像在对应时刻下的差异性容差往往越小。因此,ZZAM可以表征目标表面图像在对应时刻下的差异性容差,其值越大,往往说明目标表面图像在对应时刻下的差异性容差越大。
可选地,确定目标表面图像对应的差异性容差ZZAM对应的公式还可以为:
步骤S6,根据每个目标表面图像对应的整体变化特征和差异性容差,确定每个目标表面图像对应的目标烘焙特征。
其中,目标表面图像对应的整体变化特征和差异性容差均可以与其对应的目标烘焙特征呈正相关。
需要说明的是,基于目标表面图像对应的整体变化特征和差异性容差,量化的目标表面图像对应的目标烘焙特征可以比较准确地表征目标表面图像对应的采集时刻下的整体糕点烘焙情况。
作为示例,确定目标表面图像对应的目标烘焙特征对应的公式可以为:
;其中,ZTTO是目标表面图像对应的目标烘焙特征。ZZAM是目标表面图像对应的差异性容差。ZTO是目标表面图像对应的整体变化特征。
需要说明的是,ZZAM可以表征目标表面图像在对应时刻下的差异性容差,其值越大,往往说明目标表面图像在对应时刻下的差异性容差越大。ZTO可以表征目标表面图像对应的采集时刻下糕点的整体性的形状颜色变化,其值越大,往往说明目标表面图像对应的采集时刻下糕点的颜色形状变化程度相对越大。因此,ZTTO可以表征目标表面图像对应的采集时刻下糕点的烘焙状态,可用于后续的聚类。
步骤S7,根据所有目标表面图像对应的目标烘焙特征,对所有目标表面图像进行聚类,得到目标聚类簇。
需要说明的是,基于所有目标表面图像对应的目标烘焙特征,对所有目标表面图像进行聚类,得到的同一个目标聚类簇中的目标表面图像可以表征同一个烘焙阶段。
作为示例,可以根据所有目标表面图像对应的目标烘焙特征,通过K均值聚类算法,对所有目标表面图像进行聚类,并将得到的每个聚类簇,确定为目标聚类簇。
步骤S8,根据当前时刻下的目标表面图像所在的目标聚类簇,判定待识别大批量糕点在当前时刻下的烘焙阶段。
需要说明的是,基于当前时刻下的目标表面图像所在的目标聚类簇,判定待识别大批量糕点在当前时刻下的烘焙阶段,实现了待识别大批量糕点烘焙阶段的识别。
作为示例,本步骤可以包括以下步骤:
第一步,将当前时刻下的目标表面图像确定为当前表面图像,并从当前表面图像所在的目标聚类簇中除了当前表面图像之外的所有目标表面图像对应的烘焙阶段中筛选出最多的烘焙阶段,作为当前烘焙阶段。
需要说明的是,由于历史大批量糕点可以是已烘焙完成的大批量糕点,因此历史大批量糕点在每个历史检测时刻下的烘焙阶段在当前时刻下可以是已知的。
第二步,将上述当前烘焙阶段,判定为待识别大批量糕点在当前时刻下的烘焙阶段。
综上,相较于通过人工视觉检查,本发明量化了大批量糕点在每个时刻下的目标烘焙特征,从而使后续大批量糕点烘焙阶段的识别相对比较客观,进而提高了大批量糕点烘焙阶段的识别的准确度。其次,相较于直接基于烘焙时间,判断糕点的烘焙阶段,本发明量化了大批量糕点在每个时刻下的目标烘焙特征,其中,目标烘焙特征表征对应的时刻下的整体糕点烘焙情况,因此,基于目标烘焙特征进行烘焙阶段的识别,可以在一定程度上提高了烘焙阶段识别的准确度。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于机器视觉的大批量糕点烘焙阶段识别方法,其特征在于,包括以下步骤:
获取待烘焙阶段识别的待识别大批量糕点在当前时刻下的目标表面图像,以及历史大批量糕点在每个历史检测时刻下的目标表面图像;
对每个目标表面图像进行糕点区域分割,得到目标糕点区域;
根据预先获取的每个目标表面图像及其之前帧的目标表面图像,对每个目标表面图像中的每个目标糕点区域进行烘焙形状颜色变化分析处理,得到每个目标糕点区域对应的形状颜色变化特征;
根据每个目标表面图像中所有目标糕点区域对应的形状颜色变化特征,确定每个目标表面图像对应的整体变化特征;
根据预先获取的每个目标表面图像及其之前帧的目标表面图像中目标糕点区域对应的形状颜色变化特征,以及每个目标表面图像对应的整体变化特征,确定每个目标表面图像对应的差异性容差;
根据每个目标表面图像对应的整体变化特征和差异性容差,确定每个目标表面图像对应的目标烘焙特征;
根据所有目标表面图像对应的目标烘焙特征,对所有目标表面图像进行聚类,得到目标聚类簇;
根据当前时刻下的目标表面图像所在的目标聚类簇,判定待识别大批量糕点在当前时刻下的烘焙阶段;
所述根据预先获取的每个目标表面图像及其之前帧的目标表面图像,对每个目标表面图像中的每个目标糕点区域进行烘焙形状颜色变化分析处理,得到每个目标糕点区域对应的形状颜色变化特征,包括:
将任意一个目标表面图像确定为标记表面图像,并将所述标记表面图像的前一帧目标表面图像,确定为所述标记表面图像对应的参考表面图像;
将所述标记表面图像中任意一个目标糕点区域确定为标记糕点区域,并将所述标记糕点区域对应在所述参考表面图像中的目标糕点区域,确定为所述标记糕点区域对应的参考糕点区域;
根据所述标记糕点区域与其对应的参考糕点区域,确定所述标记糕点区域对应的形状颜色变化特征;
目标糕点区域对应的形状颜色变化特征对应的公式为:
;其中,TO是目标糕点区域对应的形状颜色变化特征;是归一化函数;/>是取绝对值函数;/>是目标糕点区域内所有像素点对应的灰度值的均值;/>是目标糕点区域对应的参考糕点区域内所有像素点对应的灰度值的均值;/>是以自然常数为底的指数函数;/>是目标糕点区域内像素点的数量;/>是目标糕点区域对应的参考糕点区域内像素点的数量;
所述根据每个目标表面图像中所有目标糕点区域对应的形状颜色变化特征,确定每个目标表面图像对应的整体变化特征,包括:
根据所述目标表面图像中所有目标糕点区域对应的形状颜色变化特征的均值,以及所述目标表面图像中每个目标糕点区域对应的形状颜色变化特征,确定所述目标表面图像中每个目标糕点区域对应的特征置信度;
根据所述目标表面图像中所有目标糕点区域对应的特征置信度和形状颜色变化特征,确定所述目标表面图像对应的整体变化特征;
目标表面图像对应的整体变化特征对应的公式为:
;/>;其中,ZTO是目标表面图像对应的整体变化特征;N是目标表面图像中目标糕点区域的数量;i是目标表面图像中目标糕点区域的序号;/>是目标表面图像中第i个目标糕点区域对应的特征置信度;/>是目标表面图像中第i个目标糕点区域对应的形状颜色变化特征;/>是向上取整函数;/>是以自然常数为底的指数函数;/>是取绝对值函数;/>是目标表面图像中所有目标糕点区域对应的形状颜色变化特征的均值;/>是目标表面图像中对应的形状颜色变化特征等于第i个目标糕点区域对应的形状颜色变化特征的目标糕点区域的数量;
所述根据预先获取的每个目标表面图像及其之前帧的目标表面图像中目标糕点区域对应的形状颜色变化特征,以及每个目标表面图像对应的整体变化特征,确定每个目标表面图像对应的差异性容差,包括:
将任意一个目标表面图像确定为标记表面图像,并将所述标记表面图像的前预设数量帧目标表面图像,构成所述标记表面图像对应的候选图像集合;
根据所述标记表面图像和其对应的候选图像集合中目标表面图像对应目标糕点区域之间的形状颜色变化特征差异,以及所述标记表面图像对应的整体变化特征,确定所述标记表面图像对应的差异性容差;
目标表面图像对应的差异性容差对应的公式为:
;/>;其中,ZZAM是目标表面图像对应的差异性容差;/>是归一化函数;ZTO是目标表面图像对应的整体变化特征;N是目标表面图像中目标糕点区域的数量;i是目标表面图像中目标糕点区域的序号;/>是以自然常数为底的指数函数;/>是目标表面图像中第i个目标糕点区域对应的特征差异因子;n是预设数量;a是目标表面图像对应的候选图像集合中目标表面图像的序号;/>是取绝对值函数;/>是目标表面图像中第i个目标糕点区域对应的形状颜色变化特征;/>是目标表面图像中,第i个目标糕点区域对应在候选图像集合中第a个目标表面图像中的目标糕点区域对应的形状颜色变化特征;/>是预先设置的大于0的因子。
2.根据权利要求1所述的一种基于机器视觉的大批量糕点烘焙阶段识别方法,其特征在于,目标表面图像对应的整体变化特征和差异性容差均与其对应的目标烘焙特征呈正相关。
3.根据权利要求1所述的一种基于机器视觉的大批量糕点烘焙阶段识别方法,其特征在于,所述根据所有目标表面图像对应的目标烘焙特征,对所有目标表面图像进行聚类,得到目标聚类簇,包括:
根据所有目标表面图像对应的目标烘焙特征,通过K均值聚类算法,对所有目标表面图像进行聚类,并将得到的每个聚类簇,确定为目标聚类簇。
4.根据权利要求1所述的一种基于机器视觉的大批量糕点烘焙阶段识别方法,其特征在于,所述根据当前时刻下的目标表面图像所在的目标聚类簇,判定待识别大批量糕点在当前时刻下的烘焙阶段,包括:
将当前时刻下的目标表面图像确定为当前表面图像,并从当前表面图像所在的目标聚类簇中除了当前表面图像之外的所有目标表面图像对应的烘焙阶段中筛选出最多的烘焙阶段,作为当前烘焙阶段;
将所述当前烘焙阶段,判定为待识别大批量糕点在当前时刻下的烘焙阶段。
CN202410276143.9A 2024-03-12 2024-03-12 基于机器视觉的大批量糕点烘焙阶段识别方法 Active CN117894012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410276143.9A CN117894012B (zh) 2024-03-12 2024-03-12 基于机器视觉的大批量糕点烘焙阶段识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410276143.9A CN117894012B (zh) 2024-03-12 2024-03-12 基于机器视觉的大批量糕点烘焙阶段识别方法

Publications (2)

Publication Number Publication Date
CN117894012A CN117894012A (zh) 2024-04-16
CN117894012B true CN117894012B (zh) 2024-05-31

Family

ID=90645040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410276143.9A Active CN117894012B (zh) 2024-03-12 2024-03-12 基于机器视觉的大批量糕点烘焙阶段识别方法

Country Status (1)

Country Link
CN (1) CN117894012B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247932A (zh) * 2017-05-27 2017-10-13 李明曦 一种烘焙产品图像识别系统
CN111083537A (zh) * 2019-12-30 2020-04-28 上海纯米电子科技有限公司 烹饪视频生成方法及装置
CN111213900A (zh) * 2020-03-12 2020-06-02 北京优创新港科技股份有限公司 烟叶烘烤智能图像分析自动控制系统及方法
CN112056591A (zh) * 2020-09-15 2020-12-11 杭州电子科技大学 一种咖啡豆升温率平滑可控及烘焙状态自动识别方法
CN112949663A (zh) * 2021-01-28 2021-06-11 贵州省烟草科学研究院 基于图像识别的烟叶烘烤控制系统和方法
CN115211578A (zh) * 2022-07-12 2022-10-21 河南讯飞人工智能科技有限公司 烘烤控制方法、装置、烘烤设备和存储介质
CN115661088A (zh) * 2022-10-28 2023-01-31 河南讯飞人工智能科技有限公司 烘烤阶段的确定方法、装置、烘烤设备和存储介质
CN117115754A (zh) * 2023-10-23 2023-11-24 贵州省种畜禽种质测定中心 基于计算机视觉的鸭舍智能化监测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7806045B2 (en) * 2005-05-24 2010-10-05 Moffat Pty Limited Scheduling and tracking system and method for bakery products
US20150056336A1 (en) * 2013-08-23 2015-02-26 Elwha LLC, a limited liability company of the State of Delaware System and method for manufacture of pizza products
EP4096478A4 (en) * 2020-01-28 2023-07-19 Tigout Inc. AUTOMATIC APPLIANCE FOR COOKING PASTRY PRODUCTS

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247932A (zh) * 2017-05-27 2017-10-13 李明曦 一种烘焙产品图像识别系统
CN111083537A (zh) * 2019-12-30 2020-04-28 上海纯米电子科技有限公司 烹饪视频生成方法及装置
CN111213900A (zh) * 2020-03-12 2020-06-02 北京优创新港科技股份有限公司 烟叶烘烤智能图像分析自动控制系统及方法
CN112056591A (zh) * 2020-09-15 2020-12-11 杭州电子科技大学 一种咖啡豆升温率平滑可控及烘焙状态自动识别方法
CN112949663A (zh) * 2021-01-28 2021-06-11 贵州省烟草科学研究院 基于图像识别的烟叶烘烤控制系统和方法
CN115211578A (zh) * 2022-07-12 2022-10-21 河南讯飞人工智能科技有限公司 烘烤控制方法、装置、烘烤设备和存储介质
CN115661088A (zh) * 2022-10-28 2023-01-31 河南讯飞人工智能科技有限公司 烘烤阶段的确定方法、装置、烘烤设备和存储介质
CN117115754A (zh) * 2023-10-23 2023-11-24 贵州省种畜禽种质测定中心 基于计算机视觉的鸭舍智能化监测方法

Also Published As

Publication number Publication date
CN117894012A (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN108734108B (zh) 一种基于ssd网络的裂纹舌识别方法
CN108229458A (zh) 一种基于运动检测和多特征提取的火焰智能识别方法
CN116092013B (zh) 一种用于智慧监控的危险路况识别方法
Aiping et al. Face detection technology based on skin color segmentation and template matching
CN107610114A (zh) 基于支持向量机的光学卫星遥感影像云雪雾检测方法
CN113554629A (zh) 基于人工智能的带钢红锈缺陷检测方法
CN110070526A (zh) 基于深度神经网络热度图预测的缺陷检测方法
CN115994907B (zh) 用于食品检测机构综合信息的智能处理系统及方法
CN111860639B (zh) 一种量化烤烟烟叶烘烤特性的判定系统及判定方法
CN115797352B (zh) 一种用于中医保健体质检测的舌象图像处理系统
CN116758074B (zh) 一种多光谱食品图像智能增强方法
CN115049656A (zh) 硅钢轧制过程中缺陷的显著性识别与分类方法
CN111667475A (zh) 一种基于机器视觉的大枣分级检测方法
CN116152242A (zh) 一种篮球用天然皮革缺陷可视化检测系统
CN115330868A (zh) 一种基于深度学习与深度信息融合的葡萄采摘方法
CN114565563B (zh) 基于人工智能的彩钢板表面异常检测方法
CN115222735A (zh) 一种基于麻点缺陷的金属模具质量检测方法
CN117894012B (zh) 基于机器视觉的大批量糕点烘焙阶段识别方法
CN112784922A (zh) 智能云端医疗影像的提取和分类方法
CN117274293A (zh) 基于图像特征的细菌菌落精确划分方法
CN114820597B (zh) 一种基于人工智能的冶炼品缺陷检测方法、装置及系统
CN115861308B (zh) 一种元宝枫病害检测方法
CN113034403B (zh) 医学影像数据通过高斯滤波进行降噪的工作方法
CN113160166B (zh) 通过卷积神经网络模型进行医学影像数据挖掘工作方法
CN111563536B (zh) 一种基于机器学习的竹条颜色自适应分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant