CN115914786A - 图像获取装置以及使用其的图像获取方法 - Google Patents

图像获取装置以及使用其的图像获取方法 Download PDF

Info

Publication number
CN115914786A
CN115914786A CN202210926605.8A CN202210926605A CN115914786A CN 115914786 A CN115914786 A CN 115914786A CN 202210926605 A CN202210926605 A CN 202210926605A CN 115914786 A CN115914786 A CN 115914786A
Authority
CN
China
Prior art keywords
image
subject
section
axis
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210926605.8A
Other languages
English (en)
Inventor
张铉晳
姜有贞
陈旻奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huili Advanced Technology Co
Original Assignee
Huili Advanced Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huili Advanced Technology Co filed Critical Huili Advanced Technology Co
Publication of CN115914786A publication Critical patent/CN115914786A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种通过增加物镜的薄的被摄体的深度,从而能获取高深度图像的图像获取装置以及使用其的图像获取方法。根据本发明的一实施例的图像获取装置,其为用于获取被摄体的图像的图像获取装置,其中,包括:图像采集部;以及物镜部,配置在所述图像采集部的下部,所述图像采集部,在所述被摄体的拍摄对象区域生成在对应于所述被摄体的厚度的范围内的Z轴信号叠加的图像。

Description

图像获取装置以及使用其的图像获取方法
技术领域
本发明涉及一种图像获取装置以及使用其的图像获取方法,更具体地,涉及一种能够获取高深度图像的图像获取装置以及使用其的图像获取方法。
背景技术
显微镜是用於对人眼难以观察的微小物体或微生物进行放大观察的仪器。
与显微镜结合使用的扫描设备(例如,载玻片扫描仪(Slide Scanner))是一种能够自动扫描一个或多个载玻片以存储、观察和分析图像的设备,载玻片扫描仪是扫描设备的一个例子,例如,病理检查等目的的需求越来越大。
使用载玻片扫描仪获取数字载片图像时,提高图像聚焦准确非常重要。一般,用于获取数字载片图像的组织样本的厚度在4μm以内,细胞样本的厚度为数十μm。
此处,重要的是在拍摄组织样本或细胞样本时增加被摄体深度(Depth ofField)。然而,当为此目的将物镜的放大倍率放大到20至40倍的水平时,物镜的被摄体深度成为约1μm,因此,存在被摄体深度小于组织样本的厚度的问题。
为了解决物镜的被摄体深度小于组织样本的厚度的问题,在现有技术的情况下,为了拍摄比上述的物镜的被摄体深度(例如:约1μm)厚的被摄体,对一个FOV(Field ofView)拍摄多个聚焦高度不同的图像。然后,进行图像处理以重新组合每个图像中具有最佳焦点的部分,从而,生成一个高深度图像。
然而,这种现有方法存在为了获得一张高深度图像,需要反复拍摄同样的区域,因此,需要大量时间的问题。
尤其,如上述的载玻片扫描仪,是以拍摄被摄体的全载片图像(Whole SlideImage,WSI)为目的的设备时,需要以高倍率拍摄数百到数千次才能生成一个载片WSI的Z-stack图像,因此,存在利用现有的Z-stack拍摄方法实际上不可能拍摄WSI的问题。
现有技术文件
(现有技术文献)
(专利文献)
专利文献1:韩国专利公开第10-2020-0047971号公报
发明内容
本发明的目的在于,提供一种通过增加物镜的薄的被摄体的深度,可以获取高深度图像的图像获取装置以及使用其的图像获取方法。
根据本发明的一实施例的图像获取装置,其为用于获取被摄体的图像的图像获取装置,其中,包括:图像采集部;以及物镜部,配置在所述图像采集部的下方,所述图像采集部,在所述被摄体的拍摄对象区域生成在对应于所述被摄体的厚度的范围内的Z轴信号叠加的图像。
优选地,所述拍摄对象区域,包括:用于拍摄所述第一图像的第一图像拍摄区域、以及与所述第一图像拍摄区域相邻的所述被摄体的拍摄对象区域的第二图像拍摄区域。
优选地,所述图像采集部被构成为;在所述第一图像拍摄区域生成在对应于所述被摄体的厚度的范围内的Z轴信号叠加的第一图像,在所述第二图像拍摄区域生成在对应于所述被摄体的厚度的范围内的Z轴信号叠加的第二图像。
优选地,还包括:Z轴位置接收部,输入得到所述被摄体的厚度、在所述拍摄对象区域的Z轴高度位置以及所述物镜部的聚焦位置;图像处理部,通过匹配所述第一图像和所述第二图像来生成全扫描图像;以及显示部,用于输出所述生成的全扫描图像。
优选地,所述图像采集部为包括多个级的TDI传感器。
优选地,所述图像采集部相对于所述被摄体配置成所述多个级相对于所述被摄体的移动方向倾斜预定角度,并被构成为在对应于所述被摄体的厚度的范围内,连续获取在所述每个级上由相互不同的聚焦高度而形成的相互不同的Z轴信号,并相加对所述每个级的所述相互不同的Z轴信号来获取Z轴信号叠加的图像。
优选地,所述图像采集部为包括变焦透镜的区域传感器。
优选地,所述图像采集部被构成为在对应于所述被摄体的厚度的范围内,所述变焦透镜连续改变聚焦高度来获取相互不同的Z轴信号,并相加所述相互不同的Z轴信号来获取Z轴信号叠加的图像。
优选地,还包括图像处理部,所述图像处理部具备对所述Z轴信号叠加的图像进行低频去除滤波处理的滤波部。
优选地,所述图像处理部,包括:滤波部,对所述第一图像和所述第二图像进行低频去除滤波处理;以及图像匹配部,对已执行所述低频去除滤波处理的所述第一图像和所述第二图像进行拼接来生成全扫描图像。
优选地,还包括:载物台部,设置在所述物镜部的下部,配置有所述被摄体;以及照明部,设置在所述载物台部的下部,用于向所述被摄体照射光线。
优选地,所述第二图像的至少一部分与所述第一图像重叠。
根据本发明的一实施例的图像获取方法,其中,包括:使被摄体的第一图像拍摄区域位于物镜部的FOV的步骤;输入得到所述被摄体的厚度、在所述第一图像拍摄区域的所述被摄体的Z轴高度位置、以及所述物镜部的聚焦位置的步骤;在所述第一图像拍摄区域生成在对应于所述被摄体的厚度的范围内的Z轴信号叠加的第一图像的步骤;以及对所述生成的第一图像进行低频去除滤波处理的步骤。
优选地,包括:通过移动所述被摄体,使与所述第一图像拍摄区域相邻的所述被摄体的第二图像拍摄区域位于物镜部的FOV中的步骤;输入得到所述被摄体在所述第二图像拍摄区域的Z轴高度位置的步骤;在所述第二图像拍摄区域生成在对应于所述被摄体的厚度的范围内的Z轴信号叠加的第二图像的步骤;对所述生成的第二图像进行低频去除滤波处理的步骤;以及通过拼接所述第一图像和所述第二图像来生成全扫描图像的步骤。
优选地,所述第二图像的至少一部分与所述第一图像重叠。
(发明的效果)
根据本发明,通过将Z轴图像信息重叠为一张图像并获取,从而,具有可以降低拍摄时间,简化数据容量和图像处理量的同时,获得高深度图像的效果。
附图说明
图1是根据本发明的一实施例的图像获取装置的示意图。
图2是根据本发明的一实施例的图像获取装置所具备的图像采集部的示意图。
图3是使用根据本发明的一实施例的图像获取装置获取图像的过程的示意图。
图4是根据本发明的第二实施例的图像获取装置的示意图。
图5是使用根据本发明的第二实施例的图像获取装置获取图像的过程的示意图。
图6是使用本发明的图像获取装置的图像获取方法的流程图。
图7是使用本发明的图像取得装置获取的图像的一例的示意图。
具体实施方式
下面,将参照附图详细说明本发明的优选实施例。首先,应注意在对每个附图的构成要素标注附图标记时,即使在不同的附图上,对相同的构成要素也尽量标注相同的附图标记。此外,在说明本发明时,若判断对相关公知结构或功能的具体说明会使本发明的要旨不明确时,则省略对其的详细说明。下面将说明本发明的优选实施例,但是,本发明的技术精神不会被所述优选实施例所限定或限制,可由本领域的普通技术人员变形实施为各种形态。
图1是根据本发明的一实施例的图像获取装置100的示意图,图2是根据本发明的一实施例的图像获取装置100所具备的图像采集部10的示意图。此时,图1中,图像采集部10的放大图是示出从A方向看图像采集部10的状态的图,在所述图1中,D部分仅表示在三维坐标系上的图像采集部10。
参考图1,根据本发明的一实施例的图像获取装置100,包括:图像采集部10,设置在外壳H(镜筒)内;物镜部20,配置在图像采集部10的下部,并固定在所述外壳H;以及载物台部30,配置在物镜部20的下方,并配置有被摄体S。
物镜部20可根据另外的驱动控制部(省略图示)的控制信号来调整与被摄体S或载物台部30之间的距离,而载物台部30可根据另外的驱动控制部(省略图示)的控制信号沿X轴、Y轴或Z轴方向移动。
一般,用于获取数字载片图像的组织样本而言,厚度可能在4μm以内,而细胞样本的厚度可能在数十μm,例如,所述被摄体S的厚度可以为物镜部20的被摄体深度的3至50倍。
作为一例,所述图像获取装置100可以为光学显微镜,但不限于此。
在根据本发明的一实施例的图像获取装置100中,图像采集部10是TDI(TimeDelay Integration)传感器,是一种在延迟时间的同时,累积光量的线扫描(Line Scan)传感器,所述图像采集部由多个级构成,用于将光信号转换为电信号,来获取图像信息。
一般,TDI传感器可以在每个级拍摄相同的目标,并累积从每个级输出的信号来生成一个线图像(Line Image)。如此,通常的TDI传感器,通过在每个级累积信号,从而,产生曝光时间对应级数增加的效果,最终能获得鲜明的图像,因此,级数越多,越能快速扫描。一般,TDI传感器可以用于需要快速扫描黑暗的环境或信号低的目标以生成图像的系统。
由于上述TDI传感器的特性,在现有系统中,必须配备光学系统,使得在每个级的短方向上的像素可以累积相同目标的信号,因此,配置在每个级的短方向上的像素和拍摄对象目标之间的聚焦高度始终一致。若在所述级的短方向上的像素与拍摄对象目标之间必须产生聚焦高度之差的结构,则可以将级数最小化为少于10个来最小化聚焦高度之差。然而,在根据本发明的一实施例的图像获取装置100中的图像采集部10通过将TDI传感器构成为所述每个级的短方向上的像素与拍摄对象目标之间的聚焦高度在每个像素具有偏差,从而与现有通常的TDI传感器不同,一个线图像可以具有各种聚焦高度(Z轴方向)的叠加信号。
参考图1及图2,如上所述,图像采集部10可以由多个级而组成,可以由至少10个级组成。在此,图1中,“B”线表示图像采集部10的“行方向(短方向)”,“C”线表示图像采集部10的“列方向(长方向)”。
例如,如图1及图2所示,所述图像采集部10具有从1到N的N个“行方向像素组”,从线(line)1到线(line)n的n个级(stage,“列方向像素组”)。
在这种情况下,每个“行方向像素组”可以具有n个像素,每个级可以具有N个像素。
此外,图像采集部10相对于被摄体S或载物台部30配置成多个级相对于被摄体S(或载物台部30)的移动方向(X轴方向、扫描方向)倾斜预定角度θ。
作为一例,如图1所示,级相对于被摄体S的移动方向倾斜的“预定角度θ”的范围可以为相对于被摄体S的移动方向(扫描方向)超过0°且小于90°的锐角范围,或者,虽未图示,也可以为超过90°且小于180°的钝角范围。
此时,在从被摄体S的左侧向右侧进行扫描的情况下,级相对于被摄体S的移动方向倾斜的“预定角度θ”的范围为锐角范围(如图1所示)时,可以从级的低Z轴聚焦高度拍摄到高Z轴聚焦高度,并且当级相对于被摄体S的移动方向倾斜的“预定角度θ”的范围为钝角范围时,可以从级的高Z轴聚焦高度拍摄到低Z轴聚焦高度。在这种情况下,所述扫描方向可以为从被摄体S的右侧到左侧。
在本发明中,X轴方向被描述为扫描方向(被摄体S(或载物台部30)的移动方向),但所述扫描方向不仅限于X轴方向。
此外,参考图1的D部分及图2,所述图像采集部10的多个“行方向像素组”可以相对于被摄体S(或者载物台部30)配置成相对于被摄体S(或载物台部30)的移动方向(X轴方向)倾斜预定角度θ,分别垂直于Y轴并相对于被摄体S(或者载物台部30)的移动方向(X轴方向)倾斜预定角度θ的整个“行方向像素组”可以朝与所述X轴方向垂直的Y轴方向平行配置。
在根据本发明的一实施例的图像获取装置100中的图像采集部10相对于被摄体S(或者载物台部30)配置成多个级相对于被摄体S(或载物台部30)的移动方向倾斜预定角度,因此,相对于被摄体S,在每个级(线1-线n)上,相同的行方向像素组(例如,图1及图2中的第18个行方向像素组)中的像素(例如,a到n像素)都可以具有不同的聚焦高度。
因此,当使用如上所述组成的图像采集部10时,可以在对应于被摄体S的厚度的范围内,每个级(线1-线n)连续获得在每个级中由相互不同的聚焦高度而形成的相互不同的Z轴信号,并相加对每个级的相互不同的Z轴信号生成这些信号叠加的一个线扫描图像(详细而言,所述线扫描图像是形成于相互不同的Z轴聚焦高度上的XY平面上的图像)。
此外,图像采集部10,可以在上下方向上稍微移动整个焦点的同时连续拍摄被摄体S,使得在扫描被摄体S时,可以感测被摄体S的大致高度。
再次参考图1,根据本发明的一实施例的图像获取装置100,还可以包括照明部40、聚焦位置接收部50、图像处理部60及显示部70。
在一实施例中,照明部40可以配置在载物台部30的下方,并向被摄体S照射光线。然而,照明部40的配置不限于如图1所示,照明部40还可以配置在载物台部30的上方。
作为一例,根据本发明的一实施例的图像获取装置100中,以从照明部40入射的光线的光轴为准向上下方向按顺序配置照明部40、载物台部30、被摄体S、物镜部40及图像采集部10。
聚焦位置接收部50可以接收被摄体S的厚度、被摄体S的Z轴高度位置以及物镜部20的聚焦位置。
此外,作为一例,聚焦位置接收部50可以包括聚焦相机或激光传感器。
在此,例如,在聚焦位置接收部50测量被摄体S的Z轴高度位置时,可以通过基于由所述聚焦相机的图像分析物镜Z轴位置的方法或利用激光传感器的激光测距感测方法来实现,但不限于此。
另一方面,在以往的高倍率显微镜的情况下,由于需要详细的聚焦高度,因此,在仅使用激光传感器的情况下,存在难以进行准确的测量的缺点,但是,在本发明中,由于可以获取各种聚焦高度的图像,因此,利用由激光传感器的激光测距感测方法的情况下,也可以获得具有准确的焦点的图像。
当配置在载物台部30上的被摄体S的尺寸大于所述图像采集部10一次可以拍摄的区域时,图像采集部10可以通过扫描被摄体S的拍摄对象区域(图像采集部10一次可以拍摄的区域),来依次生成Z轴信号叠加的图像,并且,图像处理部60可以依次拼接相邻的图像来生成全扫描图像。
在这种情况下,图像采集部10和图像处理部60可以按顺序动作或并列动作。
另一方面,当配置在载物台部30上的被摄体S的尺寸与图像采集部10一次可以拍摄的区域相同或相似时,将所述被摄体S的拍摄对象区域可以视为被摄体S的整个感兴趣区域(ROI:region of interest)。作为一例,所述被摄体S的感兴趣区域可以是指用户要拍摄被摄体的区域。
当被摄体S大于图像采集部10一次可以拍摄的区域时,可以将被摄体S的拍摄对象区域位于物镜部20的FOV之后,通过图像采集部10生成Z轴信号叠加的第一图像。
此时,如根据本发明的一实施例的图像获取装置100,当图像采集部10由TDI传感器组成时,物镜部20的FOV可以是指在扫描方向上的垂直视角。
接着,可以通过驱动载物台部30来移动被摄体S,使与上述的拍摄对象区域(例如,拍摄第一图像的第一图像拍摄区域)相邻的被摄体S的拍摄对象区域(第二图像拍摄区域)位于物镜部20的FOV之后,通过图像采集部10生成Z轴信号叠加的第二图像。在这种情况下,为了顺利匹配图像,第二图像的至少一部分可以与第一图像部分重叠。
在根据本发明的一实施例的图像获取装置100中,所述第一图像可以是指配置有被摄体S的载物台部30开始向扫描方向移动后停止期间,通过图像采集部10的拍摄生成的线图像相结合的图像,所述第二图像可以是指在完成第一图像的拍摄之后,载物台部30再次开始移动后停止的期间,通过图像采集部10的拍摄生成的线图像相结合的图像。此时,为了在拍摄图像期间移动被摄体S,载物台部30可以与图像采集部10的拍摄单独移动。
此外,可以反复图像拍摄直到拍摄所述被摄体S的整个感兴趣区域ROI为止。示例性地,在拍摄所述后续图像时(例如,对第三图像拍摄区域拍摄的第三图像、对第四图像拍摄区域拍摄的第四图像等),可以与之前的拍摄图像至少一部分重叠地进行拍摄。作为一例,第三图像的至少一部分可以与第二图像重叠,并且第四图像的至少一部分可以与第三图像重叠。
图像处理部60可以匹配第一图像和第二图像来生成全扫描图像。
具体地,图像处理部60,可以包括:滤波部62,其对第一图像和第二图像进行低频去除滤波处理;以及图像匹配部64,对第一图像和第二图像进行拼接(stitching)处理生成全扫描图像。
作为一例,所述滤波部62可以使用高通滤波器(High Pass Filter)对第一图像和第二图像进行低频去除滤波处理。
另外,如上所述,由于第一图像的至少一部分会与第二图像重叠,因此,当图像匹配部64拼接第一图像和第二图像时,为了消除第一图像和第二图像中重叠部分的差异,可以进行拼接处理使得第一图像和第二图像重叠部分的颜色、亮度、对比度、分辨率等尽可能相同。
显示部70可以输出由图像匹配部64生成的全扫描图像。
另外,当除了第一图像之外没有其他图像时,通过图像处理部60的过滤部62可以仅对第一图像进行低频去除滤波处理生成图像,而无需通过图像处理部60的图像匹配部64进行其他的图像拼接处理。
详细地,当除了第一图像之外没有其他图像时,被摄体S的拍摄对象区域可以对应于被摄体S的整个感兴趣区域ROI,并且,图像采集部10可以通过一次拍摄在被摄体S的拍摄对象区域生成在对应于被摄体S的厚度的范围内的Z轴信号叠加的图像(第一图像),另外滤波部62可以对所述Z轴信号叠加的图像进行低频去除滤波处理。
在这种情况下,显示部70可以输出由滤波部62滤波且Z轴信号叠加的图像。
图3是使用根据本发明的一实施例的图像获取装置100获取图像的过程的示意图。具体地,图3(a)示出通过将被摄体S位于物镜部20的FOV来获取第一图像的过程,图3(b)示出使与获取被摄体S的第一图像的区域相邻的区域位于物镜部20的FOV来获取第二图像的过程。
参考图3,使用根据本发明的一实施例的图像获取装置100获取图像的过程为如下。
首先,如图3(a)所示,可以驱动载物台部30来使被摄体S的拍摄对象区域位于物镜部20的FOV中。在这种情况下,所述拍摄对象区域可以由用户通过与图像获取装置100相连接的另外的输入接口(省略图示)来指定,并且通过所述输入接口指定拍摄对象区域来驱动载物台部30,从而,可以使被摄体S的拍摄对象区域位于物镜部20的FOV。
接着,如图3(a)所示,可以通过聚焦位置接收部50输入得到对被摄体S的厚度、被摄体S在拍摄对象区域的Z轴高度位置、及物镜部20的聚焦位置。
作为一例,当如图3(a)所示,从聚焦位置接收部50输入得到被摄体S的厚度时,输入得到的厚度信息可以在被摄体S的总厚度的90%以内,并且,在将被摄体S的厚度以被摄体S的中心为准上下分为一半时,可由聚焦位置接收部50输入从被摄体S的中心到上部45%厚度和下部45%厚度。然而,输入到聚焦位置接收部50的被摄体S的厚度不限于上述内容,可以根据被摄体S的特性,远小于被摄体S的总厚度的90%,或者被摄体S的总厚度的100%。
另外,在使用根据本发明的一实施例的图像获取装置100的图像获取方法中,说明了通过驱动载物台部30将被摄体S的拍摄对象区域位于物镜部20的FOV之后,通过聚焦位置接收部50输入得到被摄体S的厚度、被摄体S的Z轴高度位置及物镜部20的聚焦位置,但不限于此,还可以先执行通过聚焦位置接收部50输入得到被摄体S的厚度、被摄体S的Z轴高度位置及物镜部20的聚焦位置的过程。
接着,如图3(a)所示,可以通过图像采集部10在被摄体S的拍摄对象区域生成在对应于被摄体S的厚度的范围内的Z轴信号叠加的图像。
再次参考图1及图2,如上所述,图像采集部10相对于被摄体S(或者载物台部30)配置成多个级相对于被摄体S(或者载物台部30)的移动方向倾斜预定角度,由此,图像采集部10可在每个级(线1至线2)对被摄体S都具有不同的聚焦高度。
因此,图像采集部10在对应于由聚焦位置接收部50输入的被摄体S的厚度(例如,被摄体S的总厚度的约90%)的范围内,可以获得由每个级(线1至线n)的相互不同的聚焦高度而形成的相互不同的Z轴信号。由此,当通过图像采集部10相加每个级(线1至线n)的Z轴信号值时,可以将各种聚焦高度叠加的信号图像生成为一个线扫描图像。
接着,可以通过图像处理部60中的滤波部62对由图像采集部10生成的图像执行低频去除滤波处理。
在使用根据本发明的一实施例的图像获取装置100的图像获取方法中,当除了第一图像之外没有其他图像时,如上所述,图像处理部60中的图像匹配部64可以不进行另外的图像拼接处理。当除了第一图像之外没有其他图像时,图像处理部60可以存储由图像采集部10生成并由滤波部62进行低频去除滤波器处理的第一图像,并且显示部70可以向用户显示所生成的第一图像。
另一方面,在被摄体S中存在除了上述的拍摄对象区域(例如,拍摄第一图像的第一图像拍摄区域)以外的其他拍摄对象区域时,如图3(b)所示,可通过驱动载物台部30来移动被摄体S,使与第一图像拍摄区域相邻的被摄体S的拍摄对象区域(第二图像拍摄区域)位于物镜部20的FOV。作为一例,第二图像拍摄区域的至少一部分会与第一图像拍摄区域重叠。
如同第一图像拍摄区域,第二图像拍摄区域也可以由用户通过上述的输入接口来指定,通过所述输入接口指定第二图像拍摄区域来驱动载物台部30,从而,可以使被摄体S的第二图像拍摄区域位于物镜部20的FOV。
接着,如图3(b)所示,可以通过聚焦位置接收部50输入得到在第二图像拍摄区域中的被摄体S的Z轴高度位置。
接着,如图3(b)所示,可以通过图像采集部10在第二图像拍摄区域生成在对应于被摄体S的厚度的范围内的Z轴信号叠加的第二图像。
在这种情况下,如同上述的第一图像,第二图像可以是各种聚焦高度叠加的信号图像被生成为一个线扫描图像的图像。
接着,可以通过图像处理部60中的滤波部62对由图像采集部10生成的第二图像执行低频去除滤波处理。上述的使用根据本发明的一实施例的图像获取装置100的图像获取方法可以反复执行直到不再存在与第一图像拍摄区域和第二图像拍摄区域相邻的区域,或者被摄体S中再也没有未拍摄的拍摄对象区域(直到拍摄被摄体S的整个感兴趣区域ROI为止)为止。
接着,可以通过图像处理部60中的图像匹配部64对所述第一图像和所述第二图像进行拼接处理生成全扫描图像。如上所述,由于第二图像拍摄区域的至少一部分会与第一图像拍摄区域重叠,因此,图像匹配部64对第一图像和第二图像进行拼接处理时,为了消除第一图像和第二图像中重叠部分的差异,可以进行拼接处理使得第一图像和第二图像重叠部分的颜色、亮度、对比度、分辨率等尽可能相同。
然后,显示部70可以向用户显示通过图像匹配部64拼接第一图像和第二图像而生成的全扫描图像。
图4是根据本发明的第二实施例的图像获取装置100`的示意图,图5是使用根据本发明的第二实施例的图像获取装置100`来获取图像的过程的示意图。详细地,图5(a)示出将第一图像拍摄区域位于物镜部20的FOV来获取第一图像的过程,图5(b)示出将被摄体S的第二图像拍摄区域位于物镜部20的FOV来获取第二图像的过程。
在根据本发明的第二实施例的图像获取装置100`的情况下,与根据第一实施例的图像获取装置100不同,图像采集部10不是由TDI传感器而组成,而是由区域传感器组成,除此之外,与根据第一实施例的图像获取装置10相比,其结构上没有很大的区别。因此,对于与根据图1及图2所示的第一实施例的图像获取装置100相同的组件使用相同的附图标记表示,并省略重复说明。
参考图4,根据本发明的第二实施例的图像获取装置100`,包括图像采集部10`,所述图像采集部10`是包括变焦透镜的区域传感器(Area Sensor)。
所述图像采集部10`,通过区域传感器中的变焦透镜在一次曝光时间内改变焦距数次至数十次来生成被摄体S的各种焦距的图像合成为一张的图像。此时,对于图4所示的Z轴方向可以连续改变变焦透镜的焦距。
参考图5,使用根据本发明的第二实施例的图像获取装置100`获取图像的过程为如下。
首先,如图5(a)所示,可根据载物台部30的驱动,使被摄体S的拍摄对象区域(例如,第一图像拍摄区域)位于物镜部20的FOV。在这种情况下,所述拍摄对象区域可以由用户通过连接于第二实施例的图像获取装置100`的另外的输入接口(省略图示)来指定,并且,通过所述输入接口指定拍摄对象区域来驱动载物台部30,从而,可以使被摄体S的拍摄对象区域位于物镜部20的FOV。
此时,如同根据本发明的一实施例的图像获取装置100`,图像采集部10`由区域传感器组成时,物镜部20的FOV可以是指扫描方向上的垂直视角、左右方向上的视角或对角视角。
接着,如图5(a)所示,可通过聚焦位置接收部50输入得到被摄体S的厚度、在拍摄对象区域的被摄体S的Z轴高度位置、以及物镜部20的聚焦位置。此时,如同根据第一实施例的图像获取装置100`,由聚焦位置接收部50输入的被摄体S的厚度可以在被摄体S的总厚度的90%以内。
接着,如图5(a)所示,可通过图像采集部10`在拍摄对象区域生成在对应于被摄体S的厚度的范围内的Z轴信号叠加的图像。
如图4所示,当使用图像采集部10`由区域传感器组成的第二实施例的图像获取装置100`时,通过在区域传感器一次曝光时图像采集部10`中的变焦透镜在对应于由聚焦位置接收部50输入的被摄体S的厚度(例如,被摄体S总厚度的约90%)的范围内连续改变焦距(例如,从被摄体S的最低高度至最高高度或者最高高度至最低高度连续快速改变)来获取相互不同的Z轴信号之后,切断区域传感器的曝光,相加相互不同的Z轴信号来获取相互不同的Z轴信号叠加的图像。
然而,还可以利用在图像采集部10`中区域传感器曝光之前,变焦透镜开始改变焦距,并且,在变焦透镜在对应于被摄体S的厚度的范围内改变焦距的途中开始曝光区域传感器的驱动方式。
此外,输入到聚焦位置接收部50的被摄体S的厚度不限于上述的内容,可根据被摄体S的特性,远小于被摄体S的总厚度的90%,或者被摄体S的总厚度的100%。
因此,当图像采集部10`对不同聚焦高度的Z轴信号值相加时,第二实施例的图像获取装置100`也可以生成各种聚焦高度的图像叠加的图像。
然后,可以通过图像处理部60中的滤波部62,对由图像采集部10`生成的所述图像进行低频去除滤波处理。
使用根据本发明的第二实施例的图像获取装置100`的图像获取方法与使用根据第一实施例的图像获取装置100的图像获取方法相同,在被摄体S除了上述的拍摄对象区域(例如:拍摄第一图像的第一图像拍摄区域)之外不存在其他的拍摄对象区域时,可以不执行由图像处理部60中的图像匹配部64进行的另外的图像拼接处理。在被摄体中除了第一拍摄区域之外没有其他拍摄对象区域时,图像处理部60存储由图像采集部10`生成,并由滤波部64进行低频去除滤波处理的第一图像,并且显示部70给用户显示所生成的第一图像。
另一方面,在被摄体S中除了上述的第一拍摄对象区域之外还存在其他的拍摄对象区域时,如图5(b)所示,被摄体S可根据载物台部30的驱动而移动,使与第一图像拍摄区域相邻的被摄体S的拍摄对象区域(第二图像拍摄区域)位于物镜部20的FOV。作为一例,第二图像拍摄区域的至少一部分会与第一图像拍摄区域重叠。
如同第一图像拍摄区域,第二图像拍摄区域也可以由用户通过上述的输入接口指定,通过由所述输入接口指定第二图像拍摄区域来驱动载物台部30,从而,被摄体S的拍摄区域可以位于物镜部20的FOV中。
然后,如图5(b)所示,可以通过聚焦位置接收部50输入得到在第二图像拍摄区域中的被摄体S的Z轴高度位置。
然后,如图5(b)所示,可通过图像采集部10`在第二图像拍摄区域生成在对应于被摄体S的厚度的范围内的Z轴信号叠加的第二图像。
在这种情况下,第二图像与所述第一图像相同,可以是各种聚焦高度的图像重叠而生成的图像。
然后,可以通过图像处理部60中的滤波部62对由图像采集部10`生成的第二图像进行低频去除滤波处理。上述的使用根据本发明的一实施例的图像获取装置100`的图像采集方法,可以反复执行直到不再存在与第一图像拍摄区域和第二图像拍摄区域相邻的区域,或者在被摄体S再也没有未拍摄的拍摄对象区域为止(直到拍摄被摄体S的整个感兴趣区域(ROI)为止)。
然后,可以通过在图像处理部60中的图像匹配部64对所述第一图像和所述第二图像进行拼接处理,来生成全扫描图像。如上所述,由于第二图像拍摄区域的至少一部分会与第一图像拍摄区域重叠,因此,在图像匹配部64对第一图像和第二图像进行拼接处理时,为了消除第一图像和第二图像重叠部分的差异,可以进行拼接处理,使得在第一图像和第二图像重叠部分中的颜色、亮度、对比度、分辨率等尽可能相同。
此后,显示部70可以向用户显示通过图像匹配部64拼接第一图像和第二图像而生成的全扫描图像。
图6是示出使用本发明的图像获取装置100、100`的图像获取方法的流程图。
如上所述,参考图1至图5,详细说明了使用根据本发明的第一实施例的图像获取装置100及根据本发明的第二实施例的图像获取装置100`的图像获取方法,如后述将简单地说明图6的流程图。
参考图6,使用本发明的图像获取装置100、100`的图像获取方法为如下。
首先,如图3(a)或5(a)所示,将被摄体S的第一图像拍摄区域位于物镜部20的FOV中(步骤S1)。在这种情况下,可以通过驱动上述的载物台部30来执行所述步骤S1。
接着,输入得到被摄体S的厚度、被摄体S在第一图像拍摄区域中的Z轴高度位置以及物镜部20的焦点位置(步骤S2)。在这种情况下,可以由上述的聚焦位置接收部50执行所述步骤S2。
在图6中图示了在步骤S1之后执行步骤S2,但不限于此,也可以在先执行步骤S2之后执行步骤S1。
在执行所述步骤S1及S2之后,在被摄体S的第一图像拍摄区域生成在对应于被摄体S的厚度的范围内的Z轴信号叠加的第一图像(S3步骤)。在这种情况下,可以由上述的图像采集部10、10`来执行所述步骤S3。
在所述步骤S3之后,对生成的第一图像进行低频去除滤波处理(步骤S4)。在这种情况下,可以由上述的图像处理部60中的滤波部62执行所述步骤S4。
在使用本发明的图像获取装置100、100`的图像获取方法中,当被摄体S中除了上述第一图像拍摄区域之外没有其他的拍摄对象区域时,图像处理部60可以存储所生成的第一图像,并且,显示部70将生成的第一图像显示给用户。
另一方面,除了上述的第一图像拍摄区域之外还有其他的拍摄对象区域时,如图3(b)或图5(b)所示,移动被摄体S来使与第一图像拍摄区域相邻的被摄体S的第二图像拍摄区域位于物镜部20的FOV中(步骤S5)。在这种情况下,可以通过驱动上述的载物台部30来执行所述步骤S5,并且,第二图像拍摄区域的至少一部分会与第一图像拍摄区域重叠。
在所述步骤S5之后,输入得到在第二图像拍摄区域中的被摄体S的Z轴高度位置(步骤S6)。在这种情况下,可以由上述的聚焦位置接收部50执行所述步骤S6。
如上所述,当除了第一图像捕获区域之外还存在其他的拍摄对象区域时,在所述步骤S2及步骤S6中通过聚焦位置接收部50输入Z轴高度位置是在每次通过图像采集部10、10`拍摄第一图像或第二图像之前进行或仅在拍摄第一图像之前进行。
在根据本发明的图像获取方法中,由于通过图像采集部10、10`将各种聚焦高度叠加的信号图像生成为一个图像,因此,在拍摄每个聚焦高度的原始图像时不需要详细的焦点,因此,即使未在通过图像采集部10、10`拍摄图像之前必须每次通过聚焦位置接收部50输入Z轴高度位置,也可以获得充分聚焦的高深度图像。
因此,在根据本发明的图像获取方法中,并不是在通过图像采集部10、10`拍摄图像之前必须每次通过聚焦位置接收部50输入Z轴高度位置,因此,可以加快拍摄速度。
通过上述的聚焦位置接收部50输入Z轴高度位置是,在被摄体S除了第一拍摄区域和第二拍摄区域之外还存在多个拍摄对象区域时,每次拍摄图像之前进行,或者仅在拍摄第一图像之前进行,或者每次拍摄预定次数的图像之前进行一次。
所述步骤S6之后,在第二图像拍摄区域生成在对应于被摄体S的厚度的范围内的Z轴信号叠加的第二图像(步骤S7)。在这种情况下,可以由上述的图像采集部10、10`来执行上述步骤S7。
在所述步骤S7之后,对所生成的第二图像进行低频去除滤波处理(步骤S8)。在这种情况下,可以由上述的图像处理部60中的滤波部62执行上述步骤S8。
上述的使用根据本发明的图像获取装置100、100`的图像获取方法,可以反复进行直到不再存在与第一图像拍摄区域和第二图像拍摄区域相邻的区域,或者被摄体S再也没有未拍摄的拍摄对象区域为止。
在所述步骤S8之后,拼接所述第一图像和所述第二图像来生成全扫描图像(步骤S9)。在这种情况下,可以通过所述图像处理部60中的图像匹配部64执行所述步骤S9。
此后,显示部70可以向用户显示通过图像匹配部64拼接第一图像和第二图像而生成的全扫描图像。
另一方面,在本发明的上述图像获取方法中,举例说明了如在步骤S4和S8中,在Z轴信号叠加生成图像之后通过滤波部62进行低频去除滤波处理的例子,但本发明不限于此。
具体地,在本发明的图像获取方法中,(i)如所述步骤S4及步骤S8,可以在拍摄对象区域拍摄图像之后执行低频去除滤波处理,或者(ii)可以在拍摄被摄体S的整个感兴趣区域(ROI)之后,在图像匹配部64进行图像匹配之前执行低频去除滤波处理,或者(iii)可以在拍摄被摄体S的整个感兴趣区域(ROI)之后,图像匹配部64进行图像匹配之后进行低频去除滤波处理,或者(iv)可以在每次拍摄被摄体S的特定部分时,进行低频去除滤波处理。
图7是示出使用本发明的图像获取装置100、100`获取的图像的示例图。
图7所示的Z轴原始图像(参考图7的(a)至(g))是,通常通过调整物镜部20的聚焦高度来拍摄多个Z轴信号图像的方法拍摄的图像,表示具有相互不同的Z轴高度的图像信息的多个原始图像。
图7所示的Z轴信息叠加图像(参考图7的(h))是,通过本发明所提出的方法生成各种Z轴信号叠加的一个图像之后应用低频去除滤波器的图像,示出在所述步骤S4或所述步骤S8中对叠加Z轴信号而生成的第一图像或第二图像进行低频去除滤波处理的状态的例子。
参考图7的Z轴信息叠加图像,可以确认该Z轴信息叠加图像是在每个Z轴原始图像中的最佳聚焦区域(图7的(a)至(g)中用箭头表示的部分)组合成一个图像而得到的。
根据本发明,通过将Z轴图像信息重叠为一个图像而得到,从而,具有可以降低拍摄时间,简化数据容量和图像处理量的同时,获得高深度图像的效果。
以上的说明仅仅是对本发明的技术思想例示性说明而已,只要是本发明所属技术领域的普通技术人员,在不脱离本发明的本质特性的范围内可以进行多种修正、变更及取代。因此,本发明的实施例并非用于限定本发明的技术思想,而是用于说明本发明,本发明的实施例的技术思想的范围并非局限于这些实施例。本发明的实施例的保护范围应根据权利要求书来解释,并且应解释为在与其同等的范围内的所有技术思想都包含在本发明的权利范围中。

Claims (14)

1.一种图像获取装置,其为用于获取被摄体的图像的图像获取装置,其特征在于,包括:
图像采集部;以及
物镜部,配置在所述图像采集部的下方,
所述图像采集部,在所述被摄体的拍摄对象区域生成在对应于所述被摄体的厚度的范围内的Z轴信号叠加的图像。
2.根据权利要求1所述的图像获取装置,其特征在于,所述拍摄对象区域,包括:用于拍摄所述第一图像的第一图像拍摄区域、以及与所述第一图像拍摄区域相邻的所述被摄体的拍摄对象区域的第二图像拍摄区域,
所述图像采集部被构成为;
在所述第一图像拍摄区域生成在对应于所述被摄体的厚度的范围内的Z轴信号叠加的第一图像,
在所述第二图像拍摄区域生成在对应于所述被摄体的厚度的范围内的Z轴信号叠加的第二图像。
3.根据权利要求2所述的图像获取装置,其特征在于,还包括:
Z轴位置接收部,输入得到所述被摄体的厚度、在所述拍摄对象区域的Z轴高度位置以及所述物镜部的聚焦位置;
图像处理部,通过匹配所述第一图像和所述第二图像来生成全扫描图像;以及
显示部,用于输出所述生成的全扫描图像。
4.根据权利要求1所述的图像获取装置,其特征在于,所述图像采集部为包括多个级的TDI传感器。
5.根据权利要求4所述的图像获取装置,其特征在于,所述图像采集部相对于所述被摄体配置成所述多个级相对于所述被摄体的移动方向倾斜预定角度,
并被构成为在对应于所述被摄体的厚度的范围内,连续获取在所述每个级上由相互不同的聚焦高度而形成的相互不同的Z轴信号,并相加对所述每个级的所述相互不同的Z轴信号来获取Z轴信号叠加的图像。
6.根据权利要求1所述的图像获取装置,其特征在于,所述图像采集部为包括变焦透镜的区域传感器。
7.根据权利要求6所述的图像获取装置,其特征在于,所述图像采集部被构成为在对应于所述被摄体的厚度的范围内,所述变焦透镜连续改变聚焦高度来获取相互不同的Z轴信号,并相加所述相互不同的Z轴信号来获取Z轴信号叠加的图像。
8.根据权利要求1所述的图像获取装置,其特征在于,还包括图像处理部,所述图像处理部具备对所述Z轴信号叠加的图像进行低频去除滤波处理的滤波部。
9.根据权利要求3所述的图像获取装置,其特征在于,所述图像处理部,包括:
滤波部,对所述第一图像和所述第二图像进行低频去除滤波处理;以及
图像匹配部,对已执行所述低频去除滤波处理的所述第一图像和所述第二图像进行拼接来生成全扫描图像。
10.根据权利要求1所述的图像获取装置,其特征在于,还包括:
载物台部,设置在所述物镜部的下部,配置有所述被摄体;以及
照明部,设置在所述载物台部的下部,用于向所述被摄体照射光线。
11.根据权利要求2所述的图像获取装置,其特征在于,所述第二图像的至少一部分与所述第一图像重叠。
12.一种图像获取方法,其特征在于,包括:
使被摄体的第一图像拍摄区域位于物镜部的FOV的步骤;
输入得到所述被摄体的厚度、在所述第一图像拍摄区域的所述被摄体的Z轴高度位置、以及所述物镜部的聚焦位置的步骤;
在所述第一图像拍摄区域生成在对应于所述被摄体的厚度的范围内的Z轴信号叠加的第一图像的步骤;以及
对所述生成的第一图像进行低频去除滤波处理的步骤。
13.根据权利要求12所述的图像获取方法,其特征在于,包括:
通过移动所述被摄体,使与所述第一图像拍摄区域相邻的所述被摄体的第二图像拍摄区域位于物镜部的FOV中的步骤;
输入得到所述被摄体在所述第二图像拍摄区域的Z轴高度位置的步骤;
在所述第二图像拍摄区域生成在对应于所述被摄体的厚度的范围内的Z轴信号叠加的第二图像的步骤;
对所述生成的第二图像进行低频去除滤波处理的步骤;以及
通过拼接所述第一图像和所述第二图像来生成全扫描图像的步骤。
14.根据权利要求13所述的图像获取方法,其特征在于,所述第二图像的至少一部分与所述第一图像重叠。
CN202210926605.8A 2021-08-06 2022-08-03 图像获取装置以及使用其的图像获取方法 Pending CN115914786A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210103819A KR20230021888A (ko) 2021-08-06 2021-08-06 영상 획득 장치 및 이를 이용한 영상 획득 방법
KR10-2021-0103819 2021-08-06

Publications (1)

Publication Number Publication Date
CN115914786A true CN115914786A (zh) 2023-04-04

Family

ID=84975411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210926605.8A Pending CN115914786A (zh) 2021-08-06 2022-08-03 图像获取装置以及使用其的图像获取方法

Country Status (5)

Country Link
US (1) US20230037670A1 (zh)
JP (1) JP2023024355A (zh)
KR (1) KR20230021888A (zh)
CN (1) CN115914786A (zh)
DE (1) DE102022119610A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6583865B2 (en) * 2000-08-25 2003-06-24 Amnis Corporation Alternative detector configuration and mode of operation of a time delay integration particle analyzer
JP5497386B2 (ja) * 2009-09-11 2014-05-21 浜松ホトニクス株式会社 画像取得装置
JP2012016394A (ja) * 2010-07-06 2012-01-26 Shimadzu Corp 放射線断層撮影装置
US10139613B2 (en) * 2010-08-20 2018-11-27 Sakura Finetek U.S.A., Inc. Digital microscope and method of sensing an image of a tissue sample
US10178321B2 (en) * 2013-11-27 2019-01-08 Mitutoyo Corporation Machine vision inspection system and method for obtaining an image with an extended depth of field
JP2016075817A (ja) * 2014-10-07 2016-05-12 キヤノン株式会社 画像取得装置、画像取得方法及びプログラム
DE102017220101A1 (de) * 2016-11-23 2018-05-24 Mitutoyo Corporation Prüfsystem unter Verwendung von maschinellem Sehen zum Erhalten eines Bilds mit erweiterter Tiefenschärfe
US10502941B2 (en) * 2017-09-29 2019-12-10 Leica Biosystmes Imaging, Inc. Two-dimensional and three-dimensional fixed Z scanning
KR102667875B1 (ko) 2018-10-29 2024-05-22 한화비전 주식회사 오토 포커스를 수행하는 이미지 촬영 장치
EP3899500A4 (en) * 2018-12-18 2022-09-21 Pathware Inc. COMPUTER ASSISTED MICROSCOPY BASED SYSTEM AND PROCEDURE FOR AUTOMATIC IMAGING AND ANALYSIS OF PATHOLOGICAL SPECIMENS

Also Published As

Publication number Publication date
JP2023024355A (ja) 2023-02-16
KR20230021888A (ko) 2023-02-14
DE102022119610A1 (de) 2023-02-09
US20230037670A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
KR101632578B1 (ko) 촬영 화상의 보조 정보를 생성하는 촬상장치, 화상처리장치, 및 화상처리방법
US9632301B2 (en) Slide scanner with a tilted image
US20140125776A1 (en) 3d pathology slide scanner
JP2004101871A (ja) 顕微鏡画像撮影装置
US8314837B2 (en) System and method for imaging with enhanced depth of field
US20110090327A1 (en) System and method for imaging with enhanced depth of field
US11106026B2 (en) Scanning microscope for 3D imaging using MSIA
US20110091125A1 (en) System and method for imaging with enhanced depth of field
JP2009047978A (ja) 撮像装置、合焦装置、撮像方法および合焦方法
US10877255B2 (en) High resolution pathology scanner with improved signal to noise ratio
JP5019279B2 (ja) 共焦点顕微鏡及び合焦カラー画像の生成方法
CN115914786A (zh) 图像获取装置以及使用其的图像获取方法
JP2007060520A (ja) 撮像装置
JP2006519408A5 (zh)
JP3652014B2 (ja) 距離計測装置
JP4346888B2 (ja) 顕微鏡装置
JP3725606B2 (ja) 撮影装置
KR20230073005A (ko) Z축 스캐닝을 포함하는 전체 슬라이드 이미지 생성 장치 및 방법
CN116893501A (zh) 图像获取装置及图像获取方法
JP4231915B2 (ja) 標本検査方法及びシステム
KR20230103394A (ko) 초점 복원 기능을 포함하는 슬라이드 이미징 장치 및 그 방법
CN113933984A (zh) 用于生成由多个显微子图像合成的图像的方法和显微镜
JP2006189510A (ja) 顕微鏡装置及び拡大画像生成方法
JP2015211313A (ja) 撮像装置、撮像システム、撮像方法およびプログラム
JPH09105869A (ja) 顕微鏡の画像加算入出力装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination