CN104322046B - 用于捕获移动对象的图像的成像设备 - Google Patents

用于捕获移动对象的图像的成像设备 Download PDF

Info

Publication number
CN104322046B
CN104322046B CN201380028054.2A CN201380028054A CN104322046B CN 104322046 B CN104322046 B CN 104322046B CN 201380028054 A CN201380028054 A CN 201380028054A CN 104322046 B CN104322046 B CN 104322046B
Authority
CN
China
Prior art keywords
sensor
mobile object
image
imaging
linear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380028054.2A
Other languages
English (en)
Other versions
CN104322046A (zh
Inventor
S·斯塔特奇克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ANTELEON IMAGING SARL
Original Assignee
ANTELEON IMAGING SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ANTELEON IMAGING SARL filed Critical ANTELEON IMAGING SARL
Publication of CN104322046A publication Critical patent/CN104322046A/zh
Application granted granted Critical
Publication of CN104322046B publication Critical patent/CN104322046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795—Reading arrangements
    • H04N1/00827—Arrangements for reading an image from an unusual original, e.g. 3-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/12—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using the sheet-feed movement or the medium-advance or the drum-rotation movement as the slow scanning component, e.g. arrangements for the main-scanning
    • H04N1/14—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using the sheet-feed movement or the medium-advance or the drum-rotation movement as the slow scanning component, e.g. arrangements for the main-scanning using a rotating endless belt carrying the scanning heads or at least a part of the main scanning components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/845—Objects on a conveyor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0081—Image reader
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0442—Details of scanning carriage or moving picture-bearing surface support, e.g. bearing contact with guide rails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0454—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207 for increasing the scanning speed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Studio Devices (AREA)

Abstract

描述了用于捕获至少部分的移动对象的图像的成像设备。该系统包括：静止的摄像机镜头(11)，被配置成当所述对象(10)移动穿过捕获区域(12)时在成像平面中重现至少一部分的每个移动对象(10)的图像。该设备还包括位于成像平面中的至少一个图像传感器(13；23；33；43；53)，用于接收对应的移动对象(10)的至少一部分的重现图像且将所述图像转换成电信号。该至少一个图像传感器(13；23；33；43；53)被安装在一个传感器支承件(14；24；34；44；54)上，该传感器支承件适于以使该至少一个图像传感器(13；23；33；43；53)在成像平面中相对于静止的摄像机镜头(11)移动的方式被致动，且适于以使所述至少一个图像传感器(13；23；33；43；53)的运动与待要捕获的移动对象(10)的运动同步的方式被致动。这确保当所述移动对象(10)移动穿过捕获区域(12)时在成像平面中的重现图像和该图像传感器(13；23；33；43；53)之间大体上不存在相对移动。因此，防止或显著减少至少一部分的每个移动对象(10)的捕获图像的运动模糊。

Description

用于捕获移动对象的图像的成像设备
技术领域
本发明涉及能够捕获高速移动的对象的图像的成像设备。更具体地，该成像设备包括至少一个图像传感器，该图像传感器被配置成与移动对象同步地移动，以防止或显著减少所捕获的图像的运动模糊。
背景技术
工业制造过程通常包括控制步骤，控制步骤可能意味着捕获和/或分析正在制造的对象的图像。
为了以足够高的质量捕获制造线上的对象的图像，一种选择是使对象临时固定在制造线上的确切位置处并且对固定的对象拍照，例如，用静止的摄像机。该对象随后沿着制造线再次移动。这允许实现最佳的图像质量，因为当拍摄图像时，所捕获的对象是静止的。然而，此选择的缺点是，固定正在被制造的对象会降低制造线的吞吐量，这在某些应用中可能会受批评。此外，局部地中断在制造线上正处理的产品流并非总是可能的。
因此，另一种选择是当待要控制的对象在制造线上移动时捕获该对象的图像，这允许将对象维持处于恒定速度的运动中，以使生产线的吞吐量最大化。捕获运动中的对象的图像的问题在于避免运动模糊，运动模糊会降低图像质量且使得不足以执行控制任务。
US 6,907,103公开了一种能够以最小运动模糊捕获移动对象的图像的成像系统。这是通过如下方式实现的，即，移动点照明源使得从中投射出照明的位置随着对象移动而变化，以确保投射到成像平面上的图像的位置保持大体上有效地静止。从中投射出照明的位置充当点照明源。该成像系统的图像传感器被定位在成像平面中且接收从照明源的位置投射出的穿过移动对象的照明。该图像传感器响应于接收的照明产生电信号。因为移动对象的图像在图像传感器上保持有效静止，该图像传感器位于成像平面中，所以能够以最小的模糊构建至少一部分的移动对象的图像，且无须暂停该对象以捕获其图像。
此系统的照明源优选地是穿过对象的X射线。因为照明源的投射角度在该对象的两个给定位置之间有些改变，所以将在每个位置处捕获对象的区域的稍微不同的视图。这可能会稍微损害图像质量。
集成了具有多种分辨率(例如，水平640乘以竖直480，1024×1024，1600×1200或任何其他适当的分辨率)的二维像素阵列的传感器的高速摄像机，可以被用来捕获移动对象的图像。然而，为了获得移动对象的清晰图像，阵列传感器需要短曝光时间和/或强力的选通照明，短曝光时间优选地通过快门同步装备控制以使曝光时间与移动对象的当前位置同步，强力的选通照明是为了增加在曝光期间由传感器接收的光的量，所有这些都增加了系统的复杂度并且由此增加了成本。另外，通常使用大孔径以补偿短曝光时间，从而限制摄像机的景深，这可能会限制摄像机在一些情况下的使用，例如在对象上的数个控制点相对于摄像机的轴线不在一个相同的平面中的情况下。
已开发了使用线性图像传感器的线扫描摄像机，以用于捕获高速移动的对象的图像。线性图像传感器具有单个像素线，该传感器捕获的图像数据能够被读取的速度远快于用任何常规阵列传感器。因此，与阵列图像传感器相比，线性传感器的两次相继曝光之间的时间延迟被显著减少。线性传感器还允许建立在图像的竖直分辨率上不受限制的连续图像，从而减少或甚至避免对使传感器的曝光时间帧与移动对象的位置同步的需要。待要通过线扫描摄像机捕获的移动对象的最大可允许速度，是通过摄像机的最大线速率(即，在给定时间内相继的传感器曝光的最大次数)和在每次曝光时通过线性传感器捕获的对象的线性距离(该线性距离取决于对象到摄像机的距离、摄像机的光学器件，等等)等基本确定的。某些标准线扫描摄像机可以实现近乎19kHz的最大线速率，这允许它们高效地捕获在典型的生产线配置中以2m/s的范围内的最大速度移动的对象。
然而，线性传感器仍需要给定的曝光量，以产生可用的图像数据。因此，增加线扫描摄像机的线速率要求对移动对象的增加的光照。高速线扫描摄像机因此仍要求强力的和/或精密的光照解决方案。
线扫描摄像机的另一个缺点是它们具有最小线速率，使得移动对象需要以最小速度在摄像机的前面行进，以避免两次捕获该对象的同一部分的图像。
在降低高速线扫描摄像机的光照要求的尝试中，已开发了使用时间延迟积分(TDI)技术的所谓的高敏感度线性传感器，其中通过将它捕获的图像对多行像素作积分来产生移动对象的线性图像。然而，此技术不允许增加移动对象的速度。这样的高敏感度线扫描摄像机的另一个缺点是对象的移动方向需要完美地垂直于像素行。此外，这样的传感器对光或对象的速度变化非常敏感。
因此，本发明的一个目的是提供用于捕获以非常高的速度移动的对象的清晰图像的成像设备。
本发明的另一个目的是提供允许以更长景深捕获快速移动的对象的高速摄像机。
本发明的又另一个目的是提供用于以最小光照要求捕获移动对象的清晰图像的成像设备。
发明内容
这些目的和其他优点通过如下的用于捕获至少部分的移动对象的图像的成像设备实现：
用于捕获至少部分的移动对象的图像的成像设备，该设备包括：静止的摄像机镜头，用于在成像平面中重现至少一部分的移动对象的图像；以及至少一个图像传感器，用于接收至少一部分的移动对象的重现图像且将所述图像转换成电信号，其中该至少一个图像传感器被安装在传感器支承件上，该传感器支承件适于以在该成像平面中相对于该静止的摄像机镜头移动该至少一个传感器的方式被致动，
其特征在于
传感器支承件适于以如下方式被致动，即，在限定用于捕获图像的曝光时间期间在所述移动对象连续地移动穿过捕获区域时使所述至少一个图像传感器的运动与对应的移动对象的运动同步，使得当所述对应的移动对象连续地移动穿过该捕获区域时在该成像平面中的重现图像和该至少一个图像传感器之间不存在相对移动。
这些目的和其他优点尤其通过如下的用于捕获至少部分的移动对象的图像的成像设备实现，该设备包括：静止的摄像机镜头，用于当对象移动穿过捕获区域时在成像平面中重现至少一部分的移动对象的图像；以及位于该成像平面中的至少一个图像传感器，用于接收该部分的移动对象的重现图像且将所述图像转换成电信号，其中该图像传感器被安装在传感器支承件上，该传感器支承件适于以使该图像传感器在该成像平面中相对于静止的摄像机镜头移动的方式被致动，并且该传感器支承件适于当所述移动对象移动穿过捕获区域时以使图像传感器的运动与移动对象的运动同步的方式被致动，使得当所述移动对象移动穿过捕获区域时在成像平面中的重现图像和该图像传感器之间大体上不存在相对移动。
使该传感器在成像平面中移动使得如在成像平面中重现的待要捕获的图像和该图像传感器之间大体上不存在相对移动，允许无论图像传感器的曝光时间如何都避免捕获图像的运动模糊。因此，这允许以减少的光照和/或孔径获得快速移动对象的清晰图像。移动对象最大速度仅受成像平面的尺寸和/或图像传感器在所述成像平面中的最大速度的限制。
此外，根据本发明的一个优选实施方案的成像设备还包括例如传送带形式的传送机装置，该传送机装置适于使所述移动对象沿着给定的路径相对于地或例如相对于支承结构移动以带着每个移动对象穿过捕获区域。在此配置中，摄像机镜头相对于地或相对于支承结构被静止安装。根据该实施方案的成像设备良好地适合于在生产中控制质量或适合于在视觉特性被用于检验的情况下验证产品。
本发明的成像设备的至少一个图像传感器可以是面阵图像传感器或线性图像传感器。
该传感器支承件优选地是可致动的，使得当对象移动穿过捕获区域时，该至少一个图像传感器和该移动对象以相反的方向沿着大体上平行的直线轨迹移动。
在实施方案中，传感器支承件是带，沿着该带安装有多个图像传感器，该带是线性可致动的，以使得在待要捕获的移动对象移动穿过该捕获区域期间当每个图像传感器经过摄像机镜头上方时赋予每个图像传感器线性运动。
在其他实施方案中，传感器支承件是绕其纵向轴线可旋转的圆柱形支承件，其中所述纵向轴线基本上垂直于摄像机镜头的轴线，且至少一个图像传感器安装在该圆柱形支承件的圆周上，使得通过旋转该圆柱形支承件使至少一个图像传感器在成像平面中相对于该静止的摄像机镜头移动。
在实施方案中，成像设备包括安装在传感器支承件上的多个线性图像传感器，然而所述多个线性图像传感器被配置成使得当移动对象移动穿过捕获区域时所述多个线性图像传感器中的至少一些线性图像传感器的每个都捕获重现图像的一部分，其中该成像设备被配置为用通过所述至少一些线性图像传感器中的每个拍摄的该重现图像的所述部分来重构至少一部分的移动对象的图像。
在实施方案中，成像设备包括图像传感器的至少一个簇群，每个簇群都包括安装在传感器支承件上的多个线性图像传感器，然而所述多个线性图像传感器被配置成使得当移动对象移动穿过捕获区域时每个线性图像传感器捕获该重现图像的一部分，其中该成像设备被配置为用通过对应簇群的每个线性图像传感器拍摄的该重现图像的该部分来重构至少一部分的移动对象的图像。
在实施方案中，传感器支承件是绕其纵向轴线可旋转的圆柱形支承件，该纵向轴线基本上垂直于该摄像机镜头的轴线，且该成像设备包括多个簇群，每个簇群包括沿着不连贯的圆弧安装在该圆柱形支承件的圆周上的多个线性图像传感器，其中该成像设备被配置为用在所述圆柱形支承件绕对应于一个圆弧的角度旋转时通过对应簇群的每个线性图像传感器拍摄的重现图像的部分来重构至少一部分的移动对象的图像。
在实施方案中，传感器支承件是可旋转致动的，以当对应的移动对象移动穿过该捕获区域时在该摄像机镜头的成像平面中移动至少一个图像传感器。可旋转的传感器支承件则例如被配置成当对象移动穿过该捕获区域时沿着与该移动对象的方向相反的线性方向进一步被致动。该可旋转的传感器支承件可以包括一个图像传感器，其中可旋转的支承件适于在两个相继的移动对象的两个捕获图像之间旋转约通过360°。该可旋转的传感器支承件还可以包括N个图像传感器且适于在两个相继的移动对象的两个捕获图像之间旋转通过360°/N。所述N个图像传感器例如以不同高度被安装在可旋转的传感器支承件上，以在摄像机透镜的不同焦距捕获图像。
本发明的成像设备优选地包括一个处理单元，该处理单元处理与每个移动对象的位置、速度和距捕获区域的距离有关的数据，从而适配该传感器支承件的速度以确保当移动对象移动穿过捕获区域时每个移动对象被放置对应于一个图像传感器。
本发明的成像设备优选地包括一个处理单元，该处理单元以如下方式控制该可旋转的传感器支承件的旋转速度，即，在外部信号指示正在接近捕获区域的移动对象时使该可旋转的传感器支承件的旋转速度加速或减速，从而当移动对象移动穿过捕获区域时使对应的图像传感器定位在摄像机镜头上方。
本发明的成像设备优选地包括用于通过无线电波从至少一个图像传感器取回图像的装置以及可选地用于向该至少一个图像传感器提供电力供应的装置。
附图说明
由于下面参照附图对实施方案的详细描述，将更好地理解本发明，在附图中：
-图1示出根据本发明的一个实施方案的成像设备的示意图；
-图2示出根据本发明的另一个实施方案的成像设备的示意图；
-图3示出根据本发明的又另一个实施方案的成像设备的示意图；
-图4示出根据本发明的另一个实施方案的成像设备的可旋转传感器支承件的示意图；
-图4a和图4b示出包括图4的传感器支承件的成像设备在分别捕获移动对象的第一、第二相邻线性部分的图像时的示意性正视图。
-图5示出根据本发明的又另一个实施方案的成像设备的示意图；
-图6示出根据本发明的另一个实施方案的成像设备的示意图；以及
-图7示出根据本发明的另一个实施方案的成像设备的示意图。
具体实施方式
根据图1中例示的本发明的一个实施方案，成像设备设置有图像传感器13，用于捕获由摄像机镜头11在成像平面中重现的移动对象10的图像，且用于将所述重现的图像转换成电信号。如在本说明书中使用的术语“摄像机镜头”涵盖包括光学镜头或镜头组件且适于在摄像机镜头后面的成像平面中重现位于摄像机镜头前面的对象的图像的任何光学设备。对象10例如通过传送带15或通过任何其他传送机或运输装置被移动。传送带15例如适于相对于支承结构15’移动，而摄像机镜头11相对于所述支承结构15’静止。通过传送带15轮流使每个移动对象10穿过捕获区域12。捕获区域对应于例如在为了捕获图像而限定的曝光时间(例如，摄影的曝光时间)期间由移动对象10覆盖的面积。
在图1中例示的实施方案中，成像设备包括带14形式的传感器支承件，带14例如被卷绕在直径上相对的两个滑轮37、37’上。
滑轮37、37’的旋转使所述带14移动，使得它赋予在成像平面中的每个图像传感器13相对于摄像机11的线性运动，该线性运动的方向与对应的移动对象10在捕获区域12中的线性运动的方向相反。图像传感器13在成像平面中的速度与待要捕获的移动对象10的运动同步，使得当所述对应的移动对象10移动穿过捕获区域12时在对应的移动对象10的成像平面中重现的图像和图像传感器13之间大体上不存在相对移动。可以在本发明的框架内设想本领域技术人员已知的且适于将线性运动赋予带14的其他驱动装置。
根据该例示的实施方案，具有任何适当分辨率(例如，1024×1024像素)的二维像素阵列的数个图像传感器13沿着带14的外表面布置。图像传感器13例如沿着整个带14规则地间隔开。图像传感器13之间的间距例如根据传送带15上的两个移动对象10之间的间距被设定尺度，以使每当一个移动对象10在捕获区域12中时至少一个图像传感器13位于该成像平面中。
根据图2中例示的本发明的一个变体实施方案，成像设备包括安装在带14上的多个线性图像传感器13。线性图像传感器13包括单行有源像素，诸如例如由仙童成像公司(Fairchild Imaging,Inc.)销售的CCD 134图像传感器。在该例示的实施例中，该线性图像传感器被分组成每个包括N个线性图像传感器13的数个簇群，而N例如是根据待要捕获图像的期望的清晰度确定的。线性传感器13优选地被安装在传感器支承件14上，使线性传感器13的像素行被定向垂直于传感器支承件14的行进方向和传送机15的行进方向。
所述簇群例如沿着带14布置且相互间隔一个步长，该步长可以根据在传送带15上移动的两个相邻对象10之间的间隔确定。每个簇群例如被配置成拍摄移动对象10的相邻部分的N个相继的或同时的图像。随后用通过对应的簇群的每个线性图像传感器拍摄的N个图像来重构对应的移动对象10的整个图像或移动对象10的感兴趣部分的整个图像。线性传感器的数目N例如是1024，而每个线性传感器包括1024个像素，因此导致1024×1024的最大配置的图像。
在相继地而不是同时地激活每个簇群的线性传感器13的配置中，优选地激活每个线性图像传感器是从该线性图像传感器行进越过摄像机镜头11的中心(在此失真被最小化)之前不久起，直到行进越过摄像机镜头11的中心之后不久为止。通过例如从在每个线性传感器与摄像机镜头的轴线对准之前的一半曝光时间起直到在该线性传感器与摄像机镜头的轴线对准之后的一半曝光时间为止激活每个线性传感器，可使得每个线性传感器的曝光时间与其通过摄像机镜头11的成像平面的行进时间近似同样长。此最大曝光时间因此显著长于用阵列图像传感器类似地可实现的最大曝光时间，因为以相同速度行进的阵列图像传感器将以短得多的时间完全停留在成像平面中。因此这允许减少对象10的光照和/或减少摄像机镜头11的孔径，以获得更大的景深。此优点还可以被用于使线性图像传感器13在成像平面中的行进速度最大化，这允许捕获更快速移动对象10的图像。
根据本发明的另一个实施方案且参照图3，成像设备包括可旋转的圆柱形支承件24，该可旋转的圆柱形支承件具有圆形外表面或周边，沿着该圆形外表面或周边定位有数个图像传感器23。此支承件24被安装在摄像机镜头11上方且围绕此支承件的纵向轴线24’旋转，该纵向轴线24’被定向为基本上垂直于摄像机镜头11的轴线11’，从而在对应的移动对象10移动穿过捕获区域12时将每个图像传感器23轮流带入摄像机镜头11的成像平面中。
在一个变体实施方案中，每个图像传感器23被安装在设计用于补偿支承件24的圆形外表面25的曲率的保持器(未示出)上，以确保在捕获对应的图像时每个图像传感器被完全平直地定位在成像平面中。
在图4、图4a和图4b中例示的又一个变体实施方案中，成像设备包括多个线性图像传感器33，例如，每个都具有1024像素或任何其他合适的清晰度的M个线性图像传感器，所述线性图像传感器围绕圆柱形传感器支承件34的表面彼此相邻地安装。圆柱34被安装成围绕一个与摄像机镜头11的轴线垂直的轴线34’旋转，以在对应的移动对象10移动穿过捕获区域12时将每个线性图像传感器33轮流带入成像平面中。处理单元(未示出)与马达(未示出)联接且处理与移动对象10的位置、速度和距捕获区域12的距离相关的数据，以适配圆柱34的旋转速度使得当移动对象10移动穿过所述捕获区域12时将每个线扫描图像传感器33带到与该移动对象10的一个特定部分对应。在此配置中，圆柱34例如适于在移动对象10的两个相继的相邻部分的两个捕获图像之间旋转通过360°/M。随后用各自通过一个对应的线性成像传感器33拍摄的N个局部图像来重构移动对象10的感兴趣部分的图像，而N是通过期望的图像的尺寸和/或清晰度确定的。圆柱34的直径和线性传感器33的数目是可以例如根据待要监测的对象的尺寸和力图实现的分辨率而被适配的参数。
根据图5中例示的本发明的一个变体实施方案，成像设备包括N个线性传感器33的数个簇群，线性传感器33围绕圆柱34周边沿着不连贯的圆弧α安装。每个簇群的N个线性图像传感器33被配置成在该圆柱绕一个对应于α的角度旋转时拍摄移动对象10的相邻部分的N个相继的图像。在此配置中，使用由同一簇群的N个线性图像传感器33拍摄的N个局部相继图像来重构移动对象10的感兴趣部分的整个图像。
在图6中例示的本发明的又另一个实施方案中，具有二维像素阵列的图像传感器43例如被安装在可旋转盘44上，该可旋转盘44被马达49带动在摄像机镜头11的成像平面中旋转。盘44例如通过轴48轴向地连接到马达49。当移动对象10移动穿过捕获区域12时，盘44的旋转使图像传感器43在所述成像平面中以与待要捕获的所述移动对象10的方向大体上相反的方向移动。
处理单元(未示出)与马达49联接且处理与每个移动对象10的位置、速度和距捕获区域12的距离相关的数据，从而当每个移动对象10移动穿过所述捕获区域12时，以将图像传感器43带入与每个移动对象10相对应的方式适配可旋转盘44的速度。在此配置中，可旋转盘44在两个相继的移动对象10的两个捕获图像之间旋转通过约360°。
在另一些实施方案中，可旋转盘44的旋转速度是恒定的且是基于穿过捕获区域12的两个相继的对象10之间的时间间隔而确定的。盘44的旋转速度例如被设置成使得盘44在将穿过捕获区域12的两个相继的对象10分隔的时间间隔期间以恒定速度旋转通过360°。一旦盘44的旋转速度被设置，则图像传感器43(尤其图像传感器43的中心)到盘44的旋转轴线的距离被确定，使得传感器43在捕获由摄像机镜头11重现的移动对象10的图像时的线性速度匹配所述对象移动穿过捕获区域12的速度，尤其使得传感器43的线性速度大体上等于在成像平面中重现的图像的速度。
由此控制和/或确定盘44的旋转速度和图像传感器43的中心距盘44的旋转轴线的距离，以在移动对象10移动穿过捕获区域12时以如下方式使图像传感器43在成像平面中相对于静止的摄像机镜头11移动，即，使得所述移动对象10在成像平面内重现的图像和如图6中示出的图像传感器43之间大体上不存在相对移动。
通过以此方式移动图像传感器43，防止或至少显著减少了所捕获图像的运动模糊，而不需要在捕获对象的图像之前暂停该移动对象以允许该对象安定。考虑到移动对象10的速度可以达到一米每秒到数米每秒，根据本发明使图像传感器43在成像平面中移动还允许使用相对长的曝光时间，这转而允许使用相对小的孔径，因此导致具有更大景深的捕获图像。
对象10例如沿着直线轨迹移动，且可旋转盘44的直径应优选地足够大使得位于所述盘44的周边处的图像传感器43在成像系统的曝光时间期间的移动可以被认为几乎是线性的，从而由于对应的移动对象10和图像传感器43以相反的方向沿着相同的直线轴线移动而提高图像的质量。
在一个变体中，图像传感器43例如安装在压电设备(未示出)上，该压电设备安装在盘44上，其中该压电设备被激活以在捕获移动穿过捕获区域12的对象10的图像时(即，在成像设备的曝光时间期间)使图像传感器43在与可旋转盘44的旋转相反的方向上旋转，以使得图像传感器43和移动对象10相对于彼此线性运动从而防止图像失真。根据此变体，在不影响图像质量的情况下，盘44的尺寸可以保持得小，从而提供更紧凑的成像设备。盘44越小，图像传感器43相对于盘44的旋转就必然越重要，以补偿该盘在成像平面中的移动的非线性。
在另一个变体中，根据本发明的成像设备可以被开发以集成驱动装置，该驱动装置适于当移动对象10移动穿过捕获区域12时，沿着成像平面中与所述移动对象10的方向相反的线性方向有利地进一步致动可旋转盘44。
在另一个实施方案中，成像设备适于按顺序赋予可旋转盘44线性运动和旋转运动。更具体地，旋转运动和线性运动以如下方式被分开：盘44首先被旋转致动以将图像传感器43带到被设定为重现移动对象10的图像的成像平面的区域附近，随后当所述移动对象10移动穿过捕获区域12时所述盘44被线性地致动。
成像设备优选地包括导向装置(未示出)，其适于与盘44的圆周边缘配合，以防止或减少可能会显著损害重现图像的质量的振动。
根据如在图7中以实施例的方式例示的本发明的另一个实施方案，成像设备包括盘形式的可旋转支承件54，该盘适于保持沿着以该支承件的中心为中心的一个圆而规则地散布的N个图像传感器53(N包括例如在2和12之间)。每个图像传感器53被布置成当它们相应的移动对象10被传送带25轮流带着穿过捕获区域12时在摄像机镜头11上方移动。在此配置中，可旋转支承件54适于在两个相继的移动对象10的两个捕获图像之间旋转通过360°/N。
根据本发明的成像设备还包括用于从移动图像传感器取回图像数据和/或用于为所述传感器供电并且控制所述传感器的装置。这些装置可以例如包括电学和/或光学接触件，诸如例如滑环、刷接触件、和/或任何其他适当的接触件，可能地包括无线连接件。
根据本发明的上述实施方案中的任一个所述的成像设备，优选地还包括处理单元，该处理单元处理与每个移动对象的位置、速度和距捕获区域的距离相关的数据，从而适配该传感器支承件的速度以确保当每个移动对象移动穿过该捕获区域时每个移动对象被放置对应于一个图像传感器或对应的图像传感器。
替代地，根据这些实施方案中的任一个所述的成像设备还包括处理单元，在移动对象将要移动穿过捕获区域时，该处理单元一旦接收到触发的外部信号就以使传感器支承件的速度加速或减速的方式控制该传感器支承件的旋转速度。从而，当该移动对象移动穿过所述捕获区域时，对应的图像传感器被定位在摄像机镜头上方。
这些可以通过常规算法实现，该常规算法可被认为是本领域技术人员的公知常识的一部分且因此将不在本文中对其进行描述。
根据本发明，传感器支承件可以具有用于使图像传感器在成像平面中线性运动的多种配置。优选地，该传感器支承件被配置为使传感器总是在沿着封闭环路的相同方向上移动。
应注意的是，本发明的上述实施方案仅是可行的实施方式的实施例。本领域技术人员将从本公开内容中理解，在不脱离由所附权利要求限定的本发明的范围的前提下，可以对本文中描述的实施方案做出许多改变和修改。一个实施方案的某些特征可以被调换为其他实施方案中的任一个。例如，用于在第一实施方案中描述的应用的压电设备也可以连接到第二实施方案的每个传感器以实现相同的效果，即防止捕获图像的失真。此外，虽然该成像系统非常适合于在生产线中控制质量，或在视觉特性被用于检验的情况下用于验证产品，但它也可以被用于例如飞行目标拍照或用于在振动环境中拍照。

Claims (16)

1.用于捕获至少部分的移动对象(10)的图像的成像设备，该设备包括：静止的摄像机镜头(11)，用于在成像平面中重现至少一部分的移动对象(10)的图像；以及至少一个图像传感器(13；23；33；43；53)，用于接收至少一部分的移动对象(10)的重现图像且将所述图像转换成电信号，其中该至少一个图像传感器(13；23；33；43；53)被安装在传感器支承件(14；24；34；44；54)上，该传感器支承件适于以在该成像平面中相对于该静止的摄像机镜头(11)移动该至少一个传感器(13；23；33；43；53)的方式被致动，
其特征在于
传感器支承件适于以如下方式被致动，即，在限定用于捕获图像的曝光时间期间在所述移动对象(10)连续地移动穿过捕获区域(12)时使所述至少一个图像传感器(13；23；33；43；53)的运动与对应的移动对象(10)的运动同步，使得当所述对应的移动对象(10)连续地移动穿过该捕获区域(12)时在该成像平面中的重现图像和该至少一个图像传感器(13；23；33；43；53)之间不存在相对移动。
2.根据权利要求1所述的成像设备，其中该至少一个图像传感器(13；23；33；43；53)是面阵图像传感器或线性图像传感器。
3.根据权利要求1或2所述的成像设备，其中该传感器支承件(14；24；34；44；54)是可致动的，使得当所述移动对象(10)移动穿过该捕获区域(12)时该至少一个图像传感器(13；23；33；43；53)和该对应的移动对象(10)以相反的方向沿着平行的直线轨迹移动。
4.根据权利要求1或2所述的成像设备，还包括传送机装置，该传送机装置适于使所述移动对象(10)穿过该捕获区域(12)，其中所述传送机装置包括适于相对于一个支承结构(15’)移动的传送带(15)，且所述摄像机镜头(11)相对于该支承结构(15’)被静止地安装。
5.根据权利要求1或2所述的成像设备，其中该传感器支承件是带(14)，沿着该带(14)安装多个图像传感器(13)，所述带(14)是线性地可致动的，以在待要捕获的移动对象(10)移动穿过该捕获区域(12)期间当每个图像传感器(13)经过该摄像机镜头(11)上方时赋予每个图像传感器(13)线性运动。
6.根据权利要求1或2所述的成像设备，其中该传感器支承件是绕其纵向轴线(24’，34’)可旋转的圆柱形支承件(24；34)，其中所述纵向轴线(24’，34’)垂直于该摄像机镜头(11)的轴线，其中所述至少一个图像传感器(23；33)安装在所述圆柱形支承件(24；34)的圆周上，使得通过旋转所述圆柱形支承件使所述至少一个图像传感器(23；33)在该成像平面中相对于该静止的摄像机镜头(11)移动。
7.根据权利要求1所述的成像设备，包括安装在所述传感器支承件(14；34)上的多个线性图像传感器(13，33)；所述多个线性图像传感器(13，33)被配置成使得当所述移动对象(10)移动穿过该捕获区域(12)时所述多个线性图像传感器(13)中的至少一些线性图像传感器的每个都捕获所述重现图像的一部分，其中所述成像设备被配置为用通过所述至少一些线性图像传感器中的每个拍摄的所述重现图像的所述部分来重构至少一部分的所述移动对象(10)的所述图像。
8.根据权利要求1所述的成像设备，包括图像传感器的至少一个簇群，所述至少一个簇群中的每个都包括安装在所述传感器支承件(14；34)上的多个线性图像传感器(13,33)，其中所述至少一个簇群被配置成使得当所述移动对象(10)移动穿过所述捕获区域(12)时至少一个簇群的每个线性传感器捕获所述重现图像的一部分，其中所述成像设备被配置为用通过所述至少一个簇群的每个线性图像传感器(13,33)拍摄的所述重现图像的所述部分来重构至少一部分的所述移动对象(10)的所述图像。
9.根据前述权利要求8所述的成像设备，其中所述传感器支承件是绕其纵向轴线可旋转的圆柱形支承件(34)，所述纵向轴线垂直于该摄像机镜头(11)的轴线，所述成像设备包括多个簇群，每个簇群包括沿着不连贯的圆弧α安装在所述圆柱形支承件(34)的圆周上的多个线性图像传感器(33)，其中所述成像设备被配置为用在所述圆柱形支承件(34)绕一个对应于α的角度旋转时通过所述多个线性图像传感器中的每个线性图像传感器(33)拍摄的所述重现图像的部分来重构至少一部分所述移动对象(10)的所述图像。
10.根据权利要求1或2所述的成像设备，其中该传感器支承件(44；54)是可旋转致动的，以当对应的移动对象(10)移动穿过捕获区域(12)时使至少一个图像传感器(43；53)在该摄像机镜头(11)的成像平面中移动。
11.根据权利要求10所述的成像设备，其中可旋转的传感器支承件(44；54)被配置成当所述对象(10)移动穿过捕获区域(12)时沿着与移动对象(10)的方向相反的线性方向被进一步致动。
12.根据权利要求10所述的成像设备，其中可旋转的传感器支承件(44)包括一个图像传感器(43)，所述可旋转的支承件(44)适于在两个相继的移动对象(10)的两个捕获图像之间旋转通过360°。
13.根据权利要求10所述的成像设备，其中可旋转的传感器支承件(54)包括N个图像传感器(53)，所述可旋转的支承件(54)适于在两个相继的移动对象(10)的两个捕获图像之间旋转通过360°/N。
14.根据权利要求13所述的成像设备，其中所述N个图像传感器以不同高度安装在可旋转的传感器支承件(54)上，以在该摄像机镜头(11)的不同焦距捕获图像。
15.根据权利要求1或2所述的成像设备，还包括一个处理单元，该处理单元处理与每个移动对象(10)的位置、速度和距捕获区域(12)的距离相关的数据，从而适配该传感器支承件(14；24；34；44；54)的速度以确保当所述移动对象(10)移动穿过捕获区域(12)时每个移动对象(10)被放置为对应于图像传感器(13；23；33；43；53)。
16.根据权利要求1或2所述的成像设备，还包括一个处理单元，该处理单元以如下方式控制可旋转的传感器支承件(14；24；34；44；54)的旋转速度，即，在外部信号指示正在接近该捕获区域(12)的移动对象(10)时使该可旋转的传感器支承件(14；24；34；44；54)的旋转速度加速或减速，以当该移动对象(10)移动穿过该捕获区域(12)时将对应的图像传感器(13；23；33；43；53)定位在摄像机镜头(11)上方。
CN201380028054.2A 2012-03-29 2013-03-28 用于捕获移动对象的图像的成像设备 Active CN104322046B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12162068.6 2012-03-29
EP12162068 2012-03-29
PCT/EP2013/056799 WO2013144331A1 (en) 2012-03-29 2013-03-28 Imaging device for capturing images of moving objects

Publications (2)

Publication Number Publication Date
CN104322046A CN104322046A (zh) 2015-01-28
CN104322046B true CN104322046B (zh) 2017-02-22

Family

ID=47998481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380028054.2A Active CN104322046B (zh) 2012-03-29 2013-03-28 用于捕获移动对象的图像的成像设备

Country Status (4)

Country Link
US (1) US10855889B2 (zh)
EP (1) EP2832087B1 (zh)
CN (1) CN104322046B (zh)
WO (1) WO2013144331A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591286B2 (en) 2014-05-14 2017-03-07 3M Innovative Properties Company 3D image capture apparatus with depth of field extension
CN104811671B (zh) * 2015-05-19 2018-03-30 国家电网公司 移动式智能视频监控装置
CN106042636B (zh) * 2016-07-22 2019-01-18 宁波安百利印刷有限公司 基于面阵相机的印刷品在线成像系统及方法
CN106946014A (zh) * 2017-05-12 2017-07-14 北京高立开元创新科技股份有限公司 基于二维象限的运动中信息采集系统
CN109874335B (zh) * 2017-10-02 2022-06-10 特励达数字成像有限公司 对线扫描相机进行同步的方法
CN107977024B (zh) * 2017-12-19 2023-11-21 哈尔滨工业大学（威海） 一种线扫成像试验平台
JP6870636B2 (ja) * 2018-03-12 2021-05-12 オムロン株式会社 外観検査システム、画像処理装置、設定装置および検査方法
JP6606234B1 (ja) * 2018-07-13 2019-11-13 Dmg森精機株式会社 測定装置
JP2020197611A (ja) * 2019-05-31 2020-12-10 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 カメラ装置および生産システム
CN110505388A (zh) * 2019-09-09 2019-11-26 曾碚勇 一种运用线性图像传感器的环型图像采集装置
EP4251976A4 (en) * 2020-11-25 2024-08-14 Shenzhen Xpectvision Tech Co Ltd IMAGING SYSTEMS
JP7336678B2 (ja) * 2020-12-15 2023-09-01 パナソニックＩｐマネジメント株式会社 ピッキング装置
CN113670362B (zh) * 2021-10-25 2022-02-15 广东科视光学技术股份有限公司 一种全自动光学精密测量设备
CN115118890A (zh) * 2022-06-24 2022-09-27 维沃移动通信有限公司 摄像头模组、拍摄方法、拍摄装置和电子设备
CN115586197B (zh) * 2022-10-08 2023-10-03 苏州矩浪科技有限公司 视觉检测设备及系统
CN117232396B (zh) * 2023-11-15 2024-02-06 湖南睿图智能科技有限公司 一种高速生产线产品质量视觉检测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1120498B (de) * 1959-07-25 1961-12-28 Telefunken Patent Verfahren und Abtastvorrichtung fuer Faksimiletelegraphie
CN1459662A (zh) * 2002-05-16 2003-12-03 大日本网目版制造株式会社 图案记录装置和图案记录方法
JP2009063592A (ja) * 2001-07-09 2009-03-26 Yoshiro Yamada 表面検査装置及び方法
CN101495834A (zh) * 2006-07-25 2009-07-29 陆马尔股份有限公司 用成像传感器动态记录图像

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3635196A (en) * 1969-12-30 1972-01-18 Xerox Corp Pneumatically controlled seal
US4908675A (en) * 1986-02-10 1990-03-13 Ricoh Company, Ltd. Color image forming apparatus having a synchronized conveyor
DE4136461C2 (de) 1991-11-06 1999-04-08 Roland Man Druckmasch Vorrichtung und Verfahren zur großflächigen Bildinspektion
EP0727902B1 (en) * 1995-02-15 2000-05-10 Océ-Technologies B.V. Method and apparatus for scanning a document with an image sensor and digital copy apparatus
JPH0937040A (ja) * 1995-07-24 1997-02-07 Canon Inc 画像走査装置
JP3990035B2 (ja) * 1998-06-24 2007-10-10 日立オムロンターミナルソリューションズ株式会社 イメージスキャナ
US6907103B2 (en) 2002-06-19 2005-06-14 Agilent Technologies, Inc. Capturing images of moving objects with a moving illumination point source
US8212860B2 (en) * 2008-10-23 2012-07-03 Pentax Ricoh Imaging Company, Ltd. Digital camera having an image mover
KR101610705B1 (ko) * 2008-12-10 2016-04-11 삼성전자주식회사 카메라를 구비한 단말기 및 그 단말기에서 이미지 처리 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1120498B (de) * 1959-07-25 1961-12-28 Telefunken Patent Verfahren und Abtastvorrichtung fuer Faksimiletelegraphie
JP2009063592A (ja) * 2001-07-09 2009-03-26 Yoshiro Yamada 表面検査装置及び方法
CN1459662A (zh) * 2002-05-16 2003-12-03 大日本网目版制造株式会社 图案记录装置和图案记录方法
CN101495834A (zh) * 2006-07-25 2009-07-29 陆马尔股份有限公司 用成像传感器动态记录图像

Also Published As

Publication number Publication date
WO2013144331A1 (en) 2013-10-03
US10855889B2 (en) 2020-12-01
CN104322046A (zh) 2015-01-28
EP2832087A1 (en) 2015-02-04
EP2832087B1 (en) 2018-10-10
US20150062326A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
CN104322046B (zh) 用于捕获移动对象的图像的成像设备
FI115947B (fi) Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi
JP4017579B2 (ja) 撮影補助器、画像処理方法、画像処理装置、コンピュータプログラム、プログラムを格納した記録媒体
JP2011528531A5 (zh)
TWI609225B (zh) Image capturing method and device
CN110986770B (zh) 一种用于3d采集系统中相机及相机选择方法
WO2014156396A1 (ja) 高速撮像方法および高速撮像装置
JP4369867B2 (ja) センサの回転により画像の解像度を高めるシステム
US6393141B1 (en) Apparatus for surface image sensing and surface inspection of three-dimensional structures
JP2005530410A5 (zh)
JP2014110444A (ja) 撮像装置
JP2006525060A (ja) 回転エンコーダによるｃアームシステムにおいて画像収集を開始する方法及び装置
JPH114373A (ja) 全周パノラマ画像構成方法及び装置
JP2010239416A (ja) 撮像装置及びその制御方法
CN108492254A (zh) 图像采集系统及方法
JP6597080B2 (ja) 撮像装置
JP7293043B2 (ja) 走査型撮像装置
JP7195986B2 (ja) 走査型撮像装置
US20230110344A1 (en) Three-dimensional images creations
JPS5915168Y2 (ja) テレシネ装置
JPH06139340A (ja) 画像生成方法および撮像装置
US10348940B2 (en) Compressed video camera with a moving patterned disk
TWM552984U (zh) 螺絲影像檢測裝置
CN116929309A (zh) 图像采集方法、装置、终端设备及计算机可读存储介质
JPH03276981A (ja) 固体撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant