CN111279181A - 用于对运动的构件进行光学监测的设备和方法 - Google Patents

用于对运动的构件进行光学监测的设备和方法 Download PDF

Info

Publication number
CN111279181A
CN111279181A CN201880069493.0A CN201880069493A CN111279181A CN 111279181 A CN111279181 A CN 111279181A CN 201880069493 A CN201880069493 A CN 201880069493A CN 111279181 A CN111279181 A CN 111279181A
Authority
CN
China
Prior art keywords
camera
component
monitored
image
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880069493.0A
Other languages
English (en)
Other versions
CN111279181B (zh
Inventor
伊利亚·考夫曼
克莱门斯·舍勒-克洛克林
霍尔格·纳沃罗基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Holg navarroki
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Navarroki Albin Co Ltd
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Navarroki Albin Co Ltd, Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Navarroki Albin Co Ltd
Publication of CN111279181A publication Critical patent/CN111279181A/zh
Application granted granted Critical
Publication of CN111279181B publication Critical patent/CN111279181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D17/00—Monitoring or testing of wind motors, e.g. diagnostics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/08—Testing mechanical properties
    • G01M11/081—Testing mechanical properties by using a contact-less detection method, i.e. with a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0016—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings of aircraft wings or blades
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0091—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
    • F05B2270/00—Control
    • F05B2270/80—Devices generating input signals, e.g. transducers, sensors, cameras or strain gauges
    • F05B2270/804—Optical devices
    • F05B2270/8041—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Sustainable Energy (AREA)
  • Sustainable Development (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种用于对运动的构件进行光学监测的设备(1)，该设备具有至少一个第一相机(11)，该第一相机的图像捕获范围(110)能够被跟踪装置(2)影响，并且该第一相机被适配成用于拍摄要监测的构件(3)的至少一部分的至少一个图像，其中该设备还具有至少一个第二相机(12)，该第二相机被适配成用于捕获要监测的该构件的至少一个图像，并且该设备(1)还具有控制或调节装置(5)，该第二相机(12)的图像数据能够被供应给该控制或调节装置，并且能够用该控制或调节装置产生控制或调节信号并且该控制或调节信号能够被供应给该跟踪装置(2)。

Description

用于对运动的构件进行光学监测的设备和方法
技术领域
本发明涉及一种用于对运动的构件进行光学监测的设备，该设备具有至少一个第一相机，该第一相机的图像捕获范围能够被跟踪装置影响，并且该第一相机被适配成用于拍摄要监测的构件的至少一部分的至少一个图像。本发明还涉及一种用于用至少一个第一相机对运动的构件进行光学监测的方法，能够用跟踪装置来影响该第一相机的图像捕获范围，并且该第一相机拍摄要监测的构件的至少一部分的至少一个图像。这种类型的设备和方法例如可以用于监测风力发电设施的转子叶片或工业设施中的其他受高载荷的构件。
背景技术
从US 2017/0011503 A1已知的是，在连续运行中用红外相机来检查风力发电设施的转子叶片。为此，红外相机安装在枢转-倾斜平台上，通过由函数发生器产生的控制信号使该枢转-倾斜平台运动。枢转-倾斜平台因此实施经固定编程的运动过程。这个经固定编程的运动过程与转子叶片的经过同步，使得可以暂时地拍摄处于连续运行的转子叶片。
然而，这个已知的设备具有始终只能暂时地以所需的准确性进行跟踪的缺点。必须针对各个在转子叶片上要捕获的位置重新由操作人员对系统进行对准。当风力发电设施适配于风向变化或转动速度由于风速变化而改变时，同样必须高耗费地由操作员对跟踪进行适配。
此外从实践中已知的是，在停机时以照相的方式来捕获风力发电设施的转子叶片。在此可以应用升降平台、吊车、无人机或由绳索辅助的访问技术设备。然而所有这些方法均具有以下缺点：风力发电设施的停止产生产能损失，这对风力发电设施的经济性有不利影响。此外，在停机时在缺少载荷的情况下可能形成与在连续运行中不同的损伤，因此损伤可能没有被发现。
发明内容
因此从现有技术出发，本发明所基于的目的在于，给出用于对运动的构件进行光学监测的一种设备和一种方法，这种设备和这种方法一方面具有高的准确性并且另一方面避免不期望的停机时间。
根据本发明，该目的通过根据权利要求1所述的设备、根据权利要求10所述的用途、以及根据权利要求11所述的方法来实现。本发明的有利改进方案在从属权利要求中展示。
根据本发明，提出一种用于对运动的构件进行光学监测的设备。要监测的构件例如可以是机器元件、机动车辆或飞行器的一部分、或风力发电设施的一部分。设备的使用并不限制于监测运动的构件，然而设备可以为此有利地使用。
运动的构件可以处于常规的运行状态中。例如，风力发电设施可以处于运行中，其中其转子旋转。要监测的构件在此情况下可以是转子叶片或整个转子中心体。飞行器可以飞过根据本发明的设备，例如在着陆进场时。要监测的构件在此情况下可以是机翼、机身结构或发动机舱。因为根据本发明的设备和根据本发明的方法可以实现对处于运动中的这种构件进行光学监测，因此避免了要监测的构件或装配有这些构件的机器或仪器的不期望的停机时间。
在本发明的意义上，“监测”被理解为永久地监控构件，然而还被理解为偶尔或仅一次性地记录运动的构件。
光学监测可以用至少一个第一相机来进行。该至少一个第一相机可以形成要监测的构件的至少一个图像或者还可以完成多个图像。可以对这些图像进行评估，以识别要监测的构件的机械损伤。
在本说明书的意义上，光学监测并不限制于可见光谱范围内。而是，还将在红外光谱范围内或紫外光谱范围内或以千兆赫兹波或太赫兹波进行的照相照片视为本发明意义上的用于进行光学监测的图像。技术限制仅出自用于对应光谱范围的第一相机的可用性，尤其因此出自对应图像传感器或胶卷和透镜的可用性。
根据本发明提出，给该至少一个第一相机配备跟踪装置，该跟踪装置可以影响该第一相机的图像捕获范围。因此，第一相机可以跟踪要监测的构件的运动。因此图像捕获范围保持如此长久地与要监测的构件或要监测的构件的要监测的子面对准，直至产生用于鉴定构件所需的图像。在要监测的构件面积较大的情况下，为了进行光学监测可以将要监测的该构件划分成多个子面，对这些子面各自形成至少一个图像。为此，可以借助于跟踪装置如下地影响第一相机的图像捕获范围，从而依次捕获多个子面，其中各自形成至少一个图像。以此方式，面积较大的运动的构件(例如风力发电设施的转子中心体)可以在连续运行中经受光学监测。以此方式获得的图像随后可以自动化或由操作人员来评估，以识别例如由于物体的撞击或冲撞而造成的机械损伤，并且可以以此方式实现对机械结构的监测。由此还可以确定预期的使用寿命和/或预测即将来临的失效。这允许避免间接损失和/或避免不必要的预防性维护和/或预先识别损伤，可以在大范围失效前预先解决这些损伤。
根据本发明还提出，此外该设备由至少一个第二相机来补充，该第二相机被适配成用于捕获要监测的该构件的至少一个图像。第二相机可以是固定地布置的，即，第二相机不与跟踪装置相连接。此外在本发明的一些实施方式中，第二相机可以具有比第一相机更大的视角。因此，第二相机例如具有广角镜头，而第一相机具有长焦镜头。第一相机因此以更高的准确性或更高的分辨率捕获要监测的构件的局部，而第二相机要么捕获更大的局部、要么还捕获整个要监测的构件。
在本发明的一些实施方式中，第一相机和第二相机为数码相机，即，这些相机具有用于捕获图像的半导体传感器。半导体传感器例如可以包含CMOS传感器、CCD传感器、图像增强管或类似的、自身已知的元件。因此，在第一相机的输出端和第二相机的输出端提供有模拟数据流或数字数据流，该模拟数据流或数字数据流代表所捕获的图像。
第二相机的图像数据被供应给至少一个控制或调节装置。该控制或调节装置在运行中产生用于跟踪装置的操控信号。跟踪装置因此遵循操控信号，使得第一相机的图像捕获范围始终与要监测的构件或具体要检查的子面对准。操控信号可以由跟踪装置基于识别到的运动或相机的实际位置与在图像中识别到的理论位置的偏差进行反应。
在本发明的一些实施方式中，控制或调节装置包含至少一个用于对要监测的构件进行运动预测的装置。用于进行运动预测的装置从第二相机的图像数据提取出要监测的构件，并且计算出这个构件或构件表面的期望子面的将来的位置。为此，可以使用过去的数据(即，要监测的构件的过去已实施并且检测到的运动)推导到不久的将来。在本发明其他的实施方式中，用于进行运动预测的装置可以具有任选的存储器，该存储器被适配成用于接收运动的强制条件。例如可以针对具体的要监测的构件存储这些构件在一圆形轨迹上运动。考虑到这个强制条件，用于进行运动预测的装置因此仅须捕获转速或角速度以及轴线的空间取向，以产生确切的运动预测。在要监测的构件中，例如在正在飞行的飞行器(这些飞行器原则上可以在三维空间中自由运动)中，可以存储其他的、更自由的强制条件，例如针对航线和速度的滤波器或这些值的第一导数的最大值。用于在使用相机成像的情况下在三维空间中对物体进行运动预测的方法和设备对于本领域技术人员来说原则上是熟悉的。本发明并不传授对特定算法或特定预测模型的使用作为解决方案原则。进行运动预测的数据随后被控制或调节装置用于产生用于跟踪装置的操控信号。
在本发明的一些实施方式中，该控制或调节装置此外可以具有用于接收测量程序的存储器。在这个存储器中可以存储运动的构件的在开始测量之前要检查的子面以及对单独子面进行检查的顺序。这允许对运动的构件进行全自动的监测，其方式为：以高的准确性捕获子面，这些子面要么可以单独分析，要么可以组合成要监测的构件的大的、分辨率高的照片。在此，借助于第二相机同时进行的运动捕获保证：即使在复杂的运动过程中，第一相机也可靠地跟随要监测的构件并且能够可重现地捕获所有期望的子面。
在本发明的一些实施方式中，该设备还可以包含至少一个激光器，该激光器的辐射方向可以被跟踪装置影响。借助于这个激光器可以在要监测的构件可预先设定的位置上产生光斑。这个光斑的位置可以用第一相机和/或第二相机来捕获。通过将光斑的位置与期望的理论位置进行比较，可以产生用于跟踪装置的调节信号，该调节信号减少理论位置与实际位置的偏差。以此方式可以实现以更高的准确性跟踪第一相机的图像捕获范围。
在本发明的一些实施方式中，激光器可以发射红外光谱范围内或可见光谱范围内的射束，以便以此方式容易地由这些相机中的一个相机捕获。在第一相机的光谱范围与第二相机的光谱范围不同并且该第二相机的光谱范围与激光相协调的情况下，可以用第二相机、而不是第一相机来捕获激光。
在本发明的一些实施方式中，该设备还可以包含至少一个第三相机，该第三相机被适配成用于捕获该激光器在要监测的该构件上的光斑并且将该光斑供应给该控制或调节装置。在本发明的一些实施方式中，第三相机可以在另外的光谱范围内比第一相机敏感。以此方式避免激光束由第一相机捕获并且因此错误地被解读为要监测的构件的损伤。
在本发明的一些实施方式中，此外，该第一相机可以围绕其光轴旋转。这允许，在拍摄图像期间，构件的要捕获的子面与相机的相对取向保持恒定。由此，尤其在拍摄转动的构件时可以避免运动模糊，因此提供具有更高品质的照片，这些照片可以实现更准确的损伤分析或状态记录或损伤预测。
在本发明的一些实施方式中，第一相机的图像传感器可以围绕第一相机的光轴旋转。因为由此减小了运动的构件的质量和大小，因此可以以更少的耗费或更大的速度进行旋转。
在两种情况下光轴代表镜头的透镜组件的对称轴线，并且由此还代表由镜头所捕获的图像范围的对称轴线。在一些实施方式中，可以在某一旋转方向上连续旋转，从而使得相机或其图像捕获范围可以不间断地跟踪转动的构件的运动。在本发明的另外的实施方式中，可以围绕可预先设定的角度范围进行旋转，该角度范围小于或等于360°。在本发明的另外的实施方式中，旋转的角度范围可以小于或等于270°、或者小于或等于180°、或者小于或等于90°。由此，相机或图像捕获范围连续实施来回旋转或摇摆运动。由此，相机或图像传感器的运动至少在拍摄的时刻与构件的运动同步。这允许用与相机的线缆连接来供电并交换数据。尤其在分辨率高的图像传感器的情况下可以因此通过这个措施提高数据传输速率。
在本发明的一些实施方式中，跟踪装置可以包含枢转-倾斜平台，至少第一相机和可选的激光器安装在该枢转-倾斜平台上。枢转-倾斜平台以自身已知的方式包含平台，在该平台上安装有设备的要运动的部件，并且该平台气动地、液压地或电动地运动。在此，平台可以围绕至少一条轴线、然而优选地围绕至少两条轴线旋转或枢转。在本发明的另外的实施方式中，平台可以布置在六脚架(Hexapod)上，该六脚架可以实现旋转并且通过六脚架的单独支腿的长度变化实现平台的枢转。
在本发明的一些实施方式中，跟踪装置包含至少一个可移动的反射镜，该反射镜使第一相机的镜头的光路和/或任选的激光器的光路转向。与整个相机的运动相比，反射镜可以具有减小的运动质量，从而可以以更大的速度进行跟踪。
在本发明的一些实施方式中，跟踪装置至少可以实现第一相机围绕与光轴垂直的轴线的旋转运动。在本发明的一些实施方式中，跟踪装置还可以实现第一相机围绕与光轴垂直的两条轴线的旋转运动，这些轴线自身也处于相互垂直。在特定的应用情况下，例如在监测风力发电设施时，可以以此方式降低与跟踪装置相关的耗费。例如，为了监测风力发电设施的转子中心体，至少第一相机可以布置在转子中心体的旋转轴线下方并且布置在与转子平面正交的平面中。在这种情况下，转子中心体的转子叶片循环地从上向下或从下向上经过图像捕获范围，因此相机的单独的枢转运动足以在多个子面中沿转子叶片的纵向延伸方向来捕获这些转子叶片。一般而言，为了监测转动的构件，可以至少将该第一相机布置在该构件的旋转轴线之外，并且使捕获图像同步，其方式为使得在捕获图像时要监测的该构件大约正交地对准光轴与构件的旋转轴线之间的连接线。
在本发明的一些实施方式中，跟踪装置至少可以实现第一相机围绕不同于光轴并且与光轴不平行地延伸的轴线的旋转运动。在本发明的一些实施方式中，“不平行的延伸”可以被理解为：旋转轴线与光轴彼此围成大于2°、或大于3°、或大于5°的角度。
在本发明的一些实施方式中，可以在旋转轴线两侧捕获要监测的构件(例如转子中心体)。在相机布置在旋转轴线下方、侧方或上方的情况下，这允许准确地检验转子叶片的前边缘和后边缘。
在本发明的一些实施方式中，可以捕获要监测的构件的前侧和后侧。以此方式可以光学地检查所有相关的构件表面上的损伤。
附图说明
下文中借助附图在不限制一般性发明构想的情况下进一步解释本发明。在附图中：
图1示出根据本发明的用于对运动的构件进行光学监测的设备的示意图，该设备具有根据本发明的第一实施方式的跟踪装置。
图2解释执行根据本发明的用于对运动的构件进行光学监测的方法。
图3示出根据本发明的第二实施方式的跟踪装置。
图4示出根据本发明的第三实施方式的跟踪装置。
图5示出根据本发明的第四实施方式的跟踪装置。
图6示出根据本发明的第五实施方式的跟踪装置。
图7示出根据本发明的第六实施方式的跟踪装置。
具体实施方式
借助图1来解释具有跟踪装置的第一实施方式的用于对运动的构件进行光学监测的设备1。在图1中展示了具有转子中心体的风力发电设施。转子中心体包含三个转子叶片，这些转子叶片在所展示的实施例中是要监测的构件3。风力发电设施的转子叶片通常由纤维增强的热固性塑料制成。转子叶片由于转动和流入的风而承受机械荷载。此外，转子叶片承受温度变化、潮湿和UV辐射。因此，转子叶片涉及受高载荷的运动的构件。转子叶片的失效具有显著的潜在损坏，一方面是由于部件掉落。另一方面，风力发电设施的剩余的机械结构也由于受损伤的转子中心体的不平衡而承受极大荷载。因此存在监测转子叶片的需求，以便能够在损伤明显的情况下在转子叶片失效之前更换这些转子叶片。同时应在连续运行中进行监测，以避免产能损失。以与在本说明书中相同的方式示例性地借助风力发电设施的转子叶片解释的，自然还可以监测其他的运动的构件3，例如正在飞行的飞行器的机翼和机身结构、或生产机器的零件、或处于制造中的构件，它们都需要进行品质控制。
用于对运动的构件进行监测的设备1具有至少一个第一相机11。第一相机11具有图像捕获范围110，该图像捕获范围由第一相机11的图像传感器的大小和与第一相机11相连的镜头的焦距给出。在所展示的实施例中，图像捕获范围110相对较窄，即，第一相机11即使在这个面很远时也可以形成具有高分辨率的相对较小的面。如下文中还将借助图2解释的，可以用第一相机11拍摄转子叶片3的多个单独图像，这些单独图像随后要么可以单独进行分析、要么可以被组合成要监测的构件的完整照片。
为了能够在要监测的构件3运动时跟踪图像捕获范围110，第一相机11被安装在跟踪装置2上。在所展示的第一实施例中，跟踪装置2包含枢转-倾斜平台21。枢转-倾斜平台可旋转地被紧固在三脚架上，以便能够改变图像捕获范围110的水平方向。此外，枢转-倾斜平台可以藉由另外的驱动器竖直运动。因此枢转-倾斜平台允许，第一相机11以如下方式运动，使得图像捕获范围110跟随要监测的构件3的运动。
跟踪装置2的操控信号藉由控制或调节装置5产生。控制或调节装置5通过线缆连接51或者还通过无线的数据连接与跟踪装置2相连接。
操控信号取决于第二相机12的图像数据由控制或调节装置5产生，该第二相机通过线缆连接52与控制或调节装置5相连接。在本发明的一些实施方式中，在此还可以使用无线接口。控制或调节装置5可以包含如下软件，当该软件在微处理器上运行时，该软件由输入数据产生跟踪装置的操控信号。
第二相机12也安装在三脚架上并且具有图像捕获范围120。图像捕获范围120具有更大的视角，即，在图像传感器大小相同的情况下第二相机12的镜头的焦距更小。第二相机12因此捕获要监测的构件3的更大的局部或者还捕获整个要监测的构件3。第二相机可以是固定地布置的，即，第二相机不与跟踪装置相连接。
控制或调节装置从第二相机12的图像数据(这些图像数据被供应给控制或调节装置5)计算出对要监测的构件3的运动预测。因为控制或调节装置因此已知了要监测的构件3或当前要捕获的构件3的子面在拍摄时间点位于何处并且跟踪装置2的调整速度也是已知的，因此控制或调节装置可以向跟踪装置输出控制信号，该控制信号将第一相机11的图像捕获范围在预先设定的时间点与要监测的构件3相应的子面对准。任选的跟踪还在拍摄期间避免运动模糊并且由此通过更好的图像提高监测的品质。
为了提高跟踪的准确性，可以在跟踪装置2上紧固有任选的激光器4，该激光器在要监测的构件3上产生光斑40。光斑40的位置可以用第一相机和/或第二相机12来捕获。任选地，为此还可以使用任选的第三相机，该第三相机在图1中未展示并且该第三相机同样与控制或调节装置5相连接。将光斑40的以这种方式测量的实际值与期望的理论值进行比较，从而使得控制或调节装置5可以产生额外的校正信号并将其发送给枢转-倾斜平台2。由此可以再次提高所捕获的图像的品质，从而使得对运动的构件3进行更准确的监测变得可能。
图2再次示出转子叶片3，该转子叶片围绕转子中心体的毂35转动。在本发明的一些实施方式中，对作为要监测构件的转子叶片3的捕获持续进行到转子叶片将近水平的时间点。因此，转子叶片的每次转动可以以相应的图像捕获范围110a或110b产生两次拍摄。因为一般来说具有跟踪装置2的相机11具有比风力发电设施的毂高度更低的高度，因此在图像捕获范围110a中转子叶片的前边缘也是可见的。相比之下，在图像捕获范围110b中，除了转子叶片的外表面之外，后部的边缘也是可见的。
图2还示出，可以如何通过水平移动图像捕获范围110由跟踪装置2产生多个单独图像，这些单独图像可以被组合成要监测的构件的分辨率高的照片。在风力发电设施的流入侧和流出侧捕获这样的拍摄的情况下，可以完全捕获构件3的表面。
借助另外的图3至图7进一步解释跟踪装置的替代性实施方式。相同的附图标记在此表示本发明相同的组成部分，因此下文的说明限制于本质差异。图3至图7并未展示控制或调节装置以及第二相机12。然而这并不意味着，在本发明的另外的实施方式中不存在该控制或调节装置以及该第二相机。
借助图3来解释跟踪装置2的第二实施方式。第二实施方式同样具有枢转-倾斜平台21，如已借助图1详细描述的。此外，图3示出用于使第一相机11围绕其光轴115转动的装置23。光轴115在此指代镜头的对称轴线或图像捕获范围110的对称轴线。
通过转动第一相机11，考虑以下情况：风力发电设施的转子叶片的取向在连续运行中由于转子叶片的转动而改变。在相对于转动速度而言较短的、短暂的曝光时间上可以忽略这一点。然而要求较长曝光时间的拍摄在此情况下遭受运动模糊。这可以通过如下方式得以避免：第一相机11同样转动并且因此图像捕获范围110在构件3上的相对取向至少在图像产生期间保持不变。因为例如风力发电设施仅具有例如大约10转每分钟至大约20转每分钟的相对较慢的转子转速，可以实现使第一相机11以相同的速度转动，从而使得可以避免运动模糊并且使第一相机相对于转子中心体的取向保持不变。通过这样提升所拍摄的图像的品质，对运动的构件的监测可以以更高的准确性来进行。
图4示出跟踪装置2的第三实施方式。第三实施方式同样使用如上借助图1和图3描述的枢转-倾斜平台。在第三实施方式中，第一相机11同样可以围绕其光轴115转动。然而不同于根据图3的第二实施方式，第二实施方式中的转动装置24不允许完全围绕360°或其倍数的转动。而是，第一相机11仅从其零位旋转+/-90°。这允许以要监测的转子叶片的大约180°的对应角度对图像捕获范围110进行转动跟踪。在本发明的另外的实施方式中，可以将角度选择为不同的。然后结束图像捕获并且相机再次旋转回到其起始位置。这个实施方式具有以下优点：可以借助线缆连接实现对第一相机11的能量供应和数据传输，从而使得可以实现更高的数据传输速率。
图5示出跟踪装置2的第四实施方式。第四实施方式同样具有枢转-倾斜平台21，如上文已描述的。然而不是第一相机11、而是反射镜22被紧固在这个枢转-倾斜平台上，该反射镜将相机11的镜头光路转向期望的方向。这在图5中示意性地借助光轴115展示。因为以这种方式对图像捕获范围进行跟踪须更少量的运动，所以可以实现更快的跟踪。
如图5进一步示出的，第四实施方式还可以任选地设有用于转动的装置23，该装置使第一相机11围绕其光轴115转动。
借助图6和图7来解释跟踪装置2的第五实施方式和第六实施方式。这些实施方式省去了枢转-倾斜平台，而是仅使用水平的枢转装置25。如在图6中所展示的，图像捕获范围可以借助于这个水平的枢转装置25以角度116从第一位置115a向第二位置115b枢转。在此，图像捕获范围110的这两个位置出于简洁原因由光轴115来示意。
因此，如果在水平位置捕获要监测的构件3(如借助图2所展示的)，则这个水平枢转位置足以使图像捕获范围110沿要监测的构件3的整个长度进行枢转。
如果期望对构件3进行连续的图像捕获，第五实施方式还可以设有用于转动第一相机的装置23。装置23允许通过相机11的一致转动来跟随旋转的转子叶片3。同时可以藉由水平的枢转装置25沿转子叶片的长度来扫描该转子叶片。因此，在图6中展示的第五实施方式同样允许在由于省去枢转-倾斜平台而相对于第一实施方式降低了耗费的情况下实现对图像捕获范围110的完全跟踪。
根据图7的第六实施方式具有与上述第五实施方式类似的功能性。然而省去了第一相机11的环绕转动。替代于此，第一相机11实施摆动或摇摆运动，如借助在图4中的第三实施方式所描述的。因此，根据第六实施方式图像捕获范围110可以沿双纽线111运动，以便以此方式在围绕转子叶片的水平线的角度范围内产生用于通过跟踪图像捕获范围110来进行光学监测的图像。
本发明自然不限于所展示的实施方式。上述说明因此不应被视为限制性的，而应被视为解释性的。以下的权利要求应被理解为：所提及的特征存在于本发明的至少一个实施方式中。这并不排除其他特征的存在。如果权利要求和上述说明限定“第一”实施方式和“第二”实施方式，则这些名称用于在不规定顺序的情况下区分两个相似的实施方式。

Claims (17)

1.一种用于对运动的构件进行光学监测的设备(1)，该设备具有至少一个第一相机(11)，该第一相机的图像捕获范围(110)能够被跟踪装置(2)影响，并且该第一相机被适配成用于拍摄要监测的构件(3)的至少一部分的至少一个图像，其特征在于，
该设备还具有至少一个第二相机(12)，该第二相机被适配成用于捕获要监测的该构件的至少一个图像，并且
该设备(1)还具有控制或调节装置(5)，该第二相机(12)的图像数据能够被供应给该控制或调节装置，并且能够用该控制或调节装置产生控制或调节信号并且该控制或调节信号能够被供应给该跟踪装置(2)。
2.根据权利要求1所述的设备，其特征在于，该第一相机(11)具有比该第二相机(12)更小的视角。
3.根据权利要求1或2所述的设备，其特征在于，该第二相机是固定地布置的。
4.根据权利要求1至3所述的设备，还包含至少一个激光器(4)，能够用该跟踪装置(2)影响该激光器的辐射方向。
5.根据权利要求4所述的设备，还包含至少一个第三相机，该第三相机被适配成用于捕获该激光器(4)在要监测的该构件(3)上的光斑(40)并且将该光斑供应给该控制或调节装置(5)。
6.根据权利要求1至5之一所述的设备，其特征在于，此外，该第一相机(11)能够围绕其光轴(115)旋转。
7.根据权利要求1至5之一所述的设备，其特征在于，该第一相机(11)的图像传感器能够围绕该第一相机(11)的光轴(115)旋转。
8.根据权利要求1至7之一所述的设备，其特征在于，该控制或调节装置(5)具有用于对要监测的该构件(3)进行运动预测的装置。
9.根据权利要求1至8之一所述的设备，其特征在于，该跟踪装置(2)包含枢转-倾斜平台(21)，至少该第一相机(11)安装在该枢转-倾斜平台上；或者
该跟踪装置包含至少一个可移动的反射镜(22)，该反射镜使该第一相机(11)的镜头的光路转向；或者
该跟踪装置(2)至少能够实现该第一相机(11)围绕不同于光轴(115)并且不与光轴平行地延伸的轴线的旋转运动。
10.根据权利要求1至9之一所述的设备(1)用于监测风力发电设施的用途。
11.一种用于用至少一个第一相机(11)对运动的构件进行光学监测的方法，用跟踪装置(2)来影响该第一相机的图像捕获范围(110)，并且该第一相机拍摄要监测的该构件(3)的至少一部分的至少一个图像，其特征在于，
还用至少一个第二相机(12)来捕获要监测的该构件(3)的至少一个图像，并且
将该第二相机(12)的图像供应给控制或调节装置(5)，该控制或调节装置产生控制或调节信号并将其供应给该跟踪装置(2)。
12.根据权利要求11所述的方法，其特征在于，此外，使该第一相机(11)围绕其光轴(115)旋转，或者
使该第一相机(11)的图像传感器围绕该第一相机(11)的光轴(115)旋转。
13.根据权利要求11或12之一所述的方法，其特征在于，该第一相机(11)具有比该第二相机(12)更小的视角。
14.根据权利要求11至13之一所述的方法，其特征在于，该控制或调节装置(5)得出对要监测的该构件(3)的运动预测。
15.根据权利要求11至14之一所述的方法，其特征在于，用辐射方向能够被该跟踪装置(2)影响的至少一个激光器(4)在要监测的该构件(3)上产生光斑(40)并且用相机(11，12)来捕获该光斑。
16.根据权利要求11至15之一所述的方法，其特征在于，为了监测转动的构件(3)，至少将该第一相机(11)布置在该构件的旋转轴线(35)之外，并且使捕获图像同步，其方式为使得在捕获图像时要监测的该构件(3)大约正交地对准光轴与该构件(3)的旋转轴线(35)之间的连接线。
17.根据权利要求16所述的方法，其特征在于，在该旋转轴线两侧捕获要监测的该构件(3)，和/或
捕获要监测的该构件(3)的前侧和后侧。
CN201880069493.0A 2017-10-25 2018-10-24 用于对运动的构件进行光学监测的设备和方法 Active CN111279181B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017219153.8 2017-10-25
DE102017219153.8A DE102017219153B4 (de) 2017-10-25 2017-10-25 Vorrichtung und Verfahren zur optischen Überwachung bewegter Bauteile
PCT/EP2018/079084 WO2019081543A1 (de) 2017-10-25 2018-10-24 Vorrichtung und verfahren zur optischen überwachung bewegter bauteile

Publications (2)

Publication Number Publication Date
CN111279181A true CN111279181A (zh) 2020-06-12
CN111279181B CN111279181B (zh) 2023-10-03

Family

ID=64049186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880069493.0A Active CN111279181B (zh) 2017-10-25 2018-10-24 用于对运动的构件进行光学监测的设备和方法

Country Status (6)

Country Link
US (1) US11258952B2 (zh)
EP (2) EP3701251B1 (zh)
CN (1) CN111279181B (zh)
DE (1) DE102017219153B4 (zh)
PL (1) PL3701251T3 (zh)
WO (1) WO2019081543A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116641855A (zh) * 2023-07-20 2023-08-25 国网山东省电力公司微山县供电公司 一种风力发电机组运行监测方法、系统、设备及存储介质
CN118549069A (zh) * 2024-07-30 2024-08-27 四川蜀工公路工程试验检测有限公司 桥梁监测系统、方法、可读存储介质及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111120220B (zh) * 2018-10-31 2021-05-28 北京金风科创风电设备有限公司 风力发电机组叶片视频监测的方法及系统
GB2580639B (en) * 2019-01-18 2023-06-21 Thales Holdings Uk Plc System and method for inspecting a moving structure
US11209812B2 (en) 2020-02-10 2021-12-28 Caterpillar Paving Products Inc. Methods and systems for tracking milling rotor bit wear
LV15721B (lv) 2021-09-12 2023-05-20 Aerones, Sia Sistēma un paņēmiens rotējošu vēja turbīnas lāpstiņu stāvokļa kontrolei
GB2615344B (en) * 2022-02-04 2024-10-16 Thales Holdings Uk Plc Moving wind turbine blade inspection
KR20240092742A (ko) 2022-12-15 2024-06-24 방기환 회전카메라를 이용한 풍력발전기의 블레이드 검사장치

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156396A (ja) * 2003-11-27 2005-06-16 Yokogawa Electric Corp 欠陥検査装置
DE102005010552A1 (de) * 2005-03-04 2006-09-07 Isra Glass Vision Gmbh Vorrichtung und Verfahren zur Detektion von Fehlern auf bewegten Gegenständen
KR20100071621A (ko) * 2008-12-19 2010-06-29 (주)에이앤아이 반도체 칩 외관 검사 방법 및 그 장치
US20140168420A1 (en) * 2011-04-26 2014-06-19 Eads Deutschland Gmbh Method and System for Inspecting a Surface Area for Material Defects
US20140184786A1 (en) * 2013-01-02 2014-07-03 The Boeing Company Systems and Methods for Stand-Off Inspection of Aircraft Structures
US20150022657A1 (en) * 2013-07-19 2015-01-22 Hon Hai Precision Industry Co., Ltd. Electronic device and method for detecting surface flaw of object
EP2888570A2 (en) * 2012-08-23 2015-07-01 Siemens Energy, Inc. System and method for on-line optical monitoring within a gas turbine combustor section
CN105938110A (zh) * 2016-03-11 2016-09-14 杭州利珀科技有限公司 一种金属罐的图像采集装置及采集方法
US20170011503A1 (en) * 2013-03-15 2017-01-12 Digital Wind Systems, Inc. System and Method for Ground Based Inspection of Wind Turbine Blades
CN106382911A (zh) * 2016-11-23 2017-02-08 深圳立讯检测股份有限公司 一种用于检测汽车零部件的手动施加装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2938908B1 (fr) * 2008-11-24 2011-01-21 Commissariat Energie Atomique Dispositif et procede de mesure de la position d'au moins un objet en mouvement dans un repere a trois dimensions
EP2789972B1 (de) * 2013-04-12 2017-08-16 Hexagon Technology Center GmbH Vermessungsgerät mit verformbarem optischem Element
EP2887030B1 (de) * 2013-12-20 2016-11-23 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Messung von Schwingungen eines bewegten Objektes
DE102016216730A1 (de) * 2016-09-05 2018-03-08 Zf Friedrichshafen Ag Verfahren zur visuellen Inspektion rotierbarer Bauteile in einem Schiffsgetriebe
DE102017005170A1 (de) * 2017-05-31 2017-11-16 Daimler Ag Automatisierte Oberflächenprüfung von Automobilbauteilen

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156396A (ja) * 2003-11-27 2005-06-16 Yokogawa Electric Corp 欠陥検査装置
DE102005010552A1 (de) * 2005-03-04 2006-09-07 Isra Glass Vision Gmbh Vorrichtung und Verfahren zur Detektion von Fehlern auf bewegten Gegenständen
KR20100071621A (ko) * 2008-12-19 2010-06-29 (주)에이앤아이 반도체 칩 외관 검사 방법 및 그 장치
US20140168420A1 (en) * 2011-04-26 2014-06-19 Eads Deutschland Gmbh Method and System for Inspecting a Surface Area for Material Defects
EP2888570A2 (en) * 2012-08-23 2015-07-01 Siemens Energy, Inc. System and method for on-line optical monitoring within a gas turbine combustor section
US20140184786A1 (en) * 2013-01-02 2014-07-03 The Boeing Company Systems and Methods for Stand-Off Inspection of Aircraft Structures
US20170011503A1 (en) * 2013-03-15 2017-01-12 Digital Wind Systems, Inc. System and Method for Ground Based Inspection of Wind Turbine Blades
US20150022657A1 (en) * 2013-07-19 2015-01-22 Hon Hai Precision Industry Co., Ltd. Electronic device and method for detecting surface flaw of object
CN105938110A (zh) * 2016-03-11 2016-09-14 杭州利珀科技有限公司 一种金属罐的图像采集装置及采集方法
CN106382911A (zh) * 2016-11-23 2017-02-08 深圳立讯检测股份有限公司 一种用于检测汽车零部件的手动施加装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116641855A (zh) * 2023-07-20 2023-08-25 国网山东省电力公司微山县供电公司 一种风力发电机组运行监测方法、系统、设备及存储介质
CN116641855B (zh) * 2023-07-20 2023-10-13 国网山东省电力公司微山县供电公司 一种风力发电机组运行监测方法、系统、设备及存储介质
CN118549069A (zh) * 2024-07-30 2024-08-27 四川蜀工公路工程试验检测有限公司 桥梁监测系统、方法、可读存储介质及装置
CN118549069B (zh) * 2024-07-30 2024-10-01 四川蜀工公路工程试验检测有限公司 桥梁监测方法、可读存储介质及装置

Also Published As

Publication number Publication date
DE102017219153B4 (de) 2020-03-19
EP3805741B1 (de) 2023-11-15
EP3701251B1 (de) 2023-08-23
EP3805741A1 (de) 2021-04-14
WO2019081543A1 (de) 2019-05-02
DE102017219153A1 (de) 2019-04-25
US20200260013A1 (en) 2020-08-13
CN111279181B (zh) 2023-10-03
PL3701251T3 (pl) 2024-02-19
US11258952B2 (en) 2022-02-22
EP3701251C0 (de) 2023-08-23
EP3701251A1 (de) 2020-09-02
EP3805741C0 (de) 2023-11-15

Similar Documents

Publication Publication Date Title
CN111279181B (zh) 用于对运动的构件进行光学监测的设备和方法
JP5010634B2 (ja) 移動体画像追尾装置
KR101634937B1 (ko) 무인 비전 검사시스템 및 이를 이용한 무인 비전 검사방법
CN108258613B (zh) 智能巡线光电吊舱及实现巡线的方法
US11430101B2 (en) Unmanned aerial vehicle, inspection method, and storage medium
CN109665099B (zh) 无人航空器以及架线摄影方法
CN108780324A (zh) 无人机、无人机控制方法和装置
FI3596570T4 (fi) Menetelmä polun määrittämiseksi objektiä pitkin, järjestelmä ja menetelmä objektin tutkimiseksi automaattisesti
KR20190095167A (ko) 카메라 초점 유지 장치 및 그 방법
JP2024027907A (ja) 無人飛行体、および、風力発電設備の点検システム、並びに、風力発電設備の点検方法
AU2015367226B2 (en) Imaging system
GB2580639A (en) System and method for inspecting a moving structure
JP2019219874A (ja) 自律移動撮影制御システムおよび自律移動体
JP2023088896A (ja) 移動物体の点検装置、移動物体の点検システム、移動物体の点検方法
JP2021028188A (ja) ドローン撮影装置及び方法
KR101040265B1 (ko) 이동체의 각속도 측정장치
JP2009086471A (ja) 架空線撮影システム及び方法
CA3231410A1 (en) Unmanned airborne visual diagnosis of an operating wind turbine generator
EP4370795B1 (en) A system and a method for inspection of rotating wind turbine blade
LU503475B1 (en) An Unmanned Airborne Binocular and Infrared Joint Diagnosis System and Method for Dam Patrol Inspection
CN118224050B (zh) 一种无人值守式风电机组外部监测机器人系统
KR20240092742A (ko) 회전카메라를 이용한 풍력발전기의 블레이드 검사장치
WO2023013058A1 (ja) 状態判定装置、状態判定方法、及び、コンピュータ読み取り可能な記録媒体
KR20230162086A (ko) 풍력 터빈 로터 블레이드를 이미지화하는 방법
JP2024041550A (ja) 目標捜索追随装置、撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200928

Address after: Munich, Germany

Applicant after: FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWANDTEN FORSCHUNG E.V.

Applicant after: Holg navarroki

Address before: Munich, Germany

Applicant before: FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWANDTEN FORSCHUNG E.V.

Applicant before: Navarroki Albin Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant