CN106416225B - 远程视觉检查图像捕获系统和方法 - Google Patents

远程视觉检查图像捕获系统和方法 Download PDF

Info

Publication number
CN106416225B
CN106416225B CN201580028925.XA CN201580028925A CN106416225B CN 106416225 B CN106416225 B CN 106416225B CN 201580028925 A CN201580028925 A CN 201580028925A CN 106416225 B CN106416225 B CN 106416225B
Authority
CN
China
Prior art keywords
images
image
imager
processor
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580028925.XA
Other languages
English (en)
Other versions
CN106416225A (zh
Inventor
C.A.本达尔
T.C.沃德
M.R.斯坦卡托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN106416225A publication Critical patent/CN106416225A/zh
Application granted granted Critical
Publication of CN106416225B publication Critical patent/CN106416225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本公开描述实施例，其提供一种存储由内窥镜的处理器可运行的指令的有形的非暂时的计算机可读媒介。指令包含执行用于下列的指令：使用内窥镜中的成像器以第一亮度级来捕获第一多个图像同时显示至少部分基于第一多个图像的即时视频；使用处理器通过对第一多个图像平均或合计来生成基线图像；使用成像器以多个亮度级来捕获第二多个图像，其中多个亮度级与第一亮度级不同；以及使用处理器至少部分基于基线图像和第二多个图像来生成高动态范围图像，其中高动态范围图像包括比基线图像更不饱和的像素。

Description

远程视觉检查图像捕获系统和方法
技术领域
本公开一般涉及用于设备和设施的检查的内窥镜系统，以及更具体来说涉及由内窥镜系统进行的图像捕获。
背景技术
诸如发电设备或设施、石油和天然气设备和设施、飞行器设备和设施、制造设备和设施等的某些设备和设施包含多个相互关连的系统和过程。例如，发电厂可包含涡轮机系统以及用于操作和维护涡轮机系统的过程。同样，石油和天然气操作可包含经由管线所互连的含碳燃料回收系统(retrieval system)和处理设备。类似地，飞机系统可包含在保持适航性和提供维护支持中有用的飞机和维护棚。
某些技术、例如无损检查技术或无损测试(NDT)技术可用来检查和促进这类设备和设施的维护。更具体来说，这类技术可利用诸如内窥镜、管道镜、摇摄-倾斜变焦照相装置、推送照相装置等的远程视觉检查装置来检查内部，而无需拆卸各种各样的设备和设施。例如，内窥镜可用来检查汽车引擎的内部特征(例如对象或表面)。更具体来说，远程视觉检查系统(例如内窥镜)可插入设备或设施的各种开口中，以提供照明、视觉观察和/或捕获设备或设施的内部的图像。
相应地，例如通过增加所捕获图像的可用性来改进远程视觉检查系统的图像捕获能力将会是有益的。
发明内容
下面概述其范围与最初要求保护的本发明相称的某些实施例。这些实施例不意图限制要求保护的本发明的范围，但是这些实施例而是仅意图提供本发明的可能形式的简单的总结。实际上，本发明可囊括可与下面阐述的实施例类似或不同的多种形式。
第一实施例提供一种有形的非暂时的计算机可读媒介，其存储由内窥镜的处理器可运行的指令。指令包含用于下列的指令：使用内窥镜中的成像器以第一亮度级来捕获第一多个图像,同时显示至少部分基于第一多个图像的即时视频；使用处理器通过对第一多个图像平均或合计来生成基线图像；使用成像器以多个亮度级来捕获第二多个图像，其中多个亮度级与第一亮度级不同；以及使用处理器至少部分基于基线图像和第二多个图像来生成高动态范围图像，其中高动态范围图像包括比基线图像更不饱和的像素。
第二实施例提供一种远程视觉检查系统中的处理器，其通过对第一多个图像平均或合计来生成基线图像，其中第一多个图像使用远程视觉检查系统的成像器以第一亮度级来捕获，至少部分基于第一多个图像来生成即时视频馈送，并且使用来自基线图像的不饱和像素数据以及来自第二多个图像的至少一个的不饱和像素数据来生成高动态范围图像，其中第二多个图像使用成像器以与第一亮度级不同的亮度级来捕获。
第三实施例提供一种远程视觉检查系统，其包含：成像器，其通过将光转换为模拟图像数据来提供图像；模数转换器，其将模拟图像数据转换成数字图像数据；以及处理器，其捕获和处理数字图像数据，以生成多个图像。远程视觉检查系统还包含显示器，其显示描绘接近成像器的特征的即时视频，其中即时视频至少部分基于使用成像器以第一亮度级所捕获的图像，其中所捕获的图像用来生成基线图像,并且其将由处理器所生成的多个图像作为缩略图来显示，其中多个图像包含基线图像和高动态范围图像，其通过替换基线图像中的饱和像素来生成。
附图说明
在参照附图阅读下面的详细描述，将变得更好地理解本发明的这些及其他特征、方面和优点，附图中，相似字符在附图中通篇表示相似部件，附图包括：
图1是图示按照实施例的内窥镜系统的框图；
图2是按照实施例的用于在图1的内窥镜系统中生成图像的过程的流程图；
图3是按照实施例的用于在图1的内窥镜系统中生成图像的备选过程的流程图；
图4是按照实施例的由图1的内窥镜系统所显示的多个所捕获图像的屏幕视图；以及
图5是按照实施例的用于显示图4的屏幕视图的过程的流程图。
具体实施方式
下面将描述本发明的一个或多个特定实施例。致力于提供这些实施例的简明描述，本说明书中可能没有描述实际实现的所有特征。应当领会，在任何这种实际实现的开发中，如同任何工程或设计项目中，必须进行许多实现特定的判定以便实现开发人员的特定目标，例如符合系统相关和业务相关约束，这些目标可从一个实现变化到另一个。此外，应当领会，这种开发努力可能是复杂的且费时的，但对于获益于本公开的技术人员仍然将会是设计、制作和制造的常规事务。
在引入本发明的各个实施例的元件时，冠词“一”、“一个”、“该”和“所述”意图表示存在元件的一个或多个。术语“包括”、“包含”和“具有”意图包含在内，并且表示可存在除了所列的元件之外的附加元件。
本公开的实施例可应用于多种检查技术和系统，包含无损测试(NDT)技术/系统。在NDT系统的一些实施例中，远程视觉检查系统(例如内窥镜)可用来促进设备和设施(例如发电设备和设施、石油和天然气设备和设施以及飞行器设备和设施)的测试和/或检查。更具体来说，远程视觉检查系统可提供与设备或设施的内部特征(例如对象或表面)相关的照明、可视化和/或其他数据。
为了促进这类功能，远程视觉检查系统通常包含照明装置(例如光源)和图像捕获装置(例如成像器)。更具体来说，成像器可用来捕获接近成像器的特征、对象或表面的图像和/或视频。例如，当内窥镜探头插入到汽车引擎中时，成像器可用来捕获引擎内部的阀的图像。由于内部特征常常阻隔外部光，所以光源、例如发光二极管(LED)可在图像和/或视频捕获期间为成像器提供照明。如能够领会，在一些实施例中，照明可由外部源、例如外部照明装置或自然光来提供。
基于这些所捕获图像，远程视觉检查系统的用户则可执行设备或设施的测试和/或检查。例如，检查图像可用来提供汽车引擎中的阀的视觉描绘。另外，测量图像可用来生成阀的3D表示(例如点云数据/图像或深度剖面(profile))。更具体来说，测量图像可采取若干不同形式。例如，立体测量图像可通过立体光学器件与单个成像器或者与各具有它们自己的光学器件的多个成像器的使用来捕获。另外，可在光图案投射到被查看表面或对象时捕获结构化光测量图像。更具体来说，所投射光图案可在所捕获图像中检测，并且用来确定3D表面数据。
各种技术可用来投射结构化光图案。例如，在一些实施例中，结构化光图案可使用均匀检查光源来投射。在其他实施例中，单独光源、例如发射器模块可用来仅在测量图像捕获期间投射结构化光图案。在另外的实施例中，当结构化光图案相对于均匀检查光具有充分强度时，单独光源可与均匀检查光源同时启用。这种结构化光图案可包含使用准直光源(例如具有图案生成光学元件(例如衍射光学器件)的激光器)所生成的线条或点。更进一步，当由均匀检查光源所提供的照明可降低所投射的结构化光图案的可用性时，均匀检查光源可在启用结构化光源时被停用。当结构化光图案的谱与均匀检查光源的谱重叠或者不能易于区分时，情况通常将会是这样。
但是，在一些情况下，可阻碍所捕获图像的可用性，因为它们没有准确捕获目标特征。更具体来说，所捕获图像的部分或全部可以是饱和亮或饱和暗，这可使目标特征的细节模糊。例如，汽车引擎内部的焊接可因焊接的高反射率而使图像为饱和亮(例如“模糊”)。
相应地，本公开的一个实施例描述一种远程视觉检查系统，其以第一亮度级来捕获第一多个图像同时显示至少部分基于第一多个图像的即时视频，并且通过对第一多个图像平均或合计来生成基线图像。另外，远程视觉检查系统以多个亮度级来捕获第二多个图像，其中多个亮度级与第一亮度级不同，并且至少部分基于基线图像和第二多个图像来生成高动态范围图像，使得高动态范围图像包括比基线图像更不饱和的像素。
换言之，如下面将更详细描述，本文所述技术通过生成具有更不饱和像素的高动态范围图像来改进由远程视觉检查系统所捕获的图像的可用性。因此，高动态范围图像允许目标特征的细节更易于识别。此外，可通过基于多个图像生成高动态范围图像来改进生成高动态范围图像的效率,该多个图像被捕获同时在显示即时视频。例如，在一些实施例中，多个图像可连续被捕获，并且甚至在接收任何捕获图像命令之前作为合计或平均图像来存储或者个别存储。
为了帮助图示，图1描述可利用本文所述的技术的内窥镜系统10。在一些实施例中，内窥镜系统10可以是从通用电气公司(斯卡奈塔，NY)可得到的XL GO+ VideoProbe、XLG3 VideoProbe、XL Vu VideoProbe等。应当领会，虽然本实施例描述一种内窥镜系统，但是该内窥镜系统只是意图是说明性的。换言之，其他适当远程视觉检查系统(例如摇摄-倾斜-变焦照相装置、推送照相装置或管道镜)也可利用本文所述的技术。
如所描绘，内窥镜系统10包含插入管12和基本组合件14。如本文所使用的插入管12描述内窥镜系统10中插入到设备或设施中的部分。因此，插入管12通常是长的和/或柔性的，并且包含探头(例如尖端)15的远尖端中的成像组件。更具体来说，在一些实施例中，探头15可以是在插入管12的远端处的可分离部分。另一方面，基本组合件14通常包含用于处理由插入管12的组件(例如图像处理组件)所采集的电子电路系统。
相应地，如所描绘，插入管12包含成像器16、成像器电子器件18、透镜20、发射器模块22、光纤束24和扩散器26。在一些实施例中，内窥镜系统10可经由光纤束24和扩散器26将扩散的或均匀光图案投射到探头15的远端的前面的目标特征(例如表面或对象)上。例如，光纤束24可经过插入管12来携带由白光源28所产生的光，并且扩散器26可将均匀光图案投射到表面或对象上。在一些实施例中，白光源28可以是发光二极管(LED)。如同所描绘的实施例中一样，白光源28可位于基本组合件14中。备选地，白光源28也可包含在插入管12或探头尖端15中。
除了提供扩散的或均匀光图案之外，内窥镜系统10还可将结构化光图案投射到探头尖端15的远端的前面的表面或对象(例如特征)上。在一些实施例中，所投射的结构化光图案可包含具有正弦强度的平行明与暗线条(例如区域)的图案。另外地或备选地，光图案可具有正方形剖面、梯形剖面、三角形剖面、弯曲线条、波形线条、曲折线条或者可用来生成3D点云数据的任何其他这种图案。
在一些实施例中，结构化光图案可经由发射器模块22来投射。更具体来说，发射器模块22可包含一个或多个发光元件、例如LED。例如，发射器模块22可包含输出光的单个发光元件，光经过强度调制元件、例如线条光栅，以生成结构化光图案。另外地或备选地，发射器模块22可包含多个发光元件，其在策略上放置成生成结构化光图案。此外，发射器模块可产生多个不同的结构化光图案，使得每个结构化光图案相对于其他结构化光图案经过相移。
对发射器模块22的操作的控制可由发射器驱动器30来提供。更具体来说，发射器驱动器30可有选择地向发射器模块22供应功率，以产生结构化光图案。例如，当发射器模块22包含多个发光元件时，发射器驱动器30可有选择地向发光元件的每个供应功率，以产生不同的结构化光图案。如上所述，在一些实施例中，在向发射器模块22中的发光元件供电时，可停用白光源28，以降低从扩散器26所输出的光降低所投射的结构化光图案的对比度的可能性。在一些实施例中，可捕获和处理结构化光图像，以确定3D表面数据。
如上所述，成像器16连同成像器电子器件18一起可用来基于投射到插入管12的远端的前面的表面或对象上的光图案来捕获不同图像。更具体来说，透镜20可将光聚焦到成像器16上，以及成像器16可包含光敏像素的二维阵列，其输出模拟图像数据(例如模拟信号)，以指示在每个像素所感测的光等级。因此，成像器16可以是电荷耦合装置(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器或者具有类似功能的图像传感器。
换言之，成像器16可促进静止图像和/或视频的捕获和显示。例如，成像器16可用来在投射均匀或扩散的光图案时捕获检查图像。另一方面，成像器16可用来在投射结构化光图案时捕获测量图像。另外，在一些实施例中，多个透镜20和多个成像器16可用来捕获立体图像。在其他实施例中，立体图像可使用具有立体透镜系统(其可包含图像分束棱镜、平行透镜系统和反射镜)的单个成像器16来捕获。
为了促进图像和/或视频的捕获和显示，基本组合件14中的组件可处理由成像器电子器件18所输出的模拟图像数据，并且向插入管12中的组件供应控制命令(例如指令)。为了促进这类功能，如所描绘，基本组合件14包含白光源28、发射器驱动器30、成像器接口32、微控制器34、视频处理器36、中央处理单元(CPU)38、存储器40、存储装置42、操纵杆44、小键盘46、网络接口48和显示器50。
在操作中，成像器电子器件18可缓冲由成像器16所输出的模拟图像数据并且将其传递给成像器接口32。成像器接口32然后可将模拟图像数据转换为数字图像数据，用于由视频处理器36进一步处理。相应地，成像器接口32可包含模数转换器。在一些实施例中，成像器接口32还可包含模拟增益电路系统和相互关连双取样器。
除了处理模拟图像数据之外，成像器接口32还可向成像器16传送控制命令。更具体来说，成像器接口32可将控制命令从微控制器34中继给成像器16。例如，微控制器34可指示成像器16经由成像器接口32以特定亮度级来捕获图像。更具体来说，当成像器16是CCD成像器时，指令可采取模拟快门控制信号的形式。另外地或备选地，当成像器16是CMOS成像器时，指令可以是使用I2C、SPI或者其他这种通信接口的串行化消息数据分组。换言之，微控制器34通常可控制成像器16的操作。
另外，微控制器34还可控制成像器接口32、发射器驱动器30和白光源28的操作。例如，微控制器34可指示发射器驱动器30经由发射器模块22来产生结构化光图案，其用于捕获测量图像。类似地，微控制器34可指示白光源28产生均匀光图案，其用于捕获检查图像。如上所述，结构化光图案和均匀光图案可同时或者在不同时间输出。换言之，微控制器34通常可协调和控制图像的捕获。
如上所述，视频处理器36可处理由成像器接口32所输出的数字图像数据。在一些实施例中，视频处理器36可以是由Texas Instruments (Dallas，TX)所提供的TMS320DM642视频/成像定点数字信号处理器。更具体来说，视频处理器36可执行诸如图像捕获、颜色矩阵处理、伽马处理、生成视频数据和运动检测的功能。例如，视频处理器36可通过将数字图像数据存储在存储器40和/或存储装置42中来捕获图像。
另外，视频处理器36可通过将第一图像与相同类型的第二图像(例如检查图像或测量图像)进行比较来检测运动。另外地或备选地，视频处理器36可识别测量图像中的锐亮度转变点的位置，并且将它与检查图像中的锐亮度转变的位置进行比较。在一些实施例中，移动量可基于在图像之间是不同的像素值的数量和/或特征在图像之间已经移动的像素的数量。例如，在像素位置(50, 50)的第一像素中和在相对相同位置(例如像素位置(51, 50）或(49, 50))的第二图像中描绘特征的可识别的细节(例如锐亮度转变)时，可确定尚未存在图像之间的充分移动。另一方面，在基本上不同位置(例如像素位置(60, 50))的第二图像中描绘特征的可识别的细节(例如锐亮度转变)时，可确定存在图像之间的充分移动。
此外，视频处理器36可格式化数字图像数据，并且向显示器50输出图像数据。基于图像数据，显示器50则可显示由成像器16所捕获的静止图像。此外，视频处理器36可利用数字图像数据来生成视频数据，并且向显示器50输出视频数据。基于视频数据，显示器50可显示即时视频。在一些实施例中，视频数据可以是BT656视频格式，以及视频数据中携带的数据可具有422YCRCB数据格式。另外，在一些实施例中，显示器50可以是可分离的，而在其他实施例中，显示器50可以是基本组合件14或内窥镜系统10的组成部分。
除了向显示器50供应图像数据和/或视频数据之外，CPU 38可从视频处理器36接收图像数据用于进一步处理。在一些实施例中，CPU 38可以是由Intel Corp. (SantaClara，CA)所提供的Pentium M处理器。换言之，与视频处理器36相比，CPU 38可具有更大的处理能力。相应地，CPU 38可执行诸如帧平均、缩放、图像缩放、覆盖、合并、图像翻转、图像增强(例如高动态范围图像的生成)和失真校正的功能。
应当领会，虽然微处理器34、视频处理器36和CPU 38描述为单独组件，但是它们执行的功能可由任何数量的处理器、例如单个通用处理器来实现。因此，微控制器34、视频处理器36和CPU 38可个别或共同包含一个或多个“通用”微处理器、一个或多个专用微处理器、一个或多个专用微处理器(ASIC)、一个或多个现场可编程门阵列(FPGA)或者它们的任何组合。因此，为了简化论述，它们可统称为内窥镜系统10中的“处理器”。换言之，如本文所使用的处理器可表示任何数量的处理组件。
为了促进执行所述功能的每个，处理器(例如微控制器34、视频处理器36和/或CPU38)可检索和运行非暂时的计算机可读媒介、例如存储器40或存储装置42中存储的指令。通常，存储器40和存储装置可存储信息，例如待处理的数据(例如图像数据)和/或可运行的指令。相应地，存储器40可包含易失性存储器(例如随机存取存储器(RAM)或者非易失性存储器(例如只读存储器(ROM))。另外，存储装置42可包含闪速存储器、网络驱动器、硬盘驱动器或者任何其他光、磁和/或固态存储媒体或者它们的任何组合。
如上所述，显示器50可显示图像和/或视频用于用户查看。换言之，更一般来说，内窥镜系统10可与用户传递所捕获信息。更具体来说，内窥镜系统10可例如通过在显示器50上显示信息(例如图像或视频)，向基本组合件14处的操作员输出信息。另外，内窥镜系统10可从基本组合件14处的操作员接收输入信息。更具体来说，操作员可经由操纵杆44和/或小键盘46向内窥镜系统10提供控制命令。例如，操作员可通过移动操纵杆44来致动探头15，或者可使用小键盘46进行菜单选择。另外，在一些实施例中，显示器50可结合提供用户输入的触敏机构(例如触摸屏)来提供。例如，操作员可经由触敏机构来选择内窥镜系统10或者与其交互。
另外，内窥镜系统10可与远程用户、例如远程计算机(例如计算装置)处的用户进行通信。例如，内窥镜系统10可使用网络接口48与远程计算装置形成网络。在一些实施例中，网络接口48可提供通过无线802.11标准的无线组网(例如个人区域网络(例如蓝牙)、局域网(LAN)或者广域网(WAN))或者提供通过任何其他适当组网标准的无线组网(例如增强GSM演进数据速率(EDGE)网络或3G数据网络)。
换言之，用户可远程查看和/或处理所捕获信息以及向内窥镜系统10远程发出控制命令。例如，在一些实施例中，用户可利用远程计算装置的处理能力以进一步处理由内窥镜系统10所捕获的图像或视频。另外，用户可采用远程计算装置处的显示器来查看由内窥镜系统10所捕获的图像或视频。换言之，显示由内窥镜系统10所捕获的视频和/或图像的显示器可以是远程的和/或可分离的。
如上所述，在一些情况下，如果目标特征的细节被饱和像素遮掩，则可阻碍由内窥镜系统10所捕获的图像和/或视频的可用性。用于改进所捕获的图像和/或视频的可用性的过程52的一个实施例在图2中描述。通常，过程52包含以单个亮度级来捕获第一多个图像同时显示即时视频(过程框54)，生成基线图像(过程框56)，以多个亮度级来捕获第二多个图像(过程框58)，并且生成高动态范围图像(过程框60)。在一些实施例中，过程52可经由有形的非暂时的存储器40或存储装置42中存储并且由内窥镜系统10中的处理器(例如微控制器34、视频处理器36、CPU 38或者远程计算装置中的处理器)所运行的计算机可读指令来实现。
相应地，处理器(例如微控制器34)可指示内窥镜系统10以便以单个亮度级来捕获第一多个图像(过程框54)。取决于具体实现，第一多个图像可以是任何适当类型的图像，例如测量图像、结构化光图像、立体图像或者它们的任何组合。因此，在一些实施例中，微控制器34可指示白光源28和/或发射器驱动器30以便以预期照明等级来产生预期的光图案。
另外，微控制器34可指示成像器16开始捕获图像，其输出表示由成像器16所捕获的光的模拟图像数据。更具体来说，所捕获的图像可具有特定亮度级，其可通过调整照明等级、成像器16的曝光时间、应用于模拟图像数据的增益或者它们的任何组合来调整。相应地，为了以相同亮度级来捕获第一多个图像，微控制器34可指示成像器16使用特定曝光时间、光源(例如白光源28或发射器模块22)来提供特定照明等级，以及指示成像器接口32对模拟图像数据应用特定增益。如上所述，模拟图像数据然后可由成像器接口32转换成数字图像数据并且供应给视频处理器36。
在接收数字图像数据时，处理器(例如视频处理器36)可捕获图像，并且指示显示器50显示即时视频(过程框54)。更具体来说，在一些实施例中，视频处理器36可通过将数字图像数据存储在存储器40和/或存储装置42中来捕获图像。另外，视频处理器36可通过输出视频数据来指示显示器50显示视频。更具体来说，在一些实施例中，视频处理器36可基于数字图像数据来生成视频数据。例如，当第一多个图像是快速连续地捕获的静止图像时，视频处理器36可通过指示显示器50快速连续地显示图像来生成视频。实际上，在一些实施例中，捕获图像的时间到它被显示的时间之间的时长较短(例如，当捕获图像时之后的一毫秒之内)，这使视频能够作为即时视频实时地或者近实时地显示。
除了使用第一多个图像来显示视频之外，处理器(例如CPU 38或视频处理器36)可使用第一多个图像来生成基线图像。更具体来说，可生成基线图像，以降低存在于第一多个图像之一中的噪声。相应地，可使用降低图像中的噪声的各种技术，例如对第一多个图像平均或合计。更具体来说，由于噪声通常是随机的，所以对第一多个图像共同平均或合计将强调实际存在的特征并且降低由噪声所引起的伪影。
在一些实施例中，可在启用白光源28时捕获第一多个图像。换言之，第一多个图像可以是检查图像。因此，从多个检查图像所生成的基线图像也可以是检查图像。在其他实施例中，当使用立体光学器件时，第一多个图像可以是立体测量图像。因此，基线图像也可以是立体测量图像。在另外实施例中，当投射结构化光图像时，例如当结构化光图像相对于均匀检查光具有充分强度时，可捕获第一多个图像。因此，基线图像可包含结构化光图案。
为了帮助图示，可通过将多个图像中的每个图像的每个像素位置处的像素值相加来合计多个图像。因此，实际存在的特征与噪声相比将变得更亮，因为它们将存在于多个图像的每个中，而噪声不是。另外，可通过合计多个图像并且将像素值除以共同合计的图像的数量来对多个图像平均。因此，使用合计或者平均来生成基线图像以如下事实为前提：通常使用的图像按照相同方式描绘特征。换言之，用来生成基线图像的第一多个图像的每个可采用相对于特征处于基本上相同的位置的探头15(例如成像器16)来捕获。因此，可采用当尚未存在通过探头15或特征的充分移动时捕获的图像来生成基线图像。
但是，在一些实施例中，内窥镜系统10甚至当存在特征相对于成像器16的移动时也可继续捕获图像并且显示视频。换言之，在这类实施例中，所捕获并且用来显示视频的并非全部图像用来生成基线图像。然而，在一些实施例中，当所检测的移动是轻微的时，内窥镜系统10可尝试通过在合计或者平均之前平移或旋转所捕获的图像来补偿移动，使得避免或者最小化模糊。例如，如果新图像与先前图像之间的所检测的移动的幅值小于阈值(例如8个像素)，或者如果置信等级高于阈值(例如，>25%)，则图像可与先前所捕获的图像来合计或平均，以避免模糊。
在一些实施例中，可在捕获第一多个图像的每个新图像之后，更新基线图像。例如，每次捕获第一多个图像的新图像时，视频处理器36可从存储器40或存储装置42中检索基线图像，应用新图像的任何所需平移或旋转，并且将新图像与基线图像来平均/合计以更新基线图像，并且将所更新的基线图像存储回存储器40或存储装置42中。另外地或备选地，在捕获第一多个图像的一定数量的新图像之后，可更新基线图像。例如，视频处理器36可在捕获第一多个图像的五个新图像之后更新基线图像。
在生成基线图像之后，处理器(例如微控制器34)可指示内窥镜系统10以便以不同亮度级来捕获第二多个图像(过程框58)。更具体来说，在一些实施例中，第二多个图像的每个可以以不同亮度级来捕获。在其他实施例中，第二多个图像的多个图像可以以相同亮度级来捕获。例如，第一图像和第二图像可以以第一亮度级来捕获，第三和第四图像可以以第二亮度级来捕获，以及第五和第六图像可以以第三亮度级来捕获。
如上所述，处理器(例如微控制器34)可通过调整成像器16的曝光时间、由成像器接口32所应用的增益和/或由光源(例如白光源28或发射器模块22)所提供的照明等级来控制所捕获的图像的亮度级。因此，处理器(例如微控制器34)可调整其任何组合，以便以不同亮度级来捕获第二多个图像。例如，为了以第一亮度级来捕获第一图像，微控制器34可指示成像器16具有一毫秒的曝光时间，以及为了以较亮的亮度级来捕获第二图像，微控制器可指示成像器16具有二毫秒的曝光时间。
以每个亮度级所捕获的图像的准确数量以及要使用的亮度级可取决于特定实现。更具体来说，在一些实施例中，要捕获的图像的数量以及要使用的亮度级可由制造商或者经过例如经由操纵杆44、小键盘46或触敏显示器的用户输入来定义。在其他实施例中，要捕获的图像的数量以及要使用的亮度级可以是自适应的。例如，当处理器(例如CPU 38或视频处理器36)确定基线图像中存在大量饱和像素时，处理器可指示内窥镜系统10增加第二多个图像中的图像的数量和/或增加所使用亮度级的数量。
实际上，在一些实施例中，以不同亮度级的每个所捕获的图像的数量可以是不同的。例如，内窥镜系统10可以以接近第一多个图像的亮度级的亮度级来捕获仅一个图像，但是可以以比第一多个图像的亮度级要暗许多的亮度级来捕获三个图像。在一些实施例中，以相同亮度级所捕获的多个图像可与第一多个图像类似地共同平均或合计，以降低噪声。
取决于实现，从捕获第一多个图像到捕获第二多个图像的切换可按照各种方式来触发。更具体来说，在一些实施例中，捕获图像命令可指示内窥镜系统10停止捕获第一多个图像，并且开始捕获第二多个图像。例如，用户可经由操纵杆44、小键盘46、触敏显示器或者甚至远程计算装置来输入捕获图像命令。
在其他实施例中，捕获第一多个图像与捕获第二多个图像之间的切换可以是自动的或者内窥镜发起的。例如，切换可在处理器(例如CPU 38或视频处理器36)确定不存在成像器16相对于目标特征之间的移动时发生。更具体来说，当处理器(例如CPU 38或视频处理器36)确定不存在移动时，内窥镜系统10可继续捕获第一多个图像，直到生成充分无噪声基线图像，并且然后切换到捕获第二多个图像。另外地或备选地，如果已经生成充分无噪声基线图像(例如通过平移或旋转第一多个图像中的图像)，则内窥镜系统10可在没有检测到移动时立即开始捕获第二多个图像。
如上所述，移动的检测可包含检测第一图像中的特征是否相比于第二图像中的相同特征移动了少于预定数量的像素。另外，在一些实施例中，为了使模糊最小化，第一图像(例如第一多个图像中)与第二图像(例如第一多个图像中)之间的特征的移动量被确定并且在第一图像中相加/平均之前用来对齐第一图像。
如上所述，通过图像所捕获的特征的细节可被图像上的饱和像素或区域遮掩。相应地，使用基线图像和第二多个图像，处理器(例如视频处理器36或CPU 38)可生成高动态范围图像(过程框60)。在一些实施例中，为了生成高动态范围图像，处理器(例如CPU 38或视频处理器36)可利用来自基线图像的不饱和像素数据和来自第二多个图像的一个或多个的不饱和像素。更具体来说，在一些实施例中，替换不饱和像素可通过缩放第二多个图像中的不饱和像素数据来生成。
例如，当处理器(例如CPU 38或视频处理器36)检测基线图像中的饱和像素时，它可基于来自第二多个图像的一个或多个的不饱和像素数据来生成不饱和像素，以替换基线图像中的饱和像素。在一些实施例中，处理器(例如CPU 38或视频处理器36)可通过识别具有高于上阈值(例如白等级)或低于下阈值(例如黑阈值)的值的像素来检测饱和像素。
由于来自第二多个图像的像素数据用来生成像素以替换基线图像中的饱和像素，所以在一些实施例中，第二多个图像可以是与第一多个图像相同类型的图像。例如，如果第一多个图像是检查图像，则第二多个图像也可以是检查图像。但是，在其他实施例中，备选地可使用不同图像类型。例如，如果第一多个图像是结构化光图像(例如当结构化光图案相对于均匀检查光具有充分强度时)，则可使用作为检查图像(例如，仅均匀检查照明)的第二多个图像，因为特征在检查图像中均匀地照射。换言之，高动态范围图像可以是测量图像、立体图像、检查图像或者它们的任何组合。
因此，高动态范围图像可包含比基线图像要少的饱和像素。换言之，高动态范围图像的可用性可好于基线图像，因为高动态范围图像可描绘在基线图像中(例如因饱和)遮掩的目标特征的细节。实际上，为了进一步改进由内窥镜系统10所捕获的图像的可用性，多个高动态范围图像可使用相同基线图像以及来自第二多个图像的一个或多个图像来生成。例如，在一些实施例中，正常高动态范围图像、亮高动态范围图像和暗高动态范围图像可各被生成。在这类实施例中，不同高动态范围图像可提供目标特征的不同视图。更具体来说，这些高动态范围图像之间的亮度差可通过对所捕获的图像数据应用不同线性或者非线性缩放来创建。
此外，在一些实施例中，第一多个图像和第二多个图像的捕获可被散布。换言之，内窥镜系统10可捕获第一多个图像的一个或多个，切换成捕获第二多个图像的一个或多个，切换回捕获第一多个图像的一个或多个，依此类推。为了帮助图示，用于散布第一多个图像和第二多个图像的捕获的过程62的一个实施例在图3中描述。一般来说，过程62包含以第一亮度级来捕获第一图像(过程框64)，确定存在充分小的移动的时间(过程框66)，以不同亮度级来捕获第二图像(过程框68)，并且生成高动态范围图像(过程框70)。在一些实施例中，过程62可经由有形的非暂时的存储器40或存储装置42中存储并且由内窥镜系统10中的处理器(例如微控制器34、视频处理器36、CPU 38或者远程计算装置中的处理器)所运行的计算机可读指令来实现。
相应地，在一些实施例中，处理器(例如微控制器34)可指示内窥镜系统10以第一亮度级来捕获第一图像(过程框64)。在一些实施例中，第一图像可以是上述第一多个图像中的一个。相应地，第一图像可使用在过程框54中所述的技术来捕获。更具体来说，如上所论述，处理器(例如微控制器34)可指示成像器16使用特定曝光时间来捕获第一图像，指示成像器接口32应用特定增益，并且指示光源(例如白光源28或发射器模块22)提供特定照明等级/图案。第一图像然后可通过将数字图像数据存储在存储器40或存储装置42中来捕获。另外，第一图像或者使用第一图像所生成的视频可在显示器50上显示或者在远程计算装置处的显示器上显示。此外，第一图像可用来生成基线图像。
当处理器(例如CPU 38或视频处理器36)确定存在成像器16相对于第一图像中所描绘的特征之间的充分小移动(过程框66)时，处理器(例如微控制器34)可指示内窥镜系统10以与第一亮度级不同的亮度级来捕获第二图像(过程框68)。如上所述，处理器(例如CPU38或视频处理器36)可使用任何适当技术(例如将第一图像与第一多个图像中的另一个图像进行比较，并且确定图像之间是不同的像素值的数量和/或特征在图像之间已经移动的像素的数量)来检测是否存在移动。
另外，在一些实施例中，第二图像可以是上述第二多个图像中的一个。相应地，第二图像可使用在过程框58中所述的技术来捕获。更具体来说，如上所论述，处理器(例如微控制器34)可指示成像器16使用特定曝光时间来捕获第二图像，指示成像器接口32应用特定增益，并且指示光源(例如白光源28或发射器模块22)提供特定照明等级/图案。第二图像然后可通过将数字图像数据存储在存储器40或存储装置42中来捕获。
在捕获第二图像之后，内窥镜系统10可选地可返回到捕获第一多个图像(箭头74)。更具体来说，在一些实施例中，内窥镜系统10可切换回到捕获第一多个图像，而没有生成高动态范围图像。在其他实施例中，处理器(例如CPU 38或视频处理器36)可使用第二图像来生成高动态范围图像(过程框70)。
换言之，在一些实施例中，内窥镜系统10可以以不同的亮度级来捕获附加图像。以不同亮度级的图像的准确数量可根据实现而变化。例如，在一些实施例中，仅捕获第二图像。在其他实施例中，可捕获第二图像连同来自第二多个图像的其他图像。
基于上述示例，存在充分小移动的确定可以是用来捕获第二图像的触发，以及更一般来说是用来从捕获第一多个图像到第二多个图像的切换的触发。在各个实现中，使用没有移动作为触发可以是有利的。例如，如上所论述，当没有检测到移动时，内窥镜系统10可停止捕获第一多个图像，并且开始捕获第二多个图像。
实际上，当第一多个图像的捕获和第二多个图像的捕获被散布时，使用没有移动作为用来捕获第二多个图像的一个或多个的触发可以是特别有用的。例如，在一些实施例中，当处理器(例如CPU 38或视频处理器36)检测基线图像或第一图像中的饱和像素时，它可显示指示本地用户保持在相同位置中的提示，使得可捕获第二多个图像。在这种实施例中，由于一检测到饱和就捕获可用来替换饱和像素的第二多个图像，所以向用户显示的图像可以是高动态范围图像。
实际上，在一些实施例中，高动态范围图像可用来向用户显示高动态范围视频。虽然附加处理用来生成高动态范围图像，但是处理能力中的技术进步呈现近实时地生成高动态范围图像的可能性。另外应当领会，内窥镜系统10通常将在设备或设施内缓慢移动，这放宽对显示视频的时间限制。换言之，近实时视频(例如高动态范围视频)可足以为用户提供接近成像器16的特征的指示。
除了生成高动态范围图像之外，由内窥镜系统10所捕获的图像还可用来确定与目标特征相关的其他信息。例如，在一些实施例中，所捕获的图像可用来生成特征的点云数据、点云图像和/或深度剖面，以描述目标特征的3D剖面。因此，在一些实施例中，与特征相关的多段信息可同时或基本上同时呈现。
例如，在图4所述的屏幕视图74所描绘的实施例中，可基本上同时查看由内窥镜系统10所捕获和生成的各种图像。更具体来说，屏幕视图74可在任何适当显示器、例如显示器50或者远程计算装置处的显示器上显示。
因此，除了只显示各种所捕获和生成的图像之外，屏幕视图74还可显示内窥镜系统10的状态信息。例如，在所描绘的实施例中，屏幕视图74显示网络状态图标76、日期指示符78、时间指示符80和电池状态图标82。更具体来说，在所描绘实施例中，网络状态图标76指示内窥镜系统10连接在蓝牙网络中，日期指示符78指示当前日期是2014年4月15日，时间指示符80指示当前时间是下午12:19，以及电池状态图标82指示电池完全充电。
另外，如上所述，用户可例如通过经由操纵杆44或小键盘46输入用户命令来与内窥镜系统10进行交互。例如，如下面将更详细描述，用户可选择屏幕视图74上的各种视图中的一个，以便以全屏幕显示。另外，如上所述，显示器50可以是触敏显示器，其提供使用软按钮的能力。例如，如同所描绘的实施例中一样，屏幕视图74包含返回软按钮84、查看软按钮86、菜单软按钮88和保存软按钮90。更具体来说，用户可选择返回软按钮84以回到先前屏幕，选择查看软按钮86以查看所选的缩略图图像，选择菜单按钮88以转到菜单，或者选择保存软按钮90以保存所选的图像。如能够领会，显示器50上呈现的软按钮是可编程的，并且可基于正被显示的内容而变化。
如上所述，屏幕视图74可显示由内窥镜系统10所捕获和/或生成的各种图像。例如，在所描绘的实施例中，屏幕视图74显示正常图像92、高动态范围图像94、亮图像96、暗图像98、点云图像100和深度剖面图像102。如所描绘，各种图像可描绘为缩略图，以便基本上同时显示图像。因此，用户可例如经由键盘46、操纵杆44和/或触敏显示器与各种图像进行交互。例如，用户可选择缩略图图像中的一个进行保存或以全屏幕查看。
可用来生成屏幕视图74的过程104的一个实施例在图5中描述。一般来说，过程104包含捕获多个图像(过程框106)，生成以正常亮度的图像(过程框108)，生成高动态范围图像(过程框110)，生成以高亮度的图像(过程框112)，生成以低亮度的图像(过程框114)，生成点云图像(过程框116)，生成深度剖面图像(过程框118)，并且生成缩略图图像(过程框120)。在一些实施例中，过程104可经由有形的非暂时的存储器40或存储装置42中存储并且由内窥镜系统10中的处理器(例如微控制器34、视频处理器36、CPU 38或者远程计算装置中的处理器)所运行的计算机可读指令来实现。
相应地，在一些实施例中，处理器(例如微控制器34)可指示内窥镜系统10捕获多个图像。更具体来说，多个图像可包含上述第一多个图像和/或第二多个图像，其如上所述地那样可响应于用户发起捕获请求、充分小移动的检测或者第一多个图像中的饱和像素的检测而捕获。因此，处理器(例如微控制器34)可指示成像器16以预期亮度级来捕获图像。如上所述，处理器(例如微控制器34)可通过调整成像器16的曝光时间、由成像器接口32所应用的增益和/或由光源(例如白光源28或发射器模块22)所提供的照明等级来控制所捕获的图像的亮度级。另外，如上所述，内窥镜系统10可通过将数字图像数据存储在存储器40或存储装置42中来捕获多个图像。
一旦捕获多个图像的一个或多个，处理器(例如CPU 38或视频处理器36)可指示内窥镜系统10生成以正常亮度的图像(过程框108)。在一些实施例中，正常亮度图像可以只是所捕获的图像中的一个。在其他实施例中，正常亮度图像可以是基于第一多个图像所生成的基线图像。在这类实施例中，处理器(例如CPU 38或视频处理器36)可指示内窥镜系统10通过对来自第一多个图像的图像共同合计或平均来生成正常亮度图像。
另外，处理器(例如CPU 38或视频处理器36)可指示内窥镜系统10生成高动态范围图像(过程框110)。如上所论述，在一些实施例中，高动态范围图像可至少部分基于第一多个图像的一个或多个(例如基线图像)和第二多个图像的一个或多个来生成。更具体来说，在这类实施例中，正常图像中的饱和像素可采用基于第二多个图像的一个或多个中的不饱和像素数据所生成的不饱和像素来替换。
除了高动态范围图像之外，处理器(例如CPU 38或视频处理器36)可指示内窥镜系统10生成以高亮度级的图像(过程框112)，并且生成以低亮度级的图像(过程框114)。如上所述，以不同亮度级的图像可允许用户具有特征的变化视图。在一些实施例中，高亮度图像可以是以比正常图像要高的亮度级所捕获的单个图像。类似地，在一些实施例中，低亮度图像可以是以比正常图像要低的亮度级所捕获的单个图像。在这类实施例中，高亮度图像和/或低亮度图像可以只是第二多个图像中的一个。
在其他实施例中，高亮度图像和/或低亮度图像也可以是高动态范围图像。在这类实施例中，高亮度图像可以是以比在过程框110中所生成的高动态范围图像更高缩放的亮度的高动态范围图像，和/或具有比基线图像更高的像素值平均。类似地，低亮度图像可以是以比在过程框110中所生成的高动态范围图像更低缩放的亮度的高动态范围图像，和/或具有比基线图像更低的像素值平均。换言之，本文所述技术提供生成在亮度级中变化的多个高动态范围图像的能力。如上所述，高动态范围图像通常包含比单个图像更少的噪声和更少的饱和像素。换言之，通过不仅显示以变化亮度级的图像，而且还显示具有更少饱和像素以变化亮度级的图像，可进一步改进由内窥镜系统10所生成的图像的可用性。
如上所述，由内窥镜系统10所捕获的图像可以是任何数量的适当图像类型，例如测量图像、立体图像、检查图像或者它们的任何组合。更具体来说，变化图像类型可使与目标特征相关的不同信息能够被确定。例如，检查图像(例如以均匀亮度所捕获的图像)可从成像器16的角度来描绘目标特征。另一方面，立体图像和/或结构化光测量图像可用来生成点云数据，其然后可用来生成点云图像和/或深度剖面。
因此，处理器(例如CPU 38或视频处理器36)可指示内窥镜系统10生成点云图像(过程框116)，并且生成深度剖面图像(过程框118)。更具体来说，点云图像可基于被生成以给出目标特征的3D表示的点云数据。在一些实施例中，点云图像可基于点云数据的子集，其基于测量光标或所选感兴趣区域的定位来选择。另外，深度剖面可基于被生成以给出目标特征的截面视图的点云数据。在一些实施例中，深度剖面的位置可由用户通过测量光标的定位来选择。
在一些实施例中，点云数据可使用测量图像(例如结构化光图像)或立体图像来生成。例如，点云数据可通过使用对结构化光图像(其在结构化光图案投射到被查看表面上的同时所捕获)的相移分析来生成。另外地或备选地，点云数据可使用从不同角度所捕获的立体图像来生成。因此，在测量图像中捕获的特征的细节越多，所生成的点云图像越准确。
但是，如上所述，当像素饱和时，在所捕获的图像中可遮掩目标特征的细节。例如，当接近成像器16的对象或表面上的焊接(例如高反射表面)使焊接看来似乎在所捕获的图像中饱和时，将难以准确确定焊接的3D特性(例如高度或形状)，因为焊接将看来似乎全白。
在一些实施例中，第二多个图像可用来改进目标特征的细节的捕获。更具体来说，如上所述，第二多个图像可包含以不同亮度级所捕获的测量图像。因此，点云数据可使用以变化亮度级的图像来生成，以增加所确定的3D表面数据点的数量。
为了帮助图示，点云数据可通过匹配从不同角度所获取的图像中捕获的表面点来生成。但是，当立体测量图像包含饱和的像素(例如过亮或者过暗)时，可阻碍立体匹配，因为可能难以区分图像中的相同表面点。例如，继续上述示例，可能难以定位多个立体图像中的焊接上的相同点，因为焊接看来似乎全白。但是，第二多个图像的一个或多个中的相同像素可能不饱和。因此，处理器可利用第二多个图像的一个或多个来执行立体匹配并且生成点云数据。换言之，第一多个图像的一个或多个、基线图像、第二多个图像的一个或多个和所生成的高动态范围图像的任何组合可用来生成点云数据。
类似地，如果结构化光图案、例如激光点网格在第一和第二多个图像中捕获，则处理器可使用第一多个图像的一个或多个、基线图像、第二多个图像的一个或多个和所生成的高动态范围图像的任何组合来检测图案的位置。处理器然后可使用所检测的图案位置来确定3D表面数据。
另外，如上所述，第二多个图像可用来生成高动态范围图像，其可减少饱和量并且可以是任何适当图像类型。相应地，使用高动态范围图像所生成的数据或图像可以更为有用的。例如，继续上述示例，一个或多个高动态测量图像可用来补偿焊接的高反射率，并且描绘焊接的特性的更多细节。因此，使用高动态范围测量图像来生成点云数据/图像可提供与特征相关的更准确信息，其还改进点云图像和深度剖面图像的精度。
处理器(例如CPU 38或视频处理器36)然后可指示内窥镜系统10显示作为缩略图图像的所生成的图像(例如正常亮度图像、高亮度图像、高动态范围图像、低亮度图像、点云图像或深度剖面图像)(过程框120)。在一些实施例中，生成缩略图图像可包含将所生成的图像缩放到缩略图大小。如上所述，缩略图图像可以是由用户可选择的，例如以保存或者以全屏幕显示与缩略图图像对应的图像。相应地，由于在一些实施例中，显示器50可以是触敏显示器，所以生成缩略图图像可包含生成由用户可选择的缩略图图像软按钮。
基于以上描述，本公开的技术效果包含提供用于改进由远程视觉检查系统、例如内窥镜系统所捕获的图像的可用性的系统和方法。更具体来说，图像的可用性可通过生成一个或多个高动态范围图像来改进。此外，可以更有效地捕获和生成高动态范围图像。例如，高动态范围图像可基于用来显示即时视频的图像来生成。换言之，远程视觉检查系统可以甚至在接收捕获命令之前开始生成高动态范围图像。
本书面描述使用包含最佳模式的示例来公开本发明，并且还使本领域的技术人员能够实施本发明，包含制作和使用任何装置或系统，以及执行任何结合方法。本发明的可取得的专利范围由权利要求书来定义，并且可包含本领域的技术人员想到的其他示例。如果这类其他示例具有与权利要求的文字语言完全相同的结构单元，或者如果它们包括具有与权利要求的文字语言的非实质差异的等效结构单元，则预计它们处于权利要求的范围之内。

Claims (20)

1.一种存储由内窥镜的处理器可运行的指令的有形的非暂时的计算机可读媒介，其中所述指令包括用于下列的指令：
使用所述内窥镜中的成像器以第一亮度级来捕获第一多个图像，同时显示至少部分基于所述第一多个图像的即时视频；
使用所述处理器通过对所述第一多个图像平均或合计来生成基线图像；
使用所述成像器以多个亮度级来捕获第二多个图像，其中所述多个亮度级与所述第一亮度级不同；以及
使用所述处理器至少部分基于所述基线图像和所述第二多个图像来生成高动态范围图像，其中所述高动态范围图像包括比所述基线图像更不饱和的像素。
2.如权利要求1所述的计算机可读媒介，其中，用来生成所述高动态范围图像的所述指令包括用来使用来自所述基线图像的不饱和像素数据和来自所述第二多个图像的至少一个的不饱和像素数据来生成所述高动态范围图像的指令。
3.如权利要求1所述的计算机可读媒介，其中，所述指令包括用来通过比较所述第一多个图像的两个或更多来确定接近所述成像器的特征是否相对于所述成像器充分移动的指令。
4.如权利要求3所述的计算机可读媒介，其中，所述第二多个图像在没有检测到充分移动时自动捕获。
5.如权利要求1所述的计算机可读媒介，其中，用来生成所述基线图像的所述指令包括用来如果检测到移动，则重新对齐所述第一多个图像的一个或多个的指令。
6.如权利要求1所述的计算机可读媒介，其中，用来捕获所述第二多个图像的所述指令包括用来通过改变所述成像器的曝光时间、所应用增益、所述内窥镜上的光源的照明等级或者它们的任何组合来改变所述第二多个图像的一个或多个的捕获之间的亮度的指令。
7.如权利要求1所述的计算机可读媒介，其中，所述指令包括用来捕获结构化光图像或立体图像同时捕获所述第二多个图像的指令。
8.如权利要求1所述的计算机可读媒介，其中，用来捕获所述第二多个图像的所述指令包括用于下列的指令：
使用所述成像器以第二亮度级来捕获所述第二多个图像的第一图像；
使用所述成像器以第三亮度级来捕获所述第二多个图像的第二图像；
使用所述成像器以所述第二亮度级来捕获所述第二多个图像的第三图像，
其中用来生成所述高动态范围图像的所述指令包括用来进行以下操作的指令：
通过对所述第一图像和所述第三图像进行平均或合计来生成合成图像；以及
至少部分地基于所述合成图像、所述第二图像和所述基线图像来生成所述高动态范围图像。
9.如权利要求1所述的计算机可读媒介，其中，所述指令包括用来接收捕获图像命令的指令，
其中所述第一多个图像在接收所述捕获图像命令之前被捕获，并且所述第二多个图像在接收所述捕获图像命令之后被捕获。
10.一种在远程视觉检查系统中的处理器，配置成：
通过对第一多个图像共同平均或合计来生成基线图像，其中所述第一多个图像使用所述远程视觉检查系统的成像器以第一亮度级来捕获；
至少部分基于所述第一多个图像来生成即时视频馈送；以及
使用来自所述基线图像的不饱和像素数据和来自第二多个图像的至少一个的不饱和像素数据来生成高动态范围图像，其中所述第二多个图像使用所述成像器以与所述第一亮度级不同的亮度级来捕获。
11.如权利要求10所述的处理器，其中，所述处理器配置成：
通过比较来自所述第一多个图像的图像来检测接近所述成像器的特征相对于所述成像器的运动；以及
当没有检测到运动时自动捕获所述第二多个图像。
12.如权利要求10所述的处理器，其中，所述处理器配置成通过改变所述成像器的曝光时间、应用于由所述成像器所输出的模拟数据的增益、由所述成像器所接收的光量或者它们的任何组合来改变所述第二多个图像的每个的所述亮度级。
13.如权利要求10所述的处理器，其中，所述处理器配置成在接收图像捕获命令之后：
停止捕获所述第一多个图像；以及
开始捕获所述第二多个图像。
14.一种远程视觉检查系统，包括：
成像器，配置成通过将光转换为模拟图像数据来提供图像；
模数转换器，配置成将所述模拟图像数据转换成数字图像数据；
处理器，配置成捕获和处理所述数字图像数据，以生成多个图像；以及
显示器，配置成：
显示描绘接近所述成像器的特征的即时视频，其中所述即时视频至少部分基于使用所述成像器以第一亮度级所捕获的第一多个图像，其中所捕获的第一多个图像用来生成基线图像；以及
将由所述处理器所生成的所述多个图像作为缩略图来显示，其中所述多个图像包括所述基线图像以及通过采用以与所述第一亮度级不同的多个亮度级所捕获的第二多个图像中的不饱和像素来替换所述基线图像中的饱和像素所生成的高动态范围图像。
15.如权利要求14所述的远程视觉检查系统，包括网络接口，其配置成：
向远程计算装置传送所述即时视频或者所述多个图像；以及
从所述远程计算装置接收控制命令，其中所述远程计算装置包括所述显示器。
16.如权利要求14所述的远程视觉检查系统，其中，所述处理器配置成至少部分基于使用所述成像器所捕获的图像来生成点云图像。
17.如权利要求14所述的远程视觉检查系统，其中，所述多个图像包括点云图像、比所述基线图像具有更高亮度级的图像、比所述基线图像具有更低亮度级的图像、截面图像或者它们的任何组合。
18.如权利要求14所述的远程视觉检查系统，其中，所述远程视觉检查系统包括内窥镜、摇摄-倾斜-变焦检查照相装置、推送照相装置或者它们的任何组合。
19.如权利要求14所述的远程视觉检查系统，其中，所述处理器配置成：
以第一亮度级来捕获第一多个图像；
以第二亮度级来捕获单个图像。
20.如权利要求19所述的远程视觉检查系统，其中，所述处理器配置成如果所述处理器确定所述成像器或者接近所述成像器的所述特征没有充分移动，则以所述第二亮度级来捕获所述单个图像。
CN201580028925.XA 2014-05-30 2015-05-12 远程视觉检查图像捕获系统和方法 Active CN106416225B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/292,648 US9633426B2 (en) 2014-05-30 2014-05-30 Remote visual inspection image capture system and method
US14/292648 2014-05-30
PCT/US2015/030252 WO2015183541A1 (en) 2014-05-30 2015-05-12 Remote visual inspection image capture system and method

Publications (2)

Publication Number Publication Date
CN106416225A CN106416225A (zh) 2017-02-15
CN106416225B true CN106416225B (zh) 2020-03-10

Family

ID=53276273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580028925.XA Active CN106416225B (zh) 2014-05-30 2015-05-12 远程视觉检查图像捕获系统和方法

Country Status (5)

Country Link
US (3) US9633426B2 (zh)
JP (1) JP6681844B2 (zh)
CN (1) CN106416225B (zh)
DE (1) DE112015002570T5 (zh)
WO (1) WO2015183541A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002719B2 (en) 2012-10-08 2015-04-07 State Farm Mutual Automobile Insurance Company Device and method for building claim assessment
US8872818B2 (en) * 2013-03-15 2014-10-28 State Farm Mutual Automobile Insurance Company Methods and systems for capturing the condition of a physical structure
WO2016084779A1 (ja) * 2014-11-27 2016-06-02 オリンパス株式会社 画像再生装置および画像再生プログラム
CN113660522A (zh) 2015-09-25 2021-11-16 麦克赛尔株式会社 接收装置
WO2017051808A1 (ja) 2015-09-25 2017-03-30 日立マクセル株式会社 放送受信装置
US10197473B2 (en) * 2015-12-09 2019-02-05 General Electric Company System and method for performing a visual inspection of a gas turbine engine
US10648924B2 (en) 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
US10324770B2 (en) * 2016-03-18 2019-06-18 Ca, Inc. Efficient application feedback collection
WO2017171710A1 (en) * 2016-03-28 2017-10-05 Hewlett-Packard Development Company, L.P. Calibration data transmissions
US10176527B1 (en) 2016-04-27 2019-01-08 State Farm Mutual Automobile Insurance Company Providing shade for optical detection of structural features
GB2550117A (en) * 2016-05-04 2017-11-15 E M & I (Maritime) Ltd Inspection method
US10666927B2 (en) * 2017-03-15 2020-05-26 Baker Hughes, A Ge Company, Llc Method and device for inspection of an asset
US10488349B2 (en) 2017-11-14 2019-11-26 General Electric Company Automated borescope insertion system
US10489896B2 (en) 2017-11-14 2019-11-26 General Electric Company High dynamic range video capture using variable lighting
US10757358B1 (en) * 2019-06-05 2020-08-25 Primesensor Technology Inc. Photographing device having two output interfaces
EP3510925A1 (en) * 2018-01-10 2019-07-17 Universite Libre De Bruxelles Endoscopic non-contact measurement device
JP6770254B2 (ja) * 2018-02-07 2020-10-14 オムロン株式会社 ３次元測定装置、３次元測定方法及び３次元測定プログラム
US10775315B2 (en) 2018-03-07 2020-09-15 General Electric Company Probe insertion system
US10545096B1 (en) 2018-10-11 2020-01-28 Nanotronics Imaging, Inc. Marco inspection systems, apparatus and methods
EP3669748A1 (en) * 2018-12-19 2020-06-24 Koninklijke Philips N.V. A mirror assembly
CN110062159A (zh) * 2019-04-09 2019-07-26 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法、装置、电子设备
CN110072052B (zh) * 2019-04-09 2021-08-27 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法、装置、电子设备
CN110225261B (zh) * 2019-06-21 2021-03-26 上海集成电路研发中心有限公司 一种ZigZagHDR曝光控制系统及其进行曝光控制的方法
EP3982863A4 (en) * 2019-07-15 2023-06-28 Corindus, Inc. Data capture and adaptive guidance for robotic procedures with an elongated medical device
US11593919B2 (en) 2019-08-07 2023-02-28 Nanotronics Imaging, Inc. System, method and apparatus for macroscopic inspection of reflective specimens
US10915992B1 (en) 2019-08-07 2021-02-09 Nanotronics Imaging, Inc. System, method and apparatus for macroscopic inspection of reflective specimens
CN110581957B (zh) * 2019-08-26 2021-04-02 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
US20210129971A1 (en) * 2019-11-01 2021-05-06 The Boeing Company System and method for measuring localized characteristics of a transparency
CN111784668A (zh) * 2020-07-01 2020-10-16 武汉楚精灵医疗科技有限公司 基于感知哈希算法的消化内镜检查影像自动冻结的方法
DE102020120257A1 (de) 2020-07-31 2022-02-03 Smartvision Gmbh Verfahren und Analysevorrichtung zum Erzeugen von Trainings- oder Korrekturdaten für ein künstliches neuronales Netz
US20220067993A1 (en) * 2020-08-31 2022-03-03 Popshop Technologies, Inc. Live streaming object image capture and image conversion to product catalog
US11706507B2 (en) 2020-12-30 2023-07-18 Waymo Llc Systems, apparatus, and methods for generating enhanced images
WO2023287992A1 (en) * 2021-07-14 2023-01-19 Nanotronics Imaging, Inc. System, method and apparatus for macroscopic inspection of reflective specimens
CN116452485A (zh) * 2022-01-05 2023-07-18 通用汽车环球科技运作有限责任公司 基于图像相关联性的反射表面的检查

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201393267Y (zh) * 2009-02-06 2010-01-27 无锡锦腾智能科技有限公司 高动态范围图像获取装置
CN101726263A (zh) * 2008-10-10 2010-06-09 通用电气公司 关于利用结构光的探头系统的系统方面

Family Cites Families (240)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2929866A (en) 1953-10-30 1960-03-22 Westinghouse Electric Corp Television pickup tube
GB937358A (en) 1961-11-13 1963-09-18 Marconi Wireless Telegraph Co Improvements in or relating to television scanning systems
JPS4844279B1 (zh) 1965-05-08 1973-12-24
US3515800A (en) 1966-05-10 1970-06-02 Victor Company Of Japan Television camera for selectively picking up scenes in color or monochromatically
US3623126A (en) 1969-09-24 1971-11-23 North American Rockwell Edge sharpening in a scanned image display system
US3783190A (en) 1971-04-08 1974-01-01 Gte Sylvania Inc Aperture correction circuit for low light level television camera
US3845242A (en) 1972-11-21 1974-10-29 Minnesota Mining & Mfg Video signal processing system for facsimile transmission
GB1415827A (en) 1973-03-31 1975-11-26 Schumacher Klimsch Co E Photomechanical reproduction
US3980819A (en) 1974-11-01 1976-09-14 Zenith Radio Corporation Edge enhancement for television images
US4115804A (en) 1975-05-23 1978-09-19 Bausch & Lomb Incorporated Image analysis data extraction
JPS5745837A (en) 1980-09-03 1982-03-16 Olympus Optical Co Photographing apparatus of endoscope
JPS57108866A (en) 1980-12-26 1982-07-07 Fuji Xerox Co Ltd Dichromatic copying machine
FR2502875B1 (fr) 1981-03-30 1985-11-29 Tugaye Jean Procede et dispositif de cadrage et de stabilisation d'image de camera electro-optique
US4410914A (en) 1982-02-01 1983-10-18 Cbs Inc. Television picture stabilizing system
JPS58153454A (ja) 1982-03-08 1983-09-12 Fuji Xerox Co Ltd 多機能複写機
US4433346A (en) 1982-03-31 1984-02-21 Xerox Corporation Raster input scanner
US4491865A (en) 1982-09-29 1985-01-01 Welch Allyn, Inc. Image sensor assembly
US4516153A (en) 1983-03-30 1985-05-07 Rca Corporation Composite video signal processing apparatus providing amplitude equalization
JPS59215772A (ja) 1983-05-23 1984-12-05 Nec Home Electronics Ltd マルチエミツタ形トランジスタ
DE3429548A1 (de) 1983-08-24 1985-05-15 Kabushiki Kaisha Toshiba, Kawasaki, Kanagawa Farbsteuereinheit fuer ein bilderzeugungsgeraet
US4608606A (en) 1984-03-15 1986-08-26 Rca Corporation CCD floating-element output stages providing low reset noise with single sampling
US4547809A (en) 1984-04-27 1985-10-15 Rca Corporation Thermally isolated imager
US4622954A (en) 1984-05-15 1986-11-18 Fuji Photo Optical Co., Ltd. Endoscope having a plate-like image sensor for forming images
US4692608A (en) 1984-05-18 1987-09-08 Fuji Photo Optical Company, Ltd. Compact optical imaging system
US4658298A (en) 1984-05-30 1987-04-14 El Planning System Ltd. Portable type audio-visual sensory apparatus
JPS612957A (ja) 1984-06-18 1986-01-08 Toyota Motor Corp 無段変速機付き動力伝達装置の油圧制御装置
JPS6147919A (ja) 1984-08-15 1986-03-08 Olympus Optical Co Ltd 内視鏡用撮像光学系
JPS6142513U (ja) 1984-08-23 1986-03-19 富士写真光機株式会社 内視鏡
JPH0644105B2 (ja) 1985-01-14 1994-06-08 オリンパス光学工業株式会社 内視鏡
EP0212426B1 (en) 1985-08-16 1992-07-22 Olympus Optical Co., Ltd. Endoscope
JPH0522897Y2 (zh) 1985-08-16 1993-06-11
US4695878A (en) 1985-10-31 1987-09-22 Rca Corporation Color television camera with selectively removable infrared rejection filter
US4700693A (en) 1985-12-09 1987-10-20 Welch Allyn, Inc. Endoscope steering section
JP2679014B2 (ja) 1986-03-19 1997-11-19 オリンパス光学工業株式会社 電子内視鏡装置
JPS6365840A (ja) 1986-04-04 1988-03-24 オリンパス光学工業株式会社 内視鏡
US4735501A (en) 1986-04-21 1988-04-05 Identechs Corporation Method and apparatus for fluid propelled borescopes
JPH0664243B2 (ja) 1986-04-30 1994-08-22 オリンパス光学工業株式会社 内視鏡
DE3715417A1 (de) 1986-05-13 1987-11-19 Olympus Optical Co Halbleiter-bilderzeugungsvorrichtung, sowie hiermit ausgestattetes endoskop
JPS635722A (ja) 1986-06-25 1988-01-11 オリンパス光学工業株式会社 内視鏡
US4777524A (en) 1986-08-08 1988-10-11 Olympus Optical Co., Ltd. Endoscope having an electrically insulated solid-state image sensing unit
JP2812940B2 (ja) 1986-09-01 1998-10-22 オリンパス光学工業株式会社 内視鏡
JPS6363426A (ja) 1986-09-04 1988-03-19 オリンパス光学工業株式会社 電子内視鏡
US4733937A (en) 1986-10-17 1988-03-29 Welch Allyn, Inc. Illuminating system for endoscope or borescope
US4758891A (en) 1986-10-20 1988-07-19 North American Philips Consumer Electronics Corp. Method and apparatus for improving the rise and fall time of a video signal
US4895431A (en) 1986-11-13 1990-01-23 Olympus Optical Co., Ltd. Method of processing endoscopic images
US4727859A (en) 1986-12-29 1988-03-01 Welch Allyn, Inc. Right angle detachable prism assembly for borescope
US4918521A (en) 1987-01-20 1990-04-17 Olympus Optical Co., Ltd. Solid state imaging apparatus
US4777385A (en) 1987-02-09 1988-10-11 Rca Licensing Corporation Signal transient improvement circuit
US4873572A (en) 1987-02-27 1989-10-10 Olympus Optical Co., Ltd. Electronic endoscope apparatus
US4868644A (en) 1987-04-01 1989-09-19 Olympus Optical Co. Electronic endoscope with solid state imaging device
JPH0671324B2 (ja) 1987-04-03 1994-09-07 オリンパス光学工業株式会社 撮像装置
JPS63292119A (ja) 1987-05-25 1988-11-29 Furukawa Electric Co Ltd:The パイプカメラ
US4796607A (en) 1987-07-28 1989-01-10 Welch Allyn, Inc. Endoscope steering section
US4790294A (en) 1987-07-28 1988-12-13 Welch Allyn, Inc. Ball-and-socket bead endoscope steering section
US4787369A (en) 1987-08-14 1988-11-29 Welch Allyn, Inc. Force relieving, force limiting self-adjusting steering for borescope or endoscope
US4794912A (en) 1987-08-17 1989-01-03 Welch Allyn, Inc. Borescope or endoscope with fluid dynamic muscle
US5021888A (en) 1987-12-18 1991-06-04 Kabushiki Kaisha Toshiba Miniaturized solid state imaging device
JPH0673517B2 (ja) 1988-02-04 1994-09-21 オリンパス光学工業株式会社 電子内視鏡システム
US4901143A (en) 1988-02-16 1990-02-13 Olympus Optical Co., Ltd. Electronic endoscope system provided with a means of imaging frozen pictures having few picture image smears
JP2594627B2 (ja) 1988-02-26 1997-03-26 オリンパス光学工業株式会社 電子内視鏡装置
US4887154A (en) 1988-06-01 1989-12-12 Welch Allyn, Inc. Lamp assembly and receptacle
US4862253A (en) 1988-07-20 1989-08-29 Welch Allyn, Inc. Apparatus for converting a video processor
US4933757A (en) 1988-08-20 1990-06-12 Olympus Optical Co., Ltd. Electronic endoscope apparatus provided with a movement detecting means
US4909600A (en) 1988-10-28 1990-03-20 Welch Allyn, Inc. Light chopper assembly
US4969034A (en) 1988-12-30 1990-11-06 Welch Allyn, Inc. Method of signal enhancement
JP3217343B2 (ja) 1989-03-23 2001-10-09 オリンパス光学工業株式会社 画像処理装置
JP2751320B2 (ja) 1989-02-21 1998-05-18 日本電気株式会社 エミッタホロワ回路
US5032913A (en) 1989-02-28 1991-07-16 Olympus Optical Co., Ltd. Electronic endoscope system equipped with color smear reducing means
JP2510299B2 (ja) 1989-03-22 1996-06-26 オリンパス光学工業株式会社 電子式内視鏡装置
US4993405A (en) 1989-05-15 1991-02-19 Olympus Optical Co., Ltd. Imaging apparatus
US4962751A (en) 1989-05-30 1990-10-16 Welch Allyn, Inc. Hydraulic muscle pump
US5014515A (en) 1989-05-30 1991-05-14 Welch Allyn, Inc. Hydraulic muscle pump
US4913369A (en) 1989-06-02 1990-04-03 Welch Allyn, Inc. Reel for borescope insertion tube
US4980763A (en) 1989-06-12 1990-12-25 Welch Allyn, Inc. System for measuring objects viewed through a borescope
JPH0323832A (ja) 1989-06-22 1991-01-31 Toshiba Corp 電子内視鏡装置
US4941454A (en) 1989-10-05 1990-07-17 Welch Allyn, Inc. Servo actuated steering mechanism for borescope or endoscope
US4941456A (en) 1989-10-05 1990-07-17 Welch Allyn, Inc. Portable color imager borescope
JP2579372B2 (ja) 1989-12-04 1997-02-05 日本テキサス・インスツルメンツ株式会社 低消費電力撮像装置
US5052803A (en) 1989-12-15 1991-10-01 Welch Allyn, Inc. Mushroom hook cap for borescope
US5014600A (en) 1990-02-06 1991-05-14 Welch Allyn, Inc. Bistep terminator for hydraulic or pneumatic muscle
US4998182A (en) 1990-02-08 1991-03-05 Welch Allyn, Inc. Connector for optical sensor
US5070401A (en) 1990-04-09 1991-12-03 Welch Allyn, Inc. Video measurement system with automatic calibration and distortion correction
US5019121A (en) 1990-05-25 1991-05-28 Welch Allyn, Inc. Helical fluid-actuated torsional motor
US5387928A (en) 1990-05-29 1995-02-07 Fuji Photo Optical Co., Ltd. Electronic endoscope system having both still and moving images
US4989581A (en) 1990-06-01 1991-02-05 Welch Allyn, Inc. Torsional strain relief for borescope
US5203319A (en) 1990-06-18 1993-04-20 Welch Allyn, Inc. Fluid controlled biased bending neck
US5018506A (en) 1990-06-18 1991-05-28 Welch Allyn, Inc. Fluid controlled biased bending neck
US5047848A (en) 1990-07-16 1991-09-10 Welch Allyn, Inc. Elastomeric gage for borescope
US5114636A (en) 1990-07-31 1992-05-19 Welch Allyn, Inc. Process for reducing the internal cross section of elastomeric tubing
US5018436A (en) 1990-07-31 1991-05-28 Welch Allyn, Inc. Folded bladder for fluid dynamic muscle
US5155585A (en) 1990-08-13 1992-10-13 Brother Kogyo Kabushiki Kaisha Image pickup apparatus for receiving light and converting to an electrical signal corresponding to the light
JP3216650B2 (ja) 1990-08-27 2001-10-09 オリンパス光学工業株式会社 固体撮像装置
US5061995A (en) 1990-08-27 1991-10-29 Welch Allyn, Inc. Apparatus and method for selecting fiber optic bundles in a borescope
US5418566A (en) 1990-09-10 1995-05-23 Kabushiki Kaisha Toshiba Compact imaging apparatus for electronic endoscope with improved optical characteristics
JP2848574B2 (ja) 1990-09-21 1999-01-20 オリンパス光学工業株式会社 色ずれ補正装置
US5164824A (en) 1990-10-12 1992-11-17 Olympus Optical Co., Ltd. Image freezing signal-processing apparatus
US5066122A (en) 1990-11-05 1991-11-19 Welch Allyn, Inc. Hooking cap for borescope
US5823958A (en) 1990-11-26 1998-10-20 Truppe; Michael System and method for displaying a structural data image in real-time correlation with moveable body
US5291151A (en) 1991-01-19 1994-03-01 Canon Kabushiki Kaisha Sensor amplifier
JP2953079B2 (ja) 1991-02-14 1999-09-27 富士写真光機株式会社 電子内視鏡装置
US5140975A (en) 1991-02-15 1992-08-25 Welch Allyn, Inc. Insertion tube assembly for probe with biased bending neck
US5469210A (en) 1991-03-01 1995-11-21 Canon Kabushiki Kaisha Image pickup apparatus with control for output of non-vibrating images
JP3078085B2 (ja) 1991-03-26 2000-08-21 オリンパス光学工業株式会社 画像処理装置および画像処理方法
JPH0595900A (ja) 1991-04-11 1993-04-20 Olympus Optical Co Ltd 内視鏡画像処理装置
US6002430A (en) 1994-01-31 1999-12-14 Interactive Pictures Corporation Method and apparatus for simultaneous capture of a spherical image
JP3012373B2 (ja) 1991-06-05 2000-02-21 旭光学工業株式会社 内視鏡の先端部
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5191879A (en) 1991-07-24 1993-03-09 Welch Allyn, Inc. Variable focus camera for borescope or endoscope
US5202758A (en) 1991-09-16 1993-04-13 Welch Allyn, Inc. Fluorescent penetrant measurement borescope
US5614943A (en) 1991-12-19 1997-03-25 Olympus Optical Co., Ltd. Dissimilar endoscopes usable with a common control unit
US5278642A (en) 1992-02-26 1994-01-11 Welch Allyn, Inc. Color imaging system
DE4211547C2 (de) 1992-04-06 1994-08-11 Henke Sass Wolf Gmbh Schutzabdeckung für das distale Ende von Endoskopen
US5369446A (en) 1992-04-30 1994-11-29 Thomson Consumer Electronics, Inc. Video signal processor employing edge replacement, preshoots and overshoots for transient enhancement
US5262856A (en) * 1992-06-04 1993-11-16 Massachusetts Institute Of Technology Video image compositing techniques
US5275152A (en) 1992-07-27 1994-01-04 Welch Allyn, Inc. Insertion tube terminator
US5441043A (en) 1992-09-11 1995-08-15 Welch Allyn, Inc. Video laparoscope with modular video connector and dual low-wattage light sources
EP0587514A1 (en) 1992-09-11 1994-03-16 Welch Allyn, Inc. Processor module for video inspection probe
US5347989A (en) 1992-09-11 1994-09-20 Welch Allyn, Inc. Control mechanism for steerable elongated probe having a sealed joystick
US5314070A (en) 1992-12-16 1994-05-24 Welch Allyn, Inc. Case for flexible borescope and endoscope insertion tubes
JP3220538B2 (ja) 1992-12-24 2001-10-22 オリンパス光学工業株式会社 立体視内視鏡及び立体視内視鏡装置
US5365331A (en) 1993-01-27 1994-11-15 Welch Allyn, Inc. Self centering device for borescopes
US5345339A (en) 1993-01-29 1994-09-06 Welch Allyn, Inc. Motorized mirror assembly
US5633675A (en) 1993-02-16 1997-05-27 Welch Allyn, Inc, Shadow probe
US5587736A (en) 1993-02-16 1996-12-24 Envision Medical Corporation Sterilizable CCD video camera
US5674182A (en) 1993-02-26 1997-10-07 Olympus Optical Co., Ltd. Endoscope system including endoscope and protection cover
USD358471S (en) 1993-03-11 1995-05-16 Welch Allyn, Inc. Combined control handle and viewing screen for an endoscope
US5550582A (en) 1993-03-19 1996-08-27 Olympus Optical Co., Ltd. Endoscope-image processing apparatus for performing image processing of emphasis in endoscope image by pigment concentration distribution
US5373317B1 (en) 1993-05-28 2000-11-21 Welch Allyn Inc Control and display section for borescope or endoscope
US5323899A (en) 1993-06-01 1994-06-28 Welch Allyn, Inc. Case for video probe
US5435296A (en) 1993-06-11 1995-07-25 Welch Allyn, Inc. Endoscope having crimped and soldered cable terminator
JP3271838B2 (ja) 1993-10-18 2002-04-08 オリンパス光学工業株式会社 内視鏡用画像処理装置
US6983051B1 (en) 1993-11-18 2006-01-03 Digimarc Corporation Methods for audio watermarking and decoding
US5842473A (en) 1993-11-29 1998-12-01 Life Imaging Systems Three-dimensional imaging system
US5694530A (en) 1994-01-18 1997-12-02 Hitachi Medical Corporation Method of constructing three-dimensional image according to central projection method and apparatus for same
JPH07246184A (ja) 1994-03-09 1995-09-26 Fuji Photo Optical Co Ltd 面順次式撮像装置
JP3497231B2 (ja) 1994-04-22 2004-02-16 オリンパス株式会社 フリーズ装置
TW387560U (en) 1994-05-13 2000-04-11 Prec Optics Coroporation Viewing scope with image intensification
US5788628A (en) 1994-05-26 1998-08-04 Asahi Kogaku Kogyo Kabushiki Kaisha Endoscope
JPH0829701A (ja) 1994-07-18 1996-02-02 Olympus Optical Co Ltd 立体視内視鏡システム
JPH08186760A (ja) 1994-12-28 1996-07-16 Philips Japan Ltd 画揺れ補正装置
JPH08243078A (ja) 1995-03-07 1996-09-24 Fuji Photo Optical Co Ltd 電子内視鏡の撮像素子組付け体
US5730129A (en) 1995-04-03 1998-03-24 General Electric Company Imaging of interventional devices in a non-stationary subject
FR2732848B1 (fr) 1995-04-04 1997-05-16 Thomson Csf Semiconducteurs Amplificateur de lecture de registre ccd
GB9506954D0 (en) 1995-04-04 1995-05-24 Street Graham S B Method and apparatus for image enhancement
KR0169376B1 (ko) 1995-10-10 1999-03-20 김광호 멀티미디어 대응 가능한 씨씨디 카메라 시스템
CN1146354C (zh) 1995-10-23 2004-04-21 斯托迈奇克公司 利用反射光谱成象分析血液的装置和方法
KR970049406A (ko) 1995-12-15 1997-07-29 김광호 그래픽 오버레이속도 향상기능을 갖는 화상처리장치
US5696850A (en) 1995-12-21 1997-12-09 Eastman Kodak Company Automatic image sharpening in an electronic imaging system
US5754313A (en) 1996-07-17 1998-05-19 Welch Allyn, Inc. Imager assembly
US5734418A (en) 1996-07-17 1998-03-31 Welch Allyn, Inc. Endoscope with tab imager package
US5857963A (en) 1996-07-17 1999-01-12 Welch Allyn, Inc. Tab imager assembly for use in an endoscope
US6108005A (en) 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
US6046777A (en) * 1996-09-06 2000-04-04 Thomson Consumer Electronics, Inc. Apparatus for sampling and displaying an auxiliary image with a main image to eliminate a spatial seam in the auxiliary image during freeze frame operation
US5964696A (en) 1996-10-24 1999-10-12 Smith & Nephew, Inc. Stereoscopic imaging by alternately blocking light
US6084461A (en) 1996-11-29 2000-07-04 Varian Medical Systems, Inc. Charge sensitive amplifier with high common mode signal rejection
JPH10192220A (ja) 1997-01-14 1998-07-28 Fuji Photo Optical Co Ltd 内視鏡
JP3521109B2 (ja) 1997-02-17 2004-04-19 シャープ株式会社 動き検出用固体撮像装置
US6088612A (en) 1997-04-04 2000-07-11 Medtech Research Corporation Method and apparatus for reflective glare removal in digital photography useful in cervical cancer detection
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6310647B1 (en) 1997-04-15 2001-10-30 Eastman Kodak Company Image format for storing digital images and including multiple application segments
US5821532A (en) 1997-06-16 1998-10-13 Eastman Kodak Company Imager package substrate
JPH1132986A (ja) 1997-07-16 1999-02-09 Olympus Optical Co Ltd 内視鏡装置
US6211904B1 (en) 1997-09-11 2001-04-03 Edwin L. Adair Surgical devices incorporating reduced area imaging devices
US6097848A (en) 1997-11-03 2000-08-01 Welch Allyn, Inc. Noise reduction apparatus for electronic edge enhancement
US6191809B1 (en) 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images
JPH11249031A (ja) 1998-03-03 1999-09-17 Asahi Optical Co Ltd 内視鏡光学素子
US5926318A (en) 1998-04-06 1999-07-20 Optimize Incorporated Biocular viewing system with intermediate image planes for an electronic display device
JP3560217B2 (ja) * 1998-04-30 2004-09-02 ソニー株式会社 データ符号化装置、データ符号化方法及びデータ伝送方法
US6428650B1 (en) 1998-06-23 2002-08-06 Amerasia International Technology, Inc. Cover for an optical device and method for making same
JP2000107120A (ja) 1998-08-07 2000-04-18 Olympus Optical Co Ltd 内視鏡
EP0978251B1 (en) 1998-08-07 2005-01-26 Olympus Corporation Endoscope capable of being autoclaved
US6184514B1 (en) 1998-12-18 2001-02-06 Eastman Kodak Company Plastic cover for image sensors
US6172361B1 (en) 1998-12-29 2001-01-09 Cirrus Logic, Inc. Methods for mounting an imager to a support structure and circuitry and systems embodying the same
US6083152A (en) 1999-01-11 2000-07-04 Welch Allyn, Inc. Endoscopic insertion tube
JP2000210252A (ja) 1999-01-25 2000-08-02 Sony Corp 固体撮像装置
EP1051037A3 (en) 1999-05-04 2001-08-29 Everest-VIT, Inc. (a New Jersey Corporation) Inspection system and method
JP3734389B2 (ja) 1999-09-29 2006-01-11 フジノン株式会社 内視鏡用撮像素子組付け装置
US6483535B1 (en) 1999-12-23 2002-11-19 Welch Allyn, Inc. Wide angle lens system for electronic imagers having long exit pupil distances
US7084905B1 (en) * 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
US6842196B1 (en) 2000-04-04 2005-01-11 Smith & Nephew, Inc. Method and system for automatic correction of motion artifacts
US6590470B1 (en) 2000-06-13 2003-07-08 Welch Allyn, Inc. Cable compensator circuit for CCD video probe
US6472247B1 (en) 2000-06-26 2002-10-29 Ricoh Company, Ltd. Solid-state imaging device and method of production of the same
US6494739B1 (en) 2001-02-07 2002-12-17 Welch Allyn, Inc. Miniature connector with improved strain relief for an imager assembly
US7262797B2 (en) 2001-02-22 2007-08-28 Ge Inspection Technologies Lp Method and system for storing calibration data within image files
US6721361B1 (en) 2001-02-23 2004-04-13 Yesvideo.Com Video processing system including advanced scene break detection methods for fades, dissolves and flashes
US6468201B1 (en) 2001-04-27 2002-10-22 Welch Allyn, Inc. Apparatus using PNP bipolar transistor as buffer to drive video signal
US7436435B2 (en) 2001-10-01 2008-10-14 Minolta Co., Ltd. Image taking device having image-blur compensator
US6830545B2 (en) 2002-05-13 2004-12-14 Everest Vit Tube gripper integral with controller for endoscope of borescope
US7505604B2 (en) * 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
US6909459B2 (en) 2002-08-21 2005-06-21 Alpha Innotech Corporation Method of and apparatus for extending signal ranges of digital images
US7283247B2 (en) 2002-09-25 2007-10-16 Olympus Corporation Optical probe system
US20050129108A1 (en) 2003-01-29 2005-06-16 Everest Vit, Inc. Remote video inspection system
US7744528B2 (en) 2003-02-26 2010-06-29 Infinite Biomedical Technologies, Llc Methods and devices for endoscopic imaging
US20040183900A1 (en) 2003-03-20 2004-09-23 Everest Vit Method and system for automatically detecting defects in remote video inspection applications
US6953432B2 (en) 2003-05-20 2005-10-11 Everest Vit, Inc. Imager cover-glass mounting
US7142723B2 (en) * 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
US20050050707A1 (en) 2003-09-05 2005-03-10 Scott Joshua Lynn Tip tool
US7343048B2 (en) * 2003-09-18 2008-03-11 Arcsoft, Inc. Edge based alignment algorithm
JP4461937B2 (ja) 2003-09-30 2010-05-12 セイコーエプソン株式会社 低解像度の複数の画像に基づく高解像度の画像の生成
KR100564592B1 (ko) * 2003-12-11 2006-03-28 삼성전자주식회사 동영상 데이터 잡음제거방법
JP5248780B2 (ja) 2003-12-31 2013-07-31 ギブン イメージング リミテッド 画像ストリームを表示するシステムおよび方法
US20050162643A1 (en) 2004-01-22 2005-07-28 Thomas Karpen Automotive fuel tank inspection device
US7134993B2 (en) 2004-01-29 2006-11-14 Ge Inspection Technologies, Lp Method and apparatus for improving the operation of a remote viewing device by changing the calibration settings of its articulation servos
US8587648B2 (en) 2004-06-01 2013-11-19 SeeScan, Inc. Self-leveling camera head
US7422559B2 (en) 2004-06-16 2008-09-09 Ge Inspection Technologies, Lp Borescope comprising fluid supply system
US7916173B2 (en) * 2004-06-22 2011-03-29 Canon Kabushiki Kaisha Method for detecting and selecting good quality image frames from video
US7605854B2 (en) 2004-08-11 2009-10-20 Broadcom Corporation Operational amplifier for an active pixel sensor
US20060050983A1 (en) 2004-09-08 2006-03-09 Everest Vit, Inc. Method and apparatus for enhancing the contrast and clarity of an image captured by a remote viewing device
JP2006115964A (ja) 2004-10-20 2006-05-11 Fujinon Corp 電子内視鏡装置
US7773115B2 (en) 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
JP4434939B2 (ja) 2004-12-27 2010-03-17 キヤノン株式会社 撮像装置及びその制御方法
US7239805B2 (en) 2005-02-01 2007-07-03 Microsoft Corporation Method and system for combining multiple exposure images having scene and camera motion
US7626614B1 (en) * 2005-02-15 2009-12-01 Apple Inc. Transfer function and high dynamic range images
US8482618B2 (en) 2005-02-22 2013-07-09 Hewlett-Packard Development Company, L.P. Reduction of motion-induced blur in images
US20060245618A1 (en) * 2005-04-29 2006-11-02 Honeywell International Inc. Motion detection in a video stream
US8068647B2 (en) * 2005-06-14 2011-11-29 General Electric Company Method and apparatus for real-time motion correction for ultrasound spatial compound imaging
US7912337B2 (en) * 2005-11-02 2011-03-22 Apple Inc. Spatial and temporal alignment of video sequences
US8368749B2 (en) 2006-03-27 2013-02-05 Ge Inspection Technologies Lp Article inspection apparatus
CN100539648C (zh) * 2006-05-11 2009-09-09 精工爱普生株式会社 摄像元件及摄像装置和方法
US7602418B2 (en) * 2006-10-11 2009-10-13 Eastman Kodak Company Digital image with reduced object motion blur
TW200820123A (en) * 2006-10-20 2008-05-01 Primax Electronics Ltd Method and system of generating high dynamic range image corresponding to specific scene
US8213676B2 (en) 2006-12-20 2012-07-03 Ge Inspection Technologies Lp Inspection apparatus method and apparatus comprising motion responsive control
JP4290193B2 (ja) * 2006-12-26 2009-07-01 三洋電機株式会社 画像処理装置
CA2678156C (en) * 2007-02-16 2013-10-08 Mitsubishi Electric Corporation Measurement apparatus, measurement method, and feature identification apparatus
US9204113B1 (en) * 2010-06-28 2015-12-01 Ambarella, Inc. Method and/or apparatus for implementing high dynamic range image processing in a video processing system
US8760537B2 (en) * 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
US8466976B2 (en) 2010-11-03 2013-06-18 Eastman Kodak Company Digital camera providing high dynamic range images
JP2012165259A (ja) * 2011-02-08 2012-08-30 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置
JP5153021B2 (ja) * 2011-03-14 2013-02-27 パナソニック株式会社 撮影装置、撮影方法及びプログラム
JP5713752B2 (ja) * 2011-03-28 2015-05-07 キヤノン株式会社 画像処理装置、及びその制御方法
JP2012247874A (ja) * 2011-05-25 2012-12-13 Sony Corp 画像処理装置および方法
KR101216663B1 (ko) * 2011-05-31 2012-12-28 중앙대학교 산학협력단 고스트 왜곡을 제거하는 높은 동적 대역 영상 생성장치 및 방법
US11109835B2 (en) * 2011-12-18 2021-09-07 Metritrack Llc Three dimensional mapping display system for diagnostic ultrasound machines
CN103312942B (zh) * 2012-03-12 2016-07-20 华晶科技股份有限公司 动态范围图像的噪声处理方法及其图像捕捉装置
JP6172967B2 (ja) * 2013-02-20 2017-08-02 キヤノン株式会社 撮像装置、及びその制御方法
US9424632B2 (en) * 2013-04-05 2016-08-23 Ittiam Systems (P) Ltd. System and method for generating high dynamic range images
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images
TWI501639B (zh) * 2013-07-29 2015-09-21 Quanta Comp Inc 拍攝高動態範圍影片之方法
US9600887B2 (en) * 2013-12-09 2017-03-21 Intel Corporation Techniques for disparity estimation using camera arrays for high dynamic range imaging
US9485435B2 (en) * 2014-04-22 2016-11-01 Shih-Chieh Huang Device for synthesizing high dynamic range image based on per-pixel exposure mapping and method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101726263A (zh) * 2008-10-10 2010-06-09 通用电气公司 关于利用结构光的探头系统的系统方面
CN201393267Y (zh) * 2009-02-06 2010-01-27 无锡锦腾智能科技有限公司 高动态范围图像获取装置

Also Published As

Publication number Publication date
US20200021738A1 (en) 2020-01-16
JP2017527137A (ja) 2017-09-14
US20170223273A1 (en) 2017-08-03
US10291850B2 (en) 2019-05-14
US9633426B2 (en) 2017-04-25
JP6681844B2 (ja) 2020-04-15
WO2015183541A1 (en) 2015-12-03
US20150348253A1 (en) 2015-12-03
DE112015002570T5 (de) 2017-04-06
CN106416225A (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
CN106416225B (zh) 远程视觉检查图像捕获系统和方法
EP2175231B1 (en) System aspects for a probe system that utilizes structured-light
CN110352346B (zh) 用于检查资产的方法和装置
RU2560996C2 (ru) Способ измерения на основе структурированного света
US10415958B2 (en) Measuring device
US8411083B2 (en) Method and device for displaying an indication of the quality of the three-dimensional data for a surface of a viewed object
US10739130B2 (en) Optical measuring device generating point cloud data
US10078888B2 (en) Through-focus image combination
JP2009025189A (ja) 計測器
JP6716295B2 (ja) 処理装置、撮像装置、処理方法、プログラム、および記録媒体
JP2011100341A (ja) エッジ検出方法及び画像処理装置
CN114383521B (zh) 自动涡轮叶片与护罩间隙测量
US11663712B2 (en) Automated turbine blade to shroud gap measurement
JP2009092409A (ja) ３次元形状測定装置
JP2009014494A (ja) 計測装置
JP6991600B2 (ja) 画像計測システム、画像計測方法、画像計測プログラムおよび記録媒体
JP2021196656A (ja) 処理装置、処理システム、撮像装置、処理方法、およびプログラム
JP2020129313A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
KR101488090B1 (ko) 휴대용 휘도 측정기
JP2023175404A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP2012154893A (ja) 検査方法及びその装置
JP2009222399A (ja) 画像ゲイン調整装置およびその方法、並びに三次元形状測定装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant