CN114690510A - 取像方法 - Google Patents

取像方法 Download PDF

Info

Publication number
CN114690510A
CN114690510A CN202110103369.5A CN202110103369A CN114690510A CN 114690510 A CN114690510 A CN 114690510A CN 202110103369 A CN202110103369 A CN 202110103369A CN 114690510 A CN114690510 A CN 114690510A
Authority
CN
China
Prior art keywords
light
image
light intensity
difference
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110103369.5A
Other languages
English (en)
Inventor
高彩龄
甘凯翔
郑宪君
黄暐翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN114690510A publication Critical patent/CN114690510A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种取像方法,包含:以投光装置非同时地分别投射取像亮度光及基准亮度光至目标物件,且取像亮度光与基准亮度光的光强度彼此相异,以取像装置取得包含目标物件的第一图像及第二图像,其中第一图像及第二图像分别具有包含目标物件的相同部分的第一区域及第二区域,比较第一区域中的多个第一像素与第二区域中分别对应于这些第一像素的多个第二像素以取得多个差异量,以这些差异量之中符合差异标准所对应的第一像素作为目标物件的部分的输出图像,以及基于需求量取得并选择性地输出需求光强度。

Description

取像方法
技术领域
本发明涉及一种取像方法,特别涉及一种可以针对不同的工件及不同材质的表面取得最适图像的取像方法。
背景技术
一般的生产线上具有各种不同种类的工件,而对这些工件进行检测或定位的方式通常是取得工件的图像,并对图像进行三维的点云(Point Cloud)重建。而随着工件的材质不同,即使受同样亮度的光线照射亦会有不同的反光度或吸光度。因此,当欲以相机对生产线上的工件进行取像并进行三维的点云重建时,对不同的工件需分别调整相机的取像参数,以取得较适于三维点云重建的图像。
在现有的技术中,针对不同工件分别调整相机的取像参数的方法多为手动调整,亦即使用者通常是依照其过往的经验判断出适当的取像参数。举例而言,当工件具有反光的表面时,则使用者会降低相机的曝光时间或是降低投光装置的投光量;反之,当工件具有吸光的表面时,使用者会调升相机的曝光时间或是增加投光装置的投光量,以取得适合用于三维点云重建的图像。
发明内容
鉴于上述,本发明提供一种以满足上述需求的取像方法,针对不同材质、颜色等的工件自适应地调整投光装置的投光量,以取得适合用于三维点云重建的图像。
依据本发明一实施例的一种取像方法,包含:以一投光装置非同时地分别投射一取像亮度光及一基准亮度光至一目标物件,其中该取像亮度光的光强度异于该基准亮度光的光强度;以一取像装置取得一第一图像及一第二图像,该二图像均包含该目标物件的图像,该第一图像为该取像亮度光投射在该目标物件时所取得,而该第二图像为该基准亮度光投射在该目标物件时所取得,其中该第一图像具有一第一区域包含该目标物件的一部分,该第二图像具有一第二区域包含该目标物件的该部分;以及以一运算装置执行一差异评估程序,该差异评估程序包含:比较该第一区域中的多个第一像素与该第二区域中分别对应于这些第一像素的多个第二像素以取得多个差异量;以这些差异量之中符合一差异标准的所对应的一或多个第一像素作为该目标物件的该部分的输出图像;以及基于一需求量取得一需求光强度并选择性地输出该需求光强度,其中该需求量与这些差异量之中符合该差异标准的量的和落于一阈值域。
综上所述,依据本发明一或多个实施例所示的取像方法,可以针对不同的工件及不同材质的表面自适应地调整投光装置的投光量。因此当目标物件具有反光的表面时,可以判断是否需调降投光装置的投光量,并且当需调降投光装置的投光量时,依据本发明一或多个实施例所示的取像方法,可以计算出最适的调降参数。相似地,当目标物件具有吸光的表面时,可以判断是否需调升投光装置的投光量,并且当需调升投光装置的投光量时,依据本发明一或多个实施例所示的取像方法,可以计算出最适的调升参数。
以上的关于本公开内容的说明及以下的实施方式的说明用以示范与解释本发明的精神与原理,并且提供本发明的权利要求书更进一步的解释。
附图说明
图1A是绘示执行本发明一或多个实施例的取像方法的取像系统的示意图。
图1B是绘示第一图像及第二图像的示意图。
图2是依据本发明一实施例所绘示的取像方法的流程图。
图3是依据本发明一实施例所绘示的取像方法的细部流程图。
图4是依据本发明另一实施例所绘示的取像方法的细部流程图。
【符号说明】
O目标物件
10投光装置
20取像装置
30运算装置
Img1 第一图像
Img2 第二图像
A1 第一区域
A2 第二区域
DP 差异评估程序
具体实施方式
以下在实施方式中详细叙述本发明的详细特征以及优点,其内容足以使本领域技术人员了解本发明的技术内容并据以实施,且根据本说明书所公开的内容、权利要求书及附图,本领域技术人员可轻易地理解本发明相关的目的及优点。以下的实施例进一步详细说明本发明的观点,但非以任何观点限制本发明的范围。
本发明的取像方法可以适用于两种情境,情境一为先以投光装置投射取像亮度光及基准亮度光至目标物件,以取得对应二亮度光的二图像,以基于该二图像判断是否需调整投光装置的投光参数以取得另一图像;情境二为预先以投光装置投射不同光强度的取像亮度光及基准亮度光至目标物件,以取得对应多种取像亮度光的光强度的多帧图像,并先以其中一帧图像判断该帧图像是否符合使用需求,在判断该帧图像不符合使用需求时再从这些图像中取得另一图像,其中这些种取像亮度光的光强度例如是以预定级距递增或递减。
以下将先对情境一进行说明。
请先参考图1A,图1A是绘示执行本发明一或多个实施例的取像方法的取像系统的示意图。适于执行本发明的取像方法的取像系统较佳包含一投光装置10、一取像装置20以及一运算装置30,其中运算装置30较佳以有线或无线的方式信号可传输地连接于投光装置10及取像装置20。图1所示的投光装置10例如是投射格雷码(Gray)的结构光(StructuredLight)的投光装置10;取像装置20例如是三维结构光取像装置;运算装置30例如是处理器等具有运算功能的装置,其中投光装置10及取像装置20的数量也可以是多个,本发明不对取像系统的实现方式予以限制。
以图1A为例,运算装置30较佳用以调控投光装置10对目标物件O的投光参数,以及判读取像装置20所取得的包含目标物件O的至少一部分的图像(例如,图1B所示的第一图像Img1及第二图像Img2),并据以判断是否调整投光装置10的投光参数,以取得适于对目标物件O的至少一部分进行三维点云重建的图像,其中运算装置30判读取像装置20所取得的图像以及调整投光装置10的投光参数的详细实现方式将在下说明。
请一并参考图1A及图2,其中图2是依据本发明一实施例所绘示的取像方法的流程图。
步骤S101:投射取像亮度光及基准亮度光至目标物件;步骤S103:取得第一图像及第二图像。
需先说明的是,取像亮度光的光强度高于基准亮度光的光强度。投光装置10非同时地分别投射取像亮度光及基准亮度光至目标物件O,即投光装置10可以是先投射取像亮度光至目标物件O并由取像装置20取得第一图像后,再由投光装置10投射基准亮度光至目标物件O并由取像装置20取得第二图像;投光装置10也可以是先投射基准亮度光至目标物件O并由取像装置20取得第二图像,再由投光装置10投射取像亮度光至目标物件O并由取像装置20取得第一图像,本发明不对投光装置10投射取像亮度光及基准亮度光的先后顺序予以限制。
请先参考图1B,图1B是绘示第一图像及第二图像的示意图。第一图像Img1中的目标物件O受取像亮度光照射,而第二图像Img2中的目标物件O受基准亮度光照射,且第一图像Img1及第二图像Img2具有不同的亮度。
请继续参考图1B以及步骤S103,取像装置20取得的第一图像Img1及第二图像Img2皆包含目标物件O的图像,且第一图像Img1具有包含目标物件O的一部分的第一区域A1;第二图像Img2具有包含目标物件O的该部分的第二区域A2,其中图1B所示的第一区域A1及第二区域A2的大小仅为示例,即第一区域A1及第二区域A2也可以是包含晶体管(目标物件O)的整体,或是仅包含晶体管的封装体部分或是针脚部分,本发明不以此为限。
在取得第一图像Img1及第二图像Img2后,运算装置30可以执行一差异评估程序DP,其中差异评估程序DP可以包含下述的步骤S105、步骤S107及步骤S109。
步骤S105:比较第一区域中的多个第一像素与第二区域中的多个第二像素以取得多个差异量。
在运算装置30从取像装置20取得第一图像Img1及第二图像Img2后,比较第一图像Img1及第二图像Img2中的第一区域A1中的多个第一像素及第二区域A2中的多个第二像素,以取得多个差异量。
换句话说,由于第一区域A1及第二区域A2是不同图像中的同个区域,因此第一区域A1所涵盖的第一像素分别对应于第二区域A2所涵盖的第二像素。据此,运算装置30可以比对彼此对应的第一像素及第二像素的亮度值,以取得所述的多个差异量。
具体而言,运算装置30可以是以一亮暗度差异公式计算出这些差异量,该亮暗度差异公式是:
ΔJ=∑ijJ1(A(pij),d,t1,L1)-∑ijJ2(A(pij),d,t2,L2),
其中ΔJ为所述的差异量;pij为每一这些第一像素及每一这些第二像素的像素编号;A为每一这些第一像素及每一这些第二像素的亮度值;d为投光装置10或取像装置20与目标物件O之间的距离;t1为第一图像Img1的第一曝光时间,即取像装置20取得第一图像Img1的曝光时间;t2为第二图像Img2的一第二曝光时间,即取像装置20取得第二图像Img2的曝光时间;L1为投光装置10投射取像亮度光的投光量,或取像装置20取得第一图像的进光量;L2为投光装置10投射基准亮度光的投光量,或取像装置20取得第二图像的进光量,其中如前所述,当L1及L2皆为投光量时,则L1及L2彼此相异。
步骤S107:以这些差异量之中符合差异标准所对应的第一像素作为目标物件的部分的输出图像。
运算装置30可以基于这些差异量之中符合差异标准所对应的一或多个第一像素作为目标物件的部分的输出图像,且作为该输出图像的一或多个第一像素即为适合用于进行三维点云重建的图像,其中运算装置30判断这些差异量是否符合差异标准的详细实现方式将与图3及图4的实施例一并说明。
请先参考步骤S109:取得需求光强度。
即,对于这些差异量之中未符合差异标准所对应的第一像素,运算装置30需基于一需求量将投光装置10投光的光强度调整为需求光强度并选择性地输出需求光强度,以基于需求光强度取得另一图像(下述的第三图像)。换句话说,在情境一中,运算装置30可以输出需求光强度以控制投光装置10投光的光强度;在情境二中,运算装置30可以直接基于取得的需求光强度选择另一帧图像。因此,运算装置30可以依据用于进行三维点云重建所需的像素的数量取得需求光强度,而在情境一中,需求光强度即为投光装置10下次投光时的光强度。
为便于理解,前述的取像亮度光将称为第一取像亮度光,而对应需求光强度的取像亮度光将称为第二取像亮度光。
步骤S111:取得第三图像。
在将投光装置10投光的光强度调整为需求光强度并投射第二取像亮度光至目标物件O后,即可取得第三图像,其中第三图像为包含目标物件O的图像,且第三图像中的目标物件O即受第二取像亮度光照射。
在取得第三图像后,运算装置30可以第三图像更新第一图像Img1,并对更新后的第一图像(第三图像)执行如前述的差异评估程序DP,其中第二取像亮度光的光强度异于第一取像亮度光的光强度及基准亮度光的光强度,且以更新后的第一图像(第三图像)所执行的差异评估程序DP中,在第三图像中符合差异标准的差异量的量即为前述的需求量。
依据图2所示的实施例,即使目标物件O是具有反光面或吸光面的物件,导致初始取得的图像不适于进行三维点云重建,仍可以取得第三图像,以确保后续用于三维点云重建的图像是最适图像,并避免因目标物件O的反光面或吸光面所导致的点云破损的问题。因此,当本发明所示的取像方法用于追踪产线上的工件时,能够精准地检测及定位工件的状态及位置。
请一并参考图1A、图1B及图3,其中图3是依据本发明一实施例所绘示的取像方法的细部流程图,即图3是绘示图2的步骤S109的实现方式之一。
需先说明的是,图2的步骤S107所述的差异标准可以是:这些差异量高于一差异阈值,即在此实施例中,判断每一这些差异量是否符合差异标准为判断每一这些差异量是否高于差异阈值,并且差异量高于差异阈值的第一像素即可作为目标物件的部分的输出图像,其中差异阈值是作为两像素间的明暗度差异是否达期望值的判断依据。
因此,当判断出这些差异量之中未达差异阈值所对应的第一像素后,接续步骤S1091:判断第一取像亮度光的光强度是否为最高光强度。
具体而言,当差异量未达差异阈值时,表示其所对应的第一像素的亮度不足,而当第一像素的亮度不足时,可能会导致后续进行点云重建所得的三维图像不够精准,例如,目标物件O的吸光面使部分的第一像素的亮度过暗,而亮度过暗的第一像素即为差异量未达差异阈值所对应的像素。因此,运算装置30可以直接以一预定级距调升第一取像亮度光的光强度,或是以下述的步骤S1095调升第一取像亮度光的光强度,并以调升后的取像亮度光的光强度作为需求光强度,以基于需求光强度对应的取像亮度光取得第三图像。因此,在判定要调升第一取像亮度光的光强度之前,运算装置30可以先判断第一取像亮度光的光强度是否已为最高光强度,以判断第一取像亮度光的光强度是否还有可上调的空间。
当判断第一取像亮度光的光强度已为最高光强度时,则运算装置30可以执行步骤S1093:以第一区域中的另一部分的第一像素作为目标物件的另一部分的输出图像。
换句话说,因第一取像亮度光的光强度已为最高光强度,故相较于图2的步骤S107,图3的步骤S1093将第一区域A1中其余的差异量低于差异阈值的第一像素作为目标物件O的另一部分的输出图像。此外,当判断第一取像亮度光的光强度为最高光强度时,运算装置30也可以结束方法,并仅基于差异量高于差异阈值的第一像素进行三维点云重建。
而当判断第一取像亮度光的光强度非为最高光强度时,表示第一取像亮度光的光强度仍有上调的空间,故运算装置30可以执行步骤S1095,以控制投光装置10取得光强度高于第一取像亮度光的需求光强度。
步骤S1095:依据需求量取得高于第一取像亮度光的光强度的需求光强度。
当在步骤S1091判断第一取像亮度光的光强度未达最高光强度时,运算装置30可以依据需求量取得高于第一取像亮度光的光强度的需求光强度,且需求量与在步骤S107输出的第一像素的量的总和会落于一阈值域,其中需求量是作为运算装置30调整第一取像亮度光的光强度的依据。
举例而言,假设第一区域A1共有100个第一像素且阈值域为90%,而在步骤S107判得差异量达差异阈值的第一像素的数量为60个,则需求量即为剩余的40个第一像素中的至少75%(即100个第一像素中的至少30%),故在步骤S107判得的差异量达差异阈值的第一像素以及需求量的第一像素的和即落于90%的阈值域。因此,当第一取像亮度光的光强度未达最高光强度时,运算装置30可以依据需求量调整第一取像亮度光的光强度,以使差异量大于或等于差异阈值的数量可以占第一区域A1中所有的第一像素的至少90%。
另外,依据需求量取得高于第一取像亮度光的光强度的需求光强度可以是以一投光量调升公式计算出需求光强度,其中该投光量调升公式是:
Figure BDA0002916860120000071
其中Padj为该需求光强度;Po为第一取像亮度光的光强度;k为该需求量(例如,前述示例的75%)。
据此,可以在步骤S111取得第三图像,即投光装置10将光强度为需求光强度的第二取像亮度光照射至目标物件O,以藉由取像装置20取得第三图像。
请一并参考图1A、图1B及图4,其中图4是依据本发明另一实施例所绘示的取像方法的细部流程图,即图4绘示的步骤S109’是图2的步骤S109的另一实现方式。
图4与图3的主要不同处在于:图3的实施例乃是应用于取像亮度光的光强度相对接近基准亮度光的光强度(也就是需求光强度必须高于取像亮度光的光强度)的情况下,而图4的实施例则是应用于取像亮度光的光强度相对远大于基准亮度光的光强度(也就是需求光强度必须低于取像亮度光的光强度)的情况下。在图4的实施例中,图2的步骤S107所述的差异标准可以是:这些差异量低于一差异阈值,即在此实施例中的差异阈值不同于图3的实施例的差异阈值,且图4的实施例中判断每一这些差异量是否符合差异标准为判断每一这些差异量是否低于差异阈值,并且差异量低于差异阈值的第一像素即可作为目标物件的部分的输出图像,其中差异阈值是作为两像素间的明暗度差异是否达期望值的判断依据。
在另一种实施方式中,同样针对取像亮度光的光强度相对远大于基准亮度光的光强度的情况,步骤S105所述取得这些差异量的方式可以是先将每一这些第一像素的亮度值分别与每一这些第二像素的亮度值相减以取得与第一像素相同数量的多个初始差值,再将一可显像最大亮度值分别减每一这些初始差值以取得多个负片差值,并以这些负片差值作为这些差异量,其中所述的可显像最大亮度值是指显示器能够显示的最大亮度。因此,在此实施例中的差异标准为这些差异量高于差异阈值。
因此,当判断出这些差异量之中已达差异阈值或差异量(负片差值)未达差异阈值所对应的第一像素后,接续步骤S1091’:判断第一取像亮度光的光强度是否为最低光强度。
具体而言,当差异量已达差异阈值或为负片差值的差异量未达差异阈值时,表示其所对应的第一像素的亮度过高,而当第一像素亮度过高时,可能会导致后续进行点云重建所得的三维图像不够精准,例如,目标物件O的反光面使部分的第一像素的亮度过高,而亮度过高的第一像素即为差异量已达差异阈值所对应的像素,或为负片差值的差异量未达差异阈值所对应的像素。因此,运算装置30可以直接以一预定级距调降第一取像亮度光的光强度,或是以下述的步骤S1095’调降第一取像亮度光的光强度,并以调降后的取像亮度光的光强度作为需求光强度,以基于需求光强度对应的取像亮度光取得第三图像。因此,在判定要调降第一取像亮度光的光强度之前,运算装置30可以先判断第一取像亮度光的光强度是否已为最低光强度,以判断第一取像亮度光的光强度是否还有可下调的空间,其中最低光强度不小于基准亮度光的光强度。
当判断第一取像亮度光的光强度已为最低光强度时,则运算装置30可以执行步骤S1093’:以第一区域中的另一部分的第一像素作为目标物件的另一部分的输出图像。
换句话说,因第一取像亮度光的光强度已为最低光强度,故相较于图2的步骤S107,图4的步骤S1093’是将第一区域A1中其余的差异量已达差异阈值或负片差值未达差异阈值的第一像素作为目标物件O的另一部分的输出图像。此外,当判断第一取像亮度光的光强度为最低光强度时,运算装置30也可以结束方法,并仅基于差异量未达差异阈值或负片差值已达差异阈值的第一像素进行三维点云重建。
而当判断第一取像亮度光的光强度非为最低光强度时,表示第一取像亮度光的光强度仍有下调的空间,故运算装置30可以执行步骤S1095’,以控制投光装置10取得光强度低于第一取像亮度光的需求光强度。
步骤S1095’:依据需求量取得低于第一取像亮度光的光强度的需求光强度。
当在步骤S1091’判断第一取像亮度光的光强度非为最低光强度时,运算装置30可以依据需求量得低于第一取像亮度光的光强度的需求光强度,且需求量与在步骤S107输出的第一像素的量的总和会落于阈值域,其中需求量是作为运算装置30调整第一取像亮度光的光强度的依据。
举例而言,假设第一区域A1共有100个第一像素且阈值域为90%,而在步骤S107判得差异量小于差异阈值或为负片差值的差异量高于差异阈值的第一像素的数量为60个,则需求量即为剩余的40个第一像素中的至少75%(即100个第一像素中的至少30%),故在步骤S107判得的差异量小于差异阈值的第一像素(或为负片差值的差异量高于差异阈值的第一像素)以及需求量的第一像素的和即落于90%的阈值域。因此,当第一取像亮度光的光强度非为最低光强度时,运算装置30可以依据需求量调整第一取像亮度光的光强度,以使差异量小于差异阈值的数量(或为负片差值的差异量高于差异阈值的数量)可以占第一区域A1中所有的第一像素的至少90%。
另外,依据需求量取得低于第一取像亮度光的光强度的需求光强度可以是以一投光量调降公式计算出需求光强度,其中该投光量调降公式:
Figure BDA0002916860120000101
其中Padj为该需求光强度;Po为第一取像亮度光的光强度;k为该需求量(例如,前述示例的75%)。
据此,即可在步骤S111取得第三图像,即投光装置10将光强度为需求光强度的第二取像亮度光照射至目标物件O,以藉由取像装置20取得第三图像。
综上关于图3以及4的说明,当需调升投光装置10投射的光的光强度,且第一取像亮度光的光强度非为最高取像光强度时,则在运算装置30判断出对应未符合差异标准的第一像素的需求量后,可以依据需求量取得需求光强度,且需求光强度高于第一取像亮度光的光强度,以藉由调升投光装置10投射的光的光强度以取得较适当的输出图像;另一方面,当需调降投光装置10投射的光的光强度,且第一取像亮度光的光强度非为最低光强度时,则在运算装置30判断出对应未符合差异标准的第一像素的需求量后,可以依据需求量取得需求光强度,且需求光强度低于第一取像亮度光的光强度,以藉由调降投光装置10投射的光的光强度以取得较适当的输出图像。
请接着参考下述的情境二,其中情境二较佳亦是使用如图1A所示的取像系统。情境二取得第三图像的方式从多个预存图像选择其中一个作为第三图像,情境二的实现方式将在以下说明。
请再次参考图2,需先说明的是,这些预存图像均包含目标物件O的图像,而这些预存图像中的目标物件O分别受到不同光强度的多种取像亮度光照射。故运算装置30可以执行步骤S101及S103,并对第一图像Img1与第二图像Img2执行差异评估程序DP,其中用于执行差异评估程序DP的第一图像即为这些预存图像中的其中一个。
接着,在执行差异评估程序DP判断出第一图像Img1的这些第一像素与第二图像Img2的这些第一像素之间的差异量后,可以执行步骤S107,以这些差异量之中符合差异标准所对应的第一像素作为目标物件O的部分的输出图像。
反之,对于执行差异评估程序DP判断出差异量未符合差异标准的其余的第一像素,运算装置30可以执行步骤S109以取得需求光强度,并在步骤S111取得第三图像。
与情境一的不同处在于,情境二取得第三图像的方式是如前所述,从这些预存图像中选择其中一个作为第三图像,且运算装置30可以是在这些种取像亮度光之中以最接近于该需求光强度的取像亮度光所对应的预存图像作为第三图像。举例而言,当这些种取像亮度光之中最接近于该需求光强度的取像亮度光为第二取像亮度光,则运算装置30可以将对应第二取像亮度光的预存图像作为第三图像。
具体而言,因这些预存图像中的目标物件O分别受到不同光强度的多种取像亮度光照射,且在这些种取像亮度光之中,第二取像亮度光的光强度最接近于需求光强度,故运算装置30即可以第二取像亮度光对应的预存图像作为第三图像。
此外,针对取像亮度光的光强度相对接近基准亮度光的光强度的情况,图2的步骤S107所述的差异标准可以是:这些差异量高于差异阈值。对于这些差异量中高于差异阈值所对应的第一像素,表示这些第一像素具有足够的辨识度且可以用于三维点云重建。而对于这些差异量中未达差异阈值对所应的第一像素,表示这些第一像素的亮度不足,即这些差异量中未达差异阈值所对应的第一像素可能包含目标物件O的吸光面,使这些第一像素的亮度过暗。
因此,针对取像亮度光的光强度相对接近基准亮度光的光强度的情况,在情境二中,运算装置30取得需求光强度的方式可以是直接以高于第一取像亮度光的光强度一个预定级距的另一光强度作为需求光强度;也可以是执行如前述图3所示的子步骤,并以投光量调升公式计算出需求光强度,而图3的实现方式将不再在此赘述。
另外,图2的步骤S107所述的差异标准也可以是:这些差异量低于差异阈值。对于这些差异量中低于差异阈值所对应的第一像素,表示这些第一像素具有足够的辨识度且可以用于三维点云重建。而对于这些差异量中已达差异阈值对所应的第一像素,表示这些第一像素的亮度过高,即这些差异量中已达差异阈值所对应的第一像素可能包含目标物件O的反光面,使这些第一像素的亮度过高。并且,如上所述,在另一种实施方式中,取得这些差异量的方式可以是先将每一这些第一像素的亮度值分别与每一这些第二像素的亮度值相减以取得与第一像素相同数量的多个初始差值,再将可显像最大亮度值分别减每一这些初始差值以取得多个负片差值,并以这些负片差值作为这些差异量。因此,若这些差异量为此述的负片差值,则差异标准为差异量高于差异阈值。
因此,运算装置30取得需求光强度的方式可以是直接以低于第一取像亮度光的光强度一个预定级距的另一光强度作为需求光强度;也可以是执行如前述图4所示的子步骤,并以投光量调降公式计算出需求光强度,而图4的实现方式将不再在此赘述。
简而言之,在情境二中,当运算装置30判断出这些差异量之中未符合差异标准的所对应的第一像素后,可以执行如图3或图4的实施例以取得需求光强度;运算装置30也可以第一取像亮度光的光强度的上一级距或下一级距的光强度作为需求光强度,并以需求光强度的第二取像亮度光所对应的预存图像作为第三图像。
综上所述的两种取得需求光强度的方式,本发明所示的取像方法可以在分别取得第一图像Img1及第二图像Img2后,执行差异评估程序DP,而对于差异评估程序DP所取得的这些差异量之中未符合差异标准的第一像素,可以调整投光装置10的投光量,以取得需求光强度并取得第三图像;本发明所示的取像方法也可以是先以不同的光强度的取像亮度光取得多帧预存图像以及以基准亮度光取得第二图像,并在取得足够量的图像后,再开始对以多种取像亮度光取得的每帧预存图像及第二图像执行差异评估程序DP。
综上所述,依据本发明一或多个实施例所示的取像方法,可以针对不同的工件及不同材质的表面自适应地调整投光装置的投光量。因此当目标物件具有反光的表面时,可以判断是否需调降投光装置的投光量,并且当需调降投光装置的投光量时,依据本发明一或多个实施例所示的取像方法,可以计算出最适的调降参数。相似地,当目标物件具有吸光的表面时,可以判断是否需调升投光装置的投光量,并且当需调升投光装置的投光量时,依据本发明一或多个实施例所示的取像方法,可以计算出最适的调升参数。

Claims (15)

1.一种取像方法,包含:
以投光装置非同时地分别投射取像亮度光及基准亮度光至目标物件,其中该取像亮度光的光强度高于该基准亮度光的光强度;
以取像装置取得第一图像及第二图像,该二图像均包含该目标物件的图像,该第一图像的该目标物件受该取像亮度光照射,而该第二图像的该目标物件受该基准亮度光照射,其中该第一图像具有第一区域包含该目标物件的部分,该第二图像具有第二区域包含该目标物件的该部分;以及
以运算装置执行差异评估程序,该差异评估程序包含:
比较该第一区域中的多个第一像素与该第二区域中分别对应于这些第一像素的多个第二像素以取得多个差异量;
以这些差异量之中符合差异标准所对应的一或多个第一像素作为该目标物件的该部分的输出图像;以及
基于需求量取得需求光强度并选择性地输出该需求光强度,其中该需求量与这些差异量之中符合该差异标准的量的和落于阈值域。
2.如权利要求1所述的取像方法,其中该取像亮度光为第一取像亮度光,且在取得该需求光强度后,该方法还包含:
取得第三图像,该第三图像为包含该目标物件的图像,且该第三图像中的该目标物件受第二取像亮度光照射,其中该第二取像亮度光照射的光强度关联于该需求光强度;以及
以该第三图像更新该第一图像并执行该差异评估程序,其中该第二取像亮度光的光强度异于该第一取像亮度光的光强度及该基准亮度光的光强度。
3.如权利要求2所述的取像方法,其中取得该第三图像包含:
从多个预存图像选择其中一个作为该第三图像,其中这些预存图像均包含该目标物件的图像,这些预存图像中的该目标物件分别受到不同光强度的多种取像亮度光照射,且在这些种取像亮度光之中,该第二取像亮度光的光强度最接近于该需求光强度。
4.如权利要求2所述的取像方法,其中取得该第三图像包含:
以该投光装置投射该第二取像亮度光至该目标物件;以及
以该取像装置对受该第二取像亮度光照射的该目标物件进行取像,以取得该第三图像。
5.如权利要求2所述的取像方法,其中该需求光强度高于该第一取像亮度光的光强度。
6.如权利要求2所述的取像方法,其中该需求光强度低于该第一取像亮度光的光强度。
7.如权利要求1所述的取像方法,其中该差异标准为:这些差异量高于差异阈值,
取得这些差异量包含:
将每一这些第一像素的亮度值分别与每一这些第二像素的亮度值相减以取得多个初始差值;以及
将可显像最大亮度值分别减每一这些初始差值以取得多个负片差值,并以这些负片差值作为这些差异量,
而依据该需求量取得该需求光强度包含:
依据该需求量取得低于该取像亮度光的光强度的该需求光强度。
8.如权利要求1所述的取像方法,其中该差异标准为:这些差异量高于差异阈值,而依据该需求量取得该需求光强度包含:
依据该需求量取得高于该取像亮度光的光强度的该需求光强度。
9.如权利要求1所述的取像方法,其中该差异标准为:这些差异量低于差异阈值,而依据该需求量取得该需求光强度包含:
依据该需求量取得低于该取像亮度光的光强度的该需求光强度。
10.如权利要求8所述的取像方法,其中在依据该需求量取得高于该取像亮度光的光强度的该需求光强度之前,该方法还包含:
判断该取像亮度光的光强度是否为最高光强度;以及
当判断该取像亮度光的光强度为该最高光强度时,以该第一区域中该差异量低于该差异阈值的一或多个第一像素作为该目标物件的另一部分的输出图像。
11.如权利要求9所述的取像方法,其中在依据该需求量取得低于该取像亮度光的光强度的该需求光强度之前,该方法还包含:
判断该取像亮度光的光强度是否为最低取像光强度;以及
当判断该取像亮度光的光强度为该最低取像光强度时,以该第一区域中该差异量高于该差异阈值的一或多个第一像素作为该目标物件的另一部分的输出图像。
12.如权利要求8所述的取像方法,其中依据该需求量取得高于该取像亮度光的光强度的该需求光强度包含:以投光量调升公式计算出该需求光强度,其中该投光量调升公式是:
Figure FDA0002916860110000031
其中Padj为该需求光强度;
Po为该取像亮度光的光强度;
k为该需求量。
13.如权利要求7所述的取像方法,其中依据该需求量取得低于该取像亮度光的光强度的该需求光强度包含:以投光量调降公式计算出该需求光强度,其中该投光量调降公式是:
Figure FDA0002916860110000032
其中Padj为该需求光强度;
Po为该取像亮度光的光强度;
k为该需求量。
14.如权利要求9所述的取像方法,其中依据该需求量取得低于该取像亮度光的光强度的该需求光强度包含:以投光量调降公式计算出该需求光强度,其中该投光量调降公式是:
Figure FDA0002916860110000033
其中Padj为该需求光强度;
Po为该取像亮度光的光强度;
k为该需求量。
15.如权利要求1所述的取像方法,其中比较该第一区域中的这些第一像素与该第二区域中分别对应于这些第一像素的这些第二像素以取得这些差异量包含:以亮暗度差异公式计算出这些差异量,
其中该亮暗度差异公式是:
ΔJ=∑ijJ1(A(pij),d,t1,L1)-∑ijJ2(A(pij),d,t2,L2);
其中ΔJ为该差异量;
pij为每一这些第一像素及每一这些第二像素的像素编号;
A为每一这些第一像素及每一这些第二像素的亮度值;
d为该投光装置或该取像装置与该目标物件之间的距离;
t1为该第一图像的第一曝光时间;
t2为该第二图像的第二曝光时间;
L1为该投光装置投射该取像亮度光的投光量,或该取像装置取得该第一图像的进光量;
L2为该投光装置投射该基准亮度光的投光量,或该取像装置取得该第二图像的进光量。
CN202110103369.5A 2020-12-29 2021-01-26 取像方法 Pending CN114690510A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109146576A TWI757015B (zh) 2020-12-29 2020-12-29 取像方法
TW109146576 2020-12-29

Publications (1)

Publication Number Publication Date
CN114690510A true CN114690510A (zh) 2022-07-01

Family

ID=81710955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110103369.5A Pending CN114690510A (zh) 2020-12-29 2021-01-26 取像方法

Country Status (3)

Country Link
US (1) US11615608B2 (zh)
CN (1) CN114690510A (zh)
TW (1) TWI757015B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040101296A1 (en) * 2002-09-13 2004-05-27 Olympus Optical Co., Ltd. Camera with an exposure control function
CN101163224A (zh) * 2006-10-10 2008-04-16 株式会社东芝 超分辨率装置和方法
US20090251563A1 (en) * 2007-12-26 2009-10-08 Denso Corporation Exposure control apparatus and exposure control program for vehicle-mounted electronic camera
CN104685318A (zh) * 2013-06-27 2015-06-03 松下电器(美国)知识产权公司 具有多个光源的运动传感器装置
CN105872392A (zh) * 2015-01-23 2016-08-17 原相科技股份有限公司 具有动态曝光时间的光学测距系统
CN107645625A (zh) * 2016-07-22 2018-01-30 松下知识产权经营株式会社 图像生成装置以及图像生成方法
WO2019208155A1 (ja) * 2018-04-26 2019-10-31 富士フイルム株式会社 画像処理装置、方法、及びプログラム並びに撮像装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2483481A (en) 2010-09-09 2012-03-14 Phase Vision Ltd Method and apparatus of measuring the shape of an object
US11509880B2 (en) 2012-11-14 2022-11-22 Qualcomm Incorporated Dynamic adjustment of light source power in structured light active depth sensing systems
TWI594192B (zh) * 2013-10-09 2017-08-01 Opto電子有限公司 光學信息讀取裝置及照明控制方法
TWI534687B (zh) * 2014-01-24 2016-05-21 原相科技股份有限公司 光學觸控系統及其物件分析方法
JP6550827B2 (ja) * 2015-03-23 2019-07-31 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9813150B1 (en) * 2016-09-23 2017-11-07 Qualcomm Incorporated Controllable selection of light-capture devices
CN107193123B (zh) 2017-05-25 2020-04-07 西安知象光电科技有限公司 一种自适应线结构光的闭环调制方法
JP6584454B2 (ja) 2017-06-14 2019-10-02 キヤノン株式会社 画像処理装置及び方法
CN107798698B (zh) 2017-09-25 2020-10-27 西安交通大学 基于灰度修正与自适应阈值的结构光条纹中心提取方法
CN109658365B (zh) 2017-10-11 2022-12-06 阿里巴巴(深圳)技术有限公司 图像处理方法、装置、系统和存储介质
US10306152B1 (en) 2018-02-14 2019-05-28 Himax Technologies Limited Auto-exposure controller, auto-exposure control method and system based on structured light
CN110686599B (zh) 2019-10-31 2020-07-03 中国科学院自动化研究所 基于彩色格雷码结构光的三维测量方法、系统、装置
CN111612737B (zh) * 2020-04-15 2023-09-15 枞阳立太智能装备有限公司 一种人造板表面瑕疵检测装置及检测方法
CN111899310A (zh) * 2020-09-30 2020-11-06 歌尔光学科技有限公司 投影镜头占空比调整方法、装置、设备和计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040101296A1 (en) * 2002-09-13 2004-05-27 Olympus Optical Co., Ltd. Camera with an exposure control function
CN101163224A (zh) * 2006-10-10 2008-04-16 株式会社东芝 超分辨率装置和方法
US20090251563A1 (en) * 2007-12-26 2009-10-08 Denso Corporation Exposure control apparatus and exposure control program for vehicle-mounted electronic camera
CN104685318A (zh) * 2013-06-27 2015-06-03 松下电器(美国)知识产权公司 具有多个光源的运动传感器装置
CN105872392A (zh) * 2015-01-23 2016-08-17 原相科技股份有限公司 具有动态曝光时间的光学测距系统
CN107645625A (zh) * 2016-07-22 2018-01-30 松下知识产权经营株式会社 图像生成装置以及图像生成方法
WO2019208155A1 (ja) * 2018-04-26 2019-10-31 富士フイルム株式会社 画像処理装置、方法、及びプログラム並びに撮像装置

Also Published As

Publication number Publication date
TW202226050A (zh) 2022-07-01
US20220207283A1 (en) 2022-06-30
TWI757015B (zh) 2022-03-01
US11615608B2 (en) 2023-03-28

Similar Documents

Publication Publication Date Title
US11503219B2 (en) Image processing apparatus, image capture apparatus, and control method for adding an effect of a virtual light source to a subject
EP2946249B1 (en) Imaging apparatus with scene adaptive auto exposure compensation
US20200043225A1 (en) Image processing apparatus and control method thereof
US7639940B2 (en) Photography apparatus, photography method, and photography program using lighting condition parameters
US9848478B2 (en) Automatic light adjusting method and related camera
US8730352B2 (en) Image processing apparatus and image processing method
US8285133B2 (en) Dynamic lighting control in hybrid camera-projector device
JP6412386B2 (ja) 画像処理装置およびその制御方法、プログラムならびに記録媒体
US8090253B2 (en) Photographing control method and apparatus using strobe
CN106791451B (zh) 一种智能终端的拍照方法
US11394874B2 (en) Imaging apparatus
JP2019205055A (ja) 画像処理装置、画像処理装置の制御方法、及び、プログラム
JP6593753B2 (ja) 照度取得装置、照明制御システムおよびプログラム
CN114690510A (zh) 取像方法
JP5103984B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP7278764B2 (ja) 撮像装置、電子機器、撮像装置の制御方法およびプログラム
CA2759721C (en) Dynamic lighting control in hybrid camera - projector device
JP4231599B2 (ja) 撮像装置
KR20160051463A (ko) 저조도 영상의 전처리 시스템 및 그 방법
CN115118888B (zh) 智能镜子的使用方法及智能镜子、电子设备及存储介质
US11825205B2 (en) Computer implemented method and a system for obtaining a camera setting
CN115118888A (zh) 具有人机交互功能的智能镜子的使用方法及智能镜子
JP2000184381A (ja) デジタルスチルカメラ
JP2024062670A (ja) 投射画像の調整方法、プロジェクションシステム、処理装置およびプログラム
JP5849590B2 (ja) 画像処理方法及び画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination