CN103563079A - 用于图像深度非连续性的提取的摄像机组件和使用方法 - Google Patents
用于图像深度非连续性的提取的摄像机组件和使用方法 Download PDFInfo
- Publication number
- CN103563079A CN103563079A CN201280014365.9A CN201280014365A CN103563079A CN 103563079 A CN103563079 A CN 103563079A CN 201280014365 A CN201280014365 A CN 201280014365A CN 103563079 A CN103563079 A CN 103563079A
- Authority
- CN
- China
- Prior art keywords
- light
- image
- wavelength
- wave
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Abstract
提供了一种机器视觉系统。所述机器视觉系统包括摄像机。第一闪光灯单元与所述摄像机通信并适于与所述摄像机的操作同步地发射第一波长范围的光。第二闪光灯单元与所述摄像机通信并适于与所述摄像机的操作同步地发射第二波长范围的光。所述第一波长范围的光不与所述第二波长范围的光重叠。
Description
相关申请的交叉引用
本申请要求2011年1月27日提交的题为“CAMERA ASSEMBLY FORTHE EXTRACTION OF IMAGE DEPTH DISCONTINUITY AND METHODOF USE”的美国临时专利申请61/436,800的利益,在此通过引用将该申请全部并入本文。
技术领域
本发明涉及图像获取和分析系统。本发明更具体地涉及用于获取和探测来自单独非重叠波长的阴影实现光源的图像深度非连续性的摄像机组件。
背景技术
已知机器视觉系统用在工业应用中以获取对象的图像,识别对象和/或分析对象。这些系统用于很多应用中,包括但不限于远程位置、观察移动设备的位置、对观察人员具有小区域或减小的余隙的位置、不可预测或极端天气状况的位置、低环境光的位置和/或不适用观察人员的位置。通常,这些机器视觉系统可以包括单个摄像机,或在立体视觉应用中利用至少两个摄像机。
在单个摄像机机器视觉系统应用中,图像被捕获并分割。随后基于图像的强度的变化来分析图像的对象或场景。这可以包括图像中的对象和/或场景的尺寸的识别和/或测量。例如,基于图像强度的变化来探测图像的对象或场景的边缘和/或区域。
然而,基于图像强度的视觉系统应用有局限性。特别地,图像中的强度变化并不总是出现在对象或场景的深度的非连续性处。因此,利用强度的变化的视觉系统常常不反映场景的真实结构或对象的真实细节。因而得到的图像分析导致错误或不准确的结果。
在立体机器视觉系统应用中,至少两个摄像机被设置在远离一个或多个对象或场景的已知几何结构处。摄像机并行地或同时捕获相同对象或场景的单独图像。随后基于图像之间的差异来分析图像的对象或场景。这种分析可以包括识别和/或测量图像中的对象和/或场景的尺寸。例如,分析图像以建立单独图像上的对象和/或场景的对应点。图像中的对象和/或场景的深度可以随后通过进一步的分析来确定,包括通过考虑对应点之间的差异和摄像机相对于对象或场景的已知几何结构的算法。深度信息允许视觉系统应用识别和/或测量图像中的对象和/或场景的尺寸。
然而,基于通过对应点的多幅图像分析的视觉系统应用有限制。例如,为了获得来自多幅图像的信息,必须正确地匹配图像的对应点。然而,图像的匹配可能非常困难,且由于很多因素有时是不可能的,这些因素包括在一幅或多幅图像中的遮挡和/或用于匹配的算法中的不正确或不准确的假设。如果图像不匹配,则来自图像的信息不能被确定。此外,在诸如实验室条件的受控制的环境中,用于分析图像的算法有效地工作。然而,在诸如工业应用的不受控制的环境中,这些算法由于各种因素而在图像的匹配和分析中产生错误和不一致性,这些因素包括但不限于变化的照明条件、变化的背景条件、将噪声添加到图像的环境干扰和/或移动的对象。此外,摄像机的几何结构和空间关系必须是恒定的,以便正确地重建和分析图像。然而,摄像机的几何结构和空间关系在诸如铁路应用中的一些工业应用中可能难以维持。振动、铁轨的移动和/或在铁轨道碴上的轨枕的移动能够不利地改变摄像机的几何结构和空间关系,导致图像的不准确的分析。
此外,已知的系统与小深度非连续性对抗。例如,已知的系统忽略或未能识别小深度非连续性,因为小深度非连续性可能有类似于背景的前景中的纹理或颜色。同样,例如已知的系统探测平面上的不反映对象的真实边界的图案。在已知系统中的这些实例都导致错误或不准确的结果。
发明内容
本发明涉及有效地和可靠地识别并分析工作应用中的图像的机器视觉系统和相关的使用方法。此外,所公开的图像获取和分析系统有助于克服导致不准确的结果的一些或所有这样的各种错误源。
更具体而言,本发明涉及机器视觉系统,其包括:摄像机;第一照明单元,与摄像机通信并且适于与摄像机的操作同步地发射第一波长范围的光;以及第二照明单元,与摄像机通信并且适于与所述摄像机的操作同步地发射第二波长范围的光;其中所述第一波长范围不与所述第二波长范围重叠。
本发明还涉及图像获取系统,其包括:摄像机组件;以及闪光灯单元组件,与所述摄像机组件通信并且适于与所述摄像机组件的操作同步地同时发射第一波长的光和第二波长的光;其中第一波长不与第二波长重叠。
本发明还涉及用于获取图像的机器视觉系统,其包括:摄像机,设置在距离对象第一距离处;第一闪光灯单元,可操作地与摄像机通信并且设置在距离对象第二距离处,其中所述第一闪光灯单元适于与摄像机的操作同步地发射一个或多个第一波长的光;以及第二闪光灯单元,可操作地与摄像机通信并且设置在距离对象第三距离处,其中第二闪光灯单元适于与摄像机的操作同步地并与第一闪光灯所发射的光同时地发射一个或多个第二波长的光,其中所述一个或多个第一波长不与一个或多个第二波长重叠,并且其中所述一个或多个第一波长和所述一个或多个第二波长与所述一个或多个第三波长的光的一部分重叠。
附图说明
图1是根据实施例的一个或多个示例的图像获取和分析系统的轴测视图。
图2是图1的图像获取和分析系统的轴测视图,其示出了系统的操作的示例。
图3是示出从图1的系统发射的光的波长的一个或多个示例的曲线图。
图4是示出在图1的系统的实施例的一个或多个示例中使用的摄像机的频谱特征的曲线图。
具体实施方式
本发明总体上涉及用于从单独和/或不重叠的波长的阴影实现光源获取和探测图像深度非连续性的图像获取和分析系统。附图示出了本发明的实施例的一个或多个示例。虽然描述了用在诸如铁路或铁道环境的一个或多个特定应用上的图像获取和分析系统,应该意识到,图像获取和分析系统可以用在期望和/或需要图像获取和分析的任何机器视觉应用中。此外,尽管可以参考蓝光和/或红光来描述图像获取系统的实施例的一个或多个示例,应该认识到,出于说明的目的而提供“蓝光”和/或“红光”,并且可以使用与任何波长的光——包括但不限于任何颜色的光、一定波长范围的光、一个或多个波长(例如,波长的混合)、人眼可见的光和/或人眼不可见的光——相关的图像获取系统。
应该意识到,“对象”可以包括任何静止、半静止或移动的对象、物品、区域或环境,其中可能期望图像获取和分析系统获取和/或分析图像。例如对象可以包括但不限于铁路车辆的一部分、铁路客车和/或铁路环境。然而,应该意识到,本文公开的图像获取和分析系统可以根据如本文公开的系统的操作来获取和/或分析任何期望的或适当的“对象”的图像。
图1示出了图像获取和分析系统100的实施例的一个或多个示例。参考图1,图像获取和分析系统100可以包括图像获取系统102。在各种实施例中,图像获取系统102包括摄像机组件110和光源120。
如图1所示,在各种实施例中,摄像机组件110包括摄像机或彩色摄像机112。在各种实施例中,摄像机112被设置在距离一个或多个对象200已知的第一距离D1处。在各种实施例中,摄像机112被设置成近似垂直于对象200。然而,摄像机可以被设置成与一个或多个对象成任何角度。此外,在实施例的一个或多个示例中,摄像机组件包括设置在一个或多个位置处、距离一个或多个对象一定距离处和/或与一个或多个对象成角度的两个或多个摄像机。在实施例的一个或多个示例中,对象200可以是静止的或运动的。摄像机112可以是任何已知的或将来开发的摄像机或适于与如本文所述的图像获取系统一起操作的图像捕获装置。
在各种实施例中,光源120与摄像机组件110通信和/或连接到摄像机组件110。在各种实施例中,光源120与摄像机组件110的摄像机112同步(例如,使得当摄像机112拍摄照片时,光源120可以发射一个或多个闪光)。应该意识到,在实施例的一个或多个示例中,光源可以发射一个或多个闪光,或周期性连续的或不变的光流。
如图1所示,在各种实施例中,光源120包括第一照明单元或第一闪光灯单元130,以及第二照明单元或第二闪光灯单元130。在各种实施例中,第一闪光灯单元130设置在距离对象已知的第二距离D2的第一位置处和/或与对象成已知的第一角度θ1。此外,第一闪光灯单元130可以设置在距离摄像机组件110已知的第三距离D3处。在各种实施例中,第二闪光灯单元140设置在距离对象已知的第四距离D4的第二位置处和/或与对象200成已知的第二角度θ2。此外,第二闪光灯单元140可以设置在距离摄像机组件110已知第五距离D5处。在实施例的一个或多个示例中,光源可以包括设置在距离摄像机组件一定距离的一个或多个位置处、距离对象一定距离的一个或多个位置处和/或与对象成角度的三个或多个照明单元或闪光灯单元。在实施例的一个或多个示例中,第一闪光灯单元或照明单元和/或第二闪光灯单元或照明单元可以设置成距离对象任何距离、与对象成任何角度和/或距离摄像机组件任何距离,以便获取根据所公开的发明的实施例的一个或多个示例的图像获取和分析系统的期望结果。应该意识到,第一距离D1、第二距离D2、第三距离D3、第四距离D4和第五距离D5中的任两个或多个可以是相同或不同的。还应该意识到,第一角度θ1和第二角度θ2可以是相同或不同的。
在各种实施例中,图像获取系统102与分析系统104通信。例如,如图1所示,在各种实施例中,分析系统104包括通信终端106。在各种实施例中,通信终端106适于与摄像机通信终端114通信,提供用于在图像获取系统102和分析系统104之间传输信息的通信链路。在实施例的一个或多个示例中,通信终端、摄像机通信终端和相关的通信链路可以是适于传输信息的任何已知的或将来开发的通信设备,包括但不限于有线、无线、以太网和/或通用串行总线(USB)。
在各种实施例中,分析系统104包括具有随机存取存储器(RAM)152、计算机可读存储介质或存储设备或硬盘驱动器154、以及处理器156的可编程计算机系统150。在各种实施例中,可编程计算机系统150存储和/或承载例如与硬盘驱动器154相关的图像分析应用160。此外,用户可以使用可编程计算机系统150来手动地操作图像获取和分析系统100的图像获取系统102。在实施例的一个或多个示例中,可编程计算机系统可以是适于存储数据并操作图像分析应用的任何已知的或将来开发的可编程计算机处理器系统。此外,在实施例的一个或多个示例中,计算机可读存储介质可以包括能够存储以后可由计算机系统读取的数据的任何数据存储设备。计算机可读介质的示例可以包括只读存储器、CD-ROM、CD-R、CD-RW、DVD、DVD-RW、磁带、通用串行总线(USB)闪存驱动器或任何其它光学或其它适当的数据存储介质。计算机可读介质还可分布在与可编程计算机系统耦合或与可编程计算机系统通信的网络上,使得计算机可读代码或应用——包括图像分析应用——以分布式方式被存储和执行。
现在参考图2,在各种实施例中,第一闪光灯单元130发射第一波长或第一波长范围的光330。如图2所示,在各种实施例中,第一闪光灯单元130发射在第一光平面或光束335中的第一波长的光330。在各种实施例中,第一光束335指向或否则被提供来照亮对象200,并且可投射第一阴影430。在实施例的一个或多个示例中,第一波长的光330具有对应于蓝光的波长,并可以相应地投射蓝色阴影430。然而应该意识到,第一波长的光可以对应于任何光,包括但不限于任何颜色的光、人眼可见的任何光、人眼不可见的任何光和/或任何波长的光。此外,在实施例的一个或多个示例中,第一波长的光可以是单个波长的光、一定波长范围的光或两个或多个波长(例如,波长的混合)的光。在实施例的一个或多个示例中,图像获取系统可以包括发射第一波长、一定波长范围和/或不同波长的光的多个第一闪光灯单元,其设置在距离摄像机组件和对象一定距离的一个或多个位置处和/或与对象成角度。
在各种实施例中,第二闪光灯单元140发射第二波长或第二波长范围的光340。在各种实施例中,第二波长或第二波长范围的光340是不同的波长或不同范围的波长,其是分离的、不同的和/或不与第一波长或第一波长范围的光330的波长重叠。如图2所示,在各种实施例中,第二闪光灯单元140可以发射在第二光平面或光束345中的第二波长的光340。在各种实施例中,第二光束345指向或否则被提供来照亮对象200,并可以投射第二阴影440。例如,在实施例的一个或多个示例中,第二波长的光340具有对应于红光的波长,并相应地可投射红色阴影440。在各种实施例中,由第二闪光灯发射的光具有第二波长或第二波长范围,其是分离的、不同的且不与第一闪光灯单元所发射的光的第一波长重叠。然而应该意识到,第二波长的光可以对应于任何光,包括但不限于任何颜色的光、人眼可见的任何光、人眼不可见的任何光和/或任何波长的光。此外,在实施例的一个或多个示例中,第二波长的光可以是单个波长的光、一定波长范围的光或两个或多个波长(例如,波长的混合)的光。在实施例的一个或多个示例中,图像获取系统可以包括发射第二波长、第二波长范围和/或不同波长的光的多个第二闪光灯单元,其设置在距离摄像机组件和对象一定距离的一个或多个位置处和/或与对象成角度。在实施例的一个或多个示例中,图像获取系统可以包括发射与第一和第二闪光灯单元的光不同且不重叠的波长的光的一个或多个额外的闪光灯单元。
当在各种实施例中第一波长的光330和第二波长的光340朝着对象200发射、指向或提供时,第三阴影450可以存在或被投射。第三投影450可以与第三波长的光350相关。第三波长的光350可以具有与第一波长的光330和第二波长的光340重叠的频谱。因此,当第一波长的光330和第二波长的光340都朝着对象200发射时,可以存在第三波长的光350和相关的第三阴影450。
图3示出国际照明委员会(CIE)颜色匹配曲线,其示出了以纳米为单位的可见光的波长λ(X轴)与各种颜色——包括蓝色(b)、绿色(g)和红色(r)——的光的光强(Y轴)的关系。图4示出彩色摄像机的光的频谱特征的示例。
如图3和4所示,在各种实施例中,第一波长的光330具有与第二波长的光340分离或不同的波长。基于频谱特征,在各种实施例中,如果在第一波长的光330与第二波长的光340之间有任何交叉颜色分量,则很少。因此,在各种实施例中,第一波长的光330不包括与第二波长的光340重叠的波长。然而,在各种实施例中,第一波长的光330和/或第二波长的光340可以均与第三波长或第三波长范围的光350重叠。
例如,参考图3和4所示的示例,在各种实施例中,被示为蓝光(b)的第一波长的光330具有与被示为红光(r)的第二波长的光340分离的波长。因此,在各种实施例中,第一波长的光330不与第二波长的光340重叠。第一波长的光330和第二波长的光340可以与被示为绿光(g)的第三波长的光350重叠。例如,如图3和4所示,第一波长的光330可以在第三波长350的光的较低波长处与第三波长的光350重叠。第二波长的光340可以在第三波长350的光的上部或较高波长处与第三波长的光350重叠。
在操作和使用中,图像获取和分析系统100的图像获取系统102照亮和拍摄对象200。参考图2,在各种实施例中,提供对象200。在各种实施例中,提供摄像机组件110以拍摄对象200。在各种实施例中,当摄像机112操作或启动来拍摄对象200时,第一闪光灯单元130发射指向第一光束335中的对象200的第一波长的光330。在各种实施例中,第一波长的光330照射对象200的至少一部分。此外,第一波长的光330可以在基于第一闪光灯单元130到对象200的布置的方向上在对象的深度非连续性处投射第一阴影430。在各种实施例中,第二闪光灯单元140可以并行地或同时发射指向第二光束345中的对象200的第二波长的光340。在各种实施例中,第二波长340的光照射对象200的至少一部分。此外,第二波长的光340可以在基于第二闪光灯单元140到对象200的布置的方向上在对象200的深度非连续性处投射第二阴影440。
在各种实施例中,摄像机112拍摄照片或获取或捕获对象200的图像(例如,彩色图像)。在各种实施例中,彩色图像被分成对象200的三个独立的单色图像平面。在各种实施例中,三个单色图像平面分别包括第一波长图像平面的光、第二波长图像平面的光和第三波长图像平面的光,其中第三波长的光350与第一波长的光330的一部分和第二波长的光340的一部分重叠。第一波长图像平面的图像可以示出利用第一波长的光330照亮的对象200,并可以包括在深度非连续性处的第一阴影430。第二波长图像平面的图像可以示出利用第二波长的光340照射的对象200,并可以包括在深度非连续性处的第二阴影440。第三波长图像平面的图像可以示出利用第一波长的光330和第二波长的光340二者照射的对象200,因为第三波长的光350的波长可以与第一波长的光330和第二波长的光340的重叠。此外,第三波长图像平面的图像可以包括分别在第一波长图像平面和/或第二波长图像平面中拍摄的在任何深度非连续性处的第三阴影450。第三波长图像平面的第三阴影450可以不如相应的第一波长图像平面和/或第二波长图像平面的第一阴影430和/或第二阴影440那么强。
由图像获取系统102捕获的三个单色图像平面可以随后由图像获取和分析系统100的分析系统104进行分析。例如,在各种实施例中,第一波长图像平面的图像、第二波长图像平面的图像和第三波长图像平面的图像由分析系统104交叉引用和分析。分析系统104可以分析并交叉引用这三个单色图像平面或第一波长图像平面的图像、第二波长图像平面的图像和/或第三波长图像平面的图像,以确定并评估阴影和带阴影的边缘。在各种实施例中,阴影指示出现在图像边缘像素中的深度变化和深度变化的取向。在各种实施例中,阴影和带阴影的边缘的分析提供关于对象200的信息。例如,被称为深度边缘的具有构造的阴影或明显的深度变化的边缘可以提供更现实和准确的场景分割。此外,阴影的宽度可以暗示深度边缘中的深度信息。可以根据几何信息——包括例如摄像机112、闪光灯单元130、140和对象200之间的几何关系——来计算对象的带阴影的边缘的相对深度。在各种实施例中,计算带阴影的边缘的深度提供用于构造所拍摄的对象200和/或场景的定量深度图的系统。这可以有利地提供用于探测对象200中的缺陷(例如,裂缝)的系统。
为了进一步示出图像获取和分析系统100的操作和使用,下文提供实现某些波长和/或颜色的光的系统100的示例。相关的光仅例如被提供并且不意味着以任何方式是限制性的。根据本文提供的描述,可以使用系统100实现任何数量、范围或波长的光。
作为示例,在各种实施例中,当摄像机112启动来拍摄对象200时,第一闪光灯130发射第一光束335(例如,蓝色光束)中指向对象200的第一波长的光330(例如,具有与蓝光相关的波长或波长范围的光)。在各种实施例中,第一波长的光330(例如,蓝光)照射对象的至少一部分。第一波长的光330(例如,蓝光)可以在基于第一闪光灯单元130到对象200的布置的方向上在对象的深度非连续性处投射第一阴影430(例如,蓝色阴影)。并行地或同时,在各种实施例中,第二闪光灯单元140可以发射在第二光束345(例如,红光束)中指向对象200的第二波长的光340(例如,具有与红光相关的波长或波长范围的光)。在各种实施例中,第二波长的光340(例如,红光)照射对象200的至少一部分。此外,第二波长的光340(例如,红光)可以在基于第二闪光灯单元140到对象200的布置的方向上在对象200的深度非连续性处投射第二阴影440(例如,红色阴影)。
三个单色图像平面可以包括蓝色图像平面、红色图像平面和绿色图像平面。然而,如上所述,其它实施例可以捕获不同光波长和/或颜色的图像平面。在各种实施例中,第一波长图像平面(例如,蓝色图像平面)的图像可以显示利用第一波长的光330(例如,蓝光)照射的对象200,并可以包括在深度非连续性处的第一阴影430(例如,蓝色阴影)。在各种实施例中,第二波长图像平面(例如,红色图像平面)的图像可以显示利用第二波长的光340(例如,红光)照射的对象200,并可以包括在深度非连续性处的第二阴影440(例如,红色阴影)。在各种实施例中,第三波长图像平面(例如,绿色图像平面)的图像可以显示利用第一波长的光330(例如,蓝光)和第二波长的光340(例如,红光)二者照射的对象200,因为第三波长的光350(例如,绿光)的波长可以与第一波长的光330(例如,蓝光)和第二波长的光340(例如,红光)(参见图3和4)重叠。此外,第三波长图像平面(例如,绿色图像平面)的图像可以包括分别在第一波长图像平面(例如,蓝色图像平面)和/或第二波长图像平面(例如,红色图像平面)中拍摄的任何深度非连续性处的第三阴影450(例如,绿色阴影)。在各种实施例中,第三波长图像平面(例如,绿色图像平面)的第三阴影450(例如,绿色阴影)可能不如相应的第一波长图像平面(例如,蓝色图像平面)和/或第二波长图像平面(例如,红色图像平面)的第一阴影430(例如,蓝色阴影)和/或第二阴影440(例如,红色阴影)那么强。
由图像获取系统102捕获的三个单色图像平面可以随后由图像获取和分析系统100的分析系统104进行分析。例如,在各种实施例中,第一波长图像平面(例如,蓝色图像平面)的图像、第二波长图像平面(例如,红色图像平面)的图像和第三波长图像平面(例如,绿色图像平面)的图像由分析系统104交叉引用和分析。分析系统104可以分析并交叉引用这三个单色图像平面或第一波长图像平面(例如,蓝色图像平面)的图像、第二波长图像平面(例如,红色图像平面)的图像和/或第三波长图像平面(例如,绿色图像平面)的图像,以确定并评估阴影和带阴影的边缘。在各种实施例中,阴影指示出现在图像边缘像素中的深度变化和深度变化的取向。在各种实施例中,阴影和带阴影的边缘的分析提供关于对象200的信息。例如,被称为深度边缘的具有构造的阴影或明显的深度变化的边缘可以提供更现实和准确的场景分割。作为另一示例,阴影的宽度可以暗示深度边缘中的深度信息。在各种实施例中,可以根据几何信息——包括例如摄像机112、闪光灯单元130、140和对象200之间的几何关系——来计算对象的带阴影的边缘的相对深度。在各种实施例中,计算带阴影的边缘的深度提供用于构造所拍摄的对象200和/或场景的定量深度图的系统。这可以有利地提供用于探测对象200中的缺陷(例如,裂缝)的系统。
所公开的图像获取和分析系统具有几个优点。在各种实施例中,小深度非连续性由来自闪光灯单元组件所发射的光的阴影增强。此外,深度边缘可以通过构造的阴影与平面图案区分开。此外,在各种实施例中,所公开的图像获取和分析系统不需要用于分析多个单色图像平面的匹配算法。在各种实施例中,相同的空间点被投影到三个单色图像平面的相同像素上。这是因为在各种实施例中,三个单色图像平面是从利用单个摄像机在单个时间点捕获的彩色图像获取的。这可以有助于在立体视觉应用中处理和分析图像时消除不准确性的明显的源。此外,在各种实施例中,所公开的图像获取和分析系统具有较大的通用性并与已知的系统相比需要更少的空间。因为三个单色图像平面利用单个摄像机来捕获,图像获取系统可以在尺寸上较小和/或比利用最少两个摄像机的立体视觉应用更精密。此外,在各种实施例中,可以针对特定的应用定制所公开的图像获取和分析系统。例如,摄像机组件和闪光灯单元组件的闪光灯单元可以被定位成和/或取向成从构造的阴影产生更有效的深度边缘探测和场景分割。此外,在各种实施例中,所公开的图像获取和分析系统提供图像对象分割、与深度边缘相关的深度的粗略估计和对象的尺寸的准确测量。此外,在各种实施例中,所公开的图像获取和分析系统提供沿着深度边缘的准确定量分析,并在图像系统的几何信息——例如摄像机、闪光灯单元和对象和/或场景的几何和空间关系——是已知的时候提供构造对象和/或场景的深度图的系统。
虽然上文特定地在一定程度上描述了本发明的各种代表性实施例,本领域中的技术人员可对所公开的实施例作出很多改变而不偏离在说明书和权利要求中阐述的发明主题的精神或范围。连接行为的提及(例如,附接、耦合、连接)应被广泛地解释,并可以包括在元件的连接之间的中间构件和元件之间的相对运动。因此,连接行为的提及不一定指的是两个元件被直接连接且彼此处于固定的关系。在一些实例中,在本文直接或间接阐述的方法中,以一种可能的操作顺序描述了各种步骤和操作,但本领域中的技术人员将认识到,步骤和操作可以被重新排列、替换或消除,而不一定偏离本发明的精神和范围。意图是在上面的描述中包含或在附图中示出的所有物体都应被解释为仅仅例证性的而不是限制性的。可以在细节或结构上作出改变,而不偏离如在所附权利要求中限定的本发明的精神。
本文所述的图像分析应用的方面可以在计算机系统上运行的软件上实现。本文的系统因此可以通过诸如可以在计算机上执行的程序模块的计算机可执行指令来操作。程序模块可包括执行特定的任务或实现特定的指令的例程、程序、对象、部件、数据结构等。软件程序可以用于使用伪像来支持在可信方站点的网络内的信息的传输。
与本文描述的系统和各种部件一起使用的计算机可以是可编程计算机,其可以是根据相关指令来执行系统的专用计算机或通用计算机。计算机系统可以是嵌入式系统、个人计算机、笔记本计算机、服务器计算机、大型计算机、联网计算机、手持计算机、个人数字助理、工作站等。其它计算机系统配置也是可接受的,包括移动电话、移动设备、多处理器系统、基于微处理器的或可编程的电子设备、网络PC、微型计算机等。优选地,选定的计算系统包括在尺寸上适于有效地操作各种系统或功能中的一个或多个的处理器。
系统或其部分还可链接到分布式计算环境,其中任务由通过通信网络链接的远程处理设备执行。为此目的,系统可以被配置或链接到网络——包括但不限于局域网、广域网、无线网络和互联网——中的多个计算机。因此,信息和数据可以通过无线装置、通过硬件连接或其组合在网络或系统内传输。
计算机还可以包括显示器、数据输入和输出的提供等。此外,一个或多个计算机可以可操作地或功能性地连接到一个或多个大容量存储设备,例如但不限于数据库。存储器可以是易失性或非易失性的,并可以包括可移动存储介质。系统还可以包括计算机可读媒介或介质,其可以包括可用于承载或存储可由计算机访问的期望程序代码的任何计算机可读介质。本发明还可以被体现为计算机可读介质上的计算机可读代码。为此目的,计算机可读介质可以是可存储其后可由计算机系统读取的数据的任何数据存储设备。计算机可读介质的示例包括只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带和其它光学数据存储设备。计算机可读介质还可以分布在网络耦合的计算机系统上,使得计算机可读代码以分布式方式被存储和执行。
虽然上文以某个特殊性程度描述了本发明的各种代表性实施例,本领域中的技术人员可以对所公开的实施例作出很多改变而不偏离在说明书和权利要求中阐述的发明主题的精神或范围。在一些实例中,在本文直接或间接阐述的方法中,以一种可能的操作顺序描述了各种步骤和操作,但本领域中的技术人员将认识到,步骤和操作可被重新排列、替换或消除,而不一定偏离本发明的精神和范围。意图是在上面的描述中包含或在附图中示出的所有物体都应被解释为仅仅例证性的而不是限制性的。可以在细节或结构上作出改变,而不偏离如在所附权利要求中限定的本发明的精神。
Claims (20)
1.一种机器视觉系统,包括:
摄像机;
第一照明单元,其与所述摄像机通信并且适于与所述摄像机的操作同步地发射第一波长范围的光;以及
第二照明单元,其与所述摄像机通信并且适于与所述摄像机的操作同步地发射第二波长范围的光;
其中所述第一波长范围不与所述第二波长范围重叠。
2.根据权利要求1所述的机器视觉系统,其中所述第一波长范围的光是第一颜色的光。
3.根据权利要求2所述的机器视觉系统,其中所述第一颜色的光是蓝光。
4.根据权利要求1所述的机器视觉系统,其中所述第二波长范围的光是第二颜色的光。
5.根据权利要求4所述的机器视觉系统,其中所述第二颜色的光是红光。
6.根据权利要求1所述的机器视觉系统,其中所述摄像机是彩色摄像机。
7.根据权利要求1所述的机器视觉系统,其中所述第一照明单元与所述摄像机的操作同步地发射第一波长范围的闪光。
8.根据权利要求7所述的机器视觉系统,其中所述第二照明单元与所述摄像机的操作同步地发射第二波长范围的闪光。
9.根据权利要求1所述的机器视觉系统,其中所述第一照明单元发射第一波长范围的光的连续源。
10.根据权利要求9所述的机器视觉系统,其中所述第二照明单元发射第二波长范围的光的连续源。
11.一种图像获取系统,包括:
摄像机组件;以及
闪光灯单元组件,其与所述摄像机组件通信并且适于与所述摄像机组件的操作同步地同时发射第一波长的光和第二波长的光;
其中所述第一波长不与所述第二波长重叠。
12.根据权利要求11所述的图像获取系统,还包括与所述摄像机组件通信的分析系统,其中所述分析系统适于分析由所述摄像机组件捕获的图像。
13.根据权利要求11所述的图像获取系统,其中所述摄像机组件包括多个摄像机。
14.根据权利要求11所述的图像获取系统,其中所述闪光灯单元组件包括第一闪光灯单元和第二闪光灯单元。
15.根据权利要求14所述的图像获取系统,其中所述第一闪光灯单元发射所述第一波长的光。
16.根据权利要求15所述的图像获取系统,其中所述第二闪光灯单元发射所述第二波长的光。
17.根据权利要求16所述的图像获取系统,其中所述第一波长的光在蓝光的波长范围内,并且所述第二波长的光在红光的波长范围内。
18.根据权利要求16所述的图像获取系统,其中所述闪光灯单元组件包括多个第一闪光灯单元。
19.根据权利要求18所述的图像获取系统,其中所述闪光灯单元组件包括多个第二闪光灯单元。
20.一种用于获取图像的机器视觉系统,包括:
摄像机,其设置在距离对象第一距离处;
第一闪光灯单元,其可操作地与所述摄像机通信并且设置在距离所述对象第二距离处,其中所述第一闪光灯单元适于与所述摄像机的操作同步地发射一个或多个第一波长的光;以及
第二闪光灯单元,其可操作地与所述摄像机通信并且设置在距离所述对象第三距离处,其中所述第二闪光灯单元适于与所述摄像机的操作同步地并且与所述第一闪光灯所发射的所述光同时地发射一个或多个第二波长的光;
其中所述一个或多个第一波长不与所述一个或多个第二波长重叠,并且
其中所述一个或多个第一波长和所述一个或多个第二波长均与一个或多个第三波长的光的一部分重叠。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161436800P | 2011-01-27 | 2011-01-27 | |
US61/436,800 | 2011-01-27 | ||
PCT/US2012/022979 WO2012103482A1 (en) | 2011-01-27 | 2012-01-27 | Camera assembly for the extraction of image depth discontinuity and method of use |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103563079A true CN103563079A (zh) | 2014-02-05 |
CN103563079B CN103563079B (zh) | 2016-06-15 |
Family
ID=46577057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280014365.9A Active CN103563079B (zh) | 2011-01-27 | 2012-01-27 | 用于图像深度非连续性的提取的摄像机组件和使用方法 |
Country Status (13)
Country | Link |
---|---|
US (1) | US9516199B2 (zh) |
EP (1) | EP2668665B8 (zh) |
CN (1) | CN103563079B (zh) |
AU (1) | AU2012211112B2 (zh) |
BR (1) | BR112013019253B1 (zh) |
CA (1) | CA2826092C (zh) |
DK (1) | DK2668665T3 (zh) |
ES (1) | ES2747432T3 (zh) |
MX (1) | MX2013008648A (zh) |
PL (1) | PL2668665T3 (zh) |
PT (1) | PT2668665T (zh) |
RU (1) | RU2604168C2 (zh) |
WO (1) | WO2012103482A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107697098A (zh) * | 2017-09-29 | 2018-02-16 | 佘以道 | 一种车厢倾斜度现场的测量方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140063355A1 (en) * | 2012-08-30 | 2014-03-06 | Silicon Touch Technology Inc. | Space positioning method having liquid crystal lens camera |
CN105025217B (zh) * | 2014-04-30 | 2018-01-16 | 黄健辅 | 移动式闪灯定位系统及其方法 |
JP6183305B2 (ja) * | 2014-07-02 | 2017-08-23 | 株式会社デンソー | 故障検出装置および故障検出プログラム |
CN108351296A (zh) | 2015-09-07 | 2018-07-31 | 移动Odt公司 | 用于检测生物学证据的手持移动设备 |
CN105872368A (zh) * | 2016-03-30 | 2016-08-17 | 东斓视觉科技发展(北京)有限公司 | 摄影方法及装置 |
US10535151B2 (en) | 2017-08-22 | 2020-01-14 | Microsoft Technology Licensing, Llc | Depth map with structured and flood light |
FI129042B (en) * | 2017-12-15 | 2021-05-31 | Oy Mapvision Ltd | Computer vision system with a computer-generated virtual reference object |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5982493A (en) * | 1998-06-02 | 1999-11-09 | Motorola, Inc. | Apparatus and method for acquiring multiple images |
US20030095406A1 (en) * | 1998-03-19 | 2003-05-22 | Ppt Vision, Inc. | Method and apparatus for a pulsed L.E.D. illumination source |
CN1438799A (zh) * | 2002-02-05 | 2003-08-27 | 佳能株式会社 | 图像读取装置及其控制方法、程序及其存储媒体 |
US20040085549A1 (en) * | 2000-12-29 | 2004-05-06 | Carl Smets | Method and an apparatus for measuring positions of contact elements of an electronic component |
US20070047980A1 (en) * | 2005-08-23 | 2007-03-01 | Limer Daniel J | Machine vision counting system apparatus and method |
US7634116B2 (en) * | 2004-09-02 | 2009-12-15 | Sony Corporation | Information processing device |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4425042A (en) * | 1981-07-08 | 1984-01-10 | Corning Glass Works | Positioning measuring apparatus and method |
US6731391B1 (en) * | 1998-05-13 | 2004-05-04 | The Research Foundation Of State University Of New York | Shadow moire surface measurement using Talbot effect |
US6466618B1 (en) * | 1999-11-19 | 2002-10-15 | Sharp Laboratories Of America, Inc. | Resolution improvement for multiple images |
US7016525B2 (en) * | 2002-05-02 | 2006-03-21 | Mitutoyo Corporation | Systems and methods for continuously varying wavelength illumination |
US7738725B2 (en) * | 2003-03-19 | 2010-06-15 | Mitsubishi Electric Research Laboratories, Inc. | Stylized rendering using a multi-flash camera |
DE10359723B4 (de) * | 2003-12-19 | 2014-03-13 | Vistec Semiconductor Systems Gmbh | Vorrichtung und Verfahren zur Inspektion eines Wafers |
US7489425B2 (en) | 2004-03-15 | 2009-02-10 | Heidelberger Druckmaschinen Ag | Method for controlling an operating process of a printing machine |
US8218135B2 (en) | 2007-08-01 | 2012-07-10 | Ford Global Technologies, Llc | System and method for stereo photography |
EP2223650A1 (en) | 2009-02-25 | 2010-09-01 | The Provost, Fellows and Scholars of the College of the Holy and Undivided Trinity of Queen Elizabeth near Dublin | Method and apparatus for imaging tissue topography |
US8571281B2 (en) * | 2010-07-13 | 2013-10-29 | Carestream Health, Inc. | Dental shade mapping |
-
2012
- 2012-01-27 WO PCT/US2012/022979 patent/WO2012103482A1/en active Application Filing
- 2012-01-27 CN CN201280014365.9A patent/CN103563079B/zh active Active
- 2012-01-27 ES ES12739994T patent/ES2747432T3/es active Active
- 2012-01-27 US US13/360,440 patent/US9516199B2/en active Active
- 2012-01-27 AU AU2012211112A patent/AU2012211112B2/en not_active Ceased
- 2012-01-27 DK DK12739994.7T patent/DK2668665T3/da active
- 2012-01-27 BR BR112013019253-4A patent/BR112013019253B1/pt active IP Right Grant
- 2012-01-27 MX MX2013008648A patent/MX2013008648A/es active IP Right Grant
- 2012-01-27 EP EP12739994.7A patent/EP2668665B8/en active Active
- 2012-01-27 PL PL12739994T patent/PL2668665T3/pl unknown
- 2012-01-27 PT PT127399947T patent/PT2668665T/pt unknown
- 2012-01-27 CA CA2826092A patent/CA2826092C/en active Active
- 2012-01-27 RU RU2013137409/28A patent/RU2604168C2/ru active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030095406A1 (en) * | 1998-03-19 | 2003-05-22 | Ppt Vision, Inc. | Method and apparatus for a pulsed L.E.D. illumination source |
US5982493A (en) * | 1998-06-02 | 1999-11-09 | Motorola, Inc. | Apparatus and method for acquiring multiple images |
US20040085549A1 (en) * | 2000-12-29 | 2004-05-06 | Carl Smets | Method and an apparatus for measuring positions of contact elements of an electronic component |
CN1438799A (zh) * | 2002-02-05 | 2003-08-27 | 佳能株式会社 | 图像读取装置及其控制方法、程序及其存储媒体 |
US7634116B2 (en) * | 2004-09-02 | 2009-12-15 | Sony Corporation | Information processing device |
US20070047980A1 (en) * | 2005-08-23 | 2007-03-01 | Limer Daniel J | Machine vision counting system apparatus and method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107697098A (zh) * | 2017-09-29 | 2018-02-16 | 佘以道 | 一种车厢倾斜度现场的测量方法 |
CN107697098B (zh) * | 2017-09-29 | 2018-08-03 | 金辉 | 一种车厢倾斜度现场测量平台 |
Also Published As
Publication number | Publication date |
---|---|
PT2668665T (pt) | 2019-10-25 |
EP2668665A1 (en) | 2013-12-04 |
ES2747432T3 (es) | 2020-03-10 |
DK2668665T3 (da) | 2019-10-07 |
US9516199B2 (en) | 2016-12-06 |
CN103563079B (zh) | 2016-06-15 |
EP2668665B8 (en) | 2019-08-14 |
BR112013019253B1 (pt) | 2021-06-29 |
CA2826092C (en) | 2016-08-02 |
BR112013019253A2 (pt) | 2016-10-11 |
EP2668665B1 (en) | 2019-06-26 |
US20120194665A1 (en) | 2012-08-02 |
RU2013137409A (ru) | 2015-03-10 |
WO2012103482A9 (en) | 2015-11-12 |
RU2604168C2 (ru) | 2016-12-10 |
CA2826092A1 (en) | 2012-08-02 |
PL2668665T3 (pl) | 2020-01-31 |
AU2012211112A1 (en) | 2013-08-15 |
MX2013008648A (es) | 2014-02-11 |
EP2668665A4 (en) | 2016-01-06 |
WO2012103482A1 (en) | 2012-08-02 |
AU2012211112B2 (en) | 2015-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103563079B (zh) | 用于图像深度非连续性的提取的摄像机组件和使用方法 | |
US10013708B1 (en) | Estimating a condition of a physical structure | |
CN102027317B (zh) | 组合式目标捕获系统和显示设备以及相关方法 | |
US9599715B2 (en) | Scanner display | |
JP7122524B2 (ja) | 検査プログラム生成システム、検査プログラムの生成方法、及び検査プログラムの生成用プログラム | |
US20140078260A1 (en) | Method for generating an array of 3-d points | |
EP2508871A1 (en) | Inspection apparatus, measurement method for three-dimensional shape, and production method for structure | |
US8983172B2 (en) | Visual inspection apparatus, secure one-way data transfer device and methods therefor | |
Liang et al. | Remote spectral imaging with simultaneous extraction of 3D topography for historical wall paintings | |
US20140240488A1 (en) | Appearance inspection device and method for object having line pattern | |
KR20150071228A (ko) | 3차원 형상의 유리 검사장치 | |
US11089295B2 (en) | Display apparatus, apparatus for proof of play, and method for proof of play of contents | |
KR20220088686A (ko) | 건축 자재 영상 인식 및 분석 시스템 및 그 방법 | |
KR101497944B1 (ko) | 영상 처리 기반의 계측 정보 표시 장치 및 계측 정보 표시 방법 | |
Wang et al. | Automated low-cost photogrammetry for flexible structure monitoring | |
Musci et al. | Reliability of the geometric calibration of an hyperspectral frame camera | |
CN110505393B (zh) | 影像处理装置与方法 | |
Sun et al. | Spectral 3D Computer Vision--A Review | |
US11875544B2 (en) | Annotation of infrared images for machine learning using beamsplitter-based camera system and methods | |
US11650165B2 (en) | Operator guided inspection device, system, and method | |
CN118015214A (zh) | 三维建模方法、像控点标志、装置、设备及存储介质 | |
Silva et al. | PaleoScan: Low-Cost Easy-to-use High-Volume Fossil Scanning | |
KR20210115994A (ko) | 조립체의 외관 검사 방법 | |
US20200408513A1 (en) | Portable targeting system for 3d scanners | |
KR101138222B1 (ko) | 전방향 거울 및 차영상 적분 알고리즘을 이용한 구조광 기반 전방향 거리측정 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |