CN113379847B - 异常像素的修正方法及设备 - Google Patents

异常像素的修正方法及设备 Download PDF

Info

Publication number
CN113379847B
CN113379847B CN202110596677.6A CN202110596677A CN113379847B CN 113379847 B CN113379847 B CN 113379847B CN 202110596677 A CN202110596677 A CN 202110596677A CN 113379847 B CN113379847 B CN 113379847B
Authority
CN
China
Prior art keywords
pixel
point cloud
camera
image
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110596677.6A
Other languages
English (en)
Other versions
CN113379847A (zh
Inventor
尹睿
徐敏
张卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai IC Manufacturing Innovation Center Co Ltd
Original Assignee
Shanghai IC Manufacturing Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai IC Manufacturing Innovation Center Co Ltd filed Critical Shanghai IC Manufacturing Innovation Center Co Ltd
Priority to CN202110596677.6A priority Critical patent/CN113379847B/zh
Publication of CN113379847A publication Critical patent/CN113379847A/zh
Priority to US17/586,045 priority patent/US20220383462A1/en
Application granted granted Critical
Publication of CN113379847B publication Critical patent/CN113379847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种异常像素的修正方法及设备，本发明的异常像素的修正方法包括：计算第一点云图和第二点云图中的像素的匹配度指标；依据像素的匹配度指标和修正阈值，查找出异常像素；计算修正列差，依据修正列差和像素的匹配度指标对异常像素进行修正。保留了点云图中的异常像素，对异常像素进行修正，保证了图像的像素完整性，且异常像素的修正方式简单，计算步骤少，异常像素修正效率高。本发明的设备包括第一相机、第二相机、图像处理单元、索引单元、计算单元、判断单元和修正执行单元，提高修正图像中异常像素的效率。

Description

异常像素的修正方法及设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种异常像素的修正方法及设备。
背景技术
在ToF相机(Time ofFight Camera)测量的深度图中，物体边缘处往往存在大量错误的深度测量值，生成3D点云后，视觉上表现为飞在空中的无效点，称为飞点噪声。飞点噪声使得ToF相机无法有效获取物体边缘的3D信息，如果不能解决飞点噪音，会影响ToF相机的广泛推广和应用。
传统解决飞点噪音往往是先通过算法判断图像中的飞点噪音，然后直接将飞点噪音滤除，会减少图像的像素点。而现有技术中也有修正像素的硬件或软件，但其异常像素的判断方法和修正的计算方式比较复杂，修复效率较低。
公开号为CN 111340721 B的发明专利，公开了一种像素的修正方法、装置、设备及可读存储介质，对于每一待修正像素集合，依据最大过渡值以及累积分布向量确定每一待修正像素的修正值，由于，最大过渡值表征每一待修正像素应该在基准值的基础上修正的修正范围，累积分布向量中的累积分布概率表征了待修正像素集合中每一待修正像素的修正程度，所以该修正值可以保证待修正像素集合中的像素过渡自然。进一步，获取修正值的修正比例，同时依据修正值和原始值对像素进行修正，从而消除图像中的边缘，使像素过渡自然。该发明通过消除图像的边缘使得像素过渡自然，但消除图像的边缘，减少了图像中的元素，若图像的边缘含有该图像的重要像素，则消除图像的边缘可能会造成图像不完整。
因此，有必要提供一种异常像素的修正方法及设备以解决上述的现有技术中存在的问题。
发明内容
本发明的目的在于提供一种异常像素的修正方法及设备，以解决处理像素噪音时会减少图像的像素、修正步骤复杂、效率低的问题。
为实现上述目的，本发明的所述异常像素的修正方法包括步骤：
S1：计算第一点云图和第二点云图中的像素的匹配度指标；
S2：依据所述像素的匹配度指标和修正阈值，查找出异常像素；
S3：计算修正列差，依据所述修正列差和所述像素的匹配度指标对所述异常像素进行修正。
本发明的所述异常像素的修正方法的有益效果在于：
计算第一点云图和第二点云图中的像素的匹配度指标，依据匹配度指标和修正阈值，查找出异常像素，然后计算修正列差，依据修正列差对异常像素进行修正，从而保留了点云图中的异常像素，对异常像素进行修正，保证了图像的像素完整性，且异常像素的修正方式简单，计算步骤少，异常像素修正效率高。
优选地，所述步骤S1中，所述计算第一点云图和第二点云图中的像素匹配度指标包括步骤：
S10：获取第一相机的第一深度图和第一点云图及第二相机的第二深度图和第二点云图；
S11：计算像素位置列差，对所述第一点云图中像素进行索引，得到索引结果；
S12：依据所述索引结果和所述像素位置列差计算像素的匹配度指标。步骤S10至步骤S12的有益效果在于，通过用两个相机的深度图和点云图来对比和索引得到索引结果，并依据所述索引结果计算像素的匹配度指标，通过两个相机的深度图和点云图计算得到像素的匹配度，计算步骤少，计算复杂度低，计算原理简单，提高了计算像素的匹配度指标的速度。
优选地，所述步骤S10中，所述第一相机为TOF相机，所述第二相机也为TOF相机。其有益效果在于：TOF相机主要包括发射端和接收端，ToF传感器发送光源驱动芯片调制信号至激光器，以控制激光器发出高频调制的近红外光，近红外光遇到物体漫反射后，接收端通过发射光与接收光的相位差或时间差来计算深度信息。ToF传感器采用背照式CMOS工艺技术，该工艺大幅度提高了感光面积，提升了光子收集率和测距的速度，响应时间能够达到ns级，在远距离情况下也能保证深度图的高精度。通过两个TOF相机直接来获取第一深度图像和第二深度图像，提高本发明的所述异常像素的滤除方法的效率。
优选地，将所述第一相机和所述第二相机平行放置于同一水平面上，通过所述第一相机和所述第二相机拍摄同一目标获取所述第一深度图像和所述第二深度图像。
优选地，步骤S10中，获取所述第一点云图和所述第二点云图包括步骤：
S100：标定相机参数，所述相机参数包括第一相机内参数和第二相机内参数；
S101：依据所述第一深度图像和所述第一相机内参数计算得到所述第一点云图，依据所述第二深度图像和所述第二相机内参数计算得到中间点云图。
进一步优选地，还包括步骤S102，所述相机参数还包括第二相机外参数，所述步骤S102包括，依据所述第二相机的外参数，并以所述第一点云图的中心为坐标系中心，对所述中间点云图进行平移和旋转，得到所述第二点云图。步骤S100至步骤S102的有益效果在于：依据相机参数和深度图像，计算得到第一点云图和第二点云图，便于区分图像中的每一个像素，便于后续计算像素的匹配度指标，简化计算异常像素的难度，提高滤除异常像素的效率。
优选地，所述步骤S11中，所述对第一点云图中的像素进行索引包括，依据所述像素位置列差查找所述第一点云图中的像素在所述第二点云图中的对应像素。
优选地，所述步骤S11中，所述计算像素位置列差的步骤包括：
S110：计算基线长度和像素深度值；
S111：将所述基线长度和相机焦距相乘后，除以所述像素深度值，得到所述像素位置列差。
进一步优选地，所述基线长度为所述第一相机的镜头和所述第二相机的镜头的中心间距。
进一步优选地，所述像素深度值为所述第一点云图的像素深度，所述第一点云图的像素深度与所述第二点云图的像素深度一致。
优选地，所述步骤S12中，依据所述索引结果和所述像素位置列差计算像素的匹配度指标包括步骤：
S120：于所述第一点云图中划定第一窗口，并于所述第二点云图中划定所述第一窗口对应的第二窗口；
S121：分别计算所述第一窗口内所有的像素的点云值和所述第二窗口内所有的像素的点云值；
S122：将所述第一窗口内像素的点云值减去所述第二窗口内所述第一窗口内像素对应的像素的点云值，得到点云差，计算点云差的绝对值；
S123：对所述点云差的绝对值进行求和，得到匹配度指标。步骤S120至步骤S123的有益效果在于：先在所述第一点云中划定第一窗口，然后在所述第二点云中划定对应的第二窗口，依次计算第一窗口内每一个像素的点云值、第二个窗口内的每一个像素的点云值，然后通过第一窗口中的像素的点云值减去第二窗口内对应像素的点云值，得到点云差，计算点云差的绝对值，然后对所有像素的点云差的绝对值进行求和，得到所述像素的匹配度指标。计算逻辑清楚，计算步骤简单明确，能更快地计算第一窗口与第二窗口的像素的匹配度指标，提高找到异常像素的速度。
优选地，步骤S2中，所述查找出异常像素包括，设置修正阈值，当判断所述像素的所述匹配度指标大于或等于所述修正阈值时，判定所述像素为异常像素；
当判断所述像素的所述匹配度指标小于所述修正阈值时，判定所述像素为正常像素，并保留所述正常像素。其有益效果在于：通过预设的修正阈值，判断像素是否为异常像素，便于后续对异常像素的修正操作，判断方式简单有效，提高判断异常像素的效率，提升修正异常像素的整体效率。
优选地，其特征在于，步骤S3中，所述计算修正列差，依据所述修正列差和所述匹配度指标对所述异常像素进行修正包括步骤：
S30：依据所述像素位置列差，计算若干修正列差；
S31：计算每一个所述修正列差对应的所述匹配度指标；
S32：对所述匹配度指标进行排序，选出最小匹配度指标；
S33：依据所述最小匹配度指标对应的修正列差，计算修正像素深度值，并用所述修正像素深度值代替所述像素深度值；
S34：依据所述修正像素深度值对所述异常像素进行修正，并用修正后的像素替换所述异常像素。步骤S30至步骤S34的有益效果在于：先通过像素位置列差计算修正列差，然后通过修正列差计算像素的匹配度指标，寻找出最大的匹配度指标，再使用最小匹配度指标对应的修正列差，计算修正像素深度值，用修正像素深度值代替像素深度值，通过修正像素深度值对异常像素进行修正，并使用修正后的像素代替异常像素，从而使得异常像素与原像素的匹配度更高，从而完成了对异常像素的修正。修正异常像素，而非删除异常像素，保证了图像的完整性，使图像的边缘飞点噪音得到修整。
优选地，还包括步骤S4：重复所述步骤S1至所述步骤S3，直至所述第一点云图中所有像素均被索引。
本发明还提供一种设备，包括第一相机、第二相机、图像处理单元、索引单元、计算单元、判断单元和修正执行单元；所述第一相机用于提供第一深度图像，所述第二相机用于提供第二深度图像；
所述图像处理单元连接所述第一相机和所述第二相机，所述图像处理单元处理所述第一深度图像得到第一点云图，并处理第二深度图像得到第二点云图；
所述计算单元连接所述图像处理单元，所述计算单元用于计算像素位置列差和像素的匹配度指标；
所述索引单元连接所述图像处理单元和所述计算单元，所述索引单元依据所述像素位置列差对所述第一点云图中的像素进行索引；
所述判断单元所述图像处理单元和与所述计算单元连接，所述判断单元依据所述像素的匹配度指标和修正阈值，判断像素是否为异常像素；
所述修正执行单元与所述图像处理单元和所述判断单元连接，所述修正执行单元用于修正所述异常像素。
本发明的所述设备的有益效果在于：通过第一相机和第二相机提供第一深度图和第二深度图，通过图像处理单元处理第一深度图和第二深度图得到第一点云图和第二点云图，计算单元计算点云图中的像素位置列差和像素的匹配度指标，索引单元对点云图中的像素进行索引，判断单元用于判断像素是否为异常像素，滤除执行单元用于对异常像素进行修正。所述设备的各个单元之间连接紧密，通过相机和多个单元之间的配合和计算，从而快速计算并判断出图像中的异常像素，提高修正异常像素的效率。
优选地，还包括预设单元，所述预设单元与所述计算单元和所述判断单元连接，所述预设单元用于预设所述修正阈值。
附图说明
图1为本发明的异常像素的修正方法的流程图；
图2为本发明的计算第一点云图和第二点云图中的像素匹配度指标的流程图；
图3为本发明的处理第一深度图像的流程图；
图4为本发明的计算像素位置列差的流程图；
图5为本发明的计算像素的匹配度指标的流程图；
图6为本发明的对异常像素进行修正的流程图；
图7为本发明的设备结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
针对现有技术存在的问题，本发明的实施例提供了一种异常像素的修正方法及设备。
针对现有技术存在的问题，本发明的实施例提供了一种异常像素的滤除方法及设备。
图1为本发明的异常像素的修正方法的流程图。参照图1，本发明的异常像素的修正方法包括步骤：
S1：计算第一点云图和第二点云图中的像素的匹配度指标；
S2：依据像素的匹配度指标和修正阈值，查找出异常像素；
S3：计算修正列差，依据修正列差和像素的匹配度指标对异常像素进行修正。
S4：重复步骤S1至步骤S3，直至第一点云图中所有像素均被索引。
本发明的异常像素的修正方法的优点在于：
计算第一点云图和第二点云图中的像素的匹配度指标，依据匹配度指标和修正阈值，查找出异常像素，然后计算修正列差，依据修正列差对异常像素进行修正，从而保留了点云图中的异常像素，对异常像素进行修正，保证了图像的像素完整性，且计算方式简单，计算步骤少，异常像素修正效率高。
作为本发明一种优选的实施方式，步骤S1中，图2为本发明的计算第一点云图和第二点云图中的像素匹配度指标的流程图。参照图2，计算第一点云图和第二点云图中的像素匹配度指标包括步骤：
S10：获取第一相机的第一深度图和第一点云图及第二相机的第二深度图和第二点云图；
S11：计算像素位置列差，对第一点云图中像素进行索引，得到索引结果；
S12：依据索引结果和像素位置列差计算像素的匹配度指标。步骤S10至步骤S12的优点在于，通过用两个相机的深度图和点云图来对比和索引得到索引结果，并依据索引结果计算像素的匹配度指标，通过两个相机的深度图和点云图计算得到像素的匹配度，计算步骤少，计算复杂度低，计算原理简单，提高了计算像素的匹配度指标的速度。
作为本发明一种优选的实施方式，步骤S10中，第一相机为TOF相机，第二相机也为TOF相机。其优点在于：TOF相机主要包括发射端和接收端，ToF传感器发送光源驱动芯片调制信号至激光器，以控制激光器发出高频调制的近红外光，近红外光遇到物体漫反射后，接收端通过发射光与接收光的相位差或时间差来计算深度信息。ToF传感器采用背照式CMOS工艺技术，该工艺大幅度提高了感光面积，提升了光子收集率和测距的速度，响应时间能够达到ns级，在远距离情况下也能保证深度图的高精度。通过两个TOF相机直接来获取第一深度图像和第二深度图像，提高本发明的异常像素的滤除方法的效率。
作为本发明一种优选的实施方式，将第一相机和第二相机平行放置于同一水平面上，通过第一相机和第二相机拍摄同一目标获取第一深度图像和第二深度图像。
作为本发明一种优选的实施方式，步骤S10中，图3为本发明的处理第一深度图像的流程图。参照图3，获取第一点云图和第二点云图包括步骤：
S100：标定相机参数，相机参数包括第一相机内参数和第二相机内参数；
S101：依据第一深度图像和第一相机内参数计算得到第一点云图，依据第二深度图像和第二相机内参数计算得到中间点云图。
作为本发明一种优选的实施方式，还包括步骤S102，相机参数还包括第二相机外参数，步骤S102包括，依据第二相机的外参数，并以第一点云图的中心为坐标系中心，对中间点云图进行平移和旋转，得到第二点云图。步骤S100至步骤S102的优点在于：依据相机参数和深度图像，计算得到第一点云图和第二点云图，便于区分图像中的每一个像素，便于后续计算像素的匹配度指标，简化计算异常像素的难度，提高滤除异常像素的效率。
作为本发明一种优选的实施方式，步骤S11中，对第一点云图中的像素进行索引包括，依据像素位置列差查找第一点云图中的像素在第二点云图中的对应像素。
作为本发明一种优选的实施方式，步骤S11中，图4为本发明的计算像素位置列差的流程图。参照图4，计算像素位置列差的步骤包括：
S110：计算基线长度和像素深度值；
S111：将基线长度和相机焦距相乘后，除以像素深度值，得到像素位置列差。
作为本发明一种具体的实施方式，提供了像素位置列差的计算公式，像素位置列差的计算公式如下：
其中，d为像素位置列差；B为基线长度；f为相机焦距，Z为像素深度值。
作为本发明一种优选的实施方式，基线长度为第一相机的镜头和第二相机的镜头的中心间距。
作为本发明一种优选的实施方式，像素深度值为第一点云图的像素深度，第一点云图的像素深度与第二点云图的像素深度一致。
作为本发明一种优选的实施方式，步骤S12中，图5为本发明的计算像素的匹配度指标的流程图。参照图5，依据索引结果和像素位置列差计算像素的匹配度指标包括步骤：
S120：于第一点云图中划定第一窗口，并于第二点云图中划定第一窗口对应的第二窗口；具体地，通过上述的步骤S11的索引流程来寻找第二点云图中对应第一窗口的第二窗口。
S121：分别计算第一窗口内所有的像素的点云值和第二窗口内所有的像素的点云值；
S122：将第一窗口内像素的点云值减去第二窗口内第一窗口内像素对应的像素的点云值，得到点云差，计算点云差的绝对值；
S123：对点云差的绝对值进行求和，得到匹配度指标。步骤S120至步骤S123的优点在于：先在第一点云中划定第一窗口，然后在第二点云中划定对应的第二窗口，依次计算第一窗口内每一个像素的点云值、第二个窗口内的每一个像素的点云值，然后通过第一窗口中的像素的点云值减去第二窗口内对应像素的点云值，得到点云差，计算点云差的绝对值，然后对所有像素的点云差的绝对值进行求和，得到像素的匹配度指标。计算逻辑清楚，计算步骤简单明确，能更快地计算第一窗口与第二窗口的像素的匹配度指标，提高找到异常像素的速度。
作为本发明一种具体地实施方式，还提供像素的匹配度指标的计算公式，像素的匹配度指标的计算公式如下：
其中，f(x,y,d)为像素的匹配度指标，M为第一窗口或第二窗口的大小，x为像素的横坐标，y为像素的纵坐标，d为像素位置列差，PCL1(x+dx,y+dy)为第一窗口的像素的点云值，PCL2'(x+dx-d,y+dy)为第二窗口的像素的点云值。
可说明的是，第一窗口的大小M可以调节，第一窗口的大小M可以为2，表示第一窗口内有3×3共9个像素。第二窗口对应第一窗口，因此第二窗口的大小与第一窗口的大小一致。
作为本发明一种优选的实施方式，步骤S2中，查找出异常像素包括，设置修正阈值，当判断像素的匹配度指标大于或等于修正阈值时，判定像素为异常像素；当判断像素的匹配度指标小于修正阈值时，判定像素为正常像素，并保留正常像素。其优点在于：通过预设的修正阈值，判断像素是否为异常像素，便于后续对异常像素的修正操作，判断方式简单有效，提高判断异常像素的效率，提升修正异常像素的整体效率。
作为本发明一种优选的实施方式，其特征在于，步骤S3中，图6为本发明的对异常像素进行修正的流程图。参照图6，计算修正列差，依据修正列差和匹配度指标对异常像素进行修正包括步骤：
S30：依据像素位置列差，计算若干修正列差；
S31：计算每一个修正列差对应的匹配度指标；
S32：对匹配度指标进行排序，选出最小匹配度指标；
S33：依据最小匹配度指标对应的修正列差，计算修正像素深度值，并用修正像素深度值代替像素深度值；
S34：依据修正像素深度值对异常像素进行修正，并用修正后的像素替换异常像素。步骤S30至步骤S34的优点在于：先通过像素位置列差计算修正列差，然后通过修正列差计算像素的匹配度指标，寻找出最大的匹配度指标，再使用最小匹配度指标对应的修正列差，计算修正像素深度值，用修正像素深度值代替像素深度值，通过修正像素深度值对异常像素进行修正，并使用修正后的像素代替异常像素，从而使得异常像素与原像素的匹配度更高，从而完成了对异常像素的修正。修正异常像素，而非删除异常像素，保证了图像的完整性，使图像的边缘飞点噪音得到修整。
作为本发明一种具体的实施方式，对异常像素进行修正的具体步骤为：
设若干修正列差为δd1＝0×d，δd2＝0×d…δdn＝n×d(n为正整数)；
然后将若干修正列差依次分别代入像素的匹配度指标的计算公式，将δd1，δd2…δdn分别代入公式②，计算获得若干修正列差对应的匹配度指标，即计算获得f(x,y,δd1)，f(x,y,δd2)…f(x,y,δdn)；
对f(x,y,δd1)，f(x,y,δd2)…f(x,y,δdn)进行排序，找出最大的匹配度指标，并找出最大匹配度指标对应的δd，这个δd即为最佳的修正列差dmin；
由公式像素位置列差公式
可求得像素的深度值公式，像素的深度值公式如下：
将最佳的修正列差dmin代入像素的深度值公式，可得用修正像素深度值Z'代替像素深度值Z；
用修正像素深度值Z'对异常像素进行修正处理，然后使用修正后的像素代替异常像素。
可说明的是，n可以随着f(x,y,d)的值来调整，当f(x,y,d)值越大时，n值也应该越大。在一些实施例中，n值可以设置为3。
本发明还提供一种设备，图7为本发明的设备结构示意图。参照图7，本发明的设备包括第一相机1、第二相机2、图像处理单元3、索引单元4、计算单元5、判断单元6和修正执行单元7；第一相机1用于提供第一深度图像，第二相机2用于提供第二深度图像；
图像处理单元3连接第一相机1和第二相机2，图像处理单元3处理第一深度图像得到第一点云图，并处理第二深度图像得到第二点云图；
计算单元5连接图像处理单元3，计算单元5用于计算像素位置列差和像素的匹配度指标；
作为本发明一种具体地实施方式，计算单元5通过像素位置列差公式计算像素位置列差，像素位置列差公式为：
其中，d为像素位置列差；B为基线长度；f为相机焦距，Z为像素深度值。
作为本发明一种具体地实施方式，具体地，计算单元5通过像素的匹配度指标公式计算像素的匹配度指标，像素的匹配度指标公式为：
其中，f(x,y,d)为像素的匹配度指标，M为第一窗口和第二窗口的大小，x为像素的横坐标，y为像素的纵坐标，d为像素位置列差，PCL1(x+dx,y+dy)为第一窗口的像素的点云值，PCL2'(x+dx-d,y+dy)为第二窗口的像素的点云值。
索引单元4连接图像处理单元3和计算单元5，索引单元4依据像素位置列差对第一点云图中的像素进行索引；
在计算像素的匹配度指标时，索引单元4还用于索引第二点云图中对应第一窗口的第二窗口。
判断单元6与计算单元5连接，判断单元依据像素的匹配度指标和修正阈值，判断像素是否为异常像素。
具体地，当判断单元6判断像素的匹配度指标大于或等于修正阈值时，匹配度指标大于修正阈值的像素为异常像素；
当判断单元6判断像素的匹配度指标小于修正阈值时，判断像素不符合修正条件，此时像素为正常像素，不需要修正，保留正常像素。
修正执行单元7与图像处理单元3和判断单元6连接，通过判断单元6选出第一点云图中的异常像素后，修正执行单元7修正第一点云图中的异常像素。
本发明的设备的优点在于：通过第一相机和第二相机提供第一深度图和第二深度图，通过图像处理单元处理第一深度图和第二深度图得到第一点云图和第二点云图，计算单元计算点云图中的像素位置列差和像素的匹配度指标，索引单元对点云图中的像素进行索引，判断单元用于判断像素是否为异常像素，滤除执行单元用于对异常像素进行修正。设备的各个单元之间连接紧密，通过相机和多个单元之间的配合和计算，从而快速计算并判断出图像中的异常像素，提高修正异常像素的效率。
作为本发明一种优选的实施方式，参照图7，还包括预设单元8，预设单元8与计算单元5和判断单元6连接，预设单元用于预设修正阈值。
预设单元8还用于标定相机参数，相机参数包括第一相机内参数、第二相机内参数和第二相机外参数。预设单元8将上述相机参数传输至计算单元5后，计算单元5依据第一深度图像和第一相机内参数计算得到第一点云图，依据第二深度图像和第二相机内参数计算得到中间点云图。然后计算单元5依据第二相机的外参数，并以第一点云图的中心为坐标系中心，对中间点云图进行平移和旋转，得到第二点云图。
虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。

Claims (13)

1.一种异常像素的修正方法，其特征在于，包括步骤：
S1：计算第一点云图和第二点云图中的像素的匹配度指标；
S2：依据所述像素的匹配度指标和修正阈值，查找出异常像素；
S3：计算修正列差，依据所述修正列差和所述像素的匹配度指标对所述异常像素进行修正；
所述步骤S1中，所述计算第一点云图和第二点云图中的像素匹配度指标包括步骤：
S10：获取第一相机的第一深度图和第一点云图及第二相机的第二深度图和第二点云图；
S11：计算像素位置列差，对所述第一点云图中像素进行索引，得到索引结果；
S12：依据所述索引结果和所述像素位置列差计算像素的匹配度指标；
所述步骤S11中，所述对所述第一点云图中像素进行索引包括，依据所述像素位置列差查找所述第一点云图中的像素在所述第二点云图中的对应像素；
所述步骤S12中，依据所述索引结果和所述像素位置列差计算像素的匹配度指标包括步骤：
S120：于所述第一点云图中划定第一窗口，并于所述第二点云图中划定所述第一窗口对应的第二窗口；
S121：分别计算所述第一窗口内所有的像素的点云值和所述第二窗口内所有的像素的点云值；
S122：将所述第一窗口内像素的点云值减去所述第二窗口内所述第一窗口内像素对应的像素的点云值，得到点云差，计算所述点云差的绝对值；
S123：对所述点云差的绝对值进行求和，得到匹配度指标。
2.如权利要求1所述的异常像素的修正方法，其特征在于，所述步骤S10中，所述第一相机为TOF相机，所述第二相机为TOF相机。
3.如权利要求1所述的异常像素的修正方法，其特征在于，将所述第一相机和所述第二相机平行放置于同一水平面上，通过所述第一相机和所述第二相机拍摄同一目标获取所述第一深度图像和所述第二深度图像。
4.如权利要求1所述的异常像素的修正方法，其特征在于，步骤S10中，获取所述第一点云图和所述第二点云图包括步骤：
S100：标定相机参数，所述相机参数包括第一相机内参数和第二相机内参数；
S101：依据所述第一深度图像和所述第一相机内参数计算得到所述第一点云图，依据所述第二深度图像和所述第二相机内参数计算得到中间点云图。
5.如权利要求4所述的异常像素的修正方法，其特征在于，还包括步骤S102，所述相机参数还包括第二相机外参数，所述步骤S102包括，依据所述第二相机的外参数，并以所述第一点云图的中心为坐标系中心，对所述中间点云图进行平移和旋转，得到所述第二点云图。
6.如权利要求1所述的异常像素的修正方法，其特征在于，所述步骤S11中，所述计算像素位置列差的步骤包括：
S110：计算基线长度和像素深度值；
S111：将所述基线长度和相机焦距相乘后，除以所述像素深度值，得到所述像素位置列差。
7.如权利要求6所述的异常像素的修正方法，其特征在于，所述基线长度为所述第一相机的镜头和所述第二相机的镜头的中心间距。
8.如权利要求6所述的异常像素的修正方法，其特征在于，所述像素深度值为所述第一点云图的像素深度，所述第一点云图的像素深度与所述第二点云图的像素深度一致。
9.如权利要求1所述的异常像素的修正方法，其特征在于，步骤S2中，所述查找出异常像素包括，设置修正阈值，当判断所述像素的所述匹配度指标大于或等于所述修正阈值时，判定所述像素为异常像素；
当判断所述像素的所述匹配度指标小于所述修正阈值时，判定所述像素为正常像素，并保留所述正常像素。
10.如权利要求1所述的异常像素的修正方法，其特征在于，步骤S3中，所述计算修正列差，依据所述修正列差和所述匹配度指标对所述异常像素进行修正包括步骤：
S30：依据所述像素位置列差，计算若干修正列差；
S31：计算每一个所述修正列差对应的所述匹配度指标；
S32：对所述匹配度指标进行排序，选出最小匹配度指标；
S33：依据所述最小匹配度指标对应的修正列差，计算修正像素深度值，并用所述修正像素深度值代替所述像素深度值；
S34：依据所述修正像素深度值对所述异常像素进行修正，并用修正后的像素替换所述异常像素。
11.如权利要求1所述的异常像素的修正方法，其特征在于，还包括步骤S4：重复所述步骤S1至所述步骤S3，直至所述第一点云图中所有像素均被索引。
12.一种异常像素的修正设备，其特征在于，包括第一相机、第二相机、图像处理单元、索引单元、计算单元、判断单元和修正执行单元；所述第一相机用于提供第一深度图像，所述第二相机用于提供第二深度图像；
所述图像处理单元连接所述第一相机和所述第二相机，所述图像处理单元处理所述第一深度图像得到第一点云图，并处理第二深度图像得到第二点云图；
所述计算单元连接所述图像处理单元，所述计算单元用于计算像素位置列差和像素的匹配度指标；
所述索引单元连接所述图像处理单元和所述计算单元，所述索引单元依据所述像素位置列差对所述第一点云图中的像素进行索引，以得到索引结果，对所述第一点云图中的像素进行索引包括，依据所述像素位置列差查找所述第一点云图中的像素在所述第二点云图中的对应像素；
所述计算单元获取第一相机的第一深度图和第一点云图及第二相机的第二深度图和第二点云图；计算像素位置列差，对所述第一点云图中像素进行索引，得到索引结果；依据所述索引结果和所述像素位置列差计算像素的匹配度指标；
所述计算单元于所述第一点云图中划定第一窗口，并于所述第二点云图中划定所述第一窗口对应的第二窗口；分别计算所述第一窗口内所有的像素的点云值和所述第二窗口内所有的像素的点云值；将所述第一窗口内像素的点云值减去所述第二窗口内所述第一窗口内像素对应的像素的点云值，得到点云差，计算所述点云差的绝对值；对所述点云差的绝对值进行求和，得到匹配度指标；
所述判断单元与所述计算单元连接，所述判断单元依据所述像素的匹配度指标和修正阈值，判断像素是否为异常像素；
所述修正执行单元与所述判断单元和所述图像处理单元连接，所述修正执行单元用于修正所述异常像素。
13.如权利要求12所述的异常像素的修正设备，其特征在于，还包括预设单元，所述预设单元与所述计算单元和所述判断单元连接，所述预设单元用于预设所述修正阈值。
CN202110596677.6A 2021-05-31 2021-05-31 异常像素的修正方法及设备 Active CN113379847B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110596677.6A CN113379847B (zh) 2021-05-31 2021-05-31 异常像素的修正方法及设备
US17/586,045 US20220383462A1 (en) 2021-05-31 2022-01-27 Method for correcting anomalous pixel and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110596677.6A CN113379847B (zh) 2021-05-31 2021-05-31 异常像素的修正方法及设备

Publications (2)

Publication Number Publication Date
CN113379847A CN113379847A (zh) 2021-09-10
CN113379847B true CN113379847B (zh) 2024-02-13

Family

ID=77574908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110596677.6A Active CN113379847B (zh) 2021-05-31 2021-05-31 异常像素的修正方法及设备

Country Status (2)

Country Link
US (1) US20220383462A1 (zh)
CN (1) CN113379847B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288842B2 (en) * 2019-02-15 2022-03-29 Interaptix Inc. Method and system for re-projecting and combining sensor data for visualization
US20230195854A1 (en) * 2021-12-22 2023-06-22 Julien Ip Filtering of dynamic objects from vehicle generated map

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103814306A (zh) * 2011-06-24 2014-05-21 索弗特凯耐提克软件公司 深度测量质量增强
CN105513064A (zh) * 2015-12-03 2016-04-20 浙江万里学院 一种基于图像分割和自适应权重的立体匹配方法
CN106408513A (zh) * 2016-08-25 2017-02-15 天津大学 深度图超分辨率重建方法
CN109840912A (zh) * 2019-01-02 2019-06-04 厦门美图之家科技有限公司 一种图像中异常像素的修正方法及计算设备
CN110290395A (zh) * 2019-06-14 2019-09-27 北京奇艺世纪科技有限公司 一种图像处理方法、装置及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2890125B1 (en) * 2013-12-24 2021-10-13 Sony Depthsensing Solutions A time-of-flight camera system
JP6295654B2 (ja) * 2013-12-26 2018-03-20 セイコーエプソン株式会社 カメラ、及び画像処理方法
CN111340721B (zh) * 2020-02-18 2021-02-12 国网电子商务有限公司 一种像素的修正方法、装置、设备及可读存储介质
DE102020207695A1 (de) * 2020-06-22 2021-12-23 Robert Bosch Gesellschaft mit beschränkter Haftung Tiefenschätzung aus Monokamerabildern mittels künstlicher Intelligenz

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103814306A (zh) * 2011-06-24 2014-05-21 索弗特凯耐提克软件公司 深度测量质量增强
CN105513064A (zh) * 2015-12-03 2016-04-20 浙江万里学院 一种基于图像分割和自适应权重的立体匹配方法
CN106408513A (zh) * 2016-08-25 2017-02-15 天津大学 深度图超分辨率重建方法
CN109840912A (zh) * 2019-01-02 2019-06-04 厦门美图之家科技有限公司 一种图像中异常像素的修正方法及计算设备
CN110290395A (zh) * 2019-06-14 2019-09-27 北京奇艺世纪科技有限公司 一种图像处理方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
US20220383462A1 (en) 2022-12-01
CN113379847A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113379847B (zh) 异常像素的修正方法及设备
EP3640892B1 (en) Image calibration method and device applied to three-dimensional camera
WO2020083307A1 (en) Method, apparatus, and storage medium for obtaining depth image
EP4273794A1 (en) Image fusion method and apparatus, image processing device, and binocular system
CN112150528A (zh) 一种深度图像获取方法及终端、计算机可读存储介质
CN106600648A (zh) 标定相机内参数和畸变系数的立体编码靶标及其标定方法
CN110335211A (zh) 深度图像的校正方法、终端设备以及计算机存储介质
US20110254923A1 (en) Image processing apparatus, method and computer-readable medium
CN1584729A (zh) 图像投影方法和设备
CN115830103A (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
CN110969667A (zh) 基于边缘特征的多光谱相机外参自校正算法
CN113379812B (zh) 异常像素的滤除方法及设备
CN105466334A (zh) 多镜头视觉采集装置的镜头位置校准方法
US20200342583A1 (en) Method, apparatus and measurement device for measuring distortion parameters of a display device, and computer-readable medium
CN107172323B (zh) 大视场摄像头的图像去暗角方法及装置
CN111624580B (zh) 飞行时间模组的校正方法、校正装置和校正系统
CN117557657A (zh) 基于ChArUco标定板的双目鱼眼相机标定方法及系统
CN112419427A (zh) 用于提高飞行时间相机精度的方法
CN115035168B (zh) 基于多约束的光伏面板多源图像配准方法、装置及系统
CN113379816B (zh) 结构变动检测方法、电子设备及存储介质
CN115018922A (zh) 畸变参数标定方法、电子设备和计算机可读存储介质
KR20130041440A (ko) 영상 처리 장치 및 방법
CN112213711B (zh) 一种tof相机的校准方法
CN111311690B (zh) 一种深度相机的标定方法、装置、终端及计算机存储介质
CN114964032A (zh) 基于机器视觉的盲孔深度测量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant