CN111724430A - 一种图像处理方法、装置及计算机可读存储介质 - Google Patents

一种图像处理方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111724430A
CN111724430A CN201910219962.9A CN201910219962A CN111724430A CN 111724430 A CN111724430 A CN 111724430A CN 201910219962 A CN201910219962 A CN 201910219962A CN 111724430 A CN111724430 A CN 111724430A
Authority
CN
China
Prior art keywords
image
current frame
gray
depth map
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910219962.9A
Other languages
English (en)
Inventor
苏晓明
刘殿超
王刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201910219962.9A priority Critical patent/CN111724430A/zh
Priority to JP2020038576A priority patent/JP7004019B2/ja
Priority to EP20162542.3A priority patent/EP3712841B1/en
Publication of CN111724430A publication Critical patent/CN111724430A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像处理方法，包括：获取连续帧图像，生成当前帧图像的深度图和灰度直方图，如果当前帧的灰度直方图不满足预设的第一条件，则输出当前帧图像的深度图，如果所生成的灰度直方图满足第一条件，则进一步判断灰度直方图是否满足预设的第二条件，如果所述灰度直方图满足第二条件，则校正当前帧图像的深度图，并且输出校正后的当前帧图像的深度图。其中，所述第一条件为所生成的灰度直方图的整体灰度值小于第一阈值。所述第二条件为在所生成的灰度直方图中灰度值大于第二阈值的灰度区间内，相邻灰度值的像素数量差值大于第三阈值。

Description

一种图像处理方法、装置及计算机可读存储介质
技术领域
本发明涉及图像处理领域。更具体地，本发明涉及一种图像处理方法、装置及计算机可读存储介质。
背景技术
在图像处理领域中，深度图可以表示图像中对象的表面距视点(如，车辆上的相机)的距离有关的信息。由于深度图可以用于逐像素的产生逼真的3D图像，因此，现在越来越普遍地通过其来产生3D内容，以进一步应用于诸如自动驾驶、3D重建、增强现实和虚拟现实等场景。例如，对于自动驾驶系统，精确的深度预测可以有效地与姿态估计相互作用并提高姿势结果的准确性，通过对所拍摄的图像的精确深度预测，可以进行测距以及轻松地避开障碍物。
然而，深度信息往往容易受到诸如光照、环境、模糊等外部因素的影响，因而准确的估计深度信息是具有挑战的。例如，在画面较暗的图像中，该图像的深度信息会受到较亮光线的影响而导致深度估计不准确。因此，需要一种能够准确进行深度估计的图像处理方法、装置及计算机可读存储介质。
发明内容
至少为解决上述现有技术中存在的问题，根据本发明的一个方面，提供一种图像处理方法，包括：获取连续帧图像；生成所述连续帧图像中的当前帧图像的深度图和灰度直方图；如果所述当前帧的所述灰度直方图不满足预设的第一条件，则输出所述当前帧图像的所述深度图；如果所生成的灰度直方图满足所述第一条件，则进一步判断所述灰度直方图是否满足预设的第二条件；如果所述灰度直方图满足所述第二条件，则校正所述当前帧图像的深度图，并且输出校正后的当前帧图像的深度图。
根据本发明的另一个方面，提供一种图像处理装置，包括：获取单元，配置为获取连续帧图像；生成单元，配置为生成所述连续帧图像中的当前帧图像的深度图和灰度直方图；处理单元，配置为：如果所述当前帧的所述灰度直方图不满足预设的第一条件，则输出所述当前帧图像的所述深度图；如果所生成的灰度直方图满足所述第一条件，则进一步判断所述灰度直方图是否满足预设的第二条件；如果所述灰度直方图满足所述第二条件，则校正所述当前帧图像的深度图，并且输出校正后的当前帧图像的深度图。
根据本发明的一个实施例，其中，所述第一条件包括：所生成的所述灰度直方图的整体灰度值小于第一阈值。
根据本发明的一个实施例，其中，所述第二条件包括：在所生成的所述灰度直方图中灰度值大于第二阈值的灰度区间内，具有相邻灰度值的像素数量差值大于第三阈值。
根据本发明的一个实施例，其中，所述校正所述当前帧图像的深度图包括：识别当前帧图像中的至少一个第一对象；计算与所述至少一个第一对象相关联的像素的深度值的准确度；比较与所述至少一个第一对象相关联的像素的深度值的准确度与准确度阈值；以及如果确定在与所述至少一个第一对象相关联的像素中存在深度值的准确度低于所述准确度阈值的至少一个第一像素，则校正所述至少一个第一像素的深度值。
根据本发明的一个实施例，其中，所述计算与所述第一对象相关联的像素的深度值的准确度包括：确定在先前帧图像中与所述至少一个第一对象相对应的至少一个第二对象；计算与所述至少一个第一对象相关联的像素的深度值和与所述至少一个第二对象的对应像素的深度值之间的差，作为与所述至少一个第一对象相关联的像素的深度值的准确度。
根据本发明的一个实施例，其中，所述校正所述至少一个第一像素的深度值包括：基于与所述第一对象相关联的、其准确度不低于所述准确度阈值的像素的深度值，校正所述第一像素的深度值；或者，基于与所述先前帧图像中的第二对象的对应像素的深度值，校正所述第一像素的深度值。
根据本发明的一个实施例，其中，基于深度神经网络生成所述当前帧图像的深度图。
根据本发明的另一个方面，提供一种图像处理装置，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述装置执行图像处理方法，所述方法包括：获取连续帧图像；生成所述连续帧图像中的当前帧图像的深度图和灰度直方图；如果所述当前帧的所述灰度直方图不满足预设的第一条件，则输出所述当前帧图像的所述深度图；如果所生成的灰度直方图满足所述第一条件，则进一步判断所述灰度直方图是否满足预设的第二条件；如果所述灰度直方图满足所述第二条件，则校正所述当前帧图像的深度图，并且输出校正后的当前帧图像的深度图。
根据本发明的另一个方面，提供一种计算机可读存储介质，其上存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行图像处理方法，所述方法包括：获取连续帧图像；生成所述连续帧图像中的当前帧图像的深度图和灰度直方图；如果所述当前帧的所述灰度直方图不满足预设的第一条件，则输出所述当前帧图像的所述深度图；如果所生成的灰度直方图满足所述第一条件，则进一步判断所述灰度直方图是否满足预设的第二条件；如果所述灰度直方图满足所述第二条件，则校正所述当前帧图像的深度图，并且输出校正后的当前帧图像的深度图。
通过本发明的上述图像处理方法、装置及计算机可读存储介质，能够基于灰度直方图来判断所获取的图像是否需要进行深度校正，并且将校正后的深度图输出，以提供准确的深度估计。并且，本发明所提出的方法能够基于所确定的准确的深度信息来校正需要进行深度校正的深度图，进一步改善了深度估计的效率和准确性。
附图说明
通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚。应当理解，附图用来提供对本发明实施例的进一步理解，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。
图1示出了根据本发明实施例的图像处理方法的流程图；
图2示出了根据本发明实施例的灰度直方图的示意图；
图3A和图3B示出了根据本发明实施例的原始图像及其对应的深度图的两个示例的图；
图4示出了根据本发明实施例的原始图像及其对应的灰度直方图的示意图；
图5示出了根据本发明实施例的深度图校正处理的流程图；
图6示出了使用segnet方法将图像分割成不同类别的示例图；
图7示出了根据本发明实施例的原始图像及其校正后的深度图的示意图；
图8示出了根据本发明实施例的图像处理装置的框图；以及
图9示出了根据本发明实施例的图像处理装置的框图。
具体实施方式
下面将参照附图来描述根据本发明实施例的图像处理方法、装置和计算机可读存储介质。在附图中，相同的参考标号自始至终表示相同的元件。应当理解，本文描述的实施例仅仅是说明性的，而不应被解释为限制本发明的范围。
本发明实施例的图像处理方法既可以应用于一系列连续的静态图像，也可以应用于随时间变化的视频中的视频帧等，在此不进行限制。下面将参照图1描述根据本发明实施例的图像处理方法，图1示出图像处理方法100的流程图，如图1所示，所述图像处理方法100可以包括如下步骤：
在步骤S101中，获取连续帧图像。根据本发明的实施例，获取连续帧图像可以包括但不限于以下：经由有线或者无线的方式接收连续帧图像。替代地，获取所述连续帧图像还可以包括：从存储器获取预先存储的连续帧图像，或者通过诸如相机等图像捕捉设备所捕捉的连续帧图像。其中，所述连续帧图像可以是图像捕捉设备捕捉的原始图像，该原始图像可以是黑白的、灰度的或彩色的，并且也可以是对原始图像进行各种图像预处理之后获得的处理后的图像。其中，所述图像预处理包括但不限于：例如，裁剪、缩放、变形或去噪等处理。
此后，处理进入到步骤S102。
在步骤S102中，生成所述连续帧图像中的当前帧图像的深度图和灰度直方图。
首先，参照图2描述根据本发明实施例的灰度直方图。如公知的，灰度直方图是关于图像灰度分布的函数，是对图像中的灰度值分布的统计图。因此，通过灰度直方图可以表示图像中具有某种灰度级的像素的个数，以反映图像中某种灰度的像素出现的频率，并能够直观地展示出图像中各个灰度级的像素在图像中所占的比例。
如图2所示，在根据本发明实施例的灰度直方图中，将所获取的图像中的所有像素按照灰度值的大小，统计具有各个灰度值的像素个数，其中，横轴是像素的灰度值，纵轴是具有各个灰度值的像素的数量。根据本发明的实施例，灰度值可以被分为0到255共256个数值，其中0表示纯黑色的最暗区域，255表示纯白色的最亮区域，而中间的灰度值表示不同亮度的灰色。进一步如图2所示，可以把灰度直方图分为5个区域：黑色区域、阴影区域、曝光度区域、高光区域和白色区域，其中，位于横轴中间的曝光度区域的像素是图像的灰度适中的像素，在该区域内的图像影调通常非常丰富，并且大量有用的图像信息、细节均可以在具有适中亮度的曝光度区域中被表现出来，而在横轴左端的黑色区域(最暗)和右端的白色区域(最亮)中通常不存在任何细节。因此，根据图像的灰度直方图可以反映该图像的整体明暗程度。
接下来，参照图3A和3B描述根据本发明实施例的图像及其深度图。如上所述，深度图中包括图像中各像素的深度信息，所述深度信息可以用于表示与图像中对象的表面距视点的距离有关的信息，即在深度图中，每个像素不仅对应坐标系中的2D像素(像素在X-Y平面的位置)，还可以利用深度信息定义了其在Z轴的位置，由此可以逐像素的构建3D图像。具体地，例如在自动驾驶领域，可以实时从车辆相机获得一系列帧图像，图像的深度信息可以表示图像中的对象表面距离照相机或摄像机平面的距离。
根据本发明的实施例，如图3A和3B中的右图所示，深度图可以是由灰度像素所组成的灰度图像，这些灰度像素可以由0至255的值定义各像素的灰度值。例如，灰度像素的值越接近“0”，则该像素显示为越接近黑色，并且该像素位于场景中距离视点越远的位置，反之，灰度像素的值约接近“255”，则该像素显示为越接近白色，并且该像素位于场景中距离视点越近的位置，即像素的灰度值越小，则该像素距离视点越远，像素的灰度值越大，则该像素距离视点越近。此外，可以理解，还可以对深度图进行各种预处理，诸如“反相”处理，或者可以取决于应用场景、相机参数等预先进行设置，使得各像素的灰度像素的值与指示距离的深度信息成其他相关关系，对此不作限定。
另外，以图3A为示例，原始图像(左图)为在正常光线环境下拍摄的图像，该图像所对应的深度图(右图)以像素的灰度来描述图像中各对象(如车辆、数目、远处的山)的距离信息，从而可以利用该距离信息生成逼真的3D模型或3D图像。然而，在一些情况下，原始图像例如是在较暗环境下(例如，夜晚、隧道内等)捕捉的或者由于欠曝光等原因，导致获得的图像整体画面较暗，并且在这种图像中可能存在有高亮度的像素(例如，由于光源或反射现象等)。在此情况下，则会对部分(如高亮度区域对应的部分)或整体深度图的生成造成不利的影响。
以图3B为示例，原始图像(左图)为夜晚环境捕捉的图像，可以看到，该图像整体画面较暗，但在右侧由虚线框所示的区域内有强烈的车灯灯光，而在该原始图像的深度图(右图)右侧虚线框所示的对应区域内，由于车辆灯光的影响，没有准确地生成与该车辆相关联的深度像素，并且图像边缘的深度值不均匀，导致所生成的深度图不准确。本发明将在下文详细描述对这种不准确的深度图的处理。
此外，本发明对生成上述深度图和灰度直方图的方式不做限制，可以使用任何适合的方式或软件/硬件模块来生成所获取的连续帧图像中的当前帧图像的深度图和灰度直方图。例如，根据本发明的一个实施例，灰度直方图可以使用传统统计的数学方法而得到，或者可以基于训练后的任意深度神经网络来生成当前帧图像的深度图和/或灰度直方图，以生成更可靠的深度图和/或灰度直方图，从而使得后续的图像处理更为准确。
此后，处理进入到步骤S103。
在步骤S103中，判断在步骤S102生成的灰度直方图是否满足第一条件，其中，如果所生成的灰度直方图满足第一条件，则处理进入到步骤S104，以继续判断该灰度直方图是否满足第二条件，而如果所生成的灰度直方图不满足第一条件，则处理进入到步骤S106’，以直接输出当前帧图像的深度图。应理解，在步骤S106输出的深度图可以被保存，以用于后续的校正处理。
具体地，根据本发明的一个实施例，所述第一条件可以是所生成的灰度直方图的整体灰度值小于第一阈值。也即，在步骤S103中，判断当前帧图像的灰度直方图的整体灰度值是否小于第一阈值。通常，在画面较暗的图像对应的灰度直方图中，会在较低灰度区间内形成波峰，这是由于这种图像中存在有大量灰度值较低的像素，也正因此，此种图像往往呈现为整体画面较暗。
图4示出了根据本发明实施例的原始图像及其对应的灰度直方图的示意图。例如，以图4为例，原始图像(左图)的整体画面较暗，在其对应的灰度直方图(右图)中，在约60至130的灰度区间内形成波峰。可以理解，在其他情况下，例如，捕捉的图像欠曝光，该图像整体画面可能更暗，其灰度直方图在更低的灰度区间内形成波峰。由此可见，通过判断灰度直方图的整体灰度值是否满足第一条件，可以确定该图像是否为整体较暗的图像，进而确定该图像的深度图是否需要进行后续处理。
更具体地，根据本发明的一个实施例，所生成的灰度直方图的整体灰度值可以通过对灰度直方图中的全部像素或特定区间内的像素的灰度值的平均值来衡量，若该灰度值的平均值小于预定的灰度值(即第一阈值，诸如为100)，则判断满足第一条件。替代地，根据本发明的一个实施例，还可以通过统计在特定区间内的像素数量来衡量灰度直方图的整体灰度值，例如，可以统计在较低的灰度区间(诸如60至130灰度区间)内的像素数量，若所统计的像素数量超过预定的数量，或者若所统计的像素数量占像素数量总和的比例超过预定值，则判断满足第一条件。应理解，任何适合的方式均可用于判断所述第一条件，本发明对此并不做限制。
上文描述了在步骤S103判断所生成的灰度直方图是否满足第一条件的处理。下文将描述若满足第一条件，则进入到步骤S104的处理。具体地，如上所述，根据本发明的一个实施例，基于所生成的当前帧图像的灰度直方图，判断该图像为整体较暗的图像，在此情况下，图像的深度图可能会受到强光或其他外部因素的影响，需要进一步判断是否要对该图像进行校正，因此，处理进入到后续步骤S104。
在步骤S104中，判断所生成的灰度直方图是否满足第二条件，其中，若所生成的灰度直方图满足第二条件，则处理进入到步骤S105，以校正所述当前帧图像的深度图，以及若所生成的灰度直方图不满足第二条件，则处理进入到步骤S106’，以直接输出当前帧图像的深度图。应理解，在步骤S106输出的深度图可以被保存，以用于后续的校正处理。
根据本发明的一个实施例，所述第二条件可以包括在所生成的灰度直方图中灰度值大于第二阈值的灰度区间内，具有相邻灰度值的像素数量差值大于第三阈值。即在步骤S104中，判断当前帧图像的灰度直方图的在特定区间内是否存在超过阈值的峰值。
具体地，在整体画面较暗的图像中，图像的深度信息会受到较亮光源(诸如车灯、路灯、自然光线)的影响而导致深度估计不准确，而这些光源在图像的灰度直方图中体现为在约255的灰度值处出现峰值。仍以图4为例，原始图像(左图)为在夜晚拍摄的道路图像，该图像整体画面较暗，但在该图像右侧由虚线框所示的区域内存在较强(高亮度)的车灯灯光。在此情况下，该图像对应的灰度直方图(右图)中约255的灰度值处出现极高的峰值(虚线框所示)，这是因为灯光在灰度图像中体现为灰度值很高的像素，光线越强，则处于约255的灰度值处的像素数量越多，故在对应的灰度直方图中约255的灰度值处形成极高的峰值，如图4所示，可以看出图像具有约255的灰度值的像素约有超过140000个。可以理解，在其他情况下，光源可能较弱，则在灰度直方图中出现峰值的位置会低于255，但仍位于较高灰度值处。因此，取决于具体的应用场景、设备参数和精度需求，可以根据需要设置第二阈值和第三阈值。例如，在整体环境非常黑暗的情况下，画面整体亮度较低，而图像深度对于高亮度的光线的不利影响可能更加敏感，故可以将第三阈值设置为50000，在另外一些情况下，可以将第三阈值设置为100000或更高，以筛选出确实需要进行校正的图像的深度图。
由此可见，通过判断灰度直方图的整体灰度值是否满足第二条件，可以确定该较暗图像中是否存在高亮度对象，进而确定该图像的深度图是否需要进行后续处理。
此外，在整体画面较暗的图像的灰度直方图中，通常在高光区域内会形成断崖(即相邻灰度值的像素数量骤降)。并且，如果在该较暗图像中存在较高亮度的对象(诸如光源、反射现象)，在形成断崖之后的灰度区间内出现极高的峰值。再次以图4为例，在原始图像对应的灰度直方图(右图)中，约在灰度值250处形成断崖，而由于该原始图像中存在车灯灯光，峰值在灰度值250之后的灰度区间内形成。由此，通过灰度直方图的上述特性，可以更准确地定位出现对应于较暗图像中高亮度对象的峰值的灰度范围，进一步改善根据本发明实施例的图像处理的准确性。
上文描述了在步骤S104判断所生成的灰度直方图是否满足第二条件的处理。下文将描述若满足第二条件，则进入到步骤S105的处理。具体地，如上所述，根据本发明的一个实施例，基于所生成的当前帧图像的灰度直方图，判断该较暗图像中存在高亮度对象，在此情况下，该当前帧图像的深度图会受到不利影响，需要对该当前帧图像的深度图进行校正，因此，处理进入到后续步骤S105。
在步骤S105中，校正所述当前帧图像的深度图。下文将结合图5描述根据本发明实施例的深度图校正的具体处理。
图5示出了根据本发明实施例的深度图校正处理的流程图。如图5所示，所述深度图校正处理500可以包括如下步骤：
在步骤S501中，识别当前帧图像中的第一对象。根据本发明的一个实施例，可以基于任意的训练后深度神经网络来实现对该图像识别。例如，利用诸如mask rcnn、segnet等算法对当前帧图像分割成不同类别，以识别出当前帧图像中感兴趣的第一对象。优选地，如图6所示，所述感兴趣的第一对象是图像中的动态对象，诸如车辆。
图6示出了使用segnet方法将图像分割成不同类别的示例图。如图6所示，可以识别出图中的车辆作为至少一个第一对象。并且可以理解，在此处理过程中，可以获得该对象的轮廓、位置、深度等图像信息，具体处理为本领域人员所公知，在此不予赘述。应理解，本发明不受具体采用的识别方法的限制，无论是现有的识别方法还是将来开发的识别方法均可以应用于根据本发明实施例的方法中。此后，处理进到步骤S502。
在步骤S502中，计算与所述第一对象相关联的像素的深度值的准确度。其中，所述准确度用于衡量对应像素的深度值是否可靠，也即，所述准确度越小，则说明该点像素的深度值越不准确，反之则说明该点像素的深度值越准确。此后，处理进到步骤S503。在步骤S503中，比较所述第一对象相关联的像素的深度值的准确度与准确度阈值。
根据本发明的一个实施例，计算与所述第一对象相关联的像素的深度值的准确度包括确定在先前帧图像中与所述第一对象相对应的第二对象，计算与所述第一对象相关联的像素的深度值和与所述第二对象的对应像素的深度值之间的差，作为与所述第一对象相关联的像素的深度值的准确度。其中，先前帧图像可以是连续帧图像中的在当前帧图像之前一帧或多帧的图像，由于一系列图像帧是连续的并且各个帧之间间隔很短，在当前帧图像中的至少一个第一对象会连续地出现在至少一个先前帧图像中，即在先前帧图像中作为第二对象，因此该第二对象与第一对象是相对应的，并且在所述第二对象内的各像素与在所述第一对象内的各像素也是一一对应的，这种对应关系可以通过诸如特征点匹配等方式进行确定。在此基础上，获得与所述至少一个第一对象和与其对应的第二对象相关联的每个像素的深度值，并逐一计算第一对象和第二对象的对应像素的深度值的差值，作为与所述第一对象相关联的像素的深度值的准确度。具体地，可由以下公式表示：
Figure BDA0002003261390000091
其中，i和i’分别表示与第一对象相关联的特定像素和第二对象的对应像素的索引，Ai表示与第一对象相关联的特定像素i的深度的准确度，Di为与第一对象相关联的特定像素i的深度值，Di′为与第二对象的对应像素i’的深度值。这里，所述第一对象与第二对象相对应，所述像素i与像素i’也是一一对应的。
在步骤S504中，如果确定在与所述第一对象相关联的像素中存在深度值的准确度低于所述准确度阈值的至少一个第一像素，则校正所述第一像素的深度值。
根据本发明的实施例，所述校正所述第一像素的深度值可以包括基于第一对象中的、具有不低于准确度阈值的准确度的至少一个像素的深度值，来校正其准确度低于所述准确度阈值的至少一个像素(即第一像素)的深度值。具体地，由于可以认为在当前帧图像中同一对象内各像素距视点的距离是相似的，可以用在当前帧图像中判断为第一对象中的、其准确度不低于准确度阈值的像素的深度值作为替代第一像素的深度值的深度值，从而更新其准确度低于所述准确度阈值的至少一个像素(第一像素)，以校正第一对象的整体深度估计，或者，可以对这些替代像素(准确度不低于准确度阈值的像素)的深度值求平均值，并用平均后的深度值更新第一像素的深度值以实现深度校正。进一步地，可以基于这些替代像素距与要填充的像素的相似性(诸如，基于像素间的欧氏距离)来为每个替代像素的深度值赋予权值，并在此基础上计算各替代像素加权后的深度值的平均值，以用于更新第一像素的深度值。
在一些情况下，当前帧图像的对象内的深度值可能都不理想，则考虑使用先前帧图像中的对应对象的深度值来校正当前帧图像的深度图。替代地，根据本发明的另一个实施例，由于所获取的一系列图像帧是连续的并且各个帧之间的间隔很短，并且，根据本发明实施例的图像处理方法，先前帧图像的深度图是无需进行校正的或是已被校正的深度图，因此，利用先前帧图像中对应的像素的深度值进行校正是更理想的。具体地，可以在与当前帧图像的对象的像素中不存在深度值的准确度高于(不低于)所述准确度阈值的第一像素的情况下，基于与所述先前帧图像中的第二对象中的对应像素的深度值，校正其准确度低于所述准确度阈值的像素(即第一像素)的深度值，或者可以直接基于与所述先前帧图像中的第二对象中的对应像素的深度值，校正其准确度低于所述准确度阈值的像素(即第一像素)的深度值。
此外，在一些情况下，图像中影响深度的光线的亮度是逐渐增强的，例如，车辆从远到近驶来，车灯亮度范围越来越大，车辆在远处时，画面整体较暗的图像中即使存在一些较弱的光线，可能对图像的深度图的影响是可接受的而无需校正，并且考虑到相邻两帧图像中同一对象的深度通常是最接近的，因此，可以将这样的图像的深度图进行保存，并用于校正连续帧图像中后续需要校正的图像的深度图可能是更理想的。
具体地，根据本发明的另一实施例，在步骤S104中判断满足第二条件后，可选地进一步判断灰度直方图是否满足第三条件，所述第三条件为当前帧图像的灰度直方图的特定区间内存在超过第四阈值的峰值，所述第四阈值大于第三阈值。如果满足该第三条件，则说明当前帧图像的深度图将显著地受到诸如光线等的不利影响，此时处理进入到后续步骤S105，以对当前帧图像的深度图进行校正，并在步骤S106输出校正后的深度图。如果不满足该第三条件，则认为当前帧图像的深度图依然是可以接受的，此时处理进入到步骤S106，以输出当前帧图像的深度图。
例如，根据本发明的一个实施例，第三阈值可以是50000，第四阈值可以是100000。具体举例说明，在连续两帧图像的前一帧图像中，车辆在远处的灯光较弱，对应在图像的灰度直方图中的255的灰度处，大约仅有40000个像素，此时图像的深度估计并未受到很大的不利影响，其深度图的准确性是可以接受的，而在下一帧图像中，车辆行驶到近处，灯光强烈且光照范围变大，对应在图像的灰度直方图中的255的灰度处，大约仅有超过100000个像素(例如图4的情况)，此时图像的深度图需要被校正。
回到步骤S105，当前帧图像的深度图经过校正后，则进入到后续步骤S106，以输出校正后的深度图。
整体上，根据图1的流程图所示，首先在步骤S101获取连续帧图像，在步骤S102中生成灰度直方图，若所生成的灰度直方图在步骤S103或步骤S104中判断不满足所述第一条件或第二条件，则在步骤S106’直接输出当前帧图像的深度图，在此情况下，输出的深度图是无需校正的深度图。此外，在步骤S102中生成的灰度直方图若在步骤S103和步骤S104中判断满足所述第一条件和第二条件，则在步骤S105对当前帧图像的深度图进行校正，并在步骤S106输出校正后的深度图，在此情况下，所输出的深度图是经过校正的。应理解，可以保存在步骤S106和S106’中输出的深度图，所述输出的深度图包括直接输出的和经过校正的深度图，以用于连续帧图像的后续帧图像的深度图校正。
图7示出了根据本发明实施例的原始图像及其校正后的深度图的示意图。如图7所示，原始图像(左图)与图3B左图相同，如上所述，由图3B右图可以看到，其深度图的右侧虚线框所示的对应区域内没有准确地生成与该车辆相关联的深度像素。相比之下，通过本发明所提出的上述图像处理方法，对该深度图进行校正后，如图7右图所示，与车辆轮廓被有效地还原，并且图像边缘的深度是均匀的，该图像的深度图的准确性经过校正被显著地改善了。
下面，参照图8来描述根据本发明实施例的图像处理装置。图8示出了根据本发明实施例的图像处理装置800的框图。如图8所示，图像处理装置800可以包括：获取单元810、生成单元820，以及处理单元830。应理解，除了上述单元以外，图像处理装置800还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此在这里省略其图示和描述。此外，由于根据本发明实施例的图像处理装置800执行的下述操作的具体细节与在上文中参照图1至图7描述的细节相同，因此在这里为了避免重复而省略对相同细节的重复描述。
获取单元810，配置为获取连续帧图像。根据本发明的实施例，所述获取单元810可以是诸如照相机、摄像机等图像采集装置。并且，获取单元810可以与图像处理装置800中的其他模块在物理位置上分离，并且经由有线或者无线方式，由所述获取单元810将获取的图像传输给图像处理装置800中的其他模块。可替代地，获取单元810可以与图像处理装置800中的其他模块或组件物理上位于同一位置甚至位于同一机壳内部，所述图像处理装置800中的其他模块或组件经由内部总线接收由获取单元810获取的图像。所述获取单元810执行的具体处理与上文描述的步骤S101的相应内容一致。
生成单元820，配置为生成所述连续帧图像中的当前帧图像的深度图和灰度直方图。所述生成单元820执行的具体处理与上文描述的步骤S102的相应内容一致。
此外，本发明对生成单元820生成上述深度图和灰度直方图的方式不做限制，可以使用任何适合的方式或软件/硬件模块作为生成单元820来生成所获取的连续帧图像中的当前帧图像的深度图和灰度直方图。例如，根据本发明的一个实施例，生成单元820可以基于训练后的任意深度神经网络来生成当前帧图像的深度图和灰度直方图，以生成更可靠的深度图和灰度直方图，从而使得后续的图像处理更为准确。
处理单元830，配置为：若所生成的灰度直方图满足第一条件，则输出所述当前帧图像的深度图，若不满足所述第一条件，判断所生成的灰度直方图是否满足第二条件。其中，若满足所述第二条件，则输出所述当前帧图像的深度图，若不满足所述第二条件，则校正所述当前帧图像的深度图，并且输出校正后的当前帧图像的深度图。所述处理单元830执行的具体处理与上文描述的步骤S103至S106的相应内容一致。
首先，处理单元830判断生成的灰度直方图是否满足第一条件，其中，如果所生成的灰度直方图满足第一条件，则处理单元830继续判断该灰度直方图是否满足第二条件，而如果所生成的灰度直方图不满足第一条件，则处理单元830直接输出当前帧图像的深度图。应理解，处理单元830输出的深度图可以被保存，以用于后续的校正处理。
具体地，根据本发明的一个实施例，所述第一条件可以是所生成的灰度直方图的整体灰度值小于第一阈值。也即，处理单元830判断当前帧图像的灰度直方图的整体灰度值是否小于第一阈值。通常，在画面较暗的图像对应的灰度直方图中，会在较低灰度区间内形成波峰，这是由于这种图像中存在有大量灰度值较低的像素，也正因此，此种图像往往呈现为整体画面较暗。
更具体地，根据本发明的一个实施例，生成单元820生成的灰度直方图的整体灰度值，可以通过处理单元830对灰度直方图中的全部像素或特定区间内的像素的灰度值的平均值来衡量，若该灰度值的平均值小于预定的灰度值(即第一阈值，诸如为100)，则处理单元830判断满足第一条件。替代地，根据本发明的一个实施例，还可以通过处理单元830统计在特定区间内的像素数量来衡量灰度直方图的整体灰度值，例如，处理单元830可以统计在较低的灰度区间(诸如60至130灰度区间)内的像素数量，若所统计的像素数量超过预定的数量，或者若所统计的像素数量占像素数量总和的比例超过预定值，则处理单元830判断满足第一条件。应理解，任何适合的方式均可用于处理单元830判断所述第一条件，本发明对此并不做限制。
如上所述，处理单元830基于所生成的当前帧图像的灰度直方图，判断该图像为整体较暗的图像，在此情况下，图像的深度图可能会受到强光或其他外部因素的影响，需要处理单元830进一步判断是否要对该图像进行校正。
接下来，处理单元830判断所生成的灰度直方图是否满足第二条件，其中，若所生成的灰度直方图满足第二条件，则处理单元830校正所述当前帧图像的深度图，以及若所生成的灰度直方图不满足第二条件，则处理单元830直接输出当前帧图像的深度图。应理解，处理单元830输出的深度图可以被保存，以用于后续的校正处理。
根据本发明的一个实施例，所述第二条件可以包括在所生成的灰度直方图中灰度值大于第二阈值的灰度区间内，具有相邻灰度值的像素数量差值大于第三阈值。即处理单元830判断当前帧图像的灰度直方图在特定区间内是否存在超过阈值的峰值。
具体地，在整体画面较暗的图像中，图像的深度信息会受到较亮光源(诸如车灯、路灯、自然光线)的影响而导致深度估计不准确，而这些光源在图像的灰度直方图中体现为在约255的灰度值处出现峰值。仍以图4为例，原始图像(左图)为在夜晚拍摄的道路图像，该图像整体画面较暗，但在该图像右侧由虚线框所示的区域内存在较强(高亮度)的车灯灯光。在此情况下，该图像对应的灰度直方图(右图)中约255的灰度值处出现极高的峰值(虚线框所示)，这是因为灯光在灰度图像中体现为灰度值很高的像素，光线越强，则处于约255的灰度值处的像素数量越多，故在对应的灰度直方图中约255的灰度值处形成极高的峰值，如图4所示，可以看出图像具有约255的灰度值的像素约有超过140000个。可以理解，在其他情况下，光源可能较弱，则在灰度直方图中出现峰值的位置会低于255，但仍位于较高灰度值处。因此，取决于具体的应用场景、设备参数和精度需求，可以根据需要设置第二阈值和第三阈值。例如，在整体环境非常黑暗的情况下，画面整体亮度较低，而图像深度对于高亮度的光线的不利影响可能更加敏感，故可以将第三阈值设置为50000，在另外一些情况下，可以将第三阈值设置为100000或更高，以筛选出确实需要进行校正的图像的深度图。
由此可见，处理单元830通过判断灰度直方图的整体灰度值是否满足第二条件，可以确定该较暗图像中是否存在高亮度对象，进而处理单元830确定该图像的深度图是否需要进行后续处理。
此外，在整体画面较暗的图像的灰度直方图中，通常在高光区域内会形成断崖(即相邻灰度值的像素数量骤降)。并且，如果在该较暗图像中存在较高亮度的对象(诸如光源、反射现象)，在形成断崖之后的灰度区间内出现极高的峰值。再次以图4为例，在原始图像对应的灰度直方图(右图)中，约在灰度值250处形成断崖，而由于该原始图像中存在车灯灯光，峰值在灰度值250之后的灰度区间内形成。由此，通过灰度直方图的上述特性，可以更准确地定位出现对应于较暗图像中高亮度对象的峰值的灰度范围，进一步改善根据本发明实施例的图像处理的准确性。
上文描述了处理单元830判断所生成的灰度直方图是否满足第二条件的处理。下文将描述若满足第二条件，则处理单元830对当前帧图像的深度图进行校正的处理。具体地，如上所述，根据本发明的一个实施例，处理单元830基于所生成的当前帧图像的灰度直方图，判断该较暗图像中存在高亮度对象，在此情况下，该当前帧图像的深度图会受到不利影响，需要处理单元830对该当前帧图像的深度图进行校正。
图5示出了根据本发明实施例的深度图校正处理的流程图。上文已经结合图5描述了根据本发明实施例的深度图校正的具体处理，处理单元830执行的校正处理与上文描述一致，故在此不再赘述。
此外，在一些情况下，图像中影响深度的光线的亮度是逐渐增强的，例如，车辆从远到近驶来，车灯亮度范围越来越大，车辆在远处时，画面整体较暗的图像中即使存在一些较弱的光线，可能对图像的深度图的影响是可接受的而无需校正，并且考虑到相邻两帧图像中同一对象的深度通常是最接近的，因此，可以将这样的图像的深度图进行保存，并用于校正连续帧图像中后续需要校正的图像的深度图可能是更理想的。
具体地，根据本发明的另一实施例，在处理单元830判断满足第二条件后，可选地进一步判断灰度直方图是否满足第三条件，所述第三条件为当前帧图像的灰度直方图的特定区间内存在超过第四阈值的峰值，所述第四阈值大于第三阈值。如果满足该第三条件，则说明当前帧图像的深度图将显著地受到诸如光线等的不利影响，此时处理单元830对当前帧图像的深度图进行校正，并输出校正后的深度图。如果不满足该第三条件，则认为当前帧图像的深度图依然是可以接受的，此时处理单元830直接输出当前帧图像的深度图。
处理单元830对当前帧图像的深度图进行校正后，输出校正后的深度图。
整体上，根据图1的流程图所示，首先获取单元810获取连续帧图像，生成单元820生成灰度直方图，若处理单元830判断所生成的灰度直方图不满足所述第一条件或第二条件，则处理单元830直接输出当前帧图像的深度图，在此情况下，输出的深度图是无需校正的深度图。此外，若处理单元830判断所生成的灰度直方图满足所述第一条件和第二条件，则处理单元830对当前帧图像的深度图进行校正，并输出校正后的深度图，在此情况下，所输出的深度图是经过校正的。应理解，可以保存输出的深度图，所述输出的深度图包括直接输出的和经过校正的深度图，以用于连续帧图像的后续帧图像的深度图校正。
下面，参照图9来描述根据本发明实施例的图像处理装置。图9示出了根据本发明实施例的图像处理装置900的框图。如图9所示，该装置900可以是计算机或服务器。
如图9所示，图像处理装置900包括一个或多个处理器910以及存储器920，当然，除此之外，图像处理装置900还可能包括输入装置、输出装置(未示出)等，这些组件可以通过总线系统和/或其它形式的连接机构互连。应当注意，图9所示的图像处理装置900的组件和结构只是示例性的，而非限制性的，根据需要，图像处理装置900也可以具有其他组件和结构。
处理器910可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以利用存储器920中所存储的计算机程序指令以执行期望的功能，可以包括：获取连续帧图像，生成所述连续帧图像中的当前帧图像的深度图和灰度直方图，如果所述当前帧的所述灰度直方图不满足预设的第一条件，则输出所述当前帧图像的所述深度图，如果所生成的灰度直方图满足所述第一条件，则进一步判断所述灰度直方图是否满足预设的第二条件，如果所述灰度直方图满足所述第二条件，则校正所述当前帧图像的深度图，并且输出校正后的当前帧图像的深度图。
存储器920可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器910可以运行所述程序指令，以实现上文所述的本发明的实施例的图像处理装置的功能以及/或者其它期望的功能，并且/或者可以执行根据本发明实施例的图像处理方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。
下面，描述根据本发明实施例的计算机可读存储介质，其上存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行图像处理方法，所述方法包括：获取连续帧图像，生成所述连续帧图像中的当前帧图像的深度图和灰度直方图，如果所述当前帧的所述灰度直方图不满足预设的第一条件，则输出所述当前帧图像的所述深度图，如果所生成的灰度直方图满足所述第一条件，则进一步判断所述灰度直方图是否满足预设的第二条件，如果所述灰度直方图满足所述第二条件，则校正所述当前帧图像的深度图，并且输出校正后的当前帧图像的深度图。
应理解，上述图像处理装置中的各模块均可以由硬件实现，也可以由软件实现，也可以由硬件和软件结合来实现。
当然，上述的具体实施例仅是示例性的而非限制，且本领域技术人员可以根据本发明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果，这种合并和组合而成的实施例也被包括在本发明中，在此不一一描述这种合并和组合。
注意，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述发明的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不希望要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
本发明中的步骤流程图以及以上方法描述仅作为例示性的例子并且不希望要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不希望限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。
另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本发明的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本发明的范围内。
以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(ASIC)或处理器。
可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(DSP)、ASIC、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。
结合本发明描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。
在此发明的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。
所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是可以由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，盘(disc)包括紧凑盘(CD)、激光盘、光盘、数字通用盘(DVD)、软盘和蓝光盘。
因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。
软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。
此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件(例如RAM、ROM、诸如CD或软盘等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。
其他例子和实现方式在本发明和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本发明的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所发明的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不应被限制到在此示出的方面，而是按照与在此发明的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。并且，此描述不应将本发明的实施例限制到在此发明的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种图像处理方法，包括：
获取连续帧图像；
生成所述连续帧图像中的当前帧图像的深度图和灰度直方图；
如果所述当前帧的所述灰度直方图不满足预设的第一条件，则输出所述当前帧图像的所述深度图；
如果所生成的灰度直方图满足所述第一条件，则进一步判断所述灰度直方图是否满足预设的第二条件；
如果所述灰度直方图满足所述第二条件，则校正所述当前帧图像的深度图，并且输出校正后的当前帧图像的深度图。
2.根据权利要求1所述的方法，其中，所述第一条件包括：
所生成的所述灰度直方图的整体灰度值小于第一阈值。
3.根据权利要求1所述的方法，其中，所述第二条件包括：
在所生成的所述灰度直方图中灰度值大于第二阈值的灰度区间内，具有相邻灰度值的像素数量差值大于第三阈值。
4.根据权利要求1所述的方法，其中，所述校正所述当前帧图像的深度图包括：
识别当前帧图像中的至少一个第一对象；
计算与所述至少一个第一对象相关联的像素的深度值的准确度；
比较与所述至少一个第一对象相关联的像素的深度值的准确度与准确度阈值；以及
如果确定在与所述至少一个第一对象相关联的像素中存在深度值的准确度低于所述准确度阈值的至少一个第一像素，则校正所述至少一个第一像素的深度值。
5.根据权利要求4所述的方法，其中，所述计算与所述第一对象相关联的像素的深度值的准确度包括：
确定在先前帧图像中与所述至少一个第一对象相对应的至少一个第二对象；
计算与所述至少一个第一对象相关联的像素的深度值和与所述至少一个第二对象的对应像素的深度值之间的差，作为与所述至少一个第一对象相关联的像素的深度值的准确度。
6.根据权利要求4或5所述的方法，其中，所述校正所述至少一个第一像素的深度值包括：
基于与所述第一对象相关联的、其准确度不低于所述准确度阈值的像素的深度值，校正所述第一像素的深度值；或者，
基于与所述先前帧图像中的第二对象的对应像素的深度值，校正所述第一像素的深度值。
7.根据权利要求1所述的方法，其中，基于深度神经网络生成所述当前帧图像的深度图。
8.一种图像处理装置，包括：
获取单元，配置为获取连续帧图像；
生成单元，配置为生成所述连续帧图像中的当前帧图像的深度图和灰度直方图；
处理单元，配置为：
如果所述当前帧的所述灰度直方图不满足预设的第一条件，则输出所述当前帧图像的所述深度图；
如果所生成的灰度直方图满足所述第一条件，则进一步判断所述灰度直方图是否满足预设的第二条件；
如果所述灰度直方图满足所述第二条件，则校正所述当前帧图像的深度图，并且输出校正后的当前帧图像的深度图。
9.一种图像处理装置，包括：
存储器，用于存储非暂时性计算机可读指令；以及
处理器，用于运行所述计算机可读指令，使得所述装置执行图像处理方法，所述方法包括：
获取连续帧图像；
生成所述连续帧图像中的当前帧图像的深度图和灰度直方图；
如果所述当前帧的所述灰度直方图不满足预设的第一条件，则输出所述当前帧图像的所述深度图；
如果所生成的灰度直方图满足所述第一条件，则进一步判断所述灰度直方图是否满足预设的第二条件；
如果所述灰度直方图满足所述第二条件，则校正所述当前帧图像的深度图，并且输出校正后的当前帧图像的深度图。
10.一种计算机可读存储介质，其上存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行图像处理方法，所述方法包括：
获取连续帧图像；
生成所述连续帧图像中的当前帧图像的深度图和灰度直方图；
如果所述当前帧的所述灰度直方图不满足预设的第一条件，则输出所述当前帧图像的所述深度图；
如果所生成的灰度直方图满足所述第一条件，则进一步判断所述灰度直方图是否满足预设的第二条件；
如果所述灰度直方图满足所述第二条件，则校正所述当前帧图像的深度图，并且输出校正后的当前帧图像的深度图。
CN201910219962.9A 2019-03-22 2019-03-22 一种图像处理方法、装置及计算机可读存储介质 Withdrawn CN111724430A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910219962.9A CN111724430A (zh) 2019-03-22 2019-03-22 一种图像处理方法、装置及计算机可读存储介质
JP2020038576A JP7004019B2 (ja) 2019-03-22 2020-03-06 画像処理方法、装置及びコンピュータ読み取り可能な記録媒体
EP20162542.3A EP3712841B1 (en) 2019-03-22 2020-03-11 Image processing method, image processing apparatus, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910219962.9A CN111724430A (zh) 2019-03-22 2019-03-22 一种图像处理方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111724430A true CN111724430A (zh) 2020-09-29

Family

ID=69804737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910219962.9A Withdrawn CN111724430A (zh) 2019-03-22 2019-03-22 一种图像处理方法、装置及计算机可读存储介质

Country Status (3)

Country Link
EP (1) EP3712841B1 (zh)
JP (1) JP7004019B2 (zh)
CN (1) CN111724430A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465891A (zh) * 2020-12-11 2021-03-09 杭州海康机器人技术有限公司 一种深度图像获得方法、装置、电子设备及存储介质
CN113949830A (zh) * 2021-09-30 2022-01-18 国家能源集团广西电力有限公司 一种图像处理方法
CN115330779A (zh) * 2022-10-13 2022-11-11 四川迪晟新达类脑智能技术有限公司 民用爆破中基于火光和烟尘的爆破时刻确认方法及系统
CN116310448A (zh) * 2023-05-24 2023-06-23 山东曙岳车辆有限公司 基于计算机视觉的集装箱拼装匹配性检测方法
CN117522760A (zh) * 2023-11-13 2024-02-06 书行科技(北京)有限公司 图像处理方法、装置、电子设备、介质及产品

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021051015A (ja) * 2019-09-25 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
US11823402B2 (en) 2021-05-03 2023-11-21 Electronics And Telecommunications Research Institute Method and apparatus for correcting error in depth information estimated from 2D image
CN113344907B (zh) * 2021-06-29 2023-09-08 深圳前海微众银行股份有限公司 一种图像检测方法及装置
TWI816387B (zh) * 2022-05-05 2023-09-21 勝薪科技股份有限公司 語意距離地圖的建構方法及其相關移動裝置
CN115457099B (zh) * 2022-09-09 2023-05-09 梅卡曼德（北京）机器人科技有限公司 深度补全方法、装置、设备、介质及产品
CN115311301B (zh) * 2022-10-12 2023-04-14 江苏银生新能源科技有限公司 一种pcb板焊点缺陷检测方法
WO2024117951A1 (en) * 2022-12-01 2024-06-06 Telefonaktiebolaget Lm Ericsson (Publ) Holographic communication system
CN116309672B (zh) * 2023-05-23 2023-08-01 武汉地震工程研究院有限公司 一种基于led标靶的夜间桥梁动挠度测量方法与装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359572B2 (en) * 2003-03-26 2008-04-15 Microsoft Corporation Automatic analysis and adjustment of digital images with exposure problems
JP2010062919A (ja) 2008-09-04 2010-03-18 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2012253643A (ja) 2011-06-06 2012-12-20 Sony Corp 画像処理装置および方法、並びにプログラム
JP6140935B2 (ja) 2012-05-17 2017-06-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置
KR101970563B1 (ko) 2012-11-23 2019-08-14 엘지디스플레이 주식회사 3차원 입체 영상용 깊이지도 보정장치 및 보정방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465891A (zh) * 2020-12-11 2021-03-09 杭州海康机器人技术有限公司 一种深度图像获得方法、装置、电子设备及存储介质
CN113949830A (zh) * 2021-09-30 2022-01-18 国家能源集团广西电力有限公司 一种图像处理方法
CN113949830B (zh) * 2021-09-30 2023-11-24 国家能源集团广西电力有限公司 一种图像处理方法
CN115330779A (zh) * 2022-10-13 2022-11-11 四川迪晟新达类脑智能技术有限公司 民用爆破中基于火光和烟尘的爆破时刻确认方法及系统
CN115330779B (zh) * 2022-10-13 2022-12-20 四川迪晟新达类脑智能技术有限公司 民用爆破中基于火光和烟尘的爆破时刻确认方法及系统
CN116310448A (zh) * 2023-05-24 2023-06-23 山东曙岳车辆有限公司 基于计算机视觉的集装箱拼装匹配性检测方法
CN117522760A (zh) * 2023-11-13 2024-02-06 书行科技(北京)有限公司 图像处理方法、装置、电子设备、介质及产品

Also Published As

Publication number Publication date
JP2020155116A (ja) 2020-09-24
EP3712841A1 (en) 2020-09-23
EP3712841B1 (en) 2021-08-11
JP7004019B2 (ja) 2022-01-21

Similar Documents

Publication Publication Date Title
EP3712841A1 (en) Image processing method, image processing apparatus, and computer-readable recording medium
US11700457B2 (en) Flicker mitigation via image signal processing
CN109002795B (zh) 车道线检测方法、装置及电子设备
WO2017121018A1 (zh) 二维码图像处理的方法和装置、终端、存储介质
US10600208B2 (en) Object detecting device, object detecting method and non-transitory computer-readable medium
US20130004079A1 (en) Image processing apparatus, image processing method, and program thereof
US20180295340A1 (en) Method and apparatus for determining a depth map for an angle
US8948469B2 (en) Information processing device, information processing method, and program
US20150187051A1 (en) Method and apparatus for estimating image noise
CN112699885A (zh) 一种基于对抗生成网络gan的语义分割训练数据增广方法和系统
CN110717962B (zh) 动态照片生成方法、装置、拍照设备及存储介质
KR101662407B1 (ko) 영상의 비네팅 보정 방법 및 장치
CN113808135B (zh) 图像亮度异常检测方法、电子设备及存储介质
JP2004133919A (ja) 擬似３次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体
CN111539975A (zh) 一种运动目标的检测方法、装置、设备及存储介质
CN108629329B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
KR102136716B1 (ko) 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
CN113438386B (zh) 一种应用于视频处理的动静判定方法及装置
CN110705330A (zh) 车道线检测方法、车道线检测装置和计算机可读存储介质
CN116416290A (zh) 一种计算散斑结构光深度的方法、装置及电子设备
CN108573230B (zh) 人脸跟踪方法和人脸跟踪装置
US9830692B2 (en) Method and device for processing image data based on characteristic values of pixel values of pixels
CN111182094B (zh) 一种视频文件的处理方法及装置
CN106295634B (zh) 车牌图像识别的处理方法及装置
CN108229520B (zh) 从图片中检测物体的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200929

WW01 Invention patent application withdrawn after publication