CN111868778B - 图像处理装置、图像处理方法以及存储介质 - Google Patents

图像处理装置、图像处理方法以及存储介质 Download PDF

Info

Publication number
CN111868778B
CN111868778B CN201880091137.9A CN201880091137A CN111868778B CN 111868778 B CN111868778 B CN 111868778B CN 201880091137 A CN201880091137 A CN 201880091137A CN 111868778 B CN111868778 B CN 111868778B
Authority
CN
China
Prior art keywords
image
filter
image processing
filter coefficient
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880091137.9A
Other languages
English (en)
Other versions
CN111868778A (zh
Inventor
鸨崎友希
河田谕志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111868778A publication Critical patent/CN111868778A/zh
Application granted granted Critical
Publication of CN111868778B publication Critical patent/CN111868778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

图像处理装置包括图像处理单元，该图像处理单元执行滤波器处理，该滤波器处理使用基于至少对基于第一图像的细节进行检测的结果和对干扰物进行检测的结果而设置的滤波器系数，这样的检测在第二图像中执行。

Description

图像处理装置、图像处理方法以及存储介质
技术领域
本公开涉及图像处理装置、图像处理方法、以及程序。
背景技术
通过室外图像拍摄获得的图像可能由于恶劣的天气等而经受可见性的降低。因此，已经提出了以下技术：消除雨滴以改善图像的质量(提高可见性)(例如，专利文献1)，并且根据深度信息确定路面的起伏，以使得即使在差的可见性情况下也能够根据确定结果在每个图像中显示路面区域(例如，专利文献2)。
[引用列表]
[专利文献]
[专利文献1]日本专利特开第2016-138818号
[专利文献2]日本专利特开第2011-039727号
发明内容
[技术问题]
在这样的领域中，即使在消除诸如雨滴的干扰物以改善图像质量的情况下，也期望尽可能地保持图像特性。
本公开的目的是提供一种在尽可能地保持图像特性的情况下可以获得不受诸如雨滴的干扰物的图像的图像处理装置、图像处理方法、以及程序。
[问题的解决方案]
本公开提供例如一种图像处理装置，该图像处理装置包括图像处理部，该图像处理部被配置成使用至少基于针对基于第一图像的细节的检测结果和对第二图像执行的干扰物的检测的检测结果而设置的滤波器系数来执行滤波器处理。
本公开提供例如一种图像处理方法，该图像处理方法包括由图像处理部使用至少基于针对基于第一图像的细节的检测结果和对第二图像执行的干扰物的检测的检测结果而设置的滤波器系数来执行滤波器处理。
本公开提供例如一种程序，该程序使计算机执行图像处理方法，该图像处理方法包括由图像处理部使用至少基于针对基于第一图像的细节的检测结果和对第二图像执行的干扰物的检测的检测结果而设置的滤波器系数来执行滤波器处理。
[发明的有益效果]
根据本公开的至少一个实施方式，在尽可能地保持图像特性的情况下可以获得不受诸如雨滴的干扰物的图像。此处描述的效果并不一定受限制，而是可以包括本公开中描述的任何效果。另外，所说明的效果不旨在限制对本公开的内容的解释。
附图说明
[图1]图1是示出根据第一实施方式的图像处理装置的配置实例的框图。
[图2]图2A是示出根据第一实施方式的输入图像的实例的图。图2B是示出根据第一实施方式的深度图像的实例的图。图2C示出了当描述根据第一实施方式的计算第一滤波器系数、第二滤波器系数和第三滤波器系数的处理时所参照的图。
[图3]图3A是示出根据第一实施方式的输入图像的实例的图。图3B是示出根据第一实施方式的深度图像的实例的图。图3C是示出图3A所示出的图像中的预定块的放大图。
[图4]图4A是示出第一滤波器系数的实例的图。图4B是示出第二滤波器系数的实例的图。图4C是示出第三滤波器系数的实例的图。图4D是示出基于第一滤波器系数、第二滤波器系数和第三滤波器系数的滤波器系数的实例的图。
[图5]图5是示出在根据第一实施方式的图像处理装置中执行的处理的过程的流程图。
[图6]图6示出了辅助描述要由第一实施方式产生的效果的实例的图。
[图7]图7是示出根据第二实施方式的图像处理装置的配置实例的框图。
[图8]图8A是示出根据第二实施方式的输入图像的实例的图。图8B是示出根据第二实施方式的深度图像的实例的图。图8C是当描述根据第二实施方式的计算第一滤波器系数、第二滤波器系数和第三滤波器系数的处理时所参照的图。
[图9]图9是示出在根据第二实施方式的图像处理装置中执行的处理的过程的流程图。
[图10]图10是示出车辆控制系统的示意性配置的实例的框图。
[图11]图11是辅助说明车外信息检测部和成像部的安装位置的实例的示图。
具体实施方式
将参照附图描述本公开的实施方式等。注意，描述将按照以下顺序给出。
<通用技术>
<1.第一实施方式>
<2.第二实施方式>
<3.应用实例>
<4.修改实例>
<通用技术>
首先，将描述通用技术以促进对本公开的理解。如上所述，已经提出了以下技术：消除雨滴以改善图像的质量，并且根据深度信息确定路面的起伏，以使得即使在差的可见性情况下也能够根据确定结果在图像中显示路面区域。
然而，在前一种技术中，存在的问题是，在用于消除雨滴的处理中执行使用中值滤波器的中值处理，从而导致所获得的图像的边缘模糊和细节模糊。另外地，在后一种技术中，存在的问题是，在深度图像中提供的边缘被保持，而在深度图像中未提供的细节被模糊。另外地，存在的问题是，滤波能够减少随机噪声，但是不能消除诸如雨滴和雪的干扰物。考虑到这些问题，将详细描述本公开的实施方式。
<1.第一实施方式>
<<图像处理装置的配置实例>>
(图像处理装置的各部分)
图1是示出根据第一实施方式的图像处理装置(图像处理装置1)的配置实例的框图。图像处理装置1包括例如图像输入部101、对准部102、边缘检测部103、第一滤波器系数计算部104、细节检测部105、第二滤波器系数计算部106、干扰物检测部107、第三滤波器系数计算部108、与图像处理部的实例对应的滤波器处理部109以及输出部110。
图像输入部101是向其输入图像的部件。图像输入部101可以是针对图像处理装置1的接口，或者可以是在通过通信等将图像输入至图像输入部101的情况下的通信部。在第一实施方式中，例如以相同的视点而同步获得的深度图像D和输入图像I被输入至图像输入部101。注意，在深度图像D与输入图像I之间视点略微偏离或同步略微不准确是可以接受的。
深度图像D是从诸如毫米波雷达、激光雷达、超声波传感器或立体相机的深度传感器获得的图像，并且包括各自设置有深度值的像素。输入图像I例如是由图像拍摄装置拍摄的可见图像(可见光图像)。注意，图像拍摄装置可以与图像处理装置1集成或者与图像处理装置1分离。
对准部102将输入至图像输入部101的深度图像D和输入图像I对准。由对准部102处理的深度图像D被输出至边缘检测部103。另外地，由对准部102处理的输入图像I被转移输出至细节检测部105、干扰物检测部107和滤波器处理部109中的每一个。
边缘检测部103使用已知方法基于深度图像D来检测边缘。根据本实施方式的边缘检测部103基于像素值(例如，亮度)来检测每个像素中包括多少前景分量(或背景分量)。边缘检测部103将针对边缘的检测结果输出至第一滤波器系数计算部104。
第一滤波器系数计算部104以保留由边缘检测部103检测到的边缘的方式来计算第一滤波器系数aj。注意，下面将描述第一滤波器系数aj的特定实例。第一滤波器系数计算部104将计算出的第一滤波器系数aj输出至滤波器处理部109。
基于从对准部102馈送的输入图像I，细节检测部105使用已知方法来检测包括在输入图像I中的细节。根据本实施方式检测的细节检测部105基于像素值(例如，亮度)来检测每个像素中包括多少例如位于输入图像I前面的对象的细节分量。细节检测部105将针对细节的检测结果输出至第二滤波器系数计算部106。
第二滤波器系数计算部106以保留由细节检测部105检测到的细节的方式来计算第二滤波器系数bj。注意，下面将描述第二滤波器系数bj的特定实例。第二滤波器系数计算部106将计算出的第二滤波器系数bj输出至滤波器处理部109。
干扰物检测部107检测从对准部102馈送的输入图像I中包括的干扰物。根据本实施方式的干扰物是空气中飞散的颗粒状(点状)微小物质。具体地，干扰物包括雨滴、雪、雾、雨夹雪、冰雹、黄沙、灰尘、苍蝇和蚊子中的至少一种。
干扰物检测部107使用适合于目标干扰物的已知方法来检测包括在输入图像I中的干扰物。例如，干扰物检测部107可以使用时间方向上的信息、通过孤立点检测来检测雨滴或雪。另外地，干扰物检测部107可以在被称为暗通道的局部区域中使用针对R、G和B的最小值以估计诸如雾或灰尘的霾的密度，并且根据所估计的霾的密度来计算透射率以检测雾等。另外地，作为用于准确地检测霾的透射率的上述技术，申请人提出了日本专利申请第2017-186019号。可以采用在本申请中公开的事项以使得干扰物检测部107能够检测雾等。
注意，可以使得干扰物检测部107能够基于像素值(例如，亮度)来检测每个像素中包括多少干扰物分量。
第三滤波器系数计算部108以消除由干扰物检测部107检测到的干扰物的方式来计算第三滤波器系数cj。注意，下面将描述第三滤波器系数cj的特定实例。第三滤波器系数计算部108将计算出的第三滤波器系数cj输出至滤波器处理部109。
滤波器处理部109例如使用滤波器系数对由对准部102对准的输入图像I执行滤波器处理(滤波)。在这样的滤波器处理中使用的滤波器系数是至少基于针对细节的检测结果和针对干扰物的检测结果而设置的系数，并且在实施方式中是基于针对边缘的检测结果而进一步设置的系数。更具体地，滤波器系数是基于第一滤波器系数aj、第二滤波器系数bj和第三滤波器系数cj的信息，例如通过对作为第一滤波器系数aj、第二滤波器系数bj和第三滤波器系数cj的乘积而获得的滤波器系数进行归一化来设置的系数。滤波器处理部109将输出图像I'输出至输出部110，输出图像I'是通过滤波器处理获得的图像。
输出部110是显示例如输出图像I'的显示器。注意，输出图像I'可以显示在与图像处理装置1不同的外部装置中设置的显示器上。在这种情况下，输出部110可以是用于将输出图像I'发送至外部装置的通信部(通信部可以通过有线或无线方式进行通信)。另外地，输出图像I'可以被投影至存在于空间中的对象上，并且在这种情况下，输出部110可以被配置成实现所谓的投影映射。
(深度传感器)
如上所述，深度图像D可以是从深度传感器获得的图像。深度传感器可以根据检测能力被分类为透射干扰物的传感器和不透射干扰物的传感器。表1指示了分类的实例。
[表1]
○：透射×：不透射
表1作为深度传感器的类型的实例指示了具有77GHz(千兆赫)频率的毫米波雷达、具有24GHz频率的毫米波雷达、激光雷达、超声波传感器和相机。在所示出的深度传感器中，毫米波雷达透射干扰物。另外地，在所示出的深度传感器中，激光雷达、超声波传感器和相机是不透射干扰物的传感器。
根据第一实施方式的深度图像D是基于透射干扰物的深度传感器而获得的图像。换句话说，在根据第一实施方式的深度图像D中没有干扰物出现。因此，在第一实施方式中，在输入图像I中检测到干扰物。
<<滤波器系数的实例>>
现在，将描述由图像处理装置1的滤波器处理部109使用的滤波器系数的特定实例。图2A示出了输入图像I的实例。输入图像I包括位于前侧的对象AA、背景BB和干扰物CC。本实例中的干扰物CC是例如雨滴。另外地，输入图像I包括对象AA的边缘EG和对象AA的细节DT。在图2A中，对象AA的细节DT被画阴影线(具有多条斜线)。注意，为了防止复杂的图示，仅一些干扰物和细节由附图标记表示。这也适于其他附图。
图2B示出了与图2A中示出的输入图像I对应的深度图像D的实例。深度图像D包括位于前侧的对象AA、背景BB以及对应于对象AA与背景BB之间的边界的边缘EG。对象AA和背景BB被画阴影线。注意，深度图像D是基于深度传感器的图像，并且因此包括具有不同距离的对象之间的边界即边缘EG，但是不包括对象AA的细节。另外地，如上所述，根据本实施方式的深度传感器是使干扰物CC透射的传感器，并且因此在深度图像D中没有干扰物CC出现。
如图2C所示，在第一实施方式中，第一滤波器系数aj基于针对包括在深度图像D中的边缘EG的检测结果来被计算(生成)。另外地，第二滤波器系数bj基于针对包括在输入图像I中的细节DT的检测结果来被计算。此外，第三滤波器系数cj基于针对包括在输入图像I中的干扰物CC的检测结果来计算。滤波器处理部109基于第一滤波器系数aj、第二滤波器系数bj和第三滤波器系数cj来设置用于滤波器处理的滤波器系数。
将进一步详细描述滤波器系数。图3A是示出图2A中示出的输入图像I的图，以及图3B是示出图2B中示出的深度图像D的图。滤波器系数例如以块为单位来设置。将使用五个像素×五个像素的块作为实例来描述本实施方式，但是可以适当地改变块的大小。在图3A和图3B中，与图像中的相同位置对应的块BL被示意性地示出为虚线矩形。块BL包括对象AA、背景BB、干扰物CC、边缘EG和细节DT。
图3C是示出输入图像I中的预定块BL的放大图。在图3C所示出的块BL中，画阴影线的像素包括干扰物CC(在本实例中为雨滴)。
第一滤波器系数计算部104基于深度图像D的边缘(结构线)的检测结果来计算第一滤波器系数aj。针对第一滤波器系数aj，将系数设置成使得随着包括在像素中的对象AA的分量的数量变大，系数的权重增加(变得更高)。系数也可以被设置成使得随着包括在像素中的背景BB的分量的数量变大，系数的权重减小(变得更低)。
图4A示出了第一滤波器系数aj的实例。如图4A所示，针对仅包括对象AA的每个像素，将“1”设置为系数。同时，针对仅与背景BB对应的每个像素，将“0”设置为系数。针对边缘EG在其上延伸的每个像素，系数例如根据包括在像素中的对象AA的分量的程度来设置。例如，边缘EG在其上延伸的块的中心像素(在下文中，被适当地称为中心像素)包括对象AA的相对多的分量。针对这样的像素，例如将“0.8”设置为系数以提供更大的权重。注意，没有将“0”设置为边缘EG在其上延伸的像素的系数，并且因此可以保持与图像特性对应的边缘EG。
第二滤波器系数计算部106基于针对包括在输入图像I中的细节的检测结果来计算第二滤波器系数bj。第二滤波器系数bj是具有针对包括在输入图像I中的对象AA的更多详细信息设置的较大权重(较高权重)的系数。
图4B示出了第二滤波器系数bj的实例。例如，针对包括许多细节的块BL的中心像素，例如将“1”设置为系数。另外地，例如在中心像素的左侧的像素中不包括细节，并且因此，例如将“0”设置为系数。此外，例如在中心像素右侧的像素中包括一些细节，并且因此，例如将“0.3”设置为系数。此外，在像素的下侧的像素中略微包括细节，并且因此，例如将“0.1”设置为系数。如上所述，权重被施加至包括细节的每个像素(针对像素没有将“0”设置为系数)，并且因此，可以保持与图像特性对应的细节。
第三滤波器系数计算部108基于由干扰物检测部107提供的针对干扰物的检测结果来计算第三滤波器系数cj。第三滤波器系数cj是例如被设置为消除干扰物CC的系数。
图4C示出了第三滤波器系数cj的实例。例如，针对包括干扰物CC的每个像素，例如将“0”设置为系数。针对不包括干扰物CC的每个像素，例如将“1”设置为系数。因此，即使在某个像素是与干扰物CC对应的像素的情况下，使用由干扰物检测部107提供的针对干扰物CC的检测结果使得通过修复处理能够从像素有效地消除干扰物。
注意，与边缘和细节的情况一样，可以通过干扰物检测部107来检测包括在像素中的干扰物的程度，并且可以根据该程度来详细设置系数的权重。换句话说，针对包括干扰物的像素设置的系数优选地为“0”以消除干扰物，但是可以具有接近“0”的值。
在接收到第一滤波器系数aj、第二滤波器系数bj和第三滤波器系数cj之后，滤波器处理部109将这些滤波器系数相乘在一起以生成滤波器系数。图4D中示出了这样的滤波器系数的实例。为了防止整个图像的亮度水平的波动，滤波器处理部109生成归一化的滤波器系数，使得图4D中示出的滤波器系数之和为1。对其他块BL类似地执行上述处理，并且针对每个像素获得系数。滤波器处理部109使用具有所生成的滤波器系数的滤波器来对经过对准的输入图像I执行滤波器处理，从而生成输出图像I'。
<<处理的过程>>
参照图5中的流程图，将描述在根据第一实施方式的图像处理装置1中执行的处理的过程。
在步骤ST101中，执行图像输入处理以将深度图像D和输入图像I输入至图像输入部101。然后，处理进行至步骤ST102。
在步骤ST102中，执行图像对准处理。在该处理中，对准部102将深度图像D与输入图像I对准。经过对准的深度图像D被馈送至边缘检测部103。另外地，经过对准的输入图像I被馈送至细节检测部105、干扰物检测部107和滤波器处理部109中的每一个。注意，在第一实施方式中，经过对准的输入图像I对应于第一图像和第二图像。
从步骤ST103至步骤ST106，执行细节检测部105检测包括在经过对准的输入图像I中的细节的细节检测处理(步骤ST104)。然后，基于针对细节的检测结果来执行第二滤波器系数计算部106计算第二滤波器系数的第二滤波器系数计算处理(步骤ST105)。根据滤波器的抽头数目重复第二滤波器系数计算处理(步骤ST103和ST106)。从步骤ST103至步骤ST106的处理计算第二滤波器系数bj，并且将计算出的第二滤波器系数bj馈送至滤波器处理部109。
从步骤ST107至步骤ST110，执行干扰物检测部107检测包括在经过对准的输入图像I中的干扰物的干扰物检测处理(步骤ST108)。然后，基于针对干扰物的检测结果来执行第三滤波器系数计算部108计算第三滤波器系数的第三滤波器系数计算处理(步骤ST109)。根据滤波器的抽头数目重复第三滤波器系数计算处理(步骤ST107和ST110)。从步骤ST107至步骤ST110的处理计算第三滤波器系数cj，并且将计算出的第三滤波器系数cj馈送至滤波器处理部109。
从步骤ST111至步骤ST114，执行边缘检测部103基于经过对准的深度图像D来检测边缘的边缘检测处理(步骤ST112)。然后，基于针对边缘的检测结果来执行第一滤波器系数计算部104计算第一滤波器系数的第一滤波器系数计算处理(步骤ST113)。根据滤波器的抽头数目重复第一滤波器系数计算处理(步骤ST111和ST114)。从步骤ST111至步骤ST114的处理计算第一滤波器系数aj，并且将计算出的第一滤波器系数aj馈送至滤波器处理部109。
在步骤ST115中，滤波器处理部109将第一滤波器系数aj、第二滤波器系数bj和第三滤波器系数cj相乘在一起以生成滤波器系数。为了防止整个图像的亮度水平的波动，滤波器处理部109生成归一化的滤波器系数，使得滤波器系数之和为1。然后，滤波器处理部109使用具有归一化的滤波器系数的滤波器对经过对准的输入图像I执行滤波器处理，从而生成输出图像I'。由滤波器处理部109执行的滤波器处理可以由下面的等式1表示。
[数学式1]
在等式1中，i表示当前像素，j表示当前像素的周边像素，D表示深度图像，I表示输入图像，S表示干扰物检测结果，1/Z表示归一化处理，并且I'表示输出图像。
注意，每当以块BL为单位获得系数时，或者在已经计算了与所有像素对应的系数之后，滤波器处理部109可以执行滤波器处理。
注意，尽管未示出，但是通过由滤波器处理部109执行的滤波器处理所生成的输出图像I'被馈送至输出部110。然后，输出图像I'通过由输出部110显示或输出至外部装置而以取决于应用的方式来使用。
<<效果的实例>>
图6示出了辅助描述要由第一实施方式产生的效果的实例的图。图6A示出了输入图像I的实例，以及图6B示出了输出图像I'的实例。在第一实施方式中，根据深度图像D的图像特征(平坦度、边缘等)和输入图像I的图像特征(平坦度、边缘、细节等)来设置滤波器的权重，并且设置与针对干扰物的检测结果对应的滤波器系数。更具体地，滤波器系数被设置为保持边缘和细节，并且被设置为消除检测到的干扰物。因此，通过滤波器处理获得的输出图像I'对应于在保持边缘EG和细节DT的情况下消除了干扰物CC的图像，如图6B示意性地示出。因此，即使在图像包括干扰物的情况下，也可以改善图像质量和图像的可见性。
<2.第二实施方式>
现在，将描述第二实施方式。注意，与第一实施方式中描述的那些部件相同的部件以及与第一实施方式中描述的那些部件具有相同质量的部件使用与第一实施方式中描述的那些附图标记相同的附图标记，并且适当地省略重复的描述。另外地，除非另有说明，否则在第一实施方式中描述的事项可以应用于第二实施方式。
第二实施方式与第一实施方式的不同之处在于，根据第二实施方式的深度图像D是基于不透射干扰物的深度传感器而获得的图像。因此，深度图像D包括干扰物，并且因此，在第二实施方式中基于深度图像D来检测干扰物。
<<图像处理装置的配置实例>>
图7是示出根据第二实施方式的图像处理装置(图像处理装置2)的配置实例的框图。以下描述集中于图像处理装置2和根据第一实施方式的图像处理装置1之间的差异。
深度图像D和输入图像I被输入至设置在图像处理装置2中的图像输入部101。然后，对准部102将深度图像D与输入图像I对准。在第二实施方式中，经过对准的深度图像D被馈送至干扰物检测部107。注意，在第二实施方式中，经过对准的输入图像I对应于第一图像，并且经过对准的深度图像D对应于第二图像。
此处，如上所述，根据第二实施方式的深度图像D是基于不透射干扰物的深度传感器而获得的图像。因此，包括在图8A所示的输入图像I中的干扰物CC也包括(也出现)在如图8B所示的深度图像D中。干扰物检测部107基于经过对准的深度图像D来检测包括在深度图像D中的干扰物，并且将检测结果输出至第三滤波器系数计算部108。如图8C所示，第三滤波器系数计算部108基于针对干扰物的检测结果来计算第三滤波器系数cj。其他部件的操作与第一实施方式中的相应操作类似，并且省略了重复的描述。
<<处理的过程>>
参照图9中的流程图，将描述在根据第二实施方式的图像处理装置2中执行的处理的过程。
在步骤ST201中，执行图像输入处理以将深度图像D和输入图像I输入至图像输入部101。然后，处理进行至步骤ST202。
在步骤ST202中，执行图像对准处理。在该处理中，对准部102将深度图像D与输入图像I对准。经过对准的深度图像D被馈送至边缘检测部103和干扰物检测部107中的每一个。另外地，经过对准的输入图像I被馈送至细节检测部105和滤波器处理部109中的每一个。
从步骤ST203至步骤ST206，执行细节检测部105检测包括在经过对准的输入图像I中的细节的细节检测处理(步骤ST204)。然后，基于针对细节的检测结果来执行第二滤波器系数计算部106计算第二滤波器系数的第二滤波器系数计算处理(步骤ST205)。根据滤波器的抽头数目重复第二滤波器系数计算处理(步骤ST203和ST206)。从步骤ST203至步骤ST206的处理计算第二滤波器系数bj，并且将计算出的第二滤波器系数bj馈送至滤波器处理部109。
从步骤ST207至步骤ST210，执行边缘检测部103基于经过对准的深度图像D来检测边缘的边缘检测处理(步骤ST208)。然后，基于针对边缘的检测结果来执行第一滤波器系数计算部104计算第一滤波器系数的第一滤波器系数计算处理(步骤ST209)。根据滤波器的抽头数目重复第一滤波器系数计算处理(步骤ST207和ST210)。从步骤ST207至步骤ST210的处理计算第一滤波器系数aj，并且将计算出的第一滤波器系数aj馈送至滤波器处理部109。
从步骤ST211至步骤ST214，执行干扰物检测部107检测包括在经过对准的深度图像D中的干扰物的干扰物检测处理(步骤ST212)。然后，基于针对干扰物的检测结果来执行第三滤波器系数计算部108计算第三滤波器系数的第三滤波器系数计算处理(步骤ST213)。根据滤波器的抽头数目重复第三滤波器系数计算处理(步骤ST211和ST214)。从步骤ST211至步骤ST214的处理计算第三滤波器系数cj，并且将计算出的第三滤波器系数cj馈送至滤波器处理部109。
在步骤ST215中，滤波器处理部109将第一滤波器系数aj、第二滤波器系数bj和第三滤波器系数cj相乘在一起以生成滤波器系数。为了防止整个图像的亮度水平的波动，滤波器处理部109生成归一化的滤波器系数，使得滤波器系数之和为1。然后，滤波器处理部109使用具有归一化的滤波器系数的滤波器对经过对准的输入图像I执行滤波器处理，从而生成输出图像I'。
注意，尽管未示出，但是作为由滤波器处理部109执行的滤波器处理的结果而生成的输出图像I'被馈送至输出部110。然后，输出图像I'通过由输出部110显示或输出至外部装置而以取决于应用的方式来使用。
在上述第二实施方式中，可以获得与第一实施方式的效果类似的效果。
<3.应用实例>
根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以被实现为安装在任何类型的移动体例如汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人移动性、飞机、无人机、船舶、机器人、建筑机械或农业机械(拖拉机)中的装置。
图10是示出车辆控制系统7000的示意性配置的实例的框图，该车辆控制系统是可应用作为根据本公开的实施方式的技术的移动体控制系统的实例。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图10所示出的实例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500、以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是符合任意标准的车载通信网络，诸如，控制器区域网(CAN)、局域互联网(LIN)、局域网(LAN)、FlexRay(注册商标)等。
各个控制单元包括：微型计算机，根据各种程序执行运算处理；存储部，存储由微型计算机执行的程序、用于各种操作的参数等；以及驱动电路，驱动各种控制目标设备。各个控制单元进一步包括：网络接口(I/F)，用于经由通信网络7010执行与其他控制单元的通信；以及通信I/F，用于通过有线通信或无线电通信执行与车辆内部和外部的设备、传感器等的通信。图10所示的集成控制单元7600的功能配置包括微型计算机7610、通用通信I/F7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660、声音/图像输出部7670、车载网络I/F 7680、以及存储部7690。其他控制单元也类似地包括微型计算机、通信I/F、存储部等。
驱动系统控制单元7100根据各种程序对与车辆的驱动系统相关的设备的工作进行控制。例如，驱动系统控制单元7100用作控制设备来控制：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等；用于将驱动力传递至车轮的驱动力传递机构；用于调节车辆的转向角的转向机构；用于生成车辆的制动力的制动设备等。驱动系统控制单元7100可具有防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制设备的功能。
驱动系统控制单元7100连接有车辆状态检测部7110。车辆状态检测部7110例如包括下列项中的至少一个：检测车身的轴向旋转运动的角速度的陀螺仪传感器，检测车辆的加速度的加速度传感器，以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号执行运算处理，以控制内燃机、驱动电机、电动助力转向设备、制动设备等。
车身系统控制单元7200根据各种程序对车身所装配的各种设备的工作进行控制。例如，车身系统控制单元7200用作控制设备来控制：无钥匙进入系统，智能钥匙系统，电动车窗设备，或前照灯、倒车灯、制动灯、转向灯、雾灯等各种灯。在这种情况下，从替代钥匙的移动设备所发送的无线电波或者各种开关的信号可以被输入至车身系统控制单元7200。车身系统控制单元7200接收这些输入的无线电波或信号，以控制车辆的门锁设备、电动车窗设备、灯等。
电池控制单元7300根据各种程序对用作驱动电机的电源的二次电池7310进行控制。例如，电池控制单元7300接收来自包括二次电池7310的电池设备的有关于电池温度、电池输出电压、电池的剩余电量等信息。电池控制单元7300使用这些信号执行运算处理，执行二次电池7310的温度调节控制，或者对电池设备的冷却设备进行控制等。
车外信息检测单元7400检测包括车辆控制系统7000的车辆的外部的信息。例如，车外信息检测单元7400至少与成像部7410和车外信息检测部7420中的一个相连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机以及其他相机中的至少一个。车外信息检测部7420可以包括下列项中的至少一个：用于检测当前大气条件或天气条件的环境传感器，用于检测包括车辆控制系统7000的车辆的周边的其他车辆、障碍物、行人等的周边信息检测传感器。
环境传感器例如可以是下列项中的至少一个：检测雨的雨滴传感器，检测雾的雾传感器，检测日照程度的日照传感器，以及检测降雪的雪传感器。周边信息检测传感器可以是下列项中的至少一个：超声波传感器，雷达设备，以及LIDAR设备(光检测和测距设备，或激光成像检测和测距设备)。成像部7410和车外信息检测部7420两者中的每一个可设置为独立传感器或设备，或者可设置为多个传感器或设备集成在其中的设备。
图11示出成像部7410和车外信息检测部7420的安装位置的实例。成像部7910、7912、7914、7916和7918可以被布置在车辆7900的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃的上部的位置处。布置在前鼻的成像部7910以及布置在车辆内部的挡风玻璃的上部的成像部7918主要获得车辆7900的前方的图像。布置在侧视镜的成像部7912和7914主要获得车辆7900的侧方的图像。布置在后保险杠或后门的成像部7916主要获得车辆7900的后方的图像。布置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。
顺便提及，图11示出各个成像部7910、7912、7914和7916的拍摄范围的实例。成像范围a表示布置在前鼻的成像部7910的成像范围。成像范围b和c分别表示布置在侧视镜的成像部7912和7914的成像范围。成像范围d表示布置在后保险杠或后门的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据能够获得从上方观察的车辆7900的鸟瞰图像。
布置在车辆7900的前部、后部、侧部和角部以及车辆内部的挡风玻璃上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是超声波传感器或雷达设备。布置在车辆7900的前鼻、车辆7900的后保险杠、后门以及车辆内部的挡风玻璃上部的车外信息检测部7920、7926和7930可以是LIDAR设备。这些车外信息检测部7920～7930主要用于检测前方车辆、行人、障碍物等。
回到图10，继续进行描述。车外信息检测单元7400使成像部7410成像车辆外部的图像并且接收所成像的图像数据。此外，车外信息检测单元7400从连接至车外信息检测单元7400的车外信息检测部7420接收检测信息。当车外信息检测部7420是超声波传感器、雷达设备或LIDAR设备时，车外信息检测单元7400使超声波、电磁波等发送，并且接收关于所接收的反射波的信息。基于所接收的信息，车外信息检测单元7400可执行检测对象(诸如路面上的人、车辆、障碍物、标志、符号等)的处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可基于所接收的信息执行环境识别处理，以识别降雨、雾、路面条件等。车外信息检测单元7400可基于所接收的信息计算到车辆外部的对象的距离。
此外，基于所接收的图像数据，车外信息检测单元7400可执行用于识别对象(诸如路面上的人、车辆、障碍物、标志、符号等)的图像识别处理，或者执行检测到对象的距离的处理。车外信息检测单元7400可对所接收的图像数据进行诸如失真校正、对准等处理，并且通过组合多个不同成像部7410成像的图像数据产生鸟瞰图像或全景图像。车外信息检测单元7400可使用不同成像部7410成像的图像数据来执行视点转换处理。
车内信息检测单元7500检测车辆内部的信息。车内信息检测单元7500可以连接有检测驾驶员状态的驾驶员状态检测部7510。驾驶员状态检测部7510可包括拍摄驾驶员的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器可以布置在座位表面、方向盘等处，并且检测坐在座位中的乘客或握住方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可计算驾驶员的疲劳程度或驾驶员的注意力集中程度，或者可辨别驾驶员是否在打瞌睡。车内信息检测单元7500可对通过声音收集获得的音频信号进行诸如噪声消除处理等的处理。
集成控制单元7600根据各种程序对车辆控制系统7000内的总体操作进行控制。集成控制单元7600与输入部7800连接。输入部7800为能够通过乘客进行输入操作的设备，例如，触摸面板、按钮、麦克风、开关、控制杆等。集成控制单元7600可接收对经由麦克风输入的语音进行语音识别所获得的数据。输入部7800可以是使用红外线或其他无线电波的远程控制设备，或者可以是支持车辆控制系统7000的操作的诸如移动电话、个人数字助理(PDA)等的外部连接设备。输入部7800可以是相机。在该情况下，乘客能够通过姿势来输入信息。或者，可以输入通过检测乘客佩戴的可佩戴设备的移动而获得的数据。此外，输入部7800可包括输入控制电路等，该输入控制电路等基于由乘客等使用上述输入部7800输入的信息而生成输入信号，并将所生成的输入信号输出至集成控制单元7600。乘客等，可通过操作输入部7800向车辆控制系统7000输入各种数据，处理操作的指令。
存储部7690可包括存储由微型计算机执行的各种程序的只读存储器(ROM)以及存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。此外，存储部7690可为诸如硬盘驱动器(HDD)等的磁性存储设备、半导体存储设备、光学存储设备、磁光存储设备等。
通用通信I/F 7620是广泛使用的通信I/F，该通信I/F调解与存在于外部环境7750中的各种装置的通信。通用通信I/F 7620可实现：蜂窝通信协议，诸如全球移动通信系统(GSM(注册商标))、全球互通微波接入(WiMAX(注册商标))、长期演进(LTE(注册商标))、LTE高级(LTE-A)等，或者其他无线通信协议，诸如无线LAN(也被称为无线保真(Wi-Fi(注册商标))、蓝牙(注册商标)等。通用通信I/F 7620可经由基站或接入点连接至存在于外部网络(例如，互联网、云网络或公司特定网络)上的装置(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可使用对等(P2P)技术，与存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或机器型通信(MTC)终端)相连接。
专用通信I/F 7630是支持针对车辆使用而开发的通信协议的通信I/F。专用通信I/F 7630可实现：标准协议，例如，车辆环境中的无线接入(WAVE)(它是作为下层的电气和电子工程师协会(IEEE)802.11p与作为上层的IEEE 1609的组合)，专用短程通信(DSRC)，或蜂窝通信协议。专用通信I/F 7630通常进行包括下列项中一个或多个的概念的V2X通信：车辆与车辆之间(车辆对车辆)的通信，道路与车辆之间(车辆对基础设施)的通信，车辆与家庭之间(车辆对家庭)的通信，以及行人与车辆之间(车辆对行人)的通信。
定位部7640可以通过接收来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)来执行定位，并且生成包括车辆的纬度、经度以及高度的位置信息。顺便提及，定位部7640可通过与无线接入点进行信号交换识别当前位置，也可从终端获得位置信息，上述终端诸如是移动电话、个人手提电话系统(PHS)或具有定位功能的智能电话。
信标接收部7650可以接收来自安装在道路等上的无线电站传输的无线电波或电磁波，从而获得关于当前位置、堵塞、道路封闭、所需时间等的信息。顺便提及，信标接收部7650的功能可被包括在上述专用通信I/F7630中。
车内设备I/F 7660是调解微型计算机7610与存在于车辆内的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线通用串行总线(WUSB)等无线通信协议建立无线连接。此外，车内设备I/F7660可经由在图中未示出的连接端子(以及电缆，如果必要的话)，通过通用串行总线(USB)、高清晰多媒体接口(HDMI(注册商标))、移动高清链接(MHL)等建立有线连接。车内设备7760可以包括下列项中的至少一个：乘客所拥有的移动设备和可佩戴设备以及载入车辆或附接至车辆的信息设备。车内设备7760还可包括搜索到任意目的地的路径的导航设备。车内设备I/F 7660与这些车内设备7760交换控制信号或数据信号。
车载网络I/F 7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680依照由通信网络7010支持的预定协议传输和接收信号等。
集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，根据各种程序控制车辆控制系统7000。例如，微型计算机7610可基于所获得的车辆内部或车辆外部相关信息，计算用于驱动力生成设备、转向机构或制动设备的控制目标值，并且向驱动系统控制单元7100输出控制命令。例如，微型计算机7610可执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括用于车辆的碰撞回避或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞警报、车辆偏离车道的警报等。此外，微型计算机7610可基于所获得的关于车辆周围环境的信息以控制驱动力生成设备、转向机构、制动设备，从而执行旨在用于不依赖于驾驶员的操作的自动行驶等的协同控制。
微型计算机7610可基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内设备I/F 7660以及车载网络I/F 7680中的至少一个所获得的信息，生成车辆与诸如周围结构、人等对象之间的三维距离信息，并且生成包括车辆当前所处的周围环境的信息的局部地图信息。此外，微型计算机7610可基于所获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等危险，并且生成警报信号。该警报信号可以是用于产生警告声音或点亮警报灯的信号。
声音/图像输出部7670将声音和图像中的至少一个的输出信号传输至输出设备，该输出设备能够向车辆的乘客或车辆外部以视觉或听觉方式通知信息。在图10的实例中，音频扬声器7710、显示部7720和仪表面板7730作为输出设备示出。显示部7720可包括车载显示器和平视显示器中的至少一个。显示部7720可具有增强现实(AR)显示功能。输出设备可以是这些设备以外的其他设备，诸如耳机、由乘客等佩戴的诸如眼镜式显示器等可佩戴设备、投影仪、灯等。在输出设备是显示设备的情况下，显示设备以视觉方式显示通过微型计算机7610执行的各种处理而获得的结果，或者显示从其他控制单元接收的以各种形式(诸如，文本、图像、表格、曲线图等)的信息。此外，在输出设备是音频输出设备的情况下，音频输出设备将播放的音频数据或声音数据等组成的音频信号转换为模拟信号，以听觉方式输出该模拟信号。
顺便提及，在图10所示出的实例中，经由通信网络7010彼此连接的至少两个控制单元可集成为一个控制单元。可替代地，每个单独的控制单元可包括多个控制单元。此外，车辆控制系统7000可包括图中未示出的其他控制单元。此外，通过上述描述中的控制单元中的一个控制单元执行的功能的部分或全部可被分配至另一控制单元。即，可通过任一个控制单元执行预定的运算处理，只要信息经由通信网络7010传输和接收。类似地，连接至控制单元中的一个控制单元的传感器或设备可被连接至另一控制单元，并且多个控制单元可经由通信网络7010相互传输和接收检测信息。
注意，计算机程序可以安装在任何控制单元中，该计算机程序旨在实现根据使用图1和图7描述的本实施方式的图像处理装置1和2的功能。另外地，还可以提供其中安装了这样的计算机程序的计算机可读记录介质。记录介质是例如磁盘、光盘、磁光盘、闪速存储器等。另外地，上述计算机程序可以例如经由网络而不使用记录介质来分发。
在上述的车辆控制系统7000中，使用图1和图7描述的图像处理装置1和2可以应用于图10示出的应用实例中的车外信息检测单元7400。另外地，根据上述实施方式的输出部110可以应用于声音/图像输出部7670。
另外地，根据使用图1和图7描述的本实施方式的图像处理装置1和2的至少一些部件可以在用于图10示出的集成控制单元7600的模块(例如，包括一个管芯的集成电路模块)中实现。可替代地，根据使用图1和图7描述的本实施方式的图像处理装置1和2可以由图10示出的车辆控制系统7000的多个控制单元来实现。
<4.修改实例>
已经具体描述了本公开的多个实施方式。然而，本公开的内容不限于上述实施方式，并且可以做出基于本公开的技术构思的各种修改。下面将描述修改实例。
在第一实施方式中，边缘检测部103基于深度图像D来检测边缘，但是不旨在进行这样的限制。输入图像I还包括边缘，并且因此，边缘检测部103可以基于输入图像I来检测边缘。例如，即使在由于深度传感器等方面的错误而无法获得深度图像D的情况下，第一滤波器系数计算部104也可以基于针对边缘的检测结果来计算第一滤波器系数。注意，其中检测到边缘的图像可以根据到对象(被摄体)等的距离而动态地改变。
另外地，边缘检测部103可以基于深度图像D和输入图像I来检测边缘。两个图像可以用于提高针对边缘的检测精度。
另外地，在第二实施方式中，干扰物检测部107基于深度图像D来检测干扰物，但是不旨在进行这样的限制。输入图像I还包括干扰物，并且因此，干扰物检测部107可以基于输入图像I来进一步检测干扰物。两个图像可以用于提高针对边缘的检测精度。在这种情况下，干扰物检测部107可以使用随着图像而变化的方法来检测包括在深度图像D和输入图像I中的干扰物。这使得能够防止遗漏根据干扰物的类型等可能发生的检测。
上面的描述使用可见图像作为上述输入图像I，但是不旨在进行这样的限制。输入图像I可以是不可见光图像，例如红外图像(非可见光图像)。另外地，图像可以是通过对可见光图像和不可见光图像进行合成而获得的图像。这样的图像可以使得能够改善对象的可见性，并且因此使得能够便于对边缘、细节和干扰物的检测。
在上述实施方式中，边缘和细节被引用为图像特性。然而，本技术可以应用于其他特性(例如，灰度(灰度等级))。
在根据上述实施方式的滤波器处理部的功能中，设置用于滤波器处理的滤波器系数的功能和基于滤波器系数来执行滤波器处理的功能可以由不同的部件(例如，IC(集成电路)等)来执行。
本公开还可以通过装置、方法、程序、系统等来实现。例如，使得能够下载执行实施方式中上面所描述的功能的程序，并且不包括实施方式中所描述的功能的装置下载该程序并将该程序安装在该装置中。然后，可以在该装置中执行实施方式中所描述的控制。本公开可以由分发这样的程序的服务器来实现。另外地，实施方式和修改实例中所描述的事项可以被适当地组合在一起。
本公开可以采取以下配置。
(1)一种图像处理装置，包括：
图像处理部，其被配置成使用至少基于针对基于第一图像的细节的检测结果和对第二图像执行的干扰物的检测的检测结果而设置的滤波器系数来执行滤波器处理。
(2)根据(1)所述的图像处理装置，
其中，所述第一图像和所述第二图像是与预定深度图像对准的同一输入图像。
(3)根据(1)所述的图像处理装置，
其中，所述第一图像是与对应于所述第二图像的深度图像不同的输入图像。
(4)根据(2)所述的图像处理装置，
其中，所述滤波器系数还是基于以下中任意一个而设置的系数：针对基于与所述输入图像对准的所述深度图像的边缘的检测结果、针对基于所述输入图像的所述边缘的检测结果、以及针对基于所述深度图像和所述输入图像的所述边缘的检测结果。
(5)根据(2)所述的图像处理装置，
其中，所述深度图像是基于透射所述干扰物的传感器而获得的图像。
(6)根据(3)所述的图像处理装置，
其中，所述深度图像是基于不透射所述干扰物的传感器而获得的图像。
(7)根据(6)所述的图像处理装置，
其中，所述滤波器系数还是基于以下中任意一个而设置的系数：针对基于与所述输入图像对准的所述深度图像的边缘的检测结果、针对基于所述输入图像的所述边缘的检测结果、以及针对基于所述深度图像和所述输入图像的所述边缘的检测结果。
(8)根据(6)所述的图像处理装置，
其中，所述干扰物基于所述深度图像、或者所述输入图像和所述深度图像来检测。
(9)根据(4)所述的图像处理装置，
其中，所述滤波器系数是通过对基于基于针对所述边缘的检测结果而设置的第一滤波器系数、基于针对所述细节的检测结果而设置的第二滤波器系数、以及基于针对所述干扰物的检测结果而设置的第三滤波器系数的信息进行归一化而获得的系数。
(10)根据(9)所述的图像处理装置，
其中，所述第一滤波器系数是以保留所述边缘的方式设置的系数，所述第二滤波器系数包括以保留所述细节的方式设置的系数，并且所述第三滤波器系数包括以消除所述干扰物的方式设置的系数。
(11)根据(10)所述的图像处理装置，
其中，针对包括所述干扰物的像素，将0设置为所述第三滤波器系数。
(12)根据(2)至(11)中任一项所述的图像处理装置，
其中，所述输入图像是可见光图像、不可见光图像或者通过对可见光图像和不可见光图像进行合成而获得的图像。
(13)根据(1)至(12)中任一项所述的图像处理装置，
其中，所述干扰物是空气中飞散的颗粒状微小物质。
(14)根据(13)所述的图像处理装置，
其中，所述干扰物包括雨滴、雪、雾、雨夹雪、冰雹、黄沙、灰尘、苍蝇和蚊子中的至少一种。
(15)根据(2)至(14)中任一项所述的图像处理装置，
其中，所述图像处理装置对经过所述对准的所述输入图像执行所述滤波器处理。
(16)根据(1)至(15)中任一项所述的图像处理装置，包括：
输出部，其被配置成输出经过由所述图像处理装置进行的所述滤波器处理的图像。
(17)一种图像处理方法，包括：
由图像处理部使用至少基于针对基于第一图像的细节的检测结果和对第二图像执行的干扰物的检测的检测结果而设置的滤波器系数来执行滤波器处理。
(18)一种程序，其使计算机执行图像处理方法，所述图像处理方法包括：
由图像处理部使用至少基于针对基于第一图像的细节的检测结果和对第二图像执行的干扰物的检测的检测结果而设置的滤波器系数来执行滤波器处理。
[附图标记列表]
1...图像处理装置、2...图像处理装置、102...对准部、103...边缘检测部、104...第一滤波器系数计算部、105...细节检测部、106...第二滤波器系数计算部、107...干扰物检测部、108...第三滤波器系数计算部、109...滤波器处理部、110...输出部

Claims (15)

1.一种图像处理装置，包括：
图像处理部，其被配置成使用至少基于以下而设置的滤波器系数来执行滤波器处理：基于第一图像的细节的检测结果；和对第二图像执行的干扰物的检测结果，
其中，所述滤波器系数是通过对以下系数的乘积进行归一化而获得的系数：以保留基于深度图像的边缘的方式而设置的第一滤波器系数、以保留所述细节的方式而设置的第二滤波器系数、以及以消除所述干扰物的方式而设置的第三滤波器系数。
2.根据权利要求1所述的图像处理装置，
其中，所述第一图像和所述第二图像是与所述深度图像对准的同一输入图像。
3.根据权利要求1所述的图像处理装置，
其中，所述第一图像是与对应于所述第二图像的深度图像不同的输入图像。
4.根据权利要求2所述的图像处理装置，
其中，所述深度图像是基于使所述干扰物透射的传感器而获得的图像。
5.根据权利要求3所述的图像处理装置，
其中，所述深度图像是基于不使所述干扰物透射的传感器而获得的图像。
6.根据权利要求5所述的图像处理装置，
其中，所述干扰物基于所述深度图像、或者所述输入图像和所述深度图像来被检测。
7.根据权利要求2或3所述的图像处理装置，
其中，所述图像处理部还被配置成检测所述边缘、所述细节以及所述干扰物。
8.根据权利要求1所述的图像处理装置，
其中，针对包括所述干扰物的像素，将0设置为所述第三滤波器系数。
9.根据权利要求2所述的图像处理装置，
其中，所述输入图像是可见光图像、不可见光图像、或者通过对可见光图像和不可见光图像进行合成而获得的图像。
10.根据权利要求1所述的图像处理装置，
其中，所述干扰物是空气中飞散的颗粒状微小物质。
11.根据权利要求10所述的图像处理装置，
其中，所述干扰物包括雨滴、雪、雾、雨夹雪、冰雹、黄沙、灰尘、苍蝇以及蚊子中的至少一种。
12.根据权利要求2所述的图像处理装置，
其中，所述图像处理装置对已被对准的所述输入图像执行所述滤波器处理。
13.根据权利要求1所述的图像处理装置，包括：
输出部，其被配置成输出已经由所述图像处理装置进行滤波器处理的图像。
14.一种图像处理方法，包括：
由图像处理部使用至少基于以下而设置的滤波器系数来执行滤波器处理：基于第一图像的细节的检测结果；和对第二图像执行的干扰物的检测结果，
其中，所述滤波器系数是通过对以下系数的乘积进行归一化而获得的系数：以保留基于深度图像的边缘的方式而设置的第一滤波器系数、以保留所述细节的方式而设置的第二滤波器系数、以及以消除所述干扰物的方式而设置的第三滤波器系数。
15.一种其上存储有程序的计算机可读存储介质，所述程序当被处理器执行时使计算机执行图像处理方法，所述图像处理方法包括：
由图像处理部使用至少基于以下而设置的滤波器系数来执行滤波器处理：基于第一图像的细节的检测结果；和对第二图像执行的干扰物的检测结果，
其中，所述滤波器系数是通过对以下系数的乘积进行归一化而获得的系数：以保留基于深度图像的边缘的方式而设置的第一滤波器系数、以保留所述细节的方式而设置的第二滤波器系数、以及以消除所述干扰物的方式而设置的第三滤波器系数。
CN201880091137.9A 2018-03-19 2018-12-07 图像处理装置、图像处理方法以及存储介质 Active CN111868778B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018050911 2018-03-19
JP2018-050911 2018-03-19
PCT/JP2018/045093 WO2019181096A1 (ja) 2018-03-19 2018-12-07 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN111868778A CN111868778A (zh) 2020-10-30
CN111868778B true CN111868778B (zh) 2024-05-21

Family

ID=67986091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880091137.9A Active CN111868778B (zh) 2018-03-19 2018-12-07 图像处理装置、图像处理方法以及存储介质

Country Status (4)

Country Link
US (1) US11436706B2 (zh)
JP (1) JP7160085B2 (zh)
CN (1) CN111868778B (zh)
WO (1) WO2019181096A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591727A (zh) * 2021-08-03 2021-11-02 彭刚 一种配送机器人交通信号识别装置
US20240212097A1 (en) * 2022-12-22 2024-06-27 Faurecia Irystec Inc. Image enhancement targeted at addressing degradations caused by environmental conditions

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737370A (zh) * 2011-04-02 2012-10-17 株式会社理光 检测图像前景的方法及设备
JP2014143512A (ja) * 2013-01-23 2014-08-07 Sharp Corp 画像処理装置及び画像処理方法
CN104094284A (zh) * 2013-02-05 2014-10-08 Lsi公司 具有保留边缘的抑制噪声功能的图像处理器
CN104599256A (zh) * 2014-12-31 2015-05-06 中国科学院深圳先进技术研究院 基于单幅图像的去除图像雨线的方法和系统
WO2017104291A1 (ja) * 2015-12-18 2017-06-22 三菱電機株式会社 画像処理装置及び画像処理方法
CN107240075A (zh) * 2017-05-27 2017-10-10 上海斐讯数据通信技术有限公司 一种雾霾图像增强处理方法及系统
CN107240084A (zh) * 2017-06-14 2017-10-10 湘潭大学 一种单幅图像去雨方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4798945B2 (ja) 2003-03-05 2011-10-19 トヨタ自動車株式会社 撮像装置
US8553088B2 (en) * 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view
JP4920268B2 (ja) * 2006-02-23 2012-04-18 株式会社日立ハイテクノロジーズ 半導体プロセスモニタ方法およびそのシステム
JP4776587B2 (ja) * 2007-06-13 2011-09-21 国立大学法人北海道大学 画像処理装置，運転支援装置
AU2009201637B2 (en) * 2009-04-24 2011-08-11 Canon Kabushiki Kaisha Processing multi-view digital images
US20110032341A1 (en) * 2009-08-04 2011-02-10 Ignatov Artem Konstantinovich Method and system to transform stereo content
JP5442353B2 (ja) 2009-08-10 2014-03-12 株式会社Ｉｈｉ 車両操縦用画像表示装置および方法
EP2786580B1 (en) * 2011-11-30 2015-12-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Spatio-temporal disparity-map smoothing by joint multilateral filtering
JP2014241584A (ja) * 2013-05-14 2014-12-25 パナソニックＩｐマネジメント株式会社 画像処理方法、及び画像処理システム
CN103439756B (zh) * 2013-07-31 2016-02-10 中国人民解放军理工大学 一种基于粒子成像测速的自然降水粒子微物理特征测量方法
JP6418961B2 (ja) 2015-01-28 2018-11-07 シャープ株式会社 障害物検知装置、移動体、障害物検知方法、および障害物検知プログラム
US9508126B2 (en) * 2015-02-17 2016-11-29 Adobe Systems Incorporated Image haze removal using fast constrained transmission estimation
TWI608447B (zh) * 2015-09-25 2017-12-11 台達電子工業股份有限公司 立體影像深度圖產生裝置及方法
JP6578237B2 (ja) 2016-03-31 2019-09-18 株式会社吉野工業所 吐出容器
EP3462408A1 (en) * 2017-09-29 2019-04-03 Thomson Licensing A method for filtering spurious pixels in a depth-map
JP7033649B2 (ja) * 2018-03-22 2022-03-10 日立Astemo株式会社 車載ステレオカメラ

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737370A (zh) * 2011-04-02 2012-10-17 株式会社理光 检测图像前景的方法及设备
JP2014143512A (ja) * 2013-01-23 2014-08-07 Sharp Corp 画像処理装置及び画像処理方法
CN104094284A (zh) * 2013-02-05 2014-10-08 Lsi公司 具有保留边缘的抑制噪声功能的图像处理器
CN104599256A (zh) * 2014-12-31 2015-05-06 中国科学院深圳先进技术研究院 基于单幅图像的去除图像雨线的方法和系统
WO2017104291A1 (ja) * 2015-12-18 2017-06-22 三菱電機株式会社 画像処理装置及び画像処理方法
CN107240075A (zh) * 2017-05-27 2017-10-10 上海斐讯数据通信技术有限公司 一种雾霾图像增强处理方法及系统
CN107240084A (zh) * 2017-06-14 2017-10-10 湘潭大学 一种单幅图像去雨方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Duan-Yu Chen，Chien-Cheng Chen，Li-Wei Kang.IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY.2014,24(8),1430-1455. *

Also Published As

Publication number Publication date
US20210042886A1 (en) 2021-02-11
JPWO2019181096A1 (ja) 2021-03-11
WO2019181096A1 (ja) 2019-09-26
CN111868778A (zh) 2020-10-30
US11436706B2 (en) 2022-09-06
JP7160085B2 (ja) 2022-10-25

Similar Documents

Publication Publication Date Title
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2017057044A1 (ja) 情報処理装置及び情報処理方法
JP6764573B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2017220051A (ja) 画像処理装置、画像処理方法、および車両
CN110291773B (zh) 信息处理装置、信息处理方法和成像装置
WO2018150685A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11585898B2 (en) Signal processing device, signal processing method, and program
US11375137B2 (en) Image processor, image processing method, and imaging device
CN111868778B (zh) 图像处理装置、图像处理方法以及存储介质
CN109644241B (zh) 图像处理设备和图像处理方法
KR20210146891A (ko) 정보 처리 장치 및 정보 처리 방법
EP4080869A1 (en) Information processing device, information processing method, program, image capturing device, and image capturing system
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2019215979A1 (ja) 画像処理装置、車載装置、画像処理方法及びプログラム
CN113614782A (zh) 信息处理装置、信息处理方法和程序
WO2022097470A1 (ja) 信号処理装置、撮像装置及び信号処理方法
JP7173056B2 (ja) 認識装置と認識方法およびプログラム
WO2022196316A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN113614777A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant