CN110458155B - 异常图像检测装置、图像处理系统及车辆 - Google Patents

异常图像检测装置、图像处理系统及车辆 Download PDF

Info

Publication number
CN110458155B
CN110458155B CN201910905232.4A CN201910905232A CN110458155B CN 110458155 B CN110458155 B CN 110458155B CN 201910905232 A CN201910905232 A CN 201910905232A CN 110458155 B CN110458155 B CN 110458155B
Authority
CN
China
Prior art keywords
image
parallax
pixels
reliability
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910905232.4A
Other languages
English (en)
Other versions
CN110458155A (zh
Inventor
赤坂贵志
石井崇大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015157183A external-priority patent/JP6690904B2/ja
Priority claimed from JP2015175792A external-priority patent/JP6651313B2/ja
Priority claimed from JP2016127534A external-priority patent/JP6657034B2/ja
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Priority to CN201910905232.4A priority Critical patent/CN110458155B/zh
Publication of CN110458155A publication Critical patent/CN110458155A/zh
Application granted granted Critical
Publication of CN110458155B publication Critical patent/CN110458155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Mechanical Engineering (AREA)

Abstract

本发明涉及异常图像检测装置、图像处理系统及车辆。异常图像检测装置(2)包括：可靠性判定部(24)，其判定该视差图像的像素是否可靠性低；运算部(25)，其计算由可靠性判定部(24)判定的低可靠性像素的总数；以及异常判定部(26)，当由计算部(25)获取的低可靠性像素的总数超过预定值时，其判定该视差图像异常。可靠性判定部(24)具有边缘强度判定部分(241)，该边缘强度判定部分被配置成：当该原始图像中的像素中的每一者的边缘强度至少小于或等于阈值时，判定基于该原始图像的该像素所生成的该视差图像中的像素为低可靠性像素。

Description

异常图像检测装置、图像处理系统及车辆
本申请是申请日为2016年07月28日，申请号为201610615709.1且发明名称为“异常图像检测装置、图像处理系统及车辆”的发明专利申请的分案申请。
技术领域
本发明涉及检测视差图像和与视差图像的生成有关的原始图像中的异常的异常图像检测装置、具有该异常图像检测装置的图像处理系统以及包含该图像处理系统的车辆。
背景技术
已经提出具有能够基于视差图像(“视差图像”也被称为“深度图像”)来判定距被摄体的距离的立体相机的车辆。
安装到车辆的立体相机中的异常的可能原因包括：例如，由于基于在很亮/很暗的情况下(例如，在背光或黑暗的情况下)拍摄的图像所生成的视差图像以及立体相机的故障(例如，光学、机械和电气故障)，而未能精确地计算深度距离。
已经提出能够判定未受到很亮/很暗的条件(例如，背光或黑暗条件)影响的立体相机的异常情况的异常诊断装置(例如参见JP 2014-006243A)。
通过安装到车辆的立体相机，能够由左相机和右相机拍摄截然不同的场景的图像。例如，在异物仅附着到两个相机中的一者的情况下拍摄图像时，由于纹理减少，不能通过立体匹配来获取校正视差值(视差图像)。在除附着异物的情况之外的某种情况下，也能够由左相机和右相机拍摄不同场景的图像。
在上述提及的JP 2014-006243 A中所述的异常诊断装置中，视差图像数据中的异常由视差值分布和视差值分布中的变化量(第N帧的视差值图像和第(N+1)帧的视差值图像的变化量)来判定。用于该判定的具体方法包括：
(1)判定是否检测到视差，
(2)判定是否存在等于或大于最大视差值的视差，
(3)判定视差值峰值的数量是否等于或大于阈值，以及
(4)判定视差值分布与前一帧的相似度是否低。
然而，(1)至(4)中所述的判定方法难以判定针对在上述“异物仅附着到两个相机中的一者的情况”下所拍摄的图像的视差图像数据为异常。可能所有的判定结果为“否”，并且视差图像数据被判定为正常。
发明内容
本发明的目的在于提供异常图像检测装置、具有该异常图像检测装置的图像处理系统及结合该图像处理系统的车辆，其中，当由多个摄像部中的一者拍摄与其它摄像部拍摄的场景截然不同的场景的图像时，异常图像检测装置能够基于低可靠性像素的总数检测异常图像。
该目的通过独立权利要求中所定义的异常图像检测装置、图像处理系统和车辆来实现。
根据本发明，提供了一种异常图像检测装置，该装置被配置成检测从多个摄像部获取并用于生成视差图像的多个原始图像中的至少一者的异常，异常图像检测装置包括：
可靠性判定部，其被配置成判定视差图像的像素是否可靠性低；
运算部，其被配置成计算低可靠性像素的总数；以及
异常判定部，其被配置成当低可靠性像素的总数超过预定值时判定视差图像异常，
其中，可靠性判定部具有边缘强度判定部分，边缘强度判定部分被配置成：当原始图像中的像素中与视差图像中的像素相对应的一者的边缘强度至少小于或等于阈值时，判定基于原始图像的像素所生成的视差图像中的像素为低可靠性像素。
在上述的布置方式中，可靠性判定部通过使用原始图像的与视差图像的生成有关的像素来判定视差图像的像素的可靠性(“视差图像”也被称为“深度图像”)。具有弱边缘的像素被判定为低可靠性像素(低可靠性像素)，并且当低可靠性像素的总数超过预定值时视差图像被判定为异常。因此，甚至在由多个摄像部中的一者拍摄与其它摄像部拍摄的场景截然不同的场景的图像(原始图像)的情况下，也能检测异常视差图像。如果深度距离通过使用低可靠性像素而未改变低可靠性像素的方式生成的视差图像来计算，距离的精度较低，从而导致障碍物的检测精度降低。
边缘强度判定部分可以判定原始图像的各个像素的边缘强度。当原始图像的像素被判定为原始图像的像素的边缘强度至少小于或等于阈值时，则可以判定与原始图像的该像素相对应的像素为低可靠性像素。
当判定原始图像的像素中的每一者的边缘强度被判定时，像素例如为原始图像的整个区域中的像素、部分区域中的像素、或者通过从整个区域中去除端部区域所限定的中央区域中的像素。在端部区域，多个摄像部具有不同的摄像区域。因此其优选预先排除端部区域。
边缘强度判定部分所使用的“阈值”可以是预先设定的值。例如，可以采用根据经验或实验获取的值。例如，可以获取在测试运行期间拍摄的图像或视差图像的边缘强度，并且可以设定来自数据(例如，边缘强度的平均值、边缘强度的最大值、边缘强度的最小值或边缘强度的标准偏差)中的阈值。
在上述的本发明的一个实施例中，可靠性判定部具有视差值判定部分，视差值判定部分被配置成：当视差图像中的像素中的每一者的视差值超出预定范围时，判定像素可靠性低。
该布置方式以及边缘强度判定使得将视差值超出预定范围的像素识别为低可靠性像素并且当低可靠性像素的总数超过预设值时判定视差图像异常。甚至在边缘强度判定未检测到异常的情况下，异常视差图像也可以通过该视差值判定来判定。使用边缘强度判定和视差值判定两者使得视差图像异常判定具有改进的可靠性。
当视差图像的像素中的每一者的视差值被判定时，像素例如为视差图像的整个区域中的像素、部分区域中的像素或者通过从整个区域中去除端部区域所限定的中央区域中的像素。在端部区域中，多个摄像部有不同的摄像区域。因此其优选预先排除端部区域。
视差值判定部分所使用的“预定范围”可以由预先设定的值来定义。例如，可以采用根据经验或实验得到的值。在预定范围由用于上限和下限的阈值来定义。然而，预定范围或者可以仅由上限阈值或下限阈值来定义。
在上述的本发明的一个实施例中，上述视差图像包括针对多个原始图像中的第一原始图像(A)生成的第一视差图像(Ab)以及针对第二原始图像(B)生成的第二视差图像(Ba)，并且可靠性判定部具有视差值差值判定部分，视差值差值判定部分被配置成：当第一视差图像(Ab)的第一像素(pA)的第一视差值(d1)与第二视差图像(Ba)的对应于第一像素(pA)的第二像素(pB)的第二视差值(d2)之间的差值超出预定范围时，判定第一像素(pA)可靠性低。
该布置方式连同边缘强度判定或边缘强度判定和视差值判定使得将第一视差值与第二视差值之间的差值(d1-d2)超出预定范围的像素识别为低可靠性像素并且当低可靠性像素的总数超过预定值时判定视差图像异常。甚至在边缘强度判定或视差值判定未检测到异常的情况下，该视差值差值判定也能判定异常视差图像。通过使用边缘强度判定，视差值判定和视差值差值判定使得视差图像异常判定更加可靠。例如，第一原始图像(A)和第二原始图像(B)分别可以为左原始图像和右原始图像。
例如，第一像素(pA)为第一视差图像(Ab)的整个区域中的像素中的一者、部分区域中的像素中的一者、或者通过从整个区域去除端部区域所限定的中央区域中的像素中的一者。在端部区域，多个摄像部具有不同的摄像区域。因此其优选预先排除端部区域。
视差值差值判定部分所使用的“预定范围”可以由预先设定的值来定义。例如，可以采用根据经验或实验获取的值。预定范围由用于上限和下限的阈值来定义。然而，预定范围或者可以仅由上限阈值或下限阈值(例如，由上限阈值)来定义。
在上述的本发明的一个实施例中，多个摄像部例如为由布置在左右位置的摄像部所形成的立体相机、由布置在上下位置的摄像部所形成的立体相机、由布置在正三角形的顶点的三个摄像部所形成的立体相机、或者具有三个或更多个摄像部的立体相机。
在上述的本发明的一个实施例中，异常图像检测装置还存储部，该存储部被配置成存储选自原始图像、通过在原始图像上执行边缘增强处理所形成的边缘增强图像、以及视差图像中的至少一组数据。存储部可以是临时存储部。
在上述的本发明的一个实施例中，异常图像检测装置还具有采集部，该采集部被配置成从外部装置接收选自原始图像、通过在原始图像上执行边缘增强处理所形成的边缘增强图像、以及视差图像中的至少一组数据。采集部例如为通信装置(无线、有线)或者用于读取存储介质的装置。
在上述的本发明的一个实施例中，原始图像至少包括左相机图像和右相机图像。
在上述的本发明的一个实施例中，视差图像(也被称为立体图像或深度图像)基于来自左相机图像和右相机图像的视差(视差值)来生成。
根据本发明的另一个方面，提供了一种图像处理系统。该图像处理系统包括多个摄像部、视差图像生成部和距离计算部，其中，该视差图像生成部配置成基于从摄像部获取的多个原始图像生成视差图像，该距离计算部被配置成基于由视差图像生成部所生成的视差图像来计算深度距离。该图像处理系统包括上述异常图像检测装置和输出部，其中，输出部被配置成当异常图像检测装置检测到视差图像中的异常时输出异常信息。
在一个实施例中，图像处理系统还具有被配置成对多个原始图像执行校正处理的图像校正部。校正处理例如为用于增强边缘的边缘增强处理。
在一个实施例中，距离计算部可以基于通过去除低可靠性像素所形成的视差图像来计算深度距离。视差图像由视差图像生成部生成。低可靠性像素是由可靠性判定部判定的可靠性低的像素。
在一个实施例中，距离计算部可以基于除在其中检测到异常的视差图像之外的视差图像来计算深度距离。
在一个实施例中，当通过使用于其中检测到异常的视差图像来计算深度距离时，该距离计算部使用通过去除低可靠性像素所形成的视差图像。
根据本发明的又一个方面，提供结合上述图像处理系统的车辆。
在一个实施例中，车辆具有沿摄像方向位于摄像部前方的前挡风玻璃，并且前挡风玻璃上没有刮水器。
根据本发明，提供了一种异常图像检测装置，当由多个摄像部中的一者拍摄与其它拍摄部拍摄的场景截然不同的场景时，其能够基于低可靠性像素的总数检测异常图像。还提供了一种具有该异常图像检测装置的图像处理系统。还可以提供了一种结合该图像处理系统的车辆。
附图说明
图1A是根据实施例1的车辆的主视图；
图1B是根据实施例1的车辆的功能框图；
图2是根据实施例1的图像处理系统的功能框图；
图3是根据实施例1的异常图像检测装置的功能框图；
图4示出左原始图像和右原始图像的示例；
图5示出通过使用图4中所示的原始图像所生成的视差图像的示例；
图6是由边缘强度判定部分进行的可靠性判定的流程图。
图7是由视差值判定部分进行的可靠性判定的流程图。
图8是由视差值差值判定部分的可靠性判定的流程图。
图9是用于获取视差值差值的说明图表；
图10示出通过增强图4中的左原始图像的边缘所形成的图像的示例；
图11示出未附着异物的原始图像的示例；
图12示出通过使用图11中所示的原始图像所生成的视差图像的示例；
图13是示出图12中所示的视差图像中的视差分布的图表；
图14是示出在图5中所示的视差图像中的视差分布图表；并且
图15是根据实施例2的异常图像检测装置的功能框图。
具体实施方式
(实施例1)
将参照附图对根据实施例1的异常图像检测装置的车辆进行描述。以下，将通过示例的方式将自主行进的高尔夫球车描述为车辆。然而，车辆并不限于高尔夫球车。“前/后”和“左/右”是相对于车辆行驶的方向来定义的。对于本实施例的描述，当与无异物的图像相比时，具有附着异物的状态下的图像被用作提供截然不同的场景的图像。这种图像并非排他性地被使用；表示截然不同的场景的任何其他种类的图像也可以满足需求。
(车辆构造的概述)
图1A、图1B、图2和图3中所示的车辆1为在高尔夫球场上自动行驶或者手动操作行驶的高尔夫球车。车辆1可以通过被电磁波引导而自主地行驶，该电磁波从嵌入到车道下方的导线中发射。车辆1包括图像处理系统5，该图像处理系统5具有摄像部51、基于从摄像部51获取的多个原始图像生成视差图像的视差图像生成部52、基于由视差图像生成部52生成的视差图像来计算深度距离的距离计算部53、检测基于从摄像部51获取的多个原始图像生成的视差图像和多个原始图像中的至少一者是否异常的异常图像检测装置2、以及如果异常图像检测装置2检测到视差图像中的异常则输出异常信息的输出部54。图像处理系统5还可以具有检测车辆1行驶的车道上的障碍物的障碍物检测装置55。在实施例1中，车辆1是通过导线引导并能够自主地行驶的车辆。然而，本发明并不限于此。车辆1还可以由驾驶员手动操作行驶，并且可以在不具有导线的车道上自由行驶。
如图1B中所示的车辆1还设置有控制车辆1沿导线自主行驶的自主行驶控制部6、当障碍物检测装置55检测到障碍物时向驾驶员和周围发出警告的警告输出部7、一旦检测到障碍物就进行减速或停止控制的行驶速度控制部9、以及驱动车轮并且其旋转速度由行驶速度控制部9控制的驱动马达11。在本实施例中，车辆1由马达驱动。然而，本发明并不限于此。车辆1可以由发动机驱动。
(图像处理系统的构造)
将参照图2对图像处理系统5进行描述。摄像部51设置在车辆1的前挡风玻璃的上中部分，其中前挡风玻璃上并未设置刮水器。摄像部51是具有左图像传感器511和右图像传感器的立体相机512。立体相机或者可以包括两个或更多个图像传感器。左图像传感器511和右图像传感器512例如为可见光相机。左图像传感器511和右图像传感器512以获得平行立体图像的位置关系来布置。在本实施例中，除非另有特别说明，左图像传感器511被假定为参照相机，并且由左图像传感器511所拍摄的图像被称为参照图像。图像处理系统5具有微处理器和存储器，通过该微处理器和存储器实现其组成部分的功能。
视差图像生成部52通过将由左图像传感器511拍摄的图像用作左原始图像并且通过将由右图像传感器512拍摄的图像用作右原始图像来生成视差图像。图4(a)示出左原始图像的示例，并且4(b)示出右原始图像的示例。左原始图像的中心部分中的较暗区域wd表示图像是在异物附着到左图像传感器511的透镜前表面的状态下拍摄的。
视差图像生成部52通过将左原始图像用作参照图像来生成视差图像。视差图像可以针对所有的帧来生成，或者视差图像可以通过提取任意帧来生成。在本实施例中，视差图像通过以预定的间隔提取帧而形成。图5示出通过使用图4中所示的左原始图像和右原始图像所生成的视差图像。视差图像生成部52还可以通过将右原始图像用作参照图像来生成用于视差值差值判定部分中的可靠判定的视差图像。每个视差图像例如可以通过立体匹配等来生成。区域相关法用作立体匹配。在区域相关法中，针对与标记的像素相关的一定尺寸的窗口，计算每个图像的匹配度，并且执行立体匹配使得使匹配度最大化。此外，在匹配度最大的状态下标记的像素的视差。由此计算出的视差表示多个图像间的像素的错位量。在实施例1中，视差是右原始图像(左原始图像)的像素与用作参照图像的左原始图像(或右原始图像)的像素的错位量。
距离计算部53基于由视差图像生成部52生成的视差图像来计算深度距离。无论是异常视差图像还是正常视差图像，距离计算部53基于通过去除低可靠性像素所形成的视差图像来计算深度距离。换句话说，当低可靠性像素包括在正常视差图像中时，距离计算部53基于通过去除低可靠性像素所形成的正常视差图像来计算深度距离。当低可靠性像素包括在异常视差图像中时，距离计算部53基于通过去除低可靠性像素所形成的异常视差图像来计算深度距离。通过避免使用低可靠性像素，可以高精度地获得深度距离。例如，深度距离被提供给障碍物检测装置55和行驶速度控制部9。
当异常图像检测装置2检测到视差图像中的异常时，输出部54输出异常信息。例如，该输出为在显示装置上的异常信息的显示、通过扬声器的声音或语音输出、通过照明装置的输出或者可以被发送到外部装置的异常信息。
(异常图像检测装置)
图3中示出的异常图像检测装置2具有判定视差图像的像素的可靠性是否低的可靠性判定部24、计算由可靠性判定部24判定的低可靠性像素的总数的计算部25、以及当由计算部25获取的低可靠性像素的总数超过预定值时判定视差图像异常的异常判定部26。
可靠性判定部24具有边缘强度判定部分241、视差值判定部分242和视差值差值判定部分243，这将在下面进行详细描述。
将参照图6描述由边缘强度判定部分执行的边缘强度判定的方法。边缘强度判定部分241针对与视差图像的第一区域w中的像素相对应的左原始图像和右原始图像的像素中的每一者判定像素的边缘强度等于还是大于阈值。下面将给出对方法的描述，在该方法中，左原始图像的像素的判定与右原始图像的像素的判定彼此同步地进行。通过在图4(a)中所示的左原始图像和图4(b)中所示的右原始图像上执行立体匹配来生成图5中所示的视差图像。边缘强度判定部分241获取与视差图像的第一区域w中的像素p(u,v)相对应的左原始图像的像素的边缘强度eL(u,v)。类似地，边缘强度判定部分241获取与视差图像的第一区域w中的像素p(u,v)相对应的右原始图像的像素的边缘强度eR(u,v)(S1)。边缘强度可以通过普通边缘检测来获取。
在本实施例中，获取与第一区域w中的像素p(u,v)相对应的左原始图像的像素的边缘强度eL(u,v)以及右原始图像的像素的边缘强度eR(u,v)。然而，本发明并不限于此。可以对本实施例作出修改，使得获取与视差图像的区域wL中的像素pL相对应的左原始图像的像素的边缘强度eL(u,v)，并且获取与视差图像的区域wR(与区域wL不同的区域)中的像素pR相对应的右原始图像的像素的边缘强度eR(u,v)。
接着，边缘强度判定部分241检查边缘强度eL是否等于或小于阈值EL1。类似地，边缘强度判定部分241检查边缘强度eR是否等于或小于阈值ER1(S2)。阈值EL1和阈值ER1可以相等或彼此不同。
如果边缘强度eL等于或小于阈值EL1，则边缘强度判定部分241判定左原始图像的像素为低可靠性像素。类似地，如果边缘强度eR等于或小于阈值ER1，则边缘强度判定部分241判定右原始图像的像素为低可靠性像素(S3-1)。计算部25计算左原始图像中的被判定为低可靠性像素的总数TL1。类似地，计算部25计算右原始图像中的被判定为低可靠性像素的总数TR1(S4)。
另一方面，如果边缘强度eL不等于或小于阈值EL1，边缘强度判定部分241判定左原始图像的像素不是低可靠性像素，而是可靠性高的像素。类似地，如果边缘强度eR不等于或小于阈值ER1，边缘强度判定部分241判定右原始图像的像素不是低可靠性像素，而是可靠性高的像素(S3-2)。未被判定为低可靠性像素的像素被称为可靠性高的像素。针对左原始图像和右原始图像的在第一区域w内的像素中的所有像素，重复步骤S2至S4(S5)。
接着，异常判定部26判定低可靠性像素的总数TL1是否超过预定值QL1。类似地，异常判定部26判定总数TR1是否超过预定值QR1(S6)。预定值QL1和QR1预先设定。预定值QL1和QR1可以相同或彼此不同。如果低可靠性像素的总数TL1超过预定值QL1，则异常判定部26判定左原始图像为异常(非正常)。同样，如果总数TR1超过预定值QR1，则异常判定部26判定为右原始图像为异常(非正常)(S7)。当异常判定部26判定原始图像中的至少一者为异常时，它判定视差图像也为异常。输出部54可以输出指示该判定结果的信息，例如，指示检测到异常视差图像的信息。无论是异常视差图像还是正常视差图像，距离计算部53基于通过去除低可靠性像素所形成的视差图像来计算深度距离。在低可靠性像素的总数TL1未超过预定值QL1并且总数TR1未超过预定值QR1的情况下，由视差值判定部分242执行判定。
将参照图7描述由视差值判定部分所执行的视差值判定的方法。在本实施例中，在视差图像中与视差值判定有关的第一区域、第二区域、和第三区域被描述为相同的区域w。然而，该方法并不限于此。可以对本实施例进行修改，使得第一区域、第二区域和第三区域彼此不同。
如果视差图像的第二区域中的像素p(u,v)的视差值d(u,v)超出预定范围，则视差值判定部分242判定像素p(u,v)可靠性低。视差值判定部分242首先获取像素p(u,v)的视差值d(u,v)(S11)。视差值可以通过常规方法获取。
视差值判定部分242检查视差值d(u,v)是否等于或大于下限值D1并等于或小于上限值D2(S12)。下限值D1和上限值D2预先设定。如果视差值d(u,v)等于或大于下限值D1并等于或小于上限值D2，则视差值判定部分242判定像素可靠性低(S13-1)。如果像素被判定为可靠性低，则计算部25计算低可靠性像素的总数T2(S14)。另一方面，如果视差值d(u,v)不等于或大于下限值D1并等于或小于上限值D2，则视差值判定部分242判定右原始图像的像素不是低可靠性像素，而是可靠性高的像素(S13-2)。针对第二区域w中的所有像素，重复步骤S12至S14(S15)。
接着，异常判定部分26判定低可靠性像素的总数T2是否超过预定值Q2(S16)。预定值Q2被预先设定。如果低可靠性像素的总数T2超过预定值Q2，则异常判定部26判定为原始图像中的至少一者和视差图像异常(非正常)(S17)。当图像被判定为异常时，输出部54可以输出指示该判定结果的信息，例如，指示检测到异常视差图像的信息。无论是异常视差图像还是正常视差图像，距离计算部53基于通过去除低可靠性像素所形成的视差图像来计算深度距离。在低可靠性像素的总数T2未超过预定值Q2的情况下，由视差值差值判定部分243执行判定。
将参照图8描述由视差值差值判定部分执行的视差值判定的方法。例如，第三区域w设定在针对左原始图像参照的视差图像中，并且该区域w中的像素pL(u,v)的视差值dL(u,v)为dL(u，v)＝d。在该情况下，如果与针对右原始图像参照的视差图像的与像素pL(u，v)相对应的像素pR(u-d,v)的视差值的差值(dL-dR)超出预定范围，则视差值差值判定部分243判定像素pL(u,v)可靠性低。可以对本发明进行修改使得在针对右原始图像参照的视差图像中设定第四区域w，并且判定像素pR(u,v)的可靠性。在该情况下，与针对右原始图像参照的视差图像的视差值dR(u,v)＝d相对应的、针对左原始图像参照的视差图像的视差值为dL(u,v)。如果差值(dL-dR)超出预定范围，则视差值差值判定部分243判定像素pR(u,v)可靠性低。第三区域和第四区域可以相同或彼此不同。针对左原始图像参照的视差图像以及针对右原始图像参照的视差图像由视差图像生成部52生成。视差值差值判定部分243首先获取视差值差(dL-dR)(S21)。
视差值差值判定部分243检查视差值差值(dL-dR)是否等于或大于下限值D3并等于或小于上限值D4(S22)。下限值D3和上限值D4被预先设定。如果视差值差值(dL-dR)等于或大于下限值D3并等于或小于上限值D4，则视差值差值判定部分243判定像素pL(u,v)可靠性低(S23-1)。
将参照图9描述获取视差值差值的过程的示例。图9(a)示出针对左原始图像参照的视差图像的视差值。图9(b)示出针对右原始图像参照的视差图像的视差值。对于图9(a)和9(b)，提取相同的坐标。将针对左原始图像参照的视差图像与针对右原始图像参照的视差图像进行比较。在针对左原始图像的视差图像的帧中，u坐标为18并且视差值为4。如果u坐标(位移量)的差值为4，则在相同的v坐标处针对右原始图像参照的视差图像的相应u坐标为14(＝18-4)，并且在u坐标14处的视差值为9。视差值差值为“5(＝9-4)”。当D3＝0并且D4＝1时，视差值差值为“5”超过D4。因此，该坐标处的像素被判定为可靠性低。
如果像素被判定为可靠性低，则计算部25计算可靠性低(S24)的像素的总数T3。如果视差值差值(dL-dR)不等于或大于下限值D3并且不等于或大于上限值D4，则视差值差值判定部分243判定像素pL(u,v)不是低可靠性像素，而是可靠性高的像素(S23-2)。针对第三区域w中所有的像素重复步骤S22至S24(S25)。
接着，异常判定部分26判定低可靠性像素的总数T3是否超过预定值Q3(S26)。预定值Q3被预先设定。如果低可靠性像素的总数T3超过预定值Q3，则异常判定部26判定原始图像中的至少一者和视差图像是否异常(非正常)(S27)。当图像被判定为异常时，输出部54可以输出指示该判定结果的信息，例如，指示检测到异常视差图像的信息。无论是异常视差图像还是正常视差图像，距离计算部53基于通过去除低可靠性像素所形成的视差图像来计算深度距离。在低可靠性像素的总数T3未超过预定值Q3的情况下，异常判定部26判定视差图像和原始图像非异常。
(实施例1的变形例)
在上述实施例1中，边缘强度判定部分241判定边缘强度是否大于或等于阈值。这部分的操作并不限于此。边缘强度判定部分241可以判定边缘强度是否在预定范围内。
在上述实施例1中，边缘强度可以是例如由边缘增强装置(诸如SOBEL滤波器)进行处理后的值(亮度值)。图10示出通过增强图4所示的左原始图像的边缘而获得的示例。
在上述实施例1中，当视差值d(u,v)等于或小于阈值时，视差值判定部分242可以判定相应的像素p(u,v)可靠性低。
在上述实施例1中，当视差值差值(dL-dR)等于或小于阈值时，视差值判定部分242可以判定像素可靠性低。
在上述实施例1中，边缘强度判定部分241同时对左原始图像和右原始图像进行处理(S1至S7)。该部分的操作并不限于此。边缘强度判定部分241可以对原始图像的一者进行处理，并且其后对另一个原始图像进行处理。
在上述实施例1中，由边缘强度判定部分241进行的处理、由视差值判定部分242进行的处理以及由视差值差值判定部分243进行的处理依次执行。处理的顺序并不限于此。或者可以选择由边缘强度判定部分241进行的处理、由视差值差值判定部分243执行的处理以及由视差值判定部分242执行的处理的顺序。
在上述实施例1中，或者可以采用异常图像检测装置2未设置在车辆1上的布置。在该情况下，图像处理系统5和异常图像检测装置2经由网络彼此连接。另外，或者可以采用图像处理系统5未设置在车辆1上的布置。由设置在车辆1上的摄像部51拍摄的图像经由网络发送给图像处理系统5。
在上述实施例1中，视差图像生成部52可以由通过对左图像传感器511和右图像传感器512拍摄的图像进行各种校正所获取的图像来生成视差图像。在该情况下，图像处理系统5具有用于对图像进行各种校正的图像校正部(未示出)。由图像校正部校正的图像被输出到视差图像生成部52。图像校正处理的示例为：用于校正例如归因于透镜的孔和颜色的多个图像传感器之间的亮度变化的亮度校正处理、用于校正归因于用于图像传感器的透镜的畸变的畸变校正处理、以及用于增强所拍摄的图像的边缘的边缘增强处理。这些种类的图像处理中的至少一者可被执行以用于图像校正。从左图像传感器511和右图像传感器512的内在特性所获取的图像的特性的均匀性可以通过执行用于在左图像传感器511和右图像传感器512之间进行亮度校正的处理、用于校正透镜畸变的处理、和用于增强边缘的处理中的至少一者来改进。基于拍摄的图像所生成的视差图像的准确性可以通过降低左图像传感器511和右图像传感器512之间的个体差异来改进，从而使得精确地检测视差间断部分。
上述实施例1还可以具有指标计算部，该指标计算部计算视差图像的预定区域(像素)中的视差值的标准偏差(离差)的指标。如果由指标计算部计算出的指标超出预定范围(或者指标超过上限阈值)，则异常判定部判定为视差图像异常。通过这种布置方式，能够通过判定视差值中的大的变化来判定原始图像异常。例如，“视差图像的预定区域”为整个像素区域或者通过从整个像素区域中去除端部区域来限定的中央区域。在端部区域，多个摄像部具有不同的摄像区域。因此，其优选预先排除端部区域。“视差图像的预定区域”可以与上述“视差图像的第一区域”、“视差图像的第二区域”和“视差图像的第三区域”相同，或者可以不同于这些区域。
上述“视差图像的第一区域”、“视差图像的第二区域”和“视差图像的第三区域”中的每一者均为通过从整个区域中去除端部区域来限定的中央区域。然而，第一区域至第三区域并不限于此。第一区域至第三区域中的每一者可以是整个区域。
上述实施例1还包括像素值差值运算部和指标运算部，该像素值差值运算部针对至少两个原始图像的预定区域中的像素计算原始图像的在相同坐标处的像素的像素值(亮度值)，该指标运算部计算选自由像素值差值计算部获取的像素值之间的差值的总偏差、平均偏差、最大偏差、最小偏差和标准偏差中的一个或多个数据。如果指标超出预定范围(或者指标超过上限阈值)，则异常判定部判定两个原始图像中的至少一者异常。通过这种布置方式，能够通过判定亮度值中的大的差值来判定原始图像异常。例如，“原始图像的预定区域”为整个像素区域或者通过从整个像素区域去除端部区域来限定的中央区域。
上述实施例1中的车辆1具有沿摄像方向设置在摄像部的前方的前挡风玻璃。然而，本发明并不限于此。例如，摄像部可以设置在车辆的前部。
在实施例1，无论是异常视差图像还是正常视差图像，距离计算部53基于通过去除低可靠性像素所形成的视差图像来计算深度距离。然而，其不限于以上方面，也可以是以下方面。距离计算部可以基于除于其中检测到异常的视差图像之外的视差图像来计算深度距离。当通过使用检测到异常的视差图像来计算深度距离时，距离计算部使用通过去除低可靠性像素所形成的视差图像。
(实施例2)
根据实施例2的异常图像检测装置2被布置为与图像处理系统5分离的装置。图15中所示的异常图像检测设备2还包括通信部21(对应于采集部)和存储部22，该通信部接收左原始图像、右原始图像和来自外部装置的视差图像，该存储部存储左原始图像、右原始图像和由通信部21所接收的视差图像。通信部21的功能在于将被判定为异常的原始图像和视差图像有关的信息发送给外部装置或不同的装置。例如，通信部21将用于识别原始图像和视差图像的信息发送给外部装置或不同的装置。外部装置可以是经由网络连接到异常图像检测装置2的服务器或图像处理系统5。
[示例]
上述实施例1中的可靠性判定和以上提及的JP 2014-006243 A中的使用视差分布的可靠性判定可以在附着异物的状态下使用视差图像来进行以及在没有异物的状态下使用视差像素来进行。图11(a)示出没有附着异物的左原始图像，并且图11(b)示出没有附着异物的右原始图像。图12示出来自左原始图像和右原始图像的视差图像。具有附着异物的视差图像是图5中所示的图像。图13示出图12中所示的视差图像中的视差分布。12。图14示出图5中所示的视差图像中的视差分布。横坐标表示视差分布中的视差值，并且纵轴表示视差值的频率。
在根据上述实施例1的判定中，可以判定具有附着异物的右原始图像异常。在使用根据JP 2014-006243 A的视差分布的判定中，附着异物的情况下的视差分布与未附着异物的情况下的视差分布的差值仅使得某些视差的频率减小。因此，根据JP 2014-006243 A的判定方法难以精确地判定图像异常。
(其他实施例)
根据另一个实施例的异常图像检测装置是这样的异常图像检测装置：该装置检测基于从多个摄像部获取的多个原始图像所生成的视差图像以及多个原始图像中的至少一者是否异常，并且该装置具有指标计算部和异常判定部，该指标计算部计算视差图像的预定区域(像素)中的视差值的标准偏差(离差)指标，如果指标计算部计算的指标超出预定范围(或者如果指标超出上限阈值)，则该异常判定部判定视差图像异常。通过这种布置方式，可以通过判定视差值中的大的变化来判定原始图像异常。异常图像检测装置还可以具有根据上述实施例1或2的异常图像检测装置2的部件和部件的功能。
根据又一个实施例的异常图像检测装置是这样的异常图像检测装置：该装置检测基于从多个摄像部获取的多个原始图像所生成的视差图像以及多个原始图像中的至少一者是否异常，并且该装置具有像素值差值运算部、指标运算部和异常判定部，该像素值差值运算部针对至少两个原始图像的预定区域中的像素计算原始图像的在相同坐标处的像素的像素值(亮度值)之间的差值，该指标运算部计算选自从像素值差值运算部获取的像素值之间的差值的总偏差、最大偏差、最小偏差和标准偏差的一个或多个指标，并且如果指标超出预定范围(或者如果指标超过上限阈值)，则该异常判定部判定两个原始图像中的至少一者异常。通过这种布置方式，能够通过判定亮度值中的大的差值来判定原始图像异常。异常图像检测装置还可以具有根据上述实施例1或2的异常图像检测装置2的部件和部件的功能。
根据本发明的每个“阈值”可以是预先设定的固定值或者是通过基于环境条件或行驶条件对固定值进行校正而获得的校正值。
此外，如果预定值由A表示；另一个预定值由B表示；并且A比B小，根据本发明的“预定范围内”包括下列所有情况：
大于A并且小于B；大于A并且小于或等于B；大于或等于A并且小于或等于B；以及大于或等于A并且小于B。
根据本发明的车辆不限于高尔夫球车。车辆的车轮的数量不受限制。车辆可以是骑乘式车辆，其包括除速可达之外的摩托车类型。骑乘式车辆可以是除摩托车之外的任何车辆，诸如全地形车(ATV)。骑乘式车辆指由骑手骑乘的车辆。
[附图标记列表]
1     车辆
2     异常图像检测装置
21    通信部
22    存储部24 可靠性判定部
241   边缘强度判定部分242 视差值判定部分
243   视差值差值判定部分25 计算部
26    异常判定部
5     图像处理系统
51    摄像部
52    视差图像生成部
53    距离计算部54 输出部

Claims (7)

1.一种异常图像检测装置(2)，其被配置成检测从多个摄像部(51)获取并用于生成视差图像的多个原始图像中的至少一者的异常，所述异常图像检测装置(2)包括：
可靠性判定部(24)，其被配置成判定所述视差图像的像素是否具有低可靠性；
运算部(25)，其被配置成计算低可靠性像素的总数；以及
异常判定部(26)，其被配置成当低可靠性像素的总数超过预定值时判定所述视差图像异常，
其中，所述可靠性判定部(24)具有边缘强度判定部分(241)，所述边缘强度判定部分被配置成：当所述原始图像中的像素中与所述视差图像中的像素相对应的一者的边缘强度至少小于或等于阈值时，判定基于所述原始图像的像素所生成的所述视差图像中的像素为低可靠性像素，以及
指标运算部，所述指标运算部配置成计算所述视差图像的预定区域中的视差值的标准偏差的指标，并且
其中，所述异常判定部配置成当所述指标运算部计算出的指标超出预定范围或者所述指标超过上限阈值时，判定所述视差图像为异常。
2.一种异常图像检测装置(2)，其被配置成检测从多个摄像部(51)获取并用于生成视差图像的多个原始图像中的至少一者的异常，所述异常图像检测装置(2)包括：
可靠性判定部(24)，其被配置成判定所述视差图像的像素是否具有低可靠性；
运算部(25)，其被配置成计算低可靠性像素的总数；以及
异常判定部(26)，其被配置成当低可靠性像素的总数超过预定值时判定所述视差图像异常，
其中，所述可靠性判定部(24)具有边缘强度判定部分(241)，所述边缘强度判定部分被配置成：当所述原始图像中的像素中与所述视差图像中的像素相对应的一者的边缘强度至少小于或等于阈值时，判定基于所述原始图像的像素所生成的所述视差图像中的像素为低可靠性像素，
像素值差值运算部，所述像素值差值运算部配置成针对所述原始图像中的至少两个原始图像的预定区域中的像素来计算所述原始图像的在相同坐标处的像素的像素值之间的差值；以及
指标运算部，所述指标运算部配置成选自由所述像素值差值计算部获取的像素值之间的差值的总偏差、平均偏差、最大偏差、最小偏差和标准偏差中的一个或多个数据，并且
其中，所述异常判定部配置成当所述指标超出预定范围或者所述指标超过上限阈值时，判定所述两个原始图像中的至少一者为异常。
3.一种图像处理系统(5)，其包括：
多个摄像部(51)；
视差图像生成部(52)，其被配置成基于从所述摄像部(51)获取的多个原始图像生成视差图像；
距离计算部(53)，其被配置成基于由所述视差图像生成部(52)生成的所述视差图像计算深度距离；
根据权利要求1或2所述的异常图像检测装置(2)；以及
输出部(54)，其被配置成当所述异常图像检测装置(2)检测到所述原始图像中的异常时输出异常信息。
4.根据权利要求3所述的图像处理系统(5)，其中，所述距离计算部(53)被配置成基于除被检测到异常的所述视差图像之外的视差图像来计算深度距离。
5.根据权利要求3所述的图像处理系统(5)，其中，在由所述视差图像生成部生成的所述视差图像中，所述距离计算部(53)被配置成基于通过去除低可靠性像素所形成的视差图像来计算深度距离。
6.一种车辆(1)，其包括根据权利要求3至5中任一项所述的图像处理系统(5)。
7.根据权利要求6所述的车辆(1)，其包括沿摄像方向位于所述摄像部(51)的前方的前挡风玻璃，
其中，刮水器未设置在所述前挡风玻璃上。
CN201910905232.4A 2015-07-29 2016-07-28 异常图像检测装置、图像处理系统及车辆 Active CN110458155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910905232.4A CN110458155B (zh) 2015-07-29 2016-07-28 异常图像检测装置、图像处理系统及车辆

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
JP2015149524 2015-07-29
JP2015-149524 2015-07-29
JP2015157183A JP6690904B2 (ja) 2015-08-07 2015-08-07 自動走行車両
JP2015-157183 2015-08-07
JP2015175792A JP6651313B2 (ja) 2015-09-07 2015-09-07 自動走行車両及びこれを含む自動走行システム
JP2015-175792 2015-09-07
JP2016-043199 2016-03-07
JP2016043199 2016-03-07
JP2016-127534 2016-06-28
JP2016127534A JP6657034B2 (ja) 2015-07-29 2016-06-28 異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両
CN201610615709.1A CN106412551B (zh) 2015-07-29 2016-07-28 异常图像检测装置、图像处理系统及车辆
CN201910905232.4A CN110458155B (zh) 2015-07-29 2016-07-28 异常图像检测装置、图像处理系统及车辆

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610615709.1A Division CN106412551B (zh) 2015-07-29 2016-07-28 异常图像检测装置、图像处理系统及车辆

Publications (2)

Publication Number Publication Date
CN110458155A CN110458155A (zh) 2019-11-15
CN110458155B true CN110458155B (zh) 2023-04-07

Family

ID=56990207

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610615709.1A Active CN106412551B (zh) 2015-07-29 2016-07-28 异常图像检测装置、图像处理系统及车辆
CN201910905232.4A Active CN110458155B (zh) 2015-07-29 2016-07-28 异常图像检测装置、图像处理系统及车辆

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610615709.1A Active CN106412551B (zh) 2015-07-29 2016-07-28 异常图像检测装置、图像处理系统及车辆

Country Status (5)

Country Link
US (1) US10043262B2 (zh)
EP (1) EP3125197A1 (zh)
KR (1) KR101832189B1 (zh)
CN (2) CN106412551B (zh)
TW (1) TWI613905B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101832189B1 (ko) * 2015-07-29 2018-02-26 야마하하쓰도키 가부시키가이샤 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량
US11400860B2 (en) * 2016-10-06 2022-08-02 SMR Patents S.à.r.l. CMS systems and processing methods for vehicles
JP6889059B2 (ja) * 2017-07-19 2021-06-18 株式会社東芝 情報処理装置、情報処理方法及びコンピュータプログラム
JP6859907B2 (ja) * 2017-09-08 2021-04-14 トヨタ自動車株式会社 車両制御装置
TWI637350B (zh) * 2018-01-09 2018-10-01 緯創資通股份有限公司 產生視差圖的方法及其影像處理裝置與系統
CN111868784B (zh) * 2018-03-22 2023-09-01 日立安斯泰莫株式会社 车载立体摄像机
US20190347786A1 (en) * 2018-05-08 2019-11-14 Pixart Imaging Inc. Method, apparatus, and electronic device having living body detection capability
CN108762260A (zh) * 2018-05-16 2018-11-06 南京理工大学 基于差分gps的履带式自主导航机器人及其导航方法
JP7064400B2 (ja) * 2018-07-19 2022-05-10 日立Astemo株式会社 物体検知装置
JP7234614B2 (ja) * 2018-12-10 2023-03-08 トヨタ自動車株式会社 異常検出装置、異常検出システム及び異常検出プログラム
JP7211169B2 (ja) * 2019-03-07 2023-01-24 コニカミノルタ株式会社 画像検査装置、および画像形成システム
US11182623B2 (en) * 2019-04-30 2021-11-23 Baidu Usa Llc Flexible hardware design for camera calibration and image pre-procesing in autonomous driving vehicles
JP7173062B2 (ja) * 2020-01-23 2022-11-16 トヨタ自動車株式会社 変化点検出装置及び地図情報配信システム
CN111476194B (zh) * 2020-04-20 2024-02-27 海信集团有限公司 一种感知模组工作状态检测方法及冰箱
EP3923241B1 (en) * 2020-06-09 2022-04-06 Axis AB Aligning digital images
TWI756723B (zh) * 2020-06-29 2022-03-01 大陸商北京集創北方科技股份有限公司 用於摺疊式觸控顯示裝置之疊屏誤觸識別方法、摺疊式觸控顯示裝置及資訊處理裝置
CN111818330A (zh) * 2020-07-02 2020-10-23 浙江大华技术股份有限公司 图像异常检测方法及装置、存储介质、电子装置
CN112116644B (zh) * 2020-08-28 2023-05-23 辽宁石油化工大学 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164293A (zh) * 2010-02-16 2011-08-24 索尼公司 图像处理装置、图像处理方法、图像处理程序和成像装置
CN102972036A (zh) * 2010-06-30 2013-03-13 富士胶片株式会社 重放装置、复眼摄像装置、重放方法及程序
CN103369231A (zh) * 2012-03-09 2013-10-23 欧姆龙株式会社 图像处理装置、图像处理方法
EP2670147A2 (en) * 2012-05-28 2013-12-04 Ricoh Company, Ltd. Abnormality diagnosis device and method, imager including the abnormality diagnosis device, mobile vehicle control system and mobile vehicle
CN104574342A (zh) * 2013-10-14 2015-04-29 株式会社理光 视差深度图像的噪声识别方法和噪声识别装置

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3355354B2 (ja) 1993-10-12 2002-12-09 ヤマハ発動機株式会社 軌道走行車両における定点情報判別装置
TW375583B (en) 1996-02-28 1999-12-01 Nat Science Council Development of an intelligent automotive steering system cooperative copilot
JP2001028056A (ja) * 1999-07-14 2001-01-30 Fuji Heavy Ind Ltd フェールセーフ機能を有するステレオ式車外監視装置
JP4953498B2 (ja) * 2000-07-12 2012-06-13 富士重工業株式会社 フェールセーフ機能を有する車外監視装置
JP4925498B2 (ja) * 2000-07-12 2012-04-25 富士重工業株式会社 フェールセーフ機能を有する車外監視装置
TWM335688U (en) 2008-01-03 2008-07-01 Univ Kao Yuan Route positioning navigation system for unmanned ground vehicle
US8494251B2 (en) * 2008-01-11 2013-07-23 Sri International System and method for measuring image quality
JP4937933B2 (ja) * 2008-01-18 2012-05-23 富士重工業株式会社 車外監視装置
JP2009271608A (ja) 2008-04-30 2009-11-19 Murata Mach Ltd 走行車及び走行車システム
TWI407280B (zh) 2009-08-20 2013-09-01 Nat Univ Tsing Hua 自動搜尋系統及方法
KR101214474B1 (ko) * 2009-09-15 2012-12-24 한국전자통신연구원 네비게이션 장치 및 이를 이용한 주행 경로 정보 제공 방법, 자동 주행 시스템 및 그 방법
KR20120083471A (ko) 2009-11-19 2012-07-25 가부시끼가이샤 오까무라세이사꾸쇼 물품 반송 장치
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
SG182880A1 (en) * 2011-02-01 2012-08-30 Univ Singapore A method and system for interaction with micro-objects
JP5693994B2 (ja) 2011-02-16 2015-04-01 富士重工業株式会社 車両検出装置
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
TWI426241B (zh) 2011-05-16 2014-02-11 Nat Univ Chung Hsing Self - propelled device for the tracking system
WO2013038863A1 (ja) * 2011-09-13 2013-03-21 富士フイルム株式会社 単眼立体撮影装置、撮影方法及びプログラム
JP5639283B2 (ja) * 2011-11-25 2014-12-10 本田技研工業株式会社 車両周辺監視装置
TWI455073B (zh) 2011-12-14 2014-10-01 Ind Tech Res Inst 車用特定路況警示裝置、系統與方法
EP2846531A4 (en) * 2012-05-01 2015-12-02 Central Engineering Co Ltd STEREO CAMERA AND STEREO CAMERA SYSTEM
CN104823105A (zh) * 2012-07-13 2015-08-05 拉姆·斯里坎特·米雷 用于照相机的可变三维适配器组件
CN104641625B (zh) * 2012-09-19 2018-05-11 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
CN103092202B (zh) 2012-12-31 2015-07-08 浙江国自机器人技术有限公司 一种机器人轨道定位方法及系统
EP2963615B1 (en) * 2013-02-27 2019-04-10 Hitachi Automotive Systems, Ltd. Imaging device, and vehicle control device
JP5950166B2 (ja) * 2013-03-25 2016-07-13 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム
KR101319526B1 (ko) 2013-03-26 2013-10-21 고려대학교 산학협력단 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 방법
JP6121776B2 (ja) * 2013-03-29 2017-04-26 ソニー株式会社 画像処理装置及び画像処理方法
TW201444543A (zh) 2013-05-21 2014-12-01 Univ Nat Chiao Tung 自主式行動車
KR101463464B1 (ko) 2013-06-03 2014-11-21 국방과학연구소 주행가능영역 추정장치 및 이를 포함하는 이동체와 주행가능영역 추정방법
JP6110256B2 (ja) * 2013-08-21 2017-04-05 株式会社日本自動車部品総合研究所 対象物推定装置および対象物推定方法
TWI535589B (zh) 2013-09-24 2016-06-01 Active automatic driving assistance system and method
JP6248533B2 (ja) * 2013-10-22 2017-12-20 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
TWI570424B (zh) 2013-11-27 2017-02-11 財團法人資訊工業策進會 定位方法及其電子裝置
JP6261361B2 (ja) 2014-02-04 2018-01-17 キヤノン株式会社 固体撮像装置およびカメラ
JP6247122B2 (ja) 2014-03-17 2017-12-13 セイコーインスツル株式会社 電子デバイス
KR101565007B1 (ko) * 2014-05-30 2015-11-02 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
IL250028B (en) * 2014-07-14 2022-08-01 Nova Ltd Method and optical system for detecting defects in three-dimensional structures
JP2016043199A (ja) 2014-08-26 2016-04-04 ネット株式会社 遊技機
EP3002550B1 (en) * 2014-10-03 2017-08-30 Ricoh Company, Ltd. Information processing system and information processing method for distance measurement
US10810715B2 (en) * 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US20160137125A1 (en) * 2014-11-17 2016-05-19 Caterpillar Inc. Imaging system using virtual projection geometry
JP6259132B2 (ja) * 2015-01-20 2018-01-10 日立オートモティブシステムズ株式会社 車載用カメラ装置
CN105866949B (zh) * 2015-01-21 2018-08-17 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
JP2015157183A (ja) 2015-06-10 2015-09-03 株式会社三洋物産 遊技機
KR101832189B1 (ko) * 2015-07-29 2018-02-26 야마하하쓰도키 가부시키가이샤 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량
US9565363B1 (en) * 2015-08-10 2017-02-07 X Development Llc Stabilization of captured images for teleoperated walking biped robots
US9989965B2 (en) * 2015-08-20 2018-06-05 Motionloft, Inc. Object detection and analysis via unmanned aerial vehicle
US11008735B2 (en) * 2015-09-30 2021-05-18 Komatsu Ltd. Image pick-up apparatus
US10011228B2 (en) * 2015-12-17 2018-07-03 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system using multiple imaging devices
US10155478B2 (en) * 2015-12-17 2018-12-18 Ford Global Technologies, Llc Centerline method for trailer hitch angle detection
US10127459B2 (en) * 2015-12-17 2018-11-13 Ford Global Technologies, Llc Trailer type identification system
US9827818B2 (en) * 2015-12-17 2017-11-28 Ford Global Technologies, Llc Multi-stage solution for trailer hitch angle initialization
US9672446B1 (en) * 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164293A (zh) * 2010-02-16 2011-08-24 索尼公司 图像处理装置、图像处理方法、图像处理程序和成像装置
CN102972036A (zh) * 2010-06-30 2013-03-13 富士胶片株式会社 重放装置、复眼摄像装置、重放方法及程序
CN103369231A (zh) * 2012-03-09 2013-10-23 欧姆龙株式会社 图像处理装置、图像处理方法
EP2670147A2 (en) * 2012-05-28 2013-12-04 Ricoh Company, Ltd. Abnormality diagnosis device and method, imager including the abnormality diagnosis device, mobile vehicle control system and mobile vehicle
CN104574342A (zh) * 2013-10-14 2015-04-29 株式会社理光 视差深度图像的噪声识别方法和噪声识别装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于边缘特征和可信度的立体匹配算法;李治江等;《包装工程》;20141210(第23期);1-7 *
面向复杂背景中彩色立体图像的障碍物检测;魏怡等;《自动化技术与应用》;20070725(第07期);1-7 *

Also Published As

Publication number Publication date
TWI613905B (zh) 2018-02-01
US20170032517A1 (en) 2017-02-02
KR101832189B1 (ko) 2018-02-26
CN110458155A (zh) 2019-11-15
TW201717616A (zh) 2017-05-16
EP3125197A1 (en) 2017-02-01
US10043262B2 (en) 2018-08-07
CN106412551B (zh) 2019-10-25
KR20170015154A (ko) 2017-02-08
CN106412551A (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
CN110458155B (zh) 异常图像检测装置、图像处理系统及车辆
KR101839813B1 (ko) 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량
JP6657034B2 (ja) 異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両
KR101579098B1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
EP2919197B1 (en) Object detection device and object detection method
US20090190800A1 (en) Vehicle environment recognition system
KR101611261B1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
KR101631439B1 (ko) 카메라, 및 이를 구비한 차량
US20180239970A1 (en) Adaptive lane marker detection for a vehicular vision system
US8077199B2 (en) Target position identifying apparatus
US10423842B2 (en) Vehicle vision system with object detection
EP3115930A1 (en) Malfunction diagnosis apparatus
CN104380341A (zh) 车辆周边对象物检测装置
JP2009177311A (ja) 撮像手段の調整装置および物体検出装置
EP2911028B1 (en) Distance measurement device and vehicle using same
US20120128211A1 (en) Distance calculation device for vehicle
KR20130070210A (ko) 영상의 노이즈 제거 방법
JP6204844B2 (ja) 車両のステレオカメラシステム
JP2008042759A (ja) 画像処理装置
CN113170057B (zh) 摄像部控制装置
KR101774603B1 (ko) 차량의 카메라 노출 제어 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant