CN103322974A - 多透镜摄像机系统、安装多透镜摄像机系统的交通工具，以及由多透镜摄像机系统执行的测距方法 - Google Patents

多透镜摄像机系统、安装多透镜摄像机系统的交通工具，以及由多透镜摄像机系统执行的测距方法 Download PDF

Info

Publication number
CN103322974A
CN103322974A CN2013100842344A CN201310084234A CN103322974A CN 103322974 A CN103322974 A CN 103322974A CN 2013100842344 A CN2013100842344 A CN 2013100842344A CN 201310084234 A CN201310084234 A CN 201310084234A CN 103322974 A CN103322974 A CN 103322974A
Authority
CN
China
Prior art keywords
image
parallax
information
caught
vehicles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100842344A
Other languages
English (en)
Other versions
CN103322974B (zh
Inventor
横田聪一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN103322974A publication Critical patent/CN103322974A/zh
Application granted granted Critical
Publication of CN103322974B publication Critical patent/CN103322974B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种多透镜摄像机系统（1000），其包括多个摄像机单元（10，20）和图像处理器（30），该多个摄像机单元（10，20）包括各自的滤光器（12，22）和经滤光器（12，22）获取已捕捉图像（40）的图像传感器（11，21），滤光器（12，22）中的每个都具有其光学特性分别不同的多个滤光区（12a，12b，12c；22a，22b，22c），并且可操作连接到多个摄像机单元（10，20）的图像处理器（30）在已捕捉图像（10A，20A，40）上执行不同类型的图像处理从而形成图像（40），该图像（40）含有多个图像区（40a，40b，40c），其特性根据在其中获取它们的滤光区（12a，12b，12c；22a，22b，22c）的光学特性而不同。

Description

多透镜摄像机系统、安装多透镜摄像机系统的交通工具,以及由多透镜摄像机系统执行的测距方法
技术领域
本发明涉及能够获取视差信息的多透镜摄像机系统和安装多透镜摄像机系统的交通工具，以及由多透镜摄像机系统执行的测距方法。
背景技术
涉及交通工具中立体摄像机的使用的防撞系统已变得广泛。使用立体摄像机生成在交通工具前面的区域的立体图像，并且基于已生成立体图像检测障碍物并测量到障碍物的距离。然后可以警告驾驶员采取校正行动从而避免碰撞或维持交通工具之间的安全最小距离。可替换地，该系统可以啮合控制装置例如刹车和转向系。
此外，由于改进的传感器性能例如更高的图像分辨率，交通工具环境感测的焦点已从高速路驾驶转移到城市驾驶。在城市中，目标感测环境比高速路多样化得多。在复杂感测环境中的辨认处理的最大问题是这样的多样化使处理复杂化，导致处理时间延长并且物体错误辨认增加。
在常规的交通工具中立体摄像机的辨认处理中，初始地，在基本整个已捕捉图像上检测边缘，并且为边缘检测的像素位置计算视差。然后，通过使用是计算结果的视差信息执行聚类（clustering），并且将各种类型的信息添加到聚类结果，最终检测到辨认目标。
图9是图解使用视差信息的物体辨认的一般过程的流程图。在此，辨认目标包括在前面的交通工具、行人、摩托车、自行车、交通标志和作为在路上物体的交通灯。初始地，使用如在图1A中示出的包括基准摄像机单元和比较摄像机单元的立体摄像机，在步骤S201获取包括基准图像和比较图像的已捕捉图像（立体图像）。然后，在步骤S208，使用在基准图像中的亮度信息辨认在道路上的分界线（例如，包括停车线的白线和黄线）。随着该过程，在步骤S202基于基准图像和比较图像计算视差，在步骤S203使用视差信息执行聚类，并且在步骤S204，使用物体例如交通工具、行人、摩托车、自行车、交通标志和交通灯的大小修改聚类结果。
图10是由在步骤S201到S204执行的过程获得的物体已辨认的图像。在图10中，参考号100代表辨认为交通工具物体大小的聚类结果，101代表辨认为行人、摩托车、自行车大小的聚类结果，并且102代表辨认为交通标志和交通灯大小的聚类结果。如从图10的物体已辨认图像清楚的，特别是，由于交通标志和交通灯小，因此它们经常被错误辨认，如由框102’表明的。另外，也在图10中的图像的上区中看到行人的错误辨认，由框101’表明。
各种有条件分支过程在步骤S205在这些物体错误辨认上执行并且后来在图9中示出。例如，在步骤S205，基于在步骤S208辨认的分界线（停车线）计算路面的高度，并且使用目标模型信息为行人和落下物体修改聚类结果。另外，在步骤S206，基于在基准图像中的亮度信息，使用自适应提升（AdaBoost）为对其执行聚类的区域做出关于目标物体的最终确定。最终，在步骤S207输出已辨认物体的三维位置。
在从步骤S201到步骤S204的过程中，如果发生严重的辨认错误或不可以成功地分开辨认目标物体，那么许多复杂过程出现，例如随后的辨认处理需要各种有条件分支处理，或必须重访先前阶段的处理。因此，提高视差计算和聚类的辨认成功率，并将错误辨认最少化是重要的。
为了辨认在图像中的物体，例如JP-2004-173195-A提出立体摄像机系统，其捕捉交通工具周围的景象，计算表示在输出彩色图像的摄像机和监控区域中的目标之间的距离二维分布的范围数据，并且辨认在相同车道中或在邻接车道中驾驶的另一交通工具。在此，基于在目标已辨认图像中的交通工具位置设定具有预定尺寸的指示灯（winker）区域，并且基于彩色图像检测构成指示灯的颜色成分的像素。因此，可以使用颜色信息和视差信息同时辨认指示灯和接近的交通工具。借助这个配置，使用颜色信息和视差信息的组合，可以准确且同时辨认多个物体。
在上面描述的方法中，关于颜色信息预先已知的辨认物体，通过基于由彩色摄像机获取的彩色图像检测辨认物体的颜色成分，可以准确检测物体。然而，必需除立体摄像机之外提供彩色摄像机，在图像中设定其中辨认彩色物体的区域，并且使用不同算法执行另外的辨认处理。另外，为了分别计算在整个图像中的视差和在设定区域中的视差，需要切换视差计算算法和参数。该操作使计算处理复杂化并且不能解决上面描述的问题。
发明内容
在本公开的另一方面中，提供包括多个摄像机单元（10，20）和图像处理器（30）的新颖多透镜摄像机系统（1000）。多个摄像机单元（10，20）包括各自的滤光器（12，22）和经滤光器（12，22）获取已捕捉图像（10A，20A，40）的图像传感器（11，21）。滤光器（12，22）中的每个都具有其光学特性分别不同的多个滤光区（12a，12b，12c；22a，22b，22c）。可操作连接到多个摄像机单元（10，20）的图像处理器（30）在已捕捉图像（10A，20A，40）上执行不同类型的图像处理从而形成含有多个图像区（40a，40b，40c）的图像（40），这些图像区的特性根据滤光区（12a，12b，12c；22a，22b，22c）的光学特性而不同。
在本公开的另一方面中，提供交通工具（50），其包括上面描述的多透镜摄像机系统（1000）从而辨认位于该交通工具（50）前面的各种类型的目标（40b-0，40b-1，40a-2，40c-4）；以及交通工具驾驶控制单元（58），从而基于图像处理器（30）的辨认结果控制交通工具（50）中的转向系和刹车。
在本公开的更另一方面中，提供在多透镜摄像机系统（1000）中的测距方法，该多透镜摄像机系统（1000）具有多个摄像机单元（10），多个摄像机单元（10）包括各自的滤光器（12，22）和经滤光器（12，22）获取已捕捉图像（40）的图像传感器（11，21），滤光器（12，22）中的每个都具有光学特性分别不同的多个滤光区（12a，12b，12c；22a，22b，22c）。该方法包含以下步骤：捕捉图像（10A，20A，40）；将已捕捉图像（10A，20A，40）中的每个分成对应于各自的滤光区（12a，12b，12c；22a，22b，22c）的多个区域（40a，40b，40c）；为在其中存在第一目标物体（40b-0，40b-1）的已捕捉图像（40）中的第一图像区（40b）计算视差信息；使用第一图像区（40b）的视差信息执行聚类；为在已捕捉图像（40）中的第二图像区（40a）辨认第二目标物体（40a-2），同时计算视差信息并使用视差信息为第一图像区（40b）执行聚类；修改聚类结果；仅为在第二图像区（40a）中辨认第二目标物体（40a-2）的区域计算视差信息，同时为第一图像区（40b）修改聚类结果；以及在三维上辨认在已捕捉图像（40）中第一图像区（40b）和第二图像区（40a）中的目标（40b-0，40b-1，40a-2）。
附图说明
由于通过参考以下在结合附图考虑时的详细描述更好地理解本公开内容及其伴随优点中的许多的更完整认识，因此容易获得本公开及其伴随优点中的许多的更完整认识，在附图中：
图1A是图解在根据本公开的立体摄像机系统中的立体摄像机的示意图；
图1B是图解在图1A中示出的每个摄像机单元中的图像传感器和滤光器的扩展图；
图2是由在图1B中示出的立体摄像机系统获取的图像的照片；
图3是图解在图1A中示出的立体摄像机系统中图像处理器的配置的框图；
图4是图解在图1A中示出的立体摄像机的基本视图；
图5是图解由在图1B中示出的立体摄像机系统执行的过程的流程图；
图6A是图解其中为整个已捕捉图像计算视差的立体摄像机系统的比较例子的时序图；
图6B是图解在图1B中示出的立体摄像机系统的时序图，其中仅为在已捕捉图像中的预定区域计算视差；
图7是在图6A中示出的比较例子中计算视差并执行聚类之后的视差图像；
图8是图解安装图1A中示出的立体摄像机系统的交通工具的示意图；
图9是图解使用视差信息的目标辨认的相关技术过程的流程图；以及
图10是由在图9中示出的步骤S201到S204执行的过程获得的目标已辨认图像。
具体实施方式
在描述附图中图解的优选实施例中，为清晰采用具体术语。然而，本专利说明书的公开不旨在限于如此选择的具体术语，并且理解每个具体元素都包括具有相同功能、以相似方式操作和实现相似结果的所有技术等效物。
现在参考附图，其中相似参考号遍及其若干视图指代相同或对应部分，并且特别对于图1A到8，描述根据本公开的图解实施例的立体摄像机系统。
图1A和1B图解在根据本公开的立体摄像机系统（测距系统）1000中的立体摄像机装置1的一个例子。在图1A中，测距系统1000包括立体摄像机装置1和可操作连接到立体摄像机装置1的图像处理器30。立体摄像机装置1包括各布置在立体摄像机装置1的相反侧面上的基准摄像机单元10和比较摄像机单元20。基准摄像机单元10包括图像传感器（图像拾取元件）11、布置在图像传感器11上的滤光器12，以及将光聚焦在图像传感器11上的透镜13。相似地，比较摄像机单元20包括图像传感器（图像拾取元件）21、布置在图像传感器21上的滤光器22，以及将光聚焦在图像传感器21上的透镜23。
在测距系统1000中，图像处理器30基于由摄像机单元10和20获取的已捕捉图像（传感器图像）执行视差计算和图像辨认。立体摄像机系统1000充当测距设备，该测距设备使用传感器图像上的焦点根据到物体的距离而变化的事实，从不同视点捕捉相同物体，并测量到物体的距离以及计算物体的位置。
图1B是调解在相应的摄像机单元10（20）中图像传感器（11）和滤光器12（22）的扩展图。在图1B中，基准摄像机单元10的滤光器12具有与比较摄像机单元20的滤光器22相同的配置。因此，由图像传感器11和21获取的图像具有相同的基本特性。在基准摄像机单元10中的滤光器12和在比较摄像机单元20中的滤光器22中的每个都是特殊种类的复合滤光器，其分成滤色区12a（22a）、清晰滤光区12b（22b）和中性密度（ND）滤光区12c（22c）。因此，可以通过使用滤色区12a检测颜色信息，并且可以通过使用清晰滤光区12b和ND滤光区12c检测亮度信息。
图2是由在图1中示出的立体摄像机系统1000获取的立体图像（已捕捉图像）40的照片。由立体摄像机装置1获取的立体图像40分成图像区40a、40b和40c，它们反应各自的滤光区12a（22a）、12b（22b）和12c（22c）的特性。注意，通过在图像40的中心图像区40b中提供清晰滤光区12b（22b），其他上下区域可以由不同的滤光器形成，并且这些区域可以根据有待检测的信息适当形成。另外，已捕捉图像的划分不限于水平方向；可替换地，图像的区域可以在垂直方向上上划分。
在图2中，在立体图像区40中用作第二图像区的图像区40a是彩色滤光对应区（滤色图像区），其通过在图像传感器11（21）上聚焦经过滤色区12a的光来获得。用作第一图像区的图像区40b是清晰滤光对应区（清晰滤光图像区），其通过在图像传感器11（21）上聚焦经过清晰滤光区12b（22b）的光来获得。用作第三图像区的图像区40c是ND滤光对应区（ND滤光图像区），其通过在图像传感器11（21）上聚焦经过ND滤光区12c（22c）的光来获得。在具有多个不同光学特性的立体图像40中，为清晰滤光图像区40b执行视差计算。清晰滤光图像区40b是其中检测到物体（第一目标物体）例如在前面的交通工具40b-0、行人、摩托车和自行车40b-1的大小的区域。当立体摄像机系统1000安装在交通工具上时，通过考虑交通工具40b-0的倾斜、高度和在垂直方向上在已捕捉图像40中消失点（vanishing point）周围的行人40b-1，在已捕捉图像40中确定对应于清晰滤光区12b的区域40b。
视差信息辨认交通工具40b-0和行人40b-1非常有效，并且通过以高图像分辨率计算视差（距离），可以用高度准确性将物体分离，并且长距辨认变得可能。另外，为计算与另一交通工具40b-0、行人或自行车40b-1的碰撞，计算到该物体的距离是必需的。因此，优选为该区域（中心区）设置清晰滤光器12b，并且积极使用视差信息用于辨认处理。
另一方面，在立体图像40中的上区40a中的物体（第二目标物体）例如交通标志和交通灯40a-2是微小的，并且由于该原因它们经常基于视差信息被错误辨认。相反，由于通过比视差信息更积极使用颜色信息，确定交通标志和交通灯40a-2的颜色不同于交通工具的颜色，因此可以有效辨认物体40a-2。因此，在上区中提供滤色器12a，并且摄像机单元10（20）捕捉该上图像区40a作为彩色图像。
在此，当使用颜色信息计算视差信息时，使用RGB和YCRCR执行多维视差计算是必要的，并且需要改变处理时间和算法。因此，初始地，基于滤色上图像区40a辨认交通标志/交通灯40a-2，并且如果需要那么执行使用彩色图像的视差计算过程。
另外，对于下图像区40c，作为不用于图像辨认的最狭窄区域。在图2中，在立体图像40中下图像区40c中看到钩状物。通过发射LED光仅以光波长（亮度信息）为目标的ND滤光器12c在下图像区40c中被设定。因此，可以使用在立体图像40中的非必要图像区（ND滤光图像区）检测雨滴40c-4。可替换地，如果下图像区40c用作图像辨认，那么在非常接近的范围设定目标。在此情况下，由于在照片（图像）中的物体在该下图像区40c中是巨大的，因此通过设定图像粗糙度执行视差计算。
如在上面描述的，在立体摄像机装置1中，视差计算过程和使用方法对光学划分区域40a、40b和40c是可变的，并且其他图像信息（颜色信息、亮度信息）被主动使用。因此，可以减少物体错误辨认，提高辨认成功率，并且立体摄像机系统1000和交通工具控制系统的成本和空间可以减小。
图3是图解在立体摄像机系统1000中图像处理器30的配置的图示。如在图3中图解的，图像处理器30包括视差计算器31、随机访问存储器（RAM）32、中央处理单元（CPU）33和RAM34。RAM32充当帧缓冲器，由基准摄像机单元10获取的基准图像10A和由比较摄像机单元20获取的比较图像20A输入到该帧缓冲器。视差计算器31由现场可编程门阵列（FPGA）或专用集成电路ASIC构成。CPU33基于在经过滤色区12a的基准图像10A中的彩色像素成分（RGB像素成分）和在经过滤色区22a的比较图像20A中的彩色像素成分，执行辨认处理。RAM34暂时存储数据和由CPU33执行的过程数据。
由视差计算器31执行的过程可以由CPU33执行。然而，考虑处理速度，视差计算过程优选由硬件配置执行。在视差计算器31的过程中，如果发生严重的物体错误辨认并且视差计算器31不能合适分离物体，那么许多复杂过程出现，例如在辨认过程之后需要各种有条件分支处理，或必须重访先前阶段的处理。因此，下阶段CPU33变得昂贵，并且处理时间延长。为了回应该问题，在视差计算器31中保持简单过程、提高视差计算过程的辨认成功率、减少目标错误辨认并且然后减轻在随后CPU33上的处理负载是重要的。
然而，在将交通工具40b-0、行人、摩托车和自行车40b-1、交通标志和交通灯40a-2辨认为目标的城市中，视差计算器31的重要性变得比在仅主要检测在前面的交通工具的高速路中更显著。因此，将视差计算过程方法设定成可变的，并且积极使用其他方法，物体错误辨认的减少和辨认成功率的提高变得实际的，并且立体摄像机系统1000和交通工具控制系统的成本和空间可以减小。
图4是图解立体摄像机装置1的基础视图。图像处理器30使用基线长度（在基准摄像机单元10和比较摄像机单元20之间的距离）B、焦距f、视差（在距视点的焦点中的差）d，以及到物体的距离Z，计算到物体的距离。基于以下公式1计算视差（不一致）d。
Z = B × f d . . . ( 1 )
在公式（1）中，基准数字d代表在由基准摄像机单元10获得的基准图像10A和由比较摄像机单元20获得的比较图像20A之间的对应位置。位置d一般通过使用注意像素周围的附近像素的块匹配来计算。例如，假设含有附近像素的帧的块大小被设定在9x9块，基于如由以下公式2表示的绝对差之和（SAD）计算视差d，。
R SAD = Σ j = 1 0 Σ i = 1 0 | I ( i , j ) - C ( i . j ) | . . . ( 2 )
关于块匹配方法，除了SAD之外，提出各种方法例如方差和（SSD）、标准化的互相关（NCC）和绝对差的零均值和（ASAD），并且任何方法可以用于本公开内容。
使用该块匹配视差计算方法，为基准图像中的目标像素逐个计算在比较图像（或十进制内插值的子像素复合图像）中的像素，并且最相关的位置被计算为视差“d”。
如在上面描述的，为搜索关于某些像素的视差，需要用于和至少等于或高于假设视差对应的像素的过程，并因此需要巨大的时间量。例如，假设像素按每一像素位移时搜索视差d的搜索长度（宽度）w是64个像素，那么为某个图像执行视差计算的处理时间是用于一个像素的处理时间的64倍，即使其中为1个像素搜索视差d的时段被设定在1个时钟周期。然而，一般地，其中为1个像素搜索相关值的时段是在1个时钟周期的设定是不可能的，并且处理时间基于用来计算相关值的块大小以指数方式增加。因此，减少视差计算时间是主要问题。视差计算被表示为一般形式，如以下公式3。
T = N × ( t × w ) . . . ( 3 )
在该公式中，T代表用于一个图像的视差计算时间，N代表视差计算的像素数目，t代表每像素的相关计算时间，并且w代表搜索宽度。计算公式3对应于图9中在步骤S202的过程，并且缩短该处理时间是该问题的解决方式中的一种。为解决该问题，在本实施例中，该视差计算仅为清晰滤光图像区40b执行。
图5是图解在本公开中的立体摄像机系统1中的过程的流程图。初始地，基准摄像机单元10和比较摄像机单元20在步骤S100捕捉基准图像10A和比较图像20A作为立体图像（已捕捉图像）。然后，在步骤S101基于在图1B中示出的滤光器12和22的滤光部件划分基准图像10A和比较图像20A中的每个。经过各自的滤光区12a、12b和12c，为光学特性分别不同的图像区40a、40b和40执行不同过程。
<在清晰滤光图像区40b中的过程>
在图2中示出的图像中，在基准图像10A（40）和比较图像20A（40）中的清晰滤光图像区40b的亮度信息中的两个项被输入到在图3中示出的视差计算器31，使用参考图4描述的亮度图像（亮度信息）的视差计算在步骤S102执行。特别地，由于尽管过程简单但在步骤S102的视差计算过程需要更多时间，因此由硬件配置执行视差计算过程是必需的。然后，在视差计算器31中，使用在基准图像10A中的清晰滤光图像区40b从而在步骤S103a辨认在道路中的分界线（停止线），并且使用在步骤S103b计算的视差信息在步骤S103a执行聚类。在步骤S104基于自身的交通工具大小和物体例如交通工具40b-0、行人、摩托车和自行车40b-1的大小来修改聚类结果。
然后，使用目标模型信息，在步骤S105修改聚类结果。例如，基于在步骤S103a辨认的分界线40b-3的数据计算道路的高度，并且在分界线40b-3上的物体40b-0和40b-1用作目标模型。然后，在步骤S106基于基准图像10A的亮度信息，使用自适应提升（AdaBoost）为对其执行聚类的区域做出关于目标物体40b-0和40b-1的最终确定。由于这些过程，视差计算器31在步骤S107输出已辨认物体40b-0和40b-1的三维位置。
<在彩色滤光图像区40a中的过程>
在此，用于滤色图像区（中心区）40a的过程不在视差计算器31中执行，但数据被传输到CPU33，并且CPU33执行在滤色图像区40a中的交通灯和交通标志40a-2的辨认处理。使用在步骤S101划分的基准图像10A（40）的滤色图像区40a，CPU33在步骤S110辨认交通灯和交通标志40a-2。然后，CPU33在步骤S111使用在基准图像10A和比较图像20A中都检测到的颜色信息，仅为辨认交通灯和交通标志40a-2中的至少一个的结果区执行视差计算。CPU33在步骤S112输出关于交通灯和交通标志40a-2的已辨认物体的三维位置。
如在上面描述的，视差计算器31为由CPU33辨认的滤色图像区40a中的结果区执行视差计算。此时，需要视差计算器31为滤色图像区40a执行视差计算，该视差计算的类型不同于为清晰滤光图像区40b执行的类型。
由于彩色图像被表示为R、GB或YCnCr，因此用于视差计算的颜色信息不是一维的，与单色图像的亮度信息一样。用于彩色图像的视差计算一般需要花费比亮度图像长2倍的时间。
另外，在用于彩色图像的视差计算中，尽管因为基于多个信息执行匹配过程所以物体错误辨认可以减轻，但不同于清晰滤光图像区40b，不可以为全部像素计算视差。另外，不同于亮度图像，经过透镜11和21的聚焦点在全部像素中不均匀，并因此以高度准确性测量距离变得不实际。因此，该彩色透镜不适合为遥远物体计算视差。因此，优选仅为在滤色图像区40a中的已辨认区域计算视差，在该已辨认区域中通过使用颜色信息辨认交通灯/交通标志40a-2的物体。
另外，当为在滤色图像区40a中的已辨认部分计算视差时，由于在使用时的目的不同于用于清晰滤光图像区40b中亮度信息的视差计算，因此用于彩色图像的视差计算的合适算法和参数不同于亮度图像。
例如，当在图像中检测到彩色物体40a-2时，有必要初始计算在整个图像中的视差，并然后考虑彩色视差的色散，测量到物体40a-2的距离。因此，优选使用更简单的方法，将块匹配应用于其中在像素之中或在邻接像素之间图像差巨大的图像。
相反，当似乎在基准图像10A中的某部分中获取某个物体时，该部分整体被处理为单个团块，并且为具有与已获取团块相同特性的团块搜索比较图像20A。关于这些方法，不是块匹配而是例如使用空间频率特性的相位限制相关对于该视差计算是有效的。
<在ND滤光图像区40c中的过程>
关于ND滤光图像区40c，数据不在视差计算器31中执行但传输到CPU33，并且CPU33辨认雨滴40c-4。因为不需要发现到雨滴40c-4的距离，所以CPU33不执行视差计算。在步骤S120，CPU33使用在基准图像10A中的ND滤光图像区40c的亮度图像辨认雨滴40c-4。然后，CPU33在步骤S121输出雨滴40c-4的检测结果。
图6A和6B是图解在立体摄像机系统中的距离测量（测距）过程的元素的时序图。图6B图解在立体摄像机系统1000中的相应流程，其中仅为在图1B中示出的已捕捉图像40中的区域40b和区域40a的的预定区计算视差。
图6A是图解立体摄像机系统的比较例子的时序图，其中视差计算器在过程步骤S300基于亮度为全部图像执行视差计算和聚类，在步骤S301为由分开设置的彩色摄像机获取的彩色图像执行辨认处理，并且基于在步骤S301的过程的辨认结果修改在步骤S303的过程的过程结果。在图6A中示出的流程中，基于亮度为整个图像执行视差计算和聚类，该过程在步骤300花费3帧。由在步骤300的过程执行的视差图像在图7中图解。图7是在图6A中的视差被计算和聚类被执行之后的视差图像。辨认彩色图像花费长的处理时间并导致许多物体错误辨认。
相反，在本实施例中，滤光器12和22由如在图1B中图解的特殊类型的滤光器（复合滤光器）构成，并且应用适于各自区域的视差计算逻辑。因此，颜色辨认和视差计算的过程可以仅由单个摄像机图像40执行。另外，改变用于对应区域的过程方法，因此，可以有效使用在CPU33和视差计算器31中的过程，如在图6B中图解的。即，在本实施例中，将清晰滤光图像区40b设定在整个图像40中的三分之一，并且在视差计算器31中的视差计算可以在1帧内执行，这是在图6A中示出的视差计算过程的三分之一时间。参考图6B，在步骤S102和S103的过程在一帧内被执行之后，可以在步骤S111在随后帧中执行步骤S112。
随着这些过程，CPU33可以在一帧内执行在步骤S110和步骤S120的过程，并且在随后帧内执行在步骤S101到S106的过程。在本实施例中，过程中的效率非常高。进一步地，添加对彩色图像的辨认，使用颜色信息的测距变得可能。这是为什么在滤色图像区40a中辨认交通灯/交通标志40a-2的目标的彩色图像适合部分检测为已辨认部分（已辨认目标区域），然后仅为已辨认部分执行视差计算的原因。注意，为使得该过程可能，需要在视差计算算法中切换、对应于滤光器捕捉图像和辨认方法，以及参数中的切换。
一般地，当应用完全不同的视差计算逻辑时，必须在视差计算硬件（视差计算器）中实施不同类型的视差计算逻辑。根据已辨认部分的所需准确性，可以使用一般的块匹配算法。在此情况下，当一般的块匹配算法应用到光学特性不同的图像时，仅改变块大小不足以计算视差。
例如，在彩色图像区中，由于图像穿过RGB滤色器聚焦在像素上，因此当使用其颜色没有被内插的主要图像时，相应的滤光分离图像区的搜索宽度被改变，或当使用其颜色内被内插的图像时，在颜色被内插之后的像素信息量在各自区域之间不同。
如在上面描述的，在本公开内容中，通过将滤光器和形成的图像划分成基于亮度执行视差计算的中心区40b、可以使用彩色图像相当有效地辨认图像的上区40a，根据应用和辨认目标，可以减轻由视差计算器31导致的物体错误辨认并且可以提高辨认成功率。
另外，视差计算逻辑可以有效应用于相应的划分区域，并且不必要的计算可以减少。此外，由于其中使用亮度信息执行视差计算的区域可以受限制，因此在视差计算器31上的处理负载可以被最小化，由此减小视差计算器31和CPU33的成本。另外，提供用于检测雨滴40c-4的额外传感器，用于辨认颜色信息并构成处理负载巨大的彩色立体摄像机的额外彩色摄像机变得非必需。因此，实用立体摄像机可以操作多个应用，导致立体摄像机系统的成本和大小减小。
在本公开内容中，立体摄像机系统1000可选地设计滤光器12和22，因此（已获取）立体图像可以被分成对应于辨认目标的多个区域，并且图像传感器11和21可以以适于辨认处理的形式捕捉图像。
因此，根据特殊类型滤光器和辨认方法的图像特性来组织已辨认目标、排列区域从而捕捉目标、构造适于辨认的特殊类型的滤光器（复合滤光器）12和22、改变视差计算逻辑的算法，以及改变视差计算已执行的像素的间隔剔除图像率和位置已检测算法，可以减轻物体错误辨认并且可以扩展辨认目标。
此外，由于特性的该改进，整个过程可以加速。在上面描述的实施例中，立体摄像机系统包括两个摄像机透镜，相似配置和基础可以被应用，立体摄像机系统可以安装在两个距离测量（测距）摄像机上。
<交通工具>
图8是图解安装本立体摄像机系统1000（测距装置）的交通工具50的示意图。在交通工具50中的图像处理系统包括拾取单元51以获取交通工具50前方的图像，并包括基于在拾取单元51中捕捉的图像计算距在交通工具50前面行驶的另一交通工具的距离的图像分析单元52。图像拾取单元51接近交通工具50中的后视镜安置，因此图像拾取单元51可以捕捉交通工具50前方的含有在交通工具50前面驾驶的另一交通工具的图像，并且计算从交通工具50到另一交通工具的距离。由图像拾取单元51获取的前面交通工具的图像被输入并转换成图像信号以便输出到图像分析单元52。图像分析单元52分析源自图像拾取单元51的输出图像信号。关于图像拾取单元51，可以使用由基准摄像机单元10和比较摄像机单元20构成的本实施例的立体摄像机装置1。作为图像分析单元52的功能的一部分，视差计算器31和CPU33可以被应用。
交通工具驾驶控制单元58可以基于由图像分析单元52计算的距前面交通工具的距离，控制交通工具50的转向系和刹车。
众多另外的修改和变化按照上面教导是可能的。因此理解的是在所附权利要求的保护范围内，本专利说明书的公开内容可以用在此具体描述之外的其他方式实践。

Claims (15)

1.一种多透镜摄像机系统（1000），包含：
多个摄像机单元（10，20），所述多个摄像机单元（10，20）包括各自的滤光器（12，22）和经所述滤光器（12，22）获取已捕捉图像（10A，20A，40）的图像传感器（11，21），所述滤光器（12，22）中的每个都具有其光学特性分别不同的多个滤光区（12a，12b，12c；22a，22b，22c）；以及
图像处理器（30），所述图像处理器（30）可操作连接到所述多个摄像机单元（10，20），被配置为在所述已捕捉图像（10A，20A，40）上执行不同类型的图像处理从而形成图像（40），所述图像（40）含有其特性根据所述滤光区（12a，12b，12c；22a，22b，22c）的所述光学特性而不同的多个图像区（40a，40b，40c）。
2.根据权利要求1所述的多透镜摄像机系统（1000），其中所述图像处理器（30）经配置为指定的图像区（40b）使用图像信息执行视差计算。
3.根据权利要求2所述的多透镜摄像机系统（1000），其中所述图像处理器（30）经配置为多个图像区（40a，40b）执行所述视差计算，并且基于取决于所述图像区（40a，40b）的不同图像信息执行所述视差计算。
4.根据权利要求2或3所述的多透镜摄像机系统（1000），其中所述图像处理器（30）经配置通过根据所述图像区（40a，40b，40c）区分的多种不同的图像辨认方法，辨认在所述已捕捉图像（40）中的物体（40a-2，40b-0，40b-1，40c-4）。
5.根据权利要求4所述的多透镜摄像机系统（1000），其中所述图像处理器（30）经配置使用在所述各自摄像机单元（10，20）中所述已捕捉图像（40）中的第一图像区（40b）之间获得的视差信息、在第二图像区（40a）中的颜色信息，辨认在所述已捕捉图像（40）中的所述物体（40a-2，40b-0，40b-1，40b-3）。
6.根据权利要求4或5所述的多透镜摄像机系统（1000），其中所述图像处理器（30）经配置使用在所述各自摄像机单元（10，20）中所述已捕捉图像（40）中的第一图像区（40b）之间获得的视差信息，以及在第三图像区（40c）中的亮度信息，辨认在所述已捕捉图像（40）中的所述物体（40b-0，40b-1，40b-3，40c-4）。
7.一种交通工具（50），包含：
多透镜摄像机系统（1000），其包含：
多个摄像机单元（10，20），所述多个摄像机单元（10，20）包括各自的滤光器（12，22）和经所述滤光器（12，22）获取已捕捉图像（10A，20A，40）的图像传感器（11，21），所述滤光器（12，22）中的每个都具有光学特性分别不同的多个滤光区（12a，12b，12c；22a，22b，22c）；以及
图像处理器（30），所述图像处理器（30）可操作连接到所述多个摄像机单元（10，20），从而将图像处理成多个图像区（40a，40b，40c），所述多个图像区（40a，40b，40c）的特性根据所述滤光区（12a，12b，12c；22a，22b，22c）的所述光学特性而不同，从而辨认位于所述交通工具（50）前方的各种类型的目标（40a-2，40b-0，40b-1，40c-4）；以及
交通工具驾驶控制单元（58），从而基于由所述图像处理器（30）提供的所述辨认结果在所述交通工具（50）中控制转向系和刹车。
8.根据权利要求7所述的交通工具（50），其中所述多透镜摄像机系统（1000）的所述图像处理器（30）经配置将所述已捕捉图像（40）分成具有中心区（40b）的所述多个图像区（40a，40b，40c），其中使用视差计算将在前面的另一交通工具、行人、摩托车和自行车（40b-0，40b-1）中的至少一个辨认为所述目标。
9.根据权利要求8所述的交通工具（50），其中所述多透镜摄像机系统（1000）的所述图像处理器（30）经配置：
使用所述中心区（40b）的亮度信息，为在所述已捕捉图像（40）中的所述中心区（40b）计算视差信息（S102）；
使用所述视差信息执行聚类（S103b）；
使用所述中心区（40b）的所述亮度信息，辨认在道路上的分界线（40b-3）（S103a）；
修改所述聚类结果从而对应于所述在前面的交通工具、行人、摩托车和自行车（40b-0，40b-1）的大小（S104）；
基于所述分界线（40b-3）计算道路的高度从而将在所述道路上的物体（40b-0，40b-1）设定为目标信息（S105）；
使用所述目标信息修改所述聚类结果（S105）；
在已聚类中心区（40b）中将在前面的另一交通工具、行人、摩托车和自行车中的至少一个分类（S106）；以及
在三维上辨认在所述已捕捉图像（40）中所述中心区（40b）中的所述目标（40b-0，40b-1）。
10.根据权利要求8或9所述的交通工具（50），其中所述多透镜摄像机系统（1000）的所述图像处理器（30）经配置将所述已捕捉图像（40）分成具有上区（40a）的所述多个图像区（40a，40b，40c），其中使用颜色信息将交通灯和交通标志（40a-2）中的至少一个辨认为所述目标。
11.根据权利要求9或10所述的交通工具（50），其中所述多透镜摄像机系统（1000）的所述图像处理器（30）经配置：
使用所述上区（40a）的颜色信息辨认在所述上区（40a）中的所述交通灯和所述交通标志（40a-2）（S110），而所述图像传感器（30）使用所述亮度信息为在所述已捕捉图像（40）中的所述中心区（40b）计算所述视差信息，并使用所述视差信息为所述中心区（40b）执行聚类（S102），
如果需要，使用所述上区（40a）的所述颜色信息，仅为在所述上区（40a）中辨认所述交通灯或所述交通标志（40a-2）的所述区域计算视差（S111），而所述图像传感器（30）修改所述聚类结果从而对应于在前面的另一交通工具、所述行人、所述摩托车和所述自行车（40b-0，40b-1）的大小，基于所述分界线（40b-3）计算所述道路的所述高度，从而在所述道路上将所述物体设定为目标信息，使用所述目标信息修改所述聚类结果，并且将在已聚类中心区（40b）中的所述物体分类（S103a，S103b，S104，S105，S106）；以及
在三维上辨认在所述已捕捉图像（40）的所述上区（40a）中的所述目标（S112）。
12.根据权利要求9到11中的任何一条所述的交通工具（50），其中所述多透镜摄像机系统（1000）的所述图像处理器（30）经配置将所述已捕捉图像（40）分成所述多个图像区域（40a，40b，40c），所述多个图像区域（40a，40b，40c）具有其中使用亮度信息检测雨滴（40c-4）的下区（40c）。
13.根据权利要求12所述的交通工具（50），其中所述多透镜摄像机系统（1000）的所述图像处理器（30）经配置为所述下区（40c）检测所述雨滴（40c-4），同时计算视差信息并使用所述视差信息为所述中心区（40b）执行聚类（S102，S103b，S104，S105）。
14.一种在具有多个摄像机单元（10，20）的多透镜摄像机系统（1000）中的测距方法，所述多个摄像机单元（10，20）包括各自的滤光器（12，22）和经所述滤光器（12，22）获取已捕捉图像（40）的图像传感器（11，21），所述滤光器（12，22）中的每个都具有其光学特性分别不同的多个滤光区（12a，12b，12c；22a，22b，22c）；
所述方法包含以下步骤：
捕捉图像；
将所述已捕捉图像中的每个分成对应于各自的滤光区（12a，12b，12c；22a，22b，22c）的多个图像区（40a，40b，40c）（S101）；
为其中存在第一目标物体的所述已捕捉图像（40）中的第一图像区（40b）计算视差信息（S102）；
使用所述视差信息为所述第一图像区（40b）执行聚类（S103b）；
为在所述已捕捉图像（40）中的第二图像区（40a）辨认第二目标物体（40a-2），同时计算视差信息并使用所述视差信息为所述第一图像区（40b）执行聚类（S102，S103b，S104）；
修改聚类结果（S104，S105）；
仅为其中在所述第二图像区（40a）中辨认所述第二目标物体（40a-2）的区域计算视差信息（S111），同时为所述第一图像区（40b）修改所述聚类结果（S104，S105）；以及
在三维上辨认在所述已捕捉图像（40）中所述第一图像区（40b）和所述第二图像区（40a）中的所述目标（40b-0，40b-1，40a-2）。
15.根据权利要求14所述的测距方法，进一步包含：
为在所述已捕捉图像（40）中的第三图像区（40c）检测雨滴（40c-4），同时计算视差信息并为所述第一图像区（40b）使用所述视差信息执行聚类（S102，S103b）。
CN201310084234.4A 2012-03-21 2013-03-15 多透镜摄像机系统、安装多透镜摄像机系统的交通工具，以及由多透镜摄像机系统执行的测距方法 Active CN103322974B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012063660 2012-03-21
JP2012-063660 2012-03-21
JP2013001370A JP6197291B2 (ja) 2012-03-21 2013-01-08 複眼カメラ装置、及びそれを備えた車両
JP2013-001370 2013-01-08

Publications (2)

Publication Number Publication Date
CN103322974A true CN103322974A (zh) 2013-09-25
CN103322974B CN103322974B (zh) 2017-09-22

Family

ID=48013721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310084234.4A Active CN103322974B (zh) 2012-03-21 2013-03-15 多透镜摄像机系统、安装多透镜摄像机系统的交通工具，以及由多透镜摄像机系统执行的测距方法

Country Status (5)

Country Link
US (1) US9420151B2 (zh)
EP (1) EP2642429B1 (zh)
JP (1) JP6197291B2 (zh)
CN (1) CN103322974B (zh)
ES (1) ES2686047T3 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105934774A (zh) * 2014-03-24 2016-09-07 株式会社日立制作所 物体检测装置、物体检测方法以及移动机器人
CN111829484A (zh) * 2020-06-03 2020-10-27 江西江铃集团新能源汽车有限公司 基于视觉的目标距离测算方法
CN111868784A (zh) * 2018-03-22 2020-10-30 日立汽车系统株式会社 车载立体摄像机

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5701785B2 (ja) * 2012-02-03 2015-04-15 株式会社東芝 カメラモジュール
US9137517B2 (en) * 2012-10-05 2015-09-15 Blackberry Limited Methods and devices for generating a stereoscopic image
WO2014201324A1 (en) * 2013-06-13 2014-12-18 Gideon Stein Vision augmented navigation
JP5883833B2 (ja) * 2013-08-05 2016-03-15 富士重工業株式会社 車外環境認識装置
KR20150042574A (ko) * 2013-10-11 2015-04-21 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101611261B1 (ko) * 2013-12-12 2016-04-12 엘지전자 주식회사 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
US9696424B2 (en) 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
US11243294B2 (en) 2014-05-19 2022-02-08 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US20150334371A1 (en) * 2014-05-19 2015-11-19 Rockwell Automation Technologies, Inc. Optical safety monitoring with selective pixel array analysis
US9921300B2 (en) 2014-05-19 2018-03-20 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
EP3150961B1 (en) * 2014-05-28 2023-01-04 Kyocera Corporation Stereo camera device and vehicle provided with stereo camera device
WO2016051981A1 (ja) 2014-09-30 2016-04-07 日立オートモティブシステムズ株式会社 車載画像認識装置
JP2016102733A (ja) * 2014-11-28 2016-06-02 株式会社東芝 レンズ及び撮影装置
CA2976344A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP6562648B2 (ja) * 2015-02-16 2019-08-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9794543B2 (en) 2015-03-02 2017-10-17 Ricoh Company, Ltd. Information processing apparatus, image capturing apparatus, control system applicable to moveable apparatus, information processing method, and storage medium of program of method
JP6519355B2 (ja) * 2015-06-30 2019-05-29 株式会社デンソー カメラ装置及び車載システム
EP3352134B1 (en) 2015-09-15 2023-10-11 Ricoh Company, Ltd. Image processing device, object recognition device, device control system, image processing method, and program
US9948857B2 (en) * 2015-10-22 2018-04-17 Samsung Electronics Co., Ltd. Method and device for generating images
JP6662388B2 (ja) * 2015-11-27 2020-03-11 株式会社リコー 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム
JP6597792B2 (ja) 2015-11-30 2019-10-30 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US10635909B2 (en) * 2015-12-30 2020-04-28 Texas Instruments Incorporated Vehicle control with efficient iterative triangulation
JP6544257B2 (ja) * 2016-02-09 2019-07-17 株式会社リコー 情報処理システム、情報処理方法及び情報処理プログラム
JP6800628B2 (ja) * 2016-06-22 2020-12-16 キヤノン株式会社 追跡装置、追跡方法、及びプログラム
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
CN106355906B (zh) * 2016-11-11 2018-12-11 安徽理工大学 利用凹镜成像聚焦原理调控红绿灯的方法
US10453208B2 (en) 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
JP6922705B2 (ja) * 2017-12-06 2021-08-18 トヨタ自動車株式会社 センサー搭載構造
CN109314746B (zh) * 2017-12-22 2021-08-10 深圳配天智能技术研究院有限公司 图像传感器及其获取图像的方法、智能设备
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US20220100193A1 (en) * 2020-09-25 2022-03-31 Ford Global Technologies, Llc Vehicle wheelchair loading system
US11790665B2 (en) * 2021-04-29 2023-10-17 Hitachi Astemo, Ltd. Data driven dynamically reconfigured disparity map
JP7364269B2 (ja) 2022-03-15 2023-10-18 Ｎｅｃプラットフォームズ株式会社 物体検知装置、画像処理表示方法及びプログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19524936C1 (de) * 1995-07-08 1996-11-21 Leica Ag Vorrichtung zur Darstellung einer rotationssymmetrischen, gaußförmigen Intensitätsverteilung im Strahlenquerschnitt eines Strahlenbündels
JPH0961159A (ja) * 1995-08-23 1997-03-07 Fuji Photo Optical Co Ltd 測距装置
US6396397B1 (en) * 1993-02-26 2002-05-28 Donnelly Corporation Vehicle imaging system with stereo imaging
US20040130731A1 (en) * 2002-12-11 2004-07-08 Fuji Xerox Co., Ltd. Range finder and method
US6822563B2 (en) * 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US6853738B1 (en) * 1999-06-16 2005-02-08 Honda Giken Kogyo Kabushiki Kaisha Optical object recognition system
CN1677053A (zh) * 2004-02-25 2005-10-05 夏普株式会社 多重测距设备
US7193197B2 (en) * 2001-12-05 2007-03-20 Hamamatsu Photonics K.K. Light detection device, imaging device and distant image acquisition device
US20070177011A1 (en) * 2004-03-05 2007-08-02 Lewin Andrew C Movement control system
US20090174804A1 (en) * 2006-05-16 2009-07-09 Tomokuni Iijima Image pickup apparatus and semiconductor circuit element
WO2011049149A1 (en) * 2009-10-19 2011-04-28 Ricoh Company, Ltd. Ranging camera apparatus

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4641601B2 (ja) * 2000-09-08 2011-03-02 富士通テン株式会社 画像処理装置および画像処理システム
JP4275378B2 (ja) 2002-09-27 2009-06-10 富士重工業株式会社 ステレオ画像処理装置およびステレオ画像処理方法
JP4151890B2 (ja) 2002-11-22 2008-09-17 富士重工業株式会社 車両監視装置および車両監視方法
JP2006318059A (ja) * 2005-05-10 2006-11-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理用プログラム
JP4258539B2 (ja) * 2006-08-31 2009-04-30 株式会社日立製作所 複数画角カメラ
US8423003B2 (en) * 2007-07-11 2013-04-16 Yahoo! Inc. System for serving targeted advertisements over mobile messaging services
JP2009284188A (ja) * 2008-05-22 2009-12-03 Panasonic Corp カラー撮像装置
JP5278819B2 (ja) * 2009-05-11 2013-09-04 株式会社リコー ステレオカメラ装置及びそれを用いた車外監視装置
JP2010276469A (ja) * 2009-05-28 2010-12-09 Konica Minolta Holdings Inc 画像処理装置及び測距装置の画像処理方法
JP5776173B2 (ja) 2010-03-01 2015-09-09 株式会社リコー 撮像装置及び距離測定装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396397B1 (en) * 1993-02-26 2002-05-28 Donnelly Corporation Vehicle imaging system with stereo imaging
DE19524936C1 (de) * 1995-07-08 1996-11-21 Leica Ag Vorrichtung zur Darstellung einer rotationssymmetrischen, gaußförmigen Intensitätsverteilung im Strahlenquerschnitt eines Strahlenbündels
JPH0961159A (ja) * 1995-08-23 1997-03-07 Fuji Photo Optical Co Ltd 測距装置
US6822563B2 (en) * 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US6853738B1 (en) * 1999-06-16 2005-02-08 Honda Giken Kogyo Kabushiki Kaisha Optical object recognition system
US7193197B2 (en) * 2001-12-05 2007-03-20 Hamamatsu Photonics K.K. Light detection device, imaging device and distant image acquisition device
US20040130731A1 (en) * 2002-12-11 2004-07-08 Fuji Xerox Co., Ltd. Range finder and method
CN1677053A (zh) * 2004-02-25 2005-10-05 夏普株式会社 多重测距设备
US20070177011A1 (en) * 2004-03-05 2007-08-02 Lewin Andrew C Movement control system
US20090174804A1 (en) * 2006-05-16 2009-07-09 Tomokuni Iijima Image pickup apparatus and semiconductor circuit element
WO2011049149A1 (en) * 2009-10-19 2011-04-28 Ricoh Company, Ltd. Ranging camera apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105934774A (zh) * 2014-03-24 2016-09-07 株式会社日立制作所 物体检测装置、物体检测方法以及移动机器人
CN111868784A (zh) * 2018-03-22 2020-10-30 日立汽车系统株式会社 车载立体摄像机
CN111868784B (zh) * 2018-03-22 2023-09-01 日立安斯泰莫株式会社 车载立体摄像机
CN111829484A (zh) * 2020-06-03 2020-10-27 江西江铃集团新能源汽车有限公司 基于视觉的目标距离测算方法

Also Published As

Publication number Publication date
JP6197291B2 (ja) 2017-09-20
EP2642429A2 (en) 2013-09-25
CN103322974B (zh) 2017-09-22
US9420151B2 (en) 2016-08-16
ES2686047T3 (es) 2018-10-16
EP2642429A3 (en) 2015-09-02
JP2013225289A (ja) 2013-10-31
US20130250109A1 (en) 2013-09-26
EP2642429B1 (en) 2018-07-11

Similar Documents

Publication Publication Date Title
CN103322974A (zh) 多透镜摄像机系统、安装多透镜摄像机系统的交通工具，以及由多透镜摄像机系统执行的测距方法
EP2919197B1 (en) Object detection device and object detection method
EP3057063B1 (en) Object detection device and vehicle using same
JP5399027B2 (ja) 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス
US9965690B2 (en) On-vehicle control device
US11295145B2 (en) Object detection using vehicular vision system
CN106295494B (zh) 车外环境识别装置
CN105825495A (zh) 物体检测装置和物体检测方法
KR101748780B1 (ko) 스테레오 카메라를 이용한 도로객체 인식방법 및 장치
JP2016045903A (ja) 物体認識装置及び車両制御システム
Bruno et al. Analysis and fusion of 2d and 3d images applied for detection and recognition of traffic signs using a new method of features extraction in conjunction with deep learning
US9041778B2 (en) Image processing device and method of processing image
JP2014016981A (ja) 移動面認識装置、移動面認識方法及び移動面認識用プログラム
EP2642759B1 (en) Multi-lens camera system
US20210142073A1 (en) Vehicular autonomous control system utilizing superposition of matching metrics during testing
KR102019594B1 (ko) 저해상도 카메라를 위한 보정 기법을 이용한 차량 간 거리 추정 방법 및 그 장치
Patil et al. Moving vehicle detection: A review
Kilicarslan et al. Bridge motion to collision alarming using driving video
Cualain et al. Distance detection systems for the automotive environment: A review
Chen et al. Object detection for neighbor map construction in an IoV system
Patil et al. Multi Camera Vehicle Tracking Using OpenCV & Deep Learning
Chen et al. Road environment recognition method in complex traffic situations based on stereo vision
Jager et al. Lane Change Assistant System for Commercial Vehicles equipped with a Camera Monitor System
Gu et al. Road traffic tracking and parameter estimation based on visual information analysis using self-calibrated camera views
Dhineshkumar et al. IMAGE PROCESSING AND VISION BASED TECHNOLOGY FOR LANE DETECTION OF VEHICLES

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant