CN1940711A - 前方摄影装置 - Google Patents

前方摄影装置 Download PDF

Info

Publication number
CN1940711A
CN1940711A CNA2006100661207A CN200610066120A CN1940711A CN 1940711 A CN1940711 A CN 1940711A CN A2006100661207 A CNA2006100661207 A CN A2006100661207A CN 200610066120 A CN200610066120 A CN 200610066120A CN 1940711 A CN1940711 A CN 1940711A
Authority
CN
China
Prior art keywords
video camera
barrier
photography
taking device
image taking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006100661207A
Other languages
English (en)
Other versions
CN100472322C (zh
Inventor
堀部刚治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN1940711A publication Critical patent/CN1940711A/zh
Application granted granted Critical
Publication of CN100472322C publication Critical patent/CN100472322C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/003—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly setting of both shutter and diaphragm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

前方摄影装置。本发明的课题是提供前方摄影装置，其即使在对象物的位置变化时，也能够设定最适合于对象物周围的摄影条件，能够设定适合于应该拍摄的对象物状况的最佳摄影条件。作为解决手段，本发明利用激光雷达(12)检测汽车前方的障碍物。信号处理部(15)求出激光雷达(12)的一帧的动作时间内的障碍物的位移矢量。摄像机控制部(16)根据障碍物的位移矢量，预测下一帧的障碍物的存在位置，设定摄影条件区域。摄像机(11)进行预备拍摄，图像处理部(17)求出上述摄影条件区域的亮度直方图。摄像机控制部(16)将摄像机(11)的明亮度调节为使得摄影条件区域的亮度的平均值成为直方图的中心，将摄像机(11)的对比度调节为使得亮度的方差在直方图中均匀地扩展。

Description

前方摄影装置
技术领域
本发明涉及拍摄汽车前方的前方摄影装置，特别涉及根据被摄体的状态设定摄影条件的前方摄影装置。
背景技术
以往，为了确保汽车的安全性，利用激光雷达来检测与先行车之间的距离。利用激光雷达检测与先行车之间的距离，在异常接近先行车时，发出警报等来提醒驾驶员注意。
并且，为了进一步确保安全性，优选为不仅检测与先行车之间的距离，还检测与行人等其他对象物之间的距离。激光雷达虽然能在短时间内检测与对象物之间的距离、方向等，但难以进行该对象物是汽车还是行人的判断。
为了确定对象物的类型，利用CCD摄像机等拍摄汽车前方，通过图像处理判断对象物是汽车还是行人。但是，在使用摄像机的图像处理中，虽然能够准确地判断对象物是汽车还是行人，但是不能够准确地检测与对象物之间的距离，或者距离检测的处理时间较长。因此，利用激光雷达来检测对象物的有无及其距离，并在确认了对象物的存在时，拍摄摄像机图像，进行图像处理，以确定对象物的类型。
但是，在按上面所述那样通过图像处理来确定对象物的类型时，存在以下问题。例如出现了下述状况：如果本车在隧道跟前行驶时先行车进入了隧道，则由于包括先行车在内的区域的图像变得过暗而即使进行图像处理也不能识别到(漏过)先行车。此外，相反，如果当本车在隧道内行驶时先行车驶出隧道，则由于包括先行车在内的区域的图像变得过亮而依旧发生漏过先行车的状况。
因此，如专利文献1所示，提出了如下的装置：使用包括先行车在内的区域的图像明亮度，计算最佳的光圈值，在下一次拍摄时进行摄像机的光圈控制。在专利文献1的装置中，能够针对先行车的周围区域，以最佳曝光状态摄影图像，所以不会在该区域漏过先行车。
专利文献1日本特开平7-81459号公报
但是，在专利文献1的装置中，存在以下问题。
(1)图5表示先行车进入隧道时的图像。该图5(A)表示先行车进入隧道之前在车道内右侧行驶的情况，该图5(B)表示先行车进入隧道后马上横向移动到车道内左侧行驶的情况。在该图5(A)中，在车道内右侧识别到先行车，设定最适合其周围区域的光圈值。此处，如果假设先行车按该图5(B)所示那样进入隧道，则图像变暗，所以按该图5(C)所示，在按照该图5(A)设定的区域中，进行光圈值的再计算。但是，如果假设先行车进入隧道后马上横向移动到车道内左侧行驶，则如该图5(C)所示，先行车不在按照该图5(A)设定的区域内，所以在专利文献1的装置中，由于在不能识别先行车时直接使用前次光圈控制区域，因此导致漏过先行车。
(2)图6表示对象物是行人时的图像。该图6(A)表示行人进入建筑物的阴影之前的图像，该图6(B)表示行人进入建筑物的阴影之后的图像。在该图6(A)中，在马路右侧识别到行人，设定最适合其周围区域的光圈值。此处，假设行人如该图6(B)所示那样进入了建筑物的阴影中，则由于图像变暗，所以按该图6(C)所示，在按照该图6(A)设定的区域中，进行光圈值的再计算。但是，行人的移动速度与本车的移动速度相比极慢，所以在本车的速度较快时，行人的相对移动较大，所以如该图6(C)所示，行人明显不在按照该图6(A)设定的区域内。在这种情况下，仍不能设定最佳的光圈值。在专利文献1的装置中，在不能识别先行车时直接使用前次光圈控制区域，所以导致漏过先行车。
(3)在拍摄沾有污泥等而较脏的先行车时，汽车的玻璃和车体之间的分界线不清楚，或尾灯和车体之间的分界线不清楚。对于这种汽车的摄影图像，即使进行了边缘检测的图像处理，也由于分界线不清楚而不能判断边缘。在专利文献1的装置中虽然提出了进行光圈控制，但是光圈控制只能调节明亮度，不能进行对比度的调节。因此，在专利文献1的装置中，对较脏的汽车等分界线不清楚的对象物，不能高效地进行边缘检测。
发明内容
本发明的目的在于提供前方摄影装置，其即使在对象物的位置变化时，也能够设定最适合于对象物周围的摄影条件，能够设定适合于应该拍摄的对象物的状况的最佳摄影条件。
本发明之一的特征在于，具有：拍摄汽车前方的摄像机；激光扫描部，其照射激光而扫描汽车的前方，检测一个或多个障碍物；以及摄像机控制部，其针对所述激光扫描部检测到的每个障碍物设定摄影区域，针对每个摄影区域设定所述摄像机的摄影条件。
在该发明中，利用激光雷达检测障碍物，针对检测到的障碍物周围的每个区域设定不同的摄像机的摄影条件。由于可以利用激光雷达判断障碍物的位置，所以能够针对每个障碍物的位置设定最佳的摄影条件。
本发明之二的特征在于，所述激光扫描部测量距所检测到的障碍物的距离和方位，所述摄像机控制部根据距所述障碍物的距离和方位设定摄影条件。
在该发明中，根据距障碍物的距离和方位来变更摄影条件设定区域。例如，在距障碍物的距离较远时缩小设定区域，在距障碍物的距离较近时扩大设定区域。
本发明之三的特征在于，所述激光扫描部根据前次的扫描结果和此次的扫描结果来计算障碍物的相对位置变化，所述摄像机控制部根据所述激光扫描部所计算的障碍物的位置变化，估计下一次摄影定时的障碍物的位置，根据该估计位置确定设定所述摄影区域的区域。
在该发明中，根据前次的扫描结果和此次的扫描结果，检测障碍物的位置变化，预测下次扫描时(拍摄时)的障碍物的位置。针对所预测的每个位置确定摄像机摄影条件设定区域。由此，可以按照同一定时进行激光扫描和摄像机拍摄。
本发明之四的特征在于，所述摄像机控制部根据障碍物的移动速度，设定与该障碍物对应的摄影区域的快门速度。
在该发明中，如果是移动速度较快的障碍物则加快快门速度，如果是移动速度较慢的障碍物则放慢快门速度。由此，清楚地拍摄障碍物。
本发明之五的特征在于，所述摄像机控制部在所述下一次摄影定时之前对所述摄影区域进行预备拍摄，根据该拍摄结果设定该摄影区域的感光度或亮度。
在该发明中，根据前次拍摄结果来变更对比度。由此，能够以更加良好的条件拍摄障碍物。
本发明之六的特征在于，所述摄像机是宽动态范围的CMOS摄像机。
在该发明中，摄像机使用宽动态范围的CMOS摄像机。如果是宽动态范围的CMOS摄像机，即使明暗幅度较大的对比度强烈的被摄体，也不会形成“泛白”或“发黑”的图像。
根据本发明，即使对象物的位置变化时，也能够设定最适合于对象物周围的摄影条件，能够根据应该拍摄的对象物的状况(边界线的清楚程度等)设定最佳的摄影条件。
附图说明
图1是表示本发明的实施方式的前方摄影装置的结构的方框图。
图2是说明位移矢量的图。
图3是说明直方图的图。
图4是表示前方拍摄动作的流程图。
图5是表示现有的前方摄影装置中的先行车进入隧道时的图像的图。
图6是表示现有的前方摄影装置中的对象物为行人时的图像的图。
具体实施方式
以下，参照附图说明本发明的实施方式的前方摄影装置。图1是前方摄影装置1的方框图。如该图所示，该前方摄影装置1具有：摄像机11、激光雷达12、车速传感器13、转向角传感器14、信号处理部15、摄像机控制部16以及图像处理部17。摄像机11与摄像机控制部16和图像处理部17连接。激光雷达12、车速传感器13以及转向角传感器14与信号处理部15连接。此外，信号处理部15与摄像机控制部16连接，摄像机控制部16与图像处理部17连接。
摄像机11设在汽车前方、例如前窗玻璃的内侧(后视镜的里侧)。摄像机11拍摄汽车前方，持续地或间歇地取入图像。所取入的图像输出给图像处理部17。
该摄像机11优选为宽动态范围的CMOS摄像机。宽动态范围的CMOS摄像机随着亮度上升，使各个图像元件中的输出值呈对数形式缓慢上升。如果是宽动态范围的CMOS摄像机，还能够同时拍摄被日光照射的极为明亮的区域中的被摄体和位于背阴处的暗淡区域中的被摄体。即，虽然汽车前方形成白天由于日光成为高照度、而夜间成为极低照度的恶劣的拍摄环境，但如果是宽动态范围的CMOS摄像机，则由于具有与人眼相等或以上的动态范围，所以即使明暗幅度较大的对比度强烈的被摄体，也不会成为“泛白”和“发黑”的图像。
并且，该摄像机11是多窗口CMOS摄像机，其可以设定拍摄范围中的多个预定区域，对各个区域独立设定摄影条件。如果是CMOS摄像机，则可以针对每个图像元件调节感光度等，所以能够针对每个预定区域设定不同的摄影条件。
激光雷达12向汽车前方照射近红外线，利用光电二极管等检测反射光，进行障碍物等的检测。激光雷达12的扫描范围与摄像机11的拍摄范围大致相同，安装在汽车的前方、例如前饰条(前保险杠)的内侧，使得与摄像机11的拍摄范围同向。
激光雷达12测量在汽车前方反射的激光的反射强度。激光雷达12在该反射强度大于等于预先设定的强度时，检测为障碍物。并且，激光雷达12测量激光照射定时和受光定时之间的延迟时间，可根据该延迟时间测量与障碍物之间的距离。并且，可以根据此时的激光照射角度判断障碍物存在的方向。激光雷达12内置有检测激光照射角度的角度传感器。
车速传感器13是检测本车的行驶速度的传感器。
转向角传感器14检测本车的转向角度、即行进方向的变化。也可以使用偏航速率传感器来代替转向角传感器。
由激光雷达12检测出的障碍物的方向信息、距离信息、由车速传感器13检测出的行驶速度信息、以及由转向角传感器14检测出的转向角度信息输入给信号处理部15。
信号处理部15根据上述信息提取激光雷达12所检测到的各个障碍物的位移矢量。位移矢量是表示各个障碍物在激光雷达12的一帧的动作时间(一次扫描时间)内位移多少的信息。该位移矢量被输入给摄像机控制部16。
摄像机控制部16设定摄像机11的各种摄影条件。摄影条件是快门速度、对比度(图像元件感光度)、或明亮度(偏置)。摄像机控制部16能够设定摄像机11的拍摄范围中的任意区域而独立地设定摄影条件。摄像机控制部16根据从信号处理部15接收到的位移矢量，对拍摄范围中的判断为存在障碍物的范围进行区域设定。针对该设定的每个区域设定摄影条件。
图2是说明位移矢量的图。在该图中，表示行人进入建筑物的阴影的前后、以及先行车从道路右侧向左侧移动的同时进入隧道的前后的、激光雷达12的扫描图和摄像机11的摄影图像。该图2(A)是激光雷达12的第(n-1)帧的扫描图。该图2(B)表示在激光雷达12的第(n-1)帧的定时中拍摄到的摄像机11的图像的图。在该图2(A)中，表示在扫描范围内检测到两个障碍物的情况。此时，例如如该图2(B)所示，通过摄像机11拍摄到了两个障碍物(先行车、行人)。
该图2(C)是激光雷达12的第n帧的扫描图。该图2(D)表示在激光雷达12的第n帧的定时中拍摄到的摄像机11的图像的图。
在激光雷达12的一帧的动作时间内、即从该图2(A)到该图2(C)的期间，各个障碍物相对于本车进行相对移动。例如，行人的移动速度小于本车，大致根据本车的移动速度进行较大的相对移动。先行车以与本车相同的方向在本车的前方移动，所以在一帧的动作时间内不进行较大的相对移动，但在该图的示例中，由于先行车从道路右侧向左侧移动，所以向左方向进行相对移动。
如该图2(C)所示，信号处理部15对激光雷达12所检测到的各个障碍物求出位移矢量。信号处理部15根据从激光雷达12输入的障碍物的方向信息、距离信息；从车速传感器13输入的本车的行驶速度信息；以及从转向角传感器14输入的转向角度信息，求出各个障碍物的相对移动速度和方向。激光雷达12的一帧的动作时间始终是恒定的，所以位移矢量与相对速度对应。并且，位移矢量的方向与相对速度的方向对应。
该图2(E)是激光雷达12的第(n+1)帧的预测扫描图。如上所述，由于一帧的动作时间始终是恒定的，所以摄像机控制部16根据(n-1)帧～n帧的位移矢量，预测第(n+1)帧的障碍物的位置。摄像机控制部16假设障碍物在n帧～(n+1)帧中也按照(n-1)帧～n帧的位移矢量进行相对移动，来确定各个障碍物的位置变化。如该图2(F)所示，摄像机控制部16对预测出的各个障碍物的位置设定摄影条件设定区域。
图像处理部17对摄像机11拍摄到的图像进行分析。可以对所拍摄的所有图像进行图像分析，也可以针对所设定的每个区域进行。首先，对利用摄像机11拍摄到的图像，求出亮度的分布(直方图)。根据该直方图，求出所拍摄的图像的亮度平均值和方差。图像处理部17把该平均值和方差的信息发送给摄像机控制部16。
摄像机控制部16根据平均值和方差的信息，再设定摄像机11的摄影条件。即，将明亮度调节为使得亮度的平均值为直方图的中心，将感光度变更为使得方差在直方图中均匀。
图3表示各个障碍物的亮度直方图。该图3(A)表示在上述的(n+1)帧中，摄像机11所拍摄的图像。在该图3(A)中，摄像机控制部16对所预测的各个障碍物的位置设定摄影条件设定区域。该图像被输入给图像处理部17。图像处理部17如该图3(C)和该图3(E)所示那样，针对各个障碍物周围的每个区域求出亮度直方图。该图3(C)表示先行车的周围区域中的亮度直方图，该图3(E)表示行人周围区域中的亮度直方图。在该图3(C)和该图3(E)中，虚线所示的分布表示摄像机11所拍摄的图像整体上的亮度分布。
图像处理部17求出上述直方图的亮度的平均值和方差。在该图3(C)中，由于先行车进入了隧道内，所以直方图的平均值较低，方差较小。在该图3(E)中也相同，由于行人进入了建筑物的阴影中，所以直方图的平均值较低，方差较小。图像处理部17针对各个障碍物的每个区域，把上述直方图的平均值和方差发送给摄像机控制部16。
摄像机控制部16针对各个障碍物的每个区域，以从图像处理部17接收到的平均值为基础，变更摄像机11的摄影条件中的明亮度。将明亮度变更为使得平均值成为直方图的中心。即，在平均值低于直方图的中心时，使摄影条件变明亮，相反在平均值高于直方图的中心时，使摄影条件变暗淡。可以通过对摄像机11的镜头光圈进行伺服调节，也可以通过调节快门速度，来变更明亮度的摄影条件。
并且，摄像机控制部16针对各个障碍物的每个区域，以从图像处理部17接收到的方差为基础，变更摄像机11的摄影条件中的对比度。将对比度变更为使得方差在直方图中均匀地扩展。通过调节各个图像元件的增益来变更对比度。
如上所述那样，摄像机控制部16变更摄像机11的摄影条件。摄像机11以变更后的摄影条件再次拍摄图像。该图3(B)表示针对各个障碍物的每个区域变更摄影条件而拍摄到的图像。在该图3(B)中，摄像机控制部16针对每个摄影条件设定区域变更明亮度、对比度。因此，如该图3(B)所示，即使先行车进入了隧道内，也能够把该区域的明亮度、对比度调节为最佳状态，所以能够清楚地拍摄先行车。同样，即使行人进入了建筑物的阴影中，也因把该区域的明亮度、对比度调节为最佳状态，所以能够清楚地拍摄行人。该图像被再次输入给图像处理部17。在该图3(D)和该图3(F)中表示各个障碍物的每个摄影条件设定区域中的亮度直方图。该图3(D)表示先行车的摄影条件设定区域中的亮度直方图，该图3(F)表示行人的摄影条件设定区域中的亮度直方图。
如该图3(D)所示，在先行车附近的摄影条件设定区域中，放慢快门速度(或打开光圈)，所以亮度分布偏向高亮度侧。并且，由于使各个图像元件的增益上升，所以亮度分布向高亮度侧扩展。因此，亮度平均值成为直方图的中心、亮度方差在直方图中均匀地分布。同样，如该图3(F)所示，在行人附近的摄影条件设定区域中也放慢快门速度(或打开光圈)，所以亮度分布偏向高亮度侧。并且，由于使各个图像元件的增益上升，所以亮度分布向高亮度侧扩展。因此，亮度平均值成为直方图的中心、亮度方差在直方图中均匀地分布。
上述的摄影条件的再设定是在激光雷达12的一帧的动作时间内进行的。即，在激光雷达12的第(n+1)帧的动作中，进行两次图像拍摄。第1次拍摄是作为预备拍摄，是用于由图像处理部17求出直方图、由摄像机控制部16确定各个摄影条件设定区域的变更条件的拍摄。激光雷达12的一帧的动作时间比摄像机11的拍摄时间、图像处理部17的直方图计算时间、以及摄像机控制部16的摄影条件再设定时间等长，从而如上面所述，能够在一帧期间内进行两次图像拍摄。
图像处理部17把从摄像机11输入的上述图像输出给其它图像处理部等。在其它图像处理部中，例如进行边缘检测等的图像处理，根据所检测的边缘判断障碍物的类型。例如，如果障碍物的左右对称性较强，则判断为汽车。这些信息与通过激光雷达12计测到的障碍物的方向、距离信息等一起发送给车辆控制部(未图示)，在车辆控制部中，根据这些信息控制本车的车速等。即，进行把本车的速度控制为恒定值的巡航控制等。随着前方的先行车辆，进行减速、加速。当然，除巡航控制以外，也可以根据与障碍物之间的距离信息进行各种控制。例如，在判断障碍物是行人时，也可以进行紧急停止控制以避免接触。
在该实施方式的前方摄影装置1中，因按照激光雷达12的扫描定时拍摄本车前方的图像，所以由激光雷达12检测出的障碍物和由摄像机11拍摄到的障碍物的位置精确地一致，可以高精度地检测障碍物的类型及其位置。因此，可以更加准确且安全地进行上述的巡航控制或紧急停止控制。
如上所述，通过激光雷达检测障碍物，再预测所检测的障碍物的时间位移，在障碍物周边设定摄影条件区域，由此可以在不通过拍摄完成图像的处理来调节明亮度或对比度的情况下，把摄像机的摄影条件调节为最佳状态，可以根据应该拍摄的对象物的状况(边界线的清楚性等)取得最佳图像。
并且，在拍摄沾有污泥等的较脏的先行车时，汽车的玻璃和车体之间的分界线不清楚，或尾灯和车体之间的分界线不清楚，所以多数情况下不能进行边缘检测，但本实施方式的前方摄影装置1，不仅调节明亮度，还进行对比度调节，所以对于较脏的汽车等边界线不清楚的对象物，也能够以高对比度进行拍摄，能够高效地进行边缘检测。
下面，参照图4说明前方摄影装置1的动作。图4的流程图是表示前方拍摄动作的流程图。该处理动作如下：通过激光雷达12检测前方的障碍物，并且设定最适合于所检测到的障碍物的摄影条件，从而清楚地拍摄障碍物。
首先，信号处理部15通过激光雷达12来接收第n帧的扫描结果，得到障碍物的位置信息(s10)。对所检测到的各个障碍物，建立与激光雷达12在第(n-1)帧中检测出的各个障碍物之间的对应(s11)。在第(n-1)帧和第n帧的反射强度大致相同(例如，反射强度的差在预定阈值内)时，视为同一障碍物。根据第(n-1)帧和第n帧的各个障碍物的位置变化，计算各个障碍物的位移矢量(s12)。然后，向摄像机控制部16发送各个障碍物的位移矢量(s13)。
摄像机控制部16首先对摄像机11设定标准的明亮度、对比度(s20)。这些设定在摄像机11的整个拍摄范围中是相同的。另外，也可以针对激光雷达12的每个动作帧重新设定标准的明亮度、对比度，还可以把前次设定条件作为标准条件，直接设定明亮度、对比度。然后，从信号处理部15接收位移矢量(s21)。摄像机控制部16根据所接收的位移矢量设定摄像机11的快门速度(s22)。在位移矢量较大时，可以判断为障碍物在高速地进行相对移动，所以把快门速度设定得较快，以拍摄晃动较小的图像。在位移矢量较小时，为了获得光量，把快门速度设定得较慢。另外，在摄像机11是宽动态范围的CMOS摄像机时，也可以不变更快门速度。这是由于：如果是宽动态范围的CMOS摄像机，即使快门速度快，也不会成为“发黑”等的图像。
并且，以所接收的位移矢量为基础，设定变更摄影条件的图像区域的位置和大小(s23)。在位移矢量较大时，由于障碍物的相对速度较大，因此在一帧期间内移动的障碍物的位置预测精度较低，所以把图像区域设定得较大。此时，也可以根据与障碍物之间的距离变更图像区域的大小。在距障碍物的距离较远时，缩小图像区域，在距障碍物的距离较近时，扩大图像区域。
对摄像机11设定以上的摄影条件，进行预备拍摄(s24)。摄像机11把预备拍摄的图像输出给图像处理部17(s25)。
图像处理部17接收预备摄影图像(s30)，针对存在障碍物的各个图像区域求出亮度直方图，计算亮度的平均值和方差(s31)。计算出的平均值和方差被发送给摄像机控制部16(s32)。
摄像机控制部16从图像处理部17接收亮度平均值和方差(s26)，变更摄像机11的摄影条件中的明亮度和对比度(s27)。上面所述那样将明亮度变更为使得亮度平均值成为直方图的中心，且将对比度变更为使得亮度方差在直方图中均匀地扩展。通过调节摄像机11的快门速度和镜头光圈来变更明亮度。通过调节各个图像元件的感光度(放大增益)来变更对比度。
然后，利用变更后的摄影条件进行正式拍摄(s28)。摄像机11把正式拍摄的图像输出给图像处理部17(s29)。图像处理部17接收正式拍摄的图像(s33)，并输出给其它处理部(进行边缘检测等的图像处理部)(s34)。
如上所述，在搭载了本发明的前方摄影装置的汽车中，利用激光雷达12准确检测障碍物的位置，通过预测、预备拍摄下次扫描时的障碍物的位置，确定成为最佳摄影条件的校正量，按照与扫描大致同时的定时取得图像。因此，即使对象物的位置发生了变化，也能够设定最适合于对象物周围的摄影条件，可以根据应该拍摄的对象物的状况(边界线的清楚性等)设定最佳的摄影条件。
另外，在该实施方式中，示出了把前方摄影装置应用于汽车的示例，但除汽车外，也可以应用于铁道车辆、船舶等。

Claims (6)

1.一种前方摄影装置，具有：
拍摄汽车前方的摄像机；
激光扫描部，其照射激光而扫描汽车前方，检测一个或多个障碍物；以及
摄像机控制部，其针对所述激光扫描部检测出的每个障碍物设定摄影区域，针对每个摄影区域设定所述摄像机的摄影条件。
2.根据权利要求1所述的前方摄影装置，其中，
所述激光扫描部测量距所检测出的障碍物的距离和方位，
所述摄像机控制部根据距所述障碍物的距离和方位设定摄影条件。
3.根据权利要求1所述的前方摄影装置，其中，
所述激光扫描部根据前次的扫描结果和本次的扫描结果，计算障碍物的相对位置变化，
所述摄像机控制部根据所述激光扫描部计算出的障碍物的位置变化，估计下一次摄影定时的障碍物的位置，根据该估计位置确定设定所述摄影区域的区域。
4.根据权利要求1～3中的任意一项所述的前方摄影装置，其中，
所述摄像机控制部根据障碍物的移动速度，设定与该障碍物对应的摄影区域的快门速度。
5.根据权利要求1～3中的任意一项所述的前方摄影装置，其中，
所述摄像机控制部在所述下一次摄影定时之前对所述摄影区域进行预备拍摄，根据该拍摄结果设定该摄影区域的感光度或明亮度。
6.根据权利要求1～3中的任意一项所述的前方摄影装置，其中，
所述摄像机是宽动态范围的CMOS摄像机。
CNB2006100661207A 2005-09-27 2006-03-24 前方摄影装置 Expired - Fee Related CN100472322C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005280531A JP4218670B2 (ja) 2005-09-27 2005-09-27 前方撮影装置
JP2005280531 2005-09-27

Publications (2)

Publication Number Publication Date
CN1940711A true CN1940711A (zh) 2007-04-04
CN100472322C CN100472322C (zh) 2009-03-25

Family

ID=37638029

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100661207A Expired - Fee Related CN100472322C (zh) 2005-09-27 2006-03-24 前方摄影装置

Country Status (5)

Country Link
US (1) US20070073484A1 (zh)
EP (1) EP1767960B1 (zh)
JP (1) JP4218670B2 (zh)
CN (1) CN100472322C (zh)
DE (1) DE602006003164D1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102189954A (zh) * 2010-03-02 2011-09-21 奥托立夫开发公司 用于机动车的驾驶辅助系统和方法
CN103026395A (zh) * 2010-11-15 2013-04-03 图像传感系统有限公司 混合交通传感器系统和相关的方法
CN104065879A (zh) * 2011-03-18 2014-09-24 卡西欧计算机株式会社 摄像装置和摄像方法
US9472097B2 (en) 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
CN106476695A (zh) * 2015-09-02 2017-03-08 Smr专利责任有限公司 用于可视性增强的系统和方法
CN109327660A (zh) * 2017-07-31 2019-02-12 三星电子株式会社 图像获取方法和设备
CN110225846A (zh) * 2017-01-20 2019-09-10 株式会社小糸制作所 车辆用灯具系统、车辆用灯具的控制装置及车辆用灯具的控制方法
CN112379390A (zh) * 2020-11-18 2021-02-19 成都通甲优博科技有限责任公司 基于异源数据的位姿测量方法、装置、系统及电子设备
CN112866566A (zh) * 2014-05-29 2021-05-28 株式会社尼康 驾驶辅助装置及驾驶辅助装置搭载车辆
CN113138393A (zh) * 2020-01-17 2021-07-20 阿里巴巴集团控股有限公司 环境感测系统、控制装置以及环境感测数据融合装置
CN113138393B (zh) * 2020-01-17 2024-05-31 浙江菜鸟供应链管理有限公司 环境感测系统、控制装置以及环境感测数据融合装置

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5132164B2 (ja) * 2007-02-22 2013-01-30 富士通株式会社 背景画像作成装置
KR100759056B1 (ko) * 2007-05-03 2007-09-14 인하대학교 산학협력단 초음파 센서를 포함하는 장애물 회피 방향 안내 시스템
KR100898061B1 (ko) 2007-05-25 2009-05-19 한국철도기술연구원 하이브리드 터널 스캐닝 장치
JP4987573B2 (ja) * 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置
KR101188584B1 (ko) 2007-08-28 2012-10-05 주식회사 만도 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치
JP2009105687A (ja) * 2007-10-24 2009-05-14 Mitsubishi Electric Corp 撮像システム
JP5177147B2 (ja) * 2007-11-19 2013-04-03 富士通株式会社 撮像装置、撮像方法および撮像プログラム
JP5034087B2 (ja) * 2008-03-31 2012-09-26 本田技研工業株式会社 車両走行支援装置、車両、車両走行支援プログラム
JP5385009B2 (ja) * 2009-05-29 2014-01-08 日立オートモティブシステムズ株式会社 車両制御装置および車両制御方法
JP2011033594A (ja) * 2009-08-06 2011-02-17 Panasonic Corp 車両用距離算出装置
JP5372680B2 (ja) 2009-09-24 2013-12-18 日立オートモティブシステムズ株式会社 障害物検知装置
KR101161979B1 (ko) * 2010-08-19 2012-07-03 삼성전기주식회사 나이트 비전용 영상 처리 장치 및 방법
CN102098531B (zh) * 2010-12-16 2012-07-25 东软集团股份有限公司 一种检测摄像机被干扰的方法及装置
KR20120071203A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 운전자의 시야 확보 장치 및, 운전자의 시야 확보 방법
EP2549738B1 (en) * 2011-07-19 2013-08-28 Axis AB Method and camera for determining an image adjustment parameter
JP5781978B2 (ja) * 2012-05-22 2015-09-24 株式会社小松製作所 ダンプトラック
KR20140006462A (ko) * 2012-07-05 2014-01-16 현대모비스 주식회사 안전운전 지원 장치 및 방법
CN105103537B (zh) * 2013-02-27 2018-11-06 株式会社尼康 成像元件及电子设备
DE102013216994A1 (de) * 2013-08-27 2015-03-05 Robert Bosch Gmbh Geschwindigkeitsassistent für ein Kraftfahrzeug
KR101511853B1 (ko) 2013-10-14 2015-04-13 영남대학교 산학협력단 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법
JP6451332B2 (ja) * 2015-01-14 2019-01-16 株式会社ニコン 撮像装置および自動車
JP2015226255A (ja) * 2014-05-29 2015-12-14 株式会社ニコン 撮像装置および自動車
JP6620395B2 (ja) * 2014-08-28 2019-12-18 株式会社ニコン 撮像装置
JP6289681B2 (ja) * 2015-01-22 2018-03-07 三菱電機株式会社 撮像装置及び方法、並びにプログラム及び記録媒体
JP6451575B2 (ja) * 2015-09-18 2019-01-16 株式会社ニコン 撮像装置
JP6451576B2 (ja) * 2015-09-18 2019-01-16 株式会社ニコン 撮像装置
JP2015228707A (ja) * 2015-09-18 2015-12-17 株式会社ニコン 撮像装置
JP6369432B2 (ja) * 2015-09-18 2018-08-08 株式会社ニコン 撮像装置
JP6369433B2 (ja) * 2015-09-18 2018-08-08 株式会社ニコン 撮像装置
US10257393B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Devices and methods for high dynamic range video
EP3223034B1 (en) 2016-03-16 2022-07-20 Ricoh Company, Ltd. Object detection apparatus and moveable apparatus
KR102535618B1 (ko) * 2016-05-02 2023-05-23 한국전자통신연구원 융합형 물체 감지 정보를 이용한 운전자 보조 시스템 및 방법
KR102535598B1 (ko) * 2016-05-31 2023-05-23 한국전자통신연구원 비전기반의 융합형 물체 감지 장치 및 방법
CA3033242A1 (en) * 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
EP3606052B1 (en) * 2017-03-27 2023-10-25 Hitachi Kokusai Electric Inc. Train image monitoring system
US10491807B2 (en) * 2017-06-27 2019-11-26 GM Global Technology Operations LLC Method to use vehicle information and sensors for photography and video viewing recording
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
JP6642641B2 (ja) * 2018-07-11 2020-02-05 株式会社ニコン 撮像装置
EP3640677B1 (en) 2018-10-17 2023-08-02 Trimble Jena GmbH Tracker of a surveying apparatus for tracking a target
EP3640590B1 (en) 2018-10-17 2021-12-01 Trimble Jena GmbH Surveying apparatus for surveying an object
CN109525776B (zh) * 2018-11-01 2020-12-08 浙江大华技术股份有限公司 一种图像采集方法及装置
US11119192B2 (en) * 2018-12-07 2021-09-14 Here Global B.V. Automatic detection of overhead obstructions
US10503174B1 (en) * 2019-01-31 2019-12-10 StradVision, Inc. Method and device for optimized resource allocation in autonomous driving on the basis of reinforcement learning using data from lidar, radar, and camera sensor
EP3696498A1 (en) 2019-02-15 2020-08-19 Trimble Jena GmbH Surveying instrument and method of calibrating a survey instrument
KR102367185B1 (ko) * 2020-02-21 2022-02-23 숭실대학교산학협력단 라이더 스캔 데이터를 이용한 이동체 위치 추정 방법 및 장치
JP2020188476A (ja) * 2020-07-14 2020-11-19 株式会社ニコン 撮像装置
JP7455690B2 (ja) * 2020-07-20 2024-03-26 株式会社東芝 鉄道線路情報取得装置、及び鉄道線路情報取得方法
JP2021073127A (ja) * 2020-12-25 2021-05-13 株式会社ユピテル システム及びプログラム
JP2023009480A (ja) * 2021-07-07 2023-01-20 ソニーセミコンダクタソリューションズ株式会社 測距装置及び測距方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0256131B1 (en) * 1986-01-24 1991-06-12 Hitachi, Ltd. Solid-state tv camera device
JP3019684B2 (ja) 1993-09-20 2000-03-13 三菱自動車工業株式会社 自動車の走行制御装置
JPH09142236A (ja) * 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
JP3619628B2 (ja) * 1996-12-19 2005-02-09 株式会社日立製作所 走行環境認識装置
JP4672094B2 (ja) * 1999-01-22 2011-04-20 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP4226730B2 (ja) * 1999-01-28 2009-02-18 株式会社東芝 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
CN2533526Y (zh) * 2002-03-13 2003-01-29 刘宝成 辨别车牌照真伪及车辆自动交费的检测控制设施
JP3861781B2 (ja) * 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
GB2395781A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Face detection
JP3779280B2 (ja) * 2003-03-28 2006-05-24 富士通株式会社 衝突予測装置
JP4377665B2 (ja) * 2003-12-01 2009-12-02 本田技研工業株式会社 位置検出用マーク、並びに、マーク検出装置、その方法及びそのプログラム
JP3982504B2 (ja) * 2004-01-23 2007-09-26 日産自動車株式会社 車両用暗視カメラ装置および表示装置
US7444004B2 (en) * 2004-03-29 2008-10-28 Fujifilm Corporation Image recognition system, image recognition method, and machine readable medium storing thereon an image recognition program
JP4763250B2 (ja) * 2004-04-09 2011-08-31 株式会社デンソー 物体検出装置
JP3987057B2 (ja) * 2004-06-14 2007-10-03 本田技研工業株式会社 車両周辺監視装置
JP4650669B2 (ja) * 2004-11-04 2011-03-16 富士ゼロックス株式会社 動体認識装置
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
US7801328B2 (en) * 2005-03-31 2010-09-21 Honeywell International Inc. Methods for defining, detecting, analyzing, indexing and retrieving events using video image processing

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102189954A (zh) * 2010-03-02 2011-09-21 奥托立夫开发公司 用于机动车的驾驶辅助系统和方法
CN103026395A (zh) * 2010-11-15 2013-04-03 图像传感系统有限公司 混合交通传感器系统和相关的方法
US9472097B2 (en) 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
US11080995B2 (en) 2010-11-15 2021-08-03 Image Sensing Systems, Inc. Roadway sensing systems
US10055979B2 (en) 2010-11-15 2018-08-21 Image Sensing Systems, Inc. Roadway sensing systems
CN104065879A (zh) * 2011-03-18 2014-09-24 卡西欧计算机株式会社 摄像装置和摄像方法
CN104065879B (zh) * 2011-03-18 2017-09-08 卡西欧计算机株式会社 摄像装置和摄像方法
CN112866566A (zh) * 2014-05-29 2021-05-28 株式会社尼康 驾驶辅助装置及驾驶辅助装置搭载车辆
CN106476695A (zh) * 2015-09-02 2017-03-08 Smr专利责任有限公司 用于可视性增强的系统和方法
CN106476695B (zh) * 2015-09-02 2021-08-17 Smr专利责任有限公司 用于可视性增强的系统和方法
CN110225846A (zh) * 2017-01-20 2019-09-10 株式会社小糸制作所 车辆用灯具系统、车辆用灯具的控制装置及车辆用灯具的控制方法
CN110225846B (zh) * 2017-01-20 2023-12-22 株式会社小糸制作所 车辆用灯具系统、车辆用灯具的控制装置及车辆用灯具的控制方法
US11897382B2 (en) 2017-01-20 2024-02-13 Koito Manufacturing Co., Ltd. Vehicle lamp system, vehicle lamp control device and vehicle lamp control method
CN109327660A (zh) * 2017-07-31 2019-02-12 三星电子株式会社 图像获取方法和设备
CN109327660B (zh) * 2017-07-31 2021-12-28 三星电子株式会社 图像获取方法和设备
US11272114B2 (en) 2017-07-31 2022-03-08 Samsung Electronics Co., Ltd. Image obtaining method and apparatus
US11792528B2 (en) 2017-07-31 2023-10-17 Samsung Electronics Co., Ltd. Image obtaining method and apparatus
CN113138393A (zh) * 2020-01-17 2021-07-20 阿里巴巴集团控股有限公司 环境感测系统、控制装置以及环境感测数据融合装置
CN113138393B (zh) * 2020-01-17 2024-05-31 浙江菜鸟供应链管理有限公司 环境感测系统、控制装置以及环境感测数据融合装置
CN112379390A (zh) * 2020-11-18 2021-02-19 成都通甲优博科技有限责任公司 基于异源数据的位姿测量方法、装置、系统及电子设备

Also Published As

Publication number Publication date
EP1767960B1 (en) 2008-10-15
JP4218670B2 (ja) 2009-02-04
JP2007096510A (ja) 2007-04-12
EP1767960A1 (en) 2007-03-28
CN100472322C (zh) 2009-03-25
US20070073484A1 (en) 2007-03-29
DE602006003164D1 (de) 2008-11-27

Similar Documents

Publication Publication Date Title
CN100472322C (zh) 前方摄影装置
US9505338B2 (en) Vehicle driving environment recognition apparatus
JP6471528B2 (ja) 物体認識装置、物体認識方法
CN106458084B (zh) 车辆用照明装置
JP4262072B2 (ja) 自動車用補助機器制御装置
CA2680646C (en) Moving object noise elimination processing device and moving object noise elimination processing program
JP5441462B2 (ja) 車両用撮像装置
JP5469527B2 (ja) 撮像装置
US20120147187A1 (en) Vehicle detection device and vehicle detection method
WO2017110415A1 (ja) 車両用センサおよびそれを備えた車両
JP4990806B2 (ja) 撮像手段の調整装置および車外監視装置
JP5441450B2 (ja) 車両用撮像装置
JP7445310B2 (ja) 運転状況監視・警告システム
JP4950967B2 (ja) 自動車用補助機器制御装置
CN112896035A (zh) 车辆用投光控制装置及方法、车辆用投光系统
JP2007293672A (ja) 車両用撮影装置、車両用撮影装置の汚れ検出方法
JP4731177B2 (ja) 車両の赤外線撮影表示装置及び赤外線撮影表示方法
JP2009282906A (ja) 車両用距離画像データ生成装置
JP6003396B2 (ja) 撮像装置、車載用監視装置および対象物検知方法
WO2021182190A1 (ja) 撮像装置、撮像システム及び撮像方法
JP2022094850A (ja) 車載用カメラ
JP3929420B2 (ja) 車両用光量検出装置及び車両用照明制御装置
JP2010208451A (ja) 車両用撮像装置
JP2008252784A (ja) 夜間視界支援装置
JP2004325202A (ja) レーザレーダ装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090325

Termination date: 20100324