CN107211096A - 摄像装置和方法以及程序和记录介质 - Google Patents

摄像装置和方法以及程序和记录介质 Download PDF

Info

Publication number
CN107211096A
CN107211096A CN201580073865.3A CN201580073865A CN107211096A CN 107211096 A CN107211096 A CN 107211096A CN 201580073865 A CN201580073865 A CN 201580073865A CN 107211096 A CN107211096 A CN 107211096A
Authority
CN
China
Prior art keywords
region
information
interest
unit
camera device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580073865.3A
Other languages
English (en)
Other versions
CN107211096B (zh
Inventor
藤田伟雄
山下孝
山下孝一
的场成浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN107211096A publication Critical patent/CN107211096A/zh
Application granted granted Critical
Publication of CN107211096B publication Critical patent/CN107211096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

从由探测单元检测到的物体中选择关注度较高的物体,将对应的关注区域作为检波框来计算摄像图像的亮度,根据计算出的亮度进行曝光控制。距离越近,则将关注度评价得越高。或者,方向越接近行进方向,则将关注度评价得越高。与物体之间的距离越短,则关注区域越大。也可以判别物体的种类,根据判别结果决定关注区域的大小。能够鲜明地视觉辨认关注被摄体。

Description

摄像装置和方法以及程序和记录介质
技术领域
本发明涉及摄像装置和方法。本发明还涉及用于使计算机执行摄像装置或方法中的处理的程序和记录有该程序的记录介质。
背景技术
作为现有的摄像装置,公知有如下结构:对摄像画面中央部的摄像信号的电平和摄像画面周边部的摄像信号的电平进行运算处理,判别是否是在图像周边部包含光源等的状态,根据该状态连续地控制增益控制部的增益,进行校正以使图像中央部成为适当的信号电平(例如参照专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开昭62-110369号公报(第2页、段落8~段落9)
发明内容
发明要解决的课题
上述现有的摄像装置判别是否是在图像周边部包含光源等的状态来进行逆光校正,因此,在关注被摄体不在画面中央时,无法检测对于关注被摄体而言的逆光状态而直接进行曝光控制。因此,存在关注被摄体涂黑、泛白而无法视觉辨认这样的问题。并且,在进行使用该摄像图像的识别的情况下,存在关注被摄体的识别率较低这样的问题。
本发明正是为了解决上述课题而完成的,其目的在于,抑制关注被摄体产生涂黑或泛白,能够鲜明地视觉辨认。
用于解决课题的手段
本发明的摄像装置的特征在于,所述摄像装置具有:摄像单元,其对位于摄像视场角范围内的被摄体进行摄像而生成摄像图像;探测单元,其检测存在于至少部分地与所述摄像视场角范围重合的探测范围内的物体,输出表示该物体的方向的信息和表示与该物体之间的距离的信息;关注物体选择单元,其根据从所述探测单元输出的表示所述物体的方向的信息和表示所述距离的信息选择1个或2个以上的物体,输出表示选择出的物体在所述摄像图像中的位置的信息和表示与所述选择出的物体之间的距离的信息;关注区域确定单元,其根据从所述关注物体选择单元输出的表示所述选择出的物体的位置的信息和表示与所述选择出的物体之间的距离的信息,确定所述摄像图像中的包含所述选择出的物体的区域作为关注区域;亮度计算单元,其计算由所述关注区域确定单元确定的关注区域中的所述摄像图像的亮度;以及曝光控制单元,其根据由所述亮度计算单元计算出的所述亮度对所述摄像单元进行曝光控制。
发明效果
根据本发明,具有如下效果:不容易产生与选择出的物体对应的图像部分的涂黑或泛白,因此,能够鲜明地视觉辨认选择出的物体。
附图说明
图1是示出本发明的实施方式1的摄像装置的结构的框图。
图2是示出图1的雷达的概略结构的框图。
图3是示出从本车辆观察的前方场景的一例的图。
图4是示出图3的前方场景中的摄像视场角范围和雷达的探测范围的图。
图5是示出在图4的探测范围内由雷达检测到的探测范围内的物体的位置的图。
图6是示出针对图5所示的物体中的根据距离选择出的一个物体确定的关注区域的例子的图。
图7是示出将图6的关注区域作为检波框进行曝光控制而得到的图像的一例的图。
图8是示出从本车辆观察的前方场景的另一例的图。
图9是示出在图8的场景的探测范围内由雷达检测到的探测范围内的物体的位置的图。
图10是示出针对图8所示的物体中的根据距离选择出的一个物体确定的关注区域的例子的图。
图11是示出将图10的关注区域作为检波框进行曝光控制而得到的图像的一例的图。
图12是示出本发明的实施方式2的摄像装置的结构的框图。
图13是示出针对图5所示的物体中的根据方向和距离选择出的一个物体确定的关注区域的例子的图。
图14是示出将图13的关注区域作为检波框进行曝光控制而得到的图像的一例的图。
图15是示出针对图8所示的物体中的根据方向和距离选择出的一个物体确定的关注区域的例子的图。
图16是示出将图15的关注区域作为检波框进行曝光控制而得到的图像的一例的图。
图17是示出本发明的实施方式3的摄像装置的结构的框图。
图18是示出根据物体的判别结果而针对图5所示的物体中的根据距离选择出的一个物体确定的关注区域的例子图。
图19是示出将图18的关注区域作为检波框进行曝光控制而得到的图像的一例的图。
图20是示出本发明的实施方式4的摄像装置的结构的框图。
图21是示出考虑到物体的判别结果而针对图5所示的物体中的根据方向和距离选择出的一个物体确定的关注区域的例子图。
图22是示出将图21的关注区域作为检波框进行曝光控制而得到的图像的一例的图。
图23是示出本发明的实施方式5的摄像装置的结构的框图。
图24是示出本发明的实施方式6的摄像装置的结构的框图。
图25是示出针对图5所示的物体中的根据距离选择出的两个物体确定的关注区域的例子的图。
图26是示出将图25的关注区域作为检波框进行曝光控制而得到的图像的一例的图。
图27是示出本发明的实施方式7的摄像装置的结构的框图。
图28是示出构成实施方式1、3、5或6的摄像装置的计算机系统的框图。
图29是示出构成实施方式2或4的摄像装置的计算机系统的框图。
具体实施方式
实施方式1
图1是示出本发明的实施方式1的摄像装置的结构的框图。
图示的摄像装置搭载在车辆上,具有镜头1、摄像元件2、摄像机信号处理电路3、雷达4、关注物体选择电路5、关注区域确定电路6、亮度计算电路7、曝光控制电路8。
镜头1将来自位于摄像视场角范围的被摄体的光引导到摄像元件2的摄像面上,在摄像面上形成被摄体像。
摄像元件2对形成在摄像面上的被摄体像进行光电转换,生成表示摄像图像的摄像信号。由摄像元件2生成的摄像信号D2被供给到摄像机信号处理电路3。
下面,假定如下情况进行说明:由摄像元件2进行动态图像摄影,按照每个帧期间从摄像元件2输出摄像信号。
摄像元件2被设置成对搭载有摄像装置的车辆(本车辆)的车体前方进行摄像,设镜头1的光轴方向与本车辆的车体的前方向一致。
摄像机信号处理电路3对从摄像元件2输出的各帧的摄像图像实施颜色同时化处理、信号放大处理、灰度校正处理、噪声降低处理、轮廓校正处理、白平衡调整处理和颜色校正处理,输出通过这些处理而得到的图像(信号处理后的摄像图像)的时间序列作为视频信号D3。从输出端子9输出视频信号D3。
输出的视频信号D3例如用于驾驶辅助处理中的物体识别。
摄像机信号处理电路3还输出表示视频信号D3所示的各帧的摄像图像的各像素的亮度的亮度信号Y3。亮度信号Y3被供给到亮度计算电路7。
在上述颜色同时化处理中,对各像素位置处丢失的颜色成分进行插值。例如,在RGB拜耳型的像素排列的情况下,在各像素位置处仅存在R像素、G像素和B像素中的某一个像素数据,因此,使用周边像素的相同颜色的像素数据对各像素位置处丢失的颜色的像素数据进行插值。由此,能够生成在各像素位置处R、G、B的全部像素数据齐全的视频信号。
在上述信号放大处理中,根据后述的曝光控制电路8对图像亮度的检测结果对信号进行放大。
在上述灰度校正处理中,例如参照表进行灰度校正以成为伽马特性的灰度特性。
在上述噪声降低处理中,例如通过进行空间平滑处理和时间平滑处理中的至少一方来降低噪声。
在上述轮廓校正处理中,例如通过高通滤波器对例如平滑处理等中变钝的轮廓进行强调,由此进行校正。
在上述白平衡调整处理中,例如对R信号和B信号(或R-Y信号和B-Y信号)进行检波,例如求出平均值,对平均值的大小进行比较,进行增益调整以使R信号和B信号(或R-Y信号和B-Y信号)实现白平衡。
在上述颜色校正处理中,通过对R信号、G信号和B信号进行矩阵运算,对色相和彩度进行校正。
作为探测单元的雷达4检测存在于探测范围内的1个或2个以上的物体的位置。下面,设雷达4的探测范围与摄像元件2的摄像视场角范围相同来进行说明。
如图2所示,雷达4具有生成送出信号的发送部41、向特定方向送出与送出信号对应的送出电波并接收来自各物体的反射电波的指向性较高的天线42、以及从由天线42接收到的电波中提取反射波的接收部43,根据送出波和反射波,测定探测范围内的物体的方向和距离。
雷达4输出表示测定出的方向的信息(方向信息)D4a和表示距离的信息(距离信息)D4b作为各物体的位置信息D4。
方向信息D4a所示的方向对应于摄像元件2的摄像图像内的位置。摄像图像内的位置例如由摄像图像内的水平方向位置和垂直方向位置来表示。
下面,设与摄像元件2的摄像同步地,即以相同周期且相同时刻由雷达4检测物体。
位置信息D4被供给到关注物体选择电路5。
关注物体选择电路5根据来自雷达4的各物体的位置信息D4选择关注物体。在选择关注物体时,对各物体的关注度进行评价,根据评价结果选择物体。例如,确定关注度最高的物体,选择已确定的物体。
关注物体选择电路5将表示选择出的物体的位置的信息D5供给到关注区域确定电路6。
表示选择出的物体的位置的信息D5包含表示选择出的物体在摄像图像中的位置的信息D5a、以及表示从本车辆到该物体的距离的信息D5b。
如上所述,从雷达4输出的位置信息D4中包含的方向信息D4a所示的方向对应于摄像图像内的位置。因此,能够根据从雷达4输出的与各物体有关的方向信息D4a确定摄像图像内的对应位置。
关注物体选择电路5还在从雷达4输出的与各物体有关的距离信息D4b中提取表示与上述选择出的物体之间的距离的信息D5b。
关注区域确定电路6根据从关注物体选择电路5输出的信息D5所示的物体的位置即由关注物体选择电路5选择出的物体的位置,确定摄像图像内的关注区域,输出表示已确定的区域的信息(关注区域信息)D6。关注区域信息D6被供给到亮度计算电路7。
亮度计算电路7根据从关注区域确定电路6输出的表示关注区域的信息D6,将关注区域作为检波框,对从摄像机信号处理电路3输出的亮度信号Y3进行检波。例如,亮度计算电路7根据检波框中包含的像素的亮度信号Y3,计算该检波框中包含的像素的亮度的平均值(亮度平均值)Yav,将计算结果作为表示亮度的信息供给到曝光控制电路8。这样求出的亮度平均值被用作亮度指标值。
曝光控制电路8对由亮度计算电路7计算出的亮度平均值Yav和亮度目标值Yrf进行比较,根据比较结果进行曝光控制。
通过曝光条件的参数即针对摄像元件2的曝光时间Te的控制和针对摄像机信号处理电路3的信号放大增益Gs的控制,进行曝光控制。曝光控制电路8将曝光时间Te的控制用的控制信号Ct供给到摄像元件2,将信号放大增益Gs的控制用的控制信号Cg供给到摄像机信号处理电路3。
曝光控制电路8具有存储器81。在存储器81中存储有摄像元件2的摄像中使用的曝光时间Te的值(参数)和摄像机信号处理电路3的信号放大中使用的信号放大增益Gs的值(参数)。
从亮度计算电路7输入亮度平均值Yav后,曝光控制电路8进行曝光时间Te和信号放大增益Gs的调整。
例如,如果亮度平均值Yav大于亮度目标值Yrf,则进行缩短曝光时间的调整或减小信号放大增益的调整。
相反,如果亮度平均值Yav小于亮度目标值Yrf,则进行延长曝光时间的调整或增大信号放大增益的调整。
以使噪声更少的方式来决定变更曝光时间和信号放大增益中的哪一方。例如,在被摄体逐渐变暗时,先延长曝光时间,在曝光时间成为最大后,此后增大信号振幅增益。曝光时间的最大值是1帧周期或成为运动模糊的容许极限的时间。被摄体的运动越激烈,则成为运动模糊的容许极限的时间的长度越短。
另外,也可以控制镜头1的光圈来进行曝光控制。
对曝光时间Te或信号放大增益Gs进行调整后,利用调整后的值对存储器81中存储的曝光时间的值或信号放大增益的值进行改写(更新)。
调整后的曝光时间Te或信号放大增益Gs的值在从下一个帧期间起的摄像时被供给到摄像元件2和摄像机信号处理电路3,用于曝光控制。
通过曝光控制电路8进行的摄像元件2的曝光时间的控制和摄像机信号处理电路3的信号放大增益的控制,从摄像机信号处理电路3输出的视频信号所示的图像被控制成能够以适当的亮度观察关注区域的物体。
说明为了对车辆前方的物体进行摄像并进行识别而应用本实施方式的摄像装置的情况。该情况下,摄像装置搭载在车辆上,对车辆的前方进行摄像。
图3示出本实施方式的从本车辆观察的前方场景的一例。该场景成为摄像元件2的摄影对象,并且成为雷达4的探测对象。
在图示的例子中,假定如下情况:本车辆(未图示)在单侧两车道的道路的超车道TFL上行驶,进入了隧道TN。
小型车辆A在隧道TN中的超车道TFL上行驶,大型车辆B在隧道TN近前的行驶车道TSL上行驶,摩托车D接着大型车辆B行驶。从隧道TN出来的小型车辆C在对向方向的行驶车道RSL上行驶。不存在在对向车道的超车道RFL上行驶的车辆。
作为大型车辆的例子,存在大型货车、大型巴士。作为小型车辆的例子,存在乘用车。在道路上,除了上述以外有时还有人。下面,有时将上述车辆A~D称作物体。并且,人也当作一种物体。
行进方向的车道和对向方向的车道由中央隔离带MD分离。在行进方向的行驶车道TSL与超车道TFL之间画出车道划分线TLM。在对向方向的行驶车道RSL与超车道RFL之间画出车道划分线RLM。
下面,假定时段为白天、天气晴朗、隧道TN外较亮、隧道TN中较暗的情况。
设利用摄像元件2对图3的前方场景中的、点划线的框CR所示的范围(摄像视场角范围)内的被摄体进行摄像,得到图4所示的摄像图像。并且,如上所述,设雷达4的探测范围也与图3的点划线的框CR所示的范围(摄像视场角范围)相同。
针对图4的探测范围,雷达4将检测到的物体的位置信息D4供给到关注物体选择电路5。在图5中利用黑色圆点表示通过雷达4的探测而检测到的物体的位置。在图5中,为了容易得知检测到的物体的位置关系,重叠示出背景场景(隧道TN、中央隔离带MD以及车道划分线TLM和RLM)。
在雷达4的探测中,在物体分开某个距离以上而使直到反射波返回为止的时间比预定值长的情况下、或反射波的强度小于预定值的情况下,当作不存在这种物体或未检测到这种物体。
在图5所示的例子中,雷达4检测物体A、物体B、物体C和物体D。
雷达4例如输出表示从本车辆观察到的物体的方向的信息(方向信息)D4a和表示从本车辆到物体的距离的信息(距离信息)D4b,作为表示检测到的物体的位置的信息(位置信息)D4。
作为位置信息D4,输出表示物体中心的位置的信息。
该情况下,将接收到来自相同物体的反射波的方向范围内的中心的方向或来自相同物体的反射波的强度最强的方向视为物体中心的方向。
并且,将根据来自物体中心的方向的反射波计算出的距离当作与物体中心之间的距离。
作为雷达4,假定较低性能的雷达,根据雷达4的输出,无法准确得知物体的大小和形状,因此,无法确定物体的种类。
如上所述,关注物体选择电路5根据来自雷达4的各物体的位置信息D4对各物体的关注度进行评价,选择关注度最高的物体,输出表示选择出的物体的位置的信息D5。表示物体的位置的信息D5包含表示物体在摄像图像中的位置的信息D5a和表示与物体之间的距离的信息D5b。表示物体在摄像图像中的位置的信息D5a例如是表示物体中心在摄像图像内的位置的信息。表示与物体之间的距离的信息D5b例如是表示与物体中心之间的距离的信息。输出的信息D5被供给到关注区域确定电路6。
如上所述,从雷达4输出的位置信息D4所示的方向对应于摄像图像中的位置,能够确定与由雷达4检测到的物体中心的位置对应的摄像图像中的位置。因此,能够根据从雷达4输出的表示各物体的方向的信息D4a,生成表示相同物体在摄像图像中的位置的信息D5a。
作为表示与各物体之间的距离的信息D5b,能够直接使用从雷达4输出的表示与相同物体之间的距离的信息D4b。
在关注物体选择电路5中评价各物体的关注度时,例如,设从本车辆起的距离越短,则关注度越高。
在图5的例子中,物体D从本车辆起的距离最短,因此判定为关注度最高。该情况下,关注物体选择电路5选择物体D。
关注区域确定电路6针对由关注物体选择电路5选择出的物体,确定摄像图像中的关注区域。例如,将由关注物体选择电路5选择出的物体的中心作为中心,确定和与该物体之间的距离对应的大小的区域作为关注区域。关注区域是具有沿着水平方向的一对边和沿着垂直方向的一对边的矩形区域。
关注区域的大小是如下大小:在假设选择出的物体是假定的多个种类的物体中最大的种类的物体即大型车辆的情况下,使摄像图像中被估计为该物体占据的部分即与该物体对应的图像部分全部包含在其内部。在估计该大小时,考虑与选择出的物体之间的距离。这是因为,即使是相同的大型车辆,摄像图像中出现的大小也会根据距离而发生变化。
在估计摄像图像中出现的物体的大小时,假设选择出的物体是假定的多个种类的物体中最大的种类的物体即大型车辆,是为了不管选择出的物体是哪种物体,该物体在摄像图像中的对应部分(摄像图像中出现的物体)都包含在关注区域内。
在图6中示出确定包含选择出的物体D的矩形区域作为关注区域Rd的情况。
在图6中,除了已确定的关注区域Rd中包含的物体D以外,还与背景场景(隧道TN、中央隔离带MD、车道划分线LM)一起示出物体A、B、C。这是为了容易得知关注区域Rd的位置关系。
关注区域确定电路6生成确定图6所示的关注区域Rd的信息,将其供给到亮度计算电路7。
亮度计算电路7将关注区域Rd作为检波框,对从摄像机信号处理电路3输出的亮度信号Y3进行检波,计算亮度平均值Yav,将计算结果供给到曝光控制电路8。
曝光控制电路8对由亮度计算电路7计算出的亮度平均值Yav和亮度目标值Yrf进行比较,根据比较结果进行曝光控制。
在图6所示的例子中,关注区域Rd的整体位于隧道TN的外部。在白天晴朗的情况下,隧道TN外较亮。因此,摄像图像中的关注区域Rd内的部分的亮度平均值Yav较高。这样,在亮度平均值Yav较高的情况下,进行缩短曝光时间的调整或减小信号放大增益的调整。
其结果是,从摄像机信号处理电路3输出的视频信号D3所示的图像的亮度发生变化,得到在关注区域Rd中亮度被控制成最优的图像。即,得到关注区域Rd内的图像部分不会泛白且关注区域Rd内的物体D的视觉辨认性较高的图像。
例如,如图7所示,得到虽然隧道TN的内部涂黑,但是针对隧道TN外特别是关注区域Rd乃至位于其内部的物体D,亮度被适当控制的图像。
以上说明了作为摄像元件2的摄像对象和雷达4的探测对象的场景是隧道的入口附近的情况。下面,说明作为摄像元件2的摄像对象和雷达4的探测对象的场景是隧道的出口附近的情况。
图8示出隧道的出口附近的从本车辆观察到的前方场景的一例。图8假定如下情况:本车辆与图3相同在超车道TFL上行驶,与图3相同的物体A~D相对于本车辆位于相同的相对位置,近前侧的物体B、C、D存在于隧道的内侧,亮度较低,里侧的物体A存在于隧道的外侧,亮度较高。
设图8的前方场景中的、点划线的框CR所示的范围(摄像视场角范围)内的被摄体是摄像元件2的摄像视场角范围,并且是雷达4的探测范围。
图9示出图8的前方场景的由雷达4探测到的物体的位置。
如上所述,物体A~D相对于本车辆的相对位置与图3相同,因此,雷达4的探测结果与图5相同。
针对图9的物体,关注物体选择电路5根据从雷达4输出的物体的位置信息和距离信息选择关注度最高的物体,关注区域确定电路6确定摄影图像中的关注区域。该动作与图5的情况下即作为对象的场景是隧道的入口附近的情况下的动作相同。
例如,选择最接近本车辆的物体D作为关注物体,如图10所示,确定与物体D对应的关注区域Rd。
如图10所示,关注区域Rd位于隧道TN内部,关注区域Rd的亮度平均值较低,因此,例如进行延长曝光时间的调整或增大信号放大增益的调整。
其结果是,如图11所示,得到虽然位于隧道外的物体A泛白,但是物体D的视觉辨认性较高的图像。
根据上述实施方式,通过雷达和摄像元件的组合,能够得到应该关注的物体的亮度被适当控制的图像。
在不使用摄像元件而仅利用雷达来检测障碍物的系统中,有时无法确定障碍物的种类,例如无法判别是否是车辆。
与此相对,在上述实施方式中,通过组合雷达和摄像元件,进行曝光控制以使由雷达检测到的物体中的关注度较高的物体成为最优曝光,因此,得到能够视觉辨认关注度较高的物体而不会涂黑或泛白这样的效果。因此,在实现驾驶辅助或事故防止的方面是有效的。
并且,作为雷达,只要得到表示物体的方向和距离的信息即可,因此,能够使用较低性能且廉价的雷达,能够低成本地实现摄像装置。
并且,在上述实施方式中,选择由雷达检测到的物体中的最接近本车辆的物体,将包含该物体的区域设为关注区域,因此,针对最近物体的视觉辨认性提高,在避免紧迫的冲撞危险的方面是有效的。
实施方式2
图12是示出本发明的实施方式2的摄像装置的结构的框图。
图12的摄像装置与图1的摄像装置大致相同,不同之处在于,代替关注物体选择电路5而设置关注物体选择电路5b,附加了行进方向检测电路10。
上述以外的结构要素的动作与实施方式1的图1的说明相同,进行同样的处理,因此省略说明。
行进方向检测电路10根据本车辆的方向盘的转向方向检测本车辆的行进方向,将表示行进方向的信息D10供给到关注物体选择电路5b。
图12的关注物体选择电路5b与图1的关注物体选择电路5大致相同,不同之处在于以下方面。
关注物体选择电路5b根据从行进方向检测电路10供给的表示本车辆的行进方向的信息D10以及从雷达4供给的物体的位置信息D4(方向信息D4a和距离信息D4b)对物体的关注度进行评价,根据评价结果选择关注度较高的物体例如最高的物体,将表示选择出的物体的位置的信息D5供给到关注区域确定电路6。
例如,各物体的方向越接近本车辆的行进方向,则方向评价值越高,并且,各物体的距离越短,则距离评价值越高,综合方向评价值和距离评价值,由此决定关注度。该情况下,方向评价值越高,则关注度越高,并且,距离评价值越高,则关注度越高。然后,选择关注度最高的物体。
例如,假定如下情况:将图3的场景作为对象进行探测后,雷达4检测图5所示的物体A~D,关注物体选择电路5b针对检测到的物体A~D以重视本车辆的行进方向的方式进行关注度的评价后,判定为位于与本车辆相同的车道内的物体A的关注度最高。
关注物体选择电路5b将判定为关注度最高的物体A的位置通知给关注区域确定电路6。
关注区域确定电路6针对关注度高的物体A的位置确定关注区域。
该情况下,与实施方式1中说明的情况同样,将由关注物体选择电路5b选择出的物体A的中心作为中心,假设物体A是大型车辆,确定与其距离对应的大小的区域Ra。例如,确定图13所示的区域Ra,作为关注区域通知给亮度计算电路7。
亮度计算电路7将关注区域Ra作为检波框,对从摄像机信号处理电路3输出的亮度信号Y3进行检波,计算亮度平均值Yav,将计算结果供给到曝光控制电路8。
曝光控制电路8根据亮度平均值Yav进行曝光控制。
物体A位于隧道TN内,区域Ra位于摄像图像中的隧道TN的部分内。
位于隧道TN内的区域Ra的亮度平均值较低,因此,例如进行延长曝光时间的调整或增大信号放大增益的调整。其结果是,得到在关注区域Ra中亮度被控制成最优的摄像图像。即,得到关注区域Ra内的图像部分不会涂黑且关注区域Ra内的物体A的视觉辨认性较高的图像。
例如,如图14所示,得到虽然隧道TN外泛白,但是在隧道TN内亮度被适当控制的图像。在图14中没有描绘车辆B、C、D以便示出泛白。有时中央隔离带MD和车道划分线LM也由于泛白而在图像中无法看到,但是,在图14中进行图示以便示出车辆B的位置关系。另一方面,得到针对位于隧道TN内的关注区域乃至位于其内部的物体A,亮度被适当控制,并且物体A的视觉辨认性较高的图像。
以上说明了作为摄像元件2的摄像对象和雷达4的探测对象的场景如图3所示是隧道的入口附近的情况。下面,说明作为摄像元件2的摄像对象和雷达4的探测对象的场景如图8所示是隧道的出口附近的情况。
该情况下,由雷达4探测到的物体的位置如图9所示。关注物体选择电路5b以重视本车辆的行进方向的方式进行关注度的评价,其结果是,判定为位于与本车辆相同的车道中的物体A的关注度最高。然后,如图15所示,关注区域确定电路6确定与物体A对应的关注区域Ra。
如图15所示,关注区域Ra位于隧道TN外部,关注区域的亮度平均值较高,因此,在曝光控制电路8中,例如进行缩短曝光时间的调整或减小信号放大增益的调整。其结果是,如图16所示,得到虽然位于隧道内的物体B、C、D涂黑,但是物体A的视觉辨认性较高的图像。
在上述例子中,假定摄像元件2的摄像方向与本车辆的车体的前方向一致的情况,但是,在摄像元件2的摄像方向与本车辆的车体的前方向不一致的情况下,根据摄像元件2的摄像方向与本车辆的车体的前方向所成的角和方向盘的转向方向计算本车辆的行进方向即可。
如上所述,进行曝光控制,使得由雷达检测到的物体中的方向更接近本车辆的行进方向且从本车辆起的距离更近的物体成为最优曝光,因此,在防止追尾事故的方面是有效的。
实施方式3
图17是示出本发明的实施方式3的摄像装置的结构的框图。
图17的摄像装置与图1的摄像装置大致相同,但是,附加了关注物体判别电路11,代替关注区域确定电路6而设置有关注区域确定电路6c。
关注物体判别电路11从摄像机信号处理电路3接收视频信号D3,从关注物体选择电路5接收表示关注物体在摄像图像中的位置的信息D5a。
关注物体判别电路11对视频信号D3中的信息D5a所示的位置的预定大小的区域(分析区域)的图像进行分析,判别物体的种类。
在物体的种类判别中,判定与分析区域中包含的图像部分对应的物体是货车、巴士等大型车辆、乘用车等小型车辆、摩托车辆、行人等中的哪个。
表示判定结果的信息D11被供给到关注区域确定电路6c。
如下确定分析区域的大小:在假设由关注物体选择电路5选择出的物体是大型车辆的情况下,该分析区域的大小和与选择出的物体对应的图像部分的图像中的大小一致。该情况下,还要考虑与物体之间的距离。
关注区域确定电路6c从关注物体选择电路5接收表示选择出的物体的位置的信息D5,从关注物体判别电路11接收表示选择出的物体的种类的信息D11,根据这些信息,确定与选择出的物体对应的关注区域。
在关注物体判别电路11的判定结果表示是大型车辆的情况下,由关注区域确定电路6c确定的关注区域与实施方式1的情况下的关注区域相同。
在判定结果表示不是大型车辆的情况下,由关注区域确定电路6c确定的关注区域小于实施方式1的情况下的关注区域。
关注区域确定电路6c将表示关注区域的信息D6供给到亮度计算电路7。
与图1的情况同样,关注物体选择电路5选择由雷达4检测到的物体中的基于距离关注度最高的物体。例如,物体的位置如图5所示,假定关注物体选择电路5判定为物体D是关注度最高的物体的情况。
该情况下,关注物体判别电路11从关注物体选择电路5接收表示物体D在摄像图像中的位置的信息D5a,对与该信息D5a所示的位置对应的视频D3中的图像部分进行分析,判定为物体D是摩托车,将表示判定结果的信息D11供给到关注区域确定电路6c。
关注区域确定电路6c根据信息D11识别为物体D是摩托车,在物体D是摩托车的情况下,输出包含摄像图像中被估计为物体D占据的部分即与物体D对应的图像部分的区域Rmd(图18)作为关注区域。该情况下还要考虑距离。在图18中,示出实施方式1的关注区域Rd以便进行比较。
关注区域确定电路6c将表示关注区域Rmd的信息供给到亮度计算电路7。
亮度计算电路7根据从关注区域确定电路6c供给的信息,将关注区域Rmd作为检波框,对从摄像机信号处理电路3输出的亮度信号Y3进行检波,计算亮度平均值Yav,将计算结果供给到曝光控制电路8。
曝光控制电路8根据由亮度计算电路7计算出的关注区域Rmd内的亮度平均值Yav进行曝光控制。
在图18所示的例子中,关注区域Rmd的整体位于隧道TN的外部。因此,关注区域的亮度平均值Yav较高。这样,在亮度平均值Yav较高的情况下,进行缩短曝光时间的调整或减小信号放大增益的调整。
其结果是,从摄像机信号处理电路3输出的视频信号D3所示的图像的亮度发生变化,得到在关注区域Rmd中亮度被控制成最优的摄像图像。即,得到关注区域Rmd内的图像部分不会泛白且关注区域Rmd内的物体D的视觉辨认性较高的图像。
例如,如图19所示,得到虽然隧道TN中涂黑,但是针对隧道TN外特别是关注区域Rmd乃至位于其内部的物体D,亮度被适当控制,并且物体D的视觉辨认性较高的图像。
并且,摄像图像中的区域Rmd小于实施方式1的区域Rd,因此,物体D以外的部分(与物体D对应的图像部分以外的部分)更少,对物体D的亮度进行更加适当的曝光控制。
其结果是,物体D的视觉辨认性进一步提高。
实施方式4
图17的摄像装置对图1的摄像装置施加了变形,但是,也可以对图12的摄像装置施加同样的变形。
图20是示出本发明的实施方式4的摄像装置的结构的框图。
图20的摄像装置与图12的摄像装置大致相同,但是,附加了关注物体判别电路11,代替关注区域确定电路6而设置有关注区域确定电路6c。
关注物体判别电路11和关注区域确定电路6c与实施方式3中说明的情况相同。
与图12的情况同样,关注物体选择电路5b确定由雷达4检测到的物体中的基于距离和方向关注度最高的物体。例如,物体的位置如图3所示,假定关注物体选择电路5b判定为物体A是关注度最高的物体的情况。
该情况下,关注物体判别电路11从关注物体选择电路5b接收表示物体A在摄像图像中的位置的信息D5a,对与该信息D5a所示的位置对应的视频D3中的图像部分进行分析,判定为物体A是小型车,将表示判定结果的信息D11供给到关注区域确定电路6c。
关注区域确定电路6c根据信息D11识别为物体A是小型车,在包含物体A且物体A是小型车的情况下,输出包含摄像图像中被估计为物体A占据的部分即与物体A对应的图像部分的区域Rma(图21)作为关注区域。该情况下,还要考虑距离。在图21中,示出实施方式2的关注区域Ra以便进行比较。
关注区域确定电路6c将表示关注区域Rma的信息供给到亮度计算电路7。
亮度计算电路7根据从关注区域确定电路6c供给的信息,将关注区域Rma作为检波框,对从摄像机信号处理电路3输出的亮度信号Y3进行检波,计算亮度平均值Yav,将计算结果供给到曝光控制电路8。
曝光控制电路8根据由亮度计算电路7计算出的关注区域Rma内的亮度平均值Yav进行曝光控制。
在图21所示的例子中,关注区域Rma的整体位于隧道TN中。因此,关注区域的亮度平均值Yav较低。这样,在亮度平均值Yav较低的情况下,进行延长曝光时间的调整或增大信号放大增益的调整。
其结果是,从摄像机信号处理电路3输出的视频信号D3所示的图像的亮度发生变化,得到在关注区域Rma中亮度被控制成最优的摄像图像。即,得到关注区域Rma内的图像部分不会涂黑且关注区域Rma内的物体A的视觉辨认性较高的图像。
例如,如图22所示,得到虽然隧道TN外泛白,但是针对隧道TN中特别是关注区域Rma乃至位于其内部的物体A,亮度被适当控制,并且物体A的视觉辨认性较高的图像。
并且,摄像图像中的区域Rma小于实施方式2的区域Ra,因此,物体A以外的部分(与物体A对应的图像部分以外的部分)更少,对物体A的亮度进行更加适当的曝光控制。
其结果是,物体A的视觉辨认性进一步提高。
如上所述,根据实施方式3、4,根据物体的大小来决定检波框,因此,能够使检波框的大小更接近物体的大小,能够得到物体的亮度被更加适当控制的图像,因此,图像中的物体的视觉辨认性提高。
实施方式5
图23是示出本发明的实施方式5的摄像装置的结构的框图。图23的摄像装置与图1的摄像装置大致相同,但是,代替关注物体选择电路5而设置关注物体选择电路5c,新附加了车道检测电路12。
车道检测电路12接收摄像图像或通过对摄像图像进行处理而得到的视频信号例如从摄像机信号处理电路3输出的视频信号D3,检测视频信号D3所示的摄像图像中的车道划分线和中央隔离带的位置,输出表示检测到的车道划分线和中央隔离带的位置的信息。
关注物体选择电路5c与图1的关注物体选择电路5大致相同,不同之处在于以下方面。
关注物体选择电路5c根据从车道检测电路12供给的表示车道划分线和中央隔离带的位置的信息D12以及从雷达4供给的物体的位置信息D4(方向信息D4a和距离信息D4b)对物体的关注度进行评价,根据评价结果选择关注度较高的物体例如最高的物体,将表示选择出的物体的位置的信息D5供给到关注区域确定电路6。
例如,将位于中央隔离带相反侧的物体从评价对象中排除。位于中央隔离带相同侧的物体中的、与本车辆行驶中的车道相同的车道上的物体的车道评价值较高。并且,各物体的距离越短,则距离评价值越高。综合车道评价值和距离评价值,由此决定关注度。该情况下,车道评价值越高,则关注度越高,并且,距离评价值越高,则关注度越高。然后,选择关注度最高的物体。
关注区域确定电路6、亮度计算电路7和曝光控制电路8与实施方式1中说明的情况同样地进行动作。
如上所述,使用表示车道的信息,仅选择位于与本车辆相同的行进方向的车道上的物体作为对象,并且,进行曝光控制以使追尾可能性较高的相同车道的物体成为最优曝光,因此,能够避免图像由于对向车道上行驶的车头灯的影响而变暗,在防止追尾事故的方面是有效的。
实施方式6
关于实施方式1,在参照图6和图7说明的例子中,仅选择关注度最高的物体,将包含选择出的物体的区域作为关注区域,根据该关注区域的亮度进行曝光控制。但是,要选择的物体的数量不限于一个。即,也可以选择多个物体,将分别包含选择出的物体的多个区域作为关注区域,根据多个关注区域的亮度进行曝光控制。
图24示出进行这种曝光控制的摄像装置的结构。
图24的摄像装置与图1的摄像装置大致相同。但是,代替关注物体选择电路5、关注区域确定电路6和亮度计算电路7而设置关注物体选择电路5d、关注区域确定电路6d和亮度计算电路7b。
这种结构的情况下,关注物体选择电路5d选择多个物体,输出表示选择出的物体的位置的信息。例如选择关注度最高的物体和关注度第2高的物体。在设距离越短则关注度越高的情况下,选择距离最近的物体和距离第2短的物体。在图5的例子中,选择物体D和物体B。
关注区域确定电路6d将由关注物体选择电路5d选择出的多个物体各自的中心作为中心,确定和与该物体之间的距离对应的大小的区域作为关注区域。例如,如图25所示,确定包含物体D的区域和包含物体B的区域。包含物体B的区域Rb的大小也是在假设在物体B的距离内存在大型车辆的情况下与物体B对应的图像部分的大小。包含物体B的区域Rb小于包含物体D的区域Rd。这是因为,与物体B之间的距离大于与物体D之间的距离。
亮度计算电路7b将合并关注区域Rb、Rd而得到的区域作为一个检波框,对从摄像机信号处理电路3输出的亮度信号Y3进行检波,计算亮度平均值Yav,将计算结果供给到曝光控制电路8。即,针对关注区域Rb、Rd,求出一个亮度平均值Yav作为一个亮度指标值。
曝光控制电路8根据亮度平均值Yav进行曝光控制。
其结果是,得到在关注区域Rb、Rd中亮度被控制成最优的图像。即,得到关注区域Rb、Rd内的图像部分不会泛白且关注区域Rb、Rd内的物体B、D的视觉辨认性较高的图像。
例如,如图26所示,得到虽然隧道TN的内部涂黑,但是针对隧道TN外特别是关注区域Rb、Rd乃至位于其内部的物体B、D,亮度被适当控制,并且物体B、D的视觉辨认性较高的图像。
以上将实施方式6记作针对实施方式1的变形例。
也可以对实施方式2~5施加同样的变形。
实施方式7
在实施方式6中,在选择多个物体并将与选择出的物体对应的多个区域作为关注区域的情况下,集中多个关注区域作为一个检波框,求出该检波框的亮度平均值,根据求出的亮度平均值进行曝光控制。取而代之,也可以指定摄像元件2的摄像的相互不同的帧期间内相互不同的关注区域,将指定的关注区域作为检波框,求出亮度平均值,在此后指定相同的关注区域的帧期间的摄像中,应用根据求出的亮度平均值确定的曝光条件。以下选择的物体的数量为M(M为2以上的整数),因此,设关注区域的数量为M来进行说明。该情况下,摄像装置将M帧期间作为1个动作周期或者动作循环进行动作。
图27示出该情况下使用的摄像装置。图27的摄像装置与图24的摄像装置大致相同,但是,代替亮度计算电路7b和曝光控制电路8而设置亮度计算电路7d和曝光控制电路8d,附加了计数器14。
计数器14将构成1个动作周期的帧期间的数量M作为最大值,按照每个帧期间使其计数值m每次增加1,在计数值m达到上述最大值M后返回初始值1,反复进行计数。
计数器14的计数值m被供给到亮度计算电路7d和曝光控制电路8d。
关注物体选择电路5d选择M个物体,输出表示选择出的物体的位置的信息。例如选择关注度最高的物体到关注度第M高的物体。在M为2,距离越短则关注度越高的情况下,选择距离最近的物体和距离第2短的物体。在图5的例子中,选择物体D和物体B。
关注物体选择电路5d将表示选择出的M个物体各自的位置的信息D5供给到关注区域确定电路6d。
关注区域确定电路6d针对由关注物体选择电路5d选择出的M个物体,分别确定关注区域。例如,在M为2,选择出图5所示的物体D、B的情况下,如图25所示,确定包含物体D的区域和包含物体B的区域。
关注区域确定电路6d针对已确定的M个关注区域,分别将关注区域信息D6供给到亮度计算电路7d。
亮度计算电路7d在各帧期间内指定M个关注区域中的一个关注区域,将指定的关注区域作为检波框,对从摄像机信号处理电路3输出的亮度信号Y3进行检波,计算亮度平均值Yav。
具体而言,针对在1个动作周期的第m个帧期间内得到的摄像图像,将第m个关注区域作为检波框,计算亮度平均值Yavm。
由于计数器14的计数值是m,因此,能够确认作为处理对象的摄像图像是在1个动作周期的第m个帧期间内得到的摄像图像。
例如,在M为2,已确定关注区域Rb、Rd的情况下,使关注区域Rb、Rd相互交替,即每隔1帧期间计算关注区域Rb、Rd的亮度平均值Yav1、Yav2。
亮度计算电路7d将上述计算结果Yavm供给到曝光控制电路8d。
曝光控制电路8d的存储器81存储与M个关注区域R1~RM分别对应的曝光条件的参数,即曝光时间Te的值(参数)Te1~TeM和信号放大增益Gs的值(参数)Gs1~GsM。
曝光控制电路8d在各帧期间内进行基于将M个关注区域中的一个关注区域作为检波框而计算出的亮度平均值的曝光控制。
具体而言,在1个动作周期的第m个帧期间内的摄像时,使用存储器81中存储的曝光条件的参数Tem、Gsm,进行针对摄像元件2和摄像机信号处理电路3的曝光控制。
并且,针对在1个动作周期的第m个帧期间内得到的摄像图像,在亮度计算电路7d中,将该摄像图像的第m个关注区域作为检波框来计算亮度平均值Yavm,因此,曝光控制电路8d根据计算出的亮度平均值Yavm和存储器81中存储的曝光条件的参数Tem、Gsm计算新参数Tem、Gsm(更新参数),使存储器81存储计算出的新参数(更新后的参数)Tem、Gsm。
在下一个动作周期的第m个帧期间内的摄像时的曝光控制中,利用存储器81中存储的更新后的参数Tem、Gsm。
由于计数器14的计数值是m,因此,能够确认作为处理对象的摄像图像是在1个动作周期的第m个帧期间内得到的摄像图像。
如上所述,按照每个帧期间依次选择多个关注区域,将选择出的关注区域作为检波框,求出亮度平均值,根据求出的亮度平均值计算与选择出的关注区域对应的新曝光条件的参数,在下一个动作周期内,在选择相同关注区域的帧期间内,使用上述计算出的参数进行曝光控制。因此,在各帧的摄像图像中,能够得到选择出的关注区域的视觉辨认性较高的图像。
例如,在M为2,关注区域为Rb、Rd的情况下,在某个帧期间内得到关注区域Rb的视觉辨认性良好的图像,在下一个帧期间内得到关注区域Rd的视觉辨认性良好的图像。
在上述例子中,要选择的物体的数量和构成1个动作周期的帧期间的数量均为M,彼此相同,以相同频度进行基于与各物体对应的关注区域的亮度平均值的曝光控制。但是,本发明不限于此。例如,也可以以不同频度进行基于与各物体对应的关注区域的亮度平均值的曝光控制。
例如,也可以使构成1个动作周期的帧期间的数量(Mf)比要选择的物体的数量(Mo)更多,针对要选择的物体中的一部分,在1个动作周期内的2个以上的帧期间内进行基于对应的关注区域的亮度平均值的曝光控制。总之,只要根据某个帧期间内的摄像图像,基于某个关注区域的亮度平均值对曝光条件的参数进行更新,在下一个求出相同关注区域的亮度平均值的帧期间的摄像时,利用上述更新后的参数即可。
以上将实施方式7作为针对实施方式1的变形进行了说明。也可以对实施方式2~5施加同样的变形。
在实施方式3~7中,以隧道的入口附近的动作为例进行了说明,但是,与实施方式1、2中说明的情况同样,在隧道的出口附近也可得到同样的效果。
在上述实施方式1~7中,设雷达4的探测范围与摄像元件2的摄像视场角范围相同进行了说明,但是,这点不是必须的,只要两者至少部分地重合即可。
在上述实施方式1~7中,设与摄像元件2的摄像同步地进行雷达4的探测,但是,这点不是必须的。在雷达4的探测和摄像元件2的摄像不同步的情况下,在时间方向上对雷达4进行探测而得到的位置信息和摄像元件2的摄像图像中的一方进行插值,生成相同时刻的信息和图像即可。例如,可以对雷达4的位置信息进行插值,生成与摄像元件2的摄像相同时刻的位置信息。相反,也可以对摄像元件2的摄像图像进行插值,生成与雷达4的探测相同时刻的图像。这里所说的插值包含直接使用在最近的时刻得到的位置信息或摄像图像作为插值后的位置信息或图像的插值。
以上设本发明为摄像装置进行了说明,但是,由上述摄像装置实施的摄像方法也构成本发明的一部分。
以上,在实施方式1~7中,摄像装置的结构部分中的至少一部分由处理电路来实现。处理电路可以是专用硬件,也可以是执行存储器中存储的程序的CPU。
例如,图1、图17、图23、图24或图27的镜头1、摄像元件2和雷达4以外的各部分的功能可以分别由单独的处理电路来实现,也可以集中多个部分的功能而由一个处理电路来实现。同样,图12或图20的镜头1、摄像元件2、雷达4和行进方向检测电路10以外的各部分的功能可以分别由单独的处理电路来实现,也可以集中多个部分的功能而由一个处理电路来实现。
在处理电路是CPU的情况下,摄像装置的各部分的功能由软件、固件或软件与固件的组合来实现。软件或固件记述作程序,存储在存储器中。处理电路读出并执行存储器中存储的程序,由此实现各部的功能。即,摄像装置具有如下的存储器:在由处理电路来执行时,用于存储作为结果来执行图1、图12、图17、图20、图23、图24或图27所示的镜头1、摄像元件2、雷达4和行进方向检测电路10以外的各部分的功能的程序。并且,也可以说这些程序是使计算机执行由摄像装置实施的摄像方法中的处理的方法或其步骤的程序。
另外,也可以是,摄像装置的各部分的功能中的一部分由专用硬件实现,一部分由软件或固件实现。
这样,处理电路能够通过硬件、软件、固件或它们的组合来实现上述各功能。
在图28中,与镜头1、摄像元件2和雷达4一起示出利用包含单一CPU的计算机(用标号50表示)实现图1、图17、图23、图24或图27的摄像装置的镜头1、摄像元件2和雷达4以外的全部功能时的结构的一例。利用计算机50以及镜头1、摄像元件2和雷达4构成摄像装置。
图28所示的计算机50具有CPU51、存储器52、第1输入接口53A、第2输入接口53B、第1输出接口54A、第2输出接口54B,它们利用总线55连接。
对第1输入接口53A输入来自摄像元件2的摄像信号D2。
CPU51根据存储器52中存储的程序进行动作。具体而言,CPU51对经由第1输入接口53A输入的摄像信号D2进行与摄像机信号处理电路3相同的处理,从第2输出接口54B输出通过处理而得到的视频信号D3。CPU51还对经由第1输入接口53A输入的摄像信号D2和经由第2输入接口53B输入的来自雷达4的位置信息D4,进行与关注物体选择电路5、关注区域确定电路6、亮度计算电路7或7b和曝光控制电路8或8b相同的处理,从第1输出接口54A向摄像元件2供给用于对通过处理而计算出的曝光时间进行控制的控制信号Ct。
在图29中,与镜头1、摄像元件2、雷达4和行进方向检测电路10一起示出利用包含单一CPU的计算机(用标号50表示)实现图12或图20的摄像装置的镜头1、摄像元件2、雷达4和行进方向检测电路10以外的全部功能时的结构的一例。利用计算机50以及镜头1、摄像元件2、雷达4和行进方向检测电路10构成摄像装置。
在图12或图20的实施方式的情况下,如图29所示,计算机50在图28的结构的基础上具有第3输入接口53C,经由该第3输入接口53C输入来自行进方向检测电路10的表示行进方向的信息D10。
图29的CPU51不仅使用经由第1输入接口53A输入的摄像信号D2和经由第2输入接口53B输入的来自雷达4的位置信息D4,而且使用从行进方向检测电路10经由第3输入接口输入的表示行进方向的信息D10,对它们进行与关注物体选择电路5、关注区域确定电路6、亮度计算电路7或7b和曝光控制电路8或8b相同的处理,从第1输出接口54A向摄像元件2供给用于对通过处理而计算出的曝光时间进行控制的控制信号Ct。
另外,行进方向检测电路10根据本车辆的方向盘的转向方向检测本车辆的行进方向,输出表示行进方向的信息D10,但是,其一部分也可以由处理电路构成。并且,在行进方向检测电路10根据在CPU51内部生成的信息检测行进方向的情况下,行进方向检测电路10的整体也可以由处理电路构成。
由摄像装置实施的摄像方法、摄像装置的各部分的处理或使计算机执行摄像方法中的各处理的程序也可得到与针对摄像装置叙述的效果相同的效果。
标号说明
1:镜头;2:摄像元件;3:摄像机信号处理电路;4:雷达;5、5b、5c、5d:关注物体选择电路;6、6c、6d:关注区域确定电路;7、7b、7d:亮度计算电路;8、8d:曝光控制电路;9:输出端子;10:行进方向检测电路;11:关注物体判别电路;12:车道检测电路;41:发送部;42:天线;43:接收部;50:计算机;51:CPU;52:存储器。

Claims (15)

1.一种摄像装置,其特征在于,所述摄像装置具有:
摄像单元,其对位于摄像视场角范围内的被摄体进行摄像而生成摄像图像;
探测单元,其检测存在于至少部分地与所述摄像视场角范围重合的探测范围内的物体,输出表示该物体的方向的信息和表示与该物体之间的距离的信息;
关注物体选择单元,其根据从所述探测单元输出的表示所述物体的方向的信息和表示所述距离的信息选择1个或2个以上的物体,输出表示选择出的物体在所述摄像图像中的位置的信息和表示与所述选择出的物体之间的距离的信息;
关注区域确定单元,其根据从所述关注物体选择单元输出的表示所述选择出的物体的位置的信息和表示与所述选择出的物体之间的距离的信息,确定所述摄像图像中的包含所述选择出的物体的区域作为关注区域;
亮度计算单元,其计算由所述关注区域确定单元确定的关注区域中的所述摄像图像的亮度;以及
曝光控制单元,其根据由所述亮度计算单元计算出的所述亮度对所述摄像单元进行曝光控制。
2.根据权利要求1所述的摄像装置,其特征在于,
从所述探测单元输出的与各物体有关的表示所述距离的信息所示的与各物体之间的距离越短,则所述关注物体选择单元将该物体的关注度评价得越高,根据该关注度进行物体的选择。
3.根据权利要求1所述的摄像装置,其特征在于,
所述摄像装置搭载在车辆上,
所述摄像装置还具有行进方向检测单元,该行进方向检测单元根据方向盘的转向方向检测该车辆的行进方向,输出表示行进方向的信息,
所述关注物体选择单元根据从所述行进方向检测单元输出的表示所述行进方向的信息、以及从所述探测单元输出的表示所述物体的方向的信息和表示所述物体的距离的信息,进行物体的选择。
4.根据权利要求3所述的摄像装置,其特征在于,
从所述探测单元输出的与各物体有关的表示所述方向的信息所示的各物体的方向越接近所述行进方向,则所述关注物体选择单元将该物体的关注度评价得越高,根据该关注度进行物体的选择。
5.根据权利要求1所述的摄像装置,其特征在于,
所述摄像装置搭载在车辆上,
所述摄像装置还具有车道检测单元,该车道检测单元从所述摄像图像检测所述摄像图像中的车道划分线和中央隔离带的位置,输出表示检测到的所述车道划分线和中央隔离带的位置的信息,
所述关注物体选择单元根据从所述车道检测单元输出的表示所述车道划分线和中央隔离带的位置的信息、以及从所述探测单元输出的表示所述物体的方向的信息和表示所述距离的信息,进行物体的选择。
6.根据权利要求1~5中的任意一项所述的摄像装置,其特征在于,
所述关注区域确定单元针对由所述关注物体选择单元选择出的物体,在假设该物体是假定的多个种类的物体中最大的种类的物体的情况下,确定所述摄像图像中包含被估计为该物体占据的部分的区域作为所述关注区域。
7.根据权利要求1~6中的任意一项所述的摄像装置,其特征在于,
所述关注物体选择单元根据表示所述物体的方向的信息和表示所述距离的信息选择多个物体,
所述关注区域确定单元针对由所述关注物体选择单元选择出的多个物体,分别确定关注区域。
8.根据权利要求7所述的摄像装置,其特征在于,
所述亮度计算单元将针对所述多个物体分别确定的多个关注区域作为一个检波框来计算亮度。
9.根据权利要求7所述的摄像装置,其特征在于,
所述摄像单元进行所述被摄体的动态图像摄像,按照每个帧期间输出所述摄像图像,
所述亮度计算单元在各帧期间内将针对所述多个物体分别确定的多个关注区域中的一个关注区域作为检波框来计算亮度。
10.根据权利要求9所述的摄像装置,其特征在于,
所述曝光控制单元根据在某个帧期间内将所述多个关注区域中的一个关注区域作为检波框而计算出的亮度,对曝光条件进行调整,在此后将相同关注区域作为检波框来计算亮度的帧期间的摄像时使用调整后的曝光条件。
11.根据权利要求1~10中的任意一项所述的摄像装置,其特征在于,
所述摄像装置还具有关注物体判别单元,该关注物体判别单元根据从所述摄像单元输出的摄像图像,判别由所述关注物体选择单元选择出的物体的种类,
所述关注区域确定单元根据由所述关注物体判别单元判别出的物体的种类决定所述关注区域。
12.根据权利要求11所述的摄像装置,其特征在于,
所述关注物体判别单元针对由所述关注物体选择单元选择出的物体,在假设该物体是假定的多个种类的物体中最大的种类的物体的情况下,对所述摄像图像中被估计为该物体占据的部分进行分析,由此判别该物体的种类。
13.一种摄像装置中的摄像方法,该摄像装置具有:摄像单元,其对位于摄像视场角范围内的被摄体进行摄像而生成摄像图像;以及探测单元,其检测存在于至少部分地与所述摄像视场角范围重合的探测范围内的物体,输出表示该物体的方向的信息和表示与该物体之间的距离的信息,其特征在于,所述摄像方法具有:
关注物体选择步骤,根据从所述探测单元输出的表示所述物体的方向的信息和表示所述距离的信息选择1个或2个以上的物体,生成表示选择出的物体在所述摄像图像中的位置的信息和表示与所述选择出的物体之间的距离的信息;
关注区域确定步骤,根据在所述关注物体选择步骤中生成的表示所述选择出的物体的位置的信息和表示与所述选择出的物体之间的距离的信息,确定所述摄像图像中的包含所述选择出的物体的区域作为关注区域;
亮度计算步骤,计算在所述关注区域确定步骤中确定的关注区域中的所述摄像图像的亮度;以及
曝光控制步骤,根据在所述亮度计算步骤中计算出的所述亮度对所述摄像单元进行曝光控制。
14.一种程序,其用于使计算机执行权利要求13所述的摄像方法中的处理。
15.一种计算机可读取的记录介质,其记录有权利要求14所述的程序。
CN201580073865.3A 2015-01-22 2015-11-12 摄像装置和方法以及记录介质 Active CN107211096B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015010132 2015-01-22
JP2015-010132 2015-01-22
PCT/JP2015/081838 WO2016117213A1 (ja) 2015-01-22 2015-11-12 撮像装置及び方法、並びにプログラム及び記録媒体

Publications (2)

Publication Number Publication Date
CN107211096A true CN107211096A (zh) 2017-09-26
CN107211096B CN107211096B (zh) 2020-03-03

Family

ID=56416774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580073865.3A Active CN107211096B (zh) 2015-01-22 2015-11-12 摄像装置和方法以及记录介质

Country Status (5)

Country Link
US (1) US10453214B2 (zh)
JP (1) JP6289681B2 (zh)
CN (1) CN107211096B (zh)
DE (1) DE112015006032B4 (zh)
WO (1) WO2016117213A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654643A (zh) * 2020-07-22 2020-09-11 苏州臻迪智能科技有限公司 曝光参数确定方法、装置、无人机和计算机可读存储介质
CN111753626A (zh) * 2019-03-28 2020-10-09 通用汽车环球科技运作有限责任公司 用于增强车辆中基于传感器的检测的注意区域识别

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6861375B2 (ja) * 2017-06-30 2021-04-21 パナソニックIpマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
KR20200130810A (ko) * 2018-03-14 2020-11-20 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 기록 매체
US10346693B1 (en) * 2019-01-22 2019-07-09 StradVision, Inc. Method and device for attention-based lane detection without post-processing by using lane mask and testing method and testing device using the same
JP2021150756A (ja) * 2020-03-18 2021-09-27 ソニーセミコンダクタソリューションズ株式会社 撮像システム、撮像制御方法および撮影制御プログラム
RU2746614C1 (ru) * 2020-09-14 2021-04-19 Общество с ограниченной ответственностью "2И" (ООО "2И") Способ подавления встречной засветки при формировании изображений дорожного окружения перед транспортным средством и устройство для осуществления способа
JP2022086311A (ja) * 2020-11-30 2022-06-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US11386650B2 (en) * 2020-12-08 2022-07-12 Here Global B.V. Method, apparatus, and system for detecting and map coding a tunnel based on probes and image data
KR20230123226A (ko) * 2022-02-16 2023-08-23 한화비전 주식회사 Ai 기반 객체인식을 통한 감시 카메라 영상의 노이즈 제거

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100472322C (zh) * 2005-09-27 2009-03-25 欧姆龙株式会社 前方摄影装置
WO2010086414A2 (en) * 2009-01-29 2010-08-05 Interactive Sports Games A/S An assembly comprising a radar and an imaging element
JP2014006188A (ja) * 2012-06-26 2014-01-16 Toshiba Denpa Products Kk レーダ監視システム、映像取得方法及び映像取得プログラム
JP2014135611A (ja) * 2013-01-09 2014-07-24 Denso Corp カメラ露出設定装置及びカメラ露出設定プログラム
JP2014135612A (ja) * 2013-01-09 2014-07-24 Denso Corp カメラ露出設定装置及びカメラ露出設定プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07118786B2 (ja) 1985-11-08 1995-12-18 松下電器産業株式会社 撮像装置
JP3264060B2 (ja) 1993-11-04 2002-03-11 三菱自動車工業株式会社 自動車の走行制御装置の先行車検出機構
JP2001134769A (ja) 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP3685970B2 (ja) 1999-12-27 2005-08-24 本田技研工業株式会社 物体検知装置
JP2005339176A (ja) 2004-05-26 2005-12-08 Alpine Electronics Inc 車両認識装置、ナビゲーション装置および車両認識方法
US20070242944A1 (en) * 2004-09-10 2007-10-18 Kazufumi Mizusawa Camera and Camera System
JP4779355B2 (ja) 2004-12-21 2011-09-28 日産自動車株式会社 車両用運転操作補助装置用の表示装置および表示方法
US20090051794A1 (en) * 2005-03-15 2009-02-26 Omron Corporation Image processing apparatus, image processing method, image processing system, program and recording medium
US7624925B2 (en) * 2005-07-11 2009-12-01 Get Solo, Llc Membership cards
JP4214160B2 (ja) * 2006-08-31 2009-01-28 フジノン株式会社 監視カメラシステム
JP2008070999A (ja) 2006-09-13 2008-03-27 Hitachi Ltd 車両の障害物検出装置及びそれを搭載した自動車
JP4987573B2 (ja) * 2007-06-01 2012-07-25 富士重工業株式会社 車外監視装置
JP4900211B2 (ja) 2007-11-29 2012-03-21 トヨタ自動車株式会社 走行支援装置、車間距離設定方法
JP2010127717A (ja) 2008-11-26 2010-06-10 Sumitomo Electric Ind Ltd 対象物検出装置及び対象物検出システム
JP6471528B2 (ja) * 2014-02-24 2019-02-20 株式会社リコー 物体認識装置、物体認識方法
US10721384B2 (en) * 2014-03-27 2020-07-21 Sony Corporation Camera with radar system
JP6648411B2 (ja) * 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100472322C (zh) * 2005-09-27 2009-03-25 欧姆龙株式会社 前方摄影装置
WO2010086414A2 (en) * 2009-01-29 2010-08-05 Interactive Sports Games A/S An assembly comprising a radar and an imaging element
JP2014006188A (ja) * 2012-06-26 2014-01-16 Toshiba Denpa Products Kk レーダ監視システム、映像取得方法及び映像取得プログラム
JP2014135611A (ja) * 2013-01-09 2014-07-24 Denso Corp カメラ露出設定装置及びカメラ露出設定プログラム
JP2014135612A (ja) * 2013-01-09 2014-07-24 Denso Corp カメラ露出設定装置及びカメラ露出設定プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753626A (zh) * 2019-03-28 2020-10-09 通用汽车环球科技运作有限责任公司 用于增强车辆中基于传感器的检测的注意区域识别
CN111753626B (zh) * 2019-03-28 2023-09-19 通用汽车环球科技运作有限责任公司 用于增强车辆中基于传感器的检测的注意区域识别
CN111654643A (zh) * 2020-07-22 2020-09-11 苏州臻迪智能科技有限公司 曝光参数确定方法、装置、无人机和计算机可读存储介质
CN111654643B (zh) * 2020-07-22 2021-08-31 苏州臻迪智能科技有限公司 曝光参数确定方法、装置、无人机和计算机可读存储介质

Also Published As

Publication number Publication date
JPWO2016117213A1 (ja) 2017-06-29
WO2016117213A1 (ja) 2016-07-28
DE112015006032T5 (de) 2017-10-05
US10453214B2 (en) 2019-10-22
US20180012374A1 (en) 2018-01-11
JP6289681B2 (ja) 2018-03-07
CN107211096B (zh) 2020-03-03
DE112015006032B4 (de) 2021-04-01

Similar Documents

Publication Publication Date Title
CN107211096A (zh) 摄像装置和方法以及程序和记录介质
JP5648655B2 (ja) 対象物識別装置
US8441535B2 (en) System and method for independent image sensor parameter control in regions of interest
US11834038B2 (en) Methods and systems for providing depth maps with confidence estimates
EP2815383B1 (en) Time to collision using a camera
JP4725391B2 (ja) 車両用視程測定装置、及び運転支援装置
CN109866684B (zh) 车道偏离预警方法、系统、可读存储介质及计算机设备
WO2010137563A1 (ja) 画像処理装置
CN103348394B (zh) 行驶辅助装置及其相邻车辆检测方法
WO2020238970A1 (zh) 图像降噪装置及图像降噪方法
CN108860045B (zh) 驾驶辅助方法、驾驶辅助装置及存储介质
KR20180019189A (ko) 진폭-변조된 광의 깜박임을 보정하기 위해 스트리밍된 비디오 이미지를 처리하는 시스템 및 방법
CN103227905B (zh) 车载摄像机用曝光控制装置
EP2723060A1 (en) Vehicle-mounted camera device
EP3115930A1 (en) Malfunction diagnosis apparatus
JP5260696B2 (ja) エッジ点抽出装置、車線検出装置、およびプログラム
JP2016196233A (ja) 車両用道路標識認識装置
TW202101959A (zh) 圖像辨識裝置及圖像辨識方法
JP2021114775A (ja) 移動体用映像表示装置およびその方法
JP2009134591A (ja) 車色判定装置、車色判定システム及び車色判定方法
JP5056931B2 (ja) 車色判定装置、車色判定システム及び車色判定方法
JP5957182B2 (ja) 路面上パターン認識方法および車両用情報記録装置
US11347974B2 (en) Automated system for determining performance of vehicular vision systems
US20190043174A1 (en) Image processor and method for image processing
JP3378476B2 (ja) 車両認識方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant