CN103764448A - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN103764448A
CN103764448A CN201280041668.XA CN201280041668A CN103764448A CN 103764448 A CN103764448 A CN 103764448A CN 201280041668 A CN201280041668 A CN 201280041668A CN 103764448 A CN103764448 A CN 103764448A
Authority
CN
China
Prior art keywords
image
pixel region
image processing
angle
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280041668.XA
Other languages
English (en)
Other versions
CN103764448B (zh
Inventor
桥本充夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN103764448A publication Critical patent/CN103764448A/zh
Application granted granted Critical
Publication of CN103764448B publication Critical patent/CN103764448B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

图像处理装置（100）具有：具有广角镜头以用于拍摄至少一部分范围重叠的图像的第1摄像部（1a）及第2摄像部（1b）；车速检测部（2），其检测本车辆的速度；以及测距部（5），其根据由第1摄像部（1a）及第2摄像部（1b）拍摄的多个图像，计算从本车辆到对象物的距离，在由车速检测部（2）检测出的速度越快时，测距部（5）越减小从第1摄像部（1a）及第2摄像部（1b）输出的图像的像素区域的尺寸。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及图像处理装置及图像处理方法。
背景技术
过去曾经提出了如下的技术：对于利用立体光学系统拍摄的两张图像，针对每个微小区域检索摄入了同一对象物的部分，计算对应位置的错位量，并应用三角测量法，由此计算出距对象物的距离。
例如，在专利文献1记载的灰度校正装置中，针对两张图像按照各图像的每个小区域计算街区距离并求出彼此的相关性，由此进行用于确定对应的小区域的立体匹配。并且，该灰度校正装置通过取得将距对象物的远近信息数值化而得到的三维图像信息（距离通信）来进行测距，其中，该远近信息是根据按照距对象物的距离而产生的像素的偏差（=视差）而得到的。
另外，专利文献2记载的摄像装置将利用多个摄像机拍摄的影像进行合成，并在显示单元显示多视点影像以及从车辆信息俯瞰得到的影像（单视点影像），其中，所述多个摄像机包括具有大致180度的摄影范围的超广角摄像机。因此，在该摄像装置中，驾驶员能够确认车辆周边的状况。
另外，专利文献3记载的摄像装置在位置检测装置中对左右的图像数据进行畸变校正后，测定距被光照射的点的距离，其中，所述位置检测装置具有从由立体图像输入单元取得的一对图像中检测测定对象物的位置的单元。
在先技术文献
专利文献
专利文献1：日本特开平11-234701号公报（第0009段～第0015段）
专利文献2：日本特开2005－236493号公报（第0014段～第0027段）
专利文献3：日本特开2008－164338号公报（第0014段～第0026段）
发明内容
发明要解决的问题
专利文献1记载的灰度校正装置以在行驶中得到距前方车辆的距离信息为目的，因而在该灰度校正装置中，不需要能够拍摄车辆周边的广角镜头，因此使用不需要考虑镜头畸变（失真）的标准视场角镜头。另一方面，专利文献2记载的摄像装置以通过在显示单元显示车辆周边的影像来协助驾驶员的驾驶为目的，因而在该摄像装置中需要使用能够拍摄更广范围区域的广角镜头。
但是，为了同时实现专利文献1的目的即距前方对象物的距离测定、和专利文献2的目的即对车辆周边的目视确认性的支援，如果在车辆中分别搭载专利文献1记载的灰度校正装置和专利文献2记载的摄像装置，则使用的摄像机的个数增加，存在不仅设置场所不足而且成本增大的问题。
另外，在专利文献3中，考虑广角镜头具有的畸变像差，对左右的图像数据进行畸变校正。但是，车辆行驶时的前方车辆间距离测定要求即时处理，因而存在畸变校正花费时间的问题。另外，在根据畸变校正后的图像进行匹配处理的情况下，根据畸变校正处理的精度不同，存在立体图像中的对象物的形状成为异形、匹配处理的精度下降的可能性。
本发明正是为了解决上述现有技术的问题而提出的，其目的在于，能够在使用广角镜头的同一摄像装置中实现车辆周边的目视确认和对对象物的测距。
用于解决问题的手段
本发明的一个方式的图像处理装置的特征在于，该图像处理装置具有：多个摄像部，其具有广角镜头，用于拍摄至少一部分范围重叠的图像；车速检测部，其检测本车辆的速度；测距部，其根据由所述多个摄像部拍摄的多个图像，计算从所述本车辆到由该多个摄像部拍摄到的对象物的距离；以及目视确认用图像生成部，其根据由所述多个摄像部拍摄到的多个图像，生成用于确认所述本车辆附近的状况的目视确认用图像，所述测距部具有像素区域确定部，该像素区域确定部针对所述多个摄像部分别确定在所述多个摄像部各自的拍摄中能够使用的所有像素中、与从所述多个摄像部分别输出的图像对应的像素区域的尺寸及位置，所述像素区域确定部在由所述车速检测部检测出的速度越快时越减小所述像素区域的尺寸。
发明效果
根据本发明的一个方式，能够在使用广角镜头的同一个摄像装置中实现车辆周边的目视确认和对对象物的测距。
附图说明
图1是概略地示出实施方式的图像处理装置的结构的框图。
图2是概略地示出摄像部的结构的框图。
图3是示出立体摄像机和对象物之间的二维位置关系的图。
图4是示出在测距模式中能够测定距对象物的距离的区域的图。
图5是示出在目视确认模式时提供给信息传递部的目视确认用图像的一例的概略图。
图6的（A）和（B）是示出在测距模式时由第1摄像部和第2摄像部拍摄的摄像图像的概略图。
图7是示出CMOS型摄像元件的构造的概略图。
图8是示出CCD型摄像元件的构造的概略图。
图9是示出立体摄像机和对象物之间的三维位置关系的概略图。
图10是示出模式决定部进行的处理的流程图。
图11是示出测距模式下的处理的流程图。
图12是示出目视确认模式下的处理的流程图。
具体实施方式
图1是概略地示出实施方式的图像处理装置100的结构的框图。图像处理装置100具有第1摄像部1a及第2摄像部1b（在不需要特别区分各个摄像部时，统称为摄像部1）、车速检测部2、ECU（Electronic Control Unit，电子控制单元）3和信息传递部9。ECU3具有模式决定部4、测距部5、摄像机参数设定部6、目视确认用图像生成部7、数据总线8。
摄像部1拍摄作为立体图像的基础的左右两张图像。在本实施方式中，由第1摄像部1a和第2摄像部1b这两个摄像机拍摄左右两张的图像。并且，在本实施方式中，摄像部1设置在车辆前方，由摄像部1拍摄到的图像的图像信息（由第1摄像部1a拍摄到的第1图像的第1图像信息和由第2摄像部1b拍摄到的第2图像的第2图像信息），经由数据总线8提供给模式决定部4。
图2是概略地示出摄像部1的结构的框图。摄像部1具有光学系统11、摄像元件12、AD转换器13和传感器驱动电路14。
光学系统11是广角镜头，镜头数量可以是一个，也可以是多个。
摄像元件12将从光学系统11得到的光转换为模拟电信号。摄像元件12例如可以是CMOS（Complementary Metal Oxide Semiconductor：互补金属氧化物半导体）型及CCD（Charge Coupled Device：电荷耦合装置）型中的任何类型。
AD转换器13将从摄像元件12得到的模拟电信号转换为数字图像信息。另外，AD转换器13不一定需要设于摄像部1内，例如也可以设于ECU3内。
传感器驱动电路14根据从摄像机参数设定部6得到的传感器驱动脉冲控制信号，变更提供给摄像元件12的驱动脉冲，并按照后面所述控制由摄像元件12拍摄的图像的尺寸。
返回图1的说明，车速检测部2检测设有图像处理装置100的车辆（下面也称为本车辆）的速度。车速检测部2可以是设于本车辆的车速传感器，也可以是利用作为车载导航系统的GPS（Global Positioning System：全球定位系统）计算速度的装置。由车速传感器2检测出的速度被提供给模式决定部4和测距部5。
模式决定部4根据从车速检测部2得到的车辆的速度，决定图像处理装置100的动作模式。例如，如果车速是10km/h以上，则模式决定部4选择向驾驶员提供距前方的对象物（例如车辆）的距离的测距模式。另一方面，如果车速小于10km/h，则模式决定部4选择向驾驶员提供本车辆的附近状况的目视确认模式。另外，关于用于切换测距模式和目视确认模式的阈值车速，不限于10km/h。例如，假设用户能够任意设定该阈值速度。并且，模式决定部4在选择了测距模式的情况下，将通过数据总线8从摄像部1得到的图像信息的输出目标方设为测距部5，在选择了目视确认模式的情况下，将该图像信息的输出目标方设为目视确认用图像生成部7。
测距部5根据从模式决定部4提供的图像信息，计算距位于本车辆前方的对象物的距离。测距部5具有特征点检测部51、像素区域确定部52、入射角确定部53和距离计算部54。
特征点检测部51检测在基于从第1摄像部1a得到的第1图像信息的第1图像、和基于从第2摄像部1b得到的第2图像信息的第2图像双方中所包含的同一对象物的一部分即特征点。并且，特征点检测部51在各个图像中确定该特征点的位置（特征点位置）。关于特征点的检测，例如可以采用如下这样的方法：将有关第1图像和第2图像各自的像素间的矢量相关联，由此抽取局部特征量，通过评价该局部特征量的类似度来计算特征点。或者，关于特征点的检测也可以采用块匹配法（blockmatching method）。该块匹配法是将图像划分为一定大小的块，通过对该块进行匹配来检测特征点的方法。在该块匹配法中，关于一致度的评价，通过使用对应的像素的绝对值的总和值（SAD：Sum of Absolute Difference，绝对差值和）作为评价函数，能够快速检测特征点。特征点只要是对象物的一部分即可，假设特征点检测部51预先将对象物及其一部分（特征点）的模板存储在模板存储部51a中。特征点检测部51将表示检测出的特征点位置的特征点位置信息和从摄像部1得到的图像信息提供给像素区域确定部52。
像素区域确定部52根据从车速检测部2得到的车辆的速度，确定能够在摄像部1的拍摄中使用的所有像素中、与从摄像部1输出的图像对应的像素区域的尺寸。并且，像素区域确定部52对于各个摄像部1a、1b决定所确定的尺寸的像素区域的位置，以使得由特征点检测部51检测出的特征点位置包含在所确定的尺寸的像素区域内。例如，像素区域确定部52通过使所确定的尺寸的像素区域的位置上下左右移动，以使得特征点包含在所确定的尺寸的像素区域内，来确定像素区域的位置。在此，优选像素区域确定部52以使特征点位置位于所确定的尺寸的像素区域的中心或者位于距离中心的规定的像素范围内的方式，确定像素区域的位置。这种情况下的像素区域不是从拍摄后的图像中切取必要部分得到的区域，而是指进行摄像元件12的驱动控制，使得从摄像部1只能输出该像素区域的图像的区域。
另外，像素区域确定部52在选定像素区域的尺寸时使用来自车速检测部2的输出结果。例如，在车速较快的情况下减小像素区域，相反在车速较慢的情况下增大像素区域。具体地讲，像素区域确定部52将在模式决定部4选定测距模式时作为阈值的速度下能够由摄像部1拍摄的由所有像素构成的尺寸，设为像素区域的尺寸。并且，像素区域确定部52随着速度高于作为该阈值的速度，使像素区域的尺寸逐渐小于由该所有像素构成的该尺寸。广角镜头由于目视确认区域较广，因而作为目视确认车辆周边的用途比较有利，但在用于测距模式下的前方对象物的测距时不需要广视场角。因此，通过控制像素区域的尺寸，并且将测距时不需要的图像周边部去除，而仅使用中央部的图像，能够提高帧频。
在停车时等本车辆低速运动的情况下，即使帧频较低也没有问题，但在高速行驶的情况下，如果帧频较低，则存在与前方对象物冲突的危险。例如，在本车辆以时速50km/h行驶于晴天的沥青路面上的情况下，通常驾驶员注意到前方的对象物后踩刹车时，反应时间为0.7秒，而到停止为止需要约2.7秒时间，在此期间本车辆实际前进长达24m的距离。因此，应该在尽可能短的时间内进行与前方对象物的距离测定，到距离测定完成的时间越长，与对象物冲突的风险性越高。
例如，在来自摄像部1的影像是以每秒30帧被读出的情况下，假设在1张图像的电荷蓄积中1帧需要“33ms”，读出1帧需要“33ms”，特征点检测部51的图像处理中1帧最短需要“33ms”，则计算距离费时0.1秒以上。这是仅拍摄图像中央部分的情况，在所拍摄的中央部的像素区域是所有像素区域的一半的情况下，能够以每秒60帧进行读出。因此，距离计算时间被缩短为一半。因此，可以说在测距模式时仅使用中央部的图像比较有效。
另外，像素区域确定部52将表示所确定的像素区域的尺寸及位置的像素区域信息输出给摄像机参数设定部6。并且，像素区域确定部52将从特征点检测部51得到的特征点位置信息和图像信息提供给入射角确定部53。
入射角确定部53根据特征点在从像素区域确定部52提供的图像信息中所存在的像素单位的坐标，确定来自对象物的特征点的光线入射到左右的光学系统11时的角度（入射角）。针对左右的光学系统11分别确定该入射角。例如，入射角确定部53具有存储数值信息的数值存储部53a，该数值信息表示按照距摄像元件12的摄像面的中心的每种距离，来自对象物的光中、在作为光学系统11的广角镜头的中心通过而入射的光的入射角。并且，入射角确定部53计算特征点位置与所有像素中的摄像图像的中心之间的距离，根据数值信息确定与计算出的距离对应的入射角。并且，入射角确定部53将表示所确定的入射角的入射角信息和从像素区域确定部52提供的图像信息提供给距离计算部54。
距离计算部54根据由入射角确定部53确定出的入射角，计算距对象物的距离。并且，距离计算部54将表示计算出的距离的距离信息提供给信息传递部9。
摄像机参数设定部6对应于由像素区域确定部52确定出的像素区域的尺寸和位置，生成用于切换摄像部1内的摄像元件12的驱动模式的传感器驱动脉冲控制信号。例如，由像素区域确定部52确定出的像素区域的尺寸和位置被作为在串行通信中设定的串行数据进行通知，摄像机参数设定部6具有该串行数据的分析功能。并且，摄像机参数设定部6经由数据总线8将所生成的传感器驱动脉冲控制信号提供给摄像部1。
目视确认用图像生成部7生成供驾驶员确认本车辆附近的状况的目视确认用图像。目视确认用图像生成部7具有畸变校正部71和图像合成部72。
畸变校正部71进行分别校正从模式决定部4提供的第1图像信息和第2图像信息的畸变的处理。并且，畸变校正部71将校正后的第1图像信息和第2图像信息输出给图像合成部72。
图像合成部72生成表示一个目视确认用图像的目视确认用图像信息，该目视确认用图像是将从畸变校正部71提供的校正后的第1图像信息和第2图像信息所表示的图像进行合成而得到的。例如，图像合成部72将第1图像信息所表示的第1图像的右半部分和第2图像信息所表示的第2图像的左半部分进行合成，由此生成目视确认用图像信息。并且，图像合成部72将所生成的目视确认用图像信息提供给信息传递部9。
信息传递部9进行以本车辆的驾驶员能够识别的方式输出从测距部5提供的距离信息所表示的距离、和从目视确认用图像生成部7提供的目视确认用图像信息所表示的目视确认用图像的处理。例如，信息传递部9具有未图示的显示器等显示部，显示距离信息所表示的距离或者目视确认用图像信息所表示的目视确认用图像。
图3是表示立体摄像机和对象物之间的二维位置关系的图。在图3中，点P表示对象物的特征点位置，11a表示第1摄像部1a的光学系统，11b表示第2摄像部1b的光学系统。另外，在图3中，θ1表示从点P向光学系统11a入射的光线的入射角，θ2表示从点P向光学系统11b入射的光线的入射角，B表示光学系统11a与光学系统11b之间的距离（立体基线长度，stereo base length），x及z分别表示x轴和z轴。Z表示从点P到其在x轴的垂足的对象物距离，W1表示点P与光学系统11a之间的距离（实际距离），W2表示点P与光学系统11b之间的距离（真距离）。光学系统11a和光学系统11b是相同的结构，但在距离测定中需要考虑以哪一个光学系统为基准。在本实施方式中，假设将光学系统11a作为基准，测距模式下距前方的对象物的距离为W1。
图4是示出在测距模式下能够测定距对象物的距离的区域的图。第1摄像部1a和第2摄像部1b具有视场角相同的广角镜头，被搭载于车辆110的前方部分。111a和111b分别表示通过第1摄像部1a和第2摄像部1b的镜头的中心的光轴，它们处于平行的关系。112a和112b分别表示在第1摄像部1a和第2摄像部1b中使用的镜头的视场角。并且，视场角112a和视场角112b重叠的视场角113表示在由第1摄像部1a和第2摄像部1b拍摄到的各个图像中摄入了对象物的区域，换言之表示能够进行对象物的测距的区域。114表示能够测距的最短距离，与立体基线长度成比例地变长。并且，该最短距离114在第1摄像部1a和第2摄像部1b的视场角越窄时越长。
图5是表示在目视确认模式下提供给信息传递部9的目视确认用图像120的一例的概略图。图5所示的目视确认用图像120是本车辆从行驶的侧道并入到与该侧道交叉的道路中时的图像，显示出从驾驶员侧观察呈死角的车辆周边。
目视确认用图像120的右半部分121a是在第1摄像部1a中使用所有像素拍摄到的图像的右半部分的一部分。目视确认用图像120的左半部分121b是在第2摄像部1b中使用所有像素拍摄到的图像的左半部分的一部分。部分121a和部分121b的大小相等。122表示从右方行驶过来的其它车辆，123表示在与其它车辆122相反的车道中行驶的其它车辆。另外，124a和124b分别表示道路中央的白线，125a和125b分别表示壁面。部分121a和部分121b都是由畸变校正部71实施了畸变校正的图像。这样，在目视确认用图像生成部7进行的目视确认模式动作时，通过在具有广角镜头的第1摄像部1a和第2摄像部1b中使用所有像素进行拍摄，驾驶员能够在图像中确认死角区域，因而能够事前防止冲突事故等。
图6的（A）和（B）是表示在测距模式时由第1摄像部1a和第2摄像部1b拍摄的摄像图像130a、130b的概略图。图6（A）所示的摄像图像130a是由第1摄像部1a拍摄到的所有像素图像，摄像图像130b是由第2摄像部1b拍摄到的所有像素图像。摄像图像130a、130b都没有实施畸变校正。但是，在实施特征点检测部51的处理、像素区域确定部52的处理，并由摄像机参数设定部6变更了由第1摄像部1a和第2摄像部1b拍摄到的图像的尺寸后，例如摄像图像130a被图像尺寸变更为摄像图像140a，摄像图像130b被图像尺寸变更为摄像图像140b。131表示在本车辆的前方行驶的车辆，132表示壁面，133表示白线。134a表示摄像图像130a的中心（像素），134b表示摄像图像130b的中心（像素）。135a表示由特征点检测部51检测出的图像130a上的特征点，134b表示由特征点检测部51检测出的图像130b上的特征点。由特征点检测部51检测出的特征点只要是对象物（此处指车辆）的一部分即可，例如在图6中将前方车辆的尾部的车牌的右下角的前端部作为特征点，但不限于此。
在后面的说明中，将水平方向的像素数设为m，将垂直方向的像素数设为n。并且，将利用在摄像部1能够使用的所有像素拍摄到的所有像素图像的水平方向的像素数设为M，将该所有像素图像的垂直方向的像素数设为N。
摄像图像140a和摄像图像140b是根据由像素区域确定部52决定的像素区域控制摄像元件12的读出控制脉冲而得到的图像，140a表示由第1摄像部1a拍摄到的摄像图像，140b表示由第2摄像部1b拍摄到的摄像图像。摄像图像140a和摄像图像140b的图像尺寸是相同尺寸。
摄像图像140b的大小为m×n。该大小能够在上下方向及左右方向上变更。例如，像素区域确定部52能够与由车速检测部2检测出的车速成比例地变更m和n的值。
在由车速检测部2检测出的本车辆的车速较快的情况下，像素区域确定部52通过缩小图像尺寸m×n的大小，能够提高从摄像部1发送来的帧频。由此，测距部5能够缩短计算与前方的对象物的距离的时间，用户能够避免与前方的对象物冲突的可能性增大。并且，在由车速检测部2检测出的本车辆的车速较慢的情况下，像素区域确定部52放大图像尺寸m×n的大小。由此，测距部5能够识别位于更广范围内的对象物。
关于相对于本车辆的速度的摄像图像的尺寸，例如在将所有像素图像的尺寸设为M×N、将此时的面积设为S的情况下，像素区域确定部52控制m和n各自的数值，以使得在速度为10km/h以上且小于20km/h时，将摄像图像的面积设为S，在速度为20km/h以上且小于40km/h时，将摄像图像的面积设为S/2，在速度为40km/h以上且小于60km/h时，将摄像图像的面积设为S/3，在速度为60km/h以上且小于80km/h时，将摄像图像的面积设为S/4，在速度为80km/h以上时，将摄像图像的面积设为S/5。另外，优选像素区域确定部52使m×n的摄像图像与M×N相似。
m和n各值的组合不固定，但是m的值越接近所有像素图像的M的值，测距部5越能够识别出位于水平方向的较广范围内的对象物。这对于行驶车道有多条，测距部5识别位于各条车道的对象物的情况、以及测距部5识别位于道路的人行道的对象物的情况比较有效。因此，在初始状态下设为m=M。
另外，即使是在本车辆的速度较慢的情况下，如果与前方的对象物的距离比较近，相应地冲突的风险性较大。因此，像素区域确定部52也能够根据前方的对象物被摄入到所有像素图像130a、130b内的垂直方向位置，改变图像尺寸m×n。例如，对象物的摄入位置越接近摄像图像130a、130b的下部（在图像130b中“下”箭头的方向），像素区域确定部52认为本车辆与对象物的距离越近，而缩小像素区域。对象物的摄入位置越接近图像的上部（在图像130b中“上”箭头的方向），像素区域确定部52认为本车辆与对象物的距离越远，而扩大像素区域。另外，关于对象物的摄入位置，可以根据摄像图像130a、130b的中心134a、134b与特征点135a、135b之间的关系进行识别。例如，假设随着特征点135a、135b从摄像图像130a、130b的中心134a、134b向下方离开，像素区域确定部52认为对象物的摄入位置接近摄像图像130a、130b的下部。并且，假设随着特征点135a、135b从摄像图像130a、130b的中心134a、134b向上方离开，像素区域确定部52认为对象物的摄入位置接近摄像图像130a、130b的上部。根据以上所述，与前方的对象物的距离越近，越能够缩短测距部5计算与前方的对象物之间的距离的时间，因而用户能够避免与前方的对象物冲突的可能性越大。
另外，也可以进行这种基于垂直方向位置的控制来取代基于本车辆的速度的控制，还可以同时进行基于垂直方向位置的控制和基于本车辆的速度的控制。例如，像素区域确定部52首先按照本车辆的速度确定像素区域的尺寸。并且，像素区域确定部52根据特征点的垂直方向的位置修正所确定的尺寸，由此能够决定像素区域的尺寸。
另外，也可以是，将由距离计算部54计算出的与前方的对象物之间的距离信息反馈给像素区域确定部52，像素区域确定部52能够根据实际测距得到的值改变图像尺寸m×n的大小。由此，例如与前方的对象物之间的距离越比预先设定的距离近，则像素区域确定部52越能够相对于该预先设定的距离下的图像尺寸减小图像尺寸m×n。因此，与前方的对象物之间的距离越比预先设定的距离近，越能够缩短测距部5计算与前方的对象物之间的距离的时间，因而用户能够避免与前方的对象物冲突的可能性越大。
优选利用使用所有像素的摄像图像130a、130b的坐标表示摄像图像的中心134a、134b和特征点135a、135b的位置。例如，在将图像130a（图像130b）的四个角部中左下部的坐标设为（0，0）、右上部的坐标设为（M，N）的情况下，中心134a、134b的坐标能够表示为（M/2，N/2）。并且，特征点135a、135b的坐标能够表示为（α，β）（0≤α≤M，0≤β≤N）。即使是在生成了摄像图像140a、140b的情况下，中心134a、134b和特征点135a、135b的坐标分别由（M/2，N/2）、（α，β）表示。
下面，使用图7和图8说明用于变更摄像图像的图像尺寸的摄像元件12的驱动控制。图7是表示CMOS型摄像元件12A的构造的概略图。150表示水平扫描电路，151表示垂直扫描电路，1521～1525表示列选择开关。用虚线153示出的区域表示1个像素所占的区域。在用虚线153示出的区域中包括MOS晶体管、光电二极管放大器和像素选择开关。1541～1545表示垂直信号线，1551～1554表示水平信号线。以像素为单位蓄积的电荷通过放大器在被转换为电压后被放大。通过控制水平信号线1551～1554使像素选择开关导通/截止，由此放大后的电压按照每行被发送给垂直信号线1541～1545。然后，在按照每条垂直信号线1541～1545配置的CDS电路中临时保持的电压，通过列选择开关1521～1525的导通/截止而被输出。在这种情况下，通过由传感器驱动电路14控制一部分的水平信号线1552、1553和一部分的列选择开关1522、1523，能够读出一部分区域156的图像作为摄像图像。
图8是表示CCD型摄像元件12B的构造的概略图。160表示水平传输CCD，161表示输出放大器，162表示水平同步信号，163表示垂直同步信号。164表示未图示的垂直传输CCD内的电荷被传输的方向。在图8中，带阴影的区域165是像素区域，区域166和区域167是不需要的像素区域。在CCD型摄像元件12B的情况下，在构造上不能如CMOS型那样指定想要读出的像素来进行读出。因此，从未图示的垂直传输CCD以通常的垂直方向的电荷传输速度读出、所读出的所有像素的电荷中视为需要的像素区域165的像素，不需要的像素区域166、167的像素在以比通常的垂直方向的电荷传输速度快的速度传输后被丢弃，由此能够提高帧频。控制垂直方向的电荷传输速度的是传感器驱动电路14。
图9是表示立体摄像机和对象物之间的三维位置关系的概略图。在图9中，x表示x轴，y表示y轴，z表示z轴。点P表示对象物的特征点位置，11a表示第1摄像部1a的光学系统，11b表示第2摄像部1b的光学系统。θ1表示从点P向光学系统11a入射的光线的入射角，θ3表示在透射光学系统11a时由于畸变像差而错位的光线路径和z轴形成的夹角。θ2表示从点P向光学系统11b入射的光线的入射角，θ4表示在透射光学系统11b时由于畸变像差而错位的光线路径和与z轴平行的轴形成的夹角。170a和170b表示第1摄像部1a和第2摄像部1b的摄像元件面，B表示光学系统11a与光学系统11b之间的距离（立体基线长度）。O1表示与摄像元件面170a、170b平行且包含点P的面和z轴的交点，O2表示与摄像元件面170a、170b平行且包含点P的面和与z轴的平行的轴z1的交点。Z表示从O1到其在xy轴上的垂足的对象物距离，W1表示点P与光学系统11a之间的距离（真距离），W2表示点P与光学系统11b之间的距离（真距离）。134a表示摄像元件面170a的中心，134b表示摄像元件面170b的中心。f表示焦点距离，135a表示摄像元件面170a上的特征点，135b表示摄像元件面170b上的特征点。r1表示特征点135a与图像的中心134a之间的长度，r2表示特征点135b与图像的中心134b之间的长度，h1表示从特征点135a到其在与x轴平行的摄像元件面170a、170b上的轴x1轴上的垂足的线段的长度，h2表示从特征点135b到其在与x轴平行的x1轴上的垂足的线段的长度。θ5表示线段r1与x1轴之间形成的夹角，θ6表示线段r2与x1轴之间形成的夹角。
根据图9示出了计算距对象物的距离W1的方法。根据图9，下面的式（1）～（4）成立。式（4）表示想要计算的距对象物的距离W1。
[数式1]
Figure BDA0000469946700000121
[数式2]
[数式3]
Figure BDA0000469946700000123
[数式4]
Figure BDA0000469946700000124
在式（1）～（4）中，r1、r2、h1和h2表示在执行特征点检测部51的处理后决定的值，单位是像素。θ2、θ1能够通过参照在入射角确定部53中参照的数值信息来确定。数值信息例如是能够根据特征点与图像中心之间的距离来参照入射角度的表，在图9的示例中，是考虑光学系统11的畸变像差的特性而决定的。用于得到输出值（入射角）的输入值是特征点与图像中心之间的距离即r1或者r2的理由，是将以图像中心为基础的同心圆上的点全部被认为是相同的畸变率作为基础的。如果得知来自对象物的光线向光学系统11a、11b的各镜头入射时的角度，则能够根据式（1）～（4）计算出距对象物的距离。
下面，使用图10～图12说明本实施方式的图像处理装置100的动作。
图10是表示模式决定部4进行的处理的流程图。
模式决定部4从车速检测部2接收表示本车辆的速度的信息，并判定本车辆的速度是否为预先设定的阈值速度S（km/h）以上（S10）。并且，在本车辆的速度为预先设定的阈值速度S（km/h）以上的情况下（步骤S10：是），模式决定部4进入步骤S11的处理，在本车辆的速度小于预先设定的阈值速度S（km/h）的情况下（步骤S10：否），模式决定部4进入步骤S12的处理。
在步骤S11中，作为测距模式，模式决定部4将从摄像部1得到的图像信息提供给测距部5。
另一方面，在步骤S12中，作为目视确认模式，模式决定部4将从摄像部1得到的图像信息提供给目视确认用图像生成部7。
图11是表示测距模式时的处理的流程图。
首先，特征点检测部51判定是否已通过模式决定部4取得了图像信息（S20）。在已取得图像信息的情况下（步骤S20：是），进入步骤S21的处理。
在步骤S21中，特征点检测部51根据从模式决定部4取得的图像信息，检测预先设定的对象物的预先设定的特征点。针对由第1摄像部1a提供的第1图像信息和由第2摄像部1b提供的第2图像信息双方，进行特征点的检测。
然后，像素区域确定部52确定与从车速检测部2得到的本车辆的速度对应的像素区域的尺寸，并决定像素区域的位置使得在该像素区域的尺寸的图像内包含由特征点检测部51检测出的特征点（S22）。针对由第1摄像部1a提供的第1图像信息和由第2摄像部1b提供的第2图像信息双方，进行像素区域的位置的决定。
并且，像素区域确定部52将表示在步骤S22中决定的像素区域的像素区域信息提供给摄像机参数设定部6。
摄像机参数设定部6对应于由像素区域确定部52确定的像素区域，生成用于切换摄像部1内的摄像元件12的驱动模式的驱动脉冲控制信号，并经由数据总线8将所生成的驱动脉冲控制信号提供给摄像部1（S24）。
并且，与步骤S22～S24的处理并行地，入射角确定部53借助于像素区域确定部52取得从模式决定部4输出的图像信息、和表示由特征点检测部51检测出的特征点的位置的特征点位置信息，根据这些信息确定向第1摄像部1a和第2摄像部1b各自的镜头的入射角（S25）。
然后，距离计算部54根据由入射角确定部53确定的入射角和由特征点检测部51检测出的特征点位置，计算距对象物的距离（S26）。
并且，距离计算部54将表示在步骤S26中计算出的距离的距离信息提供给信息传递部9（S27）。在取得了这种距离信息的信息传递部9中，例如在显示器等的显示部显示利用所取得的距离信息表示的距离。
接着，特征点检测部51判定是否已通过模式决定部4取得了图像信息（S28）。在已取得图像信息的情况下（步骤S28：是），进入步骤S29的处理。
在步骤S29中，特征点检测部51根据从模式决定部4取得的图像信息，判定是否能够检测出预先设定的对象物的预先设定的特征点。并且，特征点检测部51在能够检测出特征点的情况下（步骤S29：是），检测出特征点并进入步骤S29的处理，在不能检测出特征点的情况下（步骤S29：否），进入步骤S34的处理。
在步骤S30中，像素区域确定部52判定是否需要变更像素区域的尺寸及位置。例如，在从车速检测部2得到的本车辆的速度变化了规定的程度的情况下，像素区域确定部52判定为需要变更像素区域的尺寸，并且在特征点位置偏离像素区域的中心达规定的程度的情况下，判定为需要变更像素区域的位置。并且，像素区域确定部52在判定为需要变更像素区域的尺寸及位置中的至少任意一方的情况下（步骤S30：是），返回到步骤S22及步骤S25的处理，在判定为不需要变更像素区域的尺寸及位置中至少任意一方的情况下（步骤S30：否），进入步骤S31的处理。
在步骤S31中，入射角确定部53借助像素区域确定部52取得从模式决定部4输出的图像信息、和表示由特征点检测部51检测出的特征点的位置的特征点位置信息，根据这些信息确定向第1摄像部1a和第2摄像部1b各自的镜头的入射角。
然后，距离计算部54根据由入射角确定部53确定的入射角和由特征点检测部51检测出的特征点位置，计算距对象物的距离（S32）。
并且，距离计算部54将表示在步骤S32中计算出的距离的距离信息提供给信息传递部9（S33）。
另一方面，在步骤S34中，由于在拍摄到的图像中没有包含特征点，因而视为特征点脱离像素区域之外，像素区域确定部52使像素区域的位置向特征点脱离出去的方向移动。例如，像素区域确定部52预先将特征点位置信息按照时序顺序存储在特征点位置存储部52a中，根据利用该特征点位置信息表示的特征点位置的轨迹来确定脱离出去的方向。例如，像素区域确定部52可以将脱离出去的方向判定为特征点位置的轨迹朝向远离摄像图像中心的方向的方向，或者也可以是，根据将时刻t的特征点位置作为始点，将从该时刻t1起经过规定的时间后的时刻t2的特征点位置作为终点的矢量进行判定。
并且，像素区域确定部52将表示在步骤S34中变更后的像素区域的尺寸及位置的像素区域信息提供给摄像机参数设定部6（S35）。
摄像机参数设定部6对应于在步骤S35中提供的像素区域信息所表示的像素区域，生成用于切换摄像部1内的摄像元件12的驱动模式的传感器驱动脉冲控制信号，并经由数据总线8将所生成的传感器驱动脉冲控制信号提供给摄像部1（S36）。
图12是表示目视确认模式下的处理的流程图。
模式决定部4在判定为转入目视确认模式的情况下，向摄像机参数设定部6发出对像素区域进行初始化的指示（S40）。接收到这种指示的摄像机参数设定部6生成用于切换摄像部1内的摄像元件12的驱动模式的传感器驱动脉冲控制信号，以使得像素区域成为所有像素区域（最大图像尺寸），并经由数据总线8将所生成的传感器驱动脉冲控制信号提供给摄像部1。
然后，畸变校正部71确认模式决定部4是否已取得图像信息（S41）。并且，在已取得图像信息的情况下（步骤S41：是），畸变校正部71进入步骤S42的处理。
在步骤S42中，畸变校正部71校正从模式决定部4取得的图像信息的畸变。在此，对从第1摄像部1a取得的第1图像及从第2摄像部1b取得的第2图像双方的畸变进行校正。
并且，图像合成部72将由畸变校正部71校正后的第1图像的至少一部分和第2图像的至少一部分合成，由此生成合成图像（S43）。并且，图像合成部72将表示合成图像的合成图像信息提供给信息传递部9。已取得合成图像信息的信息传递部9使显示器等的显示部显示合成图像信息所表示的合成图像。
如上所述，在本实施方式中，根据车辆的速度，切换用于显示本车辆的周边图像的目视确认模式、和输出距位于本车辆前方的车辆的距离的测距模式，因而能够根据车辆的速度向车辆的驾驶员传递合适的信息。并且，在目视确认模式和测距模式时，均根据来自广角摄像机即摄像部1的图像信息进行适当处理，因而不需要设置分别适合于各模式的视场角的摄像机。另外，在测距模式时，根据车辆的速度变更由摄像部1拍摄的图像的尺寸，因而测距部5能够按照与车辆的速度对应的帧频取得来自摄像部1的图像信息。
在以上记载的实施方式中，摄像部1被搭载于本车辆的前方，但摄像部1的搭载位置不限于前方，也可以是本车辆的后方或者侧方。
另外，摄像元件12的电荷曝光时间的调整是通过摄像元件12的驱动脉冲控制来进行的，因而摄像机参数设定部6除了控制图像的像素区域外，还能够控制电荷的曝光时间。
在以上记载的实施方式中，在图11的步骤S34中变更像素区域的位置，然而也可以是例如扩大像素区域使其包含特征点。
在以上记载的实施方式中，距离计算部54将表示计算出的距离的距离信息提供给信息传递部9，然而也可以将例如颜色或者形状根据计算出的距离而变化的标记、或者根据计算出的距离而变化的警报声音提供给信息传递部9。如果向信息传递部9传送的信息是距离或标记，则信息传递部9作为车内的显示器发挥作用在画面上显示信息。另外，如果向信息传递部9传送的信息是声音，信息传递部9作为扬声器发挥作用，利用声音使驾驶员识别距前方对象物的距离。
标号说明
100图像处理装置；1a第1摄像部；1b第2摄像部；11光学系统；12摄像元件；13AD转换器；14传感器驱动电路；2车速检测部；3ECU；4模式决定部；5测距部；51特征点检测部；51a模板存储部；52像素区域确定部；52a特征点位置存储部；53入射角确定部；53a数值存储部；54距离计算部；6摄像机参数设定部；7目视确认用图像生成部；71畸变校正部；72图像合成部；8数据总线；9信息传递部。

Claims (18)

1.一种图像处理装置，其特征在于，该图像处理装置具有：
多个摄像部，其具有广角镜头，拍摄至少一部分范围重叠的图像；
车速检测部，其检测本车辆的速度；
测距部，其根据由所述多个摄像部拍摄的多个图像，计算从所述本车辆到由该多个摄像部拍摄到的对象物的距离；以及
目视确认用图像生成部，其根据由所述多个摄像部拍摄到的多个图像，生成用于确认所述本车辆附近的状况的目视确认用图像，
所述测距部具有像素区域确定部，该像素区域确定部针对所述多个摄像部分别确定在所述多个摄像部各自的拍摄中能够使用的所有像素中、与从所述多个摄像部分别输出的图像对应的像素区域的尺寸及位置，
所述车速检测部检测出的速度越快，则所述像素区域确定部越减小所述像素区域的尺寸。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述图像处理装置还具有模式决定部，该模式决定部在由所述车速检测部检测出的速度为预先设定的阈值速度以上的情况下，使所述测距部计算距所述对象物的距离，在检测出的速度低于所述预先设定的阈值速度的情况下，使所述目视确认用图像生成部生成所述目视确认用图像。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
所述图像处理装置还具有摄像机参数设定部，该摄像机参数设定部使得从所述多个摄像部输出由所述图像区域确定部确定的图像区域的尺寸的图像，
所述车速检测部检测出的速度越快，则所述测距部越提高从所述多个摄像部读出图像的帧频。
4.根据权利要求2或3所述的图像处理装置，其特征在于，
所述测距部还具有特征点检测部，该特征点检测部在由所述多个摄像部拍摄的各个图像中分别检测所述对象物的特征点，并分别确定相应的特征点的位置，
所述像素区域确定部分别确定所述像素区域的位置，以使得各像素区域分别包含由所述特征点检测部确定的特征点的位置。
5.根据权利要求4所述的图像处理装置，其特征在于，
由所述特征点检测部确定的特征点的位置相比在所述多个摄像部各自的拍摄中能够使用的所有像素的中心越靠下方，所述像素区域确定部越减小所述像素区域的尺寸。
6.根据权利要求4或5所述的图像处理装置，其特征在于，
所述测距部还具有特征点位置存储部，该特征点位置存储部存储表示由所述特征点检测部确定的特征点的位置的特征点位置信息，
在所述特征点检测部未能检测出所述特征点的情况下，所述像素区域确定部通过参照所述特征点位置信息，而确定所述特征点脱出的方向，并使所述像素区域的位置向该确定出的方向移动。
7.根据权利要求4～6中任意一项所述的图像处理装置，其特征在于，所述测距部还具有：
入射角确定部，其根据由所述特征点检测部确定出的特征点的位置，确定来自所述对象物的光入射到所述广角镜头的入射角：以及
距离计算部，其根据由所述入射角确定部确定出的入射角，计算距所述对象物的距离。
8.根据权利要求7所述的图像处理装置，其特征在于，
所述摄像部还具有摄像元件，该摄像元件接收透过所述广角镜头后的光，
所述测距部还具有存储数值信息的数值存储部，该数值信息针对距所述摄像元件的摄像面的中心的每种距离，表示来自所述对象物的光中的、通过所述广角镜头的中心而入射的光的入射角，
所述入射角确定部计算由所述特征点检测部检测出的特征点的位置与所述中心之间的距离，根据所述数值信息确定与计算出的距离对应的入射角。
9.根据权利要求1～8中任意一项所述的图像处理装置，其特征在于，
所述目视确认用图像生成部具有：
畸变校正部，其分别校正由所述多个摄像部拍摄的多个图像的畸变；以及
图像合成部，其从由所述畸变校正部校正后的多个图像中分别提取至少一部分图像，将该提取出的图像合成，由此生成目视确认用图像。
10.一种图像处理方法，其特征在于，该图像处理方法包括：
拍摄步骤，借助广角镜头来拍摄至少一部分范围重叠的多个图像；
车速检测步骤，检测本车辆的速度；
测距步骤，根据在所述拍摄步骤中拍摄到的多个图像，计算从所述本车辆到在所述拍摄步骤中拍摄到的对象物的距离；以及
目视确认用图像生成步骤，根据在所述拍摄步骤中拍摄到的多个图像，生成用于确认所述本车辆附近的状况的目视确认用图像，
所述测距步骤包括像素区域确定步骤，在该像素区域确定步骤中，针对所述多个图像分别确定在所述拍摄步骤的拍摄中能够使用的所有像素中、与在所述拍摄步骤中输出的图像对应的像素区域的尺寸及位置，
在所述车速检测步骤中检测出的速度越快，则在所述像素区域确定步骤中越减小所述像素区域的尺寸。
11.根据权利要求10所述的图像处理方法，其特征在于，
所述图像处理方法还包括模式决定步骤，当在所述车速检测步骤中检测出的速度为预先设定的阈值速度以上的情况下，使得在所述测距步骤中计算距所述对象物的距离，当检测出的速度低于所述预先设定的阈值速度的情况下，使得在所述目视确认用图像生成步骤中生成所述目视确认用图像。
12.根据权利要求10或11所述的图像处理方法，其特征在于，
所述图像处理方法还包括摄像机参数设定步骤，在该摄像机参数设定步骤中，使得在所述拍摄步骤中输出在所述图像区域确定步骤中确定的图像区域的尺寸的图像，
在所述车速检测步骤中检测出的速度越快，则在所述测距步骤中越提高在所述拍摄步骤中读出图像的帧频。
13.根据权利要求11或12所述的图像处理方法，其特征在于，
所述测距步骤还包括特征点检测步骤，在该特征点检测步骤中，在通过所述拍摄步骤而拍摄到的各个图像中分别检测所述对象物的特征点，并分别确定相应的特征点的位置，
在所述像素区域确定步骤中分别确定所述像素区域的位置，以使得各像素区域分别包含在所述特征点检测步骤中确定的特征点的位置。
14.根据权利要求13所述的图像处理方法，其特征在于，
在所述像素区域确定步骤中，在通过所述特征点检测步骤而确定的特征点的位置相比在所述拍摄步骤的拍摄中能够使用的所有像素的中心越靠下方，越减小所述像素区域的尺寸。
15.根据权利要求13或14所述的图像处理方法，其特征在于，
所述测距步骤还包括特征点位置存储步骤，在该特征点位置存储步骤中，存储表示通过所述特征点检测步骤而确定的特征点的位置的特征点位置信息，
在所述像素区域确定步骤中，当在所述特征点检测步骤中未能检测出所述特征点的情况下，通过参照所述特征点位置信息，而确定所述特征点脱出的方向，并使所述像素区域的位置向该确定出的方向移动。
16.根据权利要求13～15中任意一项所述的图像处理方法，其特征在于，
所述测距步骤还包括：
入射角确定步骤，根据通过所述特征点检测步骤而确定的特征点的位置，确定来自所述对象物的光入射到所述广角镜头的入射角：以及
距离计算步骤，根据通过所述入射角确定部而确定的入射角计算距所述对象物的距离。
17.根据权利要求16所述的图像处理方法，其特征在于，
所述拍摄步骤是借助接收透过所述广角镜头后的光的摄像元件来拍摄图像的步骤，
在所述入射角确定步骤中，计算通过所述特征点检测步骤而检测出的特征点的位置与所述中心之间的距离，通过参照数值信息来确定与距所述中心之间的距离对应的入射角，其中，该数值信息针对距所述摄像元件的摄像面的中心的每种距离，表示来自所述对象物的光中的、通过所述广角镜头的中心而入射的光的入射角。
18.根据权利要求10～17中任意一项所述的图像处理方法，其特征在于，
所述目视确认用图像生成步骤包括：
畸变校正步骤，分别校正通过所述拍摄步骤而拍摄到的多个图像的畸变；以及
图像合成步骤，从经所述畸变校正步骤校正后的多个图像中分别提取至少一部分图像，将该提取出的图像合成，由此生成目视确认用图像。
CN201280041668.XA 2011-09-05 2012-02-16 图像处理装置及图像处理方法 Expired - Fee Related CN103764448B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-192930 2011-09-05
JP2011192930 2011-09-05
PCT/JP2012/053657 WO2013035353A1 (ja) 2011-09-05 2012-02-16 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN103764448A true CN103764448A (zh) 2014-04-30
CN103764448B CN103764448B (zh) 2016-03-02

Family

ID=47831820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280041668.XA Expired - Fee Related CN103764448B (zh) 2011-09-05 2012-02-16 图像处理装置及图像处理方法

Country Status (5)

Country Link
US (1) US9426364B2 (zh)
JP (1) JP5615441B2 (zh)
CN (1) CN103764448B (zh)
DE (1) DE112012003685T5 (zh)
WO (1) WO2013035353A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105262931A (zh) * 2014-07-16 2016-01-20 聚晶半导体股份有限公司 利用景深信息的图像处理系统及其图像处理方法
CN105930764A (zh) * 2015-02-26 2016-09-07 卡西欧计算机株式会社 能对立体视野摄像的摄像装置以及摄像方法
CN107077600A (zh) * 2014-09-19 2017-08-18 奔德士商用车系统有限责任公司 用于3d对象再现的拼接图像的高级混合
CN107101154A (zh) * 2016-02-22 2017-08-29 法雷奥照明公司 设有光源矩阵的光束投射装置、照明和前照灯模块
CN107431747A (zh) * 2015-04-03 2017-12-01 日立汽车系统株式会社 摄像装置
CN108139202A (zh) * 2015-09-30 2018-06-08 索尼公司 图像处理装置、图像处理方法和程序
CN108349708A (zh) * 2016-03-02 2018-07-31 三菱电机大楼技术服务株式会社 乘客输送机的点检装置、点检系统及点检方法
CN108426521A (zh) * 2017-08-12 2018-08-21 中民筑友科技投资有限公司 一种构件的质量检测方法及装置
CN108873367A (zh) * 2018-06-29 2018-11-23 京东方科技集团股份有限公司 一种基于车辆驾驶的辅助显示装置及辅助显示方法
CN109643447A (zh) * 2016-09-28 2019-04-16 日立汽车系统株式会社 图像处理装置、摄像装置
CN111183334A (zh) * 2017-08-31 2020-05-19 株式会社OPTiM 图像解析距离信息提供系统、方法以及程序
CN112424566A (zh) * 2018-07-18 2021-02-26 三美电机株式会社 测距摄像机
CN113557172A (zh) * 2019-03-11 2021-10-26 株式会社小糸制作所 选通照相机、汽车、车辆用灯具、物体识别系统、运算处理装置、物体识别方法、图像显示系统、检查方法、摄像装置、图像处理装置
US20220417491A1 (en) * 2019-12-05 2022-12-29 Beijing Ivisual 3d Technology Co., Ltd. Multi-viewpoint 3d display apparatus, display method and display screen correction method

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013015847B3 (de) * 2013-09-24 2015-03-05 Mekra Lang Gmbh & Co. Kg Sichtsystem
US9460524B1 (en) * 2014-05-30 2016-10-04 Amazon Technologies, Inc. Estimating available volumes using imaging data
US10192122B2 (en) * 2014-08-21 2019-01-29 Mitsubishi Electric Corporation Driving assist apparatus, driving assist method, and non-transitory computer readable recording medium storing program
US9916505B2 (en) * 2014-09-22 2018-03-13 Deere & Company Method and system for collecting image data
US10595003B2 (en) * 2014-10-24 2020-03-17 Kyocera Corporation Stereo camera apparatus and vehicle comprising the same
US9499175B2 (en) * 2014-12-03 2016-11-22 Here Global B.V. Method and apparatus for providing an operational configuration for an autonomous vehicle
DE102016206493A1 (de) 2015-06-23 2016-12-29 Robert Bosch Gmbh Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
GB2564764B (en) * 2015-11-13 2021-11-10 Flir Systems Sonar sensor fusion and model based virtual and augmented reality systems and methods
DE112015007054B4 (de) 2015-11-20 2019-11-28 Mitsubishi Electric Corp. Fahrunterstützungsvorrichtung, fahrunterstützungssystem, fahrunterstützungsverfahren und fahrunterstützungsprogramm
CN108292469B (zh) * 2015-12-09 2021-02-05 笠原一 位置信息确定方法、装置以及计算机存储介质
WO2017115371A1 (en) * 2015-12-30 2017-07-06 Foresight Automotive Ltd. Apparatus and method for avoiding vehicular accidents
US20180109774A1 (en) * 2016-10-13 2018-04-19 Amchael Visual Technology Corporation Folded parallel-light-channel based stereo imaging system with disparity and convergence angle control
US20220116575A1 (en) * 2016-10-13 2022-04-14 Amchael Visual Technology Corporation Folded parallel-light-channel based stereo imaging system
WO2018106608A1 (en) 2016-12-05 2018-06-14 Ring Inc. Passing vehicle filters for audio/video recording and communication devices
JP6699902B2 (ja) * 2016-12-27 2020-05-27 株式会社東芝 画像処理装置及び画像処理方法
JP2019023787A (ja) * 2017-07-24 2019-02-14 株式会社デンソー 画像認識システム
WO2019022910A2 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated SYSTEM AND METHOD FOR DYNAMICALLY CONTROLLING PARAMETERS FOR PROCESSING SENSOR OUTPUT DATA
JP7069692B2 (ja) * 2017-12-20 2022-05-18 トヨタ自動車株式会社 画像表示装置
WO2019147796A1 (en) * 2018-01-26 2019-08-01 Bumblebee Spaces Inc. Hoist system with household object payload motion control utilizing ambient depth data
DE102018202656A1 (de) * 2018-02-22 2019-08-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erstellen von Panoramabildern
FR3082936A1 (fr) * 2018-06-20 2019-12-27 Psa Automobiles Sa Traitement stereoscopique de donnees de vehicules connectes
KR102177879B1 (ko) * 2019-02-26 2020-11-12 현대모비스 주식회사 차량의 객체 검출 장치 및 방법
CN110473236B (zh) * 2019-06-25 2022-03-15 上海圭目机器人有限公司 一种道面图像检测用相机的偏置位置的测量方法
CN112284330A (zh) * 2020-11-18 2021-01-29 青岛科美创视智能科技有限公司 一种基于鱼眼摄像机的距离测量系统及方法
JP2022131497A (ja) * 2021-02-26 2022-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
KR102615479B1 (ko) * 2021-11-24 2023-12-19 현대모비스 주식회사 램프 및 그것의 동작 방법, 차량
WO2024064621A1 (en) * 2022-09-19 2024-03-28 Velios Inc. Situational awareness systems and methods and micromobility platform

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002022830A (ja) * 2000-07-07 2002-01-23 Omron Corp 距離測定装置およびその距離測定方法
JP2004257837A (ja) * 2003-02-25 2004-09-16 Olympus Corp ステレオアダプタ撮像システム
JP2005236493A (ja) * 2004-02-18 2005-09-02 Nissan Motor Co Ltd 運転支援装置
JP2007058282A (ja) * 2005-08-22 2007-03-08 Fujitsu Ten Ltd 画像認識処理装置
CN101447019A (zh) * 2007-11-29 2009-06-03 爱信艾达株式会社 图像识别装置以及图像识别程序
JP2009169847A (ja) * 2008-01-18 2009-07-30 Fuji Heavy Ind Ltd 車外監視装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2887039B2 (ja) 1993-03-26 1999-04-26 三菱電機株式会社 車両周辺監視装置
JPH07280558A (ja) 1994-04-08 1995-10-27 Mitsubishi Motors Corp 三角測距方法及びその測距装置
JPH08136249A (ja) 1994-11-08 1996-05-31 Fuji Electric Co Ltd 距離検出装置
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JP3917285B2 (ja) 1998-02-18 2007-05-23 富士重工業株式会社 ステレオ画像処理装置
JP3596339B2 (ja) 1999-03-15 2004-12-02 日産自動車株式会社 車間距離計測装置
JP4342146B2 (ja) * 2002-04-08 2009-10-14 アイシン精機株式会社 駐車補助装置
JP4095491B2 (ja) 2003-05-19 2008-06-04 本田技研工業株式会社 距離測定装置、距離測定方法、及び距離測定プログラム
KR100580628B1 (ko) * 2003-11-08 2006-05-16 삼성전자주식회사 이동물체의 진행방향 추정 방법 및 시스템
US7298247B2 (en) * 2004-04-02 2007-11-20 Denso Corporation Vehicle periphery monitoring system
JP4899599B2 (ja) * 2006-04-07 2012-03-21 マツダ株式会社 車両の障害物検知装置
JP4762774B2 (ja) 2006-04-07 2011-08-31 本田技研工業株式会社 測距装置および車両の周辺監視装置
JP2007295113A (ja) 2006-04-21 2007-11-08 Matsushita Electric Ind Co Ltd 撮像装置
JP2008164338A (ja) 2006-12-27 2008-07-17 Nikon Corp 位置検出装置
JP2008172441A (ja) * 2007-01-10 2008-07-24 Omron Corp 検出装置および方法、並びに、プログラム
JP5088669B2 (ja) * 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
JP2009044597A (ja) 2007-08-10 2009-02-26 Nikon Corp 広角画像取得装置
JP4815488B2 (ja) * 2008-12-22 2011-11-16 本田技研工業株式会社 車両周辺監視装置
JP5432545B2 (ja) 2009-02-25 2014-03-05 株式会社トプコン 対象物検出装置
DE102011114059B4 (de) * 2011-09-22 2020-06-25 Daimler Ag Vorrichtung zur Anzeige von Bewegtbildern in einem Kraftfahrzeug sowie Kraftfahrzeug

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002022830A (ja) * 2000-07-07 2002-01-23 Omron Corp 距離測定装置およびその距離測定方法
JP2004257837A (ja) * 2003-02-25 2004-09-16 Olympus Corp ステレオアダプタ撮像システム
JP2005236493A (ja) * 2004-02-18 2005-09-02 Nissan Motor Co Ltd 運転支援装置
JP2007058282A (ja) * 2005-08-22 2007-03-08 Fujitsu Ten Ltd 画像認識処理装置
CN101447019A (zh) * 2007-11-29 2009-06-03 爱信艾达株式会社 图像识别装置以及图像识别程序
JP2009169847A (ja) * 2008-01-18 2009-07-30 Fuji Heavy Ind Ltd 車外監視装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105262931A (zh) * 2014-07-16 2016-01-20 聚晶半导体股份有限公司 利用景深信息的图像处理系统及其图像处理方法
CN107077600A (zh) * 2014-09-19 2017-08-18 奔德士商用车系统有限责任公司 用于3d对象再现的拼接图像的高级混合
CN105930764A (zh) * 2015-02-26 2016-09-07 卡西欧计算机株式会社 能对立体视野摄像的摄像装置以及摄像方法
CN105930764B (zh) * 2015-02-26 2019-10-11 卡西欧计算机株式会社 能对立体视野摄像的摄像装置、摄像方法以及存储介质
CN107431747A (zh) * 2015-04-03 2017-12-01 日立汽车系统株式会社 摄像装置
CN107431747B (zh) * 2015-04-03 2020-03-27 日立汽车系统株式会社 摄像装置
CN108139202A (zh) * 2015-09-30 2018-06-08 索尼公司 图像处理装置、图像处理方法和程序
CN107101154A (zh) * 2016-02-22 2017-08-29 法雷奥照明公司 设有光源矩阵的光束投射装置、照明和前照灯模块
CN108349708B (zh) * 2016-03-02 2019-08-27 三菱电机大楼技术服务株式会社 乘客输送机的点检装置、点检系统及点检方法
TWI695808B (zh) * 2016-03-02 2020-06-11 日商三菱電機大樓技術服務股份有限公司 乘客輸送帶之檢查裝置、檢查系統以及檢查方法
CN108349708A (zh) * 2016-03-02 2018-07-31 三菱电机大楼技术服务株式会社 乘客输送机的点检装置、点检系统及点检方法
CN109643447B (zh) * 2016-09-28 2023-10-13 日立安斯泰莫株式会社 图像处理装置、摄像装置
CN109643447A (zh) * 2016-09-28 2019-04-16 日立汽车系统株式会社 图像处理装置、摄像装置
CN108426521A (zh) * 2017-08-12 2018-08-21 中民筑友科技投资有限公司 一种构件的质量检测方法及装置
CN111183334B (zh) * 2017-08-31 2022-03-15 株式会社OPTiM 图像解析距离信息提供系统、方法以及记录介质
US11250582B2 (en) 2017-08-31 2022-02-15 Optim Corporation Image analysis distance information provision system, method, and program
CN111183334A (zh) * 2017-08-31 2020-05-19 株式会社OPTiM 图像解析距离信息提供系统、方法以及程序
US11320676B2 (en) 2018-06-29 2022-05-03 Boe Technology Group Co., Ltd. Head-up display device and display method thereof
CN108873367A (zh) * 2018-06-29 2018-11-23 京东方科技集团股份有限公司 一种基于车辆驾驶的辅助显示装置及辅助显示方法
CN112424566A (zh) * 2018-07-18 2021-02-26 三美电机株式会社 测距摄像机
CN113557172A (zh) * 2019-03-11 2021-10-26 株式会社小糸制作所 选通照相机、汽车、车辆用灯具、物体识别系统、运算处理装置、物体识别方法、图像显示系统、检查方法、摄像装置、图像处理装置
US20220417491A1 (en) * 2019-12-05 2022-12-29 Beijing Ivisual 3d Technology Co., Ltd. Multi-viewpoint 3d display apparatus, display method and display screen correction method

Also Published As

Publication number Publication date
JP5615441B2 (ja) 2014-10-29
US20140132707A1 (en) 2014-05-15
DE112012003685T5 (de) 2014-07-10
CN103764448B (zh) 2016-03-02
US9426364B2 (en) 2016-08-23
WO2013035353A1 (ja) 2013-03-14
JPWO2013035353A1 (ja) 2015-03-23

Similar Documents

Publication Publication Date Title
CN103764448B (zh) 图像处理装置及图像处理方法
JP4461091B2 (ja) 位置検出装置及びその補正方法
US20160379066A1 (en) Method and Camera System for Distance Determination of Objects from a Vehicle
JP5293131B2 (ja) 車両用複眼距離測定装置及び複眼距離測定方法
JP4893212B2 (ja) 周辺監視装置
JP2012198075A (ja) ステレオカメラ装置、画像補整方法
JP6089767B2 (ja) 画像処理装置、撮像装置、移動体制御システム及びプログラム
JP2012155516A (ja) 車両挙動記録システム
WO2019146510A1 (ja) 画像処理装置
JP2006318060A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP2008304248A (ja) 車載用ステレオカメラの校正方法、車載用距離画像生成装置及びプログラム
US11468691B2 (en) Traveling lane recognition apparatus and traveling lane recognition method
JP2006318062A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP3807583B2 (ja) 道路領域判定装置
JP2008174028A (ja) 対象物検出システム、及び対象物検出方法
JP2014130429A (ja) 撮像装置及び立体物領域検出用プログラム
JP2014211323A (ja) 画像処理装置、雨滴検出装置およびプログラム
KR101465236B1 (ko) 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법
JPH1153551A (ja) ライン検出装置
JP2007233487A (ja) 歩行者検出方法、装置、およびプログラム
JP6179249B2 (ja) 車両検出装置
JPH09222432A (ja) 速度違反車両撮像装置
JP5580062B2 (ja) 障害物検知警報装置
JP3373331B2 (ja) 車間距離検出装置
US20230328195A1 (en) Image processing device that can measure distance to object, movable apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160302

Termination date: 20180216

CF01 Termination of patent right due to non-payment of annual fee