CN110312120A - 图像处理装置、驾驶辅助系统及图像处理方法 - Google Patents

图像处理装置、驾驶辅助系统及图像处理方法 Download PDF

Info

Publication number
CN110312120A
CN110312120A CN201811283455.3A CN201811283455A CN110312120A CN 110312120 A CN110312120 A CN 110312120A CN 201811283455 A CN201811283455 A CN 201811283455A CN 110312120 A CN110312120 A CN 110312120A
Authority
CN
China
Prior art keywords
image
reference line
circuit
processing apparatus
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811283455.3A
Other languages
English (en)
Inventor
大木豊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Original Assignee
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Electronic Devices and Storage Corp filed Critical Toshiba Corp
Publication of CN110312120A publication Critical patent/CN110312120A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G06T5/80—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

提供一种伴随着立体相机的摄像系统的畸变等的图像变形的能够修正的图像处理装置、驾驶辅助系统及图像处理方法。根据本实施方式，对由相机摄像的第1图像及第2图像进行图像处理的图像处理装置具备基准线配置电路、参数取得电路及图像修正处理电路。基准线配置电路在上述第1图像及上述第2图像的至少一方上决定第1基准线的第1位置和第2基准线的第2位置。参数取得电路基于从上述第1位置上的第1基准线上的第1基准点到上述第2位置上的上述第2基准线上的第2基准点的线宽，决定图像畸变降低参数。图像修正处理电路基于上述图像畸变降低参数，降低上述第1图像或上述第2图像的图像畸变。

Description

图像处理装置、驾驶辅助系统及图像处理方法
本申请是以日本专利申请2018-052868(申请日：2018年3月20日)为基础，基于该申请而享受优先权。本申请通过参照该申请而包含同申请的全部内容。
技术领域
实施方式有关于图像处理装置、驾驶辅助系统及图像处理方法。
背景技术
已知一种技术，求取由立体相机取得的2图像间的对应的点，基于相机彼此的位置关系和各图像上对应点的位置，测量对象物体的3维位置。该技术用于车载用的驾驶员辅助系统、便携设备、游戏机等各种领域。
然而，由于对立体相机进行叠置的调整装置的温度特性、振动特性、立体相机自身的经年变化等，会产生伴随立体相机的光轴周围的横摆(yaw)旋转等的图像变形等。
发明内容
提供一种能够对伴随立体相机的摄像系统的畸变等的图像变形进行修正的图像处理装置、驾驶辅助系统及图像处理方法。
根据本实施方式，对由相机摄像的第1图像及第2图像进行图像处理的图像处理装置具备：基准线配置电路；参数取得电路；及图像修正处理电路。基准线配置电路在上述第1图像及上述第2图像之中的至少一方上决定第1基准线的第1位置和第2基准线的第2位置。参数取得电路基于从上述第1位置上的第1基准线上的第1基准点到上述第2位置上的上述第2基准线上的第2基准点的线宽，决定图像畸变降低参数。图像修正处理电路基于上述图像畸变降低参数，降低上述第1图像或上述第2图像的图像畸变。
根据上述构成的图像处理装置，能够进行对伴随相机的摄像系统中的横摆旋转的图像变形的修正。
附图说明
图1是表示一实施方式涉及的驾驶辅助系统的全体构成的块图。
图2是表示图像处理电路的详细构成的块图。
图3是表示由立体相机摄像的图像的图。
图4是表示基准线上的两个基准点的图。
图5是表示基准线上的3点以上的基准点的图。
图6是两个基准点的图像修正处理的参数的概念图。
图7是3个以上的基准点的图像修正处理的参数的概念图。
图8是表示图像处理电路的图像变换处理的一例的流程图。
具体实施方式
以下，对于本发明的实施方式涉及的驾驶辅助系统，参照附图详细地进行说明。另外，以下所示的实施方式是本发明的实施方式的一例，本发明不是限定于这些实施方式而被解释的。再者，在本实施方式中，在参照的附图中，有的情况下会在具有同一部分或同样的功能的部分上附上同一符号或类似的符号，省略其重复的说明。再者，存在附图的尺寸比率为了方便说明而不同于实际的比率的情况，或构成的一部分从附图中被省略的情况。
(一实施方式)
图1是表示一实施方式涉及的驾驶辅助系统1的全体构成的块图。如该图1所示，驾驶辅助系统1是根据立体图像而生成三维信息而辅助车辆的驾驶的系统。相对具体地来说，该驾驶辅助系统1构成为具备立体相机10、图像处理装置20、驾驶辅助装置30、语音装置40及制动装置50。
立体相机10构成为具备第1相机100和第2相机102。各相机100、102具备例如作为摄像元件的CMOS图像传感器。由此，第1相机100对第1图像进行摄像，第2相机102对第2图像进行摄像。将各相机100、102的摄像光学系的光轴设为Z轴，将摄像元件配置为二维状的CMOS图像传感器的摄像面配置为平行于X-Y平面。
图像处理装置20是对由立体相机10摄像的第1图像和第2图像进行图像处理而得到三维信息的装置，构成为含有CPU(Central Processing Unit)。该图像处理装置20的详细构成将在后面叙述。
驾驶辅助装置30对应图像处理装置20的输出信号而辅助车辆的驾驶。驾驶辅助装置30上连接有语音装置40、制动装置50等。
语音装置40例如是扬声器，配置在从车辆内的驾驶席能听得到讲话的位置。驾驶辅助装置30基于图像处理装置20的输出信号，使语音装置40产生例如“到对象物体为止5米”等语音。由此，例如在驾驶员的注意力降低的情况下，通过听语音，也能够唤起驾驶员的注意。
制动装置50例如是辅助制动器，基于图像处理装置20的输出信号而对车辆进行制动。例如对象物体接近至规定的距离，例如接近至3米的情况下，驾驶辅助装置30使制动装置50对车辆进行制动。
此处，对图像处理装置20的详细构成进行说明。该图像处理装置20具有对载置立体相机10的调整装置的温度特性、振动特性、立体相机10自身的绕横摆角旋转等产生的图像变形等进行修正处理的功能。该图像处理装置20具有存储部200、图像处理电路202、三维处理电路204、显示控制电路206、显示监视器208及通信部210。
存储部200例如构成为包含ROM(Read Only Memory)及RAM(Random AccessMemory)等，存储图像处理相关的程序、在图像处理电路202中使用的图像修正处理的参数、控制参数等。本实施方式涉及的图像处理装置20中，通过执行存储于存储部200的程序，实现本实施方式涉及的图像处理装置20的功能。
图像处理电路202是进行由立体相机10摄像的第1图像及第2图像的修正处理的处理电路。例如该图像处理电路202能够进行立体相机的摄像系统的畸变，摄像系统的滚动和俯仰旋转，特别是伴随绕立体相机10的光轴的横摆旋转等图像变形的修正。另外，图像处理电路202的详细构成将在后面叙述。
三维处理电路204是通过对由图像处理电路202修正处理的第1及第2图像的立体进行匹配处理而得到三维信息的处理电路。设第1图像上的像素的坐标(XL、YL)、对应的第2图像上的像素的坐标(XR、YR)，三维处理电路204例如通过(1)式来取得Z的值。
此处，设各相机100、102的摄像光学系的焦点距离为f，相机100、102的间隔为h。第1图像及第2图像的对应点的X坐标的偏移(XL―XR)对应视差。
再者，三维处理电路204是进行从例如三维点群(X、Y、Z)之中抽出对象物体、例如人或车的处理的处理电路。此外，三维处理电路204对对应例如变换为第1图像的像素(XL、YL)之后的三维点群(X、Y、Z)的Z的值的颜色进行分配颜色处理等。
显示控制电路206是进行将由图像处理电路202得到的信息显示于显示监视器208的控制的处理电路。例如，显示控制电路206将与通过后面叙述的参数取得电路218而得到的参数相关的信息显示于显示监视器208。再者，显示控制电路206也可以将通过三维处理电路204而得到的颜色处理后的图像或对象物体的位置信息等显示于显示监视器208。
显示监视器208例如是液晶显示器，如上所述地显示通过图像处理电路202而得到的信息。通信部210构成为例如包含天线，将通过图像处理电路202而得的信息送信至未图示的管理装置。管理装置例如是服务器，用于驾驶辅助系统1的品质管理。
图2是表示图像处理电路202的详细构成的块图。如图2所示，图像处理电路202构成为具备基准线配置电路212、图像修正处理电路214、图像信息取得电路216、参数取得电路218及判定电路220。
图3是表示由立体相机10摄像的图像的图，图3(a)是表示由第1相机100摄像的第1图像，图3(b)表示由第2相机102摄像的第2图像。如图3(a)所示，两个基准线L1、L2沿着例如道路上的白线的内侧的线而配置。
如图3(a)、图3(b)所示，基准线配置电路212将真实空间中与平行线相当的两个基准线L1、L2配置于第1图像及第2图像之中的至少一方。例如，基准线配置电路212配置从第1图像之中，配置对应距立体相机10的距离，宽度几乎是线性变化的两个基准线L1、L2。因此，两个基准线L1、L2不限于白线的内侧线，也可是外侧线。或者，也可以设一方为内侧线，另一方为外侧线。再者，护栏或路缘石等只要满足上述的条件，也可以设为基准线。
再者，基准线配置电路212为了视差的计算用而将对应基准线L1的第2基准线R1配置于第2图像。由此，能够将与基准线L1上的基准点对应的点从第2基准线R1取得，并能够取得视差的信息。另外，对应基准线L1上的基准点的点能够取得的情况下，也可以不配置第2基准线R1。
例如，基准线配置电路212通过一般的线段抽出的算法而检测出线段，对应距立体相机10的距离而检测出宽度为线性变化的两个线段的组合，配置两个基准线L1、L2。为了配置这两个基准线L1、L2，基准线配置电路212也可以将检测线段的时机设为符合规定的条件的时间点。该基准线配置电路212具有例如GPS功能，若地图信息上的直线状的道路达到连续规定距离以上的位置，则开始线段的检测。例如，若白线作为直线而达到连续规定距离，例如连续100米以上的位置，基准线配置电路212开始线段的检测。由此，能够相对高效地配置基准线L1、L2。
从这些可以看出，在真实空间中，虽然希望两个基准线L1、L2处于平行而提升修正精度，但为了获得修正效果，也可以不完全平行。例如，如后面叙述的图6(a)、图7(a)，基准线L1上的2点以上的基准点的各自的视差和通过各自的基准点的平行线的基准线L1、L2之间的宽度若随着视差的增加而单调地增加，则能够得到修正的效果。另外，本实施方式中，虽然对第1图像进行两个基准线L1、L2的配置，但不限定于此，也可以对第2图像进行两个基准线的配置。或者，也可以对第1图像及第2图像进行两个基准线的配置。
图像修正处理电路214用参数取得电路218取得的参数对第1及第2图像之中的至少一方进行图像修正处理。另外，关于参数取得电路218将在后面叙述。
相对具体来说，图像修正处理电路214用参数取得电路218取得的参数，以第1图像及第2图像所对应的无限远点的视差变小并接近于0的方式，通过例如(2)、(3)式所示的坐标变换，对第1图像及第2图像的至少一方进行图像修正处理。像这样，图像修正处理电路214用例如单应性变换进行图像修正处理。
此处，将旋转矩阵设为ML，各个()x、()y、()z设为矢量的X、Y、Z成分，将K1设为上述立体相机10的内部参数，将K2设为单应性变换后的立体相机10的内部参数，将PL设为单应性变换前的第1图像内的一坐标点的位置矢量，将XL’设为单应性变换后的位置矢量PL的X坐标，将YL’设为Y坐标。参数取得电路218取得的参数的意思是旋转矩阵ML。
由此，图像修正处理电路214对真实空间中配置有相当于平行线的两个基准线L1、L2的第1图像进行图像修正处理，在真实空间中，对应将平行的两个基准线L1、L2延长而得的交点(无限远点)的第1图像及第2图像的视差变小并接近于0。像这样，若包含产生于第1图像及第2图像的摄像系统的滚动和俯仰旋转的摄像系统的畸变，伴随摄像光学系统的绕光轴的横摆旋转等的图像变形被修正，则对应的无限远点的第1图像及第2图像上的视差变小且接近于0。
像这样，图像修正处理电路214能够对如下内容实施图像修正：立体相机10的调整装置的夹具等的温度特性、振动特性、经年变化等致使的图像变形；包含摄像系统的滚动和俯仰旋转的摄像系统的畸变；及伴随立体相机10的摄像光学系的绕光轴的横摆旋转等伴随的图像变形等。
图像信息取得电路216取得基准线配置电路212配置的两个基准线L1、L2之中的一方基准线上的多个基准点各自的视差和通过各自基准点的平行线的基准线间的宽度。这些用于后面叙述的参数取得电路218中的参数的取得。
图4是说明在通过两个基准点而取得参数的情况下，图像信息取得电路216取得的两个基准点XL0、XL2各自的视差和通过各自的基准点的平行线的基准线间的宽度的例子的图。图4(a)表示由第1相机100摄像的第1图像，图4(b)表示由第2相机102摄像的第2图像。如图4(a)所示，两个基准线L1、L2沿着道路上的白线的内侧的线而配置，对应基准线L1的第2线R1配置于第2图像内。
第1直线LH1及第2直线LH2是平行线。第1直线LH1和基准线L1、L2及第2线R1的交点是XL0、XL1，XR0。同样，第2直线LH2和基准线L1、L2及第2线R1的交点是XL2、XL3，XR2。
从这些可以看出，基准线L1上的第1基准点XL0的视差1是(XL0-XR0)，基准线L1上的第2基准点XL2的视差2是(XL2-XR2)。再者，白线宽1是(XL1-XL0)，白线宽2是(XL3-XL2)。
像这样，在由两个基准点来取得参数的情况下，图像信息取得电路216取得基准线L1上的第1基准点XL0的视差1(XL0-XR0)及其白线宽1(XL1-XL0)、和第2基准点XL2的视差2(XL2-XR2)及其白线宽2(XL3-XL2)。
更详细来说，图像信息取得电路216在通过两个基准点来取得参数的情况下，取得2个基准线L1、L2中的一方的基准线L1上的第1基准点XL0的视差1(XL0-XR0)及第1宽度、和一方的基准线L1上的第2基准点XL2的视差2(XL2-XR2)及第2宽度，所述第1宽度是通过第1基准点XL0与另一方的基准线L2交叉的第1直线LH1的基准线L1、L2间的宽度(白线宽1(XL1-XL0))，所述第2宽度是与一方的基准线L1平行且通过第2基准点XL2与另一方的基准线L2交叉的第2直线LH2的基准线L1、L2间的宽度(白线宽2(XL3-XL2))。此处，由于将第1直线LH1和第2直线LH2设为水平线，相关于Y坐标的表述被省略。另外，虽然将本实施方式涉及的第1直线LH1、第2直线LH2设为水平线，但不限定于此，第1直线LH1与第2直线LH2是平行的即可。
图5是在通过两个以上的基准点而取得参数的情况下，图像信息取得电路216取得的两个以上的基准点1～8各自的视差和通过各自的基准点1～8的平行线的基准线L1、L2间的宽度的例子的图。图5(a)表示由第1相机100摄像的第1图像，图5(b)表示由第2相机102摄像的第2图像。如图5(a)所示，两个基准线L1、L2沿着道路上的白线的内侧的线而配置，对应基准线L1的第2线R1配置于第2图像内。
如图5(a)、图5(b)所示，图像信息取得电路216也可以取得3点以上的基准点。例如，如图5(a)、图5(b)所示，图像信息取得电路216取得一方的基准线L1上的3点以上的基准点1～8的各自的视差和通过各自的基准点1～8的平行线的基准线L1、L2间的宽度w1～w8。另外，在图5内，仅附上符号w1、w4。根据这些3点以上的基准点的参数取得电路218的处理在后面叙述。
参数取得电路218基于图像信息取得电路216取得的多个基准点各自的视差和通过各自的基准点的平行线的基准线间的宽度而取得图像修正处理电路的修正参数。
图6是在通过两个基准点而取得参数的情况下的图像修正处理的参数的概念图。此处，表示了基于两个基准点XL0、XL2的图像修正处理的参数的例。图6(a)及(b)的横轴表示视差，纵轴表示两个基准线4L1、L2间的宽度，即，表示白线宽。图6(a)表示将图像信息取得电路216取得的图像修正前的基准点XL0的视差1及白线宽1和基准点XL2的视差2及白线宽2连接的直线，图6(b)表示图像修正后的基准点XL0的视差1及白线宽1和基准点XL2的视差2及白线宽2连接的直线。
将图像修正前的、基准点XL0的视差1及白线宽1和基准点XL2的视差2及白线宽2连接的直线的截距表示有限值b。另一方面，将图像修正后的基准点XL0的视差1及白线宽1和基准点XL2的视差2及白线宽2连接的直线的截距表示为0。从这些可以看出，参数取得电路218取得图像修正处理电路214的参数，该图像修正处理电路214将坐标变换后，即图像修正后的基准点XL0的视差1及白线宽1和基准点XL2的视差2及白线宽2连接的直线的截距设为0。
换言之，参数取得电路218取得使视差1和白线宽1的第1比率与视差2和白线宽2的第2比率相等的图像修正处理电路214的参数。另外，本实施方式中，虽然将图像修正处理电路214的图像修正处理相对于第1图像而进行，但不限定于此，也可以对第2图像进行图像修正处理。或者，也可以对第1图像及第2图像进行图像修正处理。
像这样，参数取得电路218基于图像信息取得电路216如上所述地取得的2个基准线L1、L2中的一方的基准线L1上的第1点XL0的视差1(XL0-XR0)及第1宽度、和一方基准线L1上的第2点XL2的视差2(XL2-XR2)及第2宽度，取得图像修正处理的参数，所述第1宽度为通过第1点XL0与另一方的基准线L2交叉的第1直线LH1的基准线L1、L2间的宽度(白线宽1(XL1-XL0))，所述第2宽度为与一方的基准线L1平行且通过第2点XL2而与另一方的基准线L2交叉的第2直线LH2的基准线L1、L2间的宽度(白线宽2(XL3-XL2))。即，参数取得电路218取得将基准点XL0的视差1(XL0-XR0)及白线宽1和基准点XL2的视差2(XL2-XR2)及白线宽2连接的直线的截距设为0的参数，即式(2)、(3)表示的旋转矩阵ML的各要素的值。换言之，参数取得电路218取得使视差1(XL0-XR0)和白线宽1的第1比率与视差2(XL2-XR2)和白线宽2的第2比率相等的参数，即取得式(2)、(3)表示的旋转矩阵ML的各要素的值。
图7是根据3个以上的基准点1～8(图5)的图像修正处理的参数的概念图。图7(a)表示连接图像修正前的基准点1～8的视差及白线宽的直线，图7(b)表示连接图像修正后的基准点1～8的视差及白线宽的直线。图7(a)及(b)的横轴表示视差，纵轴表示两个基准线L1、L2间的宽度，即表示白线宽。在图7(a)及(b)中，基准点8点之中，作为例子绘制了5点。附图表示的直线是从2个基准点的组画出的直线的例子，实际上每个组都画出有直线。
与图6同样，连接图7(a)的基准点1～8的视差及白线宽的直线的截距表示有限值。另一方面，关于图像修正后的图7(b)，连接基准点1～8的视差及白线宽的直线的截距表示0。
参数取得电路218以例如(4)式所示的成本函数E变小并接近0的方式取得式(2)、(3)表示的旋转矩阵ML的各要素的值。
此处，在2个基准点的组合之中，将与立体相机10相距较远的基准点1的视差设为视差1，其白线宽设为白线宽1。同样地，将相距立体相机10较近的基准点2的视差设为视差2，其白线宽记为白线宽2。如图5(a)、图5(b)所示，基准点的配对(1、5)、(2、6)、(3、7)、(4、8)存在的情况下，将例如距立体相机10较远的基准点5的视差设为视差1，其白线宽设为白线宽1。同样地，将距立体相机10较近的基准点1的视差设为视差2，将其白线宽记为白线宽2。同样地，将距立体相机10较远的基准点6的视差设为视差1，其白线宽设为白线宽1。同样地，将距立体相机10较近的基准点2的视差设为视差2，其白线宽记为白线宽2。
即，(4)式表示的成本函数是对基准点的配对(pair)(1、5)、(2、6)、(3、7)、(4、8)各自的截距的值的平方进行加法计算的函数。即，参数取得电路218基于通过一方的基准线L1上的2点以上的基准点的各自的视差和通过各自的基准点的平行线的基准线L1、L2间的宽度，从2点以上的基准点1～8之中的2点的组合、各个点配对(1、5)、(2、6)、(3、7)、(4、8)之中分别求取表示视差与宽度的关系的线性式的截距，基于各个截距的值，规定成本函数。
再者，参数取得电路218如(5)至(7)式所示，也可以将伴随着截距d的值变小而值变大的权重值w(d)乘以基于各截距的值。由此，在截距d的值为极端大的值的时候，权重变小，对成本函数的影响会变小。因此，基准线上的坐标的视差没有线性变化的情况下，即基准线L1、L2在真实空间内不平行的情况等，能够避免成本函数的精度的降低。再者，相机10等的摄像系统的误差所产生的影响也能够降低。
∑w(d)×d2 (5)式
此处，H是任意的常数。以使这样的成本函数最小化的方式算出用(2)、(3)式表示的旋转矩阵ML。
判定电路220基于图像修正处理的参数，判定是否进行图像修正处理。例如，判定电路220在参数取得电路218取得的旋转矩阵ML的值超过规定值的情况下，判定为进行图像修正处理。
图8是表示图像处理电路202的图像变换处理的一例的流程图。如该图8所示，基准线配置电路212从第1图像之中，配置对应距立体相机10的距离，宽度几乎线性变化的两个基准线L1、L2(步骤S100)。下一步，图像信息取得电路216取得一方的基准线L1上的2点以上的基准点的各自的视差和通过各自的基准点的平行线的基准线L1、L2间的宽度(步骤S102)。
下一步，参数取得电路218基于一方的基准线L1上的2点以上的基准点的各自的视差和通过各自的基准点的平行线的基准线L1、L2间的宽度，设定成本函数(步骤S104)，取得图像修正处理电路214的图像修正参数(步骤S106)。然后，图像修正处理电路214用图像修正参数，对第1及第2图像内的至少一方进行图像修正处理(步骤S108)。另外，可以在每次取得第1图像及第2图像时来取得图像修正参数，也可以在特定的时机、例如驾驶辅助系统1的校准时等来取得图像修正参数。
如以上所述，根据本实施方式，真实空间中，将相当于平行线的两个基准线L1、L2配置于第1图像及第2图像之中的至少一方，取得使延长两个基准线L1、L2的交点的第1图像和第2图像的视差变小并接近于0的图像修正处理的参数。由此，若用图像修正处理的参数而对第1图像及第2图像之中的至少一方进行图像修正处理，则第1图像和第2图像内的对应的无限远点的视差变小并接近于0，伴随立体相机的摄像系统中的横摆旋转的图像变形的修正成为可能。
虽然对本发明的若干个实施方式进行了说明，这些实施方式是作为例子来例示的，无意于限定发明的范围。这些新的实施方式，能够以其他的各种方式来实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。这些实施方式或其变形在包含于发明的范围或主旨的同时，包含在记载于专利权利要求范围的发明及其均等的范围。
【符号的说明】
1：驾驶辅助系统
10：立体相机
20：图像处理装置
202：图像处理电路
204：三维处理电路
210：通信部
212：基准线配置电路
214：图像修正处理电路
216：图像信息取得电路
218：参数取得电路
220：判定电路

Claims (19)

1.一种图像处理装置，对由相机摄像的第1图像及第2图像进行图像处理，具备：
基准线配置电路，在所述第1图像及所述第2图像之中的至少一方上决定第1基准线的第1位置和第2基准线的第2位置；
参数取得电路，基于从所述第1位置处的第1基准线上的第1基准点到所述第2位置处的所述第2基准线上的第2基准点为止的线宽，决定图像畸变降低参数；及
图像修正处理电路，基于所述图像畸变降低参数，降低所述第1图像或所述第2图像的图像畸变。
2.如权利要求1所述的图像处理装置，其中，
所述参数取得电路基于从所述第1位置处的所述第1基准线上的多个第1基准点到所述第2位置处的所述第2基准线上的多个第2基准点的多个线宽，分别生成多个图像畸变降低参数。
3.如权利要求2所述的图像处理装置，其中，
所述图像修正处理电路将多个图像畸变降低参数的成本函数设为最小。
4.如权利要求3所述的图像处理装置，其中，
所述图像修正处理电路将所述成本函数的值设为最小，设为0值。
5.如权利要求1所述的图像处理装置，其中，
所述第1基准线和所述第2基准线在真实空间中相当于平行线。
6.如权利要求1所述的图像处理装置，其中，
所述图像修正处理电路通过单应性矩阵来进行图像修正处理。
7.如权利要求1所述的图像处理装置，其中，
所述参数取得电路基于所述第1基准线及所述第2基准线中的一方的基准线上的第1点的第1视差及第1宽度、和所述一方的基准线上的第2点的第2视差及第2宽度，规定所述成本函数，所述第1宽度是通过所述第1点与另一方的基准线交叉的第1直线的基准线间的宽度，所述第2宽度是与所述第1直线平行且通过所述第2点与另一方的基准线交叉的所述第2直线的基准线间的宽度。
8.如权利要求7所述的图像处理装置，其中，
所述参数取得电路规定了使所述第1视差和所述第1宽度的第1比率，与所述第2视差和所述第2宽度的第2比率相等的成本最小的所述成本函数。
9.如权利要求1所述的图像处理装置，其中，
所述参数取得电路基于所述一方的基准线上的2点以上的基准点的各自的视差和通过各自的基准点的平行线的基准线间的宽度，从所述2点以上的基准点之中的2点的组合的各自中分别求取表示视差与宽度的关系的线性形式的截距，规定基于各自的截距的值的所述成本函数。
10.如权利要求8所述的图像处理装置，其中，
所述参数取得电路基于所述一方的基准线上的2点以上的基准点的各自的视差和通过各自的基准点的平行线的基准线间的宽度，从所述2点以上的基准点之中的2点的组合的各自中分别求取表示视差和宽度的关系的线性形式的截距，规定基于各自的截距的值的所述成本函数。
11.权利要求9所述的图像处理装置，其中，
所述成本函数是将随着所述截距的值变小而变大的权重值乘以基于各截距的值的函数。
12.如权利要求1所述的图像处理装置，其中，
还具备基于所述图像修正处理的参数判断是否进行所述图像修正处理的判定电路。
13.如权利要求1所述的图像处理装置，其中，
还具备三维处理电路，所述三维处理电路进行基于对所述第1图像及所述第2图像之中的至少一方进行所述图像修正处理后的所述第1图像及所述第2图像的三维处理。
14.如权利要求12所述的图像处理装置，其中，
还具备三维处理电路，所述三维处理电路进行基于对所述第1图像及所述第2图像之中的至少一方进行所述图像修正处理后的所述第1图像及所述第2图像的三维处理。
15.如权利要求1所述的图像处理装置，其中，
还具备显示监视器，所述显示监视器显示基于通过所述图像修正处理而被修正处理后的所述第1图像及所述第2图像之中的至少一方的图像信息。
16.如权利要求13所述的图像处理装置，其中，
还具备显示监视器，所述显示监视器显示基于通过所述图像修正处理而被修正处理后的所述第1图像及所述第2图像之中的至少一方的图像信息。
17.如权利要求14所述的图像处理装置，其中，
还具备显示监视器，所述显示监视器显示基于通过所述图像修正处理而被修正处理后的所述第1图像及所述第2图像之中至少一方的图像信息。
18.一种驾驶辅助系统，其中，具备：
如权利要求1所述的图像处理装置；以及
驾驶辅助装置，基于通过所述图像处理装置而得到的信息，辅助车辆的驾驶。
19.一种图像处理方法，对由相机摄像的第1图像及第2图像进行处理，包括：
在所述第1图像及所述第2图像之中的至少一方上决定第1基准线的第1位置和第2基准线的第2位置的工序；
基于从所述第1位置处的第1基准线上的第1基准点到所述第2位置处的所述第2基准线上的第2基准点为止的线宽，决定图像畸变降低参数的工序；以及
基于所述图像畸变降低参数，降低所述第1图像或所述第2图像的图像畸变的工序。
CN201811283455.3A 2018-03-20 2018-10-31 图像处理装置、驾驶辅助系统及图像处理方法 Withdrawn CN110312120A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-052868 2018-03-20
JP2018052868A JP6895403B2 (ja) 2018-03-20 2018-03-20 画像処理装置、運転支援システム、及び画像処理方法

Publications (1)

Publication Number Publication Date
CN110312120A true CN110312120A (zh) 2019-10-08

Family

ID=64083012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811283455.3A Withdrawn CN110312120A (zh) 2018-03-20 2018-10-31 图像处理装置、驾驶辅助系统及图像处理方法

Country Status (5)

Country Link
US (1) US10771688B2 (zh)
EP (1) EP3543951A1 (zh)
JP (1) JP6895403B2 (zh)
KR (1) KR20190110419A (zh)
CN (1) CN110312120A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6956051B2 (ja) 2018-09-03 2021-10-27 株式会社東芝 画像処理装置、運転支援システム、画像処理方法及びプログラム
CN111311742B (zh) * 2020-03-27 2023-05-05 阿波罗智能技术(北京)有限公司 三维重建方法、三维重建装置和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080309763A1 (en) * 2007-04-18 2008-12-18 Sanyo Electric Co., Ltd. Driving Support System And Vehicle
CN101836451A (zh) * 2007-10-18 2010-09-15 三洋电机株式会社 照相机校正装置及方法、以及车辆
US20100231717A1 (en) * 2009-03-16 2010-09-16 Tetsuya Sasaki Image adjusting device, image adjusting method, and on-vehicle camera
CN104735293A (zh) * 2013-12-24 2015-06-24 卡西欧计算机株式会社 图像修正装置及图像修正方法
CN105191278A (zh) * 2014-04-16 2015-12-23 西奈特株式会社 广角镜头图像校正方法及其装置
WO2017036927A1 (en) * 2015-09-01 2017-03-09 Autoliv Development Ab Vision system for a motor vehicle and method of controlling a vision system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5588812B2 (ja) 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
JP2013123123A (ja) * 2011-12-09 2013-06-20 Fujitsu Ltd ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
DE112013002200T5 (de) * 2012-04-27 2015-01-08 Adobe Systems Incorporated Automatische Anpassung von Bildern
JP6251099B2 (ja) * 2014-03-24 2017-12-20 国立大学法人東京工業大学 距離算出装置
JP6322024B2 (ja) 2014-03-28 2018-05-09 株式会社Ｓｕｂａｒｕ 車外監視装置
JP5906272B2 (ja) 2014-03-28 2016-04-20 富士重工業株式会社 車両用ステレオ画像処理装置
JP2016225719A (ja) 2015-05-27 2016-12-28 京セラ株式会社 ステレオカメラ装置、車両、および較正方法
JP6489645B2 (ja) * 2015-06-19 2019-03-27 株式会社Ｓｕｂａｒｕ 画像処理装置
EP3358295B1 (en) * 2015-09-28 2020-10-07 Kyocera Corporation Image processing device, stereo camera device, vehicle, and image processing method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080309763A1 (en) * 2007-04-18 2008-12-18 Sanyo Electric Co., Ltd. Driving Support System And Vehicle
CN101836451A (zh) * 2007-10-18 2010-09-15 三洋电机株式会社 照相机校正装置及方法、以及车辆
US20100231717A1 (en) * 2009-03-16 2010-09-16 Tetsuya Sasaki Image adjusting device, image adjusting method, and on-vehicle camera
CN104735293A (zh) * 2013-12-24 2015-06-24 卡西欧计算机株式会社 图像修正装置及图像修正方法
CN105191278A (zh) * 2014-04-16 2015-12-23 西奈特株式会社 广角镜头图像校正方法及其装置
WO2017036927A1 (en) * 2015-09-01 2017-03-09 Autoliv Development Ab Vision system for a motor vehicle and method of controlling a vision system

Also Published As

Publication number Publication date
JP2019164667A (ja) 2019-09-26
US20190297254A1 (en) 2019-09-26
EP3543951A1 (en) 2019-09-25
JP6895403B2 (ja) 2021-06-30
US10771688B2 (en) 2020-09-08
KR20190110419A (ko) 2019-09-30

Similar Documents

Publication Publication Date Title
CN108805934A (zh) 一种车载摄像机的外部参数标定方法及装置
JP4636346B2 (ja) 車載カメラの校正装置、方法、及びプログラム
KR101408426B1 (ko) 화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법, 보정 테이블 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체 및 보정 화상 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체
CN105594203B (zh) 车辆周边图像显示装置以及照相机的调整方法
US8134608B2 (en) Imaging apparatus
CN102736634B (zh) 一种用于汽车全景图的摄像头角度调节方法
JP5240527B2 (ja) 車載カメラの校正装置、方法、及びプログラム
US11188768B2 (en) Object detection apparatus, object detection method, and computer readable recording medium
CN112489136B (zh) 标定方法、位置确定方法、装置、电子设备及存储介质
CN109118547A (zh) 多摄像头联合标定系统和方法
US10740923B2 (en) Face direction estimation device and face direction estimation method for estimating the direction of a face represented on an image
CN109447901B (zh) 一种全景成像方法和装置
CN110312120A (zh) 图像处理装置、驾驶辅助系统及图像处理方法
CN110400273A (zh) 深度数据的滤波方法、装置、电子设备和可读存储介质
CN109982038A (zh) 显示声源位置的方法、装置及计算机设备
US20160121806A1 (en) Method for adjusting output video of rear camera for vehicles
JP2009276233A (ja) パラメータ計算装置、パラメータ計算システムおよびプログラム
CN111491156A (zh) 用于相机校准的方法和装置
JP2013024712A (ja) 複数カメラの校正方法及び校正システム
JP5448056B2 (ja) 歪み画像補正装置及び方法
CN117078769A (zh) 一种电子后视镜cms摄像头外参数标定方法及系统
CN110188665B (zh) 图像处理方法、装置以及计算机设备
JP2011130290A (ja) カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置
CN110503683B (zh) 一种基于单目测距的狭窄车位倒车入库引导方法和系统
JP2010178018A (ja) 車両の周辺を画像表示するための装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20191008