CN101410868A - 驾驶辅助装置 - Google Patents

驾驶辅助装置 Download PDF

Info

Publication number
CN101410868A
CN101410868A CNA2007800114284A CN200780011428A CN101410868A CN 101410868 A CN101410868 A CN 101410868A CN A2007800114284 A CNA2007800114284 A CN A2007800114284A CN 200780011428 A CN200780011428 A CN 200780011428A CN 101410868 A CN101410868 A CN 101410868A
Authority
CN
China
Prior art keywords
distortion
distortion correction
image
zone
lens distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800114284A
Other languages
English (en)
Other versions
CN101410868B (zh
Inventor
藤田日出人
石井洋平
本乡仁志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN101410868A publication Critical patent/CN101410868A/zh
Application granted granted Critical
Publication of CN101410868B publication Critical patent/CN101410868B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Lenses (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)

Abstract

一种驾驶辅助装置，具备：摄像装置(1)，其搭载于车体，且拍摄车体的周边区域；透镜畸变修正机构，其对利用摄像装置(1)拍摄的输入图像进行透镜畸变修正；及显示器，其用于显示利用透镜畸变修正机构(2)得到的图像，透镜畸变修正机构(2)将输入图像分为多个区域，以在每个区域不同的畸变修正强度进行透镜畸变修正。

Description

驾驶辅助装置
技术领域
本发明涉及驾驶辅助装置。
背景技术
1.车载摄像机
在汽车中，通常具有消除自驾驶人的死角，提高辨识性的摄像机的装备。据说在2006年度辨识用摄像机的出厂台数超过200万台。包括卡车的国内的新车销售台数在一年略少于600万辆，因此，可以计算出大概三辆安装有一台辨识用摄像机。
辨识用摄像机包括：(1)在后退时显示车辆后方影像的后侧摄像机、(2)显示与驾驶人的相反侧的前轮部分的前侧摄像机、(3)辨识车辆正前方的死角的前摄像机、(4)显示在从狭窄胡同等出发时产生的侧方的死角的影像的侧面盲区摄像机等。当前，后侧摄像机占据辨识用摄像机的77％，并成为了主流。
在辨识用车载摄像机中，为了尽量减小死角，通常使用广角的光学系。在后侧摄像机中，水平面超过100度。在由具备这样的光学系的车载摄像机拍摄的图像中，产生大的“木桶”状歪曲像散。由于该像散，对驾驶人来说，存在拍摄为图像的障碍物的位置或距离感难以直观分辨的问题。
2.畸变修正
2.1利用光学处理的透镜畸变修正方法
作为修正木桶型畸变的方法，大致有两种。其一是通过对光学系的结构进行研究，抑制畸变的方法，其二是在图像摄影后利用数字方法来修正图像的方法。
光学畸变修正如非专利文献1、2中所示，通过使用非球面透镜等对光学系的结构进行研究而实现修正。
非专利文献1：免费百科事典“维基菲尔德(Wikipedia)”摄像透镜项。
非专利文献2：数码相机的最尖端技术第四章透镜·光学系设计(株)技术信息研究会
但是，畸变像差与角度的大致三次幂成正比地增大，在用于车载摄像机的成为广角的光学系的情况下，难以通过仅对光学系进行研究来完全修正畸变。另外，修正的程度在光学系的设计阶段中已确定，导致在用户使用的阶段，难以调节畸变的程度。进而，使用金属模来生产非球面透镜，因此，初始投资成为大的问题。
2.2利用图像处理的透镜畸变修正方法
作为利用图像处理，修正摄像机的透镜畸变的方法，经常使用Tsai的方法(参照非专利文献3、4)或Zhengyou zhang建议的算法(参照非专利文献5、6)。本方法已作为计算机程序安装的程序库提出(参照非专利文献7)，也可以利用于本发明的畸变修正中。
非专利文献3：R.Y.Tsai：A Versastile camera calibration technique forhightg-accuracy 3D machine vision metrology using off-the-shelf TV cameraand lenses；Ieee Journal of Robotics and Automation，Ra-3，4，pp.323-344(1987).
非专利文献4：计算机图像：技术评论和未来展望1998年6月浅田尚纪
非专利文献5：Z.Zhang.“Flexible Camera Calibration By Viewing aPlane From Unknown Orientations”，Proc.of ICCV’99，pp666-673，1999.
非专利文献6：Z.Zhang.“A Flexible New Technique for CameraCalibration”IEEE，PAMI 22(11)，pp1130-1134，2000.
非专利文献7：OpenCV Reference Manual，6 3D Reconstruction[CameraCalibration]，pp6_1-6_3.
在提供的程序库中，对于在图1所示的平面上的规则性的已知图案，改变摄像机和平面的相对关系的同时，使用拍摄的多个图像，算出用于进行摄像机的畸变修正的四个参数(k1，k2，p1，p2)。这些参数是用于控制畸变修正强度的参数。这些参数的值越大，畸变修正强度越大。
使用这些参数，使用以下式(1)，可以求出获得图像的坐标位置(x’，y’)和畸变修正后的坐标值(x，y)的对应关系。但是，坐标位置由以图像的中心为原点，水平方向设为x坐标，垂直方向设为y坐标的坐标系来表示。在式(1)中，r2＝x2+y2。
x’＝x+x(k1r2+k2r4)+2p1xy+p2(r2+2x2)
y’＝y+y(k1r2+k2r4)+2p1xy+p2(r2+2y2)
                           …(1)
使用上述方法，图2(a)、图2(b)及图2(c)表示进行了畸变修正的图像的例子的示意图。图2(a)表示拍摄了图1的已知参数的原图像，图2(b)表示畸变修正整体图像，图2(c)表示畸变修正切出图像。在使用广角摄像机的情况下，如原图像一样产生木桶型的畸变的情况居多，当修正畸变时，成为如矩形的角的四处扩大的“畸变修正整体图像”的图像。另外，基本上进行将畸变部分扩大的转换，因此，图像尺寸变得比原图像大。
通常，这些图像通过判断辨识性降低，将从“畸变修正整体图像”内切出的矩形区域(在图2(b)中由虚线的矩形框包围的区域)的“畸变修正切出图像”用于显示的情况居多。在从“畸变修正整体图像”切出内部的矩形区域时，舍弃畸变修正时扩大的图像的角的四处部分，因此，不显示由原图像获得的信息的一部分。因此，可能提高阅览人的辨识性，但图像整体的信息量降低。还有，在畸变修正或切出时，根据显示系的图像解析度，有时伴随扩大或缩小的处理。
作为利用硬件进行畸变修正的方法，考虑如下方法，即：预先准备与修正前后的地址对应的修正表格(查询表格)，按照该查询表格，转换像素的地址。畸变由于具有二维形状，修正后的像素地址未必与修正前的整数地址对应，由此，需要存储一个图像的量的输入图像的帧存储器和插补像素的插补运算电路，存在电路规模变大的问题。
在专利文献1中，提出了通过将畸变修正在水平方向上进行，利用线路存储器和两个像素的插补电路进行畸变修正的技术。另外，在专利文献2中，出于简略化插补电路的结构，避免由畸变修正产生的图像四角的欠缺的目的，提出了将图像的X轴、Y轴分为两个阶段，依次进行处理的方法。在这些专利文献1、2中，电路的简单化为主要目的，为了提高用户的可观测性，不考虑控制畸变修正的强度。
专利文献1：特许第3047581号公报“图像畸变修正方法及装置”、使用了线路存储器的畸变修正。
专利文献2：特许第3451017号公报“图像处理方法及装置”水平、垂直的两阶段畸变修正。
出于修正数码相机的畸变的目的，也提出了数字畸变修正(参照非专利文献8)。在数字畸变修正中，通过变换畸变修正的参数，能够变更畸变的强度的情况下，提高畸变修正的精度等。但是，在此，使以光轴为中心点对称地分布的畸变同样地减少。
非专利文献8：“数码相机中的图像修正技术”Ricoh Technical ReportNo，31(Dec.，2005)
http://www.ricoh.co.jp/about/businessoverview/report/31/pdf/A3114.pdf
3.车载摄像机的畸变修正/图像转换
在车载摄像机中，也为了容易进行驾驶人的辨识，提出了各种建议。
在专利文献3中，认为完全修正畸变未必有利于驾驶人的认知性(尤其距离感)的提高，并提出了通过在纵向及横向上赋予平缓的畸变而保存距离感的畸变修正。在该建议中，主要着眼于认知性的提高，并没有考虑保存像角的情况。另外，仅记载了平缓地转换畸变的情况，没有将图像分为区域而变更畸变修正的强度的概念。
专利文献3：特开2003-123064号公报“图像转换装置及将其装入的摄像及/或显示装置”。
在专利文献4中，提出了在具有用于牵引拖车的结的车辆中，抽出结部分，将其放大表面的方法。在该建议中，建议将结部分和广范围图像同时作为各自的图像来显示，没有控制畸变修正的强度的概念。
专利文献4：特许第3483143号公报“驾驶辅助装置”
在专利文献5中，提出了在拍摄90度以上的广角的摄像机中，将观测区域的图像部分地抽出的同时，修正畸变的方法。在建议中，与一律进行畸变修正后，抽出图像的情况等同，没有控制畸变修正的强度的概念。
专利文献5：特许第3446277号公报“车辆用周围状况显示装置”
在专利文献6中，提出了通过使用棱镜之类的光学部件来赋予光学性平缓的畸变修正的技术。在该建议中，仅记载了使畸变平缓地变化的情况，没有将图像分为区域，曝光畸变修正的强度的概念。另外，由于是光学式畸变修正，因此，在设计光学系后，不能变更畸变修正的强度，没有根据车辆上的搭载状态，调节修正强度的概念。
专利文献6：特许第3446991号公报“监视装置”
出于容易掌握车辆的姿势或周围的状况，提出了假想转换摄像机的位置或角度的方法。在专利文献7中，提出了通过假想转换车辆后摄像机的安装高度，减小靠近车辆的区域、和远的区域的观测的差异，或通过假想转换摄像机的前后方向的安装位置，减小成为视野的无用区域的缓冲器的映射的方法。
专利文献7：特许第3624769号公报“车辆后方监视装置用图像转换装置”
在国内汽车厂家的选折中采用的后侧摄像机(参照非专利文献9)或专利文献8中，通过将摄像机假想地朝向铅垂方向，容易理解地显示道路的停车线和自车的位置关系。在这些建议中，着眼于认知性的提高，而牺牲了图像角度。
非专利文献9：スズキエブリイワゴン用アクセサリ一セレクトビユ一バツクアイカメラ
http://www.suzuki-accessory.jp/every/navi/99020_b14.html
专利文献8：特许第3286306号公报“图像生成装置、图像生成方法”
为了正确表示车宽延长线或前进路预想线，寻求对车体的摄像机安装的精度。另外，在进行如上所述的图像的坐标转换的高功能的摄像机中，摄像机安装的精度也是重要的。调节检查摄像机的安装的方法也变得重要。
在专利文献9中，提出了为了向作业人员显示安装的摄像机的角度是否为基于图像转换引起的能够微调的范围，或角度的调节方法，而对位于车辆前方的规定位置的基准测试图案、和在拍摄图像的规定位置显示的判断参数进行比较的方法。在该专利中，仅着眼于摄像机的角度调节，没有调节畸变系数的概念。
专利文献9：特许第3565749号公报“车载摄像机的摄像方向的检查方法及其检查装置”
在专利文献10中，出于修正摄像机的安装位置、角度、透镜光轴的偏移的目的，提出了对在摄像机前的规定位置设置的测试图案、和由作为对车辆的设计值确定的基准位置算出的测试图案的理想拍摄位置进行比较的方法。在该专利中，提出了由测试图案的实际摄像位置和理想摄像位置的偏离来算出含有畸变系数的摄像机参数，但没有调节畸变系数的建议。
专利文献10：特许第3632563号公报“影像位置关系修正装置、具备该影像位置关系修正装置的操纵辅助装置、及影像位置关系修正方法”
如上所述，通常，车载摄像机使用广角的光学系，因此，具有大的透镜畸变。为了能够同时掌握车体附近的障碍物和自车，如图3所示，通常将摄像机位置设定为车体映射于图像内的一部分中。图3的例子中拍摄了停车场，但作为车体的一部分，映射了后保险杆(图3中用100表示)。车体需要一部分映射，但如果透镜畸变大，则车体占据图像大部分区域。除了透镜畸变之外，摄像机的安装位置从车的中央偏离的情况居多，还难以查找最佳摄像机位置。
在数字式的畸变修正中，能够大致完全修正透镜畸变。图4中示出畸变修正后的图像。在这种情况下，几乎没有车体端的畸变，没有消除过大映射车体的难点。但是，另一方面，通过解决畸变，会缺欠对角的信息。对角的信息是指摄像机的上侧视野的两侧的区域的信息，相对于图3的右上及左上的部分的信息。例如，如图4虚线所示，缺欠图3的右上的车辆的信息。
对角图像角度是否重要通过摄像机对车体的设置来变化。在摄像机的俯角大的情况下，摄像机的上侧视野拍摄道路面。在这种情况下，在道路面可能存在人或车等干扰自车的障碍物，是重要的区域。通过畸变修正，不优选由于畸变修正，导致对角信息缺欠的情况。在摄像机的俯角小的情况下，摄像机的上侧视野成为道路面之上。在这种情况下，干扰自车的障碍物存在的可能性降低，另外，通常能够由驾驶人直接辨识。在成为这样的摄像机设定的情况下，能够比对角信息更重视畸变，进行畸变修正。
发明内容
本发明的目的在于提供在对输入图像进行透镜畸变修正的情况下，能够将输入图像分为多个区域，对各区域单独改变畸变修正强度的驾驶辅助装置。
本发明的驾驶辅助装置是一种驾驶辅助装置，其特征在于，具备：摄像装置，其搭载于车体，且拍摄车体的周边区域；透镜畸变修正机构，其对利用摄像装置拍摄的输入图像进行透镜畸变修正；及显示器，其用于显示利用透镜畸变修正机构得到的图像，透镜畸变修正机构将输入图像分为多个区域，以在每个区域不同的畸变修正强度进行透镜畸变修正。
作为上述透镜畸变修正机构例如使用以下的机构也可，即：根据距车体的距离及/或摄像机的俯角，将输入图像分为多个区域，以在每个区域不同的畸变修正强度进行透镜畸变修正。
也可设置：区域设定机构，其用于设定多个区域；及畸变修正强度确定机构，其对利用区域设定机构设定的区域每一个确定畸变修正强度，上述透镜畸变修正机构对输入图像进行与利用畸变修正强度确定机构确定的区域每一个的畸变修正强度对应的透镜畸变修正。
也可设置：区域临时设定机构，其用于临时设定多个区域；畸变修正强度临时确定机构，其对利用区域临时设定机构临时设定的区域每一个，临时确定畸变修正强度；利用网格线，在显示器上显示与利用畸变修正强度临时确定机构临时确定的区域每一个的畸变修正强度对应的畸变修正的效果的机构；及正式设定机构，其将利用畸变修正强度临时确定机构临时设定的区域每一个的畸变修正强度，正式设定为原本的区域每一个的畸变修正强度，上述透镜畸变修正机构对输入图像，进行与利用正式设定机构正式设定的区域每一个的畸变修正强度对应的透镜畸变修正。
附图说明
图1是用于通过图像处理修正摄像机的透镜畸变的方法的说明图。
图2(a)、图2(b)及图2(c)是表示进行了透镜畸变修正的图像的例子的示意图。
图3是表示利用车载摄像机摄像的图像的一例的示意图。
图4是表示对图3的图像进行透镜畸变修正后的图像的示意图。
图5是表示对车体部及车体附近部进行强的畸变修正，在远方部进行透镜畸变修正为从车体越远离而修正的强度越弱的例子的示意图。
图6是表示在车体部中进行强的透镜畸变修正，在车体附近部进行修正为从车体越远离而修正的强度越弱，在远方部不进行透镜畸变修正的例子的示意图。
图7是表示驾驶辅助装置的结构的方框图。
图8是用于说明利用LUT21的透镜畸变修正方法的概要的示意图。
图9(a)及图9(b)是表示LUT21的结构例的示意图。
图10是用于说明插补运算方法的示意图。
图11是表示在起动了畸变修正强度调节软件的情况下，在PC50显示的畸变修正强度调节画面的例子的示意图。
图12是表示边界位置u、s、和控制畸变修正强度参数的系数α(0≤α≤1)的关系的示意图。
图13(a)、图13(b)及图13(c)是分别表示输入图像、进行本实施例的畸变修正的结构的整体的图像、及显示用而切出的图像的示意图。
图14是表示用于简易显示畸变修正强度的分配的网格的例子的示意图。
图15是用于由对图像整体设定α＝1的情况下的网格上的坐标值，根据α的设定值，计算相当于各自的对应点的坐标值的方法的示意图。
图16(a)及图16(b)是分别表示没有畸变修正的情况(α＝0)的情况下的网格的一例、基于设定的u、s制作的畸变强度的分配所示的网格的一例的示意图。
具体实施方式
首先，对本申请发明的基本的想法进行说明。在本申请发明中，将图像区域分为车体部、车体附近部及远方部的区域，使用在每个区域预先设定的畸变修正强度参数，进行透镜畸变修正。
图5表示对车体部及车体附近部进行强的畸变修正，在远方部进行透镜畸变修正为从车体越远离而修正的强度越弱的例子。在车体部及车体附近部进行了强的透镜畸变修正，因此，将车体端正确表示为直线。在远方部中，透镜畸变修正变弱，因此，透镜畸变残留，但是保存对角的信息量。图5所示的透镜畸变修正使用于摄像机的俯角小等，对角信息并不那么重要的情况中。
还有，如图6所示，对车体部中进行强的透镜畸变修正，在车体附近部进行透镜畸变修正为从车体越远离而修正的强度越弱，在远方部不进行透镜畸变修正也可。图6所示的透镜畸变修正使用于摄像机的俯角大等，对角信息重要的情况中。
以下，对通过图6所示的畸变修正强度的分配，对输入图像进行透镜畸变修正的情况的实施例进行说明。
[1]实施例1
图7表示驾驶辅助装置的结构。
驾驶辅助装置具备：输入图像的摄像机1、透镜畸变修正部2及显示图像的监视器3。在该例中，透镜畸变修正部2形成为独立于摄像机1或监视器3的结构，但形成为与摄像机1成一体的结构也可，形成为与监视器3成一体的结构也可。在该例子中，作为摄像机1，使用拍摄车辆的后方影像的后侧摄像机。在本实施例中，作为调节透镜畸变修正的强度的工具，使用校准用PC50。
透镜畸变修正部2具备：存储输入图像和输出图像的坐标的对应关系的LUT(查询表格)21及基于LUT21计算透镜畸变修正图像的CPU22。另外，如后述的实施例中说明所述，具备用于将畸变修正强度的分配(透镜畸变修正的效果)在图像上容易辨认地显示的OSD(在屏显示，on screendisplay)回路23。透镜畸变修正部2还担当向OSD电路23的显示指示、与PC50的接口的作用。
图8表示利用LUT21的畸变修正方法的概要。
图8的左侧表示输入图像(畸变图像)101，图8的右侧表示输出图像(畸变修正图像)102。对于输入图像，将原点(0，0)设在输入图像的左下方，横轴设定为x坐标，纵轴设定为y坐标。对于输出图像，将原点(0，0)设定在输出图像的左下方，横轴设定为i坐标，纵轴设定为j坐标。用查询表格的形式保存用于获得位于输出图像102的像素位置P(i，j)中的像素值而参照的原图像的像素位置P’(Xij，Yij)。
图9(a)及图9(b)表示LUT21的结构例。
在图9(a)及图9(b)中，对于输出图像中的各像素位置，分别对x坐标和y坐标保持LUT。图9(a)表示存储了与输出图像中的各像素位置(i，j)对应的输入图像的x坐标的LUT，图9(b)表示存储了与输出图像对应的各像素位置(i，j)对应的输入图像的y坐标的LUT。
例如，在输出图像中位于(0，0)位置的像素的像素值为输入图像的(22.5，43.7)的位置的像素值。另外，在输出图像中位于(2，1)的位置的像素的像素值为输入图像的(23.5，44.2)的位置的像素值。
与输出图像中的各像素位置对应的输入图像的像素位置通过后述的畸变修正转换式来求出。但是，输入图像的像素位置为整数值，因此，实际上，x坐标为22.5的像素不存在。因此，通过使用其小数部分，进行加权平均而算出转换后的像素值(Bi-Linear插补运算)。使用图10说明插补运算。
在此，对求出在输出图像中位于(2，1)的位置的像素的像素值的情况进行说明。如详述，在输出图像中位于(2，1)的位置的像素的像素值为输入图像的(23.5，44.2)的位置的像素值。
在图10中，X表示与输入图像内的位置(23.5，44.2)对应的假想的像素。图10的A、B、C、D表示与假想的像素位置(23.5，44.2)邻接的四个像素。A、B、C、D的像素的位置分别为(23，45)、(24，45)、(23，44)、(23，44)。
在图10中，p表示像素D和假想像素X的x坐标的差分的绝对值，q表示像素D和假想像素X的y坐标的差分的绝对值。在该例中，p＝0.5，q＝0.2。如果用A、B、C、D表示像素A、B、C、D的像素值，则通过以下式(2)来算出假想像素X的像素值。
X＝pqA+(1-p)qB+p(1-q)C+(1-p)(1-q)D
                              …(2)
还有，畸变修正强度的分配需要根据摄像机1的向车体的设置来变更。在该实施例中，畸变修正强度的分配的设定是使用校准用PC50来进行。
在校准用PC50中安装有用于进行畸变修正强度的分配的设定的畸变修正强度调节软件。校准用PC50和驾驶辅助装置的CPU22经由通信电缆连接。
图11表示在起动了畸变修正强度调节软件的情况下，在PC50显示的畸变修正强度调节画面的例子。
在图11中，201表示图像显示区域，202表示图像取入按钮，203表示LUT数据转送按钮，204表示结束按钮，205、206表示滑动键。滑动键205是用于设定车体部和车体附近部的边界位置u的键。滑动键206是用于设定车体附近部和远方部的边界位置s的键。
图12表示边界位置u、s、和控制畸变修正强度参数的系数α(0≤α≤1)的关系。
在该实施例中，在从图面下侧到边界位置u为止的区域(车体部)中畸变修正强度变强。即，α＝1。
在u和s的区域(车体附近部的区域)中，随着从u的距离远离，畸变修正强度变弱。即，在将从u的距离设为t的情况下，α＝|s-t|/|s-u|。
在从s到图面上侧为止的区域(远方部)中，不进行畸变修正。即，α＝0。
若按动图像取入按钮202，则由摄像机1拍摄的图像被转送到校准用PC50，显示于图像显示区域201上。PC50基于利用滑动键205、206设定的边界位置u、s、和后述的畸变修正转换式，制作用于将输入图像转换为畸变修正后的图像的LUT数据，基于制成的LUT数据，对输入图像进行畸变修正，将畸变修正后的图像显示于图像显示区域201上。
操作人确认图像转换的效果的同时，设定边界位置u、s。在设定了最佳边界位置u、s的情况下，操作人按动LUT数据转送按钮203。由此，利用PC50制作的LUT数据被送往驾驶辅助装置的CPU22。CPU22将从PC50送过来的LUT数据设置于透镜畸变修正部2的LUT21。透镜畸变修正部2使用在LUT21设置的坐标对应关系，将输入图像转换为畸变修正图像，将得到的图像显示于监视器3。
对在制作LUT数据的情况下使用的透镜畸变转换式进行说明。如在“背景技术”栏中的说明，输入图像的坐标位置(x’，y’)和透镜畸变修正后的坐标值(x，y)由下述式(3)表示。在式(3)中，r2＝x2+y2。其中，xy坐标系是将图像的中心作为原点的坐标系。
x’＝x+x(k1r2+k2r4)+2p1xy+p2(r2+2x2)
y’＝y+y(k1r2+k2r4)+2p1xy+p2(r2+2y2)
                               …(3)
为了调节畸变修正强度，通过在四个参数k1、k2、p1、p2上乘以系数α，如式(4)、(5)所示地修正上述式(3)。
k’1＝αk1
k’2＝αk2
p’1＝αp1
p’2＝αp2    …(4)
x’＝x+x(k’1r2+k’2r4)+2p’1xy+p’2(r2+2x2)
y’＝y+y(k’1r2+k’2r4)+2p’1xy+p’2(r2+2y2)
                        …(5)
k’1、k’2、p’1及p’2是修正后的畸变修正参数，其大小根据α的值而变化。
在本实施例中使用的坐标系如图8及图9中的说明，是将图像的左下方作为原点的xy坐标系，因此，将输入图像的水平像素数设为M，将垂直像素数设为N，则Xij＝x’+M/2、Yij＝y’+N/2、i＝x+M/2、j＝y+N/2。
从而，上述式(5)如下述式(6)所示地表现。在式(6)中，r2＝(i-M/2)2+(j-N/2)2。
Xij＝(i-M/2)+(i-M/2)(k’1r2+k’2r4)+2p’1(i-M/2)(j-N/2)+p’2{r2+2(i-M/2)2}+M/2
Yij＝(j-N/2)+(j-N/2)(k’1r2+k’2r4)+2p’1(i-M/2)(j-N/2)+p’2{r2+2(j-N/2)2}+N/2    …(6)
在辅助驾驶人的视觉的情况下，图像下部成为保险杆部，图像上部成为车辆后方(在前侧摄像机的情况下为前方)的情况居多。如果考虑驾驶人的辨识性的情况下，保险杆部优选显示为没有畸变的直线。另一方面，成为图像上部的车辆后方(在前侧摄像机的情况下为前方)优选出于安全确认的目的，尽量不损失获得的图像的信息量而显示。
因此，在相当于保险杆部的图像下部(在实施例中，畸变修正图像的作为纵轴的j的值小于u的部分)中，将畸变修正强度设定(α＝1)为大，使用上述式(4)及式(6)，算出在LUT保持的参照像素位置。
另外，在图像上部(在实施例中，畸变修正图像的作为纵轴的j的值小于s的部分)中，为了保存信息量，将畸变修正强度设定(α＝0)为小，使用上述式(4)及(6)，算出在LUT保持的参照像素位置。
在中间部(在实施例中，畸变修正图像的作为纵轴的j的值为u和s之间的t的部分)中，阶段性地设定(α＝|s-t|/|s-u|)，使用上述式(4)及(6)，算出在LUT保持的参照像素位置。这是因为，在极端地变动α的值的情况下，不能在上部和下部顺畅地连接图像，导致降低辨识性。在本实施例中，在图像的中间部中，阶段性地变动α的值，由此生成维持了辨识性的畸变修正图像。通过这样设定α，对图像下部进行强的透镜畸变修正，对于图像上部不进行透镜畸变修正，从而生成图像。
图13(a)表示输入图像，图13(b)表示进行了本实施例的畸变修正的结果的整体的图像，图13(c)表示用于显示而切出的图像。
在图像的下部进行强的透镜畸变修正，因此，图像的下部成为比输入图像的显示区域广的状态。另一方面，在图像的上部，不进行透镜畸变修正，因此，成为与输入图像相同的图像尺寸。在生成畸变修正切出图像时，切出转换后的图像区域的内切区域，因此，横向的图像尺寸与输入图像相同，但纵向比输入图像略大。因此，纵向需要缩小，图像的纵横比略变，但不大大影响辨识性。记录于LUT的参照像素的值是在将切出的图像调节(缩小)为显示图像尺寸后，记录对应的参照位置即可。另外，将切出前的图像的参照位置记录于LUT，在显示时进行放大或缩小的处理也可。
利用人通过PC50上的调节画面来确认的同时，设定车体部和车辆附近的边界位置u、和车辆附近和车辆远方的边界位置s。在设定u、s时，计算LUT数据，使用LUT数据，生成对输入图像的畸变修正图像而显示。
若利用人按动LUT数据转送按钮203，则由PC50生成的LUT数据送往驾驶辅助装置的透镜畸变修正部2内的CPU22，并设置于透镜畸变修正部2内的LUT21。在LUT21设置LUT数据后，透镜畸变修正部2使用在LUT21设置的坐标对应关系，对来自摄像机1的输入图像进行畸变修正，在监视器3显示得到的畸变修正图像。还有，在LUT21设置LUT数据后，卸载校准用PC50。
还有，在驾驶辅助装置侧具有与上述基于校准用PC50的畸变修正强度调节功能相同的功能也可。
[2]实施例2
如实施例1所示，在畸变修正的参数调节中使用PC的情况下，通过PC的计算能力，能够在短时间(用Pen4机器为约100msec)内计算输入图像和输出图像的坐标对应关系，能够大致实时地确认透镜畸变修正的效果。若通过在驾驶辅助装置的透镜畸变修正部2内置的比较低的计算功率的CPU进行该计算，则需要长的计算时间。
在实施例2中，在驾驶辅助装置进行畸变修正的参数调节的情况下，能够通过简单的运算来确认效果。在实施例2中，在驾驶辅助装置侧设定u、s，并且，安装有用于将对应于设定的u、s的畸变修正强度的分配简单地显示于屏幕的畸变修正强度调节软件。
若在驾驶辅助装置侧设定u、s，则驾驶辅助装置的CPU22不计算整个图面的输入输出坐标，即不计算LUT数据，用网格线表示与设定的u、s对应的修正强度的分配。还有，若在操作人确认效果后，输入LUT生成指令，则生成与设定的u、s对应的LUT数据，设置于LUT21。LUT数据的制作方法与实施例1相同。
图14表示用于简单地表示畸变修正强度的分配的网格的例子。
图14的实线表示对图像整体设定α＝1的情况下的网格线。图14的虚线表示对图像整体设定α＝0(没有畸变修正)的情况下的网格线。网格线还包括将通常的直线状网格线弯曲的形状。
预先保存对图像整体设定了α＝1的情况下的网格(格子图案)。还有，对图像整体设定了α＝1的情况下的网格上的坐标值，根据α的设定值，计算与各自的对应点相当的坐标值并显示。使用图15说明对应点的计算方法。图15是图14的S所示的部分的放大图。
在图15中，将α＝1的情况下的网格上的点的坐标设为(X1，Y1)，将原图像(输入图像)上的参照点(作为(X1，X1)的坐标值参照的原图像上的点)的坐标作为(X0，Y0)。原图像上的参照点的坐标值(X0，Y0)与不进行畸变修正的情况下的网格(α＝0的情况下的网格)上的对应点一致。
0＜α＜1的坐标(Xg，Yg)通过下述式(7)来表示。
Xg＝X0+α(X1-X0)
Yg＝Y0+α(Y1-Y0)    …(7)
在将α＝1的情况下的网格上的点用(i，j)表示的情况下，坐标值(X0，Y0)通过在上述式(4)及式(6)中带入α＝1，利用下式(8)来表示。
X0＝(i-M/2)+(i-M/2)(k1r2+k2r4)+2p1(i-M/2)(j-N/2)+p2{r2+2(i-M/2)2}+M/2
Y0＝(j-N/2)+(j-N/2)(k1r2+k2r4)+2p1(i-M/2)(j-N/2)+p2{r2+2(j-N/2)2}+N/2    …(8)
另外，坐标值(X1，Y1)为α＝1的情况下的网格上的点，因此，下式(9)成立。
X1＝i
Y1＝j    …(9)
通过在上述式(7)中带入上述式(8)及式(9)，得到以下式(10)。
Xg＝i+(1-α)〔(i-M/2)(k1r2+k2r4)+2p1(i-M/2)(j-N/2)+p2{r2+2(i-M/2)2}〕
Yg＝j+(1-α)〔(j-M/2)(k1r2+k2r4)+2p1(i-M/2)(j-N/2)+p2{r2+2(j-M/2)2}〕
                   …(10)
能够通过使用上述式(10)，将预先保存的情况下的α＝1的情况下的网格线上的坐标值转换为与设定的α值对应的坐标值，由此生成与设定的α对应的形状的网格，在屏幕上将其显示。
图16(a)示出了没有畸变修正的情况(α＝0)的情况下的网格的一例，图16(b)示出了表示基于设定的u、s制作的、畸变强度的分配的网格的一例。还有。通过改变网格线的线种类或颜色，能够表现畸变修正的强度。
通过在网格上限定事先计算畸变修正的效果的区域，能够削减计算量。通过使用OSD功能，在显示器上显示网格的形状，在计算LUT之前，能够事先预测效果。另外，也能够使用该功能，目视辨认生产时的光学系的不均、畸变修正部的回路的动作。
根据上述实施例可知，能够根据摄像机的向车体的设置，得到获得图像的畸变感和对角信息的协调的图像。另外，对各种车种，不进行需要初始投资的光学系的再次设计，仅通过数据的变更，就能够个别应对。
根据本发明可知，在对输入图像进行透镜畸变修正的情况下，能够将输入图像分为多个区域，在各区域每一个改变畸变修正强度。

Claims (4)

1.一种驾驶辅助装置，其特征在于，具备：
摄像装置，其搭载于车体，且拍摄车体的周边区域；
透镜畸变修正机构，其对利用摄像装置拍摄的输入图像进行透镜畸变修正；以及
显示器，其用于显示利用透镜畸变修正机构得到的图像，
透镜畸变修正机构将输入图像分为多个区域，且对每个区域以不同的畸变修正强度进行透镜畸变修正。
2.根据权利要求1所述的驾驶辅助装置，其特征在于，
透镜畸变修正机构根据距车体的距离及/或摄像机的俯角，将输入图像分为多个区域，且对每个区域以不同的畸变修正强度进行透镜畸变修正。
3.根据权利要求1或2所述的驾驶辅助装置，其特征在于，
具备：区域设定机构，其用于设定多个区域；以及
畸变修正强度确定机构，其对于利用区域设定机构设定的每个区域来确定畸变修正强度，
透镜畸变修正机构对于输入图像，进行与利用畸变修正强度确定机构而确定的每个区域的畸变修正强度相对应的透镜畸变修正。
4.根据权利要求1或2所述的驾驶辅助装置，其特征在于，
具备：区域临时设定机构，其用于临时设定多个区域；
畸变修正强度临时确定机构，其对于利用区域临时设定机构临时设定的每个区域，临时确定畸变修正强度；
利用网格线，在显示器上显示与利用畸变修正强度临时确定机构临时确定的每个区域的畸变修正强度相对应的畸变修正的效果的机构；以及
正式设定机构，其将利用畸变修正强度临时确定机构临时设定的每个区域的畸变修正强度，正式设定为原本的每个区域的畸变修正强度，
透镜畸变修正机构对于输入图像，进行与利用正式设定机构正式设定的每个区域的畸变修正强度相对应的透镜畸变修正。
CN2007800114284A 2006-03-27 2007-03-23 驾驶辅助装置 Expired - Fee Related CN101410868B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006086476A JP4104631B2 (ja) 2006-03-27 2006-03-27 運転支援装置
JP086476/2006 2006-03-27
PCT/JP2007/057019 WO2007111377A1 (ja) 2006-03-27 2007-03-23 運転支援装置

Publications (2)

Publication Number Publication Date
CN101410868A true CN101410868A (zh) 2009-04-15
CN101410868B CN101410868B (zh) 2011-09-28

Family

ID=38541290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800114284A Expired - Fee Related CN101410868B (zh) 2006-03-27 2007-03-23 驾驶辅助装置

Country Status (5)

Country Link
US (1) US9308862B2 (zh)
EP (1) EP2009590B1 (zh)
JP (1) JP4104631B2 (zh)
CN (1) CN101410868B (zh)
WO (1) WO2007111377A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103546678A (zh) * 2012-07-09 2014-01-29 现代自动车株式会社 用于校正后置摄像机的图像畸变的装置和方法
CN108010053A (zh) * 2016-11-02 2018-05-08 Lg电子株式会社 提供环视图像的装置和方法、车辆及计算机可读存储介质
CN112819725A (zh) * 2021-02-05 2021-05-18 广东电网有限责任公司广州供电局 一种径向畸变的快速图像校正方法
CN113015884A (zh) * 2018-11-20 2021-06-22 索尼半导体解决方案公司 图像处理装置、图像处理方法和程序

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009143722A (ja) * 2007-12-18 2009-07-02 Mitsubishi Electric Corp 人物追跡装置、人物追跡方法及び人物追跡プログラム
JP5124835B2 (ja) * 2008-02-05 2013-01-23 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム
JP5141960B2 (ja) * 2008-03-25 2013-02-13 株式会社メガチップス 画像処理装置
JP4840452B2 (ja) * 2009-01-22 2011-12-21 株式会社デンソー 車両周辺表示装置
JP4760923B2 (ja) 2009-02-03 2011-08-31 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
JP5487722B2 (ja) * 2009-05-25 2014-05-07 ソニー株式会社 撮像装置と振れ補正方法
JP5735227B2 (ja) 2010-07-16 2015-06-17 ルネサスエレクトロニクス株式会社 画像変換装置及び画像変換システム
JP5793975B2 (ja) 2010-08-03 2015-10-14 株式会社リコー 画像処理装置、画像処理方法、プログラム、記録媒体
DE102010042248A1 (de) * 2010-10-11 2012-04-12 Robert Bosch Gmbh Verfahren und Vorrichtung zur optischen Darstellung einer Umgebung eines Fahrzeugs
TWI516119B (zh) * 2011-01-25 2016-01-01 華晶科技股份有限公司 電子裝置、影像擷取裝置及其方法
US9105090B2 (en) * 2011-07-13 2015-08-11 Analog Devices, Inc. Wide-angle lens image correction
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP6089767B2 (ja) * 2013-02-25 2017-03-08 株式会社リコー 画像処理装置、撮像装置、移動体制御システム及びプログラム
US9013286B2 (en) * 2013-09-23 2015-04-21 Volkswagen Ag Driver assistance system for displaying surroundings of a vehicle
JP6354425B2 (ja) * 2014-07-30 2018-07-11 株式会社デンソー 車載カメラの取り付け姿勢検出方法およびその装置
JP6316330B2 (ja) * 2015-04-03 2018-04-25 コグネックス・コーポレーション ホモグラフィの修正
JP5959684B2 (ja) * 2015-04-16 2016-08-02 ルネサスエレクトロニクス株式会社 画像変換システム
US10368067B2 (en) 2016-06-15 2019-07-30 Mediatek Inc. Method and apparatus for selective filtering of cubic-face frames
US10148939B2 (en) 2016-07-19 2018-12-04 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
JP2018037855A (ja) * 2016-08-31 2018-03-08 アイシン精機株式会社 表示制御装置
JP6819514B2 (ja) * 2017-08-28 2021-01-27 トヨタ自動車株式会社 画像処理装置及び撮像装置
JP2019186597A (ja) * 2018-04-02 2019-10-24 株式会社ザクティ 移動体の周辺確認システム
JP7396987B2 (ja) 2018-07-31 2023-12-12 住友建機株式会社 ショベル
DE102019108056A1 (de) * 2019-03-28 2020-10-01 Connaught Electronics Ltd. Bilderfassungssystem
JP7279526B2 (ja) * 2019-05-31 2023-05-23 富士通株式会社 解析プログラム、解析装置及び解析方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3047581B2 (ja) 1991-11-20 2000-05-29 日立プラント建設株式会社 電子消音システム
US5369450A (en) * 1993-06-01 1994-11-29 The Walt Disney Company Electronic and computational correction of chromatic aberration associated with an optical system used to view a color video display
JP3381351B2 (ja) 1993-12-24 2003-02-24 日産自動車株式会社 車両用周囲状況表示装置
JP3446277B2 (ja) 1993-12-24 2003-09-16 日産自動車株式会社 車両用周囲状況表示装置
JP3156817B2 (ja) * 1994-03-14 2001-04-16 矢崎総業株式会社 車両周辺監視装置
JPH08116490A (ja) * 1994-10-14 1996-05-07 Olympus Optical Co Ltd 画像処理装置
JP3446991B2 (ja) 1997-07-15 2003-09-16 矢崎総業株式会社 監視装置
US6801334B1 (en) * 1998-05-28 2004-10-05 Fuji Photo Film Co., Ltd. Index print producing method, image processing system, image processing method and image processing device
JP3451017B2 (ja) 1998-07-28 2003-09-29 富士写真フイルム株式会社 画像処理方法及び装置
US7307655B1 (en) * 1998-07-31 2007-12-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying a synthesized image viewed from a virtual point of view
US6704434B1 (en) * 1999-01-27 2004-03-09 Suzuki Motor Corporation Vehicle driving information storage apparatus and vehicle driving information storage method
KR20010112433A (ko) * 1999-04-16 2001-12-20 마츠시타 덴끼 산교 가부시키가이샤 화상처리장치 및 감시시스템
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP3565749B2 (ja) 1999-09-22 2004-09-15 富士重工業株式会社 車載カメラの撮像方向の検査方法およびその検査装置
JP3624769B2 (ja) * 1999-09-30 2005-03-02 株式会社豊田自動織機 車両後方監視装置用画像変換装置
JP3632563B2 (ja) 1999-10-19 2005-03-23 株式会社豊田自動織機 映像位置関係補正装置、該映像位置関係補正装置を備えた操舵支援装置、及び映像位置関係補正方法
US7002589B2 (en) * 2000-03-17 2006-02-21 Sun Microsystems, Inc. Blending the edges of multiple overlapping screen images
DE60105684T2 (de) * 2000-04-05 2005-02-10 Matsushita Electric Industrial Co., Ltd., Kadoma System und Verfahren zur Fahrerunterstützung
US6584287B2 (en) * 2000-10-18 2003-06-24 Fuji Photo Film Co., Ltd. Camera and image forming system using the camera
JP2002140703A (ja) 2000-10-31 2002-05-17 Toyota Central Res & Dev Lab Inc 周辺状況表示装置
JP3804916B2 (ja) * 2001-02-09 2006-08-02 シャープ株式会社 撮像システムとその画像データ制御に用いられるプログラムおよびその撮像システムにおける撮像画像の歪み補正方法とその手順を記憶させた記憶媒体
JP3483143B2 (ja) 2001-04-09 2004-01-06 松下電器産業株式会社 運転支援装置
CN100465995C (zh) * 2001-06-12 2009-03-04 奥普提克斯晶硅有限公司 一种将图像投射到屏幕表面的方法及系统
JP4613465B2 (ja) 2001-08-07 2011-01-19 株式会社豊田中央研究所 画像変換装置並びにそれを組み込んだ撮像及び／又は表示装置
US7256799B2 (en) * 2001-09-12 2007-08-14 Sanyo Electric Co., Ltd. Image synthesizer, image synthesis method and computer readable recording medium having image synthesis processing program recorded thereon
US6717735B2 (en) * 2001-10-12 2004-04-06 Agilent Technologies, Inc. Lens structures for flux redistribution and for optical low pass filtering
US7596286B2 (en) * 2003-08-06 2009-09-29 Sony Corporation Image processing apparatus, image processing system, imaging apparatus and image processing method
JP4104571B2 (ja) * 2004-03-29 2008-06-18 三洋電機株式会社 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置
JP2005311666A (ja) * 2004-04-21 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
EP1751970A4 (en) * 2004-05-01 2010-04-21 Eliezer Jacob DIGITAL CAMERA WITH NON-UNIFORM IMAGE RESOLUTION
JP4720214B2 (ja) * 2005-03-01 2011-07-13 コニカミノルタオプト株式会社 撮像レンズ
US7576639B2 (en) * 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
JP2009010730A (ja) * 2007-06-28 2009-01-15 Kyocera Corp 画像処理方法と該画像処理方法を用いた撮像装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103546678A (zh) * 2012-07-09 2014-01-29 现代自动车株式会社 用于校正后置摄像机的图像畸变的装置和方法
CN103546678B (zh) * 2012-07-09 2018-01-09 现代自动车株式会社 用于校正后置摄像机的图像畸变的装置和方法
CN108010053A (zh) * 2016-11-02 2018-05-08 Lg电子株式会社 提供环视图像的装置和方法、车辆及计算机可读存储介质
CN113015884A (zh) * 2018-11-20 2021-06-22 索尼半导体解决方案公司 图像处理装置、图像处理方法和程序
CN113015884B (zh) * 2018-11-20 2023-10-10 索尼半导体解决方案公司 图像处理装置和图像处理方法
US11836945B2 (en) 2018-11-20 2023-12-05 Sony Semiconductor Solutions Corporation Image processing apparatus, image processing method, and program
CN112819725A (zh) * 2021-02-05 2021-05-18 广东电网有限责任公司广州供电局 一种径向畸变的快速图像校正方法

Also Published As

Publication number Publication date
EP2009590A8 (en) 2009-03-18
CN101410868B (zh) 2011-09-28
EP2009590A4 (en) 2011-11-23
US20100165104A1 (en) 2010-07-01
JP2007264831A (ja) 2007-10-11
EP2009590A1 (en) 2008-12-31
JP4104631B2 (ja) 2008-06-18
EP2009590B1 (en) 2018-12-19
US9308862B2 (en) 2016-04-12
WO2007111377A1 (ja) 2007-10-04

Similar Documents

Publication Publication Date Title
CN101410868B (zh) 驾驶辅助装置
JP6034775B2 (ja) カメラ校正装置
JP6569742B2 (ja) 投影システム、画像処理装置、投影方法およびプログラム
JP4874280B2 (ja) 画像処理装置及び方法、運転支援システム、車両
DE102013209415B4 (de) Dynamische Hinweisüberlagerung mit Bildbeschneidung
JP2022095776A (ja) リアビュー可視化のためのリアスティッチされたビューパノラマ
JP4560716B2 (ja) 車両の周辺監視システム
CN101631219B (zh) 图像修正装置、图像修正方法、投影仪以及投影系统
DE112010005661B4 (de) Fahrzeugumgebungs-Überwachungsvorrichtung
JP4739122B2 (ja) 車載カメラの画像合成装置および画像合成方法
US8134608B2 (en) Imaging apparatus
JP6011624B2 (ja) 画像処理装置、画像処理方法、及びプログラム
DE102016212405A1 (de) Fahrzeugbildverarbeitungsvorrichtung und Fahrzeugbildverarbeitungssystem
CN112070886B (zh) 矿用自卸车的影像监控方法及相关设备
CN103428509A (zh) 用于图像调整的设备、系统和方法
JP3960092B2 (ja) 車両用画像処理装置
JP2011105306A (ja) 車両用表示装置
DE102008043189A1 (de) Projektion mit dynamischer Anpassung der Bilddaten
JP4934579B2 (ja) 運転支援装置
JP7329951B2 (ja) 画像処理装置およびその制御方法
US20210407046A1 (en) Information processing device, information processing system, and information processing method
JP5754214B2 (ja) 画像処理装置および画像処理プログラム
CN112884877A (zh) 光场显示方法、装置、电子设备及存储介质
KR20140118115A (ko) 차량 주위 영상 보정 시스템 및 차량 주위 영상 보정 방법
Lee et al. Application requirement-driven automatic ISP parameter tuning for a rear view monitoring camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110928

Termination date: 20140323