CN113545027A - 图像修正装置、图像生成装置、摄像机系统以及车辆 - Google Patents

图像修正装置、图像生成装置、摄像机系统以及车辆 Download PDF

Info

Publication number
CN113545027A
CN113545027A CN201980093239.9A CN201980093239A CN113545027A CN 113545027 A CN113545027 A CN 113545027A CN 201980093239 A CN201980093239 A CN 201980093239A CN 113545027 A CN113545027 A CN 113545027A
Authority
CN
China
Prior art keywords
image
camera
unit
distortion
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980093239.9A
Other languages
English (en)
Other versions
CN113545027B (zh
Inventor
向井俊郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Automotive Electronic Systems Co ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN113545027A publication Critical patent/CN113545027A/zh
Application granted granted Critical
Publication of CN113545027B publication Critical patent/CN113545027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G06T5/80—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

图像修正装置具备：图像数据获取部，获取由摄像机得到的图像数据；以及修正部，基于作为第一像高与第一基准像高的差值的第一差值来修正所述图像数据，所述第一像高是通过以第一入射角入射至所述摄像机的光得到的像高，所述第一基准像高是在所述摄像机中无制造误差的情况下，通过以所述第一入射角入射至所述摄像机的光得到的像高。

Description

图像修正装置、图像生成装置、摄像机系统以及车辆
技术领域
本发明涉及图像修正装置、图像生成装置、摄像机系统以及车辆。
背景技术
近年来，将给人以从上方俯瞰车辆的印象的图像(以下，称为俯视图。)显示于车室内的显示器的车辆正在普及。这种车辆具备设置于车辆的前后左右的多台摄像机和图像生成装置。这些摄像机是具备鱼眼镜头等视场角宽的透镜的摄像机，通过这些摄像机可得到有失真的图像。图像生成装置消除从各摄像机得到的图像的失真，将失真被消除后的图像彼此合成，从而生成俯视图。
在专利文献1中，公开了：通过在由摄像机得到的图像中，对图像的每个区域分配不同的函数模型，并基于所分配的函数模型对图像进行修正，来消除图像的失真。
现有技术文献
专利文献
专利文献1：日本特开2011-49733号公报
发明内容
发明要解决的问题
摄像机有摄像机固有的制造误差，所以即使在制造出多台相同型号的摄像机的情况下，由这些摄像机得到的图像的失真也根据每个摄像机而稍有不同。然而，在消除失真的处理中，不考虑根据每个摄像机而不同的制造误差地进行失真的消除。在该情况下，无法精度良好地消除图像的失真。
本发明是鉴于这样的状况而完成的，其目的在于提供能够得到与在摄像机中无制造误差的情况下得到的图像相比也并不逊色的图像的图像修正装置、图像生成装置、具备这些装置的摄像机系统以及车辆。
解决问题的方案
本发明的图像修正装置具备：图像数据获取部，获取由摄像机得到的图像数据；以及修正部，基于作为第一像高与第一基准像高的差值的第一差值来修正所述图像数据，所述第一像高是通过以第一入射角入射至所述摄像机的光得到的像高，所述第一基准像高是在所述摄像机中无制造误差的情况下，通过以所述第一入射角入射至所述摄像机的光得到的像高。
本发明的图像生成装置具备：图像数据获取部，获取由摄像机得到的图像数据；修正部，基于作为第一像高与第一基准像高的差值的第一差值来修正所述图像数据，所述第一像高是通过以第一入射角入射至所述摄像机的光得到的像高，所述第一基准像高是在所述摄像机中无制造误差的情况下，通过以所述第一入射角入射至所述摄像机的光得到的像高；失真消除部，从修正图像消除失真，所述修正图像是从由所述修正部修正后的图像数据生成的图像；以及图像合成部，将第一失真消除图像与第二失真消除图像合成来生成合成图像，所述第一失真消除图像是基于由作为一个所述摄像机的第一摄像机得到的第一图像数据而由所述失真消除部生成的图像，所述第二失真消除图像是基于由作为另一个所述摄像机的第二摄像机得到的第二图像数据而由所述失真消除部生成的图像。
本发明的摄像机系统具备所述第一摄像机、所述第二摄像机以及所述图像生成装置。
本发明的车辆具备所述摄像机系统。
发明效果
根据本发明，能够提供可得到与在摄像机中无制造误差的情况下得到的图像相比也并不逊色的图像的图像修正装置、图像生成装置、具备这些装置的摄像机系统以及车辆。
附图说明
图1是表示具备本发明的第一实施方式的摄像机系统的车辆的示意图。
图2是假定为无制造误差的摄像机的纵剖面图。
图3是表示在光以入射角α入射至假定为无制造误差的摄像机的情况下得到的像高曲线的图。
图4是表示通过入射至假定为无制造误差的摄像机的光得到的像高与入射角之间的关系的图。
图5是表示理想的俯视图的一个例子的图。
图6是本发明的第一实施方式的摄像机系统所具备的摄像机的纵剖面图。
图7是表示在光以入射角α入射至本发明的第一实施方式的摄像机的情况下得到的像高曲线的图。
图8是表示通过入射至假定为无制造误差的摄像机的光得到的像高与通过入射至存在制造误差的摄像机的光得到的像高的偏离量的图。
图9是表示作为不理想的俯视图的一个例子的俯视图的图。
图10是表示本发明的第一实施方式的摄像机系统的结构的框图。
图11是表示本发明的第一实施方式的摄像机系统所具备的存储部存储的差分表格的图。
图12是表示在存在制造误差的摄像机的温度是25℃的情况下通过入射至该摄像机的光得到的像高与通过入射至假定为无制造误差的摄像机的光得到的像高之间的偏离量的图。
图13是表示在存在制造误差的摄像机的温度是-30℃的情况下通过入射至该摄像机的光得到的像高与通过入射至假定为无制造误差的摄像机的光得到的像高之间的偏离量的图。
图14是表示本发明的第二实施方式的摄像机系统的结构的框图。
具体实施方式
下面，参照附图对实施方式进行说明。
(第一实施方式)
图1是表示具备本发明的第一实施方式的摄像机系统1的车辆100的示意图。
摄像机系统1具备4台摄像机101、102、103、104和ECU(车辆控制装置：ElectronicControl Unit，电子控制单元)20。
摄像机101、102、103、104分别设置于车辆100的前方侧、左侧、右侧以及后方侧。摄像机101、102、103、104分别拍摄车辆100的前方侧、左侧、右侧以及后方侧，分别拍摄与范围R1、范围R2、范围R3以及范围R4对应的区域的图像。摄像机101、102、103、104例如是具备鱼眼镜头等视场角宽的透镜的摄像机。此外，摄像机系统1所具备的摄像机的数量只要为两个以上即可。
ECU20获取由摄像机101、102、103、104得到的图像数据，基于获取到的图像数据来生成俯视图。
首先，对假定为在摄像机101、102、103、104中均无制造误差的情况下的俯视图的生成进行说明。
图2是假定为无制造误差的摄像机101的纵剖面图。
摄像机101具有透镜单元11、镜筒11a以及传感器12。透镜单元11具有多个透镜L1、L2、L3、L4、L5、L6。透镜L1、L2、L3、L4、L5、L6按照该顺序从光路上游侧向传感器12侧排列，且在光轴彼此对准的状态下保持于镜筒11a。L表示透镜单元11的光轴。透镜L1是在透镜L1～L6之中位于最靠被拍摄物侧的位置的透镜。透镜L2～L6将向透镜L1入射的入射光引导至传感器12。传感器12检测入射至透镜L1并由透镜L2～L6引导而来的光。
例如，在光A1以入射角α入射至透镜单元11的情况下，在传感器12上的、用点a11表示的位置成像。另外，在光A2从与光A1相反的一侧的位置以入射角α入射至透镜单元11的情况下，通过光A2在传感器12上的、用点a12表示的位置成像。点LO是向透镜单元11入射的入射光与光轴L相交的点。在摄像机101中无制造误差的情况下，传感器12与透镜单元11的光轴L在点O1处相交。点O1表示与传感器12上的图像中心对应的位置。图像中心是指，在基于由传感器12生成的图像信号而输出图像的情况下成为该图像的中心的位置。此外，从透镜单元11的光轴L与传感器12相交的点(在此点O1)至通过入射光在传感器12上成像的位置为止的距离被称为像高。
实际上，即使是一个入射角，光也从光轴L周围的无数的方向入射。由此，入射至透镜单元11的、入射角为α的光在传感器12上成像的位置也无数，在光轴L周围描绘闭曲线。以下，将该闭曲线称为像高曲线。不言而喻，每当入射角α的值发生变化时，都会描绘不同的像高曲线。
图3是表示在光以入射角α入射至假定为无制造误差的摄像机101的情况下得到的像高曲线C1的图。图3所示的角度表示点O1周围的方位角，传感器12上的点a11所处的方位角被定义为0°。如图2所示，此时的透镜单元11内的光路是光A1以入射角α入射至透镜L1的位置(点b1)起至光A1透射透镜单元11后到达传感器12上的点a11为止的光路，在图3中用a11表示图2的a11所示的传感器12上的位置。在从点O1观察的情况下，点a12位于方位角180°的方向。此时，与a11同样地，如图2所示，透镜单元11内的光路是光A2以入射角α入射至透镜L1的位置(点b2)起至光A2透射透镜单元11后到达传感器12上的点a12为止的光路，在图3中用a12表示图2的a12所示的传感器12上的位置。在图2中未示出点a13，但点a13表示从与光A1和光A2不同的方向以入射角α入射至透镜单元11的光到达传感器12上的位置，在从点O1观察的情况下，位于方位角315°的方向。
在摄像机101中无制造误差的情况下，点O1起至点a11为止的距离、点O1起至点a12为止的距离以及点O1起至点a13为止的距离彼此相等。方位角为45°、90°、135°、225°以及270°的方向上的像高也与方位角为0°、180°以及315°的方向上的像高相等。即，在摄像机101中无制造误差的情况下，只要入射角相同，就不论方位角如何，都能够得到相同的像高。因而，如图3所示的像高曲线C1是圆形。
图4是表示通过入射至假定为无制造误差的摄像机101的光得到的像高与入射角之间的关系的图。如图4中的曲线所示，入射角α越大，则像高越大。
此前，对在摄像机101中无制造误差的情况下得到的图像的特性进行了说明，可以认为摄像机102、103、104的情况也是相同的。
在摄像机101、102、103、104的每一个中均无制造误差的情况下，能够通过以普通的方法消除由摄像机101、102、103、104得到的图像的失真，将消除失真后的图像彼此合成，来生成理想的俯视图。
图5是表示作为理想的俯视图的一个例子的俯视图(理想合成图像)P1的图。PR1、PR2、PR3及PR4是与通过对由摄像机101、102、103、104得到的图像进行处理而得到的各个图像对应的图像区域。BL12、BL24、BL34以及BL13分别表示图像区域PR1与图像区域PR2的边界线、图像区域PR2与图像区域PR4的边界线、图像区域PR3与图像区域PR4的边界线以及图像区域PR1与图像区域PR3的边界线。在俯视图P1上，跨及图像区域PR1、PR2及PR4而所处的人行带RL在边界线BL12、BL24附近不错位地表示。
然而，实际上在摄像机101、102、103、104中存在制造误差，所以在通过普通的方法消除由摄像机101、102、103、104得到的图像的失真的情况下，无法生成如图5所示的理想的俯视图。以下，对实际上的俯视图的生成进行说明。
图6是本发明的第一实施方式的摄像机系统1所具备的摄像机101的纵剖面图。图6例示出在透镜L4中存在制造误差的情况。图6所示的摄像机101的透镜L4大致在水平方向上偏心。也就是说，与图1所示的无制造误差的情况相比，透镜L4向左侧错位地配置。
因而，在摄像机101中存在如图6所示的制造误差的情况下，与图1所示的无制造误差的情况相比，透镜单元11的光轴L大致在水平方向上错位。由此，透镜单元11的光轴L与传感器12的交点是与点O1(参照图1)不同的位置的点O2。
另外，在对(1)在透镜L4中无制造误差的情况和(2)如图6所示仅透镜L4的位置错位的情况进行比较时，即使光以相同的入射角入射至透镜L1的相同的位置，该光入射至透镜L4的位置也不同。因此，在(1)和(2)的情况之间，光由透镜单元11引导至传感器12的路径不同。
例如，在光A1和光A2以入射角α入射至透镜L1中的图2所示的位置的情况下，通过光A1和光A2分别在传感器12上的点a21和点a22所示的位置成像。点a21是传感器12上的与点a11不同的位置，点a22是传感器12上的与点a12不同的位置。此外，在透镜L4中无制造误差的情况下引导至点a13(参照图3)的入射角α的光若入射至具有制造误差的摄像机101，则由透镜单元11引导至与点a13所示的位置不同的位置。
将通过以入射角α＝70°入射至摄像机101的光得到的像高例示在图4的虚线框中。图4的圆圈标记表示通过入射角70°的光得到的方位角0°的像高，图4的叉标记表示通过入射角70°的光得到的方位角180°的像高，图4的菱形标记表示通过入射角70°的光得到的方位角315°的像高。
由曲线图可知，在摄像机101中无制造误差的情况下，不论方位角如何，通过入射角70°的光得到的像高都为1.21mm左右。然而，对实际上的摄像机101而言，通过入射角70°的光得到的方位角0°、180°以及315°的像高偏离于在摄像机101中无制造误差的情况下得到的像高。另外，在摄像机101中无制造误差的情况下的方位角0°、180°以及315°的像高是互不相同的值。
实际上，入射至透镜单元11的光无数，与无制造误差的情况相比，这些光经由不同的路径被引导至传感器12上。即，与在摄像机101中无制造误差的情况相比，通过入射至透镜单元11的所有的光在传感器12上成像的位置无有可能偏离。
图7示出由存在制造误差的摄像机101得到的像高曲线的一个例子。图7是表示在光以入射角α入射至本发明的第一实施方式的摄像机101的情况下得到的像高曲线C2的图。此外，图7中的单点划线所示的曲线是与无制造误差的情况下的像高曲线C1相同的圆形，且是使其中心从点O1偏移至点O2的曲线。以下，将该曲线称为像高曲线C1’。点a11’、点a12’、点a13’分别是与像高曲线C1上的点a11、点a12、点a13对应的像高曲线C1’上的点。图7所示的角度表示点O2周围的方位角，传感器12上的点a21所处的方位角被定义为0°。此外，在透镜L4中无制造误差的情况下被引导至传感器12上的点a13的入射角α的光若入射至图6所示的具有制造误差的摄像机101，则由透镜单元11引导至传感器12上的用点a23表示的位置。
在方位角0°处，点a21从点a11’偏离Δa1，在方位角180°处，点a22从点a12’偏离Δa2，在方位角315°处，点a23从点a13’偏离Δa3。这些偏离量Δa1、Δa2、Δa3是互不相同的值。也就是说，偏离量因方位角不同而不同。因此，如图7中的实线所示，像高曲线C2是非圆形的形状。另外，若向透镜单元11的光的入射角α不同，则得到的像高曲线也不同。
图8是表示通过入射至假定为无制造误差的摄像机101的光得到的像高与通过入射至存在制造误差的摄像机101的光得到的像高之间的偏离量的图。在图8中，表示方位角θ＝0°、45°、90°、135°、180°、225°、270°、315°的情况下的入射角α与偏离量之间的关系。此外，图8中的横轴的入射角的单位是°(度)，纵轴的偏离量的单位是像素单元(pixel(s))。
在图8中，入射角为70°时的方位角0°的方向上的偏离量为-5像素单元左右，入射角为70°时的方位角180°的方向上的偏离量为+1像素单元左右。整体上存在如下趋势，即入射角α越大，则任意方位角处的偏离量都越大。
此前，对在摄像机101中存在制造误差的情况下得到的图像的特性进行了说明，可以认为摄像机102、103、104的情况也是相同的。
以上，如说明的那样，在摄像机101、102、103、104中的任意摄像机中存在制造误差的情况下，若通过普通的方法消除由摄像机101、102、103、104得到的图像的失真，并将消除失真后的图像彼此合成，则生成如图9所例示的俯视图(实际合成图像)P2。
图9是表示作为不理想的俯视图的一个例子的俯视图(实际合成图像)P2的图。在俯视图P2上，跨及图像区域PR1、PR2及PR4而所处的人行带RL在边界线BL12、BL24附近错位，看起来就像3条线。若跨及多个区域而显示行人，则在生成的俯视图中，行人被分割地显示。在该情况下，车辆100的驾驶员无法正确地识别俯视图所示的行人，从而导致妨碍驾驶员安全地驾驶车辆100。此外，在车辆100中搭载有自动驾驶系统的情况下，该自动驾驶系统无法将在俯视图上被分割地显示的行人识别为行人，无法进行对于行人而言是安全的车辆100的控制。
根据本发明，即使在摄像机101、102、103、104中存在制造误差的情况下，也能够生成理想的俯视图P1。以下，对本发明的第一实施方式进行说明。
图10是表示本发明的第一实施方式的摄像机系统1的结构的框图。摄像机系统1具备摄像机101、102、103、104、摄像机信息处理装置111、112、113、114、ECU20、显示器信息处理装置30以及显示器35。在本实施方式中，ECU20是对由各摄像机得到的图像的失真进行修正的图像修正装置。另外，ECU20是对图像的失真进行修正，从修正失真后的图像消除失真，并且将消除失真后的图像彼此合成的图像生成装置300。
摄像机101具有透镜单元11和传感器12。透镜单元11使摄像机101的拍摄区域的图像在传感器12上成像。传感器12将成像的光转换为电信号。由此，传感器12生成包含摄像机101的拍摄范围R1(参照图1)中的图像数据的图像信号。在该图像数据中还包含像高的信息。在传感器12中，也可以以拜耳阵列排列多个像素，在上述图像数据中还包含由这些像素得到的色彩信息。而且，传感器12将所生成的图像信号发送至摄像机信息处理装置111。此外，摄像机102、103、104也具有相同的结构。
摄像机信息处理装置111、112、113、114分别对由摄像机101、102、103、104生成的图像信号进行处理。摄像机信息处理装置111、112、113、114分别是摄像机101、102、103、104的专用装置。
摄像机信息处理装置111具有图像处理部13、通信部14、电源15以及存储部16等。
图像处理部13对从传感器12获取到的图像信号进行预定的图像处理。具体而言，图像处理部13对来自传感器12的图像信号进行对比度调整和增益调整等。然后，摄像机信息处理装置111将进行图像处理后的图像信号发送至通信部14。
通信部14对从图像处理部13接收到的图像信号进行信号转换处理，生成通信用的图像信号。然后，通信部14将所生成的通信用的图像信号发送至ECU20。电源15对图像处理部13、通信部14以及摄像机101的传感器12供给电力。
存储部16具有存储有用于控制摄像机信息处理装置111的控制程序的ROM和RAM。另外，在存储部16中，存储有图像处理部13进行的图像处理所需的数据。图像处理部13在进行图像处理时，参照存储部16存储的、该图像处理所需的数据。
另外，在存储部16中，预先存储有用于进行来自摄像机101的图像数据的修正处理的数据。用于进行该修正处理的数据还存储于ECU20。具体而言，存储部16存储有图11所示的差分表格201。关于差分表格201，将在后面详细说明。
摄像机信息处理装置111具备在图10中未图示的CPU(Central Processing Unit，中央处理器)。该CPU读出存储于ROM的控制程序，在RAM中展开，执行所展开的程序，从而CPU作为图像处理部13发挥功能。
此外，摄像机信息处理装置112、113、114具有与摄像机信息处理装置111相同的结构。
一般而言，有时将具有摄像功能的摄像部(相当于摄像机101～104)和对由摄像部得到的图像进行处理的信息(信号)处理部(相当于摄像机信息处理装置111～114)总称为“摄像机”。但是，在本说明书中，将相当于摄像部的装置称为“摄像机”。
此外，既可以是摄像部与信息(信号)处理部相互分离地构成为互不相同的装置，也可以是摄像部与信息(信号)处理部一体地构成一个装置。
ECU20具有通信部21、存储部22、CPU23、图像处理部24以及通信部26。
通信部21当从摄像机信息处理装置111、112、113、114接收到通信用的图像信号时，对该图像信号进行信号转换处理。通过该处理，该图像信号被转换为图像处理用的图像信号。然后，通信部21将图像处理用的图像信号发送至图像处理部24。
存储部22具有ROM(Read Only Memory，只读存储器)和RAM(Random AccessMemory，随机存取存储器)。另外，存储部22将用于对来自摄像机信息处理装置111～114的图像数据进行修正处理的数据与各个摄像机对应起来存储。
图11是表示本发明的第一实施方式的摄像机系统1所具备的存储部16和存储部22存储的差分表格201、202、203、204的图。差分表格与各个摄像机对应起来。也就是说，在差分表格201中，包含用于对由摄像机101和摄像机信息处理装置111获取到的图像数据进行处理的差分数据。同样地，在差分表格202、203、204中，分别包含用于对由摄像机102、103、104获取到的图像数据进行处理的差分数据。有可能因摄像机不同而制造误差不同，所以针对每个摄像机分别准备包含考虑了制造误差的差分数据的差分表格。
差分表格201将差分数据与入射角α和方位角θ对应起来对其进行管理。在差分表格201中包含入射角α从0°至100°为止的每10度的各角度下的、方位角θ从0°至315°为止的每45°的各角度的差分数据。100°对应于摄像机101的视场角的1/2。以下，使用图8和图11，对利用差分表格201管理的差分数据进行说明。
利用差分表格201管理的差分数据是从通过以某个入射角入射至摄像机101的光得到的像高(1)减去在摄像机101中无制造误差的情况下，通过以该某个入射角入射至摄像机101的光得到的像高(基准像高)(2)而得到的值。即，差分数据是以(1)-(2)表示的值。此外，该值的单位是像素单元(pixel(s))。
例如，当着眼于以入射角70°入射至摄像机101的光时，针对方位角0°、45°、90°、135°、180°、225°、270°、315°的差分数据分别是“-5”、“-3.5”、“-1”、“0”、“+1”、“-0.5”、“-4”。此外，这些值相当于图8所示的偏离量。
此外，差分数据只要是通过以某个入射角入射至摄像机101的光得到的像高(1)与在摄像机101中无制造误差的情况下，通过以该某个入射角入射至摄像机101的光得到的基准像高(2)的差值即可。也就是说，差分数据也可以是以(2)-(1)表示的值。
利用差分表格201管理的差分数据可通过如下方式得到，即，通过在将摄像机101搭载于车辆100之前进行摄像机101的检査，来测定各入射角和方位角所对应的像高。然后，从通过测定得到的与各入射角和方位角对应的像高分别减去与在摄像机101中无制造误差的情况下的各入射角和方位角对应的像高(基准像高)来得到。
此外，也可以通过推测摄像机101的制造误差的主要原因，并通过仿真推定与各入射角和方位角对应的像高，从推定出的各像高分别减去与无制造误差的情况下的各入射角和方位角对应的像高来得到差分数据。
另外，在差分表格201中，入射角每隔10°而具有差分数据，但也可以不一定要按照每隔10°而具有差分数据。另外，在差分表格201中，方位角每隔45°而具有差分数据，但也可以不一定要按照每隔45°而具有差分数据。
以上，对差分表格201进行了说明，关于差分表格202、203、204的情况也是相同的。
在此，存储部22存储的差分表格201～204是在摄像机信息处理装置111～114中预先存储的，在将摄像机系统1导入至车辆100之后，ECU20从摄像机信息处理装置111～114的存储部将其读出而存储于存储部22。
这样，在摄像机信息处理装置111～114中预先存储所对应的摄像机101～104的差分表格201～204，从而即使更换摄像机系统1的摄像机，ECU20也能够适当地修正来自新安装的摄像机的图像数据。
此外，在存储部22中存储的数据也可以不是差分数据。以下，对该例子进行说明。
若将图11的差分数据(离散值)连结，则描绘成图8所示的曲线图。也可以预先求出将差分数据(离散值)彼此连结的最佳的多项式函数，将该求出的多项式函数的各系数存储于存储部22。在此，针对每个摄像机且每个入射角而求出多项式函数。由此，存储部22将多项式函数的多个系数与摄像机和入射角对应起来存储。
另外，存储部22也可以除了存储有差分表格201～204之外，还存储有这些函数的系数。
摄像机信息处理装置111的存储部16也可以代替差分表格201，而将根据与摄像机101对应的差分数据求出的每个入射角的最佳的多项式函数的各系数与入射角对应起来存储。或者，存储部16也可以将这些系数与差分数据一起存储。摄像机信息处理装置112～114的情况也是相同的。
CPU23通过读出存储于存储部22的ROM的控制程序，在RAM中展开，执行所展开的控制程序，来作为控制ECU20的整体的动作的控制部发挥功能。
图像处理部24控制由CPU23进行的控制之中的、与图像处理有关的动作。具体而言，图像处理部24作为数据获取部24a、修正部24b、失真消除部24c以及图像合成部24d发挥功能。
数据获取部24a获取由摄像机101、102、103、104得到的图像数据。在本实施方式中，数据获取部24a通过接收来自通信部21的图像处理用的图像信号，来获取由各摄像机得到的图像数据。
修正部24b基于存储于存储部22的差分数据，修正数据获取部24a获取到的图像数据。
例如，在修正来自摄像机101的图像数据的情况下，修正部24b参照差分表格201。然后，修正部24b基于差分数据，针对每个入射角和每个方位角而计算失真修正的大小。此时，修正部24b还考虑是以使像高变大的方式进行修正还是以使像高变小的方式进行修正而进行计算。然后，修正部24b基于计算结果，修正由摄像机101得到的图像的失真。
入射角α和方位角θ的组与图像上的各位置对应。例如，入射角α越大，则越远离与点O2对应的图像上的位置。另外，方位角如上所述表示点O2周围的方向。
在差分数据是“-”的情况下，修正部24b进行放大修正(使像高伸长的失真修正)。另一方面，在差分数据是“+”的情况下，修正部24b进行缩小修正(使像高缩小的失真修正)。
在图11所示的差分表格201中，入射角70°和方位角0°下的差分数据是“-5”，入射角70°和方位角45°下的差分数据是“-3.5”，入射角70°和方位角90°下的差分数据是“-1”。另外，在差分表格201中，入射角70°和方位角90°下的差分数据是“+1”。
如上所述，对于来自摄像机101的图像的与入射角70°和方位角0°对应的位置的附近，由于是缩小-5像素单元的特性，所以修正部24b进行放大+5像素单元的修正。对于来自摄像机101的图像的与入射角70°和方位角45°对应的位置的附近，修正部24b同样地进行放大+3.5像素单元的修正。对于来自摄像机101的图像的与入射角70°和方位角90°对应的位置的附近，修正部24b也同样地进行放大+1像素单元的修正。对于来自摄像机101的图像的与入射角70°和方位角180°对应的位置的附近，修正部24b也进行放大-1像素单元的修正。
除此之外，修正部24b还对于图像中的与入射角70°和各方位角对应的位置的附近，同样地进行失真修正。
另外，修正部24b对于与其它入射角对应的位置的附近也同样地进行失真修正。
通过上述修正处理，使得由摄像机101获取到的图像接近在摄像机101中无制造误差的情况下得到的图像。也就是说，通过上述修正处理，使得摄像机101获取到的图像的失真与在摄像机101中无制造误差的情况下获取的图像的失真相同。
由摄像机102、103、104获取到的图像数据也同样地被修正。以下，将通过由摄像机101、102、103、104获取到的图像被修正部24b修正而生成的图像称为修正图像HP1、HP2、HP3、HP4。
失真消除部24c从由修正部24b生成的修正图像消除失真。详细而言，失真消除部24c进行用于将在假定为在各摄像机中无制造误差的情况下得到的图像(具有失真的图像)修正为无失真的图像的失真消除处理。具体而言，失真消除部24c从修正图像HP1、HP2、HP3、HP4消除失真，生成失真消除图像PP1、PP2、PP3、PP4。失真消除处理通过一般已知的方法来进行。
图像合成部24d将失真消除图像PP1、PP2、PP3、PP4合成，来生成合成图像。图像合成部24d将所生成的合成图像发送至通信部26。
此外，每当由修正部24b、失真消除部24c及图像合成部24d进行处理时，处理后的图像数据存储于存储部22。也就是说，修正图像HP1、HP2、HP3、HP4、失真消除图像PP1、PP2、PP3、PP4以及合成图像被存储于存储部22。
通信部26进行从图像合成部24d接收到的图像信号的信号转换处理，生成通信用的图像信号。然后，通信部26将所生成的通信用的图像信号发送至显示器信息处理装置30。
显示器信息处理装置30具备通信部31、CPU32、图像处理部33及电源34。
通信部31对从ECU20接收到的图像信号进行信号转换处理。通过该处理，该图像信号被转换为图像处理用的图像信号。然后，通信部31将图像处理用的图像信号发送至图像处理部33。
显示器信息处理装置30内的未图示的存储器具有RAM和ROM，CPU32通过读出存储于ROM的控制程序，在RAM中展开，执行所展开的控制程序，来作为控制显示器信息处理装置30的整体的动作的控制部发挥功能。
图像处理部33控制由CPU32进行的控制之中的、与图像处理有关的动作。图像处理部33进行将从通信部31接收到的图像信号转换为用于在显示器35上显示的信号的信号转换处理。然后，图像处理部33将经信号转换处理后的图像信号发送至显示器35。
电源34对通信部31、CPU32、图像处理部33及显示器35供给电力。
显示器35从图像处理部33接收图像信号，基于该图像信号来显示合成图像。此时，在显示器35上显示如图5所例示的俯视图(理想合成图像)P1。
以上，根据本实施方式，通过基于差分数据修正由摄像机101、102、103、104得到的图像数据，能够得到与在摄像机101、102、103、104中无制造误差的情况下得到的图像相比也并不遜色的图像。
通过预先存储每个方位角的差分数据，能够按照图像中心的周围的每个方位角进行适当的失真修正。另外，通过预先存储每个入射角的差分数据，能够进行与距图像中心附近的距离相应的适当的失真修正。
另外，通过对由摄像机101、102、103、104得到的图像进行上述失真修正和失真消除处理，并基于进行该失真修正和失真消除处理后的图像来生成合成图像，能够得到理想的俯视图。
此外，与各摄像机对应起来的差分表格也可以不只一个，也可以使多个差分表格与各摄像机对应起来。以下，对多个差分表格与各摄像机对应起来的例子进行说明。
图8所示的偏离量也有可能会因摄像机(透镜单元11)的温度不同而变化。图12是表示在存在制造误差的摄像机的温度是25℃的情况下，通过入射至该摄像机的光得到的像高与通过入射至假定为无制造误差的摄像机的光得到的像高之间的偏离量的图。图13是表示在存在制造误差的摄像机的温度是-30℃的情况下，通过入射至该摄像机的光得到的像高与通过入射至假定为无制造误差的摄像机的光得到的像高之间的偏离量的图。如图12和图13所例示那样，若摄像机(透镜单元11)的温度不同，则表示入射角与偏离量的关系的曲线图在任意的方位角都不同。也就是说，若摄像机(透镜单元11)的温度发生变化，则与规定的入射角和方位角对应的偏离量也发生变化。
如图12和图13所例示那样，偏离量也有可能会因摄像机(透镜单元11)的温度不同而变化，所以若修正部24b无论是在气温高时还是气温低时都使用相同的差分数据，则无法进行适当的失真修正。
因而，存储部22也可以将对应于温度范围T<T1的差分表格、对应于温度范围T1≤T<T2的差分表格以及对应于温度范围T2≤T的差分表格与各摄像机对应起来存储。在此，对应于温度范围T<T1的差分表格是包含透镜单元11的温度T是温度范围T<T1时的差分数据的表格。对应于温度T1≤T<T2的差分表格是包含透镜单元11的温度T是T1≤T<T2时的差分数据的表格。对应于温度T2≤T的差分表格是包含透镜单元11的温度T是T2≤T时的差分数据的表格。
在该情况下，优选地，各摄像机具有温度传感器。而且，修正部24b基于由摄像机的温度传感器检测到的温度，选择适当的差分表格，基于所选择的差分表格的差分数据，修正由摄像机得到的图像数据。
存储部22也可以不存储对应于各温度范围的差分表格，而针对多个温度存储对应于各温度的差分表格。
即，例如，存储部22也可以将对应于25℃、10℃、0℃、-10℃、-20℃以及-30℃的25℃用、10℃用、0℃用、-10℃用、20℃用以及-30℃用的差分表格与各摄像机对应起来存储。
在该情况下，修正部24b基于由摄像机的温度传感器检测到的温度来选择适当的差分表格。此时，修正部24b选择对应于与检测到的温度最接近的温度的差分表格。或者，在对应于检测到的温度的差分表格未存储于存储部22的情况下，修正部24b也可以基于存储于存储部22的差分表格的差分数据，计算用于失真修正的差分数据。
例如，在检测到的温度是-15℃的情况下，修正部24b基于-10℃用的差分表格的差分数据和-20℃用的差分表格的差分数据，计算与透镜单元11是-15℃的情况下的各入射角和方位角对应的差分数据。然后，修正部24b使用计算出的数据来修正图像数据。
不特别地限定计算差分数据的方法。例如，修正部24b也可以通过基于-10℃用的差分表格的差分数据和-20℃用的差分表格的差分数据进行比例计算，来计算透镜单元11是-15℃的情况下的差分数据。
这样，存储部22针对每个温度范围或者每个温度分别存储差分表格，从而能够进行也将透镜单元11的温度考虑在内的失真修正，所以能够更加精度良好地修正由摄像机得到的图像数据。
另外，在透镜L1～L6中无偏心，但由于摄像机101的制造误差，透镜单元11的光轴L也有可能会从点O1偏离。在该情况下，通过入射至透镜单元11的光得到的像高曲线与在摄像机101中无制造误差的情况相比，像高曲线的中心偏离，但是呈圆形。在这样的情况下，根据本实施方式的图像修正装置和图像生成装置300，也能够得到与在摄像机101中无制造误差的情况下得到的图像相比也并不逊色的图像，且能够得到理想的俯视图。
在第一实施方式中，由ECU20进行图像的失真修正，所以也可以不在摄像机信息处理装置111的存储部16中存储用于失真修正处理的数据。
(第二实施方式)
以下，参照图14，对本发明的第二实施方式进行说明。在以下说明的实施方式中，对起到与上述第一实施方式相同的作用效果的部分赋予相同的附图标记，从而省略该部分的说明，在以下的说明中，主要对与第一实施方式不同之处进行说明。
在第一实施方式中，在ECU20内进行由摄像机101、102、103、104得到的图像的失真修正、失真被修正后的图像的失真消除处理以及失真被消除后的图像彼此的合成。在第二实施方式中，在与各摄像机对应地设置的摄像机信息处理装置内进行由摄像机101、102、103、104得到的图像的失真修正。在本实施方式中，摄像机信息处理装置111、112、113、114是修正来自所对应的摄像机101、102、103、104的图像的失真的图像修正装置。另外，由ECU20和摄像机信息处理装置111、112、113、114构成修正图像的失真，消除图像的失真，将失真被消除后的图像彼此合成的图像生成装置300。
图14是表示本发明的第二实施方式的摄像机系统1的结构的框图。摄像机信息处理装置111新具备CPU17，不具备图像处理部13，而具备图像处理部18。
CPU17通过读出存储于存储部16所具有的ROM的控制程序，在RAM中展开，执行所展开的控制程序，来作为控制摄像机信息处理装置111的整体的动作的控制部发挥功能。
图像处理部18控制由CPU17进行的控制之中的、与图像处理有关的动作。具体而言，图像处理部18作为数据获取部18a、处理部18b以及修正部18c发挥功能。
数据获取部18a获取由摄像机101得到的图像数据。具体而言，数据获取部18a从传感器12获取图像信号。
处理部18b对数据获取部18a获取到的图像信号进行对比度调整和增益调整等。
修正部18c基于存储于存储部16的差分表格201的差分数据，修正由处理部18b处理后的信号所包含的图像数据。修正部18c通过与修正部24b同样地修正失真，来生成修正图像HP1。所生成的修正图像HP1被存储于存储部16。
通信部14对由修正部18c修正后的图像数据的信号进行信号转换处理，生成通信用的图像信号。然后，通信部14将所生成的图像信号发送至ECU20。
对摄像机信息处理装置111进行了说明，但摄像机信息处理装置112、113、114也具有与摄像机信息处理装置111相同的结构和功能。即，在摄像机信息处理装置112、113、114内对由摄像机102、103、104获取到的图像数据进行失真修正。对这些图像数据进行失真修正，结果生成修正图像HP2、HP3、HP4。然后，修正图像HP2、HP3、HP4的信号分别从摄像机信息处理装置112、113、114发送至ECU20。
ECU20不具备图像处理部24，而具备图像处理部27。即，图像处理部27作为失真消除部27c和图像合成部27d发挥功能。
失真消除部27c接收由通信部21进行信号转换处理后的、来自摄像机信息处理装置111、112、113、114的图像信号。然后，失真消除部27c消除修正图像HP1、HP2、HP3、HP4的失真。其细节与第一实施方式的失真消除部24c相同。
图像合成部27d具有与第一实施方式的图像合成部24d相同的功能。
如以上所说明的那样，即使是当在与各摄像机对应的摄像机信息处理装置111、112、113、114内进行失真修正之后，在ECU20内进行失真消除和图像合成的结构，也能起到与第一实施方式相同的作用效果。
当在ECU20内进行失真修正的情况下，在由传感器12生成的图像信号被转换为通信用的图像信号，并由ECU20接收后再次被转换为图像处理用的信号的过程中，有时引起图像的劣化。然而，在第二实施方式中，在进行上述的转换之前，修正由摄像机得到的图像的失真，所以不受到该转换处理所引起的图像劣化的影响。因而，根据第二实施方式，与在ECU20内进行图像的失真修正的情况相比，能够更加精度良好地进行图像的失真修正。
此外，如上所述，还能够构成使摄像机101与摄像机信息处理装置111成为一体的摄像机单元。该摄像机单元一般被称为“摄像机”。另外，也可以使摄像机101与摄像机信息处理装置111分离而构成为互不相同的装置。
<注释>
此外，上述各实施方式都仅表示实施本发明的具体化的一例，本发明的技术范围不应受这些实施方式的限制。即，能够不脱离其要点或其主要特征地以各种形式实施本发明。
在2019年3月1日提出的日本专利申请特愿2019-037917中包含的说明书、权利要求书、附图及说明书摘要的公开内容全部引用于本申请。
工业实用性
本发明适当地应用于修正来自具备视场角宽的透镜的摄像机的图像的图像修正装置。
附图标记说明
1 摄像机系统
11 透镜单元
11a 镜筒
12 传感器
13、18、24、27、33 图像处理部
18a、24a 数据获取部
18c、24b 修正部
14、21、26、31 通信部
15、34 电源
16、22 存储部
17、23、32 CPU
18b 处理部
20 ECU
24c、27c 失真消除部
24d、27d 图像合成部
30 显示器信息处理装置
35 显示器
100 车辆
101、102、103、104 摄像机
111、112、113、114 摄像机信息处理装置
201、202、203、204 差分表格
300 图像生成装置
A1、A2 光
BL12、BL13、BL24、BL34 边界线
C1 像高曲线(理想像高曲线)
C1’ 像高曲线
C2 像高曲线(实际像高曲线)
P1 俯视图(理想合成图像)
P2 俯视图(实际合成图像)
a11、a12、a13、a11’、a12’、a13’、a21、a22、a23、b1、b2、LO、O1、O2 点
Δa1、Δa2、Δa3 偏离量
θ 方位角
α 入射角
RL 人行带
L 光轴
L1、L2、L3、L4、L5、L6 透镜
R1、R2、R3、R4 拍摄范围
PR1、PR2、PR3、PR4 图像区域

Claims (7)

1.一种图像修正装置，其具备：
图像数据获取部，获取由摄像机得到的图像数据；以及
修正部，基于作为第一像高与第一基准像高的差值的第一差值来修正所述图像数据，所述第一像高是通过以第一入射角入射至所述摄像机的光得到的像高，所述第一基准像高是在所述摄像机中无制造误差的情况下，通过以所述第一入射角入射至所述摄像机的光得到的像高。
2.如权利要求1所述的图像修正装置，其中，
所述修正部基于多个方位角中的每个方位角涉及的所述第一差值，修正所述图像数据。
3.如权利要求1或2所述的图像修正装置，其中，
所述修正部基于作为第二像高与第二基准像高的差值的第二差值和所述第一差值来修正所述图像数据，所述第二像高是通过以第二入射角入射至所述摄像机的光得到的像高，所述第二基准像高是在所述摄像机中无制造误差的情况下，通过以所述第二入射角入射至所述摄像机的光得到的像高。
4.一种图像生成装置，其具备：
图像数据获取部，获取由摄像机得到的图像数据；以及
修正部，基于作为第一像高与第一基准像高的差值的第一差值来修正所述图像数据，所述第一像高是通过以第一入射角入射至所述摄像机的光得到的像高，所述第一基准像高是在所述摄像机中无制造误差的情况下，通过以所述第一入射角入射至所述摄像机的光得到的像高；
失真消除部，从修正图像消除失真，所述修正图像是从由所述修正部修正后的图像数据生成的图像；以及
图像合成部，将第一失真消除图像与第二失真消除图像合成来生成合成图像，所述第一失真消除图像是基于由作为一个所述摄像机的第一摄像机得到的第一图像数据而由所述失真消除部生成的图像，所述第二失真消除图像是基于由作为另一个所述摄像机的第二摄像机得到的第二图像数据而由所述失真消除部生成的图像。
5.一种摄像机系统，其具备：
所述第一摄像机；
所述第二摄像机；以及
权利要求4所述的图像生成装置。
6.如权利要求5所述的摄像机系统，其中，
所述摄像机系统还具备显示所述合成图像的显示器。
7.一种车辆，其具备权利要求5或6所述的摄像机系统。
CN201980093239.9A 2019-03-01 2019-12-06 图像修正装置、图像生成装置、摄像机系统以及车辆 Active CN113545027B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-037917 2019-03-01
JP2019037917A JP7153889B2 (ja) 2019-03-01 2019-03-01 画像補正装置、画像生成装置、カメラシステム及び車両
PCT/JP2019/047859 WO2020179165A1 (ja) 2019-03-01 2019-12-06 画像補正装置、画像生成装置、カメラシステム及び車両

Publications (2)

Publication Number Publication Date
CN113545027A true CN113545027A (zh) 2021-10-22
CN113545027B CN113545027B (zh) 2023-12-19

Family

ID=72265001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980093239.9A Active CN113545027B (zh) 2019-03-01 2019-12-06 图像修正装置、图像生成装置、摄像机系统以及车辆

Country Status (5)

Country Link
US (1) US11854169B2 (zh)
JP (1) JP7153889B2 (zh)
CN (1) CN113545027B (zh)
DE (1) DE112019006959T5 (zh)
WO (1) WO2020179165A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1770830A (zh) * 2004-11-02 2006-05-10 索尼株式会社 用于固态摄像元件的信号处理设备和信号处理方法
CN1829318A (zh) * 2005-03-03 2006-09-06 日产自动车株式会社 车载图像处理装置以及车辆用图像处理方法
CN102156969A (zh) * 2011-04-12 2011-08-17 潘林岭 图像纠偏处理方法
CN103426160A (zh) * 2012-05-25 2013-12-04 富士通天株式会社 数据导出装置及数据导出方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1512047A4 (en) * 2002-06-12 2008-03-05 Silicon Optix Inc AUTOMATIC KEYSTONE CORRECTION SYSTEM AND METHOD
JP4862321B2 (ja) 2005-08-30 2012-01-25 ソニー株式会社 車載カメラ装置
JP2008177988A (ja) * 2007-01-22 2008-07-31 Alpine Electronics Inc カメラパラメータ取得装置およびカメラパラメータ取得方法
JP2011049733A (ja) 2009-08-26 2011-03-10 Clarion Co Ltd カメラキャリブレーション装置および映像歪み補正装置
JP5444139B2 (ja) * 2010-06-29 2014-03-19 クラリオン株式会社 画像のキャリブレーション方法および装置
JP5597776B2 (ja) * 2011-12-28 2014-10-01 富士フイルム株式会社 撮像装置及びその画質補正方法並びに交換レンズと撮像装置本体
JP6154001B2 (ja) * 2013-04-18 2017-06-28 西日本高速道路エンジニアリング四国株式会社 道路走行面の形状を調査する装置
JP6471522B2 (ja) * 2015-02-10 2019-02-20 株式会社デンソー カメラパラメータ調整装置
JP5981003B1 (ja) * 2015-08-25 2016-08-31 オリンパス株式会社 デジタルカメラシステム，デジタルカメラ，交換レンズ，歪曲収差補正処理方法，歪曲収差補正処理プログラム
JP6529879B2 (ja) * 2015-09-29 2019-06-12 オリンパス株式会社 撮像装置、及び撮像装置の制御方法
JP6822427B2 (ja) * 2017-06-09 2021-01-27 株式会社デンソー 地図変化点検出装置
JP6918637B2 (ja) 2017-08-23 2021-08-11 積水化学工業株式会社 水処理装置および水処理方法
DE112020001525T5 (de) * 2019-03-26 2021-12-23 Sony Semiconductor Solutions Corporation Fahrzeugseitige kameravorrichtung und bildverzerrungskorrekturverfahren dafür

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1770830A (zh) * 2004-11-02 2006-05-10 索尼株式会社 用于固态摄像元件的信号处理设备和信号处理方法
CN1829318A (zh) * 2005-03-03 2006-09-06 日产自动车株式会社 车载图像处理装置以及车辆用图像处理方法
CN102156969A (zh) * 2011-04-12 2011-08-17 潘林岭 图像纠偏处理方法
CN103426160A (zh) * 2012-05-25 2013-12-04 富士通天株式会社 数据导出装置及数据导出方法

Also Published As

Publication number Publication date
WO2020179165A1 (ja) 2020-09-10
JP2020140662A (ja) 2020-09-03
US20210383513A1 (en) 2021-12-09
JP7153889B2 (ja) 2022-10-17
CN113545027B (zh) 2023-12-19
DE112019006959T5 (de) 2021-12-09
US11854169B2 (en) 2023-12-26

Similar Documents

Publication Publication Date Title
US8000559B2 (en) Method of correcting image distortion and apparatus for processing image using the method
JP4975592B2 (ja) 撮像装置
EP1087205B1 (en) Stereo range finder
US11310461B2 (en) Imaging apparatus, imaging system, and display system
JP4861034B2 (ja) 車載カメラのキャリブレーションシステム
KR101408426B1 (ko) 화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법, 보정 테이블 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체 및 보정 화상 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체
US11348208B2 (en) Signal processing apparatus and signal processing method
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
US7742087B2 (en) Image pickup device
JP5914813B2 (ja) カメラ、歪み補正装置、及び歪み補正方法
CN110035223B (zh) 半导体设备和电子设备
US20080159594A1 (en) Bird view visual system with fisheye distortion calibration and method thereof
US20110134262A1 (en) Camera module, image recording method, and electronic device
US20040062434A1 (en) Image processing apparatus, image processing method, and storage medium
JP2015163866A (ja) ステレオカメラ校正方法、視差算出装置及びステレオカメラ
KR101508254B1 (ko) 두 개의 촬영장치를 이용하여 구현한 차량용 블랙박스 및 무왜곡 영상을 제공하기 위한 유효화소 추출 방법
CN113545027A (zh) 图像修正装置、图像生成装置、摄像机系统以及车辆
JP2019132855A (ja) ステレオカメラ校正方法、視差算出装置及びステレオカメラ
US10388001B2 (en) Apparatus and method for compensating image distortion
JPH10271490A (ja) 車両後方監視装置
JP2009123131A (ja) 撮像装置
US20210097660A1 (en) Multi-eye camera system, multi-eye photographing camera head, image processing device, multi-eye photographing program and multi-eye photographing method
JP4983541B2 (ja) プログラム、画像処理装置およびカメラ
JP2018152014A (ja) 車両用映像表示装置
EP4266669A1 (en) Imaging device and image processing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240403

Address after: Kanagawa Prefecture, Japan

Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd.

Country or region after: Japan

Address before: Osaka, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Country or region before: Japan