CN109040517A - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN109040517A
CN109040517A CN201810443250.0A CN201810443250A CN109040517A CN 109040517 A CN109040517 A CN 109040517A CN 201810443250 A CN201810443250 A CN 201810443250A CN 109040517 A CN109040517 A CN 109040517A
Authority
CN
China
Prior art keywords
image
value
color difference
correction
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810443250.0A
Other languages
English (en)
Inventor
堀江治之
辻野美树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Aisin Corp
Original Assignee
Honda Motor Co Ltd
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd, Aisin Seiki Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN109040517A publication Critical patent/CN109040517A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6005—Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

本发明的图像处理装置包括：多个拍摄部，其设置于移动体的外周部，用于生成对移动体的周边进行拍摄所得的多个拍摄图像，该多个拍摄图像包含相互重叠的重叠区域；以及处理部，其对所述多个拍摄图像，通过第一校正来校正亮度，并通过不同于所述第一校正的第二校正来校正色差，然后将校正后的所述多个拍摄图像连接来生成周边图像，其中，所述处理部，在所述第一校正中，根据与所述多个拍摄图像中的一拍摄图像的、在所述重叠区域中设定的对象区域的亮度相关的值，对其它拍摄图像的所述对象区域的亮度进行校正，并且，在所述第二校正中，根据与所述一拍摄图像及所述其它拍摄图像的色差相关的值，对所述一拍摄图像或所述其它拍摄图像的色差进行校正。

Description

图像处理装置
技术领域
本发明涉及图像处理装置。
背景技术
以往有公知的如下装置，通过将由设置于移动体的多个拍摄装置进行拍摄所得的多个拍摄图像连接而生成周边图像。这种装置通过对多个拍摄图像进行校正来提高周边图像的画质。例如，在以使颜色分量(例如，YUV)各自的平均值在多个拍摄图像间相同的方式进行校正后，生成周边图像。
专利文献1：日本特开2011-181019号公报
专利文献2：日本特开2002-324235号公报
发明内容
然而，在上述的装置中，由于以使颜色分量的平均值相同的方式进行校正，因此存在周边图像的画质并未充分提高的问题。
本发明是鉴于上述问题而完成的，其目的在于，提供能够将连接拍摄图像来生成的周边图像的画质进一步提高的图像处理装置。
为了解决上述问题而达成目的，本发明的图像处理装置包括：多个拍摄部，其设置于移动体的外周部，用于生成对移动体的周边进行拍摄所得的多个拍摄图像，该多个拍摄图像包含相互重叠的重叠区域，以及处理部，其对上述多个拍摄图像，通过第一校正来校正亮度，并通过不同于所述第一校正的第二校正来校正色差，然后将校正后的上述多个拍摄图像连接来生成周边图像，其中，上述处理部，在上述第一校正中，根据与上述多个拍摄图像中的一拍摄图像的、在上述重叠区域中设定的对象区域的亮度相关的值，对其它拍摄图像的上述对象区域的亮度进行校正，并且，在上述第二校正中，根据与上述一拍摄图像及上述其它拍摄图像的色差相关的值，对上述一拍摄图像或上述其它拍摄图像的色差进行校正。
这样，图像处理装置根据一拍摄图像的亮度来校正对象区域的亮度，并且，根据两个以上的拍摄图像的色差来校正拍摄图像的色差，由此使亮度校正和色差校正不同，从而能够降低在以与亮度相同的方法来校正色差时会产生的、拍摄图像的过白、过黑等。其结果，图像处理装置能够准确地校正因拍摄部的特性和安装位置等的不同而产生的拍摄图像间的色差不一致，从而能够提高通过连接拍摄图像来生成的周边图像的画质。
在本发明的图像处理装置中，也可以是，上述处理部在上述第二校正中，根据全部上述拍摄图像或全部上述对象区域的上述色差的平均值、即整体色差平均值，以及一上述拍摄图像所包含的上述对象区域的上述色差的平均值、即拍摄图像色差平均值，对该拍摄图像的上述色差进行校正。
这样，图像处理装置根据每个拍摄图像的拍摄图像色差平均值和整体色差平均值来校正色差，因此在能够降低校正处理的运算负担的增加的同时，还能够降低拍摄图像间的色差的不协调感。
在本发明的图像处理装置中，也可以是，上述处理部根据上述对象区域的上述色差的平均值、以及预设的色差平均阈值，判断是否执行上述第二校正。
这样，图像处理装置根据色差平均值和色差平均阈值来判断是否执行校正，因此能够禁止在拍摄图像不包含路面等情况下设定出不准确的校正值这样的设定，抑制由于不准确的校正值而导致的周边图像的画质劣化。
在本发明的图像处理装置中，也可以是，上述处理部根据上述对象区域的上述色差的离散、以及预设的离散阈值，判断是否执行上述第二校正。
这样，图像处理装置根据色差的离散和离散阈值来判断是否执行校正，因此能够禁止在拍摄图像包含白线等时设定色差校正值，防止由于该校正值而产生伪色，抑制周边图像的画质劣化。
在本发明的图像处理装置中，也可以是，上述处理部根据一上述拍摄图像所包含的多个上述对象区域的上述色差的平均值的差值、以及预设的差值阈值，判断是否执行上述第二校正。
这样，图像处理装置根据一拍摄图像内的色差平均值的差值以及差值阈值来判断是否执行校正，因此能够禁止在一拍摄图像内的色差不一样而离散较大等情况下设定出不准确的校正值这样的设定，抑制由于不准确的校正值而导致的周边图像的画质劣化。
在本发明的图像处理装置中，也可以是，上述处理部根据为了校正上述色差而设定的校正值以及预设的上限校正值，判断是否将上述色差的校正值变更为上述上限校正值。
这样，图像处理装置根据设定的校正值以及上限校正值，能够抑制以偏大的校正值进行校正后发生的颜色大幅变化所导致的、周边图像的画质劣化。
在本发明的图像处理装置中，也可以是，上述处理部在为了校正上述色差而设定的校正值大于上述上限校正值的情况下，将上述校正值变更为上述上限校正值。
这样，图像处理装置即使在校正值偏大的情况下，也能够将校正值设定为适当的值(即，上限校正值)。
附图说明
图1是搭载第一实施方式的图像处理装置的车辆的俯视图。
图2是用于说明搭载于车辆的图像处理装置的结构的框图。
图3是用于说明信息处理装置的功能的功能框图。
图4是用于说明校正部对拍摄图像进行的校正的图。
图5是第一实施方式的处理部执行的图像生成处理的流程图。
图6是校正部执行的亮度校正处理的流程图。
图7是校正部执行的色差校正处理的流程图。
图8是第二实施方式的校正部执行的色差校正处理的流程图。
图9是校正部执行的色差平均值判断处理的流程图。
图10是校正部执行的色差离散判断处理的流程图。
图11是校正部执行的色差差值判断处理的流程图。
图12是校正部执行的校正值上限判断处理的流程图。
符号说明
10…车辆
14…拍摄部
20…图像处理装置
30…信息处理装置
50…处理部
54…校正部
56…生成部
70…拍摄图像
72…周边图像
74…重叠区域
78…对象区域
具体实施方式
以下的例示性实施方式等中，对相同的结构要素附加相同的符号，并合理省略重复的说明。
第一实施方式
图1是搭载第一实施方式的图像处理装置的车辆10的俯视图。车辆10是移动体的一个示例，例如可以是以内燃机(发动机，未图示)为驱动源的汽车(内燃机汽车)，也可以是以电动机(马达，未图示)为驱动源的汽车(电动汽车、燃料电池汽车等)、或者以其两者都为驱动源的汽车(混合动力汽车)。此外，车辆10能搭载各种变速装置，并且能搭载用于驱动内燃机或电动机所需要的各种装置(系统、零部件等)。另外，对车辆10中与车轮13的驱动有关的装置的方式、个数和布局等，可以进行各种设定。
如图1所示，车辆10包括车身12和多个(例如四个)拍摄部14a、14b、14c、14d。在无需区别拍摄部14a、14b、14c、14d时，称为拍摄部14。
车身12构成供乘员乘坐的车室。车身12收纳或保持车轮13和拍摄部14等车辆10的结构。
拍摄部14是例如内置有CCD(Charge Coupled Device，电荷耦合器件)或CIS(CMOSImage Sensor，CMOS图像传感器)等摄像元件的数字摄像头。拍摄部14将包括以规定的帧率生成的多个帧图像的动态图像、或者静态图像的数据，作为拍摄图像的数据输出。拍摄部14分别具有广角透镜或者鱼眼透镜，在水平方向上能够拍摄140°～190°的范围。拍摄部14的光轴设定为朝向斜下方。因此，多个拍摄部14输出对包含周边路面在内的车辆10的周边进行拍摄而得到的多个拍摄图像的数据。
拍摄部14设置于车辆10的外周部。例如，拍摄部14a设置于车辆10前侧的左右方向的中央部(例如，前保险杠)。拍摄部14a生成对车辆10前方的周边进行拍摄的拍摄图像。拍摄部14b设置于车辆10后侧的左右方向的中央部(例如，后保险杠)。拍摄部14b生成对车辆10后方的周边进行拍摄的拍摄图像。拍摄部14c与拍摄部14a和拍摄部14b相邻，设置于车辆10左侧部的前后方向的中央部(例如，左侧的后视镜12a)。拍摄部14c生成对车辆10左方的周边进行拍摄的拍摄图像。拍摄部14d与拍摄部14a和拍摄部14b相邻，设置于车辆10右侧部的前后方向的中央部(例如，右侧的后视镜12b)。拍摄部14d生成对车辆10右方的周边进行拍摄的拍摄图像。这里，拍摄部14a、14b、14c、14d生成包含相互重叠的多个重叠区域的多个拍摄图像。
图2是用于说明搭载于车辆10的图像处理装置20的结构的框图。如图2所示，图像处理装置20包括：多个拍摄部14、监控装置34、信息处理装置36和车内网络38。
监控装置34设置于车室内的前围板等。监控装置34包括：显示部40、音频输出部42和操作输入部44。
显示部40基于从信息处理装置36发送来的图像数据来显示图像。显示部40例如为液晶显示器(LCD:Liquid Crystal Display)、或者有机EL显示器(OELD：OrganicElectroluminescent Display)等显示装置。显示部40显示例如由信息处理装置36将多个拍摄部14所拍摄到的拍摄图像连接而得到的周边图像。
音频输出部42基于从信息处理装置36发送来的音频数据而输出音频。音频输出部42例如为扬声器。音频输出部42可以设置在车室内的与显示部40不同的位置上。
操作输入部44接收乘员执行的输入。操作输入部44例如为触控面板。操作输入部44设置于显示部40的显示画面上。操作输入部44构成为，能够透过其而看到显示部40显示的图像。因此，操作输入部44能够使乘员目视确认显示于显示部40的显示画面的图像。操作输入部44接收乘员通过触摸与显示于显示部40的显示画面的图像对应的位置来输入的指示，将其发送到信息处理装置36。
信息处理装置36是包括ECU(Electronic Control Unit，电子控制单元)等微机的计算机。信息处理装置36从拍摄部14获取拍摄图像的数据。信息处理装置36将与基于拍摄图像等而生成的周边图像或者音频相关的数据发送到监控装置34。信息处理装置36包括：CPU(Central Processing Unit，中央处理单元)36a、ROM(Read Only Memory，只读存储器)36b、RAM(Random Access Memory，随机存取存储器)36c、显示控制部36d、音频控制部36e和SSD(Solid State Drive，固态硬盘)36f。CPU36a、ROM36b和RAM36c可以集成在同一封装内。
CPU36a是硬件处理器的一个示例，其读取在ROM36b等非易失性存储装置中存储的程序，并根据该程序执行各种运算处理和控制。CPU36a例如对拍摄图像进行校正，并连接该拍摄图像，由此生成要显示于显示部40的周边图像。
ROM36b存储各种程序以及执行程序所需的参数等。RAM36c临时存储CPU36a上的运算所使用的各种数据。显示控制部36d在信息处理装置36上的运算处理中，主要执行拍摄部14所获取的图像的图像处理、使显示部40显示的显示用图像的数据转换等。音频控制部36e在信息处理装置36上的运算处理中，主要执行使音频输出部42输出的音频的处理。SSD36f是能够擦写的非易失性存储装置，即使在信息处理装置36的电源断开的情况下也保持数据。
车内网络38例如为CAN(Controller Area Network，控制器局域网)。车内网络38将信息处理装置36与操作输入部44电气连接，以使其能够相互发送或接收信号和信息。
在本实施方式中，信息处理装置36通过硬件与软件(控制程序)的协作，来管理车辆10的图像生成处理。信息处理装置36对拍摄部14所拍摄到包含周边的图像在内的拍摄图像进行校正，将校正后的拍摄图像连接，由此生成周边图像。
图3是用于说明信息处理装置36的功能的功能框图。如图3所示，信息处理装置36包括处理部50和存储部52。
处理部50例如由CPU36a等的功能来实现。处理部50包括校正部54和生成部56。处理部50可以通过读取存储部52中存储的图像生成程序58，来实现校正部54和生成部56的功能。校正部54和生成部56的一部分或全部，也可以由包括ASIC(Application SpecificIntegrated Circuit，专用集成电路)的电路等硬件构成。
校正部54从多个拍摄部14分别获取包含多个重叠区域的拍摄图像。换言之，校正部54至少获取与多个拍摄部14的个数为相同数量的拍摄图像。作为一个示例，拍摄图像可以是动态图像的一帧图像。校正部54对构成拍摄图像的各像素的亮度和色差进行校正。亮度例如为YUV空间中的Y值。色差是从颜色信号减去亮度后的值，例如为YUV空间中的U值(从蓝色信号减去亮度后的值)和V值(从红色信号减去亮度后的值)。校正部54对多个重叠区域分别设定对象区域。校正部54在第一校正，对多个拍摄图像的亮度进行校正。具体而言，在第一校正，校正部54基于与多个拍摄图像中的一拍摄图像(例如，前侧或后侧的拍摄图像)的对象区域的亮度相关的值，对其它拍摄图像(例如，左侧或右侧的拍摄图像)的对象区域的亮度进行校正。在第一校正，校正部54例如可以基于使用校正后的对象区域的亮度的线性插值，来校正对象区域之外的亮度。在第二校正，校正部54对多个拍摄图像的色差进行校正。具体而言，在第二校正，校正部54根据与多个拍摄图像中的两个以上的拍摄图像(例如，全部拍摄图像)的对象区域的色差相关的值，对多个拍摄图像的色差进行校正。两个以上的拍摄图像是一拍摄图像及其它拍摄图像的示例。校正部54例如在第二校正，根据全部拍摄图像内的对象区域的色差的平均值、即整体色差平均值，以及一拍摄图像内的对象区域的色差的平均值、即拍摄图像色差平均值，来校正一拍摄图像的色差。也就是说，校正部54通过与第一校正不同的第二校正，对色差进行校正。校正部54将校正后的拍摄图像输出到生成部56。
生成部56将从校正部54获取的校正后的多个拍摄图像连接，来生成周边图像。生成部56将生成的周边图像输出到显示部40，使其显示周边图像。
存储部52作为ROM36b、RAM36c和SSD36f中的至少一个的功能而实现。存储部52存储由处理部50执行的程序以及执行程序所需的数据。例如，存储部52存储由处理部50执行的图像生成程序58。存储部52还存储为执行图像生成程序58所需的数值数据60。
图4是用于说明校正部54对拍摄图像进行的校正的图。
在图4的周围以粗线示出的四个矩形框表示校正部54分别从拍摄部14a、14b、14c、14d获取的拍摄图像70a、70b、70c、70d。在图4的中央示出的粗线矩形框表示将拍摄图像70a、70b、70c、70d连接而生成的周边图像72。周边图像72例如为从上方观察车辆10的周边而得到的俯瞰图像或鸟瞰图像。周边图像72包括拍摄图像70a、70b、70c、70d的重叠区域，即重叠区域74FL、重叠区域74FR、重叠区域74RL和重叠区域74RR。
前侧拍摄图像70a和左侧拍摄图像70c包括彼此重叠的重叠区域74FLa和重叠区域74FLc。重叠区域74FLa和重叠区域74FLc是与重叠区域74FL对应的区域。前侧拍摄图像70a和右侧拍摄图像70d包括彼此重叠的重叠区域74FRa和重叠区域74FRd。重叠区域74FRa和重叠区域74FRd是与重叠区域74FR对应的区域。后侧拍摄图像70b和左侧拍摄图像70c包括彼此重叠的重叠区域74RLb和重叠区域74RLc。重叠区域74RLb和重叠区域74RLc是与重叠区域74RL对应的区域。后侧拍摄图像70b和右侧拍摄图像70d包括彼此重叠的重叠区域74RRb和重叠区域74RRd。重叠区域74RRb和重叠区域74RRd是与重叠区域74RR对应的区域。
在周边图像72的区域内示出的直线是界线76FL、76FR、76RL、76RR。在无需区别界线76FL、76FR、76RL、76RR时，称为界线76。界线76FL是前侧拍摄图像70a与左侧拍摄图像70c之间的界线。界线76FR是前侧拍摄图像70a与右侧拍摄图像70d之间的界线。界线76RL是后侧拍摄图像70b与左侧拍摄图像70c之间的界线。界线76RR是后侧拍摄图像70b与右侧拍摄图像70d之间的界线。界线76FL、76FR、76RL、76RR的角度可预先设定并作为数值数据60存储在存储部52中。
对界线76FL与界线76FR之间的区域，适用前侧拍摄图像70a。对界线76FL与界线76RL之间的区域，适用左侧拍摄图像70c。对界线76FR与界线76RR之间的区域，适用右侧拍摄图像70d。对界线76RL与界线76RR之间的区域，适用后侧拍摄图像70b。
校正部54对周边图像72的重叠区域74FL、74FR、74RL、74RR，分别设定以影线表示的对象区域78FL、78FR、78RL、78RR。对象区域78FL、78FR、78RL、78RR也被称为ROI(Regionof Interest，感兴趣区域)。对于对象区域78FL、78FR、78RL、78RR没有特别限定，可以由校正部54根据设定框80、界线76的角度和车辆10的宽度等，在重叠区域74FL、74FR、74RL、74RR中合理地设定。作为一个示例，设定框80是预设的停车框。用于设定对象区域78FL、78FR、78RL、78RR的设定框80、界线76的角度和车辆10的宽度等，作为数值数据60存储在存储部52中。
前侧拍摄图像70a内的对象区域78FLa和对象区域78FRa分别对应于周边图像72的对象区域78FL和对象区域78FR。后侧拍摄图像70b内的对象区域78RLb和对象区域78RRb分别对应于周边图像72的对象区域78RL和对象区域78RR。左侧拍摄图像70c内的对象区域78FLc和对象区域78RLc分别对应于周边图像72的对象区域78FL和对象区域78RL。右侧拍摄图像70d内的对象区域78FRd和对象区域78RRd分别对应于周边图像72的对象区域78FR和对象区域78RR。
在无需区别拍摄图像70a、70b、70c、70d时，称为拍摄图像70。在无需区别重叠图像74FL、74FR、74RL、74RR时，称为重叠区域74。在无需区别对象区域78FL、78FR、78RL、78RR时，称为对象区域78。
下面，对校正部54的亮度校正处理进行说明。
校正部54计算前侧拍摄图像70a的对象区域78FLa所包含的所有像素的亮度(＝Y值)的平均值(以下称为基准左前侧亮度平均值)。校正部54计算前侧拍摄图像70a的对象区域78FRa所包含的、所有像素的亮度的平均值(以下称为基准右前侧亮度平均值)。校正部54计算后侧拍摄图像70b的对象区域78RLb所包含的、所有像素的亮度的平均值(以下称为基准左后侧亮度平均值)。校正部54计算后侧拍摄图像70b的对象区域78RRb所包含的、所有像素的亮度的平均值(以下称为基准右后侧亮度平均值)。
校正部54计算左侧拍摄图像70c的对象区域78FLc所包含的所有像素的亮度的平均值(以下称为左前侧亮度平均值)。校正部54计算对象区域78FLa的基准左前侧亮度平均值与对象区域78FLc的左前侧亮度平均值之差值(以下称为左前亮度差值)。校正部54通过对左侧拍摄图像70c的对象区域78FLc所包含的所有像素的亮度加上或减去左前亮度差值，校正左侧拍摄图像70c的对象区域78FLc的亮度，以使左前侧亮度平均值等于基准左前侧亮度平均值。
校正部54计算左侧拍摄图像70c的对象区域78RLc所包含的所有像素的亮度的平均值(以下称为左后侧亮度平均值)。校正部54计算对象区域78RLb的基准左后侧亮度平均值与对象区域78RLc的左后侧亮度平均值之差值(以下称为左后亮度差值)。校正部54通过对左侧拍摄图像70c的对象区域78RLc所包含的所有像素的亮度加上或减去左后亮度差值，校正左侧拍摄图像70c的对象区域78RLc的亮度，以使左后侧亮度平均值等于基准左后侧亮度平均值。
校正部54使用校正后的对象区域78FLc的左前侧亮度平均值和对象区域78RLc的左后侧亮度平均值来进行线性插值，由此校正左侧拍摄图像70c内的除对象区域78FLc和对象区域78RLc以外的区域的亮度。
校正部54计算右侧拍摄图像70d的对象区域78FRd所包含的所有像素的亮度的平均值(以下称为右前侧亮度平均值)。校正部54计算对象区域78FRa的基准右前侧亮度平均值与对象区域78FRd的右前侧亮度平均值之差值(以下称为右前亮度差值)。校正部54通过对右侧拍摄图像70d的对象区域78FRd所包含的所有像素的亮度加上或减去右前亮度差值，校正右侧拍摄图像70d的对象区域78FRd的亮度，以使右前侧亮度平均值等于基准右前侧亮度平均值。
校正部54计算右侧拍摄图像70d的对象区域78RRd所包含的所有像素的亮度的平均值(以下称为右后侧亮度平均值)。校正部54计算对象区域78RRb的基准右后侧亮度平均值与对象区域78RRd的右后侧亮度平均值之差值(以下称为右后亮度差值)。校正部54通过对右侧拍摄图像70d的对象区域78RRd所包含的所有像素的亮度加上或减去右后亮度差值，校正右侧拍摄图像70d的对象区域78RRd的亮度，以使右后侧亮度平均值等于基准右后侧亮度平均值。
校正部54使用校正后的对象区域78FRd的右前侧亮度平均值和对象区域78RRd的右后侧亮度平均值来进行线性插值，由此校正右侧拍摄图像70d内的除对象区域78FRd和对象区域78RRd以外的区域的亮度。
接着，对校正部54的色差校正处理进行说明。
校正部54根据全部拍摄图像70的全部重叠区域74的全部对象区域78的、每种色差各自的平均即整体色差平均值、以及一拍摄图像70所包含的全部重叠区域74的全部对象区域78的色差的平均即拍摄图像色差平均值，按每种色差对该拍摄图像70的色差进行校正。
首先，对色差中U值的校正进行具体说明。
校正部54计算每个拍摄图像70(即，每个拍摄部14)的色差(这里是U值)的平均值，即拍摄图像色差平均值。
具体而言，校正部54将拍摄部14a的前侧拍摄图像70a的全部对象区域78FLa、78FRa的U值全部相加后的总和，除以对象区域78FLa、78FRa的像素数，来计算前侧拍摄图像70a的U值的平均值、即前侧拍摄图像U平均值。
校正部54将拍摄部14b的后侧拍摄图像70b的全部对象区域78RLb、78RRb的U值全部相加后的总和，除以对象区域78RLb、78RRb的像素数，来计算后侧拍摄图像70b的U值的平均值、即后侧拍摄图像U平均值。
校正部54将拍摄部14c的左侧拍摄图像70c的全部对象区域78FLc、78RLc的U值全部相加后的总和，除以对象区域78FLc、78RLc的像素数，来计算左侧拍摄图像70c的U值的平均值、即左侧拍摄图像U平均值。
校正部54将拍摄部14d的右侧拍摄图像70d的全部对象区域78FRd、78RRd的U值全部相加后的总和，除以对象区域78FRd、78RRd的像素数，来计算右侧拍摄图像70d的U值的平均值、即右侧拍摄图像U平均值。
前侧拍摄图像U平均值、后侧拍摄图像U平均值、左侧拍摄图像U平均值和右侧拍摄图像U平均值，是拍摄图像色差平均值的一个示例，在无需区别时，称为拍摄图像U平均值。此外，将V值的拍摄图像色差平均值称为拍摄图像V平均值。在无需区别拍摄图像U平均值和拍摄图像V平均值时，称为拍摄图像色差平均值。
校正部54计算将全部拍摄图像70的全部对象区域78的U值合计起来的U合计值。校正部54将U合计值除以全部对象区域78的像素数，来计算整体U平均值。整体U平均值是整体色差平均值的一个示例。
校正部54对每个拍摄图像70校正所有像素的U值，以使各拍摄图像U平均值等于整体U平均值。
例如，校正部54计算前侧拍摄图像U平均值与整体U平均值之差值，作为拍摄部14a的校正值。校正部54通过对前侧拍摄图像70a的所有像素的U值加上或减去该校正值来进行校正，以使前侧拍摄图像U平均值等于整体U平均值。
校正部54计算后侧拍摄图像U平均值与整体U平均值之差值，作为拍摄部14b的校正值。校正部54通过对后侧拍摄图像70b的所有像素的U值加上或减去该校正值来进行校正，以使后侧拍摄图像U平均值等于整体U平均值。
校正部54计算左侧拍摄图像U平均值与整体U平均值之差值，作为拍摄部14c的校正值。校正部54通过对左侧拍摄图像70c的所有像素的U值加上或减去该校正值来进行校正，以使左侧拍摄图像U平均值等于整体U平均值。
校正部54计算右侧拍摄图像U平均值与整体U平均值之差值，作为拍摄部14d的校正值。校正部54通过对右侧拍摄图像70d的所有像素的U值加上或减去该校正值来进行校正，以使右侧拍摄图像U平均值等于整体U平均值。
同样地，校正部54校正V值。
图5是第一实施方式的处理部50执行的图像生成处理的流程图。处理部50通过读取图像生成程序58来执行图像生成处理。
如图5所示，处理部50的校正部54从多个拍摄部14分别获取包含相互重叠的重叠区域74的拍摄图像70(S102)。换言之，校正部54获取与多个拍摄部14的个数为相同数量的拍摄图像70。
校正部54执行亮度校正处理(第一校正处理)，对多个拍摄图像70的亮度进行校正(S104)。
然后，校正部54执行色差校正处理(第二校正处理)，对多个拍摄图像70的色差(包括U值和V值)进行校正(S106)。
生成部56将由校正部54校正后的拍摄图像70连接，来生成周边图像72(S108)。
生成部56将生成的周边图像72输出到显示部40，使其显示(S110)。之后，处理部50反复执行步骤S102及其后的步骤，反复生成周边图像72。
图6是校正部54执行的亮度校正处理的流程图。
在图6所示的亮度校正处理中，校正部54计算包含于前侧拍摄图像70a的对象区域78FLa、78FRa的亮度的各平均值、即基准左前侧亮度平均值和基准右前侧亮度平均值(S202)。校正部54计算包含于后侧拍摄图像70b的对象区域78RLb、78RRb的亮度的各平均值、即基准左后侧亮度平均值和基准右后侧亮度平均值(S204)。
校正部54对左侧拍摄图像70c的亮度进行校正(S206)。具体而言，校正部54根据左侧拍摄图像70c的对象区域78FLc的亮度平均值即左前侧亮度平均值与基准左前侧亮度平均值之差值，对左侧拍摄图像70c的对象区域78FLc的亮度进行校正。校正部54根据左侧拍摄图像70c的对象区域78RLc的亮度平均值即左后侧亮度平均值与基准左后侧亮度平均值之差值，对左侧拍摄图像70c的对象区域78RLc的亮度进行校正。校正部54通过使用校正后的左前侧亮度平均值和左后侧亮度平均值进行线性插值，来校正左侧拍摄图像70c中除对象区域78FLc、78RLc以外的区域的亮度。
校正部54对右侧拍摄图像70d的亮度进行校正(S208)。具体而言，校正部54根据右侧拍摄图像70d的对象区域78FRd的亮度平均值即右前侧亮度平均值与基准右前侧亮度平均值之差值，对右侧拍摄图像70d的对象区域78FRd的亮度进行校正。校正部54根据右侧拍摄图像70d的对象区域78RRd的亮度平均值即右后侧亮度平均值与基准右后侧亮度平均值之差值，对右侧拍摄图像70d的对象区域78RRd的亮度进行校正。校正部54通过使用校正后的右前侧亮度平均值和右后侧亮度平均值进行线性插值，来校正右侧拍摄图像70d中除对象区域78FRd、78RRd以外的区域的亮度。
由此，校正部54结束亮度校正，返回到图像生成处理。
图7是校正部54执行的色差校正处理的流程图。
如图7所示，校正部54对每个拍摄图像70(或每个拍摄部14)并且对每种色差，计算对象区域78的色差的平均值、即拍摄图像色差平均值(S302)。具体而言，校正部54将一拍摄图像70(例如，拍摄图像70a)所包含的全部对象区域78(例如，对象区域78FLa、78FRa)的U值的总和，除以该全部对象区域78的像素数，来计算该拍摄图像70(例如，拍摄图像70a)的U值的拍摄图像色差平均值、即拍摄图像U平均值(例如，前侧拍摄图像U平均值)。同样地，校正部54计算拍摄图像70(例如，拍摄图像70a)的拍摄图像V平均值(例如，前侧拍摄图像V平均值)。通过反复进行上述处理，校正部54计算全部拍摄部14的拍摄图像70的拍摄图像U平均值和拍摄图像V平均值。
在计算全部拍摄图像70的全部拍摄图像U平均值和拍摄图像V平均值后，校正部54对每种色差，计算全部拍摄图像70所包含的全部对象区域78的色差的总和、即色差合计值(U合计值和V合计值)(S306)。校正部54通过将色差合计值除以全部对象区域78的像素数，来对每种色差计算全部对象区域78的色差的平均值、即整体色差平均值(即，整体U平均值和整体V平均值)(S308)。
校正部54对每个拍摄部14，计算各色差的校正值(S310)。具体而言，校正部54将拍摄部14a的前侧拍摄图像70a的拍摄图像U平均值与整体U平均值之差值，作为该拍摄部14a的U值的校正值。校正部54重复地对各拍摄部14b、14c、14d进行相同的处理，由此计算全部拍摄部14的U值的校正值。进而，校正部54将拍摄部14a的前侧拍摄图像70a的拍摄图像V平均值与整体V平均值之差值，作为该拍摄部14a的V值的校正值。校正部54重复地对各拍摄部14b、14c、14d进行相同的处理，由此计算全部拍摄部14的V值的校正值。校正部54使计算出的校正值与色差和拍摄部14相关联而存储到存储部52。
校正部54通过对拍摄图像70的像素的色差，加上或减去与该拍摄图像70的拍摄部14相关联的校正值，来校正拍摄图像70(S312)。例如，校正部54对于拍摄图像U平均值比整体U平均值低的拍摄部14的U值，通过加上校正值来进行校正。校正部54对于拍摄图像U平均值比整体U平均值高的拍摄部14的U值，通过减去校正值来进行校正。
由此，校正部54结束色差校正处理，返回到图像生成处理。
如上所述，第一实施方式的图像处理装置20根据一拍摄图像70的对象区域78的亮度对其它拍摄图像70的对象区域78的亮度进行校正，并且，根据两个以上的拍摄图像70的色差对拍摄图像70的色差进行校正，这样，使拍摄图像70间的亮度校正与色差校正不同。由此，图像处理装置20能够降低在以与亮度相同的方法来校正色差时会在某些拍摄图像70中产生的过白、过黑等。其结果，图像处理装置20能够准确地校正因拍摄部14的特性和安装位置等的不同而产生的拍摄图像70间的色差不一致，从而能够提高通过连接拍摄图像70来生成的周边图像72的画质。
而且，图像处理装置20根据每个拍摄图像70的拍摄图像色差平均值和整体色差平均值来校正色差，因此在能够降低校正处理的运算负担的增加的同时，还能够降低拍摄图像70间的色差的不协调感。
第二实施方式
下面，对第二实施方式进行说明，其中，变更了上述的色差校正处理的一部分。第二实施方式的校正部54可以根据预设的条件来判断是否执行色差校正(即，第二校正)。
例如，校正部54可以根据对象区域78的色差的平均值即色差平均值(U平均值和V平均值)、以及预设的色差平均阈值，来判断是否执行色差校正。色差平均阈值作为数值数据60存储在存储部52中。
校正部54可以根据对象区域78的色差的离散和预设的离散阈值，来判断是否执行色差校正。离散阈值作为数值数据60存储在存储部52中。
校正部54可以根据一拍摄图像70所包含的多个对象区域78(例如，对象区域78FLa、78FRa)间的色差平均值的差值、以及预设的差值阈值，来判断是否执行色差校正。差值阈值作为数值数据60存储在存储部52中。
此外，校正部54也可以在满足预设的条件时，变更校正值。
例如，校正部54可以根据为了校正色差而设定的校正值和预设的上限校正值，来判断是否将色差的校正值变更为上限校正值。上限校正值是表示校正值的上限的值，作为数值数据60存储在存储部52中。
图8是第二实施方式的校正部54执行的色差校正处理的流程图。对与第一实施方式相同的步骤赋予相同的步骤序号并省略其说明。
如图8所示，在第二实施方式的色差校正处理中，校正部54将步骤S354～S362的处理执行与全部对象区域78的个数(这里为8个)相同的次数(S352)。
校正部54在多个对象区域78中设定用于判断能否校正的对象区域78(S354)。对象区域78的设定顺序上没有特别的限定，只要是在第偶数次设定的对象区域78属于与上一个第奇数次设定的对象区域78相同的拍摄图像70即可。例如，可以如下设定：校正部54首先设定对象区域78FLa，然后以顺时针方向，以对象区域78FRa、78FRd、……、78FLc的顺序设定。
校正部54计算所设定的对象区域78的色差平均值(U平均值和V平均值)(S356)。
校正部54执行色差平均值判断处理，判断是否执行色差校正(S358)。
图9是校正部54执行的色差平均值判断处理的流程图。校正部54通过色差平均值判断处理，在拍摄图像70不包含灰色时、即不包含路面时，禁止设定色差的校正值。
如图9所示，在色差平均值判断处理中，校正部54判断对象区域78的U平均值的绝对值是否大于预设的U平均阈值(S402)。例如，在U值为±128阶之间的值时，U平均阈值为“50”。
如果校正部54判断为对象区域78的U平均值的绝对值在U平均阈值以下(S402：否)，则校正部54判断对象区域78的V平均值的绝对值是否大于预设的V平均阈值(S404)。例如，在V值为±128阶之间的值时，V平均阈值为“50”。如果判断为对象区域78的V平均值的绝对值在V平均阈值以下(S404：否)，则校正部54结束色差平均值判断处理，并执行步骤S360。
另一方面，如果判断为对象区域78的U平均值的绝对值大于U平均阈值(S402：是)，或者判断为对象区域78的V平均值的绝对值大于V平均阈值(S404：是)，则校正部54不对色差进行校正，而结束图像生成处理(参照图8的圆圈内的A)。
返回到图8，校正部54执行色差离散判断处理，判断是否执行色差校正(S360)。
图10是校正部54执行的色差离散判断处理的流程图。校正部54通过色差离散判断处理，在拍摄图像70包含白线等时禁止设定色差的校正值，由此防止由于该校正值而出现伪色。
如图10所示，在色差离散判断处理中，校正部54计算对象区域78的U值的最大值与最小值之差、即U值的离散(S412)。校正部54判断U值的离散是否大于预设的U离散阈值(S414)。例如，在U值设有256阶时，U离散阈值为“20”。
如果判断为对象区域78的U值的离散在U离散阈值以下(S414：否)，则校正部54计算对象区域78的V值的最大值与最小值之差、即V值的离散(S416)。校正部54判断V值的离散是否大于预设的V离散阈值(S418)。例如，在V值设有256阶时，V离散阈值为“20”。如果判断为对象区域78的V值的离散在V离散阈值以下(S418：否)，则校正部54结束色差离散判断处理而执行步骤S362。
另一方面，如果判断为对象区域78的U值的离散大于U离散阈值(S414：是)，或者判断为对象区域78的V值的离散大于V离散阈值(S418：是)，则校正部54不对色差进行校正，而结束图像生成处理(参照图8的圆圈内的A)。
返回到图8，校正部54执行色差差值判断处理，根据一拍摄图像70内的色差的差值来判断是否执行色差校正(S362)。
图11是校正部54执行的色差差值判断处理的流程图。校正部54通过色差差值判断处理，在一拍摄图像70内的色差不一样时，禁止设定色差校正值。
如图11所示，在色差差值判断处理中，校正部54判断在步骤S352及其后的步骤的循环次数是否为第偶数次(S422)。这里，循环次数为第偶数次，意味着：关于本次循环的步骤S356中计算出的色差平均值，同一个拍摄部14拍摄到的拍摄图像70内的、其它对象区域78的色差平均值已经计算出了。如果判断为不是第偶数次(S422：否)，则校正部54结束色差差值判断处理，而执行步骤S352或步骤S302。
如果判断为是第偶数次(S422：是)，则校正部54计算一拍摄图像70内的两个对象区域78(例如，对象区域78FLa、78FRa)的U平均值的差值、即U差值(S424)。校正部54判断U差值是否大于预设的U差值阈值(S426)。例如，在U值设有256阶时，U差值阈值为“10”。
如果判断为U差值在预设的U差值阈值以下(S426：否)，则校正部54计算一拍摄图像70内的两个对象区域78(例如，对象区域78FLa、78FRa)的V平均值的差值、即V差值(S428)。校正部54判断V差值是否大于预设的V差值阈值(S430)。例如，在V值设有256阶时，V差值阈值为“10”。如果判断为V差值在预设的V差值阈值以下(S430：否)，则校正部54结束色差差值判断处理，而执行步骤S352或步骤S302。
另一方面，如果判断为对象区域78的U差值大于U差值阈值(S426：是)，或者判断为对象区域78的V差值大于V差值阈值(S430：是)，则校正部54不对色差进行校正，而结束图像生成处理(参照图8的圆圈内的A)。
返回到图8，校正部54在将步骤S352的循环执行与全部对象区域78的个数相同的次数后，与第一实施方式同样地执行从步骤S302至S310的处理，对每个拍摄部14计算各色差的校正值。
校正部54在计算校正值后，执行校正值上限判断处理，判断校正值的上限(S366)。
图12是校正部54执行的校正值上限判断处理的流程图。校正部54通过校正值上限判断处理，抑制以偏大的校正值进行校正后发生的颜色大幅变化所导致的、周边图像78的画质劣化。
如图12所示，在校正值上限判断处理中，校正部54判断计算出的U值的校正值是否大于预设的U上限值(S442)。例如，在U值设有256阶时，U上限值为“35”。如果U值的校正值大于预设的U上限值(S442：是)，则校正部54将U值的校正值变更为U上限值(S444)。如果U值的校正值在U上限值以下(S442：否)，则校正部54不对U值的校正值进行变更而将其保持。
校正部54判断计算出的V值的校正值是否大于预设的V上限值(S446)。例如，在V值设有256阶时，V上限值为“35”。如果V值的校正值大于预设的V上限值(S446：是)，则校正部54将V值的校正值变更为V上限值(S448)。如果V值的校正值在V上限值以下(S446：否)，则校正部54不对V值的校正值进行变更而将其保持。
由此，校正部54结束校正值上限判断处理。
返回到图8，校正部54根据计算出的校正值，或根据变更成上限值的校正值，对拍摄图像70的色差进行校正(S312)，结束色差校正处理。
如上所述，在第二实施方式中，校正部54执行色差平均值判断处理，由此，禁止在拍摄图像70不包含路面等情况下设定出不准确的校正值这样的设定，抑制由于校正而导致的周边图像72的画质劣化。
校正部54执行色差离散判断处理，由此，禁止在拍摄图像70包含白线等时设定色差校正值，防止由于该校正值而产生伪色，抑制由于校正而导致的周边图像72的画质劣化。
校正部54执行色差差值判断处理，由此，禁止在一拍摄图像70内的色差不一样而离散较大等情况下设定出不准确的校正值这样的设定，抑制由于不准确的校正值而导致的周边图像72的画质劣化。
校正部54执行校正值上限判断处理，由此，抑制以偏大的校正值进行校正后发生的颜色大幅变化所导致的、周边图像78的画质劣化。校正部54即使在校正值偏大的情况下，也能够通过校正值上限判断处理而将校正值设定为适当的值(即，上限校正值)。
上述各实施方式的结构的功能、连接关系、数量、配置等可以在发明范围及其等同范围内适当地进行变更、删除等。也可以适当地组合各实施方式。还可以适当地变更各实施方式的各步骤的顺序。
在上述实施方式中提出的是在每次图像生成处理中计算校正值的示例，但并不限于此。例如，也可以在多次图像生成处理中计算一次校正值，还可以仅在启动信息处理装置36时计算校正值。
在上述实施方式中，提出的是将设定于重叠区域74的一部分的对象区域78作为用于校正亮度和色差的区域的示例，但也可以将对象区域78扩展至整个重叠区域74上，使其与重叠区域74一致。
在上述第二实施方式中提出的是色差平均值判断处理、色差离散判断处理、色差差值判断处理和校正值上限判断处理全部都执行的示例，但并不限于此。可以构成为，图像处理装置20仅执行这些判断处理中的一个或多个判断处理。
在上述实施方式中，作为移动体的示例提出了车辆10，但并不限于此。例如，移动体也可以是飞机、船舶、二轮车等。
在上述实施方式中提出的是校正部54根据整体色差平均值与拍摄图像色差平均值之差值而校正色差的示例，但并不限于此。例如，校正部54也可以根据拍摄图像色差平均值相对于整体色差平均值的比率而校正色差。这种情况下，校正部54可以通过将拍摄图像的色差除以该比率来校正色差。
在上述实施方式中提出的是校正部54计算全部对象区域78的色差的平均值作为整体色差平均值的示例，但整体色差平均值不限于此。例如，校正部54也可以计算全部拍摄图像70的色差的平均值作为整体色差平均值。

Claims (7)

1.一种图像处理装置，其特征在于，包括：
多个拍摄部，其设置于移动体的外周部，用于生成对移动体的周边进行拍摄所得的多个拍摄图像，该多个拍摄图像包含相互重叠的重叠区域，以及
处理部，其对所述多个拍摄图像，通过第一校正来校正亮度，并通过不同于所述第一校正的第二校正来校正色差，然后将校正后的所述多个拍摄图像连接来生成周边图像，
其中，所述处理部，
在所述第一校正中，根据与所述多个拍摄图像中的一拍摄图像的、在所述重叠区域中设定的对象区域的亮度相关的值，对其它拍摄图像的所述对象区域的亮度进行校正，并且，
在所述第二校正中，根据与所述一拍摄图像及所述其它拍摄图像的色差相关的值，对所述一拍摄图像或所述其它拍摄图像的色差进行校正。
2.根据权利要求1所述的图像处理装置，其特征在于：
所述处理部在所述第二校正中，根据全部所述拍摄图像或全部所述对象区域的所述色差的平均值、即整体色差平均值，以及一所述拍摄图像所包含的所述对象区域的所述色差的平均值、即拍摄图像色差平均值，对该拍摄图像的所述色差进行校正。
3.根据权利要求1或2所述的图像处理装置，其特征在于：
所述处理部根据所述对象区域的所述色差的平均值以及预设的色差平均阈值，判断是否执行所述第二校正。
4.根据权利要求1至3中任一项所述的图像处理装置，其特征在于：
所述处理部根据所述对象区域的所述色差的离散以及预设的离散阈值，判断是否执行所述第二校正。
5.根据权利要求1至4中任一项所述的图像处理装置，其特征在于：
所述处理部根据一所述拍摄图像所包含的多个所述对象区域的所述色差的平均值的差值以及预设的差值阈值，判断是否执行所述第二校正。
6.根据权利要求1至5中任一项所述的图像处理装置，其特征在于：
所述处理部根据为了校正所述色差而设定的校正值以及预设的上限校正值，判断是否将所述色差的校正值变更为所述上限校正值。
7.根据权利要求6所述的图像处理装置，其特征在于：
所述处理部在为了校正所述色差而设定的校正值大于所述上限校正值的情况下，将所述校正值变更为所述上限校正值。
CN201810443250.0A 2017-06-09 2018-05-10 图像处理装置 Pending CN109040517A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017114665A JP2018206323A (ja) 2017-06-09 2017-06-09 画像処理装置
JP2017-114665 2017-06-09

Publications (1)

Publication Number Publication Date
CN109040517A true CN109040517A (zh) 2018-12-18

Family

ID=64563883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810443250.0A Pending CN109040517A (zh) 2017-06-09 2018-05-10 图像处理装置

Country Status (3)

Country Link
US (1) US20180359398A1 (zh)
JP (1) JP2018206323A (zh)
CN (1) CN109040517A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114414060A (zh) * 2020-10-12 2022-04-29 阿自倍尔株式会社 测定装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109672859A (zh) * 2018-12-13 2019-04-23 中国航空工业集团公司上海航空测控技术研究所 一种用于民用飞机的模拟视频监视系统
US11948315B2 (en) * 2020-12-31 2024-04-02 Nvidia Corporation Image composition in multiview automotive and robotics systems

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010016064A1 (en) * 2000-02-22 2001-08-23 Olympus Optical Co., Ltd. Image processing apparatus
US20100110234A1 (en) * 2008-11-04 2010-05-06 Fujitsu Limited Image synthesis apparatus and image synthesis method
JP2011013929A (ja) * 2009-07-02 2011-01-20 Sanyo Electric Co Ltd 画像処理装置
US20160269597A1 (en) * 2013-10-29 2016-09-15 Kyocera Corporation Image correction parameter output apparatus, camera system and correction parameter output method
CN106373091A (zh) * 2016-09-05 2017-02-01 山东省科学院自动化研究所 全景泊车中鸟瞰图像的自动拼接方法、系统及车辆
CN110517188A (zh) * 2018-05-22 2019-11-29 杭州海康威视数字技术股份有限公司 确定鸟瞰图像的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4783985B2 (ja) * 2001-02-28 2011-09-28 日本電気株式会社 映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム
JP4816923B2 (ja) * 2006-03-01 2011-11-16 日産自動車株式会社 車両周辺画像提供装置および方法
JP6115104B2 (ja) * 2012-12-04 2017-04-19 アイシン精機株式会社 車両の制御装置、及び制御方法
JP6361931B2 (ja) * 2015-04-23 2018-07-25 パナソニックＩｐマネジメント株式会社 画像処理装置及びこれを備えた撮像システムならびに画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010016064A1 (en) * 2000-02-22 2001-08-23 Olympus Optical Co., Ltd. Image processing apparatus
US20100110234A1 (en) * 2008-11-04 2010-05-06 Fujitsu Limited Image synthesis apparatus and image synthesis method
JP2011013929A (ja) * 2009-07-02 2011-01-20 Sanyo Electric Co Ltd 画像処理装置
US20160269597A1 (en) * 2013-10-29 2016-09-15 Kyocera Corporation Image correction parameter output apparatus, camera system and correction parameter output method
CN106373091A (zh) * 2016-09-05 2017-02-01 山东省科学院自动化研究所 全景泊车中鸟瞰图像的自动拼接方法、系统及车辆
CN110517188A (zh) * 2018-05-22 2019-11-29 杭州海康威视数字技术股份有限公司 确定鸟瞰图像的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114414060A (zh) * 2020-10-12 2022-04-29 阿自倍尔株式会社 测定装置
CN114414060B (zh) * 2020-10-12 2024-03-15 阿自倍尔株式会社 测定装置

Also Published As

Publication number Publication date
US20180359398A1 (en) 2018-12-13
JP2018206323A (ja) 2018-12-27

Similar Documents

Publication Publication Date Title
US11910123B2 (en) System for processing image data for display using backward projection
US9247217B2 (en) Vehicle periphery monitoring device and vehicle periphery image display method
CN104159019B (zh) 多个图像的亮度均匀化方法
JP4976685B2 (ja) 画像処理装置
US11258953B2 (en) Image processing device
CN109040517A (zh) 图像处理装置
JP5888117B2 (ja) 物体検出装置
US11082631B2 (en) Image processing device
US20190253623A1 (en) Image processing method and device supporting multiple modes, image conversion or stitching unit, and computer readable recording medium realizing the image processing method
US9984444B2 (en) Apparatus for correcting image distortion of lens
CN108364263B (zh) 一种标清输入高清输出的车载图像处理方法
CN109792482A (zh) 摄像机模块、选择器、控制器、摄像机监视系统以及移动体
KR20230009412A (ko) 전자 기기 및 촬상 장치
JP5020792B2 (ja) 合成画像生成装置および合成画像生成方法
CN110717945A (zh) 一种视觉标定方法、车机及汽车
JP7013287B2 (ja) 画像処理装置
CN115278068A (zh) 车载360全景影像系统的弱光增强方法及装置
CN111107303A (zh) 行车图像系统及行车图像处理方法
US20210287335A1 (en) Information processing device and program
JP2011181019A (ja) 俯瞰画像生成装置
KR101241012B1 (ko) 어라운드 뷰 모니터 시스템의 카메라 간 화질차이 개선 방법
US11523053B2 (en) Image processing apparatus
CN107113402B (zh) 图像处理系统以及图像处理装置
CN115689878A (zh) 一种全景系统色度调节方法
CN116051379A (zh) Avm图像融合方法及装置、车辆、可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181218

WD01 Invention patent application deemed withdrawn after publication