CN107113402B - 图像处理系统以及图像处理装置 - Google Patents

图像处理系统以及图像处理装置 Download PDF

Info

Publication number
CN107113402B
CN107113402B CN201580070347.6A CN201580070347A CN107113402B CN 107113402 B CN107113402 B CN 107113402B CN 201580070347 A CN201580070347 A CN 201580070347A CN 107113402 B CN107113402 B CN 107113402B
Authority
CN
China
Prior art keywords
image
mentioned
shooting
unit
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580070347.6A
Other languages
English (en)
Other versions
CN107113402A (zh
Inventor
横田昇幸
松本宗昭
柳川博彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN107113402A publication Critical patent/CN107113402A/zh
Application granted granted Critical
Publication of CN107113402B publication Critical patent/CN107113402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/92
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

本发明提供对拍摄车辆周边所得的图像进行处理的图像处理系统(1)。第一时刻图像是第一图像,该第一图像是由拍摄车辆周边的后相机(3b)拍摄到的拍摄图像以及基于该拍摄图像生成的图像中的任意一个,且是在第一定时进行后相机的拍摄所得的图像。第二时刻图像是第二图像,该第二图像是由前相机(3a)拍摄到的拍摄图像以及基于该拍摄图像生成的图像中的任意一个,且是在与第一定时相比过去进行前相机的拍摄并拍摄与第一时刻图像同一拍摄对象所得的图像。历史记录合成部(13b)对第一图像以及第二图像中的至少任意一个执行能够减小第一时刻图像以及第二时刻图像各个中的构成显示拍摄对象的区域的像素的参数的差的图像处理。

Description

图像处理系统以及图像处理装置
技术领域
本发明涉及图像处理系统以及图像处理装置,特别是涉及搭载于车辆并对由拍摄车辆的周边的相机拍摄到图像进行图像处理的图像处理系统。
背景技术
以往,已知使用多个车载相机来拍摄车辆的周边,将各相机的图像合成为一个图像,并将该图像输出给监视器的技术。
各相机的拍摄图像即使是拍摄同一对象物得到的图像也会有亮度、颜色不同的情况。因此,提出参照邻接的拍摄图像彼此的重复的区域的像素数据,减小各图像的像素数据的差异的技术(参照专利文献1)。
专利文献1:日本特开2002-324235号公报
然而,在上述专利文献1的技术中,相机的拍摄范围不邻接,不存在重复的区域的情况下,无法进行图像的修正。因此,在那样的情况下,用户大多依然对亮度、颜色产生不适感。
发明内容
本发明的目的在于提供能够减少由多个拍摄装置拍摄到的车辆的周边图像的不适感,即图像间的不同的技术。
因此,作为一个典型的方式,提供图像处理系统(1)。该图像处理系统(1)是搭载于车辆的系统,具备第一拍摄单元(3a、3b)以及第二拍摄单元(3a、3b)、信息获取部(13e)、处理决定部(13f)以及图像生成部(13g)。其中,第一拍摄单元拍摄车辆的外部的第一范围。第二拍摄单元拍摄至少一部分与上述第一范围不同的第二范围。信息获取部获取与第一时刻图像和第二时刻图像的各个中的构成显示同一拍摄对象的区域的像素的参数的差相关的信息亦即差分信息。
上述的第一时刻图像是指第一图像,该第一图像是由第一拍摄单元拍摄到的拍摄图像以及基于该拍摄图像生成的图像中的任意一个,且是在第一定时进行上述第一拍摄单元的拍摄所得的图像。
另外,上述的第二时刻图像是指第二图像,该第二图像是由第二拍摄单元拍摄到的拍摄图像以及基于该拍摄图像生成的图像中的任意一个,且是在与上述第一定时相比过去的第二定时进行上述第二拍摄单元的拍摄并拍摄与上述第一时刻图像同一上述拍摄对象所得的图像。
处理决定部决定能够基于由信息获取部获取到的差分信息来减小第一时刻图像与第二时刻图像的上述参数的差的图像处理,且是针对第一图像的图像处理以及针对第二图像的图像处理中的至少任意一个图像处理。
图像生成部对第一图像以及第二图像中的至少任意一个执行由处理决定部决定的图像处理,生成修正了上述参数的修正图像。
在这样构成的图像处理系统中,利用拍摄同一拍摄对象所得的拍摄定时不同的2个图像来获取像素的参数的差的信息,并对基于各拍摄单元的拍摄的图像进行修正以便减小该差,能够减少各图像的视觉上的差异,并能够减少视觉确认各图像时的不适感。
此外,上述的像素的参数并未特别限定,能够采用亮度、颜色的灰度等各种各样的参数。另外,上述的差分信息的具体内容并未特别限定。例如,关于像素的规定的参数,能够包括第一时刻图像与第二时刻图像的像素的参数的差、参数的大小等信息。
另外,作为典型的其它方式,提供图像处理装置(7)。该图像处理装置(7)具备第一获取单元(13)、第二获取单元(13)、图像确定部 (13d)、信息获取部(13e)、处理决定部(13f)以及图像生成部(13g)。其中,第一获取单元获取由第一拍摄单元拍摄到的拍摄图像,该第一拍摄单元被设置于车辆并对该车辆的外部的第一范围进行拍摄。第二获取单元获取由第二拍摄单元拍摄到的拍摄图像,该第二拍摄单元被设置于车辆并对至少一部分与上述第一范围不同的第二范围进行拍摄。
另外,信息获取部、处理决定部、图像生成部与上述的图像处理系统相同。
这样构成的图像处理装置能够起到与上述的技术方案1所记载的图像处理系统相同的作用、效果。
此外,该栏以及权利要求书所记载的括弧内的符号表示与作为一个形态而后述的实施方式所记载的具体的单元的对应关系,并不限定本发明的技术范围。
附图说明
附图中:
图1是显示实施方式所涉及的图像处理系统的结构的框图。
图2是说明实施方式的图,图2(A)是说明前相机以及后相机的拍摄范围的图,图2(B)是说明前相机以及后相机以规定的时间差拍摄同一拍摄对象的图,图2(C)是说明前相机以及后相机的拍摄范围的距离的图。
图3是说明图像显示处理的处理顺序的流程图。
图4是示意性地说明合成图像的图,图4(A)是未修正后方图像的情况下的示意图,图4(B)是修正了后方图像时的示意图。
具体实施方式
以下,使用附图对应用本发明的图像处理系统的实施方式进行说明。
该图像处理系统1是搭载于汽车等车辆来使用的系统,如图1所示,具备前相机3a、后相机3b、监视器5、和ECU(Electronic control unit:电子控制单元)7。
图像处理系统1是将由前相机3a以及后相机3b拍摄到的车辆外部的拍摄图像,和过去被这些相机拍摄到的拍摄图像转换为俯瞰图像后合成为一个图像,并使监视器5显示该合成图像的系统。
前相机3a以及后相机3b是设置于车辆的拍摄装置,例如能够使用公知的CCD(Charged Coupled Device:电荷耦合元件)图像传感器, CMOS(Complimentary Metal-Oxide Semiconductor:互补金属氧化物半导体)图像传感器等。
如图2(A)所示,前相机3a被配置在车辆31的前方,对车辆31 的前方的范围,特别是车辆前方的道路进行拍摄。后相机3b被配置在车辆31的后方,对车辆31的后方,特别是车辆后方的道路进行拍摄。前相机3a以及后相机3b的拍摄范围不重复。各相机按规定的时间间隔 (作为一个例子,为1/15秒)拍摄车辆周边,并将拍摄到的拍摄图像输出到ECU7。
将说明返回到图1。监视器5是液晶、有机EL等具有显示画面的显示装置。监视器5根据从ECU7输入的信号来显示图像。
ECU7是具有由未图示的CPU(Central Processing Unit:中央处理器)、ROM(ReadOnly Memory:只读存储器)、RAM(Random Access Memory:随机存取存储器)等构成的微型计算机,作为相机输入信号处理部11、车载LAN输入信号处理部12、图像处理部13、输出信号处理部14、存储器15、电源部16发挥作用。
相机输入信号处理部11将从前相机3a以及后相机3b输入的拍摄图像的模拟信号转换为数字信号并输出给图像处理部13。
车载LAN输入信号处理部12与车载LAN(Local Area Network:局域网)连接,从车载LAN提取未图示的各种ECU、传感器输出的与车辆相关的信息亦即车辆信息,并输出给图像处理部13。此处,提取挡位、车速、转向操作量、横摆率等信息。
图像处理部13作为俯瞰转换部13a、历史记录合成部13b、亮度及颜色修正部13c等发挥作用。另外亮度及颜色修正部13c更详细而言为图像确定部13d、信息获取部13e、处理决定部13f、图像生成部13g、显示控制部13h等发挥作用。图像处理部13的具体处理后述。
输出信号处理部14将从图像处理部13输出的后述的合成图像的数字信号转换为模拟信号,并输出给监视器5。
存储器15是能够存储数据的存储装置,对由图像处理部13生成的俯瞰图像进行存储。此外,上述的ECU7的RAM也可以具有该存储器 15的功能。
电源部16从车辆的未图示的蓄电池输入电力,转换为适合ECU7 的各部的电力并输出。
对于由ECU7执行的图像显示处理,基于图3所示的流程图来进行说明。在驾驶员进行了预先决定的操作时(进行了规定的开关操作时,使变速杆进入到规定的挡位时等)开始本处理。
在步骤S1中,ECU7经由相机输入信号处理部11获取被前相机3a 以及后相机3b拍摄到的拍摄图像。
在步骤S2中,ECU7根据步骤S1中所获取到的各拍摄图像来生成将那些图像变更为从规定的假想视点观察的俯瞰图的俯瞰图像。由 ECU7生成的俯瞰图像在存储器15中与拍摄时刻建立对应地被存储。
本实施方式中的假想视点是车辆的正上方。ECU7使用与各相机的搭载位置对应的规定的转换式来生成竖直俯瞰路面的俯瞰图像。俯瞰图像的生成方法是公知的,例如能够使用日本特开平10-211849号所记载的方法。
图4(A)所示的合成图像41以车辆42为中心,由根据由前相机 3a拍摄到的拍摄图像生成的俯瞰图像亦即前方图像43、根据由后相机 3b拍摄到的拍摄图像所生成的俯瞰图像亦即后方图像44、以及车辆42 的左侧的左侧图像45以及右侧的右侧图像46构成。
左侧图像45以及右侧图像46后述,但由于是基于前方图像43所生成的图像,所以与前方图像43相比较,亮度、颜色的视觉上的差异较小。另一方面,由于后方图像44是基于由与前方图像43不同的相机拍摄到的拍摄图像的图像,所以有可能产生与左侧图像45以及右侧图像46视觉上的差异。因此,进行通过以下的步骤S3~S7的处理使后方图像44的亮度、颜色等一致的处理。
此外,在以下的说明中,将基于由后相机3b拍摄到的拍摄图像生成的俯瞰图像仅记载为后方图像44。另外,将基于由前相机3a拍摄到的拍摄图像生成的俯瞰图像仅记载为前方图像43。
在步骤S3中,ECU7基于车速以及换挡的信息来计算前相机3a和后相机3b拍摄同一拍摄对象的时间差。ECU7根据换挡的信息能够确定车辆的行驶方向。此外,以下对车辆正在向前方行驶的情况进行说明。
在图2(B)中,车辆31正在向前方(图中,箭头方向)行驶。在时刻T1,前相机3a的拍摄范围包括道路上的区域33,前相机3a正在拍摄区域33。车辆31向前方行驶,在成为时刻T2时,后相机3b的拍摄范围包括区域33,后相机3b正在拍摄区域33。
各相机拍摄同一拍摄对象亦即区域33的时间差(T2-T1)能够基于以车辆31为基准的各相机的拍摄范围和车速来计算。例如能够通过将后相机3b的拍摄范围中的任意位置即第一位置(图2(C)的T2时的区域33)与前相机3a的拍摄范围中的任意位置即第二位置(该图的 T1时的区域33)之间的距离(该图的L)除以车速来求出。
在车辆正在向前方行驶的情况下,在后方图像44中的显示第一位置的区域中拍摄有与上述的时间差(T2-T1)的过去拍摄到的前方图像43中的显示第二位置的区域相同的拍摄对象。
此外,由于从时刻T1到时刻T2的车速的变化、车辆的侧倾、间距的状态等,第一位置与第二位置之间有可能产生偏差,因而可以构成为根据车辆的状态来修正它们的偏差,也可以为不进行那样的修正的结构。
将说明返回到图3。在步骤S4中,ECU7确定进行上述的后方图像 44的亮度以及颜色的修正时所参照的参考图像。若将步骤S1中由后相机3b拍摄到的拍摄图像的拍摄定时设为第一定时,则参考图像是根据在与第一定时相比在步骤S3中所计计算的时间差的量的过去的定时即第二定时由前相机3a拍摄到的拍摄图像生成的俯瞰图像。
换言之,图2(B)中基于在时刻T2由后相机3b拍摄到的拍摄图像的俯瞰图像(后方图像44)的参考图像是基于在时刻T1由前相机3a 拍摄到的拍摄图像的俯瞰图像(前方图像43)。
在该步骤S4中,从存储器15中存储的前方图像43中提取上述的基于在第二定时拍摄到的拍摄图像的前方图像43,并确定为参考图像。
此外,在以下的说明中,将根据步骤S1中由后相机3b拍摄到的拍摄图像生成的俯瞰图像(时刻T2的后方图像44)仅记载为第一时刻图像。另外,将与该第一时刻图像对应的参考图像(时刻T1的前方图像 43)仅称为第二时刻图像。
在步骤S5中,ECU7获取第一时刻图像以及第二时刻图像的各个中的构成上述的显示同一拍摄对象的图像上的区域亦即对象区域的像素的参数的差分信息。
ECU7计算第一时刻图像以及第二时刻图像各个的构成对象区域的像素的亮度的平均值和与颜色空间对应的各色的灰度值的平均值。然后,计算在第一时刻图像以及第二时刻图像各个中计算出的亮度的平均值的大小比较及其差和各色的灰度值的平均值的大小比较及其差来作为差分信息。
此外,对于上述的对象区域,如果显示同一拍摄对象则是计算上所假定的区域即可,无需进行严格的拍摄对象是否一致的判断。另外,对象区域的范围的设定方法并未特别限定,但例如可以考虑将各图像中的以假定为显示同一拍摄对象的区域上的一个点为中心的规定半径的圆内设定为对象区域。
在步骤S6中,ECU7基于步骤S5中计算出的差分信息来决定步骤 S7中执行的图像处理的内容。该图像处理是指能够在对第一时刻图像执行该图像处理时,使各像素的参数与第二时刻图像的各像素的参数一致的图像处理。
在步骤S7中,ECU7执行步骤S6中决定的图像处理,生成修正了第一时刻图像的亮度、颜色的修正图像。如图4(B)所示的合成图像 41a那样,通过将该步骤S7中生成的修正图像44a代替上述的后方图像44来使用,能够使图像整体的亮度、颜色等一致。
在步骤S8中,ECU7根据存储器15中存储的前方图像43来生成上述的左侧图像45以及右侧图像46。此处,ECU7基于车速以及转向操作量或者横摆率,从存储器15存储的图像中提取适当的过去的前方图像43来作为左侧图像45以及右侧图像46,并调整图像的朝向、位置等来生成左侧图像45以及右侧图像46。
在步骤S9中,ECU7生成将前方图像43、修正图像44a、步骤S8 中生成的左侧图像45以及右侧图像46整合后的合成图像41a。合成图像41a是如从车辆的正上方拍摄车辆那样看见的俯瞰图像。
在步骤S10中,ECU7将步骤S9中生成的合成图像41a输出给监视器5。之后结束本处理。例如按1/30秒程度的短时间间隔来执行本处理,在监视器5上即时显示拍摄车辆周边得到的俯瞰图像。
以上说明的图像显示处理中,步骤S1的处理是图像处理部13的处理,步骤S2的处理是俯瞰转换部13a的处理,步骤S3以及步骤S4的处理是图像确定部13d的处理,步骤S5的处理是信息获取部13e的处理,步骤S6的处理是处理决定部13f的处理,步骤S7的处理是图像生成部13g的处理,步骤S8以及步骤S9的处理是历史记录合成部13b的处理,步骤S10的处理是显示控制部13h的处理。
[对应关系]
在上述的实施方式中,ECU7为本发明中的图像处理装置的一个例子。另外,图像处理部13为本发明中的第一获取单元、第二获取单元的一个例子。另外,存储器15为本发明中的存储部的一个例子。另外,历史记录合成部13b为本发明中的图像合成部的一个例子。
另外,如上述那样将前方图像43作为参考来修正后方图像44的情况下,后相机3b为本发明中的第一拍摄单元的一个例子,前相机3a为本发明中的第二拍摄单元的一个例子,后相机3b拍摄的车辆后方的区域为本发明中的第一范围的一个例子,前相机3a拍摄的车辆前方的范围为本发明中的第二范围的一个例子。
另外,基于由后相机3b拍摄到的拍摄图像的俯瞰图像为本发明中的第一图像的一个例子,基于由前相机3a拍摄到的拍摄图像的俯瞰图像为第二图像的一个例子。
根据以上详述的实施方式,获得以下的效果。
图像处理系统1对后方图像44进行修正,以使与拍摄同一拍摄对象的过去的前方图像43的像素的参数的差变小。由于该参数是指像素的亮度、颜色的灰度的参数,所以修正后的修正图像和过去的前方图像 43减少了视觉上的差异。此处所说的视觉上的差异是指与亮度、颜色相关的差异,不包括被拍摄体的形状、位置关系等。
过去的前方图像43和当前的前方图像43由于是由相同的相机拍摄到的图像,所以视觉上的差异较小。因此,上述图像处理系统1能够减少因亮度、颜色的差而产生的、前方图像43和与该前方图像43同时被拍摄得到的后方图像44的修正图像的不适感。
前相机3a连续地拍摄规定的范围,基于拍摄到的拍摄图像而生成的俯瞰图像被存储于存储器15。而且,图像处理部13的图像确定部13d 从存储器15存储的俯瞰图像中确定成为参考的第二时刻图像。
这样,在图像处理系统1中,虽然第一时刻图像与第二时刻图像的拍摄时间有时间差,但由于从存储器15存储的俯瞰图像中查找成为参考的第二时刻图像,所以不需要等待时间而能够实现迅速的处理。
另外,每当ECU7从存储器15存储的俯瞰图像中确定第二时刻图像时,便基于车辆的移动速度来计算各相机拍摄拍摄对象的时间差,并基于该时间差来确定第二时刻图像,所以能够进行高精度的参考的确定。
在图像处理系统1中,ECU7将基于由后相机3b拍摄到的拍摄图像的上述的修正图像、基于由前相机3a拍摄到的拍摄图像的俯瞰图像、基于该俯瞰图像的右侧图像以及左侧图像合成来生成合成图像,并输出给监视器5。
修正图像由于是将基于过去由前相机3a拍摄到的拍摄图像的俯瞰图像作为参考修正而得的,所以亮度、颜色与该俯瞰图像一致的可能性较高。因此,ECU7能够生成整体没有不适感的容易看的合成图像。
[其它实施方式]
以上,对本发明的实施方式进行了说明,但本发明并不限于上述实施方式,可以采用各种方式。
在上述实施方式中,例示出采用亮度以及颜色空间的各色的灰度值作为差分信息,即进行修正的像素的参数的构成,但差分信息并不限于这些,能够使用各种参数。另外,差分信息可以仅是亮度以及各色的灰度值中的任意一个。
在上述实施方式中,例示出构成使第一时刻图像的像素的参数与第二时刻图像的像素的参数一致的修正图像的构成,但如果是以像素的参数的差分变小的方式生成修正图像的构成,则无需使参数一致。通过减小参数的差,能够减少图像的不适感。
在上述实施方式中,例示出首先在步骤S2中将由各相机拍摄到的图像转换为俯瞰图像,之后执行步骤S3以后的处理的构成,转换为俯瞰图像的定时并未特别限定,例如可以在步骤S8之后,生成合成图像 41a之前。
该情况下,信息获取部13e使用由各相机拍摄到的拍摄图像作为成为获取差分信息的对象的图像。换句话说,信息获取部13e也可以使用被各相机拍摄到的拍摄图像和基于该拍摄图像生成的图像中的任何一个来获取差分信息。
在上述实施方式中,例示出将拍摄图像转换为俯瞰图像的结构,但也可以转换为俯瞰图像以外,或将虚拟的视点设定为车的正上方以外的位置。
在上述实施方式中,例示出通过对第一时刻图像执行图像处理来生成减少了相对于前方图像43的视觉上的差异的修正图像44a的构成,但也可以对第一时刻图像以外的图像进行减少视觉上的差异的处理。例如可以对前方图像43执行减少参数的差的图像处理。
在上述实施方式中,例示出每当在步骤S1中获取拍摄图像时,ECU7 获取差分信息来决定图像处理的内容的构成。然而,也可以是若暂时决定图像处理的内容,则每当获取拍摄图像时不执行获取差分信息来决定图像处理的内容的处理,而在一定期间执行所决定的图像处理的构成。
另外,也可以构成为将对拍摄图像进行俯瞰转换来生成合成图像的第一处理(步骤S1、步骤S2、步骤S7~S10)、和获取差分信息来决定图像处理内容的第二处理(步骤S1~S6)作为另外的处理,对于第二处理以比第一处理低的频率执行。
如果如上述那样构成的图像处理系统,则无需每当执行拍摄时便决定图像处理的内容,所以能够实现ECU7的处理负荷的减少。
在上述实施方式中,例示出后相机3b和前相机3a具有相互不重复的拍摄范围的构成,但所使用的2个相机也可以拍摄范围的一部分重复。
例示出后相机3b和前相机3a被配置在车辆的前后的构成,但2个拍摄单元的配置并不限于上述的构成。一个拍摄单元的拍摄范围被设定为能够拍摄车辆移动后由另一个拍摄单元过去进行了拍摄的拍摄范围即可。
在上述实施方式中,对车辆向前方移动时的图像显示处理进行了说明,但在车辆向后方移动时也能够进行同样的处理。在这种情况下,考虑更换后相机3b的拍摄图像和前相机3a的拍摄图像来进行上述的图像显示处理。
可以使上述实施方式中的一个构成要素具有的功能分散为多个构成要素,或使多个构成要素具有的功能整合为一个构成要素。另外,可以将上述实施方式的结构的至少一部分置换为具有同样的功能的公知的结构。另外,也可以省略上述实施方式的结构的一部分。另外,也可以对其它上述实施方式的结构附加或者置换上述实施方式的结构的至少一部分。此外,仅通过权利要求书所记载的语句所确定的技术思想所包含的全部方式是本发明的实施方式。
除了上述的图像处理系统1之外,也能够以用于使计算机作为构成该图像处理系统1的图像处理装置(ECU7),图像处理装置发挥作用的程序,记录有该程序的介质等各种方式实现本发明。
符号说明
1…图像处理系统,3a…前相机,3b…后相机,5…监视器,7…ECU,13…图像处理部,13a…俯瞰转换部,13b…历史记录合成部,13c…亮度·色修正部,13d…图像确定部,13e…信息获取部,13f…处理决定部, 13g…图像生成部,13h…显示控制部,14…输出信号处理部,15…存储器。

Claims (6)

1.一种图像处理系统,是搭载于车辆的图像处理系统(1),其特征在于,具备:
第一拍摄单元(3b),对上述车辆的外部的第一范围进行拍摄;
第二拍摄单元(3a),对至少一部分与上述第一范围不同的第二范围进行拍摄;
信息获取部(13e),获取差分信息,所述差分信息是与差相关的信息,所述差是第一时刻图像和第二时刻图像的各个图像中的像素的参数的差,所述像素构成显示拍摄对象的区域,上述第一时刻图像是第一图像,该第一图像是由上述第一拍摄单元拍摄到的拍摄图像以及基于该拍摄图像生成的图像中的任意一个,且是在第一定时进行上述第一拍摄单元的拍摄所得的图像,上述第二时刻图像是第二图像,该第二图像是由上述第二拍摄单元拍摄到的拍摄图像以及基于该拍摄图像生成的图像中的任意一个,且是在与上述第一定时相比过去的第二定时进行上述第二拍摄单元的拍摄并拍摄与上述第一时刻图像同一拍摄对象所得的图像;
处理决定部(13f),决定能够基于由上述信息获取部获取到的差分信息来减小上述第一时刻图像与上述第二时刻图像的上述参数的差的图像处理,该图像处理是针对上述第一图像的图像处理以及针对上述第二图像的图像处理中的至少任意一个图像处理;以及
图像生成部(13g),对上述第一图像以及上述第二图像中的至少任意一个执行由上述处理决定部决定的上述图像处理,生成修正了上述参数的修正图像。
2.根据权利要求1所述的图像处理系统,其特征在于,
上述第二拍摄单元连续地拍摄上述第二范围,
上述图像处理系统具备:
存储部(15),对上述第二图像进行存储;以及
图像确定部(13d),从上述存储部所存储的上述第二图像中确定与上述第一时刻图像对应的上述第二时刻图像。
3.根据权利要求2所述的图像处理系统,其特征在于,
上述图像确定部基于上述车辆的移动速度来计算上述第一拍摄单元以及上述第二拍摄单元拍摄上述拍摄对象的时间差,并基于该时间差来确定上述第二时刻图像。
4.根据权利要求1或2所述的图像处理系统,其特征在于,具备:
图像合成部(13b),生成将上述第一图像或者根据该第一图像生成的上述修正图像、上述第二图像或者根据该第二图像生成的上述修正图像合成得到的图像亦即合成图像;以及
显示控制部(13h),将由上述图像合成部合成的上述合成图像输出至显示图像的显示装置。
5.根据权利要求1或2所述的图像处理系统,其特征在于,
具备俯瞰转换部(13a),上述俯瞰转换部(13a)基于由上述第一拍摄单元以及上述第二拍摄单元拍摄到的拍摄图像来生成从规定的假想视点观察的俯瞰图像,
上述第一图像以及上述第二图像是上述俯瞰转换部基于由上述第一拍摄单元以及上述第二拍摄单元拍摄到的拍摄图像而生成的上述俯瞰图像。
6.一种图像处理装置,其特征在于,具备:
第一获取单元(13),获取由第一拍摄单元拍摄到的拍摄图像,上述第一拍摄单元被设置于车辆并对该车辆的外部的第一范围进行拍摄;
第二获取单元(13),获取由第二拍摄单元拍摄到的拍摄图像,上述第二拍摄单元被设置于上述车辆并对至少一部分与上述第一范围不同的第二范围进行拍摄;
信息获取部(13e),获取差分信息,所述差分信息是与差相关的信息,所述差是第一时刻图像和第二时刻图像的各个图像中的像素的参数的差,所述像素构成显示拍摄对象的区域,上述第一时刻图像是第一图像,该第一图像是由上述第一拍摄单元拍摄到的拍摄图像以及基于该拍摄图像生成的图像中的任意一个,且是在第一定时进行上述第一拍摄单元的拍摄所得的图像,上述第二时刻图像是第二图像,该第二图像是由上述第二拍摄单元拍摄到的拍摄图像以及基于该拍摄图像生成的图像中的任意一个,且是在与上述第一定时相比过去的第二定时进行上述第二拍摄单元的拍摄并拍摄与上述第一时刻图像同一拍摄对象所得的图像;
处理决定部(13f),决定能够基于由上述信息获取部获取到的差分信息来减小上述第一时刻图像与上述第二时刻图像的上述参数的差的图像处理,该图像处理是针对上述第一图像的图像处理以及针对上述第二图像的图像处理中的至少任意一个图像处理;以及
图像生成部(13g),对上述第一图像以及上述第二图像中的至少任意一个执行由上述处理决定部决定的上述图像处理,生成修正了上述参数的修正图像。
CN201580070347.6A 2014-12-25 2015-12-22 图像处理系统以及图像处理装置 Active CN107113402B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-262889 2014-12-25
JP2014262889A JP6327144B2 (ja) 2014-12-25 2014-12-25 画像処理システム及び画像処理装置
PCT/JP2015/085838 WO2016104504A1 (ja) 2014-12-25 2015-12-22 画像処理システム及び画像処理装置

Publications (2)

Publication Number Publication Date
CN107113402A CN107113402A (zh) 2017-08-29
CN107113402B true CN107113402B (zh) 2019-10-25

Family

ID=56150521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580070347.6A Active CN107113402B (zh) 2014-12-25 2015-12-22 图像处理系统以及图像处理装置

Country Status (4)

Country Link
JP (1) JP6327144B2 (zh)
CN (1) CN107113402B (zh)
DE (1) DE112015005753B4 (zh)
WO (1) WO2016104504A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7080613B2 (ja) * 2017-09-27 2022-06-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324235A (ja) * 2001-04-24 2002-11-08 Matsushita Electric Ind Co Ltd 車載カメラの画像合成表示方法及びその装置
JP2004032528A (ja) * 2002-06-27 2004-01-29 Nissan Motor Co Ltd 画像認識装置
JP2006319695A (ja) * 2005-05-13 2006-11-24 Nagano Kogaku Kenkyusho:Kk 監視カメラおよび監視装置
JP2007072750A (ja) * 2005-09-07 2007-03-22 Alpine Electronics Inc 合成画像生成装置及び合成画像生成方法
JP2007323587A (ja) * 2006-06-05 2007-12-13 Matsushita Electric Ind Co Ltd 車載カメラの画像合成装置および画像合成方法
JP2007324887A (ja) * 2006-05-31 2007-12-13 Sony Corp カメラシステムおよび移動体カメラシステム
CN101340566A (zh) * 2007-07-02 2009-01-07 日产自动车株式会社 图像处理系统和方法
CN103854260A (zh) * 2012-12-04 2014-06-11 爱信精机株式会社 车辆的控制装置及控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3663801B2 (ja) 1997-01-30 2005-06-22 いすゞ自動車株式会社 車両後方視界支援装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324235A (ja) * 2001-04-24 2002-11-08 Matsushita Electric Ind Co Ltd 車載カメラの画像合成表示方法及びその装置
JP2004032528A (ja) * 2002-06-27 2004-01-29 Nissan Motor Co Ltd 画像認識装置
JP2006319695A (ja) * 2005-05-13 2006-11-24 Nagano Kogaku Kenkyusho:Kk 監視カメラおよび監視装置
JP2007072750A (ja) * 2005-09-07 2007-03-22 Alpine Electronics Inc 合成画像生成装置及び合成画像生成方法
JP2007324887A (ja) * 2006-05-31 2007-12-13 Sony Corp カメラシステムおよび移動体カメラシステム
JP2007323587A (ja) * 2006-06-05 2007-12-13 Matsushita Electric Ind Co Ltd 車載カメラの画像合成装置および画像合成方法
CN101340566A (zh) * 2007-07-02 2009-01-07 日产自动车株式会社 图像处理系统和方法
CN103854260A (zh) * 2012-12-04 2014-06-11 爱信精机株式会社 车辆的控制装置及控制方法

Also Published As

Publication number Publication date
JP6327144B2 (ja) 2018-05-23
WO2016104504A1 (ja) 2016-06-30
CN107113402A (zh) 2017-08-29
JP2016123021A (ja) 2016-07-07
DE112015005753B4 (de) 2022-05-05
DE112015005753T5 (de) 2017-09-14

Similar Documents

Publication Publication Date Title
CN103548340B (zh) 车辆用监视装置以及车辆的监视方法
US20150217692A1 (en) Image generation apparatus and image generation program product
CN111837159A (zh) 执行对象的深度估计的方法和装置
CN102986233B (zh) 图像摄像装置
US20110242274A1 (en) Imaging device, imaging method, and computer-readable medium
CN103854335B (zh) 一种行车记录仪全景视频生成方法
CN103373285B (zh) 图像生成设备和方法、摄像机及装备控制图像生成设备
DE202018106983U1 (de) Kombinierte mechanische und elektronische Bildstabilisierung
CN102959467A (zh) 单眼立体成像装置
JP2010093567A (ja) 画像処理装置
CA2727602A1 (en) Image conversion method and apparatus
JPWO2012002149A1 (ja) 画像処理方法及び装置
CN106063258B (zh) 车辆周边图像显示装置、车辆周边图像显示方法
JPWO2014148031A1 (ja) 画像生成装置、撮像装置および画像生成方法
CN107113402B (zh) 图像处理系统以及图像处理装置
CN109040613A (zh) 图像处理装置
WO2014141653A1 (ja) 画像生成装置、撮像装置および画像生成方法
JP5771767B1 (ja) 画像処理装置、表示装置、撮像装置、画像処理方法およびプログラム
CN103973962A (zh) 图像处理方法及图像采集装置
CN106067942A (zh) 图像处理装置、图像处理方法和车载设备
CN106664392A (zh) 车辆用图像处理装置
JP2013118463A (ja) 撮像装置および撮像方法
CN110089103B (zh) 一种去马赛克方法及装置
JP2019087980A (ja) 表示処理装置
JP2018078449A (ja) 画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant