CN102273201A - 车辆用周边监视装置以及车辆用周边图像显示方法 - Google Patents

车辆用周边监视装置以及车辆用周边图像显示方法 Download PDF

Info

Publication number
CN102273201A
CN102273201A CN2010800040723A CN201080004072A CN102273201A CN 102273201 A CN102273201 A CN 102273201A CN 2010800040723 A CN2010800040723 A CN 2010800040723A CN 201080004072 A CN201080004072 A CN 201080004072A CN 102273201 A CN102273201 A CN 102273201A
Authority
CN
China
Prior art keywords
image
brightness
brightness correction
coverage
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800040723A
Other languages
English (en)
Other versions
CN102273201B (zh
Inventor
奥山義隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN102273201A publication Critical patent/CN102273201A/zh
Application granted granted Critical
Publication of CN102273201B publication Critical patent/CN102273201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/92
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

从拍摄车辆周边的多个拍摄部(110)与所述多个拍摄部(110)中任一个拍摄部(111、121、131、141中的任一个)所拍摄的图像中,算出与所述图像的亮度相对应的值,根据所算出的值,在亮度修正部(120)中对所述多个拍摄部(110)所获得的图像的亮度进行修正,在对修正了亮度的图像实施规定的坐标转换,之后,合成为一个图像,并同时显示所述任以个拍摄部(111、121、131、141中的任一个)所拍摄的图像。

Description

车辆用周边监视装置以及车辆用周边图像显示方法
技术领域
本发明涉及车辆用周边监视装置以及车辆用周边图像显示方法,更详细地说,涉及对拍摄了互相不同方向的多个图像的亮度差异进行修正从而获得自然的合成图像的方法。
背景技术
近年来,在车辆上搭载摄像机(Camera照相机)并向驾驶员提供容易成为死角的车辆周边的图像的系统越来越普遍。
特别地,在最近,以从车辆的正上方俯视摄像机拍摄的图像的方式提供坐标转换的俯视图像的系统以及在车辆上搭载多个摄像机并对坐标转换的俯视图像之间进行合成进而提供环视车辆周边360°的图像的系统被实际应用。
像这样,在将多个摄像机拍摄的图像合成为1个图像的系统中,由于构成系统的摄像机的种类不同、或者即使为相同种类的摄像机但各摄像机的自动曝光修正的动作也不同、以及由于根据到摄像机中心的距离而光量减少、特别是图像接缝造成亮度变得不连续,具有在合成的图像上产生不协调感的问题。
对于这样的问题,目前,提出了如下技术:对各摄像机拍摄的图像的亮度进行修正,使得相邻摄像机的共同拍摄区域的平均亮度一致,显示修正亮度后的图像(专利文献1、专利文献2)。
(现有技术文献)
(专利文献)
日本专利文献1:特许第3297040号公报
日本专利文献2:特开2007-141098号公报
发明内容
(发明要解决的技术问题)
但是,在像这样的现有提案中,以对多个图像进行转换坐标以及提供合成后的图像为前提,进行亮度的修正。
因此,在实现了具有以下功能的车辆用周边监视装置的情况下,例如通过并列同时显示车辆后方的图像与俯视车辆周边的图像从而能够一边确认车辆后方的图像一边确认车辆周边的状况的功能、或者通过同时显示车辆前方的图像与俯视车辆周边的图像从而能够一边确认车辆前方的图像一边确认车辆周边的状况的功能,由于对合成的图像的亮度进行修正,同时也对一侧图像即车辆后方或者车辆前方的图像的亮度进行了修正。
例如,在多个摄像机拍摄的图像中的一部分图像的明暗频繁发生变化的情况下,通过为修正将这些多个图像合成1个后的图像的亮度而算出的亮度的修正值,与车辆周边的合成图像同时显示的车辆后方或车辆前方的图像的亮度也被修正,因此,产生难以看清这些图像的问题。
鉴于上述问题,本发明目的在于提供使并列显示的包括合成后的图像的2种以上的图像不相互影响且能够对合成的图像的亮度进行修正的车辆用周边监视装置以及车辆用周边图像显示方法。
(解决问题的技术方案)
在本发明中,当并列显示俯视车辆周边的合成图像以及车辆后方的图像时,通过根据与车辆后方图像中的亮度对应的值对上述俯视车辆周边的合成图像的亮度进行修正,从而即使在亮度的变化剧烈的环境中,也能够提供容易观察的图像。
即,本发明的车辆用周边监视装置的特征在于包括:多个拍摄部,设置于车辆上并拍摄车辆周边;图像亮度算出部,从所述多个拍摄部中任一个拍摄部所拍摄的图像中算出与所述一个拍摄部所拍摄的图像的亮度相对应的值;亮度修正部,根据通过所述图像亮度算出部算出的值对所述多个拍摄部所获得的图像的亮度进行修正;图像转换部,对通过所述亮度修正部进行了亮度修正的图像实施规定的坐标转换处理;图像合成部,将实施了所述坐标转换处理的多个图像合成为1个图像;以及图像显示部,同时显示通过所述图像合成部合成的图像与所述任一个拍摄部所拍摄的图像。
根据这样构成的本发明的车辆用周边监视装置,从多个拍摄部中1个拍摄部所拍摄的图像中,算出与该图像的亮度对应的值,亮度修正部根据所述算出的值对多个拍摄部所拍摄的图像的亮度进行修正。
进行了亮度修正的图像通过图像转换部进行坐标转换,此外,通过图像合成部合成为1个图像。由于合成为1个的图像与所述多个拍摄部中的1个所拍摄的图像被并列显示,因此不会影响所述多个拍摄部中的1个所拍摄的图像的亮度,能够仅对合成图像的亮度进行修正。
并且,优选地,本发明的车辆用周边监视装置包括:行进方向判断部,用于判断车辆的行进方向;以及拍摄部选择部,根据所述行进方向判断部的判断结果,从多个拍摄部选择一个拍摄部,其中,所述图像亮度算出部从所述拍摄部选择部选择的一个拍摄部所拍摄的图像中算出与图像的亮度相对应的值,所述图像显示部同时显示通过所述图像合成部合成的图像与所述拍摄部选择部所选择的一个拍摄部所拍摄的图像。
根据这样构成的本发明的车辆用周边监视装置,根据行进方向判断部所判断的结果,通过拍摄部选择部选择1个拍摄部,并算出对应于所选择的拍摄部所拍摄的图像的亮度的值。亮度修正部根据算出的值,对多个拍摄部所拍摄的图像的亮度进行修正。进行了亮度修正的图像通过图像转换部进行坐标转换,此外,通过图像合成部合成为1个图像。由于合成为1个的图像与所述多个拍摄部中的1个所拍摄的图像被并列显示,因此亮度修正的结果是,不会影响驾驶员最需要给予注意的、车辆的行进方向的图像的亮度,由于能够对驾驶员提示所述行进方向的信息,因此能够有效地进行车辆周边的安全确认。
并且,优选地,在本发明的的车辆用周边监视装置中,所述拍摄部选择部从被设置成其中的至少两个拍摄部所拍摄的范围部分重复的拍摄三个以上方向的多个拍摄部中选择第一拍摄部,所述图像亮度算出部算出所选择的所述第一拍摄部所拍摄的图像以及与所选择的所述第一拍摄部具有第一重复拍摄范围的第二拍摄部所拍摄的图像的、对应于所述第一重复拍摄范围或者所述第一重复拍摄范围附近的亮度的值,所述亮度修正部根据算出的所述值,对所述第二拍摄部所拍摄的图像进行亮度修正,所述图像亮度算出部进一步根据所述亮度修正的结果,从进行了所述亮度修正的图像以及与进行了所述亮度修正的图像具有第二重复拍摄范围的第三拍摄部所拍摄的图像中算出对应于所述第二重复拍摄范围或者所述第二重复拍摄范围附近的亮度的其他值,所述亮度修正部进一步根据算出的所述其他值对所述第三拍摄部所拍摄的图像进行亮度修正,之后,所述图像亮度算出部与所述亮度修正部同样依次重复进行所述亮度的算出与所述亮度的修正。
根据这样构成的本发明的车辆用周边监视装置,由于能够进行使得拍摄范围部分彼此重复的2个图像的重复拍摄范围或者其附近的亮度相同的亮度修正,并根据车辆的状况,通过拍摄部选择部来选择拍摄部,因此能够根据作为基准的图像的亮度,对拍摄了与其图像部分重复的范围的其他图像的亮度进行递归地修正,因此,在将多个图像合成为1个图像显示的车辆用周边监视装置中,大幅降低图像的接缝中亮度的不连续感,能够为驾驶员提供容易观察的图像。
此外,在对拍摄部所拍摄的图像进行解码处理时,由于通过亮度调整进行图像的亮度修正,因此能够在短时间进行亮度修正。
并且,优选地,在本发明的车辆用周边监视装置中,所述图像亮度算出部算出被设置成其中的至少两个拍摄部所拍摄的范围部分重复的拍摄三个以上方向的多个拍摄部中的第一拍摄部所拍摄的图像以及与所述第一拍摄部具有第一重复拍摄范围的第二拍摄部所拍摄的图像的、与所述第一重复拍摄范围或者所述第一重复拍摄范围附近的亮度相对应的值,所述亮度修正部根据算出的所述值,对所述第二拍摄部所拍摄的图像进行亮度修正,所述图像亮度算出部进一步根据所述亮度修正的结果,从进行了所述亮度修正的图像以及与进行了所述亮度修正的图像具有第二重复拍摄范围的第三拍摄部所拍摄的图像中算出与所述第二重复拍摄范围或者所述第二重复拍摄范围附近的亮度相对应的其他值,所述亮度修正部进一步根据算出的所述其他值对所述第三拍摄部所拍摄的图像进行亮度修正,之后,所述图像亮度算出部与所述亮度修正部同样依次重复进行所述亮度的算出与所述亮度的修正。
根据这样构成的本发明的车辆用周边监视装置,特别是在将多个图像合成为1个图像并进行显示的车辆用周边监视装置中,由于能够以预先选择的图像的亮度为基准,依次对图像的亮度进行修正,因此大幅降低图像的接缝中亮度的不连续感,能够为驾驶员提供容易观察的图像。
此外,在对拍摄部所拍摄的图像进行解码处理时,由于通过亮度调整进行图像的亮度修正,因此能够在短时间进行亮度修正。
并且,本发明的车辆用周边图像显示方法的特征为,从拍摄了车辆周边的多个图像中算出与一个图像的亮度相对应的值,根据算出的所述值,对所述多个图像进行亮度修正,对进行了所述亮度修正的图像实施规定的坐标转换处理,将实施了所述坐标转换的多个图像合成为一个图像,同时显示合成后的所述图像与所述一个图像。
根据这样构成的本发明的车辆用周边图像显示方法,通过上述的作用,不会影响所述1个图像的亮度,能够仅对合成图像的亮度进行修正。
并且,优选地,在本发明的车辆用周边图像显示方法中,判断车辆的行进方向,根据所述行进方向的判断结果,从拍摄车辆周边而得的多个图像中选择一个图像,从选择的所述一个图像中算出对应于所述一个图像的亮度的值,根据算出的所述值,对所述多个图像进行亮度修正,对进行了所述亮度修正的图像实施规定的坐标转换处理,将实施了所述坐标转换处理的多个图像合成为一个图像,同时显示合成的所述图像与所选择的所述一个图像。
根据这样构成的本发明的车辆用周边图像显示方法,通过上述的作用,对图像的亮度进行修正的结果是,不会影响驾驶员最需要注意的、车辆的行进方向的图像的亮度,因此能够对驾驶员提供车辆周边的安全确认所需要的有效信息。
并且,优选地,在本发明的车辆用周边图像显示方法中,从被设置成其中的至少两个图像的拍摄范围部分重复的拍摄三个以上方向而得的多个图像中选择第一图像,算出选择的所述第一图像以及与选择的所述第一图像具有第一重复拍摄范围的第二图像的、与所述第一重复拍摄范围或者所述第一重复拍摄范围附近的亮度相对应的值,根据算出的所述值对所述第二图像进行亮度修正,根据所述亮度修正的结果,从进行了所述亮度修正的图像以及与进行了所述亮度修正的图像具有第二重复拍摄范围的第三图像中算出与所述第二重复拍摄范围或者所述第二重复拍摄范围附近的亮度相对应的其他值,根据算出的所述其他值,对所述第三图像进行亮度修正,之后,同样依次重复进行所述亮度的算出与所述亮度的修正。
根据这样构成的本发明的车辆用周边图像显示方法,通过上述的作用,在将多个图像合成为1个时,大幅降低图像的接缝中亮度的不连续感,能够为驾驶员提供容易观察的图像。
此外,在对拍摄的图像进行解码处理时,由于通过亮度调整进行图像的亮度修正,因此能够在短时间进行亮度修正。
并且,优选地,在本发明的车辆用周边图像显示方法中,算出被设置成其中的至少两个图像的拍摄范围部分重复的拍摄三个以上方向而得的多个图像中的第一图像以及拍摄与所述第一图像进行第一重复的拍摄范围而得的第二图像的、与所述第一重复拍摄范围或者所述第一重复拍摄范围附近的亮度对应的值,根据算出的所述值,对其他的所述图像进行亮度修正,根据所述亮度修正的结果,从进行了所述亮度修正的图像以及与进行了所述亮度修正的图像具有第二重复拍摄范围的第三图像中算出与所述第二重复拍摄范围或者所述第二重复拍摄范围附近的亮度对应的其他值,根据算出的所述其他值,对所述第三图像进行亮度修正,之后,同样依次重复进行所述亮度的算出与所述亮度的修正。
根据这样构成的本发明的车辆用周边图像显示方法,由于能够以预先选择的图像的亮度为基准,依次对图像的亮度进行修正,因此大幅降低图像的接缝中亮度的不连续感,能够为驾驶员提供容易观察的图像。
此外,在对拍摄部所拍摄的图像进行解码处理时,由于通过亮度调整进行图像的亮度修正,因此能够在短时间进行亮度修正。
(发明的效果)
根据本发明的车辆用周边监视装置以及车辆用周边图像显示方法,当并列显示俯视车辆周边的合成图像以及车辆后方的图像时,通过根据与车辆后方图像的亮度对应的值,对上述俯视车辆周边的合成图像的亮度进行修正,从而即使在亮度的变化剧烈的环境中,也能够提供容易观察的图像。
附图说明
图1是示出本发明第一实施例的车辆用周边监视装置的概略构成的框图。
图2是示出图1的车辆用周边监视装置中的拍摄部、亮度修正部、坐标转换及图像合成部、图像亮度算出部、图像显示部的详细构成的框图。
图3是示出图1及图2中示出的车辆用周边监视装置中的一系列处理顺序的流程图。
图4是示出利用本发明第一实施例制作并提示给驾驶员的图像的1例的图。
图5是说明利用图2的第四亮度算出部算出的图像亮度的算出方法的图。
图6A是说明在本发明第二实施例中,利用图2的第一亮度算出部、第二亮度算出部、第三亮度算出部算出的图像亮度的算出方法的图。
图6B是示出在前摄像机拍摄的图像中设定了用于亮度修正的规定区域的实例的图。
图6C是示出在左侧摄像机拍摄的图像中设定了用于亮度修正的规定区域的实例的图。
图6D是示出在右侧摄像机拍摄的图像中设定了用于亮度修正的规定区域的实例的图。
图7是示出本发明第二实施例的实施方式涉及的车辆用周边监视装置的概略构成的框图。
图8是示出图7的车辆用周边监视装置中的拍摄部、亮度修正部、坐标转换及图像合成部、图像亮度算出部、图像显示部的详细构成的框图。
图9是示出图7以及图8中示出的车辆用周边监视装置中的一系列处理顺序的流程图。
图10A是示出利用本发明第二实施例以及第三实施例制作的、提示给驾驶员的车辆后方图像的1例的图。
图10B是示出利用本发明第二实施例以及第三实施例制作的、提示给驾驶员的车辆前方图像的1例的图。
图11是说明在本发明第二实施例中,利用第一亮度算出部算出的图像亮度的算出方法的图。
图12A是说明在本发明第二实施例中,利用图8的第一亮度算出部、第二亮度算出部、第三亮度算出部、第四亮度算出部以及在本发明第三实施例中,利用图14的第一亮度算出部、第二亮度算出部、第三亮度算出部、第四亮度算出部算出的图像亮度的算出方法的图。
图12B是示出在前摄像机拍摄的图像中设定了用于亮度修正的规定区域的实例的图。
图12C是示出在左侧摄像机拍摄的图像中设定了用于亮度修正的规定区域的实例的图。
图12D是示出在右侧摄像机拍摄的图像中设定了用于亮度修正的规定区域的实例的图。
图12E是示出在后摄像机拍摄的图像中设定了用于亮度修正的规定区域的实例的图。
图13是示出本发明第三实施例的车辆用周边监视装置的概略构成的框图。
图14是示出图13的车辆用周边监视装置中的拍摄部、亮度修正部、坐标转换及图像合成部、图像亮度算出部、图像显示部的详细构成的框图。
图15是示出图13以及图14中示出的车辆用周边监视装置中的一系列处理顺序的流程图。
具体实施方式
以下,参照附图对本发明的车辆用周边监视装置的实施方式进行说明。
实施例1
图1是示出本发明的车辆用周边监视装置的第一实施例的概略构成的框图。
图2是示出图1的车辆用周边监视装置中的拍摄部110、亮度修正部120、坐标转换及图像合成部200、图像亮度算出部300以及图像显示部400的详细构成的框图。
图3是示出图2中示出的车辆用周边监视装置中的一系列处理顺序的流程图。
如图1的框图所示,本实施例的车辆用周边监视装置包括:拍摄部110,如观测相互不同方向的N个CCD摄像机或C-MOS摄像机这样;亮度修正部120,修正从拍摄部输入的图像的亮度;坐标转换及图像合成部200,对从亮度修正部120输出的图像实施坐标转换,进而合成1个图像;图像亮度算出部300,算出所拍摄的图像的亮度;图像显示部400,由显示坐标转换及图像合成的结果的监视器等构成;以及启动及完成指示检测部500,检测车辆用周边监视装置的启动指示和完成指示。并且,该车辆用周边监视装置配置于未在图1中示出的车辆。
本实施例记载拍摄部110以4个摄像机构成的例子。即,拍摄部110与亮度修正部120包括:观测车辆前方的前摄像机111;与前摄像机111连接的第一解码器以及亮度修正部112与第一A/D转换器113;观测车辆左横方向的左侧摄像机121;与左侧摄像机121连接的第二解码器以及亮度修正部122与第二A/D转换器123;观测车辆右横方向的右侧摄像机131;与右侧摄像机131连接的第三解码器以及亮度修正部132与第三A/D转换器133;观测车辆后方的后摄像机141;以及与后摄像机141连接的第四解码器以及亮度修正部142与第四A/D转换器143。
并且,坐标转换及图像合成部200由坐标转换部201、坐标转换表202以及图像合成部203构成。
图像亮度算出部300由连接于第一A/D转换器113的第一亮度算出部301、连接于第二A/D转换器123的第二亮度算出部302、连接于第三A/D转换器133的第三亮度算出部303以及连接于第四A/D转换器143的第四亮度算出部304构成。
此外,图像显示部400由D/A转换器401、编码器402以及监视器403构成。
如图4所示,本实施例中的车辆用周边监视装置构成为:将车辆周边360°的情况合成为1个图像的合成图像700与拍摄车辆后方的图像630作为1个图像在监视器403上显示。
这里,合成图像700是将从上空的假想视点V俯视图6B中示出的由前摄像机111拍摄的图像600的图像710、从上空的假想视点V俯视图6C中示出的由左侧摄像机121拍摄的图像610的图像720、从上空的假想视点V俯视图6D中示出的由右侧摄像机131拍摄的图像620的图像730、从上空的假想视点V俯视图4中示出的由后摄像机141拍摄的图像630的图像740以及从上空的假想视点V俯视安装有本装置的车辆的假想图像750合成为1个图像而得到的图像。
并且,本实施例的构成虽然是观测车辆4个方向的构成,但是观测方向的数量并不仅限于此,也可以观测更多的方向。并且,即使在该情况下,也能够以与本实施例相同的作用实施本发明。
接着,参照图3的流程图对本实施例的车辆用周边监视装置的作用进行说明。
前摄像机111、左侧摄像机121、右侧摄像机131以及后摄像机141以相邻的摄像机(前摄像机111与左侧摄像机121、前摄像机111与右侧摄像机131、左侧摄像机121与后摄像机141、右侧摄像机131与后摄像机141)的拍摄范围一部分重复的布局,安装于车辆。
当通过启动及完成指示检测部500检测到挡位处于后退位置时(图3的S2),坐标转换部201产生触发信号,该触发信号被输入至第一解码器以及亮度修正部112、第一A/D转换器113、第二解码器以及亮度修正部122、第二A/D转换器123、第三解码器以及亮度修正部132、第三A/D转换器133、第四解码器以及亮度修正部142以及第四A/D转换器143。
一旦各摄像机接收到上述触发信号,则同时从前摄像机111、左侧摄像机121、右侧摄像机131以及后摄像机141进行图像输入(图3的S3)。
从前摄像机111输入的图像,通过第一解码器以及亮度修正部112从复合信号转换为分离信号(图3的S4),然后,转换后的分离信号中的亮度信号被第一A/D转换器113转换为数字信号,并生成图像600(图3的S6)。同样,从左侧摄像机121输入的图像,通过第二解码器以及亮度修正部122从复合信号转换为分离信号(图3的S4),然后,转换后的分离信号中的亮度信号被第二A/D转换器123转换为数字信号,并生成图像610(图3的S6)。从右侧摄像机131输入的图像,通过第三解码器以及亮度修正部132从复合信号转换为分离信号(图3的S4),然后,转换后的分离信号中的亮度信号被第三A/D转换器133转换为数字信号,并生成图像620(图3的S6)。从后摄像机141输入的图像,通过第四解码器以及亮度修正部142从复合信号转换为分离信号(图3的S4),然后,转换后的分离信号中的亮度信号被第四A/D转换器143转换为数字信号,并生成图像630(图3的S6)。
并且,这里,在从复合信号向分离信号进行信号换转的同时,进行拍摄图像的亮度修正(图3的S5),但是由于不能算出修正图像亮度的修正量,因此在车辆用周边监视装置启动后的最初的图像输入时,不进行该亮度修正。
接着,通过第四亮度算出部304算出后摄像机141拍摄的图像630中的规定区域的像素值的平均值(图3的S7)。此处,如图5所示,在预先决定的规定位置(x0,y0)设定由横向m个像素、纵向n个像素组成的区域,并算出该区域中全部像素值的平均值Iave。
接着,通过第一亮度算出部301,算出前摄像机111拍摄的图像600中的规定区域的像素值的平均值(图3的S8)。此处,如图6B所示,在图像600中,在预先决定的规定位置设定规定尺寸的区域601与区域602,并算出该区域601、区域602中全部像素值的平均值I1ave。
这里,如图6A所示,当将图像600转换为从上空的假想视点V俯视的图像710时,区域601被转换成具有横A、纵B的宽度的矩形区域711,该矩形区域711位于前摄像机111与左侧摄像机121的拍摄范围重复的位置或者位于其附近。此外,当将图像600转换为从上空的假想视点V俯视的图像710时,区域602被转换成具有横A、纵B的宽度的矩形区域712,该矩形区域712位于前摄像机111与右侧摄像机131的拍摄范围重复的位置或者位于其附近。
并且,该区域601、区域602的位置能够通过预先计算而求出。计算出的区域的位置预先储存于第一亮度算出部301。
接着,通过第二亮度算出部302,算出左侧摄像机121拍摄的图像610中的规定区域的像素值的平均值(图3的S8)。此处,如图6C所示,在图像610中,在预先决定的规定位置设定规定尺寸的区域611与区域612,并算出该区域611、区域612中全部像素值的平均值I2ave。
这里,如图6A所示,当将图像610转换为从上空的假想视点V俯视的图像720时,区域611被转换成具有横A、纵B的宽度的矩形区域721,该矩形区域721位于前摄像机111与左侧摄像机121的拍摄范围重复的位置或者位于其附近。此外,如图6A所示,当将图像610转换为从上空的假想视点V俯视的图像720时,区域612被转换成具有横A、纵B的宽度的矩形区域722,该矩形区域722位于左侧摄像机121与后摄像机141的拍摄范围重复的位置或者位于其附近。
并且,该区域611、区域612的位置能够通过预先计算而求出。计算出的区域的位置预先储存于第二亮度算出部302。
接着,通过第三亮度算出部303,算出右侧摄像机131拍摄的图像620中的规定区域的像素值的平均值(图3的S8)。此处,如图6D所示,在图像620中,在预先决定的规定位置设定规定尺寸的区域621与区域622,并算出该区域621、区域622中全部像素值的平均值I3ave。
这里,如图6A所示,当将图像620转换为从上空的假想视点V俯视的图像730时,区域621被转换成具有横A、纵B的宽度的矩形区域731,该矩形区域731位于前摄像机111与右侧摄像机131的拍摄范围重复的位置或者位于其附近。此外,如图6A所示,当将图像620转换为从上空的假想视点V俯视的图像730时,区域622被转换成具有横A、纵B的宽度的矩形区域732,该矩形区域732位于右侧摄像机131与后摄像机141的拍摄范围重复的位置或者位于其附近。
并且,该区域621、区域622的位置能够通过预先计算而求出。计算出的区域的位置预先储存于第三亮度算出部303。
这样算出的图像630的规定区域像素值的平均值Iave、与图像600的规定区域像素值的平均值I1ave被发送至第一解码器以及亮度修正部112,并被储存于此。同样,图像630的规定区域像素值的平均值Iave、与图像610的规定区域像素值的平均值I2ave被发送至第二解码器以及亮度修正部122,并被储存于此,图像630的规定区域像素值的平均值Iave、与图像620的规定区域像素值的平均值I3ave被发送至第三解码器以及亮度修正部132,并被储存于此。
在图3的S6中生成的图像600、图像610、图像620、图像630通过坐标转换部201进行坐标转换,被转换成从上空的假想视点V俯视的图像(图3的S9)。该坐标转换处理基于设置于车辆的各摄像机的几何学布局和摄像机的焦点距离、像素尺寸等摄像机参数以及假想视点V的位置、观测范围等参数而进行计算,一般来说,基于各摄像机的几何学布局和摄像机的焦点距离、像素尺寸等摄像机参数以及假想视点V的位置、观测范围等参数,预先创建坐标转换表202,基于该坐标转换表来进行输入图像的坐标置换。
通过上述坐标转换,前摄像机111拍摄的图像600转换成图像710,左侧摄像机121拍摄的图像610转换成图像720,右侧摄像机131拍摄的图像620转换成图像730,后摄像机141拍摄的图像630转换成图像740。转换的结果是,通过图像合成部203合成1个图像,进而,合成从上空的假想视点V俯视车辆的假想图像750,并生成合成图像700。此外,与后摄像机141拍摄的图像630进行合成,制作图4中示出的1个图像(图3的S10)。
合成的图像被D/A转换器401再次构成分离信号(图3的S11),然后被编码器402转换成复合信号(图3的S12),并显示于监视器403(图3的S13)。
通过启动及完成指示检测部500检测挡位是否处于后退位置(图3的S14)。如果挡位处于后退位置以外的位置,则解除监视器403的显示(图3的S15)。
如果确认挡位处于后退位置,在图3的S3中,再次进行图像输入。
从前摄像机111输入的图像被第一解码器以及亮度修正部112从复合信号转换为分离信号(图3的S4),之后,基于储存于第一解码器以及亮度修正部112的、图像630的规定区域像素值的平均值Iave与图像600的规定区域像素值的平均值I1ave,进行亮度的修正(图3的S5)。
具体来说,当第一解码器以及亮度修正部112中当前设定亮度值为B1、通过亮度修正新设定的亮度值为B1’时,根据(式1)将亮度值从B1变更为B1’来进行亮度值的修正。
B1’=B1+(Iave-I1ave)×w  (式1)
在(式1)中,w表示亮度修正的加权值(0≤w≤1)。该值是为了避免在亮度急剧变化时亮度修正值随之急剧变化而设置的值。并且,w为预先决定的规定值。
对于从左侧摄像机121输入的图像610以及从右侧摄像机131输入的图像620,也进行同样的亮度修正。
即,当第二解码器以及亮度修正部122中当前设定亮度值为B2、通过亮度修正新设定的亮度值为B2’、第三解码器以及亮度修正部132中当前设定亮度值为B3、通过亮度修正新设定的亮度值为B3’时,根据以下的(式2)将亮度值从B2变更为B2’来修正图像610的亮度。并且,根据以下的(式3)将亮度值从B3变更为B3’来修正图像620的亮度。
B2’=B2+(Iave-I2ave)×w  (式2)
B3’=B3+(Iave-I3ave)×w  (式3)
并且,后摄像机141拍摄的图像是作为进行图像亮度修正的基准的图像,因此不对该图像自身进行亮度修正。因此,在第四解码器以及亮度修正部142中储存w=0。即,当第四解码器以及亮度修正部142中当前设定亮度值为B4、通过亮度修正新设定的亮度值为B4’时,B4’如(式4)。
B4’=B4(式4)
通过(式1)、(式2)、(式3)以及(式4)修正了亮度的图像,被第一A/D转换器113、第二A/D转换器123、第三A/D转换器133、第四A/D转换器143转换成数字信号,生成修正亮度后的新的图像600、图像610、图像620、图像630(图3的S6)。
这样,对于修正亮度的新的图像600、图像610、图像620、图像630,再次利用图像亮度算出部300算出Iave、I1ave、I2ave、I3ave。
在像这样算出的Iave、I1ave、I2ave、I3ave中,Iave、I1ave被发送至第一解码器以及亮度修正部112,并被储存于此。并且,Iave、I2ave被发送至第二解码器以及亮度修正部122,并被储存于此。此外,Iave、I3ave被发送至第三解码器以及亮度修正部132,并被储存于此。对于从后摄像机输入的图像,不进行亮度修正,因此,在第四解码器以及亮度修正部142中储存w=0。
接着,对亮度修正后的图像进行坐标转换处理、图像合成处理,合成的图像在被D/A转换之后通过编码处理,转换成复合信号,并输出至监视器403。
以后,只要挡位处于后退位置,就继续执行上述处理,每次根据算出的最新的亮度值对图像的亮度进行修正。
根据这样构成的本实施方式的车辆用周边监视装置,当同时显示俯视车辆周边360°的图像与拍摄的车辆后方的图像时,俯视图像的亮度修正的结果不影响拍摄的车辆后方的图像,因此即使车辆周边的明暗变化剧烈,也能够为驾驶员提供容易观看的图像。
并且,在本实施例中,设定后摄像机141拍摄的图像630中的规定区域、即如图5所示的在规定位置(x0,y0)设定由横向m个像素、纵向n个像素组成的区域,将该区域中全部像素值的平均值Iave作为图像的亮度修正的基准值,但是基准的获取方法并不仅限于此,例如也可以在后摄像机141拍摄的图像630中设定图12E中示出的区域631以及区域632,并将区域631与区域632的全部像素值的平均值作为亮度修正的基准。这里,当将图像630转换为从上空的假想视点V俯视的图像740时,区域631被转换成具有横A、纵B的宽度的矩形区域741,该矩形区域741位于后摄像机141与左侧摄像机121的拍摄范围重复的位置或者位于其附近。并且,在图像740中,区域632被转换成具有横A、纵B的宽度的矩形区域742,该矩形区域742位于后摄像机141与右侧摄像机131的拍摄范围重复的位置或者位于其附近。根据该基准的获取方法,与实施例的方法相比,获得了进一步提高图像的接缝部分的亮度连续性的效果。
并且,上述本实施例的车辆用周边监视装置的作用与本发明的车辆用周边图像显示方法的实施方式相当。
实施例2
图7是示出本发明的车辆用周边监视装置的第二实施例的概略构成的框图。
图8是示出图7的车辆用周边监视装置中的拍摄部810、亮度修正部820、坐标转换及图像合成部900、图像亮度算出部1000以及图像显示部1100的详细构成的框图。
图9是示出图8中示出的车辆用周边监视装置中的一系列处理顺序的流程图。
如图7的框图所示,本实施例的车辆用周边监视装置包括:拍摄部810,如观测相互不同方向的N个CCD摄像机或C-MOS摄像机这样;亮度修正部820,修正从拍摄部810输入的图像的亮度;坐标转换及图像合成部900,对从亮度修正部820输出的图像实施坐标转换,进而合成1个图像;图像亮度算出部1000,算出所拍摄的图像的亮度;图像显示部1100,由显示坐标转换及图像合成的结果的监视器等构成;启动及完成指示检测部1200,检测车辆用周边监视装置的启动指示和完成指示;以及拍摄部选择部1300,从多个拍摄部810中选择1个拍摄部。并且,该车辆用周边监视装置配置于未在图7中示出的车辆。
本实施例记载拍摄部810以4个摄像机构成的例子。即,拍摄部810包括:观测车辆前方的前摄像机811;与前摄像机811连接的第一解码器以及亮度修正部812与第一A/D转换器813;观测车辆左横方向的左侧摄像机821;与左侧摄像机821连接的第二解码器以及亮度修正部822与第二A/D转换器823;观测车辆右横方向的右侧摄像机831;与右侧摄像机831连接的第三解码器以及亮度修正部832与第三A/D转换器833;观测车辆后方的后摄像机841;以及与后摄像机841连接的第四解码器以及亮度修正部842与第四A/D转换器843。
并且,坐标转换及图像合成部900由坐标转换部901、坐标转换表902以及图像合成部903构成。
图像亮度算出部1000由连接于第一A/D转换器813的第一亮度算出部1001、连接于第二A/D转换器823的第二亮度算出部1002、连接于第三A/D转换器833的第三亮度算出部1003以及连接于第四A/D转换器843的第四亮度算出部1004构成。
此外,图像显示部1100由D/A转换器1101、编码器1102以及监视器1103构成。
本实施例中的车辆用周边监视装置构成为:如图10A所示将车辆周边360°的情况合成为1个图像的合成图像700与后摄像机841拍摄的图像630、或者如图10B所示将车辆周边360°的情况合成为1个图像的合成图像700与前摄像机811拍摄的图像600合成1个图像,从而显示于监视器1103。
这里,如图12A所示,合成图像700是将从上空的假想视点V俯视由前摄像机811拍摄的图像600的图像710、从上空的假想视点V俯视由左侧摄像机821拍摄的图像610的图像720、从上空的假想视点V俯视由右侧摄像机831拍摄的图像620的图像730、从上空的假想视点V俯视由后摄像机841拍摄的图像630的图像740以及从上空的假想视点V俯视车辆的假想图像750合成为1个图像而得到的图像。
并且,本实施例的构成虽然是观测车辆4个方向的构成,但是观测方向的数量并不仅限于此,也可以观测更多的方向。并且,即使在该情况下,也能够以与本实施例相同的作用实施本发明。
接着,参照图9的流程图对本实施例的车辆用周边监视装置的作用进行说明。
前摄像机811、左侧摄像机821、右侧摄像机831以及后摄像机841以相邻的摄像机(前摄像机811与左侧摄像机821、前摄像机811与右侧摄像机831、左侧摄像机821与后摄像机841、右侧摄像机831与后摄像机841)的拍摄范围一部分重复的布局,安装于车辆。
当通过启动及完成指示检测部1200检测到为挡位处于后退位置或者挡位处于前进位置且车速在规定值以下的任一种情况时(图9的S2、S3、S4),坐标转换部901产生触发信号,该触发信号被输入至第一解码器以及亮度修正部812、第一A/D转换器813、第二解码器以及亮度修正部822、第二A/D转换器823、第三解码器以及亮度修正部832、第三A/D转换器833、第四解码器以及亮度修正部842以及第四A/D转换器843。
一旦各摄像机接收到上述触发信号,则同时从前摄像机811、左侧摄像机821、右侧摄像机831以及后摄像机841进行图像输入(图9的S7)。
从前摄像机811输入的图像,通过第一解码器以及亮度修正部812从复合信号转换为分离信号(图9的S8),然后,转换后的分离信号中的亮度信号被第一A/D转换器813转换为数字信号,并生成图像600(图9的S10)。同样,从左侧摄像机821输入的图像,通过第二解码器以及亮度修正部822从复合信号转换为分离信号(图9的S8),然后,转换后的分离信号中的亮度信号被第二A/D转换器823转换为数字信号,并生成图像610(图9的S10)。从右侧摄像机831输入的图像,通过第三解码器以及亮度修正部832从复合信号转换为分离信号(图9的S8),然后,转换后的分离信号中的亮度信号被第三A/D转换器833转换为数字信号,并生成图像620(图9的S10)。并且,从后摄像机841输入的图像,通过第四解码器以及亮度修正部842从复合信号转换为分离信号(图9的S8),然后,转换后的分离信号中的亮度信号被第四A/D转换器843转换为数字信号,并生成图像630(图9的S10)。
并且,这里,在从复合信号向分离信号进行信号转换的同时,进行输入图像的亮度修正(图9的S9),但是由于不能算出修正图像亮度的修正量,因此在车辆用周边监视装置启动后的最初的图像输入时,不进行该亮度修正。
接着,通过拍摄部选择部1300决定作为输出至监视器1103的图像,是显示如图10A的拍摄车辆后方而得到的图像630,还是显示如图10B的拍摄车辆前方而得到的图像600。
这是通过启动及完成指示检测部1200监视挡位的位置与车速,并基于其结果而进行判断。
即,如果挡位处于后退位置,在图10A中示出的图像的右侧区域中显示拍摄了车辆后方的图像630(图9的S2),并且,如果挡位处于前进位置且车速在规定值以下,在图10B的图像的右侧区域显示拍摄车辆前方的图像600(图9的S3、S4)。这里,在判断为显示拍摄车辆后方的图像630的情况下,选择后摄像机841(图9的S6),在判断为显示拍摄车辆前方的图像600的情况下,选择前摄像机811(图9的S5)。由于所选择不同的摄像机,因此后述的亮度修正处理的顺序也不同。
首先,对拍摄部选择部1300选择后摄像机841的情况的动作进行说明。
第四亮度算出部1004算出后摄像机841拍摄的图像630中的规定区域的像素值的平均值(图9的S11)。此处,如图5所示,在预先决定的规定位置(x0,y0)设定由横向m个像素、纵向n个像素组成的区域,并算出该区域中全部像素值的平均值Iave。
接着,第一亮度算出部1001算出图9的S7中生成的图像600中的规定区域的像素值的平均值(图9的S12)。此处,如图6B所示,在图像600中,在预先决定的规定位置设定规定尺寸的区域601、602,并算出该区域601、区域602中全部像素值的平均值I1ave。
这里,当将图像600转换为从上空的假想视点V俯视的图像710时,区域601被转换成具有横A、纵B的宽度的矩形区域711,该矩形区域711位于前摄像机811与左侧摄像机821的拍摄范围重复的位置或者位于其附近。此外,当将图像600转换为从上空的假想视点V俯视的图像710时,区域602被转换成具有横A、纵B的宽度的矩形区域712,该矩形区域712位于前摄像机811与右侧摄像机831的拍摄范围重复的位置或者位于其附近。
并且,该区域601、区域602的位置能够通过预先计算而求出。计算出的区域的位置预先储存于第一亮度算出部1001。
接着,通过第二亮度算出部1002,算出图9的S7所生成的图像610中的规定区域的像素值的平均值(图9的S12)。此处,如图6C所示,在图像610中,在预先决定的规定位置设定规定尺寸的区域611、612,并算出该区域611、区域612中全部像素值的平均值I2ave。
这里,当将图像610转换为从上空的假想视点V俯视的图像720时,区域611被转换成具有横A、纵B的宽度的矩形区域721,该矩形区域721位于前摄像机811与左侧摄像机821的拍摄范围重复的位置或者位于其附近。此外,当将图像610转换为从上空的假想视点V俯视的图像720时,区域612被转换成具有横A、纵B的宽度的矩形区域722,该矩形区域722位于左侧摄像机821与后摄像机841的拍摄范围重复的位置或者位于其附近。
并且,该区域611、区域612的位置能够通过预先计算而求出。计算出的区域的位置预先储存于第二亮度算出部1002。
此外,第三亮度算出部1003,算出图9的S7中生成的图像620中的规定区域的像素值的平均值(图9的S12)。此处,如图6D所示,在图像620中,在预先决定的规定位置设定规定尺寸的区域621、622,并算出该区域621、区域622中全部像素值的平均值I3ave。
这里,当将图像620转换为从上空的假想视点V俯视的图像730时,区域621被转换成具有横A、纵B的宽度的矩形区域731,该矩形区域731位于前摄像机811与右侧摄像机831的拍摄范围重复的位置或者位于其附近。此外,当将图像620转换为从上空的假想视点V俯视的图像730时,区域622被转换成具有横A、纵B的宽度的矩形区域732,该矩形区域732位于右侧摄像机831与后摄像机841的拍摄范围重复的位置或者位于其附近。
并且,该区域621、区域622的位置能够通过预先计算而求出。计算出的区域的位置预先储存于第三亮度算出部1003。
算出的Iave与I1ave被发送至第一解码器以及亮度修正部812,并被储存于此。同样,Iave与I2ave被发送至第二解码器以及亮度修正部822,并被储存于此,Iave与I3ave被发送至第三解码器以及亮度修正部832,并被储存于此。并且,对于从后摄像机841输入的图像,由于不进行亮度修正,因此在第四解码器以及亮度修正部842中储存w=0。
在图3的S7生成的图像600、图像610、图像620、图像630在坐标转换部901中进行坐标转换,被转换成从上空的假想视点V俯视的图像(图9的S13)。该坐标转换处理基于设置于车辆的各摄像机的几何学布局和摄像机的焦点距离、像素尺寸等摄像机参数以及假想视点V的位置、观测范围等参数,进行计算,一般来说,基于各摄像机的几何学布局和摄像机的焦点距离、像素尺寸等摄像机参数以及假想视点V的位置、观测范围等参数,预先创建坐标转换表902,并基于该坐标转换表902进行输入图像的坐标置换,从而该坐标转换处理。
通过上述坐标转换,前摄像机811拍摄的图像600转换成图像710,左侧摄像机821拍摄的图像610转换成图像720,右侧摄像机831拍摄的图像620转换成图像730,后摄像机841拍摄的图像630转换成图像740。转换的结果是,通过图像合成部903合成1个图像,并进一步合成从上空的假想视点V俯视车辆的假想图像750,并生成合成图像700。此外,与后摄像机841拍摄的图像630合成,制作图10A中示出的图像(图9的S14)。
制作的图像通过D/A转换器1101被再次构成分离信号(图9的S15),然后被编码器1102转换成复合信号(图9的S16),并在监视器1103显示(图9的S17)。
通过启动及完成指示检测部1200检测挡位是否位于后退位置(图9的S18、S19)。如果挡位处于后退位置以外的位置,就解除监视器1103的显示(图9的S21)。
如果确认挡位处于后退位置,在图9的S7中,再次进行图像输入。
从前摄像机811输入的图像,通过第一解码器以及亮度修正部812从复合信号转换为分离信号(图9的S8),之后,基于储存于第一解码器以及亮度修正部812的Iave与I1ave,进行亮度的修正(图9的S9)。
具体来说,如果第一解码器以及亮度修正部812中现在的设定亮度值为B1、通过亮度修正而新设定的亮度值为B1’,则通过(式1)算出新的亮度值B1’。
对于左侧摄像机821以及右侧摄像机831拍摄的图像,如下进行亮度修正。
即,当第二解码器以及亮度修正部822中当前设定亮度值为B2、通过亮度修正新设定的亮度值为B2’、第三解码器以及亮度修正部832中当前设定亮度值为B3、通过亮度修正新设定的亮度值为B3’时,左侧摄像机821拍摄的图像通过由(式2)算出的新的亮度值B2’进行亮度修正,右侧摄像机831拍摄的图像通过由(式3)算出的新的亮度值B3’进行亮度修正。
并且,后摄像机拍摄的图像是成为进行图像亮度修正的基准的图像,因此对于该图像本身不进行亮度修正。因此,在第四解码器以及亮度修正部842中储存w=0。即,当第四解码器以及亮度修正部842中当前设定亮度值为B4、通过亮度修正新设定的亮度值为B4’时,在(式4)中算出新的亮度值B4’,并进行亮度修正。
通过(式1)、(式2)、(式3)以及(式4)进行亮度修正的图像,被第一A/D转换器813、第二A/D转换器823、第三A/D转换器833以及第四A/D转换器843转换成数字信号,生成已修正亮度的新的图像600、图像610、图像620、图像630(图9的S10)。
这样,对于已修正亮度的新的图像600、图像610、图像620、图像630,再次由图像亮度算出部1000算出Iave、I1ave、I2ave、I3ave。
在像这样算出的Iave、I1ave、I2ave、I3ave中,Iave、I1ave被发送至第一解码器以及亮度修正部812,并被储存于此。并且,Iave、I2ave被发送至第二解码器以及亮度修正部822,并被储存于此。此外,Iave、I3ave被发送至第三解码器以及亮度修正部832,并被储存于此。对于图像630,不进行亮度修正,因此,在第四解码器以及亮度修正部842中储存w=0。
接着,对亮度修正后的图像进行坐标转换处理、图像合成处理,合成后的图像在被D/A转换之后进行编码处理,转换成复合信号,并输出至监视器1103。
以后,只要挡位处于后退位置,就继续执行上述处理,每次基于算出的最新的亮度值对图像的亮度进行修正。
接着,对拍摄部选择部1300选择前摄像机811的情况的动作进行说明。
通过第一亮度算出部1001算出前摄像机811拍摄的图像600中的规定区域的像素值的平均值(图9的S11)。此处,如图11所示,在预先决定的规定位置(x1,y1)设定由横向k个像素、纵向1个像素组成的区域,并算出该区域中全部像素值的平均值Iave。
接着,通过第二亮度算出部1002算出图9的S7所生成的图像610中的规定区域的像素值的平均值(图9的S12)。此处,如图12C所示,在图像610中,在预先决定的规定位置设定规定尺寸的区域611、区域612,并算出该区域611、区域612中全部像素值的平均值I2ave。
这里,如图12A所示,当将图像610转换为从上空的假想视点V俯视的图像720时,区域611被转换成具有横A、纵B的宽度的矩形区域721,该矩形区域721位于前摄像机811与左侧摄像机821的拍摄范围重复的位置或者位于其附近。此外,当将图像610转换为从上空的假想视点V俯视的图像720时,区域612被转换成具有横A、纵B的宽度的矩形区域722,该矩形区域722位于左侧摄像机821与后摄像机841的拍摄范围重复的位置或者位于其附近。
并且,该区域611、区域612的位置能够通过预先计算而求出。计算出的区域的位置预先储存于第二亮度算出部1002。
接着,通过第三亮度算出部1003算出图9的S7生成的图像620中的规定区域的像素值的平均值(图9的S12)。此处,如图12D所示,在图像620中,在预先决定的规定位置设定规定尺寸的区域621、区域622,并算出该区域621、区域622中全部像素值的平均值I3ave。
这里,如图12A所示,当将图像620转换为从上空的假想视点V俯视的图像730时,区域621被转换成具有横A、纵B的宽度的矩形区域731,该矩形区域731位于前摄像机811与右侧摄像机831的拍摄范围重复的位置或位于其附近。此外,当将图像620转换为从上空的假想视点V俯视的图像730时,区域622被转换成具有横A、纵B的宽度的矩形区域732,该矩形区域732位于右侧摄像机831与后摄像机841的拍摄范围重复的位置或者位于其附近。
并且,该区域621、区域622的位置能够通过预先计算而求出。计算出的区域的位置预先储存于第三亮度算出部1003。
此外,通过第四亮度算出部1004算出图9的S7所生成的图像630中的规定区域的像素值的平均值(图9的S12)。此处,如图12E所示,在图像630中,在预先决定的规定位置设定规定尺寸的区域631、区域632,并算出该区域631、区域632中全部像素值的平均值I4ave。
这里,如图12A所示,当将图像630转换为从上空的假想视点V俯视的图像740时,区域631被转换成具有横A、纵B的宽度的矩形区域741,该矩形区域741位于后摄像机841与左侧摄像机821的拍摄范围重复的位置或者位于其附近。此外,当将图像630转换为从上空的假想视点V俯视的图像740时,区域632被转换成具有横A、纵B的宽度的矩形区域742,该矩形区域742位于右侧摄像机831与后摄像机841的拍摄范围重复的位置或者位于其附近。
并且,该区域631、区域632的位置能够通过预先计算而求出。计算出的区域的位置预先储存于第四亮度算出部1004。
算出的Iave与I2ave被发送至第二解码器以及亮度修正部822,并被储存于此。同样,Iave与I3ave被发送至第三解码器以及亮度修正部832,并被储存于此,Iave与I4ave被发送至第四解码器以及亮度修正部842,并被储存于此。并且,对于前摄像机811拍摄的图像,由于不进行亮度修正,因此在第一解码器以及亮度修正部812中储存w=0。
在图9的S7生成的图像600、图像610、图像620、图像630通过坐标转换部901进行坐标转换,被转换成从上空的假想视点V俯视的图像(图9的S13)。该坐标转换处理基于设置于车辆的各摄像机的几何学布局和摄像机的焦点距离、像素尺寸等摄像机参数以及假想视点V的位置、观测范围等参数而进行计算,但一般来说,基于各摄像机的几何学布局和摄像机的焦点距离、像素尺寸等摄像机参数以及假想视点V的位置、观测范围等参数,预先创建坐标转换表902,根据该坐标转换表902来进行输入图像的坐标置换。
通过上述坐标转换,图像600转换成图像710,图像610转换成图像720,图像620转换成图像730,图像630转换成图像740。转换的结果是,通过图像合成部903合成1个图像,并进一步合成从上空的假想视点V俯视车辆的假想图像750,生成合成图像700。此外,与前摄像机811拍摄的图像600合成,制作图10B中示出的1个图像(图9的S14)。
制作的图像被D/A转换器1101再次构成分离信号(图9的S15),然后被编码器1102转换成复合信号(图9的S16),并显示于监视器1103(图9的S17)。
通过启动及完成指示检测部1200判断处于选择前摄像机811的状态,并且车速在规定值以下(图9的S18、S20)。当不符合条件时,解除监视器1103的显示(图9的S21)。
另一方面,当判断为符合条件时,在图9的S7中,再次进行图像输入。
后摄像机841拍摄的图像,通过第四解码器以及亮度修正部842从复合信号转换为分离信号(图9的S8),之后,基于储存于第四解码器以及亮度修正部842的Iave与I4ave,进行亮度的修正(图9的S9)。
具体来说,当第四解码器以及亮度修正部842中当前设定亮度值为B4、通过亮度修正而新设定的亮度值为B4’时,B4’通过(式5)算出,由此进行亮度的修正。
B4’=B4+(Iave-I4ave)×w  (式5)
对于左侧摄像机821以及右侧摄像机831拍摄的图像,如下进行亮度修正。
即,当第二解码器以及亮度修正部822中当前设定亮度值为B2、通过亮度修正新设定的亮度值为B2’、第三解码器以及亮度修正部832中当前设定亮度值为B3、通过亮度修正新设定的亮度值为B3’时,左侧摄像机821拍摄的图像通过由(式2)算出的新的亮度值B2’进行亮度修正,右侧摄像机831拍摄的图像通过由(式3)算出的新的亮度值B3’进行亮度修正。
并且,对于前摄像机拍摄的图像不进行亮度修正,因此,在第一解码器以及亮度修正部812中储存w=0。即,当第一解码器以及亮度修正部812中当前设定亮度值为B1、通过亮度修正新设定的亮度值为B1’时,B1’通过(式6)算出。
B1’=B1(式6)
通过(式2)、(式3)、(式5)以及(式6)修正亮度的图像,被第一A/D转换器813、第二A/D转换器823、第三A/D转换器833以及第四A/D转换器843转换成数字信号,生成已修正亮度的新的图像600、图像610、图像620、图像630(图9的S10)。
这样,对于修正亮度后的新的图像600、图像610、图像620、图像630,再次通过图像亮度算出部1000算出Iave、I2ave、I3ave、I4ave。
在像这样算出的Iave、I2ave、I3ave、I4ave中,Iave、I2ave被发送至第二解码器以及亮度修正部822,并被储存于此。并且,Iave、I3ave被发送至第三解码器以及亮度修正部832,并被储存于此。此外,Iave、I4ave被发送至第四解码器以及亮度修正部842,并被储存于此。对于从前摄像机811输入的图像600,不进行亮度修正,因此,在第一解码器以及亮度修正部812中储存w=0。
接着,对亮度修正后的图像进行坐标转换处理、图像合成处理,合成后的图像信号在被D/A转换之后进行编码处理,转换成复合信号,并输出至监视器1103。
以后,只要挡位处于前进位置并且车速为规定值以下,就继续执行上述处理,每次基于算出的最新的亮度值对图像的亮度进行修正。
图像的亮度修正的结果是,不会影响驾驶中最需要给予注意的、车辆的行进方向的图像亮度,因此能够向驾驶员提供对车辆周边的安全确认有效的信息。
并且,上述本实施例的车辆用周边监视装置的作用相当于本发明的车辆用周边图像显示方法的实施方式。
实施例3
图13是示出本发明的车辆用周边监视装置的第三实施例的概略构成的框图。
图14是示出图13的车辆用周边监视装置中的拍摄部1410、亮度修正部1420、坐标转换及图像合成部1500、图像亮度算出部1600以及图像显示部1700的详细构成的框图。
图15是示出图13以及图14中示出的车辆用周边监视装置中的一系列处理顺序的流程图。
如图13的框图所示,本实施例的车辆用周边监视装置设置于车辆,包括:拍摄部1410,如观测相互不同方向的N个CCD摄像机或C-MOS摄像机这样;亮度修正部1420,修正从拍摄部1410输入的图像亮度;坐标转换及图像合成部1500,对从亮度修正部1420输出的图像实施坐标转换,进而合成1个图像;图像亮度算出部1600,算出所拍摄的图像的亮度;图像显示部1700,由显示坐标转换及图像合成的结果的监视器等构成;启动及完成指示检测部1800,检测车辆用周边监视装置的启动指示和完成指示;以及拍摄部选择部1900,从多个拍摄部1410中选择1个拍摄部。
本实施例记载以4个摄像机构成拍摄部1410的实例。即,拍摄部1410包括:观测车辆前方的前摄像机1411;与前摄像机1411连接的第一解码器以及亮度修正部1412与第一A/D转换器1413;观测车辆左横方向的左侧摄像机1421;与左侧摄像机1421连接的第二解码器以及亮度修正部1422与第二A/D转换器1423;观测车辆右横方向的右侧摄像机1431;与右侧摄像机1431连接的第三解码器以及亮度修正部1432与第三A/D转换器1433;观测车辆后方的后摄像机1441;以及与后摄像机1441连接的第四解码器以及亮度修正部1442与第四A/D转换器1443。
并且,坐标转换及图像合成部1500由坐标转换部1501、坐标转换表1502以及图像合成部1503构成。
图像亮度算出部1600由连接于第一A/D转换器1413的第一亮度算出部1601、连接于第二A/D转换器1423的第二亮度算出部1602、连接于第三A/D转换器1433的第三亮度算出部1603以及连接于第四A/D转换器1443的第四亮度算出部1604构成。
此外,图像显示部1700由D/A转换器1701、编码器1702以及监视器1703构成。
本实施例中的车辆用周边监视装置构成为:如图10A所示将车辆周边360°的情况合成为1个图像的合成图像700与后摄像机1441拍摄的图像630,或者如图10B所示将车辆周边360°的情况合成为1个图像的合成图像700与前摄像机1411拍摄的图像600合成1个图像,从而显示于监视器1703。
这里,合成图像700是将从上空的假想视点V俯视前摄像机1411拍摄的图像600的图像710、从上空的假想视点V俯视左侧摄像机1421拍摄的图像610的图像720、从上空的假想视点V俯视右侧摄像机1431拍摄的图像620的图像730、从上空的假想视点V俯视后摄像机1441拍摄的图像630的图像740以及从上空的假想视点V俯视车辆的假想图像750合成1个图像而得到的图像。
并且,虽然本实施例构成为观测车辆4个方向的构成,但是观测方向的数量并不仅限于此,也可以观测更多的方向。并且,即使在该情况下,也能够以与本实施例相同的作用实施本发明。
接着,参照图15的流程图对本实施例的车辆用周边监视装置的作用进行说明。
前摄像机1411、左侧摄像机1421、右侧摄像机1431以及后摄像机1441以相邻的摄像机(前摄像机14811与左侧摄像机1421、前摄像机1411与右侧摄像机1431、左侧摄像机1421与后摄像机1441、右侧摄像机1431与后摄像机1441)的拍摄范围一部分重复的布局,安装于车辆。
当通过启动及完成指示检测部1800检测到为挡位处于后退位置或者挡位处于前进位置并且车速在规定值以下的任一种情况时(图15的S2、S3、S4),坐标转换部1501产生触发信号,该触发信号被输入至第一解码器以及亮度修正部1412、第一A/D转换器1413、第二解码器以及亮度修正部1422、第二A/D转换器1423、第三解码器以及亮度修正部1432、第三A/D转换器1433、第四解码器以及亮度修正部1442以及第四A/D转换器1443。
一旦当接收上述触发信号,则同时从前摄像机1411、左侧摄像机1421、右侧摄像机1431以及后摄像机1441进行图像输入(图15的S7)。
从前摄像机1411输入的图像,通过第一解码器以及亮度修正部1412从复合信号转换为分离信号(图15的S8),然后,转换后的分离信号中的亮度信号被第一A/D转换器1413转换为数字信号,而生成图像600(图15的S10)。同样,从左侧摄像机1421输入的图像,通过第二解码器以及亮度修正部1422从复合信号转换为分离信号(图15的S8),然后,转换后的分离信号中的亮度信号被第二A/D转换器1423转换为数字信号,而生成图像610(图15的S10)。从右侧摄像机1431输入的图像,通过第三解码器以及亮度修正部1432从复合信号转换为分离信号(图15的S8),然后,转换后的分离信号中的亮度信号被第三A/D转换器1433转换为数字信号,而生成图像620(图15的S10)。从后摄像机1441输入的图像,通过第四解码器以及亮度修正部1442从复合信号转换为分离信号(图15的S8),然后,转换后的分离信号中的亮度信号被第四A/D转换器1443转换为数字信号,而生成图像630(图15的S10)。
并且,这里,在从复合信号向分离信号进行信号转换的同时,进行输入图像的亮度修正(图9的S9),但是由于不能算出修正图像亮度的修正量,因此在车辆用周边监视装置启动后的最初的图像输入时,不进行该亮度修正。
接着,通过拍摄部选择部1900决定作为输出至监视器1103的图像,在合成图像700右侧的区域是显示拍摄车辆后方的图像630,还是显示拍摄车辆前方的图像600。
这是通过启动及完成指示检测部1800监视挡位的位置与车速,并基于其结果而进行判断。
即,如果挡位处于后退位置,如图10A所示在合成图像700的右侧区域中显示拍摄车辆后方的图像630,此外,如果挡位处于位于前进位置并且车速在规定值以下,如图10B所示在合成图像700的右侧区域显示拍摄车辆前方的图像600。这里,在判断为显示图像630的情况下,选择后摄像机1441(图15的S6),在判断为显示图像600的情况下,选择前摄像机1411(图15的S5),根据所选择不同的摄像机,后述的亮度修正处理的顺序也不同。
首先,对拍摄部选择部1900选择后摄像机1441的情况的动作进行说明。
首先,如图12B、图12C、图12D、图12E所示,第四亮度算出部1604分别算出图像600、图像610、图像620以及图像630中以规定尺寸设定在预先决定的规定位置的区域601中全部像素值的平均值Ia_ave、区域602中全部像素值的平均值Ib_ave、区域611中全部像素值的平均值Ic_ave、区域612中全部像素值的平均值Id_ave、区域621中全部像素值的平均值Ie_ave、区域622中全部像素值的平均值If_ave、区域631中全部像素值的平均值Ig_ave、区域632中全部像素值的平均值Ih_ave。
这里,如图12A所示,当将图像600、图像610、图像620以及图像630分别转换为从上空的假想视点V俯视的图像710、图像720、图像730、图像740时,区域601、区域602、区域611、区域612、区域621、区域622、区域631、区域632被分别转换成具有横A、纵B的宽度的矩形区域711、矩形区域712、矩形区域721、矩形区域722、矩形区域731、矩形区域732、矩形区域741、矩形区域742,这些矩形区域位于相邻的摄像机的拍摄范围重复的位置或者位于其附近。
这些区域601、区域602、区域611、区域612、区域621、区域622、区域631、区域632的位置能够通过预先计算而求出。预先计算出的区域的位置中,区域601与区域602的位置预先储存于第一亮度算出部1601,区域611与区域612的位置预先储存于第二亮度算出部1602,区域621与区域622的位置预先储存于第三亮度算出部1603,区域631与区域632的位置预先储存于第四亮度算出部1604。
此外,算出的各区域的全部像素值的平均值Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_ave中,Ia_ave、Ib_ave、Ic_ave、Ie_ave储存于第一解码器以及亮度修正部1412,Id_ave、Ig_ave储存于第二解码器以及亮度修正部1422,If_ave、Ih_ave储存于第三解码器以及亮度修正部1432。
并且,对于图像630,由于不进行亮度修正,因此在第四解码器以及亮度修正部1442中储存w=0。
在图15的S7生成的图像600、图像610、图像620、图像630通过坐标转换部1501进行坐标转换,被转换成从上空的假想视点V俯视的图像(图15的S12)。该坐标转换处理基于设置于车辆的各摄像机的几何学布局和摄像机的焦点距离、像素尺寸等摄像机参数以及假想视点的位置、观测范围等参数预先创建坐标转换表1502,并根据该坐标转换表1502来进行输入图像的坐标置换。
通过上述坐标转换,前摄像机1411拍摄的图像600转换成图像710,左侧摄像机1421拍摄的图像610转换成图像720,右侧摄像机1431拍摄的图像620转换成图像730,后摄像机1441拍摄的图像630转换成图像740。转换的结果是,通过图像合成部1503合成1个图像,并进而合成从上空的假想视点V俯视车辆的假想图像750,并生成合成图像700。此外,与后摄像机1441拍摄的图像630合成,制作图10A中示出的1个图像(图15的S13)。
合成的图像被D/A转换器1701再次构成分离信号(图15的S14),然后被编码器1702转换成复合信号(图15的S15),并显示于监视器1703(图15的S16)。
通过启动及完成指示检测部1800检测挡位是否处于后退位置(图15的S17、S18)。如果挡位处于后退位置以外的位置,则解除监视器1703的显示(图15的S20)。
如果确认挡位处于后退位置,在图15的S7中,再次进行图像输入。
左侧摄像机1421拍摄的图像通过第二解码器以及亮度修正部1422被从复合信号转换为分离信号(图15的S8),之后,基于储存于第二解码器以及亮度修正部1422的Ig_ave与Id_ave,进行亮度的修正(图15的。S9)
具体来说,当第二解码器以及亮度修正部1422中当前设定亮度值为B2、通过亮度修正而新设定的亮度值为B2’时,通过以下的(式7)进行亮度的修正。
B2’=B2+(Ig_ave-Id_ave)×w(式7)
此外,右侧摄像机1431拍摄的图像通过第三解码器以及亮度修正部1432被从复合信号转换为分离信号(图15的S8),之后,根据储存于第三解码器以及亮度修正部1432的Ih_ave与If_ave,进行亮度的修正(图15的S9)。
即,当第三解码器以及亮度修正部1432中当前设定亮度值为B3、通过亮度修正而新设定的亮度值为B3’时,通过以下的(式8)进行亮度的修正。
B3’=B3+(Ih_ave-If_ave)×w    (式8)
接着,进行前摄像机1411拍摄的图像的亮度修正,但是该修正基于从左侧摄像机1421以及右侧摄像机1431输入的图像的亮度修正结果来进行。即,前摄像机1411拍摄的图像的亮度修正在此处不进行,等待下个图像输入的时刻进行。
并且,对于后摄像机1441拍摄的图像,不进行亮度修正。即,当第四解码器以及亮度修正部1442中当前设定亮度值为B4、通过亮度修正新设定的亮度值为B4’时,B4’通过(式4)算出。
通过(式4)、(式7)以及(式8)修正亮度后的图像,被第一A/D转换器1413、第二A/D转换器1423、第三A/D转换器1433以及第四A/D转换器1443转换成数字信号,生成修正亮度后的新的图像600、图像610、图像620、图像630(图9的S10)。
对于像这样获得的、修正亮度后的图像600、图像610、图像620、图像630,再次通过图像亮度算出部1600算出Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_ave。
算出的Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_ave中,Ia_ave、Ib_ave、Ic_ave、Ie_ave储存于第一解码器以及亮度修正部1412,Id_ave、Ig_ave储存于第二解码器以及亮度修正部1422,If_ave、Ih_ave储存于第三解码器以及亮度修正部。1432
并且,对于从后摄像机输入的图像,不进行亮度修正,因此,在第四解码器以及亮度修正部1442中储存w=0。
接着,对亮度修正后的图像进行坐标转换处理、图像合成处理(图15的S12、S13),合成的图像在被D/A转换之后进行编码处理,转换成复合信号,并输出至监视器1103(图15的S14、S15、S16)。
在图15的S17、S18中,当确认挡位处于后退位置时,在图15的S7中,同时从前摄像机1411、左侧摄像机1421、右侧摄像机1431、后摄像机1441进行图像输入。
再次反复操作上述一系列处理,通过图像亮度算出部1600算出各图像中规定区域的亮度Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_ave的各值,如先前的说明,在这些值储存于规定的解码器以及亮度修正部,然后,根据后摄像机1441拍摄的图像的亮度,分别修正左侧摄像机1421拍摄的图像的亮度与右侧摄像机1431拍摄的图像的亮度。
此外,使用储存于第一解码器以及亮度修正部1421的Ia_ave、Ib_ave、Ic_ave、Ie_ave的值,进行前摄像机1411拍摄的图像的亮度修正。这里,第一解码器以及亮度修正部1412中当前设定亮度值为B1,通过亮度修正新设定的亮度值为B1’,通过(式9)进行亮度的修正。
B1’=B1+((Ic_ave+Ie_ave)/2-(Ia_ave+Ib_ave)/2)×w(式9)
以后,对亮度修正后的图像实施坐标转换、合成处理,以及D/A转换、编码处理,并将其结果输出至监视器1703。
当确认挡位处于后退位置时,进行下一个图像输入,之后,通过(式4)、(式7)、(式8)、(式9)实施亮度修正。以下,只要挡位进入后退位置,就反复进行上述说明的一系列的处理。
接着,对拍摄部选择部1900选择前摄像机1411的情况的动作进行说明。
首先,如图12B、图12C、图12D、图12E所示,第一亮度算出部1601分别算出图像600、图像610、图像620以及图像630中以规定尺寸设定在预先决定的规定位置的区域601、区域602、区域611、区域612、区域621、区域622、区域631、区域632中全部像素值的平均值Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_ave(图15的S11)。
这里,如图12A所示,当将图像600、图像610、图像620以及图像630转换为从上空的假想视点V俯视的图像710、图像720、图像730、图像740时,区域601、区域602、区域611、区域612、区域621、区域622、区域631、区域632被分别转换成具有横A、纵B的宽度的矩形区域711、矩形区域712、矩形区域721、矩形区域722、矩形区域731、矩形区域732、矩形区域741、矩形区域742,这些矩形区域位于相邻的摄像机的拍摄范围重复的位置或者位于其附近。
这些区域601、区域602、区域611、区域612、区域621、区域622、区域631、区域632的位置能够通过预先计算而求出。计算出的区域的位置中,区域601与区域602的位置储存于第一亮度算出部1601,区域611与区域612的位置储存于第二亮度算出部1602,区域621与区域622的位置储存于第三亮度算出部1603,区域631与区域632的位置预先储存于第四亮度算出部1604。
此外,算出的Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_ave的各值中,Id_ave、If_ave、Ig_ave、Ih_ave储存于第四解码器以及亮度修正部1442,Ia_ave、Ic_ave储存于第二解码器以及亮度修正部1422,Ib_ave、Ie_eve储存于第三解码器以及亮度修正部1432。
并且,对于前摄像机1411拍摄的图像,由于不进行亮度修正,因此在第一解码器以及亮度修正部1412中储存w=0。
在图15的S7生成的图像600、图像610、图像620、图像630通过坐标转换部1501进行坐标转换,被转换成从上空的假想视点V俯视的图像(图15的S12)。该坐标转换处理基于设置于车辆的各摄像机的几何学布局和摄像机的焦点距离、像素尺寸等摄像机参数以及假想视点的位置、观测范围等参数预先创建坐标转换表1502,并根据该坐标转换表1502来进行输入图像的坐标置换。
通过上述坐标转换,图像600被转换成图像710,图像610被转换成图像720,图像620被转换成图像730,图像630被转换成图像740。转换的结果是,通过图像合成部1503合成1个图像,然后合成从上空的假想视点V俯视车辆的假想图像750,并生成合成图像700。此外,与图像600合成,制作图10B中示出的1个图像(图15的S13)。
合成后的图像被D/A转换器1701再次构成分离信号(图15的S14),然后被编码器1702转换成复合信号(图15的S15),并显示于监视器1703(图15的S16)。
通过启动及完成指示检测部1800判断为选择前摄像机1411的状态且车速在规定值以下(图15的S17、S18)。当不符合条件时,解除监视器1703的显示(图15的S21)。
另一方面,当判断为符合条件时,在图15的S7中,再次进行图像输入。
在图15的S7中,再次进行图像输入之后,左侧摄像机1421拍摄的图像通过第二解码器以及亮度修正部1422从复合信号转换为分离信号(图15的S8),之后,基于储存于第二解码器以及亮度修正部1422的Ia_ave与Ic_ave,进行亮度的修正(图15的S9)。
具体来说,当第二解码器以及亮度修正部1422中当前设定亮度值为B2、通过亮度修正新设定的亮度值为B2’时,通过以下的(式10)进行亮度的修正。
B2’=B2+(Ia_ave-Ic_ave)×w  (式10)
此外,右侧摄像机1431拍摄的图像通过第三解码器以及亮度修正部1432从复合信号转换为分离信号(图15的S8),之后,根据储存于第三解码器以及亮度修正部1432的Ib_ave与Ie_ave进行亮度的修正(图15的S9)。
即,第三解码器以及亮度修正部1432中当前设定亮度值为B3,通过亮度修正新设定的亮度值为B3’,通过(式11)进行亮度的修正。
B3’=B3+(Ib_ave-Ie_ave)×w  (式11)
接着,进行后摄像机1441拍摄的图像的亮度修正,但是该修正基于从左侧摄像机1421以及右侧摄像机1431输入的图像的亮度修正结果来进行。即,后摄像机1441拍摄的图像的亮度修正在此处不进行,等待下次图像输入的时刻进行。
并且,对于前摄像机1411拍摄的图像,不进行亮度修正,因为,当第一解码器以及亮度修正部1412中当前设定亮度值为B 1、通过亮度修正新设定的亮度值为B1’时,B1’通过(式6)算出。
通过(式6)、(式10)以及(式11)修正亮度的图像,被第一A/D转换器1413、第二A/D转换器1423、第三A/D转换器1433以及第四A/D转换器1443转换成数字信号,生成修正亮度后的新的图像600、图像610、图像620、图像630(图9的S10)。
这样,对于修正亮度后的图像600、图像610、图像620、图像630,再次通过图像亮度算出部1600算出Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_ave。
算出的Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_ave中,Id_ave、If_ave、Ig_ave、Ih_ave储存于第四解码器以及亮度修正部1442,Ia_ave、Ic_ave储存于第二解码器以及亮度修正部1422,Ib_ave Ie_ave储存于第三解码器以及亮度修正部1432。
并且,对于图像600,不进行亮度修正,因此,在第一解码器以及亮度修正部1412中储存w=0。
接着,对亮度修正后的图像进行坐标转换处理、图像合成处理(图15的S12、S13),合成的图像在被D/A转换之后进行编码处理,转换成复合信号,并输出至监视器1103(图15的S14、S15、S16)。
在图15的S17、S18中,当确认为选择前摄像机1411的状态且车速为规定值以下时,在图15的S7中,同时从前摄像机1411、左侧摄像机1421、右侧摄像机1431、后摄像机1441进行图像输入。
再次反复进行上述一系列处理,通过图像亮度算出部1600算出各图像中规定区域的亮度Ia_ave、Ib_ave、Ic_ave、Id_ave、Ie_ave、If_ave、Ig_ave、Ih_ave的各值,在这些值储存于规定的解码器以及亮度修正部之后,基于前摄像机1411拍摄的图像的亮度,分别修正左侧摄像机1421拍摄的图像的亮度与右侧摄像机1431拍摄的图像的亮度。
此外,使用储存于第四解码器以及亮度修正部1441的Id_ave、If_ave、Ig_ave、Ih_ave的值,进行后摄像机1441拍摄的图像的亮度修正。这里,第四解码器以及亮度修正部1442中当前设定亮度值为B4,通过亮度修正新设定的亮度值为B4’,通过(式12)进行亮度修正。
B4’=B4+((Id_ave+If_ave)/2-(Ig_ave+Ih_ave)/2)×w(式12)
以后,对于亮度修正后的图像实施坐标转换及合成处理,以及D/A转换、编码处理,并将其结果输出至监视器1703。
当确认为选择前摄像机1411的状态且车速为规定值以下时,进行下一个图像输入,之后,通过(式6)、(式10)、(式11)、(式12)实施亮度修正。以下,只要车速为规定值以下,就反复进行上述说明的一系列处理,每次基于算出的最新的亮度值对图像的亮度进行修正。
根据这样构成的本实施方式的车辆用周边监视装置,由于能够进行使得拍摄范围部分重复的2个图像的重复拍摄范围或者其附近的亮度相同的亮度修正,并能够根据作为基准的图像亮度对拍摄了与该图像重复的范围的其他图像的亮度再次进行修正,因此,在将多个图像合成为1个图像显示的车辆用周边监视装置中,大幅降低图像的接缝的亮度不连续感,能够提供驾驶员容易观察的图像。
此外,在对拍摄部拍摄的图像进行解码处理时,由于通过亮度调整进行图像的亮度修正,因此能够在短时间进行亮度修正。
并且,上述本实施例的车辆用周边监视装置的作用相当于本发明的车辆用周边图像显示方法的实施方式。
并且,这里,虽然在实施例3中构成为具有从多个拍摄部1410中选择1个拍摄部的拍摄部选择部1900,但是该部分的构成并不限于此,也可以选择1个预先决定的某个特定的拍摄部。
相关申请的交叉参考
本申请基于并要求于2009年7月29日向日本专利局提交的日本专利申请2009-176308号的优先权,其全部内容结合于此作为参考。

Claims (8)

1.一种车辆用周边监视装置,其特征在于,包括:
多个拍摄部,设置于车辆上并拍摄车辆周边;
图像亮度算出部,从所述多个拍摄部中任一个拍摄部所拍摄的图像中算出与所述一个拍摄部所拍摄的图像的亮度相对应的值;
亮度修正部,根据通过所述图像亮度算出部算出的值对所述多个拍摄部所获得的图像的亮度进行修正;
图像转换部,对通过所述亮度修正部进行了亮度修正的图像实施规定的坐标转换处理;
图像合成部,将实施了所述坐标转换处理的多个图像合成为1个图像;以及
图像显示部,同时显示通过所述图像合成部合成的图像与所述任一个拍摄部所拍摄的图像。
2.根据权利要求1所述的车辆用周边监视装置,其特征在于,包括:
行进方向判断部,用于判断车辆的行进方向;以及
拍摄部选择部,根据所述行进方向判断部的判断结果,从多个拍摄部选择一个拍摄部,
其中,所述图像亮度算出部从所述拍摄部选择部选择的一个拍摄部所拍摄的图像中算出与图像的亮度相对应的值,
所述图像显示部同时显示通过所述图像合成部合成的图像与所述拍摄部选择部所选择的一个拍摄部所拍摄的图像。
3.根据权利要求2所述的车辆用周边监视装置,其特征在于,
所述拍摄部选择部从被设置成其中的至少两个拍摄部所拍摄的范围部分重复的拍摄三个以上方向的多个拍摄部中选择第一拍摄部,
所述图像亮度算出部算出所选择的所述第一拍摄部所拍摄的图像以及与所选择的所述第一拍摄部具有第一重复拍摄范围的第二拍摄部所拍摄的图像的、对应于所述第一重复拍摄范围或者所述第一重复拍摄范围附近的亮度的值,
所述亮度修正部根据算出的所述值,对所述第二拍摄部所拍摄的图像进行亮度修正,
所述图像亮度算出部进一步根据所述亮度修正的结果,从进行了所述亮度修正的图像以及与进行了所述亮度修正的图像具有第二重复拍摄范围的第三拍摄部所拍摄的图像中算出对应于所述第二重复拍摄范围或者所述第二重复拍摄范围附近的亮度的其他值,
所述亮度修正部进一步根据算出的所述其他值对所述第三拍摄部所拍摄的图像进行亮度修正,
之后,所述图像亮度算出部与所述亮度修正部同样依次重复进行所述亮度的算出与所述亮度的修正。
4.根据权利要求1所述的车辆用周边监视装置,其特征在于,
所述图像亮度算出部算出被设置成其中的至少两个拍摄部所拍摄的范围部分重复的拍摄三个以上方向的多个拍摄部中的第一拍摄部所拍摄的图像以及与所述第一拍摄部具有第一重复拍摄范围的第二拍摄部所拍摄的图像的、与所述第一重复拍摄范围或者所述第一重复拍摄范围附近的亮度相对应的值,
所述亮度修正部根据算出的所述值,对所述第二拍摄部所拍摄的图像进行亮度修正,
所述图像亮度算出部进一步根据所述亮度修正的结果,从进行了所述亮度修正的图像以及与进行了所述亮度修正的图像具有第二重复拍摄范围的第三拍摄部所拍摄的图像中算出与所述第二重复拍摄范围或者所述第二重复拍摄范围附近的亮度相对应的其他值,所述亮度修正部进一步根据算出的所述其他值对所述第三拍摄部所拍摄的图像进行亮度修正,
之后,所述图像亮度算出部与所述亮度修正部同样依次重复进行所述亮度的算出与所述亮度的修正。
5.一种车辆用周边图像显示方法,用于将合成多个拍摄部所拍摄的车辆周边的多个图像而得的图像与所述多个拍摄部中的一个所拍摄的图像显示在一个显示画面,所述车辆用周边图像显示方法的特征在于,
从所述多个图像中算出与一个图像的亮度相对应的值,
根据算出的所述值,对所述多个图像进行亮度修正,
对进行了所述亮度修正的图像实施规定的坐标转换处理,
将实施了所述坐标转换的多个图像合成为一个图像,
同时显示合成后的所述图像与所述一个图像。
6.根据权利要求5所述的车辆用周边图像显示方法,其特征在于,判断车辆的行进方向,
根据所述行进方向的判断结果,从拍摄车辆周边而得的多个图像中选择一个图像,
从选择的所述一个图像中算出对应于所述一个图像的亮度的值,
根据算出的所述值,对所述多个图像进行亮度修正,
对进行了所述亮度修正的图像实施规定的坐标转换处理,
将实施了所述坐标转换处理的多个图像合成为一个图像,
同时显示合成的所述图像与所选择的所述一个图像。
7.根据权利要求6所述的车辆用周边图像显示方法,其特征在于,
从被设置成其中的至少两个图像的拍摄范围部分重复的拍摄三个以上方向而得的多个图像中选择第一图像,
算出选择的所述第一图像以及与选择的所述第一图像具有第一重复拍摄范围的第二图像的、与所述第一重复拍摄范围或者所述第一重复拍摄范围附近的亮度相对应的值,
根据算出的所述值对所述第二图像进行亮度修正,
根据所述亮度修正的结果,从进行了所述亮度修正的图像以及与进行了所述亮度修正的图像具有第二重复拍摄范围的第三图像中算出与所述第二重复拍摄范围或者所述第二重复拍摄范围附近的亮度相对应的其他值,
根据算出的所述其他值,对所述第三图像进行亮度修正,
之后,同样依次重复进行所述亮度的算出与所述亮度的修正。
8.根据权利要求5所述的车辆用周边图像显示方法,其特征在于,
算出被设置成其中的至少两个图像的拍摄范围部分重复的拍摄三个以上方向而得的多个图像中的第一图像以及拍摄与所述第一图像进行第一重复的拍摄范围而得的第二图像的、与所述第一重复拍摄范围或者所述第一重复拍摄范围附近的亮度对应的值,
根据算出的所述值,对其他的所述图像进行亮度修正,
根据所述亮度修正的结果,从进行了所述亮度修正的图像以及与进行了所述亮度修正的图像具有第二重复拍摄范围的第三图像中算出与所述第二重复拍摄范围或者所述第二重复拍摄范围附近的亮度对应的其他值,
根据算出的所述其他值,对所述第三图像进行亮度修正,
之后,同样依次重复进行所述亮度的算出与所述亮度的修正。
CN2010800040723A 2009-07-29 2010-07-27 车辆用周边监视装置以及车辆用周边图像显示方法 Active CN102273201B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009176308A JP5108840B2 (ja) 2009-07-29 2009-07-29 車両用周辺監視装置および車両用周辺画像表示方法
JP2009-176308 2009-07-29
PCT/JP2010/062571 WO2011013642A1 (ja) 2009-07-29 2010-07-27 車両用周辺監視装置および車両用周辺画像表示方法

Publications (2)

Publication Number Publication Date
CN102273201A true CN102273201A (zh) 2011-12-07
CN102273201B CN102273201B (zh) 2013-11-13

Family

ID=43529297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800040723A Active CN102273201B (zh) 2009-07-29 2010-07-27 车辆用周边监视装置以及车辆用周边图像显示方法

Country Status (5)

Country Link
US (1) US9247217B2 (zh)
EP (1) EP2410740B1 (zh)
JP (1) JP5108840B2 (zh)
CN (1) CN102273201B (zh)
WO (1) WO2011013642A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854260A (zh) * 2012-12-04 2014-06-11 爱信精机株式会社 车辆的控制装置及控制方法
CN105196917A (zh) * 2014-06-13 2015-12-30 现代摩比斯株式会社 全景式监控影像装置及其工作方法
CN105981367A (zh) * 2014-02-11 2016-09-28 罗伯特·博世有限公司 对来自多摄像机系统的视频的亮度和颜色匹配
CN107948508A (zh) * 2017-11-24 2018-04-20 北京图森未来科技有限公司 一种车载端图像采集系统及方法
CN110312631A (zh) * 2017-02-22 2019-10-08 株式会社电装 车辆用显示装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5362639B2 (ja) * 2010-04-12 2013-12-11 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5704984B2 (ja) 2011-03-22 2015-04-22 キヤノン株式会社 撮像装置
US11021136B1 (en) * 2011-08-29 2021-06-01 The Boeing Company Methods and systems for providing a remote virtual view
JP5750344B2 (ja) * 2011-09-16 2015-07-22 日立建機株式会社 作業機の周囲監視装置
US8902313B2 (en) * 2011-11-02 2014-12-02 Robert Bosch Gmbh Automatic image equalization for surround-view video camera systems
EP2629506A1 (en) * 2012-02-15 2013-08-21 Harman Becker Automotive Systems GmbH Two-step brightness adjustment in around-view systems
WO2014024553A1 (ja) 2012-08-10 2014-02-13 三菱電機株式会社 画像処理装置、表示装置、画像処理方法、表示方法、および画像処理プログラム
JP6020036B2 (ja) * 2012-10-24 2016-11-02 富士ゼロックス株式会社 情報処理装置、情報処理システム、およびプログラム
KR101355076B1 (ko) * 2013-02-18 2014-01-27 주식회사 만도 차량 조도 환경 인식 장치 및 그 방법
EP2846532A1 (en) 2013-09-06 2015-03-11 Application Solutions (Electronics and Vision) Limited System, device and method for displaying a harmonised combined image
JP6277652B2 (ja) * 2013-09-30 2018-02-14 株式会社デンソー 車両周辺画像表示装置及びカメラの調整方法
JP6305430B2 (ja) * 2013-11-27 2018-04-04 京セラ株式会社 撮像設定変更装置、撮像システム、および撮像設定変更方法
JP6330383B2 (ja) * 2014-03-12 2018-05-30 株式会社デンソー 合成画像生成装置、および合成画像生成プログラム
JP6467787B2 (ja) 2014-05-27 2019-02-13 株式会社リコー 画像処理システム、撮像装置、画像処理方法およびプログラム
JP6361382B2 (ja) * 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
JP6600936B2 (ja) 2014-11-06 2019-11-06 株式会社リコー 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体
JP6597518B2 (ja) * 2016-08-15 2019-10-30 株式会社デンソー 情報処理装置及びプログラム
US10332292B1 (en) * 2017-01-17 2019-06-25 Zoox, Inc. Vision augmentation for supplementing a person's view
JP6730612B2 (ja) * 2017-02-27 2020-07-29 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム
KR101909392B1 (ko) * 2017-08-24 2018-10-17 주식회사 켐트로닉스 서라운드 뷰 모니터링 시스템
EP3573025A1 (en) * 2018-05-24 2019-11-27 Honda Research Institute Europe GmbH Method and system for automatically generating an appealing visual based on an original visual captured by the vehicle mounted camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324235A (ja) * 2001-04-24 2002-11-08 Matsushita Electric Ind Co Ltd 車載カメラの画像合成表示方法及びその装置
CN101048296A (zh) * 2004-10-28 2007-10-03 爱信精机株式会社 移动体周边监视装置
JP2007325074A (ja) * 2006-06-02 2007-12-13 Nissan Motor Co Ltd 画像処理システム及び画像処理方法
JP2009141456A (ja) * 2007-12-04 2009-06-25 Sanyo Electric Co Ltd 画像処理装置、運転支援システム及び車両
JP2009152966A (ja) * 2007-12-21 2009-07-09 Alpine Electronics Inc 画像表示システム及びカメラ出力制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1150252B1 (en) * 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Synthesis of image from a plurality of camera views
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP3722486B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP4976685B2 (ja) 2005-11-21 2012-07-18 日産自動車株式会社 画像処理装置
WO2007135856A1 (ja) * 2006-05-19 2007-11-29 Pioneer Corporation 撮影制御装置、撮影制御方法、撮影制御プログラム、および記録媒体
JP4325642B2 (ja) * 2006-05-31 2009-09-02 ソニー株式会社 移動体カメラシステム
JP5235876B2 (ja) * 2006-06-28 2013-07-10 ジョンソン コントロールズ テクノロジー カンパニー 車両ビジョンシステム
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
US8416300B2 (en) * 2009-05-20 2013-04-09 International Business Machines Corporation Traffic system for enhancing driver visibility

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324235A (ja) * 2001-04-24 2002-11-08 Matsushita Electric Ind Co Ltd 車載カメラの画像合成表示方法及びその装置
CN101048296A (zh) * 2004-10-28 2007-10-03 爱信精机株式会社 移动体周边监视装置
JP2007325074A (ja) * 2006-06-02 2007-12-13 Nissan Motor Co Ltd 画像処理システム及び画像処理方法
JP2009141456A (ja) * 2007-12-04 2009-06-25 Sanyo Electric Co Ltd 画像処理装置、運転支援システム及び車両
JP2009152966A (ja) * 2007-12-21 2009-07-09 Alpine Electronics Inc 画像表示システム及びカメラ出力制御方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854260A (zh) * 2012-12-04 2014-06-11 爱信精机株式会社 车辆的控制装置及控制方法
CN103854260B (zh) * 2012-12-04 2019-03-15 爱信精机株式会社 车辆的控制装置及控制方法
CN105981367A (zh) * 2014-02-11 2016-09-28 罗伯特·博世有限公司 对来自多摄像机系统的视频的亮度和颜色匹配
US10166921B2 (en) 2014-02-11 2019-01-01 Robert Bosch Gmbh Brightness and color matching video from multiple-camera system
CN105196917A (zh) * 2014-06-13 2015-12-30 现代摩比斯株式会社 全景式监控影像装置及其工作方法
US9669761B2 (en) 2014-06-13 2017-06-06 Hyundai Mobis Co., Ltd. Around view monitoring apparatus and method thereof
CN105196917B (zh) * 2014-06-13 2018-03-20 现代摩比斯株式会社 全景式监控影像装置及其工作方法
CN110312631A (zh) * 2017-02-22 2019-10-08 株式会社电装 车辆用显示装置
CN110312631B (zh) * 2017-02-22 2022-05-10 株式会社电装 车辆用显示装置
CN107948508A (zh) * 2017-11-24 2018-04-20 北京图森未来科技有限公司 一种车载端图像采集系统及方法
US11155207B2 (en) 2017-11-24 2021-10-26 Beijing Tusen Zhitu Technology Co., Ltd. System and method for vehicle image collection
US11702007B2 (en) 2017-11-24 2023-07-18 Beijing Tusen Zhitu Technology Co., Ltd. System and method for vehicle image collection

Also Published As

Publication number Publication date
EP2410740B1 (en) 2020-05-06
CN102273201B (zh) 2013-11-13
US20120026333A1 (en) 2012-02-02
JP5108840B2 (ja) 2012-12-26
US9247217B2 (en) 2016-01-26
EP2410740A4 (en) 2015-05-27
WO2011013642A1 (ja) 2011-02-03
EP2410740A1 (en) 2012-01-25
JP2011030141A (ja) 2011-02-10

Similar Documents

Publication Publication Date Title
CN102273201B (zh) 车辆用周边监视装置以及车辆用周边图像显示方法
US7139412B2 (en) Image synthesis display method and apparatus for vehicle camera
US9669761B2 (en) Around view monitoring apparatus and method thereof
US10623656B2 (en) Imaging device and flicker detection method
US11516451B2 (en) Imaging apparatus, imaging processing method, image processing device and imaging processing system
US9232148B2 (en) Image capture apparatus and zooming method
CN103986874A (zh) 一种图像获取装置、图像获取方法及终端
US20110090341A1 (en) Intruding object detection system and controlling method thereof
CN103098456A (zh) 图像处理单元、图像处理方法和图像处理程序
JP6141084B2 (ja) 撮像装置
US20130278754A1 (en) Method and system for compensating for image blur by moving image sensor
WO2012137696A1 (ja) 車両用画像処理装置
JP2016039598A (ja) 画像処理装置、画像処理方法及びプログラム
CN109584305A (zh) 全景系统标定方法、装置及车辆
CN110798655A (zh) 消除移动载具a柱盲区的行车图像系统及其图像处理方法
JP2011250376A (ja) 車両周辺映像表示装置
TWI552907B (zh) 行車安全輔助系統和方法
JP5240517B2 (ja) 車載カメラの校正装置
JP6391356B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6045280B2 (ja) 撮像装置
JP4846627B2 (ja) 表示制御装置
JP6327144B2 (ja) 画像処理システム及び画像処理装置
JP2008103825A (ja) 表示制御装置
CN105830433B (zh) 图像处理设备
JP2008141648A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant