CN101611632A - 车辆用周边监视装置及车辆用周边监视方法 - Google Patents

车辆用周边监视装置及车辆用周边监视方法 Download PDF

Info

Publication number
CN101611632A
CN101611632A CNA2008800048982A CN200880004898A CN101611632A CN 101611632 A CN101611632 A CN 101611632A CN A2008800048982 A CNA2008800048982 A CN A2008800048982A CN 200880004898 A CN200880004898 A CN 200880004898A CN 101611632 A CN101611632 A CN 101611632A
Authority
CN
China
Prior art keywords
image
image unit
shooting
regularly
generates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008800048982A
Other languages
English (en)
Other versions
CN101611632B (zh
Inventor
佐藤浩司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN101611632A publication Critical patent/CN101611632A/zh
Application granted granted Critical
Publication of CN101611632B publication Critical patent/CN101611632B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Abstract

本发明提供一种车辆用周边监视装置，其特征在于，具备：第一摄像单元，其按预定周期对车辆外部的第一摄像区域进行摄像；第二摄像单元，其按预定周期对车辆外部的与所述第一摄像区域的至少一部分重叠的第二摄像区域进行摄像；以及信息生成单元，其根据所述第一摄像单元和所述第二摄像单元这两个摄像单元的摄像图像，生成所述第一摄像单元的摄像定时与所述第二摄像单元的摄像定时之间的偏差已被修正的预定信息。本发明能够补偿两个以上的摄像单元的摄像定时的不同步，能够生成高精度的信息。

Description

车辆用周边监视装置及车辆用周边监视方法
技术领域
本发明涉及使用两个以上的摄像单元的车辆用周边监视装置及车辆用周边监视方法。
背景技术
以往以来，已知一种车辆周边监视装置，具备：配置在车辆的侧方并拍摄第一图像的第一摄像单元；配置在比所述第一摄像单元更靠前方并拍摄第二图像的第二摄像单元；以及将所述第一图像和所述第二图像合成来显示的显示单元(例如，参照专利文献1)。
专利文献1：特开2006-237969号公报
发明内容
然而，在上述专利文献1所记载的车辆周边监视装置中，在第一摄像单元与第二摄像单元的摄像定时不同步的情况下，会对时间轴上偏差的两个图像进行合成，因此存在合成图像的精度、可靠性降低的可能性。特别是在车辆中，例如两个摄像单元的摄像定时的1/30(sec)偏差，相当于车速108km/h下的车辆的约1.0m的移动距离，所以对合成图像的可靠性产生的影响较大。而且，该问题不只存在于上述专利文献1那样的对两个摄像机的摄像图像进行合成显示的结构，也同样地存在于根据两个摄像机的摄像图像进行目标识别、取得目标的三维信息或距离信息这样的结构。即，在相关结构中，两个以上的摄像单元的摄像定时的不同步有可能会导致超出容许程度的目标的确认误差、测距误差。
因此，本发明的目的在于提供一种能够补偿两个以上的摄像单元的摄像定时的不同步、生成高精度的信息的车辆用周边监视装置及车辆用周边监视方法。
为了实现上述目的，第一发明的车辆用周边监视装置的特征在于，具备：
第一摄像单元，其按预定周期对车辆外部的第一摄像区域进行摄像；
第二摄像单元，其按预定周期对车辆外部的与所述第一摄像区域的至少一部分重叠的第二摄像区域进行摄像；以及
信息生成单元，其根据所述第一摄像单元和所述第二摄像单元这两个摄像单元的摄像图像，生成所述第一摄像单元的摄像定时与所述第二摄像单元的摄像定时之间的偏差已被修正的预定信息。
第二发明的特征在于，在第一发明的车辆用周边监视装置中，
所述信息生成单元根据所述第一摄像单元的摄像定时与第二摄像单元的摄像定时之间的偏差，修正所述第一摄像单元和所述第二摄像单元的其中一个摄像单元的摄像图像，使用该修正后的图像和另一个摄像单元的摄像图像，生成所述预定信息。
第三发明的特征在于，在第一发明的车辆用周边监视装置中，
所述预定信息是关于车辆外部的目标的距离的信息。
第四发明的特征在于，在第一发明的车辆用周边监视装置中，
所述预定信息，是表示车辆外部的环境的图像，是对从所述第一摄像单元和所述第二摄像单元这两个摄像单元得到的图像进行合成而生成的。
第五发明的车辆用周边监视装置的特征在于，具备：
第一摄像装置，其按第一摄像定时对车辆外部的第一摄像区域进行摄像；
第二摄像装置，其按与所述第一摄像定时不同的第二摄像定时，对车辆外部的与所述第一摄像区域的至少一部分重叠的第二摄像区域进行摄像；以及
信息处理装置，其根据所述第一摄像装置和所述第二摄像装置这两个摄像装置的摄像图像，生成所述第一摄像定时与所述第二摄像定时之间的偏差已被修正的预定信息。
第六发明的特征在于，在第五发明的车辆用周边监视装置中，
所述第一摄像定时与第二摄像定时之间的偏差，使用利用了帧间的相关关系的插值技术来修正。
第七发明涉及车辆用周边监视方法，其特征在于，包括：
使用第一摄像单元，按第一定时对车辆的外部进行摄像的步骤；
使用第二摄像单元，按晚于或早于第一定时的第二定时对车辆的外部进行摄像的步骤；
根据所述第一定时与所述第二定时的偏差来修正所述第一摄像单元的摄像图像的修正图像生成步骤；以及
使用由所述修正图像生成步骤得到的修正图像和所述第二摄像单元的摄像图像来生成预定信息的信息生成步骤。
第八发明的特征在于，在第七发明的车辆用周边监视方法中，
所述信息生成步骤，包括使用由所述修正图像生成步骤得到的修正图像和所述第二摄像单元的摄像图像来生成关于车辆外部的目标的距离的信息。
第九发明的特征在于，在第七发明的车辆用周边监视方法中，
所述信息生成步骤，包括合成由所述修正图像生成步骤得到的修正图像和所述第二摄像单元的摄像图像来生成能够显示于显示器的显示用合成图像。
根据本发明，得到一种能够补偿两个以上的摄像单元的摄像定时的不同步、生成高精度的信息的车辆用周边监视装置及车辆用周边监视方法。
附图说明
图1是表示本发明的车辆用周边监视装置的实施例1的系统结构图。
图2是概略表示摄像机10的设置方式及其摄像区域的一例的俯视图。
图3是概略表示显示于显示器20上的显示图像的一例的图。
图4是表示由各摄像机10FR、10SR的摄像定时的不同步引起的目标的摄像位置的不同的图，是示意表示目标相对于车辆的相对运动的俯视图。
图5是表示各摄像机10(10FR、10SL、10SR、10RR)的摄像定时的一例的图。
图6是表示由图像处理装置30实现的不同步补偿功能的基本处理的流程的流程图。
图7是图6的不同步补偿功能的说明图。
图8是表示本发明的车辆用周边监视装置的实施例2的系统结构图。
图9是表示实施例2的摄像机40的设置方式及其摄像区域的一例的俯视图。
图10是表示各摄像机41、42的摄像定时的一例的图。
图11是表示由图像处理装置60实现的不同步补偿功能的基本处理的流程的流程图。
符号说明
10、40：摄像机
20：显示器
30、60：图像处理装置
50：预碰撞(per crash)ECU
具体实施方式
以下，参照附图对用于实施本发明的优选方式进行说明。
实施例1
图1是表示本发明的车辆用周边监视装置的实施例1的系统结构图。本实施例的车辆用周边监视装置具备图像处理装置30。图像处理装置30基于从搭载于车辆的摄像机10得到的摄像图像，经由搭载于车辆的显示器20，显示车辆周边的图像(视频)。显示器20例如可以是液晶显示器，被设置在乘客容易观看的位置(例如仪表板、仪表附近)。
图2是表示摄像机10的设置方式及其摄像区域的一例的俯视图。摄像机10如图2所示那样，设置在车辆的前部、两侧部以及后部的共四个位置。各摄像机10(10FR、10SL、10SR、10RR)通过CCD(charge-coupleddevice)、CMOS(complementary metal oxide semiconductor)等摄像元件取得包括路面的周围图像。各摄像机10可以是具备鱼眼镜头的广角摄像机。各摄像机10(10FR、10SL、10SR、10RR)可以以预定的帧周期(例如30fps)的流形式对图像处理装置30进行供给。
前方摄像机10FR如图2所概略表示的那样，以取得包括车辆前方的路面的周围图像的方式被设置在车体的前部(例如缓冲器(bumper)附近)。左侧方摄像机10SL如图2所概略表示的那样，以取得包括车辆左侧方的路面的周围图像的方式被设置于左侧的车门后视镜上。右侧方摄像机10SR如图2所概略表示的那样，以取得包括车辆右侧方的路面的周围图像的方式被设置于右侧的车门后视镜上。后方摄像机10RR如图2所概略表示那样，以取得包括车辆后方的路面的周围图像的方式被设置在车体的后部(例如后部缓冲器附近、后门)。
图2中概略示出了各摄像机10的摄像区域的一例。在图2所示的例子中，各摄像机10是广角摄像机，各摄像机10的摄像区域以大致扇形来表示。在图2中，前方摄像机10FR的摄像区域Rf和右侧方摄像机10SR的摄像区域Rr由阴影来强调表示。这些各摄像区域如图2所示，可以具有互相重叠的区域(例如图2的Rrf)。这样在图2所示的例子中，车辆的全部周围的风景由四个摄像机10FR、10SL、10SR、10RR来协同拍摄。
图3是概略表示显示于显示器20上的显示图像的一例的图。显示图像是对经由四个摄像机10FR、10SL、10SR、10RR得到的图像进行合成而生成的。在图3所示的例子中，在显示图像的中央区域嵌入有模仿车辆的图像(车辆图像)。所涉及的车辆图像可以利用预先作成并存储在预定的存储器中的图像。显示图像是通过将车辆图像配置在中央区域、并将从各摄像机10得到的图像配置在其他区域而得到的。从各摄像机10得到的图像经过适当的预处理(例如坐标变换、失真修正、远近修正等)而成为从上空俯瞰路面的俯瞰(鸟瞰)显示用的图像后，显示在显示器20上(图中的阴影部分表示俯瞰路面或路上物体的图像部分)。由此，乘客能够以车辆为中心涵盖全方位来把握路面的状态或路上物体的状态(例如，各种道路区划线、各种障碍物的位置等)。
然而，在对上述那样的两个以上的摄像机10FR、10SR等的摄像图像进行合成来生成显示图像的结构中，在各摄像机10(10FR、10SL、10SR、10RR)的摄像定时不同步的情况下，会对时间上偏差的图像进行合成，因此会产生各图像的边界部的不连续、同一个目标的多重显示等问题。例如，如图4所示，假设如下情况：车辆外部的目标在第i帧周期的摄像机10FR的摄像定时tFR(i)进入摄像机10FR的摄像区域，在第i帧周期的摄像机10SR的摄像定时tSR(i)进入摄像机10FR、10SR的重叠区域Rrf。摄像机10SR的摄像定时tSR(i)由于同步偏差而成为迟于同帧周期的摄像机10FR的摄像定时tFR(i)的定时。在该情况下，当仅对以同一帧周期由摄像机10FR和摄像机10SR拍摄到的各自的图像进行合成时，一个目标会被显示成两个(同一目标的多重显示)。在这种发生了不同步的情况下，有时在技术上难以修正摄像定时并维持同步。
因此，在本实施例中，容许这种不同步，同时赋予图像处理装置30以不同步补偿功能，由此消除在各摄像机10的摄像定时不同步的情况下产生的问题。以下，对该不同步补偿功能进行详细说明。
图5是表示各摄像机10(10FR、10SL、10SR、10RR)的摄像定时的一例的图。在图5所示的例子中，各摄像机10(10FR、10SL、10SR、10RR)为同样的30fps的帧速率，彼此是不同步的。在该情况下，从是30fps的帧速率来看，最大可能产生1/30秒的偏差。
图6是表示由图像处理装置30实现的不同步补偿功能的基本处理的流程的流程图。以下，对各摄像机10(10FR、10SL、10SR、10RR)之中以摄像机10SR的摄像定时为基准来生成合成图像的情况进行说明。其中，作为基准的摄像机是任意的。图6所示的处理例程按摄像机10SR的摄像定时重复执行。
图7是图6的不同步补偿功能的说明图，图7(A)是示意性表示帧周期(i)中的摄像机10FR的摄像图像的图，图7(B)是示意性表示通过后述的步骤204的修正处理得到的摄像机10FR的修正图像的图，图7(C)是示意性表示帧周期(i)中的摄像机10SR的摄像图像的图。在图7所示的例子中，对图4所示那样的目标进行摄像，在图7的各图中，摄像图像中的重叠区域Rrf的部分由虚线指示。
参照图6，在步骤202中，算出同一帧周期(i)中的各摄像机10(10FR、10SL、10SR、10RR)的摄像定时的偏差。在此，以摄像机10SR的摄像定时为基准来算出偏差。例如在图5所示的例子中，摄像机10FR的同步偏差量ΔtFR取为ΔtFR＝tSR(i)-tFR(i)来算出。并且，可以为：各摄像机10(10FR、10SL、10SR、10RR)的摄像定时(tSR(i)等)能够使用时间戳等来检测。或者，同步偏差量Δt可以通过评价各摄像图像间的重叠区域的相关性来算出。
在步骤204中，根据上述的步骤202中算出的同步偏差量来修正帧周期(i)中的摄像机10FR、10SL以及10RR的摄像图像。例如，关于摄像机10FR的摄像图像，本次的帧周期(i)中的摄像机10FR的摄像图像I(i)(参照图7(A))，被修正为对应于在与摄像机10SR的摄像定时tSR(i)同步拍摄的情况下得到的摄像图像(参照图7(B))。在该修正中使用例如利用了帧间的相关关系(相互相关函数)的插值技术。例如，该修正可以由根据MPEG的I(Intra)帧(在本例的情况下，在时刻tFR(i)得到的摄像图像I(i))导出P(Predictive)帧(在本例的情况下，从时刻tFR(i)开始时间ΔtFR后的时刻tSR(i)下的假想帧)的方法来实现。在MPEG的帧间预测中可以使用考虑到对于帧周期间隔的同步偏差量Δt的关系的移动补偿技术(对目标的移动向量进行推定/补偿的技术)。此时，例如也可以考虑能够从车轮速度传感器导出的当前的车速。需说明的是，这样得到的修正图像(参照图7(B))在与帧周期(i)中的摄像机10SR的摄像图像(参照图7(C))之间对重叠区域Rrf的像素信息(例如亮度信号、彩色信号)的相关性进行评价，由此可以得到进一步的修正。
在步骤206中，使用对于上述的步骤204中得到的摄像机10FR、10SL及10RR的各摄像图像的各修正图像、和摄像机10SR的摄像图像，生成显示图像(参照图3)。此时，对于各摄像机10的摄像区域重叠的区域(例如图2的Rrf)，可以选择任意一方的图像来生成关于该重叠区域的最终的显示图像，或者也可以协同使用双方的图像来生成关于该重叠区域的最终的显示图像。例如，对于摄像机10SR与摄像机10FR的重叠区域Rrf，可以使用图7(B)所示的摄像机10FR的修正图像的重叠区域Rrf的部分、图7(C)所示的摄像机10SR的摄像图像重叠区域Rrf的部分中的任意一方来进行描画，也可以协同使用双方来进行描画。
如此，根据本实施例，即使在各摄像机10(10FR、10SL、10SR、10RR)的摄像定时不同步的情况下，因为使用修正了摄像定时的偏差的修正图像来生成显示图像，所以也能够消除在上述的各摄像机10的摄像定时不同步的情况下产生的问题。即，能够生成没有边界的不连续、没有同一目标的多重显示等的高精度(无不适感)的显示图像。
在本实施例中，如图6所示，以同一帧周期中时间上最后的摄像定时的摄像机(本例的情况下为摄像机10SR)作为基准来修正其他的摄像机(本例的情况下为摄像机10FR、10SL以及10RR)的摄像图像，但也可以以其他的摄像机(本例的情况下为摄像机10FR、10SL以及10RR)作为基准。例如，在以摄像机10FR的摄像定时作为基准的情况下，摄像机10SL的摄像图像与上述同样地，可以由导出延迟同步偏差量的P帧的方法(前向预测)来进行修正，另一方面，摄像机10SR及摄像机10RR的摄像图像可以由导出提前同步偏差量的P帧的方法(后向预测)来进行修正，或者，可以使用前帧周期的摄像图像和本次帧周期的摄像图像，以导出B(Bidirectional predictive)帧的方法(双向预测)来进行修正。
另外，在本实施例中，也能够将不同帧周期的摄像图像合成来显示。例如，可以为：在图5所示的同步偏差的情况下，在取得了摄像机10SR的摄像图像的时刻，以导出提前同步偏差量的P帧的方法(后向预测或者双向预测)来修正下一帧周期的摄像机10FR、10SL以及10RR的摄像图像，将该结果得到的修正图像和摄像机10SR的摄像图像合成来表示。
实施例2
图8是表示本发明的车辆用周边监视装置的实施例2的系统结构图。本实施例的车辆用周边监视装置具备图像处理装置60。图像处理装置60基于从搭载于车辆的摄像机40得到的摄像图像来对摄像图像内的目标进行图像识别，并生成关于车辆外部的目标的距离的信息(以下，称为“距离信息”)。所谓目标可以是其他车辆、步行者、建筑物、道路标志(包括图标)等地上物。距离信息被提供给预碰撞ECU50，被用于预碰撞控制。距离信息还可以被用作代替侦测声纳的测距数据，也可以用于车间距离控制、车道保持辅助控制等那样的其他控制。预碰撞控制包括：在与障碍物碰撞前，发出警报、提高安全带的张力、将缓冲器的高度驱动到适当的高度、产生制动力等控制。
图9是表示摄像机40的设置方式及其摄像区域的一例的俯视图。摄像机40如图9所示是包括分开配置在车辆的横向上的两个摄像机41、42的立体摄像机。各摄像机41、42由CCD等摄像元件取得车辆前方的周围图像。摄像机40可以配置在例如车室内的挡风板玻璃的上沿附近。各摄像机41、42可以是按预定的帧周期(例如30fps)的流形式向图像处理装置60进行提供的装置。
图9中概略表示了各摄像机41、42的摄像区域的一例。在图9所示的例子中，各摄像机41、42的摄像区域以大致扇形表示。各摄像机41、42的摄像区域如图9所示那样，具有互相重叠的区域(例如图9的Rrf)。如此在图9所示的例子中，车辆的前方的风景由两个摄像机41、42具有视差地拍摄。
图10是表示各摄像机41、42的摄像定时的一例的图。在图5所示的例子中，各摄像机41、42为同样的30fps的帧速率，彼此不同步。在该情况下，从为30fps的帧速率来看，最大会产生1/30秒的偏差。
图11是表示由图像处理装置60实现的不同步补偿功能的基本处理的流程的流程图。以下，对各摄像机41、42之中以左侧摄像机42的摄像定时为基准来生成距离信息的情况进行说明。其中，作为基准的摄像机是任意的。图11所示的处理例程按左侧摄像机42的摄像定时重复执行。
在步骤302中，算出同一帧周期(i)中的各摄像机41、42的摄像定时的偏差。例如在图10所示的例子中，摄像机10FR的同步偏差量Δt取为Δt＝t2(i)-t1(i)来算出。可以为：能够使用时间戳等来检测各摄像机41、42的摄像定时(t2(i)等)。
在步骤304中，根据上述的步骤302中计算出的同步偏差量来修正帧周期(i)中的摄像机41的摄像图像。基于同步偏差量的摄像图像的修正方法可以与上述的实施例1相同。
在步骤306中，使用上述的步骤304中得到的对于摄像机41的摄像图像的修正图像、和摄像机42的摄像图像来生成距离信息。该距离信息可以由与使用了摄像定时同步的立体摄像机的情况同样的方法来生成。与使用了摄像定时同步的立体摄像机的情况不同的地方只有摄像机41的摄像图像如上述进行修正这一点。
如此，根据本实施例，即使在各摄像机41、42的摄像定时不同步的情况下，因为使用修正了摄像定时的偏差的修正图像来生成距离信息，所以也能够消除在各摄像机41、42的摄像定时不同步的情况下产生的测距误差。由此，能够生成高精度的距离信息。
在以上说明的各实施例中，后附的权利要求书的“信息生成单元”是通过图像处理装置30或60执行图6的处理或图9的处理来实现的。
以上，对本发明的优选实施例进行了详细说明，但本发明不限于上述的实施例，能够不脱离本发明的范围而对上述的实施例进行各种变形以及置换。
例如，在上述的实施例中，在合成图像的显示、距离信息的生成中协调使用了两个以上的摄像机的摄像图像，但是本发明对于协调使用不同步或者发生同步偏差的两个以上的摄像机的摄像图像的任意应用也能够适用。
另外，在上述的实施例中，各摄像机10(10FR、10SL、10SR、10RR)等的帧速率是相同的，但也可以是不同的帧速率。另外，在上述的实施例1中，各摄像机10(10FR、10SL、10SR、10RR)的摄像定时彼此都不同，但当至少任意一个摄像机的摄像定时与其他的摄像机的摄像定时不同时就能够享有本发明的效果。
需说明的是，本国际申请要求2008年2月23日提出的日本专利申请2007-44441号的优先权，其全部内容根据此处的记载而被引入本国际申请。

Claims (9)

1.一种车辆用周边监视装置，其特征在于，具备：
第一摄像单元，其按预定周期对车辆外部的第一摄像区域进行摄像；
第二摄像单元，其按预定周期对车辆外部的与所述第一摄像区域的至少一部分重叠的第二摄像区域进行摄像；以及
信息生成单元，其根据所述第一摄像单元和所述第二摄像单元这两个摄像单元的摄像图像，生成所述第一摄像单元的摄像定时与所述第二摄像单元的摄像定时之间的偏差已被修正的预定信息。
2.根据权利要求1所述的车辆用周边监视装置，其中，
所述信息生成单元根据所述第一摄像单元的摄像定时与第二摄像单元的摄像定时之间的偏差，修正所述第一摄像单元和所述第二摄像单元的其中一个摄像单元的摄像图像，使用该修正后的图像和另一个摄像单元的摄像图像，生成所述预定信息。
3.根据权利要求1所述的车辆用周边监视装置，其中，
所述预定信息是关于车辆外部的目标的距离的信息。
4.根据权利要求1所述的车辆用周边监视装置，其中，
所述预定信息，是表示车辆外部的环境的图像，是对从所述第一摄像单元和所述第二摄像单元这两个摄像单元得到的图像进行合成而生成的。
5.一种车辆用周边监视装置，其特征在于，具备：
第一摄像装置，其按第一摄像定时对车辆外部的第一摄像区域进行摄像；
第二摄像装置，其按与所述第一摄像定时不同的第二摄像定时，对车辆外部的与所述第一摄像区域的至少一部分重叠的第二摄像区域进行摄像；以及
信息处理装置，其根据所述第一摄像装置和所述第二摄像装置这两个摄像装置的摄像图像，生成所述第一摄像定时与所述第二摄像定时之间的偏差已被修正的预定信息。
6.根据权利要求5所述的车辆用周边监视装置，其中，
所述第一摄像定时与第二摄像定时之间的偏差，使用利用了帧间的相关关系的插值技术来修正。
7.一种车辆用周边监视方法，其特征在于，包括：
使用第一摄像单元，按第一定时对车辆的外部进行摄像的步骤；
使用第二摄像单元，按晚于或早于第一定时的第二定时对车辆的外部进行摄像的步骤；
根据所述第一定时与所述第二定时的偏差来修正所述第一摄像单元的摄像图像的修正图像生成步骤；以及
使用由所述修正图像生成步骤得到的修正图像和所述第二摄像单元的摄像图像来生成预定信息的信息生成步骤。
8.根据权利要求7所述的车辆用周边监视方法，其中，
所述信息生成步骤，包括使用由所述修正图像生成步骤得到的修正图像和所述第二摄像单元的摄像图像来生成关于车辆外部的目标的距离的信息。
9.根据权利要求7所述的车辆用周边监视方法，其中，
所述信息生成步骤，包括合成由所述修正图像生成步骤得到的修正图像和所述第二摄像单元的摄像图像来生成能够显示于显示器的显示用合成图像。
CN2008800048982A 2007-02-23 2008-02-19 车辆用周边监视装置及车辆用周边监视方法 Expired - Fee Related CN101611632B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007044441A JP4748082B2 (ja) 2007-02-23 2007-02-23 車両用周辺監視装置及び車両用周辺監視方法
JP044441/2007 2007-02-23
PCT/JP2008/052741 WO2008102764A1 (ja) 2007-02-23 2008-02-19 車両用周辺監視装置及び車両用周辺監視方法

Publications (2)

Publication Number Publication Date
CN101611632A true CN101611632A (zh) 2009-12-23
CN101611632B CN101611632B (zh) 2011-11-23

Family

ID=39710041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800048982A Expired - Fee Related CN101611632B (zh) 2007-02-23 2008-02-19 车辆用周边监视装置及车辆用周边监视方法

Country Status (6)

Country Link
US (1) US20100060735A1 (zh)
JP (1) JP4748082B2 (zh)
KR (1) KR101132099B1 (zh)
CN (1) CN101611632B (zh)
DE (1) DE112008000089T5 (zh)
WO (1) WO2008102764A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103416071A (zh) * 2011-03-08 2013-11-27 瑞萨电子株式会社 摄像装置
CN104057882A (zh) * 2013-03-22 2014-09-24 通用汽车环球科技运作有限责任公司 基于双摄像机的前方路缘观察系统
CN106463062A (zh) * 2014-04-04 2017-02-22 伟智有限公司 车辆周边图像生成装置及方法
CN107896307A (zh) * 2016-10-03 2018-04-10 株式会社电装 具有高动态范围渲染功能的成像装置
CN109792482A (zh) * 2016-09-28 2019-05-21 京瓷株式会社 摄像机模块、选择器、控制器、摄像机监视系统以及移动体

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150235094A1 (en) * 2014-02-17 2015-08-20 General Electric Company Vehicle imaging system and method
US10110795B2 (en) 2002-06-04 2018-10-23 General Electric Company Video system and method for data communication
JP4412380B2 (ja) * 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP5090496B2 (ja) * 2010-04-12 2012-12-05 住友重機械工業株式会社 画像生成装置及び操作支援システム
TWI401175B (zh) * 2010-06-08 2013-07-11 Automotive Res & Testing Ct Dual vision front vehicle safety warning device and method thereof
JP5849724B2 (ja) * 2012-01-25 2016-02-03 富士通株式会社 映像取得装置及び方法
JP6182866B2 (ja) * 2012-03-21 2017-08-23 株式会社リコー 校正装置、距離計測装置及び車両
JP6194819B2 (ja) * 2014-03-03 2017-09-13 Smk株式会社 画像処理システム
JP6458384B2 (ja) 2014-07-24 2019-01-30 株式会社デンソー 車線検出装置および車線検出方法
US20160031370A1 (en) * 2014-07-29 2016-02-04 Magna Electronics Inc. Vehicle vision system with video switching
DE102015214900A1 (de) * 2015-08-05 2017-02-09 Robert Bosch Gmbh Verfahren und Vorrichtung zum Generieren von Verzögerungssignalen für ein Mehrkamerasystem und zum Erzeugen fusionierter Bilddaten für ein Mehrkamerasystem für ein Fahrzeug sowie Mehrkamerasystem
JP6540395B2 (ja) * 2015-09-04 2019-07-10 株式会社ソシオネクスト 画像処理方法および画像処理プログラム
JP6659317B2 (ja) 2015-11-17 2020-03-04 株式会社東芝 位置姿勢推定装置、位置姿勢推定プログラムおよび電気掃除機システム
GB2559758B (en) * 2017-02-16 2021-10-27 Jaguar Land Rover Ltd Apparatus and method for displaying information
KR102479492B1 (ko) * 2018-01-08 2022-12-20 삼성전자주식회사 차량 주변의 이미지를 제공하는 전자 장치 및 방법
GB2583704B (en) * 2019-04-19 2023-05-24 Jaguar Land Rover Ltd Imaging system and method
JP2020205498A (ja) 2019-06-14 2020-12-24 マツダ株式会社 外部環境認識装置
JPWO2022137324A1 (zh) * 2020-12-22 2022-06-30
JP2023021833A (ja) * 2021-08-02 2023-02-14 日立Astemo株式会社 マルチカメラ装置
DE102021132334A1 (de) 2021-12-08 2023-06-15 Bayerische Motoren Werke Aktiengesellschaft Abtasten eines Umfelds eines Fahrzeugs

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3167752B2 (ja) * 1991-10-22 2001-05-21 富士重工業株式会社 車輌用距離検出装置
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JPH0937238A (ja) * 1995-07-19 1997-02-07 Hitachi Denshi Ltd 複数画面表示装置
EP1408693A1 (en) * 1998-04-07 2004-04-14 Matsushita Electric Industrial Co., Ltd. On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus
US20060274829A1 (en) * 2001-11-01 2006-12-07 A4S Security, Inc. Mobile surveillance system with redundant media
JP2003230076A (ja) * 2002-02-01 2003-08-15 Clarion Co Ltd 画像処理装置及び画像表示システム
JP3958638B2 (ja) * 2002-06-25 2007-08-15 富士重工業株式会社 ステレオ画像処理装置およびステレオ画像処理方法
JP4476575B2 (ja) * 2003-06-06 2010-06-09 富士通テン株式会社 車両状況判定装置
JP2006044409A (ja) * 2004-08-03 2006-02-16 Nissan Motor Co Ltd 乗員保護装置
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
JP2006119843A (ja) * 2004-10-20 2006-05-11 Olympus Corp 画像生成方法およびその装置
US20060125920A1 (en) * 2004-12-10 2006-06-15 Microsoft Corporation Matching un-synchronized image portions
JP4561353B2 (ja) * 2004-12-24 2010-10-13 日産自動車株式会社 映像信号処理装置とその方法及び車載カメラシステム
JP2006203448A (ja) * 2005-01-19 2006-08-03 Hitachi Ltd 車載ステレオカメラ装置
JP4752284B2 (ja) 2005-02-24 2011-08-17 アイシン精機株式会社 車両周辺監視装置
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP2007049598A (ja) * 2005-08-12 2007-02-22 Seiko Epson Corp 画像処理コントローラ、電子機器及び画像処理方法
JP2007044441A (ja) 2005-08-12 2007-02-22 Samii Kk 遊技媒体貸出機
US8553088B2 (en) * 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103416071A (zh) * 2011-03-08 2013-11-27 瑞萨电子株式会社 摄像装置
CN103416071B (zh) * 2011-03-08 2015-11-25 瑞萨电子株式会社 摄像装置
CN104057882A (zh) * 2013-03-22 2014-09-24 通用汽车环球科技运作有限责任公司 基于双摄像机的前方路缘观察系统
CN106463062A (zh) * 2014-04-04 2017-02-22 伟智有限公司 车辆周边图像生成装置及方法
CN109792482A (zh) * 2016-09-28 2019-05-21 京瓷株式会社 摄像机模块、选择器、控制器、摄像机监视系统以及移动体
CN109792482B (zh) * 2016-09-28 2021-07-23 京瓷株式会社 摄像机模块、选择器、控制器、摄像机监视系统以及移动体
CN107896307A (zh) * 2016-10-03 2018-04-10 株式会社电装 具有高动态范围渲染功能的成像装置
CN107896307B (zh) * 2016-10-03 2020-10-02 株式会社电装 具有高动态范围渲染功能的成像装置

Also Published As

Publication number Publication date
US20100060735A1 (en) 2010-03-11
CN101611632B (zh) 2011-11-23
DE112008000089T5 (de) 2009-12-03
KR20090101480A (ko) 2009-09-28
JP4748082B2 (ja) 2011-08-17
JP2008211373A (ja) 2008-09-11
KR101132099B1 (ko) 2012-04-04
WO2008102764A1 (ja) 2008-08-28

Similar Documents

Publication Publication Date Title
CN101611632B (zh) 车辆用周边监视装置及车辆用周边监视方法
TWI600559B (zh) 用於影像處理之系統及方法
JP4818816B2 (ja) 駐車支援プログラム及び駐車支援装置
US11356618B2 (en) Image synthesis device for electronic mirror and method thereof
JP3898709B2 (ja) 車両用走行区分線認識装置
JP2019191118A (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
JP2003255925A (ja) 画像表示制御装置
GB2548970A (en) Method and device for generating an image of an area surrounding a vehicle
JP7426174B2 (ja) 車両周囲画像表示システム及び車両周囲画像表示方法
WO2017195459A1 (ja) 撮像装置、および撮像方法
US20210185232A1 (en) Apparatus of shaking compensation and method of shaking compensation
WO2018207666A1 (ja) 撮像素子及びその駆動方法、並びに、電子機器
TWI798408B (zh) 測距處理裝置，測距模組，測距處理方法及程式
JP2012019452A (ja) 画像処理装置及び画像処理方法
US20200304698A1 (en) Imaging control apparatus, imaging control method, computer program, and electronic device
US10897588B2 (en) Electronic apparatus and electronic apparatus controlling method
JP2006012191A (ja) 車両用走行区分線認識装置
WO2021024784A1 (ja) 信号処理装置、信号処理方法、および撮像装置
US8384779B2 (en) Display device for vehicle
WO2020230635A1 (ja) 撮像装置および撮像方法
WO2021182190A1 (ja) 撮像装置、撮像システム及び撮像方法
CN114103812A (zh) 倒车入库引导系统及方法
JP5164700B2 (ja) 複数カメラ画像処理装置及び複数カメラ画像表示装置
US20190279385A1 (en) Vision system and method for a motor vehicle
JP2020087210A (ja) キャリブレーション装置及びキャリブレーション方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111123

Termination date: 20210219

CF01 Termination of patent right due to non-payment of annual fee