CN104581042A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN104581042A
CN104581042A CN201410445923.8A CN201410445923A CN104581042A CN 104581042 A CN104581042 A CN 104581042A CN 201410445923 A CN201410445923 A CN 201410445923A CN 104581042 A CN104581042 A CN 104581042A
Authority
CN
China
Prior art keywords
image
video camera
visual field
vehicle body
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410445923.8A
Other languages
English (en)
Inventor
清水诚也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN104581042A publication Critical patent/CN104581042A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及图像处理装置和方法。根据本公开的一种图像处理装置，包括：第一视场转换单元，其配置成将第一摄像机的图像转换成在第一摄像机的视场内的具有任意视场的图像，第一摄像机配备在车辆中并且布置成将车身的一部分包括在图像拍摄范围中；第二视场转换单元，其配置成将下述盲区图像，即对周边环境的图像进行拍摄的第二摄像机的、充当第一摄像机所拍摄的图像中车身区域的盲区的图像，转换成具有与由第一视场转换单元进行视场转换之后所获得的图像的视场相同的视场的盲区图像；以及合成单元，其配置成将与通过第二转换单元而获得的盲区图像对应的区域组合至通过第一转换单元而获得的图像的车身区域。

Description

图像处理装置和方法
技术领域
本文所描述的实施例涉及图像处理装置、图像处理方法以及程序。
背景技术
当驾驶员驾驶车辆时，在驾驶员的视场中存在被车身等阻挡进而不能够被驾驶员直接看到的盲区。作为确保车辆后部的可视性的方法，在车辆中安装处于盲区范围内的室内镜和侧镜。
另外，近年来，已开发了各种设备例如后置摄像机和前置摄像机，以补充盲区的可视性(参见，例如，专利文献1)。期望，在ISO 16505的标准化下的CMS(摄像机监视系统，Camera Monitor System)将会作为侧镜的替代品被推广，CMS用来将通过拍摄车辆后侧位置而获得的图像显示在监视器上。
对于CMS，根据侧镜的视场范围来设定在监视器上显示的视场范围。通常，调节侧镜，使得将车身的一部分包括在侧镜的视场内，以允许驾驶员了解车辆与周边物体的距离或者车辆与周围物体之间的位置关系。
由于驾驶员不可能通过侧镜看到车辆的后侧，所以驾驶员需要通过室内镜或通过后置摄像机拍摄的图像来确认车辆的后侧。即，为了确认盲区，驾驶员需要检查彼此物理上分开的多个监视器或镜子，这造成了驾驶员的视线移动距离大大增加。
另外，当通过多个监视器或镜子确认了盲区时，难以了解在监视器或镜子上显示的物体的对应关系。这种情况造成的问题是：在操作车辆的同时确认周边环境需要技能并且并非易事。
例如，在日本公开专利公布第2003-196645A中公开了相关的技术。
本发明的一个目的是提供图像处理装置、图像处理方法以及程序，它们能够通过将被车身阻挡的视场范围中的图像与造成盲区的车身部分重叠来显示该被车身阻挡的视场范围中的图像。
发明内容
因此，本发明(实施例)的一个方面的目的是提供一种图像处理装置，其包括：第一视场转换单元，其配置成将第一摄像机的图像转换成在第一摄像机的视场内的具有任意视场的图像，第一摄像机配备在车辆中并且布置成将车身的一部分包括在图像拍摄范围中；第二视场转换单元，其配置成将下述盲区图像，即，对周边环境的图像进行拍摄的第二摄像机的、充当所述第一摄像机所拍摄的图像中车身区域的盲区的图像，转换成具有与在第一转换单元的转换之后所获得的图像的视场相同的视场的盲区图像；以及合成单元，其配置成将与通过第二转换单元获得的盲区图像对应的区域组合至通过第一视场转换单元获得的图像的车身区域。
通过在权利要求中特别指出的元件和组合来实现并且获得本发明的目的和优点。
附图说明
图1是例示根据实施例1的车内系统的配置示例的视图；
图2A和图2B是用于解释车辆坐标系统的视图；
图3是用于解释摄像机坐标系统的视图；
图4是例示摄像机布置的示例的视图；
图5A至图5E是用于解释摄像机的布置参数的视图；
图6是用于解释右虚拟摄像机拍摄右后侧视场的图像的视图；
图7是用于解释在虚拟摄像机采用透视投影法作为投影方法时计算在右虚拟摄像机的摄像机坐标系统中的入射光矢量的方法的视图；
图8是例示在右虚拟摄像机的摄像机坐标系统中的入射光矢量的示例的视图；
图9是用于解释根据入射光矢量来指定像素位置的方法的视图；
图10A是例示右摄像机的摄像机图像的示例的视图，而图10B是例示右摄像机的参考车身遮挡图像的示例的视图，这个示例与图10A的示例对应；
图11是例示因图10B中例示的参考车身遮挡图像的视场转换而获得的图像的示例的视图；
图12是用于解释从后摄像机至右虚拟摄像机的视场转换的视图；
图13A是例示由路表面和置于无穷远处的垂直平面所形成的投影表面的配置示例的视图，而图13B是例示由路表面和在由距离传感器所计算的距离处放置的垂直平面所形成的投影表面的配置示例的视图；
图14是例示根据实施例1的车内装置的配置示例的功能块图；
图15是用于解释根据实施例1的图像合成处理的流程的示例性流程图；
图16是用于解释根据实施例1的变换矩阵的生成处理的流程的示例性流程图；
图17是用于解释根据实施例1的参考车身的遮挡图像的转换处理的流程的示例性流程图；
图18是用于解释根据实施例1的第一视场转换图像的生成处理的流程的示例性流程图；
图19是用于解释根据实施例1的第二视场转换图像的生成处理的流程的示例性流程图；
图20是示例根据实施例1的图像合成处理的结果的示例的视图；
图21是例示当该处理应用于车辆前方侧视场时图像合成处理的结果的示例的视图；
图22是例示根据实施例2的车内装置的配置示例的功能块图；
图23是用于解释根据实施例2的生成参考车身遮挡图像的方法的视图；
图24是例示用于解释根据实施例2的参考车身遮挡图像生成处理的流程的示例性流程图的视图；
图25是用于解释根据实施例3的生成参考车身遮挡图像的方法的视图；
图26是例示用于解释根据实施例3的参考车身遮挡图像生成处理的流程的示例性流程图的视图；以及
图27是例示根据实施例的车内系统1的硬件配置示例的视图。
具体实施方式
下文中，将参考附图详细描述本发明的一些实施例。
(实施例1)
图1是例示根据实施例1的车内系统1的示例性配置的视图。参考图1，车内系统1包括：作为图像处理装置的车内装置2、多个摄像机3、一个或更多个监视器4以及距离传感器5。如图1中所例示，车内装置2与多个摄像机3、一个或更多个监视器4以及距离传感器5相连接。
在下面的描述中，将通过存在于车辆的后侧的视场中并且被车身阻挡的盲区的示例来描述实施例1。
摄像机3包括成像装置，例如，CCD(电荷耦合器件，Charge CoupledDevice)或COM(互补金属氧化物半导体，Complementary Metal-OxideSemiconductor)、MOS(金属氧化物半导体，Metal-Oxide Semiconductor)等。摄像机3以(例如)30fps(帧/每秒)的频率拍摄车辆附近的图像并且将所拍摄的图像按顺序存储进将在后面描述的图像缓冲器11中。在后面将描述摄像机3的布置示例。
监视器4可以是显示装置，例如，LCD(液晶显示器，Liquid crystalDisplay)或有机EL(电致发光，Electro-Luminescence)，并且在显示屏幕上显示经过预定图像处理的车辆附近的图像和各种功能按钮。如图1中所例示的，监视器4可包括例如左监视器4L和右监视器4R。在实施例1中，车辆的左后侧视场VLB的图像显示在与左侧镜对应的左监视器4L上，而车辆的右后侧视场VRB的图像显示在与右侧镜对应的右监视器4R上。
可以以任何形式来显示左后侧视场VLB的图像和右后侧视场VRB的图像。例如，可将一个监视器4分成左区和右区，在左区上显示左后侧视场VLB的图像，在右区上显示右后侧视场VRB的图像。
距离传感器5可以是例如超声波距离传感器或激光距离传感器。在超声波距离传感器的情况下，距离传感器5间歇地发送超声波，并且接收从周边物体反射的波，以检测周边物体的存在并且基于声速与从超声波发送到反射波接收所用时间之间的关系来计算从距离传感器5到周边物体的距离D。距离传感器5设置在车辆的后部，以例如10fps至30fps的频率来测量与在车辆后部的物体相距的距离D，并且每次都将所测量的距离D发送至车内装置2。基于距离D来确定形成投影表面S的垂直平面的位置。
下面，在描述关于车内装置2的详细内容之前，先说明实施例1的算法以及流程。
首先将参考图2至图5描述车辆坐标系统和摄像机坐标系统。
图2A和图2B是用于解释车辆坐标系统的视图。车辆坐标系统是以车辆为基础将周边物体的位置表示为坐标的车辆专用坐标系统。当车辆移动时，周边物体的位置坐标改变。尽管可任意设定车辆坐标系统，但在如图2所例示的实施例1中，假设在俯视图中在路面上的车辆的中心处的点是原点O，车辆的前后方向是Y轴(通过加号表示向前方向)，车辆的左右方向是X轴(通过加号表示向右方向)以及车辆的垂直方向是Z轴(通过加号表示向上方向)。
图3是用于解释摄像机坐标系统的视图。摄像机坐标系统是以摄像机为基础将与主体对应的周边物体的位置表示为坐标的专用于摄像机3的坐标系统。尽管可任意设定摄像机坐标系统，但在实施例1中，如在图3中例示的，假设摄像机3的光学原点是原点O，在水平方向上垂直于光轴的方向是X轴(通过加号表示相对于光轴的向右方向)，在垂直方向上垂直于光轴的方向是Y轴(通过加号表示向上的方向)，光轴是Z轴(通过加号表示与光轴方向相反的方向)。视觉体积31表示摄像机3的图像拍摄范围。
图4是例示连接至车内装置2的摄像机3的布置的示例的示图。在图4中例示的布置示例中，具有用于车辆的后侧的成像范围的后摄像机3B设置在车辆的后部，具有用于车辆的右侧的成像范围的右摄像机3R设置在右门镜的边缘，以及具有用于车辆的左侧的成像范围的左摄像机3L设置在左门镜的边缘。车辆前侧之外的车辆周围可通过三个摄像机3来成像。
图5A中图5E是用于解释摄像机3的布置参数的视图。摄像机3的布置参数至少包括三维坐标(Tx，Ty，Tz)和布置角Pan(摇动)、Tilt(倾斜)以及Rotate(旋转)，这些布置参数表示摄像机3在车辆坐标系统中的布置位置。摄像机3的布置位置可以通过这些布置参数唯一地限定。
布置参数Rotate表示摄像机3绕光轴(X轴)旋转了角度Rotate(RotZ(Rotate))，如图5B所例示，其中，将车辆坐标系统与摄像机坐标系统一致的状态假定为摄像机布置的初始状态，如图5A中所例示。布置参数Tilt表示摄像机3绕X轴旋转了角度π/2-Tilt(RotX(π/2-Tilt))，如图5C中所例示。即，通过这种转换，定义成在水平方向为0并且在俯视方向上具有加号的俯角Tilt被转换从右下方向观察到的仰角。
布置参数Pan表示摄像机3以Z轴为中心在左侧或右侧上摆动了角度Pan(RotZ(Pan))，如图5D中所例示。布置参数中的三维坐标(Tx，Ty，Tz)表示摄像机3通过根据布置角Pan、Tilt以及Rotate调节摄像机3的布置角并且然后将摄像机3平移至三维坐标(Tx，Ty，Tz)(平移(Tx，Ty，Tz))来进入布置状态，如图5E中例示。
布置参数唯一地限定了摄像机3的布置位置并且还限定了车辆坐标系统和摄像机坐标系统之间的坐标变换。根据图5A至图5E之间的关系，从车辆坐标系统到摄像机坐标系统的坐标变换矩阵MCAR→CAM可通过下列等式(1)来表示。
M CAR → CAM = M 11 M 12 M 13 - M 11 Tx - M 12 Ty - M 13 Tz M 21 M 22 M 23 - M 21 Tx - M 22 Ty - M 23 Tz M 31 M 32 M 33 - M 31 Tx - M 32 Ty - M 33 Tz 0 0 0 1 · · · · · ( 1 )
其中，当cp＝cos(Pan)，sp＝sin(Pan)，ct＝cos(Tilt)，st＝sin(Tilt)，cr＝cos(Rotate)以及sr＝sin(Rotate)时，
M11＝cr×cp-sr×st×sp
M12＝cr×sp+sr×st×cp
M13＝sr×ct
M21＝-sr×cp-cr×st×sp
M22＝-sr×sp+cr×st×cp
M23＝cr×ct
M31＝ct×sp
M32＝-ct×cp
M33＝st。
另外，从车辆坐标系统到摄像机坐标系统的矢量变换矩阵PCAR→CAM可通过下列等式(2)来表示。
P CAR → CAM = M 11 M 12 M 13 0 M 21 M 22 M 23 0 M 31 M 32 M 33 0 0 0 0 1 · · · · · ( 2 )
接下来，将描述拍摄车辆的后侧视场的虚拟摄像机。尽管存在两个视场，即，车辆的左后侧视场和右后侧视场，但由于其处理相同，所以将描述如图6中例示的对车辆的右后侧视场VRB成像的右视摄像机RB。图6是用于解释右视摄像机RB对车辆的右后侧视场进行成像的视图。在图6的示例中，右摄像机3R的镜头是能够拍摄大范围的广角镜头，例如，鱼眼镜头，但可以是所谓的标准镜头。
右虚拟摄像机RB具有布置参数并且可通过指定布置参数、水平场角AH以及投影方法(例如，透视投影、圆柱投影等)来实现指定的视场。可根据驾驶员进行的车辆操纵的内容或者通过驾驶员经由操作单元20(后面将对其进行描述)改变设置来动态地改变右虚拟摄像机RB的布置参数(布置角)和水平场角AH。
在实施例1中，右虚拟摄像机RB具有与右摄像机3R的布置位置相同的布置位置，如图6中所示，并且投影方法是无需考虑任何畸变(透镜畸变)的透视投影。
接下来，在这样的假设下，将参考图7至图9来描述用于将右摄像机3R的摄像机图像转换成右后侧视场VRB的图像的第一视场转换处理。
在这种情况下，如图7中例示，可根据下列等式(3.1)和(3.2)依据在由右虚拟摄像机RB成像的右后侧视场VRB的图像上的任意点处的坐标(x,y)RB来计算在右虚拟摄像机RB的摄像机坐标系统中的入射光矢量VCAM RB。图7是用于解释在虚拟摄像机的投影方法是透视投影时计算在右虚拟摄像机RB的摄像机坐标系统中的入射光矢量VCAM RB的方法的视图。
v CAR RB = x y - f · · · · · ( 3.1 )
f = width 2 × tan A H 2 · · · · · ( 3.2 )
在等式(3.2)中，“f”表示右虚拟摄像机RB的摄像机坐标系统的原点O与右后侧视场VRB的图像坐标系统的原点O之间的距离，“width(宽度)”表示右后侧视场VRB的图像的水平像素的数量，而AH表示右虚拟摄像机RB的水平场角。在这种情况下，由于建立了关系1：tan(AH/2)＝f:(width/2)，所以“f”可通过等式(3.2)来表示。
另外，如图8中所示，在右虚拟摄像机RB的摄像机坐标系统中的入射光矢量VCAM RB根据下列等式(4)变换成图6中例示的在车辆坐标系统中的入射光矢量VRB CAR。在等式(4)中，P-1 CAR→CAM RB是变换矩阵PCAR→CAM RB的逆矩阵，PCAR→CAM RB可基于右虚拟摄像机RB的布置参数根据等式(2)来生成。图8是例示在右虚拟摄像机RB的摄像机坐标系统中的入射光矢量VCAM RB的示例的视图。
vRB CAR＝P-1 CAR→CAM RB×vCAM RB·····(4)
另外，在车辆坐标系统中的入射光矢量VRB CAR可根据下列等式(5)变换成在右摄像机3R的摄像机坐标系统中的入射光矢量VCAM R。在等式(5)中，PCAR→CAM R是可基于右摄像机3R的布置参数根据等式(2)生成的变换矩阵PCAR→CAM R。
vCAM R＝PCAR→CAM R×vRB CAR·····(5)
另外，如图9中所例示，在右摄像机3R的摄像机坐标系统中的入射光矢量VCAM R可与由右摄像机3R拍摄的图像上的像素位置相关联。下列等式(6)是例示这种关联的表达式。图9是用于解释根据入射光矢量VCAM R来指定像素位置的方法的视图。
QR＝TR(vCAM R)·····(6)
在等式(6)中，TR表示将入射光矢量VCAM R与右摄像机3R的摄像机图像上的像素位置以一一对应的方式相关联的映射表。映射表TR可基于表示畸变(透镜畸变)和摄像机参数(像素间距)的数据来预置。
如上所述，通过指定在右摄像机3R的摄像机图像上的像素(该像素对应于在右虚拟摄像机RB的右后侧视场VRB的图像上的像素)并且将所指定像素的像素值设定为在右后侧视场VRB的图像上的对应像素的像素值来执行用于将右摄像机3R的摄像机图像转换成右后侧视场VRB的图像的第一视场转换处理。
接下来，将参考图10和图11来描述参考车身的遮挡图像的视场转换处理。图10A例示右摄像机3R的摄像机图像的示例，而图10B例示右摄像机3R的参考车身遮挡图像的示例，这个示例与图10A的示例对应。图11例示因图10B中例示的参考车身遮挡图像的视场转换而获得的图像的示例。
如图10B中例示，右摄像机3R的参考车身的遮挡图像对应于在右摄像机3R的摄像机图像中的车身区域。这里，车身区域的像素值设置为“0”并且其他区域的像素值设置为“1”。
由于只要没有改变右摄像机3R的布置参数就总是在同一位置拍摄在右摄像机3R的摄像机图像中的车身区域，所以在右摄像机3R的布置中可以一次性创建右摄像机3R的参考车身的遮挡图像。
然后，通过使右摄像机3R的参考车身的遮挡图像经历上述第一视场转换处理，生成如图11中例示的在视场转换之后的车身遮挡图像。
接下来，将参考图12和图13来描述用于将后摄像机3B的摄像机图像转换成右后侧视场VRB的图像的第二视场转换处理。图12是用于解释从后摄像机3B至右视摄像机RB的视场转换的视图。图13A例示由路表面和置于无穷远处的垂直平面所形成的投影表面S的配置示例。图13B例示由路表面和在由距离传感器所计算的距离处放置的垂直平面所形成的投影表面S的配置示例。
如在第一视场转换处理中所描述的，可依据在由右虚拟摄像机RB成像的右后侧视场VRB的图像上的任意点处的坐标(x,y)RB，根据等式(3.1)和(3.2)来计算在对应于坐标(x，y)RB的点处在右虚拟摄像机RB的摄像机坐标系统中的入射光矢量VCAM RB。
另外，在右虚拟摄像机RB的摄像机坐标系统中的入射光矢量VCAM RB可根据等式(4)变换成在车辆坐标系统中的入射光矢量VRB CAR。然后，如在图12中例示的，假设C表示在车辆坐标系统中限定的任意投影表面S与在与入射光矢量VRB CAR相反的方向上从右虚拟摄像机RB的光学原点延伸的线段之间的交点，从交点C指向后摄像机3B的光学原点的且在车辆坐标系统中的入射光矢量VB CAR可以基于交点C在车辆坐标系统中的坐标和后摄像机3B的布置参数来计算。
形成投影表面S的垂直平面可以放置在与车辆相距足够远的距离处(或在无穷远)，如图13A中例示，或者可以放置在与通过距离传感器5测量的后部物体相距距离D处，如图13B所例示。当形成投影表面S的垂直平面放置在无穷远处时，可降低右虚拟摄像机RB与后摄像机3B之间的视差。
另外，在车辆坐标系统中的入射光矢量VB CAR可根据下面的等式(7)变换成在后摄像机3B的摄像机坐标系统中的入射光矢量VCAM B。在等式(7)中，PCAR→CAM B是可基于后摄像机3B的布置参数根据等式(2)生成的变换矩阵PCAR→CAM B。
vCAM B＝PCAR→CAM B×vB CAR·····(7)
另外，如前面所描述的，在后摄像机3B的摄像机坐标系统中的入射光矢量VCAM B可以与在后摄像机3B所拍摄的图像上的像素位置相关联。下列等式(8)是例示这种关联的表达式。
QB＝TB(vCAM B)·····(8)
在等式(8)中，TB表示将入射光矢量VCAM B与在后摄像机3B的摄像机图像上的像素位置以一一对应的方式相关联的映射表。可基于表示畸变(透镜畸变)的数据和摄像机参数(像素间距)来预设映射表TB。
如上所述，通过指定与在右虚拟摄像机RB的右后侧视场VRB的图像上的像素对应的、在后摄像机3B的摄像机图像上的像素并且将所指定的像素的像素值设定为在右后侧视场VRB的图像上的对应像素的像素值，来执行用于将后摄像机3B的摄像机图像转换成右后侧视场VRB的图像的第二视场转换处理。
接下来，将描述，基于通过视场转换获得的车身的遮挡图像，将通过使右摄像机3R的摄像机图像经历第一视场转换处理而生成的右后侧视场VRB的视场转换图像(下文中称为视场转换图像R)与通过使后摄像机3B的摄像机图像经历第二视场转换处理而生成的右后侧视场VRB的视场转换图像(下文中称为视场转换图像BR)合成的处理。
基于通过使参考车身的遮挡图像经历第一视场转换处理而生成的在视场转换之后的车身遮挡图像的值来执行合成处理。这里，假设，在坐标(x，y)RB中在视场转换之后车身遮挡图像的值是“α”，在坐标(x，y)RB中视场转换图像R的值是CR，在坐标(x，y)RB中视场转换图像BR的值是CB R，在坐标(x，y)RB中合成图像像素值CD可以根据下列等式(9)来计算。
CD＝α×CR+(1-α)CB R·····(9)
尽管在车身区域中像素值“α”被设置为“0”并且在其他区域中像素值被设置为“1”，但本公开不限于此。例如，车身区域的轮廓部的像素值可设置成小于“1”的大值，并且随着车身区域远离轮廓部，车身区域的像素值可设置成接近“0”的值。通过这种配置，在车身区域的轮廓部(很可能与周边物体接触)明显保留的情况下，通过将视场转换图像BR合成进其他车身区域可降低由于车身而导致的盲区。
接下来，将参考图14来描述根据实施例1的车内装置2。图14是例示根据实施例1的车内装置2的配置示例的功能块图。参考图14，根据实施例1的车内装置2包括存储单元10、操作单元20、接收单元30以及控制单元40。
存储单元10包括(例如)RAM(随机存取存储器，Random AccessMemory)、ROM(只读存储器，Read Only Memory)或HDD(硬盘驱动，Hard Disk Drive)。存储单元10用作(例如)构成控制单元40的CPU(中央处理器，Central Processing Unit)的工作区域、存储各种程序(例如，用于控制车内装置2的总体操作的操作程序)的程序区域、以及存储各种数据(例如，摄像机3的布置参数、摄像机3的映射表TR、TL以及TB、以及右摄像机3R和左摄像机3L的参考车身的遮挡图像)的数据区域。
存储单元10还用作图像缓冲器11、视场转换图像缓冲器12以及车身遮挡图像缓冲器13。图像缓冲器11按顺序存储摄像机3所拍摄的在车辆附近的图像数据。视场转换图像缓冲器12是当摄像机图像经历视场转换处理时使用的缓冲器，以及车身遮挡图像缓冲器13是当参考车身的遮挡图像经历视场转换处理时使用的缓冲器。
操作单元20由各种按钮、显示在监视器4的显示屏幕上的触摸屏等构成。用户(例如，驾驶员)可通过操作操作单元20来执行期望的处理。
接收单元从车辆接收表示车辆的操作内容的操作信息。例如，操作信息指表示换挡操作、加速操作、手柄操作、方向指示灯操作的内容的信息。
控制单元40包括例如CPU，并且执行在存储单元10的程序区域中存储的操作程序。如在图14中例示的，控制单元40实现确定单元41、设定单元42、变换矩阵生成单元43、车身遮挡图像转换单元44、第一视场转换图像生成单元45、定位单元46、第二视场转换图像生成单元47以及合成处理单元48的功能，并且执行将在后面详细描述的用于控制车内装置2的总体操作的控制处理和例如图像合成处理的处理。
确定单元41确定是否发出结束图像合成处理的指令，其将在后面详细描述。例如，如果用户通过操作单元20进行了预定操作，则确定单元41确定是否命令结束图像合成处理。另外，例如，如果配备有车内装置2的车辆变挡杆处于驻停状态，则当满足预设的结束条件时，确定单元41确定出发出结束图像合成处理的命令。
此外，确定单元41确定是否改变右虚拟摄像机RB(或左虚拟摄像机LB)的视场的设定。更具体地，如果通过设定单元42改变了右虚拟摄像机RB(或左虚拟摄像机LB)的水平场角AH或布置参数(布置角)，则确定单元41确定出改变了右虚拟摄像机RB(或左虚拟摄像机LB)的视场的设定。此外，当确定出改变了右虚拟摄像机RB(或左虚拟摄像机LB)的视场的设定时，确定单元41还确定是否改变了右虚拟摄像机RB(或左虚拟摄像机LB)的布置参数(布置角)。
设定单元42设定右虚拟摄像机RB(或左虚拟摄像机LB)的视场。更具体地，设定单元42基于根据在接收单元30中接收的操作信息指定的驾驶员操作车辆的内容或驾驶员等通过操作单元20设定的内容，通过设定布置参数(布置角)或水平场角AH，来设定右虚拟摄像机RB(或左虚拟摄像机LB)的视场。
变换矩阵生成单元43基于在存储单元10的数据区域中存储的摄像机3的布置参数，根据上述等式(2)来计算从车辆坐标系统到每个摄像机坐标系统的矢量变换矩阵PCAR→CAM R、PCAR→CAM L以及PCAR→CAM B。另外，变换矩阵生成单元43基于设定单元42所设定的右虚拟摄像机RB和左虚拟摄像机LB的布置参数，根据上述等式(2)来计算从车辆坐标系统到右虚拟摄像机RB的摄像机坐标系统的变换矩阵的逆矩阵P-1 CAR→CAM RB和从车辆坐标系统到左虚拟摄像机LB的摄像机坐标系统的变换矩阵的逆矩阵P-1 CAR→CAM LB。
另外，当确定单元41确定出改变了右虚拟摄像机RB(或左虚拟摄像机LB)的布置参数(布置角)时，变换矩阵生成单元43基于改变了的布置参数重新计算布置参数发生改变的、右虚拟摄像机RB(或左虚拟摄像机LB)的变换矩阵的逆矩阵P-1 CAR→CAM RB(或P-1 CAR→CAM LB)。
车身遮挡图像转换单元44生成具有以下视场的车身遮挡图像：即通过使在存储单元10的数据区域中存储的右摄像机3R和左摄像机3L的参考车身的遮挡图像经历上述第一视场转换处理而转换的视场。
第一视场转换图像生成单元45生成通过根据上述第一视场转换处理将右摄像机3R(或左摄像机3L)的摄像机图像转换成右虚拟摄像机RB的右后侧视场VRB的图像(或左虚拟摄像机LB的左后侧视场VLB的图像)而获得的视场转换图像R(或视场转换图像L)。
定位单元46基于通过距离传感器5计算的与车辆的后侧的周边物体相距的距离D来确定形成投影表面S的垂直平面的位置。例如，如果由于在距离传感器5的测量范围内不存在周边物体而没有计算距离D或者如果所计算的距离D超出了预设的距离阈值，则定位单元46假定垂直平面的位置在无穷远处。如果所计算的距离D小于预设的距离阈值，则定位单元46将垂直平面的位置设定为所计算的距离D。
第二视场转换图像生成单元47生成通过根据上述第二视场转换处理将后摄像机3B的摄像机图像转换成右虚拟摄像机RB的右后侧视场VRB的图像(或左虚拟摄像机LB的左后侧视场VLB的图像)而获得的视场转换图像BR(或视场转换图像BL)。
合成处理单元48根据上述公式(9)将通过第一视场转换图像生成单元45生成的视场转换图像R(或视场转换图像L)与通过第二视场转换图像生成单元47生成的视场转换图像BR(或视场转换图像BL)合成。然后，合成处理单元48在右监视器4R和左监视器4L的显示屏幕上显示合成处理的结果。
接下来，将参考图15来描述根据实施例1的图像合成处理的流程。图15是用于解释根据实施例1的图像合成处理的流程的示例性流程图。图像合成处理开始于由摄像机3获得并且存储在图像缓冲器11中的作为触发器的图像数据。
变换矩阵生成单元43执行变换矩阵生成处理(步骤S001)并且车身遮挡图像转换单元44生成具有通过使右摄像机3R和左摄像机3L的参考车身的遮挡图像经历上述第一视场转换处理而转换的视场的车身遮挡图像(步骤S002)。
第一视场转换图像生成单元45根据上述第一视场转换处理依据右摄像机3R(或左摄像机3L)的摄像机图像来生成视场转换图像R(或视场转换图像L)(步骤S003)。第二视场转换图像生成单元47根据上述第二视场转换处理依据后摄像机3B的摄像机图像来生成视场转换图像BR(或视场转换图像BL)(步骤S004)。
合成处理单元48根据上述等式(9)将在步骤S003生成的视场转换图像R(或视场转换图像L)与在步骤S004生成的视场转换图像BR(或视场转换图像BL)合成。
合成处理单元48在右监视器4R和左监视器4L的显示屏幕上显示合成处理的结果(步骤S006)并且确定单元41确定是否命令结束图像合成处理(步骤S007)。
当确定出还没有命令结束图像合成处理(步骤S007处的“否”)时，确定单元41确定是否改变右虚拟摄像机RB的视场(或左虚拟摄像机LB)的设定(步骤S008)。
当确定单元41确定出没有改变视场的设定(在步骤S008处的“否”)时，处理返回至步骤S003并且重复步骤S003之后的上述步骤。否则(步骤S008处的“是”)，确定单元41确定是否改变右虚拟摄像机RB(或左虚拟摄像机LB)的布置参数(布置角)(步骤S009)。
当确定单元41确定出改变了布置参数(布置角)(在步骤S009处的“是”)时，变换矩阵生成单元43基于改变了的布置参数重新计算布置参数被改变的、右虚拟摄像机RB(或左虚拟摄像机LB)的变换矩阵的逆矩阵P-1 CAR→CAM RB(或P-1 CAR→CAM RB)(步骤S010)。然后，处理返回至步骤S002并且重复步骤S002之后的步骤。
当确定单元41确定出没有改变布置参数(布置角)(步骤S009处的“否”)，处理返回至步骤S002并且重复步骤S002之后的步骤。
另一方面，当确定单元41在步骤S007确定出命令了结束图像合成处理(在步骤S007处的“是”)时，则处理结束。
接下来，将参考图16来描述根据实施例1的变换矩阵的生成处理的流程。图16是用于解释根据实施例1的变换矩阵的生成处理的流程的示例性流程图。变换矩阵的生成处理是与上述图像合成处理的步骤S001对应的处理。下面将描述与右摄像机3R对应的处理，其类似于与左摄像机3L对应的处理。
变换矩阵生成单元43基于通过设定单元42设定的右虚拟摄像机RB的布置参数，根据上述等式(2)来计算从车辆坐标系统变换到右虚拟摄像机RB的摄像机坐标系统的变换矩阵的逆矩阵P-1 CAR→CAM RB。
另外，变换矩阵生成单元43基于在存储单元10的数据区域中存储的右摄像机3R的布置参数，根据上述等式(2)来计算从车辆坐标系统变换到右摄像机3R的摄像机坐标系统的矢量变换矩阵PCAR→CAM B(步骤S102)。
另外，变换矩阵生成单元43基于在存储单元10的数据区域中存储的后摄像机3B的布置参数，根据上述等式(2)来计算从车辆坐标系统变换到后摄像机3B的摄像机坐标系统的矢量变换矩阵PCAR→CAM B(步骤S103)并且处理结束。然后，处理前进至图像合成处理的步骤S002。
接下来，将参考图17来描述根据实施例1的参考车身的遮挡图像的转换处理的流程。图17是用于解释根据实施例1的参考车身的遮挡图像的转换处理的流程的示例性流程图。参考车身的遮挡图像的转换处理是与上述图像合成处理的步骤S002对应的处理。下面将描述与右摄像机3R对应的处理，其类似于与左摄像机3L对应的处理。
车身遮挡图像转换单元44清除车身遮挡图像缓冲器13(步骤S201)并且在右虚拟摄像机RB的右后侧视场VRB的图像上提取未处理的像素坐标(x，y)RB(步骤S202)。
另外，车身遮挡图像转换单元44根据等式(3.1)和(3.2)将所提取的像素坐标(x，y)RB转换成在右虚拟摄像机RB的摄像机坐标系统中的入射光矢量VCAM RB(步骤S203)，并且根据等式(4)将在右虚拟摄像机RB的摄像机坐标系统中的入射光矢量VCAM RB转换成在车辆坐标系统中的入射光矢量VRB CAR(步骤S204)。
另外，车身遮挡图像转换单元44根据等式(5)将在车辆坐标系统中的入射光矢量VRB CAR转换成在右摄像机3R的摄像机坐标系统中的入射光矢量VCAM R(步骤S205)，并且根据等式(6)来指定与入射光矢量VCAM R对应的在右摄像机3R的摄像机图像上的像素坐标(x，y)R(步骤S206)。
另外，车身遮挡图像转换单元44将参考车身的遮挡图像在指定的像素坐标(x，y)R处的值写入要处理的对象的像素坐标(x，y)RB(步骤S207)并且确定是否已处理了右虚拟摄像机RB的图像上的所有像素坐标(步骤S208)。
如果还剩有任何未处理的像素坐标(步骤S208处的“否”)，则处理返回至步骤S202并且重复步骤S202之后的步骤。另一方面，如果对于所有像素坐标写入了在右摄像机3R的摄像机图像上在指定像素坐标(x，y)R处参考车身的遮挡图像的值(在步骤S208处的“是”)，则车身遮挡图像转换单元44将在视场转换之后生成的车身遮挡图像存储进存储单元10的数据区域中(步骤S209)。在这时，如果在视场转换之后的车身遮挡图像已存在在数据区域中，则其被覆盖。然后，处理结束，并且前进至图像合成处理步骤S003。
接下来，将参考图18来描述根据实施例1的第一视场转换图像的生成处理的流程。图18是用于解释根据实施例1的第一视场转换图像的生成处理的流程的示例性流程图。第一视场转换图像的生成处理是与上述图像合成处理步骤S003对应的处理。将在下面描述与右摄像机3R对应的处理，其类似于与左摄像机3L对应的处理。
第一视场转换图像生成单元45清除相应的视场图像转换缓冲器12(步骤S301)并且在右虚拟摄像机RB的右后侧视场VRB的图像上提取未处理的像素坐标(x，y)RB(步骤S302)。
另外，第一视场转换图像生成单元45根据等式(3.1)和(3.2)将所提取的像素坐标(x，y)RB转换成在右虚拟摄像机RB的摄像机坐标系统中的入射光矢量VCAM RB(步骤S303)，并且根据等式(4)将在右虚拟摄像机RB的摄像机坐标系统中的入射光矢量VCAM RB转换成在车辆坐标系统中的输入光矢量VRB CAR(步骤S304)。
另外，第一视场转换图像生成单元45根据等式(5)将在车辆坐标系统中的入射光矢量VRB CAR转换成在右摄像机3R的摄像机坐标系统中的入射光矢量VCAM R(步骤S305)并且根据等式(6)指定与入射光矢量VCAM R对应的在右摄像机3R的摄像机图像上的像素坐标(x，y)R(步骤S306)。
另外，第一视场转换图像生成单元45将在指定的像素坐标(x，y)R处的像素值写入要处理的对象的像素坐标(x，y)RB(步骤S307)并且确定是否已处理了右虚拟摄像机RB的图像上的所有像素坐标(步骤S308)。
如果还剩有任何未处理的像素坐标(步骤S308处的“否”)，则处理返回至步骤S302并且重复步骤S302之后的步骤。另一方面，如果对于所有像素坐标写入了在右摄像机3R的摄像机图像上的在指定像素坐标(x，y)R处的像素值(在步骤S308处的“是”)，则处理结束并且前进至图像合成处理步骤S004。
接下来，将参考图19来描述根据实施例1的第二视场转换图像的生成处理的流程。图19是用于解释根据实施例1的第二视场转换图像的生成处理的流程的示例性流程图。第二视场转换图像的生成处理是与上述图像合成处理步骤S004对应的处理。下面将描述与右摄像机3R对应的处理，其类似于与左摄像机3L对应的处理。
第二视场转换图像生成单元47清除相应的视场图像转换缓冲器12(步骤S401)。然后，定位单元46基于通过距离传感器5计算的距离D来确定形成投影表面S的垂直平面的位置(步骤S402)。
第二视场转换图像生成单元47在右虚拟摄像机RB的右后侧视场VRB的图像上提取未处理的像素坐标(x，y)RB(步骤S403)并且根据等式(3.1)和(3.2)将所提取的像素坐标(x，y)RB转换成在右虚拟摄像机RB的摄像机坐标系统中的入射光矢量VCAM RB(步骤S404)。
另外，第二视场转换图像生成单元47根据等式(4)将在右虚拟摄像机RB的摄像机坐标系统中的入射光矢量VCAM RB转换成在车辆坐标系统中的入射光矢量VRB CAR(步骤S405)并且计算交点C在车辆坐标系统中的坐标(步骤S406)，该交点C是在定位单元46所确定的位置处的垂直平面所形成的投影表面S与在与入射光矢量VRB CAR相反的方向上从右虚拟摄像机RB的光学原点延伸的线段的交点。
另外，第二视场转换图像生成单元47计算从交点C到后摄像机3B的在车辆坐标系统中的入射光矢量VB CAR(步骤S407)并且根据等式(7)将所计算的入射光矢量VB CAR转换成在后摄像机3B的摄像机坐标系统中的入射光矢量VCAM B(步骤S408)。
另外，第二视场转换图像生成单元47根据等式(8)来指定与入射光矢量VCAM B对应的在后摄像机3B的摄像机图像上的像素坐标(x，y)B(步骤S409)并且将指定的坐标(x，y)B的像素值写入要处理的对象的像素坐标(x，y)RB(步骤S410)。
另外，第二视场转换图像生成单元47确定是否已处理了在右虚拟摄像机RB的图像上的所有像素坐标(步骤S411)。如果还剩有任何未处理的像素坐标(步骤S411处的“否”)，则处理返回至步骤S403并且重复步骤S403之后的步骤。
另一方面，如果对于所有像素坐标写入了在后摄像机3B的摄像机图像的指定像素坐标(x，y)B处的像素值(在步骤S411处的“是”)，则处理结束并且前进至图像合成处理的步骤S005。
接下来，将参考图20借助于示例来描述图像合成处理的流程。图20是根据实施例1的图像合成处理的结果的示例的示图。该示例是与右摄像机3R对应的处理的示例。
使右摄像机3R所拍摄的右摄像机图像和右摄像机3R的参考车身的遮挡图像经历第一视场转换处理，以生成视场转换图像R和视场转换车身遮挡图像。另外，使后摄像机3B所拍摄的后摄像机图像经历第二视场转换处理，以生成视场转换图像BR。
然后，基于视场转换车身遮挡图像的像素值来将视场转换图像R和视场转换图像BR合成。即，通过将后摄像机3B所拍摄的后摄像机图像组合至视场转换图像R的车身区域来减少盲区。
尽管已在实施例1中描述了将后摄像机3B所拍摄的图像组合至后侧视场的车身区域的处理，但本发明不限于此。例如，可将实施例1的配置应用于如下情形：将前摄像机3F所拍摄的图像组合至前侧视场的车身区域。即，实施例1的配置可以应用于具有作为盲区的车身的视场图像。图21是例示当该处理应用于车辆前侧视场时图像合成处理的结果的示例的视图。
根据实施例1，将通过对作为车身区域所遮挡的盲区的周围环境进行成像而获得的图像组合至车身区域。通过该配置，由于无需查看多个监视器等来确认盲区，所以可以容易地确认车辆的附近区域，这会有助于安全驾驶。
另外，根据实施例1，参考车身遮挡图像用于指定合成区域。通过该配置，即使在监视器上显示的视场发生改变，仍可以仅通过使参考车身图像经历视场转换处理来指定在改变了的视场中的车身区域(合成区域)。
另外，根据实施例1，基于在监视器4上显示的视场来转换参考车身的遮挡图像的视场，并且视场转换后的车身遮挡图像被用于合成处理。该配置不再需要准备与考虑中的视场对应的多个车身遮挡图像并且不需要将这些图像存储在存储单元10的数据区域中，这会带来有效的资源利用。
(实施例2)
将通过实施例2来描述当根据实施例1的车内系统1配备在批量生产的车辆中时生成参考车身的遮挡图像的方法。
图22是例示根据实施例2的车内装置2的配置示例的功能块图。除了控制单元40还用作参考车身遮挡图像生成单元49并且右摄像机3R和左摄像机3L的理想布置参数以及理想车身遮挡图像被存储在存储单元10的数据区域中之外，根据实施例2的车内装置2具有与实施例1中的车内装置相同的基本配置。另外，控制器40的常用功能单元中的一部分(例如，变换矩阵生成单元43)在作用上与实施例1中的那些稍有不同。
理想布置参数是表示摄像机3的理想安装条件的参数并且可基于CAD数据来创建或者可以是通过附接至参考车辆的摄像机3所测量的布置参数。在下面的描述中，假设基于理想布置参数而布置的右摄像机3R和左摄像机3L分别是右理想摄像机RM和左理想摄像机LM。如果不需要区分右理想摄像机RM和左理想摄像机LM，则将这些摄像机简称为理想摄像机M。
理想车身遮挡图像是当摄像机3基于理想布置参数被布置时所获得的车身遮挡图像，即，理想摄像机的参考车身的遮挡图像，并且可以基于DCAD数据来创建或者可以基于附接至参考车辆的摄像机3的图像来创建。
控制器40包括(例如)CPU并且执行在存储单元10的程序区域中存储的操作程序。如在图22中所例示，控制单元40实现如确定单元41、设定单元42、变换矩阵生成单元43、车身遮挡图像转换单元44、第一视场转换图像生成单元45、定位单元46、第二视场转换图像生成单元47、合成处理单元48以及参考车身遮挡图像生成单元49一样的功能，并且执行用于控制车内装置2的总体操作的控制处理和例如参考车身遮挡图像生成处理的处理，其将在后面详细描述。
除了在实施例1中的上述处理，变换矩阵生成单元43基于在存储单元10的数据区域中存储的理想布置参数，根据等式(2)来计算从车辆坐标系统变换至右理想摄像机RM的摄像机坐标系统的变换矩阵PCAR→CAM RM和从车辆坐标系统变换至在左理想摄像机LM的摄像机坐标系统的变换矩阵PCAR→CAM LM。
另外，变换矩阵生成单元43基于在存储单元10的数据区域中存储的右摄像机3R和左摄像机3L的布置参数，根据等式(2)来生成变换矩阵PCAR→CAM L的逆矩阵P-1 CAR→CAM R和变换矩阵PCAR→CAM L的逆矩阵P-1 CAR→CAM R。
参考车身遮挡图像生成单元49基于在存储单元10的数据区域中存储的理想车身遮挡图像来生成参考车身遮挡图像。
下面将参考图23详细描述通过参考车身遮挡图像生成单元49进行的处理。图23是用于解释根据实施例2的生成参考车身遮挡图像的方法的视图。下面将描述与右摄像机3R对应的处理，其类似于与左摄像机3L对应的处理。另外，将基于在批量生产的车辆中摄像机3的附接位置的偏差是可忽略的假设来描述实施例2。
假设，与在右摄像机3R的参考车身的遮挡图像上的任意像素坐标(x，y)R对应的在理想车身遮挡图像上的像素坐标是(x，y)RM。像素坐标(x，y)R可根据下列等式(10)变换成在右摄像机3R的摄像机坐标系统中的入射光矢量VCAM R并且在右摄像机3R的摄像机坐标系统中的入射光矢量VCAM R可根据下列等式(11)变换成在车辆坐标系统中的入射光矢量VR CAR。
vCAM RP＝TR -1((x，y)P)·····(10)
vP CAR＝P-1 CAR→CAM RP×vCAM RP·····(11)
由于车辆坐标系统不依赖于摄像机3的布置角，所以在车辆坐标系统中右摄像机3R的入射光矢量VR CAR可被认为等于在车辆坐标系统中右理想摄像机RM的入射光矢量VRM CAR。
因此，可根据以下等式(12)将在车辆坐标系统中的入射光矢量VR CAR(＝VRM CAR)转换成在右理想摄像机RM的摄像机坐标系统中的入射光矢量VCAM RM。
vCAM RM＝PCAR→CAM RM×vP CAR·····(12)
这里，如果右理想摄像机RM与批量生产的车辆的右摄像机3R之间的畸变(透镜畸变)上的差异可忽略，则可利用相同映射表TR根据下列等式(13)将在右理想摄像机RM的摄像机坐标系统中的入射光矢量VCAM RM变换成像素坐标(x，y)RM。
(x，y)M＝TR(vCAM RM)·····(13)
以这种方式，通过将在理想车身遮挡图像的指定像素坐标(x，y)RM处的像素值写入进参考车身遮挡图像的像素坐标(x，y)R来生成参考车身遮挡图像。
接下来，将参考图24来描述根据实施例2的参考车身遮挡图像生成处理的流程。图24例示用于解释根据实施例2的参考车身遮挡图像生成处理的流程的示例性流程图。参考车身遮挡图像生成处理开始于例如作为触发器的通过操作单元20执行的预定操作。下面将描述与右摄像机3R对应的处理，其类似于与左摄像机3L对应的处理。
变换矩阵生成单元43基于右摄像机3R的布置参数根据等式(2)来计算变换矩阵PCAR→CAM R的逆矩阵P-1 CAR→CAM R(步骤S501)并且基于理想布置参数，根据等式(2)来计算从车辆坐标系统变换至右理想摄像机RM的摄像机坐标系统的变换矩阵PCAR→CAM RM(步骤S502)。
参考车身遮挡图像生成单元49清除车身遮挡图像缓冲器13(步骤S503)并且提取右摄像机3R的参考车身的遮挡图像的未处理像素坐标(x，y)R(步骤S504)。
另外，参考车身遮挡图像生成单元49根据等式(10)将所提取的像素坐标(x，y)R变换至在右摄像机3R的摄像机坐标系统中的入射光矢量VCAM R(步骤S505)并且根据等式(11)将在右摄像机3R的摄像机坐标系统中的入射光矢量VCAM R变换成在车辆坐标系统中的入射光矢量VR CAR(步骤S506)。
另外，参考车身遮挡图像生成单元49根据以下等式(12)将在车辆坐标系统中的入射光矢量VR CAR(＝VRM CAR)变换至在右理想摄像机RM的摄像机坐标系统中的入射光矢量VCAM RM(步骤S507)并且根据等式(13)来指定与输入光矢量VCAM RM对应的右理想摄像机RM的理想车身的遮挡图像的像素坐标(x，y)RM(步骤S508)。
另外，参考车身遮挡图像生成单元49将在指定的像素坐标(x，y)RM处的参考车身遮挡图像的值写入要处理的对象的像素坐标(x,y)R(步骤S509)并且确定是否已处理了在右摄像机3R的参考车身的遮挡图像上的所有像素坐标(步骤S510)。
如果还剩有任何未处理的像素坐标(步骤S510处的“否”)，则处理返回至步骤S302并且重复步骤S504之后的步骤。另一方面，如果对于所有像素坐标写入了在指定像素坐标(x，y)RM处的理想车身遮挡图像的值(在步骤S510处的“是”)，则参考车身遮挡图像生成单元49在存储单元10的数据区域中存储所生成的车身遮挡图像(步骤S511)并且处理结束。
根据实施例2，基于实际摄像机3的布置参数，通过转换理想车身遮挡图像来生成每个车辆的参考车身遮挡图像。通过该配置，可在制造批量生产的且具有变化的摄像机3的布置参数的车辆时减少处理的数量，这使制造效率得到改善。
(实施例3)
将通过实施例3来描述基于车身形状数据来生成批量生产的车辆的参考车身的遮挡图像的方法。
除了车身形状数据而非理想车身遮挡图像被存储在存储单元10的数据区域中之外，根据实施例3的车内装置2具有与实施例2中的车内装置相同的基本配置。另外，控制器40的通常功能单元中的一部分(例如，变换矩阵生成单元43和参考车身遮挡图像生成单元49)在作用上与实施例2中的那些稍有不同。
车身形状数据是(例如)对车辆的形状进行建模的在车辆坐标系统中限定的三维多边形数据，如图25中所例示。
除了实施例1中的上述处理之外，变换矩阵生成单元43基于在存储单元10的数据区域中存储的右摄像机3R和左摄像机3L的布置参数，根据等式2来生成变换矩阵PCAR→CAM R的逆矩阵P-1 CAR→CAM R和变换矩阵PCAR→CAM L的逆矩阵P-1 CAR→CAM L。
参考车身遮挡图像生成单元49基于在存储单元10的数据区域中存储的车身形状数据来生成参考车身遮挡图像。
下面将参考图25更详细地描述通过参考车身遮挡图像生成单元49进行的处理。图25是用于解释根据实施例3的生成参考车身遮挡图像的方法的视图。下面将描述与右摄像机3R对应的处理，其类似于与左摄像机3L对应的处理。
可根据等式(10)将在右摄像机3R的参考车身的遮挡图像上的任意像素坐标(x，y)R变换成在右摄像机3R的摄像机坐标系统中的入射光矢量VCAM R，并且可根据等式(11)将在右摄像机3R的摄像机坐标系统中的入射光矢量VCAM R变换成在车辆坐标系统中的入射光矢量VR CAR。
这里假设右摄像机3R在车辆坐标系统中的布置坐标是(TxR，TyR，TzR)。此时，如果在与矢量VR CAR相反的方向上从布置坐标(TxR，TyR，TzR)延伸的线段在构成车身形状数据的多边形内与构成车身区域的多边形具有交点，则认为其是车身区域并且将值“0”作为像素值写入像素坐标(x，y)R。另一方面，如果延伸的线段与构成车身区域的多边形不具有交点，则认为其不是车身区域并且将值“1”作为像素值写入像素坐标(x，y)R。
接下来，将参考图26来描述根据实施例3的参考车身遮挡图像生成处理的流程。图26例示用于解释根据实施例3的参考车身遮挡图像生成处理的流程的示例性流程图。参考车身遮挡图像生成处理开始于(例如)作为触发器的通过操作单元20执行的预定操作。下面将描述与右摄像机3R对应的处理，其类似于与左摄像机3L对应的处理。
变换矩阵生成单元43基于右摄像机3R的布置参数根据等式(2)来计算变换矩阵PCAR→CAM R的逆矩阵P-1 CAR→CAM RB(步骤S601)。
另外，参考车身遮挡图像生成单元49清除车身遮挡图像缓冲器13(步骤S602)并且在右摄像机3R的参考车身的遮挡图像上提取未处理像素坐标(x，y)R(步骤S603)。
另外，参考车身遮挡图像生成单元49根据等式(10)将所提取的像素坐标(x，y)R变换至在右摄像机3R的摄像机坐标系统中的入射光矢量VCAM R(步骤S604)并且根据等式(11)将在右摄像机3R的摄像机坐标系统中的入射光矢量VCAM R转换至在车辆坐标系统中的入射光矢量VR CAR(步骤S605)。
另外，参考车身遮挡图像生成单元49基于在车辆坐标系统中的入射光矢量VR CAR来计算在构成车身形状数据的多边形内与构成车身区域的多边形的交点CP(步骤S606)，以确定是否存在交点CP(步骤S607)。即，确定是否能计算交点CP。
如果交点CP存在(步骤S607的“是”)，则将像素值“0”写入进要处理的对象的像素坐标(x，y)R(步骤S608)。如果交点CP不存在(步骤S607的“否”)，则将像素值“1”写入进要处理的对象的像素坐标(x，y)R(步骤S609)。
另外，参考车身遮挡图像生成单元49确定是否已处理了右摄像机3R的参考车身的遮挡图像上的所有像素坐标(步骤S610)。
如果还剩有任何未处理的像素坐标(步骤S610处的“否”)，则处理返回至步骤S603并且重复步骤S603之后的步骤。另一方面，如果对于所有像素坐标写入了像素值(在步骤S610处的“是”)，则参考车身遮挡图像生成单元49在存储单元10的数据区域中存储所生成的车身遮挡图像(步骤S611)并且处理结束。
根据实施例3，基于车身形状数据和右摄像机3R(或左摄像机3L)的布置参数来生成参考车身遮挡图像。通过该配置，即使在右摄像机3R(或左摄像机3L)的布置位置中存在偏差时，仍可生成车身遮挡图像。
图27是例示在每个实施例中的车内系统1的硬件配置示例的视图。图14(或图22)中例示的车内装置2可以利用(例如)图27中例示的各种硬件来实现。在图27的示例中，车内装置2包括CPU201、RAM202、ROM203、HDD204、连接至摄像机3的摄像机接口205、连接至监视器4的监视器接口206、连接至距离传感器5的传感器接口207、无线通信模块208以及读取器209，这些全部经由总线211互连。
CPU201将在HDD204中存储的操作程序加载进RAM202中并且在利用RAM202作为工作存储器的同时执行各种处理。CPU201可执行操作程序以实现在图14(或图22)中例示的控制器40的各种功能单元。
另外，上述处理可通过以下操作来执行：将用于执行上述操作的操作程序存储进计算机可读记录介质212(例如软盘、CD-ROM(光盘只读存储器，Compact Disk-Read Only Memory)、DVD(数字通用光盘，DigitalVersatile Disk)、MO(磁光盘，Magnetic Optical disk)等)、分配操作程序、用车内装置2的读取器209读取所分配的操作程序，并且将所读取的操作程序安装在计算机中。另外，操作程序可存储进因特网上的服务器的磁盘驱动器等中并且经由无线通信模块208下载到车内装置2的计算机。
另外，根据某些实施例，可以采用除RAM202、ROM203以及HDD204以外的不同类型的存储器。例如，车内装置2可采用例如CAM(内容可寻址存储器，Content Addressable Memory)、SRAM(静态随机存取存储器，Static Random Access Memory)、SDRAM(同步动态随机存取存储器，Synchronous Dynamic Random Access Memory)等的存储器。
无线通信模块208是在无线连接中处理物理层的硬件。无线通信模块208的示例可包括ADC(模数转换器，Analog-to-Digital Converter)、DAC(数模转换器，Digital-to-Analog Converter)、调制器、解调器、编码器、解码器等。
另外，根据一些实施例，车内系统1的硬件配置可不同于图27的硬件配置，并且具有与图27中例示的那些硬件不同的标准和类型的硬件可以应用于车内系统1。
例如，图14(或图22)中例示的车内装置2的控制器40的各种功能单元可利用硬件电路来实现。具体地，图14(或图22)中例示的车内装置2的控制器40的各种功能单元可利用可重构电路(例如FPGA(现场可编程逻辑门阵列，Field Programmable Gate Array)等)、ASIC(专用集成电路，Application Specific Integrated Circuit)等而非CPU201来实现。当然，这些功能单元可利用CPU201和硬件电路两者。
上面已描述了几个示例性实施例。然而，应理解的是，可对本公开的实施例进行各种变形和修改。例如，上面的实施例并不意在进行限制，而是在不背离本发明的思想和范围的情况下可以各种方式进行修改和实践。另外，本领域的技术人员还应理解的是，可通过从上面的实施例中删除一些元件，用其他元件替换一些元件或将一些元件添加进上面的实施例中来实践不同的实施例。

Claims (9)

1.一种图像处理装置，包括：
第一视场转换单元，其配置成将第一摄像机的图像转换成在所述第一摄像机的视场内的具有任意视场的图像，所述第一摄像机配备在车辆中并且布置成将车身的一部分包括在图像拍摄范围中；
第二视场转换单元，其配置成将下述盲区图像，即，对周边环境的图像进行拍摄的第二摄像机的、充当所述第一摄像机所拍摄的图像中车身区域的盲区的图像，转换成具有与由所述第一视场转换单元进行视场转换之后所获得的图像的视场相同的视场的盲区图像；以及
合成单元，其配置成将与通过所述第二视场转换单元的转换而获得的盲区图像对应的区域组合至通过所述第一视场转换单元的视场转换之后而获得的图像的车身区域。
2.根据权利要求1所述的图像处理装置，还包括：
存储单元，其配置成存储车身遮挡图像，所述车身遮挡图像表示在所述第一摄像机所拍摄的图像中的车身区域；
车身遮挡图像转换单元，其配置成对在所述存储单元中所存储的所述车身遮挡图像进行转换，以具有与由所述第一视场转换单元进行视场转换之后所获得的图像的视场相同的视场，
其中，所述合成单元基于在由所述车身遮挡图像转换单元进行视场转换之后所获得的车身遮挡图像来指定合成区域。
3.根据权利要求2所述的图像处理装置，还包括生成单元，所述生成单元配置成生成所述车身遮挡图像。
4.根据权利要求3所述的图像处理装置，其中，所述生成单元根据所述第一摄像机的布置条件，通过对在参考布置条件下创建的车身遮挡图像进行转换来生成所述车身遮挡图像。
5.根据权利要求3所述的图像处理装置，其中，所述生成单元基于依照所述车辆的形状和表示所述第一摄像机的布置条件的布置参数所建模的车辆形状数据来生成所述车身遮挡图像。
6.根据权利要求1至5中的任意一项所述的图像处理装置，还包括改变单元，所述改变单元配置成改变所述任意视场。
7.根据权利要求1至6中的任意一项所述的图像处理装置，其中，所述合成单元以保留所述车身的轮廓的方式来合成所述区域。
8.根据权利要求1至7中任意一项所述的图像处理装置，还包括显示单元，所述显示单元配置成在显示屏幕上显示由所述合成单元得到的合成结果。
9.一种图像处理方法，包括：
将第一摄像机的图像转换成在所述第一摄像机的视场内的具有任意视场的图像，所述第一摄像机配备在车辆中并且布置成将车身的一部分包括在图像拍摄范围中；
将下述盲区图像，即，对周边环境的图像进行拍摄的第二摄像机的、充当所述第一摄像机所拍摄的图像中车身区域的盲区的图像，转换成具有与在所述第一摄像机的图像的转换之后所获得的图像的视场相同的视场的盲区图像；以及
将与通过盲区图像的转换而获得的盲区图像对应的区域组合至在对所述第一摄像机的图像进行转换之后而获得的图像的车身区域。
CN201410445923.8A 2013-10-11 2014-09-03 图像处理装置和方法 Pending CN104581042A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013214215A JP2015074436A (ja) 2013-10-11 2013-10-11 画像処理装置、画像処理方法、及び、プログラム
JP2013-214215 2013-10-11

Publications (1)

Publication Number Publication Date
CN104581042A true CN104581042A (zh) 2015-04-29

Family

ID=51300646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410445923.8A Pending CN104581042A (zh) 2013-10-11 2014-09-03 图像处理装置和方法

Country Status (5)

Country Link
US (1) US20150103172A1 (zh)
EP (1) EP2860691A3 (zh)
JP (1) JP2015074436A (zh)
KR (1) KR101617956B1 (zh)
CN (1) CN104581042A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107284356A (zh) * 2016-06-20 2017-10-24 梅克朗有限两合公司 车辆视镜替代系统
CN107636723A (zh) * 2015-05-06 2018-01-26 罗伯特·博世有限公司 用于产生车辆的车辆周围环境的整体图像的方法以及相应的设备
CN109417611A (zh) * 2016-07-13 2019-03-01 索尼公司 图像生成设备、图像生成方法和程序

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015209391A1 (de) * 2015-05-22 2016-11-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erzeugen einer Maskierungsvorschrift sowie zum Maskieren einer Bildinformation einer Kamera
US9902322B2 (en) * 2015-10-30 2018-02-27 Bendix Commercial Vehicle Systems Llc Filling in surround view areas blocked by mirrors or other vehicle parts
SE539443C2 (en) * 2016-02-10 2017-09-26 Scania Cv Ab System for reducing a blind spot for a vehicle
JP2018117320A (ja) 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
BR112019022798A2 (pt) 2017-12-14 2020-05-26 Canon Kabushiki Kaisha Dispositivo de geração, método de geração e programa para modelo tridimensional
JP6930935B2 (ja) * 2018-03-13 2021-09-01 萩原電気ホールディングス株式会社 画像合成装置及び画像合成方法
JP7021001B2 (ja) * 2018-05-25 2022-02-16 アルパイン株式会社 画像処理装置および画像処理方法
JP7301476B2 (ja) * 2019-08-06 2023-07-03 アルパイン株式会社 画像処理装置
JP7280006B2 (ja) * 2019-08-06 2023-05-23 アルパイン株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN112640420B (zh) * 2020-03-20 2023-01-17 深圳市大疆创新科技有限公司 电子装置的控制方法、装置、设备及系统
US11726188B2 (en) * 2020-04-22 2023-08-15 Gm Cruise Holdings Llc Eliminating sensor self-hit data
JP7467000B2 (ja) 2020-07-27 2024-04-15 アルプスアルパイン株式会社 画像処理装置および画像処理方法
CN116739908A (zh) * 2022-03-02 2023-09-12 华为技术有限公司 图像处理方法、装置及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0949818A2 (en) * 1998-04-07 1999-10-13 Matsushita Electric Industrial Co., Ltd. On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus
US20030108222A1 (en) * 2001-12-12 2003-06-12 Kabushikikaisha Equos Research Image processing system for vehicle
US20050030380A1 (en) * 2003-08-08 2005-02-10 Nissan Motor Co., Ltd. Image providing apparatus, field-of-view changing method, and computer program product for changing field-of-view
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
CN101788304A (zh) * 2009-01-22 2010-07-28 广东电子工业研究院有限公司 一种具备多路视频记录的车载导航及影音多媒体系统
WO2011028686A1 (en) * 2009-09-01 2011-03-10 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
CN102632839A (zh) * 2011-02-15 2012-08-15 汽车零部件研究及发展中心有限公司 一种基于后视图像认知的车载盲区预警系统及方法
CN102714712A (zh) * 2010-01-19 2012-10-03 富士通天株式会社 图像处理设备、图像处理系统和图像处理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP4593070B2 (ja) * 2001-12-12 2010-12-08 株式会社エクォス・リサーチ 車両の画像処理装置
JP4364471B2 (ja) * 2001-12-28 2009-11-18 株式会社エクォス・リサーチ 車両の画像処理装置
JP4762698B2 (ja) * 2005-11-30 2011-08-31 アルパイン株式会社 車両周辺画像表示装置
KR100956858B1 (ko) * 2009-05-19 2010-05-11 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
JP5953824B2 (ja) * 2012-03-02 2016-07-20 日産自動車株式会社 車両用後方視界支援装置及び車両用後方視界支援方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0949818A2 (en) * 1998-04-07 1999-10-13 Matsushita Electric Industrial Co., Ltd. On-vehicle image display apparatus, image transmission system, image transmission apparatus, and image capture apparatus
US20030108222A1 (en) * 2001-12-12 2003-06-12 Kabushikikaisha Equos Research Image processing system for vehicle
US20050030380A1 (en) * 2003-08-08 2005-02-10 Nissan Motor Co., Ltd. Image providing apparatus, field-of-view changing method, and computer program product for changing field-of-view
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
CN101788304A (zh) * 2009-01-22 2010-07-28 广东电子工业研究院有限公司 一种具备多路视频记录的车载导航及影音多媒体系统
WO2011028686A1 (en) * 2009-09-01 2011-03-10 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
CN102714712A (zh) * 2010-01-19 2012-10-03 富士通天株式会社 图像处理设备、图像处理系统和图像处理方法
CN102632839A (zh) * 2011-02-15 2012-08-15 汽车零部件研究及发展中心有限公司 一种基于后视图像认知的车载盲区预警系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107636723A (zh) * 2015-05-06 2018-01-26 罗伯特·博世有限公司 用于产生车辆的车辆周围环境的整体图像的方法以及相应的设备
CN107284356A (zh) * 2016-06-20 2017-10-24 梅克朗有限两合公司 车辆视镜替代系统
CN107284356B (zh) * 2016-06-20 2019-09-13 梅克朗有限两合公司 车辆视镜替代系统
CN109417611A (zh) * 2016-07-13 2019-03-01 索尼公司 图像生成设备、图像生成方法和程序
US10857942B2 (en) 2016-07-13 2020-12-08 Sony Corporation Image generating device, image generating method, and program

Also Published As

Publication number Publication date
EP2860691A2 (en) 2015-04-15
JP2015074436A (ja) 2015-04-20
US20150103172A1 (en) 2015-04-16
EP2860691A3 (en) 2015-07-22
KR20150042698A (ko) 2015-04-21
KR101617956B1 (ko) 2016-05-03

Similar Documents

Publication Publication Date Title
CN104581042A (zh) 图像处理装置和方法
US10659757B2 (en) Light field capture
JP2022110079A (ja) 事前定義されたビューポイントルックアップテーブルを用いるサラウンドビューのための３次元レンダリング
JP4642723B2 (ja) 画像生成装置および画像生成方法
JP4257356B2 (ja) 画像生成装置および画像生成方法
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
TWI524306B (zh) 圖像轉換和多視圖輸出系統及方法
US20120120240A1 (en) Video image conversion device and image capture device
WO2015002031A1 (ja) 映像表示システム、映像合成装置及び映像合成方法
WO2000064175A1 (fr) Dispositif de traitement d'images et systeme de surveillance
JP2006050263A (ja) 画像生成方法および装置
JP6255928B2 (ja) 俯瞰画像生成装置
WO2016125371A1 (ja) 画像生成装置、座標変換テーブル作成装置および作成方法
KR20130016335A (ko) 처리대상화상 생성장치, 처리대상화상 생성방법, 및 조작지원 시스템
US10384606B2 (en) Method for assembling single images recorded by a camera system from different positions, to form a common image
JP5195592B2 (ja) 映像処理装置
KR20130018869A (ko) 화상생성장치 및 조작지원 시스템
JP2018509799A (ja) 車両の車両周辺部の歪無い表示のための方法、並びに、装置
JP5861871B2 (ja) 俯瞰画像提示装置
CN108765499B (zh) 一种车载非gpu渲染360度立体环视实现方法
JP4791222B2 (ja) 表示制御装置
CN111402132B (zh) 倒车辅助方法及系统、图像处理器及相应的辅助驾驶系统
KR101469717B1 (ko) 광각 카메라를 이용한 영상 시스템 및 그 방법
JP2020135206A (ja) 画像処理装置、車載用カメラシステム及び画像処理方法
JP2008294616A (ja) 運転支援システム及び車両

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150429