CN110087022B - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN110087022B
CN110087022B CN201910073541.XA CN201910073541A CN110087022B CN 110087022 B CN110087022 B CN 110087022B CN 201910073541 A CN201910073541 A CN 201910073541A CN 110087022 B CN110087022 B CN 110087022B
Authority
CN
China
Prior art keywords
image
unit
final
vehicle
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910073541.XA
Other languages
English (en)
Other versions
CN110087022A (zh
Inventor
渡边一矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Co Ltd
Original Assignee
Aisin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Co Ltd filed Critical Aisin Co Ltd
Publication of CN110087022A publication Critical patent/CN110087022A/zh
Application granted granted Critical
Publication of CN110087022B publication Critical patent/CN110087022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/006—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理装置(100)，包括：获取单元(24d)，其基于从捕获车辆(10)的周围情况的图像捕获单元(14，14a，14b，14c，14d)输出的捕获图像数据获取第一图像；中间图像生成单元(28)，其通过执行中间图像生成处理来生成第二图像，该中间图像生成处理执行将第一图像从该第一图像的视点转换为显示在显示装置(16)的显示区域上的最终图像的视点的视点转换处理并且将转换后的图像的像素数改变为大于最终图像的最终像素数的第二像素数；以及最终图像生成单元(30)，其执行缩小处理使得第二像素数设定为最终像素数。

Description

图像处理装置
技术领域
本公开的实施方式涉及图像处理装置。
背景技术
在相关技术中，当基于由成像装置(摄像机)捕获的捕获图像数据而在显示装置上显示图像时，需要将图像的尺寸缩小为适合于该显示装置的显示区域的尺寸。在这种情况下，例如，可以使用诸如双线性插值的图像处理技术。然而，已知在执行双线性插值等时，如果图像被缩小为其原始尺寸的50％或更小，则会发生像素遗漏等，并且因此导致图像质量劣化。因此，例如，已经提出了一种技术，其在使用双线性插值等时通过多次执行缩小处理使得缩小率不会变为50％或更少，从而生成具有期望尺寸(像素数)的图像。
近年来，配备有车载摄像机的车辆的数量增大，而且在车载显示装置上依次显示捕获图像的情况的数量增大。当在车辆上显示图像时，执行各种处理以用于不仅显示捕获图像，而且还允许驾驶员容易地识别车辆周围的情况。例如，主要显示用户想要关注的图像的部分，或者显示通过鸟瞰观察车辆的整个周围而获得的鸟瞰图像。此时，由于车载显示装置的显示区域的尺寸有限，因此捕获图像的一部分的尺寸(像素数)可以缩小至其50％或更少。因此，如果可以提供一种图像处理装置——该图像处理装置通过使用车载装置的有限处理能力在轻负荷下更快速地处理由车载摄像机捕获的图像来提供高质量缩小图像——是有意义的。
发明内容
根据本公开的实施方式的图像处理装置包括：获取单元，其基于从捕获车辆的周围情况的图像捕获单元输出的捕获图像数据获取第一图像；中间图像生成单元，其通过执行中间图像生成处理来生成第二图像，该中间图像生成处理执行将第一图像从该第一图像的视点转换为显示在显示装置的显示区域上的最终图像的视点的视点转换处理并且将转换后的图像的像素数改变为大于最终图像的最终像素数的第二像素数；以及最终图像生成单元，其执行缩小处理使得第二图像的第二像素数设定为最终图像的最终像素数。例如，在对由图像捕获单元捕获的图像执行视点转换处理时，靠近图像捕获单元的部分的缩小率倾向于小于远离图像捕获单元的部分的缩小率。然而，利用该配置，例如，在应用视点转换处理的步骤中生成具有第二像素数的第二图像，第二像素数大于显示在显示装置上的最终图像的最终像素数。也就是说，由于视点转换是在缩小率较高并且尺寸(像素数)相对较大的步骤中执行的，因此难以出现图像内部的过度缩小部分(例如，像素遗漏部分)。此外，在这种状态下，由于像素数缩小至最终像素数，因此可以在轻负荷下快速且均匀地缩小整个第二图像，使得图像质量的部分变化被抑制，并且可以生成具有减少的图像质量劣化并且适合于显示的最终图像。
在本公开的实施方式中，图像处理装置的获取单元可以基于从捕获车辆的周围情况的多个图像捕获单元输出的捕获图像数据获取多个第一图像，并且中间图像生成单元可以通过将通过对多个第一图像执行视点转换处理而获得的图像彼此结合来生成合成图像作为第二图像。利用该配置，例如，在具有中间尺寸并且不受由缩小导致的像素遗漏影响的第二图像的步骤中，与最终图像的视点相同的合成图像被生成并且被缩小至最终图像。因此，减少了作为合成图像的最终图像的图像质量劣化，使得可以显示易于看到的图像。
在本公开的实施方式中，图像处理装置的中间图像生成单元可以例如生成其上叠加有附加图像的第二图像。利用这种配置，例如，由于以像素数大的阶叠加的附加图像(例如，图表等)的点之间的阶差(在绘制曲线等时点的连接部分的轻微振动)，因此整个附加图像变得平滑。因此，可以减轻最终图像中的附加图像的不自然性，并且可以生成易于看到的图像。
在本公开的实施方式中，当第二图像的第二像素数缩小至最终像素数时，最终图像生成单元可以以50％或更大的缩小率多次执行缩小处理。
附图说明
根据参照附图考虑的以下详细描述，本公开的前述特征和特点以及附加特征和特点将变得更明显，在附图中：
图1是示意性地示出根据实施方式的图像处理装置可以安装在其上的车辆的示例的平面图；
图2是示出包括根据实施方式的图像处理装置的图像处理系统的配置的示例性框图；
图3是示出根据该实施方式的图像处理装置的中央处理单元(CPU)的配置的示例性框图；
图4是示出其中叠加有附加图像的具有中间尺寸的第二图像的示意图，其作为由根据实施方式的图像处理装置处理的图像的示例；
图5是示出其中叠加有附加图像的最终图像的示意图，其作为由根据实施方式的图像处理装置处理的图像的示例；以及
图6是示出显示装置的显示屏幕的示例的示意图，在该显示装置的显示屏幕上显示有由根据实施方式的图像处理装置处理的图像。
具体实施方式
在下文中，公开了此处的示例性实施方式。下述实施方式的配置以及通过该配置获得的动作、结果和效果均是示例。本公开可以通过以下实施方式中公开的配置之外的配置来实现，并且可以基于基本配置获得各种效果及派生效果中的至少一种。
图1是示意性地示出其上安装有根据本实施方式的图像处理装置的车辆10的平面图。车辆10可以是使用内燃机(发动机，未示出)作为驱动源的车辆(内燃机车辆)，可以是使用电动马达(马达，未示出)作为驱动源的车辆(电动车辆、燃料电池车辆等)，以及可以是使用发动机和马达二者作为驱动源的车辆(混合动力车辆)。此外，车辆10可以具有安装在其上的各种变速器，并且可以具有安装在其上并且是驱动内燃机和电动机所必需的各种装置(系统、部件等)。此外，可以不同地设定与驱动车辆10的车轮12(前轮12F和后轮12R)有关的装置的类型、数量、布局等。
如图1所示，例如，在车辆10中设置有四个图像捕获单元14a至14d作为多个图像捕获单元14。图像捕获单元14例如是数码摄像机，该数码摄像机具有嵌入其中的成像元件，诸如电荷耦合器件(CCD)和CMOS图像传感器(CIS)。图像捕获单元14可以以预定的帧速率输出运动图像数据(捕获图像数据)。图像捕获单元14中的每个可以具有广角镜头或鱼眼镜头，并且可以在水平方向上在例如140度至220度的范围内执行成像。此外，在一些情况下，图像捕获单元14的光轴可以设定成倾斜向下。因此，图像捕获单元14输出通过连续拍摄车辆10外部的周围环境而获得的捕获图像数据，所述周围环境包括车辆10可在其上运动的路面、附加至路面上的标记(包括箭头、标记线、指示停车空间的线、车道分隔线等)以及物体(例如，作为障碍物的行人、车辆等)。
图像捕获单元14设置在车辆10的外周部分上。例如，图像捕获单元14a设置在车辆10的前侧，即，在前后方向上的车辆10的前侧上处于车辆10在车辆宽度方向上的大致中央部分处，例如在前保险杠10a处、前格栅处等，并且可以捕获包括车辆10的前端部分(例如，前保险杠10a)的前方图像。此外，图像捕获单元14b设置在车辆10的后侧，即，在前后方向上的车辆10的后侧上处于车辆10在车辆宽度方向上的大致中央部分处，例如在后保险杠10b上方，并且可以捕获包括车辆10的后端部分(例如，后保险杠10b)的后方图像。此外，例如，图像捕获单元14c设置在车辆10的右端部分、例如右门镜10c处，并且可以捕获包括以车辆10的右侧为中心的区域(例如，从右前侧到右后侧的区域)的右方图像。此外，例如，图像捕获单元14d设置在车辆10的左端部分、例如左门镜10d处，并且可以捕获包括以车辆10的左侧为中心的区域(例如，从左前侧到左后侧的区域)的左方图像。
基于由多个图像捕获单元14获得的捕获图像数据来执行算术处理或图像处理，使得可以生成具有更宽视角的图像以及通过从上侧、前侧、横向侧等观察车辆10而获得的虚拟图像(鸟瞰图像(平面图像)、侧视图像、正视图像等)。可以在由每个图像捕获单元14捕获的捕获图像数据(图像)中设置彼此交叠的交叠区域。例如，由图像捕获单元14a捕获的捕获图像数据的右端部分与由图像捕获单元14c捕获的捕获图像数据的前端部分彼此交叠。因此，当连接(合成)两个图像时，可以执行混合处理，在该混合处理中，将前方图像的捕获图像数据的a％和右方图像的捕获图像数据的a％进行合成。随着混合处理被执行，前方图像和右方图像在逐渐改变的同时被合成，使得由亮度和色彩的差异导致的边界线可以变得不明显。同样，在前方图像与左方图像之间、左方图像与后方图像之间以及后方图像与右方图像之间执行混合处理，使整个合成周边图像中的边界线可以变得不明显。
图2是示出安装在车辆10上并且包括图像处理装置的图像处理系统100的配置的示例性框图。在车辆10的车辆内部设置有显示装置16和声音输出装置18。显示装置16例如是液晶显示器(LCD)、有机电致发光显示器(OELD)等。声音输出装置18例如是扬声器。此外，显示装置16被覆盖有诸如触摸板的透明的操作输入单元20。乘员(例如，驾驶员)可以通过操作输入单元20在视觉上识别出在显示装置16的显示屏幕上显示的图像。此外，乘员可以通过在与显示装置16的显示屏幕上显示的图像对应的位置处使用手指等触摸、按压或移动操作输入单元20的操作来执行输入操作。显示装置16、声音输出装置18、操作输入单元20等设置在监视器装置22中，监视器装置22例如位于车辆宽度方向、即，车辆10的仪表板的左右方向上的中央部分处。监视器装置22可以具有未示出的操作输入单元，例如开关、拨盘、操纵杆和按钮。监视器装置22还可以用作例如导航系统或音频系统。
此外，如图2所示，图像处理系统100(图像处理装置)除了图像捕获单元14(14a至14d)和监视器装置22之外还包括电子控制单元(ECU)24。在图像处理系统100(图像处理装置)中，ECU 24和监视器装置22通过作为电信线路的车载网络26彼此电连接。车载网络26配置为例如控制器区域网络(CAN)。ECU 24可以通过经由车载网络26发送控制信号来执行对各种系统的控制。此外，ECU 24可以通过车载网络26接收操作输入单元20和各种开关的操作信号、各种未示出的传感器的检测信号等。
ECU 24向监视器装置22发送与基于从图像捕获单元14获取的捕获图像数据生成的周围图像和声音有关的数据。ECU 24具有例如中央处理单元(CPU)24a、只读存储器(ROM)24b、随机存取存储器(RAM)24c、显示控制部24d、声音控制部24e、固态驱动器(SSD、闪速存储器)24f等。
CPU 24a读取存储(安装)在诸如ROM 24b的非易失性存储装置中的程序并且根据该程序执行算术处理。ROM 24b存储程序和用于执行该程序所需的参数。CPU 24a包括例如如图3所示的各种模块，并且执行与在显示装置16上显示的图像有关的处理。例如，CPU 24a对由图像捕获单元14捕获的捕获图像数据执行校正处理、算术处理、图像处理等以生成通过将多个图像结合而获得的周围图像(例如，鸟瞰图像)。下面将详细描述CPU 24a。
RAM 24c临时存储用于CPU 24a中的计算的各种数据。此外，在ECU 24中的算术处理期间，显示控制部24d主要执行显示在显示装置16上的显示图像的数据转换。显示控制部24d可以包括捕获单元，该捕获单元在维持由图像捕获单元14捕获的捕获图像数据的像素数的同时(维持原始图像质量的同时)获取图像，或者在将捕获图像数据依次缩小至预定尺寸的同时获取图像。因此，显示控制部24d用作图像的“获取单元”。在维持原始图像质量的同时获取图像的情况下以及在执行诸如模式识别和形状识别的处理时使用捕获图像数据的情况下，显示控制部24d是有利的。此外，当捕获图像数据缩小时，显示控制部24d可以以50％或更大的缩小率执行缩小，从而抑制或减少由于捕获处理期间的像素遗漏的图像质量劣化。捕获单元可以配置有硬件或软件。当用硬件配置捕获单元时，与用软件配置捕获单元的情况相比，捕获和缩小图像的速度可以提高并且ECU 24的负荷可以减小。此外，在ECU 24中的算术处理期间，声音控制部24e主要执行对从声音输出装置18输出的语音数据的处理。即使在ECU 24关闭时，作为可重写非易失性存储单元的SSD 24f也能够存储数据。CPU 24a、ROM 24b、RAM 24c等可以集成在同一预装件中。此外，ECU 24可以配置成使用诸如数字信号处理器(DSP)、逻辑电路等的另一逻辑运算处理器以替代CPU 24a。此外，可以设置硬盘驱动器(HDD)以替代SSD 24f，并且SSD 24f和HDD可以与ECU 24分开设置。
在本实施方式中，ECU 24通过硬件和软件(控制程序)的协作来管理显示在显示装置16上的图像的图像生成处理。当对由图像捕获单元14捕获的捕获图像数据(图像)执行例如视点转换处理等的图像处理并且在显示装置16上显示捕获图像数据时，在将由图像捕获单元14捕获的图像的尺寸(像素数)缩小至该图像可以显示在显示装置16上的尺寸的同时，ECU 24转换显示形式，使得该图像变为在驱动车辆10时有用的图像信息。例如，ECU 24可以实现视点转换图像显示模式，在该模式下，由多个图像捕获单元14捕获的捕获图像数据被合成并且被转换为鸟瞰图像，并且转换后的鸟瞰图像被显示在显示装置16上。ECU 24可以提供实际图像显示模式，在该模式下，不执行视点转换处理，由图像捕获单元14捕获的捕获图像数据按原样显示在显示装置16上，或者捕获图像数据经过失真校正或剪切处理和缩小处理并被显示在显示装置16上。
图3是示出包括在ECU 24中的CPU 24a的配置的示例性框图。CPU 24a包括用于执行上述图像处理的各种模块。随着CPU 24a读取并执行安装并存储在诸如ROM 24b的存储装置中的程序而实现各种模块。例如，如图3所示，CPU 24a包括诸如中间图像生成单元28、最终图像生成单元30、实际图像处理单元32、模式切换单元34和输出单元36的模块。此外，中间图像生成单元28包括第一图像获取单元28a、视点转换单元28b、中间缩小单元28c、合成单元28d、附加图像获取单元28e和叠加处理单元28f。此外，最终图像生成单元30包括中间图像获取单元30a、最终缩小单元30b等。实际图像处理单元32包括第一图像获取单元32a、失真校正单元32b、剪切处理单元32c、实际图像缩小单元32d、存储处理单元32e等。
中间图像生成单元28生成例如中间图像——该中间图像是显示鸟瞰图像所需的，该鸟瞰图像的视点被转换并且该鸟瞰图像是通过鸟瞰观察车辆10周围而获得的——作为相对于由图像捕获单元14输出并由显示控制部24d捕获的第一图像被显示在显示装置16的显示区域上的最终图像。中间图像是第二图像，第二图像通过下述方式——通过对第一图像应用视点转换处理将其视点从第一图像的视点转换为与显示在显示装置16的显示区域上的最终图像的视点相同的视点，并且通过执行中间图像生成处理使得第二像素数大于最终图像的最终像素数——而获得。此外，可以通过执行导致各种附加图像彼此叠加的处理来获得中间图像。因此，中间图像生成单元28生成图像，在与显示在显示装置16上的最终图像相同的视点处，该图像的像素数大于最终图像的最终像素数。最终图像是在执行缩小处理之后显示在显示装置16的显示区域上的图像。此外，最终像素数是显示在显示装置16上的最终图像的像素数。
最终图像生成单元30执行用于基于由中间图像生成单元28生成的第二图像来生成将要显示在显示装置16的显示区域中的最终图像的处理。
实际图像处理单元32在不对捕获图像数据执行视点转换处理的情况下执行在显示装置16上显示由图像捕获单元14捕获的捕获图像数据或者将捕获图像数据临时存储为将要在单独的图像处理中使用的数据的处理。
当图像基于由图像捕获单元14捕获的捕获图像数据显示在显示装置16上时，模式切换单元34基于操作输入单元20的操作来切换显示模式。例如，执行在下述显示模式——显示由最终图像生成单元30转换视点的最终图像以及由实际图像处理单元32处理的实际图像的显示模式、仅显示由实际图像处理单元32处理的实际图像的显示模式、以及导航屏幕、音频屏幕等显示为正常屏幕的显示模式——之间的切换等。
输出单元36向显示控制部24d输出由最终图像生成单元30生成并且其视点由最终图像生成单元30转换的最终图像、由实际图像处理单元32处理的实际图像等，并且在显示装置16上显示最终图像、实际图像等。
中间图像生成单元28的第一图像获取单元28a依次获取由显示控制部24d获得的每个图像捕获单元14的捕获图像数据作为第一图像。如上所述，例如，显示控制部24d可以捕获处于维持由图像捕获单元14捕获的捕获图像数据的像素数的状态(原始图像质量状态)下的图像，或者可以在捕获图像数据的像素数被依次缩小至预定尺寸的同时捕获图像。假设当例如通过鸟瞰观察车辆10周围而获得的鸟瞰图像被作为最终图像显示在车载显示装置16上时，中间图像生成单元28的第一图像获取单元28a缩小并合成由图像捕获单元14捕获的捕获图像数据。因此，第一图像获取单元28a依次获取由显示控制部24d以预定的缩小率、例如，50％或更大的缩小率获得的捕获图像数据。可以基于中间图像生成单元28的缩小处理能力、由图像捕获单元14捕获的图像的像素数与最终图像的最终像素数之间的差等来适当地确定在显示控制部24d执行捕获时的缩小率。
视点转换单元28b和中间缩小单元28c彼此协作以生成其视点被转换并且具有第二像素数的相对于由第一图像获取单元28a获取的第一图像的第二图像，该第二像素数大于显示在显示装置16的显示区域中的最终图像的最终像素数。当基于由图像捕获单元14捕获的捕获图像数据的图像(实际图片)的视点被视点转换单元28b转换时，在由图像捕获单元14捕获的捕获图像数据中，缩小率趋向于在靠近图像捕获单元14的部分中比在远离图像捕获单元14的部分中更小。然而，由于中间缩小单元28c执行的缩小是在“图像具有大于最终图像的最终像素数的像素数”的限制下执行的，因此可以防止执行具有极小的缩小率的缩小处理，并且可以防止第一图像的一部分、例如第一图像的靠近图像捕获单元14的部分被过度缩小。也就是说，可以抑制由于在生成第二图像的步骤中的像素遗漏等的图像质量劣化。例如，当靠近图像捕获单元14的部分中存在光栅等时，在发生像素遗漏时的光栅的眼会变得粗糙，从而获得具有不自然性的图像。然而，可以抑制这种不便。
视点转换单元28b基于由每个图像捕获单元14捕获的捕获图像数据转换每个图像(第一图像)的视点，并且例如将图像转换为从车辆10上方的虚拟视点鸟瞰观察到的鸟瞰图像。视点转换单元28b可以适当地设定虚拟视点的位置。例如，当显示在显示装置16上的最终图像从车辆10的前侧面向车辆10时，虚拟视点的位置设定至车辆10的前方位置。同样，可以将虚拟视点的位置切换成从车辆10的后侧或横向侧面向车辆10。此外，例如，可以将虚拟视点设定成从车辆10面向车辆10的外部，使得当车辆10移动预定距离时从车辆10的位置处的驾驶员座位观看到的景象设定为最终图像。
此外，中间缩小单元28c可以多次执行缩小处理以将像素数缩小至第二像素数。然而，由于一次性缩小处理的缩小率变为50％或更大，因此抑制了由于缩小处理的诸如像素遗漏的图像质量劣化。中间缩小单元28c可以将第一图像的尺寸缩小至例如显示在显示装置16的显示区域中的最终图像的尺寸(像素数)的1.5至1.7倍。当在视点转换单元28b的视点转换处理期间生成具有大于最终图像的最终像素数的像素数的上述中间图像时，可以省略中间缩小单元28c。
合成单元28d将多个图像——其视点视点由转换单元28b转换——结合为一个图像。例如，图4示出了与中间图像对应的第二图像38的示意性合成示例。图4是以车辆10为中心的鸟瞰图像。例如，合成单元28d将基于图像捕获单元14a的捕获图像数据的鸟瞰图像的右端部分和基于图像捕获单元14c的捕获图像数据的鸟瞰图像的前端部分结合。类似地，合成单元28d将基于图像捕获单元14a的捕获图像数据的鸟瞰图像的左端部分和基于图像捕获单元14d的捕获图像数据的鸟瞰图像的前端部分结合。此外，合成单元28d将基于图像捕获单元14d的捕获图像数据的鸟瞰图像的后端部分和基于图像捕获单元14b的捕获图像数据的鸟瞰图像的左端部分结合，并且将基于图像捕获单元14b的捕获图像数据的鸟瞰图像的右端部分和基于图像捕获单元14c的捕获图像数据的鸟瞰图像的后端部分结合。此外，合成单元28d在结合处理期间执行混合处理，并且减少结合部分处由于图像的亮度和色彩之间的差异的不自然(边界线等)的发生。合成单元28d可以根据最终图像的显示模式改变合成形式。例如，当以鸟瞰图像不包括后方区域的方式来设计作为最终图像的鸟瞰图像时，合成单元28d使用根据图像捕获单元14a的前方图像以及根据图像捕获单元14c和图像捕获单元14d的横向侧图像来合成三侧的鸟瞰图像。此外，例如，当指定最终图像显示成从车辆10的右侧面向车辆10时，合成单元28d将仅使用根据图像捕获单元14c的右方图像的图像设定为合成图像。
当附加图像叠加在由合成单元28d合成的合成图像上时，附加图像获取单元28e从例如ROM 24b、SSD 24f等获取附加图像。如图4所示，附加图像包括例如对应于车辆10的车辆自身图标40、车轮12的运动预测线42等。在由每个图像捕获单元14捕获的捕获图像数据中仅反映车辆10的一部分。例如，在图像捕获单元14a的捕获图像数据中仅反映了车辆10的前保险杠10a的一部分，并且在图像捕获单元14b的捕获图像数据中仅反映了车辆10的后保险杠10b的一部分。此外，在图像捕获单元14c和14d的捕获图像数据中仅反映了车辆10的横向部分(门的一部分等)。因此，即使当基于捕获图像数据执行视点转换处理时，也不能构成车辆10的鸟瞰图像。因此，对应于车辆10的形状的车辆自身图标40被预先存储在ROM 24b等中，并且在需要时被读取。此外，运动预测线42是线性图像，其形状(延伸方向)根据车辆10的方向盘的操作状态(转向方向)而改变。此外，附加图像的示例包括从车辆10的端部——例如，前保险杠10a的端部——向前延伸的车辆宽度引导线图像、指示与前保险杠10a相距的间隔距离的距离引导线图像等。类似地，附加图像的示例包括从车辆10的后保险杠10b向后延伸的车辆宽度引导线图像、距离引导线图像等。在图4中，仅对于转弯方向上的外前轮和内后轮显示运动预测线42。然而，可以对于所有车轮显示运动预测线42。基于车辆10的转弯半径的形状显示为后轮侧的运动预测线42。
叠加处理单元28f将由附加图像获取单元28e获取的附加图像叠加在由合成单元28d合成的合成图像(例如，鸟瞰图像)上。例如，车辆自身图标40被叠加在四个结合的鸟瞰图像的中心上。此外，在运动预测线42的情况下，显示了具有从ROM 24b获取的基本形状(直线形状)的运动预测线42，同时其绘制状态基于车辆10——车辆10的姿态根据方向盘的转动量和方向盘的转动而改变——的转弯半径而依次改变。由于诸如运动预测线42的图像配置有多个点，例如如图4所示，当绘制作为运动预测线42的很大地曲线时，构成该线的多个点42a被显示同时相互略微偏移。也就是说，运动预测线42被绘制为锯齿状线(在图4的情况下，为了描述，仅夸大地显示了运动预测线42以指示通过点42a示出的锯齿状)。尽管如下所述，运动预测线42的锯齿状部分通过最终图像生成单元30中的缩小处理而钝化，并且因此变为具有平滑轮廓的线，并且可以改善显示质量。叠加处理单元28f可以根据绘制的附加图像的状态来改变附加图像的显示颜色或执行闪烁。
最终图像生成单元30的中间图像获取单元30a获取由中间图像生成单元28生成的第二图像38(中间图像)。接下来，最终缩小单元30b缩小所获取的第二图像38的尺寸(第二像素数)(执行缩小处理)使得第二图像38的尺寸(第二像素数)变为将要显示在显示装置16的显示区域上的最终图像的尺寸(最终像素数)。即使在这种情况下，尽管最终缩小单元30b可以执行多个缩小处理以将像素数缩小至最终像素数，但是一次性缩小处理的缩小率设定为50％或更大。在这种情况下，由中间图像获取单元30a获取的第二图像38已经具有与最终图像的视点相同的视点，整个第二图像在轻负荷下均匀且快速地缩小。也就是说，缩小程度不会部分地不同，并且不会发生部分像素遗漏。因此，可以抑制由于缩小的图像质量劣化。
图5是经图像处理系统100处理的图像的示例，并且示出了最终图像44的示意性显示示例。如上所述，最终图像44的显示内容除了尺寸(像素数)之外与图4的第二图像38的显示内容相同。然而，随着通过最终缩小单元30b缩小整个最终图像44，在第二图像38中显示的作为附加图像抖动的运动预测线42(点42a)变为具有钝化且平滑的外观的运动预测线46。类似地，即使在最终图像44中绘制的车辆自身图标40中，构成车辆自身图标40的线也以钝化且平滑的状态显示。因此，最终图像44变为易于看到的图像。
实际图像处理单元32的第一图像获取单元32a依次获取由显示控制部24d获得的每个图像捕获单元14的捕获图像数据作为第一图像。如上所述，例如，显示控制部24d可以捕获处于维持由图像捕获单元14捕获的捕获图像数据的像素数的状态(原始图像质量状态)下的图像，或者可以在捕获图像数据的像素数被依次缩小至预定尺寸的同时捕获图像。实际图像处理单元32的第一图像获取单元32a获取基本上处于捕获图像数据的像素数在图像捕获单元14执行捕获时被维持的状态下的第一图像，以便将实际图像、即，视点未被转换的图像显示在车载显示装置16上()，单独使用该第一图像以用于图案识别、形状识别等或者执行单独的图像处理以显示处理后的图像。与中间图像生成单元28的第一图像获取单元28a类似，第一图像获取单元32a可以获取第一图像，第一图像在缩小处理不影响图像质量的范围内(在不发生像素遗漏的范围内)被适当地进行缩小处理。
失真校正单元32b对由第一图像获取单元32a获取的第一图像的失真进行校正。如上所述，由于图像捕获单元14包括鱼眼镜头和广角镜头以能够在较宽范围内成像，因此基于捕获图像数据的图像的周边部分较大程度地弯曲。因此，当图像按原样显示在显示装置16上时，难以识别车辆10的周围状况。因此，失真校正单元32b对周围图像的失真进行校正并将校正的图像校正为易于识别的图像。
剪切处理单元32c可以根据每个应用适当地剪切必要部分，其属于由失真校正单元32b校正其失真的第一图像。例如，当仅靠近由图像捕获单元14a捕获的前方图像的中心部分的区域显示在显示装置16上时，或者当转弯方向上的车辆10的图像显示在显示装置16的中心时，根据显示装置16的显示区域的尺寸剪切出对应的区域。此外，当在将来使用当前捕获的图像时，例如，当诸如进入车辆10的底部的部分的图像(过去图像)在车辆10行驶时显示时，剪切处理单元32c剪切出待使用的部分(将来需要的部分)。
当由失真校正单元32b校正了失真的第一图像和由剪切处理单元32c剪切出的第一图像的一部分显示在显示装置16的显示区域上时，实际图像缩小单元32d根据显示区域的尺寸执行缩小处理。即使在这种情况下，当将图像的尺寸缩小至显示装置16的显示区域的尺寸时，实际图像缩小单元32d可以多次执行缩小处理。然而，一次性缩小处理的缩小率为50％或更大，使得可以抑制由于像素遗漏的图像质量劣化。
存储处理单元32e将由失真校正单元32b、剪切处理单元32c等处理的图像临时存储在RAM 24c和SSD 24f中，并且在需要的情况下调用并使用该图像。在这种情况下，基本上，图像可以在缩小之前被存储或者以被最小程度地缩小的状态存储。因此，由于可以维持原始图像的图像质量并且可以在稍后的时刻在良好的图像质量的状态下执行图像处理和识别处理，因此可以执行高质量显示和高准确度检测。
图6是示出显示装置16的显示屏幕的示例的示意图，由根据实施方式的图像处理系统100处理的图像显示在显示装置16的显示屏幕上。在图6的情况下，显示装置16的显示区域被分成两个区域P1和P2。由最终图像生成单元30生成的最终图像44(鸟瞰图像)显示在区域P1上。如上所述，从车辆自身图标40延伸的平滑的运动预测线46显示在最终图像44上。此外，在其视点被转换的鸟瞰观察状态下，由图像捕获单元14d捕获的另一车辆48显示在车辆自身图标40的后面。此外，例如，作为由实际图像处理单元32生成的实际图像50的基于由图像捕获单元14a捕获的捕获图像数据的前方图像显示在区域P2上。在图6中，对由图像捕获单元14a捕获的捕获图像数据(第一图像)执行由失真校正单元32b进行的失真校正、由剪切处理单元32c进行的剪切处理以及由实际图像缩小单元32d进行的缩小处理，并且被认为是在执行向前行进时进行最小识别所需的范围主要显示在区域P2中。作为车辆10的前保险杠10a的一部分被反映在实际图像50的下端(在当从驾驶员处观察时的近侧)并且被用作实际图像50的显示标准。
车辆宽度引导线图像52、距离引导线图像54等被叠加并被显示在图6所示的实际图像50中作为用于支持车辆10的行驶的标记(引导线)。车辆宽度引导线图像52被绘制成使得左侧车辆宽度引导线图像52a和右侧车辆宽度引导线图像52b例如从前保险杠10a延伸至与前方2.5m对应的位置以与路面接触。此外，距离引导线图像54配置有沿车辆宽度方向延伸以横跨左侧车辆宽度引导线图像52a和右侧车辆宽度引导线图像52b的多个线。距离引导线图像54包括例如示出车辆10的前保险杠10a的前侧、例如，0.5m的位置的第一距离引导线图像54a、示出1.0m的位置的第二距离引导线图像54b以及示出2.5m的位置的第三距离引导线图像54c。距离引导线图像54的数量不限于三个，并且可以根据驾驶员的设定而增加/减少。还可以适当地设定距离引导线图像54之间的间隔。车辆宽度引导线图像52和距离引导线图像54的绘制位置(方向)可以根据车辆10的方向盘的转向状态(前轮12F的转向状态和转向角状态)而改变。方向盘从中间点转向右侧点的状态在图6中示出作为示例。
以这种方式，即使当执行了视点转换并且尺寸缩小至用于显示装置16的显示区域的最佳尺寸时，在根据本实施方式的图像处理系统100中也会生成与最终图像44处于同一视点的、具有大于最终像素数的第二像素数的第二图像38。因此，在生成第二图像38的步骤中，抑制了50％或更少的极度缩小，并且变得易于消除诸如像素遗漏的图像质量劣化原因。此外，整个图像从该状态缩小至最终图像44的最终像素数。在这种情况下，缩小率设定为不是50％或更小。因此，可以抑制由于像素遗漏的最终图像44的图像质量劣化。此外，当在缩小至最终图像44的尺寸时，可以在轻负荷下均匀且快速地缩小与最终图像44处于相同视点的第二图像38。因此，使用车载装置的有限的处理能力以轻负荷更快速地处理由图像捕获单元14捕获的图像，使得可以提供具有高质量的缩小图像。
在图6中，作为示例，区域P1(最终图像44的显示区域)与区域P2(实际图像50的显示区域)的面积比设定为大约1:3。然而，可以通过操作操作输入单元20等来改变该面积比。例如，用于显示最终图像44的区域P1可以大于用于显示实际图像50的区域P2，或者可以均等地划分。此外，可以显示最终图像44或者实际图像50的任一者。当区域P1的尺寸改变时，例如，可以通过根据区域P1的尺寸改变最终缩小单元30b中的缩小率或者改变以50％或更大的缩小率进行缩小的次数来应对该变化。类似地，例如，当区域P2的尺寸改变时，可以通过根据区域P2的尺寸改变实际图像缩小单元32d中的缩小率或者改变以50％或更大的缩小率进行缩小的次数来应对该变化。
尽管在图6中示出了诸如运动预测线46、车辆宽度引导线图像52和距离引导线图像54的附加图像彼此叠加的状态，但是可以通过操作操作输入单元20来改变存在/不存在叠加以及叠加的内容。此外，图6示出了车辆10可以向前运动的状态(例如，换档位置属于“D范围”的状态)的显示示例。在车辆10可以向后运动的状态下(例如，换档位置属于“R范围”的状态)，基于后轮12R和后保险杠10b绘制诸如运动预测线46、车辆宽度引导线图像52以及距离引导线图像54的附加图像。可以根据换档操作单元的操作自动执行切换。
可以提供由本实施方式的CPU 24a执行的用于图像处理的程序，使得该程序以可安装格式文件或可执行格式文件的形式记录在诸如CD-ROM、软盘(FD)、CD-R和数字多功能影音光盘(DVD)的计算机可读记录介质中。
此外，图像处理程序可以存储在连接到诸如因特网的网络的计算机中，并且可以通过经由网络下载提供。此外，在本实施方式中执行的图像处理程序可以经由诸如因特网的网络而被提供或分发。
尽管本公开的实施方案和变型是作为示例呈现的而并非旨在限制本发明的范围。这些新颖的实施方式可以以各种其他形式来实现，并且可以在不脱离本发明的精神的情况下对其进行各种省略、替换和改变。这些实施方案及其修改均被包括在本发明的范围和主旨内，并且被包括在所附权利要求书及其等同范围中所描述的发明中。
在前述的说明书中已经描述了本发明的原理、优选的实施方式和操作模式。然而，旨在被保护的本发明不应解释为限于所公开的特定实施方式。此外，本文中所述的实施方式被视为示意性而不是限制性的。在不脱离本发明的精神的情况下，其他人可以进行变化和改变，并且采用等同物。因此，明确的意图是，落入如权利要求书中限定的本发明的精神和范围内的所有这样的变化、改变和等同物被涵盖在其中。

Claims (4)

1.一种图像处理装置，包括：
捕获单元，所述捕获单元基于从捕获车辆（10）的周围情况的图像捕获单元（14，14a，14b，14c，14d）输出的捕获图像数据获取第一图像；
视点转换单元（28b），所述视点转换单元（28b）执行将所述第一图像从所述第一图像的视点转换为显示在显示装置（16）的显示区域上的最终图像的视点的视点转换处理；
中间缩小单元（28c），所述中间缩小单元（28c）执行缩小处理以使图像的像素数改变为大于所述最终图像的最终像素数的第二像素数；
中间图像生成单元（28），所述中间图像生成单元（28）通过利用所述视点转换单元（28b）来执行对所述第一图像进行的处理，并且通过利用所述中间缩小单元（28c）来缩小所述第一图像的像素数，由此生成第二图像；以及
最终图像生成单元（30），所述最终图像生成单元（30）执行缩小处理使得所述第二图像的所述第二像素数设定为所述最终图像的所述最终像素数。
2.根据权利要求1所述的图像处理装置，
其中，所述捕获单元基于从捕获所述车辆的周围情况的多个所述图像捕获单元输出的所述捕获图像数据获取多个所述第一图像，并且
所述中间图像生成单元通过对多个所述第一图像执行所述视点转换处理而获得的图像彼此结合来生成合成图像作为所述第二图像。
3.根据权利要求1或2所述的图像处理装置，
其中，所述中间图像生成单元生成其上叠加有附加图像的所述第二图像。
4.根据权利要求1所述的图像处理装置，
其中，当所述第二图像的所述第二像素数缩小至所述最终像素数时，所述最终图像生成单元多次以50%或更大的缩小率执行缩小处理。
CN201910073541.XA 2018-01-26 2019-01-25 图像处理装置 Active CN110087022B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018011779A JP7315303B2 (ja) 2018-01-26 2018-01-26 画像処理装置
JP2018-011779 2018-01-26

Publications (2)

Publication Number Publication Date
CN110087022A CN110087022A (zh) 2019-08-02
CN110087022B true CN110087022B (zh) 2022-04-19

Family

ID=67391274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910073541.XA Active CN110087022B (zh) 2018-01-26 2019-01-25 图像处理装置

Country Status (3)

Country Link
US (1) US10821900B2 (zh)
JP (1) JP7315303B2 (zh)
CN (1) CN110087022B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4113988A4 (en) * 2020-02-28 2023-06-21 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM AND IMAGE PROCESSING SYSTEM
JP2022125859A (ja) 2021-02-17 2022-08-29 株式会社デンソー 周辺画像表示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262597A (zh) * 2007-03-09 2008-09-10 索尼株式会社 图像显示系统、装置和方法,图像发送装置和方法,以及程序
CN101690172A (zh) * 2007-07-19 2010-03-31 索尼株式会社 图像处理设备、图像处理方法以及程序
CN103563358A (zh) * 2011-06-02 2014-02-05 日立建机株式会社 作业机械的周围监视装置
JP2016208368A (ja) * 2015-04-24 2016-12-08 富士通テン株式会社 画像処理装置、画像処理方法および車載装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4455364B2 (ja) 2004-03-09 2010-04-21 キヤノン株式会社 解像度変換方法及び装置
JP2006050090A (ja) * 2004-08-02 2006-02-16 Canon Inc 画像縮小方法、画像縮小装置、および、画像縮小プログラムを記録した記録媒体
JP2008153882A (ja) 2006-12-15 2008-07-03 Clarion Co Ltd 撮像表示システム
JP4758481B2 (ja) * 2007-01-16 2011-08-31 パイオニア株式会社 車両用画像処理装置及び車両用画像処理プログラム
US9292909B2 (en) * 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
CN102933428B (zh) 2010-06-15 2015-07-15 爱信精机株式会社 驾驶支援装置
WO2012075250A1 (en) * 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
JP5614504B2 (ja) * 2011-09-12 2014-10-29 日産自動車株式会社 立体物検出装置
JP5814187B2 (ja) 2012-06-07 2015-11-17 日立建機株式会社 自走式産業機械の表示装置
EP2981077B1 (en) 2013-03-28 2017-09-27 Aisin Seiki Kabushiki Kaisha Periphery monitoring device and program
JP6302624B2 (ja) * 2013-04-24 2018-03-28 住友重機械工業株式会社 画像生成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262597A (zh) * 2007-03-09 2008-09-10 索尼株式会社 图像显示系统、装置和方法,图像发送装置和方法,以及程序
CN101690172A (zh) * 2007-07-19 2010-03-31 索尼株式会社 图像处理设备、图像处理方法以及程序
CN103563358A (zh) * 2011-06-02 2014-02-05 日立建机株式会社 作业机械的周围监视装置
JP2016208368A (ja) * 2015-04-24 2016-12-08 富士通テン株式会社 画像処理装置、画像処理方法および車載装置

Also Published As

Publication number Publication date
US10821900B2 (en) 2020-11-03
JP7315303B2 (ja) 2023-07-26
US20190232874A1 (en) 2019-08-01
CN110087022A (zh) 2019-08-02
JP2019129499A (ja) 2019-08-01

Similar Documents

Publication Publication Date Title
KR100936557B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
US10909750B2 (en) Periphery monitoring device
JP4765649B2 (ja) 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
US20190100156A1 (en) System and method for controlling a display
JP5500877B2 (ja) 車載用画像表示装置および画像のトリミング方法
WO2014068856A1 (ja) 画像生成装置、および画像生成プログラム製品
US10848724B2 (en) Display control device
JP7039879B2 (ja) 表示制御装置
CN110087022B (zh) 图像处理装置
JP7280006B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2019186622A (ja) 画像処理装置
JP3961969B2 (ja) 車両周辺画像処理システム
US20110181723A1 (en) Vehicle circumference monitor apparatus
CN111937378B (zh) 图像处理装置
US20190126827A1 (en) Image generating apparatus and program
JP2018206323A (ja) 画像処理装置
JP6816436B2 (ja) 周辺監視装置
US20240331347A1 (en) Image processing device
JP4846627B2 (ja) 表示制御装置
JP2023046571A (ja) カメラシステム、移動体、制御方法、及びコンピュータプログラム
JP2024106871A (ja) 画像処理システム、移動体、画像処理方法、およびコンピュータプログラム
TW202416721A (zh) 固態成像裝置及電子裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Kariya City, Aichi Prefecture, Japan

Applicant after: AISIN Co.,Ltd.

Address before: Kariya City, Aichi Prefecture, Japan

Applicant before: AISIN SEIKI Kabushiki Kaisha

GR01 Patent grant
GR01 Patent grant