CN111572450A - 图像处理装置、车载照相机系统和图像处理方法 - Google Patents

图像处理装置、车载照相机系统和图像处理方法 Download PDF

Info

Publication number
CN111572450A
CN111572450A CN202010091846.6A CN202010091846A CN111572450A CN 111572450 A CN111572450 A CN 111572450A CN 202010091846 A CN202010091846 A CN 202010091846A CN 111572450 A CN111572450 A CN 111572450A
Authority
CN
China
Prior art keywords
image
viewpoint
sight
display
viewpoints
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010091846.6A
Other languages
English (en)
Other versions
CN111572450B (zh
Inventor
秦野敏信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Automotive Systems Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN111572450A publication Critical patent/CN111572450A/zh
Application granted granted Critical
Publication of CN111572450B publication Critical patent/CN111572450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/173—Reversing assist
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种图像处理装置、车载照相机系统和图像处理方法。该图像处理装置包括视点变换和图像生成单元，该视点变换和图像生成单元进行对图像的视点变换处理。该视点变换和图像生成单元被配置为：通过对所输入的图像的视点变换处理来生成第一视点图像；在生成视点和视线不同于第一视点图像的视点和视线的第二视点图像之前，生成视点和视线在第一视点图像的视点和视线与第二视点图像的视点和视线之间的一个或多个中间视点图像；以及生成第二视点图像。

Description

图像处理装置、车载照相机系统和图像处理方法
技术领域
本发明涉及能够改变图像的视线和视点的图像处理装置、车载照相机系统和图像处理方法。
背景技术
在相关技术中，开发了用以有效地辅助机动车的驾驶的感测技术。用作典型的图像信息输入装置的照相机被小型化且可以以自由配置附接，并且驾驶员不仅可以从视觉上识别车辆的后方的视频而且还可以从视觉上识别车辆的周围的视频。
已经建立了能够以低电力处理高清晰度像素信息的图像处理技术，并且来自照相机的信号的传输方法也正从相关技术中的模拟视频信号输出系统向能够稳定地传输高清晰度图像信息的高速串行数字信号输出方法转变。
作为使用来自照相机的图像的驾驶辅助装置，用于将来自多个照相机的图像合成、并且显示和引导包括驾驶员的盲点的机动车周围的状况的装置已投入实际使用。通过对图像进行视点变换和图像合成，可以向驾驶员提供视点和视线不同于该图像的视点和视线的图像。
日本专利4537537提出了简化用于改变虚拟视点和虚拟视线的方向、并放大或缩小画面的操作。在该提议中，可以通过诸如变速杆操作等的用户操作作为触发、使用来自照相机的图像而切换到顶视图显示、侧视图显示和后视图显示等。
发明内容
在相关技术中切换视图显示时，在视图显示之间插入并显示无效的黑色图像，并且在该切换的瞬间驾驶员不能获得视频信息。
另外，在日本专利4537537中，使用用户操作作为触发来切换视图显示，并且以与用户操作相对应的视点进行视图显示。然而，当驾驶员在观看视图显示时切换到具有不同视点的另一视图显示的情况下，驾驶员可能会丢失视野感。例如，如果在停车时车辆后退移动期间突然切换视点，则驾驶员丢失后侧的视野感，这可能会妨碍平稳的停车。
本发明是有鉴于上述相关技术中的情形而作出的，并且其目的是提供如下的图像处理装置、车载照相机系统和图像处理方法，该图像处理装置、车载照相机系统和图像处理方法能够通过在第一视图显示和第二视图显示之间插入一个或多个视图显示以使这些视图显示的视点和视线平滑地改变，来实现有效的驾驶辅助。
本发明提供一种图像处理装置，包括：视点变换和图像生成单元，用于进行对图像的视点变换处理，其中，所述视点变换和图像生成单元被配置为：通过对所输入的图像的视点变换处理来生成第一视点图像；在生成视点和视线不同于所述第一视点图像的视点和视线的第二视点图像之前，生成视点和视线在所述第一视点图像的视点和视线与所述第二视点图像的视点和视线之间的一个或多个中间视点图像；以及生成所述第二视点图像。
本发明还提供一种车载照相机系统，包括：上述图像处理装置；以及显示处理单元，用于进行显示控制，所述显示控制用于连续地进行基于所述第一视点图像的第一视图显示、基于一个或多个中间视点图像的一个或多个中间视图显示、以及基于所述第二视点图像的第二视图显示。
本发明进一步提供一种图像处理方法，包括：通过对所输入的图像的视点变换处理来生成第一视点图像；在生成视点和视线不同于所述第一视点图像的视点和视线的第二视点图像之前，生成视点和视线在所述第一视点图像的视点和视线与所述第二视点图像的视点和视线之间的一个或多个中间视点图像；以及生成所述第二视点图像。
根据本发明，可以在第一视图显示和所述第二视图显示之间插入一个或多个视图图像，以使这些视图显示的视点和视线平滑地改变，由此实现有效的驾驶辅助。
附图说明
图1是示出根据实施例的图像处理装置的结构示例的框图。
图2是示出包括通过并入图1的图像处理装置所形成的照相机的车载照相机系统的框图。
图3是示出图像存储器的写入和读取的说明图。
图4是示出图像的区域RW、RM、RT和各视图显示的显示模式之间的关系的说明图。
图5是示出作为视点变换处理的结果所获得的图像的变化的说明图。
图6是示出本实施例中的视点变换处理的时序图。
图7是示出第一视图显示、中间视图显示和第二视图显示的变化的说明视图。
具体实施方式
下文将适当参考附图来详细说明根据本发明的图像处理装置、车载照相机系统和图像处理方法的实施例。然而，可以省略超出必要的详细说明。例如，可以省略对众所周知的事项的详细说明或者对基本上相同的结构的重复说明。这意味着在以下的说明中避免不必要的冗余并且促进本领域技术人员的理解。应当注意，附图和以下说明是为了使得本领域技术人员能够充分理解本发明而提供的，并且并不意图限制要求保护的主题。
(实施例)
在本实施例中，作为根据本发明的图像处理装置和图像处理方法的示例，将说明应用于对来自附接至车辆的照相机的图像的图像处理的结构示例。
在以下说明中，将说明应用于并入车载照相机系统中的图像处理装置的示例。然而，本发明不限于此，并且可以应用于对来自各种照相机的图像进行图像处理的通用图像处理装置。尽管将说明针对来自附接至车辆的一个后置照相机的图像的图像处理的示例，但本发明也可应用于使用来自多个照相机的图像来进行视点和视线变换的图像处理。
图1是示出根据实施例的图像处理装置的结构示例的框图。图2是示出包括通过并入图1的图像处理装置所形成的照相机的车载照相机系统的框图。
如图2所示，车载照相机系统主要包括照相机10和显示处理单元30。照相机10设置在机动车的各个部分(未示出)中，输出通过对自身车辆的周围进行摄像所获得的图像，并且将该图像经由线缆4发送至车辆中所设置的显示处理单元30。
照相机10包括图像传感器1、图像处理装置2和串行器3。图像传感器1包括诸如CMOS传感器等的摄像元件，并且对被摄体进行摄像并将摄像信号输出至图像处理装置2。
图像处理装置2例如可以包括图像信号处理器(ISP)。图像处理装置2可以包括微处理器单元(MPU)、中央处理单元(CPU)、数字信号处理器(DSP)和图形处理单元(GPU)等。图像处理装置2通过对来自图像传感器1的摄像信号进行预定的图像信号处理来生成图像(运动图像)。如以下将说明的，图像处理装置2对图像进行诸如失真校正、视点和视线改变、以及大小改变等的处理(以下称为视点变换处理)。图像处理装置2根据预定的传输标准将处理后的图像输出至串行器3。例如，图像处理装置2可以进行数字视频端口(DVP)并行输出和MIPI(移动工业处理器接口)串行输出。串行器3将来自图像处理装置2的图像转换成高速串行数据，并且经由线缆4传输该高速串行数据。
显示处理单元30主要包括解串器31、ECU显示器LSI 32和显示器33。
解串器31接收经由线缆4传输的图像，将该图像转换成并行数据，并且将该并行数据输出至ECU显示器LSI 32。例如，解串器31将所接收到的图像转换成DVP并行输出。
ECU显示器LSI 32是电子控制单元(ECU)中配置的显示大规模集成电路(LSI)，将所输入的图像转换成与显示器33相对应的显示数据，并且将该显示数据输出至显示器33。
作为显示器33，例如，可以使用利用车辆的仪表板等中所布置的导航装置的液晶显示装置(LCD)等的显示器。另外，近年来，对于机动车的后视镜或侧视镜，可以采用诸如LCD等的显示装置，并且可以采用这些侧视镜显示装置或后视镜显示装置作为显示器33。显示器33是以驾驶员在驾驶期间可以看见的位置和大小配置的。
显示器33通过使用来自ECU显示器LSI 32的显示数据在显示画面上显示图像。
如图1所示，图像处理装置2主要包括控制单元21、预处理单元22、写入控制单元23、存储器控制电路24、图像存储器25、以及视点变换和图像生成单元26。存储器控制电路24和图像存储器25可以配置在图像处理装置2的外部。
控制单元21可以包括使用中央处理单元(CPU)等的处理器，或者可以根据存储器(未示出)中所存储的程序工作以控制各单元，或者可以利用硬件的电子电路实现一些或全部功能。控制单元21控制图像处理装置2中的各单元。
摄像单元1a构成图1的图像传感器1，并且附接至机动车的各部分(未示出)，例如，前后左右的端部等。摄像单元1a包括诸如光学透镜和CMOS传感器等的摄像元件(未示出)，并且如图1所示，例如，对自身车辆的诸如前侧、横向侧和后侧等的预定视野范围内的运动图像进行摄像。摄像单元1a利用摄像元件经由光学透镜对车辆周围的被摄体的光学图像进行摄像，并且通过光电转换获得摄像信号。摄像单元1a例如采用广角透镜(未示出)作为光学透镜，并且可以进行相对广角的摄像。在图1的示例中，摄像单元1a的视角是148度。
来自摄像单元1a的摄像信号被供给至图像处理装置2。图像处理装置2的预处理单元22控制摄像单元1a的摄像，并且在控制单元21的控制下捕获来自摄像单元1a的摄像信号。预处理单元22对摄像信号进行预定的彩色图像处理，然后将基于摄像信号的各像素数据按光栅扫描顺序输出至写入控制单元23。
写入控制单元23在控制单元21的控制下控制所输入的像素数据向图像存储器25中的写入。写入控制单元23将所输入的像素数据按光栅扫描顺序供给至存储器控制电路24。
存储器控制电路24控制图像存储器25的写入和读取。存储器控制电路24将所输入的像素数据按光栅扫描顺序写入图像存储器25的预定地址。存储器控制电路24在视点变换和图像生成单元26的控制下，读出图像存储器25中所存储的像素数据，并且将所读取的像素数据供给至视点变换和图像生成单元26。
图像存储器25例如包括动态随机存取存储器(DRAM)，并且可以存储预定帧数的像素数据。图像存储器25在存储器控制电路24的控制下存储基于摄像信号的像素数据。在图像存储器25中，构成各帧的图像的像素数据是基于来自摄像单元1a的摄像信号而顺次存储的。在下文，将由图像存储器25中所存储的像素数据构成的一帧的图像称为帧当前图像(原始图像)。
图3是示出图像存储器25的写入和读取的说明图。
图3中的区域RI表示基于来自摄像单元1a的摄像信号的图像(帧原始图像)的范围。在图3的示例中，帧原始图像由水平1280个像素×垂直960个像素的像素数据构成。图像存储器25将构成帧原始图像的各像素数据存储在与像素位置相对应的地址处。图像存储器25可以存储预定帧数的图像。
在本实施例中，作为第一视点变换和图像生成单元以及第二视点变换和图像生成单元的示例的视点变换和图像生成单元26可以通过控制图像存储器25中所存储的像素数据的读取(切出)，来生成视点和视线相对于由摄像单元1a进行摄像得到的图像(帧原始图像)改变的图像。
由摄像单元1a进行摄像得到的图像存在失真。特别地，摄像单元1a采用如上所述的广角透镜，并且具有相对较大的失真。在这样的失真校正(DC)处理中，可以基于失真信息针对帧原始图像的各像素数据来与失真相对应地对像素位置进行变换。也就是说，可以通过按与要校正的像素位置相对应的顺序读出图像存储器25中所存储的像素数据来进行DC处理。
另外，视点变换和图像生成单元26进行透视校正(PC)处理，以对视点和视线进行变换。此外，对于PC处理，按与要变换的像素位置相对应的顺序读出图像存储器25中所存储的像素数据。PC处理包括用于改变帧原始图像的大小的调整大小处理。
视点变换和图像生成单元26执行DC处理和PC处理(以下称为DCPC处理)作为视点变换处理。DCPC处理可以是基于帧原始图像的大小、显示器33的有效显示区域的大小、与摄像单元1a的广角透镜有关的信息、以及与视点和视线有关的信息等，根据图像存储器25中所存储的帧当前图像的像素位置与要输出的图像的像素位置之间的对应关系获得的。
视点变换和图像生成单元26包括保持该对应关系作为查找表的存储器(未示出)。查找表是表示图像存储器25中所存储的帧当前图像的像素位置坐标与要输出的图像的像素位置坐标之间的对应关系的表。
视点变换和图像生成单元26具有与视点变换处理的类型(即，要变换的视点和视线)相对应的DCPC处理所用的多个查找表(未示出)。
在通过控制单元21指定视点和视线时，视点变换和图像生成单元26参考相应的查找表并输出经过了视点和视线变换的图像。
视点变换和图像生成单元26可以在不采用查找表的情况下，通过计算来输出经过了视点变换处理的图像。视点变换和图像生成单元26根据预定的传输标准将所生成的图像输出至串行器3。
图1说明了仅将来自一个摄像单元1a的图像存储在图像存储器25中、并且视点变换和图像生成单元26进行视点变换处理的示例。然而，可以将来自多个摄像单元的图像存储在图像存储器25中，并且视点变换和图像生成单元26可以进行使用多个图像的视点变换处理。
图3中的虚线框表示显示器33的有效显示区域RD的范围，并且在图3的示例中其大小是水平1280个像素×垂直720个像素。例如，视点变换和图像生成单元26读出像素数据，以在显示器33的有效显示区域RD中显示图3的图像的区域RI中的、画面上端宽且画面下端窄的具有梯形形状的相对较宽区域RW的图像部分。视点变换和图像生成单元26通过滤波插值处理来生成帧原始图像中未包括的像素位置的数据。
例如，视点变换和图像生成单元26读出像素数据，以在显示器33的有效显示区域RD中显示图3的图像的区域RI中的、画面上端侧窄且画面下端侧宽的具有梯形形状的相对较宽区域RM的图像部分。
例如，视点变换和图像生成单元26读出像素数据，以在显示器33的有效显示区域RD中显示图3的图像的区域RI中的、画面上端侧非常窄且画面下端侧宽的具有梯形形状的相对较窄区域RT的图像部分。
图3中的区域RW、RM、RT示出帧原始图像上的、为了视点和视线变换处理以及调整大小处理所要读出的图像的范围。在DCPC处理中，考虑到失真而读出像素数据。
控制单元21被配置为从ECU等接收用于改变摄像单元1a的图像的视点和视线的改变指示信号的输入。例如，根据变速杆操作、或者显示器33上所设置的触摸面板操作(未示出)等，将改变指示信号输入至控制单元21。在输入了改变指示信号的情况下，控制单元21控制视点变换和图像生成单元26，使得进行与改变指示信号相对应的视点变换处理。由此，视点变换和图像生成单元26根据例如变速杆操作来进行预设的视点变换处理，并且生成视点和视线改变的运动图像。
图4是示出图像的区域RW、RM、RT与各视图显示的显示模式的关系的说明图。图4示出由摄像单元1a进行摄像得到的图像的示例。
图像41的图像大小是水平1280个像素×垂直960个像素，并且垂直方向上的像素数对应于摄像单元1a的视角148度。图像41是通过对房间的前墙上所配置的矩形的面板进行摄像所获得的，并且该面板具有在水平方向和垂直方向上用直线分割成6×4的24个正方形。
房间具有在水平方向和垂直方向上构建的墙、地板和天花板。在图4的示例中，地板的图像42a、墙的图像42b、42c以及天花板的图像42d在其边界处弯曲。这是由于摄像单元1a中所采用的广角镜头的失真而引起的。同样，对于矩形面板的图像43，面板的外周和正方形也是弯曲的。
视点变换和图像生成单元26通过进行用于失真校正、视点和视线改变、以及调整大小处理的DCPC处理，可以获得无任何视点和视线失真的图像。
例如，视点变换和图像生成单元26设置图像41的摄像范围中的相对较宽区域RW被切出的区域，并且输出与区域RW相对应的图像作为要显示在显示器33的有效显示区域中的图像。用于显示图像的显示器33的显示模式是如下情况下的显示模式：区域RW是包括整个面板、面板前方的地板、正面的墙和侧面的墙的范围，并且视线基本上平行且可以看见从近景到远景的广泛范围。
例如，视点变换和图像生成单元26设置图像41的摄像范围中的相对较窄区域RT被切出的区域，并且输出与区域RT相对应的图像作为要显示在显示器33的有效显示区域中的图像。用于显示该图像的显示器33的显示模式是如下情况下的显示模式：区域RT是主要包括面板下端的一部分和面板前方的地板的范围，并且视线相对向下且向下看近景。
例如，视点变换和图像生成单元26设置图像41的摄像范围中的区域RM被切出的区域，并且输出与区域RM相对应的图像作为要显示在显示器33的有效显示区域中的图像。用于显示该图像的显示器33的显示模式是如下的显示模式：区域RM主要包括面板的下半部分、面板前方的地板和前墙的一部分，并且视点和视线在与区域RW、RT相对应的显示之间。
在本实施例中，在输入改变指示信号的情况下，控制单元21进行如下的运动图像(以下称为中间视点图像)的显示(以下称为中间视图显示)，其中，视点和视线针对各帧逐渐改变，以防止从当前视点和视线的运动图像(以下称为第一视点图像)的显示(以下称为第一视图显示)突然改变为与视点改变指示信号相对应的视点和视线的运动图像(以下称为第二视点图像)的显示(以下称为第二视图显示)，并且控制单元21控制视点变换和图像生成单元26，以在预定帧之后到达用作目标的第二视图显示。也就是说，视点变换和图像生成单元26对各预定帧(例如，各帧)进行不同的DCPC处理，以进行视点和视线在第一视图显示和第二视图显示之间逐渐改变的基于中间视点图像的一个或多个中间视图显示。
例如，将视点变换和图像生成单元26基于图4中的区域RW所生成的图像设置为第一视点图像，并且将视点变换和图像生成单元20基于图4中的区域RT所生成的图像设置为第二视点图像。在这种情况下，例如，使用视点变换和图像生成单元26基于区域RT所生成的图像作为中间视点图像。
图5是示出作为这样的视点变换处理的结果所获得的图像的变化的说明图。图5的左侧示出将基于区域RW的第一视点图像显示在有效显示区域RD中的第一视图显示。图5的右侧示出将基于区域RT的第二视点图像显示在有效显示区域RD中的第二视图显示。然后，在从第一视图显示向第二视图显示的切换期间，进行将基于区域RM的中间视点图像显示在有效显示区域RD中的中间视图显示。
如图5所示，中间视图显示用于使从第一视图显示向第二视图显示的视点和视线平滑化，并且通过进行中间视图显示，驾驶员可以感觉到视点和视线平滑地变化，并且由于平滑地切换视野范围，因此可以防止驾驶员失去视野感。
接着，将参考图6和图7来说明根据以这种方式配置的实施例的操作。图6是示出根据本实施例的视点变换处理的时序图。图7是示出第一视图显示、中间视图显示和第二视图显示的变化的说明图。
通过摄像单元1a的摄像所获得的摄像信号被供给至预处理单元22。预处理单元22对摄像信号进行预定的彩色信号处理。写入控制单元23将基于来自预处理单元22的摄像信号的像素数据按光栅扫描顺序经由存储器控制电路24写入图像存储器25。以这种方式，将预定帧的帧原始图像存储在图像存储器25中。帧原始图像按帧周期被顺次写入图像存储器25。
控制单元21在切换查找表的同时，使得视点变换和图像生成单元26针对各预定帧(例如，各帧)进行DCPC处理。视点变换和图像生成单元26所生成的图像经由串行器3、线缆4和解串器31被供给至ECU显示器LSI 32，并被显示在显示器33的显示画面上。以这种方式，基于针对各帧从摄像单元1a输入的摄像信号来在显示器33上显示运动图像。
在本实施例中，控制单元21进行视点变换处理，使得视点和视线平滑地改变。
图6示出该控制，并且控制单元21响应于驾驶员的一些操作，生成并显示第一视图显示所用的第一视点图像，直到第n帧。另外，控制单元21在第(n+m)帧中生成并显示第二视图显示所用的第二视点图像。然后，在第(n+1)帧～第(n+m-1)帧期间，控制单元21生成并显示第1中间视图显示～第(m-1)中间视图显示所用的多个中间视点图像，以使第一视图显示和第二视图显示之间的视点和视线的变化平滑化。
控制单元21可以进行视点和视线针对各帧有所不同的中间视图显示，或者可以针对每多个帧切换中间视图显示的视点和视线。
图7示出在第一视图显示和第二视图显示之间进行三个中间视图显示的示例。图7在左侧示出从图像存储器25切出的区域，并在右侧示出显示器33的有效显示区域RD上的显示，并且从上向下示出与时间的变化相对应的状态。图7的区域RI表示帧原始图像的范围。
例如，将对在车辆后退移动并停在停车场的情况下的操作作为示例进行说明。为了简化说明，摄像单元1a附接至机动车的后端，并且仅来自摄像单元1a的摄像信号被输入至图像处理装置2。
这里，驾驶员在使机动车后退移动的同时使机动车停止。在通过驾驶员的变速杆操作使倒档齿轮啮合的情况下，控制单元21控制各单元，以将要显示在显示器33上的图像设置为第一视点图像。在这种情况下，图7中的区域RW表示用于生成第一视点图像的图像的范围。视点变换和图像生成单元26通过使用例如查找表的DCPC处理来切出区域RW的像素数据，并且将该像素数据变换成与显示器33的有效显示区域RD相对应的大小。
由此，在显示器33的显示画面上进行基于第一视点图像的第一视图显示VRW(参见图7)。驾驶员可以通过查看第一视图显示VRW来确认机动车后方的宽范围。
通常，在倒车入库中，经常进行方向盘操作，使得机动车在转动期间后退移动，并且在预定定时基本上笔直地后退移动。因此，控制单元21从进行方向盘操作以使车辆基本上笔直地后退移动的时间起，开始从第一视图显示向中间视图显示的切换、即DCPC处理所使用的查找表的切换。最后，控制单元21可以进行第二视图显示。
图7示出采用三个中间视图显示VRM1、VRM2、VRM3以平滑地切换视点和视线的示例。在进行方向盘操作以使车辆基本上笔直地后退移动的情况下，视点变换和图像生成单元26在下一帧中，通过切换DCPC处理所使用的查找表来生成与图7中的区域RM1的像素数据相对应的第一中间视点图像。第一中间视点图像被供给至显示器33以进行第一中间视图显示VRM1。
视点变换和图像生成单元26在从向第一中间视图显示VRM1的切换起的预定时间之后切换DCPC处理所使用的查找表，并且生成与图7中的区域RM2中的像素数据相对应的第二中间视点图像。第二中间视点图像被供给至显示器33以进行第二中间视图显示VRM2。
视点变换和图像生成单元26在从向第二中间视图显示VRM2的切换起的预定时间之后切换DCPC处理所使用的查找表，并且生成与图7中的区域RM3中的像素数据相对应的第三中间视点图像。第三中间视点图像被供给至显示器33以进行第三中间视图显示VRM3。
视点变换和图像生成单元26在从向第三中间视图显示VRM3的切换起的预定时间之后切换DCPC处理所使用的查找表，并且生成与图7中的区域RT的像素数据相对应的第二视点图像。第二视点图像被供给至显示器33以进行第二视图显示VRT。
以这种方式，在倒车入库的开始时，可以通过第一视图显示VRW来确保后侧的宽视野，并且紧挨在倒车入库完成之前，可以通过第二视图显示VRT来放大显示车辆后端的保险杠(未示出)和地面之间的接近距离。通过第二视图显示VRT，可以容易地检查停车范围的后端，有效地进行用于将车辆可靠地停在停车范围内的驾驶辅助，并且可以防止脱轨、爬上人行道、与墙面接触、以及保险杠撞到安装杆等。
如从DCPC处理所使用的图7中的区域RW、RM1、RM2、RM3、RT的比较清楚可见，在从第一视图显示VRW向第二视图显示VRT的切换期间进行用于平滑地改变视点和视线的第一中间视图显示VRM1～第三中间视图显示VRM3。由此，驾驶员可以在不会丢失后侧的视野感的情况下，可靠地从显示器33上的显示确认后侧。
在如上所述的本实施例中，在切换视图显示时，不显示黑色图像，并且即使在切换期间也连续地进行视图显示。另外，在第一视图显示和第二视图显示之间，进行用于使视点和视线变化平滑化的一个或多个中间视图显示，使得可以容易地检查驾驶员的视野。
即使在实际视觉中，视野也是恒定的，并且通过在大脑内缩放要观看的被摄体来详细地确认视觉信息。为了以这种方式使定时与人脑视觉活动同步，通过利用逐帧控制生成并连续地进行中间视图显示，可以在不会对驾驶员造成不适感的情况下改变视点和视线。
视图显示的这种切换由内置在照相机中的图像处理装置来实现，并且在车载照相机系统内的ECU中可以防止用于切换视图显示的处理负荷增加。
在如上所述的根据实施例的图像处理装置中，视点变换和图像生成单元26通过对所输入的图像的视点变换处理来生成第一视点图像。视点变换和图像生成单元26生成视点和视线不同于第一视点图像的视点和视线的第二视点图像。视点变换和图像生成单元26在第一视点图像的生成和第二视点图像的生成之间，生成视点和视线在第一视点图像的视点和视线与第二视点图像的视点和视线之间的一个或多个中间视点图像。
由此，可以使视点和视线从第一视点图像平滑地改变为第二视点图像，并且可以容易地确认运动图像。
在根据本实施例的图像处理装置中，视点变换和图像生成单元26针对各帧进行视点变换处理。由此，可以针对各帧改变视点和视线，并且可以显示极平滑且易于查看的运动图像。
在根据本实施例的图像处理装置中，视点变换和图像生成单元26生成从第一视点图像向第二视点图像的相同的视点和视线的变化方向的多个中间视点图像。由此，可以使视点和视线的变化平滑化，并且可以防止视野感丢失。
在根据本实施例的图像处理装置中，视点变换和图像生成单元26通过失真校正处理和透视图像处理来实现视点变换处理。由此，校正了所输入的图像的失真，并且可以获得无失真的具有期望大小的期望视点和视线的图像。
在根据本实施例的图像处理装置中，视点变换和图像生成单元26基于用户操作来进行视点变换处理。由此，通过诸如变速杆操作或方向盘操作等的一些用户操作来进行视点变换处理，并且获得不同视点和视线的图像。
在根据本实施例的图像处理装置中，视点变换和图像生成单元26生成与人脑视觉活动相对应的多个中间视点图像。由此，可以以与人脑视觉活动相对应的视点和视线的变化来显示运动图像。
根据本实施例的车载照相机系统包括图像处理装置2和用于对图像进行显示控制的显示处理单元30。显示处理单元30连续地进行基于第一视点图像的第一视图显示、基于一个或多个中间视点图像的一个或多个中间视图显示、以及基于第二视点图像的第二视图显示。由此，在视图显示的切换期间，可以在不显示黑色图像的情况下连续地进行视图显示。由于在第一视图显示和第二视图显示之间进行使视点和视线的变化平滑化的一个或多个中间视图显示，因此可以进行平滑显示，并且即使在显示从第一视图显示改变到第二视图显示的情况下，也可以防止视野感丢失。
在根据本实施例的车载照相机系统中，显示处理单元30在机动车的侧视镜显示装置或后视镜显示装置上进行第一视图显示、一个或多个中间视图显示、以及第二视图显示。由此，在侧视镜显示装置或后视镜显示装置中，在车辆后退移动时，可以平滑地改变视点和视线。
在根据本实施例的图像处理方法中，视点变换和图像生成单元26通过对所输入的图像的视点变换处理来生成第一视点图像。视点变换和图像生成单元26在生成视点和视线不同于第一视点图像的视点和视线的第二视点图像之前，生成视点和视线在第一视点图像的视点和视线与第二视点图像的视点和视线之间的一个或多个中间视点图像。由此，顺次生成第一视点图像、一个或多个中间视点图像、以及第二视点图像，并且获得视点和视线平滑地改变的运动图像。
尽管以上参考附图说明了实施例，但无需说明，本发明不限于这样的示例。对于本领域技术人员而言，明显的是，可以在权利要求的范围内设想各种变更例、修改例、替换例、添加例、删除例和等同例，并且应当理解，它们也属于本发明的技术范围。可以在未背离本发明的精神的范围内自由地组合上述实施例中的各组件。
本发明作为能够实现有效的驾驶辅助的图像处理装置、车载照相机系统和图像处理方法是有用的。

Claims (10)

1.一种图像处理装置，包括：
视点变换和图像生成单元，用于进行对图像的视点变换处理，
其中，所述视点变换和图像生成单元被配置为：
通过对所输入的图像的视点变换处理来生成第一视点图像；
在生成视点和视线不同于所述第一视点图像的视点和视线的第二视点图像之前，生成视点和视线在所述第一视点图像的视点和视线与所述第二视点图像的视点和视线之间的一个或多个中间视点图像；以及
生成所述第二视点图像。
2.根据权利要求1所述的图像处理装置，
其中，所述视点变换和图像生成单元对各帧进行所述视点变换处理。
3.根据权利要求1所述的图像处理装置，
其中，所述视点变换和图像生成单元生成视点和视线具有从所述第一视点图像向着所述第二视点图像的相同的视点和视线的变化方向的多个中间视点图像。
4.根据权利要求1所述的图像处理装置，
其中，所述视点变换和图像生成单元通过失真校正处理和透视图像处理来实现所述视点变换处理。
5.根据权利要求1所述的图像处理装置，
其中，所述视点变换和图像生成单元基于用户操作来进行所述视点变换处理。
6.根据权利要求5所述的图像处理装置，
其中，所述视点变换和图像生成单元生成与人脑视觉活动相对应的多个中间视点图像。
7.根据权利要求1所述的图像处理装置，
其中，所述视点变换和图像生成单元包括：
第一视点变换和图像生成单元，其通过对所输入的图像的视点变换处理来生成所述第一视点图像，并且生成视点和视线不同于所述第一视点图像的视点和视线的所述第二视点图像；以及
第二视点变换和图像生成单元，其在所述第一视点图像的生成和所述第二视点图像的生成之间，生成视点和视线在所述第一视点图像的视点和视线与所述第二视点图像的视点和视线之间的所述一个或多个中间视点图像。
8.一种车载照相机系统，包括：
根据权利要求1所述的图像处理装置；以及
显示处理单元，用于进行显示控制，所述显示控制用于连续地进行基于所述第一视点图像的第一视图显示、基于一个或多个中间视点图像的一个或多个中间视图显示、以及基于所述第二视点图像的第二视图显示。
9.根据权利要求8所述的车载照相机系统，
其中，所述显示处理单元在机动车的侧视镜显示装置或后视镜显示装置上进行所述第一视图显示、一个或多个中间视图显示、以及所述第二视图显示。
10.一种图像处理方法，包括：
通过对所输入的图像的视点变换处理来生成第一视点图像；
在生成视点和视线不同于所述第一视点图像的视点和视线的第二视点图像之前，生成视点和视线在所述第一视点图像的视点和视线与所述第二视点图像的视点和视线之间的一个或多个中间视点图像；以及
生成所述第二视点图像。
CN202010091846.6A 2019-02-15 2020-02-13 图像处理装置、车载照相机系统和图像处理方法 Active CN111572450B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-025645 2019-02-15
JP2019025645A JP2020135206A (ja) 2019-02-15 2019-02-15 画像処理装置、車載用カメラシステム及び画像処理方法

Publications (2)

Publication Number Publication Date
CN111572450A true CN111572450A (zh) 2020-08-25
CN111572450B CN111572450B (zh) 2023-05-23

Family

ID=72040541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010091846.6A Active CN111572450B (zh) 2019-02-15 2020-02-13 图像处理装置、车载照相机系统和图像处理方法

Country Status (3)

Country Link
US (1) US10926639B2 (zh)
JP (1) JP2020135206A (zh)
CN (1) CN111572450B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113400937A (zh) * 2021-04-15 2021-09-17 浙江吉利控股集团有限公司 车辆娱乐信息显示系统及车辆

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541517B (zh) * 2024-01-05 2024-03-08 深圳市欧冶半导体有限公司 Cms的双曲率成像方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101080741A (zh) * 2005-07-15 2007-11-28 松下电器产业株式会社 用于图像合成的设备及方法
US20080129756A1 (en) * 2006-09-26 2008-06-05 Hirotaka Iwano Image generating apparatus and image generating method
CN101513062A (zh) * 2006-08-18 2009-08-19 松下电器产业株式会社 车载图像处理装置及其视点变换信息生成方法
CN104012088A (zh) * 2012-11-19 2014-08-27 松下电器产业株式会社 图像处理装置以及图像处理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4537537B2 (ja) * 2000-05-25 2010-09-01 パナソニック株式会社 運転支援装置
JP3815291B2 (ja) * 2001-10-24 2006-08-30 日産自動車株式会社 車両後方監視装置
JP2004222195A (ja) * 2003-01-17 2004-08-05 Denso Corp 車両周辺画像表示装置
JP4569285B2 (ja) * 2004-12-13 2010-10-27 日産自動車株式会社 画像処理装置
JP4642723B2 (ja) * 2006-09-26 2011-03-02 クラリオン株式会社 画像生成装置および画像生成方法
WO2009144994A1 (ja) * 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法
JPWO2010007960A1 (ja) 2008-07-14 2012-01-05 クラリオン株式会社 車載用カメラの視点変換映像システム及び視点変換映像取得方法
JP2010274813A (ja) * 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
JP5212422B2 (ja) * 2010-05-19 2013-06-19 株式会社富士通ゼネラル 運転支援装置
WO2011158609A1 (ja) * 2010-06-15 2011-12-22 アイシン精機株式会社 運転支援装置
JP5187369B2 (ja) * 2010-09-24 2013-04-24 株式会社デンソー 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
JP5562311B2 (ja) * 2011-10-11 2014-07-30 本田技研工業株式会社 車両の運転支援装置
DE102014109062A1 (de) * 2014-06-27 2015-12-31 Connaught Electronics Ltd. Verfahren zum Verfolgen eines sich einem Kraftfahrzeug nähernden Zielfahrzeugs mittels eines Kamerasystems des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
JP6354578B2 (ja) * 2014-12-26 2018-07-11 株式会社Ｊｖｃケンウッド 撮像システム
JP6585371B2 (ja) * 2015-04-24 2019-10-02 株式会社デンソーテン 画像処理装置、画像処理方法および車載装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101080741A (zh) * 2005-07-15 2007-11-28 松下电器产业株式会社 用于图像合成的设备及方法
CN101513062A (zh) * 2006-08-18 2009-08-19 松下电器产业株式会社 车载图像处理装置及其视点变换信息生成方法
US20080129756A1 (en) * 2006-09-26 2008-06-05 Hirotaka Iwano Image generating apparatus and image generating method
CN104012088A (zh) * 2012-11-19 2014-08-27 松下电器产业株式会社 图像处理装置以及图像处理方法
US20140362078A1 (en) * 2012-11-19 2014-12-11 Panasonic Corporation Image processing device and image processing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113400937A (zh) * 2021-04-15 2021-09-17 浙江吉利控股集团有限公司 车辆娱乐信息显示系统及车辆

Also Published As

Publication number Publication date
CN111572450B (zh) 2023-05-23
US10926639B2 (en) 2021-02-23
JP2020135206A (ja) 2020-08-31
US20200262296A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
US10462372B2 (en) Imaging device, imaging system, and imaging method
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
US20120120240A1 (en) Video image conversion device and image capture device
JP5479956B2 (ja) 車両用周囲監視装置
JP4945177B2 (ja) 車両の運転支援装置
JP2005311868A (ja) 車両周辺視認装置
JP5036891B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
KR20150042698A (ko) 화상 처리 장치, 화상 처리 방법 및 기록 매체
CN111572450B (zh) 图像处理装置、车载照相机系统和图像处理方法
CN111629930A (zh) 用于示出机动车的周围环境的图像数据和/或视频数据的镜替换系统及方法
JP4791222B2 (ja) 表示制御装置
JP5067136B2 (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
JP2007266703A5 (zh)
JP3446277B2 (ja) 車両用周囲状況表示装置
JP4977556B2 (ja) 半導体集積回路装置および描画処理表示システム
JP7476151B2 (ja) 画像処理システム、画像処理方法、およびコンピュータプログラム
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
US20210170946A1 (en) Vehicle surrounding image display device
JP2006080626A (ja) 広角画像の補正方法及び車両の周辺監視システム
JP4407246B2 (ja) 車両周辺モニタシステムおよび車両周辺モニタ方法
US20230199329A1 (en) Image capturing system, moving device, image capturing method, and storage medium
KR20240118670A (ko) 화상 처리 시스템, 이동가능 장치, 화상 처리 방법, 및 저장 매체
JP2008219504A (ja) 撮像表示システム
JP2006060461A (ja) 画像変換装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240403

Address after: Kanagawa Prefecture, Japan

Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd.

Country or region after: Japan

Address before: Osaka, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Country or region before: Japan