CN109691091A

CN109691091A - 用于在多视图模式下显示图像的方法

Info

Publication number: CN109691091A
Application number: CN201780055360.3A
Authority: CN
Inventors: 林圣炫; 金东均
Original assignee: LG Innotek Co Ltd
Current assignee: LG Innotek Co Ltd
Priority date: 2016-09-08
Filing date: 2017-09-05
Publication date: 2019-04-26
Also published as: EP3512195A4; EP3512195A1; US20190253623A1; US11477372B2

Abstract

公开了一种用于在多视图模式下显示图像的方法。根据本实施方式的方法包括以下步骤：通过使用被转换为在多个输出模式中的期望输出模式下输出的目标图像来调整图像获取单元的曝光时间；以及显示根据调整而获取的目标图像。因此，根据本发明，可以向用户提供被校正为适合于特定视图模式的图像。

Description

用于在多视图模式下显示图像的方法

技术领域

实施方式涉及在多视图模式下显示图像的方法，并且更具体地，涉及在用于环视监视(AVM)的多视图模式下显示由至少一个图像获取单元获取的图像和使用该图像生成的环视图图像的方法。

背景技术

随着由于车辆数量的增加和交通量的增加而使得交通事故的快速增加已成为社会问题，已经进行了对能够预防事故的驾驶员辅助系统的研究。驾驶员辅助系统是指为了驾驶员的安全驾驶在驾驶或停车期间辅助驾驶员的系统。

驾驶员辅助系统基本上包括用于提供图像信息使得驾驶员在坐在驾驶员座位上的状态下掌握车辆的外部情况的设备。另外，用于提供图像信息的设备包括摄像机。

为了向驾驶员提供图像信息，可以在车辆外部设置沿各个方向定向的多个摄像机。当由摄像机获取的图像被提供给驾驶员时，可以根据各种视图模式不同地转换所获取的图像并且将其提供给驾驶员。

然而，在相关技术中，倾向于不基于根据在能够由驾驶员在视觉上确认的显示屏幕上显示的视图模式的图像来校正所提供的图像。这样的倾向也可以在用于环视监视(AVM)系统的图像中找到。

近来，为了安装多个摄像机以向驾驶员提供车辆的周围的情况，已经在积极地研究环视监视系统。德国和日本的几家汽车公司已经开发并启动了环视监控系统。近年来，使用安装在其中的多个摄像机向驾驶员提供鸟瞰视图的系统已成为主流。

环视监控系统可以使用由有限数目的摄像机获取的图像通过用于提供图像信息的设备以360度的视角生成显示对象(例如，车辆)的周围环境的图像。此时，摄像机中安装的透镜可以是鱼眼透镜或与其类似的广角透镜以获得宽视角。然而，由透镜获取的图像与基于人类视觉的图像不同，并且与安装在车辆上的摄像机透镜的方向相比最终要输出的图像是顶视图像。因此，由多个摄像机获取的图像需要经历各种形式的图像信号处理。

这样的一系列处理是必要的，因为摄像机不能安装在车辆上使得在前面捕获车辆顶部的图像。

图1和图2示出了基于相关技术的图像。

参照图1和图2，图1的图像是由安装在车辆右侧的摄像机获取的图像，以及图2的图像是包括左图像的环视图像。由于车辆阴影而引起的暗区域与由于图1的图像中的照明而引起的亮区域的比率与环视图像的比率不同。因此，由于因照明而引起的亮区域的亮度饱和，因此白光出现在图2的图像中。这是基于图1的图像调整曝光或白平衡的结果。

发明内容

技术问题

实施方式提供了将在特定视图模式下显示的图像校正为在对应的视图模式下适当地显示并且在对应的视图模式下显示校正后的图像的方法。

技术解决方案

根据实施方式的在使用由至少一个摄像机获取的图像根据多个模式显示目标图像的方法中的图像处理方法，该图像处理方法可以包括：当第一模式被改变成第二模式时将输出图像从第一模式的第一目标图像改变为第二模式的第二目标图像以输出第二模式的第二目标图像；以及基于第二目标图像调整第二目标图像的亮度。

根据另一实施方式的支持多个模式的图像处理方法可以包括：通过确定是否对应于用户输入来转换或拼接至少一个接收图像并且根据是否转换或拼接至少一个接收图像来转换或拼接至少一个接收图像来输出目标图像；从目标图像中提取亮度信息；以及将与亮度信息对应的调整值应用于至少一个图像的转换或拼接。

另外，支持多个模式的图像处理方法还可以包括基于目标图像来调整至少一个摄像机设备的曝光时间，并且调整值可以根据亮度信息和曝光时间被改变。

另外，支持多个模式的图像处理方法还可以包括接收从至少一个摄像机设备获取的至少一个图像数据。

另外，当以拜耳(Bayer)图案接收至少一个图像数据时，支持多个模式的图像处理方法还可以包括：相对于拜耳图案执行颜色插值和第一图像处理以输出图像。

另外，第一图像处理可以包括执行以下中的至少之一：校准、透镜失真校正、颜色校正、伽马校正、颜色空间转换和边缘增强。

另外，目标图像的输出可以包括：根据是否执行转换或拼接来选择至少一个图像中的至少之一；生成通过从所选择的图像中移除透视而获得的转换图像；从转换图像中提取与要插入目标图像中的区域对应的数据；将所提取的数据布置在目标图像中；以及将目标图像传送到显示设备。

可以通过执行逆透视映射变换来获得转换图像。

可以通过查找表来一起执行逆透视图像变换和在目标图像中的放置。

另外，将调整值应用于至少一个图像的转换或拼接可以包括批量转换布置在查找表中的至少一些数据。

另外，可以从安装在车辆上的至少一个摄像机设备接收至少一个图像，以及可以通过安装在车辆中的接口来接收用户输入。

另外，至少一个图像是车辆的前侧、后侧、左侧或右侧中的至少之一的图像信息，以及用户输入可以包括选择以下中的至少之一或其组合：顶视图、前视图、后视图、左视图、右视图。

另外，可以包括对应于图像信息来区分的至少一个查找表，并且至少一个查找表可以包括对应于图像信息的权重。

根据另一实施方式的计算机可读记录介质可以在其中记录有用于通过处理器的执行来实现支持多个模式的上述图像处理方法的应用程序。

根据又一实施方式的图像转换或拼接设备可以包括处理系统，该处理系统包括至少一个处理器和用于存储计算机程序的至少一个存储器设备，并且处理系统可以执行以下步骤：确定图像转换或拼接设备是否对应于用户输入来转换或者拼接至少一个接收图像，并且基于是否转换或拼接至少一个接收图像来转换或拼接至少一个接收图像，以输出目标图像；从目标图像中提取亮度信息；以及将对应于亮度信息的调整值应用于至少一个图像的转换或拼接。

另外，处理系统可以使图像转换或拼接设备进一步执行基于目标图像调整至少一个摄像机设备的曝光时间的步骤，并且调整值可以支持根据亮度信息和曝光时间而改变的多个模式。

另外，处理系统可以使图像转换或拼接设备进一步执行接收从至少一个摄像机设备获取的至少一个图像数据的步骤。

另外，当以拜耳图案接收至少一个图像数据时，处理系统可以使图像转换或拼接设备进一步执行相对于拜耳图案执行颜色插值和第一图像处理以输出图像的步骤。

另外，第一图像处理可以包括执行以下中的至少之一：校准、透镜失真校正、颜色校正、伽马校正、颜色空间转换或边缘增强。

另外，目标图像的输出可以包括：基于是否执行转换或拼接来选择至少一个图像中的至少之一；生成通过从所选择的图像中移除透视而获得的转换图像；从转换图像中提取与要插入到目标图像中的区域对应的数据；将所提取的数据布置在目标图像中；以及将目标图像传送到显示设备。

可以通过执行逆透视映射变换来获得转换图像。

另外，应用调整值以转换或拼接至少一个图像可以包括批量转换布置在查找表中中的至少一些数据。

另外，可以从安装在车辆上的至少一个摄像机设备传送至少一个图像，并且可以通过安装在车辆中的接口来接收用户输入。

另外，至少一个图像是车辆的前侧、后侧、左侧或右侧中的至少之一的图像信息，并且用户输入可以包括选择以下中的至少之一或其组合：顶视图、前视图、后视图、左视图、右视图。

另外，可以包括对应于每个图像信息来区分的至少一个查找表，并且至少一个查找表可以包括对应于图像信息的权重。

根据又一实施方式的图像处理设备可以包括：转换或拼接单元，其被配置成通过对应于用户输入来转换或拼接至少一个图像以输出目标图像；亮度控制器，其被配置成接收目标图像的亮度信息以输出用于更新转换或拼接单元中的查找表的调整值；以及调整器，其被配置成接收亮度信息并输出用于调整至少一个摄像机设备的曝光时间的控制信号。

另外，图像处理设备还可以包括图像处理器，该图像处理器被配置成相对于从至少一个摄像机设备传送的拜耳图案选择性地执行诸如颜色插值或去马赛克、校准、透镜失真校正、颜色校正、伽马校正、颜色空间转换和边缘增强的操作以输出至少一个图像。

调整器可以向亮度控制器传送在对至少一个摄像机设备的曝光时间的调整中发生的变化量或变化率，并且亮度控制器可以基于变化率和亮度信息来确定调整值。

另外，至少一个图像是与车辆的前侧、后侧、左侧或右侧中的至少之一有关的图像信息，并且用户输入可以包括选择以下中的至少之一或其组合：顶视图、前视图、后视图、左视图、右视图。

根据又一实施方式的在多个输出模式下显示由至少一个图像获取单元获取的目标图像的方法中的在多视图模式下显示图像的方法，可以包括：调整转换为在多个输出模式中的期望输出模式下输出的目标图像的亮度；以及显示具有调整后的白平衡的目标图像。

根据又一实施方式的在多个输出模式下显示由至少一个图像获取单元获取的目标图像的方法中的在多视图模式下显示图像的方法，可以包括:使用转换为在多个输出模式中的期望输出模式下输出的目标图像来调整图像获取单元的曝光时间；以及显示通过调整而获得的目标图像。

根据又一实施方式的在多个输出模式下显示由至少一个图像获取单元获取的目标图像的方法中的在多视图模式下显示图像的方法，可以包括:调整转换为在多个输出模式中的期望输出模式下输出的目标图像的白平衡；以及显示具有调整的白平衡的目标图像。

本公开内容的方面仅是优选实施方式的一部分，并且基于本公开内容的详细描述，本领域普通技术人员可以设计和理解基于本公开内容的技术特征的各种实施方式。

有益效果

根据实施方式的设备具有以下效果。

实施方式可以向用户提供被校正为适合于特定视图模式的图像。

实施方式可以减少对应于用户输入来转换和处理从至少一个摄像机设备传送的图像所需的计算和时间并且降低图像质量劣化。

本领域技术人员将理解的是，通过本公开内容可以实现的效果不限于上文特别描述的内容，并且根据以下详细描述将更清楚地理解本公开内容的其他优点。

附图说明

图1和图2是示出基于相关技术的图像的视图。

图3是示出在多视图模式下处理图像的方法的视图。

图4是示出多视图模式下的图像处理系统的第一示例的视图。

图5是示出多视图模式下的图像处理系统的第二示例的视图。

图6是根据实施方式的用于执行在多视图模式下显示图像的方法的图像显示设备100的示意性框图。

图7示出了在实际视图模式下由图像显示设备100显示的图像，其中(a)是前视图，(b)是右视图，(c)是后视图以及(d)是左侧视图。

图8是由图像获取单元110获取的图像中的被转换为要在顶视图模式下显示的图像的图像的前视图(a)。

图9是示出使用图8的四个图像生成的环视图像的视图。

图10是用于说明实际视图模式与顶视图模式之间的差异的车辆前视图。

图11是示出根据另一实施方式的在多视图模式下显示图像的方法的流程图。

图12是示出根据又一实施方式的在多视图模式下显示图像的方法的流程图。

图13是示出根据又一实施方式的在多视图模式下显示图像的方法的流程图。

图14是示出根据又一实施方式的在多视图模式下显示图像的方法的流程图。

具体实施方式

虽然本公开内容可以通过进行各种修改而具有各种实施方式，但是在附图中以示例的方式示出本公开内容的特定实施方式并且将在本文中对其进行详细描述。然而，应当理解的是，本公开内容不旨在限于这些特定实施方式，而是包括在本公开内容的精神和范围内的所有修改、等同物和替代物。

将理解的是，尽管本文中可能使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于将一个元件与另一元件相区别。例如，在不脱离本公开内容的范围的情况下，可以将第一元件称为第二元件，并且类似地，可以将第二元件称为第一元件。术语“和/或”包括多个有关项的组合或者多个有关项中的任意一个。

将理解的是，当元件被称为被“连接至”另一元件时，该元件可以直接连接至其他元件，或者还可以存在中间元件。相比之下，当元件被称为“直接连接至”另一元件时，不存在中间元件。

本公开内容中所使用的术语仅出于描述特定实施方式的目的并且不旨在限制本公开内容。除非上下文另有明确指示，否则单数表示可以包括复数表示。将进一步理解的是，术语“具有”和“包括”表示特定特征、数字、步骤、操作、部件、或零件、或其组合的存在，但不排除存在或添加一个或更多个其他特征、数字、步骤、操作、部件、或零件、或其组合。

除非另外限定，否则本文中使用的、包括技术和科学术语的所有术语具有与本领域的普通技术人员通常所理解的含义相同的含义。将进一步理解的是，除非本文中明确定义，否则诸如在常用词典中定义的那些术语的术语应该被解释为具有与其在相关技术和本公开内容的上下文中的含义一致的含义，而不以理想化或过于正式的意义来解释。

在下文中，将通过参照附图说明示例性实施方式来详细描述本公开内容。为了便于理解本公开内容，附图中相同的附图标记表示相同的元件。

图3是示出在多视图模式下处理图像的方法的视图。

参照图3，在多视图模式下处理图像的方法可以包括：确定是否对应于用户输入来转换或拼接至少一个图像的步骤12；收集至少一个图像的提取区域中的亮度信息以确定校正阈值的步骤14；以及在根据校正阈值校正至少一个图像之后执行转换或拼接的步骤15。

另外，在多视图模式下处理图像的方法还可以包括：基于目标图像来调整至少一个摄像机设备的曝光时间的步骤16；以及将与提取的亮度信息和关于调整后的曝光时间的信息对应的变量应用于图像转换或拼接的步骤18。在该情况下，可以根据亮度信息和曝光时间来改变校正阈值。其曝光时间被调整的至少一个摄像机可以是用于捕获要放置在目标图像中的图像的摄像机。例如，如果目标图像是由一个摄像机(即，第一摄像机)捕获的图像组成，则可以调整第一摄像机的曝光时间。替选地，如果目标图像是由包括第一摄像机和第二摄像机的两个或更多个摄像机捕获的图像组成，则可以调整包括第一摄像机和第二摄像机的两个或更多个摄像机的曝光时间。可以考虑到其中在目标图像中输出由单个摄像机或至少一个摄像机捕获的图像的区域来改变单个摄像机或至少一个摄像机的曝光时间。特别地，当根据模式变化来改变输出目标图像时，可以改变在由每个摄像机捕获的图像中的构成目标图像的部分并且可以考虑这一点来调整曝光时间。

另外，在多视图模式下处理图像的方法还可以包括接收由至少一个摄像机设备中的每一个获取的至少一个图像数据的步骤10。例如，至少一个摄像机设备可以包括在车辆上安装的摄像机。能够拍摄车辆的前侧、后侧、右侧或左侧中的至少之一的成像装置可以获取车辆的周边信息。在一些实施方式中，这样的至少一个摄像机设备可以输出由拜耳图案(Bayer pattern)组成的图像数据。

通常，摄像机设备包括用于将通过穿过至少一个透镜形成的路径接收到的光信号转换为电信号的图像传感器。这样的图像传感器包括被设置成形成每个颜色的图案的像素。例如，图像传感器具有被设置在单色像素单元上的R、G和B滤色器，所述单色像素单元的数目与具有特定图案的像素的数目对应。R、G和B颜色图案被布置成根据用户(即，人)的视觉特性交叉，这被称为拜耳图案。每个图案是用于仅感测黑色和白色的亮度而不感测颜色的单色像素。当输出具有这样的图案的数据时，可以通过颜色插值或去马赛克获得具有若干种颜色的图像。

拜耳图案的数据量显著小于图像数据的数据量。因此，由于即使在自主车辆中也可以减少由车载通信网络传送的数据量，因此，可以消除在对通过设置在车辆上的至少一个摄像机设备获取的周边信息的分析中由通信方法、通信速度等产生的问题。

如果以拜耳图案接收至少一个图像数据，则在多视图模式下处理图像的方法还可以包括相对于拜耳图案执行颜色插值和第一图像处理以输出图像的步骤。此处，第一图像处理可以包括以下中的至少之一：颜色校正、伽马校正、颜色空间转换或边缘增强。

在一些实施方式中，安装在车辆上的每个摄像机设备可以在相对于从图像传感器输出的拜耳图案执行颜色插值和第一图像处理之后以图像的形式输出数据。在该情况下，图像处理设备不必执行颜色插值和第一图像处理。

虽然未示出，但是转换或拼接至少一个图像以输出目标图像的步骤14可以包括：根据是否执行转换或拼接来选择至少一个图像；执行校准、透镜失真校正或生成通过从所选择的图像中移除透视(perspective)而获得的转换图像的操作；从转换图像中提取与要插入到目标图像中的区域对应的数据；将所提取的数据布置在目标图像中；以及将目标图像传送到显示设备。

为了将由安装在车辆上的摄像机模块获取的图像转换成顶视图图像，需要从图像中移除对象和物体上的透视效果。在转换或拼接至少一个图像的过程中，可以通过从通过安装在车辆上的摄像机设备获得的图像中移除透视来生成转换图像。例如，可以通过执行逆透视映射变换来获得这样的转换图像。

可以通过查找表来一起执行转换图像的过程和转换或拼接至少两个图像的过程，即，逆透视图像变换和在目标图像中的放置。使用安装在车辆上的摄像机的高度和角度以及与摄像机的水平和垂直视角有关的信息，可以知道通过摄像机获取的图像平面与要显示给驾驶员或用户的实际平面(顶视图目标图像平面)之间的关系。另外，由于安装在车辆上的摄像机设备是固定的，因此当对由至少一个摄像机设备获取的图像进行转换或拼接时，可以预先确定转换区域或拼接区域。因此，当以查找表的形式总结这样的信息时，可以缩短转换以及用于转换或拼接的计算和时间。

同时，将调整值应用于至少一个图像的转换或拼接的步骤18可以包括批量转换查找表中排列的至少一些数据。由于由设置在不同位置处的摄像机获取转换图像或拼接图像并且在不同方向上捕获对象的图像，因此光量在图像之间不同。如果摄像机如相关技术中那样单独调整亮度，则能够由图像处理设备接收的图像信息可能被连续地改变并且用于对此进行校正的计算不会减少。因此，通过从转换图像或拼接图像中收集亮度信息以基于亮度信息调整摄像机设备的曝光时间并且调整用于转换或拼接至少一个图像的查找表中的数据，可以获得具有更好质量的所得到的图像。

如上所述，可以从安装在车辆上的至少一个摄像机设备传送至少一个图像，并且可以通过安装在车辆中的接口来接收用户或驾驶员的输入。例如，用户或驾驶员可以通过能够由用户或驾驶员在驾驶时进行操纵的接口，例如头部单元或车辆的多媒体设备(音频视频导航设备)，来选择与期望方向或空间有关的信息。

例如，至少一个图像是车辆的前侧、后侧、左侧或右侧中的至少之一的图像信息，并且用户输入可以包括以下中的至少之一或其组合：顶视图、前视图、后视图、左视图和右视图。例如，当用户期望顶视图和前视图时，图像处理设备可以转换或拼接前侧、后侧、左侧或右侧中的至少之一的图像信息以便输出顶视图图像，并且前摄像机上的信息可以作为前视图输出。在该情况下，顶视图和前视图可以具有不同的亮度，这是因为显示给用户的信息是不同的并且构成对应信息的图像是不同的。

另外，可以对应于用户输入改变由每个摄像机获取的图像信息的针对将被输出的目标图像提取的区域。例如，当用户期望前视图时，可以向用户显示由收集前方信息的摄像机获取的图像信息中的大部分。然而，当用户期望顶视图时，可以向用户显示由收集前方信息的摄像机获取的图像信息中的相对小的部分。也就是说，取决于用户期望观看哪个图像，改变使用哪个摄像机的图像，或者改变由特定摄像机获取的图像中的被提取以显示给用户的区域。因此，当考虑到实际提供给用户的区域(即，从用于转换或拼接的至少一个图像中提取的区域)的图像的亮度来转换或拼接图像时，可以向用户提供具有更高质量的图像。

同时，如果使用针对其来转换或拼接至少一个图像的顶视图图像的亮度信息来控制至少一个摄像机的曝光时间，则可以根据多个视图来减小亮度差。

同时，图像处理装置可以包括对应于每个图像信息来区分的至少一个查找表，并且该至少一个查找表可以包括对应于图像信息的权重。这可以是必要的，因为摄像机设备在不同方向上拍摄对象并且因此光量在图像之间不同。

图4是示出在多视图模式下的图像处理系统的第一示例的视图。

参照图4，图像处理系统可以包括摄像机设备30、图像处理设备40和车辆多媒体设备20。

摄像机设备30可以包括透镜组件32，该透镜组件32包括：收集入射光信号的至少一个透镜；以及图像传感器34，其用于将通过透镜组件32收集到的光信号转换为电信号以输出拜耳图案BP。摄像机设备30可以在不进行诸如颜色插值或图像校正的任何操作的情况下将从图像传感器34输出的拜耳图案BP传送到图像处理设备40。

图像处理设备40可以包括：图像处理器42，其用于相对于从摄像机设备30接收到的拜耳图案BP选择性地执行诸如颜色插值或去马赛克、颜色校正、伽马校正、颜色空间转换和边缘增强的操作；转换或拼接单元44，其用于转换或拼接从图像处理器42输出的至少一个图像CI以输出目标图像OI；亮度控制器48，其用于接收从转换或拼接单元44输出的目标图像OI的图像信息(例如，亮度信息BI)并且输出用于更新转换或拼接单元44中的查找表的变量和调整值LC0；以及调整器46，其用于接收从转换或拼接单元44输出的目标图像OI的图像信息(例如，亮度信息BI)以输出用于调整至少一个图像摄像机设备30的曝光时间的控制信号ETC。

调整器46可以向亮度控制器48传送在对至少一个摄像机设备30的曝光时间的调整中发生的变化量或变化率ETR。亮度控制器148可以基于目标图像OI的图像信息(例如，亮度信息BI)和变化率ETR来确定调整值LC0。

同时，转换或拼接单元44可以通过车辆多媒体设备20的用户接口22接收针对用户所期望的视图模式(例如，顶视图、前视图、后视图、左视图、右视图中的至少之一或其组合)的模式控制信号VC。转换或拼接单元44可以对应于用户输入来选择并且转换或拼接至少一个图像中的需要转换或拼接的图像。

转换或拼接单元44可以执行以下中的至少之一：校准、透镜失真校正和生成通过从图像移除透视而获得的转换图像的操作。例如，为了将由安装在车辆上的摄像机模块获取的图像转换成顶视图图像，需要移除图像中的对象和物体的透视效果。使用安装在车辆上的摄像机的高度和角度以及与摄像机的水平和垂直视角有关的信息，可以确定通过摄像机获取的图像平面与要显示给驾驶员或用户的实际平面(顶视图目标图像平面)之间的关系。使用这样的关系，可以将由摄像机获取的图像平面转换成要向用户显示的平面。

另外，车辆多媒体设备20可以包括显示设备24，该显示设备24能够向用户或驾驶员显示从转换或拼接单元44接收到的目标图像OI。

图5是示出多视图模式下的图像处理系统的第二示例的视图。

参照图5，图像处理系统可以包括摄像机设备50、图像处理设备60和车辆多媒体设备20。图5中描述的图像处理系统可以类似于图4中描述的图像处理系统。在下文中，将关注于它们之间的差异。

摄像机设备50可以包括透镜组件32，该透镜组件32包括：收集入射光信号的至少一个透镜；以及图像传感器34，其用于将通过透镜组件32收集的光信号转换为电信号以输出拜耳图案BP。并且，摄像机设备50可以通过相对于从图像传感器34输出的拜耳图案BP执行诸如颜色插值或图像校正的操作来输出图像I-I。

用于接收至少一个图像I-I的图像处理设备60可以包括转换或拼接单元44、亮度控制器48和调整器46。此处，转换或拼接单元44、亮度控制器48和调整器46可以与图3中描述的那些类似地操作。

另外，车辆多媒体设备20可以包括用户接口24和显示器22，并且可以与图3中描述的那些类似地操作。

参照图6，图像显示设备100可以包括图像获取单元110、图像转换器120、控制器130、图像校正单元140和输出单元150，并且还可以包括存储器160。

图像获取单元110使用图像传感器获取数字图像。此处，获取以通过输出单元150显示的数字图像被称为目标图像。图像获取单元110可以以独立安装以拍摄被摄体的摄像机的形式或者以作为一部分安装在任意设备中的摄像机模块的形式来实现。特别地，图像获取单元110优选地以摄像机模块的形式安装在车辆的外表面上以沿车辆的行进方向、右方向、反方向和左方向拍摄包括车辆被定位在其上的路面的视图。

图像转换器120接收由图像获取单元110获取的目标图像，并且将目标图像转换成适合视图模式的图像，即，适合于视图模式的图像。此处，视图模式意味着根据视点(时间)的模式，该视点根据输出模式的变化而改变。

由图像获取单元110获取的所有目标图像不一定通过图像转换器120转换。目标图像的转换意味着根据视图模式的变化来转换目标图像。例如，图像的转换意味着由安装在车辆后表面上的图像获取单元110获取的目标图像被转换成由安装在距车辆一定高度处的虚拟图像获取单元110获取的图像，即，顶视图模式下的图像。因此，当在实际视图模式下输出由图像获取单元110获取的目标图像时，不必单独转换目标图像。此处，实际视图模式意味着不改变视点(时间)。也就是说，实际视图模式意味着由在特定位置处的图像获取单元110获取的目标图像被完整地输出而没有经过转换。

控制器130可以控制图像获取单元110以便基于由图像获取单元110获取的目标图像或由图像转换器120转换的目标图像的属性来调整指示目标图像的属性的参数。例如，控制器130可以使用转换后的目标图像的平均亮度AVG、基于预定阈值平均亮度TH来调整在图像转换器110中设置的摄像机的曝光程度。此处，阈值平均亮度意味着与目标图像的平均亮度相比的阈值图像的平均亮度。曝光的调整可以是曝光时间的调整，并且可以通过调整图像获取单元110的摄像机的光圈或快门速度来实现。因此，通过这样的调整，可以调整光电二极管的增益和电荷累积时间。

图像校正单元140可以校正由图像获取单元110获取的图像或由图像转换器120转换的目标图像以适合视图模式。例如，图像校正单元140可以使用转换后的目标图像的平均亮度AVG、基于预定平均亮度TH来调整目标图像的白平衡。

输出单元150可以在对应的视图模式下输出由图像校正单元140校正的目标图像。输出单元150可以由LCD设备等来实现。在输出之前，控制器130可以改变输出模式，即，视图模式。

另外，存储器160可以存储阈值平均亮度和目标图像的平均亮度。

图像转换器120、控制器130和图像校正单元140可以执行在存储器160中存储的程序命令。图像转换器120、控制器130和图像校正单元140可以意指中央处理单元(CPU)、图形处理单元(GPU)或用于执行实施方式的方法的专用处理器。

另外，存储器160可以由易失性存储介质和/或非易失性存储构件组成。例如，存储器160可以由只读存储器(ROM)和/或随机存取存储器(RAM)组成。

图7示出了在实际视图模式下由图像显示设备100显示的图像，其中(a)是前视图，(b)是右视图，(c)是后视图以及(d)是的左视图。

参照图7，示出了与由图像显示设备100，并且更特别地，由图像获取单元110获取的前视图(a)、右视图(b)、后视图(c)和左视图(d)对应的图像。与图像获取单元110对应的摄像机模块可以安装在车辆外部的前表面、右表面、后表面和右表面上的特定高度处。摄像机模块可以安装在车辆的散热器格栅、左右指示灯和车辆行李箱盖上。可以安装摄像机模块使得透镜表面在安装位置处被斜向着地面定向。因此，可以看到图7所示的图像比上述方向上的实际图像长。

图8是由图像获取单元110获取的图像中的被转换为要在顶视图模式下显示的图像的图像的前视图(a)。参照图8，可以看出由图像转换器120转换的前视图(a)的图像与在图7的实际视图模式下显示的转换之前的前视图(a)的图像不同。也就是说，在距车辆的一定高度处观看的顶视图模式的图像是被校正为接近实际图像的图像。

图9是示出使用图8的四个图像生成的环视图图像的视图。

参照图9，示出了在顶视图模式下显示的环视图图像。如上所述，环视图图像意指通过安装在车辆上方的虚拟摄像机捕获的图像。环视图图像用于显示包括车顶在内的车辆周围的地面，其中主要显示停车线。与图4类似，实际捕获的四个目标图像和基于该四个目标图像生成的环视图图像彼此不同。也就是说，实际捕获图像中的一定区域的面积与整个面积的比率在环视图模式下会被改变。特别地，当使用鱼眼透镜获取目标图像时，该比率会被更大地改变。例如，在图7的(a)至(d)的附图中，A-2下方的区域最接近摄像机并且区域A-2在整个区域中占据的面积的比率似乎很高，但是在示出实际的顶视图图像的图6中减少。

这意味着即使在环视图模式下的图像中也可以改变实际捕获的目标图像的属性。

图10是用于说明实际视图模式与顶视图模式之间的差异的车辆的前视图。

参照图10，示出了作为图像获取单元100安装在车辆上的摄像机模块。实际的摄像机模块L-1和R-1安装在左指示灯或右指示灯上。摄像机模块L-2和R-2是虚拟摄像机模块。参照图10，由于实际摄像机模块和虚拟摄像机模块拍摄被摄体的角度不同，因此由两个摄像机模块获取的图像可以彼此不同。通过使这样的差异最小化，可以转换由实际摄像机模块获取的目标图像以适合视图模式，使得根据视图模式输出的图像接近实际图像。

现在将描述根据另一实施方式的在多视图模式下显示图像的方法。

首先，可以设置用于调整的阈值，并且可以将阈值存储在存储器等中(S110)。

接下来，图像获取单元110获取目标图像(S120)。

接下来，图像转换器120转换所获取的目标图像以适合期望的输出模式，即，视图模式(S130)。

接下来，校正目标图像(S140)。可以使用两种方法来校正目标图像。因此，可以通过调整目标图像的亮度来实现目标图像的校正。作为一种方法，控制器130可以计算目标图像的平均亮度，并且可以使用计算出的目标图像的平均亮度、基于阈值平均亮度来调整图像获取单元110的摄像机的曝光。作为另一方法，图像校正单元140可以使用目标图像的平均亮度、基于阈值平均亮度来调整目标图像的白平衡。

接下来，输出单元150显示校正后的目标图像(S150)。

在S150之前，控制器130可以转换输出单元150的输出模式。此处，可以通过根据输出模式的变化而改变输出目标图像的视点来改变视图模式。另外，可以依据将显示目标图像的不同视图模式的数量来执行摄像机的光量的调整或目标图像的白平衡的调整。

首先，可以设置用于调整的阈值并且可以将阈值存储在存储器等中(S210)。

接下来，图像获取单元110获取目标图像(S220)。

接下来，图像转换器120转换所获取的目标图像以适合期望的输出模式，即，视图模式，并且更特别地，将所获取的目标图像转换成环视图图像(S230)。

接下来，S240和S250等同于S140和S150并且因此将省略其描述。

首先，控制器130转换用于显示目标图像的输出模式，即，视图模式(S310)。

接下来，图像校正单元140校正或逆校正目标图像以适合转换后的视图模式(S320)。此处，逆校正意指返回到未校正状态。图像校正单元140根据视图模式的转换来校正目标图像以适合转换后的视图模式，并且可以在视图模式未转换时使校正后的目标图像返回到未校正的目标图像。

最后，输出单元150显示校正后或逆校正后的目标图像。

具体地，图14是示出可以由摄像机模块等实现的图像获取单元110的曝光时间的调整的流程图。参照图14，首先，可以预设阈值TH值并且可以将阈值预先存储在存储器等中(S410)。

接下来，将由图像获取单元110获取的目标图像输入到控制器130(S420)。

接下来，控制器130计算目标图像的平均亮度AVG(S430)。

当通过将目标图像的平均亮度与阈值平均亮度进行比较而平均亮度等于阈值时(S440)，维持当前曝光时间(S441)。另外，当平均亮度与阈值不同(S445)并且通过将平均亮度与参考值进行比较而平均亮度大于阈值时(S445)，可以通过调整来减少当前曝光时间(S442)。当平均亮度不大于阈值时，可以通过调整来增加当前曝光时间(S443)。

根据另一实施方式的在多视图模式下显示图像的方法可以在将获取的目标图像转换成适合于对应的视图模式的图像之前使用权重来调整构成目标图像的像素亮度。此处，每个像素具有根据每个像素的位置的固定权重。

尽管为了便于描述在图6中将元件示出为不同的块，但是可以将元件配置为一个块。例如，可以将块配置为控制器或处理器以执行上述一系列操作。

如上所述，根据实施方式，可以解决相关技术的问题。也就是说，可以通过基于在转换后的视图模式下输出的图像调整目标图像的亮度来防止如图2所示的亮度饱和的区域。

虽然已经描述了示例性实施方式，但是本领域技术人员将理解的是，可以在不脱离由所附权利要求限定的本公开内容的精神和范围的情况下在其中对形式和细节做出各种改变。

Claims

1.一种在使用由至少一个摄像机获取的图像根据多个模式来显示目标图像的方法中的图像处理方法，包括：

当第一模式被改变为第二模式时，将输出图像从所述第一模式的第一目标图像改变为所述第二模式的第二目标图像以输出所述第二模式的所述第二目标图像；以及

基于所述第二目标图像来调整所述第二目标图像的亮度。

2.根据权利要求1所述的图像处理方法，还包括输出具有调整后的亮度的所述第二目标图像。

3.根据权利要求1所述的图像处理方法，其中，通过调整由所述至少一个摄像机获取的用于构成所述第二目标图像的图像的亮度来调整所述第二目标图像的亮度。

4.根据权利要求1所述的图像处理方法，

其中，所述第一目标图像和所述第二目标图像包括第一摄像机的图像，并且

其中，在所述第一模式下所述第一摄像机的曝光时间和在所述第二模式下所述第一摄像机的曝光时间彼此不同。

5.根据权利要求1所述的图像处理方法，

其中，所述第一目标图像和所述第二目标图像包括两个或更多个摄像机的图像，并且

其中，在所述第一模式下所述摄像机的曝光时间和在所述第二模式下所述摄像机的曝光时间彼此不同。

6.根据权利要求1所述的图像处理方法，

其中，所述第一模式下的所述第一目标图像是基于由所述至少一个摄像机中的至少两个摄像机获取的图像进行转换或拼接的图像，并且

其中，所述第二模式下的所述第二目标图像基于由所述至少一个摄像机中的一个摄像机获取的图像。

7.根据权利要求1所述的图像处理方法，

其中，所述第一模式下的所述第一目标图像基于由所述至少一个摄像机中的一个摄像机获取的图像，并且

其中，所述第二模式下的所述第二目标图像是基于由所述至少一个摄像机中的至少两个摄像机获取的图像进行转换或拼接的图像。

8.根据权利要求1所述的图像处理方法，

9.根据权利要求1所述的图像处理方法，其中，所述第一模式下的所述第一目标图像的至少一部分与所述第二模式下的所述第二目标图像的一部分交叠。

10.根据权利要求1所述的图像处理方法，其中，在所述第一模式和所述第二模式下输出由所述至少一个摄像机中的任一摄像机所获取的图像或由所述至少一个摄像机中的每一个摄像机所获取的至少一个图像构成的不同图像。