CN109565575A - 信息处理装置以及程序 - Google Patents

Abstract

一种信息处理装置(13)，具备图像获取部(21)和图像处理部(23)。图像处理部(23)生成合成图像(101、131、141)，该合成图像包括基于由图像获取部(21)获取到的一个以上的拍摄图像的图像亦即至少2个显示图像(102、103、142、143、144)和在至少2个显示图像之间的区域显示的边界图像(104、121、132、145、146)。图像处理部(23)根据合成图像所包含的上述至少2个显示图像所具有的规定特征量来设定边界图像的显示方式。

Description

信息处理装置以及程序

相关申请的交叉引用

本国际申请要求基于2016年8月15日在日本专利局提出的日本专利申请第2016－159255号的优先权，并通过参照将日本专利申请第2016－159255号的全部内容引用到本国际申请。

技术领域

本发明涉及显示拍摄到的图像的技术。

背景技术

在利用一个显示装置同时显示拍摄不同的拍摄范围得到的多个图像的情况下，通过使被显示的图像彼此的边界明确而提高用户的视觉识别性。例如，在下述专利文献1中，提出了根据车辆外部的亮度使边界的颜色变化的技术。

专利文献1：日本特开2001－239882号公报

发明人详细研究的结果为，发现了存在即便使边界的颜色根据车辆外部的亮度变化，视觉识别性也不充分地提高的情况这样的课题。特别是近年来，变更拍摄到的图像的视点、或者仅显示拍摄到的图像的一部分等不按原样显示拍摄到的图像的场景较多，上述的问题变得显著。

发明内容

本公开希望提供提高所显示的图像的视觉识别性的技术。

本公开的一个方面是具备图像获取部、图像处理部以及输出部的信息处理装置。

图像获取部构成为获取由至少一个拍摄装置拍摄到的拍摄图像。图像处理部构成为生成合成图像，该合成图像包括基于由上述图像获取部获取到的一个以上的上述拍摄图像的图像亦即至少2个显示图像和至少在上述至少2个显示图像之间的区域中显示的图像亦即边界图像。输出部构成为将通过上述图像处理部生成的上述合成图像输出到外部。

而且，上述图像处理部根据上述合成图像所包含的上述至少2个显示图像各自具有的规定的特征量来设定上述边界图像的显示方式。

根据这样的构成，表示合成图像所包含的多个显示图像的边界的边界图像的显示方式基于显示图像设定。由此，通过成为容易视觉识别显示图像的边界图像，能够使用户对显示图像的视觉识别容易度提高。

本公开的其他的一个方面是使计算机实现图像获取功能、图像处理功能、以及输出功能的程序。

图像获取功能获取由至少一个拍摄装置拍摄到的拍摄图像。图像处理功能生成合成图像，该合成图像包括基于通过上述图像获取功能获取到的一个以上的上述拍摄图像的图像亦即至少2个显示图像和至少在上述至少2个显示图像之间的区域中显示的图像亦即边界图像。输出功能将通过上述图像处理功能生成的上述合成图像输出到外部。另外，图像处理功能根据上述合成图像所包含的上述至少2个显示图像所具有的规定的特征量来设定上述边界图像的显示方式。

若是这样的构成，则能够使计算机作为上述的信息处理装置发挥作用。

此外，权利要求书所记载的括号内的附图标记表示与作为一个方式后述的实施方式所记载的具体单元的对应关系，并不限定本公开的技术范围。

附图说明

图1是表示显示系统的构成的框图。

图2是表示信息处理装置的构成的框图。

图3是表示合成图像的一个例子的图。

图4是对获取特征量的区域进行说明的图。

图5是对获取特征量的区域进行说明的图。

图6是表示边界区域的一个例子的图。

图7是表示显示方式的设定方法的一个例子的表。

图8是合成图像输出处理的流程图。

图9是表示合成图像的变形例的图。

图10是表示合成图像的变形例的图。

具体实施方式

以下，参照附图对用于实施发明的方式进行说明。

[1.实施方式]

[1－1.构成]

图1所示的显示系统1是通过安装于车辆来使用的系统，具备前照相机11a、后照相机11b、左照相机11c及右照相机11d、信息处理装置13、以及显示器15。在以下的说明中，照相机11可以包含上述4个照相机11a、11b、11c、11d。

照相机11是设置于车辆的拍摄装置，例如能够使用CCD图像传感器、CMOS图像传感器等。各照相机以规定的时间间隔(例如，1/15s)拍摄车辆周边，并将拍摄到的拍摄图像输出到信息处理装置13。前照相机11a、后照相机11b、左照相机11c、右照相机11d被配置为分别拍摄车辆的前方、后方、左方、右方。照相机11相当于拍摄装置。

如图2所示，信息处理装置13具备具有CPU17和RAM、ROM、闪存等半导体存储器(以下，存储器19)的微型计算机。信息处理装置13的各种功能通过CPU17执行储存于非过渡性实体记录介质的程序而实现。在该例中，存储器19相当于储存有程序的非过渡性实体记录介质。另外，通过该程序的执行，而执行了与程序对应的方法。此外，信息处理装置13既可以具备一个微型计算机，也可以具备多个微型计算机。

作为通过CPU17执行程序而实现的功能的构成，如图1所示，信息处理装置13具备图像获取部21、图像处理部23、以及输出部25。实现信息处理装置13所包含的这些要素的方法并不局限于软件，也可以使用一个或者多个硬件来实现其一部分或者全部的要素。例如，在上述功能由作为硬件的电子电路实现的情况下，该电子电路也可以通过包括许多逻辑电路的数字电路、或者模拟电路、或者它们的组合实现。

图像获取部21获取由照相机11拍摄到的拍摄图像。图像处理部23生成后述的合成图像。输出部25将通过图像处理部23生成的合成图像输出到显示器15。

显示器15是显示图像的液晶显示器等显示装置，根据从信息处理装置13输入的信号，显示所生成的合成图像。此外，合成图像能够输出到图像获取部21、图像处理部23以及输出部25的外部。例如，合成图像也可以被输出到具有能够存储合成图像的存储区域的存储装置，并存储于上述的存储区域。

[1－2.合成图像]

对由图像处理部23生成的合成图像进行说明。

＜合成图像的概要＞

图3所示的合成图像101是包括第一显示图像102、第二显示图像103以及边界图像104的图像。

第一显示图像102以及第二显示图像103是基于由图像获取部21获取到的一个以上的拍摄图像的视点不同的图像。在以下的说明中，显示图像可以没有区别地包括第一显示图像102以及第二显示图像103。

第一显示图像102是从车辆105的上方俯视的视点的图像，并合成所有照相机11的拍摄图像进行生成。此外，由于车辆105的姿势不被照相机11拍摄，所以使其与预先获取的图像合成。

第二显示图像103是车辆的后方视点的图像，基于由后照相机11b拍摄到的拍摄图像生成。

边界图像104是在上述的第一显示图像102以及第二显示图像103之间的区域中显示的图像，并是用于明确这2个显示图像的边界的图像。

图像处理部23基于合成图像101所包含的2个显示图像具有的特征量，设定边界图像104的显示方式，以使2个显示图像的边界明确。

＜特征量＞

本实施方式中的特征量是指显示图像所具有的参数，换言之，是根据由显示图像表示出的图像的具体内容规定的参数。特征量例如对应“亮度”和“色彩”。以下，虽然将“亮度”和“色彩”作为特征量进行说明，但既可以仅使用任意一方的参数作为特征量，也可以使用它们以外的参数作为特征量。

作为特征量的亮度例如能够使用辉度、或者根据辉度计算出的参数。辉度的计算方法并不特别限定，但例如，能够使用对显示图像中的某像素的R、G、B各自的级别附加系数进行加权后相加得到的值。当然，只要是能够确定出亮度的参数则并不局限于此，能够使用各种参数。

作为特征量的色彩例如能够使用R、G、B的级别、或者根据它们计算出的参数。此外，并不局限于R、G、B，也可以使用由HSV的颜色空间表示的参数。例如，也可以使用色调、明度、饱和度等。

接着，对获取特征量的显示图像上的区域进行说明。特征量也可以为将整个显示图像作为对象来获取的构成。另一方面，在例如显示图像包括亮度、色彩差异较大的不同的多个部分的情况等，存在从显示图像的特定的部分获取特征量更适当的情况。因此，也可以使作为获取特征量的对象的显示图像上的区域亦即对象区域为显示图像中的规定的一部分的区域。

在从显示图像中的规定的一部分的区域获取特征量的情况下，考虑将该区域作为与边界图像相邻的区域。例如，考虑有如图4所示，从边界图像104的附近亦即与边界图像104相邻的附近区域111获取特征量的方法、和从与边界图像104相邻并是画面的上下中央的区域的中央区域113获取特征量的方法。中央区域113在例如显示图像上下排列的情况下，能够为左右方向的中央。

另外，也考虑有在分割成多个的区域的每个区域中分别计算特征量。例如，考虑有如图5所示，沿边界图像104的长度方向分割与边界图像104相邻的边界图像104的附近的区域，并在分割后的分割区域115a～115d的每个区域中计算特征量。此外，在该情况下，能够对每个分割区域规定边界图像104中的对应的边界图像要素104a～104d。而且，也可以构成为与分割区域分别对应的边界图像要素基于分割区域中的分别计算出的特征量进行后述的显示方式的变化。

此外，也可以构成为第一显示图像102和第二显示图像103通过不同的对象区域、计算方法计算特征量。

另外，考虑有在从整个显示图像或者显示图像的一部分获取特征量的情况下，对于对象区域的每个像素分别计算特征量，并通过计算其平均值来获取特征量。另外，也可以不对对象区域的所有像素计算特征量而获取作为标本设定的一部分的像素的特征量。

另外，在计算平均值时，能够使用相加平均、相乘平均、加权平均等各种平均值。既可以不使用平均值，而按原样使用作为代表设定的像素的特征量，也可以通过计算平均以外的方法计算对象区域的特征量。

另外，也可以在基于从多个像素获取到的特征量计算对象区域的特征量时进行与位置对应的加权。例如能够由于距离边界图像的距离越近，重要度越高，而设定为权重的参数越大。通过这样考虑加权来对特征量进行合计，能够使显示图像的特征量适合作为用于设定边界图像的值。

＜边界图像的显示方式＞

边界图像能够根据计算出的特征量设定其形状、显示颜色。

作为边界图像的形状的例子，例如，能够如图6所示的边界图像121那样，成为具有颜色不同的多个层的线、边界图像的宽度不同的线、例如波型那样的不是直线形状的形状的线。

作为边界图像的显示颜色的例子，考虑有根据获取到的特征量设定为如与显示图像的差异明确那样的颜色。另外，也可以使边界图像的显示颜色在边界图像中变化以与2个显示图像分别对应。具体而言，既可以如图6那样组合颜色不同的层，也可以通过使颜色分阶段地变化的所谓渐变表现。

例示边界图像的显示方式的设定方法。例如，考虑在2个显示图像的亮度均为规定的阈值以上的情况下使边界图像的颜色为黑，在任意一方的亮度不为规定的阈值以上的情况下使边界图像的颜色为黄色。另外，考虑在2个显示图像的亮度均为规定的阈值以上的情况下使边界图像的宽度相对较细，在任意一方的亮度不为规定的阈值以上的情况下使边界图像的宽度相对较粗。

对具体例进行说明。将最暗的亮度设为0，并将最亮的亮度设为100用该期间的值确定出2个显示图像中的对象区域的亮度。另外，阈值设定为50。这里，考虑有若2个显示图像中的对象区域的亮度均是50以上，则使边界图像的颜色为黑，只要任意一方小于50，则使边界图像的颜色为黄色。

此外，可以将上述的“2个显示图像的亮度均为规定的阈值以上的情况”作为“任意一方的亮度为规定的阈值以上的情况”，也可以将上述的“任意一方的亮度不为规定的阈值以上的情况”作为“双方的亮度均不为规定的阈值以上的情况”。

另外，显示颜色、形状不仅切换为2个不同的设定，也可以为设定为多个阶段的构成，或者根据此时的显示图像的特征量顺畅地切换的构成。另外，也可以获取视觉识别合成图像的人的年龄，根据年龄使显示的方式变化。

图7示出设定边界图像的具体例。另外，边界图像的设定规则能够为以下的方针。

·在边界图像是3层的情况下，即2个显示图像之间存在3种颜色的情况下，也可以通过使外侧的层为亮度及颜色均与显示图像接近的亮度及颜色，使内侧的1层为相反的亮度及颜色来使内侧的1层显眼。

·在2个显示图像之间亮度之差大时，即使边界图像不显眼也能够容易地识别是其它的图像，所以也可以不进行特别的处理。但是，在隔着2个显示图像中的边界图像相邻的区域中，若有亮度、颜色与对方侧的显示图像之差小的部分，则也可以将该部分优先使用为边界图像的设定的基准。

·在使边界图像的显示颜色逐渐地变化的情况下，也可以设定为显示图像和边界图像的相邻的部分的色调相反。

·边界图像的显示颜色和亮度、以及方式也可以组合变化。

·显示图像的颜色的色调、亮度也可以通过辉度判定。

此外，上述的显示方式以及显示方式的设定规则是一个例子，在能够发挥使显示图像彼此的边界明确的功能的范围中能够为各种方式。

[1－2.处理]

接下来，使用图8的流程图对信息处理装置13的CPU17执行的合成图像输出处理进行说明。

在S10中，CPU17从照相机11获取拍摄车辆的周边得到的图像。

在S20中，CPU17将通过S10获取到的图像转换为最终输出的合成图像所包含的图像的视点。此时，也可以调整各图像的辉度、颜色等。通过该S20生成的图像为显示图像。

在S30中，CPU17在通过S20转换后的显示图像的每个显示图像中，从作为获取特征量的对象的对象区域提取特征量。

在S40中，CPU17根据通过S30提取出的特征量，利用使用图3～图7已经说明的方法，决定边界图像的显示方式。

在S50中，CPU17对通过S40决定了显示方式的特征量和通过S20变更了视点的显示图像进行合成，生成合成图像。

在S60中，CPU17将通过S50生成的合成图像输出到显示器15。由此，搭乘者通过观察显示器15能够容易地确认车辆的周边。

通过以较短的时间间隔反复进行到以上说明的S10～S60的处理，从而搭乘者能够几乎立即识别车辆周边的状况。

[1－3.效果]

根据以上详述的第一实施方式，得到以下的效果。

(1a)本实施方式的信息处理装置13根据输出到显示器15的合成图像所包含的显示图像的特征量，设定边界图像的具体的显示方式。因此，能够使搭乘者对显示图像的视觉识别容易度显著地提高。

(1b)特征量能够从显示图像中的与边界图像相邻的区域获取。另外，特征量能够根据显示图像中的位置进行加权。通过像这样获取特征量，能够使边界图像成为用于明确显示图像的划分的适当的方式。

(1c)上述的特征量是表示亮度、或者色彩的参数，所以通过基于这些参数规定边界图像的显示方式，能够使搭乘者对合成图像的观察度成为合适的程度。

[2.其他的实施方式]

以上，对本公开的实施方式进行了说明，但本公开并不局限于上述的实施方式，能够进行各种变形来实施。

(2a)在上述实施方式中，作为显示系统1，例示出使设置于该车辆的显示器15显示拍摄车辆的周边得到的图像的构成，但也可以是显示车辆的周边的图像以外的系统。另外，也可以是在车辆以外使用的系统。

(2b)在上述实施方式中，例示出在合成图像中，边界图像仅配置在显示图像之间的构成，但若至少在显示图像之间的区域显示，则也可以波及除此以外的部分。例如，也可以如图9所示的合成图像131那样，构成为边界图像132包围第一显示图像102、第二显示图像103的周围。

(2c)在上述实施方式中，例示出合成图像包含有2个显示图像的构成，但也可以包含3个以上的显示图像。

图10所示的合成图像141是包括朝向车辆的后方的视点的图像亦即显示图像142、朝向车辆的左侧的后方的视点的图像亦即显示图像143、以及朝向车辆的右侧的后方的视点的图像亦即显示图像144的图像。在显示图像142与显示图像143之间显示有边界图像145，在显示图像142与显示图像144之间显示有边界图像146。

该合成图像141示出与搭乘者能够通过车辆的后视镜以及门镜视觉识别的车辆周围的范围对应的范围。能够通过边界图像145、边界图像146使显示图像间的划分明确。

(2d)在上述实施方式中，例示出基于4个照相机11a～11d的拍摄图像生成显示图像的构成，但照相机的数量并不特别限定，既可以是一个，也可以是2个以上。

另外，合成图像所包含的显示图像的数量并不特别限定。显示图像能够为视点分别不同的图像。在照相机的数量是一个的情况下，能够从所拍摄的一个图像通过图像处理生成视点不同的多个图像，并将这些图像作为显示图像。

此外，这里所说的视点不同的图像是指将显示图像作为拍摄对象的假想的照相机的位置、角度不同的图像，例如，对应于相对于朝向前后方向拍摄到的图像的俯视图像、拍摄不同的拍摄范围得到的图像等。

(2e)也可以通过多个组件实现上述实施方式中的一个组件所具有的多个功能，或者通过多个组件实现一个组件所具有的一个功能。另外，也可以通过一个组件实现多个组件所具有的多个功能，通过一个组件实现由多个组件实现的一个功能。另外，也可以省略上述实施方式的构成的一部分。另外，也可以将上述实施方式的构成的至少一部分对于其他的上述实施方式的构成附加或者置换。此外，根据权利要求书所记载的语句确定出的技术思想所包含的所有方式是本公开的实施方式。

(2f)除了上述的信息处理装置13以外，也能够以将该信息处理装置13作为组件的系统、用于使计算机作为该信息处理装置13发挥作用的程序、记录有该程序的半导体存储器等非过渡性实体记录介质、图像合成方法等各种方式实现本公开。

Claims (7)

1.一种信息处理装置，该信息处理装置(13)具备：

图像获取部(21)，构成为获取由至少一个拍摄装置(11a～11d)拍摄到的拍摄图像；

图像处理部(23)，构成为生成合成图像，该合成图像包括基于由上述图像获取部获取到的一个以上的上述拍摄图像的图像亦即至少2个显示图像(102、103、142、143、144)和至少在上述至少2个显示图像之间的区域中显示的图像亦即边界图像(104、121、132、145、146)；以及

输出部(25)，构成为将由上述图像处理部生成的上述合成图像输出到外部，

上述图像处理部根据上述合成图像所包含的上述至少2个显示图像所具有的规定特征量设定上述边界图像的显示方式。

2.根据权利要求1所述的信息处理装置，其中，

上述图像处理部在上述至少2个显示图像中的至少任意一方中，从上述显示图像中的与上述边界图像相邻的一部分的区域获取上述特征量。

3.根据权利要求1或者2所述的信息处理装置，其中，

上述图像处理部在上述至少2个显示图像中的至少任意一方中，对分割了上述显示图像得到的多个区域的每个区域计算上述特征量，并考虑对该计算出的上述多个区域的每个区域设定的加权来对上述多个区域的每个区域的特征量进行合计，从而计算该显示图像的上述特征量。

4.根据权利要求1～3的任意一项所述的信息处理装置，其中，

上述特征量包括表示亮度的参数、以及表示色彩的参数中的至少任意一方。

5.根据权利要求1～4的任意一项所述的信息处理装置，其中，

上述图像处理部根据上述特征量设定上述边界图像的形状以及显示颜色的至少任意一方的显示方式。

6.根据权利要求1～5的任意一项所述的信息处理装置，其中，

上述拍摄装置拍摄车辆的周边，

该信息处理装置通过安装于车辆来使用。

7.一种程序，使计算机实现：

图像获取功能(21)，构成为获取由至少一个拍摄装置(11a～11d)拍摄到的拍摄图像；

图像处理功能(23)，构成为生成合成图像，该合成图像包括基于通过上述图像获取功能获取到的一个以上的上述拍摄图像的图像亦即至少2个显示图像(102、103、142、143、144)和至少在上述至少2个显示图像之间的区域中显示的图像亦即边界图像(104、121、132、145、146)；以及

输出功能(25)，构成为将通过上述图像处理功能生成的上述合成图像输出到外部，

上述图像处理功能根据上述合成图像所包含的上述至少2个显示图像所具有的规定特征量设定上述边界图像的显示方式。