CN102893594B - 全景展开图像显示装置和显示全景展开图像的方法 - Google Patents

Abstract

当通过全景地展开图像而在显示器上显示球状图像时，图像需要被分割为两个或更多个段，然而要关注的对象在分割位置处被不方便地切断。提供了全景图像显示装置，其通过将全景展开图像分割成至少两个全景图像来显示该全景展开图像，包括：截断基准位置设置单元，其设置用于全景展开图像的截断基准位置；对象检测单元，其从全景展开图像检测作为显示目标的对象；截断位置确定单元，其根据检测到的对象位置与截断基准位置之间的关系来确定全景图像的截断位置；以及显示图像产生单元，其显示在截断位置处从全景展开图像截断的全景图像。

Description

全景展开图像显示装置和显示全景展开图像的方法

技术领域

本发明涉及全景展开图像显示装置和显示全景展开图像的方法。

背景技术

通常地，通过全景展开整个圆周图像而获得的图像具有这样的特征，即该图像的一个长度比其另一长度长很多。为此，作为一次显示全景展开的全部图像的方法，存在一种技术，其中将图像切割成多个块，并且将各个块竖直对齐并以多段配置显示（例如，参见专利文献1）。

在专利文献1中，在由鱼眼镜头成像的360°的环形框架内，设置内圆和外圆来确定待全景展开的图像的高度。例如，当全方位成像装置被放置在桌子的中心来对会议场景成像时，使得能够在不切割对象的头部的情况下进行处理。

现有技术文献

专利文献

专利文献1：日本特开2008-28606

发明内容

本发明要解决的问题

然而，专利文献1中的全景展开图像拾取装置不意图用于其中感兴趣的对象频繁移动的场景，并且该装置遭遇如下问题：当该对象在将全景展开图像截断为多个段时移动到截断的图像的边界时，该对象被切割。

现提出本发明以用于解决现有技术中的问题，并且目标是提供全景展开图像显示装置和显示全景展开图像的方法，其能够通过根据对象在全景展开图像上的移动来改变显示方式，而没有任何中断地对该对象成像。

解决该问题的方式

根据本发明，提供了一种全景展开图像显示装置，该全景展开图像显示装置将全景展开图像分割成至少两个全景图像，并显示该全景图像。该全景展开图像显示装置包括：截断基准位置设置单元，该截断基准位置设置单元设置用于全景展开图像的截断基准位置；对象检测单元，该对象检测单元从全景展开图像检测作为显示目标的对象；截断位置确定单元，该截断位置确定单元根据检测到的对象位置与截断基准位置之间的关系来确定全景图像的截断位置；以及显示图像产生单元，该显示图像产生单元显示在截断位置处从全景展开图像截断的全景图像。

利用上述配置，在将全景展开图像截断为多个段、竖直对齐并显示时，待显示的画面配置能够基于对象的位置信息而改变，并且使得能够进行显示从而全景图像之间的关联对于使用者可理解。

进一步地，根据本发明，在全景展开图像显示装置中，全景展开图像是展开的运动图像，并且截断位置确定单元将截断位置确定为，使得当对象的位置接近截断基准位置时，对象的整体被包含在所述全景图像中。

利用上述配置，当对象移动到全景画面的端部时，画面端部能够通过展开或收缩而被显示，并且该对象移动到图像端部的事实很容易被使用者直观地理解，并且可以避免对象被中断地呈现。

此外，根据本发明，全景展开图像显示装置进一步包括显示单元，该显示单元在显示区域中显示全景图像，并且在截断位置被更新后，显示图像产生单元根据显示区域来改变全景图像的大小，并且显示大小改变的全景图像。

利用上述配置，当对象移动到全景图像的端部时，全景图像的显示范围通过展开或收缩而被显示，并且能够根据显示区域对图像调整大小。该对象移动到图像端部的事实容易地被使用者直观地理解，以使得能够不浪费的显示区域地显示。

此外，根据本发明，全景展开图像显示装置进一步包括背景特征提取单元，该背景特征提取单元从全景展开图像提取背景的背景图像特征，并且截断基准位置确定单元基于背景图像特征来确定截断基准位置。

利用上述设置，能够基于背景特征来显示全景图像，从而使得能够显示对于使用者可理解。

此外，根据本发明，在全景展开图像显示装置中，背景特征提取单元使用颜色信息。

利用上述配置，能够选择在截断图像的图像端部存在独特的物体或标识牌的部分来辅助使用者的空间理解。

另外，根据本发明，在全景展开图像显示装置中，背景特征提取单元使用字符信息。

利用上述配置，能够选择在截断图像的图像端部存在独特的物体或标识牌的部分来辅助使用者的空间理解。

另外，根据本发明，在全景展开图像显示装置中，背景特征提取单元使用纹理信息。

应用上述配置，使能了不选择纹理恒定的部分作为截断图像端部的设定，并且能够自动选择在图像端部具有特征的背景部分，以辅助使用者的空间理解。

此外，根据本发明，在全景展开图像显示装置中，背景特征提取单元使用关于对象的检测频率信息。

利用上述配置，诸如使用者关注的繁忙路段的区域不会被选择作为该图像的全景图像切割线。

此外，根据本发明，在全景展开图像显示装置中，截断基准位置确定单元做出确定使得全景图像的端部彼此重叠。

利用上述配置，在图像端部之间的对齐或者未对齐能够被已知，并且能够辅助使用者的空间理解。

进一步地，根据本发明，提供了一种全景展开图显示装置，该全景展开图显示装置将全景展开图分割为至少两个全景图像，并显示该全景图像，该全景展开图显示装置包括：截断基准位置设置单元，该截断基准位置设置单元设置用于全景展开图像的截断基准位置；对象检测单元，该对象检测单元从全景展开图像检测作为显示目标的对象；截断位置确定单元，该截断位置确定单元根据检测到的对象位置与截断基准位置之间的关系来确定全景图像的截断位置；3D位置确定单元，该3D位置确定单元在截断位置处从全景展开图像截断全景图像，并根据对象在全景图像中的位置来确定3D凸起程度；以及3D图像产生单元，该3D图像产生单元根据由3D位置确定单元确定的3D凸起程度来生成对象在其中凸起的3D图像。

利用上述配置，在将全景展开图像截断为多个段、竖直对齐并显示时，待显示的画面配置能够基于对象的位置信息而改变。此外，能够三维地显示对象的位置，并且该显示使得借助于对象的立体位置，使用者能够容易地领会全景图像的相互联系，以及对象的位置关系。

进一步地，根据本发明，提供了一种全景展开图像显示装置，该全景展开图像显示装置将全景展开图分割为至少两个全景图像，并显示该全景图像，该全景展开图像显示装置包括：截断基准位置设置单元，该截断基准位置设置单元设置用于全景展开图像的截断基准位置；对象检测单元，该对象检测单元从全景展开图像检测作为显示目标的对象；3D位置确定单元，该3D位置确定单元根据对象在全景图像中的位置来确定3D凸起程度；以及3D图像产生单元，该3D图像产生单元根据由3D位置确定单元确定的3D凸起程度来生成对象在其中凸起的3D图像。

利用上述配置，能够实现全景图像的相互联系容易被使用者理解的显示。

进一步地，根据本发明，在全景展开图像显示装置中，3D位置确定单元使得在分割之前相连接的不同全景图像的端部处的凸起程度相同。

利用上述配置，在图像端部之间的对齐或者未对齐能够被已知，并且能够辅助使用者的空间理解。

本发明的效果

根据本发明，能够提供全景展开图像显示装置和显示全景展开图像的方法，其具有如下有利效果：在将全景展开图像截断为多个段并显示时，辅助使用者的空间理解，以使得容易地理解全景图像彼此间的联系，并且即使在对象频繁移动的场景中，也没有任何中断地显示该对象。

附图说明

图1是根据本发明第一实施例的全景展开图像显示装置的方框图。

图2是示出了使用延伸显示区域的全景展开图像显示装置的操作的流程图。

图3的（a）至（c）是示出了分割整个圆周图像的方法的示意图。

图4的（a）和（b）示出了使用延伸显示区域的全景展开图像显示装置的两画面配置的图。

图5是示出了使用延伸显示区域的全景展开图像显示装置的操作的示意图。

图6是示出了使用调整大小处理的全景展开图像显示装置的操作的流程图。

图7是示出了使用调整大小处理的全景展开图像显示装置的两画面配置的图。

图8是示出了使用调整大小处理的全景展开图像显示装置的操作的示意图。

图9是根据本发明的第二实施例的全景展开图像显示装置的方框图。

图10是示出了使用3D显示的全景展开图像显示装置的操作的流程图。

图11的（a）和（b）是示出了由3D位置信息保留单元保持的数据实例的示意图。

图12是示出了使用3D显示的全景展开图像显示装置的操作实例的示意图。

具体实施方式

（第一实施例）

在下文中，将参照附图给出根据本发明的一个实施例的全景展开图像显示装置的描述。在这个实例中，使用能够360度成像的全方位相机用于获得全景展开图像。

将在图1中示出根据本发明第一实施例的全景展开图像显示装置的配置。参照图1，全景展开图像显示装置100包括全方位图像产生单元101，其通过诸如鱼眼相机的全方位相机产生全方位图像；全景展开单元102，其全景展开全方位图像；以及背景特征提取单元103，其从全景展开图像的背景中提取图像特征量。全景展开图像显示装置100还包括：截断基准位置更新单元104，其基于背景特征来更新适合于截断全景展开图像的截断基准位置；对象检测单元105，其检测作为显示目标的对象；对象位置计算单元106，其计算检测到的对象的位置。全景展开图像显示装置100还包括：显示图像产生单元107，其基于先前提取的截断基准位置和对象位置信息在截断全景展开图像时确定图像端部的位置，以产生多个截断全景图像；以及显示单元108，其显示由显示图像产生单元107产生的多个截断的全景图像。

在图2中示出如上所述设置的全景展开图像显示装置100的操作流程。首先，从全方位图像产生单元101中获取全方位相机图像（步骤201）。然后，获取的全方位相机图像被全景展开单元101展开，以获得将360度的全方位图像在任意位置处切割并展开的全景展开图像（步骤202）。可以使用在专利文献1中公开的通常技术作为全景展开技术。另外，由于360度的全方位图像被展开，展开图像的左端和右端实际上是彼此相邻的区域。取决于下文所述的截断基准位置，即使将展开图像在距全景展开图像的左（右）端的给定距离处切割，并原样地连接到右（左）端，也保持了图像的连接性。

接下来，确定截断基准位置是否更新（步骤203）。在此步骤中，在最初启动全景展开图像显示装置100时，或由其他因素导致极大改变待成像的区域时，或在由操作者确定的任意时刻，确定更新截断基准位置。如果确定进行更新，则更新截断基准位置（步骤204和205）。

在更新截断基准位置时，背景特征提取单元103首先提取图像上的背景特征量，诸如纹理信息，颜色信息，或字符信息（步骤204）。在这种情况下，待提取的特征量可以通过除图像处理以外的、使用传感器或类似方法的另一途径获取。

接下来，通过使用在步骤204中获得的背景特征量，截断基准位置更新单元104更新截断基准位置，并且更新背景信息（步骤205）。截断基准位置更新单元104获得将全景展开图像截断为全景图像时的基准位置。为了便于理解被分割为多个段的全景图像的各个端部之间的对应关系，使背景信息分数的值在具有图形特征的区域（纹理不一致，颜色与其他颜色相比是特殊的，嵌入诸如标识牌的文字信息，等等）中提高更多。另一方面，如果对象移动，由于优选的是在全景图像的端部不存在对象，因此将背景信息分数的值计算为使得其值随着对象的检测频率升高而降低。

以这种方式，获得了代表特征区域（物体）在全景展开图像上的位置的背景信息，并且设置和更新全景展开图像的截断基准位置，使得背景分数高的区域被优先地选择用于截断的全景图像的相应图片端部。例如，当全景展开图像被分割为N个段并被显示时，将背景分数最高的区域设置为包含在第一段分割图像的左端，并且参考该区域的位置而将整个全景展开图像分割为N个段并显示。

在本系统中，在与相邻的分割图像部分重叠的情况下显示每个分割图像的两个端部。因此，第一段分割图像的左端的背景分数最高的区域也包括在第N段分割图像的右端。利用此设置，如果选择背景分数低的区域用于在第m个分割图像（m=1，...，N）的图像端部，则参考背景分数第二高的区域代替背景分数最高的区域，将该全景展开图像的截断位置重置。此后，重复上述操作，并设置最佳的截断基准位置。这导致如下优点：即各个分割的全景展开图像的联系对操作者是可理解的。在这种情况下，可以增加约束条件使得各个段的图像宽度变得彼此相等。

将参考图3的（a）至（c）来说明上述特征。图3的（a）表示一个外观，其中在整个圆周图像301中拍摄了第一背景分数区域302，第二背景分数区域303，和低背景分数区域304。

首先，在参考如图3的（b）所示的第一背景分数区域302而将整个圆周图像301在第一切割线305处分割为三块时，在低背景分数区域304中的物体跨越了第一段和第二段分割图像的端部。

在这种情况下，当参考如图3的（c）所示的第二背景分数区域303而在第二切割线306处分割图像时，在没有被分割图像所分割的情况下显示低背景分数区域304。

当截断基准位置的更新已完成，或没有必要更新时，对象检测单元105随后检测在全景展开图像中的对象，并输出获得代表图像中各个位置处的对象（例如，人）的分数的对象检测结果。

另外，对象位置计算单元106基于对象检测结果将代表对象的分数等于或高于阈值的位置确定为该对象的位置，并输出对象位置信息（步骤206）。

随后，根据截断基准位置和对象位置信息，显示图像产生单元107确定并截断由全景展开单元102产生的全景展开图像的截断位置（步骤207），并且产生全景图像（步骤208至210）。

具体而言，确定对象检测结果和截断基准位置之间的距离是否等于或高于给定值（步骤208）。如果是，则将截断的全景图像产生为使得截断基准位置成为图像端部（步骤209）。如果不是，则调整截断基准位置，以产生截断的全景图像（步骤210）。将在下文说明步骤210中的调整截断基准位置的处理的细节。

图4示出了根据第一实施例的显示实例。图4的（a）和4（b）表示从全景展开图像产生两个截断的全景图像，并在显示器11上显示为两段的实例。相应的截断的全景图像显示在分割画面上段12与分割画面下段13。图4的（a）示出了显示通过原样地使用由背景信息更新单元设置的截断基准位置而产生的截断的全景图像的实例。在这种情况下，在分割画面上段12的右端与分割画面下段13的左端重叠并显示相同的图像。

图4的（b）中的区域20和21示出了其中通过使用延伸显示区域14来显示在因为检测到人而调整截断基准位置之后产生的截断的全景图像的实例。延伸显示区域14是显示/非显示可选择的区域，其设置在图像的右侧与左侧，用于在对象22在接近画面端部时改变图像的显示宽度以显示该图像。

图4的（b）示出了当对象22靠近分割画面上段12的右端时，通过使用延伸显示区域20来显示图像的实例。另外，图4的（b）示出了通过使用在分割画面下段13左端的延伸显示区域21来显示图像的实例。

在延伸显示区域14中，在于截断基准位置处进行显示的同时，可以显示任意信息。

图5示出了本实施例中的操作实例。图5示出了对象17（在本实例中为人）在全景展开图像中从左至右移动的实例。在图上部的由粗框包围的图像是全景展开图像。如上所述，由于全景展开图像是具有彼此相连的端部的图像，即使该图像在截断时落在粗框以外，该图像也可作为连续图像来处理。粗框右侧与左侧的虚线区域对应于通过在距左（右）端给定距离处切割全景展开图像，并将切割的图像原样地连接到右（左）端而获得的图像。

图5示出了如在图4的（a）和（b）中将全景展开图像分割为两段并显示的实例。在这个实例中，显示在上段的截断的全景图像被称为“画面1”，而显示在下段的截断的全景图像被称为“画面2”。截断基准位置由截断基准位置更新单元预先获得。如图中所示，对于画面1和画面2获得相应的右截断基准位置和左截断基准位置。此外，通过对象位置计算单元106检测对象位置（人的位置）17。

在时刻t，人的位置17以给定距离d1或者更多而远离画面1和画面2的全部右截断基准位置与左截断基准位置。因此，分割画面上段12与分割画面下段13两者都显示以截断基准位置作为画面端部的截断的全景图像，并且将该人显示在分割画面上段12上。

当来到时刻t+1，人16接近距画面1的右截断基准位置（对应于t1时刻分割画面上段12的右端）给定距离d1处。为此，将画面2的分割的全景图像产生为使得通过向画面2的左截断基准位置增加给定距离dL而获得的位置成为画面端部，并显示在分割画面下段13。当由此显示图像时，将该人显示在分割画面上段12与分割画面下段13两者上。此外，这使得使用者可以注意到该人接近画面端部。

当来到时刻t+2，人15接近距画面1的右截断基准位置（相应于在时刻t+1分割画面上段12的右端）给定距离d2处。为此，将画面1的截断的全景图像产生为使得通过向画面1的右截断基准位置增加给定距离dR而获得的位置成为画面端部，并显示在分割画面上段12。此外，将截断的画面2的全景图像产生为使得画面2的左截断基准位置成为画面端部，并显示在分割画面下段13。

当时间进一步到达时刻t+3时，人18移动以距离d1或者更多而从画面2的左截断基准位置移开。因此，将全景图像产生为使得截断基准位置与画面1和画面2两者上的画面端部匹配，并显示在分割画面上段12和分割画面下段13。同样地，当对象在分割画面上段12从右至左移动时，展开和收缩在原有全景展开图像上具有连接关系的图像端部中的每一个，诸如分割画面下段13的右端和分割画面上段12的左端。因此，可以没有中断地显示该对象。即使在以三段或更多个段显示全景图像的配置下，当对象从对应图像端部移动到距离d1和d2时，将相应的区域以距离dR和dL展开和收缩，由此来获得同样的效果。在这种情况下，考虑对象的水平宽度，更有效地确定d1，d2，dR和dL的大小。

在如上所述根据本发明第一实施例的全景展开图像显示装置中，截断基准位置由背景特征提取单元103和截断基准位置更新单元104设置，使得具有图形特征的区域被优先地选择用于截断的全景展开图像的各个图像端部。另外，全景展开图像的截断位置由对象位置计算单元106与对象位置相一致地改变，以展开和收缩显示范围。因此，可以没有中断地在截断的全景图像的图像端部显示该对象。此外，因为显示范围被展开和收缩，人的移动容易被使用者理解。

在一种显示方法中，当对象接近距截断基准位置给定距离d1与d2时，截断的全景图像的显示区域在无预先展开和收缩的情况下被固定到预先确定的宽度，而截断的全景图像的宽度（在下文中，以该宽度截断的全景图像被称为“待调整大小的区域”）改变，该宽度可以被调整大小。因此，可以在不浪费显示区域且没有中断的情况下显示该对象。在图6中示出了使用调整大小的流程，在图7中示出了画面的显示实例，并且在图8中示出了操作实例。在图6中，以相同的附图标记指示与图2示出的流程中的处理相同的处理。在步骤510中，代替展开和收缩，对显示区域调整大小并显示。如图7所示，由于在实际画面显示中展开和收缩各个截断的全景图像，因此不需要延伸显示区域。在图8中，上述实例中待调整大小的区域在从时刻t到时刻t+3的相应画面中分别由虚线粗框表示。例如，在时刻t+1的画面2中的待调整大小的区域宽度比在时刻t的画面2中的待调整大小的区域宽度宽。在这种情形下，对在时刻t+1的画面2中的待调整大小的区域调整大小，使得减小其宽度，并与在时刻t的宽度相一致地显示。

此外，在第一实施例中，通过使用鱼眼镜头等的全方位相机拾取的图像被设置为输入图像。甚至在通过使用一个或多个常规相机生成全景图像时，也获得同样的效果。

此外，通过使用背景特征来获得截断基准位置不是必要的，并且预先确定的位置或由人指定的位置可以被设置为截断基准位置。另外，将截断基准位置确定为使得相应的截断的全景图像的两个端部都彼此重叠不是必要的，但是可以将截断基准位置确定为使得那些端部彼此不重叠（相邻的截断的全景图像的图像端部出现在相同位置或彼此远离）。确定截断基准位置以使得端部相互重叠是有利的，其原因是同样的物体被包含在不同的全景展开图像中，如果物体是特征物体，则位置关系容易被使用者理解。确定截断基准位置以使得端部彼此不重叠有利于节约显示区域。为此，可以根据应用或使用条件来选择截断基准位置的确定。

（第二实施例）

接下来，将参照图9给出根据本发明的第二实施例的全景展开图像显示装置800的说明。与第一实施例中描述的全景展开图像显示装置100相同的构成元件由相同的附图标记来表示。

参考图9，根据本发明的第二实施例，全景展开图像显示装置800包括全方位图像产生单元101；全景展开单元102；背景特征提取单元103，其从全景展开图像中提取背景的图像特征量；截断基准位置更新单元104，其基于背景特征来更新适合于截断全景图像的位置；对象检测单元105，其检测作为显示目标的对象；和对象位置计算单元106，其计算检测到的对象位置。全景展开图像显示装置800还包括3D图像产生单元801，其基于检测到的对象信息计算3D位置信息（关于在生成3D图像时从画面凸起的程度的信息），以产生对象的3D图像；3D位置信息保留单元802，其保留与各个对象的位置对应的3D位置信息；以及图像合成单元803，其从产生的3D图像和截断的全景图像来合成图像，该截断的全景图像根据截断基准位置从全景展开图像截断；显示单元108，其显示合成的图像。

3D位置信息保留单元802保留与在截断的全景图像中的对象位置对应的3D位置信息，该3D位置信息保留单元802可以根据将全景展开图像分割为两块的情形或将该全景展开图像分割为三块的情形预先确定3D位置信息。将关于相邻的截断的全景图像的对应图片端部的3D位置信息设置为相同的值。因此，当对象跨越截断的全景图像移动时，对象的凸起程度是彼此相同的。因此，容易进行相同对象的关联。图11示出了由3D位置信息保留单元保持的数据的一个实例。图11的（a）示意性地示出了当全景展开图像被分割为两块时根据对象位置的3D凸起程度。（b）示出了全景展开图像被分割为三块的情形。在这个实例中，虚线部分对应于一个截断的全景图像，并且粗线部分对应于凸起量。也就是说，如果得到了截断基准位置（虚线的端部位置）和对象位置，则可以获得凸起量。

基于3D位置信息不仅产生对象的3D图像，也产生背景的3D图像。因此，即使对象不移动，也很容易理解一个截断的全景图像的端部连接到另一个截断的全景图像的哪个端部。

将参照图10说明如上所述的全景展开图像显示装置的操作。

步骤201至207与第一实施例中的步骤相同。在步骤207结束时的时间点，获得截断基准位置和对象位置。接下来，3D图像产生单元801基于输出的对象位置信息以及存储在3D位置信息保留单元802中的3D位置来获得凸起量（步骤901）。3D图像产生单元801生成该对象的3D图像（步骤902），其看上去以获得的凸起量凸起。最后，图像合成单元803从存在该对象的截断的全景图像与该对象的3D图像合成图像，并生成待显示的图像。

图12中示出了3D图像产生的实例。图12是虚拟地示出了绘图平面的顶视图，当假想平面31在深度方面是±0时，例如，画面1表示将左侧显示在后面，而将右侧在前面突出并显示。对象的每个位置的立体视图程度由3D位置信息保留单元802保存。基于每个对象的位置信息在3D图像产生单元801中产生3D图像，以便可以立体地观看对象图像。该图像由图像合成单元803从产生的3D图像与原始的全景展开图像合成，并随后显示在显示单元108中。在这种情况下，在各个分割的全景图像中，将相邻的部分显示为使得在立体观看时具有相同的高度。例如，在图12中，画面1的右端和画面2的左端显示相同的区域，并且通过3D位置信息保留单元802调整指示对于对象33的每个位置的深度信息的3D深度信息线32，以便所有这些端部变为处于同一高度。对于画面1的左端和画面2的右端同样适用。在这个实例中，如果通过3D位置信息保留单元设置3D位置信息，以使得凸起程度在画面1的右端和左端之间不同，即使两个对象在画面1的右端与左端同时移动，这两个对象之间的凸起程度也是不同的。因此，在图像中，可以容易地理解图像端部的相互联系。

在如上所述根据本发明第二实施例的全景展开图像显示装置中，由对象检测单元105检测对象，由3D位置信息保留单元802参考关于适当位置的3D信息，并且由3D图像产生单元801来产生并显示3D图像。利用该配置，即使当全景展开图像被分割为多个段时，在分割后的各个图像端部的互相联系可以被显示为使得便于理解。

在本实施例中，将全景展开图像分割为两个画面。同样地，当全景展开图像被分割成三个或更多个画面时，可以以相同的高度三维显示相邻区域。此外，还可以通过使相邻区域的高度彼此相等来获得上述效果，但立体化程度是任意的。也就是说，不总是需要画面两端具有最大的高度，或具有最大深度。

此外，当通过图像合成单元803从3D信息和背景合成图像时，如在第一实施例中，基于由截断基准位置更新单元104检测的背景的截断位置，以由对象位置计算单元106计算的对象位置，确定背景图像的截断位置以截断全景图像。3D信息可以与作为背景的截断的全景图像合成。

已经详细地并参照特定的实施例描述了本发明，但对于普通技术人员显而易见的是，在不脱离本发明的精神与范围的情况下，本发明可以进行各种变更和修改。

本发明是基于2010年5月17日提交的日本专利申请（特愿2010-112855），并且其内容通过引用并入本文。

工业适用性

如上文已经描述的，根据本发明的全景展开图像显示装置具有截断位置和全景展开图像的显示方法可以与对象的移动一致地改变的优点，并且作为显示通过使用全方位相机或多个相机生成的全景图像的方法是有用的，并且可广泛地用于例如使用全方位相机的监视器解决方案等中。

附图标记说明

101：全方位图像产生单元

102：全景展开单元

103：背景特征提取单元

104：截断基准位置更新单元

105：对象检测单元

106：对象位置计算单元

107：显示图像产生单元

108：显示单元

Claims (12)

1.一种全景展开图像显示装置，包括：

截断基准位置设置单元，所述截断基准位置设置单元在全景展开图像中设置截断基准位置；

对象检测单元，所述对象检测单元从所述全景展开图像检测作为显示目标的至少一个对象中的一个；

截断位置确定单元，所述截断位置确定单元根据检测到的所述显示目标的位置与所述截断基准位置之间的关系来确定所述全景展开图像中的截断位置；

截断单元，所述截断单元在所确定的截断位置处截断所述全景展开图像，以从所述全景展开图像获得至少两个全景图像，所述至少两个全景图像中的每一个包括所述全景展开图像中的不同部分；以及

显示图像产生单元，所述显示图像产生单元产生要被分开显示在显示单元上的所述至少两个全景图像，其中

所述至少两个全景图像中的每一个全景图像：

(a)当用于获得所述每一个全景图像的所确定的截断位置与所述截断基准位置相同时，以基准宽度被显示在所述显示单元上，并且

(b)当用于获得所述每一个全景图像的所确定的截断位置与所述截断基准位置不同时，以与所述基准宽度相比更宽的宽度被显示在所述显示单元上。

2.根据权利要求1所述的全景展开图像显示装置，

其中所述全景展开图像是展开的运动图像，并且

其中所述截断位置确定单元将所述截断位置确定为，使得当所述显示目标的位置接近所述截断基准位置时，所述显示目标的整体被包含在所述全景图像中的至少一个中。

3.根据权利要求1所述的全景展开图像显示装置，进一步包括背景特征提取单元，所述背景特征提取单元从所述全景展开图像提取背景的背景图像特征，

其中所述截断基准位置设置单元基于所述背景图像特征来确定所述截断基准位置。

4.根据权利要求3所述的全景展开图像显示装置，

其中所述背景特征提取单元使用所述背景中的颜色信息作为所述背景图像特征。

5.根据权利要求3所述的全景展开图像显示装置，

其中所述背景特征提取单元使用所述背景中的字符信息作为所述背景图像特征。

6.根据权利要求3所述的全景展开图像显示装置，

其中所述背景特征提取单元使用所述背景中的纹理信息作为所述背景图像特征。

7.根据权利要求3所述的全景展开图像显示装置，

其中所述背景特征提取单元使用关于所述对象的检测频率信息。

8.根据权利要求1所述的全景展开图像显示装置，

其中所述截断基准位置设置单元做出确定使得所述全景图像的端部彼此重叠。

9.根据权利要求1所述的全景展开图像显示装置，进一步包括：

3D位置确定单元，所述3D位置确定单元确定所述至少两个全景图像中的每一个的3D凸起程度，使得所述至少一个对象中的每一个在所述至少两个全景图像中的每一个中以基本上相同的3D程度凸起；以及

3D图像产生单元，所述3D图像产生单元根据由所述3D位置确定单元确定的所述3D凸起程度来生成所述至少一个对象中的每一个在其中凸起的3D图像。

10.一种显示全景展开图像的方法，包括：

截断基准位置设置步骤，所述截断基准位置设置步骤基于背景图像特征在全景展开图像中设置截断基准位置；

对象检测步骤，所述对象检测步骤从所述全景展开图像检测作为显示目标的对象；

截断位置确定步骤，所述截断位置确定步骤根据检测到的对象位置与所述截断基准位置之间的关系来确定所述全景展开图像中的截断位置；

截断步骤，所述截断步骤在所确定的截断位置处截断所述全景展开图像，以从所述全景展开图像获得至少两个全景图像，所述至少两个全景图像中的每一个包括所述全景展开图像中的不同部分；以及

显示图像产生步骤，所述显示图像产生步骤产生要被分开显示在显示单元上的所述至少两个全景图像，其中

所述至少两个全景图像中的每一个全景图像：

(a)当用于获得所述每一个全景图像的所确定的截断位置与所述截断基准位置相同时，以基准宽度被显示在所述显示单元上，并且

(b)当用于获得所述每一个全景图像的所确定的截断位置与所述截断基准位置不同时，以与所述基准宽度相比更宽的宽度被显示在所述显示单元上。

11.一种全景展开图像显示装置，包括：

截断基准位置设置单元，所述截断基准位置设置单元在全景展开图像中设置截断基准位置；

对象检测单元，所述对象检测单元从所述全景展开图像检测作为显示目标的至少一个对象中的一个；

截断位置确定单元，所述截断位置确定单元根据检测到的所述显示目标的位置与所述截断基准位置之间的关系来确定所述全景展开图像中的截断位置；

截断单元，所述截断单元在所确定的截断位置处截断所述全景展开图像，以从所述全景展开图像获得至少两个全景图像，所述至少两个全景图像中的每一个包括所述全景展开图像中的不同部分；以及

显示图像产生单元，所述显示图像产生单元产生要被分开显示在显示单元上的所述至少两个全景图像，其中

所述至少两个全景图像中的每一个全景图像：

(a)当用于获得所述每一个全景图像的所确定的截断位置与所述截断基准位置相同时，以默认缩放被显示在所述显示单元上，并且

(b)当用于获得所述每一个全景图像的所确定的截断位置与所述截断基准位置不同时，以与所述默认缩放相比减小的缩放被显示在所述显示单元上。

12.一种显示全景展开图像的方法，包括：

截断基准位置设置步骤，所述截断基准位置设置步骤基于背景图像特征在全景展开图像中设置截断基准位置；

对象检测步骤，所述对象检测步骤从所述全景展开图像检测作为显示目标的对象；

截断位置确定步骤，所述截断位置确定步骤根据检测到的对象位置与所述截断基准位置之间的关系来确定所述全景展开图像中的截断位置；

截断步骤，所述截断步骤在所确定的截断位置处截断所述全景展开图像，以从所述全景展开图像获得至少两个全景图像，所述至少两个全景图像中的每一个包括所述全景展开图像中的不同部分；以及

所述至少两个全景图像中的每一个全景图像：

(a)当用于获得所述每一个全景图像的所确定的截断位置与所述截断基准位置相同时，以默认缩放被显示在显示单元上，并且

(b)当用于获得所述每一个全景图像的所确定的截断位置与所述截断基准位置不同时，以与所述默认缩放相比减小的缩放被显示在所述显示单元上。