CN107682638A - 生成、显示全景图像的方法及装置 - Google Patents

Abstract

本发明公开了一种生成、显示全景图像的方法及装置，所述包括：获取全景图像以及全景图像中关键画面对应的特写图像；在所述全景图像中将所述关键画面设置为可选区域，并建立所述可选区域与对应的特写图像的关联关系，以在所述可选区域被选中后单独显示对应的特写图像。本发明中为关键画面设置特写图像，在全景图像中将关键画面设置为可选区域，当观看者点击可选区域后，单独显示可选区域对应的特写图像，让观看者以非常清晰的方式了解到全景内容的画面细节。

Description

生成、显示全景图像的方法及装置

技术领域

本发明涉及虚拟现实技术，尤指一种生成、显示全景图像的方法及装置。

背景技术

随着360度全景相机技术的成熟和普及，越来越多的人开始使用全景相机记录身边的精彩内容。

与普通相机拍摄出的内容相比，全景相机拥有360的视角，可以全面记录同一时刻周围的任意场景，并且给观看者带来更强的三维立体的感觉，使观看者能够沉浸其中，体验身临其境的感觉。

但是，全景图像在扩大观看者视角范围的同时，也同样丢失了局部内容的细节，观看者如果想了解全景图像的某个局部细节，目前只能通过放大图像，这样就牺牲了清晰度。

发明内容

为了解决上述技术问题，本发明提供了一种生成、显示全景图像的方法及装置，使观看者在获得全景体验的同时，能够清晰的观看到全景图像中的局部内容。

为了达到本发明目的，本发明提供了一种生成全景图像的方法，包括：

获取全景图像以及全景图像中关键画面对应的特写图像；

在所述全景图像中将所述关键画面设置为可选区域，并建立所述可选区域与对应的特写图像的关联关系，以在所述可选区域被选中后单独显示对应的特写图像。

进一步，本申请还提供了一种显示全景图像的方法，包括：

显示全景图像，在显示的全景图像中标识出可选区域；其中，所述可选区域为针对全景图像中的关键画面所设置的，与关键画面的特写图像建立有关联关系的图像区域；

检测用户的选取操作，在所述可选区域被选中后，单独显示出所述可选区域对应的特写图像。

进一步，本申请还一种生成全景图像的装置，包括：获取单元、第一设置单元和第二设置单元，其中：

所述获取单元，用于获取全景图像以及全景图像中关键画面对应的特写图像；

所述第一设置单元，用于在所述全景图像中将所述关键画面设置为可选区域；

所述第二设置单元，用于建立所述可选区域与对应的特写图像的关联关系，以在所述可选区域被选中后单独显示对应的特写图像。

进一步，本申请还提供了一种显示全景图像的装置，包括：第一显示单元、检测单元和第二显示单元，其中：

所述第一显示单元，用于显示全景图像，在显示的全景图像中标识出可选区域；其中，所述可选区域为针对全景图像中的关键画面所设置的，与关键画面的特写图像建立有关联关系的图像区域；

所述检测单元，用于检测用户的选取操作；

所述第二显示单元，用于在所述可选区域被选中后，单独显示出所述可选区域对应的特写图像。

进一步，本申请还提供一种生成全景图像的装置，包括：

处理器；以及

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取全景图像以及全景图像中关键画面对应的特写图像；

在所述全景图像中将所述关键画面设置为可选区域，并建立所述可选区域与对应的特写图像的关联关系，以在所述可选区域被选中后单独显示对应的特写图像。

进一步，本申请还提供了一种显示全景图像的装置，包括：

处理器；以及

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

显示全景图像，在显示的全景图像中标识出可选区域；其中，所述可选区域为针对全景图像中的关键画面所设置的，与关键画面的特写图像建立有关联关系的图像区域；

检测用户的选取操作，在所述可选区域被选中后，单独显示出所述可选区域对应的特写图像。

与现有技术相比，本发明包括获取全景图像以及全景图像中关键画面对应的特写图像；在全景图像中将关键画面设置为可选区域，并建立可选区域与对应的特写图像的关联关系，以在可选区域被选中后单独显示对应的特写图像。本发明中为关键画面设置特写图像，在全景图像中将关键画面设置为可选区域，当观看者点击可选区域后，单独显示可选区域对应的特写图像，让观看者以非常清晰的方式了解到全景内容的画面细节。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本申请一实施例提供的生成全景图像的方法的流程图；

图2为本申请另一实施例提供的显示全景图像的方法的流程图；

图3为本申请又一实施例提供的生成全景图像的装置的架构图；

图4为本申请又一实施例提供的显示全景图像的装置的架构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

现有技术中，全景图像虽然能够给观看者带来360度沉浸式的感官体验，但是，在扩大观看者视角范围的同时，全景图像损失了对图像局部画面的展示。观看者如果要观看全景图像的局部画面，只能通过放大图像的方式实现，但是，这样就牺牲了图像的清晰度，只能观看到模糊的局部画面。

为了能使观看者既享受到全景图像带来的360度的沉浸式感官体验，又能够清晰的观看到全景图像中的局部画面，本申请中为全景图像中的关键画面设置了特写图像。先将关键画面设置为可选区域，再建立可选区域与对应的特写图像的关联关系。在显示全景图像时，在全景图像中标识出可选区域，在观看者选中一可选区域时，表示观看者对此局部图像感兴趣，想要更加清晰的观看此局部图像，此时对应的将被选中的可选区域对应的特写图像进行单独的显示，使观看者以更加清晰的方式观看到局部图像。

如图1所示，本申请提供的生成全景图像的方法，包括：

步骤101：获取全景图像以及全景图像中关键画面对应的特写图像；

步骤102：在全景图像中将关键画面设置为可选区域，并建立可选区域与对应的特写图像的关联关系，以在可选区域被选中后单独显示对应的特写图像。

本申请提供的生成全景图像的方法可以应用于对全景相机、运动相机和安装有全景相机配件的手机等拍摄设备拍摄的全景图像设置特写图像，也可以是对全景电影、全景动画等由专业设备拍摄制作的全景内容设置特写图像。

全景视频是由一系列的全景图像序列组成，因此，本申请提供的生成全景图像的方法不仅适用于全景图像，同样适用于全景视频。

为了能够实现对全景图像设置特写图像，需要首先获取到全景图像和特写图像。

对于全景相机和运动相机等拍摄设备拍摄的全景图像等，可以直接从拍摄设备获取全景图像；如果全景图像已经下载到手机等展现设备上，也可以从展现设备上获取全景内容；对于全景动画和计算机生成的全景画面，可以从相应的制作设备上获取相应的全景内容。对于特写图像，可以从拍摄特写图像的手机、相机等设备中获取特写图像。

对于通过安装有全景相机配件的手机拍摄的全景图像，可以从手机中获取到全景图像，并同时通过该手机拍摄特写图像，并从该手机中获取到特写图像。

为手机安装全景相机配件可以是在手机的前置摄像头上加装前置鱼眼镜头，在手机的后置摄像头上加装后置鱼眼镜头。通过一个连接架连接前置鱼眼镜头和后置鱼眼镜头，并实现与手机的连接和拆卸。鱼眼镜头最大的作用是扩大视角范围大，手机的前置摄像头加装前置鱼眼镜头，后置摄像头加装后置鱼眼镜头后，即可拍摄到以手机为中心的360度范围内的景物，使手机具备拍摄全景图像的能力。

特写图像是针对全景图像中的一些关键画面单独拍摄的局部放大的图像，可以使用手机、相机等设备拍摄普通图像，并记录特写图像对应的关键画面在全景图像中的位置。

其次，在获取到全景图像和特写图像后，在全景图像中将关键画面设置为可选区域。

本申请中考虑到由于一帧全景图像中包含360度的全景画面，对观看者来说，在360的全景画面中，有很多区域并不是观看者主要关注的，对于这些区域，观看者可能只是一览而过，甚至可能始终不会关注到。而对于如人物、景观中心等关键画面观看者会想从细节上仔细观看。为了能够通过特写图像展现全景图像中的关键画面，将拍摄者想要传达的局部细节更好的展现给观看者，需要将全景图像中的关键画面设置为可选区域。关键画面可以是一个或多个，也就是在全景图像中可以设置一个或多个可选区域，如人物或景观中心等。

在本申请的一可选实施例中，在全景图像中将关键画面设置为可选区域，可以包括：

确定关键画面在全景图像中的位置信息；

根据关键画面的位置信息，在关键画面的范围内设置标识信息，以在显示全景图像时将关键画面标识为可选区域。

在为关键画面拍摄特写图像时，需要记录每个特写图像对应的关键画面在全景图像中的位置信息。全景图像由像素点组成，像素点的数量由全景图像的分辨率决定，每个像素点在全景图像中的位置信息都是可以明确确定的，因此，全景图像中的关键画面的位置信息可以根据组成关键画面的像素点的位置信息确定。本申请中的位置信息可以采用直角坐标，也可以采用角坐标。如果采用直角坐标，则可以通过关键画面四个顶点的直角坐标表示关键画面的位置信息。也可以采用角坐标表示位置信息，如采用关键画面四个顶点的角坐标表示关键画面的位置信息。

例如，在以观看者(同时也是拍摄位置)为原点的直角坐标系中，假设点(X，Y，Z)为全景图像上一个像素点的位置信息。当然，也可以用角坐标系坐标(θ，α)来表示。这样，一个关键画面的位置信息可以表示为(X₁，Y₁，Z₁)，(X₂，Y₂，Z₂)，(X₃，Y₃，Z₃)，(X₄，Y₄，Z₄)。

在为每个关键画面拍摄特写图像时，都会记录该关键画面在全景图像中的位置信息。在将关键画面设置为可选区域时，先按照记录，确定出关键画面的位置信息，再根据位置信息确定关键画面的范围，并在关键画面的范围内设置标识信息，以使观看者能够在全景图像中清晰的识别出标识为可选区域的关键画面。

在本申请的一可选实施例中，可以对关键画面设置图框、设置文字标记或设置动态效果等标识信息将关键画面标识为可选区域。

再次，在将关键画面设置为可选区域后，建立可选区域与对应的特写图像的关联关系，从而在可选区域被选中后在屏幕上单独显示出对应的特写图像，在满足观看者全景观看体验的同时，能够清晰的观看到全景图像的局部细节。

在本申请的一可选实施例中，上述建立可选区域与对应的特写图像的关联关系，可以包括：

记录可选区域与对应的特写图像的关联关系信息；

根据关联关系信息将特写图像设置为对应的可选区域被选中后关联显示的图像。

本申请中可以采用对应关系表的方式记录可选区域与对应的特写图像的关联关系信息。在对应关系表中可以通过可选区域的位置信息(也就是关键画面的位置信息)表示可选区域，通过特写图像的存储路径表示特写图像。在对应关系表中，将关联的可选区域的位置信息与特写图像的存储路径记录在同一个条目中。当然，这只是本申请记录可选区域与对应的特写图像的关联关系信息的一个具体实现方式，并不构成对本申请的限制。

为了在显示全景图像时，使观看者能够看到关键画面的特写图像，还需要进行显示设置，也就是根据关联关系信息将每个特写图像设置为对应的可选区域被选中后关联显示的图像，通过该显示设置可以使观看者在选中可选区域后，单独观看到特写图像，从而了解到关键画面的局部细节。

本申请中，在拍摄全景图像时，同时拍摄全景图像中的关键画面的特写图像，并全景图像与特写图像进行关联，以使当观看者选中可选区域时，平滑的切换到特写图像，让观看者了解全景图像的细节画面。

如图2所示，本申请还提供了一种显示全景图像的方法，包括：

步骤201：显示全景图像，在显示的全景图像中标识出可选区域；

其中，可选区域为针对全景图像中的关键画面所设置的，与关键画面的特写图像建立有关联关系的图像区域；

步骤202：检测用户的选取操作，在可选区域被选中后，单独显示出所述可选区域对应的特写图像。

本申请提供的显示全景图像的方法可以应用在手机、头显设备等用于播放全景图像的显示设备中。

在显示全景图像时，需要对全景图像数据进行解码，并渲染到三维几何形体上，例如通常会渲染到球体上。在显示视角上，通过视窗截取画面以显示在二维屏幕上，视窗范围通常为长方形区域。视窗范围内的画面被显示在屏幕上。观看者以渲染的球体内的中心，可以看向球面上的任意区域，从而达到观看全景的效果。

本申请中在显示全景图像时，会在全景图像中标识出可选区域，从而向观看者指示出能够进一步观看到画面细节的图像区域。可选区域是在生成全景图像时选取的在全景图像中比较关键或重点的图像区域(关键画面)，并与关键画面的特写图像建立有关联关系的图像区域。

在本申请的一可选实施例中，在显示的全景图像中标识出可选区域，可以包括：

根据关键画面在全景图像中的位置信息，确定出关键画面的范围；

在关键画面的范围内显示标识信息，以标识出可选区域。

在为每个关键画面拍摄特写图像时，都会记录该关键画面在全景图像中的位置信息。关键画面的位置信息可以根据组成关键画面的像素点的位置信息明确确定。本申请中的位置信息可以采用直角坐标，也可以采用角坐标。如果采用直角坐标，则可以通过关键画面四个顶点的直角坐标表示关键画面的位置信息。也可以采用角坐标表示位置信息，如采用关键画面四个顶点的角坐标表示关键画面的位置信息。

在得到关键画面在全景图像中的位置信息后，可以根据位置信息，确定出关键画面的范围；例如，如果采用直角坐标系，则四个顶点的直角坐标系所圈定的范围就是关键画面的范围。

在确定关键画面的范围后，可以根据设置的标识信息，对关键画面显示图框、文字标记或动态效果等标识信息，以标识出可选区域。

在全景图像中标识出可选区域后，需要实时检测用户的选取操作，在任意一个可选区域被选中后，需要单独显示出被选中的可选区域对应的特写图像。

在本申请的一可选实施例中，在可选区域被选中后，单独显示出可选区域对应的特写图像，可以包括：

根据可选区域与对应的特写图像的关联关系信息，读取被选中的可选区域对应的特写图像；

在新窗口中单端显示出被选中的可选区域对应的特写图像。

本申请中可以采用对应关系表的方式记录可选区域与对应的特写图像的关联关系信息。在对应关系表中可以通过可选区域的位置信息(也就是关键画面的位置信息)表示可选区域，通过特写图像的存储路径表示特写图像。在对应关系表中，将关联的可选区域的位置信息与特写图像的存储路径记录在同一个条目中。

在检测到某一可选区域被选中后，可以通过对应关系表查询被选中的可选区域对应的特写图像，并根据存储路径读取出对应的特写图像。然后，再按照显示设置打开一个新窗口，在新窗口中单端显示可选区域对应的特写图像，使观看者通过特写图像了解到画面的局部细节。

本申请中为全景图像中的关键画面设置特写图像。先将关键画面设置为可选区域，再建立可选区域与对应的特写图像的关联关系。在显示全景图像时，在全景图像中标识出可选区域，在观看者选中一可选区域时，将被选中的可选区域对应的特写图像进行单独的显示，使观看者在享受到全景图像带来的360度的沉浸式感官体验的同时，能够清晰的观看到全景图像中的局部画面。

如图3所示，本申请还提供了一种生成全景图像的装置，包括：获取单元、第一设置单元和第二设置单元，其中：

获取单元，用于获取全景图像以及全景图像中关键画面对应的特写图像；

第一设置单元，用于在全景图像中将关键画面设置为可选区域；

第二设置单元，用于建立可选区域与对应的特写图像的关联关系，以在可选区域被选中后单独显示对应的特写图像。

进一步，第一设置单元在全景图像中将关键画面设置为可选区域，包括：

确定关键画面在全景图像中的位置信息；

根据关键画面的位置信息，在关键画面的范围内设置标识信息，以在显示全景图像时将关键画面标识为可选区域。

进一步，第二设置单元建立可选区域与对应的特写图像的关联关系，包括：

记录可选区域与对应的特写图像的关联关系信息；

根据关联关系信息将特写图像设置为对应的可选区域被选中后关联显示的图像。

如图4所示，本申请还提供了一种显示全景图像的装置，包括：第一显示单元、检测单元和第二显示单元，其中：

第一显示单元，用于显示全景图像，在显示的全景图像中标识出可选区域；其中，可选区域为针对全景图像中的关键画面所设置的，与关键画面的特写图像建立有关联关系的图像区域；

检测单元，用于检测用户的选取操作；

第二显示单元，用于在可选区域被选中后，单独显示出可选区域对应的特写图像。

进一步，第一显示单元在显示的全景图像中标识出可选区域，包括：

根据关键画面在全景图像中的位置信息，确定出关键画面的范围；

在关键画面的范围内显示标识信息，以标识出可选区域。

进一步，第二显示单元在可选区域被选中后，单独显示出可选区域对应的特写图像，包括：

根据可选区域与对应的特写图像的关联关系信息，读取被选中的可选区域对应的特写图像；

在新窗口中单端显示出被选中的可选区域对应的特写图像。

本申请还提供了一种生成全景图像的装置，包括：

处理器；以及

用于存储处理器可执行指令的存储器；

其中，处理器被配置为：

获取全景图像以及全景图像中关键画面对应的特写图像；

在全景图像中将关键画面设置为可选区域，并建立可选区域与对应的特写图像的关联关系，以在可选区域被选中后单独显示对应的特写图像。

本申请还提供了一种显示全景图像的装置，包括：

处理器；以及

用于存储处理器可执行指令的存储器；

其中，处理器被配置为：

显示全景图像，在显示的全景图像中标识出可选区域；其中，可选区域为针对全景图像中的关键画面所设置的，与关键画面的特写图像建立有关联关系的图像区域；

检测用户的选取操作，在可选区域被选中后，单独显示出可选区域对应的特写图像。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (14)

1.一种生成全景图像的方法，其特征在于，包括：

获取全景图像以及全景图像中关键画面对应的特写图像；

在所述全景图像中将所述关键画面设置为可选区域，并建立所述可选区域与对应的特写图像的关联关系，以在所述可选区域被选中后单独显示对应的特写图像。

2.根据权利要求1所述的方法，其特征在于，所述在所述全景图像中将所述关键画面设置为可选区域，包括：

确定所述关键画面在所述全景图像中的位置信息；

根据所述关键画面的位置信息，在所述关键画面的范围内设置标识信息，以在显示所述全景图像时将所述关键画面标识为所述可选区域。

3.根据权利要求1或2所述的方法，其特征在于，所述建立所述可选区域与对应的特写图像的关联关系，包括：

记录所述可选区域与对应的特写图像的关联关系信息；

根据所述关联关系信息将所述特写图像设置为对应的可选区域被选中后关联显示的图像。

4.一种显示全景图像的方法，其特征在于，包括：

显示全景图像，在显示的全景图像中标识出可选区域；其中，所述可选区域为针对全景图像中的关键画面所设置的，与关键画面的特写图像建立有关联关系的图像区域；

检测用户的选取操作，在所述可选区域被选中后，单独显示出所述可选区域对应的特写图像。

5.根据权利要求4所述的方法，其特征在于，所述在显示的全景图像中标识出可选区域，包括：

根据所述关键画面在所述全景图像中的位置信息，确定出所述关键画面的范围；

在所述关键画面的范围内显示标识信息，以标识出所述可选区域。

6.根据权利要求4或5所述的方法，其特征在于，所述在所述可选区域被选中后，单独显示出所述可选区域对应的特写图像，包括：

根据可选区域与对应的特写图像的关联关系信息，读取被选中的可选区域对应的特写图像；

在新窗口中单端显示出被选中的可选区域对应的特写图像。

7.一种生成全景图像的装置，其特征在于，包括：获取单元、第一设置单元和第二设置单元，其中：

所述获取单元，用于获取全景图像以及全景图像中关键画面对应的特写图像；

所述第一设置单元，用于在所述全景图像中将所述关键画面设置为可选区域；

所述第二设置单元，用于建立所述可选区域与对应的特写图像的关联关系，以在所述可选区域被选中后单独显示对应的特写图像。

8.根据权利要求7所述的装置，其特征在于，所述第一设置单元在所述全景图像中将所述关键画面设置为可选区域，包括：

确定所述关键画面在所述全景图像中的位置信息；

根据所述关键画面的位置信息，在所述关键画面的范围内设置标识信息，以在显示所述全景图像时将所述关键画面标识为所述可选区域。

9.根据权利要求7或8所述的装置，其特征在于，所述第二设置单元建立所述可选区域与对应的特写图像的关联关系，包括：

记录所述可选区域与对应的特写图像的关联关系信息；

根据所述关联关系信息将所述特写图像设置为对应的可选区域被选中后关联显示的图像。

10.一种显示全景图像的装置，其特征在于，包括：第一显示单元、检测单元和第二显示单元，其中：

所述第一显示单元，用于显示全景图像，在显示的全景图像中标识出可选区域；其中，所述可选区域为针对全景图像中的关键画面所设置的，与关键画面的特写图像建立有关联关系的图像区域；

所述检测单元，用于检测用户的选取操作；

所述第二显示单元，用于在所述可选区域被选中后，单独显示出所述可选区域对应的特写图像。

11.根据权利要求10所述的装置，其特征在于，所述第一显示单元在显示的全景图像中标识出可选区域，包括：

根据所述关键画面在所述全景图像中的位置信息，确定出所述关键画面的范围；

在所述关键画面的范围内显示标识信息，以标识出所述可选区域。

12.根据权利要求10或11所述的装置，其特征在于，所述第二显示单元在所述可选区域被选中后，单独显示出所述可选区域对应的特写图像，包括：

根据可选区域与对应的特写图像的关联关系信息，读取被选中的可选区域对应的特写图像；

在新窗口中单端显示出被选中的可选区域对应的特写图像。

13.一种生成全景图像的装置，其特征在于，包括：

处理器；以及

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取全景图像以及全景图像中关键画面对应的特写图像；

在所述全景图像中将所述关键画面设置为可选区域，并建立所述可选区域与对应的特写图像的关联关系，以在所述可选区域被选中后单独显示对应的特写图像。

14.一种显示全景图像的装置，其特征在于，包括：

处理器；以及

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

显示全景图像，在显示的全景图像中标识出可选区域；其中，所述可选区域为针对全景图像中的关键画面所设置的，与关键画面的特写图像建立有关联关系的图像区域；

检测用户的选取操作，在所述可选区域被选中后，单独显示出所述可选区域对应的特写图像。