CN105791695A - 全景图像的生成方法和装置 - Google Patents
全景图像的生成方法和装置 Download PDFInfo
- Publication number
- CN105791695A CN105791695A CN201610202540.7A CN201610202540A CN105791695A CN 105791695 A CN105791695 A CN 105791695A CN 201610202540 A CN201610202540 A CN 201610202540A CN 105791695 A CN105791695 A CN 105791695A
- Authority
- CN
- China
- Prior art keywords
- panoramic picture
- image
- data
- shooting
- filming apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种全景图像的生成方法和装置，其中，该全景图像的生成方法，包括以下步骤：同时拍摄多个图像；获取拍摄所述多个图像时拍摄装置的姿态数据；将所述多个图像进行合成以生成全景图像；根据所述拍摄装置的姿态数据将所述全景图像调整为预设姿态。本发明的全景图像的生成方法，即使在拍摄过程中，拍摄装置的运动方向或者姿态发生突变，也能通过本发明实施例的纠偏、消除畸变处理使得合成的全景图像更加自然，提升全景图像的效果，且能够提高合成图像间接缝边界的质量。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种全景图像的生成方法和装置。
背景技术
全景图像是一种新兴的照片形式，广义上来讲，宽幅照片、360度照片、增强现实(AugmentedReality，简称AR)照片都可以称之为全景图像。全景图像的拍摄过程主要是：在连续拍摄获得的多个朝向不同角度图像帧中选取出部分图像，并进行图像识别，然后将进行图像边缘缝合，形成一张全景图像。
传统全景图像的缝合主要是利用拍照时相邻两张照片边缘保留的部分重叠，对照片边缘进行图像识别，将重叠部分重合，形成一张首尾相接的图片。但是通过上述方式形成的最终照片，会由于镜头光心不重合、相机位置移动、相机水平方向偏转、相机垂直方向偏转，或者承载相机的载体由于运动方向发生变化(例如，在车载拍摄时，由于车辆转弯，参考方向改变)等一系列问题造成的图像缝合困难、缝合效果不佳等问题。
发明内容
本发明旨在至少在一定程度上解决上述技术问题。
为此，本发明的第一个目的在于提出一种全景图像的生成方法，使得合成的全景图像更加自然，提升全景图像的效果。
本发明的第二个目的在于提出一种全景图像的生成装置。
本发明的第三个目的在于提出一种车载全景图像的生成装置。
为达上述目的，根据本发明第一方面实施例提出了一种全景图像的生成方法，包括以下步骤：同时拍摄多个图像；获取拍摄所述多个图像时拍摄装置的姿态数据；将所述多个图像进行合成以生成全景图像；根据所述拍摄装置的姿态数据将所述全景图像调整为预设姿态。
本发明实施例的全景图像的生成方法，可同时拍摄多个图像，并获取拍摄时拍摄装置的姿态数据将多个图像合成为全景图像，并根据拍摄装置的姿态数据将全景图像的姿态调整为预设姿态。由此，通过同时拍摄多个图像，以获得姿态数据一致的多个图像，因此，无论在拍摄过程中，拍摄装置的运动方向或者姿态发生怎样的突变，同时拍摄的多个图像的姿态都是一致的，在合成全景图像之前不需要对多个图像进行姿态调整，可直接进行合成，提高了全景图像的合成效率，且能够提高合成图像间接缝边界的质量。此外，在合成全景图像之后，可根据拍摄时拍摄装置的姿态数据将全景图像的姿态调整为预设姿态，能够通过拍摄装置的姿态数据对全景图像进行纠偏、消除畸变和抖动处理，使得合成的全景图像更加自然，提升全景图像的效果。
另外，在本发明的一个实施例中，还包括：获取拍摄所述多个图像时所述拍摄装置的时间信息和/或位置数据；根据所述拍摄所述多个图像时所述拍摄装置的时间信息和/或位置数据生成所述多个图像的标识。
在本发明的一个实施例中，所述将所述多个图像进行合成以生成全景图像具体包括：将具有相同标识的所述多个图像进行合成以生成全景图像。
在本发明的一个实施例中，还包括：根据所述多个图像的标识生成对应全景图像的标识。
在本发明的一个实施例中，所述姿态数据包括俯仰数据、偏航数据和滚转数据，所述根据所述拍摄所述多个图像时拍摄装置的姿态数据对所述全景图像进行调整具体包括以下至少之一：根据所述俯仰数据对所述全景图像的俯仰角进行纠正；根据所述偏航数据对所述全景图像的偏航角进行纠正；根据所述滚转数据对所述全景图像的滚转角进行纠正。
在本发明的一个实施例中，所述拍摄装置设置在车辆上。
本发明第二方面实施例提供了一种全景图像的生成装置，包括：拍摄模块，用于同时拍摄多个图像；合成模块，用于对所述多个图像进行合成以生成全景图像；第一获取模块，用于获取拍摄所述多个图像时拍摄装置的姿态数据；以及调整模块，用于根据所述拍摄装置的姿态数据将所述全景图像调整为预设姿态。
本发明实施例的全景图像的生成装置，可同时拍摄多个图像，并获取拍摄时拍摄装置的姿态数据将多个图像合成为全景图像，并根据拍摄装置的姿态数据将全景图像的姿态调整为预设姿态。由此，通过同时拍摄多个图像，以获得姿态数据一致的多个图像，因此，无论在拍摄过程中，拍摄装置的运动方向或者姿态发生怎样的突变，同时拍摄的多个图像的姿态都是一致的，在合成全景图像之前不需要对多个图像进行姿态调整，可直接进行合成，提高了全景图像的合成效率，且能够提高合成图像间接缝边界的质量。此外，在合成全景图像之后，可根据拍摄时拍摄装置的姿态数据将全景图像的姿态调整为预设姿态，能够通过拍摄装置的姿态数据对全景图像进行纠偏、消除畸变和抖动处理，使得合成的全景图像更加自然，提升全景图像的效果。
另外，在本发明的一个实施例中，还包括：第二获取模块，用于获取拍摄所述多个图像时所述拍摄装置的时间信息和/或位置数据；生成模块，用于根据所述拍摄所述多个图像时所述拍摄装置的时间信息和/或位置数据生成所述多个图像的标识。
在本发明的一个实施例中，所述合成模块具体用于：将具有相同标识的所述多个图像进行合成以生成全景图像。
在本发明的一个实施例中，所述生成模块还用于：根据所述多个图像的标识生成对应全景图像的标识。
在本发明的一个实施例中，所述姿态数据包括俯仰数据、偏航数据和滚转数据，所述调整模块具体用于执行以下至少之一：根据所述俯仰数据对所述全景图像的俯仰角进行纠正；根据所述偏航数据对所述全景图像的偏航角进行纠正；根据所述滚转数据对所述全景图像的滚转角进行纠正。
本发明第三方面实施例提供了一种车载全景图像的生成装置，包括：本发明第二方面实施例的全景图像的生成装置；所述全景图像的生成装置设置在车辆上。
本发明实施例的车载全景图像的生成装置，可根据拍摄多个图像时拍摄装置的姿态数据分别对拍摄的多个图像进行调整，以使多个图像的参照坐标系进行统一，并将调整后的多个图像合成为全景图像，从而，可通过获取的车辆周围不同方向的图片合成车辆周围全景图像，便于驾驶员或者其他人了解车辆周围情况，并采取相应的驾驶策略，提高驾驶安全性。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的全景图像的生成方法的流程图；
图2为根据本发明另一个实施例的全景图像的生成方法的流程图；
图3为根据本发明又一个实施例的全景图像的生成方法的流程图；
图4为根据本发明一个实施例的全景图像的生成装置的结构示意图一；
图5为根据本发明一个实施例的全景图像的生成装置的结构示意图二；
图6为根据本发明一个实施例的全景图像的生成装置的结构示意图三；
图7为根据本发明一个实施例的全景图像的生成装置的结构示意图四。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述根据本发明实施例的全景图像的生成方法和装置。
图1为根据本发明一个实施例的全景图像的生成方法的流程图。
如图1所示，根据本发明实施例的全景图像的生成方法，包括以下步骤。
S101，同时拍摄多个图像。
在本发明的实施例中，拍摄装置可具有多个拍照模组。多个拍照模组可设置为分别对拍摄装置周围的不同方向的对象进行拍摄。
具体地，可同步控制多个拍照模组进行拍摄，从而可同时拍摄得到多个图像。
举例来说，可在拍摄装置上、下、左、右、前、后6个方向分别设置6个拍照模组，分别用于对拍摄6个不同方向进行拍摄。可同步控制6个拍照模组进行拍摄，得到拍摄装置当前位置对应的6个图像。
需要说明的是，本发明实施例中的拍摄装置可根据不同的使用需求应用于不同的使用场景，例如，该拍摄装置可由用户手或背负，或者设置在任意承载器具上，又或者设置在车辆、船舶、飞行器等交通工具。
S102，获取拍摄多个图像时拍摄装置的姿态数据。
在本发明的一个实施例中，拍摄装置的中设置有AHRS(航姿参考系统)。因此，可通过AHRS获取拍摄多个图像时拍摄装置的姿态数据。其中，AHRS中包括九轴陀螺仪。九轴陀螺仪由三轴加速度计、三轴陀螺仪、三轴磁强计以及运动感测芯片组成。可根据每次拍摄时AHRS中三轴加速度计、三轴陀螺仪、三轴磁强计以及运动感测芯片感测到的数据进行计算以生成拍摄多个图像时拍摄装置的姿态数据。
其中，姿态数据可包括俯仰数据、偏航数据和滚转数据。拍摄装置的俯仰数据、偏航数据和滚转数据可决定拍摄装置在三维空间的姿态。
进一步地，在本发明的一个实施例中，AHRS可通过卡尔曼滤波方法过滤姿态数据中的噪声、杂乱数据等，以提高姿态数据的准确性。
S103，将多个图像进行合成以生成全景图像。
由于本发明实施例中的多个图像为同时拍摄的，因此，在图像拍摄时，各个拍照模组的姿态数据都与当时拍摄装置的姿态数据相同，各个拍照模组拍摄的图像的姿态数据也是一致的。从而，无需经过将多个图像的姿态调整为一致的姿态，而可直接将多个图像合成为全景图像。
需要说明的是，本发明实施例中的全景图像可以是由多个图像合成的一张全景图片，也可以是由一系列全景图片组成的全景视频。
具体地合成过程与传统全景图片以及根据全景图片合成视频的方案相同，本发明不做详细说明。
S104，根据拍摄装置的姿态数据将全景图像调整为预设姿态。
在本发明的一个实施例中，可根据姿态数据中的俯仰数据、偏航数据和滚转数据对全景图像的姿态进行调整。具体地，所述根据所述拍摄所述多个图像时拍摄装置的姿态数据对所述全景图像进行调整具体包括以下至少之一：
根据所述俯仰数据对所述全景图像的俯仰角进行纠正；
根据所述偏航数据对所述全景图像的偏航角进行纠正；
根据所述滚转数据对所述全景图像的滚转角进行纠正。
其中，姿态数据中的俯仰数据、偏航数据和滚转数据分别对应于空间坐标系中三个坐标轴的偏转，偏转角度可分别用α度、β度、γ度表示。因此，可根据俯仰数据、偏航数据以及滚转数据将全景图像由拍摄时的姿态调整为预设姿态。
其中，预设姿态为便于用户查看照片的姿态。举例来说，如果合成全景图像所用到的多个图像为拍摄装置倒置姿态下拍摄的，则合成的全景图像为倒置的，可根据姿态数据将全景图像调整为正向放置的，以便于用户查看。
本发明实施例的全景图像的生成方法，可同时拍摄多个图像，并获取拍摄时拍摄装置的姿态数据将多个图像合成为全景图像，并根据拍摄装置的姿态数据将全景图像的姿态调整为预设姿态。由此，通过同时拍摄多个图像，以获得姿态数据一致的多个图像，因此，无论在拍摄过程中，拍摄装置的运动方向或者姿态发生怎样的突变，同时拍摄的多个图像的姿态都是一致的，在合成全景图像之前不需要对多个图像进行姿态调整，可直接进行合成，提高了全景图像的合成效率。此外，在合成全景图像之后，可根据拍摄时拍摄装置的姿态数据将全景图像的姿态调整为预设姿态，能够通过拍摄装置的姿态数据对全景图像进行纠偏、消除畸变和抖动处理，使得合成的全景图像更加自然，提升全景图像的效果。
在本发明的一个实施例中，拍摄装置可设置在车辆上。从而可通过获取的车辆周围不同方向的图片合成车辆周围全景图像，便于驾驶员或者其他人了解车辆周围情况，并采取相应的驾驶策略，提高驾驶安全性。
在本发明的另一个实施例中，当用户进行了多次拍摄时，可根据拍摄时间和/或拍摄位置对每次拍摄的图像进行标识，从而可将具有相同标识的图像合成全景图像，并用时间和/或位置进行标识，从而可根据时间和/或位置查看全景图像，增强全景图像的实用价值。
举例来说，在车辆在运行过程中，可进行多次拍摄，每次拍摄的位置和时间都不相同，因此，可通过位置和/或时间对拍摄的图像进行标识。举例来说，在A处和B处分别进行了拍摄，则在合成全景图像时，可依次提取具有位置A标识的图像，并进行合成，直至具有位置A标识的图像已经全部提取出，并已进行合成，可得到位置A对应的全景图像。然后可继续提取具有位置B标识的图像，并进行合成，直至具有位置B标识的图像已经全部提取出，并已进行合成，可得到位置B对应的全景图像。
具体地，图2为根据本发明另一个实施例的全景图像的生成方法的流程图。
如图2所示，根据本发明实施例的全景图像的生成方法，包括以下步骤。
S201，同时拍摄多个图像。
在本发明的实施例中，拍摄装置可具有多个拍照模组。多个拍照模组可设置为分别对拍摄装置周围的不同方向的对象进行拍摄。
具体地，可同步控制多个拍照模组进行拍摄，从而可同时拍摄得到多个图像。
举例来说，可在拍摄装置上、下、左、右、前、后6个方向分别设置6个拍照模组，分别用于对拍摄6个不同方向进行拍摄。可同步控制6个拍照模组进行拍摄，得到拍摄装置当前位置对应的6个图像。
需要说明的是，本发明实施例中的拍摄装置可根据不同的使用需求应用于不同的使用场景，例如，该拍摄装置可由用户手或背负，或者设置在任意承载器具上，又或者设置在车辆、船舶、飞行器等交通工具。
S202，获取拍摄多个图像时拍摄装置的姿态数据。
在本发明的一个实施例中，拍摄装置的中设置有AHRS(航姿参考系统)。因此，可通过AHRS获取拍摄多个图像时拍摄装置的姿态数据。其中，AHRS中包括九轴陀螺仪。九轴陀螺仪由三轴加速度计、三轴陀螺仪、三轴磁强计以及运动感测芯片组成。可根据每次拍摄时AHRS中三轴加速度计、三轴陀螺仪、三轴磁强计以及运动感测芯片感测到的数据进行计算以生成拍摄多个图像时拍摄装置的姿态数据。
其中，姿态数据可包括俯仰数据、偏航数据和滚转数据。拍摄装置的俯仰数据、偏航数据和滚转数据可决定拍摄装置在三维空间的姿态。
进一步地，在本发明的一个实施例中，AHRS可通过卡尔曼滤波方法过滤姿态数据中的噪声、杂乱数据等，以提高姿态数据的准确性。
S203，获取拍摄多个图像时拍摄装置的时间信息和/或位置数据。
在本发明的一个实施例中，拍摄装置可设置有定位装置，从而可根据该定位装置获取拍摄多个图像时的位置数据。此外，还可在拍摄时记录拍摄时的时间信息。
在本发明的一个实施例中，该定位装置可为GPS(GlobalPositioningSystem，全球定位系统)传感器。
S204，根据拍摄多个图像时拍摄装置的时间信息和/或位置数据生成多个图像的标识。
也就是说，具有相同的时间信息和/或位置数据的图像，具有相同的标识。具有相同标识的图像构成一个具有相同标识的图像序列。具体地，每次拍摄时获取的多个图像可构成一个图像序列。
在本发明的实施例中，可将拍摄的时间信息作为这组图像序列的标识，或者将拍摄的位置数据作为这组图像序列的标识，或者将拍摄的时间信息和位置数据共同作为这组图像序列的标识。
应当理解，在本发明的其他实施例中，步骤S203-S204还可在步骤S202之前执行。
S205，将具有相同标识的多个图像进行合成以生成全景图像。
具体地，在图像合成的过程中，可根据图像的标识(此处以标识为位置数据为例进行说明)从已拍摄的图像中提取出图像序列。例如，可提取出具有标识A的图像，并进行合成，如果具有标识A的图像已经被全部提取出来，则合成完成，得到全景图像。
由此，将具有相同标识的图像合成为全景图像，能够对不同时间、不同地点拍摄的图像进行区分，避免将非同步拍摄的图片合成到同一全景图像中，进一步提升了全景图像合成效果。
S206，根据拍摄装置的姿态数据将全景图像调整为预设姿态。
在本发明的一个实施例中，可根据姿态数据中的俯仰数据、偏航数据和滚转数据对全景图像的姿态进行调整。具体地，所述根据所述拍摄所述多个图像时拍摄装置的姿态数据对所述全景图像进行调整具体包括以下至少之一：
根据所述俯仰数据对所述全景图像的俯仰角进行纠正；
根据所述偏航数据对所述全景图像的偏航角进行纠正；
根据所述滚转数据对所述全景图像的滚转角进行纠正。
其中，姿态数据中的俯仰数据、偏航数据和滚转数据分别对应于空间坐标系中三个坐标轴的偏转，偏转角度可分别用α度、β度、γ度表示。因此，可根据俯仰数据、偏航数据以及滚转数据将全景图像由拍摄时的姿态调整为预设姿态。
其中，预设姿态为便于用户查看照片的姿态。举例来说，如果合成全景图像所用到的多个图像为拍摄装置倒置姿态下拍摄的，则合成的全景图像为倒置的，可根据姿态数据将全景图像调整为正向放置的，以便于用户查看。
进一步地，本发明的实施例还可包括步骤S207。
S207，根据多个图像的标识生成对应全景图像的标识。
从而可对不同拍摄时间或者不同拍摄位置对应的全景图像进行分别标识，便于用户查看、回放全景图像，提高用户体验，增加全景实用价值。
需要说明的是，在本发明的另一个实施例中，S207也可在S206之前执行。
在本发明的一个实施例中，如图3所示，根据本发明实施例的全景图像的生成方法，还可包括步骤S208。
S208，在全景图像中标示出预设方位。
其中，预设方位可由AHRS检测获得。
在本发明的一个实施例中，可根据日常的方位标注习惯，将预设方位设为“北”，则参考坐标系为以“北”为X轴正方向、以“东”为Y轴正方向、以垂直水平面向上为Z轴正方向的坐标系。
由此，用户可根据标识的预设方位辨识现实场景中的地理方向，在为用户提供全景图像的同时，还能够为用户指引方向，进一步提升用户体验。
与上述全景图像的生成方法实施例相对应，本发明还提出一种全景图像的生成装置。
图4为根据本发明一个实施例的全景图像的生成装置的结构示意图一。
如图4所示，根据本发明实施例的全景图像的生成装置，包括：拍摄模块10、第一获取模块20、合成模块30和调整模块40。
具体地，拍摄模块10用于同时拍摄多个图像。
在本发明的实施例中，拍摄模块10可由多个拍照模组组成。多个拍照模组可设置为分别对拍摄装置周围的不同方向的对象进行拍摄。
具体地，可同步控制多个拍照模组进行拍摄，从而可同时拍摄得到多个图像。
举例来说，拍摄模块10可设置在上、下、左、右、前、后6个方向的6个拍照模组组成，分别用于对拍摄6个不同方向进行拍摄。可同步控制6个拍照模组进行拍摄，得到拍摄装置当前位置对应的6个图像。
需要说明的是，本发明实施例中的全景图像的生成装置可根据不同的使用需求应用于不同的使用场景，例如，该拍摄装置可由用户手或背负，或者设置在任意承载器具上，又或者设置在车辆、船舶、飞行器等交通工具。
第一获取模块20用于获取拍摄多个图像时拍摄装置的姿态数据。
在本发明的一个实施例中，第一获取模块20可通过AHRS获取拍摄多个图像时拍摄装置的姿态数据。其中，AHRS中包括九轴陀螺仪。九轴陀螺仪由三轴加速度计、三轴陀螺仪、三轴磁强计以及运动感测芯片组成。可根据每次拍摄时AHRS中三轴加速度计、三轴陀螺仪、三轴磁强计以及运动感测芯片感测到的数据进行计算以生成拍摄多个图像时拍摄装置的姿态数据。
其中，姿态数据可包括俯仰数据、偏航数据和滚转数据。拍摄装置的俯仰数据、偏航数据和滚转数据可决定拍摄装置在三维空间的姿态。
进一步地，在本发明的一个实施例中，AHRS可通过卡尔曼滤波方法过滤姿态数据中的噪声、杂乱数据等，以提高姿态数据的准确性。
合成模块30用于对多个图像进行合成以生成全景图像。
由于本发明实施例中的多个图像为同时拍摄的，因此，在图像拍摄时，各个拍照模组的姿态数据都与当时拍摄装置的姿态数据相同，各个拍照模组拍摄的图像的姿态数据也是一致的。从而，合成模块30无需经过将多个图像的姿态调整为一致的姿态，而可直接将多个图像合成为全景图像。
需要说明的是，本发明实施例中的全景图像可以是由多个图像合成的一张全景图片，也可以是由一系列全景图片组成的全景视频。
具体地合成过程与传统全景图像合成方案相同，本发明不做详细说明。
调整模块40用于根据所述拍摄装置的姿态数据将所述全景图像调整为预设姿态。
在本发明的一个实施例中，调整模块40可根据姿态数据中的俯仰数据、偏航数据和滚转数据对全景图像的姿态进行调整。
具体地，调整模块40具体用于执行以下至少之一：
根据所述俯仰数据对所述全景图像的俯仰角进行纠正；
根据所述偏航数据对所述全景图像的偏航角进行纠正；
根据所述滚转数据对所述全景图像的滚转角进行纠正。
其中，姿态数据中的俯仰数据、偏航数据和滚转数据分别对应于空间坐标系中三个坐标轴的偏转，偏转角度可分别用α度、β度、γ度表示。因此，可根据俯仰数据、偏航数据以及滚转数据将全景图像由拍摄时的姿态调整为预设姿态。
其中，预设姿态为便于用户查看照片的姿态。举例来说，如果合成全景图像所用到的多个图像为拍摄装置倒置姿态下拍摄的，则合成的全景图像为倒置的，可根据姿态数据将全景图像调整为正向放置的，以便于用户查看。
本发明实施例的全景图像的生成装置，可同时拍摄多个图像，并获取拍摄时拍摄装置的姿态数据将多个图像合成为全景图像，并根据拍摄装置的姿态数据将全景图像的姿态调整为预设姿态。由此，通过同时拍摄多个图像，以获得姿态数据一致的多个图像，因此，无论在拍摄过程中，拍摄装置的运动方向或者姿态发生怎样的突变，同时拍摄的多个图像的姿态都是一致的，在合成全景图像之前不需要对多个图像进行姿态调整，可直接进行合成，提高了全景图像的合成效率。此外，在合成全景图像之后，可根据拍摄时拍摄装置的姿态数据将全景图像的姿态调整为预设姿态，能够通过拍摄装置的姿态数据对全景图像进行纠偏、消除畸变和抖动处理，使得合成的全景图像更加自然，提升全景图像的效果。
在本发明的另一个实施例中，当用户进行了多次拍摄时，可根据拍摄时间和/或拍摄位置对每次拍摄的图像进行标识，从而可将具有相同标识的图像合成全景图像，并用时间和/或位置进行标识，从而可根据时间和/或位置查看全景图像，增强全景图像的实用价值。
举例来说，在车辆在运行过程中，可进行多次拍摄，每次拍摄的位置和时间都不相同，因此，可通过位置和/或时间对拍摄的图像进行标识。举例来说，在A处和B处分别进行了拍摄，则在合成全景图像时，可依次提取具有位置A标识的图像，并进行合成，直至具有位置A标识的图像已经全部提取出，并已进行合成，可得到位置A对应的全景图像。然后可继续提取具有位置B标识的图像，并进行合成，直至具有位置B标识的图像已经全部提取出，并已进行合成，可得到位置B对应的全景图像。
具体地，图5为根据本发明一个实施例的全景图像的生成装置的结构示意图二。
如图5所示，根据本发明实施例的全景图像的生成装置，包括：拍摄模块10、第一获取模块20、合成模块30、调整模块40、第二获取模块50和生成模块60。
其中，拍摄模块10、第一获取模块20、合成模块30和调整模块40与图4所示实施例中相同。
第二获取模块50用于获取拍摄多个图像时拍摄装置的时间信息和/或位置数据。
在本发明的一个实施例中，第二获取模块50可通过定位装置获取拍摄多个图像时的位置数据。此外，第二获取模块50还可在拍摄时记录拍摄时的时间信息。
在本发明的一个实施例中，该定位装置可为GPS(GlobalPositioningSystem，全球定位系统)传感器。
生成模块60用于根据拍摄多个图像时拍摄装置的时间信息和/或位置数据生成多个图像的标识。
也就是说，具有相同的时间信息和/或位置数据的图像，具有相同的标识。具有相同标识的图像构成一个具有相同标识的图像序列。具体地，每次拍摄时获取的多个图像可构成一个图像序列。
在本发明的实施例中，可将拍摄的时间信息作为这组图像序列的标识，或者将拍摄的位置数据作为这组图像序列的标识，或者将拍摄的时间信息和位置数据共同作为这组图像序列的标识。
其中，合成模块40具体用于：将具有相同标识的所述多个图像进行合成以生成全景图像。
具体地，在图像合成的过程中，合成模块40可根据图像的标识(此处以标识为位置数据为例进行说明)从已拍摄的图像中提取出图像序列。例如，可提取出具有标识A的图像，并进行合成，如果具有标识A的图像已经被全部提取出来，则合成完成，得到全景图像。
由此，将具有相同标识的图像合成为全景图像，能够对不同时间、不同地点拍摄的图像进行区分，避免将非同步拍摄的图片合成到同一全景图像中，进一步提升了全景图像合成效果。
进一步地，生成模块60还可用于根据多个图像的标识生成对应全景图像的标识。从而可对不同拍摄时间或者不同拍摄位置对应的全景图像进行分别标识，便于用户查看、回放全景图像，提高用户体验，增加全景实用价值。
图6为根据本发明一个实施例的全景图像的生成装置的结构示意图三。
如图6所示，根据本发明实施例的全景图像的生成装置，包括：拍摄模块10、第一获取模块20、合成模块30、调整模块40、第二获取模块50、生成模块60和标示模块70。
其中，拍摄模块10、第一获取模块20、合成模块30、调整模块40、第二获取模块50和生成模块60与图5所示实施例相同。
标示模块70用于在全景图像中标示出预设方位。
其中，预设方位可由AHRS检测获得。
在本发明的一个实施例中，可根据日常的方位标注习惯，将预设方位设为“北”，则参考坐标系为以“北”为X轴正方向、以“东”为Y轴正方向、以垂直水平面向上为Z轴正方向的坐标系。
由此，用户可根据标识的预设方位辨识现实场景中的地理方向，在为用户提供全景图像的同时，还能够为用户指引方向，进一步提升用户体验。
图7为根据本发明一个实施例的全景图像的生成装置的结构示意图四。
如图7所示，本发明实施例的全景图像的生成装置，包括多个拍照模组21、拍照模组控制单元22、MCU微控制单元23、GPS传感器24、AHRS系统25、图片合成单元26和照片存储系统27。
多个拍照模组21分别用于多个不同方向的图像拍摄。
拍照模组控制单元22用于向多个拍照模组21发送拍摄指令，以同步控制多个拍照模组21进行拍摄，并将拍照模组21拍摄的照片发送至MCU23。
MCU(MicrocontrollerUnit，微控制单元)23用于向拍照模组控制单元22发送拍摄指令，以通过拍照模组控制单元22控制拍照模组21拍照，并记录拍摄装置的时间信息和/或位置数据和姿态数据。
GPS传感器24用于生成拍摄装置的时间信息和/或位置数据。
AHRS系统25用于生成拍摄装置的姿态数据。
图片合成单元26用于根据拍照模组21拍摄的照片合成全景图像，并MCU记录的拍摄装置的时间信息和/或位置数据和姿态数据对全景图像的姿态进行调整。
照片存储系统27用于存储全景图像。
本发明还提出一种车载全景图像的生成装置。
本发明实施例的车载全景图像的生成装置包括本发明上述实施例的全景图像的生成装置，且全景图像的生成装置设置在车辆上。
本发明实施例的车载全景图像的生成装置，可根据拍摄多个图像时拍摄装置的姿态数据分别对拍摄的多个图像进行调整，以使多个图像的参照坐标系进行统一，并将调整后的多个图像合成为全景图像，从而，可通过获取的车辆周围不同方向的图片合成车辆周围全景图像，便于驾驶员或者其他人了解车辆周围情况，并采取相应的驾驶策略，提高驾驶安全性。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。
Claims (10)
1.一种全景图像的生成方法，其特征在于，包括以下步骤：
同时拍摄多个图像；
获取拍摄所述多个图像时拍摄装置的姿态数据；
将所述多个图像进行合成以生成全景图像；
根据所述拍摄装置的姿态数据将所述全景图像调整为预设姿态。
2.如权利要求1所述的全景图像的生成方法，其特征在于，还包括：
获取拍摄所述多个图像时所述拍摄装置的时间信息和/或位置数据；
根据所述拍摄所述多个图像时所述拍摄装置的时间信息和/或位置数据生成所述多个图像的标识。
3.如权利要求2所述的全景图像的生成方法，其特征在于，所述将所述多个图像进行合成以生成全景图像具体包括：
将具有相同标识的所述多个图像进行合成以生成全景图像。
4.如权利要求2所述的全景图像的生成方法，其特征在于，还包括：
根据所述多个图像的标识生成对应全景图像的标识。
5.如权利要求1-4任一项所述的全景图像的生成方法，其特征在于，所述姿态数据包括俯仰数据、偏航数据和滚转数据，所述根据所述拍摄所述多个图像时拍摄装置的姿态数据对所述全景图像进行调整具体包括以下至少之一：
根据所述俯仰数据对所述全景图像的俯仰角进行纠正；
根据所述偏航数据对所述全景图像的偏航角进行纠正；
根据所述滚转数据对所述全景图像的滚转角进行纠正。
6.一种全景图像的生成装置，其特征在于，包括：
拍摄模块，用于同时拍摄多个图像；
合成模块，用于对所述多个图像进行合成以生成全景图像；
第一获取模块，用于获取拍摄所述多个图像时拍摄装置的姿态数据；以及
调整模块，用于根据所述拍摄装置的姿态数据将所述全景图像调整为预设姿态。
7.如权利要求6所述的全景图像的生成装置，其特征在于，还包括：
第二获取模块，用于获取拍摄所述多个图像时所述拍摄装置的时间信息和/或位置数据；
生成模块，用于根据所述拍摄所述多个图像时所述拍摄装置的时间信息和/或位置数据生成所述多个图像的标识。
8.如权利要求7所述的全景图像的生成装置，其特征在于，所述合成模块具体用于：
将具有相同标识的所述多个图像进行合成以生成全景图像。
9.如权利要求7所述的全景图像的生成装置，其特征在于，所述生成模块还用于：
根据所述多个图像的标识生成对应全景图像的标识。
10.如权利要求6-9任一项所述的全景图像的生成装置，其特征在于，所述姿态数据包括俯仰数据、偏航数据和滚转数据，所述调整模块具体用于执行以下至少之一：
根据所述俯仰数据对所述全景图像的俯仰角进行纠正；
根据所述偏航数据对所述全景图像的偏航角进行纠正；
根据所述滚转数据对所述全景图像的滚转角进行纠正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610202540.7A CN105791695B (zh) | 2016-03-30 | 2016-03-30 | 全景图像的生成方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610202540.7A CN105791695B (zh) | 2016-03-30 | 2016-03-30 | 全景图像的生成方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105791695A true CN105791695A (zh) | 2016-07-20 |
| CN105791695B CN105791695B (zh) | 2019-06-11 |
Family
ID=56394621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610202540.7A Active CN105791695B (zh) | 2016-03-30 | 2016-03-30 | 全景图像的生成方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105791695B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107147918A (zh) * | 2017-06-12 | 2017-09-08 | 北京佰才邦技术有限公司 | 一种数据处理方法、系统、设备和服务器 |
| CN107147775A (zh) * | 2017-03-30 | 2017-09-08 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| WO2018077071A1 (zh) * | 2016-10-25 | 2018-05-03 | 杭州海康威视数字技术股份有限公司 | 一种全景图像的生成方法及装置 |
| CN109040617A (zh) * | 2018-08-16 | 2018-12-18 | 五八有限公司 | 图像呈现方法、装置、设备及计算机可读存储介质 |
| CN109698903A (zh) * | 2017-10-24 | 2019-04-30 | 富泰华工业（深圳）有限公司 | 图像获取方法及图像获取装置 |
| CN110494915A (zh) * | 2017-04-04 | 2019-11-22 | 佳能株式会社 | 电子装置及其控制方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101146231A (zh) * | 2007-07-03 | 2008-03-19 | 浙江大学 | 根据多视角视频流生成全景视频的方法 |
| US20100085422A1 (en) * | 2008-10-03 | 2010-04-08 | Sony Corporation | Imaging apparatus, imaging method, and program |
| CN103118230A (zh) * | 2013-02-28 | 2013-05-22 | 腾讯科技（深圳）有限公司 | 一种全景图像采集方法、装置以及系统 |
| CN103149788A (zh) * | 2013-03-22 | 2013-06-12 | 天津曙光敬业科技有限公司 | 空中360°全景照片拍摄装置及方法 |
| CN103176347A (zh) * | 2011-12-22 | 2013-06-26 | 百度在线网络技术（北京）有限公司 | 全景图拍摄方法及拍摄装置和电子设备 |
| CN103985103A (zh) * | 2013-02-07 | 2014-08-13 | 百度在线网络技术（北京）有限公司 | 一种生成全景图片的方法和装置 |
| CN104349044A (zh) * | 2013-08-09 | 2015-02-11 | 联想(北京)有限公司 | 全景图像的拍摄方法及电子设备 |
| CN205071160U (zh) * | 2015-10-09 | 2016-03-02 | 合肥艾图瑞信息科技有限公司 | 一种应用于复杂背景下活动目标提取算法的设备 |
-
2016
- 2016-03-30 CN CN201610202540.7A patent/CN105791695B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101146231A (zh) * | 2007-07-03 | 2008-03-19 | 浙江大学 | 根据多视角视频流生成全景视频的方法 |
| US20100085422A1 (en) * | 2008-10-03 | 2010-04-08 | Sony Corporation | Imaging apparatus, imaging method, and program |
| CN103176347A (zh) * | 2011-12-22 | 2013-06-26 | 百度在线网络技术（北京）有限公司 | 全景图拍摄方法及拍摄装置和电子设备 |
| CN103985103A (zh) * | 2013-02-07 | 2014-08-13 | 百度在线网络技术（北京）有限公司 | 一种生成全景图片的方法和装置 |
| CN103118230A (zh) * | 2013-02-28 | 2013-05-22 | 腾讯科技（深圳）有限公司 | 一种全景图像采集方法、装置以及系统 |
| CN103149788A (zh) * | 2013-03-22 | 2013-06-12 | 天津曙光敬业科技有限公司 | 空中360°全景照片拍摄装置及方法 |
| CN104349044A (zh) * | 2013-08-09 | 2015-02-11 | 联想(北京)有限公司 | 全景图像的拍摄方法及电子设备 |
| CN205071160U (zh) * | 2015-10-09 | 2016-03-02 | 合肥艾图瑞信息科技有限公司 | 一种应用于复杂背景下活动目标提取算法的设备 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018077071A1 (zh) * | 2016-10-25 | 2018-05-03 | 杭州海康威视数字技术股份有限公司 | 一种全景图像的生成方法及装置 |
| US11330172B2 (en) | 2016-10-25 | 2022-05-10 | Hangzhou Hikvision Digital Technology Co., Ltd. | Panoramic image generating method and apparatus |
| CN107147775A (zh) * | 2017-03-30 | 2017-09-08 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN110494915A (zh) * | 2017-04-04 | 2019-11-22 | 佳能株式会社 | 电子装置及其控制方法 |
| CN107147918A (zh) * | 2017-06-12 | 2017-09-08 | 北京佰才邦技术有限公司 | 一种数据处理方法、系统、设备和服务器 |
| CN109698903A (zh) * | 2017-10-24 | 2019-04-30 | 富泰华工业（深圳）有限公司 | 图像获取方法及图像获取装置 |
| CN109040617A (zh) * | 2018-08-16 | 2018-12-18 | 五八有限公司 | 图像呈现方法、装置、设备及计算机可读存储介质 |
| CN109040617B (zh) * | 2018-08-16 | 2021-01-15 | 五八有限公司 | 图像呈现方法、装置、设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105791695B (zh) | 2019-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105791695A (zh) | 全景图像的生成方法和装置 | |
| US6810152B2 (en) | Image processing apparatus, method of processing images, and storage medium | |
| US8085308B2 (en) | Image correction device, method, integrated circuit and system for correcting images captured by a camera provided in a moving object | |
| EP2583449B1 (en) | Mobile and server-side computational photography | |
| CN104126299B (zh) | 视频图像稳定化 | |
| JP4579980B2 (ja) | 一続きの画像の撮像 | |
| EP1613060A1 (en) | Capturing a sequence of images | |
| KR20180091359A (ko) | 파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법 | |
| US20140300686A1 (en) | Systems and methods for tracking camera orientation and mapping frames onto a panoramic canvas | |
| CN106331527A (zh) | 一种图像拼接方法及装置 | |
| JP2004531113A (ja) | 注釈記入による全方位性３次元イメージデータ獲得装置、その方法及び感光範囲の拡大方法 | |
| US20130002712A1 (en) | Image display device and image display method | |
| US20110249095A1 (en) | Image composition apparatus and method thereof | |
| CN110022444A (zh) | 无人飞行机的全景拍照方法与使用其的无人飞行机 | |
| JP2002159019A (ja) | 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体 | |
| KR101575954B1 (ko) | 3차원 정합을 이용한 증강현실 장치 및 그 방법 | |
| US11252398B2 (en) | Creating cinematic video from multi-view capture data | |
| JP4272966B2 (ja) | ３ｄｃｇ合成装置 | |
| KR101705558B1 (ko) | Avm 시스템의 공차 보정 장치 및 방법 | |
| CN110412584A (zh) | 一种水下前视声呐移动快速拼接系统 | |
| Kamali et al. | Stabilizing omnidirectional videos using 3d structure and spherical image warping | |
| CN106303495A (zh) | 全景立体图像的合成方法、装置及其移动终端 | |
| JPH10126665A (ja) | 画像合成装置 | |
| CN110278366A (zh) | 一种全景图像虚化方法、终端及计算机可读存储介质 | |
| CN110036411B (zh) | 生成电子三维漫游环境的装置和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |