发明内容
本发明的目的在于通过一种改进的全景图像采集方法、装置以及系统,来解决以上背景技术部分提到的问题。
为达此目的,本发明采用以下技术方案:
一种全景图像采集方法,所述方法包括:
获取图像采集装置根据触发信号的触发而采集的多张图像,其中,所述图像采集装置包括在接收到所述触发信号时同时进行拍摄的多个照相机,所述多个照相机用于共同捕捉同一位置360度方向的图像;
在所述图像采集装置被触发的同时,获取所述图像采集装置的姿态测量数据以及拍摄位置数据;
利用所述姿态测量数据对所述多张图像进行图像纠正,并将经纠正的所述多张图像融合拼接成在所述拍摄位置处的全景图像。
进一步的,所述方法进一步包括:在满足预设触发条件的情况下向所述图像采集装置发送触发信号的步骤。
进一步的,所述预设触发条件包括:携带所述图像采集装置的用户的行进步数达到了预定义的步数阈值、所述图像采集装置的移动距离达到了预定义的距离阈值或者从所述图像采集装置上一次被触发开始已经过了预定义的时间段。
进一步的,所述姿态测量数据包括:俯仰数据、横滚数据、高度数据或取向数据。
进一步的,所述方法在获取所述图像采集装置的姿态测量数据之后进一步包括:根据所述姿态测量数据,对所述图像采集装置进行水平纠正。
进一步的,所述拍摄位置数据是卫星定位数据。
对应地,本发明还提出了一种全景图像采集装置,所述装置包括:
图像获取模块,用于获取图像采集装置根据触发信号的触发而采集的多张图像,其中,所述图像采集装置包括在接收到所述触发信号时同时进行拍摄的多个照相机,所述多个照相机用于共同捕捉同一位置360度方向的图像;
姿态和位置获取模块,用于在所述图像采集装置被触发的同时,获取所述图像采集装置的姿态测量数据以及拍摄位置数据;
图像处理模块,用于利用所述姿态测量数据对所述多张图像进行图像纠正,并将经纠正的所述多张图像融合拼接成在所述拍摄位置处的全景图像。
进一步的,所述全景图像采集装置进一步包括触发信号发送模块,用于在满足预设触发条件的情况下向所述图像采集装置发送触发信号。
进一步的,所述预设触发条件包括:携带所述图像采集装置的用户的行进步数达到了预定义的步数阈值、所述图像采集装置的移动距离达到了预定义的距离阈值或者从所述图像采集装置上一次被触发开始已经过了预定义的时间段。
进一步的,所述姿态测量数据包括:俯仰数据、横滚数据、高度数据或取向数据。
进一步的,所述全景图像采集装置进一步包括水平纠正模块,用于根据所述姿态和位置获取模块所获取的姿态测量数据,对所述图像采集装置进行水平纠正。
进一步的,所述拍摄位置数据是卫星定位数据。
对应地,本发明还提出了一种全景图像采集系统,所述系统包括:
图像采集装置,用于根据来自快门控制器的触发信号的触发而采集多张图像并将所述多张图像传送到图像处理装置,其中,所述图像采集装置包括在接收到所述触发信号时同时进行拍摄的多个照相机,所述多个照相机用于共同捕捉同一位置360度方向的图像;
姿态测量装置,用于在所述图像采集装置被触发的同时检测得到所述图像采集装置的姿态测量数据;
定位装置,用于在所述图像采集装置被触发的同时获取所述图像采集装置的拍摄位置数据;
图像处理装置,用于利用所述姿态测量数据对所述多张图像进行图像纠正,并将经纠正的所述多张图像融合拼接成在所述拍摄位置处的全景图像。
进一步的,所述图像采集装置和所述图像处理装置是时钟同步的。
进一步的,所述系统进一步包括水平纠正装置,用于根据所述姿态测量装置所检测得到的姿态测量数据,对所述图像采集装置进行水平纠正。
进一步的,所述定位装置是卫星定位装置。
本发明提出的全景图像采集方法、装置以及系统具有如下特点:借助于具有在触发信号的控制下同时进行拍摄的多个照相机的图像采集装置,避免了单点云台采集法所采用的多次拍摄而导致的图像难以拼接问题;借助于将获取的图像采集装置的姿态测量数据以及拍摄位置数据应用于后继的图像处理,不但可以降低图像采集过程中倾斜、抖动等外部不利因素对图像采集、图像融合拼接的干扰,还可以自动地将所生成的全景图像与地理位置相关联。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。
在图1中示出了本发明的第一实施例。
图1为根据本发明第一实施例的全景图像采集方法的实现流程100,该实现流程100详述如下:
在步骤101中,获取图像采集装置采集的多张图像。
在第一实施例中,图像采集装置根据来自触发装置的触发信号的触发而进行图像采集,其中,所述图像采集装置包括在接收到所述触发信号时同时进行拍摄的多个照相机。所述照相机包括:基于CCD(Charge Coupled Device)芯片的数码相机、基于CMOS(Complementary Metal Oxide Semiconductor)芯片的数码相机或者未来开发的具有图像捕捉能力的其它类型数码相机。
在接收到所述触发信号时,图像采集装置使多个照相机在同一触发时刻曝光,共同捕捉到同一位置360度方向的图像,之后,所捕捉的图像可以保存到图像采集装置的内置存储器件。在第一实施例中,所述图像采集装置使用的照相机的数目可以根据所需成像质量或者照相机所采用的镜头种类而有所不同,在采用广角镜头或超广角镜头(例如,鱼眼镜头)的情况下,所需照相机的数量将会减少。
完成图像采集之后,所述图像采集装置可以通过有线方式或者无线方式将其存储的图像发送给用于进行图像处理的后端的图像处理装置。作为一种优选的方式,所述图像处理装置还可以与所述图像采集装置集成在一起,从而高效、实时地进行后继图像处理。
在步骤102中,获取图像采集装置的姿态测量数据以及拍摄位置数据。
在第一实施例中,在上述图像采集装置根据触发信号的触发而开始进行图像采集的同时,可以利用姿态测量装置检测获得所述图像采集装置的姿态测量数据,以及利用定位装置获取所述图像采集装置的拍摄位置数据。
其中,所述姿态测量装置包括:陀螺仪、三轴姿态测量敏感器、加速度计、高度计或者具有对象姿态测量功能的其它传感器;由此,通过姿态测量装置检测获得的姿态测量数据包括但不限于:俯仰数据、横滚数据、高度数据或取向数据。作为一种优选的方式,所述姿态测量装置还可以与所述图像采集装置集成在一起。
其中,所述定位装置包括但不限于卫星定位装置(例如GPS定位装置)或基站定位装置(例如,基于GSM蜂窝基站利用无线定位技术进行位置确定的定位装置)。
获取姿态测量数据以及拍摄位置数据之后,可以通过有线方式或者无线方式这些数据发送给用于进行图像处理的后端的图像处理装置。
在步骤103中,将多张图像融合拼接成在拍摄位置处的全景图像。
在第一实施例中,首先利用所述姿态测量数据对所述多张图像进行图像纠正;接着,将经纠正的所述多张图像融合拼接成在所述拍摄位置处的全景图像。
在第一实施例中,由于携带所述图像采集装置的用户和/或小型运载工具(例如遥控车辆、遥控机器人等)在行进中进行图像采集,因此所述图像采集装置在采集行进过程中并不一定处于水平姿态。由此,在对所述图像采集装置的多个照相机所捕捉的多张照片进行拼接之前,需要结合姿态测量装置检测得到的图像采集装置的姿态测量数据对所述多张照片进行图像纠正处理(例如,对所述多张照片进行几何纠正和/或防抖动处理)。
在图像纠正处理之后,可以借助于常规的图像拼接方法(例如基于图像特征点的拼接方法)或者借助于常规的图像拼接应用(例如Adobe公司的Photoshop软件),将经纠正的所述多张图像融合拼接成在所述拍摄位置处的全景图像。
在本实施例的一个优选实施方式中,可以以固定的、周期性的方式(例如以脉冲式触发信号的方式)向所述图像采集装置发送触发信号;也可以在满足预设触发条件的情况下向所述图像采集装置发送触发信号,以便触发上述图像采集装置的图像采集操作。作为一种优选的方式,所述预设触发条件包括但不限于:携带所述图像采集装置的用户的行进步数达到了预定义的步数阈值、所述图像采集装置的移动距离达到了预定义的距离阈值或者从所述图像采集装置上一次被触发开始已经过了预定义的时间段。
在本实施例的一个优选实施方式中,在步骤102中通过定位装置获取的拍摄位置数据是卫星定位数据。
在本实施例的一个优选实施方式中,在步骤102中获取图像采集装置的姿态测量数据之后,还可以根据所述姿态测量数据,对所述图像采集装置进行水平纠正。这样处理的好处在于,可以有助于图像采集装置的各个照相机在图像捕捉时处于同一水平面,从而降低图像采集装置的系统误差。
图2示出了本发明的第二实施例。
图2为根据本发明第二实施例的全景图像采集装置的结构示意图。如图2所示,根据本实施例的全景图像采集装置200包括:图像获取模块201、姿态和位置获取模块202和图像处理模块203。其中,所述图像获取模块201用于获取图像采集装置(未示出)根据触发信号的触发而采集的多张图像,其中,所述图像采集装置包括在接收到所述触发信号时同时进行拍摄的多个照相机;姿态和位置获取模块202用于在所述图像采集装置被触发的同时,获取所述图像采集装置的姿态测量数据以及拍摄位置数据;图像处理模块203用于利用所述姿态测量数据对所述多张图像进行图像纠正,并将经纠正的所述多张图像融合拼接成在所述拍摄位置处的全景图像。
在第二实施例中,图像采集装置根据来自触发装置(例如快门控制器)的触发信号的触发而进行图像采集,其中,所述图像采集装置包括在接收到所述触发信号时同时进行拍摄的多个照相机。
在接收到所述触发信号时,图像采集装置使多个照相机在同一触发时刻曝光,共同捕捉到同一位置360度方向的图像,之后,所捕捉的图像可以保存到图像采集装置的内置存储器件并传送到图像获取模块201
完成图像采集之后,所述图像获取模块201可以通过有线方式或者无线方式将所捕捉的图像发送给用于进行图像处理的后端的图像处理模块203。作为一种优选的方式,所述图像获取模块201、所述图像处理模块203还可以与所述图像采集装置集成在一起,从而高效、实时地进行后继图像处理。
在第二实施例中,在上述图像采集装置根据触发信号的触发而开始进行图像采集的同时,所述姿态和位置获取模块202从与所述图像采集装置相关联的姿态测量装置获得姿态测量数据,以及从与所述图像采集装置相关联的定位装置获取拍摄位置数据。其中,所述姿态测量装置包括:陀螺仪、三轴姿态测量敏感器、加速度计、高度计或者具有对象姿态测量功能的其它传感器;由此,通过姿态测量装置检测获得的姿态测量数据包括但不限于:俯仰数据、横滚数据、高度数据或取向数据。其中,所述定位装置包括但不限于卫星定位装置(例如GPS定位装置)或基站定位装置(例如,基于GSM蜂窝基站利用无线定位技术进行位置确定的定位装置)。
获取上述数据之后,所述姿态和位置获取模块202可以通过有线方式或者无线方式这些数据发送给用于进行图像处理的后端的图像处理模块203。
在第二实施例中,由于所述图像采集装置在采集行进过程中并不一定处于水平姿态,由此,在图像处理模块203对所述图像采集装置的多个照相机所捕捉的多张照片进行拼接之前,需要结合源自所述姿态和位置获取模块202的图像采集装置的姿态测量数据对所述多张照片进行图像纠正处理(例如,对所述多张照片进行几何纠正和/或防抖动处理)。在图像纠正处理之后,上述图像处理模块203可以借助于常规的图像拼接方法(例如基于图像特征点的拼接方法)或者借助于常规的图像拼接应用(例如Adobe公司的Photoshop软件),将经纠正的所述多张图像融合拼接成在所述拍摄位置处的全景图像。
在本实施例的一个优选实施方式中,所述姿态和位置获取模块202获取的拍摄位置数据是卫星定位数据。
在本实施例的一个优选实施方式中,所述全景图像采集装置200进一步包括水平纠正模块(未示出),用于根据所述姿态和位置获取模块202所获取的姿态测量数据,对所述图像采集装置进行水平纠正。这样处理的好处在于,可以有助于图像采集装置的各个照相机在图像捕捉时处于同一水平面,从而降低图像采集装置的系统误差。
图3示出了本发明的第三实施例。
图3为根据本发明第三实施例的全景图像采集系统的结构示意图。如图3所示,根据本实施例的全景图像采集系统300包括:图像采集装置301、姿态测量装置302、定位装置303、图像处理装置304和快门控制器305。其中,所述图像采集装置301用于根据来自快门控制器305的快门触发信号的触发而采集多张图像并将所述多张图像传送到图像处理装置304,其中,所述图像采集装置301包括在接收到所述触发信号时同时进行拍摄的多个照相机;所述姿态测量装置302用于在所述图像采集装置301被触发的同时检测得到所述图像采集装置301的姿态测量数据;所述定位装置303用于在所述图像采集装置301被触发的同时获取所述图像采集装置301的拍摄位置数据;而图像处理装置304用于利用所述姿态测量数据对所述多张图像进行图像纠正,并将经纠正的所述多张图像融合拼接成在所述拍摄位置处的全景图像。
在本实施例的一个优选实施方式中,所述图像采集装置和所述图像处理装置是时钟同步的。具体而言,在图像采集开始前,所述图像处理装置304会将自身的时钟与图像采集装置301的时钟进行同步,从而保证二者在时间上的一致性。在图像采集进行中,所述快门控制器305将快门触发信号同时发送给图像采集装置301、姿态测量装置302、定位装置303以及图像处理装置304,从而协调这些装置进行同步操作,此外,所述图像处理装置304还将会记录快门触发信号的接收时间(同时也是图像采集装置301的图像采集时间),以及记录在所述接收时间的定位数据以及姿态测量数据。在图像采集完成后,所述图像处理装置304从所述图像采集装置301接收其采集的图像,将采集的图像的生成时间与所述图像处理装置304内部记录的快门触发信号的接收时间进行时间匹配,从而生成根据时间排序的多个图像分组。其中,每个图像分组对应于一个拍摄位置,且可以被用于生成该拍摄位置处的全景图像。
在本实施例的一个优选实施方式中,所述全景图像采集系统300进一步包括水平纠正装置(未示出),用于根据所述姿态测量装置302所检测得到的姿态测量数据,对所述图像采集装置301进行水平纠正。这样处理的好处在于,可以有助于图像采集装置301的各个照相机在图像捕捉时处于同一水平面,从而降低图像采集装置301的系统误差。
本发明所述的技术方案能够借助于具有在触发信号的控制下同时进行拍摄的多个照相机的图像采集装置,避免了单点云台采集法所采用的多次拍摄而导致的图像难以拼接问题。此外,上述技术方案还借助于将获取的图像采集装置的姿态测量数据以及拍摄位置数据应用于后继的图像处理,不但可以降低图像采集过程中倾斜、抖动等外部不利因素对图像采集、图像融合拼接的干扰,还可以自动地将所生成的全景图像与地理位置相关联。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。