全景摄像机、行车记录仪、图像处理方法和装置
技术领域
本发明涉及图像处理设备领域,尤其涉及一种全景摄像机、行车记录仪、图像处理方法和装置。
背景技术
现有的数字摄像机,主要通过单一CCD或者CMOS进行感光,并借助光学镜头进行成像。由于其采用单一CCD,且采用单一方向镜头,因此只能看到一个方向的景象。
当数字摄像机用于交通上时,由于车辆具有前、后向特征,如果只照车尾,看不到车头,则无法了解驾驶员信息和车辆前部特征;如果只照车头,不看车尾,则无法了解车辆尾部特征。如果在前、后两个方向上各装一个摄像机,会提升成本。
发明内容
本发明的实施例提供一种全景摄像机、行车记录仪、图像处理方法和装置,以便利地拍摄环境的全景图像。
为达到上述目的,本发明的实施例提供一种全景摄像机,其包括:摄像机,摄像机包括镜头和成像单元;圆锥反光镜,圆锥反光镜的顶点朝向镜头,且圆锥反光镜具有圆锥反光面,其中,圆锥反光镜周围的景物被圆锥反光面反射至摄像机的镜头内,通过成像单元形成影像。
可选地,圆锥反光镜的母线与圆锥反光镜的底面的夹角可调节。
可选地,圆锥反光镜设置在摄像机的下方,且摄像机的镜头朝向圆锥反光镜的顶点。
可选地,圆锥反光镜设置在摄像机的上方,且摄像机的镜头朝向圆锥反光镜的顶点。
根据本发明的另一方面,提供一种行车记录仪,其包括上述的全景摄像机和用于固定全景摄像机的安装座。
可选地,安装座包括底座、顶板和连接底座与顶板的侧壁,全景摄像机的圆锥反光镜和摄像机中的一个设置在底座上,全景摄像机的圆锥反光镜和摄像机中的另一个设置在顶板上。
根据本发明的另一方面,提供一种图像处理方法,包括:获取通过如上述的全景摄像机拍摄到的图像;从图像中提取至少一个扇区图像;将扇区图像转换为相应的柱形图像;通过对柱形图像进行柱形反畸变处理,生成还原图像。
可选地,从图像中提取至少一个扇区图像包括:确定图像中与预定的视角对应的至少一个扇区,从图像中分别剪切出至少一个扇区图像。
可选地,将扇区图像转换为相应的柱形图像步骤,包括:对扇区图像进行透视畸变处理,并生成柱形图像。
可选地,通过对柱形图像进行柱形反畸变处理,生成还原图像包括:根据以下公式确定柱形图像中的各个像素在还原图像中对应的横坐标值:
其中,nx是指还原图像的各像素的横坐标,w是指柱形图像的宽度,x是指柱形图像的各像素的横坐标;根据柱形图像以及确定的各个像素在还原图像中对应的横坐标值设定在还原图像中各个像素的像素值。
可选地,从图像中提取至少一个扇区图像包括:从图像顺序地剪切出连续的多个扇区图像;方法还包括:顺序拼接与各扇区图像对应的还原图像,生成全景图像。
根据本发明的另一方面,提供一种图像处理装置,包括:图像获取模块,用于获取通过如上述的全景摄像机拍摄到的图像;扇区图像获取模块,用于从图像中提取至少一个扇区图像;柱形图像获取模块,用于将扇区图像转换为相应的柱形图像;还原图像获取模块,用于通过对柱形图像进行柱形反畸变处理,生成还原图像。
可选地,还原图像获取模块还用于根据以下公式确定柱形图像中的各个像素在还原图像中对应的横坐标值:
其中,nx是指还原图像的各像素的横坐标,w是指柱形图像的宽度,x是指柱形图像的各像素的横坐标;根据柱形图像以及确定的各个 像素在还原图像中对应的横坐标值设定在还原图像中各个像素的像素值。
可选地,扇区图像获取模块还用于从图像顺序地剪切出连续的多个扇区图像;装置还包括:拼接模块,用于顺序拼接与各扇区图像对应的还原图像,生成全景图像。
本发明的实施例的全景摄像机采用圆锥反光镜,由于圆锥反光镜的圆锥形的反光面的各个位置均可以反射景物,因此圆锥反光镜能够将周向360°的景物都反射到摄像机的镜头内,从而实现360°全景摄像,相较于现有的摄像机智能对一个或几个角度成像而言,真正实现了记录360°的影像。
附图说明
图1为本发明的实施例一的全景摄像机的结构示意图;
图2为本发明的实施例二的行车记录仪的结构示意图;
图3为本发明的实施例三的图像处理方法的流程框图;
图4为本发明的实施例三的图像处理方法的获取的全景摄像机拍摄的图像;
图5为本发明的实施例三的图像处理方法提取的扇区图像的示意图;
图6为本发明的实施例三的图像处理方法生成的柱形图像的示意图;
图7为本发明的实施例三的图像处理方法生成的还原图像的示意图;
图8为本发明的实施例四的图像处理方法的流程框图;
图9为本发明的实施例五的图像处理装置的结构框图;
图10为本发明的实施例六的图像处理装置的结构框图。
附图标记说明:
10、摄像机;11、镜头;20、圆锥反光镜;31、底座;32、顶板。
具体实施方式
下面结合附图对本发明实施例的全景摄像机、行车记录仪、图像处理方法和装置进行详细描述。
实施例一
如图1所示,根据本发明的实施例一,提供一种全景摄像机,其包 括摄像机10和圆锥反光镜20,摄像机10包括镜头11和成像单元。圆锥反光镜20的顶点朝向镜头11,且圆锥反光镜20具有圆锥反光面,其中,圆锥反光镜20的周围的景物被圆锥反光面反射至摄像机10的镜头11内,通过成像单元形成影像。本实施例的全景摄像机采用圆锥反光镜20,由于圆锥反光镜20的圆锥形的反光面的各个位置均可以反射景物,因此圆锥反光镜20能够将周向360°的景物反射的光线都反射到摄像机10的镜头11内,摄像机10的成像单元接收这些光线后进行成像,从而实现360°全景摄像,相较于现有的摄像机智能对一个或几个角度成像而言,真正实现了记录360°的影像。
优选地,在本实施例中,圆锥反光镜20的母线与圆锥反光镜20的底面的夹角可调节。通过调节圆锥反光镜20的母线与器底面的夹角,就能够调节圆锥反光镜20的圆锥反光面的倾斜度,从而能够调节其反射的景物,实现对不同高度景物的记录。
当然,在其他实施例中,也可以通过其他方式实现对拍摄高度的调节。例如,一个摄像机10可以与多个具有不同锥度的圆锥反光镜20配合,根据需要选择锥度合适的圆锥反光镜20作为有效的圆锥反光镜20,有效的圆锥反光镜20设置在摄像机10的前方,将360°的景物反射进摄像机10的镜头11内。
在本实施例中,圆锥反光镜20设置在摄像机10的下方,且摄像机10的镜头11朝向圆锥反光镜20的顶点。这样能够确保摄像机10能够全面地成像,保证全景摄像的效果。
当然,在其他实施例中,圆锥反光镜20也可以设置在摄像机10的上方,且摄像机10的镜头11朝向圆锥反光镜20的顶点。
优选地,圆锥反光镜20的轴线与摄像机10的镜头11的轴线重合,这样可以避免成像失真。
实施例二
如图2所示,根据本发明的实施例二,提供一种行车记录仪,其包括上述的全景摄像机和用于固定全景摄像机的安装座。安装座用于安装全景摄像机。采用上述全景摄像机的行车记录仪可以360°采集影像,同时采集车辆前方、后方和侧方的影像,有助于全面记录车辆行驶环境。 对于无人驾驶车辆能够全面监测车辆行驶环境外部环境的同时减少摄像机和传感器的数量,有助于节省成本。
在本实施例中,安装座包括底座31、顶板32和连接底座31与顶板32的侧壁,全景摄像机的圆锥反光镜20和摄像机10中的一个设置在底座31上,全景摄像机的圆锥反光镜20和摄像机10中的另一个设置在顶板32上。需要说明的是,为了保证光线能够顺利地照射到圆锥反光面上,侧壁可以选用透明材质,或在侧壁上开口。
实施例三
如图3所示,根据本发明的实施例三,提供一种图像处理方法。该图像处理方法包括如下步骤:
本方法的执行主体可以是上述的全景摄像机,也可以是其他具有数据处理功能的设备,例如,计算机、服务器或移动终端等。若执行主体是全景摄像机,则可以在全景摄像机内设置图像处理单元,图像处理单元从其成像单元获取拍摄的图像,并进行处理。若执行主体是计算机、服务器或移动终端,则其可以通过有线数据传输方式或无线数据传输方式从全景摄像机获取其拍摄的图像,并进行处理。
下面以执行主体是全景摄像机为例对图像处理方法进行说明:
步骤S302:获取通过上述的全景摄像机拍摄到的图像。
全景摄像机的摄像机10通过圆锥反光镜20反射的光线成像。圆锥反光镜20周围的景物反射的光线照射到圆锥反光面上之后,被圆锥反光面反射进入摄像机10的镜头11内。摄像机10的成像单元感光而形成影像。由于圆锥反光面的锥形结构,导致反射光线在摄像机10的成像单元上形成的影像与实际景物有差别,造成失真。全景摄像机(或者其他执行主体)可以从摄像机10中获取其拍摄的图像。
步骤S304:从图像中提取至少一个扇区图像。
由于全景摄像机采用了圆锥反光镜20,而摄像机在圆锥反光镜20的正上方或正下方拍摄,因此通过圆锥反光镜20反射的周围(360°)的景物在摄像机10内形成的图像中以圆周的方式分布,且物体呈现上窄下宽的形状(如图4所示)。为了便于用户观察,需要将图像中的景物的变形恢复,使其与直接观测所得相似或一致。为此,需要将想要观 测的景物所在扇区从图像中提取出来,并形成扇区图像(如图5所示)。
其中,扇区图像是指从全景摄像机拍摄到的图像中提取出的扇形的图像。该扇区图像的窄端可以是一个点,也可以是一段圆弧。
步骤S306:将扇区图像转换为相应的柱形图像。
为了便于用户观察,将上窄下宽的扇区图像转换为相应的柱形图像(如图6所示),即,恢复景物由于圆锥反光面的反射所造成的畸变,使其上部与下部的比例接近实际比例。将扇区图像转换为柱形图像的方法可以采用现有技术中任何已知能够实现的方法,包括但不限于,透视畸变方法。
其中,柱形图像是指扇区图像通过转换后获得的景物的上下宽度比例在预设范围内的图像。此预设范围可以根据实际需求确定。
步骤S308:通过对柱形图像进行柱形反畸变处理,生成还原图像。
在生成柱形图像之后,为了使图像更接近于实际景物,提高图像的保真度,对柱形图像进行柱形反畸变处理,生成还原图像(如图7所示),即将在柱形上成像的景物转换为在平面上成像,以使还原图像呈现的景物与直接观察实际景物所呈现的图像更加接近或一致。
其中,还原图像是指将柱形图像通过柱形反畸变后获得的图像。
通过本实施例的图像处理方法,可以将图像中由于采用圆锥反光面反射成像而变形的景物恢复,使得采用全景摄像机拍摄的图像所呈现的各个视角的景物与直接观察拍摄所呈现的景物一致或接近,在保证能够全景拍摄的情况下,还能够确保图像的保真度,提高了拍摄效果,也更加便于用户观察。
实施例四
如图8所示,根据本发明的实施例四,提供一种图像处理方法,包括以下步骤:
步骤S802:获取通过上述的全景摄像机拍摄到的图像。
本实施例方法的执行主体从全景摄像机中获取其拍摄的图像。其中,图像中记录有全景摄像机周围的景物。
步骤S804:从图像中提取至少一个扇区图像。
在本步骤中,从图像中将想要看到的景物所在的扇形区域提取出来, 并形成扇区图像。
提取扇区图像的具体过程如下:
确定图像中与预定的视角对应的至少一个扇区,从图像中分别剪切出至少一个扇区图像。获取预定的视角的方式可以是预先设定,也可以是由用户选择。预定的视角可以是一个也可以是一个以上。确定预定的视角之后,则可以从图像中确定与预定的视角对应的扇区,然后将对应的扇区分别从图像中裁剪出来,并生成对应的扇区图像。
步骤S806:将扇区图像转换为相应的柱形图像。
获得扇区图像之后,可以对每个扇区图像分别进行透视畸变处理,并生成对应的柱形图像。透视畸变处理可以采用opencv开源透视畸变算法,也可以采用其他能够实现扇区图像转换为柱形图像的透视畸变算法。
步骤S808:通过对柱形图像进行柱形反畸变处理,生成还原图像。
在生成柱形图像之后,为了使图像更接近于实际景物,提高图像的保真度,对柱形图像进行柱形反畸变处理,生成还原图像(如图7所示),即将在柱形上成像的景物转换为在平面上成像,以使还原图像呈现的景物与直接观察实际景物所呈现的图像更加接近或一致。
通过对柱形图像进行柱形反畸变处理,生成还原图像的过程包括:
根据公式1确定柱形图像中的各个像素所在还原图像中对应的横坐标值;
其中,nx是指还原图像的各像素的横坐标,w是指柱形图像的宽度,x是指柱形图像的各像素的横坐标。
其原理是,设柱形图像的宽度(圆弧的长度)为w,则还原图像的宽度已知柱形图像的各像素的横坐标x,那么还原图像的对应的像素的横坐标nx与x存在下述关系:
基于上述关系可以得到公式1,根据公式1可以确定柱形图像的各个像素在还原图像中的横坐标值。
根据柱形图像以及确定的各个像素在还原图像中对应的横坐标值设定在还原图像中各个像素的像素值。例如将还原图像中的像素的颜色 信息设定为柱形图像中对应像素的颜色信息。在柱形图像转换为还原图像的过程中,柱形图像的各像素的纵坐标基本不变,横坐标产生位移,因此,在确定柱形图像与还原图像的各个像素的横坐标对应关系后,就可以根据柱形图像确定还原图像。
步骤S810:当从图像顺序地剪切出连续的多个扇区图像时,顺序拼接与各扇区图像对应的还原图像,生成全景图像。
当用户希望查看全景图像时,可以从图像中顺序地裁剪出连续的多个扇区图像,并对每个扇区图像进行透视畸变处理和柱形反畸变处理,并获得还原图像。然后依照顺序将这些还原图像拼接形成全景图像。
通过本实施例的图像处理方法,可以将图像中由于采用圆锥反光面反射成像而变形的景物恢复,使得采用全景摄像机拍摄的图像所呈现的各个视角的景物与直接观察拍摄所呈现的景物一致或接近,在保证能够全景拍摄的情况下,还能够确保图像的保真度,提高了拍摄效果,也更加便于用户观察。
实施例五
如图9所示,根据本发明的实施例五,提供一种图像处理装置,其包括:图像获取模块101,用于获取通过如上述的全景摄像机拍摄到的图像;扇区图像获取模块102,用于从图像中提取至少一个扇区图像;柱形图像获取模块103,用于将扇区图像转换为相应的柱形图像;还原图像获取模块104,用于通过对柱形图像进行柱形反畸变处理,生成还原图像。
通过本实施例的图像处理装置,可以将图像中由于采用圆锥反光面反射成像而变形的景物恢复,使得采用全景摄像机拍摄的图像所呈现的各个视角的景物与直接观察拍摄所呈现的景物一致或接近,在保证能够全景拍摄的情况下,还能够确保图像的保真度,提高了拍摄效果,也更加便于用户观察。
实施例六
如图10所示,根据本发明的实施例六,提供一种图像处理装置,其包括:图像获取模块101,用于获取通过如上述的全景摄像机拍摄到 的图像;扇区图像获取模块102,用于从图像中提取至少一个扇区图像;柱形图像获取模块103,用于将扇区图像转换为相应的柱形图像;还原图像获取模块104,用于通过对柱形图像进行柱形反畸变处理,生成还原图像。
可选地,扇区图像获取模块102包括:扇区裁剪模块1021,用于确定图像中与预定的视角对应的至少一个扇区,从图像中分别剪切出至少一个扇区图像。
可选地,柱形图像获取模块103还用于对扇区图像进行透视畸变处理,并生成柱形图像。
可选地,还原图像获取模块104还用于根据上述方法实施例中的公式1确定柱形图像中的各个像素在还原图像中对应的横坐标值:
其中,nx是指还原图像的各像素的横坐标,w是指柱形图像的宽度,x是指柱形图像的各像素的横坐标;根据柱形图像以及确定的各个像素在还原图像中对应的横坐标值设定在还原图像中各个像素的像素值。
可选地,扇区图像获取模块102还用于从图像顺序地剪切出连续的多个扇区图像;图像处理装置还包括:拼接模块105,用于顺序拼接与各扇区图像对应的还原图像,生成全景图像。
通过本实施例的图像处理装置,可以将图像中由于采用圆锥反光面反射成像而变形的景物恢复,使得采用全景摄像机拍摄的图像所呈现的各个视角的景物与直接观察拍摄所呈现的景物一致或接近,在保证能够全景拍摄的情况下,还能够确保图像的保真度,提高了拍摄效果,也更加便于用户观察。
本发明的全景摄像机、行车记录仪、图像处理方法和装置具有如下效果:
该全景摄像机可以实现单个摄像机就能观看周围所有角度的景象,无死角拍摄。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内, 可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。