CN112565596A - 成像方法及系统 - Google Patents
成像方法及系统 Download PDFInfo
- Publication number
- CN112565596A CN112565596A CN202011348950.5A CN202011348950A CN112565596A CN 112565596 A CN112565596 A CN 112565596A CN 202011348950 A CN202011348950 A CN 202011348950A CN 112565596 A CN112565596 A CN 112565596A
- Authority
- CN
- China
- Prior art keywords
- planar sensor
- video
- planar
- spectroscope
- emitted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及相机技术领域,公开一种成像方法及系统,以采用低成本平面传感器拼接获取超高分辨率图像,有效降低超高分辨率相机的生产费用。方法包括:采用3个分光镜生成4个完全相同的像平面;在每个像平面上排布同数量的平面传感器阵列,且单个像平面上平面传感器彼此相离;通过4组平面传感器阵列的物理部署,使得4组平面传感器阵列所拼接组成的等效平面传感器阵列中,任一2*2的平面传感器窗口由分别从4组平面传感器阵列中抽取的位置全部相同、或位置部分相同部分相邻的各一个平面传感器构成;采用单镜头单孔径成像,获取各个平面传感器所采集的图像信息,通过拼接算法生成超高分辨率图像。
Description
技术领域
本发明涉及相机技术领域,尤其涉及一种成像方法及系统。
背景技术
亿级像素阵列相机可以实现“超大视场、超远视距、超高分辨率、超高帧频”的实时成像,兼顾“全局形态”和“细节特征”的多尺度观测特点,适用于远距离广域范围的高清监控与目标检测识别,在军事和民用探测领域都具有广阔的应用前景。
目前,亿级像素阵列相机有两种设计方案,一种是采用单镜头加大尺寸超高分辨率平面传感器实现,但由于超高分辨率平面传感器生产工艺复杂、成品率低,导致传感器成本过高,限制了产品的规模化应用。另一种是采用低分辨率平面传感器加多镜头实现,类似于通过多个独立相机获取多幅图像,然后通过图像拼接算法合成超高分辨率图像,此方案存在结构偏大、组装调试难度大、图像拼接算法复杂、价格高等缺点,同样限制了产品的规模化应用。
发明内容
本发明目的在于公开一种成像方法及系统,以采用低成本平面传感器拼接获取超高分辨率图像,有效降低超高分辨率相机的生产费用。
为达上述目的,本发明公开一种成像方法,包括:
采用3个分光镜生成4个完全相同的像平面;
在每个像平面上排布同数量的平面传感器阵列,且单个像平面上平面传感器彼此相离,横向间距小于平面传感器有效光敏面宽度,纵向间距小于平面传感器有效光敏面高度;
通过4组平面传感器阵列的物理部署,使得所述4组平面传感器阵列所拼接组成的等效平面传感器阵列中,任一2*2的平面传感器窗口由分别从4组平面传感器阵列中抽取的位置全部相同、或位置部分相同部分相邻的各一个平面传感器构成;
采用单镜头单孔径成像,获取各个平面传感器所采集的图像信息,通过拼接算法生成超高分辨率图像。
为达上述目的,本发明还公开一种成像系统,包括:
采用单镜头单孔径成像的传感模块,采用3个分光镜生成4个完全相同的像平面,且在每个像平面上排布同数量的平面传感器阵列,且单个像平面上平面传感器彼此相离,横向间距小于平面传感器有效光敏面宽度,纵向间距小于平面传感器有效光敏面高度;通过4组平面传感器阵列的物理部署,使得所述4组平面传感器阵列所拼接组成的等效平面传感器阵列中,任一2*2的平面传感器窗口由分别从4组平面传感器阵列中抽取的位置全部相同、或位置部分相同部分相邻的各一个平面传感器构成;
获取各个平面传感器所采集的图像信息并进行相应预处理的采集模块;
获取所述采集模块输出的预处理的视频数据后通过拼接算法根据生成超高分辨率图像的视频处理模块。
本发明具有以下有益效果:
采用3个分光镜生成4个完全相同的像平面,且在每个像平面上合理排布同数量的平面传感器阵列,有效解决了在单个像平面上无法实现多个平面传感器无缝拼接的制约,实现了采用低成本平面传感器拼接获取超高分辨率图像,有效降低了超高分辨率相机的生产费用,使得超高分辨率相机的规模化应用成为可能。
下面将参照附图,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的成像方法流程图。
图2是本发明实施例的分光镜部署示意图。
图3是本发明实施例平面传感器阵列与图像区域的映射关系示意图。
图4是本发明实施例亿级像素相机等效平面传感器阵列的示意图。
图5是本发明实施例成像系统的结构框图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明,但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例1
本实施例公开一种成像方法,如图1所示,包括:
步骤S1、采用3个分光镜生成4个完全相同的像平面。
参照图2,该步骤具体包括:
外部光源进入相机后,经第一分光镜1反射的光射向第二分光镜2,所述第二分光镜透射光中的部分区域光射向第四平面传感器阵列7(平面传感器阵列又称为“面元阵列”,后续不做赘述),所述第二分光镜反射光中的部分区域光射向第三平面传感器阵列6。
经第一分光镜透射的光射向第三分光镜3,所述第三分光镜透射光中的部分区域光射向第二平面传感器阵列5,所述第三分光镜反射光中的部分区域光射向第一平面传感器阵列4。
其中,所述第一分光镜与入射光束成45度角且与所述第二分光镜平行,所述第三分光镜与所述第一分光镜垂直。
步骤S2、在每个像平面上排布同数量的平面传感器阵列,且单个像平面上平面传感器彼此相离,横向间距小于平面传感器有效光敏面宽度,纵向间距小于平面传感器有效光敏面高度。
步骤S3、通过4组平面传感器阵列的物理部署,使得所述4组平面传感器阵列所拼接组成的等效平面传感器阵列中,任一2*2的平面传感器窗口由分别从4组平面传感器阵列中抽取的位置全部相同、或位置部分相同部分相邻的各一个平面传感器构成。其中,所谓“位置全部相同、或部分相同部分相邻”以各自在所述平面传感器阵列矩阵中行和列的排序作为类比。
本实施例中,单个平面传感器可采用矩形结构。4个平面传感器阵列布局可分别参照图3(a)至(d),以不同颜色代表所属的不同平面传感器阵列,通过合理的平面传感器阵列的物理部署,使得后续拼接后所形成的等效平面传感器阵列如图3(e)所示。与上述位置全部相同、或位置部分相同部分相邻的解释相对应的,以图3(a)中第2行第2列的平面传感器为例,其与图3(b)至图3(d)第2行第2列的平面传感器为相同位置;其与图3(d)的第1行第1列、图3(c)的第1行第2列、图3(b)的第2行第2列也为相邻位置;同理,其还与图3(d)的第1行第2列及图3(d)的第2行第1列也为相邻位置。
步骤S4、采用单镜头单孔径成像,获取各个平面传感器所采集的图像信息,通过拼接算法生成超高分辨率图像。
在图像拍摄过程中,具体包括下述步骤A至步骤D:
步骤A、各所述平面传感器分别将采集到的光子信息转换成MIPI(MobileIndustry Processor Interface,移动产业处理器接口)格式的视频流输入到采集模块。
步骤B、通过所述采集模块执行MIPI格式视频流的解码,并在完成视频的部分ISP工作和预处理工作后,将视频打包发送给视频处理模块。
步骤C、通过所述视频处理模块完成视频的拼接。
步骤D、通过视频输出接口输出拼接后的超高分辨率图像。
优选地,本实施例所述采集模块基于FPGA技术实现,所述视频输出接口包括与所述FPGA连接的光纤发送端口及CL接口,所述方法还包括:由所述视频处理模块将拼接后的超高分辨率图像回传给所述采集模块的FPGA;经所述光纤发送端口及CL接口分别输出全景视频及实时的窗口视频。进一步的,所述视频输出接口还包括设置在所述视频处理模块中的网络输出接口,所述方法还包括:经所述网络输出端口输出生成的超高分辨率图像。
实施例2
本实施例公开一种成像系统,参照图5,包括:
采用单镜头单孔径成像的传感模块,主要包括图5所示的光学镜头模块和图像传感器模组,其采用3个分光镜生成4个完全相同的像平面,且在每个像平面上排布同数量的平面传感器阵列,且单个像平面上平面传感器彼此相离,横向间距小于平面传感器有效光敏面宽度,纵向间距小于平面传感器有效光敏面高度;通过4组平面传感器阵列的物理部署,使得所述4组平面传感器阵列所拼接组成的等效平面传感器阵列中,任一2*2的平面传感器窗口由分别从4组平面传感器阵列中抽取的位置全部相同、或位置部分相同部分相邻的各一个平面传感器构成。
获取各个平面传感器所采集的图像信息并进行相应预处理的采集模块。
获取所述采集模块输出的预处理的视频数据后通过拼接算法根据生成超高分辨率图像的视频处理模块。
同上,本实施例采用3个分光镜生成4个完全相同的像平面的优选部署方式包括:
外部光源进入相机后,经第一分光镜反射的光射向第二分光镜,所述第二分光镜透射光中的部分区域光射向第四平面传感器阵列,所述第二分光镜反射光中的部分区域光射向第三平面传感器阵列。
经第一分光镜透射的光射向第三分光镜,所述第三分光镜透射光中的部分区域光射向第二平面传感器阵列,所述第三分光镜反射光中的部分区域光射向第一平面传感器阵列。
其中,所述第一分光镜与入射光束成45度角且与所述第二分光镜平行,所述第三分光镜与所述第一分光镜垂直。
在具体工作过程中,各所述平面传感器分别将采集到的光子信息转换成MIPI格式的视频流输入到采集模块;所述采集模块执行MIPI格式视频流的解码,并在完成视频的部分ISP工作和预处理工作后,将视频打包发送给视频处理模块;所述系统还包括:用于输出拼接后的超高分辨率图像的视频输出接口。
优选地,所述采集模块基于FPGA技术实现,所述视频输出接口包括与所述FPGA连接的光纤发送端口及CL接口,以分别输出全景视频及实时的窗口视频。进一步的,所述视频输出接口还包括设置在所述视频处理模块中的网络输出接口。FPGA采集视频可通过PCIe接口与图像传感器模组及视频处理模块交互。
进一步的,FPGA采集模块的详细工作流程如下:
系统上电后,首先视频处理模块通过PCIe对FPGA及前端传感器进行配置,配置完成后视频处理模块下达采集命令,FPGA采集模块负责前端传感器传过来的MIPI视频的解码和传输,并且完成视频的部分ISP(Image Signal Processing,图像信号处理)工作和预处理工作,将视频打包发送给视频处理模块,并且从视频处理模块接收已处理视频,从40G光纤网络导出原始全景视频,从CL接口导出实时窗口视频;同时FPGA收集内部状态上报视频处理模块用作监测。
视频处理模块完成视频的拼接,检测,识别工作,原始图像保存在内存空间,重新回传给FPGA,同时将拼接后的视频编码并从网络输出。进一步的,视频处理模块的详细工作流程如下:
1、上电后,视频处理模块配置传感器模组及FPGA内部功能模块。
2、FPGA采集视频并通过PCIe接口通知视频处理模块,视频处理模块接收传过来的视频并进行视频拼接。
3、视频处理模块对视频进行检测识别,找出视频中目标。
4、视频处理模块将拼接后的视频通过PCIe接口发送给FPGA,由FPGA通过40G光纤输出。
5、视频处理模块将开窗视频通过PCIe接口发送给FPGA,由FPGA通过CL接口输出。
6、视频处理模块将拼接后的视频编码并从千兆网输出。
7、视频处理模块实时监控FPGA上报的状态信息,并进行处理。
本发明若采用图4所示的等效平面传感器阵列,其由48个平面传感器组成,其像素可大亿级,相比于传统的方案,成本对比参照下述表1。
表1:
综上,本发明上述各实施例所分别公开的成像方法及系统,至少具有以下有益效果:
采用3个分光镜生成4个完全相同的像平面,且在每个像平面上合理排布同数量的平面传感器阵列,有效解决了在单个像平面上无法实现多个平面传感器无缝拼接的制约,实现了采用低成本平面传感器拼接获取超高分辨率图像,有效降低了超高分辨率相机的生产费用,使得超高分辨率相机的规模化应用成为可能。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种成像方法,其特征在于,包括:
采用3个分光镜生成4个完全相同的像平面;
在每个像平面上排布同数量的平面传感器阵列,且单个像平面上平面传感器彼此相离,横向间距小于平面传感器有效光敏面宽度,纵向间距小于平面传感器有效光敏面高度;
通过4组平面传感器阵列的物理部署,使得所述4组平面传感器阵列所拼接组成的等效平面传感器阵列中,任一2*2的平面传感器窗口由分别从4组平面传感器阵列中抽取的位置全部相同、或位置部分相同部分相邻的各一个平面传感器构成;
采用单镜头单孔径成像,获取各个平面传感器所采集的图像信息,通过拼接算法生成超高分辨率图像。
2.根据权利要求1所述的成像方法,其特征在于,所述采用3个分光镜生成4个完全相同的像平面包括:
外部光源进入相机后,经第一分光镜反射的光射向第二分光镜,所述第二分光镜透射光中的部分区域光射向第四平面传感器阵列,所述第二分光镜反射光中的部分区域光射向第三平面传感器阵列;
经第一分光镜透射的光射向第三分光镜,所述第三分光镜透射光中的部分区域光射向第二平面传感器阵列,所述第三分光镜反射光中的部分区域光射向第一平面传感器阵列;
其中,所述第一分光镜与入射光束成45度角且与所述第二分光镜平行,所述第三分光镜与所述第一分光镜垂直。
3.根据权利要求1或2所述的成像方法,其特征在于,还包括:
各所述平面传感器分别将采集到的光子信息转换成MIPI格式的视频流输入到采集模块;
通过所述采集模块执行MIPI格式视频流的解码,并在完成视频的部分ISP工作和预处理工作后,将视频打包发送给视频处理模块;
通过所述视频处理模块完成视频的拼接;
通过视频输出接口输出拼接后的超高分辨率图像。
4.根据权利要求3所述的成像方法,其特征在于,所述采集模块基于FPGA技术实现,所述视频输出接口包括与所述FPGA连接的光纤发送端口及CL接口,所述方法还包括:
由所述视频处理模块将拼接后的超高分辨率图像回传给所述采集模块的FPGA;
经所述光纤发送端口及CL接口分别输出全景视频及实时的窗口视频。
5.根据权利要求4所述的成像方法,其特征在于,所述视频输出接口还包括设置在所述视频处理模块中的网络输出接口,所述方法还包括:
经所述网络输出端口输出生成的超高分辨率图像。
6.一种成像系统,其特征在于,包括:
采用单镜头单孔径成像的传感模块,采用3个分光镜生成4个完全相同的像平面,且在每个像平面上排布同数量的平面传感器阵列,且单个像平面上平面传感器彼此相离,横向间距小于平面传感器有效光敏面宽度,纵向间距小于平面传感器有效光敏面高度;通过4组平面传感器阵列的物理部署,使得所述4组平面传感器阵列所拼接组成的等效平面传感器阵列中,任一2*2的平面传感器窗口由分别从4组平面传感器阵列中抽取的位置全部相同、或位置部分相同部分相邻的各一个平面传感器构成;
获取各个平面传感器所采集的图像信息并进行相应预处理的采集模块;
获取所述采集模块输出的预处理的视频数据后通过拼接算法根据生成超高分辨率图像的视频处理模块。
7.根据权利要求6所述的成像系统,其特征在于,所述采用3个分光镜生成4个完全相同的像平面包括:
外部光源进入相机后,经第一分光镜反射的光射向第二分光镜,所述第二分光镜透射光中的部分区域光射向第四平面传感器阵列,所述第二分光镜反射光中的部分区域光射向第三平面传感器阵列;
经第一分光镜透射的光射向第三分光镜,所述第三分光镜透射光中的部分区域光射向第二平面传感器阵列,所述第三分光镜反射光中的部分区域光射向第一平面传感器阵列;
其中,所述第一分光镜与入射光束成45度角且与所述第二分光镜平行,所述第三分光镜与所述第一分光镜垂直。
8.根据权利要求6或7所述的成像系统,其特征在于,各所述平面传感器分别将采集到的光子信息转换成MIPI格式的视频流输入到采集模块;所述采集模块执行MIPI格式视频流的解码,并在完成视频的部分ISP工作和预处理工作后,将视频打包发送给视频处理模块;所述系统还包括:用于输出拼接后的超高分辨率图像的视频输出接口。
9.根据权利要求8所述的成像系统,其特征在于,所述采集模块基于FPGA技术实现,所述视频输出接口包括与所述FPGA连接的光纤发送端口及CL接口,以分别输出全景视频及实时的窗口视频。
10.根据权利要求8所述的成像系统,其特征在于,所述视频输出接口还包括设置在所述视频处理模块中的网络输出接口。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011348950.5A CN112565596A (zh) | 2020-11-26 | 2020-11-26 | 成像方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011348950.5A CN112565596A (zh) | 2020-11-26 | 2020-11-26 | 成像方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112565596A true CN112565596A (zh) | 2021-03-26 |
Family
ID=75046883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011348950.5A Pending CN112565596A (zh) | 2020-11-26 | 2020-11-26 | 成像方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112565596A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0564043A (ja) * | 1991-09-05 | 1993-03-12 | Canon Inc | 撮像装置 |
CN203984538U (zh) * | 2014-07-24 | 2014-12-03 | 安徽大学 | 集成式多ccd采集读数摄像机 |
CN106993177A (zh) * | 2016-10-12 | 2017-07-28 | 深圳市圆周率软件科技有限责任公司 | 一种双目720度全景采集系统 |
CN107024417A (zh) * | 2017-05-02 | 2017-08-08 | 上海理工大学 | 基于单镜头多光路光场成像的三维颗粒场测量装置及方法 |
US20170359512A1 (en) * | 2011-09-19 | 2017-12-14 | Epilog Imaging Systems | Method And Apparatus For Obtaining Enhanced Resolution Images |
-
2020
- 2020-11-26 CN CN202011348950.5A patent/CN112565596A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0564043A (ja) * | 1991-09-05 | 1993-03-12 | Canon Inc | 撮像装置 |
US20170359512A1 (en) * | 2011-09-19 | 2017-12-14 | Epilog Imaging Systems | Method And Apparatus For Obtaining Enhanced Resolution Images |
CN203984538U (zh) * | 2014-07-24 | 2014-12-03 | 安徽大学 | 集成式多ccd采集读数摄像机 |
CN106993177A (zh) * | 2016-10-12 | 2017-07-28 | 深圳市圆周率软件科技有限责任公司 | 一种双目720度全景采集系统 |
CN107024417A (zh) * | 2017-05-02 | 2017-08-08 | 上海理工大学 | 基于单镜头多光路光场成像的三维颗粒场测量装置及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101843838B1 (ko) | 4카메라그룹 평면 어레이의 특징점의 3차원 측정 시스템 및 측정 방법 | |
US10334216B2 (en) | Imaging system including lens with longitudinal chromatic aberration, endoscope and imaging method | |
US20130335599A1 (en) | Camera Imaging Systems and Methods | |
US9398272B2 (en) | Low-profile lens array camera | |
WO2019184185A1 (zh) | 目标图像获取系统与方法 | |
WO2019184184A1 (zh) | 目标图像获取系统与方法 | |
CN103875243A (zh) | 三维内窥镜装置 | |
CN101546111A (zh) | 单相机双目宽基线折反射全景立体成像方法及其装置 | |
US11776301B2 (en) | Fingerprint detection apparatus and electronic device | |
CN108088561A (zh) | 一种快照式光场-光谱成像仪及成像方法 | |
CN1702452B (zh) | 数字微镜多目标成像光谱仪装置 | |
US8649002B2 (en) | Imaging system | |
US20070097252A1 (en) | Imaging methods, cameras, projectors, and articles of manufacture | |
US11734877B2 (en) | Method and device for restoring image obtained from array camera | |
CN104301590A (zh) | 三镜头探测器阵列视频采集装置 | |
CN110595624B (zh) | 一种“十”字型四孔径视场部分重叠仿生热成像系统 | |
CN112565596A (zh) | 成像方法及系统 | |
CN112805992B (zh) | 摄像装置 | |
CN103558160A (zh) | 一种提高光谱成像空间分辨率的方法和系统 | |
JP2015148498A (ja) | 測距装置および測距方法 | |
WO2020163742A1 (en) | Integrated spatial phase imaging | |
CN101221350B (zh) | 像面分割多光学通道共像面成像装置 | |
KR20240045876A (ko) | 오토 포커싱을 위한 이미징 장치 및 방법 | |
CN111314634A (zh) | 一种图像传感器的制造方法、传感器与像素读取方法 | |
CN211205210U (zh) | 四维高光谱深度成像系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210326 |
|
RJ01 | Rejection of invention patent application after publication |