CN114630024A - 一种基于阵列相机系统的仿视网膜非均匀成像方法 - Google Patents
一种基于阵列相机系统的仿视网膜非均匀成像方法 Download PDFInfo
- Publication number
- CN114630024A CN114630024A CN202210069535.9A CN202210069535A CN114630024A CN 114630024 A CN114630024 A CN 114630024A CN 202210069535 A CN202210069535 A CN 202210069535A CN 114630024 A CN114630024 A CN 114630024A
- Authority
- CN
- China
- Prior art keywords
- imaging
- array camera
- resolution
- camera
- retina
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 210000001525 retina Anatomy 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 230000008447 perception Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 230000002207 retinal effect Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000004075 alteration Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 210000001957 retinal vein Anatomy 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009828 non-uniform distribution Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及计算成像技术、阵列相机、人工智能技术领域，提供了一种基于阵列相机系统的仿视网膜非均匀成像方法。该方法包括：基于阵列相机系统中相机的Binning读出功能对该系统中相机相应子视场进行低分辨率成像；基于相机的全采样读出功能对阵列相机系统中相机相应子视场进行高分辨率成像；基于图像融合超分辨算法，残余密集网络从高分辨图像序列中获取细节信息，对相邻相机视场重叠区域进行超分辨率成像；基于动态检测模式、细节识别模式和细节增强模式，实现全视场的仿视网膜非均匀成像。本发明提升了成像分辨率、实现了多目标识别跟踪，实现了全视场的仿视网膜非均匀成像。
Description
技术领域
本发明涉及计算成像技术、阵列相机和人工智能技术领域，尤其涉及一种基于阵列相机系统的仿视网膜非均匀成像方法。
背景技术
探测感知技术通过光电成像等探测手段实现对各类目标的识别跟踪，是电子信息最前沿、最尖端、最先进技术的汇集地，是信息化作战能力的制高点，然而，传统光电探测感知系统以单相机平台为主，其成像分辨率和视场间存在相互矛盾关系，系统性能受到限制。
因此，如何提升探测感知系统的成像分辨率和有效视场是探测感知领域亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种基于阵列相机系统的仿视网膜非均匀成像方法，以解决现有技术中成像分辨率和视场间存在相互矛盾关系，系统性能受到限制的问题。
本发明提供了一种基于阵列相机系统的仿视网膜非均匀成像方法，包括：
S1基于阵列相机系统中相机的Binning读出功能对所述阵列相机系统中相机相应子视场进行低分辨率成像；
S2基于所述相机的全采样读出功能对所述阵列相机系统中相机相应子视场进行高分辨率成像；
S3基于图像融合超分辨算法，使用残余密集网络从高分辨图像序列中获取细节信息，对相邻相机子视场的重叠区域进行超分辨率成像；
S4基于动态检测模式、细节识别模式和细节增强模式，实现全视场的仿视网膜非均匀成像；
所述步骤S4具体包括：
S41所述动态检测模式通过阵列相机系统在所述全视场进行所述低分辨率成像，并进行动态检测以寻找ROI区，实现大范围动态搜索；
S42所述细节识别模式通过所述阵列相机系统对所述全视场中所述ROI区进行高分辨率成像，并进行目标识别跟踪，实现目标精细感知；
S43所述细节增强模式通过对所述ROI区进行超分辨率成像，并进行目标识别跟踪，实现目标的超精细感知。
进一步地，S42包括：
基于深度卷积神经网络的小目标识别算法对全视场图像进行小目标识别；
将所有所述小目标所在子视场对应的所述相机开启所述细节识别模式，对多个所述小目标同时进行高分辨成像与跟踪；
当多个所述小目标跨越多个所述子视场时，利用所述相机间的子视场重叠区域对多个所述小目标轨迹进行相似度评估，使得多个所述小目标跟踪时相机间的顺利衔接，实现对小目标的精细感知。
进一步地，S4中所述仿视网膜非均匀成像是基于阵列相机系统实现的。
进一步地，所述阵列相机系统，包括：
类视网膜曲面状分离排布的阵列相机、智能标校系统以及控制与处理系统，
所述类视网膜曲面状分离排布的阵列相机采用类视网膜曲面状分离排布形式排列，以降低大视场角下的部分像差，所述阵列相机内的各相机对待探测场景的部分视场进行成像，相邻相机间有较大视场重叠；
所述智能标校系统，用于对放置在可三轴转动的云台上的所述阵列相机进行高精度的位姿标校；
所述控制与处理系统，用于对各云台位姿进行高精度调整，使得各相机子视场精确对齐，控制所述阵列相机，并对所述阵列相机获取的图像数据进行处理与计算。
进一步地，所述智能标校系统：
采用二维平面标靶进行标定，获得线性标定模型，并通过标靶中多角点检测，线性求解每个相机对应的单应性变换矩阵的初始值；
将所述线性标定模型转化为非线性标定模型，通过非线性优化方法求解相机镜头的畸变系数；
对所述初始值和所述畸变系数进行非线性智能优化，使用蝙蝠算法，在所述初始值附近的邻域形成初始种群进行启发式的迭代搜索，获得目标函数，并采用优化搜索方法优化所述目标函数，求解所述单应性变换矩阵的最优解，以达到减小误差均值的目的。
进一步地，所述阵列相机系统还包括地面智能监控系统和空对地智能观测系统。本发明与现有技术相比存在的有益效果是：
1.本发明通过多图像融合超分辨率重建算法使用深层网络从高分辨图像序列中获取更多的细节信息，通过充分利用多幅图像的有效信息，提升了重建图像质量；
2.本发明实现了仿视网膜非均匀成像方法，大大减小阵列相机数据获取量，在系统采样前端实现低数据冗余的压缩采样，大幅提高系统的信息获取效率；
3.通过基于深度卷积神经网络的小目标识别跟踪算法，进行目标特征的提取，解决模型训练不稳定问题，加快识别速度；
4、采用多目标识别跟踪算法，对视场内的多个目标进行识别跟踪，实现对人眼功能的超越。
附图说明
为了更清楚地说明本发明中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明提供的一种基于阵列相机系统的仿视网膜非均匀成像方法的流程图；
图2为本发明提供的一种基于人眼视网膜视觉机制的阵列相机系统的结构示意图；
图3为本发明提出的阵列相机系统所采用的类视网膜曲面状分离排布形式示意图；
图4为本发明提出的阵列相机系统中相邻相机视场重叠示意图；
图5为本发明提供的仿人眼注意力机制智能感知方法流程图；
图6为本发明提供的地面智能监控系统的结构示意图；
图7为本发明提供的空对地智能观测系统的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
下面将结合附图详细说明根据本发明的一种基于阵列相机系统的仿视网膜非均匀成像方法。
图1是本发明提供的一种基于阵列相机系统的仿视网膜非均匀成像方法的流程图。如图1所示，该仿视网膜非均匀成像方法包括：
S1基于阵列相机系统中相机的Binning读出功能对阵列相机系统中相机相应子视场进行低分辨率成像；
S2基于相机的全采样读出功能对阵列相机系统中相机相应子视场进行高分辨率成像；
S3基于图像融合超分辨算法，使用残余密集网络从高分辨图像序列中获取细节信息，对相邻相机子视场的重叠区域进行超分辨率成像；
S4基于动态检测模式、细节识别模式和细节增强模式，实现全视场的仿视网膜非均匀成像；
步骤S4具体包括：
S41动态检测模式通过阵列相机系统在全视场进行低分辨率成像，并进行动态检测以寻找ROI区，实现大范围动态搜索；
图2为本发明提供的一种基于人眼视网膜视觉机制的阵列相机系统的结构示意图；
如图2所示，双向箭头表示数据互联，其中，类视网膜曲面状分离排布的阵列相机1智能标校系统2和控制与处理系统3。
阵列相机系统，包括：
类视网膜曲面状分离排布的阵列相机、智能标校系统和控制与处理系统。
类视网膜曲面状分离排布的阵列相机采用类视网膜曲面状分离排布形式排列，以降低大视场角下的部分像差，阵列相机内的各相机对待探测场景的部分视场进行成像；
目的在于实现超分辨成像、提高系统智能标校的准确性、确保目标识别跟踪过程中相机间的顺利衔接；
图3为本发明提出的阵列相机系统所采用的类视网膜曲面状分离排布形式示意图。
图4为本发明提出的阵列相机系统中相邻相机视场重叠示意图。
智能标校系统，用于对放置在可三轴转动的云台上的阵列相机进行高精度的位姿标校。
智能标校系统的实现方式如下：
智能标校系统：
采用二维平面标靶进行标定获得线性标定模型，并通过标靶中多角点检测，线性求解每个相机对应的单应性变换矩阵的初始值；
将线性标定模型转化为非线性标定模型，通过非线性优化方法求解相机镜头的畸变系数；
对初始值和畸变系数进行非线性智能优化，使用蝙蝠算法，在初始值附近的邻域形成初始种群进行启发式的迭代搜索，获得目标函数，并采用优化搜索方法优化目标函数，求解单应性变换矩阵的最优解，以达到减小误差均值的目的。
控制与处理系统，用于对各云台位姿进行高精度调整，使得各相机子视场精确对齐，控制阵列相机，并对阵列相机获取的图像数据进行处理与计算。
S42细节识别模式通过阵列相机系统对全视场中ROI区进行高分辨率成像，并进行目标识别跟踪，实现目标精细感知。
基于深度卷积神经网络的小目标识别算法对全视场图像进行小目标识别；
将所有小目标所在子视场对应的相机开启细节识别模式，对多个小目标同时进行高分辨成像与跟踪；
当多个小目标跨越多个子视场时，利用相机间的子视场重叠区域对多个小目标轨迹进行相似度评估，使得多个小目标跟踪时相机间的顺利衔接，实现对小目标的精细感知。
基于深度卷积神经网络的小目标识别跟踪算法，构建由一系列残差块组成的深度残差网络进行目标特征的提取，获得多种分辨率特征图，然后采用区域推荐网络的锚点机制，添加相对坐标预测，解决模型训练不稳定问题，加快识别速度。同时引入特征金字塔结构，使网络可以进行多尺度预测，避免细小目标的漏检问题。此外，本发明还可将超分辨图像输入进深度网络中，作为一种数据增强方式可以为目标识别提供更多细节信息，进一步提升识别结果的准确度。之后结合目标识别结果标记，使用深度学习网络提取目标外观特征实现目标跟踪。
基于细节信息，当有多个小目标时，采用多目标识别跟踪算法，结合深度学习网络提取小目标外观特征，对视场内多个小目标进行识别跟踪，以便识别目标精细信息。
当小目标识别跟踪算法检测到当前帧的多个目标以及它们的坐标和边界框范围后，本发明使用卡尔曼滤波器对下一帧目标的位置进行估计和预测，然后通过匈牙利算法计算检测边界框与预测边界框的相似度，并进行匹配得到最佳匹配对结果与跟踪轨迹。由于相机间有较大重叠区域，根据跟踪轨迹可较容易地实现相机间的顺利衔接。
S43细节增强模式通过对ROI区进行超分辨率成像，并进行目标识别跟踪，实现目标的超精细感知。
图5为本发明提供的仿人眼注意力机制智能感知方法流程图。
基于上述阵列相机系统的发明构思，本发明提出了一种仿人眼注意力机制，其模仿人眼注意力机制，可对动态目标进行快速识别，并使高分辨中央区域始终跟随目标，同时可结合超分辨算法超越人眼功能，实现对目标的超精细感知。
阵列相机系统还包括地面智能监控系统和空对地智能观测系统。
图6为本发明提供的地面智能监控系统的结构示意图。
针对阵列相机系统，本发明研制了地面智能监控系统，如图6所示，包括：阵列相机监控子系统4、智能感知子系统5、探测数据服务子系统6；
阵列相机监控子系统4采用类视网膜曲面状分离排布形式，且使用带有Binning读出功能和全采样读出功能的相机，可实现大视场非均匀成像。智能感知子系统5经过以太网与阵列相机监控子系统4进行数据互联，可控制阵列相机并处理图像数据，完成阵列相机的智能标校，实现阵列相机的智能感知与多目标识别跟踪。探测数据服务子系统6用于结构化探测数据和处理数据，形成数据关联的数据库，并作为历史或离线数据保存下来。
图7为本发明提供的空对地智能观测系统的结构示意图。
基于上述阵列相机系统，本发明还研制了空对地智能观测系统，如图7所示，包括：机载阵列相机子系统7、地面站设备8、便携式阵列相机智能感知子系统9；其中，
机载阵列相机子系统7挂载在无人机或卫星平台上，阵列相机采用类视网膜曲面状分离排布形式，且使用带有Binning读出功能和全采样读出功能的相机，可实现大视场非均匀成像。地面站设备8通过数传和图传与机载阵列相机子系统7通信，并通过以太网与便携式阵列相机智能感知子系统9互联。便携式智能感知子系统9中智能算法的部署加速主要由FPGA(Field Programmable Gate Array，现场可编程门阵列)为核心板的图像处理模块实现，子系统可控制阵列相机并处理图像数据，完成阵列相机的智能标校，实现阵列相机的智能感知与多目标识别跟踪，处理后的结果通过态势感知与显示软件进行渲染显示。
传统方法，目标场景信息稀疏、非均匀的分布方式不匹配，造成了感知系统软硬件资源配置的极大浪费。而人眼视网膜视觉经过长时间进化，可以更合理地分配成像资源。人眼视网膜光学信息获取端的特点是视网膜呈曲面状可有效避免场曲及其他部分像差，视网膜上视锥细胞呈非均匀分布，可实现中央区域高分辨而周边区域低分辨的非均匀成像。图像信息处理端的特点是人眼注意力机制使人眼高分辨中央区域始终跟随目标或在多个目标间迅速切换，可较好地实现系统资源的优化配置。本发明提出的非均匀成像方式、人眼注意力机制等几个方面仿生人眼视网膜，且进一步发挥数字光电成像系统的优势，实现对人眼感知功能的超越，进而大幅提高系统的信息获取效率。
上述方案与现有阵列相机均匀成像的方式相比，非均匀成像方法可将系统的信息获取效率提升为5倍；智能标校的综合误差优于 0.1-0.3像元；小目标识别跟踪算法对弱小目标极限探测距离提升至单相机4倍以上，小目标平均检测率不低于95％。
本发明通过通过多图像融合超分辨率重建算法使用深层网络从高分辨图像序列中获取更多的细节信息，通过充分利用多幅图像的有效信息，提升了重建图像质量；本发明实现了仿视网膜非均匀成像方法，大大减小阵列相机数据获取量，在系统采样前端实现低数据冗余的压缩采样，大幅提高系统的信息获取效率；通过基于深度卷积神经网络的小目标识别跟踪算法，进行目标特征的提取，解决模型训练不稳定问题，加快识别速度，采用多目标识别跟踪算法，对视场内的多个目标进行识别跟踪，实现对人眼功能的超越。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本领域的普通技术人员应当理解：对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于阵列相机系统的仿视网膜非均匀成像方法，其特征在于，包括：
S1基于阵列相机系统中相机的Binning读出功能对所述阵列相机系统中相机相应子视场进行低分辨率成像；
S2基于所述相机的全采样读出功能对所述阵列相机系统中相机相应子视场进行高分辨率成像；
S3基于图像融合超分辨算法，使用残余密集网络从高分辨图像序列中获取细节信息，对相邻相机子视场的重叠区域进行超分辨率成像；
S4基于动态检测模式、细节识别模式和细节增强模式，实现全视场的仿视网膜非均匀成像；
所述步骤S4具体包括：
S41所述动态检测模式通过阵列相机系统在所述全视场进行所述低分辨率成像，并进行动态检测以寻找ROI区，实现大范围动态搜索；
S42所述细节识别模式通过所述阵列相机系统对所述全视场中所述ROI区进行高分辨率成像，并进行目标识别跟踪，实现目标精细感知；
S43所述细节增强模式通过对所述ROI区进行超分辨率成像，并进行目标识别跟踪，实现目标的超精细感知。
2.根据权利要求1所述的仿视网膜非均匀成像方法，其特征在于，S42包括：
基于深度卷积神经网络的小目标识别算法对全视场图像进行小目标识别；
将所有所述小目标所在子视场对应的所述相机开启所述细节识别模式，对多个所述小目标同时进行高分辨成像与跟踪；
当多个所述小目标跨越多个所述子视场时，利用所述相机间的子视场重叠区域对多个所述小目标轨迹进行相似度评估，使得多个所述小目标跟踪时相机间的顺利衔接，实现对小目标的精细感知。
3.根据权利要求1所述的仿视网膜非均匀成像方法，S4中所述仿视网膜非均匀成像是基于阵列相机系统实现的。
4.根据权利要求1所述的仿视网膜非均匀成像方法，其特征在于，所述阵列相机系统，包括：
类视网膜曲面状分离排布的阵列相机、智能标校系统以及控制与处理系统，
所述类视网膜曲面状分离排布的阵列相机采用类视网膜曲面状分离排布形式排列，以降低大视场角下的部分像差，所述阵列相机内的各相机对待探测场景的部分视场进行成像，相邻相机间有较大视场重叠；
所述智能标校系统，用于对放置在可三轴转动的云台上的所述阵列相机进行高精度的位姿标校；
所述控制与处理系统，用于对各云台位姿进行高精度调整，使得各相机子视场精确对齐，控制所述阵列相机，并对所述阵列相机获取的图像数据进行处理与计算。
5.根据权利要求4所述的仿视网膜非均匀成像方法，其特征在于，所述智能标校系统：
采用二维平面标靶进行标定，获得线性标定模型，并通过标靶中多角点检测，线性求解每个相机对应的单应性变换矩阵的初始值；
将所述线性标定模型转化为非线性标定模型，通过非线性优化方法求解相机镜头的畸变系数；
对所述初始值和所述畸变系数进行非线性智能优化，使用蝙蝠算法，在所述初始值附近的邻域形成初始种群进行启发式的迭代搜索，获得目标函数，并采用优化搜索方法优化所述目标函数，求解所述单应性变换矩阵的最优解，以达到减小误差均值的目的。
6.根据权利要求5所述的仿视网膜非均匀成像方法，其特征在于，所述阵列相机系统还包括地面智能监控系统和空对地智能观测系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210069535.9A CN114630024B (zh) | 2022-01-21 | 2022-01-21 | 一种基于阵列相机系统的仿视网膜非均匀成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210069535.9A CN114630024B (zh) | 2022-01-21 | 2022-01-21 | 一种基于阵列相机系统的仿视网膜非均匀成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114630024A true CN114630024A (zh) | 2022-06-14 |
| CN114630024B CN114630024B (zh) | 2023-06-09 |
Family
ID=81897947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210069535.9A Active CN114630024B (zh) | 2022-01-21 | 2022-01-21 | 一种基于阵列相机系统的仿视网膜非均匀成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114630024B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118574022A (zh) * | 2024-08-01 | 2024-08-30 | 南京大学 | 一种基于视网膜成像原理的成像控制方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104007559A (zh) * | 2014-05-08 | 2014-08-27 | 北京理工大学 | 含局部超分辨扫描的小凹成像系统 |
| CN107105147A (zh) * | 2017-06-05 | 2017-08-29 | 北京理工大学 | 一种仿生超分辨成像传感器及成像方法 |
| CN108648147A (zh) * | 2018-05-08 | 2018-10-12 | 北京理工大学 | 一种人眼视网膜机理的超分辨率图像获取方法及系统 |
| JP2019041261A (ja) * | 2017-08-25 | 2019-03-14 | 株式会社 日立産業制御ソリューションズ | 画像処理システムおよび画像処理システムの設定方法 |
-
2022
- 2022-01-21 CN CN202210069535.9A patent/CN114630024B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104007559A (zh) * | 2014-05-08 | 2014-08-27 | 北京理工大学 | 含局部超分辨扫描的小凹成像系统 |
| CN107105147A (zh) * | 2017-06-05 | 2017-08-29 | 北京理工大学 | 一种仿生超分辨成像传感器及成像方法 |
| JP2019041261A (ja) * | 2017-08-25 | 2019-03-14 | 株式会社 日立産業制御ソリューションズ | 画像処理システムおよび画像処理システムの設定方法 |
| CN108648147A (zh) * | 2018-05-08 | 2018-10-12 | 北京理工大学 | 一种人眼视网膜机理的超分辨率图像获取方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 孙鸣捷等: "像素感光面形状对基于微扫描的红外超分辨成像的影响", 《红外与激光工程》 * |
| 曹杰等: "曲面相机阵列多分辨成像方法", 《光子学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118574022A (zh) * | 2024-08-01 | 2024-08-30 | 南京大学 | 一种基于视网膜成像原理的成像控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114630024B (zh) | 2023-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106356757B (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
| CN113052835B (zh) | 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统 | |
| CN108537191B (zh) | 一种基于结构光摄像头的三维人脸识别方法 | |
| CN107918776B (zh) | 一种基于机器视觉的用地规划方法、系统及电子设备 | |
| CN111860514B (zh) | 一种基于改进DeepLab的果园场景多类别实时分割方法 | |
| CN109344813B (zh) | 一种基于rgbd的目标识别和场景建模方法 | |
| CN113192646B (zh) | 目标检测模型构建方法及不同目标间距离监控方法、装置 | |
| CN105760831A (zh) | 一种基于低空航拍红外视频的行人跟踪方法 | |
| CN112991487B (zh) | 一种多线程实时构建正射影像语义地图的系统 | |
| CN114038193B (zh) | 基于无人机和多目标追踪的智能交通流量数据统计方法及系统 | |
| CN112308913A (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| CN112037252A (zh) | 基于鹰眼视觉的目标跟踪方法及系统 | |
| CN111914615A (zh) | 基于立体视觉的消防区域可通过性分析系统 | |
| CN114972646B (zh) | 一种实景三维模型独立地物的提取与修饰方法及系统 | |
| CN118015055B (zh) | 基于深度融合算法的多源勘测数据融合处理方法及系统 | |
| CN116797757A (zh) | 一种基于实景三维的城市建筑群数据采集方法 | |
| CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 | |
| CN114630024A (zh) | 一种基于阵列相机系统的仿视网膜非均匀成像方法 | |
| CN109919215B (zh) | 基于聚类算法改进特征金字塔网络的目标检测方法 | |
| CN114693528A (zh) | 无人机低空遥感图像拼接质量评估与降冗方法及系统 | |
| CN112308887B (zh) | 一种多源图像序列实时配准方法 | |
| CN116958927A (zh) | 一种基于bev图识别矮小柱状体的方法及装置 | |
| CN112396637A (zh) | 一种基于3d神经网络的动态行为识别方法及系统 | |
| CN112801928A (zh) | 一种基于注意力机制的毫米波雷达与视觉传感器融合方法 | |
| CN117173631A (zh) | 一种生物多样性的监控方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |