CN117714866A - 一种可自适应调焦的电缆通道三光成像方法和系统 - Google Patents
一种可自适应调焦的电缆通道三光成像方法和系统 Download PDFInfo
- Publication number
- CN117714866A CN117714866A CN202410166043.0A CN202410166043A CN117714866A CN 117714866 A CN117714866 A CN 117714866A CN 202410166043 A CN202410166043 A CN 202410166043A CN 117714866 A CN117714866 A CN 117714866A
- Authority
- CN
- China
- Prior art keywords
- point
- focusing
- imaging device
- distance
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012937 correction Methods 0.000 claims abstract description 25
- 230000003044 adaptive effect Effects 0.000 claims abstract 4
- 238000004364 calculation method Methods 0.000 claims description 31
- 238000011156 evaluation Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 10
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 34
- 238000012545 processing Methods 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000825 ultraviolet detection Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
本发明公开了一种可自适应调焦的电缆通道三光成像方法和系统，所述方法包括：采集电缆通道目标物体的可见光、红外光和紫外光三路视频以及目标物体到成像器件的距离；根据采集的信息进行镜头聚焦状态判断以及自适应调焦与视频图像的清晰度校正；对清晰校正后的三路视频进行存储与访问输出。本发明应用于三光融合成像仪，能够将三种波段的成像特征的同步观测，通过自适应反馈校正调焦成像，实现图像预处理，利于各种特征融合在一起，大幅提高观测效率。
Description
技术领域
本发明属于电缆通道三光成像与缺陷检测技术领域，涉及一种可自适应调焦的电缆通道三光成像方法和系统。
背景技术
三光融合智能成像仪由于能全天同时带电检测出电力设备中人眼不可见的电晕或表面局部放电辐射出的微弱紫外线和电流致热辐射出的红外线，并通过对图像的分析进行定位观察和定量指示，已应用于检测电力设备领域。
通常，对成像精度和分析速度是检测设备中需要的，为了提高成像效率，现有方法可以分为如下三类：第一类是通过对三种波段的成像特征进行同步观测，并将各种特征融合在一起进行显示，例如公开号为CN 107607202 B的专利所公开的三光融合智能成像仪。该类方法在前端未能对检测环境进行自适应，增加了后端处理的信息量和处理时间，减弱了处理效果。第二类是通过对红外光与可见光图像的实时摄取，通过机械方式实现完全配准，实现自适应融合的方法，该类方法在结构上仅有两个光路，无法适应复杂多变的电气工况。第三类是通过基于FPGA红外视频流的实时自动调焦方法，例如公开号为CN 109862270A的专利所公开的基于FPGA红外视频流的实时自动调焦方法。这类方法未将紫外线探测融合进算法中，无法准确检测出设备中可能出现的电晕放电。
因此，如何提高成像仪的三光融合性能、成像清晰度，且提高分析效率，成为三光融合成像仪在电力设备缺陷检测应用中的重要问题。
发明内容
为解决现有技术中存在的不足，本发明提供一种可自适应调焦的电缆通道三光成像方法和系统，应用于三光融合成像仪，能够将三种波段的成像特征的同步观测，通过自适应反馈校正调焦成像，实现图像预处理，利于各种特征融合在一起，大幅提高观测效率。
本发明采用如下的技术方案。
一种可自适应调焦的电缆通道三光成像方法，包括如下步骤：
步骤1：采集电缆通道目标物体的可见光、红外光和紫外光三路视频以及目标物体到成像器件的距离；
步骤2：根据步骤1采集的信息进行镜头聚焦状态判断以及自适应调焦与视频图像的清晰度校正；
步骤3：对步骤2清晰校正后的三路视频进行存储与访问输出。
优选地，步骤1中，三光成像系统采用可见光成像器件、红外光成像器件、紫外光成像器件、激光测距组件分别同步采集同一目标物体的可见光视频、红外光视频、紫外光视频、目标物体到成像器件的距离。
优选地，步骤2包括：
1）根据目标物体到成像器件的距离判断镜头是否处于聚焦状态，如果是，则直接显示三路视频，如果不是，则执行2）；
2）根据三路视频的帧率与视频中目标物体的运动状态，重置帧间隔数，
3）根据重置的帧间隔数在三路视频中分别提取一组图像数据；
4）对各组图像分别进行去噪声处理，并计算获取每一组图像中图像的拉伸系数；
5）根据拉伸系数得到目标物体的位置，并以此选择可见光成像器件、红外光成像器件、紫外光成像器件的镜头调焦窗口；
6）通过边缘提取检测算法对三路镜头的调焦窗口位置获取的图像分别进行边缘提取；
7）通过每一路提取的边缘数据单独计算图像清晰度评价函数值并存储得到相应的评价函数计算值数组；
8）判断所述数组中是否出现单峰极值，如果没有出现，返回到2），如果出现，进行下一步；
9）采用评价函数计算值数组拟合出单峰曲线，然后查找焦距位置最佳点，并控制相应路的电机驱动相关的镜头对焦组件，将对应路的镜头移动到该最佳点位置；
10）通过镜头聚焦状态判据判断9）移动到的位置是否为最佳位置点，如果不是，回到9），如果是，则完成自适应调焦与图像的清晰度校正，并实时监控显示图像的清晰度，若三路视频中存在图像在显示的过程中不再满足所述状态判据，则回到2）。
优选地，镜头聚焦状态判据为：
；
其中分别为物距，相距和焦距；物距为由激光测距组件得到的目标物体到成像器件的距离；相距为成像器件到成像平面的距离；焦距为成像器件光心到光聚焦点的距离。
优选地，帧间隔数的重置公式为：
；
其中为重置后的帧间隔数，/>为初始帧间隔数，/>为视频中目标物体的运动速度，/>为运动参数速度。
优选地，同一时刻三路视频的帧间隔数相同。
优选地，图像清晰度评价函数为：
；
；
；
其中、/>为边缘数据所构成图像的水平和垂直方向的梯度；
为图像中每个像素的亮度，x、y为水平和垂直方向坐标。
优选地，查找焦距位置最佳点的过程为：
任意选择起始点P点，任意选择一个初始搜索方向进行搜寻，如果初始选择向P点一侧的O点方向搜索，到达O点时表示完成一步搜索，将P点的评价函数计算值与O点的评价函数计算值进行比较，发现O点的函数计算值小于P点的函数计算值，则调转搜索方向，向P点另一侧的Q点方向进行下一步的继续搜索，否则保持当前搜索方向继续搜索；
当继续搜索过程中出现当前点的函数计算值比前一步搜索点的函数计算值小且差值大于设定阈值时，则调转搜索方向，并且将搜索步长缩小5%继续搜索，直到继续搜索过程中出现当前点的函数计算值比前一步搜索点的函数计算值小且差值小于或等于设定阈值时，停止搜索，选择当前点到前一步搜索点中的任意一点作为最佳的搜索点，即为焦距位置最佳点；
优选地，步骤3中，经过清晰校正三路视频输入至ARM芯片，ARM芯片采用数据流总线调度架构，当三路视频图像数据送入时，由ARM芯片内部的fifo对输入的三路视频图像数据进行异步隔离，将每路视频图像数据各自的时钟域统一成ARM芯片内部的相同时钟域，继而将视频图像数据逐帧高速的写入DDR存储芯片中进行缓存，以供其他模块访问。
一种可自适应调焦的电缆通道三光成像系统，包括：
信息采集模块，用于采集电缆通道目标物体的可见光、红外光和紫外光三路视频以及目标物体到成像器件的距离；
清晰校正模块，用于根据采集的信息进行镜头聚焦状态判断以及自适应调焦与视频图像的清晰度校正；
存储模块，用于对清晰校正后的三路视频进行存储与访问输出。
一种终端，包括处理器及存储介质；所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行所述方法的步骤。
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述方法的步骤。
本发明的有益效果在于，与现有技术相比：
本发明可实现三种波段的成像特征的同步观测并对图像进行预处理，有效提高设备检测速度与准确性。
本发明自适应调焦与视频图像的清晰度校正过程中，通过对视频数据的清晰度判断，根据目标的变换速度来调节图像提取的帧间隔数，提高了对实时图像的处理速度，可满足对高速目标的跟踪摄像需求；通过对实时图像的图像清晰度评价函数值计算，并采用变步长的搜索方式对焦距位置最佳点进行查找，获得对三光镜头的调节量 ，自适应变步长的搜索方式中步长能够依据运行点的未知自动的更新，能够减少在函数曲线顶点处的扰动并加速追踪到顶点（焦距位置最佳点）的速度，减少跟踪时间，实现目标自动调焦，确保画面清晰度。
本发明攻克了高速大数据并发实时处理的难题，仅以FPGA、ARM芯片即完成了数据处理，算法实现及内外部控制，整套系统重量轻，体积小，功耗低，能确保实时观测的效率与清晰度，能够更清晰、更迅速的成像。
附图说明
图1是本发明三光成像方法流程框图；
图2为本发明镜头前端结构设计框图；
图3为本发明电机控制电路调节示意图；
图4为本发明反馈控制原理框图；
图5为本发明变步长搜索方式流程图；
图6为本发明搜索方式得到的最优聚焦位置示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述。本申请所描述的实施例仅仅是本发明一部分的实施例，而不是全部实施例。基于本发明精神，本领域普通技术人员在没有作出创造性劳动前提下所获得的有所其它实施例，都属于本发明的保护范围。
如图1所示，本发明实施例1提供一种可自适应调焦的电缆通道三光成像方法，其特征在于，所述方法包括如下步骤：
步骤1：采集目标物体的可见光、红外光和紫外光三路视频以及目标物体到成像器件的距离，包括：
1）三光成像系统初始化：初始化可见光成像器件、红外光成像器件、紫外光成像器件中的镜头位置及从视频中提取图像的帧间隔数和电机速度等，并初始化激光测距组件的默认配置参数，其中帧间隔数和电机速度一般可分别初始化为25和0；其中视频帧间隔数25既符合视频流畅度的要求，又不需要很高的运行配置。初始化电机速度为0，是为了给电机供电使能，让后面电机接到指令后可以正常的运行调焦。
2）在初始化状态下，可见光成像器件、红外光成像器件、紫外光成像器件、激光测距组件分别同步采集同一目标物体的可见光视频、红外光视频、紫外光视频、目标物体到成像器件的距离，并将采集到的三路视频以及距离传输给FPGA芯片；其中目标物体到成像器件的距离即物距，用于判断镜头是否处于聚焦状态。
步骤2：根据步骤1采集的信息进行镜头聚焦状态判断，并采用变步长的搜索方式进行自适应调焦与视频图像的清晰度校正；
1）FPGA芯片根据目标物体到成像器件的距离判断镜头是否处于聚焦状态，如果是，则通过图像传感器CMOS芯片（本发明中三路视频所用的显示芯片均为CMOS芯片）直接显示三路视频，如果不是，则进行下一步；
其中当三路视频的相距，焦距和物距满足时，表示镜头处于聚焦状态，否则不聚焦；
分别为物距，相距和焦距；
物距为由激光测距组件得到的目标物体到成像器件的距离；
相距为成像器件到成像平面的距离；
焦距为成像器件光心到光聚焦点的距离。
相距和焦距的值均可通过成像系统自带编码器反馈得出。
2）FPGA芯片根据三路视频的帧率与视频中目标物体的运动状态，重置帧间隔数，
可通过成像系统集成的FFmpeg或OpenCV等API（应用程序编程接口，ApplicationProgramming Interface）接口，提取视频的帧率和物体的运动状态。
帧间隔数的重置公式为：
；
其中为重置后的三路视频的帧间隔数，/>为初始帧间隔数，一般设为25，/>为比例系数，可以根据成像系统的具体使用场景进行调整，可以之间在成像系统的软件界面中直接进行设置，/>为视频中目标物体的运动速度，/>为运动参数速度，为一个定值，也可以在成像系统的软件界面中进行手动设置，且同一时刻三路的帧间隔数是相同的；
3）FPGA芯片根据重置的帧间隔数在三路视频中分别提取一组图像数据；
4）FPGA芯片对各组图像分别进行去噪声处理，并通过成像系统集成的OpenCV函数来计算获取每一组图像中图像的拉伸系数。其中拉伸系数一般直接调用OpenCV中已有的API函数进行获取即可。
5）FPGA芯片根据拉伸系数得到目标物体的位置，并以此选择可见光成像器件、红外光成像器件、紫外光成像器件的镜头调焦窗口；
目标物体的位置通过拉伸系数集成函数得到，即通过拉伸系数和成像系统已有的焦距、像距等参数组成的计算公式得到目标物体的位置。
6）通过边缘提取检测算法如小波变换多尺度分析的方式对三路镜头的调焦窗口位置获取的图像分别进行边缘提取；
7）通过每一路提取的边缘数据单独计算图像清晰度评价函数值并存储得到相应的评价函数计算值数组；
本发明中基于水平和垂直方向的梯度值进行评价：
；
为评价函数值，图像中每个像素的亮度为/>；
梯度算子为：
；
；
8）判断所述数组中是否出现单峰极值，如果没有出现，返回到2），如果出现，进行下一步；
9）采用评价函数计算值数组拟合出单峰曲线，然后通过变步长的搜索方式查找焦距位置最佳点，并控制相应路的电机驱动相关的镜头对焦组件，将对应路的镜头移动到该最佳点位置；
如图5-6所示，在图像清晰度评价函数（焦搜索评价函数）曲线峰值的两侧任意选择一点开始向峰值的方向搜索，直到搜索到最大图像清晰度评价函数值为止，实现对焦搜索。具体的，查找焦距位置最佳点的过程为：
在搜索开始之前确定搜索的方向和搜索的步长，每向前走一步都会带动相应的对焦组件移动一步；
假设起始点为P点，任意选择一个初始搜索方向进行搜寻，如果初始选择向P点一侧的O点方向搜索，到达O点时表示完成一步搜索，将P点的评价函数计算值与O点的评价函数计算值进行比较，发现O点的函数计算值小于P点的函数计算值，则调转搜索方向，向P点另一侧的Q点方向进行下一步的继续搜索，否则保持当前搜索方向继续搜索；
当继续搜索过程中出现当前点的函数计算值比前一步搜索点的函数计算值小且差值大于设定阈值时，则调转搜索方向，并且将搜索步长缩小5%继续搜索，直到继续搜索过程中出现当前点的函数计算值比前一步搜索点的函数计算值小且差值小于或等于设定阈值时，停止搜索，选择当前点到前一步搜索点中的任意一点作为最佳的搜索点，即为焦距位置最佳点（最佳聚焦位置）。
上述过程提高了搜索效率和精确度，可实现自适应变步长搜索，其步长能够依据运行点的未知自动的更新。如果系统工作在一个原理顶点的特定点那么步长将会增加以便更快的进行跟踪。相反，如果接近顶点很近则会产生一个很小的步长。步长随着运行点靠近顶点会逐渐减小并最终减小到零，以便运行点能够稳定在顶点。这个工作原理减少了在顶点处的扰动并加速了追踪到顶点的速度，以及减少了跟踪时间。
10）通过相距、焦距和物距公式判断9）移动到的位置是否为最佳位置点，如果不是，回到9），如果是，则完成自适应调焦与图像的清晰度校正，进行下一步，并通过COMS芯片进行图像显示，实时监控显示图像的清晰度，如果三路中存在图像在显示的过程中由清晰状态变为模糊状态，即不再满足/>，则回到2），如果不变模糊，则进行步骤3）；
上述内容的整理逻辑如图4所示。
步骤3：对清晰校正后的三路视频进行存储与访问输出。
将经过清晰校正三路视频输出至存储单元内的ARM芯片，ARM芯片采用数据流总线调度架构，当三路波段图像数据送入时，由ARM芯片内部的fifo对输入的三路视频图像数据进行异步隔离，将每路视频图像数据各自的时钟域统一成ARM芯片内部的相同时钟域，继而利用存储单元内的DDR存储芯片的内存颗粒将视频图像数据逐帧高速的写入DDR存储芯片中进行缓存，以供其他模块访问，其中其他模块具体是指fpga计算单元，sd存储单元等。
本发明实施例2提供一种可自适应调焦的电缆通道三光成像系统，包括：
信息采集模块，用于采集电缆通道目标物体的可见光、红外光和紫外光三路视频以及目标物体到成像器件的距离；
清晰校正模块，用于根据采集的信息进行镜头聚焦状态判断以及自适应调焦与视频图像的清晰度校正；
存储模块，用于对清晰校正后的三路视频进行存储与访问输出。
进一步优选地，如图2所示，三光成像系统的镜头前端结构包括成像设备和智能控制系统；
成像设备与智能控制系统进行通信，用于采集图像视频数据以及目标物体到成像器件的距离；
成像设备包括可见光成像器件、红外光成像器件、紫外光成像器件和激光测距组件。对于同一被测目标物体的图像视频数据进行采集时，成像设备可以集可见光成像器件、红外光成像器件、紫外光成像器件、激光测距组件于一体。其中，可见光成像器件，用于采集利用可见光获得的目标物体图像视频数据；红外光成像器件，用于采集利用红外光获得的目标物体图像视频数据；紫外光成像器件，用于采集利用紫外光获得的目标物体图 像视频数据；激光测距组件，用于测量被观测目标物体到成像设备的距离，激光测距组件用于判断视频有无聚焦，是成套组件。
成像设备采集到的三路波段图像视频数据以及测量距离传输给智能控制系统；
智能控制系统用于根据成像设备采集的信息进行镜头聚焦状态判断以及自适应调焦与视频图像的清晰度校正，并进行清晰度校正后视频数据调度和集总。
智能控制系统包括FPGA芯片、存储单元、电机组及电机控制电路、电检测电路；
FPGA芯片，用于对采集到的每路波段图像视频数据进行预处理，首先依次对实时采集到的每路波段图像视频流进行场景配准和几何畸变校正处理，令三路波段图像视频数据可以逐像素点对齐，并且共同输出相同的场景信息；
存储单元，用于将视频数据逐帧高速的写入DDR存储芯片中进行缓存以供其他模块访问，在输出时同样先将数据从DDR存储芯片中并行读出，并根据融合算法的要求将每一个光谱的每帧图像逐像素点对齐后以相同的时钟频率并发写入总线；
存储单元包括ARM芯片、DDR存储芯片、EPCS串行存储芯片、FLASH芯片、TF卡；ARM芯片，用于采用数据流总线调度架构(优选4级Cache缓存总线架构)对校正后的每路波段图像视频流进行异步隔离，将每路波段图像视频流各自的时钟域统一成ARM芯片内部的相同时钟域，再利用融合算法将待融合的目标图像放在流水线架构上，依次对三路波段视频图像逐帧进行细节层提取及采样，进行融合处理；DDR存储芯片内存颗粒用以实现整套系统的内存管理及虚拟显存，根据本系统的架构设计最大可以实现4G 的内存存储及512M的虚拟显存；EPCS串行存储芯片用以存储整套系统的运行程序；FLASH芯片用以存储系统工作中的日志及参数，可以方便操作人员用于后期对设备进行维护；TF卡 用于实时存储设备在工作过程中需要记录的场景照片及视频，供操作人员留档或复现之用。
电机组及电机控制电路包括第一-六步进电机，以及第一-六编码器；其中第一、三、五步进电机分别用于控制红外光成像器件、紫外光成像器件、可见光成像器件的视场调节组件，以对红外光视场、紫外光视场和可见光视场视窗大小进行调节；第二、四、六步进电机分别用于控制红外光成像器件、紫外光成像器件、可见光成像器件的调焦组件，以对红外光、紫外光和可见光进行镜头焦距调节。第一、三、五编码器，用于实时记录第二、四、六光步进电机所调节镜头的视场调节位置；第二、四、六编码器，用于实时记录红外光成像器件、紫外光成像器件、可见光成像器件镜头的焦距调节位置。
通过如图3所示的原理对上述三光镜头的步进电机以及步进电机的编码器进行调节，其调节过程为：光线射入半反半投分光镜，一路经过可见光镜片组、步进电机、前轨道到达图像采集卡和检测电路编码器；另一路经过红（紫）外光镜片组、步进电机、后轨道到达图像采集卡和检测电路路25的编码器；同时，照度计对射入光线进行记录并传输至图像采集卡和检测电路编码器；图像采集卡和检测电路编码器接收到上述的三项信息后分别进行图像处理和信号滤波编码，得到三个成像器件的调整信号并输入至mcu芯片，mcu芯片接收到该信息后进行处理转化为电机调焦信号，并将电机调焦信号至存储器。
检测电路接收来自电机控制电路输出的电机调焦信号，然后检测电路对接收的电信号进行解析与编码输出至FPGA芯片，FPGA芯片根据接收到的编码信号进行存储，该操作对应于上文对清晰校正后的三路视频进行存储。
智能控制系统还与多个辅助检测设备和主控芯片连接；
所述辅助检测设备至少包括直连智能显示屏设备、主控通讯设备。使得整套系统的集成度、功能性和智能性大大提升；
所述主控芯片用于拍摄系统的数据信息与控制信息的管理与通信。
本发明的有益效果在于，与现有技术相比：
本发明可实现三种波段的成像特征的同步观测并对图像进行预处理，有效提高设备检测速度与准确性。
本发明自适应调焦与视频图像的清晰度校正过程中，通过对视频数据的清晰度判断，根据目标的变换速度来调节图像提取的帧间隔数，提高了对实时图像的处理速度，可满足对高速目标的跟踪摄像需求；通过对实时图像的图像清晰度评价函数值计算，并采用变步长的搜索方式对焦距位置最佳点进行查找，获得对三光镜头的调节量 ，自适应变步长的搜索方式中步长能够依据运行点的未知自动的更新，能够减少在函数曲线顶点处的扰动并加速追踪到顶点（焦距位置最佳点）的速度，减少跟踪时间，实现目标自动调焦，确保画面清晰度。
本发明攻克了高速大数据并发实时处理的难题，仅以FPGA、ARM芯片即完成了数据处理，算法实现及内外部控制，整套系统重量轻，体积小，功耗低，能确保实时观测的效率与清晰度，能够更清晰、更迅速的成像。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其它自由传播的电磁波、通过波导或其它传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (12)
1.一种可自适应调焦的电缆通道三光成像方法，其特征在于：
所述方法包括如下步骤：
步骤1：采集电缆通道目标物体的可见光、红外光和紫外光三路视频以及目标物体到成像器件的距离；
步骤2：根据步骤1采集的信息进行镜头聚焦状态判断以及自适应调焦与视频图像的清晰度校正，包括：根据采集目标物体到成像器件的距离进行镜头聚焦状态判断，并在判断出非聚焦状态时进行帧间隔数重置，以重新提取视频图像数据进行拉伸调焦，然后对调焦后的视频图像边缘数据进行图像清晰度评价函数值计算，实现视频图像的清晰度校正；
步骤3：对步骤2清晰校正后的三路视频进行存储与访问输出。
2.根据权利要求1所述的一种可自适应调焦的电缆通道三光成像方法，其特征在于：
步骤1中，三光成像系统采用可见光成像器件、红外光成像器件、紫外光成像器件、激光测距组件分别同步采集同一目标物体的可见光视频、红外光视频、紫外光视频、目标物体到成像器件的距离。
3.根据权利要求1所述的一种可自适应调焦的电缆通道三光成像方法，其特征在于：
步骤2包括：
1）根据目标物体到成像器件的距离判断镜头是否处于聚焦状态，如果是，则直接显示三路视频，如果不是，则执行2）；
2）根据三路视频的帧率与视频中目标物体的运动状态，重置帧间隔数，
3）根据重置的帧间隔数在三路视频中分别提取一组图像数据；
4）对各组图像分别进行去噪声处理，并计算获取每一组图像中图像的拉伸系数；
5）根据拉伸系数得到目标物体的位置，并以此选择可见光成像器件、红外光成像器件、紫外光成像器件的镜头调焦窗口；
6）通过边缘提取检测算法对三路镜头的调焦窗口位置获取的图像分别进行边缘提取；
7）通过每一路提取的边缘数据单独计算图像清晰度评价函数值并存储得到相应的评价函数计算值数组；
8）判断所述数组中是否出现单峰极值，如果没有出现，返回到2），如果出现，进行下一步；
9）采用评价函数计算值数组拟合出单峰曲线，然后查找焦距位置最佳点，并控制相应路的电机驱动相关的镜头对焦组件，将对应路的镜头移动到最佳点位置；
10）通过镜头聚焦状态判据判断9）移动到的位置是否为最佳位置点，如果不是，回到9），如果是，则完成自适应调焦与图像的清晰度校正，并实时监控显示图像的清晰度，若三路视频中存在图像在显示的过程中不再满足所述状态判据，则回到2）。
4.根据权利要求3所述的一种可自适应调焦的电缆通道三光成像方法，其特征在于：
镜头聚焦状态判据为：
；
其中分别为物距，相距和焦距；物距为由激光测距组件得到的目标物体到成像器件的距离；相距为成像器件到成像平面的距离；焦距为成像器件光心到光聚焦点的距离。
5.根据权利要求3所述的一种可自适应调焦的电缆通道三光成像方法，其特征在于：
帧间隔数的重置公式为：
；
其中为重置后的帧间隔数，/>为初始帧间隔数，/>为视频中目标物体的运动速度，/>为运动参数速度。
6.根据权利要求3所述的一种可自适应调焦的电缆通道三光成像方法，其特征在于：
同一时刻三路视频的帧间隔数相同。
7.根据权利要求3所述的一种可自适应调焦的电缆通道三光成像方法，其特征在于：
图像清晰度评价函数为：
；
；
；
其中、/>为边缘数据所构成图像的水平和垂直方向的梯度；
为图像中每个像素的亮度，x、y为水平和垂直方向坐标。
8.根据权利要求3所述的一种可自适应调焦的电缆通道三光成像方法，其特征在于：
查找焦距位置最佳点的过程为：
任意选择起始点P点，任意选择一个初始搜索方向进行搜寻，如果初始选择向P点一侧的O点方向搜索，到达O点时表示完成一步搜索，将P点的评价函数计算值与O点的评价函数计算值进行比较，发现O点的函数计算值小于P点的函数计算值，则调转搜索方向，向P点另一侧的Q点方向进行下一步的继续搜索，否则保持当前搜索方向继续搜索；
当继续搜索过程中出现当前点的函数计算值比前一步搜索点的函数计算值小且差值大于设定阈值时，则调转搜索方向，并且将搜索步长缩小5%继续搜索，直到继续搜索过程中出现当前点的函数计算值比前一步搜索点的函数计算值小且差值小于或等于设定阈值时，停止搜索，选择当前点到前一步搜索点中的任意一点作为最佳的搜索点，即为焦距位置最佳点。
9.根据权利要求1所述的一种可自适应调焦的电缆通道三光成像方法，其特征在于：
步骤3中，经过清晰校正三路视频输入至ARM芯片，ARM芯片采用数据流总线调度架构，当三路视频图像数据送入时，由ARM芯片内部的fifo对输入的三路视频图像数据进行异步隔离，将每路视频图像数据各自的时钟域统一成ARM芯片内部的相同时钟域，继而将视频图像数据逐帧高速的写入DDR存储芯片中进行缓存，以供其他模块访问。
10.一种可自适应调焦的电缆通道三光成像系统，利用权利要求1-9任一项所述的方法，其特征在于：所述系统包括：
信息采集模块，用于采集电缆通道目标物体的可见光、红外光和紫外光三路视频以及目标物体到成像器件的距离；
清晰校正模块，用于根据采集的信息进行镜头聚焦状态判断以及自适应调焦与视频图像的清晰度校正，包括：根据采集目标物体到成像器件的距离进行镜头聚焦状态判断，并在判断出非聚焦状态时进行帧间隔数重置，以重新提取视频图像数据进行拉伸调焦，然后对调焦后的视频图像边缘数据进行图像清晰度评价函数值计算，实现视频图像的清晰度校正；
存储模块，用于对清晰校正后的三路视频进行存储与访问输出。
11.一种终端，包括处理器及存储介质；其特征在于：
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1-9任一项所述方法的步骤。
12.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-9任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410166043.0A CN117714866A (zh) | 2024-02-06 | 2024-02-06 | 一种可自适应调焦的电缆通道三光成像方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410166043.0A CN117714866A (zh) | 2024-02-06 | 2024-02-06 | 一种可自适应调焦的电缆通道三光成像方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117714866A true CN117714866A (zh) | 2024-03-15 |
Family
ID=90162901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410166043.0A Pending CN117714866A (zh) | 2024-02-06 | 2024-02-06 | 一种可自适应调焦的电缆通道三光成像方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117714866A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040101170A1 (en) * | 2002-11-20 | 2004-05-27 | Christel-Loic Tisse | Evaluation of the definition of an eye iris image |
| JP2007172397A (ja) * | 2005-12-22 | 2007-07-05 | Seiko Epson Corp | エッジ勾配検出方法、シミ欠陥検出方法、エッジ勾配検出装置、シミ欠陥検出装置 |
| CN103327245A (zh) * | 2013-06-07 | 2013-09-25 | 电子科技大学 | 一种红外成像系统的自动对焦方法 |
| CN107015125A (zh) * | 2017-02-04 | 2017-08-04 | 国网河北省电力公司电力科学研究院 | 一种基于红外、紫外和可见光的一体化检测方法和装置 |
| CN109819161A (zh) * | 2019-01-21 | 2019-05-28 | 北京中竞鸽体育文化发展有限公司 | 一种帧率的调整方法、装置、终端及可读存储介质 |
| CN109862270A (zh) * | 2019-02-25 | 2019-06-07 | 苏州长风航空电子有限公司 | 基于fpga红外视频流的实时自动调焦方法 |
| CN116996787A (zh) * | 2023-06-06 | 2023-11-03 | 国网上海市电力公司 | 一种自动聚焦的多波段成像系统 |
-
2024
- 2024-02-06 CN CN202410166043.0A patent/CN117714866A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040101170A1 (en) * | 2002-11-20 | 2004-05-27 | Christel-Loic Tisse | Evaluation of the definition of an eye iris image |
| JP2007172397A (ja) * | 2005-12-22 | 2007-07-05 | Seiko Epson Corp | エッジ勾配検出方法、シミ欠陥検出方法、エッジ勾配検出装置、シミ欠陥検出装置 |
| CN103327245A (zh) * | 2013-06-07 | 2013-09-25 | 电子科技大学 | 一种红外成像系统的自动对焦方法 |
| CN107015125A (zh) * | 2017-02-04 | 2017-08-04 | 国网河北省电力公司电力科学研究院 | 一种基于红外、紫外和可见光的一体化检测方法和装置 |
| CN109819161A (zh) * | 2019-01-21 | 2019-05-28 | 北京中竞鸽体育文化发展有限公司 | 一种帧率的调整方法、装置、终端及可读存储介质 |
| CN109862270A (zh) * | 2019-02-25 | 2019-06-07 | 苏州长风航空电子有限公司 | 基于fpga红外视频流的实时自动调焦方法 |
| CN116996787A (zh) * | 2023-06-06 | 2023-11-03 | 国网上海市电力公司 | 一种自动聚焦的多波段成像系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110248096B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| CN110334635B (zh) | 主体追踪方法、装置、电子设备和计算机可读存储介质 | |
| CN109521547B (zh) | 一种变步长的自动调焦方法及系统 | |
| CN110166692B (zh) | 一种提高摄像机自动聚焦准确率和速度的方法及装置 | |
| CN103973957B (zh) | 双目3d相机自动调焦系统及方法 | |
| CN110248097A (zh) | 追焦方法、装置、终端设备、计算机可读存储介质 | |
| WO2020082382A1 (en) | Method and system of neural network object recognition for image processing | |
| CN110991287A (zh) | 一种实时视频流人脸检测跟踪方法及检测跟踪系统 | |
| CN108156371B (zh) | 一种红外自动对焦快速搜索方法 | |
| CN115086516A (zh) | 一种基于深度学习模型的摄像系统自动对焦方法 | |
| CN111539899A (zh) | 图像修复方法及相关产品 | |
| CN115068140A (zh) | 牙齿模型的获取方法、装置、设备及介质 | |
| CN105446056A (zh) | 自动对焦装置及方法 | |
| CN107295261B (zh) | 图像去雾处理方法、装置、存储介质和移动终端 | |
| CN114500837A (zh) | 拍摄方法、装置及电子设备 | |
| CN117714866A (zh) | 一种可自适应调焦的电缆通道三光成像方法和系统 | |
| CN114255177B (zh) | 成像中的曝光控制方法、装置、设备及存储介质 | |
| CN103400381B (zh) | 一种基于光学成像的水下目标跟踪方法 | |
| CN113163112B (zh) | 一种聚变焦控制方法及系统 | |
| CN115984124A (zh) | 一种神经形态脉冲信号去噪和超分辨方法及装置 | |
| Zhou et al. | Real-time defogging hardware accelerator based on improved dark channel prior and adaptive guided filtering | |
| Li et al. | DualBEV: CNN is All You Need in View Transformation | |
| CN107734258A (zh) | 一种光斑中心提取方法、装置、设备和计算机可读存储介质 | |
| CN114677620A (zh) | 对焦方法、电子设备和计算机可读介质 | |
| CN113936022A (zh) | 一种基于多模态特征与极化注意力的图像去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |