CN115967852B - 一种基于光学补偿优化算法的图像处理方法 - Google Patents
一种基于光学补偿优化算法的图像处理方法 Download PDFInfo
- Publication number
- CN115967852B CN115967852B CN202211589503.8A CN202211589503A CN115967852B CN 115967852 B CN115967852 B CN 115967852B CN 202211589503 A CN202211589503 A CN 202211589503A CN 115967852 B CN115967852 B CN 115967852B
- Authority
- CN
- China
- Prior art keywords
- time sequence
- optical
- optimization algorithm
- optical compensation
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 48
- 238000005457 optimization Methods 0.000 title claims abstract description 24
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000012937 correction Methods 0.000 claims abstract description 19
- 238000009826 distribution Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010891 electric arc Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于光学补偿优化算法的图像处理方法，涉及摄影技术领域，通过摄像模组采集图像；摄像模组的曲面由光学补偿校正优化算法所建立，曲面上设置有光学孔径，且光学孔径内装设单元模组，各单元模组同时对图像进行成像，并通过时序控制器控制曲面内的单元模组；结合单元模组的分布在设定时差下建立曝光时序序列与读出时序序列，通过时序控制器对曝光时序序列与读出时序序列进行错位触发，得到错位时序序列；对错位时序序列的数据进行依次读出，并按照单一时序进行重组，得到备选视频序列，同时根据备选视频序列内的各子帧图像所属的单元模组与标准光轴之间的位置与角度关系，对各子帧图像进行反向计算，得到完成补偿矫正的视频序列。
Description
技术领域
本发明涉及摄影技术领域，具体是一种基于光学补偿优化算法的图像处理方法。
背景技术
高速摄像机是一种能以小于1/1000秒的曝光或超过每秒250帧的帧速率捕获运动图像的设备。目前，普通的相机拍摄频率一般在每秒30-100帧，而高速摄像机的频率可以达到每秒上千甚至是上万帧，所以高速摄像机在短时间内会产生大量图像和数据。以拍摄频率为1000帧/秒的高速摄相机来说，假设它的分辨率是1280*1024，它在1秒内可以产生1.3G数据。目前市场上高速摄像机的种类很多，但其原理都是：高速摄像机对高速运动的目标进行摄像时，这些高速运动的目标在运动过程中会受到光的照射而产生反射光，或者运动目标本身发光；这些反射光通过高速摄像机的物镜成像后再经过图像的光电转换，这些带有图像信息的电荷会被快速存储起来；然后再对包含图像信息的信号进行处理后送至CPU,由CPU对图像信号进行分析处理后再将结果显示到显示屏上。一方面，由于高速摄像机拍摄速度过快，容易导致拍摄到的每张图片像素过低，甚至低于手机的拍摄的像素；另一方面，在目前的市场上，高速摄像机不仅体积相对较大，而且其价格贵、成本高。针对上述问题，本发明提出了一种基于光学补偿优化算法的图像处理方法。
发明内容
鉴于上述技术缺点，本发明提供了一种基于光学补偿优化算法的图像处理方法，包括如下内容：
通过摄像模组采集图像；其中，摄像模组的曲面由光学补偿校正优化算法所建立，曲面上设置有N个光学孔径，且光学孔径内至少装设一个单元模组，各个单元模组同时通过光学通道对图像进行成像，并通过时序控制器控制曲面内所有的单元模组；
结合单元模组的分布在设定时差下建立曝光时序序列与读出时序序列，通过时序控制器对曝光时序序列与读出时序序列进行错位触发，得到错位时序序列；
在设定时段内，对错位时序序列的数据进行依次读出，并按照单一时序进行重组，得到备选视频序列，同时根据备选视频序列内的各个子帧图像所属的单元模组与标准光轴之间的位置与角度关系，对备选视频序列内的各个子帧图像进行反向计算，得到完成补偿矫正的视频序列；
优选的，所述的光学补偿校正优化算法包括如下步骤：
设现实坐标P(X,Y,Z)，映射到成像平面中的坐标为P′(x′,y′)，f为焦距，o为相机光心；
由三角形相似性可知：
将计算得到的坐标(x′,y′)，重写为如下公式：
对坐标(x′,y′)再做平移修正:
cx、cy、fx、fy这四个参数构成相机的内参矩阵C：
其中的cx、cy分别代表坐标在x轴、y轴的平移变换，fx、fy分别代表坐标在x轴、y轴的伸缩变换；
将现实坐标P(X,Y,Z)变换到像素平面中的坐标P″(u,v)，Z的真实的未缩放值为
其中，R和t是相机的姿态，R代表旋转矩阵，t代表位移矢量，距离坐标d，缩放因子s。
优选的，所述光学孔径具体为通过光学补偿校正优化算法计算并分布设置在设定曲面上。
优选的，所述单元模组的帧率为M，所述单元模组的帧率M具体为60帧。
优选的，所述设定时差具体为其中，N为光学孔径的个数，M为帧率。
优选的，所述时序控制器的功能包括曝光触发与数据读出。
优选的，所述曝光触发，具体为在设定的灵敏度下，通过单元模组的控制光圈和快门速度用以控制照射在单元模组内的传感器上的光量的过程。
优选的，所述数据读出，具体为读取单元模组内的传感器传输的数据，并进行数据处理。
优选的，所述错位时序序列内包括n个错位时序，其中，n＝N，N为光学孔径的个数；每两个所述的光学孔径之间的角度相差1度；所述摄像模组具体为在设定距离上对图像进行采集，其中，设定距离为1-5m。
本发明的有益效果是：本发明提出了一种基于光学补偿优化的高速摄像模组方法，可以选用现行的手机摄像模组作为单元模组，成本低廉，并且对手机摄像帧数有较大的提升。
附图说明
图1为本发明提供的摄像模组的曲面示意图；
图2为本发明提供的错位触发示意图；
图3为本发明提供的光学补偿校正优化算法示意图。
具体实施方式
下面结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示：(1)对同一视场在1～5m距离上、通过“补偿校正优化”光学计算设计的特定曲率微曲面(如微曲率矩形球冠曲面)上，同样经“补偿校正优化”计算设计形成分布的20个光学孔径，每两个相邻孔径之间相差1度，在其中每个孔径后以计算角度装设1个60fps的单元模组，从而由视场景物到单元模组形成一个光学通道，使得视场中景物在每个单元模组中都同时成像；
其中，1-5m属于近距离摄影，本发明所设计的摄像模组，正是用于该视距摄影；因为手机空间有限，低速相机设置传感器芯片的宽度S＝8mm，焦距f＝20mm，一般使用场景FOV＝2m，则视距D＝f×FOV/S＝5m。
(2)对20个单元模组进行通电并使得20个单元模组相互连接，设计进行曝光触发和数据读出的时序控制器；
曝光触发就是在给定的灵敏度下通过控制光圈和快门速度达到控制照射到传感器上的光量的过程；数据读出就是读取传感器所传输来的数据，并进行相应的处理。
如图2所示：(3)对20个单元模组，按1/1200s的时差、基于模组分布的光学补偿校正特性，通过机器学习算法设计编制“曝光时序序列”与“读出时序序列”，通过时序控制器，对20个单元模组的曝光时间和数据读出时间进行“错位触发”，存储读出数据；
本发明设计的20个单元模组相比于一个单元模组鲁棒性更强，拍摄帧率更高，通光面积更大，但是大于20个单元模组会超过体积限制。
(4)按10分钟一个时间段，对按20个错位时序读出的数据按单一时序重组，即得1200帧/秒、但各帧图象之间尚因其所属单元模组与景物之间位置和角度各不相同而互有视差的视频序列；
单元模组摄像机的帧率60fps，获取一帧图像的时间t1＝1/60(等于像素曝光时间和数据读出时间之和)，获取1200张图片需要的总时间为：t2＝1/60×60+1/1200×19≈1s，即可达到拍摄帧率为1200帧/秒。
(5)再对各帧图象按其所属单元模组与标准光轴之间经“补偿校正优化”计算设计的位置和角度关系，反向计算予以补偿校正，最终得1200帧/秒图像正确的视频序列。
如图3所示，设定：设现实坐标P(X,Y,Z)，映射到成像平面中的坐标为P′(x′,y′)，f为焦距，o为相机光心；
由三角形相似性可知：
将计算得到的坐标(x′,y′)，重写为如下公式：
对坐标(x′,y′)再做平移修正:
cx、cy、fx、fy这四个参数构成相机的内参矩阵C：
其中的cx、cy分别代表坐标在x轴、y轴的平移变换，fx、fy分别代表坐标在x轴、y轴的伸缩变换；
将现实坐标P(X,Y,Z)变换到像素平面中的坐标P″(u,v)，Z的真实的未缩放值为
其中，R和t是相机的姿态，R代表旋转矩阵，t代表位移矢量，距离坐标d，缩放因子s。
高速摄像模组技术可以应用于科研，军事测试以及工业生产评估等领域。例如汽车碰撞测试，焊接过程中的电弧的产生，电池爆炸过程中的有机液体飞溅，像这一类速度非常快的现象必须借助高速摄像才能清晰的捕捉到。高速摄像技术是凭借着它高频率的拍摄速度以捕捉那些普通相机无法捕捉到的高速物体的移动轨迹，准确的跟踪对象运动，测量其大小、距离及变化和速度，然后再以人眼所能看到的画面频率进行播放。
本发明提出的一种基于视场分解的高速摄像模组方法，可以选用现行的手机摄像模组作为“单元模组”，成本比较低，同时还可以达到以下功能：
(1)高速摄像模组高、宽分别均不大于现行主流手机高、宽的2倍，厚度不大于8cm；
(2)高速摄像模组的拍摄分辨率不低于320*240像素；
(3)高速摄像模组的拍摄帧率不低于1200帧/秒；
(4)高速摄像模组拍摄距离1～5m；
(5)高速摄像模组拍摄图象可以是8比特、256级灰阶的黑白图象；
(6)高速摄像模组的影像拍摄与数据处理可在时间上按相互交错首尾衔接的方式、即“拍完一段→处理一段→再拍一段→再处理一段”的方式进行，每段拍摄时长不短于10分钟；
(7)单元模组可按帧率60帧/秒选择。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (8)
1.一种基于光学补偿优化算法的图像处理方法，其特征在于，包括如下内容：
通过摄像模组采集图像；其中，摄像模组的曲面由光学补偿校正优化算法所建立，曲面上设置有N个光学孔径，且光学孔径内至少装设一个单元模组，各个单元模组同时通过光学通道对图像进行成像，并通过时序控制器控制曲面内所有的单元模组；
结合单元模组的分布在设定时差下建立曝光时序序列与读出时序序列，通过时序控制器对曝光时序序列与读出时序序列进行错位触发，得到错位时序序列；
在设定时段内，对错位时序序列的数据进行依次读出，并按照单一时序进行重组，得到备选视频序列，同时根据备选视频序列内的各个子帧图像所属的单元模组与标准光轴之间的位置与角度关系，对备选视频序列内的各个子帧图像进行反向计算，得到完成补偿矫正的视频序列；
所述的光学补偿校正优化算法包括如下步骤：
设现实坐标P(X,Y,Z)，映射到成像平面中的坐标为P′(x′,y′)，f为焦距，o为相机光心；
由三角形相似性可知：
将计算得到的坐标(x′,y′)，重写为如下公式：
对坐标(x′,y′)再做平移修正:
cx、cy、fx、fy这四个参数构成相机的内参矩阵C：
其中的cx、cy分别代表坐标在x轴、y轴的平移变换，fx、fy分别代表坐标在x轴、y轴的伸缩变换；
将现实坐标P(X,Y,Z)变换到像素平面中的坐标P″(u,v)，Z的真实的未缩放值为
其中，距离坐标d，缩放因子s。
2.根据权利要求1所述的一种基于光学补偿优化算法的图像处理方法，其特征在于，所述光学孔径具体为通过光学补偿校正优化算法计算并分布设置在设定曲面上。
3.根据权利要求1所述的一种基于光学补偿优化算法的图像处理方法，其特征在于，所述单元模组的帧率为M，所述单元模组的帧率M具体为60帧。
4.根据权利要求1所述的一种基于光学补偿优化算法的图像处理方法，其特征在于，所述设定时差具体为其中，N为光学孔径的个数，M为帧率。
5.根据权利要求1所述的一种基于光学补偿优化算法的图像处理方法，其特征在于，所述时序控制器的功能包括曝光触发与数据读出。
6.根据权利要求5所述的一种基于光学补偿优化算法的图像处理方法，其特征在于，所述曝光触发，具体为在设定的灵敏度下，通过单元模组的控制光圈和快门速度用以控制照射在单元模组内的传感器上的光量的过程。
7.根据权利要求5所述的一种基于光学补偿优化算法的图像处理方法，其特征在于，所述数据读出，具体为读取单元模组内的传感器传输的数据，并进行数据处理。
8.根据权利要求1所述的一种基于光学补偿优化算法的图像处理方法，其特征在于，所述错位时序序列内包括n个错位时序，其中，n＝N，N为光学孔径的个数；每两个所述的光学孔径之间的角度相差1度；所述摄像模组具体为在设定距离上对图像进行采集，其中，设定距离为1-5m。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210129839X | 2022-02-11 | ||
| CN202210129839.XA CN114189618A (zh) | 2022-02-11 | 2022-02-11 | 一种基于光学补偿优化算法的图像处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115967852A CN115967852A (zh) | 2023-04-14 |
| CN115967852B true CN115967852B (zh) | 2024-02-06 |
Family
ID=80545793
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210129839.XA Pending CN114189618A (zh) | 2022-02-11 | 2022-02-11 | 一种基于光学补偿优化算法的图像处理方法 |
| CN202211589503.8A Active CN115967852B (zh) | 2022-02-11 | 2022-12-09 | 一种基于光学补偿优化算法的图像处理方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210129839.XA Pending CN114189618A (zh) | 2022-02-11 | 2022-02-11 | 一种基于光学补偿优化算法的图像处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN114189618A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105812651A (zh) * | 2015-07-27 | 2016-07-27 | 维沃移动通信有限公司 | 一种视频数据的处理方法及终端设备 |
| CN108683852A (zh) * | 2018-05-23 | 2018-10-19 | 努比亚技术有限公司 | 一种视频录制方法、终端及计算机可读存储介质 |
| CN111182191A (zh) * | 2019-11-15 | 2020-05-19 | 北京超放信息技术有限公司 | 基于计算像差补偿的宽视场高分辨率摄像设备及方法 |
-
2022
- 2022-02-11 CN CN202210129839.XA patent/CN114189618A/zh active Pending
- 2022-12-09 CN CN202211589503.8A patent/CN115967852B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105812651A (zh) * | 2015-07-27 | 2016-07-27 | 维沃移动通信有限公司 | 一种视频数据的处理方法及终端设备 |
| CN108683852A (zh) * | 2018-05-23 | 2018-10-19 | 努比亚技术有限公司 | 一种视频录制方法、终端及计算机可读存储介质 |
| CN111182191A (zh) * | 2019-11-15 | 2020-05-19 | 北京超放信息技术有限公司 | 基于计算像差补偿的宽视场高分辨率摄像设备及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于摄像机阵列的高帧率视频采集技术研究;朱文博;《中国优秀硕士学位论文全文数据库信息科技辑》;第2、3、5章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115967852A (zh) | 2023-04-14 |
| CN114189618A (zh) | 2022-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110889829B (zh) | 一种基于鱼眼镜头的单目测距方法 | |
| CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
| CN107181918B (zh) | 一种光学动捕摄像机的拍摄控制方法及系统 | |
| CN111182191B (zh) | 基于计算像差补偿的宽视场高分辨率摄像设备及方法 | |
| CN104519328A (zh) | 图像处理设备、图像捕捉装置和图像处理方法 | |
| JP2000316120A (ja) | 全焦点撮像装置 | |
| CN112700502B (zh) | 双目相机系统和双目相机空间标定方法 | |
| CN105245867A (zh) | 图像拾取装置、系统和控制方法以及图像处理装置 | |
| CN111182238B (zh) | 基于扫描光场的高分辨率移动电子设备的成像装置及方法 | |
| WO2023236508A1 (zh) | 一种基于亿像素阵列式相机的图像拼接方法及系统 | |
| CN109951640A (zh) | 摄像头防抖方法和系统、电子设备、计算机可读存储介质 | |
| CN111899164A (zh) | 一种针对多焦段场景的图像拼接方法 | |
| CN109559353A (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| CN117061868A (zh) | 一种基于图像识别的自动拍照装置 | |
| CN209279885U (zh) | 图像采集设备、3d信息比对及配套物生成装置 | |
| CN115967852B (zh) | 一种基于光学补偿优化算法的图像处理方法 | |
| CN112258581B (zh) | 一种多鱼眼镜头全景相机的现场标定方法 | |
| CN116977449B (zh) | 一种基于闪烁棋盘格的复眼事件相机主动标定方法 | |
| CN113875219B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN116681732B (zh) | 一种基于复眼形态视觉的目标运动识别方法及系统 | |
| CN107888805A (zh) | 一种手机摄像头拍照跟踪装置和方法 | |
| CN104780307B (zh) | 阵列镜头成像系统及其用于高速运动物体清晰成像的方法 | |
| CN109903216B (zh) | 基于fpga平台实现定位图像点阵提取系统及方法 | |
| CN117812466B (zh) | 一种大场景双机联动相机校准方法、设备及系统 | |
| CN114051088B (zh) | 一种基于视场分解的高速摄像模组拍摄方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |