CN116506732A - 一种图像抓拍防抖的方法、装置、系统和计算机设备 - Google Patents
一种图像抓拍防抖的方法、装置、系统和计算机设备 Download PDFInfo
- Publication number
- CN116506732A CN116506732A CN202310754586.XA CN202310754586A CN116506732A CN 116506732 A CN116506732 A CN 116506732A CN 202310754586 A CN202310754586 A CN 202310754586A CN 116506732 A CN116506732 A CN 116506732A
- Authority
- CN
- China
- Prior art keywords
- image
- current
- frame
- video
- reference frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000009466 transformation Effects 0.000 claims abstract description 189
- 239000011159 matrix material Substances 0.000 claims abstract description 88
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000007499 fusion processing Methods 0.000 claims abstract description 23
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Endoscopes (AREA)
Abstract
本申请涉及一种图像抓拍防抖的方法、装置、系统和计算机设备。所述方法包括：获取初始视频帧，根据初始视频帧确定当前基准帧；获取当前视频帧，将当前视频帧与当前基准帧进行图像配准处理，得到对应于当前视频帧与当前基准帧之间的当前变换矩阵；基于当前变换矩阵，得到对应于当前视频帧的视频变换图像，将视频变换图像与当前基准帧进行融合处理，得到下一个基准帧；获取下一帧视频帧，重复以上步骤直至所有视频帧遍历完毕，得到目标基准帧，并根据目标基准帧确定目标抓拍结果。采用本方法能够有效地解决内窥镜拍照时画面不清楚的问题。
Description
技术领域
本申请涉及视频图像处理技术领域，特别是涉及一种图像抓拍防抖的方法、装置、系统和计算机设备。
背景技术
医疗内窥镜为一种由图像传感器、照明光源、光学镜头与其他物理装置结构构成的检测仪器，其可以通过人体的各个器官如口鼻等部位进入，拍摄人体内的一些组织器官的情况，医生可以通过内窥镜深入人体内各个组织进行拍摄，将人体内的一些病变情况保存下来，因此，医疗内窥镜在目前的病理诊断方面具有十分重要的作用。
然而在现有技术中，很多医疗内窥镜都具有对关键部位进行拍照的需求，但由于一般为人工操作拍照，难免会出现由于医生的手术操作时长较长，医生的体力精力等原因而导致的在拍摄过程中出现画面模糊或出现遮挡，造成医生对于后续分析的难度提升。
目前针对通过内窥镜拍照时画面不清楚的问题，尚未提出有效地解决方案。
发明内容
基于此，有必要针对上述技术问题，提供一种图像抓拍防抖的方法、装置、系统和计算机设备。
第一方面，本申请提供了一种图像抓拍防抖方法。所述方法包括：
获取初始视频帧，根据初始视频帧确定当前基准帧；
获取当前视频帧，将当前视频帧与当前基准帧进行图像配准处理，得到对应于当前视频帧与当前基准帧之间的当前变换矩阵；基于当前变换矩阵，得到对应于当前基准帧的基准变换图像，将基准变换图像与当前基准帧进行融合处理，得到下一个基准帧；
获取下一帧视频帧，重复以上步骤直至所有视频帧遍历完毕，得到目标基准帧，并根据目标基准帧确定目标抓拍结果。
在其中一个实施例中，基于当前变换矩阵，得到对应于当前基准帧的基准变换图像，将基准变换图像与当前基准帧进行融合处理，得到下一个基准帧，包括：
获取预设的变换阈值；
基于当前变换矩阵计算当前基准帧与基准变换图像的位姿变换关系；
若检测到位姿变换关系大于变换阈值，则删除当前变换矩阵以及对应于当前变换矩阵的当前视频帧，并计算下一个视频帧与当前基准帧之间的下一个变换矩阵，重复以上步骤，直至得到下一个基准帧；
若检测到位姿变换关系小于或等于变换阈值，则保留当前变换矩阵以及对应于当前变换矩阵的当前视频帧，基于当前变换矩阵，得到对应于当前基准帧的基准变换图像，将基准变换图像与当前基准帧进行融合处理，得到下一个基准帧。
在其中一个实施例中，将当前视频帧与当前基准帧进行图像配准处理，得到对应于当前视频帧与当前基准帧之间的当前变换矩阵，包括：
对当前视频帧以及当前基准帧进行特征提取，得到关键点集合，基于关键点集合完成图像配准处理，得到当前变换矩阵。
在其中一个实施例中，将基准变换图像与当前基准帧进行融合处理，得到下一个基准帧，包括：
基于基准变换图像的图像像素值为基准变换图像分配基准变换图像权重值，基于当前基准帧的图像像素值为当前基准帧分配当前基准帧权重值；
根据基准变换图像权重值和当前基准帧权重值，对基准变换图像和当前基准帧进行加权融合处理，得到下一个基准帧。
在其中一个实施例中，基于基准变换图像的图像像素值为基准变换图像分配基准变换图像权重值，基于当前基准帧的图像像素值为当前基准帧分配当前基准帧权重值，包括：
若检测到视频变换图像和当前基准帧图像中的一帧图像存在黑色像素区域，且另一帧图像存在平均计算区域，将黑色像素区域的像素点权重值设置为第一权重值，并将平均计算区域的像素点权重值设置为第二权重值；其中，黑色像素区域中的图像像素值小于或等于预设阈值，平均计算区域中的图像像素值大于预设阈值；
若检测到视频变换图像和当前基准帧图像均存在黑色像素区域，将所有黑色像素区域的像素点权重值设置为第一权重值；
若检测到视频变换图像和当前基准帧图像均存在平均计算区域，将所有平均计算区域的像素点权重值设置为平均权重值；其中，平均权重值大于第一权重值，且平均权重值小于第二权重值；
根据第一权重值、第二权重值以及平均权重值计算得到视频变换图像权重值以及基准帧权重值。
在其中一个实施例中，根据初始视频帧确定当前基准帧，包括：
当检测到初始视频帧只有一帧图像时，将初始视频帧确定为当前基准帧；
当检测到初始视频帧有至少两帧图像时，从初始视频帧中根据初始视频帧的像素值确定目标视频帧，将目标视频帧确定为当前基准帧。
在其中一个实施例中，初始视频帧有至少两帧；从初始视频帧中根据初始视频帧的像素值确定目标视频帧，将目标视频帧确定为当前基准帧，包括：
根据初始视频帧中的像素值计算初始视频帧对应的梯度图，根据梯度像素值计算对应于初始视频帧的候选图像方差值，从候选图像方差值中选择数值最大的目标图像方差值，其中，梯度图由梯度像素值组成；
根据目标图像方差值选择出初始视频帧中对应的目标视频帧，将目标视频帧确定为当前基准帧。
第二方面，本申请还提供了一种图像抓拍防抖装置。所述装置包括：
获取模块，用于获取初始视频帧，根据初始视频帧确定当前基准帧；
计算模块，用于获取至少一帧当前视频帧，将当前视频帧与当前基准帧进行图像配准处理，得到对应于当前视频帧与当前基准帧之间的当前变换矩阵；基于当前变换矩阵，得到对应于当前基准帧的基准变换图像，将基准变换图像与当前基准帧进行融合处理，得到下一个基准帧；
生成模块，用于获取下一帧视频帧，重复以上步骤直至所有视频帧遍历完毕，得到目标基准帧，并根据目标基准帧确定目标抓拍结果。
第三方面，本申请还提供了一种图像抓拍防抖系统。所述系统包括图像采集设备和主控设备：
所述主控设备，连接图像采集设备，用于执行上文中阐述的图像抓拍防抖方法。
第四方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取初始视频帧，根据初始视频帧确定当前基准帧；
获取当前视频帧，将当前视频帧与当前基准帧进行图像配准处理，得到对应于当前视频帧与当前基准帧之间的当前变换矩阵；基于当前变换矩阵，得到对应于当前基准帧的基准变换图像，将基准变换图像与当前基准帧进行融合处理，得到下一个基准帧；
获取下一帧视频帧，重复以上步骤直至所有视频帧遍历完毕，得到目标基准帧，并根据目标基准帧确定目标抓拍结果。
上述图像抓拍防抖的方法、装置、系统和计算机设备，首先获取当前基准帧以及当前视频帧，基于该当前基准帧以及当前视频帧可以得到二者之间的变换矩阵，将该变换矩阵应用至当前基准帧可以得到基准变换图像，将基准变换图像与当前基准帧进行融合处理，得到下一个基准帧，再获取下一个视频帧，重复以上步骤直至所述视频帧遍历完毕，得到目标抓拍结果。本申请可以将多帧图像融合以有效地避免在进行人工拍摄时出现的结果不清楚的问题，拍摄时可以将画面聚焦在抓拍的关键部位，进一步地，将多帧视频帧融合也可以大大增加拍摄范围。
附图说明
图1为一个实施例中图像抓拍防抖方法的应用环境图；
图2为一个实施例中图像抓拍防抖方法的流程示意图；
图3为另一个实施例中图像抓拍防抖方法的流程示意图；
图4为一个优选实施例中图像抓拍防抖方法的流程示意图；
图5为一个实施例中图像抓拍防抖装置的结构框图；
图6为一个实施例中图像抓拍防抖系统的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像抓拍防抖方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。先获取当前基准帧以及当前视频帧，对当前视频帧以及当前基准帧之间进行图像配准处理，得到变换矩阵；而后将该变换矩阵应用至当前视频帧中，得到视频变换图像，将视频变换图像与当前基准帧进行融合处理，得到下一个基准帧；最后重复以上步骤，直至所有视频帧遍历完毕，得到目标基准帧，并输出目标抓拍结果。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种图像抓拍防抖方法，本实施例中，以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。图2是根据本申请实施例的图像抓拍防抖方法的流程图，包括以下步骤：
步骤S202，获取初始视频帧，根据初始视频帧确定当前基准帧。
其中，在获取初始视频帧时可以获取多帧也可以获取一帧，在只获取到一帧初始视频帧时，将该初始视频帧直接确定为当前基准帧；在获取到多帧初始视频帧时，可以根据多帧初始视频帧的图像清晰度来确定当前基准帧，进一步地，对于初始视频帧的获取可以在进入预设的抓拍模式之后，即在接收到进入抓拍模式的指令后，根据用户设置的模式来获取多帧或一帧初始视频帧。
步骤S204，获取当前视频帧，将当前视频帧与当前基准帧进行图像配准处理，得到对应于当前视频帧与当前基准帧之间的当前变换矩阵；基于当前变换矩阵，得到对应于当前视频帧的视频变换图像，将视频变换图像与当前基准帧进行融合处理，得到下一个基准帧。
其中，根据当前视频帧与当前基准帧计算二者之间的变换矩阵，该变换矩阵用于后续对于当前视频帧的图像变换，也可以用于筛选当前视频帧的图像质量，该变换矩阵可以为单应性变换矩阵。该视频变换图像为将变换矩阵应用至当前视频帧的结果，将视频变换图像与当前基准帧进行融合处理，得到下一个基准帧，其中，该融合处理可以为将两个图像的像素进行加权融合，也可以为基于极值的融合处理方式或基于变换域的图像融合方法等其他的融合处理方法，其中，基于极值的融合处理方式可以为在两帧图像中选择相应的部分，选择该部分的像素值大的（或小的）像素值作为融合后该部分的像素值。基于变换域的图像融合方法则一般为将两帧视频帧分解为高频子带和低频子带，并根据实际需求对其进行处理后融合，融合方式一般有小波变换、NSST（Non-subsampled Shearlet Transform，NSST非下采样剪切波变换）等。
步骤S206，获取下一帧视频帧，重复以上步骤直至所有视频帧遍历完毕，得到目标基准帧，并根据目标基准帧确定目标抓拍结果。
其中，得到下一个基准帧后再获取下一帧视频帧，再基于下一个基准帧和下一个视频帧进行图像配准处理并得到下一个变换矩阵，根据下一个变换矩阵得到下一个视频帧的下一个视频变换图像，将下一个视频变换图像与下一个基准帧进行融合处理，得到再下一个基准帧，重复上述步骤，直至获取到的所有视频帧全部遍历完毕，得到目标基准帧，并根据目标基准帧确定目标抓拍结果，进一步地，上述所有视频帧包括至少有两帧，至少包括当前视频帧和下一帧视频帧，在实际应用时，一秒钟的时间可以获得三十帧视频帧或六十帧视频帧，该数量可以根据用户的实际需要进行调整。
通过步骤S202至步骤S206，基于当前视频帧以及当前基准帧获取当前变换矩阵，并将该当前变换矩阵应用于当前视频帧得到视频变换图像，将视频变换图像与当前基准帧进行融合处理，得到下一个基准帧，直至所有视频帧遍历完毕，得到目标抓拍结果。通过将多帧图像进行融合以及变换，经过了多帧图像配准处理，不仅可以得到更清晰的图像抓拍结果，也可以获得拍摄范围更大的结果，进一步地，本申请中的图像抓拍防抖方法，无需借助额外的硬件设备，只使用图像算法达到对关键部位进行抓怕防抖的效果。
在一个实施例中，提供了一种图像抓拍防抖方法，图3为本申请另一种图像抓拍防抖方法的流程图，如图所示，该流程包括以下步骤：
步骤S304，获取预设的变换阈值；
基于当前变换矩阵计算当前基准帧与基准变换图像的位姿变换关系；
若检测到位姿变换关系大于变换阈值，则删除当前变换矩阵以及对应于当前变换矩阵的当前视频帧，并计算下一个视频帧与当前基准帧之间的下一个变换矩阵，重复以上步骤，直至得到下一个基准帧；
若检测到位姿变换关系小于或等于变换阈值，则保留当前变换矩阵以及对应于当前变换矩阵的当前视频帧，基于当前变换矩阵，得到对应于当前视频帧的视频变换图像，将视频变换图像与当前基准帧进行融合处理，得到下一个基准帧。
具体地，该当前变换矩阵可以为单应性变换矩阵，该单应性变换矩阵是一个3×3的矩阵Hi，该矩阵形式如下：
其中，A2×2代表仿射变换参数，T2×1代表平移变换参数，VT代表边缘的投影关系，s是与VT相关的缩放因子，由于考虑到在将单应性变换矩阵应用至当前视频帧时得到的视频变换图像，相较于当前视频帧角度变换、尺寸缩放关系以及平移距离等变化较小，因此可以由用户根据实际情况设置上述变换阈值θangle以及θT，且设置该单应性变换矩阵应用到原图以后的结果图的旋转角度变化为anglediff，位移变化为TXdiff以及TYdiff，根据旋转角度变化结果以及位移变化结果对单应性变换矩阵进行校验，对超出变换阈值θangle以及θT的单应性变换矩阵对应的当前视频帧进行剔除，其中角度变换为对Hi矩阵的前两行前两列进行正交化后计算反正切值：
位移变化为：
综上，通过将视频变换图像与当前视频帧进行比较，将比较结果与预设的变换阈值进行比较，若变换结果超出变换阈值的当前变换矩阵，删除该变换矩阵以及与当前变换矩阵对应的当前视频帧，继续验证下一帧视频帧对应的变换矩阵，其中，导致验证不通过即超出变换阈值的情况可能有，下一个视频帧出现抖动，画面模糊、画面出现遮挡等。
进一步的，在对于位姿变换关系验证合格后，将该变换矩阵应用至当前视频帧中：
其中，x1和y1是变换以后的基准变换图像上面的像素，x2和y2为当前视频帧上面的像素点，位姿变换关系包括视频变换图像与当前视频帧之间的尺寸缩放关系、平移变换关系以及角度旋转关系等。
综上可知，通过变换矩阵校验的方法可以快速且准确的完成对于视频帧的验证，防止融合到图像质量较差的视频帧从而导致最后输出的目标抓拍结果画面质量较差。
在一个实施例中，将当前视频帧与当前基准帧进行图像配准处理，得到对应于当前视频帧与当前基准帧之间的当前变换矩阵，包括：
对当前视频帧以及当前基准帧进行特征提取，得到关键点集合，基于关键点集合完成图像配准处理，得到当前变换矩阵。
具体地，分别对当前视频帧以及当前基准帧进行特征提取，得到各自的关键点集合，其中，可以通过训练完备的神经网络来完成图像的特征提取，如VGG16、Alexnet网络来实现特征提取，也可以通过传统算法来实现特征提取，如HOG、FAST等。提取到的特征由多个关键像素点组成，即上述关键点集合，通过关键点集合计算得到这两帧图像之间的变换矩阵，该变换矩阵可以为单应性变换矩阵，完成上述图像配准处理。由此可以看出，将两帧图像之间的变换关系由变换矩阵表达，可以准确地量化仿射变换参数、平移变换参数等重要的变换参数，便于后续通过变换矩阵验证视频帧的图像质量，提升了画面处理速度。
在一个实施例中，将视频变换图像与当前基准帧进行融合处理，得到下一个基准帧，包括：
基于视频变换图像的图像像素值为视频变换图像分配视频变换图像权重值，基于当前基准帧的图像像素值为当前基准帧分配当前基准帧权重值；
根据视频变换图像权重值和当前基准帧权重值，对视频变换图像和当前基准帧进行加权融合处理，得到下一个基准帧。
具体地，将视频变换图像与当前基准帧进行融合处理，以加权融合为例，使用基于内容的加权融合。考虑到本拍照方法可以应用于多个场景中，如日常拍照、医用内窥镜拍摄等，在一些场景中，拍摄完成的画面是圆形或其他形状的，周围有一圈是黑色边框区域，因此通常设定黑边区域的权重值较低，如将黑边区域权重值设置为0，进一步地，如果视频变换图像和当前基准帧之间对应的重合区域都不包括黑色区域，则对该重合区域使用平均权重融合，该权重可以由用户根据实际情况进行设置，可以为0.5、0.8等。将融合后的图像作为新的下一个基准帧，显示下一个基准帧的内容，具体地，两帧图像的加权融合公式为：
其中，Ibase为当前基准帧，Wbase为当前基准帧对应的当前基准帧权重值，
Ti为视频变换图像，Wi为视频变换图像权重值，I’base为下一个基准帧。由此可以看出，通过将多个视频帧加权融合，并在不同情况下设置不同的权重，可以得到更广更清晰的拍摄结果，也可以根据实际情况对权重进行调整，以适应多种不同的应用环境。
在一个实施例中，基于视频变换图像的图像像素值为视频变换图像分配视频变换图像权重值，基于当前基准帧的图像像素值为当前基准帧分配当前基准帧权重值，包括：
若检测到视频变换图像和当前基准帧图像中的一帧图像存在黑色像素区域，且另一帧图像存在平均计算区域，将黑色像素区域的像素点权重值设置为第一权重值，并将平均计算区域的像素点权重值设置为第二权重值；其中，黑色像素区域中的图像像素值小于或等于预设阈值，平均计算区域中的图像像素值大于预设阈值；
若检测到视频变换图像和当前基准帧图像均存在黑色像素区域，将所有黑色像素区域的像素点权重值设置为第一权重值；
若检测到视频变换图像和当前基准帧图像均存在平均计算区域，将所有平均计算区域的像素点权重值设置为平均权重值；其中，平均权重值大于第一权重值，且平均权重值小于第二权重值；
根据第一权重值、第二权重值以及平均权重值计算得到视频变换图像权重值以及基准帧权重值。
具体地，可以将上述权重设置为如下公式：
其中，value为图像的像素值，若任意图像中一部分区域的像素值value≤5则认为此区域是黑色像素区域，在融合时可以忽略此部分，将黑色像素区域的像素点权重值设置为第一权重值，该第一权重值一般可以设置为0。若检测到视频变换图像以及当前基准帧中任一帧图的部分区域的图像像素值小于5，且另一帧图对应部分区域的图像像素值大于5，此时判定该图像像素值小于5的区域部分设置为上述黑色像素区域，将另一帧图对应部分像素值大于5的部分设置为平均计算区域，此时，设置黑色像素区域权值为0，平均计算区域的权值设置为1，即第二权重值，其中，需要说明的是，一张图像中可以包括多个黑色像素区域以及多个平均计算区域，因此，在对两帧图像的像素值进行检测并进行权值设置时，进行权重赋值的黑色像素区域以及平均计算区域在图像中的位置应相互对应。若检测到视频变换图像以及当前基准帧中一部分相对应的区域的图像像素值均大于预设阈值，即判定为该区域为平均计算区域，将该平均计算区域的像素点权重值设置为平均权重值，此时，该平均权重值大于第一权重值且小于第二权重值，如上式可知，可以设置预设阈值为5，可以将视频变换图像和当前基准帧中的上述平均计算区域的权值设置为0.5。由此可以看出，在设置像素点权重值时，可以将两帧图像分离开，分别进行像素点权重值的设置，也可以将两帧图像联立起来，基于不同的情况对两帧图像进行像素点权重值的设置，基于这种方法，考虑到一些黑色区域的特殊情况，可以更好的融合拼接两帧图像，得到更为清晰准确且拍摄范围更大的结果。
在一个实施例中，根据初始视频帧确定当前基准帧，包括：
当检测到初始视频帧只有一帧图像时，将初始视频帧确定为当前基准帧；
当检测到初始视频帧有至少两帧图像时，从初始视频帧中根据初始视频帧的像素值确定目标视频帧，将目标视频帧确定为当前基准帧。
具体地，可以在获取上述目标抓拍结果时设置一种抓拍模式，在获取到开始抓拍指令时进入抓拍模式，此时，可以设置为在获取到开始抓拍指令时获取的第一帧初始视频帧为当前基准帧。也可以在进入抓拍模式后，获取多帧初始视频帧，从多帧初始视频帧中选择其中一帧作为当前基准帧，该选择方法可以为从所有初始视频帧中随机选择一帧图像，或者也可以自动或人工选择图像质量最高的一帧图像。由此可以看出，在获取当前基准帧时可以有多种方法，在实际应用时可以根据实际需要进行选择，不仅可以加快计算速度也可以保证计算的准确性。
在一个实施例中，初始视频帧有至少两帧；从初始视频帧中根据初始视频帧的像素值确定目标视频帧，将目标视频帧确定为当前基准帧，包括：
根据初始视频帧中的像素值计算初始视频帧对应的梯度图，根据梯度像素值计算对应于初始视频帧的候选图像方差值，从候选图像方差值中选择数值最大的目标图像方差值，其中，梯度图由梯度像素值组成；
根据目标图像方差值选择出初始视频帧中对应的目标视频帧，将目标视频帧确定为当前基准帧。
具体地，在获取到多帧初始视频帧时，根据预设的图像优选算法在初始视频帧中获取质量最好的图像，在本实施例中可以为最清晰的图像。图像优选算法可以为通过训练完备的深度神经网络进行计算，输出清晰度最佳的图像，也可以采用传统算法来判别清晰度，在本实施例中以传统算法距离，实际应用中可以根据实际需要对深度学习或传统算法进行选择。采用传统算法来判别图像清晰度时，可以通过全局Laplacian方差值来判别清晰度，首先计算图像的二阶偏导数，用于检测图像的边缘，一个函数的一阶导数在原函数变化大的地方值也会相应变大，这对于图像的边缘也适用，因此可以在图像二阶导数为0的地方得到一个极值，从而获取到图像边缘，图像二阶导计算公式如下：
其中x和y分别代表图像横坐标与纵坐标的方向，为图像的二阶导数。将所有
图像按照上述方法进行计算，得到每帧图像的输出结果，概述出结果即为对应于每帧初始
视频帧的梯度图，从基于梯度图计算对应于初始视频帧的候选图像方差值，此结果可视为
图像的边缘变化剧烈程度，作为图像的清晰度检测结果，方差的计算公式为：
其中x为梯度图的均值，xi为梯度图每个位置的像素值，n为梯度图的像素点个数，选取方差最大的图像即为清晰度最高的图像，作为上述当前基准帧。根据上述方法，可以快速且准确地判断出最适合作为当前基准帧的图像，避免了由于当前基准帧质量较差而导致的最终输出结果质量较低，进一步地，可以根据实际情况选择使用深度学习的方法或传统机器学习的方法来判别图像质量，在保证了目标抓拍结果的质量的同时，也可以提升计算速度。
本实施例还提供了一种图像抓拍防抖方法的具体实施例，如图4所示，图4是一个优选实施例中图像抓拍防抖方法的流程示意图。
首先，预先设置图像的拍摄方式，以抓拍为例，在获取开始抓拍指令后进入抓拍模式，将获取到开始抓拍指令时的图像作为当前基准帧，画面此时显示当前基准帧的图像内容。
其次，在抓拍模式下，读取拍摄到的后续多帧作为视频帧，以获取到视频帧的时间顺序为例，将第一帧视频帧设定为当前视频帧，在抓拍模式下，读取当前视频帧并将其与当前基准帧进行图像配准，对两帧图像进行特征提取操作以得到关键点集合，然后通过关键点集合计算出这两帧之间的变换矩阵Hi，其中，特征提取操作可以为基于深度学习的特征提取，也可以为基于传统机器学习的特征提取，且该变换矩阵Hi可以为单应性变换矩阵，该矩阵用来衡量两帧图像之间的变换关系。而后，对变换矩阵进行校验，以剔除质量较差的视频帧，校验方法为，将该变换矩阵应用至当前视频帧，得到视频变换图像Ti，将该视频变换图像与当前视频帧进行比较，主要可以校验二者之间的旋转角度变化以及位移变化，根据用户预先设定好的变换阈值与旋转角度变化以及位移变化，即上述位姿变换关系，与变换阈值进行比较，若该位姿变换关系超出了变换阈值，则将该变换矩阵对应的当前视频帧剔除，再选择下一帧视频帧进行比较，若该位姿变换关系未超出变换阈值，则保留该当前视频帧以及对应的视频变换图像，根据上述加权的方法将视频变换图像与当前基准帧进行加权融合，该应用环境以医用内窥镜为例，由于考虑到内窥镜拍摄的画面是圆形的，周围一圈是黑色边框区域，因此设定黑边区域的像素点权重值为0，若视频变换图像与当前基准帧对应的重叠位置都不是黑边区域，则使用平均权重融合，将加权融合后的图像作为新的基准帧图像，此时显示新的基准帧图像的内容。
最后，重复以上步骤，直至获取到结束抓拍指令，且遍历完所有视频帧，则结束抓拍模式，保留抓拍模式下拼接融合后的结果画面，即上述目标抓拍结果，此时画面显示该目标抓拍结果的内容。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像抓拍防抖方法的图像抓拍防抖装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像抓拍防抖装置实施例中的具体限定可以参见上文中对于图像抓拍防抖方法的限定，在此不再赘述。
在一个实施例中，如图5所示，提供了一种图像抓拍防抖装置，包括：获取模块51、计算模块52和生成模块53，其中：
获取模块51，用于获取初始视频帧，根据初始视频帧确定当前基准帧；
计算模块52，用于获取至少一帧当前视频帧，将当前视频帧与当前基准帧进行图像配准处理，得到对应于当前视频帧与当前基准帧之间的当前变换矩阵；基于当前变换矩阵，得到对应于当前视频帧的视频变换图像，将视频变换图像与当前基准帧进行融合处理，得到下一个基准帧；
生成模块53，用于获取下一帧视频帧，重复以上步骤直至所有视频帧遍历完毕，得到目标基准帧，并根据目标基准帧确定目标抓拍结果。
具体地，获取模块51获取到一帧或多帧初始视频帧，根据该初始视频帧确定当前基准帧，将该当前基准帧发送至计算模块52。计算模块52获取当前基准帧以及多帧当前视频帧，将按照获取到的时间顺序将当前视频帧与当前基准帧进行图像配准处理，得到当前变换矩阵，该当前变换矩阵用于表示两个图像之间的变换关系，可以为单应性变换矩阵，将该单应性变换矩阵应用至当前视频帧中，得到当前视频帧的视频变换图像，获取模块51再将视频变换图像与当前基准帧进行融合处理，得到下一个基准帧。获取模块51将下一个基准帧发送至生成模块53，生成模块53重复以上步骤直至所有视频帧遍历完毕，得到目标基准帧，并根据目标基准帧确定目标抓拍结果。
通过上述图像抓拍防抖装置，一方面，相对于使用硬件设备进行光学防抖方法来说，本申请所使用的方法能够不改变拍摄设备原有的结构设计而实现图像更为清晰、拍摄范围更广的关键部位抓拍、拍摄；另一方面，相对于需要根据当前环境来进行位移补偿的方法来说，本申请使用的基于图像配准的融合的方法防抖效果更好、清晰度更高，进一步地，根据后续的视频帧能够对当前视野内容进行扩展与融合，也使得拍摄到的画面范围更广，清晰度更高。
在一个实施例中，图像抓拍防抖系统，该图像抓拍防抖系统结构框图如图6所示，该系统由图像采集设备61和主控设备62组成，其中具体的，
主控设备62，连接图像采集设备61，用于执行上文中所述的图像抓拍防抖方法。
具体地，主控设备62与图像采集设备61连接，该连接方法可以为有线连接，也可以为蓝牙无线连接，进一步地，该主控设备62也可以集成在图像采集设备61上，图像采集设备61获取到一帧或多帧初始视频帧，根据初始视频帧确定当前基准帧，进一步地，获取当前视频帧，将当前视频帧与当前基准帧之间进行图像配准处理，得到对应于当前视频帧以及当前基准帧之间的当前变换矩阵，基于该当前变换矩阵，得到对应于当前视频帧的视频变换图像，将视频变换图像与当前基准帧进行融合处理，得到下一个基准帧，再获取下一帧视频帧，重复以上步骤直至所有视频帧遍历完毕，得到目标基准帧，根据该目标基准帧确定目标抓拍结果。其中，上述主控设备62可以为服务器、计算机、主控芯片或其他用于控制上述图像抓拍防抖流程的硬件设备。进一步地，该主控设备62可以包括通过系统总线连接的处理器、存储器和网络接口。其中，该主控设备62的处理器用于提供计算和控制能力。该主控设备62的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该主控设备62的数据库用于存储图像抓拍防抖方法的数据。该主控设备62的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像抓拍防抖方法。在一些实施例中，该主控设备62可以通过传输设备与图像采集设备61进行通信连接，在另一些实施例中，该主控设备62也可以直接集成在该图像采集设备61上。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种干扰信号消减方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像抓拍防抖方法，其特征在于，所述方法包括：
获取初始视频帧，根据所述初始视频帧确定当前基准帧；
获取当前视频帧，将所述当前视频帧与所述当前基准帧进行图像配准处理，得到对应于所述当前视频帧与所述当前基准帧之间的当前变换矩阵；基于所述当前变换矩阵，得到对应于所述当前视频帧的视频变换图像，将所述视频变换图像与所述当前基准帧进行融合处理，得到下一个基准帧；
获取下一帧视频帧，重复以上步骤直至所有视频帧遍历完毕，得到目标基准帧，并根据所述目标基准帧确定目标抓拍结果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述当前变换矩阵，得到对应于所述当前视频帧的视频变换图像，将所述视频变换图像与所述当前基准帧进行融合处理，得到下一个基准帧，包括：
获取预设的变换阈值；
基于所述当前变换矩阵计算所述当前视频帧与所述视频变换图像的位姿变换关系；
若检测到所述位姿变换关系大于所述变换阈值，则删除所述当前变换矩阵以及对应于所述当前变换矩阵的所述当前视频帧，并计算下一个视频帧与所述当前基准帧之间的下一个变换矩阵，重复以上步骤，直至得到所述下一个基准帧；
若检测到所述位姿变换关系小于或等于所述变换阈值，则保留所述当前变换矩阵以及对应于所述当前变换矩阵的所述当前视频帧，基于所述当前变换矩阵，得到对应于所述当前视频帧的所述视频变换图像，将所述视频变换图像与所述当前基准帧进行融合处理，得到所述下一个基准帧。
3.根据权利要求1所述的方法，其特征在于，所述将所述当前视频帧与所述当前基准帧进行图像配准处理，得到对应于所述当前视频帧与所述当前基准帧之间的当前变换矩阵，包括：
对所述当前视频帧以及所述当前基准帧进行特征提取，得到关键点集合，基于所述关键点集合完成所述图像配准处理，得到所述当前变换矩阵。
4.根据权利要求1所述的方法，其特征在于，所述将所述视频变换图像与所述当前基准帧进行融合处理，得到下一个基准帧，包括：
基于所述视频变换图像的图像像素值为所述视频变换图像分配视频变换图像权重值，基于所述当前基准帧的图像像素值为所述当前基准帧分配当前基准帧权重值；
根据所述视频变换图像权重值和所述当前基准帧权重值，对所述视频变换图像和所述当前基准帧进行加权融合处理，得到所述下一个基准帧。
5.根据权利要求4所述的方法，其特征在于，所述基于所述视频变换图像的图像像素值为所述视频变换图像分配视频变换图像权重值，基于所述当前基准帧的图像像素值为所述当前基准帧分配当前基准帧权重值，包括：
若检测到所述视频变换图像和所述当前基准帧图像中的一帧图像存在黑色像素区域，且另一帧图像存在平均计算区域，将所述黑色像素区域的像素点权重值设置为第一权重值，并将所述平均计算区域的像素点权重值设置为第二权重值；其中，所述黑色像素区域中的所述图像像素值小于或等于预设阈值，所述平均计算区域中的所述图像像素值大于所述预设阈值；
若检测到所述视频变换图像和所述当前基准帧图像均存在所述黑色像素区域，将所有所述黑色像素区域的像素点权重值设置为第一权重值；
若检测到所述视频变换图像和所述当前基准帧图像均存在所述平均计算区域，将所有所述平均计算区域的像素点权重值设置为平均权重值；其中，所述平均权重值大于所述第一权重值，且所述平均权重值小于所述第二权重值；
根据所述第一权重值、所述第二权重值以及所述平均权重值计算得到所述视频变换图像权重值以及所述基准帧权重值。
6.根据权利要求1所述的方法，其特征在于，根据所述初始视频帧确定当前基准帧，包括：
当检测到所述初始视频帧只有一帧图像时，将所述初始视频帧确定为所述当前基准帧；
当检测到所述初始视频帧有至少两帧图像时，从所述初始视频帧中根据所述初始视频帧的像素值确定目标视频帧，将所述目标视频帧确定为所述当前基准帧。
7.根据权利要求6所述的方法，其特征在于，所述初始视频帧有至少两帧；所述从所述初始视频帧中根据所述初始视频帧的像素值确定目标视频帧，将所述目标视频帧确定为所述当前基准帧，包括：
根据所述初始视频帧中的像素值计算所述初始视频帧对应的梯度图，根据梯度像素值计算对应于所述初始视频帧的候选图像方差值，从所述候选图像方差值中选择数值最大的目标图像方差值，其中，所述梯度图由所述梯度像素值组成；
根据所述目标图像方差值选择出所述初始视频帧中对应的所述目标视频帧，将所述目标视频帧确定为所述当前基准帧。
8.一种图像抓拍防抖装置，其特征在于，所述装置包括：
获取模块，用于获取初始视频帧，根据所述初始视频帧确定当前基准帧；
计算模块，用于获取至少一帧当前视频帧，将所述当前视频帧与所述当前基准帧进行图像配准处理，得到对应于所述当前视频帧与所述当前基准帧之间的当前变换矩阵；基于所述当前变换矩阵，得到对应于所述当前视频帧的视频变换图像，将所述视频变换图像与所述当前基准帧进行融合处理，得到下一个基准帧；
生成模块，用于获取下一帧视频帧，重复以上步骤直至所有视频帧遍历完毕，得到目标基准帧，并根据所述目标基准帧确定目标抓拍结果。
9.一种图像抓拍防抖系统，其特征在于，所述系统包括图像采集设备和主控设备；
所述主控设备，连接所述图像采集设备，用于执行如权利要求1至权利要求7任一项所述的图像抓拍防抖方法。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310754586.XA CN116506732B (zh) | 2023-06-26 | 2023-06-26 | 一种图像抓拍防抖的方法、装置、系统和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310754586.XA CN116506732B (zh) | 2023-06-26 | 2023-06-26 | 一种图像抓拍防抖的方法、装置、系统和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116506732A true CN116506732A (zh) | 2023-07-28 |
| CN116506732B CN116506732B (zh) | 2023-12-05 |
Family
ID=87316911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310754586.XA Active CN116506732B (zh) | 2023-06-26 | 2023-06-26 | 一种图像抓拍防抖的方法、装置、系统和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116506732B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004135085A (ja) * | 2002-10-10 | 2004-04-30 | Ricoh Co Ltd | 画像入力装置、画像入力システム、画像入力方法及び画像入力プログラム |
| JP2006115346A (ja) * | 2004-10-15 | 2006-04-27 | Olympus Corp | 撮像装置および手ぶれ補正方法 |
| JP2012235255A (ja) * | 2011-04-28 | 2012-11-29 | Casio Comput Co Ltd | 画像処理装置及びプログラム |
| US20140132786A1 (en) * | 2012-11-12 | 2014-05-15 | Behavioral Recognition Systems, Inc. | Image stabilization techniques for video surveillance systems |
| CN109974693A (zh) * | 2019-01-31 | 2019-07-05 | 中国科学院深圳先进技术研究院 | 无人机定位方法、装置、计算机设备及存储介质 |
| CN110602393A (zh) * | 2019-09-04 | 2019-12-20 | 南京博润智能科技有限公司 | 一种基于图像内容理解的视频防抖方法 |
| WO2021102893A1 (zh) * | 2019-11-29 | 2021-06-03 | Oppo广东移动通信有限公司 | 视频防抖优化处理方法和装置、电子设备 |
| WO2021106499A1 (ja) * | 2019-11-29 | 2021-06-03 | 株式会社朋栄 | ローリングシャッター映像の安定化及びモーションブラー除去処理方法とその装置 |
| US20220058775A1 (en) * | 2019-12-09 | 2022-02-24 | Tencent Technology (Shenzhen) Company Limited | Video denoising method and apparatus, and storage medium |
| WO2022214037A1 (zh) * | 2021-04-08 | 2022-10-13 | 北京字跳网络技术有限公司 | 视频防抖处理方法、装置、电子设备和存储介质 |
| WO2022267565A1 (zh) * | 2021-06-25 | 2022-12-29 | 荣耀终端有限公司 | 视频拍摄方法、电子设备及计算机可读存储介质 |
| US20230036081A1 (en) * | 2021-07-22 | 2023-02-02 | Black Sesame Technologies Inc. | Anti-shake image processing method, apparatus, electronic device and storage medium |
-
2023
- 2023-06-26 CN CN202310754586.XA patent/CN116506732B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004135085A (ja) * | 2002-10-10 | 2004-04-30 | Ricoh Co Ltd | 画像入力装置、画像入力システム、画像入力方法及び画像入力プログラム |
| JP2006115346A (ja) * | 2004-10-15 | 2006-04-27 | Olympus Corp | 撮像装置および手ぶれ補正方法 |
| JP2012235255A (ja) * | 2011-04-28 | 2012-11-29 | Casio Comput Co Ltd | 画像処理装置及びプログラム |
| US20140132786A1 (en) * | 2012-11-12 | 2014-05-15 | Behavioral Recognition Systems, Inc. | Image stabilization techniques for video surveillance systems |
| CN109974693A (zh) * | 2019-01-31 | 2019-07-05 | 中国科学院深圳先进技术研究院 | 无人机定位方法、装置、计算机设备及存储介质 |
| CN110602393A (zh) * | 2019-09-04 | 2019-12-20 | 南京博润智能科技有限公司 | 一种基于图像内容理解的视频防抖方法 |
| WO2021102893A1 (zh) * | 2019-11-29 | 2021-06-03 | Oppo广东移动通信有限公司 | 视频防抖优化处理方法和装置、电子设备 |
| WO2021106499A1 (ja) * | 2019-11-29 | 2021-06-03 | 株式会社朋栄 | ローリングシャッター映像の安定化及びモーションブラー除去処理方法とその装置 |
| US20220058775A1 (en) * | 2019-12-09 | 2022-02-24 | Tencent Technology (Shenzhen) Company Limited | Video denoising method and apparatus, and storage medium |
| WO2022214037A1 (zh) * | 2021-04-08 | 2022-10-13 | 北京字跳网络技术有限公司 | 视频防抖处理方法、装置、电子设备和存储介质 |
| WO2022267565A1 (zh) * | 2021-06-25 | 2022-12-29 | 荣耀终端有限公司 | 视频拍摄方法、电子设备及计算机可读存储介质 |
| US20230036081A1 (en) * | 2021-07-22 | 2023-02-02 | Black Sesame Technologies Inc. | Anti-shake image processing method, apparatus, electronic device and storage medium |
Non-Patent Citations (2)
| Title |
|---|
| YAN WUXIA, ET AL.: "Fast and low complexity image stitching method on mobile phones", 《2015 INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND INFORMATION SCIENCES (ICCAIS)》 * |
| 马忠雪;穆平安;戴曙光;: "基于特征点匹配的视频稳定算法", 包装工程, no. 21 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116506732B (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113454981B (zh) | 用于基于卷积神经网络的多个图像帧的多曝光融合及用于对多个图像帧去模糊的技术 | |
| JP6411505B2 (ja) | 全焦点画像を生成するための方法および装置 | |
| KR101699919B1 (ko) | 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법 | |
| KR101662846B1 (ko) | 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법 | |
| WO2018176925A1 (zh) | Hdr图像的生成方法及装置 | |
| CN111311523B (zh) | 图像处理方法、装置、系统和电子设备 | |
| CN108234858B (zh) | 图像虚化处理方法、装置、存储介质及电子设备 | |
| JP2020529086A (ja) | プレビュー写真をぼかすための方法および装置ならびにストレージ媒体 | |
| WO2015184208A1 (en) | Constant bracketing for high dynamic range operations (chdr) | |
| CN110062157B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
| CN111080571A (zh) | 摄像头遮挡状态检测方法、装置、终端和存储介质 | |
| WO2016097468A1 (en) | Method, apparatus and computer program product for blur estimation | |
| CN116612015A (zh) | 模型训练方法、图像去摩尔纹方法、装置及电子设备 | |
| CN113159229B (zh) | 图像融合方法、电子设备及相关产品 | |
| CN110047126B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
| CN116506732B (zh) | 一种图像抓拍防抖的方法、装置、系统和计算机设备 | |
| CN110766631A (zh) | 人脸图像的修饰方法、装置、电子设备和计算机可读介质 | |
| CN114782280A (zh) | 图像处理方法和装置 | |
| CN112561787B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114640815A (zh) | 一种视频的处理方法、装置、电子设备及存储介质 | |
| CN111340736B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110097622B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
| Van Vo et al. | High dynamic range video synthesis using superpixel-based illuminance-invariant motion estimation | |
| CN113592753A (zh) | 基于工业相机拍摄的图像的处理方法、装置和计算机设备 | |
| CN111754417A (zh) | 视频图像的降噪方法、视频抠像方法、装置和电子系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |