CN113596315A - 动态场景补偿的拍照方法及摄像装置 - Google Patents

动态场景补偿的拍照方法及摄像装置 Download PDF

Info

Publication number
CN113596315A
CN113596315A CN202010368088.8A CN202010368088A CN113596315A CN 113596315 A CN113596315 A CN 113596315A CN 202010368088 A CN202010368088 A CN 202010368088A CN 113596315 A CN113596315 A CN 113596315A
Authority
CN
China
Prior art keywords
picture
pictures
target
preview
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010368088.8A
Other languages
English (en)
Inventor
张玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongfujin Precision Electronics Zhengzhou Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Hongfujin Precision Electronics Zhengzhou Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongfujin Precision Electronics Zhengzhou Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Hongfujin Precision Electronics Zhengzhou Co Ltd
Priority to CN202010368088.8A priority Critical patent/CN113596315A/zh
Priority to TW109118376A priority patent/TWI819219B/zh
Priority to US17/034,280 priority patent/US11363207B2/en
Publication of CN113596315A publication Critical patent/CN113596315A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本发明涉及一种动态场景补偿的拍照方法及摄像装置。本发明中当确定预览图片中的目标物体为动态物体时存储预设数量的预览图片作为第一图片，及存储在接收到拍摄指令后所述摄像头拍摄的第二图片；对所述第一图片和所述第二图片进行分区采样对比，并计算判断所述第二图片是否存在模糊区域范围；当所述第二图片存在模糊区域范围时对多个第一图片进行分区采样，并确定出每一所述第一图片中与所述第二图片的模糊区域范围相对应的特征信息；将多个所述第一图片中与所述模糊区域范围相似性最高的特征信息作为目标特征信息，并将所述目标特征信息与所述第二图片相融合生成所述目标图片。本发明能够提高动态场景的图片的清晰度。

Description

动态场景补偿的拍照方法及摄像装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种动态场景补偿的拍照方法及摄像装置。
背景技术
传统相机在工作时，会完成对焦后进行拍照，以便得到清晰的照片。在最佳对焦位置时拍摄的图片一般比较清晰。然而，当拍摄动态场景的图片时，由于动态场景缺少细节，导致拍摄出的图片模糊。而在相机拍摄时，通常会先进行预览，预览模式下会临时保存预览图像，图像预览时帧频一般为30帧/秒或60帧/秒，因此预览图像中的运动物体通常比较清晰，用户可通过预览模式观察到动态物体的运动状态，并进行拍摄，但为了减少内存，预览图像最终不会被储存在相机内，然而临时保存的预览图像却记录了动态物体的运动轨迹和运动物体的细节。
发明内容
鉴于以上内容，有必要提供一种动态场景补偿的拍照方法及摄像装置以提高动态场景的图片的清晰度。
本发明一方面提供一种动态场景补偿的拍照方法，所述方法包括：
开启摄像头并打开预览模式；
获取在所述预览模式下的多个预览图片；
通过预览分析单元识别所述多个预览图片中的目标物体，并判断所述目标物体是否为动态物体；
当确定所述目标物体为动态物体时存储预设数量的预览图片作为第一图片，及存储在接收到拍摄指令后所述摄像头拍摄的第二图片；
对所述第一图片和所述第二图片进行分区采样对比，并计算判断所述第二图片是否存在模糊区域范围；
当所述第二图片存在模糊区域范围时，对多个所述第一图片进行分区采样，并确定出每一所述第一图片中与所述第二图片的模糊区域范围相对应的特征信息；
将多个所述第一图片中与所述模糊区域范围相似性最高的特征信息作为目标特征信息，并将所述目标特征信息与所述第二图片相融合生成所述目标图片；及
输出所述目标图片。
优选地，所述动态场景补偿的拍照方法还包括：
当所述第二图片不存在模糊区域范围时，输出所述第二图片。
优选地，所述判断所述目标物体是否为动态物体包括：
分析出所述目标物体在多个所述预览图片中的位置，并根据所述目标物体在多个所述预览图片中的位置判断所述目标物体的是否为动态物体，其中，当所述目标物体在多个所述预览图片中的位置发生变化时确定所述目标物体为动态物体，或当所述目标物体在多个所述预览图片中的位置没有发生变化时确定所述目标物体为静态物体。
优选地，所述对多个所述第一图片进行分区采样并确定出每一所述第一图片中与所述第二图片的模糊区域范围相对应的特征信息包括：
将多个所述第一图片分别与所述第二图片进行分区采样对比，以确定每一所述第一图片中与所述第二图片的模糊区域范围相对应的目标位置区域；及
对每一所述第一图片的目标位置区域进行特征点提取及特征描述得到特征信息。
优选地，所述对每一所述第一图片的目标位置区域进行特征点提取及特征描述得到特征信息包括：
采用ORB快速特征点提取和描述算法对每一所述第一图片的目标位置区域进行特征点提取得到所述特征信息。
优选地，所述采用ORB快速特征点提取和描述算法对每一所述第一图片的目标位置区域进行特征点提取得到所述特征信息包括：
以每一所述第一图片的目标位置区域中任意一点作为目标点，以所述目标点为圆心画一个圆构成特征点圆周，从所述特征点圆周中筛选出特征点；
采用ID3算法训练一个决策树，根据所述决策树从所述特征点中筛选出最优的FAST特征点；
采用非极大值抑制算法去除所述FAST特征点临近位置处的多个特征点；
设置一个比例因子scaleFactor及图像金字塔的层数nlevels，将每一所述第一图片按比例因子scaleFactor缩小成nlevels幅图片，从nlevels幅不同比例的图片中提取特征点总和作为每一所述第一图片的oFAST特征点；及
通过对所述oFAST特征点描述获得特征点的变化细节，并获取所述oFAST特征点灰度值最大的位置，并对所述位置利用边缘锐利度和清晰度计算得到所述特征点的特征信息。
优选地，所述将所述目标特征信息与所述第二图片相融合生成所述目标图片包括：
通过拉普拉斯图像融合算法将所述目标特征信息与所述第二图片相融合生成所述目标图片。
本发明另一方面一种摄像装置，包括摄像头、预览分析单元、图像优化处理单元及处理器，所述处理器分别与所述摄像头、预览分析单元、图像优化处理单元连接，所述处理器用于：
开启所述摄像头并打开预览模式；
获取在所述预览模式下的多个预览图片；
通过所述预览分析单元识别所述预览图片中的目标物体，并判断所述目标物体是否为动态物体；
当确定所述目标物体为动态物体时存储预设数量的预览图片作为第一图片，及存储在接收到拍摄指令后所述摄像头拍摄的第二图片；
通过图像优化处理单元对所述第一图片和所述第二图片进行分区采样对比，并利用边缘锐利度和清晰度计算判断所述第二图片是否存在模糊区域范围；
当所述第二图片存在模糊区域范围时，对多个所述第一图片进行分区采样，并确定出每一所述第一图片中与所述第二图片的模糊区域范围相对应的特征信息；
将多个所述第一图片中与所述模糊区域范围相似性最高的特征信息作为目标特征信息，并将所述目标特征信息与所述第二图片相融合生成所述目标图片；及
输出所述目标图片。
优选地，所述处理器还用于：
分析出所述目标物体在多个所述预览图片中的位置，并根据所述目标物体在多个所述预览图片中的位置判断所述目标物体的是否为动态物体，其中，当所述目标物体在多个所述预览图片中的位置发生变化时确定所述目标物体为动态物体，或当所述目标物体在多个所述预览图片中的位置没有发生变化时确定所述目标物体为静态物体。
优选地，所述处理器还用于：
将多个所述第一图片分别与所述第二图片进行分区采样对比，以确定每一所述第一图片中与所述第二图片的模糊区域范围相对应的目标位置区域；及
采用目标追踪算法对每一所述第一图片的目标位置区域进行特征点提取及特征描述得到特征信息。
本发明能够判断摄像装置预览模式下的预览图片是否存在动态物体，并在确定预览图片中存在动态物体时识别摄像装置拍摄的拍摄图片的模糊区域，并确定出预览图片中与所述模糊区域的位置相对应的特征图片及将所述特征图片与所述拍摄图片相融合生成目标图片，从而实现拍摄图片的动态场景的补偿。
附图说明
图1为本发明一实施方式中动态场景补偿的拍照方法的应用环境图。
图2为本发明一实施方式中摄像装置的功能模块图。
图3为本发明一实施方式中动态场景补偿的拍照系统的功能模块图。
图4为本发明一实施方式中动态场景补偿的拍照方法的流程图。
主要元件符号说明
Figure BDA0002477198570000051
Figure BDA0002477198570000061
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
请参考图1，所示为本发明一实施方式中动态场景补偿的拍照方法的应用环境图。所述动态场景补偿的拍照方法应用在摄像装置1中。所述摄像装置1包括动态场景补偿的拍照系统100。所述动态场景补偿的拍照系统100用于判断摄像装置1预览模式下的预览图片是否存在动态物体，并在确定预览图片中存在动态物体时识别摄像装置1拍摄的拍摄图片的模糊区域，并确定出预览图片中与所述模糊区域的位置相对应的特征图片，及将所述特征图片与所述拍摄图片相融合生成目标图片，从而实现拍摄图片的动态场景的补偿。本实施方式中，所述摄像装置1可以为摄像机或照相机等具有摄像功能的设备。
请参考图2，所示为本发明一实施方式中摄像装置1的功能模块图。所述摄像装置1包括摄像头11、快门按钮12、预览分析单元13、图像优化处理单元14、处理器15及存储器16。所述处理器15分别与摄像头11、快门按钮12、预览分析单元13、图像优化处理单元14及存储器16连接。本实施方式中，所述摄像头11用于拍摄图片，例如，所述摄像头11可以拍摄目标物体在动态场景下的图片。所述快门按钮12用于在触发时控制所述摄像头11拍照。所述预览分析单元13用于获取所述摄像头11在预览模式下的多个预览图片，识别所述预览图片中的目标物体，并判断所述目标物体是否为动态物体。所述图像优化处理单元14用于在确定预览图片中存在动态物体时识别所述摄像装置1拍摄的图片的模糊区域，并确定出预览图片中与所述模糊区域的位置相对应的特征图片，及将所述特征图片与所述拍摄图片相融合生成目标图片。在一实施方式中，所述预览分析单元13及所述图像优化处理单元14内嵌在所述处理器15中。
本实施方式中，所述存储器16用于存储所述摄像装置1的程序代码及数据资料。例如，所述存储器16存储图片信息。本实施方式中，所述存储器16可以为所述摄像装置1的内部存储单元，例如所述摄像装置1的硬盘或内存。在另一实施方式中，所述存储器16也可以为所述摄像装置1的外部存储设备，例如所述摄像装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施方式中，所述处理器15可以为一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片。所述处理器15用于执行软件程序代码或运算数据。
请参考图3，所示为本发明一实施方式中动态场景补偿的拍照系统100的功能模块图。本实施方式中，所述动态场景补偿的拍照系统100包括一个或多个模块，所述一个或者多个模块被存储于所述存储器16中，并被所述处理器15所执行。在另一实施方式中，所述动态场景补偿的拍照系统100为内嵌在所述摄像装置1中的程序段或代码。
本实施方式中，所述动态场景补偿的拍照系统100包括开启模块101、获取模块102、识别模块103、存储模块104、图像优化处理模块105、图像融合模块106及图像输出模块107。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述软件在所述动态场景补偿的拍照系统100中的执行过程。
所述开启模块101开启所述摄像头11并打开预览模式。
本实施方式中，所述开启模块101开启所述摄像装置1的摄像头11并打开预览模式后，所述摄像装置1产生预览图片，其中所述预览图片可以用于对所述摄像头11拍摄的图片进行细节补偿。
所述获取模块102获取在所述预览模式下的多个预览图片。
所述识别模块103通过所述预览分析单元13识别所述预览图片中的目标物体，并判断所述目标物体是否为动态物体。
本实施方式中，所述识别模块103通过所述预览分析单元13分析出目标物体在多个所述预览图片中的运动轨迹判断所述目标物体是否为动态物体。具体的，所述识别模块103分析出所述目标物体在多个所述预览图片中的位置，并根据所述目标物体在多个所述预览图片中的位置判断所述目标物体的是否为动态物体。其中，当所述目标物体在多个所述预览图片中的位置发生变化时确定所述目标物体为动态物体，当所述目标物体在多个所述预览图片中的位置没有发生变化时确定所述目标物体为静态物体。
所述存储模块104用于当确定出所述目标物体为动态物体时存储预设数量的预览图片作为第一图片，及存储在接收到拍摄指令时所述摄像头11拍摄的第二图片。
本实施方式中，所述预设数量的预览图片为最接近所述第二图片拍摄时刻的预设数量的预览图片，所述存储模块104还用于对所述预设数量的预览图片按照距离所述摄像头11拍照得到所述第二图片的时间从大到小进行排序得到所述第一图片。从而得到动态物体拍摄前的运动轨迹和运动细节。本实施方式中，所述预设数量的值为10。
本实施方式中，所述快门按钮12在触发时所述摄像装置1生成拍摄指令，所述摄像装置1根据所述拍摄指令通过所述摄像头11拍摄得到所述第二图片，所述存储模块104存储所述第二图片。
所述图像优化处理模块105通过所述图像优化处理单元14对所述第一图片和所述第二图片进行分区采样对比，并利用边缘锐利度和清晰度计算判断所述第二图片是否存在模糊区域范围。本实施方式中，所述第一图片为距离所述第二图片时间最小的第一图片。本实施方式中，所述图像优化处理模块105将所述第一图片与所述第二图片进行分区采样对比，以确定所述第一图片与所述第二图片的动态物体的位置区域，并利用边缘锐利度和清晰度计算判断所述第一图片和所述第二图片的动态物体图像的清晰度是否相同，当所述第一图片和所述第二图片的动态物体图像的清晰度不同时，判断所述第二图片存在模糊区域范围。
当所述第二图片存在模糊区域范围时，所述图像优化处理模块105对多个所述第一图片进行分区采样，并确定出每一所述第一图片中与所述第二图片的模糊区域范围相对应的特征信息。
在具体实施方式中，当所述第二图片存在模糊区域范围时，所述图像优化处理模块105将多个所述第一图片分别与所述第二图片进行分区采样对比，以确定每一所述第一图片中与所述第二图片的模糊区域范围相对应的目标物体位置区域；采用目标追踪算法对每一所述第一图片的目标位置区域进行特征点提取及特征描述得到特征信息。
本实施方式中，所述特征点为视觉特征，其中所述视觉特征包括图像边缘、轮廓、形状、纹理、区域。在另一实施方式中，所述特征点还包括统计特征、变换系数特征、代数特征中一种或多种。其中，所述统计特征包括直方图、各种矩特征，所述变换系数特征包括傅里叶描绘子、自回归模型，所述代数特征包括图像矩阵的奇异值分解。在其他实施方式中，所述特征点为视觉特征、统计特征、变换系数特征、代数特征中的至少两种特征的融合。
本实施方式中，所述图像优化处理模块105采用ORB(Oriented FAST and RotatedBRIEF)快速特征点提取和描述算法对每一所述第一图片的目标位置区域进行特征点提取得到特征信息。本实施方式中，所述图像优化处理模块105以每一所述第一图片的目标位置区域中任意一点作为目标点，以所述目标点为圆心画一个圆构成特征点圆周，从所述特征点圆周中筛选出特征点；采用ID3算法训练一个决策树，根据所述决策树从所述特征点中筛选出最优的FAST特征点；采用非极大值抑制算法去除所述FAST特征点临近位置处的多个特征点；设置一个比例因子scaleFactor及图像金字塔的层数nlevels，将每一所述第一图片按比例因子scaleFactor缩小成nlevels幅图片，从nlevels幅不同比例的图片中提取特征点总和作为每一所述第一图片的oFAST特征点；及通过对所述oFAST特征点描述获得特征点的变化细节，并获取所述oFAST特征点灰度值最大的位置，并对所述位置利用边缘锐利度和清晰度计算得到所述特征点的特征信息。
具体的，所述图像优化处理模块105以每一所述第一图片的目标位置区域中任意一点作为目标点，以所述目标点为圆心画一个半径为3个像素的圆构成特征点圆周，特征点圆周上若有连续n个像素点的灰度值比目标点的灰度值大或者小，则认为目标点为特征点，其中n设置为12；采用ID3算法训练一个决策树，将特征点圆周上的16个像素输入决策树中以筛选出最优的FAST特征点；采用非极大值抑制算法去除FAST特征点临近位置处的多个特征点，其中为每一个特征点计算出特征点的响应大小，特征点的响应大小为特征点和其周围16个特征点偏差的绝对值和，在与所述FAST特征点相邻近的特征点中保留响应值较大的特征点，及删除其余的特征点；设置一个比例因子scaleFactor及图像金字塔的层数nlevels，将每一第一图片按比例因子scaleFactor缩小成nlevels幅图片，从nlevels幅不同比例的图片提取特征点总和作为每一第一图片的oFAST特征点；及通过使用矩法来确定所述oFAST特征点的方向，其中通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为所述特征点的方向；及通过对所述oFAST特征点描述获得所述oFAST特征点的变化细节，并获取所述oFAST特征点灰度值最大的位置，并对所述位置利用边缘锐利度和清晰度计算得到所述特征信息。
本实施方式中，所述图像优化处理模块105判断出所述第二图片存在模糊区域范围时，所述图像优化处理模块105还判断第二图片的模糊区域范围的尺寸是否在预设尺寸内，当所述第二图片的模糊区域范围的尺寸在预设尺寸内时，所述图像输出模块107输出所述第二图片。本实施方式中，所述预设尺寸可以为一个固定值。需要说明的是，在其他实施方式中，所述预设尺寸也可以根据实际需要进行设置。本实施方式中，所述图像融合模块106用于将多个所述第一图片中与所述模糊区域范围相似性最高的特征信息作为目标特征信息，并将所述目标特征信息与所述第二图片相融合生成所述目标图片。本实施方式中，所述图像融合模块106通过拉普拉斯图像融合算法将所述目标特征信息与所述第二图片相融合生成所述目标图片。
所述图像输出模块107输出所述目标图片。
请参考图4，所示为本发明一实施方式中动态场景补偿的拍照方法的流程图。根据不同需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略或合并。所述方法包括如下步骤。
步骤S401，开启摄像头11并打开预览模式。
本实施方式中，在开启摄像装置1的摄像头11并打开预览模式后，所述摄像装置1产生预览图片，其中所述预览图片可以用于对摄像头11拍摄的图片进行细节补偿。
步骤S402，获取在所述预览模式下的多个预览图片。
步骤S403，通过所述预览分析单元13识别所述预览图片中的目标物体，并判断所述目标物体是否为动态物体。
本实施方式中，所述通过所述预览分析单元13识别所述预览图片中的目标物体，并判断所述目标物体是否为动态物体包括：通过所述预览分析单元13分析出目标物体在多个所述预览图片中的运动轨迹判断所述目标物体是否为动态物体。具体的，所述摄像装置1分析出所述目标物体在多个所述预览图片中的位置，并根据所述目标物体在多个所述预览图片中的位置判断所述目标物体的是否为动态物体。其中，当所述目标物体在多个所述预览图片中的位置发生变化时确定所述目标物体为动态物体，当所述目标物体在多个所述预览图片中的位置没有发生变化时确定所述目标物体为静态物体。
步骤S404，当确定出所述目标物体为动态物体时存储预设数量的预览图片作为第一图片，及存储在接收到拍摄指令时所述摄像头11拍摄的第二图片。
本实施方式中，所述预设数量的预览图片为最接近所述第二图片拍摄时刻的预设数量的预览图片，所述摄像装置1对所述预设数量的预览图片按照距离所述摄像头11拍照得到所述第二图片的时间从大到小进行排序得到所述第一图片。从而得到动态物体拍摄前的运动轨迹和运动细节。本实施方式中，所述预设数量的值为10。
本实施方式中，所述快门按钮12在触发时所述摄像装置1生成拍摄指令，所述摄像装置1根据所述拍摄指令通过摄像头11拍摄得到所述第二图片，所述摄像装置1存储所述第二图片。
步骤S405，通过所述图像优化处理单元14对所述第一图片和所述第二图片进行分区采样对比，并利用边缘锐利度和清晰度计算判断所述第二图片是否存在模糊区域范围。本实施方式中，所述第一图片为距离所述第二图片时间最小的第一图片。所述图像优化处理模块105将所述第一图片与所述第二图片进行分区采样对比，以确定所述第一图片与所述第二图片的动态物体的位置区域，并利用边缘锐利度和清晰度计算判断所述第一图片和所述第二图片的动态物体图像的清晰度是否相同，当所述第一图片和所述第二图片的动态物体图像的清晰度不同时，判断所述第二图片存在模糊区域范围。当所述第二图片存在模糊区域范围时，执行步骤S406，当所述第二图片不存在模糊区域范围时执行步骤S407。
步骤S406，对多个所述第一图片进行分区采样，并确定出每一所述第一图片中与所述第二图片的模糊区域范围相对应的特征信息。
步骤S407，输出所述第二图片。
在具体实施方式中，所述第二图片存在模糊区域范围时，所述对多个所述第一图片进行分区采样，并确定出每一所述第一图片中与所述第二图片的模糊区域范围相对应的特征信息包括：将多个所述第一图片分别与所述第二图片进行分区采样对比，以确定每一所述第一图片中与所述第二图片的模糊区域范围相对应的目标物体位置区域；采用目标追踪算法对每一所述第一图片的目标位置区域进行特征点提取及特征描述得到特征信息。
本实施方式中，所述特征点为视觉特征，其中所述视觉特征包括图像边缘、轮廓、形状、纹理、区域。在另一实施方式中，所述特征点还包括统计特征、变换系数特征、代数特征中一种或多种。其中，所述统计特征包括直方图、各种矩特征，所述变换系数特征包括傅里叶描绘子、自回归模型，所述代数特征包括图像矩阵的奇异值分解。在其他实施方式中，所述特征点为视觉特征、统计特征、变换系数特征、代数特征中的至少两种特征的融合。
本实施方式中，所述摄像装置1采用ORB快速特征点提取和描述算法对每一所述第一图片的目标位置区域进行特征点提取得到特征信息。本实施方式中，所述摄像装置1以每一所述第一图片的目标位置区域中任意一点作为目标点，以所述目标点为圆心画一个圆构成特征点圆周，从所述特征点圆周中筛选出特征点；采用ID3算法训练一个决策树，根据所述决策树从所述特征点中筛选出最优的FAST特征点；采用非极大值抑制算法去除所述FAST特征点临近位置处的多个特征点；设置一个比例因子scaleFactor及图像金字塔的层数nlevels，将每一所述第一图片按比例因子scaleFactor缩小成nlevels幅图片，从nlevels幅不同比例的图片中提取特征点总和作为每一所述第一图片的oFAST特征点；及通过对所述oFAST特征点描述获得特征点的变化细节，并获取所述oFAST特征点灰度值最大的位置，并对所述位置利用边缘锐利度和清晰度计算得到所述特征点的特征信息。
具体的，所述摄像装置1以每一所述第一图片的目标位置区域中任意一点作为目标点，以所述目标点为圆心画一个半径为3个像素的圆构成特征点圆周，特征点圆周上若有连续n个像素点的灰度值比目标点的灰度值大或者小，则认为目标点为特征点，其中n设置为12；采用ID3算法训练一个决策树，将特征点圆周上的16个像素输入决策树中以筛选出最优的FAST特征点；采用非极大值抑制算法去除FAST特征点临近位置处的多个特征点，其中为每一个特征点计算出特征点的响应大小，特征点的响应大小为特征点和其周围16个特征点偏差的绝对值和，在与所述FAST特征点相邻近的特征点中保留响应值较大的特征点，及删除其余的特征点；设置一个比例因子scaleFactor及图像金字塔的层数nlevels，将每一第一图片按比例因子scaleFactor缩小成nlevels幅图片，从nlevels幅不同比例的图片提取特征点总和作为每一第一图片的oFAST特征点；及通过使用矩法来确定所述oFAST特征点的方向，其中通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为所述特征点的方向；及通过对所述oFAST特征点描述获得所述oFAST特征点的变化细节，并获取所述oFAST特征点灰度值最大的位置，并对所述位置利用边缘锐利度和清晰度计算得到所述特征信息。
本实施方式中，所述方法还包括：判断出所述第二图片存在模糊区域范围时还判断所述第二图片的模糊区域范围的尺寸是否在预设尺寸内，当所述第二图片的模糊区域范围的尺寸在预设尺寸内时，输出所述第二图片。本实施方式中，所述预设尺寸可以为一个固定值。需要说明的是，在其他实施方式中，所述预设尺寸也可以根据实际需要进行设置。
步骤S408，将多个所述第一图片中与所述模糊区域范围相似性最高的特征信息作为目标特征信息，并将所述目标特征信息与所述第二图片相融合生成所述目标图片。
本实施方式中，所述将所述目标特征信息与所述第二图片相融合生成所述目标图片包括：通过拉普拉斯图像融合算法将所述目标特征信息与所述第二图片相融合生成所述目标图片。
步骤S409，输出所述目标图片。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换都不应脱离本发明技术方案的精神和范围。

Claims (10)

1.一种动态场景补偿的拍照方法，其特征在于，所述方法包括：
开启摄像头并打开预览模式；
获取在所述预览模式下的多个预览图片；
通过预览分析单元识别所述多个预览图片中的目标物体，并判断所述目标物体是否为动态物体；
当确定所述目标物体为动态物体时存储预设数量的预览图片作为第一图片，及存储在接收到拍摄指令后所述摄像头拍摄的第二图片；
对所述第一图片和所述第二图片进行分区采样对比，并计算判断所述第二图片是否存在模糊区域范围；
当所述第二图片存在模糊区域范围时，对多个所述第一图片进行分区采样，并确定出每一所述第一图片中与所述第二图片的模糊区域范围相对应的特征信息；
将多个所述第一图片中与所述模糊区域范围相似性最高的特征信息作为目标特征信息，并将所述目标特征信息与所述第二图片相融合生成所述目标图片；及
输出所述目标图片。
2.如权利要求1所述的动态场景补偿的拍照方法，其特征在于，所述动态场景补偿的拍照方法还包括：
当所述第二图片不存在模糊区域范围时，输出所述第二图片。
3.如权利要求1所述的动态场景补偿的拍照方法，其特征在于，所述判断所述目标物体是否为动态物体包括：
分析出所述目标物体在多个所述预览图片中的位置，并根据所述目标物体在多个所述预览图片中的位置判断所述目标物体的是否为动态物体，其中，当所述目标物体在多个所述预览图片中的位置发生变化时确定所述目标物体为动态物体，或当所述目标物体在多个所述预览图片中的位置没有发生变化时确定所述目标物体为静态物体。
4.如权利要求1所述的动态场景补偿的拍照方法，其特征在于，所述对多个所述第一图片进行分区采样并确定出每一所述第一图片中与所述第二图片的模糊区域范围相对应的特征信息包括：
将多个所述第一图片分别与所述第二图片进行分区采样对比，以确定每一所述第一图片中与所述第二图片的模糊区域范围相对应的目标位置区域；及
对每一所述第一图片的目标位置区域进行特征点提取及特征描述得到特征信息。
5.如权利要求4所述的动态场景补偿的拍照方法，其特征在于，所述对每一所述第一图片的目标位置区域进行特征点提取及特征描述得到特征信息包括：
采用ORB快速特征点提取和描述算法对每一所述第一图片的目标位置区域进行特征点提取得到所述特征信息。
6.如权利要求5所述的动态场景补偿的拍照方法，其特征在于，所述采用ORB快速特征点提取和描述算法对每一所述第一图片的目标位置区域进行特征点提取得到所述特征信息包括：
以每一所述第一图片的目标位置区域中任意一点作为目标点，以所述目标点为圆心画一个圆构成特征点圆周，从所述特征点圆周中筛选出特征点；
采用ID3算法训练一个决策树，根据所述决策树从所述特征点中筛选出最优的FAST特征点；
采用非极大值抑制算法去除所述FAST特征点临近位置处的多个特征点；
设置一个比例因子scaleFactor及图像金字塔的层数nlevels，将每一所述第一图片按比例因子scaleFactor缩小成nlevels幅图片，从nlevels幅不同比例的图片中提取特征点总和作为每一所述第一图片的oFAST特征点；及
通过对所述oFAST特征点描述获得特征点的变化细节，并获取所述oFAST特征点灰度值最大的位置，并对所述位置利用边缘锐利度和清晰度计算得到所述特征点的特征信息。
7.如权利要求1所述的动态场景补偿的拍照方法，其特征在于，所述将所述目标特征信息与所述第二图片相融合生成所述目标图片包括：
通过拉普拉斯图像融合算法将所述目标特征信息与所述第二图片相融合生成所述目标图片。
8.一种摄像装置，包括摄像头、预览分析单元、图像优化处理单元及处理器，所述处理器分别与所述摄像头、预览分析单元、图像优化处理单元连接，其特征在于，所述处理器用于：
开启所述摄像头并打开预览模式；
获取在所述预览模式下的多个预览图片；
通过所述预览分析单元识别所述预览图片中的目标物体，并判断所述目标物体是否为动态物体；
当确定所述目标物体为动态物体时存储预设数量的预览图片作为第一图片，及存储在接收到拍摄指令后所述摄像头拍摄的第二图片；
通过图像优化处理单元对所述第一图片和所述第二图片进行分区采样对比，并利用边缘锐利度和清晰度计算判断所述第二图片是否存在模糊区域范围；
当所述第二图片存在模糊区域范围时，对多个所述第一图片进行分区采样，并确定出每一所述第一图片中与所述第二图片的模糊区域范围相对应的特征信息；
将多个所述第一图片中与所述模糊区域范围相似性最高的特征信息作为目标特征信息，并将所述目标特征信息与所述第二图片相融合生成所述目标图片；及
输出所述目标图片。
9.如权利要求8所述的摄像装置，其特征在于，所述处理器还用于：
分析出所述目标物体在多个所述预览图片中的位置，并根据所述目标物体在多个所述预览图片中的位置判断所述目标物体的是否为动态物体，其中，当所述目标物体在多个所述预览图片中的位置发生变化时确定所述目标物体为动态物体，或当所述目标物体在多个所述预览图片中的位置没有发生变化时确定所述目标物体为静态物体。
10.如权利要求8所述的摄像装置，其特征在于，所述处理器还用于：
将多个所述第一图片分别与所述第二图片进行分区采样对比，以确定每一所述第一图片中与所述第二图片的模糊区域范围相对应的目标位置区域；及
采用目标追踪算法对每一所述第一图片的目标位置区域进行特征点提取及特征描述得到特征信息。
CN202010368088.8A 2020-04-30 2020-04-30 动态场景补偿的拍照方法及摄像装置 Pending CN113596315A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010368088.8A CN113596315A (zh) 2020-04-30 2020-04-30 动态场景补偿的拍照方法及摄像装置
TW109118376A TWI819219B (zh) 2020-04-30 2020-06-01 動態場景補償的拍照方法及攝像裝置
US17/034,280 US11363207B2 (en) 2020-04-30 2020-09-28 Photographing method for compensating dynamic scenes and a camera device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010368088.8A CN113596315A (zh) 2020-04-30 2020-04-30 动态场景补偿的拍照方法及摄像装置

Publications (1)

Publication Number Publication Date
CN113596315A true CN113596315A (zh) 2021-11-02

Family

ID=78237717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010368088.8A Pending CN113596315A (zh) 2020-04-30 2020-04-30 动态场景补偿的拍照方法及摄像装置

Country Status (3)

Country Link
US (1) US11363207B2 (zh)
CN (1) CN113596315A (zh)
TW (1) TWI819219B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017012372A1 (zh) * 2015-07-17 2017-01-26 宇龙计算机通信科技(深圳)有限公司 用于终端的拍照控制方法、装置和终端
CN107172296A (zh) * 2017-06-22 2017-09-15 维沃移动通信有限公司 一种图像拍摄方法及移动终端
CN107770438A (zh) * 2017-09-27 2018-03-06 维沃移动通信有限公司 一种拍照方法及移动终端
WO2019237992A1 (zh) * 2018-06-15 2019-12-19 Oppo广东移动通信有限公司 拍照方法、装置、终端及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101299249B1 (ko) * 2008-08-29 2013-08-22 삼성테크윈 주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체
CN102036016B (zh) * 2010-12-03 2012-10-10 杭州海康威视系统技术有限公司 视频检测方法及其系统
CN106251305B (zh) * 2016-07-29 2019-04-30 长春理工大学 一种基于惯性测量单元imu的实时电子稳像方法
CN111345030A (zh) * 2017-11-09 2020-06-26 深圳传音通讯有限公司 一种基于智能终端的拍照方法及拍照系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017012372A1 (zh) * 2015-07-17 2017-01-26 宇龙计算机通信科技(深圳)有限公司 用于终端的拍照控制方法、装置和终端
CN107172296A (zh) * 2017-06-22 2017-09-15 维沃移动通信有限公司 一种图像拍摄方法及移动终端
CN107770438A (zh) * 2017-09-27 2018-03-06 维沃移动通信有限公司 一种拍照方法及移动终端
WO2019237992A1 (zh) * 2018-06-15 2019-12-19 Oppo广东移动通信有限公司 拍照方法、装置、终端及计算机可读存储介质

Also Published As

Publication number Publication date
TWI819219B (zh) 2023-10-21
TW202143169A (zh) 2021-11-16
US20210344844A1 (en) 2021-11-04
US11363207B2 (en) 2022-06-14

Similar Documents

Publication Publication Date Title
CN111402135B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108898567B (zh) 图像降噪方法、装置及系统
CN110866480B (zh) 对象的跟踪方法及装置、存储介质、电子装置
CN108710847B (zh) 场景识别方法、装置及电子设备
CN108288027B (zh) 一种图像质量的检测方法、装置及设备
US11361459B2 (en) Method, device and non-transitory computer storage medium for processing image
CN101416219B (zh) 数字图像中的前景/背景分割
AU2012219026B2 (en) Image quality assessment
CN109815843B (zh) 图像处理方法及相关产品
US20170006251A1 (en) Automated Selection Of Keeper Images From A Burst Photo Captured Set
CN110796041B (zh) 主体识别方法和装置、电子设备、计算机可读存储介质
CN113837079B (zh) 显微镜的自动对焦方法、装置、计算机设备和存储介质
CN110660090B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
CN107346414B (zh) 行人属性识别方法和装置
US8532337B2 (en) Object tracking method
CN106469435B (zh) 图像处理方法、装置及设备
CN113887387A (zh) 一种滑雪场目标影像生成方法、系统和服务器
EP3035242B1 (en) Method and electronic device for object tracking in a light-field capture
CN113129229A (zh) 图像处理方法、装置、计算机设备和存储介质
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN109785439B (zh) 人脸素描图像生成方法及相关产品
CN113469135A (zh) 对象身份信息的确定方法、装置、存储介质及电子装置
CN114255493A (zh) 图像检测方法、人脸检测方法及装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination