CN110365897B - 图像修正方法和装置、电子设备、计算机可读存储介质 - Google Patents

图像修正方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN110365897B
CN110365897B CN201910609226.4A CN201910609226A CN110365897B CN 110365897 B CN110365897 B CN 110365897B CN 201910609226 A CN201910609226 A CN 201910609226A CN 110365897 B CN110365897 B CN 110365897B
Authority
CN
China
Prior art keywords
image
magnification
magnification image
target
target subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910609226.4A
Other languages
English (en)
Other versions
CN110365897A (zh
Inventor
康健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910609226.4A priority Critical patent/CN110365897B/zh
Publication of CN110365897A publication Critical patent/CN110365897A/zh
Application granted granted Critical
Publication of CN110365897B publication Critical patent/CN110365897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像修正方法和装置、电子设备、计算机可读存储介质，识别第一倍率图像中的目标主体；获取第二倍率图像，根据所述第一倍率图像中的目标主体确定所述第二倍率图像中的所述目标主体，所述第一倍率图像对应的第一倍率小于所述第二倍率图像对应的第二倍率；将所述第二倍率图像中的所述目标主体移动至画面的中心区域，并拍摄得到目标图像。采用本方案可以避免使用高倍率拍摄时，拍摄的主体大幅度移动的情况。

Description

图像修正方法和装置、电子设备、计算机可读存储介质
技术领域
本申请涉及影像领域，特别是涉及一种图像修正方法、装置、电子设备、计算机可读存储介质。
背景技术
随着影像技术的发展，人们越来越习惯通过电子设备上的摄像头等图像采集设备拍摄图像或视频，以记录各种信息。对应较远的主体，用户可通过放大倍率来采集，但放大倍率可能导致拍摄的主体大幅度移动。
发明内容
本申请实施例提供一种图像修正方法、装置、电子设备、计算机可读存储介质，可以避免高倍率拍摄时，拍摄主体大幅度移动的情况。
一种图像修正方法，包括：
识别第一倍率图像中的目标主体；
获取第二倍率图像，根据所述第一倍率图像中的目标主体确定所述第二倍率图像中的所述目标主体，所述第一倍率图像对应的第一倍率小于所述第二倍率图像对应的第二倍率；
将所述第二倍率图像中的所述目标主体移动至画面的中心区域，并拍摄得到目标图像。
一种图像修正装置，包括：
识别模块，用于第一倍率图像中的目标主体；
确定模块，用于获取第二倍率图像，根据所述第一倍率图像中的目标主体确定所述第二倍率图像中的所述目标主体，所述第一倍率图像对应的第一倍率小于所述第二倍率图像对应的第二倍率；
移动模块，用于将所述第二倍率图像中的所述目标主体移动至画面的中心区域，并拍摄得到目标图像。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行任一项所述图像修正方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现任一项所述图像修正方法的步骤。
上述图像修正方法和装置、电子设备、计算机可读存储介质，通过识别第一倍率图像中的目标主体，获取第二倍率图像，并根据第一倍率图像中的目标主体确定第二倍率图像中的目标主体，第一倍率图像对应的第一倍率小于第二倍率图像对应的第二倍率，将第二倍率图像中的目标主体移动至画面的中心区域，并拍摄得到目标图像，可以避免使用高倍率拍摄时，拍摄的主体大幅度移动的情况。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的内部结构框图；
图2为一个实施例中图像修正方法的流程图；
图3为一个实施例中确定第二倍率图像中的目标主体的流程图；
图4为另一个实施例中确定第二倍率图像中的目标主体的流程图；
图5为其中一个实施例中图像修正方法的流程图；
图6为一个实施例中图像修正方法应用于拍摄视频时的流程图；
图7为一个实施例中识别第一倍率图像中的目标主体的流程图；
图8为一个实施例中根据主体区域置信度图确定第一倍率图像中的目标主体的流程图；
图9为一个实施例中对第一倍率图像进行主体识别的效果示意图；
图10为一个实施例中图像修正装置的结构框图；
图11为另一个实施例中电子设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例中的图像修正方法可应用于电子设备。该电子设备可为带有摄像头的计算机设备、个人数字助理、平板电脑、智能手机、穿戴式设备等。电子设备中的摄像头在拍摄图像时，会进行自动对焦，以保证拍摄的图像清晰。
在一个实施例中，上述电子设备中可包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图1所示，图像处理电路包括第一ISP处理器130、第二ISP处理器140和控制逻辑器150。第一摄像头110包括一个或多个第一透镜112和第一图像传感器114。第一图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器114可获取用第一图像传感器114的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器130处理的一组图像数据。第二摄像头120包括一个或多个第二透镜122和第二图像传感器124。第二图像传感器124可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器124可获取用第二图像传感器124的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器140处理的一组图像数据。
第一摄像头110采集的第一图像传输给第一ISP处理器130进行处理，第一ISP处理器130处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器150，控制逻辑器150可根据统计数据确定第一摄像头110的控制参数，从而第一摄像头110可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器130进行处理后可存储至图像存储器160中，第一ISP处理器130也可以读取图像存储器160中存储的图像以对进行处理。另外，第一图像经过ISP处理器130进行处理后可直接发送至显示器170进行显示，显示器170也可以读取图像存储器160中的图像以进行显示。
其中，第一ISP处理器130按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器130可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
图像存储器160可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自第一图像传感器114接口时，第一ISP处理器130可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器160，以便在被显示之前进行另外的处理。第一ISP处理器130从图像存储器160接收处理数据，并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器130处理后的图像数据可输出给显示器170，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器130的输出还可发送给图像存储器160，且显示器170可从图像存储器160读取图像数据。在一个实施例中，图像存储器160可被配置为实现一个或多个帧缓冲器。
第一ISP处理器130确定的统计数据可发送给控制逻辑器150。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜112阴影校正等第一图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头110的控制参数及第一ISP处理器130的控制参数。例如，第一摄像头110的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜112阴影校正参数。
同样地，第二摄像头120采集的第二图像传输给第二ISP处理器140进行处理，第二ISP处理器140处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器150，控制逻辑器150可根据统计数据确定第二摄像头120的控制参数，从而第二摄像头120可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器140进行处理后可存储至图像存储器160中，第二ISP处理器140也可以读取图像存储器160中存储的图像以对进行处理。另外，第二图像经过ISP处理器140进行处理后可直接发送至显示器170进行显示，显示器170也可以读取图像存储器160中的图像以进行显示。第二摄像头120和第二ISP处理器140也可以实现如第一摄像头110和第一ISP处理器130所描述的处理过程。
在一个实施例中，第一摄像头110可为彩色摄像头，第二摄像头120可为TOF(TimeOf Flight，飞行时间)摄像头或结构光摄像头。TOF摄像头可获取TOF深度图，结构光摄像头可获取结构光深度图。第一摄像头110和第二摄像头120可均为彩色摄像头。通过两个彩色摄像头获取双目深度图。第一ISP处理器130和第二ISP处理器140可为同一ISP处理器。
第一摄像头110和第二摄像头120采集同一场景分别得到第一倍率图像和深度图，将第一倍率图像和深度图发送给ISP处理器。ISP处理器可根据相机标定参数对第一倍率图像和深度图进行配准，保持视野完全一致；然后再生成与第一倍率图像对应的中心权重图，其中，该中心权重图所表示的权重值从中心到边缘逐渐减小；将第一倍率图像和中心权重图输入到训练好的主体检测模型中，得到主体区域置信度图，再根据主体区域置信度图确定第一倍率图像中的目标主体；也可将第一倍率图像、深度图和中心权重图输入到训练好的主体检测模型中，得到主体区域置信度图，再根据主体区域置信度图确定第一倍率图像中的目标主体。接着，电子设备通过第一摄像头110获取第二倍率图像，将该第二倍率图像发送给ISP处理器。ISP处理器根据所述第一倍率图像中的目标主体确定所述第二倍率图像中的所述目标主体，所述第一倍率图像对应的第一倍率小于所述第二倍率图像对应的第二倍率；将所述第二倍率图像中的所述目标主体移动至画面的中心区域，并拍摄得到目标图像，可以避免使用高倍率拍摄时，拍摄的主体大幅度移动的情况。
图2为一个实施例中图像修正方法的流程图。如图2所示，图像修正方法包括：
步骤202，识别第一倍率图像中的目标主体。
其中，第一倍率图像是指以第一倍率采集的图像，可以是RGB(Red、Green、Blue)图像。可通过彩色摄像头采集任意场景得到彩色图像，即RGB图像。主体是指各种对象，如人、花、猫、狗、牛、蓝天、白云、背景等。目标主体是指需要的主体，可根据需要选择。主体检测(salient object detection)是指面对一个场景时，自动地对感兴趣区域进行处理而选择性的忽略不感兴趣区域。感兴趣区域称为主体区域。
具体地，电子设备可通过摄像头以第一倍率采集一场景，得到第一倍率图像。接着，电子设备可将第一倍率图像输入主体检测模型，通过主体检测模型识别出第一倍率图像中的目标主体。
步骤204，获取第二倍率图像，根据第一倍率图像中的目标主体确定该第二倍率图像中的该目标主体，该第一倍率图像对应的第一倍率小于该第二倍率图像对应的第二倍率。
其中，第二倍率图像是指以第二倍率采集的图像，可以是RGB(Red、Green、Blue)图像。第一倍率图像与第二倍率图像是以不同倍率采集的同一场景所得到的图像，并且该第一倍率图像对应的第一倍率小于第二倍率图像对应的第二倍率。
具体地，电子设备可通过摄像头以第二倍率采集与第一倍率图像相同的场景，得到第二倍率图像。第一倍率图像和第二倍率图像为以不同倍率采集同一场景得到的图像，则第一倍率图像和第二倍率图像中的目标主体为不同倍率下的同一主体。接着，电子设备可根据第一倍率图像中的目标主体，确定第二倍率图像中的与第一倍率图像中的目标主体相同的主体，该相同的主体即为第二倍率图像中的目标主体。
步骤206，将该第二倍率图像中的该目标主体移动至画面的中心区域，并拍摄得到目标图像。
具体地，电子设备确定第二倍率图像中的目标主体后，可将该目标主体移使得该目标主体能够成像在图像的中心，从而拍摄得到目标图像。
本实施例中的图像修正方法，通过识别第一倍率图像中的目标主体，获取第二倍率图像，并根据第一倍率图像中的目标主体确定第二倍率图像中的目标主体，第一倍率图像对应的第一倍率小于第二倍率图像对应的第二倍率，将第二倍率图像中的目标主体移动至画面的中心区域，并拍摄得到目标图像，可以避免使用高倍率拍摄时，拍摄的主体大幅度移动的情况。
在一个实施例中，该第一倍率图像和第二倍率图像可为预览图像。当用户使用电子设备拍摄一场景时，电子设备根据用户的拍摄指令，启动摄像头，通过第一倍率采集用户要拍摄的场景的图像，得到第一倍率预览图像。该第一倍率可以是摄像头的默认倍率，例如，启动摄像头时，一般会以一个默认倍率在预览界面显示场景。接着，电子设备通过主体检测模型识别出该第一倍率预览图像中的目标主体。
当用户想要将场景放大再拍摄时，可通过点击或语音将电子设备摄像头的第一倍率调大。电子设备接收用户的指令，将第一倍率调大，调大后的倍率为第二倍率。接着，电子设备通过摄像头以第二倍率采集同一场景，得到第二倍率预览图像。接着，电子设备根据第一预览图像中的目标主体确定第二倍率预览图像中的同一目标主体。电子设备将该第二倍率预览图像中的目标主体移动到预览画面的中心区域，并以第二倍率进行拍摄，得到目标图像。
本实施例中的图像修正方法，通过识别第一倍率预览图像中的目标主体，并获取第二倍率预览图像，根据第一倍率预览图像中的目标主体确定所述第二倍率预览图像中的目标主体，该第一倍率小于第二倍率，从而可通过低倍率的图像中的目标主体确定高倍率图像中的目标主体。将第二倍率预览图像中的目标主体移动至预览画面的中心区域，并拍摄得到目标图像，将高倍率预览目标主体移动到预览画面中心区域并拍摄，可降低使用高倍率拍摄时目标主体的晃动感，提升稳定度。
在一个实施例中，第一倍率图像和第二倍率图像可为以不同倍率拍摄同一场景得到的图像。
在一个实施例中，如图3所示，该根据该第一倍率图像中的目标主体确定该第二倍率图像中的该目标主体，包括：
步骤302，提取第一倍率图像中的目标主体的特征点和第二倍率图像的特征点。
其中，特征点是指图像中具有鲜明特性并能够有效反映图像本质特征，能够标识图像中目标物体的关键点。
具体地，不同倍率的图像的特征点并不完全相同，为了能够根据第一倍率图像中的目标主体识别出第二倍率图像中的该目标主体，需要提取第一倍率图像中的目标主体的与尺度无关的特征点。电子设备可通过尺度不变特征转换算法(Scale-invariant featuretransform，简称SIFT)提取第一倍率图像中的目标主体的特征点。接着，电子设备同样可通过尺度不变特征转换算法提取第二倍率图像的特征点，也可以通过任意特征提取算法提取第二倍率图像的特征点。
步骤304，将第一倍率图像中的目标主体的特征点和第二倍率图像的特征点进行匹配。
具体地，将第一倍率图像中的目标主体的每个特征点分别遍历第二倍率图像的特征点，计算第一倍率图像中的目标主体的每个特征点和第二倍率图像的特征点的相似度。当第一倍率图像中的目标主体的一个特征点和第二倍率图像的一个特征点的相似度超过相似度阈值时，判定这两个特征点匹配成功。当第一倍率图像中的目标主体的一个特征点和第二倍率图像的一个特征点的相似度未超过相似度阈值时，判定匹配失败。则与第二倍率图像的另一个特征点继续匹配，直到第一倍率图像中的目标主体的每个特征点都与第二倍率图像的特征点匹配成功时，完成匹配操作。
步骤306，根据第二倍率图像中与第一倍率图像中的目标主体的特征点匹配成功的特征点，得到该第二倍率图像中的该目标主体。
具体地，当第一倍率图像中的目标主体的每个特征点都与第二倍率图像的特征点匹配成功时，判定第二倍率图像中匹配成功的特征点都为目标主体的特征点，由此可根据第二倍率图像中匹配成功的特征点得到该第二倍率图像中的该目标主体。
本实施例中的图像修正方法，通过提取第一倍率图像中的目标主体的特征点和第二倍率图像的特征点，将第一倍率图像中的目标主体的特征点和第二倍率图像的特征点进行匹配，根据第二倍率图像中与第一倍率图像中的目标主体的特征点匹配成功的特征点，得到第二倍率图像中的目标主体，使得可根据低倍率图像中的目标主体的特征点确定高倍率图像中的目标主体，识别更准确。
在一个实施例中，如图4所示，该根据第一倍率图像中的目标主体确定第二倍率图像中的该目标主体，包括：
步骤402，将第二倍率图像通过下采样处理，得到与第一倍率图像对应的第一倍率相同的第一图像。
步骤404，根据第一倍率图像中的目标主体，确定第一图像中的该目标主体。
其中，下采样是指将图像缩放至需要的尺寸。
具体地，电子设备将第二倍率图像缩放为与第一倍率相同的图像，得到第一图像。接着，电子设备根据第一倍率图像中的目标主体确定相同倍率下的第一图像中的目标主体。
在本实施例中，电子设备可通过特征提取算法提取第一倍率图像中的目标主体的特征点和第一图像的特征点。例如，可通过第一倍率图像中的目标主体的结构性特征和第一图像的结构性特征采集对应的特征点。如SAD算法(sum of absolute differences，绝对误差和算法)或LBP算法(Local Binary Patterns，局部二值模式)等。将第一倍率图像中的目标主体的特征点和第一图像的特征点进行相似度比对，当第一倍率图像中的目标主体的特征点和第一图像的中特征点的相似度超过相似度阈值时，匹配成功，判定匹配成功的第一图像的中特征点为目标主体的特征点，从而得到第一图像中的目标主体。
该将第二倍率图像中的该目标主体移动至画面的中心区域，并拍摄得到目标图像，包括：
步骤406，将第一图像中的该目标主体移动至画面的中心区域。
步骤408，将中心区域的该目标主体的倍率调整至指定倍率，并拍摄得到目标图像。
具体地，电子设备确定第一图像中的目标主体后，可将该目标主体移动到画面中心的区域。电子设备将在画面中心区域的该目标主体放大，从而将该目标主体的倍率从第一倍率调整为用户指定的倍率，并进行拍摄，从而拍摄得到目标图像。
如图5所示，电子设备识别出第一倍率图像中的目标主体，并将第二倍率图像通过下采样得到第一倍率的第一图像。采集第一倍率图像中的目标主体的特征点和第一图像中的特征点以进行特征相似度比对，从而确定第一图像中的目标主体。接着，电子设备将第一图像中的目标主体移动至画面的中心区域实现，并将画面中心区域第一倍率的目标主体增大至用户指定的倍率，以拍摄得到目标图像，从而实现图像的晃动修正。
本实施例中，通过将第二倍率图像下采样得到与第一倍率图像对应的第一倍率相同的第一图像，从而将高倍率图像经过下采样处理得到相同的低倍率图像。根据第一倍率图像中的目标主体，确定第一图像中的目标主体，从而可根据相同倍率下的一图像中的目标主体确定另一图像中的相同主体。将第一图像中的目标主体移动至画面的中心区域，将中心区域的目标主体的倍率调整至指定倍率，并拍摄得到目标图像。将低倍率的目标主体先移动到画面中心区域再将低倍率调整为高倍率，能够减少拍摄时目标主体的晃动感，避免目标主体大幅度移动的现象，提高图像的稳定性。
在一个实施例中，如图6所示，当使用电子设备拍摄视频时，该第一倍率图像为该电子设备拍摄视频时的第一倍率的第一帧图像；
该识别第一倍率图像中的目标主体，包括：
步骤602，获取拍摄视频时的第一倍率的第一帧图像。
步骤604，识别第一倍率的第一帧图像中的目标主体。
具体地，该图像修正方法可应用于高倍率的视频拍摄场景。当用户使用电子设备拍摄视频时，第一倍率图像为该电子设备拍摄视频时的第一倍率的第一帧图像。该第一倍率可为电子设备启动视频拍摄时的默认倍率。电子设备获取拍摄视频时的第一倍率的第一帧图像，并通过主体检测模型识别出第一帧图像中的目标主体。
该获取第二倍率图像，根据第一倍率图像中的目标主体确定该第二倍率图像中的该目标主体，包括：
步骤606，每隔预设时长获取第二倍率的第二帧图像。
步骤608，根据第一帧图像中的目标主体确定第二帧图像中的该目标主体，该第一倍率小于该第二倍率。
其中，预设时长是指预先设置的获取第二倍率图像的间隔时间。
具体地，当电子设备根据用户的指令调大当前拍摄的倍率时，电子设备将当前拍摄的第一倍率增大至第二倍率。接着，电子设备可每隔预设时长获取第二倍率的第二帧图像，可将摄像头以第二倍率获取的每一帧图像都作为第二帧图像。每次获取第二倍率的第二帧图像后，电子设备提取该第二帧图像的特征点，将电子设备根据第一帧图像中的目标主体的特征点与该第二帧图像的特征点进行匹配，以确定本次获取的该第二帧图像中的该目标主体。
该将该第二倍率图像中的该目标主体移动至画面的中心区域，并拍摄得到目标图像，包括：
步骤610，将第二帧图像中的该目标主体移动至视频拍摄的中心区域，并拍摄得到每帧目标图像。
具体地，电子设备将每次获取的第二倍率的第二帧图像中的该目标主体移动至视频拍摄的中心区域，并拍摄得到每帧目标图像。
本实施例中，当使用电子设备拍摄视频时，获取拍摄视频时的第一倍率的第一帧图像，识别该第一倍率的第一帧图像中的目标主体，从而得到低倍率视频中的目标主体。每隔预设时长获取第二倍率的第二帧图像，根据第一帧图像中的目标主体确定第二帧图像中的目标主体，该第一倍率小于该第二倍率，从而可根据低倍率视频中的目标主体确定高倍率视频中的每帧图像的目标主体。将目标主体移动到视频拍摄的中心区域，从而避免放大倍率时拍摄的目标主体大幅度移动的情况，降低目标主体的晃动感，提高高倍率视频拍摄的稳定性。
在一个实施例中，如图7所示，该识别第一倍率图像中的目标主体，包括：
步骤702，获取第一倍率图像。
步骤704，生成与该第一倍率图像对应的中心权重图，其中，该中心权重图所表示的权重值从中心到边缘逐渐减小。
其中，中心权重图是指用于记录第一倍率图像中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小，即中心权重最大，向四边权重逐渐减小。通过中心权重图表征第一倍率图像的图像中心像素点到图像边缘像素点的权重值逐渐减小。
电子设备的ISP处理器或中央处理器可以根据第一倍率图像的大小生成对应的中心权重图。该中心权重图所表示的权重值从中心向四边逐渐减小。中心权重图可采用高斯函数、或采用一阶方程、或二阶方程生成。该高斯函数可为二维高斯函数。
步骤706，将该第一倍率图像和该中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，该主体检测模型是预先根据同一场景的第一倍率图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。
其中，主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的第一倍率图像、中心权重图及已标注的主体掩膜图。其中，第一倍率图像和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜(mask)图作为训练的主体检测模型期望输出得到的真实值(ground truth)。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗、背景等。
具体地，ISP处理器或中央处理器可将该第一倍率图像和中心权重图输入到主体检测模型中，进行检测可以得到主体区域置信度图。主体区域置信度图是用于记录主体属于哪种能识别的主体的概率，例如某个像素点属于人的概率是0.8，花的概率是0.1，背景的概率是0.1。
步骤708，根据该主体区域置信度图确定该第一倍率图像中的目标主体。
具体地，ISP处理器或中央处理器可根据主体区域置信度图选取置信度最高或次高等作为第一倍率图像中的主体，若存在一个主体，则将该主体作为目标主体；若存在多个主体，可根据需要选择其中一个或多个主体作为目标主体。
本实施例中的图像修正方法，获取第一倍率图像，并生成与第一倍率图像对应的中心权重图后，将第一倍率图像和中心权重图输入到对应的主体检测模型中检测，可以得到主体区域置信度图，根据主体区域置信度图可以确定得到第一倍率图像中的目标主体，利用中心权重图可以让图像中心的对象更容易被检测，利用训练好的利用第一倍率图像、中心权重图和主体掩膜图等训练得到的主体检测模型，可以更加准确的识别出第一倍率图像中的目标主体。
在一个实施例中，如图8所示，该根据该主体区域置信度图确定该第一倍率图像中的目标主体，包括：
步骤802，对该主体区域置信度图进行处理，得到主体掩膜图。
具体地，主体区域置信度图中存在一些置信度较低、零散的点，可通过ISP处理器或中央处理器对主体区域置信度图进行过滤处理，得到主体掩膜图。该过滤处理可采用配置置信度阈值，将主体区域置信度图中置信度值低于置信度阈值的像素点过滤。该置信度阈值可采用自适应置信度阈值，也可以采用固定阈值，也可以采用分区域配置对应的阈值。
步骤804，检测该第一倍率图像，确定该第一倍率图像中的高光区域。
其中，高光区域是指亮度值大于亮度阈值的区域。
具体地，电子设备通过ISP处理器或中央处理器对第一倍率图像进行高光检测，筛选得到亮度值大于亮度阈值的目标像素点，对目标像素点采用连通域处理得到高光区域。
步骤806，根据该第一倍率图像中的高光区域与该主体掩膜图，确定该第一倍率图像中消除高光的目标主体。
具体地，电子设备通过ISP处理器或中央处理器可将第一倍率图像中的高光区域与该主体掩膜图做差分计算或逻辑与计算得到第一倍率图像中消除高光的目标主体。
本实施例中，对主体区域置信度图做过滤处理得到主体掩膜图，提高了主体区域置信度图的可靠性，对第一倍率图像进行检测得到高光区域，然后与主体掩膜图进行处理，可得到消除了高光的目标主体，针对影响主体识别精度的高光、高亮区域单独采用滤波器进行处理，提高了主体识别的精度和准确性。
在一个实施例中，该根据该第一倍率图像中的高光区域与该主体掩膜图，确定该第一倍率图像中消除高光的目标主体，包括：将该第一倍率图像中的高光区域与该主体掩膜图做差分处理，得到该第一倍率图像中的目标主体。
具体地，电子设备通过ISP处理器或中央处理器将该第一倍率图像中的高光区域与该主体掩膜图做差分处理，即第一倍率图像和主体掩膜图中对应的像素值相减，得到该第一倍率图像中的目标主体。通过差分处理得到去除高光的目标主体，计算方式简单。
在一个实施例中，该方法还包括：获取与该第一倍率图像对应的深度图；该深度图包括TOF深度图、双目深度图和结构光深度图中至少一种；对该第一倍率图像和深度图进行配准处理，得到同一场景配准后的第一倍率图像和深度图。
其中，深度图是指包含深度信息的图。通过深度摄像头或双目摄像头拍摄同一场景得到对应的深度图。深度摄像头可为结构光摄像头或TOF摄像头。深度图可为结构光深度图、TOF深度图和双目深度图中的至少一种。
具体地，电子设备通过ISP处理器或中央处理器可通过摄像头拍摄同一场景得到第一倍率图像和对应的深度图，然后采用相机标定参数对第一倍率图像和深度图进行配准，得到配准后的第一倍率图像和深度图。
在其他实施例中，当无法拍摄得到深度图，可自动生成的仿真深度图。仿真深度图中的各个像素点的深度值可为预设值。此外，仿真深度图中的各个像素点的深度值可对应不同的预设值。
在一个实施例中，该将该第一倍率图像和该中心权重图输入到主体检测模型中，得到主体区域置信度图，包括：将该配准后的第一倍率图像、该深度图和该中心权重图输入到主体检测模型中，得到主体区域置信度图；其中，该主体检测模型是预先根据同一场景的第一倍率图像、深度图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。
其中，主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的第一倍率图像、深度图、中心权重图及已标注的主体掩膜图。其中，第一倍率图像和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜图作为训练的主体检测模型期望输出得到的真实值。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗、背景等。
本实施例中，将深度图和中心权重图作为主体检测模型的输入，可以利用深度图的深度信息让距离摄像头更近的对象更容易被检测，利用中心权重图中中心权重大，四边权重小的中心注意力机制，让图像中心的对象更容易被检测，引入深度图实现对主体做深度特征增强，引入中心权重图对主体做中心注意力特征增强，不仅可以准确识别简单场景下的目标主体，更大大提高了复杂场景下的主体识别准确度，引入深度图可以解决传统目标检测方法对自然图像千变万化的目标鲁棒性较差的问题。简单场景是指主体单一，背景区域对比度不高的场景。
图9为一个实施例中对第一倍率图像进行主体识别的效果示意图。如图9所示，第一倍率图像为RGB图902，RGB图902中存在一只蝴蝶，将RGB图输入到主体检测模型后得到主体区域置信度图904，然后对主体区域置信度图904进行滤波和二值化得到二值化掩膜图906，再对二值化掩膜图906进行形态学处理和引导滤波实现边缘增强，得到主体掩膜图908。
在一个实施例中，提供了一种图像修正方法，包括：
步骤(a1)，识别第一倍率图像中的目标主体。
步骤(a2)，获取第二倍率图像，将该第二倍率图像通过下采样处理，得到与该第一倍率图像对应的第一倍率相同的第一图像。
步骤(a3)，提取该第一倍率图像中的目标主体的特征点和该第一图像的特征点。
步骤(a4)，将该第一倍率图像中的目标主体的特征点和该第一图像的特征点进行匹配。
步骤(a5)，根据该第一图像中与该第一倍率图像中的目标主体的特征点匹配成功的特征点，得到该第一图像中的该目标主体。
步骤(a6)，将该第一图像中的该目标主体移动至画面的中心区域。
步骤(a7)，将该中心区域的该目标主体的倍率调整至指定倍率，并拍摄得到目标图像。
本实施例中的图像修正方法，通过识别低倍率图像中的目标主体，并将高倍率图像转换为与低倍率图像相同倍率的图像，并通过低倍率图像中的目标主体的特征点确定该转换得到的相同倍率的图像中的目标主体。将该转换得到的相同倍率的图像中的目标主体移动至画面的中心区域再增加拍摄的倍率，得到高倍率的图像，从而能够减少拍摄时目标主体的晃动感，避免目标主体大幅度移动的现象，提高图像的稳定性。
应该理解的是，虽然图2-图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图10为一个实施例的图像修正装置的结构框图。如图10所示，该装置包括：识别模块1002、确定模块1004和移动模块1006。
识别模块1002，用于识别第一倍率图像中的目标主体。
确定模块1004，用于获取第二倍率图像，根据第一倍率图像中的目标主体确定该第二倍率图像中的该目标主体，该第一倍率图像对应的第一倍率小于该第二倍率图像对应的第二倍率。
移动模块1006，用于将该第二倍率图像中的该目标主体移动至画面的中心区域，并拍摄得到目标图像。
本实施例中的图像修正装置，通过识别第一倍率预览图像中的目标主体，并获取第二倍率预览图像，根据第一倍率预览图像中的目标主体确定所述第二倍率预览图像中的目标主体，该第一倍率小于第二倍率，从而可通过低倍率的图像中的目标主体确定高倍率图像中的目标主体。将第二倍率预览图像中的目标主体移动至预览画面的中心区域，并拍摄得到目标图像，将高倍率预览目标主体移动到预览画面中心区域并拍摄，可降低使用高倍率拍摄时目标主体的晃动感，提升稳定度。
在一个实施例中，该确定模块1004还用于：提取第一倍率图像中的目标主体的特征点和第二倍率图像的特征点；将第一倍率图像中的目标主体的特征点和第二倍率图像的特征点进行匹配；根据第二倍率图像中与第一倍率图像中的目标主体的特征点匹配成功的特征点，得到该第二倍率图像中的该目标主体。
本实施例中的图像修正方装置，通过提取第一倍率图像中的目标主体的特征点和第二倍率图像的特征点，将第一倍率图像中的目标主体的特征点和第二倍率图像的特征点进行匹配，根据第二倍率图像中与第一倍率图像中的目标主体的特征点匹配成功的特征点，得到第二倍率图像中的目标主体，使得可根据低倍率图像中的目标主体的特征点确定高倍率图像中的目标主体，识别更准确。
在一个实施例中，该确定模块1004还用于：将第二倍率图像通过下采样处理，得到与第一倍率图像对应的第一倍率相同的第一图像；根据第一倍率图像中的目标主体，确定第一图像中的该目标主体；
移动模块1006还用于：将第一图像中的该目标主体移动至画面的中心区域；将中心区域的该目标主体的倍率调整至指定倍率，并拍摄得到目标图像。
通过将第二倍率图像下采样得到与第一倍率图像对应的第一倍率相同的第一图像，从而将高倍率图像经过下采样处理得到相同的低倍率图像。根据第一倍率图像中的目标主体，确定第一图像中的目标主体，从而可根据相同倍率下的一图像中的目标主体确定另一图像中的相同主体。将第一图像中的目标主体移动至画面的中心区域，将中心区域的目标主体的倍率调整至指定倍率，并拍摄得到目标图像。将低倍率的目标主体先移动到画面中心区域再将低倍率调整为高倍率，能够减少拍摄时目标主体的晃动感，避免目标主体大幅度移动的现象，提高图像的稳定性。
在一个实施例中，当使用电子设备拍摄视频时，该第一倍率图像为该电子设备拍摄视频时的第一倍率的第一帧图像；
识别模块1002还用于：获取拍摄视频时的第一倍率的第一帧图像；识别第一倍率的第一帧图像中的目标主体。
该确定模块1004还用于：每隔预设时长获取第二倍率的第二帧图像；根据第一帧图像中的目标主体确定第二帧图像中的该目标主体，该第一倍率小于该第二倍率。
移动模块1006还用于：将第二帧图像中的该目标主体移动至视频拍摄的中心区域，并拍摄得到每帧目标图像。
当使用电子设备拍摄视频时，获取拍摄视频时的第一倍率的第一帧图像，识别该第一倍率的第一帧图像中的目标主体，从而得到低倍率视频中的目标主体。每隔预设时长获取第二倍率的第二帧图像，根据第一帧图像中的目标主体确定第二帧图像中的目标主体，该第一倍率小于该第二倍率，从而可根据低倍率视频中的目标主体确定高倍率视频中的每帧图像的目标主体。将目标主体移动到视频拍摄的中心区域，从而避免放大倍率时拍摄的目标主体大幅度移动的情况，降低目标主体的晃动感，提高高倍率视频拍摄的稳定性。
在一个实施例中，识别模块1002还用于：获取第一倍率图像；生成与该第一倍率图像对应的中心权重图，其中，该中心权重图所表示的权重值从中心到边缘逐渐减小；将该第一倍率图像和该中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，该主体检测模型是预先根据同一场景的第一倍率图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；根据该主体区域置信度图确定该第一倍率图像中的目标主体。
本实施例中的图像修正装置，获取第一倍率图像，并生成与第一倍率图像对应的中心权重图后，将第一倍率图像和中心权重图输入到对应的主体检测模型中检测，可以得到主体区域置信度图，根据主体区域置信度图可以确定得到第一倍率图像中的目标主体，利用中心权重图可以让图像中心的对象更容易被检测，利用训练好的利用第一倍率图像、中心权重图和主体掩膜图等训练得到的主体检测模型，可以更加准确的识别出第一倍率图像中的目标主体。
在一个实施例中，识别模块1002还用于：对该主体区域置信度图进行处理，得到主体掩膜图；检测该第一倍率图像，确定该第一倍率图像中的高光区域；根据该第一倍率图像中的高光区域与该主体掩膜图，确定该第一倍率图像中消除高光的目标主体。通过对主体区域置信度图做过滤处理得到主体掩膜图，提高了主体区域置信度图的可靠性，对第一倍率图像进行检测得到高光区域，然后与主体掩膜图进行处理，可得到消除了高光的目标主体，针对影响主体识别精度的高光、高亮区域单独采用滤波器进行处理，提高了主体识别的精度和准确性。
在一个实施例中，该识别模块1002还用于：将该第一倍率图像中的高光区域与该主体掩膜图做差分处理，得到该第一倍率图像中的目标主体。通过差分处理得到去除高光的目标主体，计算方式简单。
在一个实施例中，该识别模块1002还用于：获取与该第一倍率图像对应的深度图；该深度图包括TOF深度图、双目深度图和结构光深度图中至少一种；对该第一倍率图像和深度图进行配准处理，得到同一场景配准后的第一倍率图像和深度图。
该识别模块1002还用于：将该配准后的第一倍率图像、该深度图和该中心权重图输入到主体检测模型中，得到主体区域置信度图；其中，该主体检测模型是预先根据同一场景的第一倍率图像、深度图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。
本实施例中，将深度图和中心权重图作为主体检测模型的输入，可以利用深度图的深度信息让距离摄像头更近的对象更容易被检测，利用中心权重图中中心权重大，四边权重小的中心注意力机制，让图像中心的对象更容易被检测，引入深度图实现对主体做深度特征增强，引入中心权重图对主体做中心注意力特征增强，不仅可以准确识别简单场景下的目标主体，更大大提高了复杂场景下的主体识别准确度，引入深度图可以解决传统目标检测方法对自然图像千变万化的目标鲁棒性较差的问题。简单场景是指主体单一，背景区域对比度不高的场景。
上述图像修正装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像修正装置按照需要划分为不同的模块，以完成上述图像修正装置的全部或部分功能。
图11为一个实施例中电子设备的内部结构示意图。如图11所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像修正方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的图像修正装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像修正方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像修正方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种图像修正方法，其特征在于，包括：
获取第一倍率图像；
生成与所述第一倍率图像对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；
将所述第一倍率图像和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的第一倍率图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；
对所述主体区域置信度图进行处理，得到主体掩膜图；
检测所述第一倍率图像，确定所述第一倍率图像中的高光区域；
根据所述第一倍率图像中的高光区域与所述主体掩膜图，确定所述第一倍率图像中消除高光的目标主体；
获取第二倍率图像，根据所述第一倍率图像中的目标主体确定所述第二倍率图像中的所述目标主体，所述第一倍率图像对应的第一倍率小于所述第二倍率图像对应的第二倍率；
将所述第二倍率图像中的所述目标主体移动至画面的中心区域，并拍摄得到目标图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一倍率图像中的目标主体确定所述第二倍率图像中的所述目标主体，包括：
提取所述第一倍率图像中的目标主体的特征点和所述第二倍率图像的特征点；
将所述第一倍率图像中的目标主体的特征点和所述第二倍率图像的特征点进行匹配；
根据所述第二倍率图像中与所述第一倍率图像中的目标主体的特征点匹配成功的特征点，得到所述第二倍率图像中的所述目标主体。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一倍率图像中的目标主体确定所述第二倍率图像中的所述目标主体，包括：
将所述第二倍率图像通过下采样处理，得到与所述第一倍率图像对应的第一倍率相同的第一图像；
根据所述第一倍率图像中的目标主体，确定所述第一图像中的所述目标主体；
所述将所述第二倍率图像中的所述目标主体移动至画面的中心区域，并拍摄得到目标图像，包括：
将所述第一图像中的所述目标主体移动至画面的中心区域；
将所述中心区域的所述目标主体的倍率调整至指定倍率，并拍摄得到目标图像。
4.根据权利要求1所述的方法，其特征在于，当使用电子设备拍摄视频时，所述第一倍率图像为所述电子设备拍摄视频时的第一倍率的第一帧图像；
所述获取第二倍率图像，根据所述第一倍率图像中的目标主体确定所述第二倍率图像中的所述目标主体，包括：
每隔预设时长获取第二倍率的第二帧图像；
根据所述第一帧图像中的目标主体确定所述第二帧图像中的所述目标主体，所述第一倍率小于所述第二倍率；
所述将所述第二倍率图像中的所述目标主体移动至画面的中心区域，并拍摄得到目标图像，包括：
将所述第二帧图像中的所述目标主体移动至视频拍摄的中心区域，并拍摄得到每帧目标图像。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一倍率图像中的高光区域与所述主体掩膜图，确定所述第一倍率图像中消除高光的目标主体，包括：
将所述第一倍率图像中的高光区域与所述主体掩膜图做差分处理，得到所述第一倍率图像中的目标主体。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取与所述第一倍率图像对应的深度图；所述深度图包括TOF深度图、双目深度图和结构光深度图中至少一种；
对所述第一倍率图像和深度图进行配准处理，得到同一场景配准后的第一倍率图像和深度图；
所述将所述第一倍率图像和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，包括：
将所述配准后的第一倍率图像、所述深度图和所述中心权重图输入到主体检测模型中，得到主体区域置信度图；其中，所述主体检测模型是预先根据同一场景的第一倍率图像、深度图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。
7.一种图像修正装置，其特征在于，包括：
识别模块，用于获取第一倍率图像；生成与所述第一倍率图像对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；将所述第一倍率图像和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的第一倍率图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；对所述主体区域置信度图进行处理，得到主体掩膜图；检测所述第一倍率图像，确定所述第一倍率图像中的高光区域；根据所述第一倍率图像中的高光区域与所述主体掩膜图，确定所述第一倍率图像中消除高光的目标主体；
确定模块，用于获取第二倍率图像，根据所述第一倍率图像中的目标主体确定所述第二倍率图像中的所述目标主体，所述第一倍率图像对应的第一倍率小于所述第二倍率图像对应的第二倍率；
移动模块，用于将所述第二倍率图像中的所述目标主体移动至画面的中心区域，并拍摄得到目标图像。
8.根据权利要求7所述的装置，其特征在于，所述确定模块还用于提取所述第一倍率图像中的目标主体的特征点和所述第二倍率图像的特征点；将所述第一倍率图像中的目标主体的特征点和所述第二倍率图像的特征点进行匹配；根据所述第二倍率图像中与所述第一倍率图像中的目标主体的特征点匹配成功的特征点，得到所述第二倍率图像中的所述目标主体。
9.根据权利要求7所述的装置，其特征在于，所述确定模块还用于将所述第二倍率图像通过下采样处理，得到与所述第一倍率图像对应的第一倍率相同的第一图像；根据所述第一倍率图像中的目标主体，确定所述第一图像中的所述目标主体；
所述移动模块还用于将所述第一图像中的所述目标主体移动至画面的中心区域；将所述中心区域的所述目标主体的倍率调整至指定倍率，并拍摄得到目标图像。
10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的图像修正方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的图像修正方法的步骤。
CN201910609226.4A 2019-07-08 2019-07-08 图像修正方法和装置、电子设备、计算机可读存储介质 Active CN110365897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910609226.4A CN110365897B (zh) 2019-07-08 2019-07-08 图像修正方法和装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910609226.4A CN110365897B (zh) 2019-07-08 2019-07-08 图像修正方法和装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110365897A CN110365897A (zh) 2019-10-22
CN110365897B true CN110365897B (zh) 2021-06-08

Family

ID=68218342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910609226.4A Active CN110365897B (zh) 2019-07-08 2019-07-08 图像修正方法和装置、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110365897B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113497881B (zh) * 2020-03-20 2022-11-08 华为技术有限公司 图像处理方法及装置
CN113099143B (zh) * 2021-03-29 2023-03-21 南昌欧菲光电技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN115103107B (zh) * 2022-06-01 2023-11-07 上海传英信息技术有限公司 对焦控制方法、智能终端和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4858849B2 (ja) * 2007-05-18 2012-01-18 カシオ計算機株式会社 撮像装置及びそのプログラム
CN103499885B (zh) * 2013-09-30 2014-10-08 北京智谷睿拓技术服务有限公司 成像装置和方法
CN108076278B (zh) * 2016-11-10 2021-03-19 斑马智行网络(香港)有限公司 一种自动对焦方法、装置及电子设备
CN107920201A (zh) * 2017-11-02 2018-04-17 天脉聚源(北京)传媒科技有限公司 一种拍摄图像的方法及装置
CN108805940B (zh) * 2018-06-27 2021-06-04 亿嘉和科技股份有限公司 一种变倍相机在变倍过程中跟踪定位的方法

Also Published As

Publication number Publication date
CN110365897A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN110149482B (zh) 对焦方法、装置、电子设备和计算机可读存储介质
CN110428366B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108764208B (zh) 图像处理方法和装置、存储介质、电子设备
CN110248096B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN109089047B (zh) 控制对焦的方法和装置、存储介质、电子设备
CN113766125B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110473185B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108810413B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108810418B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN110493527B (zh) 主体对焦方法、装置、电子设备和存储介质
CN110572573B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110349163B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN109712177B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110248101B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110191287B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110661977B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN110660090B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN109559353B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN110881103B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN110490196B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN108848306B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110650288B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN110392211B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110689007B (zh) 主体识别方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant