CN110796041A - 主体识别方法和装置、电子设备、计算机可读存储介质 - Google Patents

主体识别方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN110796041A
CN110796041A CN201910982347.3A CN201910982347A CN110796041A CN 110796041 A CN110796041 A CN 110796041A CN 201910982347 A CN201910982347 A CN 201910982347A CN 110796041 A CN110796041 A CN 110796041A
Authority
CN
China
Prior art keywords
frame image
current frame
image
previous frame
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910982347.3A
Other languages
English (en)
Other versions
CN110796041B (zh
Inventor
贾玉虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910982347.3A priority Critical patent/CN110796041B/zh
Publication of CN110796041A publication Critical patent/CN110796041A/zh
Priority to US16/989,405 priority patent/US11836903B2/en
Priority to EP20195707.3A priority patent/EP3809327A1/en
Priority to PCT/CN2020/121191 priority patent/WO2021073575A1/en
Application granted granted Critical
Publication of CN110796041B publication Critical patent/CN110796041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种主体识别方法和装置、电子设备、计算机可读存储介质，所述方法包括：获取当前帧图像，检测所述当前帧图像中是否存在运动主体；当所述当前帧图像中不存在运动主体时，获取运动状态转移条件；当所述当前帧图像满足所述运动状态转移条件时，获取前一帧图像的目标主体；根据所述前一帧图像的目标主体确定所述当前帧图像的目标主体。通过本方案可以提高主体识别的准确性。

Description

主体识别方法和装置、电子设备、计算机可读存储介质
技术领域
本申请涉及影像技术领域，特别是涉及一种主体识别方法、装置、电子设备、计算机可读存储介质。
背景技术
随着影像技术的发展，人们越来越习惯通过电子设备上的摄像头等图像采集设备拍摄图像或视频，以记录各种信息。摄像头在采集图像过程中需要检测到主体，但拍摄视频时主体往往在运动状态和静止状态之间不断转换，在转换时容易导致对主体的检测不准确。
发明内容
本申请实施例提供一种主体识别方法、装置、电子设备、计算机可读存储介质，可以准确检测图像和视频中的主体。
一种主体识别方法，包括：
获取当前帧图像，检测所述当前帧图像中是否存在运动主体；
当所述当前帧图像中不存在运动主体时，获取运动状态转移条件；
当所述当前帧图像满足所述运动状态转移条件时，获取前一帧图像的目标主体；
根据所述前一帧图像的目标主体确定所述当前帧图像的目标主体。
一种主体识别装置，包括：
检测模块，用于获取当前帧图像，检测所述当前帧图像中是否存在运动主体；
第一获取模块，用于当所述当前帧图像中不存在运动主体时，获取运动状态转移条件；
第二获取模块，用于当所述当前帧图像满足所述运动状态转移条件时，获取前一帧图像的目标主体；
确定模块，用于根据所述前一帧图像的目标主体确定所述当前帧图像的目标主体。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取当前帧图像，检测所述当前帧图像中是否存在运动主体；
当所述当前帧图像中不存在运动主体时，获取运动状态转移条件；
当所述当前帧图像满足所述运动状态转移条件时，获取前一帧图像的目标主体；
根据所述前一帧图像的目标主体确定所述当前帧图像的目标主体。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
获取当前帧图像，检测所述当前帧图像中是否存在运动主体；
当所述当前帧图像中不存在运动主体时，获取运动状态转移条件；
当所述当前帧图像满足所述运动状态转移条件时，获取前一帧图像的目标主体；
根据所述前一帧图像的目标主体确定所述当前帧图像的目标主体。
上述主体识别方法，通过获取当前帧图像，检测所述当前帧图像中是否存在运动主体，当所述当前帧图像中不存在运动主体时，获取运动状态转移条件，当所述当前帧图像满足所述运动状态转移条件时，获取前一帧图像的目标主体，根据所述前一帧图像的目标主体确定所述当前帧图像的目标主体，可得到更准确的目标主体，提高主体识别的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理电路的示意图；
图2为一个实施例中主体识别方法的流程图；
图3为一个实施例中检测当前帧图像中是否存在运动主体的流程图；
图4为一个实施例中检测当前帧图像的状态的流程图；
图5为另一个实施例中检测当前帧图像的状态的流程图；
图6为一个实施例中判断当前帧图像是否处于晃动状态的示意图；
图7为一个实施例中生成跟踪点对的流程图；
图8为一个实施例中根据跟踪点对对上一帧图像进行校正的示意图；
图9为一个实施例中根据匹配点对对上一帧图像进行校正的示意图；
图10为一个实施例中根据跟踪点对和匹配点对对上一帧图像进行校正的示意图
图11为一个实施例中主体分割图像和分割输出图的示意图；
图12为一个实施例中根据前一帧图像的目标主体确定当前帧图像的目标主体的流程图；
图13为一个实施例中根据前一帧图像的主体分割图像或目标二值图像确定当前帧图像的目标主体区域的流程图；
图14为一个实施例中根据前一帧图像的主体分割图像和主体区域确定当前帧图像的目标主体区域的示意图；
图15为一个实施例中根据前一帧图像的目标二值图像和主体区域确定当前帧图像的目标主体区域的示意图；
图16为一个实施例中主体识别的示意图；
图17为一个实施例中主体识别装置的结构框图；
图18为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一像素值向量称为第二像素值向量，且类似地，可将第二像素值向量称为第一像素值向量。第一像素值向量和第二像素值向量两者都是像素值向量，但其不是同一像素值向量。
本申请实施例提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图1所示，图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定和/或成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括具有一个或多个透镜112和图像传感器114的照相机。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取用图像传感器114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。姿态传感器120接口可以利用SMIA(Standard Mobile ImagingArchitecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器114也可将原始图像数据发送给姿态传感器120，传感器120可基于姿态传感器120接口类型把原始图像数据提供给ISP处理器140，或者姿态传感器120将原始图像数据存储到图像存储器130中。
ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器140还可从图像存储器130接收图像数据。例如，姿态传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器160可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。
ISP处理器140确定的统计数据可发送给控制逻辑器150单元。例如，统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。
在一个实施例中，通过成像设备(照相机)110中的透镜112和图像传感器114获取当前帧图像，并将当前帧图像发送至ISP处理器140。ISP处理器140接收到当前帧图像后，检测当前帧图像中是否存在运动主体。当ISP处理器140检测到当前帧图像中不存在运动主体时，获取运动状态转移条件，并进一步检测当前帧图像是否满足运动状态转移条件。当ISP处理器140检测到当前帧图像满足运动状态转移条件时，获取前一帧图像的目标主体，根据前一帧图像的目标主体确定当前帧图像的目标主体，从而得到更准确的目标主体，提高主体识别的准确性。
ISP处理器获取到当前帧图像的目标主体之后，将该目标主体发送至控制逻辑器150。控制逻辑器150获取到目标主体之后，可以控制成像设备(照相机)110中的透镜112进行移动，对焦至目标主体对应的位置上，从而可以获取目标主体更加清晰的下一帧图像，并将下一帧图像发送至ISP处理器140。ISP处理器140接收到下一帧图像之后，可以将当前帧图像作为上一帧图像，将下一帧图像作为当前帧图像，执行检测当前帧图像中是否存在运动主体，当当前帧图像中不存在运动主体时，获取运动状态转移条件，当当前帧图像满足运动状态转移条件时，获取前一帧图像的目标主体，根据前一帧图像的目标主体确定当前帧图像的目标主体，从而可以生成目标主体更加清晰的目标视频。
图2为一个实施例中主体识别方法的流程图。如图2所示，该主体识别方法包括：
步骤202，获取当前帧图像，检测当前帧图像中是否存在运动主体。
其中，当前帧图像指的是当前时刻获取的图像。当前帧图像可以是RGB(Red，Green，Blue)图像、灰度图像、深度图像、YUV图像中的Y分量所对应的图像等其中的任意一种。其中，YUV图像中的“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。运动主体是指处于运动状态的主体。
具体地，电子设备的ISP处理器可获取当前帧图像，可对当前帧图像进行滤波处理，以去除噪声。接着，ISP处理器可检测去噪后的当前帧图像中是否存在运动主体。
步骤204，当当前帧图像中不存在运动主体时，获取运动状态转移条件。
其中，运动状态转移是指运动主体由运动转为静止状态。
具体地，当电子设备的ISP处理器检测到当前帧图像中不存在运动主体时，ISP处理器可获取运动状态转移条件。进一步地，该运动状态转移条件包括：当前帧图像中不存在运动主体、前一帧图像的主体分割图像占前一帧图像的比例大于比例阈值，以及前一帧图像中存在运动主体。
步骤206，当当前帧图像满足运动状态转移条件时，获取前一帧图像的目标主体。
其中，前一帧图像指的是与当前帧图像相邻的且在上一时刻获取的图像。前一帧图像均可以是RGB(Red，Green，Blue)图像、灰度图像、深度图像、YUV图像中的Y分量所对应的图像等其中的任意一种。
具体地，电子设备的ISP处理器检测当前帧图像是否满足运动状态转移条件。当ISP处理器检测到当前帧图像满足运动状态转移条件时，获取前一帧图像的目标主体。
在本实施例中，当前帧图像和前一帧图像均可以通过电子设备拍摄得到。电子设备可以设置摄像头，设置的摄像头的数量可以是一个或者多个。例如，设置1个、2个、3个、5个等，在此不做限定。摄像头设置于电子设备的形式不限，例如，可以是内置于电子设备的摄像头，也可以外置于电子设备的摄像头；可以是前置摄像头，也可以是后置摄像头。
当前帧图像与前一帧图像可以由电子设备中的同一个摄像头拍摄得到，也可以由不同的摄像头拍摄得到，不限于此。电子设备上的摄像头可以为任意类型的摄像头。例如，摄像头可以是彩色摄像头、黑白摄像头、深度摄像头、长焦摄像头、广角摄像头等，不限于此。
相对应地，通过彩色摄像头获取彩色图像，即RGB图像，通过黑白摄像头获取灰度图像，通过深度摄像头获取深度图像，通过长焦摄像头获取长焦图像，通过广角摄像头获取广角图像，不限于此。电子设备中的摄像头可以是相同类型的摄像头，也可以是不同类型的摄像头。例如，可以均是彩色摄像头，也可以均是黑白摄像头；可以其中的一个摄像头为长焦摄像头，其他的摄像头为广角摄像头，不限于此。
具体地，电子设备可以按照摄像头拍摄时间的先后顺序，将拍摄得到的各个图像存储于先入先出队列中，并从先入先出队列中获取当前帧图像和前一帧图像。
先入先出队列指的是先存储的图像先取出。电子设备先从先入先出队列中获取前一帧图像，再从先入先出队列中获取当前帧图像。
在另外一个实施例中，获取当前拍摄时刻和上一拍摄时刻；根据当前拍摄时刻获取当前帧图像；根据上一拍摄时刻获取前一帧图像。
电子设备获取当前拍摄时刻，可以获取拍摄频率；根据当前拍摄时刻和拍摄频率获取上一拍摄时刻。例如，当前拍摄时刻为15:45:56.200，拍摄频率10帧/s，即每100ms拍摄一帧图像，则上一拍摄时刻为15:45:56.100。根据当前拍摄时刻获取当前帧图像，根据上一拍摄时刻获取前一帧图像。
在一个实施例中，可以将当前帧图像和前一帧图像进行下采样处理，得到尺寸更小的当前帧图像和前一帧图像，从而节约了计算机处理的运算量。
在一个实施例中，可以将当前帧图像和前一帧图像均进行滤波处理，可以滤除当前帧图像和前一帧图像含有大量纹理细节的复杂背景所携带的高频噪声，或者滤除图像下采样带来的高频噪声，获取更准确的当前帧图像和前一帧图像，从而防止主体检测的误检。其中，滤波处理可以是高斯滤波处理、平滑滤波处理、双边滤波处理等其中的至少一种。下采样指的是在图像中间隔若干个像素点取样一次，从而得到新的图像。
步骤208，根据前一帧图像的目标主体确定当前帧图像的目标主体。
具体地，电子设备的ISP处理器获取前一帧图像的目标主体，基于前一帧图像的目标主体预测当前帧图像的主体区域。接着，可将当前帧图像的主体区域输入主体分割网络，得到当前帧图像中的目标主体。其中，主体分割网络指的是对输入的图像区域进行分割，得到主体的网络。
可以理解的是，传统的主体检测方法，当摄像头移动或者被拍摄物体移动时，很难检测到图像中的主体或者检测得到的主体不准确。
而本实施例中的图像识别方法，通过获取当前帧图像，检测所述当前帧图像中是否存在运动主体，当所述当前帧图像中不存在运动主体时，获取运动状态转移条件，当所述当前帧图像满足所述运动状态转移条件时，获取前一帧图像的目标主体，根据所述前一帧图像的目标主体确定所述当前帧图像的目标主体，可得到更准确的目标主体，提高主体识别的准确性。
在一个实施例中，如图3所示，该检测当前帧图像中是否存在运动主体，包括：
步骤302，检测当前帧图像的状态，当前帧图像的状态包括非晃动状态和晃动状态。
具体地，电子设备的ISP处理器可检测当前帧图像的状态，以确定当前帧图像处于晃动状态或者非晃动状态。
步骤304，当当前帧图像处于非晃动状态时，对当前帧图像进行背景减除处理，得到初始二值图像。
其中，背景减除处理是一种运动对象检测算法，基本思想是利用背景的参数模型来近似背景图像的像素值，将当前帧图像与背景图像进行差分比较实现对运动区域的检测，其中区别较大的像素区域被认为是运动区域(主体区域)，而区别较小的像素区域被认为是背景区域。二值图像是指图像中所包含的像素点的像素值用两个数值的其中一个进行表示。例如，两个数值可以是0、255，即可以将运动主体所包含的像素点的像素值设置为0，而当前帧图像中的其他区域所包含的像素点的像素值设置为255；两个数值也可以是0、1；两个数值还可以设置成其他的数值，不限于此。
具体地，当当前帧图像处于非晃动状态时，电子设备的ISP处理器对当前帧图像进行背景减除处理，得到初始二值图像。
在本实施例中，对当前帧图像进行背景减除处理包括，通过背景检测模型对当前帧图像进行背景检测，得到初始二值图像，该初始二值图像中包括背景区域和主体区域。将当前帧图像和当前帧图像的背景区域进行差分处理，根据差分结果确定当前帧图像的主体区域。差分结果指的是差分处理后得到的结果。差分结果可以是一个或者多个主体。可以理解的是，当前帧图像中存在背景区域和主体区域。将当前帧图像和当前帧图像的背景区域进行差分处理，根据差分结果即可得到当前帧图像的主体区域。
其中，背景检测模型包括第一背景检测模型和第二背景检测模型。当通过第一背景检测模型对当前帧图像进行背景检测时，则第二背景检测模型为候选的背景检测模型。当通过第二背景检测模型对当前帧图像进行背景检测时，则第一背景检测模型为候选的背景检测模型。第一背景检测模型和第二背景检测模型均可以是单高斯模型，既保证了主体识别的精度，又避免了较高的计算量。
步骤306，根据初始二值图像检测当前帧图像中的运动主体。
具体地，电子设备的ISP处理器对初始二值图像进行形态学处理。其中，形态学处理包括腐蚀、膨胀等。按数学方面来说，膨胀或者腐蚀操作就是将图像(或图像的一部分区域，称之为A)与核(称之为B)进行卷积。核可以是任何的形状和大小，它拥有一个单独定义出来的参考点，称为锚点(anchorpoint)。例如，核可以是一个小的中间带有参考点和实心的正方形，核也可以是一个小的中间带有参考点和实心的圆盘。
膨胀指的是将B与A进行卷积，即计算B覆盖的区域的像素点的最大值，并把这个最大值赋值给参考点指定的像素。通过膨胀可以使得图像中的高亮区域逐渐增大。
腐蚀指的是将B与A进行卷积，即计算B覆盖的区域的像素点的最小值，并把这个最大值赋值给参考点指定的像素。通过腐蚀可以使得图像中的暗的区域逐渐增大。
进一步地，电子设备的ISP处理器对检测出背景区域的当前帧图像先进行腐蚀处理，再进行膨胀处理，可以去除该初始二值图像中的噪声，并减少该初始二值图像中的空洞。接着，对经过形态学处理后的初始二值图像做连通域处理，以确定当前帧图像中的运动主体。
在本实施例中，通过检测当前帧图像的状态，当前帧图像的状态包括非晃动状态和晃动状态，当当前帧图像处于非晃动状态时，对当前帧图像进行背景减除处理，得到初始二值图像，根据初始二值图像检测当前帧图像中的运动主体，可通过二值图像更加准确地识别出当前帧图像中的目标主体，提高了主体识别的准确性。
在一个实施例中，如图4所示，该检测当前帧图像的状态，包括：
步骤402，获取当前帧图像的前一帧图像。
步骤404，将当前帧图像与前一图像帧进行对比，得到当前帧图像的场景变化值，场景变化值表示当前帧图像与前一帧图像的场景变化程度。
其中，场景变化值可以通过AF(Automatic Focus，自动对焦)模块获取。
具体地，AF模块获取当前帧图像所包含的各个像素点的像素值，以及前一帧图像所包含的各个像素点的像素值；当前帧图像的各个像素点与前一帧图像的各个像素点一一对应；分别将当前帧图像的每个像素点的像素值与前一帧图像对应的像素点的像素值进行差分处理，得到各个差值；统计各个差值的总和，并将该总和作为场景变化值。
像素点的像素值可以是灰度值，用于表示该像素点的亮度。当灰度值越高，表示该像素点的亮度越亮；当灰度值越低，表示该像素点的亮度越暗。例如，像素点的灰度值为255，即白色，该像素点的亮度最亮；像素点的灰度值为0，即黑色，该像素点的亮度最暗。通过统计当前帧图像和前一帧图像的亮度变化之和，作为当前帧图像与前一帧图像的场景变化程度。当得到的总和越大，表示当前帧图像与前一帧图像的场景变化程度越大；当得到的总和越小，表示当前帧图像与前一帧图像的场景变化程度越小。
当前帧图像所包含的像素点的数量与前一帧图像所包含的像素点的数量相同，且一一对应。例如，当前帧图像的第5行第6列的像素点对应前一帧图像的第5行第6列的像素点；当前帧图像的第100行第50列的像素点对应前一帧图像的第100行第50列的像素点。
电子设备的ISP处理器将当前帧图像的各个像素点的像素值与前一帧图像的各个像素点的像素值进行差分处理，得到各个差值。例如，当前帧图像的第5行第6列的像素点的像素值为150，对应的前一帧图像的第5行第6列的像素点的像素值为120，则得到的差值为150-120＝30；当前帧图像的第100行第50列的像素点的像素值为50，对应的前一帧图像的第100行第50列的像素点的像素值为75，则得到的差值为50-75＝-25，可以取该差值的绝对值，再进行求和处理。
步骤406，当场景变化值大于场景阈值时，判定当前帧图像处于晃动状态。
步骤408，当场景变化值小于或等于场景阈值时，判定当前帧图像处于非晃动状态。
其中，场景阈值是预先设置的场景变化的临界值。
具体地，电子设备的ISP处理器获取场景阈值，该将得到的场景变化值与场景阈值进行比较，当场景变化值大于场景阈值时，判定当前帧图像处于晃动状态。当场景变化值小于或等于场景阈值时，判定当前帧图像处于非晃动状态
上述主体识别方法，获取当前帧图像的前一帧图像，将当前帧图像与前一帧图像进行比较，得到当前帧图像对应的场景变化值；当场景变化值大于阈值时，表示当前帧图像与前一帧图像的场景变化程度较大，则当前帧图像的处于晃动状态，可以提高判断当前帧图像是否处于晃动状态的准确性。
在一个实施例中，如图5所示，该检测当前帧图像的状态，包括：
步骤502，获取当前帧图像的前一帧图像。
步骤504，将当前帧图像与前一帧图像进行差分处理，并对差分处理后的图像进行二值化处理，得到差分二值图像。
步骤506，确定差分二值图像中各像素点的总值。
其中，差分处理指的是将当前帧图像的各个像素点的像素值与前一帧图像对应的像素点的像素值进行相减。
具体地，电子设备的ISP处理器获取当前帧图像的前一帧图像。接着，可获取当前帧图像所包含的各个像素点的像素值，以及前一帧图像所包含的各个像素点的像素值；当前帧图像的各个像素点与前一帧图像的各个像素点一一对应；分别将当前帧图像的每个像素点的像素值与前一帧图像对应的像素点的像素值进行差分处理，得到各个差值；当差值小于差值阈值时，生成对应的第一数值；当差值大于或等于差值阈值时，生成对应的第二数值；第二数值大于第一数值；统计生成的第一数值和第二数值的总值。
步骤508，当总值大于总值阈值时，判定当前帧图像处于晃动状态。
步骤510，当总值小于或等于总值阈值时，判定当前帧图像处于非晃动状态。
其中，差值是指当前帧图像的每个像素点的像素值与前一帧图像对应的像素点的像素值进行差分处理得到的差值。总值是指差分二值图像中各个像素点的像素值的总和。
具体地，当差值小于差值阈值时，可以认为该位置的像素点在前一帧图像和当前帧图像相同，即该位置的像素点在前一帧图像和当前帧图像并未发生晃动，将该位置的像素点设置为第一数值。当差值大于或等于差值阈值时，可以认为该位置的像素点在前一帧图像和当前帧图像不同，即该位置的像素点在前一帧图像和当前帧图像发生了晃动，将该位置的像素点设置为第二数值。
例如，当前帧图像的第10行第48列的像素点的像素值为40，前一帧图像的第10行第48列的像素点的像素值为45，差值阈值为20，则处于第10行第48列的像素点的差值为5，小于差值阈值20，可以认为处于第10行第48列的像素点在前一帧图像和当前帧图像相同，即处于第10行第48列的像素点在前一帧图像和当前帧图像并未发生晃动，将差分二值图像中的第10行第48列的像素点的像素值设置为第一数值。
又如，当前帧图像的第55行第80列的像素点的像素值为100，前一帧图像的第55行第80列的像素点的像素值为220，差值阈值为20，则处于第55行第80列的像素点的差值为120，大于差值阈值20，可以认为处于第55行第80列的像素点在前一帧图像和当前帧图像不同，即处于第55行第80列的像素点在前一帧图像和当前帧图像发生了晃动，将差分二值图像中的第55行第80列的像素点的像素值设置为第二数值。
在一个实施例中，第一数值可以是0，第二数值可以是1。在另一个实施例中，第一数值可以是0，第二数值可以是255。在其他实施例中，第一数值和第二数值还可以设置为其他数值，并不限定。
差分二值图像中的各个像素点用第一数值或者第二数值进行表示，则统计生成的第一数值和第二数值的总值，即是差分二值图像中各个像素点的总值。当差分二值图像中各个像素点的总值大于总值阈值时，表示当前帧图像与前一帧图像的各个像素点存在较大差别，可以认为当前帧图像处于晃动状态。
上述主体识别方法，将当前帧图像和前一帧图像进行差分处理，并对差分处理后的图像进行二值化处理，得到差分二值图像；统计差分二值图像中各个像素点的总值；当总值大于总值阈值时，表示当前帧图像与前一帧图像的各个像素点存在较大差别，认为当前帧图像处于晃动状态；当总值小于或等于总值阈值时，表示当前帧图像与前一帧图像的各个像素点存在较小差别，判定当前帧图像处于非晃动状态，从而可以提高判断当前帧图像是否处于晃动状态的准确性。
在一个实施例中，可以首先对当前帧图像和前一帧图像进行滤波处理，获取更准确的图像。其中，滤波处理可以是高斯滤波、平滑滤波、双边滤波等其中的至少一种。
在一个实施例中，可以对差分二值图像进行形态学处理，得到更准确的差分二值图像。其中，形态学处理包括腐蚀、膨胀等。通过对差分二值图像进行形态学处理，可以去除差分二值图像中的噪声，并减少差分二值图像中的空洞。
在一个实施例中，如图6所示，获取当前帧图像602和前一帧图像604，对当前帧图像602和前一帧图像604执行步骤606，即高斯滤波处理，得到更准确的当前帧图像和前一帧图像；将高斯滤波处理后的当前帧图像和前一帧图像执行步骤608，进行差分处理，并对差分处理后的图像进行二值化处理，得到差分二值图像；对差分二值图像执行步骤610，进行形态学处理，得到更准确的差分二值图像；执行步骤612，对形态学处理后的差分二值图像统计各个像素点的总值；执行步骤614，判断该总值是否大于总值阈值；当该总值大于总值阈值时，当前帧图像处于晃动状态616；当该总值小于或等于总值阈值时，当前帧图像处于非晃动状态618。
在一个实施例中，该检测当前帧图像的状态，包括：确定当前帧图像中的各像素点的像素值；基于当前帧图像中的各像素点的像素值，确定当前帧图像的第一像素值向量；第一像素值向量表示当前帧图像的像素值的分布；获取当前帧图像的前一帧图像，并确定前一帧图像中的各像素点的像素值；基于前一帧图像中的各像素点的像素值，确定前一帧图像的第二像素值向量；第二像素值向量表示前一帧图像的像素值的分布；根据第一像素值向量和第二像素值向量确定当前帧图像和前一帧图像之间的向量距离；当向量距离大于距离阈值时，判定当前帧图像处于晃动状态；当向量距离小于或等于距离阈值时，判定当前帧图像处于非晃动状态。
具体地，获取当前帧图像所包含的各个像素点的像素值，可以统计各个像素值所包含的像素点的数量，并生成当前帧图像的像素值直方图。例如，像素值为150的像素点数量为100个，像素值为255的像素点数量为50个。在其他实施例中，还可以生成像素值柱状图，像素值饼状图等，不限于此。
同样地，获取前一帧图像所包含的各个像素点的像素值，可以统计各个像素值所包含的像素点的数量，并生成前一帧图像的像素值直方图。在其他实施例中，还可以生成像素值柱状图，像素值饼状图等，不限于此。
根据当前帧图像的每个像素值所包含的像素点的数量，可以生成当前帧图像的第一像素值向量。第一像素值向量为256维向量，即从像素值0-255。第一像素值向量可以是(10,50,65,……30,56,84)；其中，第一像素值向量中的每个数值表示该像素值所包含的像素点的数量，如10表示像素值为0所包含的像素点的数量为10个，50表示像素值为1所包含的像素点的数量为50个，56表示像素值为254所包含的像素点的数量为56个,84表示像素值为255所包含的像素点的数量为84个。
同样地，根据前一帧图像的每个像素值所包含的像素点的数量，可以生成前一帧图像的第二像素值向量。第二像素值向量也为256维向量，即从像素值0-255。
获取到第一像素值向量和第二像素值向量之后，可以将该第一像素值向量与第二像素值向量进行运算，确定当前帧图像与前一帧图像的向量距离。第一像素值向量用于表示当前帧图像的像素值的分布，像素值用于表示像素点的颜色，即第一像素值向量用于表示当前帧图像的颜色分布。同样地，第二像素值向量用于表示前一帧图像的颜色分布。因此，向量距离用于表示当前帧图像与前一帧图像之间的颜色差异程度。
当向量距离大于距离阈值时，表示当前帧图像与前一帧图像的颜色差异较大，可以认为当前帧图像处于晃动状态。
上述主体识别方法，根据当前帧图像的各个像素点的像素值生成当前帧图像的第一像素值向量；根据前一帧图像的各个像素点的像素值生成前一帧图像的第二像素值向量；根据第一像素值向量和第二像素值向量确定当前帧图像与前一帧图像的颜色差异程度，即获取当前帧图像与前一帧图像的向量距离；当向量距离大于距离阈值时，表示当前帧图像与前一帧图像的颜色差异较大，认为当前帧图像处于晃动状态，可以提高判断当前帧图像是否处于晃动状态的准确性。
在一个实施例中，在根据初始二值图像检测当前帧图像中的运动主体之前，还包括：当当前帧图像处于晃动状态时，获取当前帧图像的前一帧图像，根据当前帧图像对前一帧图像进行校正处理；基于校正处理后的图像对当前帧图像进行背景减除处理，得到初始二值图像。
具体地，当当前帧图像处于晃动状态时，当前帧图像较模糊；当当前帧处于非晃动状态时，即当前帧图像处于静止状态时，当前帧图像较清晰。当电子设备的ISP处理器检测到当前帧图像处于晃动状态时，获取所述当前帧图像和前一帧图像之间的变换矩阵；根据所述变换矩阵对所述前一帧图像进行校正。
在一个实施例中，当电子设备的摄像头处于运动状态时，则摄像头所拍摄的当前帧图像较模糊，即当前帧图像处于晃动状态。在另一个实施例中，当摄像头所拍摄的物体处于运动状态时，则摄像头所拍摄的当前帧图像也较模糊，即当前帧图像处于晃动状态。
变换矩阵用于表示前一帧图像的像素点变换至当前帧图像的像素点的矩阵。例如，前一帧图像中的一个特征点的位置为(200,50)，当前帧图像该特征点对应的特征点的位置为(200,100)，则变换矩阵可以表示前一帧图像的特征点从位于(200,50)的位置变换至当前帧图像位于(200,100)位置的特征点。
具体地，获取前一帧图像中的每个像素点的第一位置坐标；将前一帧图像中的每个像素点的位置坐标与变换矩阵进行相乘，得到对应的每个像素点的第二位置坐标。基于每个像素点的第二位置坐标可以生成校正后的前一帧图像。
第一位置坐标指的是校正之前的前一帧图像的每个像素点的位置坐标。第二位置坐标指的是校正之后的前一帧图像的每个像素点的位置坐标。位置坐标例如(200,50)，表示横坐标为200，纵坐标为50的位置。
在一个实施例中，校正后的前一帧图像中可能存在一些噪点，可以对校正后的前一帧图像进行滤波处理，消除噪点，获取更准确的前一帧图像。其中，滤波处理可以是高斯滤波处理、平滑滤波处理、双边滤波处理等其中的至少一种。
接着，电子设备的ISP处理器根据校正后的前一帧图像更新背景检测模型。其中，背景检测模型包括第一背景检测模型和第二背景检测模型。进一步地，根据校正后的前一帧图像更新第一背景检测模型。第一背景检测模型指的是用于检测图像的背景的模型。第一背景检测模型可以为单高斯模型。第一背景检测模型中可以包括一个或者多个参数，如背景区域的像素值的均值和方差，主体区域的像素值的均值和方差等，不限于此。
校正后的前一帧图像与当前帧图像更接近，则根据校正后的前一帧图像对第一背景检测模型中的各个参数进行更新。通过更新后的第一背景检测模型对当前帧图像进行背景检测，可得到包含第一背景区域和主体区域的初始二值图像。第一背景区域指的是通过第一背景检测模型对当前帧图像进行背景检测得到的背景区域。
类似地，第二背景检测模型也是用于检测图像的背景的模型。第二背景检测模型也可以是单高斯模型。而第一背景检测模型的参数和第二背景检测模型中的参数存在不同。参数例如，背景区域的像素值的均值和方差，主体区域的像素值的均值和方差等。在一个时刻采用其中一个背景检测模型对当前帧图像进行背景检测，则可以将该背景检测模型作为第一背景检测模型，另一个背景检测模型作为第二背景检测模型。
上述方法还包括：
当通过第一背景检测模型检测到的第一背景区域与参考背景不同时，根据校正后的前一帧图像更新第二背景检测模型；根据更新后的第二背景检测模型对当前帧图像进行背景检测，得到包含第二背景区域和主体区域的初始二值图像。
参考背景指的是用于与检测出的背景区域进行比较的背景。参考背景可以通过高斯函数对当前帧图像进行处理得到，也可以获取当前帧图像的预设区域得到，不限于此。第二背景区域指的是通过第二背景检测模型对当前帧图像进行背景检测得到的背景区域。
在一个实施例中，判断检测到的第一背景区域与参考背景是否不同的方式，包括：将检测到的第一背景区域与参考背景进行比较，得到差异度；所述差异度用于表示检测到的第一背景区域与参考背景的差异程度；当差异度大于差异度阈值时，认为检测到的第一背景区域与参考背景不同；当差异度小于或等于差异度阈值时，认为检测到的第一背景区域与参考背景相同。
具体地，可以获取检测到的第一背景区域的每个像素点的像素值，获取参考背景的对应的像素点的像素值；将第一背景区域所包含的每个像素点的像素值与参考背景中对应的像素点的像素值进行相减，得到差值，并取该差值的绝对值；将所有绝对值进行相加，得到总和，则得到的总和可以表示检测到的第一背景区域与参考背景的差异程度，即差异度。
当差异度大于差异度阈值时，表示第一背景区域与参考背景的差异较大，认为第一背景区域与参考背景不同；当差异度小于或等于差异度阈值时，表示第一背景区域与参考背景的差异较小，认为检测到的第一背景区域与参考背景相同。
当第一背景检测模型检测到的第一背景区域与参考背景不同时，表示该第一背景检测模型所检测到的第一背景区域不准确，则更新第二背景检测模型，通过更新后的第二背景检测模型对当前帧图像进行背景检测，得到当前帧图像的初始二值图像。
传统的背景检测方法，通常采用GMM高斯混合模型进行检测，计算量较大。而本实施例中，当第一背景检测模型和第二背景检测模型均为单高斯模型时，并且在任意时刻只有其中一个模型对当前帧图像进行背景检测。单高斯模型的计算量小于GMM高斯混合模型的计算量。当第一背景检测模型检测到的第一背景区域与参考背景不同时，表示第一背景检测模型检测出的第一背景区域不准确，则通过更新后的第二背景检测模型对当前帧图像进行背景检测，既可以提高检测到的背景区域的准确性，从而提高主体检测的准确性，又避免了高计算量。
在一个实施例中，上述方法还包括：获取第一背景检测模型的更新系数和第二背景检测模型的更新系数；更新系数为背景检测模型更新的程度；将第一背景检测模型的更新系数和第二背景检测模型的更新系数进行比较，并将第一背景检测模型和第二背景检测模型中的更新系数大的一个执行对当前帧图像进行背景检测步骤。
更新系数指的是背景检测模型的更新的程度。更新系数越大，表示该背景检测模型更新的程度越大，则对当前帧图像进行背景检测得到的背景区域越准确。
因此，可以实时获取第一背景检测模型的更新系数和第二背景检测模型的更新系数；将第一背景检测模型的更新系数和第二背景检测模型的更新系数进行比较，并将第一背景检测模型和第二背景检测模型中的更新系数大的一个执行对当前帧图像进行背景检测步骤。
在一个实施例中，第一背景检测模型对当前帧图像进行背景检测，也就是说，第二背景检测模型为候选的背景检测模型，当第一背景检测模型的更新系数大于或等于第二背景检测模型的更新系数时，则仍然通过第一背景检测模型对当前帧图像进行背景检测，第二背景检测模型仍然为候选的背景检测模型；当第一背景检测模型的更新系数小于第二背景检测模型的更新系数时，则通过第二背景检测模型对当前帧图像进行背景检测，也就是说，第一背景检测模型为候选的背景检测模型。
在另一个实施例中，第二背景检测模型对当前帧图像进行背景检测，也就是说，第一背景检测模型为候选的背景检测模型，当第二背景检测模型的更新系数大于或等于第一背景检测模型的更新系数时，则仍然通过第二背景检测模型对当前帧图像进行背景检测，第一背景检测模型仍然为候选的背景检测模型；当第二背景检测模型的更新系数小于第一背景检测模型的更新系数时，则通过第一背景检测模型对当前帧图像进行背景检测，也就是说，第二背景检测模型为候选的背景检测模型。
上述主体识别方法，获取第一背景检测模型的更新系数和第二背景检测模型的更新系数，将第一背景检测模型的更新系数和第二背景检测模型的更新系数进行比较，并将第一背景检测模型和第二背景检测模型中的更新系数大的一个执行对当前帧图像进行背景检测步骤，可以更准确的检测出当前帧图像的背景区域，从而更准确地得到当前帧图像的初始二值图像。
在另一个实施例中，可以将当前帧图像与上一帧图像进行差分处理，从而检测出当前帧图像的背景区域，可以节约计算量。
在另一个实施例中，还可以通过其他的背景检测模型，如ViBe模型对当前帧图像进行背景检测，可以得到更准确的背景区域，从而得到更准确的初始二值图像。
在一个实施例中，该根据当前帧图像对前一帧图像进行校正处理，包括：从当前帧图像和前一帧图像获取目标点对；基于目标点对确定当前帧图像和前一帧图像之间的变换矩阵；基于变换矩阵对前一帧图像进行校正处理。
其中，目标点对指的是当前帧图像的一个点与上一帧图像对应的点所组成一对点。目标点对所包含的两个点可以是像素点，也可以是包含若干个像素点的区域，将该区域作为特征点，还可以分别从当前帧图像和上一帧图像中随机获取的两个点，不限于此。例如，当前帧图像的第5行第29列的像素点与上一帧图像的第5行第29列的像素点组成目标点对；当前帧图像中的鼻尖特征点与上一帧图像中的鼻尖特征点组成目标点对。
目标点对的数量可以为一对，也可以为多对，并不限定。可以理解的是，目标点对的数量越多，则基于目标点对得到的变换矩阵越准确。
具体地，获取目标点对中所包含的两个点的位置，根据每一对目标点对中所包含的两个点的位置，得到当前帧图像和上一帧图像之间的变换矩阵。
可以预先设置变换矩阵中的变量，当变换矩阵中的变量为4时，则需要4个方程式，即需要四个目标点对，将每一对目标点对中的上一帧图像中的点的位置与该预设的变换矩阵进行相乘等于当前帧图像中的点的位置，从而得到四个方程式，可以解出变换矩阵中预设的4个变量，得到变换矩阵。接着，获取前一帧图像中的每个像素点的第一位置坐标；将前一帧图像中的每个像素点的位置坐标与变换矩阵进行相乘，得到对应的每个像素点的第二位置坐标。基于每个像素点的第二位置坐标可以生成校正后的前一帧图像。
第一位置坐标指的是校正之前的前一帧图像的每个像素点的位置坐标。第二位置坐标指的是校正之后的前一帧图像的每个像素点的位置坐标。位置坐标例如(200,50)，表示横坐标为200，纵坐标为50的位置。
上述主体识别方法，当检测到当前帧图像处于晃动状态时，从当前帧图像和上一帧图像中获取目标点对；基于目标点对可以得到更准确的当前帧图像和上一帧图像之间的变换矩阵。
在一个实施例中，目标点对包括跟踪点对和匹配点对中的至少一种。
目标点对可以仅包括跟踪点对，也可以仅包括匹配点对，还可以包括跟踪点对和匹配点对。
在一个实施例中，如图7所示，该目标点对包括跟踪点对和匹配点对中的至少一种，跟踪点对的生成方式包括：
步骤702，根据预设方式对当前帧图像区域进行划分，获得当前帧图像对应的子区域。
其中，预设方式是指预先设置的划分方式。该预设方式可以是将当前图像划分为预设数量的子区域。
具体地，电子设备的ISP处理器可按照预设处理方式将当前帧图像划分为预设数量的子区域，从而获得当前帧图像对应的预设数量的子区域。
步骤704，根据预设方式对前一帧图像进行划分，得到当前帧图像各子区域分别对应的前一帧图像子区域。
具体地，按照该相同的预设方式对前一帧图像进行划分，得到前一帧图像对应的预设数量的子区域。使用相同的划分方式，可以将前一帧图像和当前帧图像划分为相同数量的子区域，并且使得当前帧图像得到的各个子区域与前一帧图像的各个子区域一一对应。例如，当前帧图像划分为九宫格，则前一帧图像划分为相同的九宫格。可以理解的是，划分的子区域的数量越多，则将图像划分得越细，获取跟踪点对越准确。
步骤706，分别从当前帧图像对应的各子区域和前一帧图像对应的各子区域中获取预设数量的随机点。
具体地，可以从各个子区域中进行随机提取。在各个子区域中提取的随机点的数量可以为一个，也可以为多个。
例如，从当前帧图像的第1个子区域中随机提取10个随机点，从前一帧图像的第1个子区域中随机提取10个随机点；从当前帧图像中的第3个子区域中随机提取5个随机点，从前一帧图像的第3个子区域中随机提取5个随机点。
步骤708，根据当前帧图像对应的各子区域中的随机点和前一帧图像对应的各子区域中的随机点生成跟踪点对。
当当前帧图像的子区域中提取一个随机点时，前一帧图像对应的子区域也提取一个随机点，则将所提取的两个随机点组成跟踪点对。当当前帧图像的子区域中提取N个随机点时，前一帧图像对应的子区域也提取至少两个随机点，则可以将当前帧图像的子区域中随机提取的第1个随机点与前一帧图像对应的子区域中随机提取的第1个随机点组成跟踪点对；将当前帧图像的子区域中随机提取的第n个随机点与前一帧图像对应的子区域中随机提取的第n个随机点组成跟踪点对。
上述主体识别方法，通过提取随机点生成跟踪点对，提高了目标点对的随机性，避免了弱纹理区域的目标点对数量的不足，造成后续获取的变换矩阵准确性较低的问题，这样提取的目标点对全局分布性更好，可以提高变换矩阵的准确性，从而提高主体识别的准确性。
在一个实施例中，匹配点对的生成方式，包括分别提取当前帧图像和前一帧图像的特征点；根据当前帧图像中的特征点和前一帧图像中的特征点，生成匹配点对。
其中，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。特征点例如眼睛、鼻尖、嘴角、痣、物体的中心等，不限于此。
具体地，检测当前帧图像中的各个像素点的灰度值，当相邻的像素点的灰度值的差值大于阈值时，可以将相邻的像素点所在的区域作为特征点。将当前帧图像中提取的特征点与前一帧图像的对应的特征点组成匹配点对。一般地，匹配点对的数量越多，则后续根据匹配点对得到的变换矩阵越准确。
在一个实施例中，可以根据当前帧图像中的特征点，从前一帧图像中提取对应的特征点。在另外一个实施例中，也可以检测前一帧图像中的各个像素点的灰度值，当相邻的像素点的灰度值的差值大于阈值时，可以将相邻的像素点所在的区域作为特征点，并将前一帧图像中的特征点与当前帧图像中的特征点建立对应关系。
在一个实施例中，可以获取目标区域；从当前帧图像的目标区域中提取特征点；从前一帧图像的目标区域中提取对应的特征点。
可以理解的是，目标区域可以是图像的中心区域。一般地，图像中的主体或者用户所拍摄的对象处于图像的中心区域。则从当前帧图像的中心区域中提取特征点，以及从前一帧图像的中心区域中提取特征点，不仅可以节约电子设备的计算量，还可以提高提取的特征点的准确性。
上述主体识别方法，从当前帧图像提取特征点，并从前一帧图像中提取对应的特征点；根据当前帧图像和前一帧图像提取的特征点生成匹配点对，提取的特征点可以更准确地表达当前帧图像和前一帧图像的特征，可以提高变换矩阵的准确性，从而提高主体识别的准确性。
在一个实施例中，根据当前帧图像对应的各子区域中的随机点和前一帧图像对应的各子区域中的随机点生成跟踪点对，包括：对当前帧图像和前一帧图像进行光流跟踪，得到当前帧图像和前一帧图像的运动矢量；通过运动矢量将前一帧图像中的随机点映射到当前帧图像中，生成跟踪点对。
其中，跟踪点对指的是通过光流跟踪得到的目标点对。
在视频序列中，物体在帧间移动可表示为物体的运动速度，该运动速度即为光流。运动矢量指的是物体在当前帧图像和前一帧图像中的相对位移。对当前帧图像的每个子区域的随机点和前一帧图像的每个子区域的随机点进行光流跟踪，可以通过求解物体的运动方程得到当前帧图像和前一帧图像的运动矢量。其中物体可以是一个像素点，也可以是由多个像素点组成的区域，不限于此。
运动矢量可以获取物体在当前帧图像和前一帧图像中的相对位移，通过运动矢量可以将前一帧图像中的随机点映射至当前帧图像中，从而找到对应的当前帧图像中的随机点，将前一帧图像的随机点和当前帧图像中对应的随机点组成跟踪点对。
上述主体识别方法，对当前帧图像和前一帧图像进行光流跟踪，得到当前帧图像和前一帧图像的运动矢量；通过运动矢量将前一帧图像的随机点映射至当前帧图像中，可以生成更准确的跟踪点对。
在一个实施例中，该主体识别方法还包括：对当前帧图像中的随机点和前一帧图像中的随机点进行矢量滤波处理，得到当前帧图像中的目标随机点和前一帧图像中的目标随机点。通过运动矢量将前一帧图像中的随机点映射到当前帧图像中，生成跟踪点对，包括：通过运动矢量将前一帧图像中的目标随机点映射到当前帧图像中，生成跟踪点对。
具体地，矢量滤波可以包括模值滤波和角度滤波。通过矢量滤波可以去除一些错误的随机点。进一步地，当一个图像中的随机点被去除时，去除另一个图像中对应的随机点。
在本实施例中，目标随机点可以是图像中背景区域的随机点。通过矢量滤波处理去除当前帧图像中主体区域的随机点，得到背景区域的随机点，即可得到当前帧图像中的目标随机点。按照相同的处理方式，可得到前一帧图像中的背景区域的随机点，即前一帧图像中的目标随机点。
上述主体识别方法，对当前帧图像的随机点和前一帧图像的随机点进行矢量滤波，可以去除一些错误的随机点，从而获取更加准确的跟踪点对。
在另一个实施例中，可以首先对当前帧图像和前一帧图像进行光流跟踪，从而得到跟踪点对之后，对跟踪点对进行矢量滤波，去除错误的跟踪点对，从而得到更准确的跟踪点对。
在一个实施例中，如图8所示，对当前帧图像802和前一帧图像804进行同样划分，得到当前帧的各个子区域和前一帧图像的各个子区域；分别从当前帧图像的各个子区域与前一帧图像的各个子区域提取目标数量的随机点806。执行步骤808，对当前帧图像的每个子区域的随机点和前一帧图像的每个子区域的随机点进行光流跟踪，得到当前帧图像和前一帧图像的运动矢量。通过运动矢量将前一帧图像的随机点映射至当前帧图像中，生成第一跟踪点对。执行步骤810，对第一跟踪点对中所包含的随机点进行矢量滤波，去除错误的随机点，从而获取当前帧图像的目标随机点和前一帧图像的目标随机点。将当前帧图像的目标随机点和前一帧图像的目标随机点进行组合，即可得到第二跟踪点对，即跟踪点对812。基于跟踪点对812得到当前帧图像和前一帧图像之间的变换矩阵814。执行步骤816，根据变换矩阵814对前一帧图像804进行校正，得到校正后的前一帧图像818。
在一个实施例中，匹配点对的生成方式还包括：根据当前帧图像的每一个特征点生成对应的特征描述子；根据前一帧图像的每一个特征点生成对应的特征描述子；将当前帧图像对应的特征描述子和前一帧图像对应的特征描述子进行匹配，得到匹配点对。
其中，特征描述子用于表示该特征点的特征。例如，特征描述子可以表示该特征点的像素值，该特征点的方向，该特征点的领域信息等，不限于此。通过获取该特征点的像素值，该特征点的方向，该特征点的领域信息等数据，从而生成该特征点的特征描述子。
特征描述子可以是ORB特征描述子＝Fast特征点(角点)提取+BRIEF特征描述；也可以是SIFT(Scale-invariant feature transform，尺度不变特征变换)特征描述子；还可以是其他的特征描述子，不限于此。
具体地，将当前帧图像的特征描述子分别与前一帧图像的特征描述子进行特征的匹配，例如，可以匹配特征点的像素值、特征点的方向，特征点的领域信息等其中的至少一种。匹配的特征越多，则得到的匹配点对越准确。
上述主体识别方法，将当前帧图像中每个特征点的特征描述子，与前一帧图像中每个特征点的特征描述子进行匹配，可以生成更准确的匹配点对。
在一个实施例中，可以采用RANSAC(Random Sample Consensus)算法对匹配点对进行处理，从而去除一些匹配错误的匹配点对，获取更加准确的匹配点对。
在一个实施例中，如图9所示，从当前帧图像902提取特征点，并从前一帧图像904中提取对应的特征点。执行步骤906，根据当前帧图像902的每一个特征点生成对应的特征描述子，根据前一帧图像904提取的每一个特征点生成对应的特征描述子。执行步骤908，将当前帧图像的特征描述子与前一帧图像对应的特征描述子进行特征匹配，得到第一匹配点对。在一个实施例中，执行步骤910，采用RANSAC(Random Sample Consensus)算法对第一匹配点对进行处理，从而去除一些匹配错误的第一匹配点对，获取更加准确的第二匹配点对，即匹配点对912。基于匹配点对912得到当前帧图像和前一帧图像之间的变换矩阵914。执行步骤916，根据变换矩阵914对前一帧图像904进行校正，得到校正后的前一帧图像918。
在一个实施例中，当目标点对包括跟踪点对和匹配点对时，如图10所示。从当前帧图像1002提取特征点，并从前一帧图像1004中提取对应的特征点。执行步骤1006，根据当前帧图像1002的每一个特征点生成对应的特征描述子，根据前一帧图像1004提取的每一个特征点生成对应的特征描述子。执行步骤1008，将当前帧图像的特征描述子与前一帧图像对应的特征描述子进行特征匹配，得到第一匹配点对。在一个实施例中，执行步骤1010，采用RANSAC(Random Sample Consensus)算法对第一匹配点对进行处理，从而去除一些匹配错误的第一匹配点对，获取更加准确的第二匹配点对，即匹配点对1012。
对当前帧图像1002和前一帧图像1004进行同样划分，得到当前帧的各个子区域和前一帧图像的各个子区域；分别从当前帧图像的各个子区域与前一帧图像的各个子区域提取目标数量的随机点1014。执行步骤1016，对当前帧图像的每个子区域的随机点和前一帧图像的每个子区域的随机点进行光流跟踪，得到当前帧图像和前一帧图像的运动矢量。通过运动矢量将前一帧图像的随机点映射至当前帧图像中，生成第一跟踪点对。执行步骤1018，对第一跟踪点对中所包含的随机点进行矢量滤波，去除错误的随机点，从而获取当前帧图像的目标随机点和前一帧图像的目标随机点。将当前帧图像的目标随机点和前一帧图像的目标随机点进行组合，即可得到第二跟踪点对，即跟踪点对1020。
执行步骤1022，将匹配点对1012和跟踪点对1020进行融合，即将匹配点1012和跟踪点对1020均作为目标点对，基于目标点对得到当前帧图像和前一帧图像之间的变换矩阵1024。执行步骤1026，根据变换矩阵1024对前一帧图像1004进行校正，得到校正后的前一帧图像1028。
在一个实施例中，上述方法还包括：获取各个目标点对中所包含的各个目标点的位置信息；将同一图像中的任意两个目标点的位置信息进行差值运算，得到对应的位置差值；从位置差值小于差值阈值的两个目标点中获取其中一个目标点作为去除目标点；去除该去除目标点对应的目标点对。
基于目标点对确定当前帧图像和前一帧图像之间的变换矩阵，包括：
基于去除该去除目标点对应的目标点对之后的目标点对，得到当前帧图像和前一帧图像之间的变换矩阵。
其中，去除目标点指的是将要去除的目标点。
目标点的位置信息可以用坐标进行表示。例如，目标点的位置信息为(50,100)，表示该目标点位于图像中的第50行第100列的位置；目标点的位置信息为(80,12)，表示该目标点位于图像中的第80行第12列的位置。
在同一图像中，获取任意两个目标点的位置信息，并将获取的两个目标点的位置信息进行差值运算，得到对应的位置差值。
例如，在当前帧图像中，获取任意的两个目标点的位置信息为(50,100)、(50,90)，可以采用以下计算公式计算对应的位置差值：
Figure BDA0002235608950000131
其中，S为位置差值，a1和b1分别为一个目标点的横坐标和纵坐标，a2和b2分别为另一个目标点的横坐标和纵坐标。因此，两个目标点的位置差值为
Figure BDA0002235608950000132
当位置差值小于差值阈值时，表示获取的两个目标点的位置较近，则从位置差值小于差值阈值的任意两个目标点中获取其中一个目标点作为去除目标点。
获取到去除目标点之后，去除该去除目标点对应的目标点对。例如，目标点对中包含目标点A和目标点B，当确定目标点A为去除目标点时，则去除目标点A对应的目标点，即去除目标点A和目标点B。
可以理解的是，同一个区域中的目标点的特征较接近，当同一个区域中存在多个目标点时，可以去除其中的一些目标点，避免了对同一个区域中的多个目标点进行处理，浪费了电子设备的资源，影响全局矩阵的精度，去除该去除目标点所对应的目标点对之后，目标点的全局分布更优，可以剩余的目标点对进行处理，从而可以更快地得到当前帧图像和前一帧图像之间的变换矩阵，提高了得到变换矩阵的效率。
在一个实施例中，根据初始二值图像检测当前帧图像中的运动主体，包括：对初始二值图像进行连通域处理，确定初始二值图像中的各个候选主体的面积；当存在候选主体的面积大于或等于面积阈值时，判定当前帧图像中存在运动主体；当各个候选主体的面积均小于面积阈值时，判定当前帧图像中不存在运动主体。
其中，连通域一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域，前景像素点指的是主体像素点。连通区域处理是指将图像中的各个连通区域找出并标记。
具体地，电子设备的ISP处理器可检测出初始二值图像中的各个连通域并进行标记。每个连通域可作为一个候选主体。接着，确定该初始二值图像中各个候选主体的面积。
可以理解的是，当候选主体的面积越大时，表示该候选主体越靠近摄像头，则越靠近摄像头的对象为用户想拍摄的主体。因此，当各个候选主体的面积均小于面积阈值时，表示当前帧图像中的各个候选主体的面积都较小，可以认为各个候选主体均不是运动主体，也不是用户想拍摄的主体。
当存在候选主体的面积大于或等于面积阈值时，可以认为大于或等于面积阈值的候选主体为运动主体，也是用户想拍摄的主体。当各个候选主体的面积均小于面积阈值时，判定当前帧图像中不存在运动主体。
上述主体识别方法，对初始二值图像进行连通域处理，确定初始二值图像中的各个候选主体的面积，当存在候选主体的面积大于或等于面积阈值时，判定当前帧图像中存在运动主体，当各个候选主体的面积均小于面积阈值时，判定当前帧图像中不存在运动主体，基于各个候选主体的面积，可以更准确地判断各个候选主体中是否存在运动主体。
在另一个实施例中，也可以根据各个候选主体的轮廓边缘的清晰度，判断各个候选主体中是否存在运动主体。可以理解的是，当图像中存在运动主体时，则拍摄得到的图像的运动主体的轮廓边缘存在一定程度的模糊。因此，可以获取各个候选主体的轮廓边缘的清晰度，当轮廓边缘的清晰度高于清晰度阈值时，可以认为该候选主体为静止的物体，当轮廓边缘的清晰度低于或等于清晰度阈值时，可以认为该候选主体为运动主体。
在其他实施例中，还可以提取各个候选主体中的特征点，生成各个特征点的特征描述子，再基于各个特征描述子确定各个候选主体中是否存在运动主体。
本申请确定各个候选主体中是否存在运动主体的方式可以但不限于以上几种。
在一个实施例中，方法还包括：
当当前帧图像中存在运动主体时，确定当前帧图像中包含运动主体的主体区域；通过主体分割网络对主体区域进行主体分割，得到当前帧图像中的目标主体。
其中，主体区域可以是包含运动主体的矩形区域，也可以是包含运动主体的圆形区域，还可以是包含运动主体的不规则形状的区域，不限于此。
具体地，当电子设备的ISP处理器根据初始二值图像检测出当前帧图像中存在运动主体时，可获取当前帧图像中包含运动主体的主体区域。将包含运动主体的主体区域输入主体分割网络，得到目标主体。需要指出的是，目标主体可以与候选主体相同，即将主体区域输入主体分割网络，得到的目标主体仍为输入前的运动主体。目标主体也可以与运动主体不同。
在一个实施例中，电子设备的ISP处理器可统计运动主体的数量；当数量为至少两个时，可以获取面积最大的运动主体所在的主体区域，并将该主体区域输入主体分割网络，得到目标主体。
一般地，当图像中存在多个运动主体时，面积最大的主体通常为用户所拍摄的对象。因此，当数量为至少两个时，为节约电子设备的计算量，可以将面积最大的运动主体所在的主体区域输入主体分割网络，得到目标主体。当数量为一个时，将该运动主体所在的主体区域输入主体分割网络，得到目标主体。
在一个实施例中，当各个候选主体中不存在运动主体时，则将当前帧图像输入主体分割网络中，得到目标主体。
在一个实施例中，通过主体分割网络对主体区域进行主体分割，得到当前帧图像中的目标主体，包括：将包含运动主体的主体区域输入主体分割网络，得到主体分割图像；获取运动主体的目标二值图像；将主体分割图像和目标二值图像进行融合处理，得到当前帧图像中的目标主体。
其中，主体分割图像指的是对运动区域进行分割得到的主体图像。主体分割图像可以与输入之前的候选主体相同，也可以与输入之前的候选主体不同。融合处理可以是与处理，与处理指的是一种逻辑运算操作。例如，0和1进行与处理得到0,1和0进行与处理得到0,1和1进行与处理才得到1。将二值图像与主体分割图像进行与处理，可以是将二值图像中的像素点的值与主体分割图像中对应的像素点的值进行与处理。
具体地，通过运动主体的目标二值图像可以准确地获取运动主体的区域，以及除运动主体之外的区域。接着，从目标二值图像中可以获取运动主体的区域，而通过主体分割网络得到另一个包含主体的主体分割图像，将目标二值图像与主体分割图像进行与处理，可以得到更准确的目标主体。
在一个实施例中，确定当前帧图像满足运动状态转移条件的方式包括：获取前一帧图像的主体分割图像占前一帧图像的比例；确定前一帧图像中是否存在运动主体；当前一帧图像的主体分割图像占前一帧图像的比例大于比例阈值，且前一帧图像中存在运动主体时，当前帧图像满足运动状态转移条件。
具体地，电子设备的ISP处理器获取前一帧图像的主体分割图像，并计算该主体分割图像占前一帧图像比例。获取比例阈值，确定计算得到的该主体分割图像占前一帧图像比例是否大于比例阈值。当计算得到的该主体分割图像占前一帧图像比例大于比例阈值时，确定前一帧图像中是否存在运动主体。则获取前一帧图像的连通域处理结果，确定该前一帧图像的连通域处理结果为前一帧图像中存在运动主体或者前一帧图像中不存在运动主体。当前一帧图像的主体分割图像占前一帧图像的比例大于比例阈值，且前一帧图像中存在运动主体时，判定当前帧图像满足运动状态转移条件。
上述主体识别方法中，获取前一帧图像的主体分割图像占前一帧图像的比例；确定前一帧图像中是否存在运动主体；当前一帧图像的主体分割图像占前一帧图像的比例大于比例阈值，且前一帧图像中存在运动主体时，判定当前帧图像满足运动状态转移条件，可判断出当前帧图像是否处于运动主体由运动转为静止的情形，从而对该情形进行针对性处理，可准确识别出在该情形下的图像中的目标主体。
如图11所示，获取前一帧图像的分割结果，该分割结果包括主体分割图像和分割输出图，计算主体分割图像占分割输出图的比例。如图11，计算非黑色区域面积，并计算非黑色区域面积占该分割输出图的比例。当该比例大于比例阈值时,表示前一帧图像有分割主体。
在一个实施例中，根据前一帧图像的目标主体确定当前帧图像的目标主体，包括：获取前一帧图像的主体分割图像占前一帧图像的比例；确定前一帧图像中是否存在运动主体；当前一帧图像的主体分割图像占前一帧图像的比例大于比例阈值，且前一帧图像中存在运动主体时，当前帧图像满足运动状态转移条件；获取前一帧图像的主体分割图像或目标二值图像；确定前一帧图像的主体分割图像或目标二值图像的外接矩形的高和宽；将外接矩形的高增加预设高度，将外接矩形的宽增加预设宽度；将增加预设高度和预设宽度后得到的矩形作为当前帧图像的主体区域。
其中，预设高度是指预先设置的高度值、高度比例中的任一种。预设宽度是指预先设置的宽度值、宽度比例中的任一种。
具体地，电子设备的ISP处理器获取前一帧图像的主体分割图像，并计算该主体分割图像占前一帧图像比例。获取前一帧图像的连通域处理结果，确定该前一帧图像的连通域处理结果为前一帧图像中存在运动主体或者前一帧图像中不存在运动主体。当前一帧图像的主体分割图像占前一帧图像的比例大于比例阈值，且前一帧图像中存在运动主体时，判定当前帧图像满足运动状态转移条件。
接着，电子设备的ISP处理器可获取前一帧图像的主体分割图像，确定前一帧图像的主体分割图像的外接矩形的高和宽。在该外接矩形的高度值上增加预设高度值或增加预设高度比例，在该外接矩形的宽度值上增加预设宽度值或预设宽度比例。将增加预设高度和预设宽度之后得到的外接矩形作为当前帧图像的目标主体区域。
或者，电子设备的ISP处理器可获取前一帧图像的目标二值图像，确定前一帧图像的目标二值图像的外接矩形的高和宽。在该外接矩形的高度值上增加预设高度值或增加预设高度比例，在该外接矩形的宽度值上增加预设宽度值或预设宽度比例。将增加预设高度和预设宽度之后得到的外接矩形作为当前帧图像的目标主体区域。
上述实施例中，当前一帧图像的主体分割图像占前一帧图像的比例大于比例阈值，且前一帧图像中存在运动主体时，判定当前帧图像满足运动状态转移条件，则获取前一帧图像的主体分割图像或目标二值图像；确定前一帧图像的主体分割图像或目标二值图像的外接矩形的高和宽；将外接矩形的高增加预设高度，将外接矩形的宽增加预设宽度；将增加预设高度和预设宽度后得到的矩形作为当前帧图像的主体区域。从而快速准确识别出运动主体转为静止状态的情况下当前帧图像中的目标主体，避免对焦跳变造成的画面模糊。
在一个实施例中，如图12所示，根据前一帧图像的目标主体确定当前帧图像的目标主体，包括：
步骤1202，获取前一帧图像的主体分割图像或目标二值图像。
步骤1204，根据前一帧图像的主体分割图像或目标二值图像确定当前帧图像的主体区域。
具体地，电子设备的ISP处理器可获取前一帧图像的主体分割图像，根据前一帧图像的主体分割图像确定当前帧图像的主体区域。
在本实施例中，电子设备的ISP处理器可获取前一帧图像对应的目标二值图像，根据前一帧图像对应的目标二值图像确定当前帧图像的主体区域。
步骤1206，通过主体分割网络对主体区域进行主体分割，得到当前帧图像中的目标主体。
具体地，电子设备的ISP处理器将当前帧图像的主体区域输入主体分割网络，可得到当前帧图像中的目标主体。
上述实施例中，获取前一帧图像的主体分割图像或目标二值图像，根据前一帧图像的主体分割图像或目标二值图像确定当前帧图像的主体区域，通过主体分割网络对主体区域进行主体分割，得到当前帧图像中的目标主体，可准确识别出图像中的目标主体。
在一个实施例中，如图13所示，根据前一帧图像的主体分割图像或目标二值图像确定当前帧图像的目标主体区域，包括：
步骤1302，确定前一帧图像的主体分割图像或目标二值图像的外接矩形的高和宽。
步骤1304，将外接矩形的高增加预设高度，将外接矩形的宽增加预设宽度。
具体地，电子设备的ISP处理器可获取前一帧图像的主体分割图像，确定该主体分割图像的外接矩形，并确定该外接矩形的高度值和宽度值。并获取预设高度值，在该外接矩形的高度值上增加预设高度值；获取预设宽度值，在该外接矩形的宽度值上增加预设宽度值，得到第一外接矩形。
在本实施例中，电子设备的ISP处理器可获取预设高度比例，在该主体分割图像的外接矩形的高度值上增加预设高度比例；获取预设宽度比例，在该主体分割图像的外接矩形的宽度值上增加预设宽度比例，得到第二外接矩形。
在本实例中，电子设备的ISP处理器可获取前一帧图像的目标二值图像，确定该目标二值图像的外接矩形，并确定该外接矩形的高度值和宽度值。并获取预设高度值，在该外接矩形的高度值上增加预设高度值；获取预设宽度值，在该外接矩形的宽度值上增加预设宽度值，得到第三外接矩形。
在本实施例中，电子设备的ISP处理器可获取预设高度比例，在该目标二值图像的外接矩形的高度值上增加预设高度比例；获取预设宽度比例，在该目标二值图像的外接矩形的宽度值上增加预设宽度比例，得到第四外接矩形。
例如，主体分割图像或目标二值图像的外接矩形的高和宽分别为h和w，将外接矩形的高均增加h/4，将矩形的宽均增加w/4。将外扩后的矩形位置记为当前帧图像的主体目标区域位置。
步骤1306，将增加预设高度和预设宽度后得到的矩形作为当前帧图像的主体区域。
具体地，电子设备的ISP处理器将该增加预设高度值和预设宽度值后得到的第一外接矩形作为当前帧图像的目标主体区域。
在本实施例中，电子设备的ISP处理器可将该增加预设高度比例和预设宽度比例后得到的第二外接矩形作为当前帧图像的目标主体区域。
在本实施例中，电子设备的ISP处理器可将该增加预设高度值和预设宽度值后得到的第三外接矩形作为当前帧图像的目标主体区域。
在本实施例中，电子设备的ISP处理器可将该增加预设高度比例和预设宽度比例后得到的第四外接矩形作为当前帧图像的目标主体区域。
本实施中的主体识别方法，通过确定前一帧图像的主体分割图像或目标二值图像的外接矩形的高和宽，将外接矩形的高增加预设高度，将外接矩形的宽增加预设宽度，将增加预设高度和预设宽度后得到的矩形作为当前帧图像的目标主体区域，可准确确定当前帧图像中的主体区域，从而快速准确识别出运动主体转为静止状态的情况下当前帧图像中的目标主体，避免对焦跳变造成的画面模糊。
在一个实施例中，如图14所示，根据前一帧图像的目标主体确定当前帧图像的目标主体，包括：获取前一帧图像的主体分割图像和主体区域；根据前一帧图像的主体分割图像和主体区域确定当前帧图像的主体区域；通过主体分割网络对当前帧图像的主体区域进行主体分割，得到当前帧图像中的目标主体。
具体地，预测当前帧主体区域的时候，可以采用运动目标跟踪的方法，包括但是不限于使用基于滤波的目标跟踪方法、基于光流的目标跟踪方法、基于模板匹配的目标跟踪方法和基于CNN的目标跟踪方法。根据前一帧图像的主体分割图像1402获取前一帧图像的主体区域1404后，执行步骤1406，即目标跟踪，采用目标跟踪的方法预测当前帧图像的主体区域1408，通过主体分割网络对当前帧图像的主体区域进行主体分割，得到当前帧图像中的目标主体。
在一个实施例中，如图15所示，根据前一帧图像的目标主体确定当前帧图像的目标主体，包括：获取前一帧图像的目标二值图像和主体区域；根据前一帧图像的目标二值图像和主体区域确定当前帧图像的主体区域；通过主体分割网络对当前帧图像的主体区域进行主体分割，得到当前帧图像中的目标主体。
具体地，根据前一帧图像的目标二值图像1502获取前一帧图像的主体区域1504后，执行步骤1506，即目标跟踪，采用目标跟踪的方法预测当前帧图像的主体区域1508，通过主体分割网络对当前帧图像的主体区域进行主体分割，得到当前帧图像中的目标主体。
在一个实施例中，当当前帧图像满足运动状态转移条件，并确定当前帧图像的主体区域后，可将当前帧图像的主体区域输入主体分割网络，得到当前帧图像中的目标主体。
在一个实施例中，当当前帧图像满足运动状态转移条件，并确定当前帧图像的主体区域后，可将当前帧图像中不存在运动主体的判断结果修改为当前帧图像中存在运动主体。
在一个实施例中，方法还包括：当当前帧图像不满足运动状态转移条件时，将当前帧图像输入主体分割网络，得到当前帧图像中的目标主体。
具体地，该运动状态转移条件包括：当前帧图像中不存在运动主体、前一帧图像的主体分割图像占前一帧图像的比例大于比例阈值，以及前一帧图像中存在运动主体。当当前帧图像不满足三个条件中的任意一个条件时，均属于不满足运动状态转移条件的情况，则表示当前帧图像中不存在运动主体状态转换的情形。则将当前帧图像输入主体分割网络，得到当前帧图像中的目标主体，可避免因图像中无显著主体而无法识别的情况。
在另一个实施例中，获取目标主体后，可以对目标主体进行目标跟踪，节约电子设备的计算量。进一步地，当对目标主体进行目标跟踪经过预设数量的帧图像之后，再获取当前帧图像，对当前帧图像进行主体检测，重新得到目标主体。
在一个实施例中，方法还包括：基于当前帧图像中的目标主体进行对焦。
其中，对焦指的是通过摄像头的对焦机构变动物距和相距的位置，使被拍物体成像清晰的过程。
对当前帧图像进行主体检测，得到目标主体之后，则该目标主体为摄像头拍摄的对象。因此，对焦至目标主体的实际场景中的位置，通过摄像头可以拍摄出目标主体更清晰的下一帧图像。
具体地，电子设备的ISP处理器可控制摄像头进行移动对焦至目标主体对应的位置上，从而可以获取目标主体更加清晰的下一帧图像。接着，将当前帧图像作为上一帧图像，将下一帧图像作为当前帧图像，执行检测当前帧图像中是否存在运动主体，当当前帧图像中不存在运动主体时，获取运动状态转移条件，当当前帧图像满足运动状态转移条件时，获取前一帧图像的目标主体，根据前一帧图像的目标主体确定当前帧图像的目标主体，从而可以生成目标主体更加清晰的目标视频。当前帧图像对前一帧图像进行校正，则基于校正后的各个图像，可以获取目标主体更清晰的目标视频。
在一个实施例中，如图16所示，获取当前帧图像和上一帧图像1602，可以执行1604，对当前帧图像和上一帧图像进行高斯滤波处理，可以消除图像中含有大量纹理细节的复杂背景下带来的高频噪声，以及图像下采样带来的高频噪声，防止后续主体检测的误检。
执行步骤1606，对高斯滤波处理后的当前帧图像进行检测，判断当前帧图像是否处于晃动状态。当当前帧图像处于晃动状态时，执行步骤1608，对当前帧图像进行图像背景补偿。其中，图像背景补偿指的是从当前帧图像和上一帧图像中获取目标点对；基于目标点对得到当前帧图像和上一帧图像之间的变换矩阵；根据变换矩阵对上一帧图像进行校正，得到校正后的上一帧图像。目标点对可以包括跟踪点对和匹配点对中至少一种。
根据校正后的上一帧图像执行步骤1610，即对当前帧图像进行背景减除，得到当前帧图像的初始二值图像，初始二值图像中包含背景区域和主体区域。背景减除具体是：根据校正后的上一帧图像对背景检测模型进行更新，根据更新后的背景检测模型对当前帧图像进行背景检测，得到当前帧图像的初始二值图像。其中，背景检测模型包括第一背景检测模型和第二背景检测模型。当通过第一背景检测模型对当前帧图像进行背景检测时，则第二背景检测模型为候选的背景检测模型。当通过第二背景检测模型对当前帧图像进行背景检测时，则第一背景检测模型为候选的背景检测模型。第一背景检测模型和第二背景检测模型均可以是单高斯模型，既保证了主体检测的精度，又避免了较高的计算量。
在另一个实施例中，将背景区域映射回当前帧图像，并对检测出背景区域的当前帧图像执行步骤1612，即形态学处理。其中，形态学处理指的是对检测出背景区域的当前帧图像先进行腐蚀处理，再进行膨胀处理，可以去除该图像中的噪声，并减少该初始二值图像中的空洞。
执行步骤1614，对形态学处理之后的当前帧图像进行连通域判断。连通域指的是闭合的且内部连通的区域。通过连通域判断消除各个候选主体中的一些空洞，从而获取更加准确的候选主体。
获取各个候选主体的面积，执行步骤1616，判断各个候选主体中是否存在运动主体。当各个候选主体中存在面积大于或等于面积阈值的候选主体，则判断为是，各个候选主体中存在运动主体，执行步骤1618，获取运动主体的目标二值图像。
目标二值图像中包括了运动主体以及背景区域。通过目标二值图像获取运动主体所在的主体区域1620。
将主体区域输入主体分割网络1622，可以得到主体分割图像。
执行步骤1624，将目标二值图像1618与主体分割图像进行与处理，得到目标主体1626。
当各个候选主体的面积均小于面积阈值时，则判断为否，各个候选主体中不存在运动主体，执行步骤1628，判断当前帧图像是否满足运动状态转移条件。当当前帧图像不满足运动状态转移条件时，执行步骤1630，将当前帧图像输入主体分割网络，得到目标主体。
当当前帧图像满足运动状态转移条件时，执行步骤1632，获取前一帧图像的主体分割图像或目标二值图像，执行步骤1634，根据前一帧图像的主体分割图像或目标二值图像预测当前帧图像的主体区域，执行步骤1622，将当前帧图像的主体区域输入输入主体分割网络，得到目标主体。
执行步骤1636，对焦至目标主体，可以获取该目标主体更清晰的下一帧图像；将当前帧图像作为上一帧图像，将下一帧图像作为当前帧图像，执行检测当前帧图像中是否存在运动主体，当当前帧图像中不存在运动主体时，获取运动状态转移条件，当当前帧图像满足运动状态转移条件时，获取前一帧图像的目标主体，根据前一帧图像的目标主体确定当前帧图像的目标主体，从而可以生成目标主体更加清晰的目标视频。当前帧图像对前一帧图像进行校正，则基于校正后的各个图像，可以获取目标主体更清晰的目标视频。
应该理解的是，虽然图2-图16的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图16中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图17为一个实施例的主体识别装置的结构框图。如图17所示，该主体识别装置包括：检测模块1702、第一获取模块1704、第二获取模块1706和确定模块1708。其中，
检测模块1702，用于获取当前帧图像，检测当前帧图像中是否存在运动主体。
第一获取模块1704，用于当当前帧图像中不存在运动主体时，获取运动状态转移条件。
第二获取模块1706，用于当当前帧图像满足运动状态转移条件时，获取前一帧图像的目标主体。
确定模块1708，用于根据前一帧图像的目标主体确定当前帧图像的目标主体。
本实施例中的图像识别装置，通过获取当前帧图像，检测所述当前帧图像中是否存在运动主体，当所述当前帧图像中不存在运动主体时，获取运动状态转移条件，当所述当前帧图像满足所述运动状态转移条件时，获取前一帧图像的目标主体，根据所述前一帧图像的目标主体确定所述当前帧图像的目标主体，可得到更准确的目标主体，提高主体识别的准确性。
在一个实施例中，该检测模块1702还用于：检测当前帧图像的状态，当前帧图像的状态包括非晃动状态和晃动状态；当当前帧图像处于非晃动状态时，对当前帧图像进行背景减除处理，得到初始二值图像；根据初始二值图像检测当前帧图像中的运动主体。
在本实施例中，通过检测当前帧图像的状态，当前帧图像的状态包括非晃动状态和晃动状态，当当前帧图像处于非晃动状态时，对当前帧图像进行背景减除处理，得到初始二值图像，根据初始二值图像检测当前帧图像中的运动主体，可通过二值图像更加准确地识别出当前帧图像中的目标主体，提高了主体识别的准确性。
在一个实施例中，该第一获取模块1704还用于：获取当前帧图像的前一帧图像；将当前帧图像与前一图像帧进行对比，得到当前帧图像的场景变化值，场景变化值表示当前帧图像与上一帧图像的场景变化程度；当场景变化值大于场景阈值时，判定当前帧图像处于晃动状态；当场景变化值小于或等于场景阈值时，判定当前帧图像处于非晃动状态。
上述主体识别装置，获取当前帧图像的前一帧图像，将当前帧图像与前一帧图像进行比较，得到当前帧图像对应的场景变化值；当场景变化值大于阈值时，表示当前帧图像与前一帧图像的场景变化程度较大，则当前帧图像的处于晃动状态，可以提高判断当前帧图像是否处于晃动状态的准确性。
在一个实施例中，该第一获取模块1704还用于：获取当前帧图像的前一帧图像；将当前帧图像与前一帧图像进行差分处理，并对差分处理后的图像进行二值化处理，得到差分二值图像；确定差分二值图像中各像素点的总值；当总值大于总值阈值时，判定当前帧图像处于晃动状态；当总值小于或等于总值阈值时，判定当前帧图像处于非晃动状态。
上述主体识别装置，将当前帧图像和前一帧图像进行差分处理，并对差分处理后的图像进行二值化处理，得到差分二值图像；统计差分二值图像中各个像素点的总值；当总值大于总值阈值时，表示当前帧图像与前一帧图像的各个像素点存在较大差别，认为当前帧图像处于晃动状态；当总值小于或等于总值阈值时，表示当前帧图像与前一帧图像的各个像素点存在较小差别，判定当前帧图像处于非晃动状态，从而可以提高判断当前帧图像是否处于晃动状态的准确性。
在一个实施例中，该第一获取模块1704还用于：确定当前帧图像中的各像素点的像素值；基于当前帧图像中的各像素点的像素值，确定当前帧图像的第一像素值向量；第一像素值向量表示当前帧图像的像素值的分布；获取当前帧图像的前一帧图像，并确定前一帧图像中的各像素点的像素值；基于前一帧图像中的各像素点的像素值，确定前一帧图像的第二像素值向量；第二像素值向量表示前一帧图像的像素值的分布；根据第一像素值向量和第二像素值向量确定当前帧图像和前一帧图像之间的向量距离；当向量距离大于距离阈值时，判定当前帧图像处于晃动状态；当向量距离小于或等于距离阈值时，判定当前帧图像处于非晃动状态。
上述主体识别装置，根据当前帧图像的各个像素点的像素值生成当前帧图像的第一像素值向量；根据前一帧图像的各个像素点的像素值生成前一帧图像的第二像素值向量；根据第一像素值向量和第二像素值向量确定当前帧图像与前一帧图像的颜色差异程度，即获取当前帧图像与前一帧图像的向量距离；当向量距离大于距离阈值时，表示当前帧图像与前一帧图像的颜色差异较大，认为当前帧图像处于晃动状态，可以提高判断当前帧图像是否处于晃动状态的准确性。
在一个实施例中，检测模块1702还用于：当当前帧图像处于晃动状态时，获取当前帧图像的前一帧图像，根据当前帧图像对前一帧图像进行校正处理；基于校正处理后的图像对当前帧图像进行背景减除处理，得到初始二值图像。
在一个实施例中，检测模块1702还用于：从当前帧图像和前一帧图像获取目标点对；基于目标点对确定当前帧图像和前一帧图像之间的变换矩阵；基于变换矩阵对前一帧图像进行校正处理。
上述主体识别装置，当检测到当前帧图像处于晃动状态时，从当前帧图像和上一帧图像中获取目标点对；基于目标点对可以得到更准确的当前帧图像和上一帧图像之间的变换矩阵。
在一个实施例中，检测模块1702还用于：根据预设方式对当前帧图像区域进行划分，获得当前帧图像对应的子区域；根据预设方式对前一帧图像进行划分，得到当前帧图像各子区域分别对应的前一帧图像子区域；分别从当前帧图像对应的各子区域和前一帧图像对应的各子区域中获取预设数量的随机点；根据当前帧图像对应的各子区域中的随机点和前一帧图像对应的各子区域中的随机点生成跟踪点对；分别提取当前帧图像和前一帧图像的特征点；根据当前帧图像中的特征点和前一帧图像中的特征点，生成匹配点对。
上述主体识别装置，通过提取随机点生成跟踪点对，提高了目标点对的随机性，避免了弱纹理区域的目标点对数量的不足，造成后续获取的变换矩阵准确性较低的问题，这样提取的目标点对全局分布性更好，可以提高变换矩阵的准确性，从而提高主体识别的准确性。
在一个实施例中，检测模块1702还用于：对当前帧图像和前一帧图像进行光流跟踪，得到当前帧图像和前一帧图像的运动矢量；通过运动矢量将前一帧图像中的随机点映射到当前帧图像中，生成跟踪点对。
上述主体识别装置，对当前帧图像和前一帧图像进行光流跟踪，得到当前帧图像和前一帧图像的运动矢量；通过运动矢量将前一帧图像的随机点映射至当前帧图像中，可以生成更准确的跟踪点对。
在一个实施例中，检测模块1702还用于：对当前帧图像中的随机点和前一帧图像中的随机点进行矢量滤波处理，得到当前帧图像中的目标随机点和前一帧图像中的目标随机点；通过运动矢量将前一帧图像中的目标随机点映射到当前帧图像中，生成跟踪点对。通过对当前帧图像的随机点和前一帧图像的随机点进行矢量滤波，可以去除一些错误的随机点，从而获取更加准确的跟踪点对。
在一个实施例中，检测模块1702还用于：根据当前帧图像的每一个特征点生成对应的特征描述子；根据前一帧图像的每一个特征点生成对应的特征描述子；将当前帧图像对应的特征描述子和前一帧图像对应的特征描述子进行匹配，得到匹配点对。将当前帧图像中每个特征点的特征描述子，与前一帧图像中每个特征点的特征描述子进行匹配，可以生成更准确的匹配点对。
在一个实施例中，检测模块1702还用于：对初始二值图像进行连通域处理，确定初始二值图像中的各个候选主体的面积；当存在候选主体的面积大于或等于面积阈值时，判定当前帧图像中存在运动主体；当各个候选主体的面积均小于面积阈值时，判定当前帧图像中不存在运动主体。
上述主体识别装置，对初始二值图像进行连通域处理，确定初始二值图像中的各个候选主体的面积，当存在候选主体的面积大于或等于面积阈值时，判定当前帧图像中存在运动主体，当各个候选主体的面积均小于面积阈值时，判定当前帧图像中不存在运动主体，基于各个候选主体的面积，可以更准确地判断各个候选主体中是否存在运动主体。
在一个实施例中，第二获取模块1706还用于：当当前帧图像中存在运动主体时，确定当前帧图像中包含运动主体的主体区域；通过主体分割网络对主体区域进行主体分割，得到当前帧图像中的目标主体。
在一个实施例中，第二获取模块1706还用于：将包含运动主体的主体区域输入主体分割网络，得到主体分割图像；获取运动主体的目标二值图像；将主体分割图像和目标二值图像进行融合处理，得到当前帧图像中的目标主体。从目标二值图像中可以获取运动主体的区域，而通过主体分割网络得到另一个包含主体的主体分割图像，将目标二值图像与主体分割图像进行与处理，可以得到更准确的目标主体。
在一个实施例中，第二获取模块1706还用于：获取前一帧图像的主体分割图像占前一帧图像的比例；确定前一帧图像中是否存在运动主体；当前一帧图像的主体分割图像占前一帧图像的比例大于比例阈值，且前一帧图像中存在运动主体时，当前帧图像满足运动状态转移条件。
上述主体识别装置，获取前一帧图像的主体分割图像占前一帧图像的比例；确定前一帧图像中是否存在运动主体；当前一帧图像的主体分割图像占前一帧图像的比例大于比例阈值，且前一帧图像中存在运动主体时，判定当前帧图像满足运动状态转移条件，可判断出当前帧图像是否处于运动主体由运动转为静止的情形，从而对该情形进行针对性处理，可准确识别出在该情形下的图像中的目标主体。
在一个实施例中，确定模块1708还用于：获取前一帧图像的主体分割图像或目标二值图像；确定前一帧图像的主体分割图像或目标二值图像的外接矩形的高和宽；将外接矩形的高增加预设高度，将外接矩形的宽增加预设宽度；将增加预设高度和预设宽度后得到的矩形作为当前帧图像的主体区域。
上述实施例中，当前一帧图像的主体分割图像占前一帧图像的比例大于比例阈值，且前一帧图像中存在运动主体时，判定当前帧图像满足运动状态转移条件，则获取前一帧图像的主体分割图像或目标二值图像，确定前一帧图像的主体分割图像或目标二值图像的外接矩形的高和宽，将外接矩形的高增加预设高度，将外接矩形的宽增加预设宽度，将增加预设高度和预设宽度后得到的矩形作为当前帧图像的主体区域。从而快速准确识别出运动主体转为静止状态的情况下当前帧图像中的目标主体，避免对焦跳变造成的画面模糊。
在一个实施例中，确定模块1708还用于：获取前一帧图像的主体分割图像或目标二值图像；根据前一帧图像的主体分割图像或目标二值图像确定当前帧图像的主体区域；通过主体分割网络对主体区域进行主体分割，得到当前帧图像中的目标主体。
上述实施例中，获取前一帧图像的主体分割图像或目标二值图像，根据前一帧图像的主体分割图像或目标二值图像确定当前帧图像的主体区域，通过主体分割网络对主体区域进行主体分割，得到当前帧图像中的目标主体，可准确识别出图像中的目标主体。
在一个实施例中，确定模块1708还用于：确定前一帧图像的主体分割图像或目标二值图像的外接矩形的高和宽；将外接矩形的高增加预设高度，将外接矩形的宽增加预设宽度；将增加预设高度和预设宽度后得到的矩形作为当前帧图像的目标主体区域。
本实施中的主体识别装置，通过确定前一帧图像的主体分割图像或目标二值图像的外接矩形的高和宽，将外接矩形的高增加预设高度，将外接矩形的宽增加预设宽度，将增加预设高度和预设宽度后得到的矩形作为当前帧图像的目标主体区域，可准确确定当前帧图像中的主体区域，从而快速准确识别出运动主体转为静止状态的情况下当前帧图像中的目标主体，避免对焦跳变造成的画面模糊。
在一个实施例中，确定模块1708还用于：当当前帧图像不满足运动状态转移条件时，将当前帧图像输入主体分割网络，得到当前帧图像中的目标主体。当当前帧图像不满足三个条件中的任意一个条件时，均属于不满足运动状态转移条件的情况，则表示当前帧图像中不存在运动主体状态转换的情形。则将当前帧图像输入主体分割网络，得到当前帧图像中的目标主体，可避免因图像中无显著主体而无法识别的情况。
在一个实施例中，该装置还包括：对焦模块。对焦模块用于基于当前帧图像中的目标主体进行对焦。当前帧图像对前一帧图像进行校正，则基于校正后的各个图像，可以获取目标主体更清晰的目标视频。
上述主体识别装置中各个模块的划分仅用于举例说明，在其他实施例中，可将主体识别装置按照需要划分为不同的模块，以完成上述主体识别装置的全部或部分功能。
图18为一个实施例中电子设备的内部结构示意图。如图18所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种主体识别方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的主体识别装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行主体识别方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行主体识别方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (23)

1.一种主体识别方法，其特征在于，包括：
获取当前帧图像，检测所述当前帧图像中是否存在运动主体；
当所述当前帧图像中不存在运动主体时，获取运动状态转移条件；
当所述当前帧图像满足所述运动状态转移条件时，获取前一帧图像的目标主体；
根据所述前一帧图像的目标主体确定所述当前帧图像的目标主体。
2.根据权利要求1所述的方法，其特征在于，所述检测所述当前帧图像中是否存在运动主体，包括：
检测所述当前帧图像的状态，所述当前帧图像的状态包括非晃动状态和晃动状态；
当所述当前帧图像处于非晃动状态时，对所述当前帧图像进行背景减除处理，得到初始二值图像；
根据所述初始二值图像检测所述当前帧图像中的运动主体。
3.根据权利要求2所述的方法，其特征在于，所述检测所述当前帧图像的状态，包括：
获取所述当前帧图像的前一帧图像；
将所述当前帧图像与所述前一图像帧进行对比，得到所述当前帧图像的场景变化值，所述场景变化值表示所述当前帧图像与所述上一帧图像的场景变化程度；
当所述场景变化值大于场景阈值时，判定所述当前帧图像处于晃动状态；
当所述场景变化值小于或等于所述场景阈值时，判定所述当前帧图像处于非晃动状态。
4.根据权利要求2所述的方法，其特征在于，所述检测所述当前帧图像的状态，包括：
获取所述当前帧图像的前一帧图像；
将所述当前帧图像与所述前一帧图像进行差分处理，并对差分处理后的图像进行二值化处理，得到差分二值图像；
确定所述差分二值图像中各像素点的总值；
当所述总值大于总值阈值时，判定所述当前帧图像处于晃动状态；
当所述总值小于或等于所述总值阈值时，判定所述当前帧图像处于非晃动状态。
5.根据权利要求2所述的方法，其特征在于，所述检测所述当前帧图像的状态，包括：
确定所述当前帧图像中的各像素点的像素值；
基于所述当前帧图像中的各像素点的像素值，确定所述当前帧图像的第一像素值向量；所述第一像素值向量表示所述当前帧图像的像素值的分布；
获取所述当前帧图像的前一帧图像，并确定所述前一帧图像中的各像素点的像素值；
基于所述前一帧图像中的各像素点的像素值，确定所述前一帧图像的第二像素值向量；所述第二像素值向量表示所述前一帧图像的像素值的分布；
根据所述第一像素值向量和所述第二像素值向量确定所述当前帧图像和所述前一帧图像之间的向量距离；
当所述向量距离大于距离阈值时，判定所述当前帧图像处于晃动状态；
当所述向量距离小于或等于所述距离阈值时，判定所述当前帧图像处于非晃动状态。
6.根据权利要求2至5中任一项所述的方法，其特征在于，在所述根据所述初始二值图像检测所述当前帧图像中的运动主体之前，还包括：
当所述当前帧图像处于晃动状态时，获取所述当前帧图像的前一帧图像，根据所述当前帧图像对所述前一帧图像进行校正处理；
基于校正处理后的图像对所述当前帧图像进行背景减除处理，得到初始二值图像。
7.根据权利要求6所述的方法，其特征在于，所述根据所述当前帧图像对所述前一帧图像进行校正处理，包括：
从所述当前帧图像和所述前一帧图像获取目标点对；
基于所述目标点对确定所述当前帧图像和所述前一帧图像之间的变换矩阵；
基于所述变换矩阵对所述前一帧图像进行校正处理。
8.根据权利要求7所述的方法，其特征在于，所述目标点对包括跟踪点对和匹配点对中的至少一种，所述跟踪点对的生成方式包括：
根据预设方式对所述当前帧图像区域进行划分，获得所述当前帧图像对应的子区域；
根据所述预设方式对所述前一帧图像进行划分，得到所述当前帧图像各子区域分别对应的前一帧图像子区域；
分别从所述当前帧图像对应的各子区域和所述前一帧图像对应的各子区域中获取预设数量的随机点；
根据所述当前帧图像对应的各子区域中的随机点和所述前一帧图像对应的各子区域中的随机点生成跟踪点对；
所述匹配点对的生成方式包括：
分别提取所述当前帧图像和所述前一帧图像的特征点；
根据所述当前帧图像中的特征点和所述所述前一帧图像中的特征点，生成匹配点对。
9.根据权利要求8所述的方法，其特征在于，所述根据所述当前帧图像对应的各子区域中的随机点和所述前一帧图像对应的各子区域中的随机点生成跟踪点对，包括：
对所述当前帧图像和所述前一帧图像进行光流跟踪，得到所述当前帧图像和所述前一帧图像的运动矢量；
通过所述运动矢量将所述前一帧图像中的随机点映射到所述当前帧图像中，生成跟踪点对。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
对所述当前帧图像中的随机点和所述前一帧图像中的随机点进行矢量滤波处理，得到所述当前帧图像中的目标随机点和所述前一帧图像中的目标随机点；
所述通过所述运动矢量将前一帧图像中的随机点映射到所述当前帧图像中，生成跟踪点对，包括：
通过所述运动矢量将前一帧图像中的目标随机点映射到所述当前帧图像中，生成跟踪点对。
11.根据权利要求8所述的方法，其特征在于，所述匹配点对的生成方式还包括：
根据所述当前帧图像的每一个特征点生成对应的特征描述子；
根据所述前一帧图像的每一个特征点生成对应的特征描述子；
将所述当前帧图像对应的特征描述子和所述前一帧图像对应的特征描述子进行匹配，得到匹配点对。
12.根据权利要求2所述的方法，其特征在于，所述根据所述初始二值图像检测所述当前帧图像中的运动主体，包括：
对所述初始二值图像进行连通域处理，确定所述初始二值图像中的各个候选主体的面积；
当存在所述候选主体的面积大于或等于面积阈值时，判定所述当前帧图像中存在运动主体；
当所述各个候选主体的面积均小于所述面积阈值时，判定所述当前帧图像中不存在运动主体。
13.根据权利要求12所述的方法，其特征在于，所述方法还包括：
当所述当前帧图像中存在运动主体时，确定所述当前帧图像中包含所述运动主体的主体区域；
通过主体分割网络对所述主体区域进行主体分割，得到所述当前帧图像中的目标主体。
14.根据权利要求13所述的方法，其特征在于，所述通过主体分割网络对所述主体区域进行主体分割，得到所述当前帧图像中的目标主体，包括：
将包含所述运动主体的主体区域输入主体分割网络，得到主体分割图像；
获取所述运动主体的目标二值图像；
将所述主体分割图像和所述目标二值图像进行融合处理，得到所述当前帧图像中的目标主体。
15.根据权利要求1所述的方法，其特征在于，确定所述当前帧图像满足所述运动状态转移条件的方式包括：
获取前一帧图像的主体分割图像占所述前一帧图像的比例；
确定所述前一帧图像中是否存在运动主体；
当所述前一帧图像的主体分割图像占所述前一帧图像的比例大于比例阈值，且所述前一帧图像中存在运动主体时，所述当前帧图像满足所述运动状态转移条件。
16.根据权利要求15所述的方法，其特征在于，根据所述前一帧图像的目标主体确定所述当前帧图像的目标主体，包括：
获取所述前一帧图像的主体分割图像或目标二值图像；
确定所述前一帧图像的主体分割图像或目标二值图像的外接矩形的高和宽；
将所述外接矩形的高增加预设高度，将所述外接矩形的宽增加预设宽度；
将增加预设高度和预设宽度后得到的矩形作为所述当前帧图像的主体区域。
17.根据权利要求1所述的方法，其特征在于，根据所述前一帧图像的目标主体确定所述当前帧图像的目标主体，包括：
获取所述前一帧图像的主体分割图像或目标二值图像；
根据所述前一帧图像的主体分割图像或目标二值图像确定所述当前帧图像的主体区域；
通过主体分割网络对所述主体区域进行主体分割，得到所述当前帧图像中的目标主体。
18.根据权利要求17所述的方法，其特征在于，所述根据所述前一帧图像的主体分割图像或目标二值图像确定所述当前帧图像的主体区域，包括：
确定所述前一帧图像的主体分割图像或目标二值图像的外接矩形的高和宽；
将所述外接矩形的高增加预设高度，将所述外接矩形的宽增加预设宽度；
将增加预设高度和预设宽度后得到的矩形作为所述当前帧图像的主体区域。
19.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述当前帧图像不满足所述运动状态转移条件时，将所述当前帧图像输入主体分割网络，得到所述当前帧图像中的目标主体。
20.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述当前帧图像中的目标主体进行对焦。
21.一种主体识别装置，其特征在于，包括：
检测模块，用于获取当前帧图像，检测所述当前帧图像中是否存在运动主体；
第一获取模块，用于当所述当前帧图像中不存在运动主体时，获取运动状态转移条件；
第二获取模块，用于当所述当前帧图像满足所述运动状态转移条件时，获取前一帧图像的目标主体；
确定模块，用于根据所述前一帧图像的目标主体确定所述当前帧图像的目标主体。
22.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至20中任一项所述的主体识别方法的步骤。
23.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至20中任一项所述的主体识别方法的步骤。
CN201910982347.3A 2019-10-16 2019-10-16 主体识别方法和装置、电子设备、计算机可读存储介质 Active CN110796041B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910982347.3A CN110796041B (zh) 2019-10-16 2019-10-16 主体识别方法和装置、电子设备、计算机可读存储介质
US16/989,405 US11836903B2 (en) 2019-10-16 2020-08-10 Subject recognition method, electronic device, and computer readable storage medium
EP20195707.3A EP3809327A1 (en) 2019-10-16 2020-09-11 Subject recognition method, electronic device, and computer readable storage medium
PCT/CN2020/121191 WO2021073575A1 (en) 2019-10-16 2020-10-15 Subject recognition method, electronic device, and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910982347.3A CN110796041B (zh) 2019-10-16 2019-10-16 主体识别方法和装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110796041A true CN110796041A (zh) 2020-02-14
CN110796041B CN110796041B (zh) 2023-08-18

Family

ID=69439225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910982347.3A Active CN110796041B (zh) 2019-10-16 2019-10-16 主体识别方法和装置、电子设备、计算机可读存储介质

Country Status (4)

Country Link
US (1) US11836903B2 (zh)
EP (1) EP3809327A1 (zh)
CN (1) CN110796041B (zh)
WO (1) WO2021073575A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021073575A1 (en) * 2019-10-16 2021-04-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Subject recognition method, electronic device, and computer readable storage medium
CN113034415A (zh) * 2021-03-23 2021-06-25 哈尔滨市科佳通用机电股份有限公司 一种铁路机车小部件图像扩增的方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230334838A1 (en) * 2022-04-19 2023-10-19 Mediatek Inc. Method and electronic device for motion prediction
CN114639075B (zh) * 2022-05-23 2022-08-16 广州英码信息科技有限公司 一种高空抛物坠物的识别方法、系统及计算机可读介质
CN116309161B (zh) * 2023-03-17 2024-03-19 内蒙古工业大学 一种改善色觉缺陷者感知图像颜色对比度的方法与装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100118156A1 (en) * 2008-11-12 2010-05-13 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus and image processing method
KR20110007806A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 카메라를 이용하여 손동작을 인식하는 장치 및 방법
CN103733607A (zh) * 2011-08-10 2014-04-16 富士胶片株式会社 用于检测运动物体的装置和方法
US20140334668A1 (en) * 2013-05-10 2014-11-13 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
CN104282020A (zh) * 2014-09-22 2015-01-14 中海网络科技股份有限公司 一种基于目标运动轨迹的车辆速度检测方法
CN104835178A (zh) * 2015-02-02 2015-08-12 郑州轻工业学院 一种低信噪比运动小目标的跟踪与识别的方法
US20170287144A1 (en) * 2016-04-04 2017-10-05 Sony Corporation Image processing system and method for detection of objects in motion
CN109753975A (zh) * 2019-02-02 2019-05-14 杭州睿琪软件有限公司 一种训练样本获得方法、装置、电子设备和存储介质
CN110222652A (zh) * 2019-06-10 2019-09-10 湖南国科微电子股份有限公司 行人检测方法、装置及电子设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7277558B2 (en) * 2001-11-27 2007-10-02 Lockheed Martin Corporation Method and system for estimating the position of moving objects in images
JP2005321489A (ja) 2004-05-07 2005-11-17 Ricoh Co Ltd 撮像装置
US20070248330A1 (en) * 2006-04-06 2007-10-25 Pillman Bruce H Varying camera self-determination based on subject motion
US8315474B2 (en) 2008-01-18 2012-11-20 Sanyo Electric Co., Ltd. Image processing device and method, and image sensing apparatus
JP5077003B2 (ja) 2008-03-25 2012-11-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US8593534B2 (en) 2010-09-08 2013-11-26 Apple Inc. Auto-triggered camera self-timer based on recognition of subject's presence in scene
US9350924B2 (en) 2014-08-25 2016-05-24 John G. Posa Portable electronic devices with integrated image/video compositing
CN104469167B (zh) 2014-12-26 2017-10-13 小米科技有限责任公司 自动对焦方法及装置
CN104573715B (zh) 2014-12-30 2017-07-25 百度在线网络技术（北京）有限公司 图像主体区域的识别方法及装置
CN106161919A (zh) 2015-04-15 2016-11-23 阿里巴巴集团控股有限公司 扫描图像的方法和装置
CN106210495A (zh) 2015-05-06 2016-12-07 小米科技有限责任公司 图像拍摄方法和装置
CN105847664B (zh) 2015-07-31 2019-01-29 维沃移动通信有限公司 一种移动终端拍照的方法和装置
JP6659148B2 (ja) 2016-02-03 2020-03-04 キヤノン株式会社 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
JP6700831B2 (ja) * 2016-02-12 2020-05-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6735583B2 (ja) 2016-03-17 2020-08-05 キヤノン株式会社 ズーム制御装置、撮像装置及びそれらの制御方法、プログラム並びに記憶媒体
CN205883405U (zh) 2016-07-29 2017-01-11 深圳众思科技有限公司 一种自动追焦装置及终端
CN106686308B (zh) 2016-12-28 2018-02-16 平安科技（深圳）有限公司 图像焦距检测方法和装置
CN108170817A (zh) 2017-12-29 2018-06-15 努比亚技术有限公司 照片主体的演变视频获取方法、装置及可读存储介质
CN110096935A (zh) 2018-01-31 2019-08-06 杭州海康威视数字技术股份有限公司 图像分析方法、装置、电子设备及存储介质
CN108900778A (zh) 2018-06-27 2018-11-27 努比亚技术有限公司 一种拍摄方法、移动终端及计算机可读存储介质
CN109167910A (zh) 2018-08-31 2019-01-08 努比亚技术有限公司 对焦方法、移动终端及计算机可读存储介质
CN109089047B (zh) 2018-09-29 2021-01-12 Oppo广东移动通信有限公司 控制对焦的方法和装置、存储介质、电子设备
CN109993778A (zh) 2019-04-11 2019-07-09 浙江立元通信技术股份有限公司 一种确定目标位置的方法及装置
CN110796041B (zh) 2019-10-16 2023-08-18 Oppo广东移动通信有限公司 主体识别方法和装置、电子设备、计算机可读存储介质
CN110661977B (zh) * 2019-10-29 2021-08-03 Oppo广东移动通信有限公司 主体检测方法和装置、电子设备、计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100118156A1 (en) * 2008-11-12 2010-05-13 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus and image processing method
KR20110007806A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 카메라를 이용하여 손동작을 인식하는 장치 및 방법
CN103733607A (zh) * 2011-08-10 2014-04-16 富士胶片株式会社 用于检测运动物体的装置和方法
US20140334668A1 (en) * 2013-05-10 2014-11-13 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
CN104282020A (zh) * 2014-09-22 2015-01-14 中海网络科技股份有限公司 一种基于目标运动轨迹的车辆速度检测方法
CN104835178A (zh) * 2015-02-02 2015-08-12 郑州轻工业学院 一种低信噪比运动小目标的跟踪与识别的方法
US20170287144A1 (en) * 2016-04-04 2017-10-05 Sony Corporation Image processing system and method for detection of objects in motion
CN109753975A (zh) * 2019-02-02 2019-05-14 杭州睿琪软件有限公司 一种训练样本获得方法、装置、电子设备和存储介质
CN110222652A (zh) * 2019-06-10 2019-09-10 湖南国科微电子股份有限公司 行人检测方法、装置及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021073575A1 (en) * 2019-10-16 2021-04-22 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Subject recognition method, electronic device, and computer readable storage medium
US11836903B2 (en) 2019-10-16 2023-12-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Subject recognition method, electronic device, and computer readable storage medium
CN113034415A (zh) * 2021-03-23 2021-06-25 哈尔滨市科佳通用机电股份有限公司 一种铁路机车小部件图像扩增的方法

Also Published As

Publication number Publication date
CN110796041B (zh) 2023-08-18
US11836903B2 (en) 2023-12-05
US20210118150A1 (en) 2021-04-22
EP3809327A1 (en) 2021-04-21
WO2021073575A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
CN110660090B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN110149482B (zh) 对焦方法、装置、电子设备和计算机可读存储介质
CN108898567B (zh) 图像降噪方法、装置及系统
CN110796041B (zh) 主体识别方法和装置、电子设备、计算机可读存储介质
CN110473185B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110536068B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110661977B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN110866486B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN110349163B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108259770B (zh) 图像处理方法、装置、存储介质及电子设备
CN111932587A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110881103B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN110490196B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN113313626A (zh) 图像处理方法、装置、电子设备及存储介质
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN110650288B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN112581481B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110689007B (zh) 主体识别方法和装置、电子设备、计算机可读存储介质
CN110399823B (zh) 主体跟踪方法和装置、电子设备、计算机可读存储介质
CN108335278B (zh) 图像的处理方法、装置、存储介质及电子设备
CN110545384B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110610171A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US11838645B2 (en) Image capturing control apparatus, image capturing control method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant