CN111145151A - 一种运动区域确定方法及电子设备 - Google Patents

一种运动区域确定方法及电子设备 Download PDF

Info

Publication number
CN111145151A
CN111145151A CN201911340054.1A CN201911340054A CN111145151A CN 111145151 A CN111145151 A CN 111145151A CN 201911340054 A CN201911340054 A CN 201911340054A CN 111145151 A CN111145151 A CN 111145151A
Authority
CN
China
Prior art keywords
pixel point
frame image
target
information
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911340054.1A
Other languages
English (en)
Other versions
CN111145151B (zh
Inventor
杨硕
王嗣舜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN201911340054.1A priority Critical patent/CN111145151B/zh
Publication of CN111145151A publication Critical patent/CN111145151A/zh
Application granted granted Critical
Publication of CN111145151B publication Critical patent/CN111145151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种运动区域确定方法及电子设备,涉及通信技术领域,可以解决电子设备的运动补偿的效果较差的问题。该方法包括:获取目标图像序列的目标信息集合,该目标信息集合包括多个像素点的灰度信息,该多个像素点为目标图像序列中的M帧图像的像素点,M为大于1的整数;根据每个像素点的灰度信息,采用第一预设算法,确定多个像素点对应的N个第一数值;根据第一信息,确定目标置信度值集合,该第一信息包括以下至少一项:N个第一数值和N个第二数值;根据目标置信度值集合,确定目标图像序列中的目标运动区域。本发明实施例应用于电子设备根据图像的像素点的灰度信息,确定运动区域的过程中。

Description

一种运动区域确定方法及电子设备
技术领域
本发明实施例涉及通信技术领域,尤其涉及一种运动区域确定方法及电子设备。
背景技术
目前,电子设备可以拍摄待拍摄物体的不同曝光参数的多帧图像,并对该多帧图像进行融合,以得到一张动态范围较高的图像(以下称为最终图像)。然而,当待拍摄物体处于运动状态时,电子设备得到的最终图像可能会出现运动重影的现象。通常,电子设备可以对多帧图像中的每两帧图像进行亮度映射处理,然后将处理后的每两帧图像的亮度信息分别进行对比,并根据对比结果确定该多帧图像中的运动区域,以对该运动区域进行运动补偿,从而以消除该最终图像中的运动重影。
但是,上述方法中,由于当待拍摄物体处于运动状态时,多帧图像的亮度信息变化较大,因此可能会影响对多帧图像中每两帧图像进行亮度映射处理的处理结果,从而导致处理后的每两帧图像的亮度信息分别进行对比的对比结果不准确,即确定的多帧图像中的运动区域不准确,如此会导致电子设备的运动补偿的效果较差。
发明内容
本发明实施例提供一种运动区域确定方法及电子设备,可以解决电子设备的运动补偿的效果较差的问题。
为了解决上述技术问题,本发明实施例采用如下技术方案:
本发明实施例的第一方面,提供一种运动区域确定方法,应用于电子设备,该运动区域确定方法包括:获取目标图像序列的目标信息集合,该目标信息集合包括多个像素点的灰度信息,该多个像素点为目标图像序列中的M帧图像的像素点,M为大于1的整数;根据每个像素点的灰度信息,采用第一预设算法,确定多个像素点对应的N个第一数值,该N个第一数值用于指示相邻两帧图像中对应的像素点的灰度信息的变化秩序,N为大于1的整数;根据第一信息,确定目标置信度值集合,该第一信息包括以下至少一项:N个第一数值和N个第二数值,该N个第二数值用于指示相邻两帧图像中对应的像素点的调整后的灰度信息的变化秩序,该目标置信度值集合包括多个像素点的置信度值;根据目标置信度值集合,确定目标图像序列中的目标运动区域。
本发明实施例的第二方面,提供一种电子设备,该电子设备包括:获取模块和确定模块。其中,获取模块,用于获取目标图像序列的目标信息集合,该目标信息集合包括多个像素点的灰度信息,该多个像素点为目标图像序列中的M帧图像的像素点,M为大于1的整数。确定模块,用于根据每个像素点的灰度信息,采用第一预设算法,确定多个像素点对应的N个第一数值,该N个第一数值用于指示相邻两帧图像中对应的像素点的灰度信息的变化秩序,N为大于1的整数;并根据第一信息,确定目标置信度值集合,该第一信息包括以下至少一项:N个第一数值和N个第二数值,该N个第二数值用于指示相邻两帧图像中对应的像素点的调整后的灰度信息的变化秩序,该目标置信度值集合包括多个像素点的置信度值;以及,根据目标置信度值集合,确定目标图像序列中的目标运动区域。
本发明实施例的第三方面,提供一种电子设备,该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,该计算机程序被处理器执行时实现如第一方面所述的运动区域确定方法的步骤。
本发明实施例的第四方面,提供一种计算机可读存储介质,该计算机可读存储介质上存储计算机程序,该计算机程序被处理器执行时实现如第一方面所述的运动区域确定方法的步骤。
在本发明实施例中,电子设备可以获取目标图像序列的目标信息集合(该目标信息集合包括多个像素点的灰度信息),以根据该多个像素点中每个像素点的灰度信息,确定该多个像素点对应的N个第一数值,从而电子设备可以根据第一信息(该第一信息包括N个第一数值,和/或,N个第二数值),确定目标置信度值集合,并根据该目标置信度值集合,确定该目标图像序列中的目标运动区域。在待拍摄物体处于运动状态时,由于电子设备可以根据目标图像序列中多帧图像中的多个像素点的灰度信息,直接确定该目标图像序列中的运动区域,而无需先对目标图像序列进行亮度映射处理,再确定运动区域,因此可以避免多帧图像的亮度信息变化较大而使得亮度映射处理的处理结果误差较大,导致确定的运动区域不准确,从而可以提升电子设备确定运动区域的准确性,以提升电子设备的运动补偿的效果。
附图说明
图1为本发明实施例提供的一种安卓操作系统的架构示意图;
图2为本发明实施例提供的一种运动区域确定方法的示意图之一;
图3为本发明实施例提供的一种运动区域确定方法的示意图之二;
图4为本发明实施例提供的一种运动区域确定方法的第三预设算法的示意图;
图5为本发明实施例提供的一种运动区域确定方法的示意图之三;
图6为本发明实施例提供的一种运动区域确定方法的示意图之四;
图7为本发明实施例提供的一种运动区域确定方法的示意图之五;
图8为本发明实施例提供的一种电子设备的结构示意图之一;
图9为本发明实施例提供的一种电子设备的结构示意图之二;
图10为本发明实施例提供的一种电子设备的结构示意图之三;
图11为本发明实施例提供的一种电子设备的硬件示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一预设算法和第二预设算法等是用于区别不同的预设算法,而不是用于描述预设算法的特定顺序。
在本发明实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个元件是指两个元件或两个以上元件。
本文中术语“和/或”,是一种描述关联对象的关联关系,表示可以存在三种关系,例如,显示面板和/或背光,可以表示:单独存在显示面板,同时存在显示面板和背光,单独存在背光这三种情况。本文中符号“/”表示关联对象是或者的关系,例如输入/输出表示输入或者输出。
在本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明实施例提供一种运动区域确定方法及电子设备,在待拍摄物体处于运动状态时,由于电子设备可以根据目标图像序列中多帧图像中的多个像素点的灰度信息,直接确定该目标图像序列中的运动区域,而无需先对目标图像序列进行亮度映射处理,再确定运动区域,因此可以避免多帧图像的亮度信息变化较大而使得亮度映射处理的处理结果误差较大,导致确定的运动区域不准确,从而可以提升电子设备确定运动区域的准确性,以提升电子设备的运动补偿的效果。
本发明实施例提供的运动区域确定方法及电子设备,可以应用于电子设备确定运动区域的过程。具体的,可以应用于电子设备根据图像的像素点的灰度信息,确定运动区域的过程中。
本发明实施例中的电子设备可以为具有操作系统的电子设备。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本发明实施例不作具体限定。
下面以安卓操作系统为例,介绍一下本发明实施例提供的运动区域确定方法所应用的软件环境。
如图1所示,为本发明实施例提供的一种可能的安卓操作系统的架构示意图。在图1中,安卓操作系统的架构包括4层,分别为:应用程序层、应用程序框架层、系统运行库层和内核层(具体可以为Linux内核层)。
其中,应用程序层包括安卓操作系统中的各个应用程序(包括系统应用程序和第三方应用程序)。
应用程序框架层是应用程序的框架,开发人员可以在遵守应用程序的框架的开发原则的情况下,基于应用程序框架层开发一些应用程序。
系统运行库层包括库(也称为系统库)和安卓操作系统运行环境。库主要为安卓操作系统提供其所需的各类资源。安卓操作系统运行环境用于为安卓操作系统提供软件环境。
内核层是安卓操作系统的操作系统层,属于安卓操作系统软件层次的最底层。内核层基于Linux内核为安卓操作系统提供核心系统服务和与硬件相关的驱动程序。
以安卓操作系统为例,本发明实施例中,开发人员可以基于上述如图1所示的安卓操作系统的系统架构,开发实现本发明实施例提供的运动区域确定方法的软件程序,从而使得该运动区域确定方法可以基于如图1所示的安卓操作系统运行。即处理器或者电子设备可以通过在安卓操作系统中运行该软件程序实现本发明实施例提供的运动区域确定方法。
本发明实施例中的电子设备可以为移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,非移动电子设备可以为个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本发明实施例不作具体限定。
下面结合附图,通过具体的实施例及其应用场景对本发明实施例提供的一种运动区域确定方法及电子设备进行详细地说明。
本发明实施例提供的一种运动区域确定方法,图2示出了本发明实施例提供的一种运动区域确定方法的流程图,该方法可以应用于具有如图1所示的安卓操作系统的电子设备。如图2所示,本发明实施例提供的运动区域确定方法可以包括下述的步骤201至步骤204。
步骤201、电子设备获取目标图像序列的目标信息集合。
本发明实施例中,上述目标信息集合包括多个像素点的灰度信息,该多个像素点为目标图像序列中的M帧图像的像素点,M为大于1的整数。
本发明实施例中,上述目标信息集合包括拍摄得到的M帧图像的所有像素点的灰度信息。
本发明实施例中,在对待拍摄物体进行拍摄时,电子设备可以拍摄该待拍摄物体的多帧图像,并对该多帧图像进行排序处理,以得到目标图像序列。
可选的,本发明实施例中,在对待拍摄物体进行高动态范围图像(high-dynamicrange,HDR)模式拍摄时,电子设备可以拍摄该待拍摄物体的曝光参数不同的多帧图像,并按照该多帧图像的曝光参数,对该多帧图像进行排序处理,以得到目标图像序列。
可选的,本发明实施例中,上述曝光参数可以包括以下至少一项:曝光时间、曝光量和光圈值。
可选的,本发明实施例中,电子设备可以按照曝光参数由高至低的顺序,对多帧图像进行排序处理,以得到目标图像序列。
可选的,本发明实施例中,电子设备可以对M帧图像进行检测,以得到多个像素点中每个像素点的灰度信息,以确定目标信息集合。
可选的,本发明实施例中,上述目标信息集合还可以包括多个像素点的其他信息,例如多个像素点的亮度信息、多个像素点的像素信息等。
可选的,本发明实施例中,上述多个像素点的灰度信息中每个像素点的灰度信息具体可以为该每个像素点的灰度值。
可选的,本发明实施例中,上述M帧图像可以为目标图像序列中的所有帧图像,该M帧图像为按照曝光参数由高至低的顺序排列后的图像。
可选的,本发明实施例中,电子设备可以对目标图像序列进行预处理,以将目标图像序列中的其余帧图像与参考帧图像全局对齐。其中,该参考帧图像为目标图像序列中的任意帧图像,该其余帧图像为目标图像序列中除该参考帧图像之外的图像。
可选的,本发明实施例中,电子设备可以先将目标图像序列由RGB图像序列转化为灰度图像序列,并对转化为灰度图像序列的目标图像序列进行亮度映射处理。
可选的,本发明实施例中,电子设备可以通过卢卡斯-卡纳德(Lucas-Kanade,LK)光流金字塔算法,确定参考帧图像中的多个光流特征点和其余帧图像中的多个光流特征点,并通过单应矩阵算法将该参考帧图像和其余帧图像全局对齐。
需要说明的是,针对LK光流金字塔算法的具体说明,可以参考相关技术中的描述,本发明实施例在此不予赘述。
可以理解,参考帧图像中的一个光流特征点,和每个其余帧图像中的一个光流特征点匹配。
可选的,本发明实施例中,电子设备可以通过随机抽样一致(random sampleconsensus,RANSAC)算法,确定多个第一匹配点对,一个第一匹配点对为参考帧图像中的一个光流特征点和一个其余帧图像中的一个光流特征点构成的匹配点对。
需要说明的是,针对RANSAC算法的具体方法,可以参考现有技术中的相关描述,本发明实施例在此不予赘述。
需要说明的是,针对单应矩阵算法的具体说明,可以参考相关技术中的描述,本发明实施例在此不予赘述。
可以理解,电子设备可以通过RANSAC算法确定多个第一匹配点对,并根据该多个第一匹配点对,通过单应矩阵算法确定与参考帧图像全局对齐的其余帧图像。
步骤202、电子设备根据每个像素点的灰度信息,采用第一预设算法,确定多个像素点对应的N个第一数值。
本发明实施例中,上述N个第一数值用于指示M帧图像中的相邻两帧图像中对应的像素点的灰度信息的变化秩序,N为大于1的整数。
本发明实施例中,上述“M帧图像中的相邻两帧图像中对应的像素点”可以理解为:该相邻两帧图像中的对应位置的两个像素点,即相邻两帧图像中的第a行第b列的两个像素点为对应的像素点,a和b均为正整数。
示例性的,假设M=3,即M帧图像为图像1、图像2和图像3,且图像1与图像2为相邻两帧图像,图像2与图像3为相邻两帧图像,则图像1中的第1行第1列的像素点与图像2中的第1行第1列的像素点为对应的像素点,图像1中的第2行第1列的像素点与图像2中的第2行第1列的像素点为对应的像素点,以此类推;并且,图像2中的第1行第2列的像素点与图像3中的第1行第2列的像素点为对应的像素点,图像2中的第2行第3列的像素点与图像3中的第2行第3列的像素点为对应的像素点,以此类推。
可以理解,一个第一数值用于指示M帧图像中的第a行第b列的像素点的灰度信息的变化秩序。
可以理解,M帧图像中的每帧图像中均包括N个像素点;M帧图像中的第a行第b列的像素点均对应一个第一数值。
可选的,本发明实施例中,结合图2,如图3所示,上述步骤202具体可以通过下述的步骤202a至步骤202c实现。
步骤202a、电子设备根据每个像素点的灰度信息,采用第一预设算法,确定K个第一差值。
本发明实施例中,针对K个第一差值中每个第一差值,一个第一差值为第i帧图像中的第j个像素点的灰度信息和第i+1帧图像中的第j个像素点的灰度信息的差值,该第i帧图像和第i+1帧图像为M帧图像中任意连续的两帧图像,该第j个像素点为M帧图像中每帧图像中的任意像素点,K为大于N的整数,1≤i≤M,且i为整数,j为正整数。
需要说明的是,上述“第j个像素点”可以理解为:每帧图像中的第a行第b列的像素点。上述“一个第一差值为第i帧图像中的第j个像素点的灰度信息和第i+1帧图像中的第j个像素点的灰度信息的差值”可以理解为:每帧图像中的第a行第b列的像素点的灰度信息和该帧图像的后一帧图像中的该第a行第b列的像素点的灰度信息的差值。
可选的,本发明实施例中,电子设备可以通过第一预设算法,分别根据每个像素点的灰度信息,确定每个第一差值,以确定K个第一差值。
可选的,本发明实施例中,上述第一预设算法具体为:
Figure BDA0002332011890000051
其中,Cab为一个第一差值(即第i帧图像中的第a行第b列的像素点的灰度值与第i+1帧图像中的第a行第b列的像素点的灰度值的差值),
Figure BDA0002332011890000052
为第i帧图像中的第a行第b列的像素点的灰度值,
Figure BDA0002332011890000053
为第i+1帧图像中的第a行第b列的像素点的灰度值。
示例性的,假设M=3,即M帧图像为图像1、图像2和图像3,且图像1与图像2为相邻两帧图像,图像2与图像3为相邻两帧图像,则电子设备可以根据图像1中的第1行第1列的像素点的灰度值与图像2中的第1行第1列的像素点的灰度值的差值,确定一个第一差值,并根据图像2中的第1行第1列的像素点的灰度值与图像3中的第1行第1列的像素点的灰度值的差值,确定另一个第一差值,以及根据图像1中的第1行第2列的像素点的灰度值与图像2中的第1行第2列的像素点的灰度值的差值,确定又一个第一差值,以此类推,直至最后一个像素点(即第N个像素点),以确定K个第一差值。
步骤202b、针对K个第一差值中的每个第一差值,电子设备对比一个第一差值和一个预设阈值,以得到一个对比结果,并根据一个对比结果,确定一个第三数值,以得到K个第三数值。
本发明实施例中,上述K个第一差值均对应一个预设阈值;或者,上述K个第一差值对应N个预设阈值。
可选的,本发明实施例中,在K个第一差值对应N个预设阈值的情况下,M帧图像中每帧图像的第a行第b列的像素点均对应一个预设阈值。
示例性的,假设M=3,即M帧图像为图像1、图像2和图像3,且图像1与图像2为相邻两帧图像,图像2与图像3为相邻两帧图像,则图像1中第1行第1列的像素点、图像2中第1行第1列的像素点和图像3中第1行第1列的像素点均对应一个预设阈值,图像1中第1行第2列的像素点、图像2中第1行第2列的像素点和图像3中第1行第2列的像素点均对应另一个预设阈值,以此类推,直至最后一个像素点(即第N个像素点)。
可以理解,针对K个第一差值中每个第一差值,一个第一差值对应一个第三数值,即M帧图像中连续的两帧图像中的对应的两个像素点对应一个第三数值。
可选的,本发明实施例中,电子设备可以通过第六预设算法,分别根据每个第一差值,确定每个第三数值,以确定K个第三数值。
可选的,本发明实施例中,上述第六预设算法具体为:
Figure BDA0002332011890000061
其中,
Figure BDA0002332011890000062
为一个第三数值(即第i帧图像中的第a行第b列的像素点和第i+1帧图像中的第a行第b列的像素点对应的第三数值),T为一个预设阈值(即每帧图像的第a行第b列的像素点对应的预设阈值)。
可选的,本发明实施例中,电子设备可以根据K个第三数值,形成M-1张第三数值差值图(亮暗差图),一张第三数值差值图(例如第1张第三数值差值图)中的一个第三数值(例如第1行第1列的第三数值),为第1帧图像中的第1行第1列的像素点和第2帧图像中的第1行第1列的像素点对应的第三数值。
可选的,本发明实施例中,M帧图像为预处理之后的输出图像序列,且随着M增加,曝光参数逐渐降低,即图像中的每个像素点的灰度值逐渐变小(即图像逐渐变暗)。首先进行Pixel-Level的信息处理,
Figure BDA0002332011890000063
设为中第a列第b行像素点的灰度值,对于输出的M帧图像,每两帧按照第六预设算法进行逐像素点计算,进而得到每两帧之间的亮暗差图,即M-1张亮暗差图。
本发明实施例中,一个第三数值表征了多个像素点(即与该一个第三数值对应的两个像素点)产生的多帧亮暗秩序翻转(break luma order relation,BLOR)的次数。可以理解,若一个第三数值越大,则BLOR的次数越多,因此与该一个第三数值对应的两个像素点处于运动区域的概率越大。
可选的,本发明实施例中,在上述步骤202b之前,本发明实施例提供的一种运动区域确定方法还包括下述的步骤301和步骤302。
步骤301、电子设备获取目标图像序列中的参考帧图像。
可选的,本发明实施例中,电子设备可以在获取目标图像序列时,在该目标图像序列中选取一帧图像作为参考帧图像,以获取参考帧图像。
可选的,本发明实施例中,在获取参考帧图像之后,电子设备可以对该参考帧图像进行检测,以获取参考帧图像中的每个像素点的灰度信息,从而根据该每个像素点的灰度信息,确定N个预设阈值。
步骤302、电子设备采用第三预设算法,对参考帧图像中的每个像素点的灰度信息进行变换处理,以得到N个预设阈值。
可选的,本发明实施例中,电子设备可以通过第三预设算法,分别根据参考帧图像中的每个像素点的灰度信息,确定该每个像素点的预设阈值(亮暗秩序阈值)。
可选的,本发明实施例中,上述第三预设算法具体为:
Figure BDA0002332011890000071
其中,T为一个预设阈值,GrayValue为参考帧图像中第a行第b列的像素点的灰度值,T1为第一灰度阈值,T2为第一灰度阈值,T3为第一灰度阈值,T4为第一灰度阈值。
可以理解,若参考帧图像中的第a行第b列的像素点的灰度值大于0、且小于T1,则该第a行第b列的像素点对应的一个预设阈值为T_Dark,即M帧图像中的每帧图像中第1行第1列的像素点均对应的一个预设阈值为T_Dark;若参考帧图像中的第a行第b列的像素点的灰度值大于T1、且小于T2,则该第a行第b列的像素点对应的一个预设阈值为f1(GrayValue),即M帧图像中的每帧图像中第1行第1列的像素点均对应的一个预设阈值为f1(GrayValue);若参考帧图像中的第a行第b列的像素点的灰度值大于T2、且小于T3,则该第a行第b列的像素点对应的一个预设阈值为0,即M帧图像中的每帧图像中第1行第1列的像素点均对应的一个预设阈值为0;若参考帧图像中的第a行第b列的像素点的灰度值大于T3、且小于T4,则该第a行第b列的像素点对应的一个预设阈值为f2(GrayValue),即M帧图像中的每帧图像中第1行第1列的像素点均对应的一个预设阈值为f2(GrayValue);若参考帧图像中的第a行第b列的像素点的灰度值大于T4、且小于255,则该第a行第b列的像素点对应的一个预设阈值为T_Bright,即M帧图像中的每帧图像中第1行第1列的像素点均对应的一个预设阈值为T_Bright。
可选的,本发明实施例中,f1(GrayValue)=D(GrayValue)+E,其中,D、E均为常数;f2(GrayValue)=-F(GrayValue)+G,其中,F、G均为常数。
示例性的,如图4所示,若参考帧图像中的第1行第1列的像素点的灰度值大于0、且小于T1,则该第1行第1列的像素点对应的一个预设阈值为T_Dark;若参考帧图像中的第1行第1列的像素点的灰度值大于T1、且小于T2,则该第1行第1列的像素点对应的一个预设阈值为f1(GrayValue)=D(GrayValue)+E;若参考帧图像中的第1行第1列的像素点的灰度值大于T2、且小于T3,则该第1行第1列的像素点对应的一个预设阈值为0;若参考帧图像中的第1行第1列的像素点的灰度值大于T3、且小于T4,则该第1行第1列的像素点对应的一个预设阈值为f2(GrayValue)=-F(GrayValue)+G;若参考帧图像中的第1行第1列的像素点的灰度值大于T4、且小于255,则该第1行第1列的像素点对应的一个预设阈值为T_Bright。
本发明实施例中,由于M帧图像中可能会出现灰度值过大(高光)的区域(或灰度值过小(死黑)的区域),会导致K个第一差值中的某些第一差值过大(或过小),因此可以通过对参考帧图像中的每个像素点的灰度信息进行变换处理,以自适应图像中区域的亮度变化,从而提升电子设备确定多个第三数值的准确性。
步骤202c、电子设备根据K个第三数值,采用第二预设算法,确定N个第一数值。
本发明实施例中,针对N个第一数值中每个第一数值,一个第一数值用于指示第i帧图像中的第j个像素点的灰度信息和第i+1帧图像中的第j个像素点的灰度信息的变化秩序。
可选的,本发明实施例中,电子设备可以通过第二预设算法,根据K个第三数值,确定N个第一数值。
Figure BDA0002332011890000081
其中,Dab为一个第一数值(即M帧图像中的每帧图像中第a行第b列的像素点对应的第一数值),
Figure BDA0002332011890000082
为一个第三数值(即第i帧图像中的第a行第b列的像素点和第i+1帧图像中的第a行第b列的像素点对应的第三数值)。
示例性的,假设M=3,即M帧图像为图像1、图像2和图像3,则图像1、图像2和图像3中第1行第1列的像素点对应的第一数值,为图像1中的第1行第1列的像素点和图像2中的第1行第1列的像素点对应的第三数值,与图像2中的第1行第1列的像素点和图像3中的第1行第1列的像素点对应的第三数值之和。
可选的,本发明实施例中,电子设备可以根据N个第一数值,形成1张第一数值图(亮暗秩序图),该1张第一数值图中的一个第一数值(例如第1行第1列的第一数值),为每帧图像中第1行第1列的像素点对应的第一数值。
可以理解,电子设备可以按照第二预设算法,将M-1张第三数值差值图(亮暗差图)进行合成,得到1张第一数值图(亮暗秩序图)。
步骤203、电子设备根据第一信息,确定目标置信度值集合。
本发明实施例中,上述第一信息包括以下至少一项:N个第一数值和N个第二数值,该N个第二数值用于指示M帧图像中的相邻两帧图像中对应的像素点的调整后的灰度信息的变化秩序。
本发明实施例中,上述目标置信度值集合包括多个像素点的置信度值。
可选的,本发明实施例中,上述目标置信度值集合包括M帧图像中所有像素点的置信度值。
本发明实施例中,电子设备可以根据目标图像序列中的M帧图像的每个像素点的灰度信息,分别确定每个像素点的置信度值,以得到目标置信度值集合,即一个像素点的置信度值对应该一个像素点的灰度信息。
本发明实施例中,针对目标图像序列中每个像素点的置信度值,一个像素点的置信度用于表征该一个像素点处于运动区域(运动感兴趣区域(motion region ofinterest,MROI))的概率。可以理解,一个像素点的置信度值越高,则该一个像素点处于运动区域的概率越高;一个像素点的置信度值越低,则该一个像素点处于运动区域的概率越低。
可选的,本发明实施例中,若第一信息包括N个第一数值,则电子设备可以根据该N个第一数值,确定目标置信度值集合。
可选的,本发明实施例中,针对N个第一数值中每个第一数值,电子设备可以根据一个第一数值,确定与该一个数值对应的M个像素点的置信度值,以确定目标置信度值集合。
示例性的,假设M=3,即M帧图像为图像1、图像2和图像3,则电子设备可以根据一个第一数值(例如第一数值图中的第1行第1列的第一数值),确定与该第一数值图中的第1行第1列的第一数值对应的3个像素点的置信度值,即图像1中第1行第1列的像素点的置信度值、图像2中第1行第1列的像素点的置信度值和图像3中第1行第1列的像素点的置信度值。
本发明实施例中,若每帧图像中的某一区域为非运动区域,则该某一区域中的像素点在M帧图像中的灰度信息的变化秩序呈现像素级(pixel-level)的亮暗关系单调性(即该某个像素点的灰度信息呈递减趋势)。若每帧图像中的某一区域为运动区域,则该某一区域中的像素点在M帧图像中的灰度信息的变化秩序并不呈现pixel-level的亮暗关系单调性(multiframe luma order relation,MFLOR),即该某个像素点的灰度信息并不呈递减趋势。
可以理解,本发明实施例提出了一种基于多帧亮暗秩序的特征量(即N个第一数值),该特征量不需要进行亮度映射函数(Intensity Mapping Function,IMF)的计算,因此避免了IMF计算误差(运动场景会影响IMF的精准性)的影响,且利用了图像多帧时域信息,相对于传统方法基于两帧双向映射的灰度信息(Gray-Diff)特征量,具有明显的鲁棒性。
可选的,本发明实施例中,在上述步骤203之前,本发明实施例提供的一种运动区域确定方法还包括下述的步骤401。
步骤401、电子设备根据K个第二差值,采用第四预设算法,确定N个第二数值。
本发明实施例中,针对K个第二差值中每个第二差值,一个第二差值为调整后的第i帧图像中的第j个像素点的灰度信息和调整后的第i+1帧图像中的第j个像素点的灰度信息的差值,该第i帧图像和该第i+1帧图像为M帧图像中任意连续的两帧图像,该第j个像素点为M帧图像中每帧图像中的任意像素点。
需要说明的是,上述“一个第二差值为第i帧图像中的第j个像素点的灰度信息和第i+1帧图像中的第j个像素点的灰度信息的差值”可以理解为:每帧图像中的第a行第b列的像素点的灰度信息和该帧图像的后一帧图像中的该第a行第b列的像素点的灰度信息的差值。
可选的,本发明实施例中,上述第四预设算法具体可以为相邻帧差法。
需要说明的是,针对相邻帧差法的具体方法,可以参考现有技术中的相关描述,本发明实施例在此不予赘述。
可选的,本发明实施例中,电子设备可以根据N个第二数值,形成1张第二数值图(双向映射Gray-diff图),该1张第而数值图中的一个第而数值(例如第1行第1列的第二数值),为每帧图像中第1行第1列的像素点对应的第二数值。
可选的,本发明实施例中,在上述步骤401之前,本发明实施例提供的一种运动区域确定方法还包括下述的步骤501和步骤502。
步骤501、电子设备采用双向映射处理算法,调整第i帧图像中的第j个像素点的灰度信息和第i+1帧图像中的第j个像素点的灰度信息。
可选的,本发明实施例中,上述双向映射处理算法具体可以为亮度映射函数算法。
需要说明的是,针对亮度映射函数算法的具体方法,可以参考现有技术中的相关描述,本发明实施例在此不予赘述。
步骤502、电子设备根据调整后的第i帧图像中的第j个像素点的灰度信息和调整后的第i+1帧图像中的第j个像素点的灰度信息,确定K个第二差值。
示例性的,假设M=3,即M帧图像为图像1、图像2和图像3,且图像1与图像2为相邻两帧图像,图像2与图像3为相邻两帧图像,则电子设备可以根据调整后的图像1中的第1行第1列的像素点的灰度值与调整后的图像2中的第1行第1列的像素点的灰度值的差值,确定一个第二差值,并根据调整后的图像2中的第1行第1列的像素点的灰度值与调整后的图像3中的第1行第1列的像素点的灰度值的差值,确定另一个第二差值,以及根据调整后的图像1中的第1行第2列的像素点的灰度值与调整后的图像2中的第1行第2列的像素点的灰度值的差值,确定又一个第二差值,以此类推,直至最后一个像素点(即第N个像素点),以确定K个第二差值。
可选的,本发明实施例中,上述第一信息包括N个第一数值和N个第二数值。结合图3,如图5所示,上述步骤203具体可以通过下述的步骤203a至203c实现。
步骤203a、电子设备根据N个第一数值,确定第一置信度值集合。
本发明实施例中,上述第一置信度值集合包括N个第一置信度值,针对N个第一置信度值中每个第一置信度值,一个第一置信度值对应一个第一数值,一个第一置信度值为M帧图像中的第j个像素点的置信度值。
可选的,本发明实施例中,针对N个第一数值中每个第一数值,电子设备可以根据一个第一数值,确定与该一个第一数值对应的M个像素点的第一置信度值,以确定第一置信度值集合。
步骤203b、电子设备根据N个第二数值,确定第二置信度值集合。
本发明实施例中,上述第二置信度值集合包括N个第二置信度值,针对N个第二置信度值中每个第二置信度值,一个第二置信度值对应一个第二数值,一个第二置信度值为M帧图像中的第j个像素点的置信度值。
可选的,本发明实施例中,针对N个第一数值中每个第二数值,电子设备可以根据一个第二数值,确定与该一个数值对应的M个像素点的第二置信度值,以确定第二置信度值集合。
步骤203c、电子设备根据第一置信度值集合和第二置信度值集合,确定目标置信度值集合。
可选的,本发明实施例中,电子设备可以通过求和平均算法,对每个像素点的第一置信度值和该每个像素点的第二置信度值进行求和平均计算,以得到该每个像素点的置信度值,以确定目标置信度值集合。
可选的,本发明实施例中,电子设备可以根据第一数值图(亮暗秩序图)和第二数值图(双向映射Gray-diff图),得出pixel-level的目标置信度值(运动置信度)引导图,从而电子设备可以根据该目标置信度值引导图,确定目标图像序列中的目标运动区域。
步骤204、电子设备根据目标置信度值集合,确定目标图像序列中的目标运动区域。
可选的,本发明实施例中,结合图2,如图6所示,上述步骤204具体可以通过下述的步骤204a至步骤204c实现。
步骤204a、电子设备根据目标置信度值集合,确定目标图像序列中的至少一个第一区域。
本发明实施例中,上述至少一个第一区域中每个第一区域分别为第一像素点集合中的所有像素点形成的区域,该第一像素点集合中的每个像素点为置信度值大于或等于预设置信度值的像素点。
可以理解,电子设备可以将置信度值低于预设置信度值的像素点进行过滤处理,以得到多个像素点,从而可以根据该多个像素点,确定至少一个第一区域。
可选的,本发明实施例中,电子设备可以根据至少一个第一区域的置信度值(运动置信度)引导图,对目标图像序列进行基于数据驱动的空间可变形态学滤波,以得到运动标签图序列(label)。
可选的,本发明实施例中,上述至少一个第一区域为第一像素点集合中所有像素点所围成的区域。
可选的,本发明实施例中,电子设备在确定至少一个第一区域之后,可以对该至少一个第一区域中每个第一区域进行检测,以获取每个第一区域内所有像素点中每个像素点对应的第一数值。
步骤204b、电子设备采用第五预设算法,确定每个第一区域的置信度值。
可选的,本发明实施例中,电子设备可以根据每个第一区域内所有像素点中每个像素点对应的第一数值,采用第五预设算法,确定每个第一区域的目标置信度值。
可选的,本发明实施例中,上述第五预设算法具体为:
Figure BDA0002332011890000111
Figure BDA0002332011890000112
其中,BLOi为一个第一区域(label)内第三数值为i(即该一个第一区域内产生i次BLOR现象)的像素点的个数,BLOnum为发生BLOR现象的总统计值,Area为该一个第一区域的面积,BLOratio为目标置信度值(即发生BLOR现象的像素点在该一个第一区域内占的比例)。
可以理解,针对至少一个第一区域中的每个第一区域,一个第一区域对应一个置信度值,该一个区域对应的一个置信度值表征该一个第一区域为运动区域(运动感兴趣区域(motion region of interest,MROI))的概率。
可以理解,一个第一区域的置信度值越高,则该一个第一区域内的像素点中发生BLOR的像素点越多,即该一个第一区域为运动区域的概率越高;一个第一区域的置信度值越低,则该一个第一区域内的像素点中发生BLOR的像素点越少,即该一个第一区域为运动区域的概率越低。
步骤204c、电子设备根据每个第一区域的置信度值,确定目标运动区域。
可选的,本发明实施例中,电子设备可以根据至少一个第一区域中每个第一区域的置信度值,确定至少一个第一区域的置信度图,以根据该置信度图,确定目标运动区域。
可选的,本发明实施例中,由于i值越大,一个第一区域内的所有像素点处于运动区域的置信度越高,所以在计算总统计值时,随着i值增大,其权重也将提升。本发明实施例通过记录每个Label四个维度的统计特性:BLON-1、BLON-2、BLOnum和BLOratio。结合Gray-Diff的区域级(Region-Level)信息计算出Label的目标置信度值。由此置信度图指导目标图像序列进行融合(Blending)操作,最终得到目标图像序列中的目标运动区域。
可以理解,本发明实施例基于多帧亮暗秩序并结合Gray-Diff等Pixel-Level的特征量,提出了一种基于置信度图(Pixel-Level)引导的空间可变形态学算子,这种基于数据驱动的完全自适应滤波方法,可以有效减弱运动漏检和误检的概率;并且,本发明实施例基于上述特征量Region-Level的统计特性,提出了一种基于置信度图(Region-Level)引导的多尺度形态学算子和Blending多个尺度滤波结果的方法,该方法可有效利用时空域特征信息,进一步提高MROI定位的准确性。
示例性的,如图7所示,电子设备可以先对目标图像序列进行预处理和全局对齐,然后再根据该目标图像序列的多个像素点的灰度信息,得到像素级(Pixel-Level)的亮暗秩序图(即多帧亮暗秩序特征量)和双向映射灰度值图(即双向映射Gray-diff),以根据该亮暗秩序图和该双向映射灰度值图,确定至少一个第一区域的置信度值(运动置信度)引导图,从而电子设备可以根据该运动置信度引导图,对目标图像序列进行空间可变形态学滤波(即空间可变形态学算子),以得到运动标签图序列(label),并根据该亮暗秩序图和该双向映射灰度值图,针对该运动标签图序列中所有像素点进行区域级(Region-Level)的多尺度形态学计算(即多尺度形态学算子),以确定该运动标签图序列的置信度值,以确定运动标签图序列label中的目标运动区域(即运动感兴趣区域MROI)。
可选的,本发明实施例中,电子设备在确定目标运动区域之后,可以只在目标运动区域(MROI区域)进行光流估计补偿等进一步去鬼影的操作,可以避免光流在全图的计算,利于工程的实时处理。
本发明实施例中,电子设备可以精准定位MROI区域,同时可以有效降低运动区域误检的概率,误检概率的降低可以避免出现融合异常等问题,进一步提升HDR拍照的质量。
本发明实施例中,电子设备可以精准定位MROI区域,从而可以有效降低运动区域漏检的概率,再经过光流运动估计和补偿策略后,可以消除HDR中的鬼影,从而提升HDR拍照的质量。
本发明实施例提供一种运动区域确定方法,电子设备可以获取目标图像序列的目标信息集合(该目标信息集合包括多个像素点的灰度信息),以根据该多个像素点中每个像素点的灰度信息,确定该多个像素点对应的N个第一数值,从而电子设备可以根据第一信息(该第一信息包括N个第一数值,和/或,N个第二数值),确定目标置信度值集合,并根据该目标置信度值集合,确定该目标图像序列中的目标运动区域。在待拍摄物体处于运动状态时,由于电子设备可以根据目标图像序列中多帧图像中的多个像素点的灰度信息,直接确定该目标图像序列中的运动区域,而无需先对目标图像序列进行亮度映射处理,再确定运动区域,因此可以避免多帧图像的亮度信息变化较大而使得亮度映射处理的处理结果误差较大,导致确定的运动区域不准确,从而可以提升电子设备确定运动区域的准确性,以提升电子设备的运动补偿的效果。
图8示出了本发明实施例中涉及的电子设备的一种可能的结构示意图。如图8所示,电子设备90可以包括:获取模块91和确定模块92。
其中,获取模块91,用于获取目标图像序列的目标信息集合,该目标信息集合包括多个像素点的灰度信息,该多个像素点为目标图像序列中的M帧图像的像素点,M为大于1的整数。确定模块92,用于根据获取模块91获取的每个像素点的灰度信息,采用第一预设算法,确定多个像素点对应的N个第一数值,该N个第一数值用于指示相邻两帧图像中对应的像素点的灰度信息的变化秩序,N为大于1的整数;并根据第一信息,确定目标置信度值集合,该第一信息包括以下至少一项:N个第一数值和N个第二数值,该N个第二数值用于指示相邻两帧图像中对应的像素点的调整后的灰度信息的变化秩序,该目标置信度值集合包括多个像素点的置信度值;以及,根据目标置信度值集合,确定目标图像序列中的目标运动区域。
在一种可能的实现方式中,上述确定模块92,具体用于根据每个像素点的灰度信息,采用第一预设算法,确定K个第一差值,一个第一差值为第i帧图像中的第j个像素点的灰度信息和第i+1帧图像中的第j个像素点的灰度信息的差值,该第i帧图像和第i+1帧图像为M帧图像中任意连续的两帧图像,该第j个像素点为M帧图像中每帧图像中的任意像素点,K为大于N的整数,1≤i≤M,且i为整数,j为正整数;并针对K个第一差值中的每个第一差值,对比一个第一差值和一个预设阈值,以得到一个对比结果,并根据一个对比结果,确定一个第三数值,以得到K个第三数值;以及,根据K个第三数值,采用第二预设算法,确定N个第一数值,一个第一数值用于指示第i帧图像中的第j个像素点的灰度信息和第i+1帧图像中的第j个像素点的灰度信息的变化秩序。其中,该K个第一差值均对应一个预设阈值;或者,K个第一差值对应N个预设阈值。
在一种可能的实现方式中,结合图8,如图9所示,本发明实施例提供的电子设备90还可以包括:处理模块93。其中,上述获取模块91,还用于在确定模块92针对K个第一差值中的每个第一差值,对比一个第一差值和一个预设阈值之前,获取目标图像序列中的参考帧图像。处理模块93,用于采用第三预设算法,对获取模块91获取的参考帧图像中的每个像素点的灰度信息进行变换处理,以得到N个预设阈值。
在一种可能的实现方式中,结合图8,如图10所示,本发明实施例提供的电子设备90还可以包括:调整模块94。其中,调整模块94,用于在确定模块92根据第一信息,确定目标置信度值集合之前之前,采用双向映射处理算法,调整第i帧图像中的第j个像素点的灰度信息和第i+1帧图像中的第j个像素点的灰度信息,该第i帧图像和第i+1帧图像为M帧图像中任意连续的两帧图像,该第j个像素点为M帧图像中每帧图像中的任意像素点。确定模块92,还用于根据调整后的第i帧图像中的第j个像素点的灰度信息和调整后的第i+1帧图像中的第j个像素点的灰度信息,确定K个第二差值;并根据K个第二差值,采用第四预设算法,确定N个第二数值,一个第二差值为调整后的第i帧图像中的第j个像素点的灰度信息和调整后的第i+1帧图像中的第j个像素点的灰度信息的差值。
在一种可能的实现方式中,上述第一信息包括N个第一数值和N个第二数值。上述确定模块92,具体用于根据N个第一数值,确定第一置信度值集合;并根据N个第二数值,确定第二置信度值集合;以及,根据第一置信度值集合和第二置信度值集合,确定目标置信度值集合。
在一种可能的实现方式中,上述确定模块92,具体用于根据目标置信度值集合,确定目标图像序列中的至少一个第一区域,每个第一区域分别为第一像素点集合中的所有像素点形成的区域,该第一像素点集合中的每个像素点为置信度值大于或等于预设置信度值的像素点;并采用第五预设算法,确定每个第一区域的置信度值;以及,根据每个第一区域的置信度值,确定目标运动区域。
本发明实施例提供的电子设备能够实现上述方法实施例中电子设备实现的各个过程,为避免重复,详细描述这里不再赘述。
本发明实施例提供一种电子设备,在待拍摄物体处于运动状态时,由于电子设备可以根据目标图像序列中多帧图像中的多个像素点的灰度信息,直接确定该目标图像序列中的运动区域,而无需先对目标图像序列进行亮度映射处理,再确定运动区域,因此可以避免多帧图像的亮度信息变化较大而使得亮度映射处理的处理结果误差较大,导致确定的运动区域不准确,从而可以提升电子设备确定运动区域的准确性,以提升电子设备的运动补偿的效果。
图11为实现本发明各个实施例的一种电子设备的硬件示意图。如图11所示,电子设备100包括但不限于:射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。
需要说明的是,本领域技术人员可以理解,图11中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图11所示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中,输入单元104,用于获取目标图像序列的目标信息集合,该目标信息集合包括多个像素点的灰度信息,该多个像素点为目标图像序列中的M帧图像的像素点,M为大于1的整数。
处理器110,用于根据每个像素点的灰度信息,采用第一预设算法,确定多个像素点对应的N个第一数值,该N个第一数值用于指示相邻两帧图像中对应的像素点的灰度信息的变化秩序,N为大于1的整数;并根据第一信息,确定目标置信度值集合,该第一信息包括以下至少一项:N个第一数值和N个第二数值,该N个第二数值用于指示相邻两帧图像中对应的像素点的调整后的灰度信息的变化秩序,该目标置信度值集合包括多个像素点的置信度值;以及,根据目标置信度值集合,确定目标图像序列中的目标运动区域。
本发明实施例提供一种电子设备,在待拍摄物体处于运动状态时,由于电子设备可以根据目标图像序列中多帧图像中的多个像素点的灰度信息,直接确定该目标图像序列中的运动区域,而无需先对目标图像序列进行亮度映射处理,再确定运动区域,因此可以避免多帧图像的亮度信息变化较大而使得亮度映射处理的处理结果误差较大,导致确定的运动区域不准确,从而可以提升电子设备确定运动区域的准确性,以提升电子设备的运动补偿的效果。
应理解的是,本发明实施例中,射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块102为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元103可以将射频单元101或网络模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与电子设备100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103包括扬声器、蜂鸣器以及受话器等。
输入单元104用于接收音频或视频信号。输入单元104可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或网络模块102进行发送。麦克风1042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。
电子设备100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在电子设备100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器105还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。具体地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板1071可覆盖在显示面板1061上,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图11中,触控面板1071与显示面板1061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现电子设备的输入和输出功能,具体此处不做限定。
接口单元108为外部装置与电子设备100连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备100内的一个或多个元件或者可以用于在电子设备100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器110可包括一个或多个处理单元;可选的,处理器110可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
电子设备100还可以包括给各个部件供电的电源111(比如电池),可选的,电源111可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,电子设备100包括一些未示出的功能模块,在此不再赘述。
可选的,本发明实施例还提供一种电子设备,包括如图11所示的处理器110,存储器109,存储在存储器109上并可在所述处理器110上运行的计算机程序,该计算机程序被处理器110执行时实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台电子设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。

Claims (10)

1.一种运动区域确定方法,应用于电子设备,其特征在于,所述方法包括:
获取目标图像序列的目标信息集合,所述目标信息集合包括多个像素点的灰度信息,所述多个像素点为所述目标图像序列中的M帧图像的像素点,M为大于1的整数;
根据每个像素点的灰度信息,采用第一预设算法,确定所述多个像素点对应的N个第一数值,所述N个第一数值用于指示相邻两帧图像中对应的像素点的灰度信息的变化秩序,N为大于1的整数;
根据第一信息,确定目标置信度值集合,所述第一信息包括以下至少一项:所述N个第一数值和N个第二数值,所述N个第二数值用于指示相邻两帧图像中对应的像素点的调整后的灰度信息的变化秩序,所述目标置信度值集合包括所述多个像素点的置信度值;
根据所述目标置信度值集合,确定所述目标图像序列中的目标运动区域。
2.根据权利要求1所述的方法,其特征在于,所述根据每个像素点的灰度信息,采用第一预设算法,确定所述多个像素点对应的N个第一数值,包括:
根据所述每个像素点的灰度信息,采用所述第一预设算法,确定K个第一差值,一个第一差值为第i帧图像中的第j个像素点的灰度信息和第i+1帧图像中的第j个像素点的灰度信息的差值,所述第i帧图像和所述第i+1帧图像为所述M帧图像中任意连续的两帧图像,所述第j个像素点为所述M帧图像中每帧图像中的任意像素点,K为大于N的整数,1≤i≤M,且i为整数,j为正整数;
针对所述K个第一差值中的每个第一差值,对比一个第一差值和一个预设阈值,以得到一个对比结果,并根据所述一个对比结果,确定一个第三数值,以得到K个第三数值;
根据所述K个第三数值,采用第二预设算法,确定所述N个第一数值,一个第一数值用于指示所述第i帧图像中的第j个像素点的灰度信息和第i+1帧图像中的第j个像素点的灰度信息的变化秩序;
其中,所述K个第一差值均对应一个预设阈值;或者,所述K个第一差值对应N个预设阈值。
3.根据权利要求2所述的方法,其特征在于,所述针对所述K个第一差值中的每个第一差值,对比一个第一差值和一个预设阈值之前,所述方法还包括:
获取所述目标图像序列中的参考帧图像;
采用第三预设算法,对所述参考帧图像中的每个像素点的灰度信息进行变换处理,以得到所述N个预设阈值。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述根据第一信息,确定所述目标置信度值集合之前,所述方法还包括:
采用双向映射处理算法,调整第i帧图像中的第j个像素点的灰度信息和第i+1帧图像中的第j个像素点的灰度信息,所述第i帧图像和所述第i+1帧图像为所述M帧图像中任意连续的两帧图像,所述第j个像素点为所述M帧图像中每帧图像中的任意像素点;
根据调整后的所述第i帧图像中的第j个像素点的灰度信息和调整后的所述第i+1帧图像中的第j个像素点的灰度信息,确定K个第二差值;
根据所述K个第二差值,采用第四预设算法,确定所述N个第二数值,一个第二差值为调整后的所述第i帧图像中的第j个像素点的灰度信息和调整后的所述第i+1帧图像中的第j个像素点的灰度信息的差值。
5.根据权利要求1所述的方法,其特征在于,所述根据所述目标置信度值集合,确定所述目标图像序列中的目标运动区域,包括:
根据所述目标置信度值集合,确定所述目标图像序列中的至少一个第一区域,每个第一区域分别为第一像素点集合中的所有像素点形成的区域,所述第一像素点集合中的每个像素点为置信度值大于或等于预设置信度值的像素点;
采用第五预设算法,确定每个第一区域的置信度值;
根据所述每个第一区域的置信度值,确定所述目标运动区域。
6.一种电子设备,其特征在于,所述电子设备包括:获取模块和确定模块;
所述获取模块,用于获取目标图像序列的目标信息集合,所述目标信息集合包括多个像素点的灰度信息,所述多个像素点为所述目标图像序列中的M帧图像的像素点,M为大于1的整数;
所述确定模块,用于根据所述获取模块获取的每个像素点的灰度信息,采用第一预设算法,确定所述多个像素点对应的N个第一数值,所述N个第一数值用于指示相邻两帧图像中对应的像素点的灰度信息的变化秩序,N为大于1的整数;并根据第一信息,确定目标置信度值集合,所述第一信息包括以下至少一项:所述N个第一数值和N个第二数值,所述N个第二数值用于指示相邻两帧图像中对应的像素点的调整后的灰度信息的变化秩序,所述目标置信度值集合包括所述多个像素点的置信度值;以及,根据所述目标置信度值集合,确定所述目标图像序列中的目标运动区域。
7.根据权利要求6所述的电子设备,其特征在于,所述确定模块,具体用于根据所述每个像素点的灰度信息,采用所述第一预设算法,确定K个第一差值,一个第一差值为第i帧图像中的第j个像素点的灰度信息和第i+1帧图像中的第j个像素点的灰度信息的差值,所述第i帧图像和所述第i+1帧图像为所述M帧图像中任意连续的两帧图像,所述第j个像素点为所述M帧图像中每帧图像中的任意像素点,K为大于N的整数,1≤i≤M,且i为整数,j为正整数;并针对所述K个第一差值中的每个第一差值,对比一个第一差值和一个预设阈值,以得到一个对比结果,并根据所述一个对比结果,确定一个第三数值,以得到K个第三数值;以及,根据所述K个第三数值,采用第二预设算法,确定所述N个第一数值,一个第一数值用于指示所述第i帧图像中的第j个像素点的灰度信息和第i+1帧图像中的第j个像素点的灰度信息的变化秩序;
其中,所述K个第一差值均对应一个预设阈值;或者,所述K个第一差值对应N个预设阈值。
8.根据权利要求7所述的电子设备,其特征在于,所述电子设备还包括:处理模块;
所述获取模块,还用于在所述确定模块针对所述K个第一差值中的每个第一差值,对比一个第一差值和一个预设阈值之前,获取所述目标图像序列中的参考帧图像;
所述处理模块,用于采用第三预设算法,对所述获取模块获取的所述参考帧图像中的每个像素点的灰度信息进行变换处理,以得到所述N个预设阈值。
9.根据权利要求6至8中任一项所述的电子设备,其特征在于,所述电子设备还包括:调整模块;
所述调整模块,用于在所述确定模块根据所述第一信息,确定所述目标置信度值集合之前之前,采用双向映射处理算法,调整第i帧图像中的第j个像素点的灰度信息和第i+1帧图像中的第j个像素点的灰度信息,所述第i帧图像和所述第i+1帧图像为所述M帧图像中任意连续的两帧图像,所述第j个像素点为所述M帧图像中每帧图像中的任意像素点;
所述确定模块,还用于根据调整后的所述第i帧图像中的第j个像素点的灰度信息和调整后的所述第i+1帧图像中的第j个像素点的灰度信息,确定K个第二差值;并根据所述K个第二差值,采用第四预设算法,确定所述N个第二数值,一个第二差值为调整后的所述第i帧图像中的第j个像素点的灰度信息和调整后的所述第i+1帧图像中的第j个像素点的灰度信息的差值。
10.根据权利要求6所述的电子设备,其特征在于,所述确定模块,具体用于根据所述目标置信度值集合,确定所述目标图像序列中的至少一个第一区域,每个第一区域分别为第一像素点集合中的所有像素点形成的区域,所述第一像素点集合中的每个像素点为置信度值大于或等于预设置信度值的像素点;并采用第五预设算法,确定每个第一区域的置信度值;以及,根据所述每个第一区域的置信度值,确定所述目标运动区域。
CN201911340054.1A 2019-12-23 2019-12-23 一种运动区域确定方法及电子设备 Active CN111145151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911340054.1A CN111145151B (zh) 2019-12-23 2019-12-23 一种运动区域确定方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911340054.1A CN111145151B (zh) 2019-12-23 2019-12-23 一种运动区域确定方法及电子设备

Publications (2)

Publication Number Publication Date
CN111145151A true CN111145151A (zh) 2020-05-12
CN111145151B CN111145151B (zh) 2023-05-26

Family

ID=70519335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911340054.1A Active CN111145151B (zh) 2019-12-23 2019-12-23 一种运动区域确定方法及电子设备

Country Status (1)

Country Link
CN (1) CN111145151B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967403A (zh) * 2020-08-19 2020-11-20 北京达佳互联信息技术有限公司 视频移动区域确定方法、装置及电子设备
CN115114466A (zh) * 2022-08-30 2022-09-27 成都实时技术股份有限公司 一种打靶信息图像的查找方法、系统、介质及电子设备
CN116153267A (zh) * 2022-12-30 2023-05-23 平湖贝华美茵电子科技有限公司 一种多触点液晶屏背光控制方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080247462A1 (en) * 2007-04-03 2008-10-09 Gary Demos Flowfield motion compensation for video compression
CN101827204A (zh) * 2010-04-19 2010-09-08 成都索贝数码科技股份有限公司 一种运动目标侦测方法及系统
US20140153784A1 (en) * 2012-10-18 2014-06-05 Thomson Licensing Spatio-temporal confidence maps
US20150348276A1 (en) * 2014-05-27 2015-12-03 Nokia Technologies Oy Method and apparatus for processing a video frame in a video file
CN106204640A (zh) * 2016-06-29 2016-12-07 长沙慧联智能科技有限公司 一种运动目标检测系统及方法
CN106952286A (zh) * 2017-03-21 2017-07-14 中国人民解放军火箭军工程大学 基于运动显著图和光流矢量分析的动态背景目标分割方法
CN107833242A (zh) * 2017-10-30 2018-03-23 南京理工大学 一种基于边缘信息和改进vibe运动目标检测方法
US20180089839A1 (en) * 2015-03-16 2018-03-29 Nokia Technologies Oy Moving object detection based on motion blur
CN109272457A (zh) * 2018-08-09 2019-01-25 腾讯科技(深圳)有限公司 一种图像掩膜生成方法、装置及服务器
CN109767467A (zh) * 2019-01-22 2019-05-17 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN109978890A (zh) * 2019-02-25 2019-07-05 平安科技(深圳)有限公司 基于图像处理的目标提取方法、装置及终端设备
WO2019134298A1 (zh) * 2018-01-02 2019-07-11 武汉斗鱼网络科技有限公司 图像处理方法、装置、电子设备和存储介质
WO2019183813A1 (zh) * 2018-03-27 2019-10-03 华为技术有限公司 一种拍摄方法及设备
WO2019184639A1 (zh) * 2018-03-30 2019-10-03 华为技术有限公司 一种双向帧间预测方法及装置
CN110378944A (zh) * 2019-07-11 2019-10-25 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080247462A1 (en) * 2007-04-03 2008-10-09 Gary Demos Flowfield motion compensation for video compression
CN101827204A (zh) * 2010-04-19 2010-09-08 成都索贝数码科技股份有限公司 一种运动目标侦测方法及系统
US20140153784A1 (en) * 2012-10-18 2014-06-05 Thomson Licensing Spatio-temporal confidence maps
US20150348276A1 (en) * 2014-05-27 2015-12-03 Nokia Technologies Oy Method and apparatus for processing a video frame in a video file
US20180089839A1 (en) * 2015-03-16 2018-03-29 Nokia Technologies Oy Moving object detection based on motion blur
CN106204640A (zh) * 2016-06-29 2016-12-07 长沙慧联智能科技有限公司 一种运动目标检测系统及方法
CN106952286A (zh) * 2017-03-21 2017-07-14 中国人民解放军火箭军工程大学 基于运动显著图和光流矢量分析的动态背景目标分割方法
CN107833242A (zh) * 2017-10-30 2018-03-23 南京理工大学 一种基于边缘信息和改进vibe运动目标检测方法
WO2019134298A1 (zh) * 2018-01-02 2019-07-11 武汉斗鱼网络科技有限公司 图像处理方法、装置、电子设备和存储介质
WO2019183813A1 (zh) * 2018-03-27 2019-10-03 华为技术有限公司 一种拍摄方法及设备
WO2019184639A1 (zh) * 2018-03-30 2019-10-03 华为技术有限公司 一种双向帧间预测方法及装置
CN109272457A (zh) * 2018-08-09 2019-01-25 腾讯科技(深圳)有限公司 一种图像掩膜生成方法、装置及服务器
CN109767467A (zh) * 2019-01-22 2019-05-17 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN109978890A (zh) * 2019-02-25 2019-07-05 平安科技(深圳)有限公司 基于图像处理的目标提取方法、装置及终端设备
CN110378944A (zh) * 2019-07-11 2019-10-25 Oppo广东移动通信有限公司 深度图处理方法、装置和电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967403A (zh) * 2020-08-19 2020-11-20 北京达佳互联信息技术有限公司 视频移动区域确定方法、装置及电子设备
CN111967403B (zh) * 2020-08-19 2024-03-12 北京达佳互联信息技术有限公司 视频移动区域确定方法、装置及电子设备
CN115114466A (zh) * 2022-08-30 2022-09-27 成都实时技术股份有限公司 一种打靶信息图像的查找方法、系统、介质及电子设备
CN116153267A (zh) * 2022-12-30 2023-05-23 平湖贝华美茵电子科技有限公司 一种多触点液晶屏背光控制方法
CN116153267B (zh) * 2022-12-30 2024-05-31 嘉兴美茵智能电子有限公司 一种多触点液晶屏背光控制方法

Also Published As

Publication number Publication date
CN111145151B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN110930329B (zh) 星空图像处理方法及装置
CN109688322B (zh) 一种生成高动态范围图像的方法、装置及移动终端
CN108234882B (zh) 一种图像虚化方法及移动终端
CN108234894B (zh) 一种曝光调整方法及终端设备
CN111083386B (zh) 图像处理方法及电子设备
CN110262737A (zh) 一种视频数据的处理方法及终端
CN109151348B (zh) 一种图像处理方法、电子设备及计算机可读存储介质
CN111145151B (zh) 一种运动区域确定方法及电子设备
CN111145087B (zh) 一种图像处理方法及电子设备
CN107623818B (zh) 一种图像曝光方法和移动终端
CN111031234B (zh) 一种图像处理方法及电子设备
CN110868544B (zh) 一种拍摄方法及电子设备
CN111601032A (zh) 一种拍摄方法、装置及电子设备
CN109819166B (zh) 一种图像处理方法和电子设备
CN110766610A (zh) 一种超分辨率图像的重建方法及电子设备
CN111131722A (zh) 图像处理方法、电子设备及介质
CN109246351B (zh) 一种构图方法及终端设备
CN107807488B (zh) 一种摄像头组件、光圈调整方法及移动终端
CN109639981B (zh) 一种图像拍摄方法及移动终端
CN109104573B (zh) 一种确定对焦点的方法及终端设备
CN108932505B (zh) 一种图像处理方法和电子设备
CN109348212B (zh) 一种图像噪声确定方法及终端设备
CN111028192A (zh) 一种图像合成方法及电子设备
CN107798662B (zh) 一种图像处理方法及移动终端
CN111031265B (zh) 一种fsr确定方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant