CN109902189B - 一种图片选择方法及相关设备 - Google Patents
一种图片选择方法及相关设备 Download PDFInfo
- Publication number
- CN109902189B CN109902189B CN201811462769.XA CN201811462769A CN109902189B CN 109902189 B CN109902189 B CN 109902189B CN 201811462769 A CN201811462769 A CN 201811462769A CN 109902189 B CN109902189 B CN 109902189B
- Authority
- CN
- China
- Prior art keywords
- picture
- pictures
- change key
- information
- quality metric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010187 selection method Methods 0.000 title abstract description 14
- 230000008859 change Effects 0.000 claims abstract description 161
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000013442 quality metrics Methods 0.000 claims description 71
- 230000014509 gene expression Effects 0.000 claims description 22
- 238000011156 evaluation Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 16
- 230000004399 eye closure Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 description 29
- 230000033001 locomotion Effects 0.000 description 22
- 238000013461 design Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 4
- 230000009191 jumping Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 206010040007 Sense of oppression Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图片选择方法及相关设备。包括:获取时间序列上的M张图片中每张图片的特征信息,所述特征信息用于描述对应图片的显示内容;根据M张图片中每张图片的特征信息,确定M张图片在时间序列上的帧间信息,帧间信息表示特征信息在时间序列上的相互关系和/或变化情况;根据帧间信息,确定特征变化关键点;其中,当相互关系满足第一预设阈值和/或变化情况满足第二预设阈值,将相互关系和/或变化情况对应的当前帧时间点作为特征变化关键点,时间点为时间序列上的点;从M张图片中选取与特征变化关键点对应的N张图片,播放或显示所述N张图片。采用本申请实施例,可以提高图片选择的准确率以及图片的区别度。
Description
技术领域
本申请涉及电子技术领域,尤其涉及一种图片选择方法及相关设备。
背景技术
用户利用数码相机或者手机等终端设备拍摄运动场景时,希望能快速而准确地抓拍到运动场景下目标对象的精彩瞬间。一般情况下,用户利用终端设备的连拍功能拍摄多张照片,并将这些照片全部存储下来,然后用户根据个人喜好挑选出用户认为比较好的照片后,再手工删除需要丢弃的图片。用户也可以通过拍摄或者网络下载的视频获取运动片段,再将视频解帧后选择出需要的图片。但是,这种选择图片的方式准确率低。
发明内容
本申请实施例提供一种图片选择方法及相关设备,可以提高图片选择的准确率以及选取的图片区别度。
第一方面,本申请实施例提供了一种图片选择方法,包括:首先获取时间序列上的M张图片中每张图片的特征信息,其中,特征信息用于描述对应图片的显示内容,M为正整数。其次根据M张图片中每张图片的特征信息,确定M张图片在时间序列上的帧间信息,帧间信息表示特征信息在时间序列上的相互关系和/或变化情况。然后根据帧间信息,确定特征变化关键点;其中,当相互关系满足第一预设阈值和/或变化情况满足第二预设阈值,将相互关系和/或变化情况对应的当前帧时间点作为特征变化关键点,时间点为时间序列上的点。最后从M张图片中选取与特征变化关键点对应的N张图片,N为小于等于M的正整数,播放或显示所述N张图片。由于特征变化关键点对应运动过程中速度、节奏变化的瞬间,通过特征变化关键点来选取图片,可以捕获更满足用户需求的图片,从而提高图片选取的准确率。并且,通过选取特征变化关键点,使得图片中目标人物的动作被切割为多个阶段,进而可以选择出不同的阶段中的图片,保障选取的图片的区分度。
在一种可能的设计中,可以从M张图片中选取与所述N个特征变化关键点直接一一对应的N张图片。通过选取特征变化关键点,使得图片中目标对象的动作被切割为多个阶段,进而可以选择出不同的阶段中的图片,保障选取的图片的区分度。
在另一种可能的设计中,可以获取第一特征变化关键点直接对应的图片以及第一特征变化关键点的前后预设范围内的时间点对应的图片,形成第一特征变化关键点的关键图片集合,确定所述关键图片集合中每张图片的质量度量值,取最大质量度量值对应的图片为与所述第一特征变化关键点一一对应的图片。其中,第一特征变化关键点为N个特征变化关键点中的任意一个特征变化关键点。通过选取特征变化关键点,使得图片中目标人物的动作被切割为多个阶段,然后再从每个阶段中的多张图片选取质量度量值最大的图片,从而不仅保障了图片的区分度,而且提高了选取的图片的质量。
在另一种可能的设计中,可以首先获取M张图片中第一图片的特征信息、以及M张图片中第二图片的特征信息,第一图片的特征信息与第二图片的特征信息的类型相同;然后确定第一图片的特征信息与第二图片的特征信息之间的变化情况和/或相互关系;最后根据变化情况和/或相互关系,确定帧间信息。通过特征信息之间的变化情况和/或相互关系确定帧间信息,这样计算出的帧间信息可以反映出显示内容中更多的变化信息,从而提高选取特征变化关键点的准确性。
在另一种可能的设计中,帧间信息可以为当前帧和参考帧的相互关系和/或变化情况。当前帧可以是当前处理的图片,参考帧可以是用于作为参考图片对所述当前帧进行处理的图片。可以将第一图片作为当前帧、第二图片作为参考帧,计算当前帧和参考帧的相互关系和/或变化情况。也可以将第一图片作为参考帧、第二图片作为当前帧,计算当前帧和参考帧的相互关系和/或变化情况。也可以将第一图片和第二图片都作为参考帧、第一图片和第二图片之间的第三图片作为当前帧,计算当前帧和参考帧的相互关系和/或变化情况。
在另一种可能的设计中,特征信息包括目标对象的高度,帧间信息包括高度变化率。可以获取M张图片中第一图片中目标对象的高度、以及M张图片中第二图片中目标对象的高度,确定第一图片中目标对象的高度与第二图片中目标对象的高度之间的差值,以及第一图片和第二图片在时间序列上的间隔时长;根据差值和间隔时长,确定高度变化率。
在另一种可能的设计中,特征信息包括图片灰度,帧间信息包括帧差。可以获取第一图片中第一图片灰度、以及第二图片中的第二图片灰度,确定第一图片中目标对象的高度与第二图片中目标对象的高度之间的差值,以及第一图片和第二图片在时间序列上的间隔时长;根据差值和间隔时长,确定高度变化率。
在另一种可能的设计中,在从M张图片中选取与特征变化关键点对应的N张图片之后,可以根据N张图片中每张图片的特征信息,确定N张图片中每张图片的质量度量值,得到N个质量度量值。根据N个质量度量值,从N张图片中选取目标图片。其中,N个质量度量值由大到小依次排序,也可以由小到大依次排序,目标图片为N张图片中质量度量值靠前的K张图片,K为小于等于N的正整数。通过对特征变化关键点对应的N张图片进行进一步选择,保障选取的图片的质量和准确率。
需要说明的是,在这种可能的设计中,此时的特征信息中还可以包括用于进行质量度量的相关信息,如美学评估值、清晰度、对比度、亮度值、姿态评分、表情评分以及眼睛闭合程度等相关信息,这些信息可以是在M张图片的时候就已经获取,也可以是选取了N张图像之后再进行获取,本申请对此不做限定。
在另一种可能的设计中,可以将美学评估值、清晰度、对比度、亮度值、姿态评分、表情评分以及眼睛闭合程度中的一项作为质量度量值;或者确定美学评估值、清晰度、对比度、亮度值、姿态评分、表情评分以及眼睛闭合程度中的至少两项的加权平均值,将加权平均值作为质量度量值。通过从多个参考维度计算质量度量值,保障选取的图片的质量。
在另一种可能的设计中,从N张图片中选取质量度量值大于第三预设阈值的图片作为目标图片,保障选取的图片的质量。
在另一种可能的设计中,可以将帧间信息的极值点、中值点、平均值点、拐点以及聚类中心中的至少一项对应的当前帧时间点作为特征变化关键点。由于极值点、中值点、平均值点、拐点或者聚类中心对应特征变化过程中比较特殊的、具有代表性的时间点,更能满足用户需求,从而提高选取的图片的准确率。
在另一种可能的设计中,在所述获取时间序列上的M张图片中每张图片的特征信息之前,所述方法还包括:接收快门指令,根据所述快门指令触发快门;
获取预设时间段内摄像头捕获的图片作为所述M张图片,其中,所述预设时间段包括所述快门触发时间的前后预设时间段。
在另一种可能的的设计中,可以通过差异化方式呈现所述N张图片。例如,以渲染的方式,或突出显示的方式,或者以单独相册集的方式呈现。
第二方面,本申请实施例提供了一种图片选择装置,该图片选择装置被配置为实现上述第一方面中终端设备所执行的方法和功能,由硬件/软件实现,其硬件/软件包括与上述功能相应的单元。
第三方面,本申请实施例提供了一种终端设备,包括:处理器、存储器和通信总线,其中,通信总线用于实现处理器和存储器之间连接通信,处理器执行存储器中存储的程序用于实现上述第一方面提供的一种图片选择方法中的步骤。
在一个可能的设计中,本申请实施例提供的终端设备可以包含用于执行上述方法设计中图片选择装置的行为相对应的模块。模块可以是软件和/或是硬件。
第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面的方法。
第五方面,本申请实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各方面的方法。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1是一种图片选择方法的流程示意图;
图2是一种连拍选图的示意图;
图3是一种图片质量确定方法的流程示意图;
图4是另一种图片选择方法的示意图;
图5是本申请实施例提供的一种图片选择方法的流程示意图;
图6是本申请实施例提供的一种高度变化率曲线的示意图;
图7是本申请实施例提供的一种帧差曲线的示意图;
图8是本申请实施例提供的一种图片选择的示意图;
图9是本申请实施例提供的一种图片选择装置的结构示意图;
图10是本申请实施例提出的一种终端设备的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参见图1,图1是一种图片选择方法的流程示意图。该图描述了从连拍图片中,利用每张图片的图片质量,选择最佳图片的过程,包括:S101,连拍N张图片。S102,确定该N张图片中每张图片的目标区域的图片特征参数,其中,该目标区域为该每张图片的、与连拍该N张图片时的触摸对焦区域对应的图片区域,和/或该目标区域包括该每张图片中的人脸图片区域。S103,根据该目标区域的图片特征参数,确定该每张图片的图片质量。S104,根据该N张图片的图片质量,从该N张图片中选出M张图片。如图2所示,图2是一种连拍选图的示意图,可以按照上述方法从连拍的6张图片中选择出一张图片最优的图片。
对于上述具体如何确定图片质量的方法,请参考图3,图3是一种图片质量确定方法的流程示意图。可以按照以下步骤针对N张图片中的每张图片进行处理来获取图片质量,从S301-S310可以看出,主要包括如下步骤:确定图片的目标区域,然后分别根据目标区域的清晰度、亮度、对比度、噪声、饱和度等进行评分,对背景区域的清晰度等进行评分,对当前图片进行其他评分,例如图像整体的美感,将各个评分根据预先设置的权重进行加权求和,得出该图片的总分数。
然而,在实际运动场景下,运动抓拍的结果与清晰度等图片指标并没有必然的联系。例如,图片的清晰度与以下几个因素相关:a、摄像头的快门速度等拍摄参数;b、相机抖动,即与拍摄者的稳定性和使用器材相关;c、目标的运动速度。在运动场景下,最后被挑选的是那些动作优美、构图舒适、立意新颖的图片,以上因素都与此无关。同理,亮度、饱和度和噪声等指标同样不适用于运动的场景。另外,一组动作是由多个精彩的动作瞬间组成的,此时终端设备难以判断用户希望得到整组动作的哪个瞬间。但是,如果使用类似于清晰度、亮度等指标来衡量图片质量,由于相邻帧之间的差别很小,容易导致高分的图片全部集中于某个动作瞬间附近,错失其他动作瞬间。以上因素可能导致动作的区分度不高,图片选择的准确率低。
请参见图4,图4是另一种图片选择方法的示意图。该方法利用目标对象的位置来判断图片质量。首先通过目标检测算法,计算出目标车辆在图片中所处的位置,当目标车辆处于图片中间时,即认为此时对应最佳的拍摄瞬间,进行触发快门、保存或者推荐图片的操作。从图4可以看出,只有图片402在图片的中间位置,因此拍摄并保存图片402。但是,该技术方案仅仅适用于目标对象从镜头中滑过的场景,比如固定摄像头,车辆、人物等从右边进入镜头,并从左边穿出。此种方式受限于场景限制,在实际运动场景下,按照这种方式选择图片,准确率低。
综上所述,在实际运动场景下,按照上述方式选择图片存在以下问题。第一,准确率低。对于利用清晰度、对比度和噪声等特征对图片进行评估,由于这些特征与运动过程并无直接关系,无法对运动状态进行判断。第二,动作的区分度不高。使用类似于清晰度、亮度等指标来衡量图片质量,由于相邻帧之间的差别很小,容易导致图片质量高的图片全部集中于某个动作瞬间附近,这样反而会影响对动作判断的结果。第三,场景受限。利用目标对象的位置来评估图片质量的方法仅适用于目标平移通过镜头的场景,并且要求镜头位置固定,使用范围非常有限。为了解决上述技术问题,本申请实施例提供了如下解决方案。
如图5所示,图5是本申请实施例提供的一种图片选择方法的流程示意图。如图所示,本申请实施例中的步骤包括:
S501,获取时间序列上的M张图片中每张图片的特征信息,其中,所述M为正整数。
具体实现中,可以首先通过摄像头或者从视频中获取时间序列上的M张图片,例如,可以利用摄像头的连拍模式,长按快门获取M张图片。也可以连续点击快门获取M张图片。也可以通过感知技术判断是否符合运动场景,例如当前目标对象是否处于运动状态,当判断为是时触发连拍或多次拍照获取M张图片。也可以通过视频录制功能拍摄一段视频,从视频中获取M张图片。然后获取M张图片中每张图片的特征信息。
在一种可能的实现方式中,上述的M张图片还可以是通过如下方式获取的:
即在获取时间序列上的M张图片中每张图片的特征信息之前:
移动终端接收快门指令,并根据所述快门指令触发快门;
所述移动终端获取预设时间段内摄像头捕获的多张图片作为所述M张图片,其中,所述预设时间段包括所述快门触发时间的前后预设时间段。具体来说,在本申请中,M张图片可以有多种获取途径,可以是通过移动终端连拍获取的,也可以是长按快门等上述已经提及的其他方式,还可以是此处的在快门按下前后自动获取得到的。
在一种可能的实现方式中,在所述接收快门指令之前,所述移动终端接收拍照应用程序调用指令,根据所述拍照应用程序调用指令调用所述拍照应用程序,所述拍照应用程序用于结合所述摄像头拍摄图片。
需要说明的是,上述的预设时间段的起始时间点,也可以是在拍照应用程序被调用时便开始起算,也可以是预设的一个时间点,例如快门按下前三秒,本申请对此不做限定。
同理,上述的预设时间段的结束时间点,可以是拍照应用程序被关闭,或停止调用的时间点,也可以是预设的另一个时间点,例如快门按下三秒之后,本申请对此亦不做限定。
值得说明的是,通过这种方式获取的M张图片,增加了图片选择的范围,使得最后为用户呈现的图片可能更符合用户的需求。
例如,在一种场景下,所述移动终端的使用用户进行拍照时,其对焦拍摄对象选取相对合适的拍摄视角或者拍摄瞬间,但是客观原因如触发快门时拍摄者手的抖动或者主观原因如拍摄者认为t时刻的拍摄对象比较好看,但是拍摄者和被拍摄者之间的审美差异导致快门触发时刻的图片很可能不符合被拍摄者的审美。在这种场景下,快门触发前后预设时间段内的M张图片中包含了更多的可能性,后续基于这个图片集进行的图片选择也会更接近用户真实想要的图片。
例如,在另一种场景下,常常会出现摆拍的图片不如抓拍的图片好看,很多人的照片常常没有平常的自己好看,主要原因可能是对象镜头的时候不自觉的紧张或者局促,导致摆拍的图片往往容易显得僵硬不自然。在这种场景下,快门触发前后预设时间段内的M找图片中更多的包含了人物较为自然状态下的形态和表情,以这个M张图片作为后续选择最佳图片的基础,更接近人物真实状态下的表现,也更容易满足用户需求。
其中,所述特征信息用于描述对应图片的显示内容,可以表示每张图片都具有各自不同的显示内容。显示内容可以包括图片中目标对象的运动状态,例如目标对象的位置、跳起高度、运动动作(如下蹲起跳、快速上升、滞空、快速下降、落地)等等。显示内容也可以包括图片灰度、交并比等等。显示内容也可以包括质量度量值,例如美学评估值、清晰度、对比度、亮度值、姿态评分、表情评分以及眼睛闭合程度等等。其中,质量度量值可以通过计算机视觉方法获取,也可以通过神经网络模型获取,具体如何获取质量度量值,本申请实施例不再赘述。
S502,根据所述M张图片中每张图片的所述特征信息,确定所述M张图片在所述时间序列上的帧间信息,所述帧间信息表示所述特征信息在所述时间序列上的相互关系和/或变化情况。
具体实现中,所述特征信息包括目标对象的高度和图片灰度中的至少一项,这里的图片灰度可以是针对目标对象的,也可以是针对整张图片的,本申请对此不做限定。
在一种可能的实现方式中,可以首先获取M张图片中第一图片的特征信息、以及M张图片中第二图片的特征信息,第一图片的特征信息与第二图片的特征信息的类型相同;然后确定第一图片的特征信息与第二图片的特征信息之间的变化情况和/或相互关系;最后根据变化情况和/或相互关系,确定帧间信息。其中,帧间信息可以为高度变化率、帧差、交并比变化率等等。其中,高度变化率表示目标对象的跳起速度,帧差表示多张图片之间图片灰度的差值的平均值,交并比变化率表示目标对象进入镜头的速度。帧间信息也可以是按照时间顺序对M张图片进行分类得到多个聚类中特征变化情况。
其中,帧间信息可以为当前帧和参考帧的相互关系和/或变化情况。需要说明的是,本申请中的当前帧可以是当前处理的图片,参考帧可以是用于作为参考图片对所述当前帧进行处理的图片,下文不再赘述。可以将第一图片作为当前帧、第二图片作为参考帧,计算当前帧和参考帧的相互关系和/或变化情况。也可以将第一图片作为参考帧、第二图片作为当前帧,计算当前帧和参考帧的相互关系和/或变化情况。也可以将第一图片和第二图片都作为参考帧、第一图片和第二图片之间的第三图片作为当前帧,计算当前帧和参考帧的相互关系和/或变化情况。
需要说明的是,可以取第一图片中的一个特征信息(例如目标对象的高度),取第二图片中的一个特征信息(例如目标对象的高度),计算第一图片与第二图片之间的帧间信息。也可以取第一图片中的多个特征信息(例如,目标对象的高度和图片灰度),取第二图片中的多个特征信息(例如,目标对象的高度和图片灰度),分别对第一图片和第二图片中的多个特征信息进行加权求和,计算第一图片与第二图片之间的帧间信息。
例如,可以将M张图片分别输入到目标检测神经网络模型,获取每张图片中目标对象在图片中位置框(如图6中黑色方框),计算此位置框的中心点到图片底部的像素数,将此像素数作为每张图片中目标对象的高度。可以按照上述方法,分别获取第一图片中的目标对象的高度以及第二图片中的目标对象的高度。然后确定第一图片中的目标对象的高度以及第二图片中的目标对象的高度的差值、以及第一图片与第二图片在时间序列上的间隔时长。将差值除以间隔时长,计算目标对象的高度变化率。其中,第一图片和第二图片可以是在时间序列上连续的,第一图片为当前帧、第二图片为参考帧,计算第一图片中目标对象的高度变化率。或者,第一图片和第二图片可以在时间序列上间隔一个第三图片,第一图片和第二图片为参考帧、第三图片为当前帧,计算第三图片中的高度变化率。例如,高度变化率Vt=|ht+1-ht-1|/△t,其中,ht+1表示第二图片中目标对象的高度,ht-1表示第一图片中目标对象的高度,△t表示第一图片与第二图片在时间序列上的间隔时长,Vt表示第一图片与第二图片之间的第三图片的高度变化率。
如图6所示,在时间序列上存在M图片(作为示例,图6中仅展示了5张图片),在计算出M图片中每张图片中目标对象的高度变化率之后,可以画出一条如图6所示的高度变化率曲线,其中,圆圈中心的纵坐标为每张图片的目标人物的高度变化率,圆圈中心的横坐标为时间点,每个时间点对应M张图片中的某张图片。
又如,可以首先获取所述M张图片中第一图片的图片灰度、以及所述M张图片中第二图片的图片灰度,然后将第一图片的图片灰度与第二图片的图片灰度进行相减,确定所述第一图片的图片灰度与所述第二图片的图片灰度之间的差值矩阵。最后计算差值矩阵的方差和均值,将所述方差或均值作为第一图片述第二图片之间的帧差。其中,第一图片和第二图片可以是在时间序列上连续的,以第二图片为参考帧,第一图片为当前帧,计算第一图片的帧差。或者,第一图片和第二图片可以在时间序列上间隔一个第三图片,以第一图片和第二图片为参考帧,第三图片为当前帧,计算第三图片的帧差。
如图7所示,在时间序列上存在M图片(图7中仅展示了7张图片),在计算出M图片中每张图片的帧差之后,可以画出一条如图7所示的帧差曲线,其中,圆圈中心的纵坐标为M图片中每张图片的帧差,圆圈中心的横坐标为时间点,每个时间点对应M图片中的某张图片。
S503,根据所述帧间信息,确定特征变化关键点。其中,当所述相互关系满足第一预设阈值和/或所述变化情况满足第二预设阈值,将所述相互关系和/或所述变化情况对应的当前帧时间点作为所述特征变化关键点,所述时间点为所述时间序列上的点。
具体实现中,可以将帧间信息的极值点、中值点、平均值点、拐点以及聚类中心中的至少一项对应的当前帧时间点作为特征变化关键点。其中,极值点、中值点、平均值点、拐点或者聚类中心对应特征变化过程中比较特殊的、具有代表性的时间点。
例如,如图6所示,从图6所示的高度变化率曲线可以看出,存在5个高度变化率的极值点(圆圈标示),包括2个极小值点和3个极小值点,5个极值点分别对应跳跃过程中如下蹲起跳、快速上升、滞空、快速下降、落地时等动作的时间点。其中,极大值点对应上升速度最快的时间点或下降速度最快的时间点,极小值点对应下蹲起跳的时间点或跳跃到最高点的时间点。又如图7所示,从图7所示的帧差曲线可以看出,存在7个帧差的极值点(圆圈标示),极值点对应握球、抬腿、弓步、或身体旋转等动作的时间点。而握球、抬腿、弓步、身体旋转等动作都是用户想要抓取的关键动作点,而其他时间点上动作正在转换或者动作尚未成型,对于用户并不重要。又如,可以按照时间顺序对时间序列上的全部动作进行聚类,划分为多个动作类别,如握球、抬腿、弓步、身体旋转等,每个动作类别包括多个相似动作,当帧间信息的聚类中心对应的时间点作为特征变化关键点时,聚类中心可以代表每个动作类别中的最典型的动作。
S504,从所述M张图片中选取与所述特征变化关键点对应的N张图片,所述N为小于等于M的正整数。包括如下两种方式:
在一种实现方式中,可以从M张图片中选取与所述N个特征变化关键点直接一一对应的N张图片。
例如,如图6所示,在高度变化率曲线上标示的5个圆圈,每个圆圈中心的纵坐标是高度变化率的极值点,每个圆圈中心的横坐标对应时间序列上的一个时间点,即5个圆圈中心对应5个时间点,该5个时间点均为特征变化关键点。选取与该5个时间点直接一一对应的各张图片,共5张图片,该5张图片可以分别代表目标人物下蹲起跳、快速上升、滞空、快速下降、落地的这几个不同阶段的关键动作对应的图片。通过选取高度变化率的极值点,使得图片中目标人物的动作被切割为多个阶段,进而可以选择出不同的阶段中的图片,保障选取的图片的区分度。
在另一种实现方式中,可以获取第一特征变化关键点直接对应的图片以及第一特征变化关键点的前后预设范围内的时间点对应的图片,形成第一特征变化关键点的关键图片集合,确定所述关键图片集合中每张图片的质量度量值,取最大质量度量值对应的图片为与所述第一特征变化关键点一一对应的图片;其中,第一特征变化关键点为N个特征变化关键点中的任意一个特征变化关键点。可以看出,此处的一一对应与上文所述的直接一一对应区别在于,上述的直接一一对应是直接取图6中5个特征变化关键点对应的图片作为所述的N张图片,而此处的一一对应也是对每一个特征变化关键点选一张与其对应的图片,却不是直接简单的选取与该特征变化关键点直接对应的图片,而是选取该特征变化关键点前后一定范围内的多张图片形成关键图片集合,再从中根据相应规则得到质量最好的一张作为该特征变化关键点对应的图片,由此从前端提高了选取出来的N张图片得质量。
例如,如图8所示,在高度变化率曲线上标示的5个圆圈,每个圆圈中心的纵坐标是高度变化率的极值点,每个圆圈中心的横坐标对应时间序列上的一个时间点,即5个圆圈中心对应5个时间点,该5个时间点均为特征变化关键点。其中,该5个时间点中的第一个时间点上对应一个关键图片集合,该关键图片集合包括第一个时间点上的一张图片,还包括该第一个时间点前后的其他5张图片(此处的5仅为举例,本申请对此并不做限定)。分别获取该6张图片中每张图片的质量度量值,其中,质量度量值可以为美学评估值、清晰度、对比度、亮度值、姿态评分、表情评分以及眼睛闭合程度中的一项或多项。然后从该6张图片选取质量度量值最大的图片作为第一个特征变化关键点对应的图片。通过选取高度变化率的极值点,使得图片中目标人物的动作被切割为多个阶段,然后再从每个阶段中的多张图片选取质量度量值最大的图片,从而不仅保障了图片的区分度,而且提高了选取的图片的质量。
可选的,在从M张图片中选取N张图片之后,可以根据N张图片中每张图片的特征信息,确定N张图片中每张图片的质量度量值,得到N个质量度量值。其中,N个质量度量值由大到小依次排序,也可以由小到大依次排序,根据N个质量度量值,从N张图片中选取目标图片。其中,目标图片为N张图片中质量度量值靠前的K张图片,K为小于等于N的正整数。通过对特征变化关键点对应的N张图片,按照质量度量值进行进一步选择,从而保障选取的图片的质量和准确率。
需要说明的是,本申请实施例获取的M张图片可以由所述移动终端进行缓存,当从M张图片中选出N张图片之后,或者从N张图片中选择K张图片之后,其余没有被选择的图片可以被自动或手动删除以释放缓存,也可以存储在云端或者其他存储单元中。本申请对此不做限定。
进一步的,美学评估值、清晰度、对比度、亮度值、姿态评分、表情评分以及眼睛闭合程度等信息可以是从特征信息中获取的,此时特征信息还包括美学评估值、清晰度、对比度、亮度值、姿态评分、表情评分以及眼睛闭合程度中的至少一项,也可以是确定N张图片之后,针对所述N张图片获取的上述的美学评估值、清晰度、对比度、亮度值、姿态评分、表情评分或眼睛闭合程度等相关信息。可以将美学评估值、清晰度、对比度、亮度值、姿态评分、表情评分以及眼睛闭合程度中的一项作为质量度量值。或者确定美学评估值、清晰度、对比度、亮度值、姿态评分、表情评分以及眼睛闭合程度中的至少两项的加权平均值,将加权平均值作为质量度量值。除上述参考量外,还可以通过其他参考量计算质量度量值。其中,美学评估值、清晰度、对比度、亮度值、姿态评分、表情评分或者眼睛闭合程度可以通过计算机视觉方法获取,也可以通过神经网络模型获取。最后从N张图片中选取质量度量值大于第三预设阈值的图片作为目标图片。
例如,如图7所示,在基于帧差的极值点选择出7张图片之后,可以分别获取7张图片中每张图片的质量度量值,例如人体清晰度、动作舒展度和美学评估值的加权值。其中,人体清晰度指对人体区域中人物的锐度,动作舒展度可以由人体骨骼点的距离计算得出,骨骼点距离越大,表明动作越舒展,美学评估值是用于从构图、色彩、姿态等方面衡量图片美感的数值。最后按照质量度量值从大到小的顺序,进行进一步选择,从7张图片中选取4张图片进行保存。
S505,播放或显示所述N张图片。
具体实现中,可以通过差异化方式呈现所述N张图片。例如,以渲染的方式,或突出显示的方式,或者以单独相册集的方式呈现。其中,渲染的方式可以用来表示一种以特殊视觉效果呈现N张图像的可视化方法。在播放或显示所述N张图片的过程中,所述N张图片的显示内容分成了多个不同阶段的关键动作进行显示。例如,如图6所示,最后选取图6中的5张图片之后,可以分别代表目标人物下蹲起跳、快速上升、滞空、快速下降、落地的这几个不同阶段的关键动作。
在本申请实施例中,特征变化关键点对应运动过程中速度、节奏变化的瞬间,例如运动速度最快的时间点,运动速度最慢的时间点,或者上一个动作和下一个动作的转换时间点,通过特征变化关键点来选取图片,可以捕获精彩瞬间的图片,从而提高图片选取的准确率。另外,通过选取特征变化关键点,使得图片中目标人物的动作被切割为多个阶段,进而可以选择出不同的阶段中的图片,保障选取的图片的区分度。最后结合质量度量值进行进一步选取,保障了选取的图片的质量。
如图9所示,图9是本申请实施例提供的一种图片选择装置的结构示意图。如图所示,本申请实施例中的装置包括获取模块901、处理模块902、选择模块903以及显示模块904,其中:
获取模块901,用于获取时间序列上的M张图片中每张图片的特征信息,其中,所述特征信息用于描述对应图片的显示内容,所述M为正整数。
处理模块902,用于根据所述M张图片中每张图片的所述特征信息,确定所述M张图片在所述时间序列上的帧间信息,所述帧间信息表示所述特征信息在所述时间序列上的相互关系和/或变化情况。
处理模块902,还用于根据所述帧间信息,确定特征变化关键点;其中,当所述相互关系满足第一预设阈值和/或所述变化情况满足第二预设阈值,将所述相互关系和/或所述变化情况对应的当前帧时间点作为所述特征变化关键点,所述时间点为所述时间序列上的点。
选择模块903,用于从所述M张图片中选取与所述特征变化关键点对应的N张图片,所述N为小于等于M的正整数;
显示模块904,用于播放或显示所述N张图片。
可选的,选择模块903,还用于从所述M张图片中选取与所述N个特征变化关键点直接一一对应的N张图片;或
选择模块903,还用于获取第一特征变化关键点直接对应的图片以及第一特征变化关键点的前后预设范围内的时间点对应的图片,形成第一特征变化关键点的关键图片集合,确定所述关键图片集合中每张图片的质量度量值,取最大质量度量值对应的图片为与所述第一特征变化关键点一一对应的图片;其中,所述第一特征变化关键点为所述N个特征变化关键点中的任意一个特征变化关键点。
其中,所述特征信息包括目标对象的高度,所述帧间信息包括高度变化率;
可选的,获取模块901,还用于获取所述M张图片中第一图片中目标对象的高度、以及所述M张图片中第二图片中目标对象的高度;
处理模块902,还用于确定所述第一图片中目标对象的高度与所述第二图片中目标对象的高度之间的差值,以及所述第一图片和所述第二图片在所述时间序列上的间隔时长;根据所述差值和所述间隔时长,确定所述高度变化率。
其中,所述特征信息包括图片灰度,所述帧间信息包括帧差;
获取模块901,还用于获取所述M张图片中第一图片的图片灰度、以及所述M张图片中第二图片的图片灰度;
处理模块902,还用于确定所述第一图片的图片灰度与所述第二图片的图片灰度之间的差值矩阵;根据所述差值矩阵,确定所述帧差。
可选的,选择模块903,还用于根据所述N张图片中每张图片的特征信息,确定所述N张图片中每张图片的质量度量值,得到N个质量度量值;根据所述N个质量度量值,从所述N张图片中选取目标图片,所述目标图片为所述N张图片中所述质量度量值靠前的K张图片,所述K为小于等于N的正整数。
可选的,选择模块903,还用于从所述N张图片中选取所述质量度量值大于第三预设阈值的图片作为所述目标图片。
其中,所述特征信息包括美学评估值、清晰度、对比度、亮度值、姿态评分、表情评分以及眼睛闭合程度中的至少一项;
处理模块902,还用于将所述美学评估值、所述清晰度、所述对比度、所述亮度值、所述姿态评分、所述表情评分以及所述眼睛闭合程度中的一项作为所述质量度量值;或
处理模块902,还用于确定所述美学评估值、所述清晰度、所述对比度、所述亮度值、所述姿态评分、所述表情评分以及所述眼睛闭合程度中的至少两项的加权平均值,将所述加权平均值作为所述质量度量值。
需要说明的是,各个模块的实现还可以对应参照图5所示的方法实施例的相应描述,执行上述实施例中终端设备所执行的方法和功能。
请参考图10,图10是本申请实施例提出的一种终端设备的结构示意图。如图10所示,该终端设备可以包括:至少一个处理器1001,摄像头1002、至少一个存储器1003和通信总线1004和显示器1005。当然,在有些实施方式中,处理器和存储器还可以集成在一起。
在本申请实施例中,摄像头1002可以用于拍摄任意场景下的多张图片。显示器1005可以用于显示摄像头拍摄的多张图片、或者显示最终被选取的图片。存储器1003用于存储摄像头获取的图片和最终被选取的图片,还可以存储计算指令。处理器1001可以用于执行位于存储器的计算指令,例如,计算多张图片之间的帧间信息,选择特征变化关键点,或者通过特征变化关键点选取图片等等。
其中,处理器1001可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,数字信号处理器和微处理器的组合等等。通信总线1004可以是外设部件互连标准PCI总线或扩展工业标准结构EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信总线1004用于实现这些组件之间的连接通信。存储器1003可以包括易失性存储器,例如非挥发性动态随机存取内存(nonvolatile random access memory,NVRAM)、相变化随机存取内存(phase change RAM,PRAM)、磁阻式随机存取内存(magetoresistive RAM,MRAM)等,还可以包括非易失性存储器,例如至少一个磁盘存储器件、电子可擦除可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、闪存器件,例如反或闪存(NOR flash memory)或是反及闪存(NAND flash memory)、半导体器件,例如固态硬盘(solid state disk,SSD)等。存储器1003可选的还可以是至少一个位于远离前述处理器1001的存储装置。存储器1003中可选的还可以存储一组程序代码,且处理器1001可选的还可以执行存储器1003中所执行的程序。
获取时间序列上的M张图片中每张图片的特征信息,其中,所述特征信息用于描述对应图片的显示内容,所述M为正整数;
根据所述M张图片中每张图片的所述特征信息,确定所述M张图片在所述时间序列上的帧间信息,所述帧间信息表示所述特征信息在所述时间序列上的相互关系和/或变化情况;
根据所述帧间信息,确定特征变化关键点;其中,当所述相互关系满足第一预设阈值和/或所述变化情况满足第二预设阈值,将所述相互关系和/或所述变化情况对应的当前帧时间点作为所述特征变化关键点,所述时间点为所述时间序列上的点;
从所述M张图片中选取与所述特征变化关键点对应的N张图片,所述N为小于等于M的正整数;
通过显示器1005播放或显示所述N张图片。
其中,所述特征变化关键点为N个,所述N张图片与所述N个特征变化关键点一一对应;
可选的,处理器1001还用于执行如下操作:
从所述M张图片中选取与所述N个特征变化关键点直接一一对应的N张图片;或
获取第一特征变化关键点直接对应的图片以及第一特征变化关键点的前后预设范围内的时间点对应的图片,形成第一特征变化关键点的关键图片集合,确定所述关键图片集合中每张图片的质量度量值,取最大质量度量值对应的图片为与所述第一特征变化关键点一一对应的图片;其中,所述第一特征变化关键点为所述N个特征变化关键点中的任意一个特征变化关键点。
其中,所述特征信息包括目标对象的高度,所述帧间信息包括高度变化率;
可选的,处理器1001还用于执行如下操作:
获取所述M张图片中第一图片中目标对象的高度、以及所述M张图片中第二图片中目标对象的高度;
确定所述第一图片中目标对象的高度与所述第二图片中目标对象的高度之间的差值,以及所述第一图片和所述第二图片在所述时间序列上的间隔时长;根据所述差值和所述间隔时长,确定所述高度变化率。
其中,所述特征信息包括图片灰度,所述帧间信息包括帧差;
可选的,处理器1001还用于执行如下操作:
获取所述M张图片中第一图片的图片灰度、以及所述M张图片中第二图片的图片灰度;
确定所述第一图片的图片灰度与所述第二图片的图片灰度之间的差值矩阵;根据所述差值矩阵,确定所述帧差。
可选的,处理器1001还用于执行如下操作:
根据所述N张图片中每张图片的特征信息,确定所述N张图片中每张图片的质量度量值,得到N个质量度量值;
根据所述N个质量度量值,从所述N张图片中选取目标图片,所述目标图片为所述N张图片中所述质量度量值靠前的K张图片,所述K为小于等于N的正整数。
可选的,处理器1001还用于执行如下操作:
从所述N张图片中选取所述质量度量值大于第三预设阈值的图片作为所述目标图片。
其中,所述特征信息包括美学评估值、清晰度、对比度、亮度值、姿态评分、表情评分以及眼睛闭合程度中的至少一项;
可选的,处理器1001还用于执行如下操作:
将所述美学评估值、所述清晰度、所述对比度、所述亮度值、所述姿态评分、所述表情评分以及所述眼睛闭合程度中的一项作为所述质量度量值;或
确定所述美学评估值、所述清晰度、所述对比度、所述亮度值、所述姿态评分、所述表情评分以及所述眼睛闭合程度中的至少两项的加权平均值,将所述加权平均值作为所述质量度量值。
进一步的,处理器还可以与存储器和显示器相配合,执行上述申请实施例中图片选择装置的操作。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。
以上所述的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (15)
1.一种图片选择方法,其特征在于,所述方法包括:
获取时间序列上的M张图片中每张图片的特征信息,其中,所述特征信息用于描述对应图片的显示内容,所述M为正整数;
根据所述M张图片中每张图片的所述特征信息,确定所述M张图片在所述时间序列上的帧间信息,所述帧间信息表示所述特征信息在所述时间序列上的相互关系和/或变化情况;
根据所述帧间信息,确定特征变化关键点;其中,当所述相互关系满足第一预设阈值和/或所述变化情况满足第二预设阈值,将所述相互关系和/或所述变化情况对应的当前帧时间点作为所述特征变化关键点,所述时间点为所述时间序列上的点;
从所述M张图片中选取与所述特征变化关键点对应的N张图片,所述N为小于等于M的正整数;所述特征变化关键点为N个,所述N张图片与所述N个特征变化关键点一一对应,包括:从所述M张图片中选取与所述N个特征变化关键点直接一一对应的N张图片;或获取第一特征变化关键点直接对应的图片以及第一特征变化关键点的前后预设范围内的时间点对应的图片,形成第一特征变化关键点的关键图片集合,确定所述关键图片集合中每张图片的质量度量值,取最大质量度量值对应的图片为与所述第一特征变化关键点一一对应的图片;其中,所述第一特征变化关键点为所述N个特征变化关键点中的任意一个特征变化关键点;
播放或显示所述N张图片。
2.如权利要求1所述的方法,其特征在于,所述特征信息包括目标对象的高度,所述帧间信息包括高度变化率;
所述获取时间序列上的M张图片中每张图片的特征信息包括:获取所述M张图片中第一图片中目标对象的高度、以及所述M张图片中第二图片中目标对象的高度;
所述根据所述M张图片中每张图片的所述特征信息,确定所述M张图片在所述时间序列上的帧间信息包括:
确定所述第一图片中目标对象的高度与所述第二图片中目标对象的高度之间的差值,以及所述第一图片和所述第二图片在所述时间序列上的间隔时长;
根据所述差值和所述间隔时长,确定所述高度变化率。
3.如权利要求1所述的方法,其特征在于,所述特征信息包括图片灰度,所述帧间信息包括帧差;
所述获取时间序列上的M张图片中每张图片的特征信息包括:获取所述M张图片中第一图片的图片灰度、以及所述M张图片中第二图片的图片灰度;
所述根据所述M张图片中每张图片的所述特征信息,确定所述M张图片在所述时间序列上的帧间信息包括:
确定所述第一图片的图片灰度与所述第二图片的图片灰度之间的差值矩阵;
根据所述差值矩阵,确定所述帧差。
4.如权利要求1至3任一项所述的方法,其特征在于,所述从所述M张图片中选取与所述特征变化关键点对应的N张图片之后,还包括:
确定所述N张图片中每张图片的质量度量值,得到N个质量度量值;
根据所述N个质量度量值,从所述N张图片中选取目标图片,所述目标图片为所述N张图片中所述质量度量值靠前的K张图片,所述K为小于等于N的正整数。
5.如权利要求4所述的方法,其特征在于,所述根据所述N个质量度量值,从所述N张图片中选取目标图片包括:
从所述N张图片中选取所述质量度量值大于第三预设阈值的图片作为所述目标图片。
6.如权利要求4所述的方法,其特征在于,
所述确定所述N张图片中每张图片的质量度量值包括:
将美学评估值、清晰度、对比度、亮度值、姿态评分、表情评分以及眼睛闭合程度中的一项作为所述质量度量值;或
确定所述美学评估值、所述清晰度、所述对比度、所述亮度值、所述姿态评分、所述表情评分以及所述眼睛闭合程度中的至少两项的加权平均值,将所述加权平均值作为所述质量度量值。
7.一种图片选择装置,其特征在于,所述装置包括:
获取模块,用于获取时间序列上的M张图片中每张图片的特征信息,其中,所述特征信息用于描述对应图片的显示内容,所述M为正整数;
处理模块,用于根据所述M张图片中每张图片的所述特征信息,确定所述M张图片在所述时间序列上的帧间信息,所述帧间信息表示所述特征信息在所述时间序列上的相互关系和/或变化情况;
所述处理模块,还用于根据所述帧间信息,确定特征变化关键点;其中,当所述相互关系满足第一预设阈值和/或所述变化情况满足第二预设阈值,将所述相互关系和/或所述变化情况对应的当前帧时间点作为所述特征变化关键点,所述时间点为所述时间序列上的点;
选择模块,用于从所述M张图片中选取与所述特征变化关键点对应的N张图片,所述N为小于等于M的正整数;所述特征变化关键点为N个,所述N张图片与所述N个特征变化关键点一一对应,包括:从所述M张图片中选取与所述N个特征变化关键点直接一一对应的N张图片;或获取第一特征变化关键点直接对应的图片以及第一特征变化关键点的前后预设范围内的时间点对应的图片,形成第一特征变化关键点的关键图片集合,确定所述关键图片集合中每张图片的质量度量值,取最大质量度量值对应的图片为与所述第一特征变化关键点一一对应的图片;其中,所述第一特征变化关键点为所述N个特征变化关键点中的任意一个特征变化关键点;
显示模块,用于播放或显示所述N张图片。
8.如权利要求7所述的装置,其特征在于,所述特征信息包括目标对象的高度,所述帧间信息包括高度变化率;
所述获取模块,还用于获取所述M张图片中第一图片中目标对象的高度、以及所述M张图片中第二图片中目标对象的高度;
所述处理模块,还用于确定所述第一图片中目标对象的高度与所述第二图片中目标对象的高度之间的差值,以及所述第一图片和所述第二图片在所述时间序列上的间隔时长;根据所述差值和所述间隔时长,确定所述高度变化率。
9.如权利要求7所述的装置,其特征在于,所述特征信息包括图片灰度,所述帧间信息包括帧差;
所述获取模块,还用于获取所述M张图片中第一图片的图片灰度、以及所述M张图片中第二图片的图片灰度;
所述处理模块,还用于确定所述第一图片的图片灰度与所述第二图片的图片灰度之间的差值矩阵;根据所述差值矩阵,确定所述帧差。
10.如权利要求7至9任一项所述的装置,其特征在于,
所述选择模块,还用于确定所述N张图片中每张图片的质量度量值,得到N个质量度量值;根据所述N个质量度量值,从所述N张图片中选取目标图片,所述目标图片为所述N张图片中所述质量度量值靠前的K张图片,所述K为小于等于N的正整数。
11.如权利要求10所述的装置,其特征在于,
所述选择模块,还用于从所述N张图片中选取所述质量度量值大于第三预设阈值的图片作为所述目标图片。
12.如权利要求10所述的装置,其特征在于,
所述处理模块,还用于将美学评估值、清晰度、对比度、亮度值、姿态评分、表情评分以及眼睛闭合程度中的一项作为所述质量度量值;或
所述处理模块,还用于确定所述美学评估值、所述清晰度、所述对比度、所述亮度值、所述姿态评分、所述表情评分以及所述眼睛闭合程度中的至少两项的加权平均值,将所述加权平均值作为所述质量度量值。
13.一种终端设备,其特征在于,包括:存储器、通信总线以及处理器,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,用于执行权利要求1-6任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行权利要求1-6任一项所述的方法。
15.一种包含指令的计算机程序,其特征在于,当其在计算机上运行时,使得计算机执行权利要求1-6任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811462769.XA CN109902189B (zh) | 2018-11-30 | 2018-11-30 | 一种图片选择方法及相关设备 |
PCT/CN2019/122268 WO2020108656A1 (zh) | 2018-11-30 | 2019-11-30 | 一种图片选择方法及相关设备 |
US17/330,133 US11758285B2 (en) | 2018-11-30 | 2021-05-25 | Picture selection method and related device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811462769.XA CN109902189B (zh) | 2018-11-30 | 2018-11-30 | 一种图片选择方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109902189A CN109902189A (zh) | 2019-06-18 |
CN109902189B true CN109902189B (zh) | 2021-02-12 |
Family
ID=66943332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811462769.XA Active CN109902189B (zh) | 2018-11-30 | 2018-11-30 | 一种图片选择方法及相关设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11758285B2 (zh) |
CN (1) | CN109902189B (zh) |
WO (1) | WO2020108656A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109902189B (zh) * | 2018-11-30 | 2021-02-12 | 华为技术有限公司 | 一种图片选择方法及相关设备 |
CN112258450B (zh) * | 2019-07-31 | 2022-02-25 | 华为技术有限公司 | 一种对象评分方法及装置 |
CN110533463A (zh) * | 2019-08-16 | 2019-12-03 | 深圳供电局有限公司 | 一种宣传标语屏的后台管理系统及后台管理方法 |
CN110825897A (zh) * | 2019-10-29 | 2020-02-21 | 维沃移动通信有限公司 | 图像筛选方法、装置及移动终端 |
CN113808066A (zh) * | 2020-05-29 | 2021-12-17 | Oppo广东移动通信有限公司 | 图像选取方法、装置、存储介质及电子设备 |
CN113507611B (zh) * | 2021-09-09 | 2021-12-31 | 深圳思谋信息科技有限公司 | 图像存储方法、装置、计算机设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101425088A (zh) * | 2008-10-24 | 2009-05-06 | 清华大学 | 基于图分割的关键帧提取方法和系统 |
CN104794189A (zh) * | 2015-04-16 | 2015-07-22 | 惠州Tcl移动通信有限公司 | 一种图像筛选方法及筛选系统 |
CN106162322A (zh) * | 2015-03-26 | 2016-11-23 | 无锡天脉聚源传媒科技有限公司 | 一种视频处理方法及装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101184226A (zh) * | 2006-11-14 | 2008-05-21 | 腾讯科技(深圳)有限公司 | 一种插入视频关键帧的方法及装置 |
JP4730431B2 (ja) * | 2008-12-16 | 2011-07-20 | 日本ビクター株式会社 | 目標追尾装置 |
JP2010263953A (ja) * | 2009-05-12 | 2010-11-25 | Oki Electric Ind Co Ltd | 運動分析装置、プログラム及び方法、並びに、運動分析システム |
RU2549584C2 (ru) * | 2010-12-09 | 2015-04-27 | Нокиа Корпорейшн | Идентификация ключевого кадра видеопоследовательности на основе ограниченного контекста |
US8786835B1 (en) * | 2012-03-26 | 2014-07-22 | Lockheed Martin Corporation | System, apparatus and method for detecting presence and range of an object |
US9161018B2 (en) * | 2012-10-26 | 2015-10-13 | Christopher L. UHL | Methods and systems for synthesizing stereoscopic images |
CN103065153B (zh) * | 2012-12-17 | 2016-06-15 | 西南科技大学 | 一种基于色彩量化和聚类的视频关键帧提取方法 |
JP6392309B2 (ja) * | 2013-03-15 | 2018-09-19 | ホロジック インコーポレイティッド | 自動合焦を含む、トモシンセシススタックをナビゲートするためのシステム |
KR102065362B1 (ko) * | 2013-05-14 | 2020-01-13 | 삼성전자주식회사 | 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법 |
US20150071547A1 (en) * | 2013-09-09 | 2015-03-12 | Apple Inc. | Automated Selection Of Keeper Images From A Burst Photo Captured Set |
WO2015058381A1 (zh) * | 2013-10-23 | 2015-04-30 | 华为终端有限公司 | 从连拍图像中选择图像的方法和终端 |
JP6676873B2 (ja) * | 2014-09-22 | 2020-04-08 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR102366521B1 (ko) * | 2015-01-19 | 2022-02-23 | 한화테크윈 주식회사 | 이동 물체 탐지 시스템 및 방법 |
CN105654463A (zh) | 2015-11-06 | 2016-06-08 | 乐视移动智能信息技术(北京)有限公司 | 应用于连拍过程中的图像处理方法和装置 |
CN105894031A (zh) * | 2016-03-31 | 2016-08-24 | 青岛海信移动通信技术股份有限公司 | 一种照片选择的方法及装置 |
CN108876782A (zh) * | 2018-06-27 | 2018-11-23 | Oppo广东移动通信有限公司 | 回忆视频创建方法及相关装置 |
CN109902189B (zh) * | 2018-11-30 | 2021-02-12 | 华为技术有限公司 | 一种图片选择方法及相关设备 |
-
2018
- 2018-11-30 CN CN201811462769.XA patent/CN109902189B/zh active Active
-
2019
- 2019-11-30 WO PCT/CN2019/122268 patent/WO2020108656A1/zh active Application Filing
-
2021
- 2021-05-25 US US17/330,133 patent/US11758285B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101425088A (zh) * | 2008-10-24 | 2009-05-06 | 清华大学 | 基于图分割的关键帧提取方法和系统 |
CN106162322A (zh) * | 2015-03-26 | 2016-11-23 | 无锡天脉聚源传媒科技有限公司 | 一种视频处理方法及装置 |
CN104794189A (zh) * | 2015-04-16 | 2015-07-22 | 惠州Tcl移动通信有限公司 | 一种图像筛选方法及筛选系统 |
Non-Patent Citations (1)
Title |
---|
《Machine Vision and Applications》;Wei Xiong 等;《Automatic video data structuring through shot partitioning and key-frame computing》;19971231;第51-65页 * |
Also Published As
Publication number | Publication date |
---|---|
US11758285B2 (en) | 2023-09-12 |
WO2020108656A1 (zh) | 2020-06-04 |
US20210281754A1 (en) | 2021-09-09 |
CN109902189A (zh) | 2019-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109902189B (zh) | 一种图片选择方法及相关设备 | |
CN109068058B (zh) | 超级夜景模式下的拍摄控制方法、装置和电子设备 | |
US11816257B2 (en) | Image changes based on gaze location | |
CN110839129A (zh) | 图像处理方法、装置以及移动终端 | |
CN112771612B (zh) | 拍摄图像的方法和装置 | |
JP2016134919A (ja) | 輝度分布と動きとの間のトレードオフに基づいてシーンのhdr画像を生成する方法 | |
CN115702572A (zh) | 电子设备和电子设备的控制方法 | |
US9779290B2 (en) | Detecting apparatus, detecting method and computer readable recording medium recording program for detecting state in predetermined area within images | |
CN105450911B (zh) | 图像处理装置、图像处理方法 | |
JP2007265125A (ja) | コンテンツ表示装置 | |
CN110572636B (zh) | 摄像头脏污检测方法、装置、存储介质及电子设备 | |
CN109313797B (zh) | 一种图像显示方法及终端 | |
CN112036209A (zh) | 一种人像照片处理方法及终端 | |
CN111640165A (zh) | Ar合影图像的获取方法、装置、计算机设备及存储介质 | |
US20240276058A1 (en) | Video-based interaction method and apparatus, computer device, and storage medium | |
CN108921178A (zh) | 获取图像模糊程度分类的方法、装置、电子设备 | |
CN110677557B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN109361927A (zh) | 图像处理方法及装置 | |
CN113259727A (zh) | 视频推荐方法、视频推荐装置及计算机可读存储介质 | |
CN111773693B (zh) | 游戏中视野的处理方法、装置及电子设备 | |
CN109542230B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
WO2022227916A1 (zh) | 图像处理方法、图像处理器、电子设备及存储介质 | |
JP6632134B2 (ja) | 画像処理装置、画像処理方法およびコンピュータプログラム | |
US20120169937A1 (en) | Image processing apparatus and image processing method | |
CN107920210A (zh) | 图像拍摄方法、装置及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |