CN111553185A - 突出显示处理方法及其关联系统 - Google Patents

突出显示处理方法及其关联系统 Download PDF

Info

Publication number
CN111553185A
CN111553185A CN201911403805.XA CN201911403805A CN111553185A CN 111553185 A CN111553185 A CN 111553185A CN 201911403805 A CN201911403805 A CN 201911403805A CN 111553185 A CN111553185 A CN 111553185A
Authority
CN
China
Prior art keywords
frame
frames
highlight
highlighting
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911403805.XA
Other languages
English (en)
Other versions
CN111553185B (zh
Inventor
庄世荣
庄彦哲
李俊男
黄于瑄
蒋智中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN111553185A publication Critical patent/CN111553185A/zh
Application granted granted Critical
Publication of CN111553185B publication Critical patent/CN111553185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

一种突出显示处理方法包括：获得包括每个帧具有与至少一个物体相关联的图像内容的帧的帧序列，其中，对该帧序列的该每个帧执行物体姿势估计，以生成该每个帧的物体姿势估计结果，以及进一步包括确定突出显示间隔的起点和终点中的至少一个，其中，确定该突出显示间隔的该起点和该终点中的该至少一个包括比较不同帧的物体姿势估计结果。本发明利用估计帧中的物体姿势，实现了自动地记录图像内容的有益效果。

Description

突出显示处理方法及其关联系统
交叉引用
本申请要求2019年1月16递交，申请号为62/792,984的美国临时申请以及2019年8月19日递交，申请号为16/544,862的美国专利申请的优先权，上述全部内容通过引用并入本文。
技术领域
本发明有关于图像或者视频处理技术，以及，更具体地，有关于基于触发方案以及关联系统使用人体姿势的突出显示处理方法。
背景技术
用户可以启用动作快照捕获功能以在图片捕获流程期间记录突出显示图片，并且可以启用慢动作视频编码功能(或慢动作视频后期制作功能)来在视频录制流程(或视频播放流程)期间录制突出显示视频。有多种方法可以实现动作快照捕获，慢动作视频编码和慢动作视频后期制作。但是，由于用户需要手动确定和选择突出显示内容的事实，因此某些传统方法对用户不友好，某些常规方法生成内容受限的快照图片/慢动作视频剪辑，而某些常规方法不生成基于内容的快照图片/慢动作视频剪辑。
发明内容
所要求保护的发明的一个目的是提供一种基于触发方案使用人体姿势的突出显示处理方法以及相关系统。
根据本发明的第一方面，揭示了示例性突出显示处理方法。示例性突出显示处理方法包括：获得包括每个帧具有与至少一个物体相关联的图像内容的帧的帧序列，其中，对该帧序列的该每个帧执行物体姿势估计，以生成该每个帧的物体姿势估计结果；以及确定突出显示间隔的起点和终点中的至少一个，其中，确定该突出显示间隔的该起点和该终点中的该至少一个包括比较不同帧的物体姿势估计结果。
根据本发明的第一方面，揭示了示例突出显示处理系统。示例性突出显示处理系统包括存储设备和处理电路。该存储设备被配置为储存程序代码。当由该处理电路加载并且执行该程序代码时，该处理电路执行下列步骤：获得包括每个帧具有与至少一个物体相关联的图像内容的帧的帧序列，其中，对该帧序列的该每个帧执行物体姿势估计，以生成该每个帧的物体姿势估计结果；以及确定突出显示间隔的起点和终点中的至少一个，其中，确定该突出显示间隔的该起点和该终点中的该至少一个包括比较不同帧的物体姿势估计结果。
本发明提出了突出显示处理方法及其关联系统，利用估计帧中的物体姿势，实现了自动地记录图像内容的有益效果。
在阅读了在各个附图和图式中示出的优选实施例的以下详细描述之后，本发明的这些和其他目的毫无疑问对于本领域技术人员将变得显而易见。
附图说明
图1是根据本发明的实施例示出突出显示处理系统的示意图。
图2是根据本发明的实施例示出第一突出显示处理方法的流程图。
图3是根据本发明的实施例示出的两个帧的人体姿势估计结果的示意图。
图4是根据基于帧序列中的帧的人体姿势估计结果的比较所计算的度量的示意图。
图5是根据本发明的实施例示出第二突出显示处理方法的流程图。
图6是根据本发明的实施例示出第三突出显示处理方法的流程图。
图7是根据本发明的实施例示出第四突出显示处理方法的流程图。
图8是根据本发明的实施例示出第五突出显示处理方法的流程图。
图9是根据本发明的实施例示出第六突出显示处理方法的流程图。
图10是根据本发明的实施例示出第七突出显示处理方法的流程图。
图11是根据本发明的实施例示出第八突出显示处理方法的流程图。
图12是根据本发明的实施例示出第九突出显示处理方法的流程图。
图13是根据本发明的实施例示出电子设备的示意图。
具体实施方式
在以下整个说明书和权利要求中使用指的是特定组件的某些术语。如本领域技术人员理解的，电子设备制造商可以用不同的名称来指代组件。本文文件无意区分名称不同但功能相同的组件。在以下说明书和权利要求中，术语“包括”和“包含”以开放式方式使用，因此应解释为表示“包括但不限于...”。同样，术语“耦接”旨在表示间接或者直接地电连接。因此，如果一个设备耦接于另一设备，则该连接可为通过直接电连接，或者通过经由其他设备和连接的间接电连接。
图1是根据本发明的实施例示出突出显示处理系统100的示意图。突出显示处理系统100包括处理电路102和存储设备104。存储设备104被布置为存储程序代码PROG。当由处理电路102加载并执行程序代码PROG时，程序代码PROG指示处理电路102执行所提出的自动地以及自适应地记录基于内容的快照图片(或慢动作视频剪辑)的突出显示处理方法。换句话说，所提出的突出显示处理方法可基于软件的，并且可以通过突出显示处理系统100的硬件来执行。例如，所提出的突出显示处理方法可以包括获得包括分别具有与至少一个物体相关联的图像内容的帧的帧序列，其中，根据对帧序列的每一帧进行物体姿势估计以生成每一帧的物体姿势估计结果；并且可以进一步包括确定突出显示间隔的起点和终点中的至少一个，其中确定突出显示间隔的起点和终点中的至少一个涉及比较不同帧的物体姿势估计结果。
在本发明的一些实施例中，突出显示处理系统100可为具有照相机模块的电子设备的一部分，处理电路102可为电子设备的处理器，而存储设备104可为电子设备的系统存储器。例如，电子设备可为蜂窝电话或者平板电脑。但是，这仅出于说明的目的，并不意味着对本发明的限制。实际上，使用所提出的突出显示处理方法的任何电子设备都属于本发明的范围。
图2是根据本发明的实施例示出第一突出显示处理方法的流程图。突出显示处理方法由图1所示的突出显示处理系统100执行。如果结果本质上相同，则不需要按照图2所示的准确顺序执行步骤。此外，可以省略图2所示的一些步骤，并且可以将其他一些步骤添加到图2所示的流程中。在步骤202中，执行场景识别流程以对与流帧输入相关联的场景类型进行分类。根据场景类型，设置序列长度LS，时间步长TS和突出显示功能HF。在本发明的一些实施例中，序列长度LS对于不同的场景类型可以具有不同的设置，时间步长TS对于不同的场景类型可以具有不同的设置，和/或突出显示功能HF对于不同的场景类型可以具有不同的设置。以示例的方式而非限制，不同的场景类型可以包括用于运动场景的一种场景类型和用于非运动场景的另一种场景类型。
在步骤204中，可从流帧输入中得到当前输入帧。在步骤206中，获得具有序列长度LS的帧序列，并准备用于以下突出显示识别处理。例如，帧序列包括N个帧F_1至F_N，每个帧具有与至少一个物体(例如，至少一个人)相关联的图像内容，其中N＝LS。具有时间戳t_N的帧F_N是当前输入帧，具有时间戳t_1-t_N-1的帧F_1-F_N-1是先前的输入帧。本发明没有限制序列长度LS的大小。实际上，可以根据实际设计考虑来调整序列长度LS。
在一个示例性实施方式中，选择用于帧序列的帧F_1-F_N可为在时域中连续的。也就是说，帧F_1-F_N是流帧输入中的连续帧。在另一示例性实施方式中，选择用于帧序列的帧可为在时域中不连续的。即，帧F_1-F_N在流帧输入中不是连续帧。例如，间歇地从流帧输入中选择帧F_1-F_N。在又一示例性实施方式中，选择用于帧序列的帧F_1-F_N可为在时域中部分连续的以及在时域中部分不连续的。即，帧F_1-F_N包括在流传输帧输入中是连续帧的帧，并且还包括在流传输帧输入中不是连续帧的帧。
此外，基对帧序列的每个帧执行物体姿势估计(例如，人体姿势估计)以生成该帧的物体姿势估计结果(例如，该帧的人体姿势估计结果)。为了清楚和简单起见，以下假设要检测和分析的帧中的每个物体是一个人，并且物体姿势估计是用于生成人体姿势估计结果作为物体姿势估计结果的人体姿势估计。但是，这仅出于说明目的，并不意味着限制。实际上，本发明的突出显示处理概念可以用于处理非人类目标的突出显示。简单地说，“”术语“物体”和“人体”是可互换的，术语“物体姿势”和“人体姿势”是可互换的，术语“物体姿势估计”和“人体姿势估计”是可互换的，术语“物体姿势估计结果”和“人体姿势估计结果”是可以互换的。
例如，分析与一个人相关的图像内容，以识别人体部位，例如，头部、躯干、左上臂、左下臂、左上腿、左下腿、右上臂、右下臂、右上腿和右下腿。此外，人体各部位(例如，头部、躯干、左上臂、左下臂、左上腿、左下腿、右上臂、右下臂、右上腿和右下腿)间的关节也可以确定。因此，关于包括在帧中的每个人的图像内容，帧中的人体姿势估计结果可以包括人体姿势的关节的位置信息和/或人体姿势的身体部位的位置信息，其中，每个身体部位仅包括人体姿势的所有关节的一部分。
应当注意的是，当下一输入帧充当在步骤204接收的当前输入面时，可以更新在步骤206准备的帧序列。例如，该帧序列包括N个帧F_2-F_N+1个，每个帧具有与至少一个人相关联的图像内容，其中N＝LS。时间戳为t_N+1的帧F_N+1是当前输入帧，时间戳为t_2-t_N的帧F_2-F_N是先前的输入帧。应当注意的是，根据实际设计考虑，从帧序列选择的帧F_2-F_N+1可为在时域中连续的，或者可为在时域中不连续的，或者可为在时域中部分连续的，或者可为在时域中部分不连续的。
在步骤208中，根据时间步骤TS，划分帧序列(包括帧F_1-F_N)为多个多帧组块CK_1-CK_M。在TS＝1(例如，一个帧周期)的情况下，具有时间戳t_i和t_i+1的每两个帧被分类为一个多帧组块，其中i＝{1、2、3、4，...，N-1}。在TS＝2(例如，两个帧周期)的另一种情况下，具有时间戳t_i、t_i+1和t_i+2的每三个帧被分类为一个多帧组块，其中i＝{1、2、3、4，...，N-2}。具体地，通过具有基于时间步长TS设置的窗口大小的移动窗口来选择每个多帧组块。本发明对时间步长TS的大小没有限制。在实践中，可以根据实际设计考虑来调整时间步长TS。
在该实施例中，突出显示识别处理包括全局度量计算(步骤210和212)和局部度量计算(步骤214和216)。每个帧的人体姿势估计结果包括帧中的人体姿势的关节的位置信息和帧中的人体姿势的身体部位的位置信息。对于在步骤208确定的每个多帧组块，通过根据多帧组块的第一个帧(最早的帧)和最后一个帧(最近的帧)中识别出的人体姿势的所有关节的位置信息(步骤210)评估多帧组块的第一个帧(即最早的帧)和最后一个帧(即最近的帧)之间的相似度来计算全局相似度值，计算出全局相似度方差值以指示全局相似度值的方差(步骤212)。对于在步骤208确定的每个多帧组块，通过根据多帧组块的第一个帧(即最早的帧)和最后一个帧(即最近的帧)中识别出的人体姿势的身体部位的位置信息(步骤214)评估多帧组块的第一个帧(即最早的帧)和最后一个帧(即最近的帧)之间的相似度来计算局部相似度值，计算出局部相似度方差值以指示局部相似度值的方差(步骤216)。
在TS＝1(例如，一个帧周期)的情况下，具有时间戳t_i和t_i+1的每两个帧分类为一个多帧组块，其中i＝{1，2，3，4，...，N-1}。因此，通过评估具有时间戳t_i和t_i+1的两个帧之间的相似度来计算全局相似度值，并且通过评估具有时间戳t_i和t_i+1的两个帧之间的相似度来计算局部相似度值。对于一个多帧组块，具有时间戳t_i的帧是第一个帧，具有时间戳t_i+1的帧是最后一个帧。
在TS＝2(例如，两个帧周期)的另一种情况下，具有时间戳t_i、t_i+1和t_i+2的每三个帧分类为一个多帧组块，其中i＝{1、2，3，4，...，N-2}。因此，通过评估具有时间戳t_i和t_i+2的两个帧之间的相似度来计算全局相似度值，并且通过评估具有时间戳t_i和t_i+2的两个帧之间的相似度来计算局部相似度值。对于一个多帧组块，具有时间戳t_i的帧是第一个帧，具有时间戳t_i+2的帧是最后一个帧。
图3是根据本发明的实施例示出的两个帧的人体姿势估计结果的示意图。在该实施例中，两个连续的帧(包括具有时间戳t_1的帧F_1和具有时间戳t_2的帧F_2)具有相同的跑步者的图像内容。帧F_1所示的跑步者的人体姿势包括关节Pt1，并由身体部位Bt1组成，其中(Jt10，Jt11，...，Jt1k)记录人体姿势的所有关节的位置，而(Bt10，Bt11，...，Bt1n)记录人体姿势所有身体部位的位置。从Bt1中选择的身体部位Bt1i包括从Pt1中选择的关节(Jt1i0，Jt1i1，...，Jt1im)，其中i＝{0，1，...，n}。帧F_2所示的人的人体姿势包括关节Pt2，并且由人体部位Bt2组成，其中(Jt20，Jt21，...，Jt2k)记录人体姿势的所有关节的位置，而(Bt20，Bt21，...(Bt2n)记录人体姿势的所有身体部位。从Bt2中选择的身体部位Bt2i包括从Pt2中选择的关节(Jt2i0，Jt2i1，...，Jt2im)，其中i＝{0，1，...，n}。
假设时间步长TS设置为1(即TS＝t_2-t_1＝一个帧周期)，则帧F_1和F_2分类为多帧组块CK_1。在步骤210中，关节Pt1和Pt2用于计算多帧组块CK_1的全局相似度值GSIM_1。在步骤212中，计算多帧组块CK_1的全局相似度方差值GVAR_1。全局相似度方差值GVAR_1指示全局相似度值GSIM_1的方差。在步骤214中，身体部位Bt1和Bt2用于计算多帧组块CK_1的局部相似度值LSIM_1，其中在不同帧F_1和F_2中为相同身体部位计算一个局部相似度值。在步骤216中，计算用于多帧组块CK_1局部相似度方差值LVAR_1。局部相似度方差值LVAR_1分别指示局部相似度值LSIM_1的方差。
应当注意的是，步骤210和214可以采用任何合适的相似度计算算法，而步骤212和216可以采用任何合适的方差计算算法。
在步骤210、212、214和216完成之后，获得了属于帧序列的一个或多个多帧组块的全局度量(即，全局相似度值和全局相似度方差值)和局部度量(即，局部相似度值和局部相似度方差值)。图4是根据基于帧序列中的帧的人体姿势估计结果的比较而计算的度量的示意图。例如，帧序列包括N个帧F_1-F_N，其中N＝LS。应当注意的是，根据实际设计考虑，从帧序列选择的帧F_1-F_N可为在时域中连续的，或者可为在时域中不连续的，或者可为在时域中部分连续的，或者可为在时域中部分不连续的。
具有时间戳t_N的帧F_N是当前输入帧，并且具有时间戳t_1-t_N-1的帧F_1-F_N-1是先前的输入帧。此外，时间步TS为1(例如，一个帧周期)，并且帧序列被划分为多帧组块CK_1-CK_M，其中M＝N-1。所计算多帧组块CK_1的度量可以包括全局相似度值GSIM_1，多个局部相似度值LSIM_1、全局相似度方差值GVAR_1和多个局部相似度方差值LVAR_1。计算多帧组块CK_2的度量可以包括全局相似度值GSIM_2、多个局部相似度值LSIM_2、全局相似度方差值GVAR_2和多个局部相似度方差值LVAR_2。计算多帧组块CK_N-1的度量可以包括全局相似度值GSIM_N-1、多个局部相似度值LSIM_N-1、全局相似度方差值GVAR_N-1和多个局部相似度方差值LVAR_N-1。
在步骤218中，将属于帧序列的一个或多个多帧组块的全局度量(即，全局相似度值和全局相似度方差值)和局部度量(即，局部相似度值和局部相似度方差值)用作通过步骤202中场景识别确定的突出显示功能HF的输入参数。场景识别可以基于机器学习/深度学习。突出显示函数HF的公式形式针对不同场景自适应地设置。例如，不同场景的突出显示功能HF可以包括多项式函数、指数函数、三角函数、双曲函数等。
在步骤220中，通过突出显示功能HF获得当前输入帧的突出显示分数，并且可以将突出显示分数与预定阈值进行比较以确定突出显示相关功能应当触发还是停止，其中可以通过步骤202中执行的场景识别来设置预定阈值。例如，突出显示相关功能未启动的条件下，当为当前输入帧计算的突出显示分数大于预定阈值时，则确定突出显示间隔的起点，触发突出显示相关功能并将其应用于当前输入帧，以响应于比较结果(即，突出显示分数＞预定阈值)；突出显示相关功能启动的条件下，当为当前输入帧计算的突出显示分数大于预定阈值时，突出显示相关功能保持启动并应用于当前输入帧；在突出显示相关功能启动的条件下，当为当前输入帧计算的突出显示分数不大于预定阈值时，确定突出显示间隔的终点，停止突出显示相关功能并不应用于当前帧，以响应于比较结果(即，突出显示分数≤预定阈值)；突出显示相关功能不启动的条件下，当为当前输入帧计算的突出显示分数不大于预定阈值时，突出显示相关功能保持不启动。因此，突出显示相关功能在突出显示间隔期间操作。
突出显示相关功能可以执行用于动作快照捕获、慢动作视频记录、慢动作视频后期制作执行，或者用户可能希望对帧序列执行的任何其他功能/动作。在突出显示相关功能用于动作快照捕获的第一种情况下，当相机模块当前操作在动作快照捕获模式下时，可以从相机模块(例如，蜂窝电话的相机模块)生成帧序列。在突出显示相关功能用于慢动作视频记录的第二种情况下，当相机模块当前运行在视频记录模式下时，可以从相机模块(例如，蜂窝电话的相机模块)生成帧序列。在突出显示相关功能用于慢动作后期制作的第三种情况下，可以在视频回放模式下从存储设备读取帧序列，其中可以从相机模块(例如，相机)生成帧序列并在启用视频回放模式的前将其存储在存储设备中。
关于图2所示的突出显示处理方法的突出显示识别处理，突出显示功能HF的输入可以包括相似度值(例如，全局相似度值和局部相似度值)和相似度方差值(例如，全局相似度方差值和局部相似度方差值)，以及突出显示功能HF的输出可以包括突出显示分数，该突出显示分数被用于选择性地触发或者停止突出显示相关功能的参考。但是，这仅出于说明目的，并不意味着对本发明的限制。由于相似度方差值的计算可以基于相似度值，因此相似度值和相似度方差值之间可能存在某种线性关是。在一种替代设计中，可以修改突出显示处理方法以采用仅由相似度值提供的突出显示功能。在另一替代设计中，可以修改突出显示处理方法以采用仅由相似度方差值提供的突出显示功能。
例如，为多帧组块CK_1-CK_N-1计算的度量包括相似度方差值(例如，全局相似度方差值)VAR_1-VAR_N-1。可以通过使用以下公式来获得由突出显示功能HF获得的突出显示分数HS。
Figure BDA0002347753130000101
可以将突出显示分数HS与预定阈值进行比较，以选择性地触发或者停止突出显示相关功能。
图5是根据本发明的实施例示出第二突出显示处理方法的流程图。图2与图5的所示的突出显示处理方法之间的区别在于省略了步骤212和216，从而使得步骤518使用的突出显示功能HF的输入不包括相似度方差值(例如，全局相似度方差值和局部相似度方差值)。在该实施例中，由步骤518使用的突出显示功能HF的输入可以仅包括相似度值(例如，全局相似度值和局部相似度值)。
图6是根据本发明的实施例示出第三突出显示处理方法的流程图。图2与图6的所示的突出显示处理方法之间的区别在于步骤618使用的突出显示功能HF的输入不包括相似度值(例如，全局相似度值和局部相似度值)。在该实施例中，由步骤618使用的突出显示功能HF的输入可以仅包括相似度方差值(例如，全局相似度方差值和局部相似度方差值)。
关于图2所示的突出显示处理方法的突出显示识别处理，突出显示功能HF的输入包括全局度量(例如，全局相似度值和全局相似度方差值)和局部度量(例如，局部相似度值和局部相似度方差值)。关于图5所示的突出显示处理方法的突出显示识别处理，突出显示功能HF的输入包括全局度量(例如，全局相似度值)和局部度量(例如，局部相似度值)。关于图6所示的突出显示处理方法的突出显示识别处理，突出显示功能HF的输入包括全局度量(例如，全局相似度方差值)和局部度量(例如，局部相似度方差值)。然而，这些仅出于说明的目的，并不意味着对本发明的限制。在一种替代设计中，突出显示处理方法可以被修改为采用仅由全局度量(例如，全局相似度值和/或全局相似度方差值)提供的突出显示功能。在另一替代设计中，可以修改突出显示处理方法以采用仅由局部度量(例如，局部相似度值和/或局部相似度方差值)提供的突出显示功能。
图7是根据本发明的实施例示出第四突出显示处理方法的流程图。图2与图7的所示的突出显示处理方法之间的区别在于省略了步骤214和216，从而使得由步骤718使用的突出显示功能HF的输入不包括局部相似度值和局部相似度方差值。在该实施例中，由步骤718使用的突出显示功能HF的输入可以仅包括全局相似度值和全局相似度方差值。
图8是根据本发明的实施例示出第五突出显示处理方法的流程图。图2与图8的所示的突出显示处理方法之间的区别在于省略了步骤210和212，从而使得步骤818使用的突出显示功能HF的输入不包括全局相似度值和全局相似度方差值。在该实施例中，步骤818使用的突出显示功能HF的输入可以仅包括局部相似度值和局部相似度方差值。
图9是根据本发明的实施例示出第六突出显示处理方法的流程图。图5与图9的所示的突出显示处理方法之间的区别在于省略了步骤214，使得步骤918使用的突出显示功能HF的输入不包括局部相似度值。在该实施例中，步骤918使用的突出显示功能HF的输入可以仅包括全局相似度值。
图10是根据本发明的实施例示出第七突出显示处理方法的流程图。图5与图10的所示的突出显示处理方法之间的区别在于省略了步骤210，从而使得由步骤1018使用的突出显示功能HF的输入不包括全局相似度值。在该实施例中，由步骤1018使用的突出显示功能HF的输入可以仅包括局部相似度值。
图11是根据本发明的实施例示出第八突出显示处理方法的流程图。图6与图11的所示的突出显示处理方法之间的区别在于省略了步骤214和216，从而使得步骤1118使用的突出显示功能HF的输入不包括局部相似度方差值。在该实施例中，步骤1118使用的突出显示功能HF的输入可以仅包括全局相似度方差值。
图12是根据本发明的实施例示出第九突出显示处理方法的流程图。图6与图12的所示的突出显示处理方法之间的区别在于省略了步骤210和212，从而使得由步骤1218使用的突出显示功能HF的输入不包括全局相似度方差值。在该实施例中，步骤1218使用的突出显示功能HF的输入可以仅包括局部相似度方差值。
如上所述，参考由突出显示功能HF获得的突出显示分数来确定是否触发或者停止突出显示相关功能(例如，动作快照捕获、慢动作视频记录、慢动作视频后期制作等)。在一个示例性设计中，在没有用者干预的情况下，在突出显示间隔的起点(其可以与通过所提出的突出显示识别流程检查的一个帧序列的最后一个帧对齐)自动触发与突出显示相关功能。在另一示例性设计中，在没有用户干预的情况下，在突出显示间隔的终点(其可以与所提出的突出显示识别处理所检查的一个帧序列的最后一个帧对齐)自动停止突出显示相关功能。在又一示例性设计中，在没有用户干预的情况下，突出显示相关功能在突出显示间隔的起点(其可以与通过所提出的突出显示识别流程检查的一个帧序列的最后一个帧对齐)自动触发，在没有用户干预的情况下，突出显示相关功能自动在突出显示间隔的终点(可以与所提出的突出显示识别流程检查所的另一个帧序列的最后一个帧对齐)自动停止。
由于可以在没有用户干预的情况下自动触发突出显示相关功能，因此本发明还提出了在突出显示相关功能处于工作状态时通知用户。图13是根据本发明的实施例示出电子设备1300的示意图。电子设备1300包括处理器1302、系统存储器1304、相机模块1306和显示屏1308。例如，电子设备1300可为诸如蜂窝电话或平板计算机的移动设备。图1所示的突出显示处理系统100可为图13所示的电子设备1300的一部分。例如，图1中所示的处理电路102可以由处理器1302来实施，以及存储设备104可以由系统存储器1304来实施。在动作快照捕获模式、视频记录模式、视频播放模式下等，可以由相机模块1306生成由突出显示处理系统处理的帧序列。参照图13，用户接口(user interface，UI)1310被显示在显示屏1308上。因此，在没有用户干预的情况下，突出显示相关的功能(例如，动作快照捕获、慢动作视频记录、慢动作视频后期制作等)被自动触发之后，UI 1310可以由处理器1302(具体地，在处理器1302上运行的程序代码)控制，以指示突出显示相关功能正在运行。例如，在由所提出的突出显示识别流程确定的突出显示间隔期间，在帧序列的每个帧中识别出的任何人体姿势的关节和/或身体部位被显示在UI 1310上以通知用户。对于另一示例，在由所提出的突出显示识别处理确定的突出显示间隔期间，突出显示相关功能的通知信息被显示在UI 1310上以通知用户。以示例的方式而非限制，通知信息可以包括与突出显示相关功能的名称、相似度值、相似度方差值和/或帧速率。在一些替代设计中，可以通过显示屏1308上的UI 1310以外的方式来实现关于突出显示相关功能操作时的通知。例如，通知可以由电子设备1300的发光二极管(1ight emitting diode，LED)闪烁，电子设备1300的振动器振动等来实施。
本领域技术人员者容易观察到，在保持本发明的教导的同时，可对设备和方法进行多种修改和变化。因此，以上公开内容应被解释为仅由所附权利要求的界限来限定。

Claims (20)

1.一种突出显示处理方法，包括：
获得包括帧的帧序列，每个帧具有与至少一个物体相关联的图像内容，其中，对该帧序列的该每个帧执行物体姿势估计，以生成该每个帧的物体姿势估计结果；以及
确定突出显示间隔的起点和终点中的至少一个，其中，确定该突出显示间隔的该起点和该终点中的该至少一个包括不同帧的物体姿势估计结果的比较。
2.根据权利要求1所述的突出显示处理方法，其特征在于，确定该突出显示间隔的该起点和该终点中的该至少一个包括：
根据基于该帧序列中的该不同帧的该物体姿势估计结果的该比较计算度量；以及
参考该度量用于确定该突出显示间隔的该起点和该终点中的该至少一个。
3.根据权利要求2所述的突出显示处理方法，其特征在于，该帧序列包括多帧组块，每个多帧组块具有从该帧中选择的连续帧，以及根据基于该帧序列中的该不同帧的该物体姿势估计结果的该比较计算该度量包括：
针对该每个多帧组块，通过评估该多帧组块中的该每个多帧组块的第一个帧和最后一个帧之间的相似度，来计算相似度值，其中该相似度值用作该度量中的一个。
4.根据权利要求2所述的突出显示处理方法，其特征在于，该帧序列包括多帧组块，每个多帧组块具有从该帧中选择的连续帧，以及根据基于该帧序列中的该帧的该物体姿势估计结果的该比较计算该度量包括：
针对该每个多帧组块，通过评估该多帧组块中的该每个多帧组块的第一个帧和最后一个帧之间的相似度，来计算相似度值，以及计算指示该相似度值的方差的相似度方差值，其中该相似度方差值用作该度量中的一个。
5.根据权利要求3所述的突出显示处理方法，其特征在于，该第一个帧和该最后一个帧中的每一个的物体姿势估计结果中的物体姿势的所有关节的位置信息包括在计算该相似度中。
6.根据权利要求3所述的突出显示处理方法，其特征在于，该第一个帧和该最后一个帧中的每一个的物体姿势估计结果中的物体姿势的一部分的位置信息包括在计算该相似度中，其中该部分仅包括该物体姿势的所有关节的一部分。
7.根据权利要求1所述的突出显示处理方法，其特征在于，进一步包括：
在该突出显示间隔期间执行突出显示相关功能，其中该突出显示相关功能用于动作快照捕获、慢动作视频录制或者慢动作视频后期制作。
8.根据权利要求7所述的突出显示处理方法，其特征在于，在没有用户干预的情况下，该突出显示相关功能在该突出显示间隔的该起点自动触发。
9.根据权利要求8所述的突出显示处理方法，其特征在于，进一步包括：
由用户接口指示该突出显示相关功能在操作。
10.根据权利要求7所述的突出显示处理方法，其特征在于，在没有用户干预的情况下，该突出显示相关功能在该突出显示间隔的该终点自动停止。
11.一种突出显示处理系统，包括：
存储设备，被配置为储存程序代码；以及
处理电路，其中当由该处理电路加载并且执行该程序代码时，该处理电路执行以下步骤：
获得包括帧的帧序列，每个帧具有与至少一个物体相关联的图像内容，其中，对该帧序列的该每个帧执行物体姿势估计，以生成该每个帧的物体姿势估计结果；以及
确定突出显示间隔的起点和终点中的至少一个，其中，确定该突出显示间隔的该起点和该终点中的该至少一个包括不同帧的物体姿势估计结果的比较。
12.根据权利要求11所述的突出显示处理系统，其特征在于，确定该突出显示间隔的该起点和该终点中的该至少一个包括：
根据基于该帧序列中的该帧的物体姿势估计结果的该比较计算度量；以及
参考该度量用于确定该突出显示间隔的该起点和该终点中的该至少一个。
13.根据权利要求12所述的突出显示处理系统，其特征在于，该帧序列包括多帧组块，每个多帧组块具有从该帧中选择的连续帧，以及根据基于该帧序列中的该帧的该物体姿势估计结果的该比较计算该度量包括：
针对该每个多帧组块，通过评估该多帧组块中的该每个多帧组块的第一个帧和最后一个帧之间的相似度，来计算相似度值，其中该相似度值用作该度量中的一个。
14.根据权利要求12所述的突出显示处理系统，其特征在于，该帧序列包括多帧组块，每个多帧组块具有从该帧中选择的连续帧，以及根据基于该帧序列中的该帧的该物体姿势估计结果的该比较计算该度量包括：
针对该每个多帧组块，通过评估该多帧组块中的该每个多帧组块的第一个帧和最后一个帧之间的相似度，来计算相似度值，以及计算指示该相似度值的方差的相似度方差值，其中该相似度方差值用作该度量中的一个。
15.根据权利要求13所述的突出显示处理系统，其特征在于，该第一个帧和该最后一个帧中的每一个的物体姿势估计结果中的物体姿势的所有关节的位置信息包括在计算该相似度中。
16.根据权利要求13所述的突出显示处理系统，其特征在于，该第一个帧和该最后一个帧中的每一个的物体姿势估计结果中的物体姿势的一部分的位置信息包括在计算该相似度中，其中该部分仅包括该物体姿势的所有关节的一部分。
17.根据权利要求11所述的突出显示处理系统，其特征在于，进一步包括：
在该突出显示间隔期间执行突出显示相关功能，其中该突出显示相关功能用于动作快照捕获、慢动作视频录制或者慢动作视频后期制作。
18.根据权利要求17所述的突出显示处理系统，其特征在于，在没有用户干预的情况下，该突出显示相关功能在该突出显示间隔的该起点自动触发。
19.根据权利要求18所述的突出显示处理系统，其特征在于，进一步包括：
由用户接口指示该突出显示相关功能在操作。
20.根据权利要求17所述的突出显示处理系统，其特征在于，在没有用户干预的情况下，该突出显示相关功能在该突出显示间隔的该终点自动停止。
CN201911403805.XA 2019-01-16 2019-12-31 突出显示处理方法及其关联系统 Active CN111553185B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962792984P 2019-01-16 2019-01-16
US62/792,984 2019-01-16
US16/544,862 2019-08-19
US16/544,862 US11080532B2 (en) 2019-01-16 2019-08-19 Highlight processing method using human pose based triggering scheme and associated system

Publications (2)

Publication Number Publication Date
CN111553185A true CN111553185A (zh) 2020-08-18
CN111553185B CN111553185B (zh) 2023-10-24

Family

ID=71516072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911403805.XA Active CN111553185B (zh) 2019-01-16 2019-12-31 突出显示处理方法及其关联系统

Country Status (3)

Country Link
US (1) US11080532B2 (zh)
CN (1) CN111553185B (zh)
TW (1) TWI765202B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648253B (zh) * 2018-05-08 2019-08-20 北京三快在线科技有限公司 动态图片的生成方法及装置
US11080532B2 (en) * 2019-01-16 2021-08-03 Mediatek Inc. Highlight processing method using human pose based triggering scheme and associated system
WO2022232302A1 (en) * 2021-04-27 2022-11-03 Maiden Ai, Inc Methods and systems to automatically record relevant action in a gaming environment
US11935253B2 (en) * 2021-08-31 2024-03-19 Dspace Gmbh Method and system for splitting visual sensor data

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1538351A (zh) * 2003-04-01 2004-10-20 视觉上代表性的视频缩略图的生成
CN102214304A (zh) * 2010-04-09 2011-10-12 索尼公司 信息处理设备、信息处理方法、和程序
US20130004090A1 (en) * 2011-06-28 2013-01-03 Malay Kundu Image processing to prevent access to private information
US20130300750A1 (en) * 2012-05-10 2013-11-14 Nokia Corporation Method, apparatus and computer program product for generating animated images
CN103988150A (zh) * 2011-03-25 2014-08-13 奥布隆工业有限公司 用于初始化基于视觉的手跟踪器的快速指尖检测
US20140285717A1 (en) * 2013-03-20 2014-09-25 Google, Inc. Interpolated video tagging
CN105225248A (zh) * 2014-06-27 2016-01-06 株式会社理光 识别物体的运动方向的方法和设备
CN105765628A (zh) * 2013-10-23 2016-07-13 谷歌公司 深度图生成
US20170018086A1 (en) * 2015-07-16 2017-01-19 Google Inc. Camera pose estimation for mobile devices
CN107077595A (zh) * 2014-09-08 2017-08-18 谷歌公司 选择和呈现代表性帧以用于视频预览
CN107667522A (zh) * 2015-05-26 2018-02-06 微软技术许可有限责任公司 调整活动图像的长度
CN108985259A (zh) * 2018-08-03 2018-12-11 百度在线网络技术（北京）有限公司 人体动作识别方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2008099685A1 (ja) 2007-02-01 2010-05-27 ソニー株式会社 画像再生装置と画像再生方法および撮像装置とその制御方法
US9646209B2 (en) * 2010-08-26 2017-05-09 Blast Motion Inc. Sensor and media event detection and tagging system
CN102890781B (zh) 2012-07-04 2016-01-13 北京航空航天大学 一种针对羽毛球比赛视频的精彩镜头识别方法
CN104660948B (zh) 2015-03-09 2018-01-16 广东欧珀移动通信有限公司 一种视频录制方法和装置
US10165222B2 (en) * 2016-06-09 2018-12-25 Intel Corporation Video capture with frame rate based on estimate of motion periodicity
CN107169988A (zh) 2017-05-12 2017-09-15 江苏大学 一种基于余弦距离层次聚类的关键帧提取方法
CN107396019B (zh) 2017-08-11 2019-05-17 维沃移动通信有限公司 一种慢动作视频录制方法及移动终端
US10769411B2 (en) * 2017-11-15 2020-09-08 Qualcomm Technologies, Inc. Pose estimation and model retrieval for objects in images
US11238612B2 (en) * 2018-08-28 2022-02-01 Beijing Jingdong Shangke Information Technology Co., Ltd. Device and method of tracking poses of multiple objects based on single-object pose estimator
US11080532B2 (en) * 2019-01-16 2021-08-03 Mediatek Inc. Highlight processing method using human pose based triggering scheme and associated system

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1538351A (zh) * 2003-04-01 2004-10-20 视觉上代表性的视频缩略图的生成
CN102214304A (zh) * 2010-04-09 2011-10-12 索尼公司 信息处理设备、信息处理方法、和程序
CN103988150A (zh) * 2011-03-25 2014-08-13 奥布隆工业有限公司 用于初始化基于视觉的手跟踪器的快速指尖检测
US20130004090A1 (en) * 2011-06-28 2013-01-03 Malay Kundu Image processing to prevent access to private information
US20130300750A1 (en) * 2012-05-10 2013-11-14 Nokia Corporation Method, apparatus and computer program product for generating animated images
US20140285717A1 (en) * 2013-03-20 2014-09-25 Google, Inc. Interpolated video tagging
CN105765628A (zh) * 2013-10-23 2016-07-13 谷歌公司 深度图生成
CN105225248A (zh) * 2014-06-27 2016-01-06 株式会社理光 识别物体的运动方向的方法和设备
CN107077595A (zh) * 2014-09-08 2017-08-18 谷歌公司 选择和呈现代表性帧以用于视频预览
CN107667522A (zh) * 2015-05-26 2018-02-06 微软技术许可有限责任公司 调整活动图像的长度
US20170018086A1 (en) * 2015-07-16 2017-01-19 Google Inc. Camera pose estimation for mobile devices
CN108985259A (zh) * 2018-08-03 2018-12-11 百度在线网络技术（北京）有限公司 人体动作识别方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李顺意;侯进;甘凌云;: "基于帧间距的运动关键帧提取", no. 02 *
赵思蕊;吴亚东;杨文超;蒋宏宇;: "基于3D骨架的交警指挥姿势动作识别仿真", no. 09 *

Also Published As

Publication number Publication date
US11080532B2 (en) 2021-08-03
TW202034284A (zh) 2020-09-16
CN111553185B (zh) 2023-10-24
US20200226386A1 (en) 2020-07-16
TWI765202B (zh) 2022-05-21

Similar Documents

Publication Publication Date Title
CN111553185B (zh) 突出显示处理方法及其关联系统
US10062412B2 (en) Hierarchical segmentation and quality measurement for video editing
US8988529B2 (en) Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera
US20230077355A1 (en) Tracker assisted image capture
US10706892B2 (en) Method and apparatus for finding and using video portions that are relevant to adjacent still images
EP2998960B1 (en) Method and device for video browsing
CN108737908B (zh) 一种媒体播放方法、装置及存储介质
US9426409B2 (en) Time-lapse video capture with optimal image stabilization
US10452713B2 (en) Video analysis techniques for improved editing, navigation, and summarization
US9681201B2 (en) Comment information generating apparatus and comment information generating method
US9685199B2 (en) Editing apparatus and editing method
US10582149B1 (en) Preview streaming of video data
US9578279B1 (en) Preview streaming of video data
US9799376B2 (en) Method and device for video browsing based on keyframe
US20110235859A1 (en) Signal processor
JP2020522943A (ja) 対象追跡に基づくスローモーションビデオキャプチャ
US20200134840A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US20140270710A1 (en) Optimized audio enabled cinemagraph
US20200258550A1 (en) Moving image reproduction apparatus, moving image reproduction method, moving image reproduction system, and storage medium
US20130343728A1 (en) Imaging device, information processing device, and non-transitory computer readable medium storing program
CN111476063A (zh) 目标跟踪方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant