CN111567030A - 用于自动切换视频捕获及回放帧率的方法 - Google Patents

用于自动切换视频捕获及回放帧率的方法 Download PDF

Info

Publication number
CN111567030A
CN111567030A CN201880079588.0A CN201880079588A CN111567030A CN 111567030 A CN111567030 A CN 111567030A CN 201880079588 A CN201880079588 A CN 201880079588A CN 111567030 A CN111567030 A CN 111567030A
Authority
CN
China
Prior art keywords
frame
roi
frame rate
motion stream
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880079588.0A
Other languages
English (en)
Other versions
CN111567030B (zh
Inventor
刘畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN111567030A publication Critical patent/CN111567030A/zh
Application granted granted Critical
Publication of CN111567030B publication Critical patent/CN111567030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

在实施例中，一种方法包括：接收调用视频模式的指示，其中，上述接收使得自动执行以下操作：以第一帧率获得第一帧和第二帧；基于用户的选择在第一帧中定义第一ROI；基于第一ROI在第二帧中定义第二ROI；确定第一相机运动流；确定第一ROI与第二ROI的相应部分之间的第一ROI运动流；基于使用第一ROI运动流和第一相机运动流确定的第一比较值确定第二帧率；以及由图像传感器单元以第二帧率捕获第三帧，或者，在触摸屏单元上以第二帧率回放第四帧。

Description

用于自动切换视频捕获及回放帧率的方法
背景技术
1、公开领域
本公开涉及视频捕获及回放领域，尤其涉及用于自动切换视频捕获及回放帧率的方法。
2、相关技术的描述
诸如移动电话、数码相机(digital still camera，DSC)、数字单镜头反光相机(digital single-lens reflex camera，DSLR)、便携式摄像机、无人机、监视器之类的相机系统捕获诸如体育赛事、行驶的车辆、飞鸟等快速运动(fast motion)场景。当相机系统以普通帧率(例如30帧每秒(framepersecond，fps)或60fps)捕获快速运动场景时，场景中的快速运动在重现时可能会模糊或丢失。相机系统可以配备为以较高的帧率(例如120fps、240fps、480fps、或960fps)捕获具有快速运动的场景，从而可以以慢动作(slow motion)(例如以30fps或60fps)回放场景中的快速运动，由此以显示快速运动的更多运动细节。在相关技术中，在发生快速运动之前或与此同时，用户选择用以捕获具有快速运动的场景的帧率。然而，因为该选择取决于人的判断和行动，因此可能会导致错失理想的捕获时机。
发明内容
在本公开的第一方面，一种方法包括：在触摸屏单元上接收调用视频模式的指示，其中，接收上述指示使得自动执行以下操作：以第一帧率获得第一帧和第二帧；基于用户对第一帧的第一选择在第一帧中定义第一感兴趣区域(regionofinterest，ROI)；基于第一ROI在第二帧中定义第二ROI；确定包括第一帧的部分的第一区域与第二帧的相应部分之间的第一相机运动流，第一帧的上述部分互补于与第二ROI共址的区域；确定第一ROI与第二ROI的相应部分之间的第一ROI运动流；基于使用第一ROI运动流和第一相机运动流确定的第一比较值确定第二帧率；以及由图像传感器单元以第二帧率捕获第三帧，其中，第二帧率高于第一帧率，或者，在触摸屏单元上以第二帧率回放第四帧，其中，第二帧率低于第一帧率。
根据结合本公开的第一方面的实施例，该方法还包括接收用户在触摸屏单元上的触摸位置，其中，该触摸位置为用户对第一帧的第一选择。
根据结合本公开的第一方面的实施例，该方法还包括在触摸屏单元上指示第一ROI。
根据结合本公开的第一方面的实施例，第一ROI仅界定第一帧中的一个对象。
根据结合本公开的第一方面的实施例，对于以第二帧率捕获第三帧，该方法还包括：在触摸屏单元上指示以第二帧率捕获第三帧。
根据结合本公开的第一方面的实施例，该方法还包括：基于第一ROI和第二ROI是否包括被分类为在预定场景集中的运动对象，确定比较基准；以及如果第一ROI运动流与比较基准的第一比较结果为正，则执行确定第二帧率以及以第二帧率捕获第三帧或以第二帧率回放第四帧；如果第一ROI运动流与比较基准的第一比较结果为负，则由图像传感器单元以第一帧率捕获第五帧或在触摸屏单元上以第一帧率回放第六帧。
根据结合本公开的第一方面的实施例，确定比较基准包括：分割运动对象；确定分割的运动对象是否在预定场景集中的概率；以及基于概率设置比较基准。
根据结合本公开的第一方面的实施例，如下生成第一ROI运动流与比较基准的第一比较结果：比较聚合ROI运动流与比较基准，其中，使用ROI运动流确定聚合ROI运动流，并且比较基准为第一阈值。
根据结合本公开的第一方面的实施例，如果第一ROI运动流与比较基准的第一比较结果为正且第一ROI运动流与第一相机运动流的第二比较结果为正，则执行确定第二帧率以及以第二帧率捕获第三帧或以第二帧率回放第四帧；以及如果第一ROI运动流与比较基准的第一比较结果为负和/或第一ROI运动流与第一相机运动流的第二比较结果为负，则执行以第一帧率捕获第五帧或以第一帧率回放第六帧。
根据结合本公开的第一方面的实施例，该方法还包括确定运动对象是否被分类为在预定场景集中；以及如果运动对象被分类为在预定场景集中，则执行确定比较基准；如果运动对象未被分类为在预定场景集中，则不执行确定比较基准，并且执行由图像传感器单元以第一帧率捕获第五帧或在触摸屏单元上以第一帧率回放第六帧。
根据结合本公开的第一方面的实施例，上述确定运动对象是否被分类为在预定场景集中包括：分割运动对象；确定分割的运动对象是否在预定场景集中的概率；如果概率超过第二阈值，则执行确定比较基准；如果概率未超过第二阈值，则不执行确定比较基准，并且执行由图像传感器单元以第一帧率捕获第五帧或在触摸屏单元上以第一帧率回放第六帧；以及确定比较基准包括：基于概率设置比较基准。
根据结合本公开的第一方面的实施例，如下确定第一比较值：获得平均ROI运动流与平均相机运动流的比率，其中，第一比较值为该比率，使用第一ROI运动流确定平均ROI运动流，使用第一相机运动流确定平均相机运动流。
根据结合本公开的第一方面的实施例，确定第二帧率还基于第一ROI的深度。
根据结合本公开的第一方面的实施例，该方法还包括：以第二帧率获得多个帧；基于用户对上述多个帧中的一个帧的第二选择和/或第二帧中的第二ROI，相应地在多个帧中定义多个ROI，其中，第七帧是上述多个帧中的倒数第二帧，第三ROI是上述多个ROI中的倒数第二ROI，第八帧是上述多个帧中的倒数第一帧，第四ROI是上述多个ROI中的倒数第一ROI；确定包括第七帧的部分的第三区域与第八帧的相应部分之间的第二相机运动流，第七帧的上述部分互补于与第四ROI共址的区域；确定第三ROI与第四ROI的相应部分之间的第二ROI运动流；基于使用第二ROI运动流和第二相机运动流确定的第二比较值确定第三帧率；由图像传感器单元以第三帧率捕获第九帧，其中，第三帧率低于第二帧率，或者，在触摸屏单元上以第三帧率回放第十帧，其中，第三帧率高于第二帧率。
根据结合本公开的第一方面的实施例，该方法还包括：如果聚合相机运动流超过第三阈值，则不执行确定第一ROI运动流、确定第二帧率、以及以第二帧率捕获第三帧或以第二帧率回放第四帧；并且执行由图像传感器单元以第一帧率捕获第十一帧或由触摸屏单元以第一帧率回放第十二帧，其中，使用第一相机运动流确定聚合相机运动流。
根据结合本公开的第一方面的实施例，该方法还包括消除第二帧中的闪烁。
在本公开的第二方面，一种方法包括：在触摸屏单元上接收调用视频模式的指示，其中，接收指示使得自动执行以下操作：以第一帧率获得第一帧和第二帧；确定第一帧和第二帧的第一相机运动流；基于第一帧和第二帧是否包括被分类为在预定场景集中的至少一个运动对象，确定比较基准；以及如果第一运动流与比较基准的第一比较结果为正，则基于使用第一运动流和第一相机运动流确定的第一比较值确定第二帧率，其中，第一运动流与上述至少一个运动对象相关；并且由图像传感器单元以第二帧率捕获第三帧，其中，第二帧率高于第一帧率，或者，在触摸屏单元上以第二帧率回放第四帧，其中，第二帧率低于第一帧率；如果第一运动流与比较基准的第一比较结果为负，则由图像传感器单元以第一帧率捕获第五帧或在触摸屏单元上以第一帧率回放第六帧。
根据结合本公开的第二方面的实施例，确定比较基准包括：分割上述至少一个运动对象；确定分割的上述至少一个运动对象是否在预定场景集中的概率；以及基于概率设置比较基准。
根据结合本公开的第二方面的实施例，如下生成第一运动流与比较基准的第一比较结果：比较聚合运动流与比较基准，其中，使用第一运动流确定聚合运动流，并且比较基准为第一阈值。
根据结合本公开的第二方面的实施例，如果第一运动流与比较基准的第一比较结果为正且第一运动流与第一相机运动流的第二比较结果为正，则执行确定第二帧率以及以第二帧率捕获第三帧或以第二帧率回放第四帧；以及如果第一运动流与比较基准的第一比较结果为负和/或第一运动流与第一相机运动流的第二比较结果为负，则执行以第一帧率捕获第五帧或以第一帧率回放第六帧。
根据结合本公开的第二方面的实施例，该方法还包括：确定上述至少一个运动对象是否被分类为在预定场景集中；以及如果上述至少一个运动对象被分类为在预定场景集中，则执行确定比较基准；如果上述至少一个运动对象未被分类为在预定场景集中，则不执行确定比较基准，并且执行由图像传感器单元以第一帧率捕获第五帧或在触摸屏单元上以第一帧率回放第六帧。
根据结合本公开的第二方面的实施例，确定上述至少一个运动对象是否被分类为在预定场景集中包括：分割上述至少一个运动对象；确定分割的上述至少一个运动对象是否在预定场景集中的概率；如果概率超过第二阈值，则执行确定比较基准；如果概率未超过第二阈值，则不执行确定比较基准，并且执行由图像传感器单元以第一帧率捕获第五帧或在触摸屏单元上以第一帧率回放第六帧；以及确定比较基准包括：基于概率设置比较基准。
根据结合本公开的第二方面的实施例，如下确定第一比较值：获得平均运动流与平均相机运动流的比率，其中，第一比较值为该比率，使用第一运动流确定平均运动流，使用第一相机运动流确定平均相机运动流。
根据结合本公开的第二方面的实施例，确定第二帧率还基于上述至少一个运动对象的深度。
根据结合本公开的第二方面的实施例，该方法还包括：基于用户对第一帧的第一选择在第一帧中定义第一ROI；以及基于第一ROI在第二帧中定义第二ROI；其中，第一相机运动流在包括第一帧的部分的第一区域与第二帧的相应部分之间，第一帧的上述部分互补于与第二ROI共址的区域；以及其中，第一运动流在第一ROI与第二ROI的相应部分之间。
根据结合本公开的第二方面的实施例，该方法还包括：接收用户在触摸屏单元上的触摸位置，其中，该触摸位置为用户对第一帧的第一选择。
根据结合本公开的第二方面的实施例，该方法还包括：在触摸屏单元上指示第一ROI。
根据结合本公开的第二方面的实施例，第一ROI仅界定第一帧中的一个对象，其中，上述至少一个运动对象为该对象。
根据结合本公开的第二方面的实施例，对于以第二帧率捕获第三帧，该方法还包括：在触摸屏单元上指示以第二帧率捕获第三帧。
根据结合本公开的第二方面的实施例，如果聚合相机运动流超过第三阈值，则不执行确定比较基准，并且执行由图像传感器单元以第一帧率捕获第五帧或在触摸屏单元上以第一帧率回放第六帧，其中，使用第一相机运动流确定聚合相机运动流。
根据结合本公开的第二方面的实施例，该方法还包括：消除第二帧中的闪烁，其中，第二帧在时间上晚于第一帧。
在本公开的第三方面，提供了一种非暂时性计算机可读介质，其上存储指令。当处理器执行指令时，处理器用于执行操作，上述操作包括：向图像传感器单元发送第一帧率，其中，在发送第一帧率之后，自动执行以下操作：使得以第一帧率获得第一帧和第二帧；基于用户对第一帧的第一选择在第一帧中定义第一ROI；基于第一ROI在第二帧中定义第二ROI；确定包括第一帧的部分的第一区域与第二帧的相应部分之间的第一相机运动流，第一帧的上述部分互补于与第二ROI共址的区域；确定第一ROI与第二ROI的相应部分之间的第一ROI运动流；基于使用第一ROI运动流和第一相机运动流确定的第一比较值确定第二帧率；以及使得由图像传感器单元以第二帧率捕获第三帧，其中，第二帧率高于第一帧率，或者，使得在触摸屏单元上以第二帧率回放第四帧，其中，第二帧率低于第一帧率。
根据结合本公开的第三方面的实施例，上述操作还包括：接收用户在触摸屏单元上的触摸位置，其中，该触摸位置为用户对第一帧的第一选择。
根据结合本公开的第三方面的实施例，上述操作还包括：使得在触摸屏单元上指示第一ROI。
根据结合本公开的第三方面的实施例，第一ROI仅界定第一帧中的一个对象。
根据结合本公开的第三方面的实施例，对于使得以第二帧率捕获第三帧率，上述操作还包括：使得在触摸屏单元上指示以第二帧率捕获第三帧。
根据结合本公开的第三方面的实施例，上述操作还包括：基于第一ROI和第二ROI是否包括被分类为在预定场景集中的运动对象，确定比较基准；以及如果第一ROI运动流与比较基准的第一比较结果为正，则执行确定第二帧率以及使得以第二帧率捕获第三帧或使得以第二帧率回放第四帧；如果第一ROI运动流与比较基准的第一比较结果为负，则使得由图像传感器单元以第一帧率捕获第五帧或使得在触摸屏单元上以第一帧率回放第六帧。
根据结合本公开的第三方面的实施例，上述确定比较基准包括：分割运动对象；确定分割的运动对象是否在预定场景集中的概率；以及基于概率设置比较基准。
根据结合本公开的第三方面的实施例，如下生成第一ROI运动流与比较基准的第一比较结果：比较聚合ROI运动流与比较基准，其中，使用ROI运动流确定聚合ROI运动流，并且比较基准为第一阈值。
根据结合本公开的第三方面的实施例，如果第一ROI运动流与比较基准的第一比较结果为正且第一ROI运动流与第一相机运动流的第二比较结果为正，则执行确定第二帧率以及以第二帧率捕获第三帧或以第二帧率回放第四帧；以及如果第一ROI运动流与比较基准的第一比较结果为负和/或第一ROI运动流与第一相机运动流的第二比较结果为负，则执行以第一帧率捕获第五帧或以第一帧率回放第六帧。
根据结合本公开的第三方面的实施例，上述操作还包括：确定运动对象是否被分类为在预定场景集中；以及如果运动对象被分类为在预定场景集中，则执行确定比较基准；如果运动对象未被分类为在预定场景集中，则不执行确定比较基准，并且执行由图像传感器单元以第一帧率捕获第五帧或在触摸屏单元上以第一帧率回放第六帧。
根据结合本公开的第三方面的实施例，确定运动对象是否被分类为在预定场景集中包括：分割运动对象；确定分割的运动对象是否在预定场景集中的概率；其中，如果概率超过第二阈值，则执行确定比较基准；如果概率未超过第二阈值，则不执行确定比较基准，并且执行由图像传感器单元以第一帧率捕获第五帧或在触摸屏单元上以第一帧率回放第六帧；以及确定比较基准包括：基于概率设置比较基准。
根据结合本公开的第三方面的实施例，如下确定第一比较值：获得平均ROI运动流与平均相机运动流的比率，其中，第一比较值为该比率，使用第一ROI运动流确定平均ROI运动流，使用第一相机运动流确定平均相机运动流。
根据结合本公开的第三方面的实施例，确定第二帧率还基于第一ROI的深度。
根据结合本公开的第三方面的实施例，上述操作还包括：以第二帧率获得多个帧；基于用户对上述多个帧中的一个帧的第二选择和/或第二帧中的第二ROI，相应地在上述多个帧中定义多个ROI，其中，第七帧是上述多个帧中的倒数第二帧，第三ROI是上述多个ROI中的倒数第二ROI，第八帧是上述多个帧中的倒数第一帧，第四ROI是上述多个ROI中的倒数第一ROI；确定包括第七帧的部分的第三区域与第八帧的相应部分之间的第二相机运动流，第七帧的上述部分互补于与第四ROI共址的区域；确定第三ROI与第四ROI的相应部分之间的第二ROI运动流；基于使用第二ROI运动流和第二相机运动流确定的第二比较值确定第三帧率；使得由图像传感器单元以第三帧率捕获第九帧，其中，第三帧率低于第二帧率，或者，使得在触摸屏单元上以第三帧率回放第十帧，其中，第三帧率高于第二帧率。
根据结合本公开的第三方面的实施例，上述操作还包括：如果聚合相机运动流超过第三阈值，则不执行确定第一ROI运动流、确定第二帧率、以及使得以第二帧率捕获第三帧或使得以第二帧率回放第四帧；并且执行使得由图像传感器单元以第一帧率捕获第十一帧或使得由触摸屏单元以第一帧率回放第十二帧，其中，使用第一相机运动流确定聚合相机运动流。
根据结合本公开的第三方面的实施例，上述操作还包括：消除第二帧中的闪烁。
附图说明
为了更清楚地说明本公开的实施例或相关技术，简单地介绍实施例中将描述的以下附图。显而易见，这些附图仅是本公开的一些实施例，本领域普通技术人员可以在不付出创造性劳动性的情况下根据这些附图获得其他附图。
图1是示出根据本公开的实施例的自动切换视频捕获帧率的相机系统的框图。
图2是示出根据本公开的实施例的相机系统中的触摸屏单元的操作的流程图。
图3是示出根据本公开的实施例的基于用户在触摸屏单元上的选择定义感兴趣区域(ROI)的图。
图4是示出根据本公开的实施例的在触摸屏单元上显示具有处于慢动作模式的指示的预览的图。
图5是示出根据本公开的实施例的相机系统中的视频模式UI单元、图像信号处理单元、ROI选择单元、快速运动对象检测单元、预览单元、以及数据记录单元的操作的流程图。
图6是示出根据本公开的实施例的相机系统中的图像传感器单元的操作的流程图。
图7是示出根据本公开的实施例的ROI选择的流程图。
图8是示出根据本公开的实施例的快速运动对象检测的流程图。
图9是示出根据本公开的实施例的快速运动对象检测的ROI运动流确定的流程图。
图10是示出根据本公开的实施例的快速运动对象检测的场景识别的流程图。
图11是示出根据本公开的实施例的切换视频回放帧率的方法的流程图。
图12是示出根据本公开的另一实施例的切换视频回放帧率的方法的流程图。
图13是根据本公开的另一实施例的自动切换视频捕获帧率或视频回放帧率的相机系统。
具体实施方式
以下结合附图在技术问题、结构特征、实现的目的、以及效果方面详细描述本公开的实施例。特别地，本公开的实施例中的术语仅用于描述特定实施例的目的，并不限制本发明。
如本文中所使用的，术语“使用”是指直接使用对象来执行操作的情况，或是指通过至少一次干预操作来修改对象并直接使用修改的对象来执行操作的情况。
图1是示出根据本公开的实施例的自动切换视频捕获帧率的相机系统100的框图。参考图1，相机系统100包括触摸屏单元102、视频模式用户界面(user interface，UI)单元104、图像传感器单元106、图像信号处理单元108、感兴趣区域(region of interest，ROI)选择单元110、快速运动对象检测单元(fast moving object detecting unit，也称“快速移动对象检测单元”)112、预览单元114、数据记录单元116、以及数据存储单元118。在图1中，每个实线箭头表示相应单元之间的直接连接，每个虚线箭头表示相应单元之间的连接中可以存在或不存在至少一个中间单元。
在实施例中，相机系统100可以是集成了触摸屏单元102和图像传感器单元106的系统，例如移动电话、数码相机(digital still camera，DSC)、数字单镜头反光照相机(digital single-lens reflex cameraDSLR)、便携式摄像机、或具有由触摸屏单元102远程控制的图像传感器单元106的系统，例如无人机或监视器。
在实施例中，触摸屏单元102使用户能够与触摸屏单元102上显示的内容直接交互。例如，当用户触摸触摸屏单元102以选择触摸屏单元102上显示的帧中的对象时，可以生成触摸位置。可以使用例如电阻传感、电容传感、声表面波传感、红外传感、光学传感、或应变仪传感生成触摸位置。在实施例中，视频模式UI单元104提供视频模式的UI。该UI可以用于用户调用视频模式并用作触摸屏单元102和图像传感器单元106之间的接口，并且可以用于用户选择帧中的对象并用作触摸屏单元102和ROI选择单元110之间的接口。
在实施例中，图像传感器单元106可以从场景获得光信息并捕获该场景的原始帧。图像传感器单元106包括由各个图像传感器元件组成的二维阵列，这些图像传感器元件例如是互补金属氧化物半导体(complementary metal-oxide semiconductor，CMOS)传感器元件或其他传感器元件。原始帧可以由图像传感器元件阵列产生的像素值阵列表征。
在实施例中，图像信号处理单元108处理从图像传感器单元106接收的原始帧，并生成随后可以在触摸屏单元102上显示的帧。在图1中的实施例中，首先由图像信号处理单元108处理原始帧，然后由ROI选择单元110和快速运动对象检测单元112处理由图像信号处理单元108生成的帧。或者，可以首先由ROI选择单元110和快速运动对象检测单元112处理原始帧，然后由图像信号处理单元108处理原始帧。在图1的实施例中，ROI选择单元110可以从视频模式UI单元104接收用户的选择，并且可以从图像信号处理单元108接收帧并且在帧中定义ROI。快速运动对象检测单元112可以根据是否在帧中定义了ROI，对帧执行相应的快速运动对象检测以确定是否进入慢动作模式，如果确定进入慢动作模式，则使图像传感器单元106切换到新帧率。
在实施例中，预览单元114使得显示具有处于慢动作模式的指示的帧预览。在实施例中，数据记录单元116使基于帧的数据被写入数据存储单元118，因此过后可以回放视频。在实施例中，数据存储单元118可以包括任何易失性或非易失性存储器或存储设备，例如电可擦除可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、或FLASH存储器、或例如磁性数据存储单元或光学数据存储单元。
相机系统100中包括的单元可以通过硬件、固件、和/或软件的任何适合组合来实现。例如，视频模式UI单元104、图像信号处理单元108、ROI选择单元110、快速运动对象检测单元112、预览单元114、以及数据记录单元116可以是由应用处理器(applicationprocessor，AP)执行的软件。对于另一示例，图像信号处理单元108、ROI选择单元110、以及快速运动对象检测单元112可以是与图像传感器单元106集成的硬件，例如堆叠传感器中的片上实现的硬件。视频模式UI单元104、预览单元114、以及数据记录单元116可以是由AP执行的软件。
图2是示出根据本公开的实施例的相机系统100中的触摸屏单元102的操作200的流程图。图3是示出根据本公开的实施例的基于用户在触摸屏单元102上的选择定义ROI的图。图4是示出根据本公开的实施例的在触摸屏单元102上显示具有处于慢动作模式的指示的预览的图。图5是示出根据本公开的实施例的相机系统100中的视频模式UI单元104、图像信号处理单元108、ROI选择单元110、快速运动对象检测单元112、预览单元114、以及数据记录单元116的操作500的流程图。图6是示出根据本公开的实施例的相机系统100中的图像传感器单元106的操作600的流程图。
参考图1和图2，在操作S202，触摸屏单元102从用户接收调用视频模式的指示。参考图3，在实施例中，通过按压触摸屏单元302上的视频模式按钮304来完成调用视频模式的指示。调用视频模式的指示使相机系统100如下所述自动切换到慢动作模式。因此，视频模式按钮没有慢动作模式按钮。操作S202使得执行图5中的操作S502。参考图1和图5，在操作S502，视频模式UI单元104向图像传感器单元106发送起始帧率。起始帧率是视频模式的普通帧率。在实施例中，普通帧率可以是30帧每秒(frame per second，fps)或60fps。操作S502使得执行图6中的操作S602。参考图1和图6，在操作S602，图像传感器单元106以起始帧率捕获原始参考帧和原始下一帧。在实施例中，原始参考帧和原始下一帧的每个像素具有指示红色、绿色、蓝色之一的原始强度的像素值。原始参考帧和原始下一帧的每个四像素块具有相应的红色、绿色、绿色、蓝色。操作S602使得执行图5中的操作S504。参考图1和图5，在操作S504，图像信号处理单元108对原始参考帧执行信号处理以获得参考帧。在实施例中，图像信号处理单元108对原始参考帧执行去马赛克，使得去马赛克帧的每个像素具有红色像素值、绿色像素值、蓝色像素值，然后对去马赛克帧执行色彩空间转换，使得色彩空间转换帧的每个像素具有一个亮度像素值和两个色度像素值。获得的参考帧基于色彩空间转换帧。此外，在操作S504，快速运动对象检测单元112将参考帧存储在缓冲器中，并将快速运动标记初始化为假。在操作S506，图像信号处理单元108对原始下一帧执行信号处理以获得下一帧。在实施例中，类似于操作S504，执行去马赛克和色彩空间转换以获得下一帧。
参考图1、图2、图5，在操作S508，ROI选择单元110确定是否接收到用户的选择。当在操作S204，触摸屏单元102接收到用户的触摸位置作为用户的选择时，ROI选择单元110沿“是”分支进行到操作S509。当触摸屏单元102未接收到用户的触摸位置作为用户的选择时，ROI选择单元110沿“否”分支进行到操作S510。参考图3，对于操作S204，在实施例中，触摸屏单元302接收到用户306的触摸位置308作为用户对狗的选择。在操作S509，ROI选择单元110和视频模式UI单元104基于用户的选择设置第一ROI。操作S509使得执行图2中的操作S206。在操作S206，触摸屏单元102指示第一ROI。参考图3，在实施例中，触摸屏单元302通过示出围绕狗的边界框310来指示第一ROI。或者，可以通过示出具有不同形状(例如圆形、椭圆形、三角形、或方框)并且具有不同大小(例如围绕狗的一部分或仅在狗的一部分内延伸的大小)的标签来实现对第一ROI的指示。
参考图1和图5，在操作S510，ROI选择单元110确定是否在参考帧中定义了第一ROI。如果在参考帧中定义了第一ROI，则执行操作S511。如果未在参考帧中定义第一ROI，则执行操作S512。在操作S511，ROI选择单元110基于第一ROI在下一帧中定义第二ROI。在实施例中，第二ROI是包括与第一ROI共址的区域及该区域的邻域的扩大的区域。在实施例中，可以与运动估计的搜索范围类似地来定义扩大的区域。
参考图1和图5，在操作S512，快速运动对象检测单元112执行快速运动对象检测以确定是否进入慢动作模式。在操作S514，快速运动对象检测单元112确定快速运动标记是否为真。如果快速运动标记为真，则快速运动对象检测单元112进行到操作S516，如果快速运动标记为假，则快速运动对象检测单元112进行到操作S524。在操作S516，快速运动对象检测单元112确定新帧率是否不同。如果新帧率不同，则快速运动对象检测单元112进行到操作S518，如果新帧率并没有不同，则快速运动对象检测单元112进行到操作S524。在操作S518，快速运动对象检测单元112发出切换命令，以为新帧率切换到不同帧率。操作S518使得执行图6中的操作S604，并因此采用分支608。参考图1和图6，在操作S604，图像传感器单元106为新帧率切换到不同帧率。参考图1、图5、图6，当在操作S516中确定新帧率并没有不同并因此不执行操作S518时，采用分支610。
参考图1和图5，在操作S520，基于快速运动标记为真，预览单元114使得显示具有处于慢动作模式的指示的预览。操作S520使得执行图2中的操作S208。参考图1和图2，在操作S208，触摸屏单元102显示具有处于慢动作模式的指示的预览。参考图4，在实施例中，触摸屏单元402显示预览，该预览示出正在捕获的内容。可以通过示出闪烁帧率404来实现对处于慢动作模式的指示。闪烁帧率404的数值可以与操作S518中的新帧率相同。参考图1和图5，在操作S522，数据记录单元116使得基于更新的参考帧的数据被存储至数据存储单元118中。下面将参考图8中的操作S826描述更新的参考帧。在实施例中，数据记录单元116使得缓冲器中的更新的参考帧被编码并存储至数据存储单元118中。可以根据诸如MPEG-2、MPEG-3、MPEG-4、H.263、或H.264之类的编码标准对更新的参考帧进行编码。
参考图1和图5，在操作S524，视频模式UI单元104确定是否接收到停止视频模式的指示。当在操作S210，触摸屏单元102从用户接收到停止视频模式的指示时，视频模式UI单元104沿“是”分支进行并停止视频模式。当触摸屏单元102未接收到停止视频模式的指示时，视频模式UI单元104沿“否”分支进行并准备环回操作S506。参考图1和图6，在操作S606，图像传感器单元106以新帧率捕获原始下一帧。操作S606使得图5中的操作S506在视频模式UI单元104环回之后被执行。
在实施例中，由于在图5的操作500的每次迭代中仅处理两个帧(即参考帧和下一帧)，并且在每次迭代中执行确定是否进入慢动作模式及相应的新帧率，因此新帧率可以对应于例如检测到的快速运动对象的运动速度。也就是说，当快速运动对象运动得较快时，新帧率可以确定得较高，而当快速运动对象运动得较慢时，新帧率可以确定得较低。
图7是示出根据本公开的实施例的ROI选择(即图5中的操作S509)的流程图。图5中的操作S509包括以下操作。参考图1和图7，在操作S702，ROI选择单元110基于用户对参考帧的选择在参考帧中定义第一ROI。在实施例中，第一ROI是使用诸如“选择性搜索(selectivesearch)”、“边框(edgebox)”、或“区域建议网络(region proposal network)”之类的区域建议方法(regionproposalmethod)定义的边界框。在实施例中，边界框可以仅界定用户选择的一个对象，例如图3中的狗。在实施例中，边界框可以界定整个对象。在另一实施例中，第一ROI是对象的中心位置。在操作S704，视频模式UI单元104使得在触摸屏单元102上指示第一ROI。如关于图5中的操作S510所述，操作S704使得执行图2中的操作S206。
图8是示出根据本公开的实施例的快速运动对象检测(即图5中的操作S512)的流程图。图5中的操作S512包括以下操作。参考图8，在操作S802，检测下一帧中是否存在闪烁，如果存在闪烁，则消除下一帧中的闪烁。闪烁是由非恒定光强度条件(例如荧光灯照明)引起的。闪烁可能会影响运动流确定的结果和场景识别的结果，因此需要将闪烁消除。
参考图8，在操作S804，确定是否设置了第一ROI。如果设置了第一ROI，则执行操作S806。如果未设置第一ROI，则执行操作S808。在操作S806，确定包括参考帧的部分的第一区域与下一帧的相应部分之间的相机运动流，参考帧的该部分互补于与第二ROI共址的区域。在操作S808，确定参考帧的整个区域与下一帧的整个区域之间的相机运动流。相机运动流描述了全局运动，例如相机的左右平移、上下倾斜、和/或各种其他效果(例如放大和缩小)。
在实施例中，使用全局运动模型计算像素值差来确定相机运动流。对于操作S806，使用参考帧的第一区域与下一帧的相应部分之间的相机运动流的一小部分来确定全局运动模型的参数。然后，使用全局运动模型确定参考帧的第一区域与下一帧的相应部分之间的相机运动流的其他部分。相机运动流是一组像素值差，每个像素值差是第一区域中的像素和下一帧中共址的像素之间的像素值差。在实施例中，参考帧的第一区域是参考帧的除与第二ROI共址的区域之外的部分，下一帧的相应部分是下一帧的与第一区域共址的部分。或者，参考帧的第一区域是参考帧的除第一ROI之外的部分，下一帧的相应部分是下一帧的与第一区域共址的部分。对于操作S808，使用参考帧的整个区域与下一帧的整个区域之间的相机运动流的一小部分来确定全局运动模型的参数。然后，使用全局运动模型确定参考帧的整个区域和下一帧的整个区域之间的相机运动流的其他部分。相机运动流是一组像素值差，每个像素值差是参考帧中的像素与下一帧中共址的像素之间的像素值差。在实施例中，每个像素值差是亮度像素值差和/或色度像素值差。
在另一实施例中，使用全局运动模型计算运动向量来确定相机运动流。对于操作S806，使用参考帧的第一区域与下一帧的相应部分之间的相机运动流的一小部分来确定全局运动模型的参数。然后，使用全局运动模型确定参考帧的第一区域与下一帧的相应部分之间的相机运动流的其他部分。相机运动流是一组运动向量，每个运动向量指示第一区域中的像素或块与下一帧中的替代(displaced)像素或块之间的运动(motion)。在实施例中，参考帧的第一区域是参考帧的除与第二ROI共址的区域之外的部分，下一帧的相应部分包括第一区域中的像素或块的替代像素或块。对于操作S808，使用参考帧的整个区域与下一帧的整个区域之间的相机运动流的一小部分来确定全局运动模型的参数。然后，使用全局运动模型确定参考帧的整个区域和下一帧的整个区域之间的相机运动流的其他部分。相机运动流是一组运动向量，每个运动向量指示参考帧中的像素或块与下一帧中的替代像素或块之间的运动。
在另一实施例中，使用全局运动模型计算光流向量来确定相机运动流。对于操作S806，使用参考帧的第一区域与下一帧的相应部分之间的相机运动流的一小部分来确定全局运动模型的参数。然后，使用全局运动模型确定参考帧的第一区域与下一帧的相应部分之间的相机运动流的其他部分。相机运动流是一组光流向量，每个光流向量指示第一区域中的像素或块与下一帧中的替代像素或块之间的运动。在实施例中，参考帧的第一区域是参考帧的除与第二ROI共址的区域之外的部分，下一帧的相应部分包括第一区域中的像素或块的替代像素或块。对于操作S808，使用参考帧的整个区域与下一帧的整个区域之间的相机运动流的一小部分来确定全局运动模型的参数。然后，使用全局运动模型确定参考帧的整个区域和下一帧的整个区域之间的相机运动流的其他部分。相机运动流是一组光流向量，每个光流向量指示参考帧中的像素或块与下一帧中的替代像素或块之间的运动。
参考图8，在操作S810，确定相机运动流是否很大。在实施例中，操作S810包括确定聚合的相机运动流是否超过阈值。在实施例中，对于像素值差方法，可以通过各种差度量(differencemetric)来计算聚合的相机运动流，这些差度量例如是绝对差和(sum ofabsolute difference，SAD)(获取相机运动流(即该组像素值差)的绝对值并求和)、差平方和(sum of squared difference，SSD)(获取相机运动流的平方值并求和)、平均绝对差(mean of absolute difference，MAD)(获取相机运动流的绝对值并求平均值)、以及平均差平方(mean of squared difference，MSD)(获取相机运动流的平方值并求平均值)。在另一实施例中，对于运动向量方法，聚合的相机运动流可以是运动向量强度，其中，获取相机运动流(即该组运动向量)的L2范数并求平均值。在另一实施例中，对于光流方法，聚合的相机运动流可以是光流向量强度，其中，获取相机运动流(即该组光流向量)的L2范数并求平均值。在实施例中，基于图像传感器单元106的分辨率来确定阈值。在实施例中，对于运动向量方法或光流方法，基于用于生成该组运动向量或该组光流向量的块的大小确定或进一步确定阈值。在实施例中，基于在确定相机运动流时涉及的每个像素的使用像素值的完整性确定或进一步确定阈值。例如，可以使用完整的亮度像素值和两个色度像素值。或者，可以使用不完整的像素值，例如仅使用亮度像素值。
参考图8，如果相机运动流量很大，则执行操作S826，如果相机运动流量不是很大，则执行操作S812。在操作S812，确定是否设置了第一ROI。如果设置了第一ROI，则执行操作S814。如果未设置第一ROI，则执行操作S816。在操作S814，将ROI运动流确定为第一运动流。在操作S816，将帧运动流确定为第一运动流。下面将参考图9进一步描述操作S814。
帧运动描述局部运动，例如，图1中的图像传感器单元106的视场中所有对象的运动。对于操作S816，在实施例中，使用局部运动模型计算像素值差来确定帧运动流。使用参考帧的整个区域与下一帧的整个区域之间的帧运动流的一小部分来确定局部运动模型的参数。然后，使用局部运动模型确定参考帧的整个区域与下一帧的整个区域之间的帧运动流的其他部分。帧运动流是一组像素值差，每个像素值差是参考帧中的像素与下一帧中共址的像素之间的像素值差。在实施例中，每个像素值差是亮度像素值差和/或色度像素值差。在另一实施例中，使用局部运动模型计算运动向量来确定帧运动流。使用参考帧的整个区域与下一帧的整个区域之间的帧运动流的一小部分来确定局部运动模型的参数。然后，使用局部运动模型确定参考帧的整个区域与下一帧的整个区域之间的帧运动流的其他部分。帧运动流是一组运动向量，每个运动向量指示参考帧中的像素或块与下一帧中的替代像素或块之间的运动。在另一实施例中，使用局部运动模型计算光流向量来确定帧运动流。使用参考帧的整个区域与下一帧的整个区域之间的帧运动流的一小部分来确定局部运动模型的参数。然后，使用局部运动模型确定参考帧的整个区域与下一帧的整个区域之间的帧运动流的其他部分。帧运动流是一组光流向量，每个光流向量指示参考帧中的像素或块与下一帧中的替代像素或块之间的运动。
参考图8，在操作S817，确定参考帧和下一帧是否包括被分类为在预定场景集中的至少一个运动对象。如果上述至少一个运动对象被分类为在预定场景集中，则执行操作S818。如果上述至少一个运动对象未被分类为在预定场景集中，则执行操作S826。下面将参考图10进一步描述操作S817。在操作S818，基于上述至少一个运动对象是否被分类为在预定场景集中来确定比较基准。下面将参考图10进一步描述操作S818。
在操作S820，生成第一运动流与比较基准的第一比较结果。在实施例中，通过比较聚合的运动流与比较基准来生成第一比较结果，其中，比较基准为阈值。在实施例中，可以与操作S810提及的聚合的相机运动流类似地计算聚合的运动流。此外，在操作S820，进一步生成第一运动流与相机运动流的第二比较结果。在实施例中，通过比较平均运动流与平均相机运动流来生成第二比较结果。平均运动流可以与聚合运动流相同或不同。平均相机运动流可以与操作S810提及的聚合的相机运动流相同或不同。在实施例中，可以使用操作S810提及的平均差度量、运动向量强度方法、或光流强度方法来计算平均运动流和平均相机运动流。如果第一比较结果为正(例如，聚合运动流大于比较基准)，并且第二比较结果为正(例如，平均运动流远大于平均相机运动流，例如，平均运动流是平均相机运动流的2倍或3倍)，则执行操作S822。如果第一比较结果为负和/或第二比较结果为负(例如，聚合的运动流小于比较基准和/或平均运动流远小于平均相机运动流，例如，平均运动流是平均相机运动流的二分之一或三分之一)，则执行操作S826。
参考图8，在操作S822，将快速运动标记设置为真。在操作S824，基于使用第一运动流和相机运动流确定的比较值来确定新帧率。在实施例中，比较值为平均运动流与平均相机运动流的比率。已参考操作S820描述了平均运动流和平均相机运动流。在实施例中，新帧率和比较值之间的关系由查找表定义。例如，比率1：1映射到60fps，比率2：1映射到120fps，等等。在另一实施例中，还基于上述至少一个运动对象(movingobject)的深度来确定新帧率。对于不同的深度，新帧率和比较值之间的对应关系由不同的查找表定义。在操作S826，将下一帧作为参考帧存储在缓冲器中。因此，操作S826之前的下一帧中的细化的第二ROI在操作S826之后成为参考帧中的第一ROI。
图9是示出根据本公开的实施例的快速运动对象检测的ROI运动流确定(即操作S814)的流程图。图8中的操作S814包括以下操作。参考图9，在操作S902，确定第一ROI与第二ROI的相应部分之间的ROI运动流。ROI运动流描述了局部运动，例如所选对象的运动。在实施例中，使用局部运动模型计算像素值差来确定ROI运动流。使用参考帧的第一ROI与下一帧的第二ROI的相应部分之间的ROI运动流的一小部分来确定局部运动模型的参数。然后，使用局部运动模型确定第一ROI与第二ROI的相应部分之间的ROI运动流的其他部分。ROI运动流是一组像素值差，每个像素值差是第一ROI中的像素与第二ROI中共址的像素之间的像素值差。第二ROI的相应部分是第二ROI的与第一ROI共址的部分。在另一实施例中，使用局部运动模型计算运动向量来确定ROI运动流。使用参考帧的第一ROI与下一帧的第二ROI的相应部分之间的ROI运动流的一小部分来确定局部运动模型的参数。然后，使用局部运动模型确定第一ROI与第二ROI的相应部分之间的ROI运动流的其他部分。ROI运动流是一组运动向量，每个运动向量指示第一ROI中的像素或块与第二ROI中的替代像素或块之间的运动。第二ROI的相应部分包括第一ROI中的像素或块的替代像素或块。在另一实施例中，使用局部运动模型计算光流向量来确定ROI运动流。使用参考帧的第一ROI与下一帧的第二ROI的相应部分之间的ROI运动流的一小部分来确定局部运动模型的参数。然后，使用局部运动模型确定第一ROI与第二ROI的相应部分之间的ROI运动流的其他部分。ROI运动流是一组光流向量，每个光流向量指示第一ROI中的像素或块与第二ROI中的替代像素或块之间的运动。第二ROI的相应部分包括第一ROI中的像素或块的替代像素或块。
参考图9，在操作S904，细化第二ROI。在实施例中，在操作S902，使用ROI运动流将操作S511中的扩大的区域细化为如下区域：该区域界定第二ROI的与第一ROI对应的部分。在另一实施例中，将操作S511中的扩大的区域细化为对应于第一ROI的区域，其中，在例如计算相对于第一ROI替代上述区域的运动向量时，将第一ROI作为计算单位。
图10是示出根据本公开的实施例的快速运动对象检测的场景识别(即操作S817)的流程图。参考图10，在操作S1002，确定是否设置了第一ROI。如果设置了第一ROI，则执行操作S1004。如果未设置第一ROI，则执行操作S1014。在操作S1004，对第一ROI和细化的第二ROI执行特征提取。在实施例中，提取时空特征。可以基于ROI运动流来确定时空特征。在实施例中，时空特征可以是基于形状和运动的浅层特征。在另一实施例中，时空特征可以是由至少一个2D卷积神经网络(convolutional neural network，CNN)确定的深层特征，该2D卷积神经网络将基于ROI运动流的特征作为输入。在另一实施例中，时空特征可以是由至少一个3D CNN确定的深层特征。
参考图10，在操作S1006，分割一个运动对象，其中，第一ROI和第二ROI包括该运动对象。在实施例中，首先使用时空特征生成前景后景分割结果，然后使用后景模型来细化前景后景分割结果。然后，使用细化的前景后景分割结果细化ROI运动流。在前景后景分割结果和细化的前景后景分割结果中，参考帧和下一帧中的每个像素或块被分类为前景像素或块，或者被分类为后景像素或块。细化的前景后景分割结果中的前景像素形成分割的运动对象。在实施例中，后景模型包括改变与帧率确定无关的后景，例如摇曳的树。在实施例中，对于浅层特征，可以使用聚类来生成前景后景分割结果和细化的前景后景分割结果。在实施例中，对于由至少一个2D CNN确定的深层特征，可以使用至少一个2D CNN来生成前景后景分割结果和细化的前景后景分割结果。在实施例中，对于由至少一个3D CNN确定的深层特征，可以使用至少一个3D CNN来生成前景后景分割结果和细化的前景后景分割结果。
参考图10，在操作S1008，确定分割的运动对象是否可以被分类为在预定场景集中。如果分割的运动对象可以被分类为在预定场景集中，则执行操作S818。如果分割的运动对象不能被分类为在预定场景集中，则执行操作S826。在实施例中，预定场景集可以是被训练用以识别对象和由对象执行的至少一个动作的至少一个模型，其中，上述对象和至少一个动作通常是参考图1描述的相机系统100的用户遇到的。例如，当相机系统100是移动电话时，对象和由对象执行的至少一个动作可以是宠物跑步或游泳、婴儿走路、儿童跑步跳跃或跳舞、飞球。在实施例中，操作S1008包括确定分割的运动对象是否在预定场景集中的概率。如果概率超过阈值，则执行操作S818。如果概率未超过阈值，则执行操作S826。在实施例中，通过对分割的运动对象进行分类来确定概率，并且如果可以识别出分割的对象，则对细化的ROI运动流进行分类，以确定细化的ROI运动流是否对应于与识别出的对象相关的一些动作选项之一。取决于上述至少一个模型的精度，可以较精确地对动作进行区分以生成较多的动作选项，或者可以不太精确地对动作进行区分以生成较少的动作选项。例如，当上述至少一个模型较精确(例如将人体划分为较多部分)时，可以区分儿童跳跃与儿童跳舞。因此，当将分割的运动对象被分类为儿童时，动作选项为跑步、跳跃、以及跳舞。当上述至少一个模型不太精确(例如将人体划分为较少部分)时，可能无法区分儿童跳跃与儿童跳舞。因此，当将分割的运动对象被分类为儿童时，动作选项为跑步、跳跃、或跳舞。在实施例中，对于浅层特征，可以由线性分类器确定概率。在另一实施例中，对于由至少一个2D CNN确定的深层特征，可以使用至少一个2D CNN来确定概率。在另一实施例中，对于由至少一个3D CNN确定的深层特征，可以使用至少一个3D CNN来确定概率。
参考图10，在操作S1014，对参考帧和下一帧执行特征提取。除了对整个参考帧和整个下一帧执行特征提取之外，操作S1014类似于操作S1004。在操作S1016，分割至少一个运动对象，其中，上述至少一个运动对象是参考帧和下一帧中的所有运动对象。除了对整个参考帧和整个下一帧执行分割之外，操作S1016类似于操作S1006。在操作S1018，确定分割的至少一个运动对象是否可以被分类为在预定场景集中。除了对整个参考帧和整个下一帧执行分类之外，操作S1018类似于操作S1008。
参考图10，在实施例中，操作S818包括基于概率设置比较基准，其中，该概率可以是操作S1008中确定的概率或者是操作S1018中确定的概率。在另一实施例中，不执行图8中的操作S817，并且除了对于操作S1008、S1018中的每个操作，相应的概率不用于形成相应的条件而是直接用于设置相应的比较基准之外，操作S818包括类似于操作S1002、S1004、S1006、S1008、S1014、S1016、S1018的操作。
图11是示出根据本公开的实施例的切换视频回放帧率的方法的流程图。参考图11，在操作S1102，在触摸屏单元上接收调用视频模式的指示。在操作S1104，以第一帧率获得第一帧和第二帧。在操作S1106，基于用户对第一帧的第一选择在第一帧中定义第一ROI。在操作S1108，基于第一ROI在第二帧中定义第二ROI。在操作S1110，确定包括第一帧的部分的第一区域与第二帧的相应部分之间的第一相机运动流，第一帧的该部分互补于与第二ROI共址的区域。在操作S1112，确定第一ROI与第二ROI的相应部分之间的第一ROI运动流。在操作S1114，基于使用第一ROI运动流和第一相机运动流确定的第一比较值确定第二帧率。在操作S1116，在触摸屏单元上以第二帧率回放第三帧，其中，第二帧率慢于第一帧率。参考图1至图10描述的相机系统和切换视频捕获帧率的方法可以适于实现本实施例中的切换视频回放帧率的方法。
图12是示出根据本公开的另一实施例的切换视频回放帧率的方法的流程图。参考图12，在操作S1202，在触摸屏上接收调用视频模式的指示。在操作S1204，以第一帧率获得第一帧和第二帧。在操作S1206，确定第一帧和第二帧的第一相机运动流。在操作S1208，基于第一帧和第二帧是否包括被分类为在预定场景集中的至少一个运动对象，确定比较基准。在操作S1210，确定第一运动流与比较的第一比较结果是否为正。第一运动流与上述至少一个运动对象相关。如果第一比较结果为正，则执行操作S1212。如果第一比较结果为负，则执行操作S1216。在操作S1212，基于使用第一运动流和第一相机运动流确定的第一比较值确定第二帧率。在操作S1214，在触摸屏上以第二帧率回放第三帧，其中第二帧率低于第一帧率。在操作S1216，在触摸屏上以第一帧率回放第四帧。参考图1至图10描述的相机系统和切换视频捕获帧率的方法可以适于实现本实施例中的切换视频回放帧率的方法。
图13是根据本公开的实施例的自动切换视频捕获帧率或视频回放帧率的相机系统1300。参考图13，相机系统1300包括触摸屏单元1302、图像传感器单元1304、处理器单元1306、存储器单元1308、以及数据存储单元1310。参考图1和图13，在实施例中，相机系统1300可以是通过软件实现视频模式UI单元104、图像信号处理单元108、ROI选择单元110、快速运动对象检测单元112、预览单元114、以及数据记录单元116的任何相机系统100。触摸屏单元1302可以类似于参考图1描述的触摸屏单元102。图像传感器单元1304可以类似于参考图1描述的图像传感器单元106。数据存储单元1310可以类似于参考图1描述的数据存储单元118。存储器单元1308可以是存储处理器单元1306可执行的指令的非暂时性计算机可读介质。在实施例中，当处理器单元1306执行指令时，处理器单元1306执行参考图5、图7、图8、图9、图10描述的操作、参考图11描述的操作、或参考图12描述的操作。处理器单元1306可以经由总线1312向和/或从触摸屏单元1302、图像传感器单元1304、以及数据存储单元1310发送和/或接收信号。
一些实施例具有以下特征和/或优点之一或这些特征和/或优点的组合。在实施例中，一旦在触摸屏上接收到调用视频模式的指示，就执行自动切换视频捕获帧率或视频回放帧率的操作。通过这种方式，慢动作模式可以与视频模式结合，并且可以无需手动从视频模式切换到慢动作模式，这种手动切换可能会导致错失理想的捕获时机。在实施例中，基于用户的选择定义ROI，并且基于与ROI相关的运动确定视频捕获帧率或视频回放帧率。通过这种方式，可以以慢动作捕获或以慢动作回放与用户更感兴趣的ROI相关的动作。在实施例中，基于帧的ROI或帧的整个区域中的至少一个运动对象是否被分类为在预定场景集中，确定视频捕获帧率或视频回放帧率。通过这种方式，相比于基于用户的判断切换视频捕获帧率或视频回放帧率，确定用户正在经历的场景在预定场景集中可以有利于更早地切换视频捕获帧率或视频回放帧率。在实施例中，在每次迭代中仅处理两个帧以确定视频捕获帧率或视频回放帧率。通过这种方式，视频捕获帧率或视频回放帧率可以对应于上述至少一个运动对象的运动速度。因此，可以优化相机系统的用电。
本领域普通技术人员理解，使用电子硬件或用于计算机和电子硬件的软件的组合来实现本公开的实施例中描述和公开的各个单元、算法、以及步骤。这些功能是通过硬件还是软件运行取决于技术方案的应用条件和设计要求。本领域普通技术人员可以使用不同的方式来实现各个特定应用的功能，这种实现不应超出本公开的范围。
本领域普通技术人员应理解，由于上述实施例中的系统、设备、以及单元的工作过程基本相同，因此可以参考上述系统、设备、以及单元的工作过程。为了描述的方便和简洁，将不详细描述这些工作过程。
应理解，可以用其他方式来实现本公开实施例中公开的系统、设备、以及方法。上述实施例仅是示例性的。单元的划分仅基于逻辑功能，实现时存在其他划分。多个单元或部件可以结合或集成在另一系统中。也可以省略或跳过一些特征。在另一方面，所显示或讨论的相互耦合、直接耦合、或通信耦合通过一些端口、设备、或单元以电气、机械、或其他形式间接或通信地操作。
作为分离部件说明的单元在物理上分离或不分离。用于显示的单元是物理单元或不是物理单元，即，这些单元位于一个位置或分布在多个网络单元上。根据实施例的目的使用一些或全部单元。
此外，各个实施例中的各个功能单元可以集成在一个处理单元中、在物理上独立、或集成在具有两个或两个以上的单元的一个处理单元中。
如果软件功能单元作为产品实现、使用、并出售，则可以将该软件功能单元存储在计算机可读存储介质中。基于这种理解，本公开提出的技术方案本质上可以是或可以部分地以软件产品的形式实现。或者，技术方案对传统技术有益的部分可以以软件产品的形式实现。计算机中的软件产品存储在存储介质中，该存储介质包括用于计算设备(例如个人计算机、服务器、或网络设备)运行由本公开实施例公开的全部或一些步骤的多个命令。该存储介质包括USB盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、软盘、或其他能够存储程序代码的介质。
尽管已经结合视为最实际和优选的实施例描述了本公开，但是应理解，本公开不限于所公开的实施例，而是旨在涵盖在不脱离所附权利要求的最宽泛解释的范围的情况下做出的各种布置。

Claims (47)

1.一种方法，包括：
在触摸屏单元上接收调用视频模式的指示，其中，所述接收所述指示使得自动执行以下操作：
以第一帧率获得第一帧和第二帧；
基于用户对所述第一帧的第一选择在所述第一帧中定义第一感兴趣区域(ROI)；
基于所述第一ROI在所述第二帧中定义第二ROI；
确定包括所述第一帧的部分的第一区域与所述第二帧的相应部分之间的第一相机运动流，所述第一帧的所述部分互补于与所述第二ROI共址的区域；
确定所述第一ROI与所述第二ROI的相应部分之间的第一ROI运动流；
基于使用所述第一ROI运动流和所述第一相机运动流确定的第一比较值确定第二帧率；以及
由图像传感器单元以所述第二帧率捕获第三帧，其中，所述第二帧率高于所述第一帧率，或者，在所述触摸屏单元上以所述第二帧率回放第四帧，其中，所述第二帧率低于所述第一帧率。
2.根据权利要求1所述的方法，还包括：
接收所述用户在触摸屏单元上的触摸位置，其中，所述触摸位置为所述用户对所述第一帧的所述第一选择。
3.根据权利要求1所述的方法，还包括：
在所述触摸屏单元上指示所述第一ROI。
4.根据权利要求1所述的方法，其中，所述第一ROI仅界定所述第一帧中的一个对象。
5.根据权利要求1所述的方法，其中，对于所述以所述第二帧率捕获所述第三帧，所述方法还包括：
在所述触摸屏单元上指示所述以所述第二帧率捕获所述第三帧。
6.根据权利要求1所述的方法，还包括：
基于所述第一ROI和所述第二ROI是否包括被分类为在预定场景集中的运动对象，确定比较基准；以及
如果所述第一ROI运动流与所述比较基准的第一比较结果为正，则执行所述确定所述第二帧率以及所述以所述第二帧率捕获所述第三帧或所述以所述第二帧率回放所述第四帧；
如果所述第一ROI运动流与所述比较基准的所述第一比较结果为负，则由所述图像传感器单元以所述第一帧率捕获第五帧或在所述触摸屏单元上以所述第一帧率回放第六帧。
7.根据权利要求6所述的方法，其中，所述确定所述比较基准包括：
分割所述运动对象；
确定分割的所述运动对象是否在所述预定场景集中的概率；以及
基于所述概率设置所述比较基准。
8.根据权利要求6所述的方法，其中，如下生成所述第一ROI运动流与所述比较基准的所述第一比较结果：
比较聚合ROI运动流与所述比较基准，其中，使用所述ROI运动流确定所述聚合ROI运动流，并且所述比较基准为第一阈值。
9.根据权利要求6所述的方法，其中
如果所述第一ROI运动流与所述比较基准的所述第一比较结果为正且所述第一ROI运动流与所述第一相机运动流的第二比较结果为正，则执行所述确定所述第二帧率以及所述以所述第二帧率捕获所述第三帧或所述以所述第二帧率回放所述第四帧；以及
如果所述第一ROI运动流与所述比较基准的所述第一比较结果为负和/或所述第一ROI运动流与所述第一相机运动流的所述第二比较结果为负，则执行所述以所述第一帧率捕获所述第五帧或所述以所述第一帧率回放所述第六帧。
10.根据权利要求6所述的方法，还包括：
确定所述运动对象是否被分类为在预定场景集中；以及
如果所述运动对象被分类为在所述预定场景集中，则执行所述确定所述比较基准；
如果所述运动对象未被分类为在所述预定场景集中，则不执行所述确定所述比较基准，并且执行所述由所述图像传感器单元以所述第一帧率捕获所述第五帧或所述在所述触摸屏单元上以所述第一帧率回放所述第六帧。
11.根据权利要求10所述的方法，
其中，所述确定所述运动对象是否被分类为在预定场景集中包括：
分割所述运动对象；
确定分割的所述运动对象是否在所述预定场景集中的概率；其中，如果所述概率超过第二阈值，则执行所述确定所述比较基准；如果所述概率未超过所述第二阈值，则不执行所述确定所述比较基准，并且执行所述由所述图像传感器单元以所述第一帧率捕获所述第五帧或所述在所述触摸屏单元上以所述第一帧率回放所述第六帧；以及
其中，所述确定所述比较基准包括：
基于所述概率设置所述比较基准。
12.根据权利要求1所述的方法，其中，如下确定所述第一比较值：
获得平均ROI运动流与平均相机运动流的比率，其中，所述第一比较值为所述比率，使用所述第一ROI运动流确定所述平均ROI运动流，使用所述第一相机运动流确定所述平均相机运动流。
13.根据权利要求1所述的方法，其中，所述确定所述第二帧率还基于所述第一ROI的深度。
14.根据权利要求1所述的方法，还包括：
以所述第二帧率获得多个帧；
基于所述用户对所述多个帧中的一个帧的第二选择和/或所述第二帧中的所述第二ROI，相应地在所述多个帧中定义多个ROI，其中，第七帧是所述多个帧中的倒数第二帧，第三ROI是所述多个ROI中的倒数第二ROI，第八帧是所述多个帧中的倒数第一帧，第四ROI是所述多个ROI中的倒数第一ROI；
确定包括所述第七帧的部分的第三区域与所述第八帧的相应部分之间的第二相机运动流，所述第七帧的所述部分互补于与所述第四ROI共址的区域；
确定所述第三ROI与所述第四ROI的相应部分之间的第二ROI运动流；
基于使用所述第二ROI运动流和所述第二相机运动流确定的第二比较值确定第三帧率；
由所述图像传感器单元以所述第三帧率捕获第九帧，其中，所述第三帧率低于所述第二帧率，或者，在所述触摸屏单元上以所述第三帧率回放第十帧，其中，所述第三帧率高于所述第二帧率。
15.根据权利要求1所述的方法，还包括：
如果聚合相机运动流超过第三阈值，则不执行所述确定所述第一ROI运动流、所述确定第二帧率、以及所述以所述第二帧率捕获所述第三帧或所述以所述第二帧率回放所述第四帧；并且执行由所述图像传感器单元以所述第一帧率捕获第十一帧或由所述触摸屏单元以所述第一帧率回放第十二帧，其中，使用所述第一相机运动流确定所述聚合相机运动流。
16.根据权利要求1所述的方法，还包括：
消除所述第二帧中的闪烁。
17.一种方法，包括：
在触摸屏单元上接收调用视频模式的指示，其中，所述接收所述指示使得自动执行以下操作：
以所述第一帧率获得第一帧和第二帧；
确定所述第一帧和所述第二帧的第一相机运动流；
基于所述第一帧和所述第二帧是否包括被分类为在预定场景集中的至少一个运动对象，确定比较基准；以及
如果第一运动流与所述比较基准的第一比较结果为正，则基于使用所述第一运动流和所述第一相机运动流确定的第一比较值确定第二帧率，其中，所述第一运动流与所述至少一个运动对象相关；并且由图像传感器单元以所述第二帧率捕获第三帧，其中，所述第二帧率高于所述第一帧率，或者，在所述触摸屏单元上以所述第二帧率回放第四帧，其中，所述第二帧率低于所述第一帧率；
如果所述第一运动流与所述比较基准的第一比较结果为负，则由所述图像传感器单元以所述第一帧率捕获第五帧或在所述触摸屏单元上以所述第一帧率回放第六帧。
18.根据权利要求17所述的方法，其中，所述确定所述比较基准包括：
分割所述至少一个运动对象；
确定分割的所述至少一个运动对象是否在所述预定场景集中的概率；以及
基于所述概率设置所述比较基准。
19.根据权利要求17所述的方法，其中，如下生成所述第一运动流与所述比较基准的所述第一比较结果：
比较聚合运动流与所述比较基准，其中，使用所述第一运动流确定所述聚合运动流，并且所述比较基准为第一阈值。
20.根据权利要求17所述的方法，其中
如果所述第一运动流与所述比较基准的所述第一比较结果为正且所述第一运动流与所述第一相机运动流的第二比较结果为正，则执行所述确定所述第二帧率以及所述以所述第二帧率捕获所述第三帧或所述以所述第二帧率回放所述第四帧；以及
如果所述第一运动流与所述比较基准的所述第一比较结果为负和/或所述第一运动流与所述第一相机运动流的所述第二比较结果为负，则执行所述以所述第一帧率捕获所述第五帧或所述以所述第一帧率回放所述第六帧。
21.根据权利要求17所述的方法，还包括：
确定所述至少一个运动对象是否被分类为在预定场景集中；以及
如果所述至少一个运动对象被分类为在所述预定场景集中，则执行所述确定所述比较基准；
如果所述至少一个运动对象未被分类为在所述预定场景集中，则不执行所述确定所述比较基准，并且执行所述由所述图像传感器单元以所述第一帧率捕获所述第五帧或所述在所述触摸屏单元上以所述第一帧率回放所述第六帧。
22.根据权利要求21所述的方法，
其中，所述确定所述至少一个运动对象是否被分类为在预定场景集中包括：
分割所述至少一个运动对象；
确定分割的所述至少一个运动对象是否在所述预定场景集中的概率；其中，如果所述概率超过第二阈值，则执行所述确定所述比较基准；如果所述概率未超过所述第二阈值，则不执行所述确定所述比较基准，并且执行所述由所述图像传感器单元以所述第一帧率捕获所述第五帧或所述在所述触摸屏单元上以所述第一帧率回放所述第六帧；以及
其中，所述确定所述比较基准包括：
基于所述概率设置所述比较基准。
23.根据权利要求17所述的方法，其中，如下确定所述第一比较值：
获得平均运动流与平均相机运动流的比率，其中，所述第一比较值为所述比率，使用所述第一运动流确定所述平均运动流，使用所述第一相机运动流确定所述平均相机运动流。
24.根据权利要求17所述的方法，其中，所述确定所述第二帧率还基于所述至少一个运动对象的深度。
25.根据权利要求17所述的方法，还包括：
基于用户对所述第一帧的第一选择在所述第一帧中定义第一ROI；以及
基于所述第一ROI在所述第二帧中定义第二ROI；
其中，所述第一相机运动流在包括所述第一帧的部分的第一区域与所述第二帧的相应部分之间，所述第一帧的所述部分互补于与所述第二ROI共址的区域；以及
其中，所述第一运动流在所述第一ROI与所述第二ROI的相应部分之间。
26.根据权利要求25所述的方法，还包括：
接收所述用户在触摸屏单元上的触摸位置，其中，所述触摸位置为所述用户对所述第一帧的所述第一选择。
27.根据权利要求25所述的方法，还包括：
在所述触摸屏单元上指示所述第一ROI。
28.根据权利要求25所述的方法，其中，所述第一ROI仅界定所述第一帧中的一个对象，其中，所述至少一个运动对象为所述对象。
29.根据权利要求17所述的方法，其中，对于所述以所述第二帧率捕获所述第三帧，所述方法还包括：
在所述触摸屏单元上指示所述以所述第二帧率捕获所述第三帧。
30.根据权利要求17所述的方法，还包括：
如果所述聚合相机运动流超过第三阈值，则不执行所述确定所述比较基准，并且执行所述由所述图像传感器单元以所述第一帧率捕获所述第五帧或所述在所述触摸屏单元上以所述第一帧率回放所述第六帧，其中，使用所述第一相机运动流确定所述聚合相机运动流。
31.根据权利要求17所述的方法，还包括：
消除所述第二帧中的闪烁，其中，所述第二帧在时间上晚于所述第一帧。
32.一种非暂时性计算机可读介质，其上存储指令，当由处理器执行时，所述指令配置所述处理器执行操作，所述操作包括：
向图像传感器单元发送第一帧率，其中，在所述发送所述第一帧率之后，自动执行以下操作：
使得以所述第一帧率获得第一帧和第二帧；
基于用户对所述第一帧的第一选择在所述第一帧中定义第一ROI；
基于所述第一ROI在所述第二帧中定义第二ROI；
确定包括所述第一帧的部分的第一区域与所述第二帧的相应部分之间的第一相机运动流，所述第一帧的所述部分互补于与所述第二ROI共址的区域；
确定所述第一ROI与所述第二ROI的相应部分之间的第一ROI运动流；
基于使用所述第一ROI运动流和所述第一相机运动流确定的第一比较值确定第二帧率；以及
使得由所述图像传感器单元以所述第二帧率捕获第三帧，其中，所述第二帧率高于所述第一帧率，或者，使得在所述触摸屏单元上以所述第二帧率回放第四帧，其中，所述第二帧率低于所述第一帧率。
33.根据权利要求32所述的非暂时性计算机可读介质，其中，所述操作还包括：
接收所述用户在触摸屏单元上的触摸位置，其中，所述触摸位置为所述用户对所述第一帧的所述第一选择。
34.根据权利要求32所述的非暂时性计算机可读介质，其中，所述操作还包括：
使得在所述触摸屏单元上指示所述第一ROI。
35.根据权利要求32所述的非暂时性计算机可读介质，其中，所述第一ROI仅界定所述第一帧中的一个对象。
36.根据权利要求32所述的非暂时性计算机可读介质，对于所述使得以所述第二帧率捕获所述第三帧率，所述操作还包括：
使得在所述触摸屏单元上指示以所述第二帧率捕获所述第三帧。
37.根据权利要求32所述的非暂时性计算机可读介质，所述操作还包括：
基于所述第一ROI和所述第二ROI是否包括被分类为在预定场景集中的运动对象，确定比较基准；以及
如果所述第一ROI运动流与所述比较基准的第一比较结果为正，则执行所述确定所述第二帧率以及所述使得以所述第二帧率捕获所述第三帧或所述使得以所述第二帧率回放所述第四帧；
如果所述第一ROI运动流与所述比较基准的所述第一比较结果为负，则使得由所述图像传感器单元以所述第一帧率捕获第五帧或使得在所述触摸屏单元上以所述第一帧率回放第六帧。
38.根据权利要求37所述的非暂时性计算机可读介质，其中，所述确定所述比较基准包括：
分割所述运动对象；
确定分割的所述运动对象是否在所述预定场景集中的概率；以及
基于所述概率设置所述比较基准。
39.根据权利要求37所述的非暂时性计算机可读介质，其中，如下生成所述第一ROI运动流与所述比较基准的所述第一比较结果：
比较聚合ROI运动流与所述比较基准，其中，使用所述ROI运动流确定所述聚合ROI运动流，并且所述比较基准为第一阈值。
40.根据权利要求37所述的非暂时性计算机可读介质，其中
如果所述第一ROI运动流与所述比较基准的所述第一比较结果为正且所述第一ROI运动流与所述第一相机运动流的第二比较结果为正，则执行所述确定所述第二帧率以及所述以所述第二帧率捕获所述第三帧或所述以所述第二帧率回放所述第四帧；以及
如果所述第一ROI运动流与所述比较基准的所述第一比较结果为负和/或所述第一ROI运动流与所述第一相机运动流的所述第二比较结果为负，则执行所述以所述第一帧率捕获所述第五帧或所述以所述第一帧率回放所述第六帧。
41.根据权利要求37所述的非暂时性计算机可读介质，其中，所述操作还包括：
确定所述运动对象是否被分类为在预定场景集中；以及
如果所述运动对象被分类为在所述预定场景集中，则执行所述确定所述比较基准；
如果所述运动对象未被分类为在所述预定场景集中，则不执行所述确定所述比较基准，并且执行所述由所述图像传感器单元以所述第一帧率捕获所述第五帧或所述在所述触摸屏单元上以所述第一帧率回放所述第六帧。
42.根据权利要求41所述的非暂时性计算机可读介质，
其中，所述确定所述运动对象是否被分类为在预定场景集中包括：
分割所述运动对象；
确定分割的所述运动对象是否在所述预定场景集中的概率；
其中，如果所述概率超过第二阈值，则执行所述确定所述比较基准；如果所述概率未超过所述第二阈值，则不执行所述确定所述比较基准，并且执行所述由所述图像传感器单元以所述第一帧率捕获所述第五帧或所述在所述触摸屏单元上以所述第一帧率回放所述第六帧；以及
其中，所述确定所述比较基准包括：
基于所述概率设置所述比较基准。
43.根据权利要求32所述的非暂时性计算机可读介质，其中，如下确定所述第一比较值：
获得平均ROI运动流与平均相机运动流的比率，其中，所述第一比较值为所述比率，使用所述第一ROI运动流确定所述平均ROI运动流，使用所述第一相机运动流确定所述平均相机运动流。
44.根据权利要求32所述的非暂时性计算机可读介质，其中，所述确定所述第二帧率还基于所述第一ROI的深度。
45.根据权利要求32所述的非暂时性计算机可读介质，所述操作还包括：
以所述第二帧率获得多个帧；
基于所述用户对所述多个帧中的一个帧的第二选择和/或所述第二帧中的所述第二ROI，相应地在所述多个帧中定义多个ROI，其中，第七帧是所述多个帧中的倒数第二帧，第三ROI是所述多个ROI中的倒数第二ROI，第八帧是所述多个帧中的倒数第一帧，第四ROI是所述多个ROI中的倒数第一ROI；
确定包括所述第七帧的部分的第三区域与所述第八帧的相应部分之间的第二相机运动流，所述第七帧的所述部分互补于与所述第四ROI共址的区域；
确定所述第三ROI与所述第四ROI的相应部分之间的第二ROI运动流；
基于使用所述第二ROI运动流和所述第二相机运动流确定的第二比较值确定第三帧率；
使得由所述图像传感器单元以所述第三帧率捕获第九帧，其中，所述第三帧率低于所述第二帧率，或者，使得在所述触摸屏单元上以所述第三帧率回放第十帧，其中，所述第三帧率高于所述第二帧率。
46.根据权利要求32所述的非暂时性计算机可读介质，其中，所述操作还包括：
如果聚合相机运动流超过第三阈值，则不执行所述确定所述第一ROI运动流、所述确定第二帧率、以及所述使得以所述第二帧率捕获所述第三帧或所述使得以所述第二帧率回放所述第四帧；并且执行使得由所述图像传感器单元以所述第一帧率捕获第十一帧或使得由所述触摸屏单元以所述第一帧率回放第十二帧，其中，使用所述第一相机运动流确定所述聚合相机运动流。
47.根据权利要求32所述的非暂时性计算机可读介质，其中，所述操作还包括：
消除所述第二帧中的闪烁。
CN201880079588.0A 2018-04-23 2018-04-23 用于自动切换视频捕获及回放帧率的方法 Active CN111567030B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/084128 WO2019204969A1 (en) 2018-04-23 2018-04-23 Methods for automatically switching video capturing and playing back frame rate

Publications (2)

Publication Number Publication Date
CN111567030A true CN111567030A (zh) 2020-08-21
CN111567030B CN111567030B (zh) 2022-01-28

Family

ID=68294350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880079588.0A Active CN111567030B (zh) 2018-04-23 2018-04-23 用于自动切换视频捕获及回放帧率的方法

Country Status (4)

Country Link
US (1) US10972663B2 (zh)
EP (1) EP3741102A4 (zh)
CN (1) CN111567030B (zh)
WO (1) WO2019204969A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422692A (zh) * 2022-01-12 2022-04-29 西安维沃软件技术有限公司 视频录制方法、装置及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7287823B2 (ja) * 2018-09-07 2023-06-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法及び情報処理システム
US11533428B2 (en) * 2020-01-23 2022-12-20 Samsung Electronics Co., Ltd. Electronic device and method for controlling electronic device
US11756283B2 (en) * 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
US20230196584A1 (en) * 2021-12-20 2023-06-22 Industrial Technology Research Institute Object detection method and object detection system for video

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070195182A1 (en) * 2006-02-21 2007-08-23 Olympus Corporation Imaging apparatus for setting image areas having individual frame rates
CN101290787A (zh) * 2007-04-16 2008-10-22 奥多比公司 改变视频回放速度比率
US20120176505A1 (en) * 2011-01-11 2012-07-12 Samsung Electronics Co., Ltd. Method and apparatus for capturing moving picture
CN103379351A (zh) * 2012-04-28 2013-10-30 中国移动通信集团山东有限公司 一种视频处理方法及装置
CN105245817A (zh) * 2014-06-19 2016-01-13 深圳中兴力维技术有限公司 录像回放方法及其装置
CN105608709A (zh) * 2014-11-14 2016-05-25 索尼公司 用于处理视频内容的方法和系统
CN105760094A (zh) * 2014-12-18 2016-07-13 华为终端（东莞）有限公司 一种控制帧率的方法、装置以及终端
CN107147937A (zh) * 2017-04-26 2017-09-08 盯盯拍（深圳）技术股份有限公司 视频播放方法、视频播放装置以及视频播放系统
CN107396019A (zh) * 2017-08-11 2017-11-24 维沃移动通信有限公司 一种慢动作视频录制方法及移动终端

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8830339B2 (en) 2009-04-15 2014-09-09 Qualcomm Incorporated Auto-triggered fast frame rate digital video recording
JP2013046259A (ja) * 2011-08-24 2013-03-04 Olympus Imaging Corp 映像機器、制御方法およびプログラム
US9247098B2 (en) 2013-04-09 2016-01-26 Here Global B.V. Automatic time lapse capture
EP2992481A4 (en) * 2013-05-03 2017-02-22 Kofax, Inc. Systems and methods for detecting and classifying objects in video captured using mobile devices
ES2730404T3 (es) 2014-04-04 2019-11-11 Red Com Llc Videocámara con modos de captura
KR102449872B1 (ko) * 2015-12-18 2022-09-30 삼성전자주식회사 촬영 디바이스 및 그 제어 방법
KR102462644B1 (ko) * 2016-04-01 2022-11-03 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10609355B2 (en) * 2017-10-27 2020-03-31 Motorola Mobility Llc Dynamically adjusting sampling of a real-time depth map

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070195182A1 (en) * 2006-02-21 2007-08-23 Olympus Corporation Imaging apparatus for setting image areas having individual frame rates
CN101290787A (zh) * 2007-04-16 2008-10-22 奥多比公司 改变视频回放速度比率
US20120176505A1 (en) * 2011-01-11 2012-07-12 Samsung Electronics Co., Ltd. Method and apparatus for capturing moving picture
CN103379351A (zh) * 2012-04-28 2013-10-30 中国移动通信集团山东有限公司 一种视频处理方法及装置
CN105245817A (zh) * 2014-06-19 2016-01-13 深圳中兴力维技术有限公司 录像回放方法及其装置
CN105608709A (zh) * 2014-11-14 2016-05-25 索尼公司 用于处理视频内容的方法和系统
CN105760094A (zh) * 2014-12-18 2016-07-13 华为终端（东莞）有限公司 一种控制帧率的方法、装置以及终端
CN107147937A (zh) * 2017-04-26 2017-09-08 盯盯拍（深圳）技术股份有限公司 视频播放方法、视频播放装置以及视频播放系统
CN107396019A (zh) * 2017-08-11 2017-11-24 维沃移动通信有限公司 一种慢动作视频录制方法及移动终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422692A (zh) * 2022-01-12 2022-04-29 西安维沃软件技术有限公司 视频录制方法、装置及电子设备
CN114422692B (zh) * 2022-01-12 2023-12-08 西安维沃软件技术有限公司 视频录制方法、装置及电子设备

Also Published As

Publication number Publication date
EP3741102A1 (en) 2020-11-25
US10972663B2 (en) 2021-04-06
CN111567030B (zh) 2022-01-28
EP3741102A4 (en) 2020-11-25
WO2019204969A1 (en) 2019-10-31
US20200389591A1 (en) 2020-12-10

Similar Documents

Publication Publication Date Title
CN111567030B (zh) 用于自动切换视频捕获及回放帧率的方法
KR101739245B1 (ko) 비디오 프레임들의 디스플레이 파티셔닝 및 클러스터링을 위한 오브젝트들의 선택 및 추적
KR101926490B1 (ko) 이미지 처리 장치 및 방법
US8248480B2 (en) Imaging apparatus provided with panning mode for taking panned image
EP2330812B1 (en) Apparatus for generating a panoramic image, method for generating a panoramic image, and computer-readable medium
KR20160101010A (ko) 비-균일한 사이즈의 공간 영역들과 관련된 메타데이터를 발생시키기 위한 시스템들, 방법들, 및 장치
KR20130030780A (ko) 3 차원 이미지 프로세싱
US11281927B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable recording medium
JP2013254432A (ja) 画像処理装置及び画像処理方法
KR20190122807A (ko) 비디오 콘텐츠에서의 광학적 흐름 및 센서 입력 기반의 배경 감산
US11019251B2 (en) Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program
JP2012105205A (ja) キーフレーム抽出装置、キーフレーム抽出プログラム、キーフレーム抽出方法、撮像装置、およびサーバ装置
CN110381247B (zh) 摄像装置以及摄像装置的控制方法
KR20110099047A (ko) 영상 디스크립터 생성 장치
JP2006033380A (ja) 監視システム
CN113610865A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP2003061038A (ja) 映像コンテンツ編集支援装置および映像コンテンツ編集支援方法
US20230188679A1 (en) Apparatus and method for transmitting images and apparatus and method for receiving images
KR20160078878A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
EP3340112A1 (en) Human body detection apparatus, human body detection method, information processing apparatus, information processing method, and storage medium
US10911780B2 (en) Multi-viewpoint image coding apparatus, multi-viewpoint image coding method, and storage medium
KR102268596B1 (ko) 메타데이터 기반 비디오 데이터의 전송조건 변경장치 및 방법
JP2015159405A (ja) 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体
KR102372721B1 (ko) 영상 분석 방법, 사용자 디바이스 및 컴퓨터 프로그램
JP5375988B2 (ja) 画像信号再生装置、画像信号再生方法、撮像装置、および撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant