CN105763766B

CN105763766B - 控制方法、控制装置及电子装置

Info

Publication number: CN105763766B
Application number: CN201610115543.7A
Authority: CN
Inventors: 吴磊
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2016-02-29
Filing date: 2016-02-29
Publication date: 2020-05-15
Anticipated expiration: 2036-02-29
Also published as: CN105763766A

Abstract

本发明公开了一种控制方法，用于控制成像装置追踪物体，成像装置包括图像传感器，图像传感器包括相位侦测像素，控制方法包括以下步骤：确定步骤，确定追踪区域，追踪区域包括被追踪物体；控制步骤，控制成像装置追踪被追踪物体；处理步骤，处理图像传感器相隔预定时间输出的前后两帧数据以获得对应前后两帧数据的追踪区域的相位波形；判断步骤，根据对应前后两帧数据的追踪区域的相位波形的相似度判断追踪是否成功。本发明还公开了一种控制装置及电子装置。本发明实施方式的控制方法、控制装置及电子装置通过前后两帧数据对应的追踪区域的相位波形的相似度判断追踪是否成功，能够有效地提高追踪效率。

Description

控制方法、控制装置及电子装置

技术领域

本发明涉及物体追踪技术，特别涉及一种成像装置的控制方法、控制装置及电子装置。

背景技术

现有基于图像分析的物体追踪技术通过分析前后两帧图像的相似度来判断是否追踪成功。由于分析图像的相似度涉及的计算量大、耗时长，可能导致追踪效果较差。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提供了一种控制方法、控制装置及电子装置。

本发明实施方式的控制方法用于控制成像装置追踪物体，成像装置包括图像传感器，图像传感器包括相位侦测像素，控制方法包括以下步骤：

确定步骤，确定追踪区域，追踪区域包括被追踪物体；控制步骤，控制成像装置追踪被追踪物体；

处理步骤，处理图像传感器相隔预定时间输出的前后两帧数据以获得对应前后两帧数据的追踪区域的相位波形；

判断步骤，根据对应前后两帧数据的追踪区域的相位波形的相似度判断追踪是否成功。

在某些实施方式中，所述确定步骤根据用户输入确定所述追踪区域。

在某些实施方式中，所述确定步骤通过采用模式识别技术处理所述图像传感器输出的图像确定所述追踪区域。

在某些实施方式中，所述确定步骤包括：

处理所述图像传感器输出的前后两帧图像并确定移动物体；及

确定所述移动物体为所述被追踪物体并确定所述追踪区域。

在某些实施方式中，所述控制步骤采用追踪算法库控制所述成像装置追踪所述被追踪物体，

所述判断步骤在判断追踪失败后修改所述追踪算法库。

在某些实施方式中，所述处理步骤包括：

处理前后两帧数据以识别所述追踪区域；

获取所述追踪区域的相位波形。

本发明还公开了一种控制装置以实现所述控制方法。

本发明实施方式的控制装置用于控制成像装置追踪物体，所述成像装置包括图像传感器，所述图像传感器包括相位侦测像素，所述控制装置包括：

确定模块，所述确定模块用于确定追踪区域，所述追踪区域包括所述被追踪物体；

控制模块，所述控制模块用于控制所述成像装置追踪所述被追踪物体；

处理模块，所述处理模块用于处理所述图像传感器相隔预定时间输出的前后两帧数据以获得对应所述前后两帧数据的所述追踪区域的相位波形；

判断模块，所述判断模块用于根据对应所述前后两帧数据的所述追踪区域的相位波形的相似度判断追踪是否成功。

在某些实施方式中，所述确定模块还包括接收子模块，所述接收子模块用于接收用户输入以确定所述追踪区域。

在某些实施方式中，所述确定模块通过采用模式识别技术处理所述图像传感器输出的图像确定所述追踪区域。

在某些实施方式中，所述确定模块包括：

第一确定子模块，所述第一确定子模块用于处理所述图像传感器输出的前后两帧图像并确定移动物体；及

第二确定子模块，所述第二确定子模块用于确定所述移动物体为所述被追踪物体并确定所述追踪区域。

在某些实施方式中，所述控制模块采用追踪算法库控制所述成像装置追踪所述被追踪物体；

所述判断模块包括修改子模块，所述修改子模块用于在判断追踪失败后修改所述追踪算法库。

在某些实施方式中，所述处理模块包括：

识别子模块，所述识别子模块用于处理前后两帧数据以识别所述追踪区域；

获取子模块，所述获取子模块用于获取所述追踪区域的相位波形。

本发明还公开了一种电子装置，所述电子装置包括所述成像装置及所述控制装置。

在某些实施方式中，所述电子装置包括手机或平板电脑。

在某些实施方式中，所述成像装置包括前置相机或/及后置相机。

本发明实施方式的控制方法、控制装置及电子装置通过前后两帧数据对应的追踪区域的相位波形的相似度判断追踪是否成功，能够有效地提高追踪效率。

本发明的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施方式的实践了解到。

附图说明

本发明的实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的控制方法流程示意图。

图2是本发明实施方式的控制装置的功能模块示意图。

图3是本发明实施方式的控制装置的功能模块示意图。

图4是本发明某些实施方式的控制方法流程示意图。

图5是本发明某些实施方式的控制装置的功能模块示意图。

图6是本发明某些实施方式的控制方法流程示意图。

图7是本发明某些实施方式的控制装置的功能模块示意图。

图8是本发明某些实施方式的控制方法流程示意图。

图9是本发明某些实施方式的控制装置的功能模块示意图。

具体实施方式

下面详细描述本发明的实施方式的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。

请参阅图1，本发明实施方式的控制方法用于控制成像装置追踪物体，成像装置包括图像传感器，图像传感器包括相位侦测像素，控制方法包括以下步骤：

S10：确定追踪区域，追踪区域包括被追踪物体；

S20：控制成像装置追踪被追踪物体；

S30：处理图像传感器相隔预定时间输出的前后两帧数据以获得对应前后两帧数据的追踪区域的相位波形；及

S40：根据对应前后两帧数据的追踪区域的相位波形的相似度判断追踪是否成功。

请参阅图2，本发明实施方式的控制装置100，用于控制成像装置追踪物体，成像装置包括图像传感器，图像传感器包括相位侦测像素。控制装置100包括确定模块10、控制模块20、处理模块30及判断模块40。本发明实施方式的控制方法可以由本发明实施方式的控制装置100实现。

其中，步骤S10可以获取由确定模块10实现，步骤S20可以由控制模块20实现，步骤S30可以由处理模块30实现，步骤S40可以由判断模块40实现。也即是说，确定模块10用于确定追踪区域，追踪区域包括被追踪物体。控制模块20用于控制成像装置追踪被追踪物体。处理模块30用于处理图像传感器相隔预定时间输出的前后两帧数据以获得对应前后两帧数据的追踪区域的相位波形。判断模块40用于根据对应前后两帧数据的追踪区域的相位波形的相似度判断追踪是否成功。

例如，在某个追踪场景中，成像装置的追踪目标为正在进行百米冲刺的运动员。成像装置首先通过确定模块10确定追踪区域。然后检测追踪区域中的运动员的运动规律。比如说，此时的运动员正在做近似的匀速运动，则通过控制模块20控制成像装置追踪运动员。

经过预定时间后，通过处理模块30处理图像传感器相隔预定时间输出的前后两帧数据以获得对应相位波形。需要说明的是，相位波形是在相位对焦过程中直接获得的。具体地，相位对焦技术是通过在感光元件上预留出一些遮蔽像素点，即相位数据点，并利用这些相位数据点来进行相位检测，通过像素之间的距离及其变化等来决定对焦的偏移值从而实现对焦。另外还需要说明的是，此处的前后两帧数据包括图像数据和相位数据点数据，相位数据点数据经过处理后得到相位波形。

最后通过判断模块40根据相位波形的相似度判断追踪是否成功。若追踪失败，则说明此时运动员的运动规律发生了变化，因而需要重新检测运动员的运动规律并重新追踪。

需要说明的是，在对比相位波形的相似度时，只需要判断前后两帧数据的追踪区域的相位波形的波峰是否相似。可以理解，由于相位波形是图像传感器直接输出的，无需通过复杂的图像处理或数据处理，因此能够有效地提升追踪效率。

可以理解，本发明实施方式的控制方法中的预定时间与成像装置的处理能力有关。当预定时间足够小时，能够实时判断是否追踪成功进而实时检测追踪目标的运动规律并实时控制成像装置根据变化后的运动规律重新追踪。

如此，本发明实施方式的控制方法、控制装置100通过前后两帧数据对应的追踪区域的相位波形的相似度判断追踪是否成功，能够有效地提高追踪效率。

在某些实施方式中，确定步骤根据用户输入确定追踪区域。

请参阅图3，在某些实施方式中，本发明实施方式的控制装置100的确定模块10还包括接收子模块12，接收子模块12用于接收用户输入以确定追踪区域。

具体地，用户可以通过触屏的方式在显示画面中选定追踪区域。可选地，用户可以对显示画面进行放大进而精确选取追踪区域，又或者对画面进行缩小进而获取追踪区域的远景效果。

如此，用户可以个性化地选择追踪区域进而提高用户体验。

在某些实施方式中，确定步骤通过采用模式识别技术处理图像传感器输出的图像确定追踪区域。

在某些实施方式中，确定模块10通过采用模式识别技术处理图像传感器输出的图像确定追踪区域。

具体地，确定模块10中原先已通过物体特征类聚的方式建立起了图像特征信息库。例如，将人脸进行类聚并作为图像特征信息库中的一个类别。当接收到图像传感器输出的图像信息后，确定模块10从图像传感器输出的图像中提取图像特征并从已建立的图像特征信息库中选择出与当前图像特征类似的特征信息，通过对特征信息的分析，进而识别当前图像的追踪区域。例如，当追踪目标为人脸时，确定模块10接收并提取人脸图像的特征，之后从图像特征信息库中选择出于人脸特征类似的特征信息。最后通过对该特征信息的分析，识别出人脸进而确定追踪区域。

如此，确定模块10可以通过模式识别技术确定追踪区域。

请参与图4，在某些实施方式中，确定步骤S10包括以下子步骤：

S11：处理图像传感器输出的前后两帧图像并确定移动物体；及

S12：确定移动物体为被追踪物体并确定追踪区域。

请参阅图5，在某些实施方式中，确定模块10包括第一确定子模块14及第二确定子模块16。本发明实施方式的控制方法的步骤S11可以由第一确定子模块14实现，步骤S12可以由第二确定子模块16实现。也即是说，第一确定子模块14用于处理图像传感器输出的前后两帧图像并确定移动物体。第二确定子模块16用于确定移动物体为被追踪物体并确定追踪区域。

例如，在追踪百米赛跑的运动员的场景中，前后两帧图像中运动员的在图像中的位置发生变化。第一确定子模块14通过对比前后两帧图像将运动员确定为移动物体。第二确定模块10再将移动物体，即此场景中的运动员确定为追踪目标并确定追踪区域。

如此，可以通过对比前后两帧图像将移动物体确定为追踪目标进而确定追踪区域。

请参阅图6，在某些实施方式中，控制步骤S20采用追踪算法库控制成像装置追踪被追踪物体，

判断步骤S40在判断追踪失败后，控制方法还包括步骤S50：修改追踪算法库。

请参阅图7，在某些实施方式中，控制模块20采用追踪算法库控制成像装置追踪被追踪物体。判断模块40还包括修改子模块42。本发明实施方式的步骤S50可以由修改子模块42实现。也即是说，修改子模块42用于在判断追踪失败后修改追踪算法库。

具体地，追踪算法库包括了追踪目标的各项运动参数，如速度，加速度及运动方向。在追踪百米赛跑的运动员的场景中，运动员在最后冲刺阶段，再次加速。此时判断模块40判断追踪失败，向修改子模块42发出指令，修改子模块42接收指令后再根据重新检测到的运动员的运动规律修改追踪算法库中对应的运动参数。之后，再通过控制模块20重新对追踪目标进行追踪。

如此，可以通过修改子模块42修改追踪算法库进而实现重新追踪。

请参阅图8，在某些实施方式中，处理步骤S30包括以下子步骤：

S31：处理前后两帧数据以识别追踪区域；及

S32：获取追踪区域的相位波形。

请参阅图9，在某些实施方式中，控制装置100的处理模块30包括识别子模块32及获取子模块31。本发明实施方式的控制方法的步骤S31可以由识别子模块32实现，步骤S32可以由获取子模块31实现。也即是说，识别子模块32用于处理前后两帧数据以识别追踪区域。获取子模块31用于获取追踪区域的相位波形。

可以理解，在物体追踪的过程中，追踪目标在图像中的位置可能会发生变化，相应的追踪区域也会发生相应的变化。此时，需要处理前后两帧数据以重新识别追踪区域。

具体地，前后两帧数据包括了图像数据和相位点数据。可以通过识别子模块32对比图像数据确定移动物体并将移动物体确定为追踪目标并确定相应的追踪区域。然后通过获取子模块31处理追踪区域中的相位点数据进而获取到追踪区域的相位波形。

如此，通过识别子模块32和获取子模块31可以识别追踪区域并获取到追踪区域的相位波形。

本发明实施方式的电子装置，包括了如上的成像装置及控制装置100。具体地，成像装置包括前置相机或/及后置相机。电子装置包括手机或平板电脑。

本发明实施方式的控制装置及电子装置未展开的其它部分，可参照以上实施方式的控制方法的对应部分，在此不再详细展开。

在本发明的实施方式的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的实施方式和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的实施方式的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。

在本发明的实施方式中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，″计算机可读介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种控制方法，用于控制成像装置追踪物体，其特征在于，所述成像装置包括图像传感器，所述图像传感器包括相位侦测像素，所述控制方法包括以下步骤：

确定步骤，确定追踪区域，所述追踪区域包括被追踪物体；

控制步骤，控制所述成像装置追踪所述被追踪物体；

处理步骤，处理所述图像传感器相隔预定时间输出的前后两帧数据以获得对应所述前后两帧数据的所述追踪区域的相位波形，所述前后两帧数据包括图像数据和相位数据点数据，所述处理步骤包括：对比所述图像数据确定移动物体并将所述移动物体确定为所述被追踪物体并确定相应的所述追踪区域；处理所述追踪区域中的所述相位数据点数据进而获取所述追踪区域的所述相位波形；其中，前一帧数据的所述相位数据点数据经过处理得到前一帧数据的所述追踪区域的相位波形，后一帧数据的所述相位数据点数据经过处理得到后一帧数据的所述追踪区域的相位波形；

判断步骤，根据对应所述前后两帧数据的所述追踪区域的相位波形的相似度判断追踪是否成功，其中，在判断所述相位波形的相似度时，仅判断所述前后两帧数据的所述追踪区域的相位波形的波峰是否相似。

2.如权利要求1所述的控制方法，其特征在于，所述确定步骤根据用户输入确定所述追踪区域。

3.如权利要求1所述的控制方法，其特征在于，所述确定步骤通过采用模式识别技术处理所述图像传感器输出的图像确定所述追踪区域。

4.如权利要求1所述的控制方法，其特征在于，所述确定步骤包括：

处理所述图像传感器输出的前后两帧图像并确定所述移动物体；及

确定所述移动物体为所述被追踪物体并确定所述追踪区域。

5.如权利要求1所述的控制方法，其特征在于，所述控制步骤采用追踪算法库控制所述成像装置追踪所述被追踪物体，

所述判断步骤在判断追踪失败后修改所述追踪算法库。

6.一种控制装置，用于控制成像装置追踪物体，其特征在于，所述成像装置包括图像传感器，所述图像传感器包括相位侦测像素，所述控制装置包括：

确定模块，所述确定模块用于确定追踪区域，所述追踪区域包括被追踪物体；

处理模块，所述处理模块用于处理所述图像传感器相隔预定时间输出的前后两帧数据以获得对应所述前后两帧数据的所述追踪区域的相位波形，所述前后两帧数据包括图像数据和相位数据点数据，所述处理模块包括识别子模块和获取子模块，所述识别子模块用于对比所述图像数据确定移动物体并将所述移动物体确定为所述被追踪物体并确定相应的所述追踪区域；所述获取子模块用于处理所述追踪区域中的所述相位数据点数据进而获取所述追踪区域的所述相位波形；其中，前一帧数据的所述相位数据点数据经过处理得到前一帧数据的所述追踪区域的相位波形，后一帧数据的所述相位数据点数据经过处理得到后一帧数据的所述追踪区域的相位波形；及

判断模块，所述判断模块用于根据对应所述前后两帧数据的所述追踪区域的相位波形的相似度判断追踪是否成功，其中，在判断所述相位波形的相似度时，仅判断所述前后两帧数据的所述追踪区域的相位波形的波峰是否相似。

7.如权利要求6所述的控制装置，其特征在于，所述确定模块还包括接收子模块，所述接收子模块用于接收用户输入以确定所述追踪区域。

8.如权利要求6所述的控制装置，其特征在于，所述确定模块通过采用模式识别技术处理所述图像传感器输出的图像确定所述追踪区域。

9.如权利要求6所述的控制装置，其特征在于，所述确定模块包括：

第一确定子模块，所述第一确定子模块用于处理所述图像传感器输出的前后两帧图像并确定所述移动物体；及

10.如权利要求6所述的控制装置，其特征在于，所述控制模块采用追踪算法库控制所述成像装置追踪所述被追踪物体；

11.一种电子装置，其特征在于，包括成像装置及如权利要求6-10任意一项所述的控制装置。

12.如权利要求11所述的电子装置，其特征在于，所述电子装置包括手机或平板电脑。

13.如权利要求11所述的电子装置，其特征在于，所述成像装置包括前置相机或/及后置相机。