CN116095478A - 影像撷取系统和调整焦点方法 - Google Patents

Abstract

本申请揭示一种影像撷取系统和一种调整焦点的方法。所述影像撷取系统包括第一影像感测模块、多个处理器、显示面板以及第二影像感测模块。第一处理器侦测所述第一影像感测模块所感测到的预览影像中的对象，并附加标签到侦测到的对象。显示面板显示预览影像及侦测到对象的标签。第二影像感测模块获取使用者的视线数据。第二处理器根据使用者注视显示面板上的注视区域，选择预览影像中的目标，并控制第一影像感测模块对焦在目标上。第一处理器、第二处理器及/或第三处理器根据使用者视线数据来侦测注视区域。

Description

影像撷取系统和调整焦点方法

技术领域

本申请是关于一种影像撷取系统，并且更具体地，是关于一种以注视控制对焦的影像撷取系统。

背景技术

自动对焦是目前电子装置中数字相机的常用功能，例如，移动电子装置的应用处理器可通过将预览影像分成若干区块，并选择具有最多纹理或细节的区块作为焦点区域，来实现自动对焦功能。但是，如果电子装置选择的区块不符合使用者的预期，则需要使用者自行手动选择焦点区域。因此，目前已有触控对焦功能，这种触控对焦功能可让使用者在电子装置的显示触控面板上触碰想要对焦的区块，而应用处理器则会据以调整对焦区域。

但是，触控对焦功能需要复杂且不稳定的手动操作。例如，使用者可能必须在短时间内握住电子装置、触摸要对焦的区块并拍照。由于所述区块可能包含多个对象，因此很难知道使用者想要对焦的确切对象是哪个，从而导致不准确和模糊。此外，当使用者触碰电子装置的显示触控面板时，此动作可能会震动电子装置或改变相机的视野。在这种情况下，使用者触碰的区域可能不再是使用者想要对焦的实际区块，因此拍摄的照片可能无法令人满意。因此，如何在拍照时找到一种便捷的方式来选择更准确的对焦区域，成为亟待解决的问题。

发明内容

本申请的一实施例提供一种影像撷取系统。影像撷取系统包括第一影像感测模块、多个处理器、显示面板及第二影像感测模块。所述多个处理器包括第一处理器和第二处理器，其中所述第一处理器设置成侦测由所述第一影像感测模块所感测的预览影像中的多个对象，及附加多个标签至所述多个侦测到的对象。所述显示面板设置成显示所述预览影像及所述多个侦测到的对象的所述多个标签。所述第二影像感测模块用于获取使用者的视线数据。所述第二处理器设置成根据使用者注视所述显示面板的注视区域，从所述预览影像中带有所述多个标签的所述多个侦测到的对象中选择目标，并控制所述第一影像感测模块对所述目标进行对焦操作。所述多个处理器中的至少一者设置成根据所述使用者的视线数据，侦测所述显示面板上的所述注视区域。

本申请的另一实施例提供一种调整焦点的方法。调整焦点的方法包括通过第一影像感测模块取得预览影像；侦测所述预览影像内的多个对象；附加多个标签至所述多个侦测到的对象；通过显示面板显示所述预览影像及所述多个侦测到的对象的所述多个标签；获取使用者的视线数据；根据所述使用者的视线数据，侦测所述使用者注视所述显示面板上的注视区域；根据所述注视区域从所述预览影像中带有所述多个标签的所述多个侦测对象中选择目标；以及控制所述第一影像感测模块以对所述目标进行对焦操作。

由于本申请实施例提供的影像撷取系统及对焦调整方法，可让使用者通过注视显示面板上所显示的对象，来选择第一影像感测模块应对焦的目标，因此使用者在构图时可专注于握持和稳定相机或电子装置，而无需触碰显示面板进行对焦，从而不仅简化影像撷取过程，而且避免影像撷取系统的晃动。

附图说明

当结合附图阅读时，从以下实施方式更好理解本揭露的方面。应注意，根据行业中的标准实践，各种结构不按比例绘制。事实上，为清晰论述，各种结构的尺寸可任意增加或减小。

图1显示根据本申请一个实施例的影像撷取系统。

图2显示根据本申请一个实施例用于调整焦点的方法。

图3显示根据本申请一个实施例的预览影像。

图4显示图3中具有对象标签的预览影像。

图5显示根据本申请一个实施例的使用者示意图像。

图6显示根据本申请另一个实施例的影像撷取系统。

图7显示根据本申请一个实施例的图1中第二影像感测模块。

图8显示根据本申请一个实施例的图1中影像撷取系统的显示面板。

图9显示根据本申请一个实施例的第一影像感测模块。

具体实施方式

以下揭露提供用于实施所提供目的对象的不同构件的许多不同实施例或实例。在下文描述组件及布置的特定实例以简化本揭露。当然，此类仅为实例且并不旨在为限制性的。例如，在以下描述中，第一构件形成在第二构件上方或上可包括其中第一构件及第二构件经形成直接接触的实施例，且还可包括其中额外构件可形成于第一构件与第二构件之间使得第一构件及第二构件可不直接接触的实施例。另外，本揭露可在各种实例中重复参考数字及/或字母。此重复是出于简单及清晰的目的且本身并不指示所论述的各种实施例及/或配置之间的关系。

此外，为便于描述，例如“在……之下”、“在……下方”、“下”、“在……上方”、“上”、“在……上”及类似物的空间相对术语可在本文中用于描述一个组件或构件与图中说明的另一组件或构件的关系。除图中描绘的定向外，空间相对术语还希望涵盖装置在使用或操作中的不同定向。设备可以其它方式定向(旋转90度或按其它定向)且因此可同样解释本文中使用的空间相对描述符。

如本文中使用，例如“第一”、“第二”及“第三”的术语描述各种元件、组件、区、层及/或区段，但此类元件、组件、区、层及/或区段不应被此类术语限制。此类术语仅可用于彼此区分一个元件、组件、区、层或区段。例如“第一”、“第二”及“第三”的术语在本文中使用时并不暗示序列或顺序，除非由背景内容明确指示。

单数形式“一”、“一个”和“所述”也可包括复数形式，除非上下文明确地另有指示。术语“连接”连同其派生词可在本文用于描述部件之间的结构关系。“连接”可用于描述两个或多个组件彼此直接物理或电接触。“连接”也可用于指示两个或多个组件彼此直接或间接(在它们之间有介入的组件)物理或电接触，和/或这两个或多个组件彼此协作或交互作用。

图1显示根据本申请一个实施例的影像撷取系统100。影像撷取系统100包括第一影像感测模块110、第二影像感测模块120、显示面板130、第一处理器140及第二处理器150。在本实施例中，第一影像感测模块110可用于感测所需场景的画面，而显示面板130可显示第一影像感测模块110所感测到的影像，以供使用者预览。此外，第二影像感测模块120可用以取得使用者的视线数据，以追踪使用者正在注视显示面板130上的区域。也就是说，影像撷取系统100提供注视对焦功能，让使用者通过注视显示面板130所显示影像中的感兴趣对象，来选择第一影像感测模块110应对焦的对象。

图2显示根据本申请一个实施例用于调整焦点的方法200。方法200包括步骤S210至S292，并且可应用于影像撷取系统100。

在步骤S210中，第一影像感测模块110可撷取预览影像IMG1，而在步骤S220中，第一处理器140可侦测预览影像IMG1中的对象。在一些实施例中，第一处理器140可以是人工智能(AI)处理器，并且第一处理器140可根据机器学习模型来侦测所述多个对象，例如利用神经网络结构的深度学习模型。例如，可使用由Joseph Redmon等人于2015年所提出知名的对象侦测算法YOLO(You Only Live Once)。在一些实施例中，第一处理器140可包括多个处理单元，例如用于并行计算的神经网络处理单元(NPU)，从而可提高基于神经网络的对象侦测速度。不过，本申请并不受限于此。在一些其他实施例中，可采用其他合适的对象侦测模型，并且可相应调整第一处理器140的结构。

此外，在一些实施例中，为了提高对象侦测的准确性，第一影像感测模块110所取得的预览影像IMG1可经过图像处理而有更好的质量。举例来说，影像撷取系统100可设置在移动装置中，而第二处理器150可为所述移动装置的应用处理器(Application Processor，AP)。在这种情况下，第二处理器150可包括影像信号处理器(Image Signal Processor，ISP)，并且可在第一处理器140侦测预览影像IMG1内的对象之前，对预览影像IMG1执行影像增强操作，例如自动白平衡(Auto White Balance，AWB)、颜色校正或降噪，以便第一处理器140能够更准确侦测影像中的对象。

在侦测对象之后，在步骤S230中，第一处理器140可附加标签至侦测到的对象，并且在步骤S240中，显示面板130可显示预览影像IMG1及这些侦测到对象的标签。图3显示根据本申请一个实施例的预览影像IMG1，图4显示预览影像IMG1及侦测到对象体附加的那些标签。

如图4所示，侦测到对象的标签包括各对象的名称和围绕所述对象体的边界框，例如在图4中，预览影像IMG1中的树已被侦测出，而这棵树的标签则包括其对象名称“树”和围绕这树的边界框B1。不过，本申请并不受限于此。在其他一些实施例中，由于预览影像IMG1中可能有很多相同的对象，因此标签另可包括对象的序号。例如在图4中，第一人的标签可为“人1”，而第二人的标签可为“人2”。此外，在一些其他实施例中，可省略对象的名称，并且可应用独特的序号来标识不同的对象。即设计者可根据自己的需要定义标签，以改善使用者体验。在一些实施例中，对象的标签可包括对象序号、对象名称或围绕对象的边界框，或者以上的任何组合。

在步骤S250中，第二影像感测模块120可取得使用者的视线数据。例如，第二影像感测模块120可撷取使用者眼睛的视频或影像，以用于视线侦测。在本实施例中，影像撷取系统100可设置在移动装置中，例如智能型手机或平板。在这种情况下，如果显示面板130是安装在移动装置的正面，则第一影像感测模块110可安装在背面，而第二影像感测模块120可安装在正面，并且可与显示面板130相邻或在其下方。因此，当使用者使用第一影像感测模块110拍摄想要的场景时，第二影像感测模块120可用于感测使用者的眼睛，以取得视线数据来评估使用者正在注视的位置。在一些实施例中，第一影像感测模块110和第二影像感测模块120可为包括电荷耦合装置(Charge Coupled Device，CCD)传感器或互补金属氧化物半导体(CMOS)传感器的相机，并可用于感测场景中物体的反射光。

图5显示根据本申请一个实施例的使用者示意图像IMGU。在本实施例中，使用者的视线数据报括图像IMGU以侦测使用者正在注视的显示面板上的注视区域，如步骤S260所示。例如，第一处理器140可根据眼睛侦测算法在图像IMGU中侦测使用者的眼睛，接着，在侦测到眼睛之后，第一处理器140可进一步分析眼睛的外观和/或特征，以便根据视线追踪算法预测注视区域，亦即使用者正在注视的位置。

在一些实施例中，预测模型，例如深度学习模型，可预先进行训练，并且可从图像IMGU中裁切出使用者眼睛的影像IMGE，并将其当成输入数据发送至预测模型。例如，基于外观的视线追踪算法可使用多个裁切的眼睛影像来训练回归函数，如在高斯处理、多层网络和流形学习(manifold learning)中观察到的。在回归函数训练完成后，可通过将使用者的眼睛影像IMGE映像到回归函数，来预测使用者注视的眼球运动角度，而第二处理器150另可进行校准处理，以将使用者注视的眼球运动角度投影到显示面板130上的对应位置上。如此一来，便可得知使用者注视显示面板130上的注视区域。不过，本申请并不受限于此。在一些其他实施例中，可选择不同类型的视线追踪算法。例如，可采用基于特征的视线追踪算法。

另外，根据所采用算法的特点，可使用不同的处理器。例如，在一些其他实施例中，可利用第二处理器150，而非第一处理器140，来进行视线追踪。在另外一些实施例中，如果第一处理器140和第二处理器150不适合于操作所选择的视线追踪算法，则影像撷取系统100也可另包括与所选择视线追踪算法兼容的第三处理器来执行视线追踪。再者，在一些实施例中，视线追踪可由一个以上的处理器执行，例如，两或三个处理器可用于视线追踪。

图6显示根据本申请一个实施例的影像撷取系统300。影像撷取系统300与影像撷取系统100具有相似的结构，皆可用于执行方法200。然而，如图6所示，影像撷取系统300另包括第三处理器360。在图6的实施例中，第一处理器140和第三处理器360可一起用于在步骤S260中追踪注视区域。例如，第一处理器140可用于眼睛侦测，而第三处理器360可用于根据第一处理器140提供的眼睛影像进行视线追踪。

此外，为了提高视线追踪的准确性，可考虑人眼的特征，以便在影像IMGE中提供更多的眼睛细节和特征。例如，人眼的巩膜可反射大部分红外光，而瞳孔可吸收大部分红外光。因此，通过向使用者的眼睛发射红外光并感测使用者眼睛对红外光的反射，可获得更多的眼睛细节和特征。

图7显示根据本申请一个实施例的第二影像感测模块120。如图7内所示，第二影像感测模块120包括红外光源122和红外影像传感器124。红外光源122可向使用者发射红外光IR1，红外影像传感器124可通过感测使用者反射的红外光IR2，来撷取使用者的视线数据。在这种情况下，便可更清楚捕捉瞳孔和虹膜的轮廓，亦即可使眼睛影像IMGE包括更多的细节和特征，因此，视线追踪的结果也可以更准确。不过，本申请并不受限于此。在一些其他实施例中，可根据所采用的视线追踪算法的需要，使用不同的方案来获取使用者的视线数据。

在一些实施例中，为了降低功耗，可仅在影像撷取系统100启动注视对焦功能时启用第二影像感测模块120。相反地，若自动对焦功能已能满足使用者的需求，或使用者选择通过其他方式调整对焦，则注视对焦功能可能会被关闭而不会启动，因而可停用第二影像感测模块120。

在步骤S260中侦测出注视区域之后，第二处理器150可在步骤S270中根据显示面板130上的注视区域，从预览影像IMG1中附有标签的侦测到的对象中选择目标。图8显示根据本申请一个实施例的影像撷取系统100的显示面板130。在图8中，显示面板130在预览影像IMG1中显示了三个被侦测到的对象及其所附加的标签，且显示面板130还显示了在步骤S260中所侦测到的注视区域G1。由于注视区域G1与对象O1的标签区域重叠，因此可确定使用者有意使第一影像感测模块110对焦在对象O1上。在本实施例中，对象O1的标签区域可包括围绕对象O1的边界框B1，以及显示面板130上显示的对象O1的名称“树”。因此，在步骤S280中，第二处理器150可选择对象O1作为目标，并控制第一影像感测模块110对目标进行对焦操作，以供后续拍摄操作。

在一些实施例中，由于使用者可能会在他/她确定要对焦哪个对象之前，对显示面板130进行扫视(扫描)，因此使用者可能会在他/她做出决定之前，持续移动他/她的注视区域。在这种情况下，可重复执行步骤S250和S260，以在选择目标之前持续追踪使用者的视线。

此外，为了允许使用者检查他/她是否正在注视感兴趣的对象，第二处理器120可改变使用者正在注视对象的标签的视觉外观。例如，当有一对象的标签区域与注视区域重叠时，第二处理器120可从预览影像IMG1中那些侦测到的对象中选择所述对象作为候选对象，并且可改变候选对象的标签的视觉外观，以在视觉上将候选对象与预览影像中其他对象区分开来，从而允许使用者检查候选对象是否是他/她的目标。

在使用者确定目标后，使用者可另向影像撷取系统100传达其确认，以便第二处理器120据此决定目标。举例来说，第二处理器150可在注视区域与目标的标签区域重叠的情况下，当使用者看着注视区域预定时间后，例如但不限于0.1秒至2秒，将预览影像IMG1中的对象O1判断为目标。然而，本申请并不受限于此。在一些实施例中，第二处理器150可在注视区域与目标的标签区域重叠的情况下，当使用者在预定时段内眨眼预定次数时，决定所述对象O1为目标。例如，一旦使用者通过注视显示面板130上的相应区域确定他/她的目标后，使用者便可在短时间内眨眼两次。对应地，第二处理器150或第一处理器140可侦测到眨眼，并且第二处理器150可选择其标签区域与注视区域重叠的对象O1作为目标。

此外，为了允许使用者通过注视来确认他/她所选择的对象，在选择了目标之后，第二处理器120可改变目标标签的视觉外观。例如，在一些实施例中，第二处理器120可改变已被选择为目标的对象的边界框B1颜色。如此，使用者就可根据标签的颜色，将选中的对象与其他对象清楚区分开来。由于影像撷取系统100可一并显示所有侦测到的对象连同其标签，使用者可直接通过注视的方式，从显示面板130所显示已附加标签的对象中选择目标。如此一来，便可避免因为触碰到多个相邻对象所导致在选择上的歧义。

在选择了目标之后，第二处理器150便可在步骤S280中控制第一影像感测模块110对目标进行对焦操作，以进行后续拍摄操作。图9显示根据本申请一个实施例的第一影像感测模块110。如图9内所示，第一影像感测模块110可包括透镜112、透镜马达114和影像传感器116。透镜112可将影像投射至影像传感器116，而透镜马达114可调整透镜112的位置，以调整第一影像感测模块110的焦距。在这种情况下，第二处理器150可控制透镜马达114调整透镜112的位置，使得在影像传感器116所感测的影像中可清楚看到在步骤S270中选择的目标。如此一来，在步骤S280之后，使用者便可在第一影像感测模块110对焦于目标的情况下，拍摄所需的场景。

在本实施例中，在第一影像感测模块110依据目标调整焦距之后，第二处理器150可在步骤S290中进一步追踪目标的移动，并在步骤S292中，控制第一影像感测模块110以保持对焦在目标上。例如，第一处理器140及/或其他处理器可撷取预览影像IMG1中目标的特征，并通过特征映像来定位或追踪移动的目标。在一些实施例中，步骤S290可采用任何已知合适的焦点追踪技术。因此，在步骤S290及/或S292之后，当使用者命令影像撷取系统100撷取影像时，第一影像感测模块110会在对焦于目标的状态下撷取影像。

总结来说，本申请实施例所提供的影像撷取系统及对焦调整方法，可让使用者通过注视显示面板所显示的目标，来选择第一影像感测模块应对焦的目标。使用者在构图时可专注于握持和稳定相机或电子装置，而无需触碰显示面板进行对焦，不仅简化影像撷取过程，而且避免影像撷取系统的晃动。更进一步，由于预览影像中的对象得以被侦测并予以附加标记以利使用者能够通过基于注视的对焦控制来选择目标，因此可更准确且直接地针对目标执行对焦操作。

前文概述若干实施例的结构，使得所属领域的技术人员可更好理解本揭露的方面。所属领域的技术人员应了解，其可容易地使用本揭露作为设计或修改用于实行本文中介绍的实施例的相同目的及/或实现相同优点的其它制造过程及结构的基础。所属领域的技术人员还应认识到，此类等效构造不脱离本揭露的精神及范围，且其可在不脱离本揭露的精神及范围的情况下在本文中进行各种改变、替换及更改。

Claims (20)

1.一种影像撷取系统，其特征在于，包括：

第一影像感测模块；

多个处理器，其包括第一处理器和第二处理器，其中所述第一处理器设置成侦测由所述第一影像感测模块所感测的预览影像中的多个对象，及附加多个标签至侦测到的对象；

显示面板，其设置成显示所述预览影像及所述多个侦测到的对象的所述多个标签；以及

第二影像感测模块，用于获取使用者的视线数据；

其中：

所述第二处理器设置成根据使用者注视所述显示面板的注视区域，从所述预览影像中带有所述多个标签的所述多个侦测到的对象中选择目标，并控制所述第一影像感测模块对所述目标进行对焦操作；以及

所述多个处理器中的至少一者设置成根据所述使用者的所述视线数据，侦测所述显示面板上的所述注视区域。

2.根据权利要求1所述的影像撷取系统，其特征在于所述第一处理器为包括多个处理单元的人工智能处理器，及所述第一处理器设置成根据机器学习模型侦测所述多个对象。

3.根据权利要求1所述的影像撷取系统，其特征在于所述第二处理器进一步设置成执行校准处理，以将使用者注视的眼球运动角度投射到所述显示面板上的对应位置。

4.根据权利要求1所述的影像撷取系统，其特征在于所述第二影像感测模块包括：

红外光源，其设置成发出红外光至所述使用者；以及

红外影像传感器，其设置成通过感测由所述使用者反射的红外光以获取所述使用者的所述视线数据。

5.根据权利要求1所述的影像撷取系统，其特征在于在所述影像撷取系统启动注视对焦功能时，启用所述第二影像感测模块以供所述使用者通过注视选择所述目标，及在所述影像撷取系统关闭所述注视对焦功能时停用所述第二影像感测模块。

6.根据权利要求1所述的影像撷取系统，其特征在于所述第二处理器进一步设置成追踪所述目标的移动，并控制所述第一影像感测模块执行对焦操作，以使所述目标保持在焦点上。

7.根据权利要求1所述的影像撷取系统，其特征在于当所述注视区域与所述目标的标签区域重叠时，所述第二处理器在所述使用者已经注视所述注视区域预定时间之后确定所述目标。

8.根据权利要求1所述的影像撷取系统，其特征在于当所述注视区域与所述目标的标签区域重叠，且所述使用者在预定时间内眨眼预定次数时，所述第二处理器确定所述目标。

9.根据权利要求1所述的影像撷取系统，其特征在于所述多个对象的所述多个标签可包括至少所述多个对象的序号、所述多个对象的名称以及围绕所述多个对象的边界框中的一者。

10.根据权利要求1所述的影像撷取系统，其特征在于所述第二处理器进一步设置成当候选对象的标签区域与所述注视区域重叠时，从所述多个侦测到的对象中选择所述候选对象，并改变所述候选对象的所述标签的视觉外观，以在视觉上区分所述候选对象与所述预览影像中的其他对象。

11.一种用于调整焦点的方法，其特征在于，包括：

通过第一影像感测模块取得预览影像；

侦测所述预览影像内的多个对象；

附加多个标签至侦测到的对象；

通过显示面板显示所述预览影像及所述多个侦测到的对象的所述多个标签；

获取使用者的视线数据；

根据所述使用者的所述视线数据，侦测所述使用者注视所述显示面板上的注视区域；

根据所述注视区域从所述预览影像中带有所述多个标签的所述多个侦测到的对象中选择目标；以及

控制所述第一影像感测模块以对所述目标进行对焦操作。

12.根据权利要求11所述的方法，其特征在于侦测所述预览影像中对象的步骤包括根据机器学习模型侦测所述预览影像中的所述多个对象。

13.根据权利要求11所述的方法，其特征在于侦测所述使用者注视所述显示面板上的注视区域的步骤包括执行校准处理，以将所述使用者注视的眼球运动角度投射到所述显示面板上的对应位置。

14.根据权利要求11所述的方法，其特征在于获取所述使用者的所述视线数据的步骤包括：

发射红外光至所述使用者；以及

通过感测从所述使用者反射的红外光，获取所述使用者的所述视线数据。

15.根据权利要求11所述的方法，其特征在于，另包括：

当启动注视对焦功能时，启用所述第二影像感测模块，以供所述使用者通过注视来选择所述目标；以及

当关闭所述注视对焦功能时，停用所述第二影像感测模块。

16.根据权利要求11所述的方法，其特征在于，另包括：

追踪所述目标的移动；以及

根据追踪到的所述目标的移动控制所述第一影像感测模块，以使所述目标保持在焦点上。

17.根据权利要求11所述的方法，其特征在于从所述预览影像中带有所述多个标签的所述多个侦测到的对象中选择目标的步骤包括：当所述注视区域与所述目标的标签区域重叠时，在所述使用者注视所述注视区域预定时间之后，确定所述目标。

18.根据权利要求11所述的方法，其特征在于从所述预览影像中带有所述多个标签的所述多个侦测到的对象中选择目标的步骤包括：当所述注视区域与所述目标的标签区域重叠，且所述使用者在预定时间内眨眼预定次数时，确定所述目标。

19.根据权利要求11所述的方法，其特征在于所述多个对象的所述多个标签可包括至少所述多个对象的序号、所述多个对象的名称以及围绕所述多个对象的边界框中的一者。

20.根据权利要求11所述的方法，其特征在于，另包括：

当候选对象的标签区域与所述注视区域重叠时，从所述多个侦测到的对象中选择所述候选对象；以及

改变所述候选对象标签的视觉外观，以在视觉上区分所述候选对象与所述预览影像中的其他对象。

Images