CN104104865B

CN104104865B - 控制方法及电子装置

Info

Publication number: CN104104865B
Application number: CN201410132380.4A
Authority: CN
Inventors: 黄俊翔; 李佑庭; 黄亮纲; 郭子豪; 张智威
Original assignee: High Tech Computer Corp
Current assignee: HTC Corp
Priority date: 2013-04-02
Filing date: 2014-04-02
Publication date: 2017-07-11
Anticipated expiration: 2034-04-02
Also published as: TWI524213B; CN104104865A; US9654763B2; TW201439819A; US20140293012A1

Abstract

本发明揭露一种控制方法及电子装置，适用于第一影像撷取单元以及第二影像撷取单元，控制方法包含：当第一影像撷取单元经操作而撷取用于立体运算处理的多个第一影像时，利用第二影像撷取单元取得多个第二影像；侦测所述第二影像中的物件；计算所述第二影像中该物件的相对位移；以及，根据所述第二影像中物件的相对位移，判断所述第一影像是否透过不当手势而撷取。

Description

控制方法及电子装置

技术领域

本发明是有关控制方法用于一影像撷取装置，特别是一种控制方法用于避免使用者在撷取影像时采用不当的手势。

背景技术

立体影像的原理主要是基于人体的双眼视觉。其中一种建立立体影像的传统方法是利用彼此具有特定间距的两部相机同步撷取两张影像，这两张影像由稍微不同的位置/角度去拍摄同一场景中的各物件。场景中各物件的X轴信息(例如水平位置)及Y轴信息(例如垂直位置)可由其中一张影像取得。对Z轴信息而言(例如深度信息)，上述两张影像可传送至一处理器并由处理器计算各物件在场景中的Z轴信息(例如深度信息)。对于三维立体成像、物件辨视、影像处理、动态侦测等应用来说，物件的深度信息是重要且必须的数据。

由单一个影像撷取装置(例如数字相机)撷取的数字影像是在单一视角上的二维影像。为了取得深度数据，需要取得至少两张由稍微不同的位置/角度去拍摄的影像。如前述提到的已知作法，两张影像可由两部彼此具有特定间距的相机(多视角系统)。然而，这样的作法需要用到额外的相机用以取得深度信息，将带来额外成本以及额外重量。

另一方面，使用者可以利用单一相机拍摄一系列的照片以模拟多视角系统。在使用者水平移动相机的过程中，依序拍摄两张(或两张以上)的影像，这些撷取到的影像经过处理以计算深度信息。为了优化立体运算处理的效果，理想情况下使用者须采用正确的影像撷取手势来握持相机。具体来说，理想情况下使用者须以本身所在位置为圆心，并握持相机沿着圆形轨迹移动。然而，实际情况下，使用者可能仅仅利用在手掌中旋转相机的角度并未水平移动相机的位置。若是在相机仅仅只有在定点旋转而不存在水平位移的情况下，视差信息的计算结果容易产生误差，进而影响后续的深度计算。

发明内容

本发明内容的一方面是关于一种控制方法，适用于第一影像撷取单元以及第二影像撷取单元，控制方法包含：当第一影像撷取单元经操作而撷取用于立体运算处理的多个第一影像时，利用第二影像撷取单元取得多个第二影像；侦测所述第二影像中的物件；计算所述第二影像中该物件的相对位移；以及，根据所述第二影像中物件的相对位移，判断所述第一影像是否透过不当手势而撷取。

本发明内容的另一方面是关于一种电子装置，包含壳体、第一影像撷取单元、第二影像撷取单元以及控制模块。第一影像撷取单元设置于壳体的第一表面。第二影像撷取单元设置于壳体上与第一表面相反的第二表面。控制模块与第一影像撷取单元以及第二影像撷取单元耦接，当第一影像撷取单元经操作而撷取用于立体运算处理的多个第一影像时，控制模块致能第二影像撷取单元取得多个第二影像，其中所述第二影像用以判断所述第一影像是否透过不当手势而撷取。

附图说明

为让本发明的上述和其他目的、特征、优点与实施例能更明显易懂，所附附图的说明如下：

图1绘示根据本发明的一实施例中一种控制方法的流程图；

图2A及图2B绘示根据本发明的一实施例中一种电子装置依不同手势移动时的示意图；

图3其绘示根据本发明的一实施例中一种电子装置的功能方块图；

图4A绘示根据本发明的一实施例中当电子装置沿着第一路径移动时第二影像撷取单元222所撷取到的其中一张第二影像；

图4B绘示根据本发明的一实施例中当电子装置以适当手势沿着第一路径移动时第二影像撷取单元所撷取到的另一张第二影像；

图5A绘示根据本发明的一实施例中当电子装置沿着第二路径旋转时第二影像撷取单元所撷取到的其中一张第二影像；以及

图5B绘示根据本发明的一实施例中当电子装置以不当手势沿着第二路径旋转时第二影像撷取单元所撷取到的另一张第二影像。

具体实施方式

下文是举实施例配合所附附图作详细说明，但所提供的实施例并非用以限制本发明所涵盖的范围，而结构运作的描述非用以限制其执行的顺序，任何由元件重新组合的结构，所产生具有均等功效的装置，皆为本发明所涵盖的范围。此外，附图仅以说明为目的，并未依照原尺寸作图。

关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，亦非用以限定本发明，其仅仅是为了区别以相同技术用语描述的元件或操作而已。其次，在本文中所使用的用词“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于此。

为了取得物件的深度信息，需要使用到至少两张由稍微不同位置/角度拍摄的影像。其中，距离摄影者较近的物件在两张照片之间的相对位移较大，而距离较远的物件在两张照片之间的相对位移较小，如此一来，立体演算法便可根据个别物件在两张照片之间的位移不同，而建立个别物件的深度信息。

使用者站在同一位置上移动电子装置(如相机或包含相机单元的移动装置)并依序撷取多张影像以建立深度信息。为了减少深度估算时的难度并提高准确性，用以撷取影像的电子装置必须以适当的手势握持并移动。于部分实施例中，本发明用以提供一种控制方式以提示使用者透过适当的手势握持并移动电子装置。

请参阅图1，图1绘示根据本发明的一实施例中一种控制方法100的流程图。于此实施例中，控制方法100适用于具有两个影像撷取单元的电子装置。

请一并参阅图2A以及图2B，图2A及图2B绘示根据本发明的一实施例中一种电子装置200依不同手势移动时的示意图。如图2A以及图2B所示，电子装置200包含壳体210、第一影像撷取单元221以及第二影像撷取单元222。第一影像撷取单元221以及第二影像撷取单元222设置于电子装置200的壳体210的两相对表面上。请一并参阅图3，其绘示根据本发明的一实施例中一种电子装置200的功能方块图。如图3所示，电子装置200进一步包含控制模块230，其耦接至第一影像撷取单元221以及第二影像撷取单元222。于此实施例中，控制模块230包含影像处理单元231、位移计算单元232以及通知单元233。实际应用中，影像处理单元231、位移计算单元232以及通知单元233可透过硬件电路、软件程序码、固件配置或其他软硬件组合而实现。

举例来说，部分的智能手机同时包含了两个(或两个以上)相机单元。一般来说，其中一个相机单元是用来进行一般性的影像拍摄，另一个相机单元通常用来进行视频对话(作为网络摄影机)、辅助拍摄或是其他用途。于此实施例中，第一影像撷取单元221为用于一般性影像拍摄的后置相机单元，而第二影像撷取单元222为前置相机单元。于部分实施例中，第一影像撷取单元221以及第二影像撷取单元222均可为电子装置200中内建的相机单元。于另一部分实施例中，第一影像撷取单元221或第二影像撷取单元222亦可为附挂于电子装置200上的独立式相机单元。

于部分实施例中，电子装置200为数字相机、数字摄影机、数字录影机、具有内建相机的手机、智能手机或其他具等效性的影像撷取装置。

如图1所示，控制方法100执行步骤S101，在立体模式下启动第一影像撷取单元221以产生目标物的立体信息。

为了取得目标物的立体信息，第一影像撷取单元221用以依序撷取一系列关于目标物的多个第一影像。这一系列的多个第一影像被利用来进行立体运算处理(例如，深度计算、提取立体内容以及建立三维模型等)。上述多个第一影像需要由不同的位置/视角撷取(当电子装置200移动时在不同时间点进行撷取)，前述立体运算处理是基于不同的第一影像之间的视差信息而进行。

根据基本针孔型相机成像模型(basic pinhole camera model)来看，在图2A的旋转手势下撷取的多个影像与在图2B的旋转手势下撷取的多个影像在立体运算处理时将呈现不同的几何特性(geometry property)。

如图2A所示，多个第一影像是当第一影像撷取单元221沿着第一路径PAT1移动时依序拍摄的。第一路径PAT1为图2A所示的圆形轨迹，其圆形轨迹的圆心大致上位于使用者所站的位置。于此实施例中，当使用者以适当手势(例如：自然伸展手臂握持电子装置200并旋转身体躯干)进行影像撷取时，电子装置200的移动轨迹大致上如图2A所示的第一路径PAT1，在第一路径PAT1上撷取的多个第一影像之间有明显的水平间隔距离。如此一来，位于不同深度的多个物件在第一影像撷取单元221所拍摄一系列第一影像中将位于明显相异的相对位置，如此将产生明显的视差效果以利进行深度计算。

理想情况下，使用者应采用上述手势以固定半径沿着圆形轨迹拍摄连续的多个影像。圆形轨迹大致上为以使用者身体为圆心的圆弧形，如图2A所示。在此情况下，第一影像撷取单元221的移动将符合向外取像几何模型(toe-out geometry model)并可模拟形成足够的相机间距(inter-camera distance)。如此一来，采用这样的手势可计算得到较佳品质的立体数据。

另一方面，如图2B所示，当使用者以不当手势(例如，在手掌范围或利用手腕旋转电子装置200)撷取影像时电子装置200将沿着第二路径PAT2旋转。由于此种手势下影像是由固定于同一定点的第一影像撷取单元221进行撷取，此种手势依序撷取的影像无法模拟形成足够的相机间距(inter-camera distance)，因此此种手势下撷取的影像无法提供足够的视差信息。当电子装置200将沿着第二路径PAT2旋转时，位于不同深度的多个物件在第一影像撷取单元221所拍摄第一影像中将被投射至大致相同的相对位置，如此将产生明显的视差效果以利进行深度计算。也就是说，所有物件将被判断为相同的深度，因此，以图2B所示的手势所撷取的多个第一影像并不适合用于与物件深度相关的影像应用。

因此，为了避免使用者以不当的手势拍摄，控制方法100用来侦测电子装置200是以适当的影像撷取手势(如图2A所示)或不当的影像撷取手势(如图2B所示)操作，并在采用不当的手势时提示使用者。当第一影像撷取单元221于立体模式(例如拍摄多焦距影像、拍摄立体影像、拍摄可事后对焦影像等立体/类立体影像应用)下启动时，控制方法100执行步骤S102在背景程序中启动第二影像撷取单元222。于此实施例中，第二影像撷取单元222撷取影像以侦测前述影像撷取手势(进行拍摄辅助)。

当该第一影像撷取单元221经操作而撷取用于立体运算处理的多个第一影像时，控制方法100执行步骤S103利用第二影像撷取单元222取得多个第二影像。举例来说，每当第一影像撷取单元221操作以撷取其中一张第一影像时，便触发第二影像撷取单元222同步撷取其中一张第二影像。于此实施例中，第二影像撷取单元222(如电子装置200的前置相机单元)所撷取的多张第二影像提供了辨别影像撷取手势的重要线索。

请一并参阅图4A以及图4B。图4A绘示根据本发明的一实施例中当电子装置200沿着第一路径PAT1(如图2A所示)移动时第二影像撷取单元222所撷取到的其中一张第二影像IMG2A。图4B绘示根据本发明的一实施例中当电子装置200以适当手势沿着第一路径PAT1(如图2A所示)移动时第二影像撷取单元222所撷取到的另一张第二影像IMG2B。

如图4A以及图4B所示，在第二影像撷取单元222所撷取的第二影像IMG2A与IMG2B当中，位于背景的部分物件(例如树木以及房屋)在两张第二影像IMG2A与IMG2B中明显平移(并改变成像角度)。于此同时，握持电子装置200的使用者脸孔(位于前景的特定物件)在两张第二影像IMG2A与IMG2B之间大致位于相同位置(例如80%或以上的面积重叠)。

请一并参阅图5A以及图5B。图5A绘示根据本发明的一实施例中当电子装置200沿着第二路径PAT2(如图2B所示)旋转时第二影像撷取单元222所撷取到的其中一张第二影像IMG2C。图5B绘示根据本发明的一实施例中当电子装置200以不当手势沿着第二路径PAT2(如图2B所示)旋转时第二影像撷取单元222所撷取到的另一张第二影像IMG2D。

如图5A以及图5B所示，在第二影像撷取单元222所撷取的第二影像IMG2C与IMG2D当中，握持电子装置200的使用者脸孔(位于前景的特定物件)所在位置在两张第二影像IMG2C与IMG2D之间发生明显移动(例如20%或以下的面积重叠，或完全不重叠)。

于上述实施例中，第二影像撷取单元222所撷取的两张第二影像仅用于示意性说明。然而，本发明于一次立体运算处理中并不仅限于撷取两张第一影像及两张第二影像。于其他实施例中，亦可依序撷取两张或更多张第一影像/第二影像以进行立体运算处理(例如深度计算或是提取立体内容)。

如此一来，前置相机单元所拍摄的影像用以判断使用者是否以正确手势握持并移动电子装置200。

如图1所示，当第二影像撷取单元222撷取多张第二影像之后，控制方法执行步骤S104于上述多张第二影像中分别侦测至少一物件。举例来说，如第二影像IMG2A、IMG2B、IMG2C或IMG2D中的物件包含物件OBJ1a、OBJ1b、OBJ1c或OBJ1d。于此实施例中，物件OBJ1a、OBJ1b、OBJ1c或OBJ1d各自包含人脸(也就是操作电子装置200的使用者的脸孔)。上述各第二影像中的物件OBJ1a、OBJ1b、OBJ1c或OBJ1d透过控制模块230中影像处理单元231基于脸部辨识演算法进行侦测。

随后，控制方法100执行步骤S105透过控制模块230中位移计算单元232计算上述物件(使用者脸孔)在多张第二影像之间的相对位移。

在图4A以及图4B的例子中，当使用者采用适当手势时，相同物件OBJ1a/OBJ1b在两张第二影像IMG2A及IMG2B中的相对位移D1较小(例如小于影像宽度的1/5)。于此实施例中，基于第二影像IMG2A及IMG2B之间相对应脸孔或脸部特征点(鼻子或嘴唇等)其中心点的间距来计算相对位移D1的大小。明显可看出，若使用者旋转本身的身体躯干来撷取用于立体运算处理的多个第一影像时，摄影者的脸孔在两张第二影像IMG2A及IMG2B中会大致位于相同位置。

在图5A以及图5B的例子中，当使用者采用不当手势时，相同物件OBJ1c/OBJ1d在两张第二影像IMG2C及IMG2D中的相对位移D2较大(例如大于影像宽度的1/5)。明显可看出，若使用者转动手指或转动手掌角度来拍摄用于立体运算处理的多个第一影像时，摄影者的脸孔在两张第二影像IMG2C及IMG2D中会明显改变。

如图1所示，控制方法100执行步骤S106以根据多张第二影像中计算得到的相对位移判断多张第一影像是否在不当手势下撷取。于部分实施例中，多张第一影像是否在不当手势下撷取的判断方式，是将相对位移与一门槛值比较，门槛值可为预先定义的像素数目(例如5、10或20个像素)、预先定义的长度、预先定义的影像宽度比例(例如5%、10%或20%)或任何具均等性的门槛标准。

此外，控制方法100更进一步根据相对位移而选择性提示通知讯息，若第一影像是在不当手势下撷取时通知讯息用以提示使用者重新撷取所述第一影像。

若相对位移(例如图5B中所示的相对位移D2)超过门槛值时，则判断所述第一影像为透过不当手势(例如第一影像撷取单元221是沿着图2B的第二路径PAT2移动)而撷取，则控制方法100执行步骤S107提示通知讯息以重新撷取所述第一影像。此通知讯息可为文字、图标、图样显示于电子装置200的显示面板(图中未示)上。于另一实施例中，通知讯息亦可为语音提示透过电子装置200的扬声器(图中未示)播放。

于此实施例中，握持并沿着第二路径PAT2移动第一影像撷取单元221被视为不当手势，是因为这样的手势(参与图2B)仅在定点旋转第一影像撷取单元221并无法形成有效的平移距离。然而，本发明所揭示的不当手势并不仅限于图2B所示，不当手势还包含当第一影像撷取单元221移动时无法形成有效的平移距离的其他相等性手势。

若相对位移(例如图4B所示的相对位移D1)低于门槛值则判断所述第一影像为透过适当手势(例如第一影像撷取单元221是沿着图2A的第一路径PAT1移动)而撷取，则控制方法100执行步骤S108基于所述第一影像进行立体运算处理。

于此实施例中，握持并沿着第一路径PAT1移动第一影像撷取单元221被视为适当手势，是因为这样的手势(参与图2A)在移动第一影像撷取单元221时形成有效的平移距离。然而，本发明所揭示的适当手势并不仅限于图2A所示，适当手势还包含当第一影像撷取单元221移动时可形成有效的平移距离的其他相等性手势。

通过第二影像撷取单元222(例如前置相机单元)得到的影像计算脸部特征/计算较大脸孔的中心点，控制方法100以及电子装置200可方便地判断影像撷取手势是否适当。借此，控制方法100以及电子装置200可选择性通知使用者重新撷取第一影像，以最佳化立体运算处理的准确性。

虽然本发明已以实施方式揭露如上，然其并非用以限定本发明，任何本领域具通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当视所附的权利要求书所界定的范围为准。

Claims

1.一种控制方法，其特征在于，适用于一第一影像撷取单元以及一第二影像撷取单元，该控制方法包含：

当该第一影像撷取单元经操作而撷取用于一立体运算处理的多个第一影像时，利用该第二影像撷取单元取得多个第二影像；

侦测所述第二影像中的一物件；

计算所述第二影像中该物件的一相对位移；以及

根据所述第二影像中该物件的该相对位移，判断所述第一影像是否透过一不当手势而撷取，该不当手势下撷取所述第一影像无法形成该立体运算处理所需的一相机间距。

2.根据权利要求1所述的控制方法，其特征在于，所述第一影像以及所述第二影像分别由该第一影像撷取单元以及该第二影像撷取单元延着相反轴向撷取。

3.根据权利要求1所述的控制方法，其特征在于，该第一影像撷取单元以及该第二影像撷取单元设置于一电子装置，所述第一影像为当该电子装置延着一路径移动时依序撷取，所述第一影像用于该立体运算处理中进行深度计算或提取立体内容。

4.根据权利要求3所述的控制方法，其特征在于，所述第一影像分别由不同位置撷取，且该立体运算处理是基于所述第一影像之间的视差信息。

5.根据权利要求1所述的控制方法，其特征在于，判断所述第一影像是否透过该不当手势而撷取的步骤包含：

将所述第二影像中该物件的该相对位移与一门槛值比较，若该相对位移超过该门槛值则判断所述第一影像为透过该不当手势而撷取，若该相对位移低于该门槛值则判断所述第一影像为透过一适当手势而撷取。

6.根据权利要求5所述的控制方法，其特征在于，还包含：

当该相对位移超过该门槛值时，提示一通知讯息以重新撷取所述第一影像。

7.根据权利要求5所述的控制方法，其特征在于，还包含：

当该相对位移低于该门槛值时，基于所述第一影像进行该立体运算处理。

8.一种电子装置，其特征在于，包含：

一壳体；

一第一影像撷取单元，设置于该壳体的一第一表面；

一第二影像撷取单元，设置于该壳体上与该第一表面相反的一第二表面；以及

一控制模块，与该第一影像撷取单元以及该第二影像撷取单元耦接，当该第一影像撷取单元经操作而撷取用于一立体运算处理的多个第一影像时，该控制模块致能该第二影像撷取单元取得多个第二影像，其中所述第二影像用以判断所述第一影像是否透过一不当手势而撷取，该不当手势下撷取所述第一影像无法形成该立体运算处理所需的一相机间距。

9.根据权利要求8所述的电子装置，其特征在于，该第一影像撷取单元为一后置相机单元，该第二影像撷取单元为一前置相机单元。

10.根据权利要求9所述的电子装置，其特征在于，该控制模块包含：

一影像处理单元，用以侦测所述第二影像中的一物件；

一位移计算单元，用以计算所述第二影像中该物件的一相对位移，该相对位移用以判断所述第一影像是否透过一不当手势而撷取；以及

一通知单元，用以根据该相对位移选择性提示一通知讯息以重新撷取所述第一影像。