CN106650556B - 影像判断方法以及执行此影像判断方法的影像感测装置 - Google Patents

Abstract

本发明公开了一种影像判断方法，施行在包含透镜以及影像传感器的影像感测装置上，影像传感器包含第一像素以及第二像素，其中第一、第二像素的第一、第二部份分别被遮蔽。此影像判断方法包含：以第一、第二像素分别产生第一、第二对象影像其中第一、第二对象影像形成第一合成对象影像；分别计算第一、第二对象影像的第一、第二亮度信息变化趋势、以及第一合成对象影像的亮度信息变化趋势；以及根据第一亮度信息变化趋势、第二亮度信息变化趋势以及第一合成对象影像的该亮度信息变化趋势来判断第一合成对象影像是前影像或是后影像。

Description

影像判断方法以及执行此影像判断方法的影像感测装置

技术领域

本发明有关于影像判断方法以及影像感测装置，特别有关于可判断对象影像为前影像或后影像的影像判断方法以及影像感测装置。

背景技术

越来越多的电子装置提供了以手势来控制动作的机制。举例来说，若电视为休眠状态且用户站在电视前时执行一握拳的动作，则电视会开始运作。又例如，若电视已开始运作且用户站在电视前执行一挥手的动作，则电视会切换所播放的频道。此种技术通常是设置一摄影机，并以摄影机来撷取电视前的影像以判断是否有用户的动作符合预先定义的手势。然而，在此种机制下，若无法明确的区分出所撷取的影像是真正的用户的影像或是后影像，则可能会造成手势的误判。

图1绘示了现有技术中以手势控制电子装置时，易误判手势的示意图。如图1所示，前述的摄影机100通常包含一影像传感器IS以及一透镜L，影像传感器IS会透过透镜L来撷取影像。如前所述，须将所撷取的影像区分为真正的用户的影像或是后影像，才能够较正确的判断手势。其中一种较常见的做法为，会将较接近电子装置的影像判断定义为前影像，此前影像会做为判断用户手势的根据，并将较远离电子装置的影像判断定义为后影像，此后影像通常不会做为判断用户手势的根据。因为用户在执行手势来控制电子装置时，通常会较接近电子装置，因此会将较远离电子装置的影像判断为后影像。如此可较精确的判断使用者的手势，否则容易将较远的影像亦作为判断用户手势的根据。

请再参阅图1，透镜L会具有一焦点F以及相对应的焦距FD，而前述的前影像或后影像的判断步骤会将落在焦点F内的影像(例如手影像H1)判断为前影像，并把落在焦点F外的影像判断为后影像(例如手影像H2)。

许多方法可用以判断对象的距离。举例来说，时差测距(Time-of-Flight)或是结构光源(Structured Lighting)均可用以判断对象的距离。然而，这些判断方法均具有相当耗能或是当对象离影像传感器较近时无法判断距离的问题。

发明内容

因此，本案一目的为提供一影像判断方法，用以判断对象影像是前影像或是后影像。

本案另一目的为提供一影像感测装置，其具有一影像判断机制，用以判断对象影像是前影像或是后影像。

本发明一实施例揭露了一种影像判断方法，施行在一影像感测装置上，其中该影像感测装置包含一透镜以及一影像传感器，该影像传感器包含至少一第一像素以及至少一第二像素，其中每一该第一像素的第一部份均被遮蔽且每一该第二像素的第二部份均被遮蔽。此影像判断方法包含：(a)以该第一像素产生一对象的一第一对象影像；(b)以该第二像素产生该对象的一第二对象影像，其中该第一对象影像以及该第二对象影像会形成一第一合成对象影像；(c)计算该第一对象影像的第一亮度信息变化趋势、第二对象影像的第二亮度信息变化趋势以及该第一合成对象影像的该亮度信息变化趋势；以及(d)根据该第一亮度信息变化趋势、该第二亮度信息变化趋势与第一合成对象影像的该亮度信息变化趋势来判断该第一合成对象影像是一前影像或是一后影像。

本发明另一实施例揭露了一种影像感测装置，包含：一透镜；一影像传感器，包含至少一第一像素以及至少一第二像素，其中每一该第一像素的第一部份均被遮蔽且每一该第二像素的第二部份均被遮蔽，该影像传感器以该第一像素产生一对象的一第一对象影像，并以该第二像素产生该对象的一第二对象影像，其中该第一对象影像以及该第二对象影像会形成一第一合成对象影像；一亮度信息变化计算单元，用以计算该第一对象影像的第一亮度信息变化趋势、该第二对象影像的第二亮度信息变化趋势以及第一合成对象影像的亮度信息变化趋势；以及一分类器，用以根据该第一亮度信息变化趋势、该第二亮度信息变化趋势以及第一合成对象影像的亮度信息变化趋势来判断该第一合成对象影像是一前影像或是一后影像。

根据前述实施例，本案提供的影像判断方法不需耗费大量电能即可将影像分类成前影像和后影像，而且可判断的距离较不受限，因此可改善现有技术中高耗能以及当对象离影像传感器较近时无法判断距离的缺点。

附图说明

图1绘示了现有技术中以手势控制电子装置时，易误判手势的示意图。

图2绘示了根据本发明实施例之影像传感器中的像素结构的示意图。

图3绘示了对象在焦点上以及焦点以外之位置的成像状况的示意图。

图4绘示了根据本发明另一实施例之影像传感器中的像素结构的示意图。

图5A、图5B、图5C、图6A、图6B以及图6C绘示了一实施例中，以平均亮度来判断对象与透镜距离的示意图。

图7A、图7B、图7C、图8A、图8B以及图8C绘示了一实施例中，以平均亮度来判断对象与透镜距离的示意图。

图9绘示了根据本发明一实施例之影像判断方法的流程图。

图10绘示了执行前述影像判断方法的影像感测装置的方块图。

图11绘示了执行根据本发明一实施例之影像判断方法后，所得到的结果示意图。

附图标号说明：

100摄影机

IS 影像传感器

L、1001 透镜

F 焦点

FD 焦距

H1、H2 手影像

P1 第一像素

P2 第二像素

P3 第三像素

P4 第四像素

P5 第五像素

P6 第六像素

LO1、LO2 位置

I1 第一对象影像

I2 第二对象影像

O 物件

1000影像感测装置

1003 影像传感器

1005 亮度信息变化计算单元

1007 分类器

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下将以不同实施例来说明本发明的内容。然请留意，以下实施例仅用以举例，并非用以限定本发明。

图2绘示了根据本发明实施例之影像传感器的像素结构的示意图。如图2所示，像素结构200包含了至少一第一像素P1以及至少一第二像素P2。第一像素P1的左半边均会被遮蔽而第二像素P2的右半边均会被遮蔽。影像传感器中所有的第一像素P1会产生一第一对象影像(在此例中为右影像)，而影像传感器中所有的第二像素P2会产生一第二对象影像(在此例中为左影像)。此第一对象影像和第二对象影像若成像在透镜的焦点上，两对象影像会重合而形成较清楚的合成对象影像。然而，若第一对象影像和第二对象影像成像在透镜的焦点以外的位置时，两对象影像无法完全重合而形成较模糊的合成对象影像。

图3绘示了对象在焦点上以及焦点以外之位置的成像状况的示意图。如图3所示，第一对象影像I1和第二对象影像I2在透镜L的焦点F上会几乎完全重合在一起，但在焦点F之外的其他位置Lo1和Lo2上时，第一对象影像I1和第二对象影像I2会有不同程度的偏移状况(即有不同相位)，无法完全重合而形成较模糊的合成对象影像。因此，在后续的实施例中，利用了这样的现象来判断出对象和透镜L的相对位置(即判断合成对象影像是前影像还是后影像)，将于底下详述。

然请留意，本发明所提供的影像传感器除了图2中所示的第一像素P1以及第二像素P2以外，亦可包含其他类型的像素。举例来说，图2中的影像传感器200除了第一像素P1以及第二像素P2外，更包含了第三像素P3以及第四像素P4。其中第三像素P3的上半部被遮蔽而第四像素P4的下半部被遮蔽。第三像素P3以及第四像素P4亦可如图3所示般用以判断对象的位置，其与第一像素P1和第二像素P2的差别在于第一像素P1和第二像素P2对于对象影像的垂直边缘之感测较敏锐，而第三像素P3和第四像素P4对于对象影像的水平边缘之感测较敏锐。

而在图4所示的实施例中，除了第一像素P1以及第二像素P2外，更包含了第五像素P5以及第六像素P6。其中第五像素P5的右上半部被遮蔽而第六像素P6的左下半部被遮蔽。第五像素P5以及第六像素P6亦可如图3所示般用以判断对象的位置，其与第一像素P1和第二像素P2的差别在于第一像素P1和第二像素P2对于对象影像的垂直边缘之感测较敏锐，而第五像素P5以及第六像素P6对于对象影像的斜向边缘之感测较敏锐。由前述说明可知，本发明提供的影像传感器可包含不同类型的像素组合，不限定于前述的例子中。

以下将以不同实施例来说明如何根据对象影像的亮度信息来判断对象的位置。然请留意，在以下的实施例中，是以前述的第一像素P1形成的第一对象影像以及第二像素P2形成的第二对象影像来做说明，但其他类型的像素亦可适用这些实施例所提供的机制。此外，以下实施例中的对象O包含了边缘部份，亦即对象O包含了亮度对比较大的两个部份(例如图5A、图5B、图5C中较暗的左部份L以及较亮的右部份R)，但本发明并不限定对象O必须包含边缘部份。

图5A、图5B、图5C、图6A、图6B以及图6C绘示了一实施例中，以平均亮度来判断对象与透镜距离的示意图。图5A、图5B、图5C、图6A、图6B以及图6C中横轴表示不同的像素列，图5A、图5B、图5C中纵轴表示不同像素列平均亮度。图6A、图6B、图6C中的纵轴为第一对象影像和第二对象影像中相同位置像素列之平均亮度的比例。而在这些实施例中，是假设焦距为30cm。

请参考图5A、图5B以及图5C，图5A表示对象在透镜的焦距内时(例如，5cm)，平均亮度的变化状况，图5B表示对象在透镜的焦点上时，平均亮度的变化状况，图5C表示对象在透镜的焦距外时(例如，50cm)，平均亮度的变化状况。如前述图3所示，第一像素P1所形成的第一对象影像I1和第二像素P2所形成的第二对象影像I2在焦距内、焦点上以及焦距外时，分别具有不同的相位。因此，不同位置上的第一对象影像I1和第二对象影像I2会有不同的平均亮度变化。在第5A与5C图中，第一对象影像I1和第二对象影像I2的平均亮度变化的斜率较小(亦即变化趋势较弱)，图5B中平均亮度变化的斜率最大(亦即，变化趋势较强)。因此，若预先纪录这些规则，则在计算出第一对象影像I1和第二对象影像I2的平均亮度变化后，可依据平均亮度变化的趋势符合那一个预定规则来判断对象是在在焦点上或是非焦点上(即判断合成对象影像是属于前影像或是后影像)。

除了根据第一对象影像I1和第二对象影像I2的平均亮度变化的趋势之外，更可搭配合成影像的平均亮度变化的趋势来判断合成对象影像是属于前影像或是后影像。以图5A为例，合成影像如右上角的O所示，因此可计算出合成影像的平均亮度变化的趋势是左暗右亮，得到此平均亮度变化趋势后，若第一对象影像I1和第二对象的平均亮度变化趋势符合预定规则，才判断合成对象影像是属于前影像或是后影像。也就是说，在此类实施例中，必须要合成影像的平均亮度变化趋势，以及第一对象影像I1和第二对象影像I2的平均亮度变化趋势均符合预定的规则，才会去判断合成对象影像是属于前影像或是后影像。

除了根据图5A、图5B以及图5C所示的平均亮度变化趋势来判断对象位置外，可更依据其他的平均亮度相关信息来判断对象的位置。请参考图6A、图6B以及图6C，其分别对应图5A、图5B以及图5C。图6A表示对象在透镜的焦距内时，第一对象影像I1和第二对象影像I2相同像素列之平均亮度的比例，图6B表示对象在透镜的焦点上时，第一对象影像I1和第二对象影像I2相同像素列之平均亮度的比例，图6C表示对象在透镜的焦距外时，第一对象影像I1和第二对象影像I2相同像素列之平均亮度的比例。

图5B中的第一对象影像I1和第二对象影像I2之像素线的平均亮度差异最小，因此图6B中第一对象影像I1和第二对象影像I2相同像素列之平均亮度的比例均落在1左右(0.8和1.2之间)。而图5A和图5C中的第一对象影像I1和第二对象影像I2之像素线的平均亮度差异较大。因此图6A和图6C中的第一对象影像I1和第二对象影像I2相同像素列之平均亮度的比例会超出0.8和1.2的范围。详细言之，图6A中部份像素列(例如像素列20-25)的平均亮度的比例会超出1.2，亦即图5A第一对象影像I1中有部份像素列的平均亮度相较于第二对象影像I2中相同像素列较亮。相反的，图6C中部份像素列(例如像素列20、21)的平均亮度的比例会小于0.8，亦即图5C中第一对象影像I1中有部份像素列的平均亮度相较于第二对象影像I2中相同像素列较暗。

因此，除了图5A、图5B以及图5C所示的平均亮度变化趋势外，可更依据图6A、图6B以及图6C所示的平均亮度比例来判断对象的所在位置，如此可更精确的判断出合成对象影像应是属于前影像或是后影像。

请留意，对象的内容并不限制于前述实施例中的对象O，举例来说，图7A、图7B、图7C、图8A、图8B以及图8C中的对象O包含较亮的左部份L以及较暗的右部份R，亦即包含了跟图5A、图5B、图5C、图6A、图6B以及图6C实施例中的对象O相反的内容。因此在图7A、图7B以及图7C中平均亮度的分布状况大致上跟图5A、图5B以及图5C相反。但同样的，在第7A与7C图中，第一对象影像I1和第二对象影像I2的平均亮度变化的斜率较小，图7B中平均亮度变化的斜率最大(亦即，变化趋势较强)。图8A、图8B以及图8C所显示的平均亮度比例之结果跟图6A、图6B以及图6C相反，图8A中部份像素列(例如像素列17-19)的平均亮度的比例会小于0.8，亦即图7A中第一对象影像I1中有部份像素列的平均亮度相较于第二对象影像I2中相同像素列较暗。而图8C中部份像素列(例如像素列20-23)的平均亮度的比例会大于1.2，亦即图7C中第一对象影像I1中有部份像素列的平均亮度相较于第二对象影像I2中相同像素列较亮。

然请留意，前述的平均亮度亦可由其他的亮度信息来代替，例如一像素列中的最大亮度或最小亮度。此外，像素列亦可以像素行取代。因此，综合前述实施例，可得到如图9所示的影像判断方法，此影像判断方法执行在一影像感测装置上。此影像感测装置包含一透镜以及一影像传感器，此影像传感器包含至少一第一像素以及至少一第二像素(例如图2中的P1和P2，但不限定)，其中每一第一像素的第一部份均被遮蔽且每一第二像素的第二部份均被遮蔽。此影像判断方法如图9所示般包含下列步骤：

步骤901

以第一像素产生一对象的一第一对象影像。

步骤903

以第二像素产生该对象的一第二对象影像，其中第一对象影像以及第二对象影像会形成一第一合成对象影像。

步骤905

计算第一对象影像的第一亮度信息变化趋势以及第二对象影像的第二亮度信息变化趋势与第一合成对象影像的亮度信息变化趋势。举例来说，如图5A、图5B、图5C、图7A、图7B以及图7C计算平均亮度的变化趋势，或是如图6A、图6B、图6C、图8A、图8B以及图8C般计算平均亮度的比例。

步骤907

根据第一亮度信息变化趋势以及该第二亮度信息变化趋势与第一合成对象影像的亮度信息变化趋势来判断第一合成对象影像是一前影像或是一后影像。也就是说，各图实施例都会加入其右上角合成影像的平均亮度变化趋势来判断合成对象影像是前影像或是后影像。

根据步骤901-907，影像感测装置的动作可简示为：根据第一对象影像与第二对象影像判断对象是处于透镜的焦距内或焦距外(即为前影像或是后影像)。

于一实施例中，影像传感器更包含至少一第三像素以及至少一第四像素(例如图2中的P3、P4或图4中的P5、P6))，其中每一第三像素的第三部份均被遮蔽且每一第四像素的第四部份均被遮蔽。于此实施例中，会以第三像素产生第三对象影像，并以第四像素产生第四对象影像，其中第三对象影像和第四对象影像用以产生一第二合成对象影像。此实施例会计算第三对象影像的第三亮度信息变化趋势以及第四对象影像的第四亮度信息变化趋势与第二合成对象影像的亮度信息变化趋势，然后根据第三亮度信息变化趋势以及第四亮度信息变化趋势与第二合成对象影像的亮度信息变化趋势来判断第二合成对象影像是一前影像或是一后影像。

图10绘示了执行前述影像判断方法的影像感测装置的方块图。如图10所示，影像感测装置1000包含了透镜1001、影像传感器1003、亮度信息变化计算单元1005以及分类器1007。影像传感器1003可包含如图2或图3所示的部份或全部像素结构，用以透过透镜1001撷取影像。因为影像传感器1003包含了如图2或图3所示的部份或全部像素结构，影像传感器1003会产生具不同相位的影像(此实施例中以前述第一对象影像OI1和第二对象影像OI2为例)，这些第一对象影像OI1和第二对象影像OI2会形成一合成对象影像。亮度信息变化计算单元1005会如前所述般计算第一对象影像I1和第二对象影像I2的亮度信息变化趋势(例如斜率或是比例)，以及合成影像的亮度信息变化趋势，然后分类器1007会依据亮度信息变化计算单元1005计算出的结果来将合成对象影像分类为前影像或后影像。亮度信息变化计算单元1005以及分类器1007可整合在一处理器上。而且，亮度信息变化计算单元1005以及分类器1007可以硬件或软件的方式来实现其功能。

图11绘示了执行根据本发明一实施例之影像判断方法后，所得到的结果示意图。如图11所示，对象Oa位在焦距内，因此其合成对象影像会被判断成具有边缘的前影像，其相关内容就不会被归类在后影像。相反的，对象Ob位在焦距外，因此其合成对象影像会被判断成具有边缘的后影像，其相关内容就不会被归类在前影像。

如前所述，前影像和后影像的分类可被使用在手势判断上，但请留意本发明所提供的前影像和后影像分类方式并不限定使用在手势判断上。

根据前述实施例，本案提供的影像判断方法不需耗费大量电能即可将影像分类成前影像和后影像，而且可判断的距离较不受限，因此可改善现有技术中高耗能以及当对象离影像传感器较近时无法判断距离的缺点。

以上所述仅为本发明之较佳实施例，凡依本发明申请专利范围所做之均等变化与修饰，皆应属本发明之涵盖范围。

Claims (10)

1.一种影像判断方法，施行在一影像感测装置上，其特征在于，该影像感测装置包含一透镜以及一影像传感器，该影像传感器包含至少一第一像素以及至少一第二像素，其中每一该第一像素的第一部份均被遮蔽且每一该第二像素的第二部份均被遮蔽，该影像判断方法包含：

(a)以该第一像素产生一对象的一第一对象影像；

(b)以该第二像素产生该对象的一第二对象影像，其中该第一对象影像以及该第二对象影像会形成一第一合成对象影像；

(c)计算该第一对象影像的第一亮度信息变化趋势、该第二对象影像的第二亮度信息变化趋势以及该第一合成对象影像的亮度信息变化趋势；以及，

(d)根据该第一亮度信息变化趋势、该第二亮度信息变化趋势以及该第一合成对象影像的该亮度信息变化趋势来判断该第一合成对象影像是一前影像或是一后影像；其中，该对象包含边缘部份；且，

该步骤(c)包含：

计算该第一对象影像中每一像素线间的平均亮度变化来得到该第一亮度信息变化趋势；以及，

计算该第二对象影像中每一像素线间的平均亮度变化来得到该第二亮度信息变化趋势；或，

该步骤(c)包含：

计算该第一对象影像以及该第二对象影像中，位置相同的像素线的平均亮度比例；

其中该步骤(c)更根据该平均亮度比例来计算出该第一亮度信息变化趋势以及该第二亮度信息变化趋势。

2.如权利要求1所述的影像判断方法，其特征在于，该第一部份为该第一像素的左半边，该第二部份为该第一像素的右半边。

3.如权利要求1所述的影像判断方法，其特征在于，该第一部份为该第一像素的上半边，该第二部份为该第一像素的下半边。

4.如权利要求1所述的影像判断方法，其特征在于，该第一部份为该第一像素的右上半边，该第二部份为该第一像素的左下半边。

5.如权利要求1所述的影像判断方法，其特征在于，该影像传感器更包含至少一第三像素以及至少一第四像素，其中每一该第三像素的第三部份均被遮蔽且每一该第四像素的第四部份均被遮蔽，该影像判断方法包含：

以该第三像素产生该对象的一第三对象影像；

以该第四像素产生该对象的一第四对象影像，其中该第三对象影像以及该第四对象影像会形成一第二合成对象影像；

计算该第三对象影像的第三亮度信息变化趋势、该第四对象影像的第四亮度信息变化趋势以及该第二合成对象影像的亮度信息变化趋势；以及

根据该第三亮度信息变化趋势、该第四亮度信息变化趋势以及该第二合成对象影像的该亮度信息变化趋势来判断该第二合成对象影像是该前影像或是该后影像。

6.一种影像感测装置，其特征在于，包含：

一透镜；

一影像传感器，包含至少一第一像素以及至少一第二像素，其中每一该第一像素的第一部份均被遮蔽且每一该第二像素的第二部份均被遮蔽，该影像传感器以该第一像素产生一对象的一第一对象影像，并以该第二像素产生该对象的一第二对象影像，其中该第一对象影像以及该第二对象影像会形成一第一合成对象影像，其中，该对象包含边缘部份；

一亮度信息变化计算单元，用以计算该第一对象影像的第一亮度信息变化趋势、该第二对象影像的第二亮度信息变化趋势以及该第一合成对象影像的亮度信息变化趋势，其中，该亮度信息变化计算单元计算该第一对象影像中每一像素线间的平均亮度变化来得到该第一亮度信息变化趋势，并计算该第二对象影像中每一像素线间的平均亮度变化来得到该第二亮度信息变化趋势；或，该亮度信息变化计算单元计算该第一对象影像以及该第二对象影像中，位置相同的像素线的平均亮度比例，并根据该平均亮度比例来计算出该第一亮度信息变化趋势以及该第二亮度信息变化趋势；以及，

一分类器，用以根据该第一亮度信息变化趋势、该第二亮度信息变化趋势以及该第一合成对象影像的该亮度信息变化趋势来判断该第一合成对象影像是一前影像或是一后影像。

7.如权利要求6所述的影像感测装置，其特征在于，该第一部份为该第一像素的左半边，该第二部份为该第一像素的右半边。

8.如权利要求6所述的影像感测装置，其特征在于，该第一部份为该第一像素的上半边，该第二部份为该第一像素的下半边。

9.如权利要求6所述的影像感测装置，其特征在于，该第一部份为该第一像素的右上半边，该第二部份为该第一像素的左下半边。

10.如权利要求6所述的影像感测装置，其特征在于，该影像传感器更包含至少一第三像素以及至少一第四像素，其中每一该第三像素的第三部份均被遮蔽且每一该第四像素的第四部份均被遮蔽；

其中该影像传感器以该第三像素产生该对象的一第三对象影像，并以该第四像素产生该对象的一第四对象影像，其中该第三对象影像以及该第四对象影像会形成一第二合成对象影像；

其中该亮度信息变化计算单元计算该第三对象影像的第三亮度信息变化趋势、该第四对象影像的第四亮度信息变化趋势以及该第二合成对象影像的亮度信息变化趋势，该分类器根据该第三亮度信息变化趋势、该第四亮度信息变化趋势以及该第二合成对象影像的亮度信息变化趋势来判断该第二合成对象影像是该前影像或是该后影像。