CN109816662B - 前景影像提取的影像处理方法与电子装置 - Google Patents

Abstract

本发明提供了一种前景影像提取的影像处理方法与电子装置。影像处理方法包括如下步骤：(A)撷取动态影像的多个帧影像，且每个该帧影像具有RGB影像与IR影像；(B)撷取代表暗灯状态的RGB影像作为RGB撷取影像，撷取代表亮灯状态的IR影像作为IR亮帧影像，且撷取代表暗灯状态的IR影像作为IR暗帧影像；(C)计算IR亮帧影像与IR暗帧影像的差值影像，根据门槛值将差值影像二值化以产生二值化影像；以及(D)撷取RGB撷取影像中对应二值化影像的IR前景部分的多个前景像素，并将多个前景像素作为前景影像，进而可降低环境光影响、背景杂讯与运算量。

Description

前景影像提取的影像处理方法与电子装置

技术领域

本发明提供一种影像处理方法与电子装置，且特别是关于一种前景影像提取的影像处理方法与电子装置。

背景技术

在影像合成技术中，前景影像提取大致上可分为三类，其分别是色键 (Chromakey)技术；背景相减法与特征侦测法。

色键技术的概念是将背景改为单一颜色，并藉由前景与背景的颜色差距来去除背景，以切割出前景。然而，色键技术需要使用者额外架设单一颜色的布幕，对于使用者来说非常不便。

背景相减法的概念是当前景像素值与背景像素值相差很大时，即可切割出前景影像。然而，背景影像容易受到杂讯的干扰，使得提取出来的前景影像常会包含部分的背景影像。

而特征侦测法通常是针对某特定物体进行前景影像提取。以人脸影像为例，首先执行脸部特征侦测，接着再针对脸部特征找到轮廓而提取人脸影像。然而，脸部特征侦测很容易受到环境光影响而侦测不到人脸影像。此外，较佳的脸部特征侦测会造成复杂计算，进而无法达到即时处理。

因此，在前景影像提取的过程中，若可以降低环境光影响、背景杂讯与运算量，将可提取出较佳的前景影像。

发明内容

本发明提供了一种前景影像提取的影像处理方法与电子装置，其利用红外线(Infrared，IR)来进行前景影像提取，以降低环境光影响与背景杂讯。更进一步来说，本发明的影像处理方法与电子装置在不同的IR强度下撷取多个IR影像，并透过一简单运算计算多个IR影像之间的关系以提取较佳的前景影像，进而可降低运算量而达到即时处理。

本发明实施例提供一种前景影像提取的影像处理方法，适用于一电子装置。影像处理方法包括如下步骤：(A)控制一IR发射器由一暗灯状态到一亮灯状态再回到该暗灯状态；(B)撷取一动态影像的多个帧影像，且每一个帧影像具有一RGB影像与一IR影像，其中多个帧影像是在IR发射器由暗灯状态到亮灯状态再回到暗灯状态的过程中产生；(C)撷取代表暗灯状态的其中一个RGB影像作为一RGB撷取影像，撷取代表亮灯状态的其中一个IR影像作为一IR亮帧影像，且撷取代表暗灯状态的其中一个IR 影像作为一IR暗帧影像；(D)计算IR亮帧影像与IR暗帧影像的一差值影像，且根据一门槛值将差值影像二值化以产生一二值化影像，其中二值化影像具有一IR前景部分与一IR背景部分；以及(E)撷取RGB撷取影像中对应IR前景部分的多个前景像素，并将这些前景像素作为一输出影像的一前景影像。

本发明实施例提供一种前景影像提取的电子装置，其包括一IR发射器、一影像撷取装置与一影像处理器。IR发射器发射一IR讯号。影像撷取装置接收IR讯号反射的一IR反射讯号且接收一可见光讯号。影像处理器耦接IR发射器与影像撷取装置，且用以执行下列步骤：(A)控制IR 发射器由一暗灯状态到一亮灯状态再回到暗灯状态，且根据IR反射讯号与可见光讯号产生一动态影像；(B)撷取动态影像的多个帧影像，且每一个帧影像具有一RGB影像与一IR影像，其中多个帧影像是在影像处理器控制一IR发射器由一暗灯状态到一亮灯状态再回到暗灯状态的过程中产生； (C)撷取代表暗灯状态的其中一个RGB影像作为一RGB撷取影像，撷取代表亮灯状态的其中一个IR影像作为一IR亮帧影像，且撷取代表暗灯状态的其中一个IR影像作为一IR暗帧影像；(D)计算IR亮帧影像与IR 暗帧影像的一差值影像，且根据一门槛值将差值影像二值化以产生一二值化影像，其中二值化影像具有一IR前景部分与一IR背景部分；以及(E) 撷取RGB撷取影像中对应IR前景部分的多个前景像素，并将这些前景像素作为一输出影像的一前景影像。

为使能更进一步了解本发明的技术内容，请参阅以下有关本发明的详细说明与附图，但是此等说明与所附图式仅是用来说明本发明，而非对本发明的权利范围作任何的限制。

附图说明

图1是本发明一实施例的电子装置与物体的位置关系图。

图2是本发明一实施例的前景影像提取的电子装置的示意图。

图3是本发明一实施例的前景影像提取的影像处理方法的流程图。

图4A-4D是本发明一实施例的影像处理器透过滚动快门机制撷取四个帧影像的示意图。

图5A-5B是本发明一实施例的影像处理器透过全局快门机制撷取二个帧影像的示意图。

图6是本发明一实施例的计算二值化影像的示意图。

图7是本发明一实施例的撷取前景影像的示意图。

符号说明：

100：电子装置

110：影像撷取装置

120：IR发射器

130：影像处理器

Si：IR讯号

Sr：反射讯号

Sv：可见光讯号

OBJ：待摄物

OBJN：非待摄物

S310、S320、S330、S340：步骤

410：第一帧影像

420：第二帧影像

430：第三帧影像

440：第四帧影像

510：第一帧影像

520：第二帧影像

610：IR亮帧影像

620：IR暗帧影像

630：差值影像

640：二值化影像

642：IR前景部分

644：IR背景部分

710：RGB撷取影像

720：前景影像

730：背景影像

790：输出影像

具体实施方式

在下文中，将藉由图式说明本发明的各种例示实施例来详细描述本发明。然而，本发明概念可能以许多不同形式来体现，且不应解释为限于本文中所阐述的例示性实施例。此外，图式中相同参考数字可用以表示类似的元件。

本发明实施例所提供的前景影像提取的影像处理方法与电子装置，其控制一IR发射器由一暗灯状态到一亮灯状态，再由亮灯状态到暗灯状态。而在上述过程中，影像处理方法与电子装置将在不同的IR强度下撷取多个 IR影像，以据此产生代表亮灯状态的IR影像作为一IR亮帧影像，以及代表暗灯状态的IR影像作为一IR暗帧影像。接着再根据IR亮帧影像与IR 暗帧影像产生具有一IR前景部分与一IR背景部分的二值化影像。最后再撷取一RGB撷取影像中对应IR前景部分的多个前景像素，以将这些前景像素作为输出影像的前景影像。据此，影像处理方法与电子装置可以降低环境光影响、背景杂讯与运算量，以取得较佳的前景影像。以下将进一步介绍本发明揭露的前景影像提取的影像处理方法与电子装置。

首先，请参考图1-2，图1显示本发明一实施例的电子装置与待摄物的位置关系图，且图2显示本发明一实施例的前景影像提取的电子装置的示意图。如图1-2所示，电子装置100设置在一待摄物OBJ附近，用来拍摄具有待摄物OBJ的一动态影像，并从动态影像中提取具有待摄物OBJ的一前景影像。电子装置100具有一IR发射器120、一影像撷取装置110与一影像处理器130。影像处理器130耦接影像撷取装置110与IR发射器120。在本实施例中，电子装置100可为智慧型手机、监视器、平板电脑、笔记型电脑或其他可同时撷取IR影像与RGB影像的电子装置，本发明对此不作限制。而待摄物OBJ为电子装置100前面的人。

如图1所示，IR发射器120发射一IR讯号Si至待摄物OBJ，待摄物 OBJ将会反射一IR反射讯号Sr。此时，影像撷取装置110将接收到IR待摄物OBJ反射的反射讯号Sr与一环境光所产生的一可见光讯号Sv。更进一步来说，IR发射器120可以是由一颗或多颗IR发光二极体(LED)组成，且设置在影像撷取装置110附近。在本实施例中，IR发射器120是由一颗 IR LED组成，且设置在影像撷取装置110的下方。本实施例的影像撷取装置110为红绿蓝-红外(RGB-IR)感测器，使得影像撷取装置110可以同时接收到IR反射讯号Sr与可见光讯号Sv。当然，影像撷取装置110亦可以由二个独立的RGB感测器与IR感测器组成，本发明对此不作限制。

而影像处理器130将控制IR发射器120由一暗灯状态到一亮灯状态再回到暗灯状态，接收反射讯号Sr与可见光讯号Sv，且根据IR反射讯号Sr 与可见光讯号Sv产生一动态影像，并执行下列步骤，进而从动态影像中提取具有待摄物OBJ的前景影像。

请同时参考图3，其显示本发明一实施例的影像处理方法的流程图。首先，电子装置100中的影像处理器130将撷取动态影像中的多个帧 (frame)影像(步骤S310)。而由于动态影像是根据反射讯号Sr与可见光讯号Sv产生，故每一个帧影像具有一RGB影像与一IR影像。

值得注意的是，上述该些帧影像是在影像处理器130控制IR发射器 120由暗灯状态到亮灯状态，再由亮灯状态回到暗灯状态的过程中产生。在本实施例中，影像处理器130是透过一滚动快门(Rolling Shutter)机制或一全局快门(Global Shutter)机制来撷取动态影像中的该些帧影像。而有关影像处理器130利用滚动快门机制或一全局快门机制撷取帧影像的方法为所属领域具有通常知识者所悉知，故在此不再赘述。

由于滚动快门机制为依序以水平扫描方式，撷取一帧影像中的部分像素，再组合成一帧完整影像，故会造成一帧影像中的像素并非全在同一时间所撷取，这使得IR发射器120于暗灯状态及亮灯状态之间切换的过程中，有些时间点撷取到的单一帧影像的像素的曝光程度不一致。而这种帧影像无法提供给影像处理器130分析使用。因此，在滚动快门机制下，当影像处理器130撷取到的单一帧影像的所有像素的曝光程度相同(亦即对应相同的IR光源亮度)，影像处理器130才会对这个帧影像进行分析。如图 4A-4D，其说明本发明一实施例的影像处理器透过滚动快门机制撷取四个帧影像的示意图。

如图4A所示，影像处理器130控制IR发射器120由暗灯状态转换为亮灯状态时撷取一第一帧影像410。此时IR光源处于由暗至亮的过程，因此在滚动快门机制下，第一帧影像410中的待摄物OBJ会有曝光程度不一致的问题，影像处理器130无法对第一帧影像410进行分析。如图4B所示，影像处理器130控制IR发射器120持续亮灯状态一段时间后撷取一第二帧影像420。此时，IR光源已完全点亮，使得第二帧影像420中的待摄物OBJ 曝光程度一致。故第二帧影像420代表在亮灯状态下的帧影像，且影像处理器130将对该帧影像进行后续分析。

类似地，如图4C所示，影像处理器130控制IR发射器120由亮灯状态转换为暗灯状态时撷取一第三帧影像430。此时IR光源处于由亮至暗的过程，因此在滚动快门机制下，第三帧影像430中的待摄物OBJ会有曝光程度不一致的问题，影像处理器130无法对第三帧影像430进行分析。如图4D所示，影像处理器130控制IR发射器120持续暗灯状态一段时间后撷取一第四帧影像440。此时，IR光源已完全熄灭，使得第四帧影像440 中的待摄物OBJ曝光程度一致。故第四帧影像440代表在暗灯状态下的帧影像，且影像处理器130将对该帧影像进行后续分析。

若以全局快门机制来撷取动态影像中的该些帧影像，由于全局快门机制为同时撷取一帧影像中的所有像素，故不会造成同一个帧影像的曝光程度不一致。因此，影像处理器130可透过全局快门机制直接撷取动态影像的二个帧影像，且影像处理器130对上述二个帧影像进行后续分析。如图 5A-5B，其说明本发明一实施例的影像处理器透过全局快门机制撷取二个帧影像的示意图。

如图5A所示，影像处理器130控制IR发射器120于亮灯状态时撷取一第一帧影像510。在第一帧影像510中的待摄物OBJ曝光程度一致，且第一帧影像510将代表在亮灯状态下的帧影像。如图5B所示，影像处理器 130控制IR发射器120于暗灯状态时撷取一第二帧影像520。在第二帧影像520中的待摄物OBJ曝光程度一致，且第二帧影像520将代表在暗灯状态下的帧影像。

需说明的是，在所取得的这些帧影像中，每一个帧影像都具有RGB像素与IR像素，故每一帧影像都可区分为RGB影像与IR影像。由于RGB 影像容易受到IR光污染，所以会希望用于分析的RGB影像没有经过IR光源照射。因此，在步骤S310之后，影像处理器130将从这些帧影像中撷取代表暗灯状态(没有经过IR光源照射)的其中一个RGB影像作为一RGB 撷取影像710，此外，撷取代表亮灯状态的其中一个IR影像作为一IR亮帧影像610，且撷取代表暗灯状态的其中一个IR影像作为一IR暗帧影像 620(步骤S320)。

以影像处理器130撷取图4A-4D的四个帧影像为例作说明。影像处理器130将撷取第四帧影像440中的RGB影像作为RGB撷取影像710，撷取第二帧影像420中的IR影像作为IR亮帧影像610，且撷取第四帧影像 440中的IR影像作为IR暗帧影像620。

再以影像处理器130撷取图5A-5B的二个帧影像为例作说明。影像处理器130将撷取第二帧影像520中的RGB影像作为RGB撷取影像710，撷取第一帧影像510中的IR影像作为IR亮帧影像610，且撷取第二帧影像520中的IR影像作为IR暗帧影像620。

请同时参考图6，在取得RGB撷取影像710、IR亮帧影像610与IR 暗帧影像620(即步骤S320)后，影像处理器130接着将计算IR亮帧影像 610与IR暗帧影像620的一差值影像630。影像处理器130再根据一门槛值将差值影像630二值化以产生一二值化影像640(步骤S330)，以将差值影像630中的待摄物OBJ(前景)与非待摄物OBJN(背景)分开。此时，二值化影像640将具有一IR前景部分642与一IR背景部分644。

更进一步来说，影像处理器130首先将在IR亮帧影像610与IR暗帧影像620中，依序撷取同一个像素位置的像素值。再来，影像处理器130 将依序计算同一个像素位置的像素值的差值，以产生差值影像630。差值影像630的每一个像素位置的像素值可以下述式(1)来表示。

IR(i,j)＝(IRb(i,j)-IRd(i,j))/2式(1)

其中，(i,j)为像素位置，IRb(i,j)为IR亮帧影像610的某个像素位置的像素值，IRb(i,j)为IR暗帧影像620的某个像素位置的像素值，且IR(i,j)为差值影像630的某个像素位置的像素值。需说明的是，差值影像的像素值可以有不同的定义，式(1)只是本实施例所使用的其中一种定义。

举例来说，影像处理器130撷取IR亮帧影像610与IR暗帧影像620 中，同一个像素位置(i,j)＝(10,50)的像素值，且像素值分别为50与20。而影像处理器130将透过式(1)来计算差值影像630的像素位置(10,50)的像素值IR(10,50)，即IR(10,50)＝(IRb(10,50)-IRd(10,50))/2＝(50-20)/2＝15。再举例来说，考虑IR亮帧影像610与IR暗帧影像620中，同一个像素位置 (i,j)＝(100,100)的像素值，且像素值分别为150与30。影像处理器130将透过式(1)来计算差值影像630的像素位置(100,100)的像素值IR(100,100)，即IR(100,100)＝(IRb(100,100)-IRd(100,100))/2＝(150-30)/2＝60。而差值影像 630中其他像素位置的像素值同样以式(1)计算而得，以藉此产生差值影像630。

影像处理器130接着将判断差值影像630中的每一个像素(以下称为差值像素)的像素值是否大于等于门槛值。若差值像素的像素值大于等于门槛值，影像处理器130将该差值像素视为IR前景部分642中的像素(以下称为前景像素)。而若差值像素的像素值小于门槛值，影像处理器130 则将该差值像素视为IR背景部分644的像素(以下称为背景像素)。

承接上述例子，门槛值设定为25。因此，影像处理器130判断此差值像素的像素值IR(10,50)＝15小于门槛值25，并将差值像素(10,50)视为二值化影像640的背景像素(即二值化影像中像素值为0)。而影像处理器130 判断此差值像素的像素值(100,100)＝60大于等于门槛值25，并将差值像素 (100,100)视为二值化影像640的前景像素(即二值化影像中，像素值设为例如255)。

而上述差值影像630的计算以及门槛值的设定，可以照实际状况来作修正，本发明对此不作限制。

接着，请同时参考图7，在取得二值化影像640(即步骤S330)后，影像处理器130将进一步撷取RGB撷取影像710中，与二值化影像640的 IR前景部分642的位置对应的多个前景像素，并将这些前景像素作为一输出影像790的一前景影像720(设定为RGB影像)。而输出影像790的一背景影像730可以设定为黑色(如图7所示)，且亦可以任何影像做为输出影像790的背景影像730。

综上所述，本发明实施例所提供的一种前景影像720提取的影像处理方法与电子装置，其利用IR来进行前景影像提取，以降低环境光影响与背景杂讯。更进一步来说，本发明的影像处理方法与电子装置在不同的IR强度下撷取多个IR影像，并透过一些运算计算多个IR影像之间的关系以提取较佳的前景影像，进而可降低整体运算量而达到即时处理。

以上所述仅为本发明的实施例，其并非用以局 限本发明的专利范围。

Claims (10)

1.一种前景影像提取的影像处理方法，适用于一电子装置，且该影像处理方法包括：

控制一IR发射器由一暗灯状态到一亮灯状态再回到该暗灯状态；

撷取一动态影像的复数个帧影像，且每一该帧影像具有一RGB影像与一IR影像，其中该些帧影像是在该IR发射器由该暗灯状态到该亮灯状态再回到该暗灯状态的过程中产生；

撷取代表该暗灯状态的其中一该RGB影像作为一RGB撷取影像，撷取代表该亮灯状态的其中一该IR影像作为一IR亮帧影像，且撷取代表该暗灯状态的其中一该IR影像作为一IR暗帧影像；

计算该IR亮帧影像与该IR暗帧影像的一差值影像，且根据一门槛值将该差值影像二值化以产生一二值化影像，其中该二值化影像具有一IR前景部分与一IR背景部分；以及

撷取该RGB撷取影像中对应该IR前景部分的复数个前景像素，并将该些前景像素作为一输出影像的一前景影像，

其中，于计算该差值影像的步骤中，更包括：

于IR亮帧影像与IR暗帧影像中，依序撷取同一个像素位置的像素值；

依序计算该同一个像素位置的该些像素值的差值，以产生该差值影像。

2.根据权利要求1所述的影像处理方法，其中，于撷取该动态影像的该些帧影像的步骤中，更包括：

透过一滚动快门(Rolling Shutter)机制或一全局快门(Global Shutter)机制撷取该动态影像中的该些帧影像。

3.根据权利要求2所述的影像处理方法，其中，于透过该滚动快门机制撷取该动态影像的该些帧影像的步骤中，更包括：

撷取该动态影像中的四个帧影像，其中于该IR发射器由该暗灯状态转换为该亮灯状态的过程撷取一第一帧影像，于该IR发射器持续该亮灯状态一段时间的过程撷取一第二帧影像，于该IR发射器由该亮灯状态转换为该暗灯状态的过程撷取一第三帧影像，且于该IR发射器持续该暗灯状态一段时间的过程撷取一第四帧影像。

4.根据权利要求3所述的影像处理方法，其中，于撷取该RGB撷取影像、该IR亮帧影像与该IR暗帧影像的步骤中，更包括：

撷取该第四帧影像中的该RGB影像作为该RGB撷取影像，撷取该第二帧影像中的该IR影像作为该IR亮帧影像，且撷取该第四帧影像中的该IR影像作为该IR暗帧影像。

5.根据权利要求2所述的影像处理方法，其中，于透过该全局快门机制撷取该动态影像的该些帧影像的步骤中，更包括：

撷取该动态影像中的二个帧影像，其中于该IR发射器于该亮灯状态时撷取一第一帧影像，且于该暗灯状态时撷取一第二帧影像。

6.根据权利要求5所述的影像处理方法，其中，于撷取该RGB撷取影像、该IR亮帧影像与该IR暗帧影像的步骤中，更包括：

撷取该第二帧影像中的该RGB影像作为该RGB撷取影像，撷取该第一帧影像中的该IR影像作为该IR亮帧影像，且撷取该第二帧影像中的该IR影像作为该IR暗帧影像。

7.根据权利要求5所述的影像处理方法，其中，于撷取该动态影像的该些帧影像之前，更包括：

发射一IR讯号至一待摄物，接收该待摄物反射的一IR反射讯号，且接收一可见光讯号；以及

根据该IR反射讯号与该可见光讯号产生该动态影像。

8.根据权利要求1所述的影像处理方法，其中，于计算该差值影像的步骤中，更包括：

判断该差值影像中的每一差值像素的像素值是否大于等于该门槛值；

若该差值像素的该像素值大于等于该门槛值，将该差值像素视为该IR前景部分的该前景像素；以及

若该差值像素的该像素值小于该门槛值，将该差值像素视为该IR背景部分的一背景像素。

9.一种前景影像提取的电子装置，包括：

一IR发射器，发射一IR讯号；

一影像撷取装置，接收关联于该IR讯号的一IR反射讯号，且接收一可见光讯号；以及

一影像处理器，耦接该IR发射器与该影像撷取装置，且用以执行下列步骤：

控制该IR发射器由一暗灯状态到一亮灯状态再回到该暗灯状态，且根据该IR反射讯号与该可见光讯号产生一动态影像；

撷取该动态影像的复数个帧影像，且每一该帧影像具有一RGB影像与一IR影像，其中该些帧影像是在该影像处理器控制该IR发射器由该暗灯状态到该亮灯状态再回到该暗灯状态的过程中产生；

撷取代表该暗灯状态的其中一该RGB影像作为一RGB撷取影像，撷取代表该亮灯状态的其中一该IR影像作为一IR亮帧影像，且撷取代表该暗灯状态的其中一该IR影像作为一IR暗帧影像；

计算该IR亮帧影像与该IR暗帧影像的一差值影像，且根据一门槛值将该差值影像二值化以产生一二值化影像，其中该二值化影像具有一IR前景部分与一IR背景部分；以及

撷取该RGB撷取影像中对应该IR前景部分的复数个前景像素，并将该些前景像素作为一输出影像的一前景影像，

其中，于计算该差值影像的步骤中，更包括：

于IR亮帧影像与IR暗帧影像中，依序撷取同一个像素位置的像素值；

依序计算该同一个像素位置的该些像素值的差值，以产生该差值影像。

10.根据权利要求9所述的电子装置，其中，当该影像处理器撷取该动态影像的该些帧影像时，透过一滚动快门(Rolling Shutter)机制或一全局快门(Global Shutter)机制撷取该动态影像中的该些帧影像。

Images