CN107534762A - 不需要背景幕布的色键影像合成方法 - Google Patents
不需要背景幕布的色键影像合成方法 Download PDFInfo
- Publication number
- CN107534762A CN107534762A CN201580021027.1A CN201580021027A CN107534762A CN 107534762 A CN107534762 A CN 107534762A CN 201580021027 A CN201580021027 A CN 201580021027A CN 107534762 A CN107534762 A CN 107534762A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- value
- background
- matte
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001308 synthesis method Methods 0.000 title description 5
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000012937 correction Methods 0.000 claims abstract description 14
- 238000004040 coloring Methods 0.000 claims abstract description 13
- 239000000284 extract Substances 0.000 claims abstract description 6
- 230000000873 masking effect Effects 0.000 claims description 11
- 230000003628 erosive effect Effects 0.000 claims description 9
- 230000010339 dilation Effects 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000003702 image correction Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 238000013329 compounding Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000010189 synthetic method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Circuits (AREA)
Abstract
根据本发明一个实施例的色键合成装置的色键合成方法，包括：拍摄背景(background)中不包含客体(object)的第一影像，读取并保留所述第一影像的颜色信息的步骤；拍摄所述背景中包含所述客体的第二影像，读取并保留所述第二影像的颜色信息的步骤；通过从所述第二影像去除相当于所述第一影像的颜色信息的色值，从所述第二影像去除所述背景仅提取所述客体以获得客体影像的步骤；拍摄所述背景中包含所述客体的红外线影像，通过从所述红外线影像读取的深度信息获取所述红外线影像中追踪所述客体的客体深度影像的步骤；通过所述客体深度影像补正所述客体影像的步骤；以及，合成补正的所述客体影像与选定的背景影像的步骤。
Description
技术领域
本发明涉及不需要背景幕布的色键影像合成方法，尤其涉及一种从一般背景下拍摄客体得到的彩色影像与红外线影像提取客体，通过所述红外线影像补正所述彩色影像的客体像素孔，通过所述彩色影像补正所述红外线影像的客体轮廓线后相互合成，因此在没有背景幕布的环境下也能够方便、准确地获得合成色键影像所需的客体影像的不需要背景幕布的色键影像合成方法。
背景技术
一般的色键(chroma key)合成装置是将特定色度指定为键(key)后，生成以色键(chromakey)为背景通过摄像机拍摄的客体与背景幕布影像的背景幕布影像替代成其他背景影像合成的影像。色键(chroma key)用于合成影像，将特定色度(chroma)指定为键(key)后用其他影像替代主影像中相当于键(key)的像素(pixel)。此处，执行色键(chroma key)的算法中，键(key)不是单一的色度(chroma)值，而是表示色度(chroma)值的范围。因此，色键(chroma key)的执行需要作为键(key)的背景幕布(backgrou nd screen)，背景幕布的色度(chroma)值范围应该小。并且，背景幕布与客体(object)(包括人在内的与幕布区分的所有物体)应以色度(chroma)为基准彼此分离。
对于这种色键技术而言，为了分离背景幕布(background screen)与客体(object)，需要预先计划使客体的颜色与背景颜色不相同。并且，即使客体的颜色与背景的颜色不相同，但特定照明条件下能够变成相同，因此需要预先计划照明条件。并且，客体在特定摄像机演出技法下能够落入与背景相同的色度范围，因此需要预先计划摄像机技法。并且，在其他客体出现时引发反射或影子、照明状态的变化等的情况，因此客体可能落入与背景相同的颜色范围，因此需要预先对此做出计划。
并且，为了预先计划客体与摄像机、照明等，必须能够在拍摄前预测出背景的色键值。并且，所有摄像机都会引起实物的颜色与其他状态出现预定程度的失真，因此对背景幕布的色键(chroma key)来讲，眼睛看到的键(key)值与通过摄像机进入的影像信号的色键(chroma key)值出现差异，因此最小化这些差异才能够按预先计划的颜色构成拍摄。并且，背景幕布的色度(chroma)成分能够随客体与照明、摄像机演出技法等发生变化，这种情况下作为基准的键值也能够发生变化，因此需要预先计划以防止发生这种现象。
如上所述的现有色键技术必须具有背景屏幕。即，是拍摄合成色键所需的客体时，使客体位于具有特定颜色的背景幕布并进行拍摄后对拍摄的影像执行色度键控(chromakeying)仅提取客体并合成到想要的影像的方式，必须在具有特定色键的背景幕布进行拍摄。因此，现有的色键影像合成只能在具有背景幕布的室内等特定空间拍摄影像，因此非常不方便。由于现有技术具有这种问题，需要开发出能够柔和、高准确度地对在没有背景幕布的环境下拍摄的影像执行色键影像合成的技术。
发明内容
技术问题
本发明为解决上述现有技术问题，目的在于提供一种从一般背景下拍摄客体得到的彩色影像与红外线影像提取客体，通过所述红外线影像补正所述彩色影像的客体像素孔，通过所述彩色影像补正所述红外线影像的客体轮廓线后相互合成，因此在没有背景幕布的环境下也能够方便、准确地获得色键合成所需的客体影像的不需要背景幕布的色键影像合成方法。
技术方案
为达成上述目的且解决现有技术问题，根据本发明一个实施例的色键合成装置的色键合成方法包括：拍摄背景(background)中不包含客体(object)的第一影像，读取并保留所述第一影像的颜色信息的步骤；拍摄所述背景中包含所述客体的第二影像，读取并保留所述第二影像的颜色信息的步骤；通过从所述第二影像去除相当于所述第一影像的颜色信息的色值，从所述第二影像去除所述背景仅提取所述客体以获得客体影像的步骤；拍摄所述背景中包含所述客体的红外线影像，通过从所述红外线影像读取的深度信息获取所述红外线影像中追踪所述客体的客体深度影像的步骤；对所述客体影像的像素与所述客体深度影像的像素通过彼此的像素信息进行补正，通过合成所述客体影像与所述客体深度影像获得色键客体影像的步骤；以及，合成所述色键客体影像与选定的背景影像的步骤。
并且，根据本发明一个实施例的色键合成装置的色键合成方法，通过从所述第二影像去除相当于所述第一影像的颜色信息的色值，从所述第二影像去除所述背景仅提取所述客体以获得客体影像的步骤包括：与所述第二影像的各像素的RGB(YUV)值对应地按影像大小(宽度*高度)匹配所述第一影像的各像素的RGB(YUV)值的步骤；设所述第二影像的任意一个像素值为r1，g1，b1，所述第一影像的任意一个像素值为r2，g2，b2，所述客体影像的任意一个像素值为r3，g3，b3的情况下，运算r3＝|r2-r1|，g3＝|g2-g1|，b3＝|b2-b1|的步骤；以及，所述r3、所述g3、所述b3分别收敛于0的情况下，将该像素判别为所述背景，而在选定的临界值以上的情况下将该像素判别为所述客体的步骤。
并且，根据本发明一个实施例的色键合成装置的色键合成方法，其特征在于，运算所述r3、所述g3、所述b3的步骤以后还包括：通过数学式r3＝|r2-r1|-rt，g3＝|g2-g1|-gt，b3＝|b2-b1|-bt补正所述r3、所述g3、所述b3的步骤，所述数学式中，rt，gt，bt是各像素的临界值，感测拍摄选定的时间长度的背景影像的各像素值的变化，从所述感测的所述各像素值的变化算出最小值与最大值以算出所述各像素的临界值。
并且，根据本发明一个实施例的色键合成装置的色键合成方法，拍摄所述背景中包含所述客体的红外线影像，通过从所述红外线影像读取的深度信息获取所述红外线影像中追踪所述客体的客体深度影像的步骤包括：利用所述客体影像的像素信息去除关于所述客体深度影像的轮廓线的噪声的步骤；利用所述客体深度影像的像素信息匹配对应于所述客体影像中的像素孔的像素的步骤；以及，合成去除所述噪声后的客体深度影像与匹配所述像素孔的客体影像的步骤。
并且，根据本发明一个实施例的色键合成装置的色键合成方法，其特征在于，在利用所述客体影像的像素信息去除关于所述客体深度影像的轮廓线的噪声的步骤，确认以中心像素为基准相邻的八个像素的值并在缺少所述八个像素中任意一个以上值的情况下，通过丢弃所述中心像素值的影像处理形态学运算(Morphological Operation)中的侵蚀(Erosion)运算去除关于所述客体深度影像的掩蔽影像噪声。
并且，根据本发明一个实施例的色键合成装置的色键合成方法，其特征在于，在利用所述客体深度影像的像素信息匹配对应于所述客体影像中的像素孔的像素的步骤，确认以中心像素为基准相邻的八个像素的值并在具有所述八个像素中任意一个以上值的情况下，通过设为所述中心像素值的影像处理形态学运算(Morphological Operation)中的扩张(Dilation)运算执行填补所述客体影像的掩蔽影像孔的技术方法。
技术效果
本发明的色键合成装置的色键合成方法，无需在蓝色幕布等背景幕布拍摄客体，只需在一般背景拍摄客体得到的彩色影像与红外线影像即可准确、方便地获得色键影像合成所需的关于客体的影像。
附图说明
图1为显示根据本发明一个实施例的色键合成装置的构成框图；
图2为显示根据本发明一个实施例的色键合成方法的流程图；
图3为显示根据本发明一个实施例的色键合成方法的另一流程图；
图4为显示根据本发明一个实施例的第一影像的一个例子的示意图；
图5为显示根据本发明一个实施例的第二影像的一个例子的示意图；
图6为显示根据本发明一个实施例的通过第一影像与第二影像之间的像素运算获取的客体影像的示意图；
图7为显示根据本发明一个实施例的客体影像中发生的问题的示意图；
图8为显示根据本发明一个实施例获取的客体深度影像的示意图；
图9为显示根据本发明一个实施例的对客体深度影像去除前景掩蔽影像噪声后的客体深度影像的示意图；
图10为显示根据本发明一个实施例的合成彩色客体影像与红外线客体影像得到的色键客体影像的示意图；
图11为显示根据本发明一个实施例的色键客体影像的前景掩蔽的示意图。
具体实施方式
以下参照附图详细说明本发明的实施例。
图1为显示根据本发明一个实施例的色键合成装置的构成框图。
执行本发明的不需要背景幕布的色键影像合成方法的色键合成装置可包括计算设备110、摄像机121、红外线摄像机122、显示器130。显示器130只是用于输出合成完的色键合成影像，其不限于显示器，实际上可以通过智能终端等其他输出装置输出色键合成影像。
摄像机121用于将预定对象拍摄成影像，其不限于摄录像机、数码相机、网络摄像机等摄像机种类，只要是拍摄影像并输入到计算设备110的构成便足矣。红外线摄像机122可以是拍摄红外线影像并将该红外线影像发送到计算设备110的构成。
计算设备110起到接收通过摄像机121及红外线摄像机122拍摄的影像并生成输入影像，从所述输入影像追踪被摄体的外廓线及移动，生成包含待提取的目标被摄体的影像，合成所述影像与其他背景影像的功能，可包括影像输入部111、影像处理部112、影像合成部113、影像存储部114及影像输出部115。计算设备110可以是包括具有预定运算能力的处理器与运行系统(OS：OperatingSystem)的设备。例如，计算设备110可以是台式计算机、MAC、笔记本电脑、平板电脑、控制游戏机、智能手机、智能板等具有处理器与运行系统的多种设备。
图2为显示根据本发明一个实施例的色键合成方法的流程图，图3为显示根据本发明一个实施例的色键合成方法的另一流程图。
根据本发明的一个实施例，色键合成装置拍摄背景((background)中不包含客体(object)的第一影像，读取并保留第一影像的颜色信息(步骤210)。所述第一影像可以是如图4不包含客体。读取所述第一影像的色度值并存储。彩色影像的各像素为RGB(YUV)颜色，具有8字节的3种值。
RGB：Red(8字节)+Green(8字节)+Blue(8字节)
YUV：Y(8字节)+U(8字节)+V(8字节)
YUV根据RGB如下计算得到。
Y′＝WRR+WGG+WBB-0.299R+0.587G+0.114B
U＝UMAX((B-Y′)/(1-WB))0.492(B-Y′)
V＝VMAX((R-Y′)/(1-WR))0.877(R-Y′)
影像大小为1920x1080的全高清(Full HD)影像的情况下，存储的影像大小可能需要1,920(宽度)x1,080(高度)x8(字节)x3＝49,766,400(字节)的存储器。并且，各颜色(RGB，YUV)的R，G，B，Y，U，V的值为8字节，因此具有0～255的值。为便于计算，上述值有时也用0～1的实数表示。
所述色键合成装置拍摄所述背景中含所述客体的第二影像，读取并保留所述第二影像的颜色信息(步骤220)。所述第二影像是指如图5所示的具有与第一影像一样的背景且包含客体的影像。所述第二影像也可以以RGB(YUV)值的形式存储在存储器。
所述色键合成装置通过从所述第二影像去除相当于所述第一影像的颜色信息的色值，从所述第二影像去除所述背景获得仅提取所述客体的客体影像(步骤230)。提取的所述客体影像如图6所示。
步骤230包括：与所述第二影像的各像素的RGB(YUV)值对应地按影像大小(宽度*高度)匹配所述第一影像的各像素的RGB(YUV)值的步骤；设所述第二影像的任意一个像素值为r1，g1，b1，所述第一影像的任意一个像素值为r2，g2，b2，所述客体影像的任意一个像素值为r3，g3，b3的情况下，运算r3＝|r2-r1|，g3＝|g2-g1|，b3＝|b2-b1|的步骤；所述r3，所述g3，所述b3分别收敛于0的情况下，将该像素判别为所述背景，而在选定的临界值以上的情况下将该像素判别为所述客体的步骤。
并且，运算所述r3，所述g3，所述b3的步骤以后，还可以包括通过数学式r3＝|r2-r1|-rt，g3＝|g2-g1|-gt，b3＝|b2-b1|-bt补正所述r3、所述g3、所述b3的步骤。所述数学式中，rt，gt，bt是各像素的临界值，可以感测拍摄选定的时间长度的背景影像的各像素值的变化，从所述感测的所述各像素值的变化算出最小值与最大值以算出所述各像素的临界值。
步骤230中，对第二影像的一个像素的值RGB(YUV)与第一影像的对应的一个像素RGB(YUV)值执行相当于影像的大小即宽度*长度的匹配。设第二影像的一个像素为r1，g1，b1，第一影像的一个像素为r2，g2，b2，客体影像的一个像素为r3，g3，b3的情况下，算出r3＝|r2-r1|，g3＝|g2-g1|，b3＝|b2-b1|的各值。因此，r3，g3，b3无限接近0时该像素被识别为背景，具有很大差异的情况下可被识别为前景。此处，为了因第二影像的背景变化(照度变化及其他环境变化)而出现不必要的值时对此进行补正，可以设定各颜色值的临界值rt，gt，bt进行补正。因此，最终算法如下。
r3＝|r2-r1|-rt，g3＝|g2-g1|-gt，b3＝|b2-b1|-bt
可以在满足条件if(r3＜0&&g3＜0&&b3＜0)时识别为背景像素，否则识别为前景像素。
在求出临界值rt，gt，bt方面，颜色影像色键的核心为得出rt，gt，bt的值，本发明可通过手动方式和自动方式这两种方式得出上述值。首先，手动方式的情况下，用户直接输入上述三种值适用于所有像素。此处，可直接用眼睛确认结果值并指定出现最佳结果的三种值。这种手动方式的优点是能够一次性得到这些值。另外，自动方式的情况下拍摄预定时间(约10秒)的作为背景的影像，求出各像素的值变化的最小值与最大值，以求出各像素的三种临界值。这种自动方式的优点是各像素的临界值互异，因此能够得到精确结果。
通过步骤230获得的彩色客体影像是以相应像素的色值为基准求出前景影像的，因此颜色与背景影像相同的情况下出现如图7中红色轮廓一样的孔。
为解决这种问题，所述色键合成装置拍摄所述背景中包含所述客体的红外线影像，通过从所述红外线影像读取的深度信息从所述红外线影像获得追踪所述客体的客体深度影像(步骤240)。所述客体深度影像可如图8获得。
所述色键合成装置向物体投影RGB影像乃至特定的红外线点图案分析点图案的特性以获得深度信息，能够提供骨架跟踪。为生成深度影像，所述色键合成装置可以用受光传感器检测被物体反射回来的红外线的图案。而因发光装置与受光传感器之间的距离差而产生盲区、光滑的物体表面使得红外线散射少导致激光无法回到受光传感器的情况下无法感测红外线图案，因此关于未检测到的位置的值在深度影像中可能以孔(hole)形式出现。并且深度信息的非连续点与红外线发射部垂直的情况下，客体分界周边可能会出现孔，因此用视频连续播放各深度影像的情况下能够确认分界周边的跳动现象，为了生成假想时点影像，可以去除这种跳动现象。深度影像也可以通过用红外线摄像机读取从红外线投影仪照射的红外线图案并匹配图案的方式生成。
所述色键合成装置补正所述客体影像的像素与所述客体深度影像的像素时通过彼此的像素信息进行补正，并合成所述客体影像与所述客体深度影像获得色键客体影像(步骤250)。
步骤250包括：利用所述客体影像的像素信息去除关于所述客体深度影像的轮廓线的噪声的步骤；利用所述客体深度影像的像素信息匹配对应于所述客体影像中的像素孔的像素的步骤；合成去除所述噪声后的客体深度影像与匹配所述像素孔的客体影像的步骤。
在利用所述客体影像的像素信息去除关于所述客体深度影像的轮廓线的噪声的步骤，所述色键合成装置确认以中心像素为基准相邻的八个像素的值，当缺少所述八个像素中任意一个以上值的情况下，可通过丢弃所述中心像素值的影像处理形态学运算(MorphologicalOperation)中的侵蚀(Erosion)运算去除关于所述客体深度影像的掩蔽影像噪声。
另外，在利用所述客体深度影像的像素信息匹配对应于所述客体影像中的像素孔的像素的步骤，所述色键合成装置确认以中心像素为基准相邻的八个像素的值，当具有所述八个像素中任意一个以上值的情况下，通过设为所述中心像素值的影像处理形态学运算(Morphological Operation)中的扩张(Dilation)运算执行填补所述客体影像的掩蔽影像孔的方法。
所述色键合成装置可以如图9通过影像处理形态学运算中的侵蚀(Erosion)运算去除掩蔽影像噪声。
-侵蚀运算(Erosion算法)
| 1 | 2 | 3 |
| 4 | 中心像素 | 5 |
| 6 | 7 | 8 |
确认上述以中心像素为基点的相邻的八个像素的值后发现缺少八个像素中至少一个值的情况下可丢弃中心像素值。
所述色键合成装置利用影像处理形态学运算中的扩张(Dilation)运算执行填补掩蔽影像孔的方法。
-扩张运算(Dilation算法)
| 1 | 2 | 3 |
| 4 | 中心像素 | 5 |
| 6 | 7 | 8 |
确认上述以中心像素为基点的相邻的八个像素的值或发现具有八个像素中至少一个值时能够具有中心像素值。
所述色键合成装置可以如图10与图11弥补彩色客体影像与红外线客体影像的各缺点后合成两个影像。图11中，彩色影像前景掩蔽中黑色的值为0，红色的值为255，红外线影像前景掩蔽中黑色的值为0，绿色的值为255。此处，合成a)影像与b)影像的值得到三种值0，255，510。结果值为0时可以确定是背景图像，结果值为255时可视为前景颜色。并且，结果值为510时可确定是前景颜色。另外，由于结果值为255时可以视为a)与b)中前景颜色，因此调查周边像素，并且可以在分布有255以上时确定为前景，有0值时确定为背景。
所述色键合成装置可以将通过这种方法获取的所述色键客体影像合成到选定的背景影像合成色键影像(步骤260)。
本发明的睡眠状态感测方法可以以能够通过多种计算机设备执行的程序命令的形式存储在计算机可读介质中。所述计算机可读介质可包括程序命令、数据文件、数据结构等中的一种或其组合。存储在所述介质中的程序命令可以是为本发明而专门设计和构成的或计算机软件领域普通技术人员所公知和常用的技术手段。计算机可读存储介质例如可以包括硬盘、软盘及磁带等磁介质(magnetic media)、CDROM、DVD等光存储介质(opticalmedia)、软磁盘(floptical disk)等磁-光介质(magneto-optical media)及ROM、RA M、闪存储器等用于存储和执行程序命令的特殊构成的硬件装置。所述介质可以是包括传输用于指定程序命令、数据结构等的信号的载波的光或金属线、导波管等传送介质。程序命令例如不仅包括编译器得到的机械代码，还包括能够通过计算机执行的高级语言代码。所述硬件装置可以构建成为以一个以上软件模块的方式执行本发明的动作，反之相同。
以上通过有限的实施例与附图对本发明进行了说明，但本发明不限于上述实施例，本发明所属领域的普通技术人员可通过这些记载进行多种修正及变形。
因此，本发明的范围不限于说明的实施例，而是应该定义为与技术方案等同的范围。
Claims (7)
1.一种色键合成装置的色键合成方法，其特征在于，包括：
拍摄背景(background)中不包含客体(object)的第一影像，读取并保留所述第一影像的颜色信息的步骤；
拍摄所述背景中包含所述客体的第二影像，读取并保留所述第二影像的颜色信息的步骤；
通过从所述第二影像去除相当于所述第一影像的颜色信息的色值，从所述第二影像去除所述背景仅提取所述客体以获得客体影像的步骤；
拍摄所述背景中包含所述客体的红外线影像，通过从所述红外线影像读取的深度信息获取所述红外线影像中追踪所述客体的客体深度影像的步骤；
对所述客体影像的像素与所述客体深度影像的像素通过彼此的像素信息进行补正，通过合成所述客体影像与所述客体深度影像获得色键客体影像的步骤；以及
合成所述色键客体影像与选定的背景影像的步骤。
2.根据权利要求1所述的色键合成装置的色键合成方法，其特征在于，通过从所述第二影像去除相当于所述第一影像的颜色信息的色值，从所述第二影像去除所述背景仅提取所述客体以获得客体影像的步骤包括：
与所述第二影像的各像素的RGB(YUV)值对应地按影像大小(宽度*高度)匹配所述第一影像的各像素的RGB(YUV)值的步骤；
设所述第二影像的任意一个像素值为r1，g1，b1，所述第一影像的任意一个像素值为r2，g2，b2，所述客体影像的任意一个像素值为r3，g3，b3的情况下，运算r3＝|r2-r1|，g3＝|g2-g1|，b3＝|b2-b1|的步骤；以及
所述r3，所述g3，所述b3分别收敛于0的情况下，将该像素判别为所述背景，而在选定的临界值以上的情况下将该像素判别为所述客体的步骤。
3.根据权利要求2所述的色键合成装置的色键合成方法，其特征在于，运算所述r3，所述g3，所述b3的步骤以后还包括：
通过数学式r3＝|r2-r1|-rt，g3＝|g2-g1|-gt，b3＝|b2-b1|-bt补正所述r3、所述g3、所述b3的步骤，
所述数学式中，rt，gt，bt是各像素的临界值，感测拍摄选定的时间长度的背景影像的各像素值的变化，从所述感测的所述各像素值的变化算出最小值与最大值以算出所述各像素的临界值。
4.根据权利要求1所述的色键合成装置的色键合成方法，其特征在于，对所述客体影像的像素与所述客体深度影像的像素通过彼此的像素信息进行补正，通过合成所述客体影像与所述客体深度影像获得色键客体影像的步骤包括：
利用所述客体影像的像素信息去除关于所述客体深度影像的轮廓线的噪声的步骤；
利用所述客体深度影像的像素信息匹配对应于所述客体影像中的像素孔的像素的步骤；以及
合成去除所述噪声后的客体深度影像与匹配所述像素孔的客体影像的步骤。
5.根据权利要求4所述的色键合成装置的色键合成方法，其特征在于：
在利用所述客体影像的像素信息去除关于所述客体深度影像的轮廓线的噪声的步骤，确认以中心像素为基准相邻的八个像素的值并在缺少所述八个像素中任意一个以上值的情况下，通过丢弃所述中心像素值的影像处理形态学运算(Morphological Operation)中的侵蚀(Erosion)运算去除关于所述客体深度影像的掩蔽影像噪声。
6.根据权利要求4所述的色键合成装置的色键合成方法，其特征在于：
在利用所述客体深度影像的像素信息匹配对应于所述客体影像中的像素孔的像素的步骤，确认以中心像素为基准相邻的八个像素的值并在具有所述八个像素中任意一个以上值的情况下，通过设为所述中心像素值的影像处理形态学运算(MorphologicalOperation)中的扩张(Dilation)运算执行填补所述客体影像的掩蔽影像孔的方法。
7.一种计算机可读存储介质，其存储有执行权利要求1至6中任一项所述方法的程序。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2015-0162017 | 2015-11-18 | ||
| KR1020150162017A KR101733125B1 (ko) | 2015-11-18 | 2015-11-18 | 배경스크린이 필요 없는 크로마키 영상 합성 방법 |
| PCT/KR2015/012808 WO2017086522A1 (ko) | 2015-11-18 | 2015-11-27 | 배경스크린이 필요 없는 크로마키 영상 합성 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107534762A true CN107534762A (zh) | 2018-01-02 |
Family
ID=58717487
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580021027.1A Pending CN107534762A (zh) | 2015-11-18 | 2015-11-27 | 不需要背景幕布的色键影像合成方法 |
Country Status (3)
| Country | Link |
|---|---|
| KR (1) | KR101733125B1 (zh) |
| CN (1) | CN107534762A (zh) |
| WO (1) | WO2017086522A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102062982B1 (ko) * | 2018-05-14 | 2020-01-07 | 이정협 | 영상 합성 방법 |
| US11151747B2 (en) | 2019-03-20 | 2021-10-19 | Kt Corporation | Creating video augmented reality using set-top box |
| KR102574103B1 (ko) * | 2023-04-04 | 2023-09-04 | (주)팬옵틱스 | THz 스캔 이미지를 이용한 인공지능 학습모델 기반의 은닉물 탐지 장치 및 시스템 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1223058A (zh) * | 1997-02-20 | 1999-07-14 | 索尼公司 | 图像信号处理装置和方法、画面合成装置、以及编辑装置 |
| KR20070064082A (ko) * | 2005-12-16 | 2007-06-20 | 주식회사 피알존 | 크로마키 기법을 적용한 개인 홍보 영상 제작 시스템 및방법 |
| CN101674418A (zh) * | 2008-09-10 | 2010-03-17 | 新奥特（北京）视频技术有限公司 | 一种虚拟演播室系统中主持人深度的检测方法 |
| KR20110023279A (ko) * | 2009-08-31 | 2011-03-08 | 한국산업기술대학교산학협력단 | 다중카메라 시스템에서의 객체 추적 방법 및 그 장치 |
| JP2011059950A (ja) * | 2009-09-09 | 2011-03-24 | Noritsu Koki Co Ltd | 画像合成装置および画像合成方法 |
| KR20110130845A (ko) * | 2010-05-28 | 2011-12-06 | 광운대학교 산학협력단 | 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체 |
| KR20120051213A (ko) * | 2010-11-12 | 2012-05-22 | 엘지전자 주식회사 | 멀티미디어 장치의 영상촬영방법 및 그에 따른 멀티미디어 장치 |
| KR20140003116A (ko) * | 2012-06-29 | 2014-01-09 | 에스케이플래닛 주식회사 | 영상 추출 및 합성 장치, 이의 방법 |
| CN103578113A (zh) * | 2013-11-19 | 2014-02-12 | 汕头大学 | 前景图像提取方法 |
| US20140079288A1 (en) * | 2012-09-20 | 2014-03-20 | Samsung Electronics Co., Ltd. | Apparatus and method for processing color image using depth image |
| KR101473648B1 (ko) * | 2013-07-08 | 2014-12-17 | 한남대학교 산학협력단 | 배경 스크린 없는 실시간 크로마키 영상 합성 방법 및 시스템 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3726699B2 (ja) * | 2001-04-20 | 2005-12-14 | 日本ビクター株式会社 | 光学撮像装置、光学測距装置 |
-
2015
- 2015-11-18 KR KR1020150162017A patent/KR101733125B1/ko active IP Right Grant
- 2015-11-27 WO PCT/KR2015/012808 patent/WO2017086522A1/ko active Application Filing
- 2015-11-27 CN CN201580021027.1A patent/CN107534762A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1223058A (zh) * | 1997-02-20 | 1999-07-14 | 索尼公司 | 图像信号处理装置和方法、画面合成装置、以及编辑装置 |
| KR20070064082A (ko) * | 2005-12-16 | 2007-06-20 | 주식회사 피알존 | 크로마키 기법을 적용한 개인 홍보 영상 제작 시스템 및방법 |
| CN101674418A (zh) * | 2008-09-10 | 2010-03-17 | 新奥特（北京）视频技术有限公司 | 一种虚拟演播室系统中主持人深度的检测方法 |
| KR20110023279A (ko) * | 2009-08-31 | 2011-03-08 | 한국산업기술대학교산학협력단 | 다중카메라 시스템에서의 객체 추적 방법 및 그 장치 |
| JP2011059950A (ja) * | 2009-09-09 | 2011-03-24 | Noritsu Koki Co Ltd | 画像合成装置および画像合成方法 |
| KR20110130845A (ko) * | 2010-05-28 | 2011-12-06 | 광운대학교 산학협력단 | 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체 |
| KR20120051213A (ko) * | 2010-11-12 | 2012-05-22 | 엘지전자 주식회사 | 멀티미디어 장치의 영상촬영방법 및 그에 따른 멀티미디어 장치 |
| KR20140003116A (ko) * | 2012-06-29 | 2014-01-09 | 에스케이플래닛 주식회사 | 영상 추출 및 합성 장치, 이의 방법 |
| US20140079288A1 (en) * | 2012-09-20 | 2014-03-20 | Samsung Electronics Co., Ltd. | Apparatus and method for processing color image using depth image |
| KR101473648B1 (ko) * | 2013-07-08 | 2014-12-17 | 한남대학교 산학협력단 | 배경 스크린 없는 실시간 크로마키 영상 합성 방법 및 시스템 |
| CN103578113A (zh) * | 2013-11-19 | 2014-02-12 | 汕头大学 | 前景图像提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017086522A1 (ko) | 2017-05-26 |
| KR101733125B1 (ko) | 2017-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022179026A1 (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| US9569873B2 (en) | Automated iterative image-masking based on imported depth information | |
| Matsuyama et al. | 3D video and its applications | |
| TWI616843B (zh) | 動態影像去背方法、系統與電腦可讀取儲存裝置 | |
| US10949700B2 (en) | Depth based image searching | |
| WO2016088293A1 (en) | Imaging device, apparatus, and imaging method | |
| JP2017130060A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| KR101624801B1 (ko) | 전경 물체 추출을 위한 매팅 방법 및 이를 수행하는 장치 | |
| CN112053417B (zh) | 图像处理方法、装置和系统以及计算机可读存储介质 | |
| CN107534762A (zh) | 不需要背景幕布的色键影像合成方法 | |
| CN115082328A (zh) | 用于图像校正的方法和设备 | |
| GB2543775A (en) | System and methods for processing images of objects | |
| US10621769B2 (en) | Simplified lighting compositing | |
| CA2690987C (en) | Method and apparatus for chroma key production | |
| CN106402717B (zh) | 一种ar播放控制方法及智能台灯 | |
| CN106327500B (zh) | 深度信息获取方法及装置 | |
| CN105321153A (zh) | 视频监控低照度图像色彩还原方法和装置 | |
| CN105991937A (zh) | 一种基于Bayer格式图像的虚拟曝光方法及装置 | |
| JPH06187443A (ja) | 反射成分を用いたカラー画像のハイライト領域抽出装置およびカラー画像変換装置 | |
| JP6396932B2 (ja) | 画像合成装置、画像合成装置の動作方法およびコンピュータプログラム | |
| CN104954767B (zh) | 一种信息处理方法和电子设备 | |
| US20070242881A1 (en) | Segmentation of digital images of an observation area in real time | |
| Kotgire et al. | Hardware co-simulation for Chroma-keying in real time | |
| US8456577B2 (en) | Method and apparatus for chroma key production | |
| CN118154448A (zh) | 图像处理方法、装置、终端设备、系统和可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180102 |