CN107730525A - 用于提取贴纸图像用的对象的方法和设备 - Google Patents

用于提取贴纸图像用的对象的方法和设备 Download PDF

Info

Publication number
CN107730525A
CN107730525A CN201710533443.0A CN201710533443A CN107730525A CN 107730525 A CN107730525 A CN 107730525A CN 201710533443 A CN201710533443 A CN 201710533443A CN 107730525 A CN107730525 A CN 107730525A
Authority
CN
China
Prior art keywords
image
camera
subject area
background
paster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710533443.0A
Other languages
English (en)
Inventor
李吉宰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Macron Co Ltd
Original Assignee
Macron Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Macron Co Ltd filed Critical Macron Co Ltd
Publication of CN107730525A publication Critical patent/CN107730525A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种用于提取贴纸图像用的对象的方法和设备。所述方法包括：通过使用第一相机获得第一图像和第二图像；通过使用第二相机获得第三图像；通过使用所述第一图像与所述第二图案之间的差异图像来确定对象区域；从所述第三图像提取与所确定的对象区域对应的对象区域图像；以及通过使所提取的对象区域图像与背景图像重叠来叠加。

Description

用于提取贴纸图像用的对象的方法和设备
相关专利申请的交叉引用
本申请要求于2017年8月11日向韩国知识产权局提交的韩国专利申请No.10-2016-0102434的权益，其全部内容通过引用并入本文。
技术领域
本发明涉及一种用于提取贴纸图像(sticker image)用的对象的方法和设备，更具体地，涉及在通过使用由红外相机获得的差异图像(difference image)提取对象之后提取叠加在实时背景图像上的贴纸图像用的对象的方法和设备。另外，本发明涉及一种用于附着贴纸的方法和设备，更具体地，涉及一种在根据对象的形状、地点、角度或位置来确定贴纸之后自动附着贴纸的方法和设备。
背景技术
随着智能手机的发展，通常由专家完成的图像的叠加可以由智能手机的用户实现，用户对各种叠加方法感兴趣。特别地，随着识别技术的发展，可以使用基于识别的有趣的叠加方法。
最近，出现了用于提取除了背景之外的对象图像并将所提取的图像叠加在另一个背景上的技术。在广播屏幕中经常使用这种技术。然而，为了提取对象图像，需要图像分割，并且可能不会自动执行图像分割。通常，手动提取对象，或者使用特定着色的色键布(chromakey cloth)作为背景以提取具有颜色特征的对象。
这里，当手动提取对象时，需要很长时间。另外，需要提前准备色键布，使得需要时间和精力来创建情境，并且创建情境并不是实时可用的。
另外，最近公布了根据脸部位置在特定位置上叠加贴纸的应用。然而，用户自己需要事先离线决定贴纸，这使用户不便。另外，目前没有根据对象的变化替换或改变贴纸的技术。
发明内容
本发明提供在通过红外辐射获得差异图像并且在提取对象中使用该差异图像之后在不使用色键布的情况下自动提取实时对象并且将所提取的对象叠加在背景图像上的方法和设备。
本发明还提供了一种用于根据对象的形状、地点、角度或位置而将各种贴纸附着在所需位置上的方法和设备。
根据本发明的一个方面，提供了一种提取贴纸图像用的对象的方法，所述方法包括：通过使用第一相机获得第一图像和第二图像；通过使用第二相机获得第三图像；通过使用所述第一图像与所述第二图案之间的差异图像来确定对象区域；从所述第三图像提取与所确定的对象区域对应的对象区域图像；以及通过使所提取的对象区域图像与背景图像重叠(overlaying)来叠加(superimposing)。
所述第一相机可以是红外相机，所述第二相机可以是RGB相机，所述第一图像可以是通过使用红外相机经辐射红外光获得的图像，所述第二图像可以是通过使用红外相机在不辐射红外光的情况下获得的图像。
通过使用所述第一图像与所述第二图像之间的差异图像来确定对象区域可以包括将在从所述第一图像减去所述第二图像之后获得的亮度变化(brightchange)低于固定临界值的区域确定为背景区域，将所述亮度变化高于固定临界值的区域确定为对象区域，并且从所述第三图像提取与所确定的对象区域对应的对象区域图像可以包括提取从所述第三图像确定的除了与所述背景区域对应的区域之外的对象区域图像。
可以通过使用半反射镜将所述第一相机的焦点和所述第二相机的焦点置于同一轴线上。
所述方法还可以包括当感测到所述第一相机和所述第二相机中的任何一个的运动时，改变所述背景图像。
所述对象区域图像可以是手图像(hand image)，并且所述背景图像可以是菜单(menu)。
根据本发明的另一方面，提供了一种用于提取贴纸图像用的对象的设备，包括：图像获得单元，包括获得第一图像和第二图像的第一相机以及获得第三图像的第二相机；对象区域确定单元，用于通过使用所述第一图像和所述第二图像之间的差异图像来确定对象区域；对象图像提取单元，用于从所述第三图像提取与所确定的对象区域对应的对象区域图像；存储单元，用于存储背景图像；以及图像叠加单元，通过使所提取的对象区域图像与背景图像重叠来叠加。
附图说明
通过参考附图详细描述其示例性实施例，本发明的上述和其它特征和优点将变得更加明显，其中：
图1是图示了根据本发明的实施例的提取贴纸图像用的对象的方法的流程图；
图2是关于根据图像帧信号开启/关闭红外线的时间图；
图3图示了根据本发明的实施例的通过使用半反射镜的红外相机和RGB相机的布置；
图4和图5图示了根据本发明的实施例的基于作为提取的对象的手的菜单的选择；
图6是图示了根据本发明的实施例的附着贴纸的方法的流程图；
图7是图示了根据本发明的另一个实施例的附着贴纸的方法的流程图；
图8和图9是根据本发明的实施例的用于提取贴纸图像用的对象的设备的方框图；并且
图10是根据本发明的实施例的用于附着贴纸的设备的方框图。
具体实施方式
现在将参照附图更充分地描述本发明，在附图中示出了本发明的示例性实施例。
图1是图示了根据本发明的实施例的提取贴纸图像用的对象的方法的流程图。
参考图1，在用于执行提取贴纸图像用的对象的方法的设备(以下称为用于提取对象的设备)中，在操作110中，使用第一相机来获得第一图像和第二图像。在本发明的实施例中，第一相机可以是红外相机。另外，第一图像是通过使用红外相机经辐射红外光获得的图像，第二图像是通过使用红外相机在不辐射红外光的情况下获得的图像。为了分开对象或背景，在本发明的实施例中使用对象比背景更近的事实。当辐射红外线时，近的对象反射更多的光。也就是说，在第一图像中近的对象变成了反射更多光的图像。
红外线基于图像帧信号开启/关闭，以便获得图像，并且如下所述获得差异图像以便实时提取对象区域。
图2是关于根据图像帧信号开启/关闭红外线的时间图。
在用于提取对象的设备中，在操作120中，第二相机用于获得第三图像。在本发明的实施例中，第二相机可以是RGB相机，并且第三图像是通过使用RGB相机获得的实时图像。
在用于提取对象的设备中，在操作130中，第一图像和第二图像之间的差异图像用于确定对象区域。在辐射红外光之后获得的第一图像是近的对象反射更多光的图像，并且在不辐射红外光的情况下获得的第二图像是对象不反射光的图像。因此，当获得这两个图像之间的差异时，红外光反射的图像，即，对象图像得以保留。因此，可以确定仅对象区域中的图像，或者反之，可以确定仅除对象区域之外的背景图像。
用于提取对象的设备将在从第一图像减去第二图像之后获得的亮度变化低于固定临界值的区域确定为背景区域，并且将亮度变化高于固定临界值的区域确定为对象区域。
根据本发明的实施例，当对象区域是人脸时，固定图像技术用于通过将对象区域从人脸扩展到身体来提取对象区域。
在操作140中，用于提取对象的设备从第三图像提取与在操作130中确定的对象区域对应的对象区域图像。用于提取对象的设备可以通过从第三图像提取与在操作130中确定的对象区域对应的对象区域图像，或者通过从第三图像去除与在操作130中确定的背景区域对应的背景区域图像，来提取对象区域图像。根据本发明，用于提取对象的设备可以实时提取对象，即，用户的图像。
在提取对象区域图像中，当第一相机和第二相机，即，红外相机和RGB相机，并排布置时，会产生时间差。因此，在本发明的实施例中，半反射镜(half mirror)用于将第一相机的焦点或视野和第二相机的焦点或视野置于同一轴线上，即，匹配。在这种情况下，当事先执行两个相机之间的校准工作时，可以获得两个图像之间的像素匹配。
图3图示了根据本发明的实施例的通过使用半反射镜的红外相机和RGB相机的布置。
参见图3，第一相机310和第二相机320的焦点340可以通过使用半反射镜330布置在同一轴线上，即，匹配。
在操作150中，当感测到第一相机和第二相机中的任何一个的运动时，用于提取对象的设备改变背景图像。当感测到第一相机或第二相机或者第一相机或第二相机所附着的设备(例如，智能手机或数字标牌)的运动时，用于提取对象的设备提供背景图像，并且通过改变背景图像使用户选择所需的背景图像。在这种情况下，由于背景图像发生变化，所以看起来图像是在其他地方拍摄的。第一相机或第二相机所附着的设备可以通过使用陀螺仪传感器不仅根据运动而且根据位置变化来改变背景图像。
在图1中实质上可以不执行操作150。也就是说，如果省略操作150，也可以实现本发明。
在操作160中，用于提取对象的设备将所提取的对象区域图像与背景图像重叠，从而将对象图像叠加在背景图像上。
在本发明中，通过使用手势可以实现菜单选择。手被提取到对象区域图像并且与作为菜单屏幕的背景图像重叠。然后，可以根据手(即对象)的位置选择菜单。这里，可以比图形地重新配置手而在屏幕上显示手更自然地选择菜单。另外，由于没有执行图形地重新配置的操作，所以可以显著减少处理器的计算。
图4和图5图示了根据本发明的实施例的基于作为所提取的对象的手的菜单的选择。
参见图4和图5，用于提取对象410的设备通过使用第一相机411经辐射红外光，以便获得与作为对象的手420有关的第一图像，并且用于提取对象410的设备不辐射红外光以便获得与手420有关的第二图像。然后，基于第一图像和第二图像获得差异图像以便确定与手420有关的对象区域。另外，第二相机412用于获得第三图像，并且获得了与所确定的对象区域有关的对象提取图像(图5的430)。然后，如图5所示，对象提取图像430与背景图像440重叠。背景图像440包括8个菜单项，并且对象提取图像430可以选择菜单项的任何一个441。
当使用这种技术时，用于搜索指尖的图像处理会很容易，使得可以简单地实现菜单选择算法，并且可以提高其可靠性。在这种情况下，由于开启/关闭红外线以提取对象图像，所以用于提取对象的设备不会受到外部光源的影响，并且因此可以在户外环境或夜晚操作。这种技术可以用于控制汽车的菜单。另外，通过在虚拟现实中使用用户的手的真实图像或者使用在增强现实内容中的人机界面而可以自然地建立界面。
在图1中，可以实时提取对象图像。例如，站在智能手机或数字标牌前的用户可以实时地与背景分开，并且可以叠加在新的背景上。在这种情况中，看起来用户站在其他地方。商业屏幕可以用作背景，或者用户可以被叠加在电影屏幕、图形、剧院或其他现有相片或视频剪辑上。此外，这种技术可以应用于视频会议。当在智能手机中时，各种自拍相机可以是可用的，并且当在游戏中时，这种技术可以应用于虚拟现实或增强现实游戏。
图6是图示了根据本发明的实施例的附着贴纸的方法的流程图。
参见图6，在操作610中，用于执行附着贴纸的方法的设备(以下称为用于附着贴纸的设备)通过使用相机获得连续图像。用于附着贴纸的设备可以附着在包括相机的智能手机或数字标牌上。
在操作620中，用于附着贴纸的设备从所获得的图像检测固定对象。在本发明的实施例中，该对象可以是手。另外，如果已经确定对象,该对象可以是人脸，并且可以不受限制。
在操作630中，当所检测的对象与预定对象的形状匹配时，用于附着贴纸的设备在所获得的图像中识别对象的位置。例如，当对象是手时，对象的形状可以是手势，诸如剪刀石头布或手指心。在本发明的实施例中，从获得的图像不仅可以识别对象的位置，而且可以识别对象的大小。
通过在收集对应于预定对象的图像之后使用图像分析获得具体值，经图案识别事先确定预定对象的形状。
在操作640中，用于附着贴纸的设备参照对象的确定的形状来确定固定贴纸。例如，当对象的形状是手指心时，确定心形贴纸。
当从所获得的图像识别对象的大小时，可以根据所识别的对象的大小来改变所确定的贴纸的大小。
在操作650中，所确定的贴纸可以基于对象的识别的位置与所获得的图像的固定的位置重叠。例如，当对象的形状是手指心时，心形贴纸可以与所获得的图像中的手指心重叠。
在图6中，用户不确定贴纸，相反，根据对象的类型自动地确定贴纸。因此，用户的便利性增加。另外，由于贴纸基于对象的类型被插入到指定位置，所以这就设计而言是有效的，并且贴纸可以在所需时间附着在所需位置。
图7是图示根据本发明的另一个实施例的附着贴纸的方法的流程图。
参见图7，在操作710中，用于附着贴纸的设备通过使用相机获得连续图像。用于附着贴纸的设备可以附着到智能手机或数字标牌上。
在操作720中，用于附着贴纸的设备从所获得的图像检测固定对象。在本发明的实施例中，对象可以是手。另外，如果已经确定对象，该对象可以是脸部，并且可以不受限制。
在操作730中，当所检测的对象与预定对象的形状匹配时，用于附着贴纸的设备在所获得的图像中识别对象的位置和角度。从标准对象的形状获得所识别的对象的角度。在另一个实施例中，由于获得了连续的图像，所以从连续图像识别的对象被追踪以计算旋转3轴角度(rotating 3-axis angle)，并且可以识别旋转角度。
在本发明的实施例中，从所获得的图像不仅可以识别对象的位置，而且可以识别对象的大小。
通过在收集对应于预定对象的图像之后使用图像分析获得具体值，经图案识别事先确定预定对象的形状。
在操作740中，用于附着贴纸的设备基于检测的对象相对于对象的确定的形状的的角度来确定固定贴纸。在本发明中，由于贴纸可以根据对象的角度旋转，所以不仅可以使用2D贴纸，而且可以使用3D贴纸。在这种情况下，3D贴纸随着对象移动而移动，从而激发用户的兴趣。
另外，当根据由于对象的旋转而发生的运动确定的贴纸按帧叠加时，可以实现视频贴纸图像。
当从所获得的图像识别对象的大小时，可以根据所识别的对象的大小来改变所确定的贴纸的大小。
在操作750中，所确定的贴纸基于对象的识别的位置与所获得的图像的固定的位置重叠。
在图7中，贴纸可以根据对象的角度旋转以便以各种方式实现。另外，图7的方法可以应用于3D贴纸，因此，可以实现移动效果的贴纸以便叠加在所需的位置上。
图8和图9是根据本发明的实施例的用于提取贴纸图像用的对象的设备800的方框图。
参见图8和图9，用于提取对象的设备800包括图像获得单元810、对象区域确定单元820、对象图像提取单元830、存储单元840和叠加单元850。图像获得单元810包括第一相机811、第二相机812和红外辐射器813。
用于提取对象的设备800通过使用第一相机811获得第一图像和第二图像。在本发明的实施例中，第一相机811可以是红外相机。另外，第一图像是通过使用红外相机经来自红外辐射器813辐射的红外光获得的图像，第二图像是通过使用红外相机在不辐射红外光的情况下获得的图像。为了分开对象或背景，在本发明的实施例中使用对象比背景更近的事实。当辐射红外光时，近的对象反射更多的光。也就是说，在第一图像中近的对象变成了反射更多光的图像。
图像获得单元810通过使用基于图像帧信号开启/关闭红外光的红外辐射器813获得图像，并且获得如下所述的差异图像以便实时提取对象区域。
用于提取对象的设备800通过使用图像获得单元810的第二相机812获得第三图像。在本发明的实施例中，第二相机812是RGB相机，并且第三图像是通过使用RGB相机获得的实时图像。
对象区域确定单元820通过使用第一图像和第二图像之间的差异图像确定对象区域。在辐射红外线之后获得的第一图像是近的对象反射更多光的图像，并且在不辐射红外线的情况下获得的第二图像是对象不反射光的图像。因此，当获得了这两个图像之间的差异时，保留红外线反射的图像，即，对象图像。因此，对象区域确定单元820可以确定仅对象区域中的图像，或者反之，确定除对象区域之外的仅背景图像。用于提取对象的设备800将在从第一图像减去第二图像之后获得的亮度变化低于固定临界值的区域确定为背景区域，并且将亮度变化高于固定临界值的区域确定为对象区域。
根据本发明的实施例，当对象区域是人脸时，固定图像技术通过将对象区域从人脸扩展到身体来用于提取对象区域。
对象图像提取单元830从第三图像中提取与在对象区域确定单元820中确定的对象区域对应的对象区域图像。对象图像提取单元830可以通过从第三图像提取与在操作130中确定的对象区域对应的对象区域图像，或者通过从第三图像去除与在操作130中确定的背景区域对应的背景区域图像，来提取对象区域图像。根据本发明，用于提取对象的设备800可以实时提取对象，即，用户的图像。
在提取对象区域图像中，当第一相机811和第二相机812，即，红外相机和RGB相机，并排布置时，会产生时间差。因此，在本发明的实施例中，半反射镜用于将第一相机811的焦点或视野和第二相机812的焦点或视野置于同一轴线上，即，匹配。在这种情况下，当事先执行两个相机之间的校准工作时，可以获得两个图像之间的像素匹配。
图3图示了根据本发明的实施例的通过使用半反射镜的红外相机和RGB相机的布置。
当感测到第一相机811和第二相机812中的任何一个的运动时，叠加单元850改变背景图像。当感测到第一相机811或第二相机812或者第一相机811或第二相机812所附着的设备(例如，智能手机或数字标牌)的运动时，存储单元840提供背景图像，并且通过改变背景图像使用户选择所需的背景图像。在这种情况下，由于背景图像发生变化，所以看起来图像是在其他地方拍摄的。第一相机811或第二相机812所附着的设备通过使用陀螺仪传感器不仅可以根据运动而且可以根据位置变化来改变背景图像。
叠加单元850将提取的对象区域图像与背景图像重叠，从而将对象图像叠加在背景图像上。
在本发明中，通过使用手势可以实现菜单选择。手被提取到对象区域图像并且与作为菜单屏幕的背景图像重叠。然后，可以根据手(即对象)的位置选择菜单。这里，可以比图形地重新配置手而在屏幕上显示手更自然地选择菜单。另外，由于没有执行图形地重新配置的操作，所以可以显著减少处理器的计算。
当使用这种技术时，用于搜索指尖的图像处理会很容易，使得可以简单地实现菜单选择算法，并且可以提高其可靠性。在这种情况下，由于开启/关闭红外光以提取对象图像，所以用于提取对象的设备不会受到外部光源的影响，并且因此可以在户外环境或夜晚操作。这种技术可以用于控制汽车的菜单。另外，通过在虚拟现实中使用用户的手的真实图像或者使用在增强现实内容中的人机界面而可以自然地建立界面，。
在本发明的实施例中，可以实时提取对象图像。例如，站在智能电话或数字标牌前的用户可以与背景实时分离，并且可以叠加在新的背景上。在这种情况下，用户看起来站在其他地方。商业屏幕可以用作背景，或者用户可以被叠加在电影屏幕、图形、剧场或其他现有相片或视频剪辑上。此外，这种技术可以应用于视频会议。当在智能手机中时，各种自拍相机可以是可用的，并且当在游戏中时，这种技术可以应用于虚拟现实或增强现实游戏。
图10是根据本发明的实施例的用于附着贴纸的设备1000的方框图。
参见图10，用于附着贴纸的设备1000包括图像获得单元1010、对象确定单元1020、控制器1030、贴纸确定单元1040和贴纸图像叠加单元1050。
图像获得单元1010通过使用相机获得连续图像。用于附着贴纸的设备1000可以附着至包括相机的智能手机或数字标牌。
对象确定单元1020从所获得的图像检测固定对象。在本发明的实施例中，对象可以是手。另外，如果已经确定对象，该对象可以是脸，并且可以不受限制。
当所检测的对象与预定对象的形状匹配时，控制器1030在所获得的图像中识别对象的位置。例如，当对象是手时，对象的形状可以是手势，诸如剪刀石头布或手指心。在本发明的实施例中，从所获得的图像不仅可以识别对象的位置，而且可以识别对象的大小。
通过在收集对应于预定对象的图像之后使用图像分析获得具体值，经图案识别事先确定预定对象的形状。
贴纸确定单元1040参照对象的确定的形状来确定固定贴纸。例如，当对象的形状是手指心时，确定心形贴纸。
当从所获得的图像识别对象的大小时，贴纸确定单元1040可以根据所识别的对象的大小来改变所确定的贴纸的大小。
贴纸图像叠加单元1050基于对象的识别的位置将所确定的贴纸与所获得的图像的固定位置重叠。例如，当对象的形状是手指心时，心形贴纸可以与所获得的图像中的手指心重叠。
这里，用户不确定贴纸，相反，根据对象的类型自动地确定贴纸。因此，用户的便利性增加。另外，由于贴纸基于对象的类型被插入到特定位置，所以这就设计而言是有效的，并且贴纸可以在所需时间附着到所需位置。
将描述根据本发明的另一个实施例的附着贴纸的方法。
当对象与预定对象的形状匹配时，控制器1030在所获得的图像中识别对象的位置和角度。从标准对象的形状获得所识别的对象的角度。在另一个实施例中，由于获得了连续的图像，所以控制器1030追踪从连续图像识别的对象以计算旋转3轴角度，并且可以识别旋转角度。
另外，从所获得的图像不仅可以识别对象的位置，而且可以识别对象的大小。
通过在收集对应于预定对象的图像之后使用图像分析获得具体值，经图案识别事先确定预定对象的形状。
由于贴纸确定单元1040可以根据对象的角度旋转贴纸，所以不仅可以使用2D贴纸，而且可以使用3D贴纸。在这种情况下，3D贴纸随着对象移动而移动，从而激发用户的兴趣。
另外，当根据由于对象的旋转而发生的运动确定的贴纸按帧叠加时，贴纸确定单元180可以实现视频贴纸图像。
这里，贴纸可以根据对象的角度旋转以便以各种方式实现。另外，该方法可以应用于3D贴纸，因此，可以实现移动效果的贴纸以便被叠加在所需的位置上。
根据本发明，可以实时提取对象图像。例如，站在智能电话或数字标牌前的用户可以与背景实时分离，并且可以叠加在新的背景上。在这种情况下，用户看起来站在另一个地方。商业屏幕可以用作背景，或者用户可以被叠加在电影屏幕、图形、剧院或其他现有相片或视频剪辑上。此外，这种技术可以应用于视频会议。当在智能手机中时，各种自拍相机可以是可用的，并且当在游戏中时，这种技术可以应用于虚拟现实或增强现实游戏。
另外，根据本发明，用户不确定贴纸，相反，根据对象的类型自动地确定贴纸。因此，用户的便利性增加。另外，由于贴纸基于对象的类型被插入到特定位置，所以这就设计而言是有效的，并且贴纸可以在所需时间附着在所需位置。
此外，根据本发明，贴纸可以根据对象的角度旋转以便以各种方式实现。另外，该方法可以应用于3D贴纸，因此，可以实现移动效果的贴纸以便被叠加在所需的位置。
如上所述的提取对象的方法和附着贴纸的方法可以呈现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可以存储数据的任何数据存储设备，所述数据随后可以被计算机系统读取。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备。计算机可读记录介质还可以分布在网络耦合的计算机系统中，使得计算机可读代码按照分布式方式(distributed fashion)存储并执行。此外，用于实现本发明的功能程序、代码和代码段可以容易地被本发明所属领域的熟练的程序员理解。
尽管参照本发明的示例性实施例具体示出并且描述了本发明，但是本领域技术人员将会理解的是，在不脱离由所附权利要求书所限定的精神和范围的情况下，可以在形式和细节上进行各种修改。

Claims (12)

1.一种提取贴纸图像用的对象的方法，包括：
通过使用第一相机获得第一图像和第二图像；
通过使用第二相机获得第三图像；
通过使用所述第一图像与所述第二图案之间的差异图像来确定对象区域；
从所述第三图像提取与所确定的对象区域对应的对象区域图像；以及
通过使所提取的对象区域图像与背景图像重叠来叠加。
2.根据权利要求1所述的方法，其中，所述第一相机是红外相机，所述第二相机是RGB相机，并且其中，所述第一图像是通过使用所述红外相机经辐射红外光而获得的图像，所述第二图像是通过使用所述红外相机在不辐射红外光的情况下而获得的图像。
3.根据权利要求2所述的方法，其中，通过使用所述第一图像与所述第二图像之间的差异图像来确定对象区域包括：将在从所述第一图像减去所述第二图像之后获得的亮度变化低于固定临界值的区域确定为背景区域，并且将所述亮度变化高于所述固定临界值的区域确定为对象区域；并且从所述第三图像提取与所确定的对象区域对应的对象区域图像包括：提取从所述第三图像确定的除了与所述背景区域对应的区域之外的对象区域图像。
4.根据权利要求2所述的方法，其中，通过使用半反射镜将所述第一相机的焦点和所述第二相机的焦点置于同一轴线上。
5.根据权利要求2所述的方法，还包括当感测到所述第一相机和所述第二相机中的任意一个的运动时，改变所述背景图像。
6.根据权利要求2所述的方法，其中，所述对象区域图像是手图像，并且所述背景图像是菜单。
7.一种用于提取贴纸图像用的对象的设备，所述设备包括：
图像获得单元，包括获得第一图像和第二图像的第一相机以及获得第三图像的第二相机；
对象区域确定单元，用于通过使用所述第一图像与所述第二图像之间的差异图像来确定对象区域；
对象图像提取单元，用于从所述第三图像提取与所确定的对象区域对应的对象区域图像；
存储单元，用于存储背景图像；以及
图像叠加单元，通过使所提取的对象区域图像与所述背景图像重叠来叠加。
8.根据权利要求7所述的设备，其中，所述第一相机是红外相机，所述第二相机是RGB相机，并且其中，所述第一图像是通过使用所述红外相机经辐射红外光而获得的图像，所述第二图像是通过使用所述红外相机在不辐射红外光的情况下而获得的图像。
9.根据权利要求8所述的设备，其中，所述对象区域确定单元将在从所述第一图像减去所述第二图像之后获得的亮度变化低于固定临界值的区域确定为背景区域，并且将所述亮度变化高于所述固定临界值的区域确定为对象区域，并且其中，所述对象图像提取单元提取从所述第三图像确定的除了与所述背景区域对应的区域之外的对象区域图像。
10.根据权利要求8所述的设备，其中，通过使用半反射镜将所述第一相机的焦点和所述第二相机的焦点置于同一轴线上。
11.根据权利要求8所述的设备，其中，当感测到所述第一相机和所述第二相机中的任意一个的运动时，所述图像叠加单元改变所述背景图像。
12.根据权利要求8所述的设备，其中，所述对象区域图像是手图像，并且所述背景图像是菜单。
CN201710533443.0A 2016-08-11 2017-07-03 用于提取贴纸图像用的对象的方法和设备 Pending CN107730525A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160102434A KR101881469B1 (ko) 2016-08-11 2016-08-11 스티커 영상을 위한 오브젝트 추출 방법 및 그 장치
KR10-2016-0102434 2016-08-11

Publications (1)

Publication Number Publication Date
CN107730525A true CN107730525A (zh) 2018-02-23

Family

ID=61159242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710533443.0A Pending CN107730525A (zh) 2016-08-11 2017-07-03 用于提取贴纸图像用的对象的方法和设备

Country Status (3)

Country Link
US (1) US20180047169A1 (zh)
KR (1) KR101881469B1 (zh)
CN (1) CN107730525A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737728A (zh) * 2018-05-03 2018-11-02 Oppo广东移动通信有限公司 一种图像拍摄方法、终端及计算机存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102229715B1 (ko) * 2020-07-06 2021-03-18 김상현 개인 방송 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318104A (ja) * 2001-04-20 2002-10-31 Victor Co Of Japan Ltd 光学撮像装置、光学測距装置
CN103475886A (zh) * 2012-06-05 2013-12-25 纬创资通股份有限公司 立体深度影像建立系统及其方法
CN103488283A (zh) * 2012-06-07 2014-01-01 佳能株式会社 信息处理设备及其控制方法和背景确定方法
KR101470198B1 (ko) * 2013-07-29 2014-12-05 현대자동차주식회사 영상 합성 장치 및 방법
CN104243951A (zh) * 2013-06-07 2014-12-24 索尼电脑娱乐公司 图像处理设备、图像处理系统以及图像处理方法
CN104796625A (zh) * 2015-04-21 2015-07-22 努比亚技术有限公司 照片的合成方法及照片合成装置
KR20160028244A (ko) * 2014-09-03 2016-03-11 연세대학교 산학협력단 적외선 조명을 이용한 객체 추출 방법 및 그 장치
JP2016086200A (ja) * 2014-10-23 2016-05-19 日本放送協会 画像合成装置および画像合成プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318104A (ja) * 2001-04-20 2002-10-31 Victor Co Of Japan Ltd 光学撮像装置、光学測距装置
CN103475886A (zh) * 2012-06-05 2013-12-25 纬创资通股份有限公司 立体深度影像建立系统及其方法
CN103488283A (zh) * 2012-06-07 2014-01-01 佳能株式会社 信息处理设备及其控制方法和背景确定方法
CN104243951A (zh) * 2013-06-07 2014-12-24 索尼电脑娱乐公司 图像处理设备、图像处理系统以及图像处理方法
KR101470198B1 (ko) * 2013-07-29 2014-12-05 현대자동차주식회사 영상 합성 장치 및 방법
KR20160028244A (ko) * 2014-09-03 2016-03-11 연세대학교 산학협력단 적외선 조명을 이용한 객체 추출 방법 및 그 장치
JP2016086200A (ja) * 2014-10-23 2016-05-19 日本放送協会 画像合成装置および画像合成プログラム
CN104796625A (zh) * 2015-04-21 2015-07-22 努比亚技术有限公司 照片的合成方法及照片合成装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737728A (zh) * 2018-05-03 2018-11-02 Oppo广东移动通信有限公司 一种图像拍摄方法、终端及计算机存储介质
CN108737728B (zh) * 2018-05-03 2021-06-11 Oppo广东移动通信有限公司 一种图像拍摄方法、终端及计算机存储介质

Also Published As

Publication number Publication date
US20180047169A1 (en) 2018-02-15
KR101881469B1 (ko) 2018-07-25
KR20180017897A (ko) 2018-02-21

Similar Documents

Publication Publication Date Title
US10757373B2 (en) Method and system for providing at least one image captured by a scene camera of a vehicle
EP2915140B1 (en) Fast initialization for monocular visual slam
CN105027033B (zh) 用于选择扩增现实对象的方法、装置和计算机可读媒体
EP3038053B1 (en) Method and system for generating garment model data
CN108200334B (zh) 图像拍摄方法、装置、存储介质及电子设备
US9552655B2 (en) Image processing via color replacement
WO2019051210A1 (en) SELF-PORTRAITS WITH INCREASED REALITY
WO2018029670A1 (en) System, device, and method of virtual dressing utilizing image processing, machine learning, and computer vision
CN108510594A (zh) 虚拟试衣方法、装置及终端设备
CN107852533A (zh) 三维内容生成装置及其三维内容生成方法
CN107004279A (zh) 自然用户界面相机校准
CN108107571A (zh) 图像处理装置及方法及非暂时性计算机可读记录介质
CN106598235B (zh) 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备
CN108230245A (zh) 图像拼接方法、图像拼接装置及电子设备
CN106200914B (zh) 增强现实的触发方法、装置及拍照设备
CN108111911B (zh) 基于自适应跟踪框分割的视频数据实时处理方法及装置
CN107808372B (zh) 图像穿越处理方法、装置、计算设备及计算机存储介质
CN107730525A (zh) 用于提取贴纸图像用的对象的方法和设备
CN114581351A (zh) 目标增强的图像显示方法、装置、设备及存储介质
CN109147001A (zh) 一种用于呈现虚拟指甲的方法与设备
CN108171716B (zh) 基于自适应跟踪框分割的视频人物装扮方法及装置
CN113596323A (zh) 智能合影方法、装置、移动终端及计算机程序产品
CN111640190A (zh) Ar效果的呈现方法、装置、电子设备及存储介质
CN108010038B (zh) 基于自适应阈值分割的直播服饰装扮方法及装置
CN113781291B (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180223