CN103136746A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN103136746A
CN103136746A CN2012104830144A CN201210483014A CN103136746A CN 103136746 A CN103136746 A CN 103136746A CN 2012104830144 A CN2012104830144 A CN 2012104830144A CN 201210483014 A CN201210483014 A CN 201210483014A CN 103136746 A CN103136746 A CN 103136746A
Authority
CN
China
Prior art keywords
image
depth information
depth
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012104830144A
Other languages
English (en)
Inventor
盐野崎敦
历本纯一
后藤太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103136746A publication Critical patent/CN103136746A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/503Blending, e.g. for anti-aliasing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

提供了图像处理装置和图像处理方法,图像处理装置包括:深度获取单元,该深度获取单元被配置为获取包含在被捕获的图像中的对象的深度信息;图像合成单元,该图像合成单元被配置为根据每一条深度信息将该对象与具有深度信息的图像对象合成;以及效果处理单元,该效果处理单元被配置为根据该对象的深度信息来执行效果处理。

Description

图像处理装置和图像处理方法
技术领域
本公开涉及一种图像处理装置和图像处理方法。
背景技术
近来,处理被捕获图像的图像处理装置已被广为传播。例如,在公开号为2006-128754的日本专利申请中公开了一种图像处理装置,其从被捕获的图像中提取一个对象,并将该对象与另一图像对象合成。
发明内容
如上所述,当该对象与另一图像对象合成时,可能期望该对象相对于另一图像对象在适当的范围内。例如,当图像对象是某名人的图像对象时,可能期望该对象的深度接近于该名人的图像对象的深度,以使得该对象可以与该名人一起被看到。
然而,仅仅是粗略地看由对象与图像对象的合成图像的话,可能难以认清该对象相对于图像对象是否处于适当的深度范围内。例如,当在浅的深度处有小的对象而在深的深度处有大的对象时,难以根据合成图像中的对象的大小来确定该对象是否处在适当的深度范围内,这是因为合成图像中的对象的大小并没有大的差异。
希望提供一种新颖以及改良的图像处理装置以及图像处理方法,其能够提供通知,以便能够容易地确定对象是否处于合适的范围内。
根据本公开的一个实施例,提供了一种图像处理装置,该图像处理装置包括:深度获取单元,该深度获取单元被配置为获取包含在被捕获图像中的对象的深度信息;图像合成单元,该图像合成单元被配置为根据每一条深度信息将该对象与具有深度信息的图像对象进行合成;以及效果处理单元,效果处理单元被配置为根据该对象的深度信息执行效果处理。
根据本公开的另一个实施例,提供一种图像处理方法,该图像处理方法包括:获取包含在被捕获的图像中的对象的深度信息,根据每一条深度信息将该对象与具有深度信息的图像对象进行组合,以及根据该对象的深度信息执行效果处理。
根据上述本公开的实施例,能够提供一个通知,以便能够容易地确定对象是否处于一个适当的范围内。
附图说明
图1是示出根据本公开一实施例的图像处理系统的结构的示意图;
图2是示出从被捕获的图像中提取人物图像的示意图;
图3是示出人物图像的合成过程的示意图;
图4是示出根据本公开一实施例的图像处理装置20的结构的功能框图;
图5是示出对象的适当的深度范围的示意图;
图6是示出当人物图像深度过深时的合成图像的示意图;
图7是示出当人物图像深度过浅时的合成图像的示意图;
图8是示出当人物图像与前景对象分离时的合成图像的示意图;
图9是示出根据本公开一实施例的图像处理系统的操作流程图;以及
图10是示出图像处理装置20的硬件配置的一个例子的示意图。
具体实施方式
在下文中,将参照附图来详细描述本公开的优选实施例。请注意,在本说明书和附图中,具有实质上相同功能和结构的结构元件用相同的参考标记表示,并省略了对这些结构元件的重复解释。
此外,在本说明书和附图中,具有实质上相同功能和结构的多个结构元件可能通过在相同的参考标记后添加不同的字母来进行区分。然而,当不需要特别区分多个具有实质上相同功能和结构的结构元件时,所述多个结构元件仅由相同的参考标记表示。
此外,本公开的描述将根据下列项目的顺序给出。
1.图像处理系统的基本配置
2.图像处理装置的结构
3.图像处理系统的操作
4.硬件配置
5.结论
<1.图像处理系统的基本配置>
如下文中作为一个示例来描述的,本公开的技术可以用各种形式来实施。此外,根据本公开实施例的图像处理装置包括:
A.深度获取单元(通信单元220),被配置为获取在包含在被捕获的图像中的对象的深度信息;
B.图像合成单元(图像合成单元250),被配置为根据每一条深度信息将该对象与具有深度信息的图像对象进行组合;
C.效果处理单元260,被配置为根据该对象的深度信息来执行效果处理。
在下文中,首先将参照图1-3描述包括上述图像处理装置的图像处理系统的基本配置。
图1是示出根据本公开一实施例的图像处理系统的结构的示意图。如图1所示,根据本公开实施例的图像处理系统包括成像装置10和图像处理装置20。
(成像装置)
成像装置10将对象成像,以获取被捕获的图像。具体而言,成像装置10包括成像光学系统(例如成像镜头或变焦镜头)和例如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)的成像元件。
所述成像光学系统通过聚集从对象发出的光,在成像元件的成像平面上形成对象图像。成像元件将由成像光学系统形成的对象图像转换成电图象信号。这里,成像元件包括红色(R)分量的光接收元件,绿色(G)分量的光接收元件,和蓝色(B)分量的光接收元件。包括RGB信息的被捕获的图像通过每个光接收元件的功能而获得。
此外,根据本公开实施例的成像装置10获取指示成像装置10与对象之间的距离的深度信息。在被捕获的图像中,该深度信息可以用像素为单位来获得。
进一步,成像装置10基于上述深度信息通过从被捕获的图像中识别出对象的方式来提取对象的图像部分。例如,成像装置10基于深度信息和人体骨骼信息等从被捕获的图像中提取人物图像。成像装置10将提取的人物图像与深度信息一起传送至图像处理装置20。在下文中,将参照图2来具体描述这一点。
图2是示出从被捕获的图像中提取人物图像的示意图。图2中示出的被捕获的图像70包括人物图像82和背景图像。这里,因为人物图像82的区域与背景图像的区域之间具有深度差异,所以,该成像装置10可基于被捕获的图像70的各像素的深度分布提取人物图像的候选,并进一步将与人体骨骼图案一致的候选确定为人物图像。由此,如在图2中示出的处理图像72中那样,人物图像82可以从被捕获的图像70中提取。
尽管在说明书中示出的对象是人物,但是该对象并不限于人物。例如,该对象可以是例如花或者动物等其他对象。此外,虽然上面已经描述了一个例子,其中基于深度信息从被捕获的图像中提取人物图像,但是,还能够根据与人物匹配的模式的图像识别来提取所述人物图像。
(图像处理装置)
图像处理装置20从成像装置10接收人物图像和该人物图像的深度信息,并使用所述深度信息将该人物图像与另一图像对象进行合成。例如,图像处理装置20将背景图像和前景图像与人物图像进行合成。下文中,将参照图3具体地描述这一点。
图3是示出人物图像的合成过程的示意图。如图3所示,图像处理装置20通过合成背景图像74、包括某名人作为前景对象84的前景图像76以及包括人物图像82的处理图像72来生成合成图像90。这里,因为前景对象84具有深度信息,所以,图像处理装置20可以基于前景对象84和人物图像82的深度信息来表现前景对象84与人物图像82之间的前后关系。
如上所述,通过将成像设备10所成像的人物与另一图像对象合并,能够得到如同该人物在另一空间中那样的合成图像。
尽管在图1中将个人计算机(PC)中作为图像处理装置20的例子来示出,但是图像处理装置20并不局限于PC。例如,图像处理装置20可以是诸如家庭视频处理装置(数字多功能光盘(DVD)记录器或盒式磁带录象机等)、个人数字助理(PDA)、家用游戏机或家用电器等的信息处理装置。此外,图像处理装置20可以是诸如便携式电话、个人手持电话系统(PHS)、便携式音乐播放器、便携式视频处理装置或便携式游戏机等的信息处理装置。
此外,虽然上文描述了成像装置10提取人物图像82的例子,但是,图像处理装置20也可以提取人物图像82。另外,上述的图像处理装置20的功能可以实现在成像装置10中,并且该成像装置10可以用作图像处理装置。
(本公开的观点)
顺便提及,如上所述,期望的是人物图像82的深度接近于名人的前景对象84的深度,以便当人物图像82与该名人的前景对象84组合时,该人物能够与该名人一起被同时看到。
然而,仅仅是粗略地看由对象与图像对象的合成图像的话,可能难以认清该对象相对于图像对象是否处于适当的深度范围内。例如,当在浅的深度处有小的对象而在深的深度出有大的对象时,由于合成图像的对象的大小并没有差异,因此,难以根据合成图像中的对象的大小来确定该对象是否处在适当的深度范围内。
考虑到上述情况,已经产生了本公开的一个实施例。根据本公开的实施例,能够提供通知,以容易地确定该对象是否在适当的范围内。下文中,将详细说明上述根据本公开实施例的图像处理装置20。
<2.图像处理系统的结构>
图4是示出根据本公开一实施例的图像处理装置20的结构的功能框图。如图4所示,根据本公开实施例的图像处理装置20包括通信单元220、存储单元230、显示单元240、图像合成单元250和效果处理单元260。
通信单元220作为与成像装置10的接口(I/F),并且从成像装置10接收人物图像或人物图像的深度信息。通信单元220可以建立到成像装置10的无线或有线连接。
存储单元230是存储介质,其存储要与人物图像合成的背景图像和前景图像。在进一步的细节中,为包含在前景图像中的前景对象设定深度信息。虽然可以为组成前景对象的每一个像素设定深度信息,但是,在本说明书中,主要假设为前景对象设定一有代表性的深度信息。存储单元230可存储由图像合成单元250生成的合成图像。
上述存储装置230可包括存储介质,如非易失性存储器,磁盘,光盘或磁光(MO)盘。非易失性存储器的例子可以是闪速存储器,安全数字(SD)卡,微型SD卡,通用串行总线(USB)存储器,电可擦除可编程ROM(EEPROM),或可擦除可编程ROM(EPROM)。此外,磁盘可以是硬盘,圆盘形的磁性体磁盘等。此外,光盘可以是紧凑型光盘(CD),数字多功能光盘(DVD)或蓝光光盘(BD)(注册商标)等。
显示单元240显示由图像合成单元250生成的合成图像。因为该合成图像是通过成像而获得的人物图像以及虚拟的背景图像和前景图像的合成图像,所以,用户可以视觉接触显示在显示单元240中的合成图像,从而体验该用户处于有别于实际空间的空间中的感觉。
图像合成单元250将由通信单元220接收的人物图像与存储在存储单元230中的背景图象和前景图象组合。要进行组合的背景图像和前景图像可以通过用户的操作进行选择。另外,背景图像和前景图像可以由例如网络服务器的外部设备而不是存储单元230提供。
这里,对于构成人物图像的每一个像素,图像合成单元250基于人物图像的深度信息以及包括在前景图像中的前景对象的深度信息来表现人物图像和前景对象之间的前后关系。因此,如图3所示,生成逼真的合成图像是可能的。前景对象可以是静止图像或运动图像。当前景对象是运动图像时,前景对象的深度信息要随前景对象的运动而变化。
当图像合成单元250生成合成图像时,如果人物图像的深度不在适当的范围内,则效果处理单元260执行效果处理。因此,可以设置通知,从而可以很容易地确定和直观地理解人物是否处于适当的深度范围内。下文中,将更具体的描述适当的深度范围和效果处理。
(适当的深度范围)
如图3所示,可能期望人物图像的深度接近某名人的前景对象的深度,这样使得该人物能够与名人一起被看到。也就是说,人物图像的深度处在基于前景对象的深度的预定范围内是适当的。因此,如图5所示,效果处理单元260可以将距前景对象小于阈值Dth的范围视为适当的深度范围。
尽管在图5中同一阈值Dth被示出为前景对象的前部和后部阈值,但是,前部和后部阈值可以是不同的。此外,根据前景图像,该阈值Dth可以是不同的值。例如,与前景对象的深度浅时相比,前景对象的深度深时,相同的深度差所带来的影响是小的。因此,当前景对象的深度较深时,效果处理单元260可以将阈值Dth设定为更大的值。
(效果处理)
当人物图像的深度在上述的适当的范围内时,也就是,当人物图像的深度和前景对象的深度之间的差小于阈值Dth时,效果处理单元260不执行效果处理时。另一方面,当人物图像的深度不是在上述适当的深度范围内时,也就是,当人物图像的深度和前景对象的深度之间的差大于或等于阈值Dth时,效果处理单元260执行效果处理,以提供人物在适当的深度范围内的通知。下文中,将说明效果处理的一个具体例子。
图6是示出当人物图像深度过深时的合成图像92的示意图。当人物图像82的深度比前景对象84的深度深阈值Dth或更多时,如图6中示出的合成图像92所示,效果处理单元260通过对人物图像82施加Alpha处理,使人物图像82成为半透明。此外,效果处理单元260将报警标记88添加在图6中示出的合成图像92上,以引起注意。
效果处理单元260可以通过将人物图像的每个像素的深度或者身体部分的深度的平均值视为具有代表性的深度,并且通过将该人物图像的具有代表性的深度与前景对象的深度比较,来对人物图像执行统一的效果处理。
可替换地,效果处理单元260可以以人物图像的像素为单位将人物图像的深度与前景对象的深度进行比较。在这种情况下,只能对人物的一部分施加Alpha处理。
图7是示出当人物图像深度过浅时的合成图像的示意图。当人物图像82的深度比前景对象84的深度浅阈值Dth或更多时,如图7中示出的合成图像94所示,效果处理单元260通过对人物图像82施加Alpha处理,使人物图像82成为半透明。此外,效果处理单元260将报警标记88添加在图7中示出的合成图像94上,以引起注意。
根据与合成图像92和94的视觉接触,可以很直观的确定作为对象的人物处于一个不适当的深度位置并且其站立位置希望被调整。
当人物图像的深度和前景对象的深度之间的差大于或等于阈值Dth时,人物图像的深度与前景对象的深度之间的差越大,则效果处理单元260可施加越强的Alpha处理。根据这种配置,作为对象的人物能够通过Alpha处理的强度来识别当前的深度位置与适当的深度范围之间的差别的程度。
此外,尽管上面已经描述了作为效果处理的Alpha处理以及警告标志88的添加,但是,效果处理并不限于这些例子。例如,效果处理可能是人物图像的闪烁、轮廓强调、色调变化(例如,黑白形式)、模糊处理或者增加警告消息等。
(应用实例)
虽然上面已经描述了具有一个前景对象的例子,但是当具有多个前景对象时,本公开实施例也是适用的。在这种情况下,效果处理单元260可以只关注任何一个前景对象的深度信息或关注多个前景对象的深度信息。当关注多个前景对象的深度信息时,如果任何一个前景对象的深度与人物图像的深度之间的差大于或等于阈值Dth,或者如果多个前景对象的深度与人物图像的深度之间的差大于或等于Dth,则效果处理单元260可以施加效果处理。
(补充)
此外,虽然上面已经描述了施加效果处理以提供人物没有处于适当的深度范围内的通知的例子,但是,当合成图像中的人物图像和前景对象分离一预定距离时,效果处理单元260也可以施加效果处理。
图8是示出当人物图像与前景对象分离时的合成图像96的的示意图。如图8中示出的合成图像96中那样,当人物图像82与前景对象84分离时,效果处理单元260可以增加报警标记88和用于引导人物移动的箭头图像89。由此,作为对象的人物被预期移动到适当的位置。
<3.图像处理系统的操作>
上面已经描述了根据本公开实施例的图像处理装置20的配置。接下来,将参照图9建立根据本公开实施例的图像处理系统的操作。
图9是示出根据本公开一实施例的图像处理系统的操作的流程图。如图9所示,首先,成像设备10对作为目标的人物进行成像,并且获取包括RGB信息的被捕获的图像(S304)。此外,成像装置10也获取被捕获的图像中的每个像素的深度信息(S308)。
成像装置10从被捕获的图像中识别出人物的图像部分,从而基于被捕获的图像的每个像素的深度信息来提取出人物图像(S312).然后,成像装置10将提取出的人物图像以及该人物图像的深度信息传送至图像处理装置20。
另一个方面,图像处理装置20中的图像合成单元250首先绘制出背景图像以及前景图像(S316和S320),例如所述背景图像以及前景图像是从存储单元230中读取的。然后,图像合成单元250与效果处理单元260合作对构成人物图像的每个像素执行处理步骤S324到S340。
具体而言,图像合成单元250确定前景图像的与人物图像的像素对应的像素是否前景对象(S324)。当前景图像的像素是前景对象时,处理进行到步骤S328的处理,当前景图像的像素不是前景对象时,处理进行到步骤S332的处理。
在步骤S328中,图像合成单元250确定人物图像的像素的深度否大于或等于前景对象的深度。当人物图像的像素的深度大于或等于前景对象的深度时,人物图像的像素不会被绘制。另一方面,当人物图像的像素的深度小于前景对象的深度时,处理进行到步骤S332的处理。
在步骤S332,效果处理单元260确定人物图像的像素的深度与前景对象的深度之间的差是否小于阈值Dth(S332)。当人物图像的像素的深度与前景对象之间的差大于或等于阈值Dth时,图像合成单元250正常绘制人物图像的像素(S336)。另一方面,当人物图像的像素的深度与前景对象的深度的差小于阈值Dth时,效果处理单元260对人物图像的像素施加Alpha处理,并且图像合成单元250绘制该像素于Alpha处理施加处(S340)。
<4.硬件配置>
上面已经描述了根据本公开实施例的图像处理装置20的图像处理。上述图像处理装置20的图像处理是由图像处理装置20提供的硬件与软件合作执行的。在下文中,将参照图10描述图像处理装置20的硬件配置的一个例子。
图10是示出图像处理装置20的硬件配置的一个例子的示意图。如图10所述,图像处理装置20包括中央处理器(CPU)201、只读存储器(ROM)202、随机存取存储器(RAM)203和主机总线204。此外,图像处理装置20包括桥接器205、外部总线206、接口I/F 207、输入装置208、输出装置210、存储装置(硬盘驱动器(HDD))211、驱动器212以及通信装置215。
CPU 201实现算术处理单元和控制单元的功能,并根据各种程序来控制图像处理装置20中的一般操作。此外,CPU 201可以是微处理器。ROM202存储CPU 201所要使用的程序、算术参数等。RAM 203暂时存储CPU 201的执行所要使用的程序以及在其执行中适当变化的参数等。这些都是通过包括CPU总线等的主机总线204相互连接的。
经由桥205,主机总线204连接到诸如外围组件互连/接口(PCI)总线的外部总线206。在这里,没有必要单独配置主机总线204、桥205和外部总线206,它们的功能可以被实现在单个总线中。
输入装置208包括允许用户输入信息的输入单元(如鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆等)以及输入控制电路,该输入控制电路产生基于用户输入的输入信号,并将信号输出到CPU 201。图像处理装置20的用户可以将各种数据输入到图像处理装置20,或通过操作输入装置208来指示图像处理装置20执行处理操作。
输出设备210例如包括诸如阴极射线管(CRT)显示装置、液晶显示(LCD)装置、有机发光二极管(OLED)的移动设备和灯的显示装置。此外,输出装置210包括诸如扬声器和耳机的音频输出设备。例如,输出装置210输出再现的内容。具体而言,显示设备显示各种信息,例如文本或图像形式的再现的视频数据。另一方面,音频输出装置将再现的音频数据等转化为音频并输出音频。
存储装置211是作为根据本实施例的图像处理装置20中的存储单元的一个例子而被配置用于数据存储的装置。存储设备211可以包括存储介质、在存储介质上记录数据的记录装置、从存储介质中读取数据的读出装置以及删除记录在存储介质上的数据的删除装置。存储设备211例如包括硬盘驱动器(HDD)。存储设备211驱动硬盘,并且存储要由CPU 201执行的程序由和各种数据。
驱动器212是用于存储介质的读取器/写入器,并且被嵌入或外部连接到图像处理装置20。驱动器212读取记录在如磁盘、光盘、磁光盘或半导体存储器等安装的可拆卸存储介质24中的信息,并将所读取的信息输出到RAM 203。此外,驱动器212可将信息写入到可拆卸存储介质24中。
通信装置215的一个例子是包括通信装置等用于建立到通信网络12的连接的通信接口I/F。此外,通信装置215可以是与无线局域网(LAN)兼容的通信设备、与长期演进技术(LTE)兼容的通信装置或执行有线通信的有线通信设备。
<5.结论>
如上所述,当包含前景对象的前景图像、背景图像以及通过成像得到的人物图像被合成时,如果人物图像的深度与前景对象的深度之间的差大于或等于阈值Dth,则根据本公开实施例的图像处理装置20执行效果处理,用于提供该人物没有处在适当的深度范围内的通知。根据该配置,通知可以被提供以容易地确定和直观地理解作为对象的人物是否在适当的深度范围内。
本领域技术人员应当理解,在所附权利要求或其等同物范围内的、取决于设计要求和其他因素的各种修改、组合、子组合和变更均可能会出现。
例如,在本说明书中所涉及的成像装置10和图像处理装置20的处理步骤不一定以流程图中所描述的顺序按照时间序列进行处理。例如,成像设备10和图像处理装置20的处理步骤也可以以不同于流程图中描述的顺序进行处理,或者并行处理。
此外,还可以创建一种计算机程序,用于使内置于成像装置10和图像处理装置20中的例如CPU 201、ROM 202或RAM 203的硬件能够实现上述成像装置10和图像处理装置20的每个配置的等同功能。此外,还提供了存储该计算机程序的存储介质。
此外,本技术还可以被配置如下。
(1)一种图像处理装置,包括:
深度获取单元,被配置为获取包含在被捕获的图像中的第一对象的深度信息;
图像合成单元,被配置为根据每一条深度信息将所述第一对象与具有深度信息的图像对象合并;以及
效果处理单元,被配置为根据所述第一对象的深度信息执行效果处理。
(2)如(1)所述的图像处理装置,其中,所述效果处理单元根据图象对象的深度信息和所述第一对象的深度信息之间的关系执行效果处理。
(3)如(2)所述的图像处理装置,其中,当所述第一对象的深度信息和图像对象的深度信息之间的差大于或等于阈值时,所述效果处理单元执行效果处理。
(4)如(3)所述的图像处理装置,其中,所述第一对象的深度信息与图像对象的深度信息之间的差越大,所述效果处理单元执行越强的效果处理。
(5)根据(1)-(4)中任一项所述的图像处理装置,其中,所述效果处理单元根据由所述图像合成单元获得的合成图像中的图像对象与所述第一对象之间的位置关系来进一步执行效果处理。
(6)根据(1)-(5)中任一项所述的图像处理装置,其中,所述效果处理单元根据构成所述第一对象的每一像素的深度信息为每一像素执行效果处理。
(7)一种图像处理方法,包括:
获取包含在被捕获的图像中的第一对象的深度信息;
根据每一条深度信息将所述第一对象与具有深度信息的图像对象合成;以及
根据所述第一对象的深度信息执行效果处理。
本公开包含在2011年12月2日向日本专利局提交的日本优先权专利申请JP2011-264444中所公开的主题有关的主题,其全部内容通过引用结合于此。

Claims (10)

1.一种图像处理装置,包括:
深度获取单元,被配置为获取包含在被捕获的图像中的第一对象的深度信息;
图像合成单元,被配置为根据每一条深度信息将所述第一对象与具有深度信息的图像对象合成;以及
效果处理单元,被配置为根据所述第一对象的深度信息执行效果处理。
2.如权利要求1所述的图像处理装置,其中,所述效果处理单元根据所述图象对象的深度信息和所述第一对象的深度信息之间的关系执行效果处理。
3.如权利要求2所述的图像处理装置,其中,当所述第一对象的深度信息和所述图像对象的深度信息之间的差大于或等于阈值时,所述效果处理单元执行效果处理。
4.如权利要求3所述的图像处理装置,其中,所述第一对象的深度信息与所述图像对象的深度信息之间的差越大,所述效果处理单元执行越强的效果处理。
5.如权利要求1-4中任一项所述的图像处理装置,其中,所述效果处理单元根据由所述图像合成单元获得的合成图像中的图像对象与所述第一对象之间的位置关系来进一步执行效果处理。
6.如权利要求1-4中任一项所述的图像处理装置,其中特征在于,所述效果处理单元根据每一像素的深度信息为构成所述第一对象的每一像素执行效果处理。
7.一种图像处理方法,包括:
获取包含在被捕获的图像中的第一对象的深度信息;
根据每一条深度信息将所述第一对象与具有深度信息的图像对象合成;及
根据所述第一对象的深度信息执行效果处理。
8.如权利要求7所述的图像处理方法,其中,执行效果处理包括:根据所述图象对象的深度信息和所述第一对象的深度信息之间的关系执行效果处理。
9.如权利要求8所述的图像处理方法,其中,当所述第一对象的深度信息和所述图像对象的深度信息之间的差大于或等于阈值时,执行效果处理。
10.如权利要求9所述的图像处理方法,其中,所述第一对象的深度信息与所述图像对象的深度信息之间的差越大,所述效果处理单元执行越强的效果处理。
CN2012104830144A 2011-12-02 2012-11-23 图像处理装置和图像处理方法 Pending CN103136746A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-264444 2011-12-02
JP2011264444A JP2013118468A (ja) 2011-12-02 2011-12-02 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
CN103136746A true CN103136746A (zh) 2013-06-05

Family

ID=48496537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012104830144A Pending CN103136746A (zh) 2011-12-02 2012-11-23 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (2) US9406139B2 (zh)
JP (1) JP2013118468A (zh)
CN (1) CN103136746A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106162141A (zh) * 2015-03-13 2016-11-23 钰立微电子股份有限公司 图像处理装置与图像处理方法
CN106331472A (zh) * 2015-07-03 2017-01-11 联发科技股份有限公司 图像处理方法及其电子装置
CN106373153A (zh) * 2016-09-23 2017-02-01 邹建成 一种基于阵列镜头的3d图像替换技术
CN107194958A (zh) * 2017-05-25 2017-09-22 深圳市金立通信设备有限公司 一种图像处理的方法、终端及计算机可读存储介质
CN107509043A (zh) * 2017-09-11 2017-12-22 广东欧珀移动通信有限公司 图像处理方法及装置
CN107529020A (zh) * 2017-09-11 2017-12-29 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质
US11450352B2 (en) 2018-05-29 2022-09-20 Sony Corporation Image processing apparatus and image processing method

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
CN104427291B (zh) * 2013-08-19 2018-09-28 华为技术有限公司 一种图像处理方法及设备
US9485433B2 (en) 2013-12-31 2016-11-01 Personify, Inc. Systems and methods for iterative adjustment of video-capture settings based on identified persona
US9414016B2 (en) 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
JP6455125B2 (ja) * 2014-12-16 2019-01-23 大日本印刷株式会社 画像プリント装置、システム及び方法
TWI595786B (zh) * 2015-01-12 2017-08-11 仁寶電腦工業股份有限公司 基於時間戳記的音訊與視訊處理方法及其系統
US10068147B2 (en) * 2015-04-30 2018-09-04 Samsung Electronics Co., Ltd. System and method for insertion of photograph taker into a photograph
US9916668B2 (en) 2015-05-19 2018-03-13 Personify, Inc. Methods and systems for identifying background in video data using geometric primitives
US9563962B2 (en) 2015-05-19 2017-02-07 Personify, Inc. Methods and systems for assigning pixels distance-cost values using a flood fill technique
US9607397B2 (en) 2015-09-01 2017-03-28 Personify, Inc. Methods and systems for generating a user-hair-color model
WO2017039348A1 (en) * 2015-09-01 2017-03-09 Samsung Electronics Co., Ltd. Image capturing apparatus and operating method thereof
ITUB20153347A1 (it) 2015-09-02 2017-03-02 Stefano Spattini Apparato per la videocomunicazione
AU2015275252A1 (en) * 2015-12-22 2017-07-06 Canon Kabushiki Kaisha Systems and method to modify display of augmented reality content
DE102016105544A1 (de) 2016-03-24 2017-09-28 Epcos Ag Vorrichtung zur Messung eines Zustands eines elektrischen Schalters, elektrischer Schalter und Verfahren zur Messung eines Zustands eines elektrischen Schalters
US9883155B2 (en) 2016-06-14 2018-01-30 Personify, Inc. Methods and systems for combining foreground video and background video using chromatic matching
CN107958446B (zh) * 2016-10-17 2023-04-07 索尼公司 信息处理设备和信息处理方法
US9881207B1 (en) 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks
TWI617969B (zh) * 2016-11-24 2018-03-11 新加坡商雲網科技新加坡有限公司 畫面控制方法及使用者終端
CN106443980B (zh) * 2016-12-16 2018-10-02 福建福光股份有限公司 紧凑型广角高分辨率空间目标探测镜头
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
CN110520902B (zh) * 2017-03-30 2023-04-28 韩国斯诺有限公司 对图像应用动态效果的方法及装置
JP7191514B2 (ja) * 2018-01-09 2022-12-19 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7117914B2 (ja) 2018-06-29 2022-08-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020010146A (ja) 2018-07-05 2020-01-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10504264B1 (en) * 2018-11-06 2019-12-10 Eric Koenig Method and system for combining images
US11170579B2 (en) * 2019-04-09 2021-11-09 Microsoft Technology Licensing, Llc Hybrid rendering
US11223855B2 (en) * 2019-09-18 2022-01-11 Loop Now Technologies Inc. System and method of real-time video overlaying or superimposing display
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11195138A (ja) * 1998-01-06 1999-07-21 Sharp Corp 画像処理装置
US6747642B1 (en) * 1999-01-29 2004-06-08 Nintendo Co., Ltd. Method and apparatus for providing non-photorealistic cartoon outlining within a 3D videographics system
US6809745B1 (en) * 2001-10-01 2004-10-26 Adobe Systems Incorporated Compositing two-dimensional and 3-dimensional images
US7667700B1 (en) * 2004-03-05 2010-02-23 Hrl Laboratories, Llc System and method for navigating operating in a virtual environment
US7178111B2 (en) * 2004-08-03 2007-02-13 Microsoft Corporation Multi-planar three-dimensional user interface
CN101308441B (zh) * 2004-10-12 2010-09-22 日本电信电话株式会社 三维显示控制方法和三维显示控制装置
JP2006128754A (ja) 2004-10-26 2006-05-18 Matsushita Electric Ind Co Ltd 撮像装置、および撮像方法
JP4683970B2 (ja) * 2005-03-24 2011-05-18 任天堂株式会社 タッチ入力プログラムおよびタッチ入力装置
US7477777B2 (en) * 2005-10-28 2009-01-13 Aepx Animation, Inc. Automatic compositing of 3D objects in a still frame or series of frames
US8009903B2 (en) * 2006-06-29 2011-08-30 Panasonic Corporation Image processor, image processing method, storage medium, and integrated circuit that can adjust a degree of depth feeling of a displayed high-quality image
CA2669016A1 (en) * 2006-11-20 2008-05-29 Thomson Licensing System and method for compositing 3d images
JP4793933B2 (ja) * 2007-03-12 2011-10-12 任天堂株式会社 画像処理プログラムおよび画像処理装置
JP5109803B2 (ja) * 2007-06-06 2012-12-26 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
US8665258B2 (en) * 2008-09-16 2014-03-04 Adobe Systems Incorporated Generating a depth map based on a single image
MX2011002553A (es) * 2008-09-18 2011-04-04 Panasonic Corp Dispositivo de reproduccion de video estereoscopico y dispositivo de presentacion visual de video estereoscopico.
WO2010035223A1 (en) * 2008-09-25 2010-04-01 Koninklijke Philips Electronics N.V. Three dimensional image data processing
JP4637942B2 (ja) * 2008-09-30 2011-02-23 富士フイルム株式会社 3次元表示装置および方法並びにプログラム
WO2010075726A1 (zh) * 2008-12-30 2010-07-08 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
US8269821B2 (en) * 2009-01-27 2012-09-18 EchoStar Technologies, L.L.C. Systems and methods for providing closed captioning in three-dimensional imagery
US8866841B1 (en) * 2009-04-03 2014-10-21 Joshua Distler Method and apparatus to deliver imagery with embedded data
JP5293463B2 (ja) * 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
CA2772607A1 (en) * 2009-09-01 2011-03-10 Prime Focus Vfx Services Ii Inc. System and process for transforming two-dimensional images into three-dimensional images
JP4816789B2 (ja) * 2009-11-16 2011-11-16 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム
JP2011199526A (ja) * 2010-03-18 2011-10-06 Fujifilm Corp 被写体の追尾装置およびその動作制御方法
JP4787905B1 (ja) * 2010-03-30 2011-10-05 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP5380348B2 (ja) * 2010-03-31 2014-01-08 富士フイルム株式会社 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
GB2479410A (en) * 2010-04-09 2011-10-12 Tektronix Uk Ltd Measuring perceived stereoscopic visual depth
US8994716B2 (en) * 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8649592B2 (en) * 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
GB2483285A (en) * 2010-09-03 2012-03-07 Marc Cardle Relief Model Generation
US8582867B2 (en) * 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US8983121B2 (en) * 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
US8514225B2 (en) * 2011-01-07 2013-08-20 Sony Computer Entertainment America Llc Scaling pixel depth values of user-controlled virtual object in three-dimensional scene
US8618952B2 (en) * 2011-01-21 2013-12-31 Honda Motor Co., Ltd. Method of intersection identification for collision warning system
WO2012175783A1 (en) * 2011-06-21 2012-12-27 Nokia Corporation Video remixing system
US8411113B1 (en) * 2011-10-12 2013-04-02 Google Inc. Layered digital image data reordering and related digital image rendering engine
US9558595B2 (en) * 2014-12-17 2017-01-31 Ross Video Limited Methods and systems for intersecting digital images
US10609307B2 (en) * 2015-09-28 2020-03-31 Gopro, Inc. Automatic composition of composite images or videos from frames captured with moving camera

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106162141A (zh) * 2015-03-13 2016-11-23 钰立微电子股份有限公司 图像处理装置与图像处理方法
CN106162141B (zh) * 2015-03-13 2020-03-10 钰立微电子股份有限公司 图像处理装置与图像处理方法
CN106331472A (zh) * 2015-07-03 2017-01-11 联发科技股份有限公司 图像处理方法及其电子装置
CN106373153A (zh) * 2016-09-23 2017-02-01 邹建成 一种基于阵列镜头的3d图像替换技术
CN107194958A (zh) * 2017-05-25 2017-09-22 深圳市金立通信设备有限公司 一种图像处理的方法、终端及计算机可读存储介质
CN107509043A (zh) * 2017-09-11 2017-12-22 广东欧珀移动通信有限公司 图像处理方法及装置
CN107529020A (zh) * 2017-09-11 2017-12-29 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质
CN107509043B (zh) * 2017-09-11 2020-06-05 Oppo广东移动通信有限公司 图像处理方法、装置、电子装置及计算机可读存储介质
CN107529020B (zh) * 2017-09-11 2020-10-13 Oppo广东移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质
US11450352B2 (en) 2018-05-29 2022-09-20 Sony Corporation Image processing apparatus and image processing method

Also Published As

Publication number Publication date
US9406139B2 (en) 2016-08-02
JP2013118468A (ja) 2013-06-13
US10540805B2 (en) 2020-01-21
US20160307361A1 (en) 2016-10-20
US20130142452A1 (en) 2013-06-06

Similar Documents

Publication Publication Date Title
CN103136746A (zh) 图像处理装置和图像处理方法
US20160198097A1 (en) System and method for inserting objects into an image or sequence of images
WO2013061505A1 (en) Image processing apparatus, method and computer program product
CN103207728A (zh) 提供增强现实的方法和支持该方法的终端
KR20170035608A (ko) 화상 통화 시스템, 영상표시장치, 영상표시장치의 구동 방법, 실감 영상 생성 방법 및 컴퓨터 판독가능 기록매체
CN108024079A (zh) 录屏方法、装置、终端及存储介质
CN104023172A (zh) 动态影像的拍摄方法和拍摄装置
US20160065791A1 (en) Sound image play method and apparatus
EP2571251B1 (en) Image processor, image processing method, and computer readable medium
CA2838878C (en) Method and apparatus for controlling contents in electronic device
US9025082B2 (en) Image processing device, image recognition device, image recognition method, and program
US9305400B2 (en) Method and system for augmented reality
JP2011028689A (ja) 動画抽出装置、プログラム、および動画抽出方法
US20120119998A1 (en) Server device, display operation terminal, and remote control system
JP2012123513A (ja) 情報処理装置、および情報処理システム
CN112118397B (zh) 一种视频合成的方法、相关装置、设备以及存储介质
CN107995482A (zh) 视频文件的处理方法和装置
CN114979785A (zh) 视频处理方法和相关装置
CN107370977B (zh) 一种在检测视频中添加解说的方法、设备以及存储介质
US8437611B2 (en) Reproduction control apparatus, reproduction control method, and program
KR20150032097A (ko) 영상표시장치, 영상표시장치의 구동방법 및 영상표시방법
CN115690664A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN112449249A (zh) 视频流处理方法及装置、电子设备及存储介质
JP2013258591A (ja) エフェクト制御装置、エフェクト制御方法、およびプログラム
CN108805951A (zh) 一种投影图像处理方法、装置、终端和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130605