CN102957927A - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN102957927A
CN102957927A CN2012102815648A CN201210281564A CN102957927A CN 102957927 A CN102957927 A CN 102957927A CN 2012102815648 A CN2012102815648 A CN 2012102815648A CN 201210281564 A CN201210281564 A CN 201210281564A CN 102957927 A CN102957927 A CN 102957927A
Authority
CN
China
Prior art keywords
image
distant view
data
rendering
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102815648A
Other languages
English (en)
Other versions
CN102957927B (zh
Inventor
二渡茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN102957927A publication Critical patent/CN102957927A/zh
Application granted granted Critical
Publication of CN102957927B publication Critical patent/CN102957927B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0092Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像处理装置及图像处理方法。图像处理装置包括:获取单元,其获取由具有左右视差的2个图像构成的第1三维图像数据;分离单元,其从通过所述获取单元获取到的所述第1三维图像数据的左右图像中,分别分离远景区域和近景区域;远景图像生成单元,其对由所述分离单元分离出的所述左右图像中的至少一方的所述远景区域实施图像处理,生成远景部分图像的数据;以及三维图像数据生成单元,其对由所述远景图像生成单元生成的所述远景部分图像的数据、和由所述分离单元分别从所述左右图像中分离出的所述近景区域的近景部分图像的数据进行合成,从而生成由具有左右视差的2个图像构成的第2三维图像数据。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及一种图像处理装置及图像处理方法。
背景技术
以往,出现了基于平面显示的图像来显示立体地展现的图像(以下称为“3D(Dimensions)图像”)的技术。作为显示3D图像的技术,例如具有如下技术,即利用通过右眼和左眼看到的像的位置的差异(视差)来感觉像的进深的人的特性,准备视差不同的2张图像来显示3D图像(日本专利平8-30806号公报)。在这种利用视差不同的2张图像来显示3D图像的上述专利文献所记载的技术中,在3D图像内处于近景处的对象物的视差大,处于远景处的对象物的视差小。
此外,近年来要求布局(arrange)图像来有效地显示图像,对于3D图像,也要求进行用于具备视觉效果的多样化布局。
发明内容
本发明的目的在于提供一种能够生成可实现多样化布局的3D图像数据的图像处理装置及图像处理方法。
根据本发明的一个技术方案,是一种图像处理装置,包括:获取单元,其获取由具有左右视差的2个图像构成的第1三维图像数据;分离单元,其从通过所述获取单元获取到的所述第1三维图像数据的左右图像中,分别分离远景区域和近景区域;远景图像生成单元,其对由所述分离单元分离出的所述左右图像中的至少一方的所述远景区域实施图像处理,生成远景部分图像的数据;以及三维图像数据生成单元,其对由所述远景图像生成单元生成的所述远景部分图像的数据、和由所述分离单元分别从所述左右图像中分离出的所述近景区域的近景部分图像的数据进行合成,从而生成由具有左右视差的2个图像构成的第2三维图像数据。
根据本发明的另一个技术方案,是一种图像处理方法,是由图像处理装置执行的,该图像处理方法包括:获取步骤,获取具有左右视差的第1三维图像数据;分离步骤,从通过所述获取步骤的处理获取到的所述第1三维图像数据的左右图像中,分别分离远景区域和近景区域;远景图像生成步骤,对通过所述分离步骤的处理分离出的所述左右图像中的至少一方的所述远景区域实施图像处理,从而生成远景部分图像的数据;以及三维图像数据生成步骤,对通过所述远景图像生成步骤的处理生成的所述远景部分图像的数据、和通过所述分离步骤的处理从所述左右图像分别分离出的所述近景区域的近景部分图像的数据进行合成,从而生成由具有左右视差的2个图像构成的第2三维图像数据。
附图说明
图1是用于说明远景描绘3D图像数据的生成的示意图。
图2是表示本发明的一个实施方式的图像处理装置的硬件结构的框图。
图3是表示在图2的图像处理装置的功能结构中用于执行远景描绘3D图像生成处理的功能结构的功能框图。
图4是表示图3的远景描绘图像生成部的详细功能结构的功能框图。
图5是说明具有图3的功能结构的图2的图像处理装置所执行的远景描绘3D图像生成处理的流程的流程图。
图6是说明具有图4的功能结构的图2的图像处理装置所执行的远景描绘图像生成处理的流程的流程图。
具体实施方式
以下,在说明本发明的实施方式之前,为了便于理解,说明本发明的概要。
本发明的图像处理装置是能够显示远景描绘3D图像的装置。
在此,“远景描绘3D图像”是指,相当于远景的部分(远景部分)显示为描绘风格(在本实施方式中为水彩风格)、除了远景部分以外的部分(近景部分)立体地显示为如同向前方突出的图像。
图1是用于说明远景描绘3D图像数据的生成的示意图。具体而言,图1A是表示用于实现3D图像的显示的左眼用图像及右眼用图像的一例的示意图。图1B是表示分别对图1A的左眼用图像及右眼用图像在远景区域实施描绘转换处理后的左眼用图像及右眼用图像的一例的示意图。图1C是表示利用图1B的左眼用图像及右眼用图像显示的3D图像的影像(image)的一例的示意图。
在此,“左眼用图像”是指,映在人的左眼上的图像,是同一被摄体与右眼用图像相比更向左侧偏移的图像。此外,“右眼用图像”是指,映在人的右眼上的图像,是同一被摄体与左眼用图像相比更向右侧偏移的图像。
即,就人而言,左眼用图像映在左眼的视网膜上,右眼用图像映在右眼的视网膜上,例如,在图1A、图1B中,在左右方向上分离了距离d的各线L1、L2在左眼用图像及右眼用图像中分别被画在左右方向的同一位置上。然而,在左眼用图像中,前景的车辆的侧视镜位于线L1的位置,而在右眼用图像中,前景的车辆的侧视镜位于从线L1偏移了距离d的线L2的位置。该偏移的距离d为视差,由于该视差的存在,前景的车辆在人的大脑中被识别为仿佛向前方突出那样被立体显示。
在3D图像中,该视差越大,向前方突出的程度就越大。换言之,视差的偏差量大的被摄体成为前景,显示为向前方突出,视差的偏差量小的被摄体成为远景,具有进深且显示为位于后方。
另外,在本实施方式的说明中所使用的3D图像的例子使用将车辆作为被摄体来拍摄的图像。具体而言,在图像中,车辆位于中央部分的近前侧,树位于车辆的里侧。即,图像是以树为背景且存在车辆的构图。
关于各左眼用图像及右眼用图像,本发明的图像处理装置仅对远景区域的数据实施图像处理。即,本发明的图像处理装置生成对远景区域实施图像处理而对近景区域不实施图像处理的左眼用图像及右眼用图像各自的数据。
在参照图1之后的图说明的实施方式中,作为图像处理,例如实施成为描绘风格的描绘转换处理。
其结果,如图1B所示,生成远景区域(在本例中是被摄体为树的区域)成为描绘风格、近景区域(在本例中是被摄体为车辆的区域)保持原样的左眼用图像及右眼用图像各自的数据。
另外,以下将这样远景区域成为描绘风格、近景区域保持原样的左眼用图像及右眼用图像分别称为远景描绘左眼用图像及远景描绘右眼用图像。此外,将远景描绘左眼用图像及远景描绘右眼用图像的各数据适当地统称为“远景描绘3D图像数据”。
这样,在用于生成远景描绘左眼用图像及远景描绘右眼用图像的各数据(远景描绘3D图像数据)的图像处理中,只有左眼用图像及右眼用图像中的远景区域成为处理对象。因此,在左眼用图像及右眼用图像中,需要区分远景区域和除此之外的近景区域。这种远景区域和近景区域的区分方法并没有特别限定,可以采用如下的方法:利用左眼用图像与右眼用图像的视差,并利用在近景中视差大(即产生大的偏差)、在远景中视差小(即与近景相比所产生的偏差量小)的特性。具体而言,可以采用在各左眼用图像和右眼用图像中,将视差在一定以上的同一被摄体的区域(偏离了一定以上的同一被摄体的区域)作为近景、将除此之外的区域作为远景的方法。
本发明的图像处理装置显示各个远景描绘左眼用图像及远景描绘右眼用图像,从而在作为观赏者的用户的眼中映出如同显示了远景描绘3D图像。即,在用户的眼中,如图1C所示,近景区域(在该图的例子中是被摄体为车辆的区域)立体地显现为仿佛向前方突出,而远景区域(在该图的例子中是被摄体为树的区域)看起来如同在后方没有突出且位于里侧,看起来成为了描绘风格。这样,用户能够观赏到加入了远景区域成为描绘风格的布局(arrange)的更高演出效果的远景描绘3D图像,而不是现有的简单的3D图像。
以下,参照附图说明能够生成这种远景描绘左眼用图像及远景描绘右眼用图像的各数据(远景描绘3D图像数据)的图像处理装置、即本发明的图像处理装置的一个实施方式。
图2是表示本发明的一个实施方式的图像处理装置1的硬件结构的框图。
图像处理装置1例如构成为数码相机。
图像处理装置1包括CPU(Central Processing Unit:中央处理器)11、ROM(Read Only Memory:只读存储器)12、RAM(Random Access Memory:随机存储器)13、总线14、输入输出接口15、摄像部16、输入部17、输出部18、存储部19、通信部20及驱动器21。
CPU11根据ROM12中所记录的程序或从存储部19载入到RAM13中的程序,执行各种处理。
在RAM13中还适当存储CPU11执行各种处理时所需要的数据等。
CPU11、ROM12及RAM13经由总线14而相互连接。该总线14上还连接有输入输出接口15。输入输出接口15上连接有摄像部16、输入部17、输出部18、存储部19、通信部20及驱动器21。
虽然未图示,但是摄像部16具备光学透镜部和图像传感器。
光学透镜部为了拍摄被摄体而由使光汇聚的透镜例如聚焦透镜、变焦透镜构成。
聚焦透镜是使被摄体像成像于图像传感器的受光面的透镜。变焦透镜是在一定的范围内自由改变焦距的透镜。
在光学透镜部中,还根据需要设置调整焦点、曝光、白平衡等设定参数的外围电路。
图像传感器由光电变换元件、AFE(Analog Front End:模拟前端)等构成。
光电变换元件例如由CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)型的光电变换元件等构成。从光学透镜部向光电变换元件入射被摄体像。因此,光电变换元件对被摄体像进行光电转换(拍摄)并将图像信号蓄积一定时间,将所蓄积的图像信号作为模拟信号,依次提供给AFE。
AFE对该模拟的图像信号执行A/D(Analog/Digital:模拟/数字)转换处理等各种信号处理。通过各种信号处理,生成数字信号,并作为摄像部16的输出信号来输出。
以下,将这种摄像部16的输出信号称为“摄像图像的数据”。将摄像图像的数据适当提供给CPU11等。
输入部17由各种按钮等构成,根据用户的指示操作,输入各种信息。输出部18由显示器、扬声器等构成,输出图像、声音。
存储部19由硬盘或DRAM(Dynamic Random Access Memory:动态随机存储器)等构成,存储各种图像的数据。
通信部20控制经由包括因特网在内的网络在与其他装置(未图示)之间进行的通信。
在驱动器21上适当地安装由磁盘、光盘、光磁盘或半导体存储器等构成的可移动介质31。根据需要,由驱动器21从可移动介质31中读出的程序被安装到存储部19。此外,可移动介质31还能够与存储部19同样地存储在存储部19中所存储的图像的数据等各种数据。
图3是表示这种图像处理装置1的功能结构中用于执行远景描绘3D图像生成处理的功能结构的功能框图。
远景描绘3D图像生成处理是指,根据现有的3D图像显示用的左眼用图像及右眼用图像的各数据(以下适当称为“3D图像数据”)生成远景描绘左眼用图像及远景描绘右眼用图像的各数据(远景描绘3D图像数据)为止的一系列处理。
另外,在本实施方式中,根据由摄像部16获取的摄像图像的数据来生成现有的3D图像显示用的左眼用图像及右眼用图像的各数据(3D图像数据)的处理,也包含在远景描绘3D图像生成处理中。但是,这种处理在远景描绘3D图像生成处理中不是必须的,例如,在摄像部16本身搭载了立体透镜(stereoscopic lens)的情况、或能够与外部进行通信等的情况下,能够获得生成完的左眼用图像及右眼用图像的各数据,因此是不需要的。
在图像处理装置1的CPU11中,在执行远景描绘3D图像生成处理的情况下,3D图像生成部41、3D图像获取部42、差分计算部43、远近景分离部44、远景描绘图像生成部45及远景描绘3D图像生成部46发挥作用。
此时,使用被设置为存储部19的一个区域的3D图像存储部47。
3D图像生成部41根据所获取的图像的数据,生成现有的3D图像显示用的左眼用图像及右眼用图像的各数据(3D图像数据)。在本实施方式中,3D图像生成部41根据由摄像部16拍摄的1张图像的数据,生成如图1A所示的视差不同的2张左眼用图像及右眼用图像的各数据。
在3D图像存储部47中存储由3D图像生成部41生成的左眼用图像及右眼用图像的各数据(3D图像数据)。
3D图像获取部42从3D图像存储部47获取现有的3D图像显示用的左眼用图像及右眼用图像的各数据(3D图像数据)。
差分计算部43计算由3D图像获取部42获取到的左眼用图像与右眼用图像的各数据(3D图像数据)的差分值。差分计算部43根据计算出的差分值,按与左眼用图像及右眼用图像分别对应的每个区域或每个像素,计算视差。
远近景分离部44根据利用左眼用图像与右眼用图像的差分值计算出的各区域的视差的不同,从该左眼用图像及该右眼用图像各自的数据中分别分离近景部分图像及远景部分图像的各数据。
在此,近景部分图像是指如下的图像:分辨率与左眼用图像及右眼用图像相同,且近景区域具有原来的像素值(近景区域保持原样)而除此之外的区域具有一定的像素值的图像,即只存在近景区域,而除此之外的区域为黑色等均一色。
另一方面,远景部分图像是指如下的图像:分辨率与左眼用图像及右眼用图像相同,且远景区域具有原来的像素值(远景区域保持原样)而除此之外的区域具有一定的像素值,即只存在远景区域而除此之外的区域为黑色等均一色。
将左眼用图像及右眼用图像各自的近景部分图像的各数据提供给远景描绘3D图像生成部46。另一方面,将左眼用图像及右眼用图像各自的远景部分图像的各数据提供给远景描绘图像生成部45。
远景描绘图像生成部45将从远近景分离部44提供的左眼用图像及右眼用图像各自的远景部分图像的各数据作为处理对象,对处理对象实施描绘转换处理。以下,将这种一系列的处理称为“远景描绘图像生成处理”。此外,将从远景描绘图像生成处理的结果中得到的远景部分图像的数据称为“远景描绘部分图像的数据”。
左眼用图像及右眼用图像各自的远景描绘部分图像的各数据是从远景描绘图像生成部45提供给远景描绘3D图像生成部46的。
针对左眼用图像及右眼用图像的每一个,远景描绘3D图像生成部46对由远景描绘图像生成部45生成的远景描绘部分图像的数据、和由远近景分离部44分离的近景部分图像的数据进行合成,从而生成如图1B所示的远景描绘左眼用图像及远景描绘右眼用图像的各数据(远景描绘3D图像数据)。
将这样生成的远景描绘左眼用图像及远景描绘右眼用图像的各数据(远景描绘3D图像数据)存储在3D图像存储部47中。
图4是表示图3的远景描绘图像生成部45的详细功能结构的功能框图。
远景描绘图像生成部45包括描绘转换部61和远景描绘图像输出部62。
描绘转换部61将从远近景分离部44提供的左眼用图像及右眼用图像各自的远景部分图像的各数据作为处理对象,对处理对象实施描绘转换处理,从而生成描绘转换后的远景部分图像的各数据、即远景描绘部分图像的数据。在此,描绘转换部61所实施的描绘转换处理并没有特别限定,例如可以采用水彩画风格、油画风格、蜡笔画风格、铅笔画风格等。
远景描绘图像输出部62输出由描绘转换部61生成的各数据、即关于左眼用图像及右眼用图像各自的远景描绘部分图像的各数据,并提供给远景描绘3D图像生成部46。
图5是说明具有图3的功能结构的图2的图像处理装置1所执行的远景描绘3D图像生成处理的流程的流程图。
例如,用户按下快门按钮(输入部17的一个构成要素),从而向3D图像生成部41提供由摄像部16拍摄到的摄像图像的数据。3D图像生成部41根据摄像图像的数据,生成现有的3D图像显示用的左眼用图像及右眼用图像的各数据(3D图像数据),并存储于3D图像存储部47。
这样,在将现有的3D图像显示用的左眼用图像及右眼用图像的各数据(3D图像数据)存储到3D图像存储部47中的状态下,若用户对输入部17进行规定的操作,则开始进行远景描绘3D图像生成处理。
在步骤S1中,3D图像获取部42获取如图1A所示的现有的3D图像显示用的左眼用图像及右眼用图像的各数据(是3D图像数据,在图5中记载为3D图像的数据)。
在步骤S2中,差分计算部43针对左眼用图像及右眼用图像的各数据(3D图像数据),按分别对应的各区域或每个像素分别提取差分,从而计算每个该区域的视差。例如,在图1A的左眼用图像及右眼用图像的各数据成为处理对象的情况下,按被摄体(车辆、树)的每个区域分别提取差分(偏差量),从而分别计算视差。
在步骤S3中,差分计算部43按左眼用图像及右眼用图像的各区域分别生成表示视差的大小的差分量数据。该差分量数据是例如表示在图像上偏移了多少像素的像素数等数据。
在步骤S4中,远近景分离部44按左眼用图像及右眼用图像的各区域,分析基于应与差分量数据(其表示的视差的大小)比较的阈值的差分量数据。即,远近景分离部44将左眼用图像及右眼用图像的各区域依次作为处理对象,比较处理对象的差分量数据(其表示的视差的大小)与阈值,从而分析处理对象的区域是远景区域还是近景区域,且反复进行该处理。并且,远近景分离部44根据各区域的分析结果,从左眼用图像及右眼用图像的各数据中分别分离近景部分图像及远景部分图像的各数据。
在步骤S5中,远景描绘图像生成部45将关于左眼用图像及右眼用图像各自的近景部分图像及远景部分图像的各数据作为处理对象,执行远景描绘图像生成处理。由此,获得关于左眼用图像及右眼用图像各自的近景描绘部分图像及远景描绘部分图像的各数据。另外,关于远景描绘图像生成处理的详情,将在后面参照图6的流程图进行说明。
在步骤S6中,远景描绘3D图像生成部46针对左眼用图像及右眼用图像分别进行与远景描绘部分图像与近景部分图像的各数据的合成(图5中所述的左右远近合成),从而生成如图1B所示的远景描绘左眼用图像及远景描绘右眼用图像的各数据(远景描绘3D图像数据)。
若这样生成的远景描绘左眼用图像及远景描绘右眼用图像的各数据(远景描绘3D图像数据)被存储在3D图像存储部47中,则结束远景描绘3D图像生成处理。
接着,参照图6说明远景描绘图像生成处理的流程。
图6是说明图5的步骤S5的远景描绘图像生成处理的详细流程的流程图。
在步骤S51中,描绘转换部61获取从远近景分离部44提供的左眼用图像及右眼用图像各自的远景部分图像的各数据。
在步骤S52中,描绘转换部61将在步骤S51的处理中获取的远景部分图像的各数据作为处理对象,对处理对象实施描绘转换处理,从而生成描绘转换后的远景部分图像的各数据、即远景描绘部分图像的数据。
在步骤S53中,远景描绘图像输出部62输出在步骤S52的处理中生成的各数据、即关于左眼用图像及右眼用图像各自的远景描绘部分图像的各数据,并提供给远景描绘3D图像生成部46。另外,所输出的图像可以是实施了描绘转换处理的左眼用图像及右眼用图像的远景部分图像中的任一方。即,远景描绘部分图像输出左眼用及右眼用中任一方的远景部分图像用于左眼及右眼,左右均可以是相同的远景描绘部分图像。
由此,远景描绘图像生成处理结束,即图5的步骤S5的处理结束,处理进入步骤S6。
上述结构的图像处理装置1包括3D图像获取部42、远近景分离部44、远景描绘图像生成部45及远景描绘3D图像生成部46。
3D图像获取部42获取具有左右视差的3D图像数据。
远近景分离部44从通过3D图像获取部42获取到的3D图像数据的左右各图像中分离远景区域和近景区域。
远景描绘图像生成部45对由远近景分离部44分离出的左右各图像的各个远景区域实施描绘转换处理,生成至少一个远景描绘图像的数据。
远景描绘3D图像生成部46对左右图像的每一个合成由远景描绘图像生成部45生成的远景描绘图像的数据、和由远近景分离部44分离出的近景区域的近景部分图像的数据,从而生成远景描绘3D图像数据。
上述结构的图像处理装置1能够生成近景被立体显示的远景描绘3D图像数据。因此,能够向用户提供用于使3D图像具有视觉效果的多样化图像布局。
此外,图像处理装置1还包括:差分计算部43,其对3D图像数据的左右图像计算出分别对应的区域的差分。
远近景分离部44基于由差分计算部43计算出的差分,从3D图像数据的左右图像的每一个中分离远景区域和近景区域。
在上述结构的图像处理装置1中,由于利用3D图像中的远景区域和近景区域的区域的差分不同这一特性,来分离远景区域和近景区域,因此能够可靠地分离远景区域和近景区域。
此外,图像处理装置1具备3D图像生成部41。
3D图像生成部41根据所获取的1个图像数据,生成具有左右视差的3D图像数据。
在上述结构的图像处理装置1中,由于能够根据1张图像生成3D图像的数据,因此即使所获取的图像不是3D图像,也能够生成远景描绘3D图像数据。
另外,本发明并不限于上述实施方式,能够实现本发明的目的的范围内的变形、改良等属于本发明。
在上述实施方式中,说明了由3D图像即静态图像构成的情况,但不限于此,也可以由动态图像构成。此时,通过对构成动态图像的各静态图像实施远景描绘3D图像生成处理,从而在动态图像中也能够进行同样的显示。
此外,在上述实施方式中,对远景部分图像实施了描绘转换处理,但不限于此,也可以对近景部分图像实施描绘转换处理。
此外,在上述实施方式中,对所获取的左眼用图像及右眼用图像的各数据(3D图像数据),按分别对应的区域或每个像素提取了差分,但是在表示差分的信息、表示视差的信息、或表示近景区域和远景区域的信息预先被附加于3D图像数据的情况下,也可以不提取差分。
此外,在上述实施方式中,将远景部分当作了描绘风格(例如,油画风格),但不限于此,例如也可以做成浮雕风格等使远景通过各种图像处理而具有特殊的效果。
此外,在上述实施方式中,以数码相机为例说明了适用本发明的图像处理装置1,但不特别限定于此。
例如,本发明一般能够适用于具有远景描绘3D图像生成处理功能的电子设备。具体而言,例如本发明能够适用于笔记本型个人计算机、打印机、电视接收机、摄像机、便携式导航装置、移动电话、便携式游戏机等。
上述一系列的处理可以通过硬件来执行,也可以通过软件来执行。
换言之,图3的功能结构仅仅是示例,并不特别限定。即,只要图像处理装置1具备能够将上述一系列处理作为整体来执行的功能即可,至于为了实现该功能而使用何种功能块是不特别限定于图3的例子的。
此外,1个功能块可以由硬件单体构成,也可以由软件单体构成,也可以由它们的组合构成。
在通过软件执行一系列处理的情况下,构成该软件的程序从网络或记录介质被安装到计算机等中。
计算机可以是组装于专用硬件上的计算机。此外,计算机也可以是能够通过安装各种程序来执行各种功能的计算机,例如通用的个人计算机。
包括这种程序的记录介质不仅由为了向用户提供程序而独立于装置主体配置的图2的可移动介质31构成,还由在预先组装于装置主体的状态下向用户提供的记录介质等构成。可移动介质31例如由磁盘(包括软盘)、光盘或光磁盘等构成。光盘例如由CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)等构成。光磁盘由MD(Mini-Disk)等构成。此外,在预先组装于装置主体的状态下向用户提供的记录介质例如由记录了程序的图2的ROM12、图2的存储部19中所包含的硬盘等构成。
另外,在本说明书中,描述在记录介质中记录的程序的步骤当然包括沿着其顺序按时序进行的处理,除此之外还包括不一定按时序处理而是并行或单独执行的处理。
此外,在本说明书中,系统的用语意味着由多个装置、多个单元等构成的整体性的装置。
以上,说明了本发明的几个实施方式,但上述实施方式仅仅是示例,并不限定本发明的技术范围。本发明可以采用其他各种实施方式,进一步可以在不脱离本发明的宗旨的范围内进行省略、置换等各种变更。这些实施方式及其变形包含在本说明书等中所记载的发明的范围及要旨中,并且包含在技术方案中所记载的发明及其等同范围内。

Claims (5)

1.一种图像处理装置,包括:
获取单元,其获取由具有左右视差的2个图像构成的第1三维图像数据;
分离单元,其从通过所述获取单元获取到的所述第1三维图像数据的左右图像中,分别分离远景区域和近景区域;
远景图像生成单元,其对由所述分离单元分离出的所述左右图像中的至少一方的所述远景区域实施图像处理,生成远景部分图像的数据;以及
三维图像数据生成单元,其对由所述远景图像生成单元生成的所述远景部分图像的数据、和由所述分离单元分别从所述左右图像中分离出的所述近景区域的近景部分图像的数据进行合成,从而生成由具有左右视差的2个图像构成的第2三维图像数据。
2.根据权利要求1所述的图像处理装置,其中,
所述图像处理装置还包括计算单元,该计算单元针对所述第1三维图像数据的左右图像计算分别对应的区域的差分,
所述分离单元根据由所述计算单元计算出的所述差分,从所述第1三维图像数据的左右图像中分别分离远景区域和近景区域。
3.根据权利要求1所述的图像处理装置,其中,
所述远景图像生成单元作为所述图像处理而执行转换为描绘风格的图像处理。
4.根据权利要求1所述的图像处理装置,其中,
所述图像处理装置还包括生成单元,该生成单元根据获取到的1个图像数据生成所述第1三维图像数据。
5.一种图像处理方法,是由图像处理装置执行的,该图像处理方法包括:
获取步骤,获取具有左右视差的第1三维图像数据;
分离步骤,从通过所述获取步骤的处理获取到的所述第1三维图像数据的左右图像中,分别分离远景区域和近景区域;
远景图像生成步骤,对通过所述分离步骤的处理分离出的所述左右图像中的至少一方的所述远景区域实施图像处理,从而生成远景部分图像的数据;以及
三维图像数据生成步骤,对通过所述远景图像生成步骤的处理生成的所述远景部分图像的数据、和通过所述分离步骤的处理从所述左右图像分别分离出的所述近景区域的近景部分图像的数据进行合成,从而生成由具有左右视差的2个图像构成的第2三维图像数据。
CN201210281564.8A 2011-08-12 2012-08-09 图像处理装置及图像处理方法 Expired - Fee Related CN102957927B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-177139 2011-08-12
JP2011177139A JP2013042301A (ja) 2011-08-12 2011-08-12 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN102957927A true CN102957927A (zh) 2013-03-06
CN102957927B CN102957927B (zh) 2015-01-28

Family

ID=47677587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210281564.8A Expired - Fee Related CN102957927B (zh) 2011-08-12 2012-08-09 图像处理装置及图像处理方法

Country Status (3)

Country Link
US (1) US20130039568A1 (zh)
JP (1) JP2013042301A (zh)
CN (1) CN102957927B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105025286A (zh) * 2014-05-02 2015-11-04 钰创科技股份有限公司 图像处理装置
CN105850120A (zh) * 2014-01-24 2016-08-10 奥林巴斯株式会社 立体内窥镜图像处理装置
CN107454318A (zh) * 2017-07-27 2017-12-08 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN110933326A (zh) * 2019-12-16 2020-03-27 中国科学院云南天文台 一种星空人像拍摄方法及电子设备
CN111988598A (zh) * 2020-09-09 2020-11-24 江苏普旭软件信息技术有限公司 一种基于远近景分层渲染的视景图像生成方法
US11308576B2 (en) 2018-01-15 2022-04-19 Microsoft Technology Licensing, Llc Visual stylization on stereoscopic images
US11593615B2 (en) 2016-12-16 2023-02-28 Microsoft Technology Licensing, Llc Image stylization based on learning network

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9853761B2 (en) * 2010-12-20 2017-12-26 Telefonaktiebolaget Lm Ericsson (Publ) Passive optical network arrangement and method
US9894269B2 (en) 2012-10-31 2018-02-13 Atheer, Inc. Method and apparatus for background subtraction using focus differences
US9538081B1 (en) 2013-03-14 2017-01-03 Amazon Technologies, Inc. Depth-based image stabilization
US9804392B2 (en) 2014-11-20 2017-10-31 Atheer, Inc. Method and apparatus for delivering and controlling multi-feed data
WO2021044900A1 (ja) * 2019-09-02 2021-03-11 ソニー株式会社 施術システム、画像処理装置、画像処理方法、及びプログラム
US11030793B2 (en) * 2019-09-29 2021-06-08 Snap Inc. Stylized image painting

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110360A (ja) * 2005-10-13 2007-04-26 Ntt Comware Corp 立体画像処理装置およびプログラム
JP2007264722A (ja) * 2006-03-27 2007-10-11 Victor Co Of Japan Ltd 画像処理装置
CN102131099A (zh) * 2010-01-18 2011-07-20 索尼公司 图像处理装置、图像处理方法和程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63157579A (ja) * 1986-12-22 1988-06-30 Nippon Telegr & Teleph Corp <Ntt> 疑似3次元撮像装置
JPH02100590A (ja) * 1988-10-07 1990-04-12 Nippon Telegr & Teleph Corp <Ntt> ステレオ動画像視差補償方法
JPH11105500A (ja) * 1997-10-06 1999-04-20 Nippon Ryowa:Kk 油絵風絵画の製造方法
JP2000033800A (ja) * 1998-07-17 2000-02-02 Katou Art Studio Tokyo:Kk 記念版画およびその製造方法
US6373499B1 (en) * 1999-06-30 2002-04-16 Microsoft Corporation Automated emphasizing of an object in a digital photograph
JP2004260591A (ja) * 2003-02-26 2004-09-16 Amita Technology Kk 立体映像表示装置
US8509519B2 (en) * 2009-07-29 2013-08-13 Intellectual Ventures Fund 83 Llc Adjusting perspective and disparity in stereoscopic image pairs
JP2011035643A (ja) * 2009-07-31 2011-02-17 Fujifilm Corp 多眼撮影方法および装置、並びにプログラム
JP2011119926A (ja) * 2009-12-02 2011-06-16 Sharp Corp 映像処理装置、映像処理方法及びコンピュータプログラム
JP5434582B2 (ja) * 2009-12-28 2014-03-05 カシオ計算機株式会社 画像処理装置、及び、画像加工プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110360A (ja) * 2005-10-13 2007-04-26 Ntt Comware Corp 立体画像処理装置およびプログラム
JP2007264722A (ja) * 2006-03-27 2007-10-11 Victor Co Of Japan Ltd 画像処理装置
CN102131099A (zh) * 2010-01-18 2011-07-20 索尼公司 图像处理装置、图像处理方法和程序

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105850120A (zh) * 2014-01-24 2016-08-10 奥林巴斯株式会社 立体内窥镜图像处理装置
CN105850120B (zh) * 2014-01-24 2017-11-10 奥林巴斯株式会社 立体内窥镜图像处理装置
CN105025286A (zh) * 2014-05-02 2015-11-04 钰创科技股份有限公司 图像处理装置
CN105025286B (zh) * 2014-05-02 2019-12-10 钰立微电子股份有限公司 图像处理装置
US11593615B2 (en) 2016-12-16 2023-02-28 Microsoft Technology Licensing, Llc Image stylization based on learning network
CN107454318A (zh) * 2017-07-27 2017-12-08 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
US11308576B2 (en) 2018-01-15 2022-04-19 Microsoft Technology Licensing, Llc Visual stylization on stereoscopic images
CN110933326A (zh) * 2019-12-16 2020-03-27 中国科学院云南天文台 一种星空人像拍摄方法及电子设备
CN111988598A (zh) * 2020-09-09 2020-11-24 江苏普旭软件信息技术有限公司 一种基于远近景分层渲染的视景图像生成方法

Also Published As

Publication number Publication date
CN102957927B (zh) 2015-01-28
US20130039568A1 (en) 2013-02-14
JP2013042301A (ja) 2013-02-28

Similar Documents

Publication Publication Date Title
CN102957927B (zh) 图像处理装置及图像处理方法
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
US10015469B2 (en) Image blur based on 3D depth information
KR101893047B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
CN104584531A (zh) 图像处理装置以及图像显示装置
TWI706379B (zh) 圖像處理方法及裝置、電子設備和儲存介質
US20170308266A1 (en) Image display apparatus and image display method
JP6677098B2 (ja) 全天球動画の撮影システム、及びプログラム
US8400532B2 (en) Digital image capturing device providing photographing composition and method thereof
CN104735350B (zh) 一种信息处理方法及电子设备
KR20140047533A (ko) 화상 처리 장치, 화상 처리 방법 및 기억 매체
CN103426147A (zh) 图像处理装置、图像拾取装置和图像处理方法
CN103312975A (zh) 图像处理装置、以及图像处理方法
JP2018174502A (ja) 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム
JP6095266B2 (ja) 画像処理装置及びその制御方法
CN102651798A (zh) 电子设备
US9826170B2 (en) Image processing of captured three-dimensional images
JP6491442B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
KR20180069312A (ko) 라이트 필드 동영상을 이용한 물체 추적 방법 및 장치
CN106713893A (zh) 手机3d立体拍照方法
JP6157238B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5744642B2 (ja) 画像処理装置および画像処理方法、プログラム。
Lo et al. Three dimensional high dynamic range veillance for 3D range-sensing cameras
KR20210108263A (ko) 사진에서 피사체와 배경을 분리하는 전자 장치 및 방법
CN108665515A (zh) 图像处理装置、图像处理方法以及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150128

Termination date: 20210809

CF01 Termination of patent right due to non-payment of annual fee