CN106162141A - 图像处理装置与图像处理方法 - Google Patents

图像处理装置与图像处理方法 Download PDF

Info

Publication number
CN106162141A
CN106162141A CN201510140112.1A CN201510140112A CN106162141A CN 106162141 A CN106162141 A CN 106162141A CN 201510140112 A CN201510140112 A CN 201510140112A CN 106162141 A CN106162141 A CN 106162141A
Authority
CN
China
Prior art keywords
image
depth
destination object
image processing
input picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510140112.1A
Other languages
English (en)
Other versions
CN106162141B (zh
Inventor
林文国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eYs3D Microelectronics Co
Original Assignee
eYs3D Microelectronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eYs3D Microelectronics Co filed Critical eYs3D Microelectronics Co
Publication of CN106162141A publication Critical patent/CN106162141A/zh
Application granted granted Critical
Publication of CN106162141B publication Critical patent/CN106162141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0096—Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种图像处理装置和图像处理方法。所述图像处理装置包含图像获取器、滤波器、深度估计单元和混合器。所述图像获取器获取包含至少一个目标对象的原始图像及产生相对应的第一深度图。所述滤波器根据所述第一深度图，从所述原始图像中选择所述至少一个目标对象和产生包含所述至少一目标对象的暂时图像。所述深度估计单元根据输入图像，产生相对应的第二深度图。所述混合器根据所述至少一个目标对象的深度信息和所述第二深度图，将所述暂时图像融合至所述输入图像内的预定景深中，以产生包含所述输入图像和所述至少一个目标对象的混合图像。因此，本发明可扩大所述图像处理装置的应用领域，并增添所述图像处理装置的用户的生活乐趣。

Description

图像处理装置与图像处理方法
技术领域
本发明是涉及一种图像处理装置和图像处理方法，尤其涉及一种可根据原始图像和输入图像的深度图信息，融合原始图像的部分至输入图像内的对应或预定景深中以产生混合图像的图像处理装置和图像处理方法。
背景技术
现今双摄像机模块广泛应用在许多终端装置中用以执行图像处理，像是双摄像机模块可应用在笔记本计算机或是智能手机上执行图像处理。而具有双摄像机模块的终端装置可融合双摄像机模块所获取的目标对象和输入至终端装置中的输入图像以产生虚拟现实图像。然而终端装置仅是将双摄像机模块所获取的目标对象覆盖在输入图像，也就是说终端装置在融合双摄像机模块所获取的目标对象至输入图像时，终端装置并不会根据双摄像机模块所获取的目标对象所具有的深度信息，融合双摄像机模块所获取的目标对象至输入图像内的对应景深中。因此，如何将双摄像机模块所获取的目标对象真正地融合至输入图像内的对应景深中是一项具有吸引力的主题。
发明内容
本发明的一实施例公开一种图像处理装置。所述图像处理装置包含一图像获取器、一滤波器、一深度估计单元和一混合器。所述图像获取器是用以获取包含至少一目标对象的一原始图像及产生对应所述原始图像的第一深度图。所述滤波器是用以根据所述第一深度图，从所述原始图像中选择所述至少一目标对象和产生包含所述至少一目标对象的暂时图像，其中所述暂时图像具有所述至少一目标对象的深度信息。所述深度估计单元是用以根据一输入图像，产生对应所述输入图像的第二深度图。所述混合器是用以根据所述至少一目标对象的深度信息和所述第二深度图，将所述暂时图像融合至所述输入图像内的一预定景深中，以产生包含所述输入图像和所述至少一目标对象的混合图像。
本发明的另一实施例公开一种图像处理装置。所述图像处理装置包含一图像获取器、一滤波器、一深度估计单元、一图像强化器和一混合器。所述图像获取器是用以获取包含至少一目标对象的一原始图像及产生对应所述原始图像的第一深度图。所述滤波器是用以根据所述第一深度图，从所述原始图像中选择所述至少一目标对象和产生包含所述至少一目标对象的暂时图像，其中所述暂时图像具有所述至少一目标对象的深度信息。所述深度估计单元是用以根据一输入图像，产生对应所述输入图像的第二深度图。所述图像强化器是用以比对所述暂时图像内的至少一目标对象与所述原始图像内的至少一目标对象，以强化所述暂时图像内的至少一目标对象，并输出所述强化后的暂时图像。所述混合器是用以所述至少一目标对象的深度信息和所述第二深度图，将所述强化后的暂时图像融合至所述输入图像内的一预定景深中，以产生包含所述输入图像和所述强化后的暂时图像内的至少一目标对象的混合图像。
本发明的另一实施例公开一种图像处理方法，其中应用于所述图像处理方法的图像处理装置包含一输入接口、一图像获取器、一滤波器、一深度估计单元、一混合器和一输出接口。所述图像处理方法包含所述图像获取器获取包含至少一目标对象的一原始图像及产生对应所述原始图像的第一深度图；所述滤波器根据所述第一深度图，从所述原始图像中选择所述至少一目标对象和产生包含所述至少一目标对象的暂时图像，其中所述暂时图像具有所述至少一目标对象的深度信息；所述深度估计单元根据一输入图像，产生对应所述输入图像的第二深度图；及所述混合器根据所述至少一目标对象的深度信息和所述第二深度图，将所述暂时图像融合至所述输入图像内的一预定景深中，以产生包含所述输入图像和所述至少一目标对象的混合图像。
本发明公开一种图像处理装置和图像处理方法。所述图像处理装置和所述图像处理方法利用一图像获取器获取包含至少一目标对象的一原始图像以及产生对应所述原始图像的第一深度图，利用一滤波器产生包含所述至少一目标对象的暂时图像，利用一深度估计单元根据一输入图像，产生对应所述输入图像的第二深度图，以及利用一混合器根据一深度测试方法、所述至少一目标对象的深度信息和所述第二深度图产生包含所述输入图像和所述至少一目标对象的混合图像。因此，相较于现有技术，因为本发明可融合所述至少一目标对象至所述输入图像内的对应或预定景深中以产生包含所述输入图像和至少一目标对象的混合图像，所以本发明可扩大所述图像处理装置的应用领域，进而增添所述图像处理装置的用户的生活乐趣。
附图说明
图1是本发明第一实施例公开一种图像处理装置的示意图。
图2是说明原始图像的示意图。
图3是说明第一深度图的示意图。
图4是说明暂时图像的示意图。
图5是说明二维视频帧的示意图。
图6是说明左右的三维图像格式的视频帧的示意图。
图7是说明上下的三维图像格式的视频帧的示意图。
图8是说明二维图像加上深度信息的三维图像格式的视频帧的示意图。
图9是说明第二深度图的示意图。
图10是说明混合图像的示意图。
图11是说明图像处理装置的外观的示意图。
图12是说明图像处理装置的外壳的示意图。
图13是本发明第二实施例公开图像处理装置的示意图。
图14是本发明第三实施例公开一种图像处理方法的流程图。
图15是本发明第四实施例公开一种图像处理方法的流程图。
其中，附图标记说明如下：
80 盒子
90 外壳
100、1300 图像处理装置
102 图像获取器
104 滤波器
105 图像强化器
106 深度估计单元
108 输入接口
110 输出接口
112 混合器
114 目标对象
116 山峦
1022、1024 图像传感器
1026 立体摄像机
BI 混合图像
FD 第一深度图
INI 输入图像
OI 原始图像
SD 第二深度图
TEI 暂时图像
1400-1414、1500-1516 步骤
具体实施方式
请参照图1，图1是本发明第一实施例公开一种图像处理装置100的示意图。如图1所示，图像处理装置100包含一图像获取器102、一滤波器104、一深度估计单元106、一输入接口108，一输出接口110和一混合器112。图像获取器102是用以获取包含一目标对象114的一原始图像OI(如图2所示)及产生对应原始图像OI的第一深度图FD(如图3所示)，其中原始图像OI内的山峦116和目标对象114具有不同的深度信息。如图1所示，图像获取器102包含一具有二个图像传感器1022、1024的立体摄像机1026，其中立体摄像机1026的二个图像传感器1022、1024是用以分别获取对应于原始图像OI的一第一图像和一第二图像。但本发明并不受限于立体摄像机1026包含二个图像传感器1022、1024，也就是说立体摄像机1026可包含二个以上图像传感器。图像获取器102根据由立体摄像机1026所产生的第一图像和第二图像，产生第一深度图FD，其中为了产生第一深度图FD，图像获取器102可对所述第一图像和所述第二图像中的每一帧的每一扫描线插入一同步信号。例如，所述第一图像包含一第一帧以及所述第二图像包含一第二帧，以及图像获取器102可对所述第一帧和所述第二帧的每一扫描线插入一同步信号。在本发明的一实施例中，所述第一帧和所述第二帧中的每一帧包含720条扫描线，其中所述第一帧的第一扫描线对应于所述第二帧的第一扫描线，以及图像获取器102可插入同一同步信号至所述第一帧的第一扫描线和所述第二帧的第一扫描线。如此，图像获取器102即可根据所述第一帧的第一扫描线和所述第二帧的第一扫描线，计算出对应于所述第一帧的第一扫描线和所述第二帧的第一扫描线的深度图信息。另外，所述同步信号的频率是根据所述第一帧和所述第二帧的扫描线数目(或所述第一帧和所述第二帧的分辨率)而变。另外，在本发明的另一实施例中，原始图像OI可包含一组原始帧的视频数据流，以及第一深度图FD包含多个对应所述一组原始帧的深度图信息。例如，所述一组原始帧包含对应所述第一图像的第一组帧和对应所述第二图像的第二组帧，以及第一深度图FD包含多个深度图信息，其中所述多个深度图信息是由图像获取器102根据所述第一组帧和所述第二组帧所产生，且所述多个深度图信息对应于所述一组原始帧。另外，本发明并不受限于原始图像OI仅包含目标对象114，也就是说原始图像OI可包含超过一以上的目标对象。
如图1所示，滤波器104耦接于图像获取器102，用以根据对应原始图像OI的第一深度图FD(包含目标对象114的深度信息)，从原始图像OI中选择目标对象114和产生包含目标对象114的暂时图像TEI(如图4所示)，其中暂时图像TEI具有目标对象114的深度信息。在本发明的另一实施例中，滤波器104是用以移除原始图像OI内目标对象114之外其他对象以产生包含目标对象114的暂时图像TEI。
如图1所示，输入接口108是用以接收一输入图像INI，其中输入接口108可以是一高清晰度多媒体接口(High-Definition Multimedia Interface,HDMI)、一通用串行总线(Universal Serial Bus,USB)接口、一雷电(thunderbolt)接口、一无线通信接口或其他用以接收输入图像INI的接口。另外，输入图像INI可为一二维视频帧(如图5所示)、一左右的三维图像格式的视频帧(如图6所示)、一上下的三维图像格式的视频帧(如图7所示)或一二维图像加上深度信息的三维图像格式的视频帧(如图8所示)，其中当输入图像INI是二维图像加上深度信息的三维图像格式的视频帧时，因为输入图像INI具有已萃取好的相对应深度信息，所以深度估计单元106并非必须。另外，在本发明的另一实施例中，输入图像INI可以是一视频数据流或一具有一组帧的电影。
如图1所示，深度估计单元106耦接于输入接口108，用以根据输入图像INI，产生对应输入图像INI的第二深度图SD(如图9所示)。混合器112耦接于深度估计单元106和滤波器104，用以根据目标对象114的深度信息和第二深度图SD，将暂时图像TEI融合至输入图像INI内的一预定景深中，以产生包含输入图像INI和目标对象114的混合图像BI(如图10所示)，而非受限传统仅能将暂时图像TEI固定置放于输入图像INI的最前景深处或最后景深处。所述预定景深可以是依据第一深度图FD与第二深度图SD进行决定，也可是介于第二深度图SD中最大景深值与最小景深值间的一个数值。于本发明的一实施例中，混合器112耦接于深度估计单元106和滤波器104，用以根据一深度测试(Z-test)方法、目标对象114的深度信息和第二深度图SD，融合暂时图像TEI与输入图像INI以产生包含输入图像INI和目标对象114的混合图像BI(如图10所示)。混合器112可根据所述深度测试方法、目标对象114的深度信息和第二深度图SD，产生混合图像BI，所以混合器112可融合目标对象114至输入图像INI内的对应或预定景深中，而非仅能置放于输入图像INI的最前景深处或最后景深处。
如图1所示，输出接口110是用以从混合器112接收混合图像BI，以及输出混合图像BI至一外部显示器。输出接口110可以是一高清晰度多媒体接口、一通用串行总线接口、一雷电接口、一无线通信接口或其他可用以输出混合图像BI至所述外部显示器的接口。
另外，请参照图11，图11是说明包含一盒子80的图像处理装置100的外观的示意图。如图11所示，输入接口108和输出接口110分别被设置在盒子80内的两边以接收输入图像INI和输出混合图像BI；图像获取器102是设置在盒子80上，以及图像获取器102的视角是可被自动地或手动地调整以获取包含目标对象114的原始图像OI。另外，图像处理装置100可另包含一外壳90(如图12所示)，外壳90是用以包覆图像获取器102与盒子80，也就是说外壳90是用以包覆如图1所示的图像处理装置100的图像获取器102、滤波器104、混合器112、输入接口108、深度估计单元106及输出接口110。
请参照图13，图13是本发明第二实施例公开一图像处理装置1300的示意图。如图13所示，图像处理装置1300和图像处理装置100之间的差别在于图像处理装置1300另包含一图像强化器105。如图11所示，图像强化器105是耦接于滤波器104与混合器112之间，且图像强化器105是用以比对暂时图像TEI内的目标对象114与原始图像OI内的目标对象114，以强化暂时图像TEI内的目标对象114，并输出所述强化后的暂时图像至混合器112，其中所述强化后的暂时图像内的目标对象114较暂时图像TEI内的目标对象114清晰。在混合器112接收所述强化后的暂时图像与输入图像INI后，混合器112可结合所述强化后的暂时图像与输入图像INI以产生包含输入图像INI和所述强化后的暂时图像内的目标对象114的混合图像。另外，图像强化器105内包含一缓冲器，所述缓冲器是用以储存原始图像OI与暂时图像TEI。另外，图像处理装置1300的其余操作原理都和图像处理装置100相同，在此不再赘述。
请参照图1-10和图14，图14是本发明第三实施例公开一种图像处理方法的流程图。图14的图像处理方法是利用图1的图像处理装置100说明，详细步骤如下：
步骤1400： 开始；
步骤1402： 图像获取器102获取包含目标对象114的原始图像OI及产生对应原始图像OI的第一深度图FD；
步骤1404： 滤波器104根据第一深度图FD，从原始图像OI中选择目标对象114和产生包含目标对象114的暂时图像TEI，进行步骤1410；
步骤1406： 输入接口108接收输入图像INI；
步骤1408： 深度估计单元106根据输入图像INI，产生对应输入图像INI的第二深度图SD；
步骤1410： 混合器112根据所述深度测试方法、目标对象114的深度信息和第二深度图SD，融合暂时图像TEI与输入图像INI以产生包含输入图像INI和目标对象114的混合图像BI；
步骤1412： 输出接口110从混合器112接收混合图像BI，以及输出混合图像BI至所述外部显示器；
步骤1414： 结束。
在步骤1402中，如图2所示，图像获取器102所获取的原始图像OI内的山峦116和目标对象114具有不同的深度信息。另外，本发明并不受限于原始图像OI仅包含目标对象114，也就是说原始图像OI可包含超过一以上的目标对象。
在步骤1404中，如图4所示，滤波器104可根据对应原始图像OI的第一深度图FD(包含目标对象114的深度信息)，从原始图像OI中选择目标对象114和产生包含目标对象114的暂时图像TEI，其中暂时图像TEI具有目标对象114的深度信息。另外，在本发明的另一实施例中，滤波器104是用以移除原始图像OI内目标对象114之外其他对象以产生包含目标对象114的暂时图像TEI。
在步骤1406中，输入图像INI可为一二维视频帧(如图5所示)、一左右的三维图像格式的视频帧(如图6所示)、一上下的三维图像格式的视频帧(如图7所示)或一二维图像加上深度信息的三维图像格式的视频帧(如图8所示)，其中当输入图像INI是二维图像加上深度信息的三维图像格式的视频帧时，因为输入图像INI具有已萃取好的相对应深度信息，所以深度估计单元106并非必须。另外，在本发明的另一实施例中，输入图像INI可以是一视频数据流或一具有一组帧的电影。
在步骤1408中，深度估计单元106可根据输入图像INI，产生对应输入图像INI的第二深度图SD(如图9所示)。在步骤1410中，在深度估计单元106产生第二深度图SD和滤波器104产生包含目标对象114的暂时图像TEI后，混合器112即可根据所述深度测试方法、目标对象114的深度信息和第二深度图SD，融合暂时图像TEI与输入图像INI以产生包含输入图像INI和目标对象114的混合图像BI(如图10所示)。因为混合器112是根据所述深度测试方法、目标对象114的深度信息和第二深度图SD，产生混合图像BI，所以混合器112可融合目标对象114至输入图像INI内的对应景深中。
请参照图13和图15，图15是本发明第四实施例公开一种图像处理方法的流程图。图15的图像处理方法是利用图13的图像处理装置1300说明，详细步骤如下：
步骤1500： 开始；
步骤1502： 图像获取器102获取包含目标对象114的原始图像OI及产生对应原始图像OI的第一深度图FD；
步骤1504： 滤波器104根据第一深度图FD，从原始图像OI中选择目标对象114和产生包含目标对象114的暂时图像TEI；
步骤1506： 图像强化器105比对暂时图像TEI内的目标对象114与原始图像OI内的目标对象114，以强化暂时图像TEI内的目标对象114，并输出所述强化后的暂时图像，进行步骤1512；
步骤1508： 输入接口108接收输入图像INI；
步骤1510： 深度估计单元106根据输入图像INI，产生对应输入图像INI的第二深度图SD；
步骤1512： 混合器112根据所述深度测试方法、目标对象114的深度信息和第二深度图SD，融合所述强化后的暂时图像与输入图像INI以产生包含输入图像INI和所述强化后的暂时图像内的目标对象114的混合图像；
步骤1514： 输出接口110从混合器112接收所述混合图像，以及输出所述混合图像至所述外部显示器；
步骤1516： 结束。
图15的实施例和图14的实施例的差别在于在步骤1506中，图像强化器105可用以比对暂时图像TEI内的目标对象114与原始图像OI内的目标对象114，以强化暂时图像TEI内的目标对象114，并输出所述强化后的暂时图像至混合器112，其中所述强化后的暂时图像内的目标对象114较暂时图像TEI内的目标对象114清晰；在步骤1512中，在混合器112接收所述强化后的暂时图像与输入图像INI后，混合器112可结合所述强化后的暂时图像与输入图像INI以产生包含输入图像INI和所述强化后的暂时图像内的目标对象114的混合图像。另外，图15的实施例的其余操作原理都和图14的实施例相同，在此不再赘述。
综上所述，本发明所公开的图像处理装置和图像处理方法是利用所述图像获取器获取包含至少一目标对象的一原始图像以及产生对应所述原始图像的第一深度图，利用所述滤波器产生包含所述至少一目标对象的暂时图像，利用所述深度估计单元根据一输入图像，产生对应所述输入图像的第二深度图，以及利用所述混合器根据所述深度测试方法、所述至少一目标对象的深度信息和所述第二深度图产生包含所述输入图像和所述至少一目标对象的混合图像。因此，相较于现有技术，因为本发明可融合所述至少一目标对象至所述输入图像内的对应或预定景深中以产生包含所述输入图像和至少一目标对象的混合图像，所以本发明可扩大所述图像处理装置的应用领域，进而增添所述图像处理装置的用户的生活乐趣。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种图像处理装置，其特征在于包含：
一图像获取器，用以获取包含至少一目标对象的一原始图像及产生对应所述原始图像的第一深度图；
一滤波器，用以根据所述第一深度图，从所述原始图像中选择所述至少一目标对象和产生包含所述至少一目标对象的暂时图像，其中所述暂时图像具有所述至少一目标对象的深度信息；
一深度估计单元，用以根据一输入图像，产生对应所述输入图像的第二深度图；及
一混合器，用以根据所述至少一目标对象的深度信息和所述第二深度图，将所述暂时图像融合至所述输入图像内的一预定景深中，以产生包含所述输入图像和所述至少一目标对象的混合图像。
2.如权利要求1所述的图像处理装置，其特征在于另包含：
一输入接口，用以接收所述输入图像。
3.如权利要求2所述的图像处理装置，其特征在于所述输入接口是一高清晰度多媒体接口、一通用串行总线接口、一雷电接口或一无线通信接口。
4.如权利要求1所述的图像处理装置，其特征在于另包含：
一输出接口，用以从所述混合器接收所述混合图像，以及输出所述混合图像至一外部显示器。
5.如权利要求4所述的图像处理装置，其特征在于所述输出接口是一高清晰度多媒体接口、一通用串行总线接口、一雷电接口或一无线通信接口。
6.如权利要求1所述的图像处理装置，其特征在于所述图像获取器包含具有二图像传感器的立体摄像机，以及所述二图像传感器是用以分别产生对应所述原始图像的一第一图像和一第二图像。
7.如权利要求6所述的图像处理装置，其特征在于所述图像获取器是根据由所述立体摄像机所产生的所述第一图像和所述第二图像，产生对应所述原始图像的第一深度图。
8.如权利要求7所述的图像处理装置，其特征在于所述第一图像包含一第一帧和所述第二图像包含一第二帧，以及所述图像获取器对所述第一帧和所述第二帧插入一同步信号。
9.如权利要求8所述的图像处理装置，其特征在于所述同步信号的频率是根据所述第一帧和所述第二帧的扫描线的数目而变。
10.如权利要求7所述的图像处理装置，其特征在于所述原始图像包含一组原始帧，所述一组原始帧包含对应所述第一图像的第一组帧，以及对应所述第二图像的第二组帧，其中所述第一深度图包含多个深度图信息，且所述多个深度图信息是由所述图像获取器根据所述第一组帧和所述第二组帧所产生。
11.如权利要求10所述的图像处理装置，其特征在于所述多个深度图信息是对应所述一组原始帧。
12.如权利要求1所述的图像处理装置，其特征在于所述混合器更根据一深度测试法，将所述暂时图像融合至所述输入图像内的所述预定景深中，以产生所述混合图像。
13.一种图像处理装置，其特征在于包含：
一图像获取器，用以获取包含至少一目标对象的一原始图像及产生对应所述原始图像的第一深度图；
一滤波器，用以根据所述第一深度图，从所述原始图像中选择所述至少一目标对象和产生包含所述至少一目标对象的暂时图像，其中所述暂时图像具有所述至少一目标对象的深度信息；
一深度估计单元，用以根据一输入图像，产生对应所述输入图像的第二深度图；
一图像强化器，用以比对所述暂时图像内的至少一目标对象与所述原始图像内的至少一目标对象，以强化所述暂时图像内的至少一目标对象，并输出所述强化后的暂时图像；及
一混合器，用以根据所述至少一目标对象的深度信息和所述第二深度图，将所述强化后的暂时图像融合至所述输入图像内的一预定景深中，以产生包含所述输入图像和所述强化后的暂时图像内的至少一目标对象的混合图像。
14.如权利要求13所述的图像处理装置，其特征在于所述图像强化器包含一缓冲器，且所述缓冲器是用以储存所述原始图像与所述暂时图像。
15.一种图像处理方法，其中应用于所述图像处理方法的图像处理装置包含一输入接口、一图像获取器、一滤波器、一深度估计单元、一混合器和一输出接口，其特征在于包含：
所述图像获取器获取包含至少一目标对象的一原始图像及产生对应所述原始图像的第一深度图；
所述滤波器根据所述第一深度图，从所述原始图像中选择所述至少一目标对象和产生包含所述至少一目标对象的暂时图像，其中所述暂时图像具有所述至少一目标对象的深度信息；
所述深度估计单元根据一输入图像，产生对应所述输入图像的第二深度图；及
所述混合器根据所述至少一目标对象的深度信息和所述第二深度图，将所述暂时图像融合至所述输入图像内的一预定景深中，以产生包含所述输入图像和所述至少一目标对象的混合图像。
16.如权利要求15所述的图像处理方法，其特征在于另包含：
所述输入接口接收所述输入图像。
17.如权利要求15所述的图像处理方法，其特征在于另包含：
所述输出接口从所述混合器接收所述混合图像，以及输出所述混合图像至一外部显示器。
18.如权利要求15所述的图像处理方法，其特征在于所述混合器更根据一深度测试法，将所述暂时图像融合至所述输入图像内的所述预定景深中，以产生所述混合图像。
CN201510140112.1A 2015-03-13 2015-03-27 图像处理装置与图像处理方法 Active CN106162141B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW104108148A TWI567476B (zh) 2015-03-13 2015-03-13 影像處理裝置與影像處理方法
TW104108148 2015-03-13

Publications (2)

Publication Number Publication Date
CN106162141A true CN106162141A (zh) 2016-11-23
CN106162141B CN106162141B (zh) 2020-03-10

Family

ID=56888361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510140112.1A Active CN106162141B (zh) 2015-03-13 2015-03-27 图像处理装置与图像处理方法

Country Status (3)

Country Link
US (1) US10148934B2 (zh)
CN (1) CN106162141B (zh)
TW (1) TWI567476B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819139A (zh) * 2017-11-22 2019-05-28 福州瑞芯微电子股份有限公司 一种智能电子设备和图像处理单元、装置、方法
WO2019111052A3 (en) * 2017-12-06 2019-07-18 Zyetric One Limited Inserting virtual objects in between two real objects in an augmented reality environment

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI567476B (zh) * 2015-03-13 2017-01-21 鈺立微電子股份有限公司 影像處理裝置與影像處理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040239670A1 (en) * 2003-05-29 2004-12-02 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2008063170A1 (en) * 2006-11-20 2008-05-29 Thomson Licensing System and method for compositing 3d images
CN102695068A (zh) * 2011-03-24 2012-09-26 索尼公司 成像设备、同步控制方法、再现设备和立体视频成像系统
CN102780855A (zh) * 2011-05-13 2012-11-14 晨星软件研发(深圳)有限公司 影像处理的方法与相关装置
CN103136746A (zh) * 2011-12-02 2013-06-05 索尼公司 图像处理装置和图像处理方法
CN103337079A (zh) * 2013-07-09 2013-10-02 广州新节奏智能科技有限公司 一种虚拟增强现实的教学方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110184B1 (en) * 2004-07-19 2006-09-19 Elbit Systems Ltd. Method and apparatus for combining an induced image with a scene image
JP4915459B2 (ja) * 2009-04-03 2012-04-11 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US8922628B2 (en) * 2009-09-01 2014-12-30 Prime Focus Vfx Services Ii Inc. System and process for transforming two-dimensional images into three-dimensional images
US9445072B2 (en) * 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
US9241147B2 (en) * 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
TW201320005A (zh) * 2011-06-20 2013-05-16 Alcatel Lucent 用於三維影像模型調整之方法及配置
US9414048B2 (en) * 2011-12-09 2016-08-09 Microsoft Technology Licensing, Llc Automatic 2D-to-stereoscopic video conversion
US8971611B2 (en) * 2012-02-08 2015-03-03 JVC Kenwood Corporation Image process device, image process method, and image process program
JP5962393B2 (ja) * 2012-09-28 2016-08-03 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
US9241146B2 (en) * 2012-11-02 2016-01-19 Nvidia Corporation Interleaved approach to depth-image-based rendering of stereoscopic images
CN104937927B (zh) * 2013-02-20 2017-08-25 英特尔公司 2维图像或视频到3维立体图像或视频的实时自动转换
TWI567476B (zh) * 2015-03-13 2017-01-21 鈺立微電子股份有限公司 影像處理裝置與影像處理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040239670A1 (en) * 2003-05-29 2004-12-02 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2008063170A1 (en) * 2006-11-20 2008-05-29 Thomson Licensing System and method for compositing 3d images
CN102695068A (zh) * 2011-03-24 2012-09-26 索尼公司 成像设备、同步控制方法、再现设备和立体视频成像系统
CN102780855A (zh) * 2011-05-13 2012-11-14 晨星软件研发(深圳)有限公司 影像处理的方法与相关装置
CN103136746A (zh) * 2011-12-02 2013-06-05 索尼公司 图像处理装置和图像处理方法
CN103337079A (zh) * 2013-07-09 2013-10-02 广州新节奏智能科技有限公司 一种虚拟增强现实的教学方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819139A (zh) * 2017-11-22 2019-05-28 福州瑞芯微电子股份有限公司 一种智能电子设备和图像处理单元、装置、方法
CN109819139B (zh) * 2017-11-22 2022-01-07 瑞芯微电子股份有限公司 一种智能电子设备和图像处理单元、装置、方法
WO2019111052A3 (en) * 2017-12-06 2019-07-18 Zyetric One Limited Inserting virtual objects in between two real objects in an augmented reality environment

Also Published As

Publication number Publication date
US20160269709A1 (en) 2016-09-15
CN106162141B (zh) 2020-03-10
TWI567476B (zh) 2017-01-21
US10148934B2 (en) 2018-12-04
TW201632983A (zh) 2016-09-16

Similar Documents

Publication Publication Date Title
CN105005970B (zh) 一种增强现实的实现方法及装置
TWI524734B (zh) 產生深度圖的方法及裝置
CN109840881B (zh) 一种3d特效图像生成方法、装置及设备
CN103810685A (zh) 一种深度图的超分辨率处理方法
US9118903B2 (en) Device and method for 2D to 3D conversion
CN106254854A (zh) 三维图像的获得方法、装置及系统
KR101723210B1 (ko) 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법
CN106161988A (zh) 一种增强现实视频生成方法
CN105227873B (zh) 一种在屏显示数据的测试方法和装置
CN108259806A (zh) 一种视频通信方法、设备和终端
CN106162141A (zh) 图像处理装置与图像处理方法
CN105488846A (zh) 一种显示方法及电子设备
KR101982436B1 (ko) 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법
CN109510975A (zh) 一种视频图像的提取方法、设备及系统
CN107203961B (zh) 一种表情迁移的方法及电子设备
TW201228385A (en) Displaying method of screen display information
CN109345444A (zh) 深度感知增强的超分辨率立体图像构建方法
CN105430237B (zh) 一种帧缺失图像的处理方法及系统
CN105959535A (zh) 基于图片合成的多次曝光方法和系统
KR101451236B1 (ko) 3차원 영상 변환 방법 및 그 장치
CN106331672A (zh) 视点图像的获得方法、装置及系统
CN105025286A (zh) 图像处理装置
CN110047132A (zh) 一种基于扫描的美术图像3d建模系统
CN106131538A (zh) 一种视频同步的方法及装置
CN104504650A (zh) 基于OpenGL的多路视频拼接方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant