CN108885778A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN108885778A
CN108885778A CN201780020216.6A CN201780020216A CN108885778A CN 108885778 A CN108885778 A CN 108885778A CN 201780020216 A CN201780020216 A CN 201780020216A CN 108885778 A CN108885778 A CN 108885778A
Authority
CN
China
Prior art keywords
depth
pixel
value
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780020216.6A
Other languages
English (en)
Other versions
CN108885778B (zh
Inventor
明官佳宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108885778A publication Critical patent/CN108885778A/zh
Application granted granted Critical
Publication of CN108885778B publication Critical patent/CN108885778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

在本发明中，输入图像信息生成处理单元21基于就输入图像中的目标像素而言的周边区域内的像素的像素值和深度值生成深度分布特征信息。先前图像信息生成处理单元24基于目标像素的像素值以及相对于对应像素的先前图像周边区域内的像素的像素值和深度值来生成深度分布特征信息，对应像素是目标像素在先前图像中的像素位置，先前图像是比输入图像旧的图像。合并控制单元25根据目标像素与对应像素之间的像素信息差异量来设置合并比率。深度值设置单元26使用由合并控制单元25设置的合并比率来合并由输入图像信息生成处理单元21和先前图像信息生成处理单元24生成的深度分布特征信息，并且深度值设置单元使用根据合并深度分布特征信息计算的深度代表值作为目标像素深度值。本发明使得能够提高深度图像的时间和空间方向的稳定性。

Description

图像处理设备和图像处理方法
技术领域
本技术涉及图像处理设备和图像处理方法，并且改善深度图像的时空稳定性。
背景技术
近年来，产生了适于通过使用图像表达至对象的距离的深度图像，并且将该深度图像例如用于姿势用户接口。此外，如例如在PTL 1中所公开的，例如通过执行与左眼图像和右眼图像的匹配来生成深度图像。
此外，已经在图像处理领域提出了建议以提供改改善的时空稳定性。例如，PTL 2中公开的发明根据与输入图像具有空间相关性的参考图像有关的空间信息来提供运动补偿，并且生成插值输出图像。此外，PTL 2中公开的发明通过根据反馈调整量将输入图像与插值输出图像混合来生成无噪声图像，该反馈调整量基于参考图像的时间方向变化来计算。
[引文列表]
[专利文献]
[专利文献1]JP 2012-244396A
[专利文献2]JP 2013-059016A
发明内容
[技术问题]
附带地，当如PTL 2中所描述的执行处理时，例如，在前景与背景之间的边界区域中对深度值进行平均。因此，所得到的边界区域中的深度值与前景和背景中的深度值不同。因此，不能改善时空稳定性。
鉴于上述情况，本技术的目的是提供一种能够改善深度图像的时空稳定性的图像处理设备和图像处理方法。
[问题的解决方案]
根据本技术的第一方面，提供了一种包括深度值处理部的图像处理设备。深度值处理部将输入图像深度分布特征信息与先前图像深度分布特征信息合并以生成合并的深度分布特征信息，根据合并的深度分布特征信息计算代表深度值，以及将所计算的代表深度值视为输入图像的感兴趣像素的深度值。输入图像深度分布特征信息基于就输入图像的感兴趣像素而言的周边区域中的像素的像素值和深度值。先前图像深度分布特征信息基于感兴趣像素的像素值以及就先前图像中的与感兴趣像素的像素位置对应的像素而言的周边区域中的像素的像素值和深度值。先前图像是早于输入图像的图像。
根据就输入图像中的感兴趣像素而言的周边区域中的像素的像素值和深度值，根据本技术的输入图像信息生成处理部将深度值与权重相关联，该权重与感兴趣像素与例如周边区域中的每个像素之间的像素信息相似度对应，并且该图像信息生成处理部生成深度直方图或深度表作为输入图像深度分布特征信息。通过累加每个深度值的权重来获得深度直方图。深度表指示每个深度值的权重。
在对应像素与感兴趣像素在作为早于输入图像的图像的先前图像中的的像素位置对应的情况下，根据感兴趣像素的像素值以及就对应像素而言的周边区域中的像素的像素值和深度值，先前图像信息生成处理部将深度值与权重相关联，该权重与感兴趣像素与例如先前图像的周边区域中的每个像素之间的像素信息相似度对应，并且该先前图像信息生成处理部生成深度直方图或深度表作为先前图像深度分布特征信息。通过累加每个深度值的权重来获得深度直方图。深度表指示每个深度值的权重。
此外，输入图像信息生成处理部和先前图像信息生成处理部根据像素信息例如根据亮度或颜色相似度的增加来增加权重。
合并控制部根据感兴趣像素与对应像素之间的像素信息差异量来设置合并比率。当感兴趣像素与对应像素之间的像素信息差异量增加时，合并控制部增加由输入图像信息生成处理部生成的输入图像深度分布特征信息的合并比率。
深度值处理部通过按照由合并控制部设置的合并比率将由输入图像信息生成处理部生成的输入图像深度分布特征信息与由先前图像信息生成处理部生成的先前图像深度分布特征信息合并来生成合并的深度分布特征信息。在假设例如深度直方图或深度表的权重作为基于合并比率的权重的情况下，深度值处理部通过合并深度直方图或深度表来生成合并的深度直方图或合并的深度表。深度值处理部将根据合并的深度分布特征信息例如合并的深度分布特征信息计算的代表深度值视为深度值顺序信息，并且对累加权重值的中值深度值进行处理作为代表深度值。此外，深度值处理部计算基于代表深度值的预定深度范围内的总权重与合并的深度分布特征信息的总权重的比率作为代表深度值的可靠度。如果代表深度值的可靠度等于或高于预先设置的确定阈值，则深度值处理部将代表深度值视为感兴趣像素的深度值。相反，如果可靠度低于预先设置的确定阈值，则深度值处理部将感兴趣像素的深度值视为无效值。此外，深度值处理部能够改变确定阈值。
此外，先前图像信息生成处理部通过从就对应像素而言的周边区域中的像素中排除指示无效值的像素来生成深度分布特征信息。此外，先前图像信息生成处理部可以根据就对应像素而言的周边区域中的像素的像素值、深度值和可靠度以及感兴趣像素的像素值来生成先前图像深度分布特征信息。
此外，包括视点转换处理部以将输入图像和先前图像中的至少任一个转换成在视点上与另一图像一致的图像。输入图像信息生成处理部和先前图像信息生成处理部通过使用具有与视点转换处理部的转换结果相同的视点的图像来生成输入图像深度分布特征信息和先前图像深度分布特征信息。
根据本技术的第二方面，提供了一种信息处理方法，该信息处理方法包括：将输入图像深度分布特征信息与先前图像深度分布特征信息合并以生成合并的深度分布特征信息；根据合并的深度分布特征信息计算代表深度值；以及将所计算的代表深度值视为输入图像的感兴趣像素的深度值。输入图像深度分布特征信息基于就输入图像的感兴趣像素而言的周边区域中的像素的像素值和深度值。先前图像深度分布特征信息基于感兴趣像素的像素值以及就先前图像中的与感兴趣像素的像素位置对应的像素而言的周边区域中的像素的像素值和深度值。先前图像是早于输入图像的图像。本发明的有益效果
本技术将输入图像深度分布特征信息与先前图像深度分布特征信息合并以生成合并的深度分布特征信息，根据合并的深度分布特征信息计算代表深度值，以及将所计算的代表深度值视为感兴趣像素的深度值。输入图像深度分布特征信息基于就输入图像的感兴趣像素而言的周边区域中的像素的像素值和深度值。先前图像深度分布特征信息基于感兴趣像素的像素值以及就先前图像中的与感兴趣像素的像素位置对应的像素而言的周边区域中的像素的像素值和深度值。先前图像是早于输入图像的图像。因此，根据相对于感兴趣图像的时空方向上的像素的像素信息和深度值，高度可靠的深度值被视为感兴趣图像的深度值。这使得可以改善深度图像的时空稳定性。本文档中描述的优点仅是说明性的而非限制性的。本技术可以提供另外的优点。
附图说明
[图1]图1是示出深度图像生成系统的配置的图。
[图2]图2是示出第一实施方式的配置的图。
[图3]图3描绘了示出通过使用输入引导图像执行的权重计算操作的图。
[图4]图4描绘了示出通过使用先前引导图像执行的权重计算操作的图。
[图5]图5是示出差异量与合并比率之间的关系的图。
[图6]图6是示出合并的深度直方图的图。
[图7]图7是示出第一实施方式的操作的流程图。
[图8]图8描绘了示出由图像处理设备提供的优点的示意图。
[图9]图9A至图9C是示出先前图像分布特征信息生成部的操作的图。
[图10]图10描绘了示出深度值处理部的操作的图。
[图11]图11是示出第三实施方式的配置的图。
[图12]图12是示出第四实施方式的配置的图。
[图13]图13描绘了示出视点转换的图。
[图14]图14是示出视点转换操作的流程图。
[图15]图15是示出视点和前景对象的移动的图。
[图16]图16是示出第四实施方式的操作的图。
具体实施方式
现在将描述本技术的实施方式。将按以下的顺序给出描述。
1.深度图像生成系统的配置
2.第一实施方式
3.第二实施方式
4.第三实施方式
5.第四实施方式
<1.深度图像生成系统的配置>
图1示出了使用由本技术提供的图像处理设备的深度图像生成系统的配置。深度图像系统10包括深度图像生成设备15和图像处理设备20。
深度图像生成设备15通过使用右视点图像和左视点图像来执行匹配处理，选择右视点图像或左视点图像作为参考，并且生成指示对象与参考视点图像(也被称为“引导图像”)之间的距离(深度值)的深度图像(也被称为深度映射)。应该注意，图1示出了右视点图像被选择作为引导图像的情况。可以通过使用任何匹配技术例如基于区域的匹配技术、基于特征的匹配技术或模板匹配技术来执行匹配处理。深度图像生成设备15根据右视点图像(引导图像)中的感兴趣像素与左视点图像中的对应像素位置之间的偏差量执行匹配处理以计算对象与右视点图像中的感兴趣像素之间的距离(深度值)。此外，深度图像生成设备15顺序地移动右视点图像中的感兴趣像素的像素位置，执行匹配处理，并且基于深度值生成指示在每个像素位置或像素信息(例如，亮度)处计算的深度值的深度图像。深度图像生成设备15将生成的深度图像输出至图像处理设备20。
图像处理设备20根据就输入图像中的感兴趣像素而言的周边区域中的像素的像素值和深度值来生成深度分布特征信息。此外，图像处理设备20根据感兴趣像素的像素值以及就对应像素而言的先前图像周边区域中的像素的像素值和深度值来生成深度分布特征信息，而对应像素与感兴趣像素在先前图像中的像素位置对应，先前图像是早于输入图像的图像。此外，图像处理设备20通过以根据感兴趣像素与对应像素之间的像素信息差异量而设置的合并比率将根据输入图像生成的深度分布特征信息与根据先前图像生成的深度分布特征信息合并、根据合并的深度分布特征信息计算代表深度值并且将所计算的代表深度值视为感兴趣像素的深度值来改善深度图像的时空稳定性。另外，图像处理设备20生成可靠度映射，该可靠度映射指示具有改善的稳定性的深度图像中的每个像素的深度值可靠度。
<2.第一实施方式>
现在将描述根据第一实施方式的图像处理设备。图2示出了根据第一实施方式的图像处理设备的配置。图像处理设备20包括输入图像信息生成处理部21、先前引导图像存储部22、先前图像信息生成处理部24、合并控制部25、深度值处理部26和先前深度图像存储部27。
输入图像信息生成处理部21根据就输入图像中的感兴趣像素而言的周边区域中的像素(在下文中被称为“输入图像周边区域中的像素”)的像素值和深度值生成深度分布特征信息(在下文中被称为“输入图像深度分布特征信息”)。输入图像信息生成处理部21包括输入图像相似度计算部211和输入图像分布特征信息生成部212。周边区域是包括基于感兴趣像素的感兴趣区域的预定区域。周边区域中的像素包括感兴趣像素。此外，输入图像(输入引导图像和输入深度图像)的周边区域被称为输入图像周边区域。
对于每个感兴趣像素，输入图像相似度计算部211基于输入引导图像中的感兴趣像素与输入图像周边区域中的像素之间的像素信息相似度来计算权重，并且使权重随着像素信息相似度的增加而增加。例如，输入图像相似度计算部211使用感兴趣像素的亮度和输入图像周边区域中的像素的亮度作为像素信息来根据式(1)计算权重W当前(n,x,x’)。在式(1)中，n是输入引导图像的帧编号，并且I(n)是输入引导图像的亮度。此外，x是指示感兴趣像素的位置的二维矢量，并且x’是指示输入图像周边区域中的像素的位置的二维矢量(二维矢量的参考像素是例如最左上方的像素)。此外，式(1)通过使用高斯系数“σ”设置相对于亮度差异的基于高斯分布的权重。应该注意，高斯系数σ的值是预先设置的。
[数学式1]
图3描绘了示出通过使用输入引导图像执行的权重计算操作的图。图3的(a)示出了输入引导图像中的感兴趣像素的和输入图像周边区域中的像素的亮度。图3的(b)示出了亮度差异与权重之间的关系，权重以式(1)指示。权重随着亮度差异的减小即随着相似度的增加而增加。根据式(1)，输入图像相似度计算部211基于输入引导图像中的感兴趣像素与输入图像周边区域中的像素之间的亮度差异来计算权重。图3的(c)示出了针对输入图像周边区域中的每个像素计算的权重W当前。
应该注意，输入图像相似度计算部211不必总是通过仅使用亮度作为像素信息来计算权重。可替选地，输入图像相似度计算部211可以通过使用颜色、纹理形状或其他信息或者通过使用两个或更多个信息项来计算权重。
针对每个感兴趣像素，输入图像分布特征信息生成部212将输入图像周边区域中的像素的深度值与通过输入图像相似度计算部211确定的权重相关联以生成输入图像深度分布特征信息。输入图像深度分布特征信息指示输入图像周边区域中的权重与深度值之间的关系。例如，第一实施方式生成指示每个深度值的累加权重值的当前深度直方图作为输入图像深度分布特征信息。根据式(2)，输入图像分布特征信息生成部212生成当前深度直方图H当前(n,x,d)。在式(2)中，D(n,x)是输入引导图像中的感兴趣像素的深度值，并且d(例如，0≤d≤255)是指示深度值的整数值。此外，基于感兴趣像素x的输入图像周边区域由局部窗函数W(x)指定，并且通过使用由局部窗函数W(x)指示的区域中的像素的权重和深度值来生成当前深度直方图。应该注意，指示深度值的整数值d等于当前深度直方图的类(区间)。根据式(3)将整数值d等于深度值的周边像素的权重相加在一起。所得到的值被视为关于整数值d的频率。
[数学式2]
先前引导图像存储部22存储先前引导图像(例如，一帧之前的引导图像)。先前图像是早于输入图像的图像。此外，先前引导图像存储部22将存储的先前引导图像输出至先前图像信息生成处理部24和合并控制部25。
先前图像信息生成处理部24使用输入引导图像、先前引导图像以及指示至先前引导图像中的对象的距离的先前深度图像。先前图像信息生成处理部24将感兴趣像素在先前引导图像中的像素位置视为对应像素，所述先前引导图像是早于输入引导图像的图像。根据就对应像素而言的先前图像周边区域中的像素的像素值和深度值以及感兴趣像素的像素值，先前图像信息生成处理部24生成深度分布特征信息(在下文中被称为“先前深度分布特征信息”)。先前图像信息生成处理部24包括先前图像相似度计算部241和先前图像分布特征信息生成部242。
针对每个感兴趣像素，先前图像相似度计算部241基于输入引导图像中的感兴趣像素与先前引导图像中的先前图像周边区域中的像素之间的像素信息相似度来计算权重，并且使权重随着像素信息相似度的增加而增加。例如，先前图像相似度计算部241使用感兴趣像素的亮度和先前图像周边区域中的像素的亮度作为像素信息来根据式(4)计算权重W先前(n,x,x’)。在式(4)中，n是输入引导图像的帧编号，l(n)是输入引导图像的亮度，n-1是先前引导图像的帧编号(例如，一帧之前的引导图像)，并且l(n-1)是先前引导图像的亮度。此外，x是指示感兴趣像素的位置的二维矢量，并且x’是指示先前图像周边区域中的像素的位置的二维矢量(二维矢量的参考像素是例如最左上方的像素)。此外，如使用式(1)的情况，式(4)通过使用高斯系数“σ”设置相对于亮度差异的基于高斯分布的权重。应该注意，高斯系数σ的值不必总是等于式(1)中的对应值。可替选地，高斯系数σ可以被设置成与式(1)中的对应值不同的值。此外，先前图像周边区域不必总是处于与就感兴趣像素而言的输入图像周边区域相同的位置和具有相同的区域大小。例如，先前图像周边区域可以可替选地具有不同的区域大小。
[数学式3]
图4描绘了示出通过使用先前引导图像执行的权重计算操作的图。图4的(a)描绘了先前图像周边区域的引导图像(例如，亮度图像)。图4的(b)示出了亮度差异与权重之间的关系，权重以式(4)指示。权重随着亮度差异的减小而增加。针对先前图像周边区域中的每个像素，先前图像相似度计算部241基于输入引导图像中的感兴趣像素与先前图像周边区域中的像素之间的亮度差异来根据式(4)确定权重。图4的(c)示出了针对先前图像周边区域中的每个像素计算的权重W当前。
应该注意，如使用输入图像相似度计算部211的情况，先前图像相似度计算部241不必总是仅使用亮度来计算权重。可替选地，先前图像相似度计算部241可以通过使用颜色、纹理形状或其他信息或者通过使用两个或更多个信息项来计算权重。
先前图像分布特征信息生成部242将先前深度图像存储部27中存储的先前深度图像的先前图像周边区域中的像素的深度值与由先前图像相似度计算部241确定的权重相关联以生成先前图像深度分布特征信息。先前图像深度分布特征信息指示先前图像周边区域中的权重与深度值之间的关系。例如，第一实施方式生成先前深度直方图作为先前图像深度分布特征信息，该先前深度直方图指示先前深度图像的先前图像周边区域中的像素的深度值以及每个深度值的累加权重值。根据式(5)，先前图像分布特征信息生成部242生成当先前深度直方图H先前(n,x,d)。在式(5)中，D过滤(n-1,x)是先前图像周边区域中的在位置“x’”处的像素的深度值，并且d(例如，0≤d≤255)是指示深度值的整数值。此外，基于感兴趣像素x的先前图像周边区域由局部窗函数W(x)指定，并且通过使用由局部窗函数W(x)指示的区域中的像素的权重和深度值来生成先前深度直方图。应该注意，指示深度值的整数值d等于先前深度直方图的类(区间)。根据式(6)将整数值d等于深度值的周边像素的权重相加在一起。所得到的值被视为关于整数值d的频率。
[数学式4]
根据输入引导图像中的感兴趣像素与和先前引导图像中的感兴趣像素对应的对应像素之间的像素信息差异，合并控制部25针对每个感兴趣像素设置输入图像深度分布特征信息与先前图像深度分布特征信息之间的合并比率。合并控制部25包括差异量计算部251和合并比率设置部252。
差异量计算部251通过使用输入引导图像和存储在先前引导图像存储部22中的先前引导图像来计算输入引导图像中的感兴趣像素与和感兴趣像素的位置对应的对应先前图像之间的像素信息差异量。例如，差异量计算部251依据式(7)根据感兴趣像素的亮度l(n,x)和对应像素的亮度(n-1,x)生成差异量Idiff(n,x)。例如，如果对应像素是对象区域中的像素并且感兴趣像素由于对象的移动而变成背景区域中的像素，则差异量Idiff(n,x)是比在对象不移动的情况下大的值。应该注意，差异量计算部251不必总是通过仅使用亮度作为像素信息来计算差异量。可替选地，差异量计算部251可以通过使用颜色或其他信息或者通过使用两个或更多个信息项来计算差异量。
[数学式5]
Idiff(n，x)＝|I(n，x)-I(n-1，x)|…(7)
根据通过差异量计算部251计算的差异量Idiff(n,x)，合并比率设置部252设置合并比率，使得通过输入图像信息生成处理部21生成的输入图像深度分布特征信息的比率随着感兴趣像素与对应像素之间的差异量的增加而增加。例如，合并比率设置部252根据式(8)设置合并比率α(n,x)。在式(8)中，考虑例如多个视点处的输入图像噪声来预先设置阈值Th0、Th1使得获得在时空方向上稳定的深度图像。此外，在图5中描绘了式(7)中表示的差异量Idiff(n,x)与合并率α(n,x)之间的关系。合并比率设置部252将合并比率α(n,x)输出至深度值处理部26，针对每个感兴趣像素设置所述合并比率α(n,x)。应该注意，合并比率被预先设置成α0或α1，并且0≤α0<α1。
[数学式6]
如上所述，合并比率设置部252设置合并比率，使得输入图像深度分布特征信息的比率随着感兴趣像素与对应像素之间的像素信息差异量的增加而增加。因此，例如，如果对象移动而使差异量增加，则可以减小移动之前的深度分布特征信息的比率以避免对象移动的影响。
针对每个感兴趣像素，深度值处理部26按照由合并控制部25设置的合并比率将由输入图像信息生成处理部21生成的输入图像深度分布特征信息与由先前图像信息生成处理部24生成的先前图像深度分布特征信息合并。此外，深度值处理部26将根据源于合并的深度分布特征信息(在下文中被称为“合并的深度分布特征信息”)计算的代表深度值视为感兴趣像素的深度值，并且生成输出深度图像。深度值处理部26包括信息合并部261和合并信息分析部262。
信息合并部261例如按照由合并控制部25设置的合并比率α(n,x)将由输入图像信息生成处理部21生成的当前深度直方图与由先前图像信息生成处理部24生成的先前深度直方图合并。式(9)表示合并处理。信息合并部261执行等式(9)中指示的计算，并且通过以合并比率将当前深度直方图的权重和先前深度直方图的权重合并作为每个深度值的权重来生成合并的深度直方图，所述合并的直方图是合并的深度分布特征信息。
[数学式7]
H合并(n，x，d)＝α(n，x)H先前(n，x，d)+(1-α(n，x))H当前(n，x，d)…(9)
图6示出了合并的深度直方图。深度值被视为类(区间)，并且根据合并比率针对每个类将当前深度直方图的权重和先前深度直方图的权重相加在一起。所得到的值被处理为频率。
合并信息分析部262根据合并的深度直方图执行统计分析，并且计算代表深度值。此外，合并信息分析部262计算代表深度值的可靠度。如果所计算的可靠度不低于预先设置的确定阈值，则合并信息分析部262将代表深度值视为感兴趣像素的深度值。相反，如果所计算的可靠度低于确定阈值，则合并信息分析部26将感兴趣像素的深度值视为无效值。合并信息分析部262计算例如合并深度直方图的中值深度值作为代表深度值。此外，合并信息分析部262计算基于代表深度值的可靠度确定区域(预定类宽度)的总权重与合并深度直方图的整个类宽度的总权重的比率作为可靠度。
例如，合并信息分析部262计算合并深度直方图H合并(n,x)的中值深度值D中值(n,x)作为代表深度值。应该注意，合并信息分析部262在中值深度值D中值(n,x)的计算中排除无效值D无效。如图6中所描绘的，合并信息分析部262使用式(10)来计算基于所计算的中值深度值D中值(n,x)的可靠度确定区域(D中值(n,x)-Dthr)≤d≤(D中值(n,x)+Dthr)的总权重Wsum_around_med(n,x)。此外，合并信息分析部262根据式(11)计算整个类宽度的总权重W总(n,x)。
[数学式8]
如式(12)中所示，合并信息分析部262计算可靠度确定区域的总权重Wsum_around_med(n,x)与整个类宽度的总权重W总(n,x)的比率作为可靠度D置信度(n,x)。
[数学式9]
此外，合并信息分析部262通过使用预先设置的确定阈值Th直方图_比率执行式(13)中指示的处理，确定呈现不低于确定阈值Th直方图_比率的可靠度D置信度(n,x)的中值深度值D中值(n,x)，并且将确定的中值深度值D中值(n,x)视为感兴趣像素的深度值D过滤(n,x)。此外，如果可靠度D置信度(n,x)低于确定阈值Th直方图_比率，则合并信息分析部262将感兴趣像素的深度值D过滤(n,x)视为无效值D无效。应该注意，无效值D无效可与由深度图像指示的深度值区分开。
[数学式10]
此外，合并信息分析部262能够改变确定阈值Th直方图_比率。例如，如果要生成高度可靠的输出深度图像，则合并信息分析部262增加确定阈值Th直方图_比率，并且仅将高度可靠的代表深度值视为感兴趣像素的深度值。同时，在要减少输出深度图像的未从其获取深度值的像素的数量的情况下，合并信息分析部262减小确定阈值Th直方图_比率使得所计算的代表深度值可能被视为感兴趣像素的深度值。
合并信息分析部262通过计算每个感兴趣像素的深度值D过滤(n,x)来生成输出深度值。合并信息分析部262将针对每个感兴趣像素计算的可靠度D置信度(n,x)与输出深度图像相关联，并且输出所得到的输出深度图像。此外，合并信息分析部262使先前深度图像存储部27存储所生成的输出深度图像作为先前深度图像。应该注意，存储在先前深度图像存储部27中的先前深度图像是指示至存储在先前引导图像存储部22中的先前引导图像中的对象的距离的深度图像。
现在将描述第一实施方式的操作。图7是示出第一实施方式的操作的流程图。在步骤ST1中，图像处理设备针对周边区域中的每个像素设置权重。图像处理设备20中的输入图像信息生成处理部21的输入图像相似度计算部211计算输入引导图像中的感兴趣像素与输入图像周边区域中的像素之间的像素信息相似度，并且针对输入图像周边区域中的每个像素基于计算的相似度来设置权重。类似地，先前图像信息生成处理部24的先前图像相似度计算部241计算感兴趣像素与先前引导图像的先前图像周边区域中的像素之间的像素信息相似度，并且针对先前图像周边区域中的每个像素基于计算的相似度来设置权重。图像处理设备20针对输入图像周边区域和先前图像周边区域中的每个像素设置权重，并且进行至步骤ST2。
在步骤ST2中，图像处理设备生成深度分布特征信息。图像处理设备20中的输入图像信息生成处理部21的输入图像分布特征信息生成部212通过将输入图像周边区域中的像素的深度值与输入图像周边区域中的像素的权重相关联来生成输入图像深度分布特征信息，所述权重由输入图像相似度计算部211确定。例如，输入图像分布特征信息生成部212生成当前深度直方图作为输入图像深度分布特征信息，所述当前深度直方图的频率是每个深度值的累加权重值，同时每个深度值被视为类。先前图像信息生成处理部24的先前图像分布特征信息生成部242通过将先前深度图像的先前图像周边区域中的像素的深度值与先前图像周边区域中的像素的权重相关联来生成先前图像深度分布特征信息，所述权重由先前图像相似度计算部241计算。例如，先前图像分布特征信息生成部242生成先前深度直方图作为先前图像深度分布特征信息，所述先前深度直方图的频率是每个深度值的累加权重值，同时每个深度值被视为类。图像处理设备20生成输入图像深度分布特征信息和先前图像深度分布特征信息，并且进行至步骤ST3。
在步骤ST3中，图像处理设备设置合并比率。根据输入引导图像中的感兴趣像素与先前引导图像中的对应像素之间的像素信息差异量，信息处理设备20中的合并控制部25设置输入图像深度分布特征信息与先前图像深度分布特征信息之间的合并比率。合并控制部25以使得输入图像深度分布特征信息的比率随着感兴趣像素与对应像素之间的像素信息差异量的增加而增加的方式设置合并比率。完成步骤ST3后，处理进行至步骤ST4。
在步骤ST4中，图像处理设备生成合并的深度分布特征信息。图像处理装设备20中的信息合并部261通过按照在步骤ST3中设置的合并比率合并在步骤ST2中生成的输入图像深度分布特征信息和先前图像深度分布特征信息来生成合并的深度分布特征信息。例如，信息合并部261针对每个深度值通过以合并比率合并当前深度直方图的权重和先前深度直方图的权重来生成合并的深度直方图。完成步骤ST4后，处理进行至步骤ST5。
在步骤ST5中，图像处理设备计算代表深度值。图像处理设备20中的合并信息分析部262根据在步骤ST4中生成的合并的深度分布特征信息计算代表深度值。例如，合并信息分析部262计算合并的深度直方图的中值深度值作为代表深度值。完成步骤ST5后，处理进行至步骤ST6。
在步骤ST6中，图像处理设备确定感兴趣像素的深度值。图像处理设备20中的合并信息分析部262计算在步骤ST5中计算的代表深度值的可靠度，并且将具有不低于确定阈值的可靠度的代表深度值视为感兴趣像素的深度值。例如，合并信息分析部262计算可靠度确定区域的总权重与合并的深度直方图的整个类宽度的总权重的比率作为可靠度。如果可靠度不低于预先设置的确定阈值，则合并信息分析部262将在步骤ST5中计算的代表深度值视为感兴趣像素的深度值。相反，如果发现可靠度低于预先设置的确定阈值，则合并信息分析部262将感兴趣像素的深度值视为无效值。
图像处理设备通过针对每个感兴趣像素执行步骤ST1至ST6来计算感兴趣像素的深度值。应该注意，图7中描绘的处理不必总是按顺序逐步执行。替选方案是执行例如流水线处理或并行处理。
上面描述的第一实施方式将输入图像深度分布特征信息与先前图像深度分布特征信息合并以获得合并的深度分布特征信息，根据合并的深度分布特征信息计算代表深度值，并且将呈现比确定阈值高的可靠度的代表深度值视为感兴趣像素的深度值。因此，根据相对于感兴趣像素的时空方向上的像素的像素信息和深度值，高度可靠的深度值被视为感兴趣像素的深度值。这改善了深度图像的时空稳定性。例如，如果成像元件的散粒噪声出现在用于匹配处理的右视点图像或左视点图像中，则可能由于例如噪声而在匹配处理中发生错误，从而产生指示深度图像的不正确的深度值的噪声。在这样的情况下，图像处理设备将输入图像深度分布特征信息与先前图像深度分布特征信息合并以获得合并的深度分布特征信息，从合并的深度分布特征信息中选择代表深度值，并且将高度可靠的代表深度值视为深度值。因此，图像处理设备能够从深度图像中消除噪声。如上所述，图像处理设备通过使用引导图像和先前深度图像对输入深度图像执行时空过滤处理。这使得可以生成呈现比输入深度图像高的时空稳定性的输出深度图像。
此外，如果在用于深度值计算的像素位置远离前景对象的轮廓的情况下用于匹配处理的窗口大小在深度值计算时增加，则窗口中的图像可以彼此一致使得用于计算的像素位置的深度值被视为前景对象的深度值。因此，深度图像可能是示出前景对象的扩展轮廓的图像。然而，图像处理设备通过使用基于输入引导图像的输入图像周边区域中的像素的像素值的权重来生成输入图像深度分布特征信息。此外，图像处理设备通过使用基于先前引导图像的先前图像周边区域中的像素的像素值的权重来生成先前图像深度分布特征信息。因此，选自合并的深度分布特征信息的代表深度值是考虑到引导图像的周边区域中的图像而获得的值。也就是说，可以实现边缘形状细化使得在前景对象的边界处显示背景的像素不呈现前景对象的深度值。图8描绘了示出通过图像处理设备提供的优点的示意图。图8的(a)描绘了被输入至图像处理设备的引导图像。图8的(b)描绘了被输入至图像处理设备的深度图像。图8的(c)描绘了从图像处理设备输出的输出深度图像。被输入至图像处理设备的深度图像是与引导图像相比较示出前景对象的扩展轮廓的深度图像。图像处理设备能够通过对输入的深度图像执行上述处理来生成示出前景对象的未扩展轮廓的输出深度图像。如上所述，图像处理设备递归地使用先前图像(先前引导图像和先前深度图像)。因此，图像处理设备能够在宽范围内执行时空过滤。应该注意，代表性深度值不必总是中值深度值。例如，深度值的模式可以可替选地被视为代表深度值，所述深度值的模式是在其处深度直方图最大化的深度值。另一替选方案是从多个统计值中选择呈现最高可靠度的统计值，并且将所选择的统计值视为代表深度值。
此外，图像处理设备能够同时生成输出深度图像的可靠度映射。因此，可以根据应用所需要的准确度使用输出深度图像。此外，图像处理设备递归地使用先前图像(先前引导图像和先前深度图像)。因此，图像处理设备能够在宽范围内实现时空整合，同时减少例如每单位帧的计算量。此外，图像处理设备针对每个感兴趣像素通过使用感兴趣像素、输入图像周边区域中的像素和先前图像周边区域中的像素生成输出深度图像。也就是说，通过仅执行本地处理来生成输出深度图像。因此，当例如实现GPU(图形处理单元)时，可以有效地使用并行计算资源。
此外，图像处理设备根据输入引导图像中的感兴趣像素与先前引导图像中的对应像素之间的像素信息差异量来控制输入图像深度分布特征信息与先前图像深度分布特征信息之间的合并比率，所述对应像素对应于先前引导图像中的感兴趣像素。这使得可以避免在已经在输出深度图像中移动的对象的形状坍塌。
<3.第二实施方式>
现在将描述根据第二实施方式的图像处理设备。将通过说明关于生成深度表作为深度分布特征信息的情况来描述第二实施方式。
第二实施方式具有与第一实施方式类似的配置。此外，在第二实施方式中，输入图像信息生成处理部21的输入图像分布特征信息生成部212和先前图像信息生成处理部24的先前图像分布特征信息生成部242生成指示深度值与权重之间的关系的深度表。
针对输入图像周边区域中的每个像素，输入图像分布特征信息生成部212通过将深度值与通过输入图像相似度计算部211计算的权重相关联来生成当前深度表。此外，针对先前图像周边区域中的每个像素，先前图像分布特征信息生成部242通过将深度值与由先前图像相似度计算部241计算的权重相关联来生成先前深度表。
图9描绘了示出先前图像分布特征信息生成部的操作的图。图9的(a)示出了先前深度图像的先前图像周边区域中的像素的深度值。图9的(a)中标记为“x”的像素具有无效的深度值。图9的(b)示出了由先前图像相似度计算部241计算的先前图像周边区域中的像素的权重。先前图像分布特征信息生成部242从先前图像周边区域中的像素中排除具有无效值的像素，并且生成如图9的(c)中所描绘的指示剩余像素的深度值与权重之间的关系的先前深度表。
深度值处理部26的信息合并部261通过将当前深度表的权重和先前深度表的权重视为基于由合并控制部25设置的合并比率的权重来生成深度表。例如，信息合并部261将先前深度表的权重乘以合并比率α(n,x)，并且将当前深度表的权重乘以合并比率(1-α(n,x))。信息合并部261生成合并的深度表作为合并的深度分布特征信息。通过组合具有基于合并比率的权重的当前深度表和先前深度表来生成合并的深度表。
合并信息分析部262根据合并的深度表计算代表深度值，将具有不低于预先设置的确定阈值的可靠度的代表深度值视为感兴趣像素的深度值，并且将具有低于确定阈值的可靠度的代表深度值视为无效值。
图10描绘了示出深度值处理部的操作的图。图10的(a)示出了当前深度表。图10的(b)的示出了先前深度表。图10的(c)的示出了合并的深度表。此外，在当前深度表和先前深度表中，例如，合并率α(n,x)为0.2处的权重被指示为合并比率部分。此外，图10中的标记“x”指示深度值是无效值。
深度值处理部26排除无效值，并且通过组合当前深度表和先前深度表来生成合并的深度表。此外，为了确定中值深度值，深度值处理部26例如按照深度值的顺序重新排列数据。图10的(c)描绘了其中数据按照深度值的顺序被重新排列的合并深度表。深度值处理部26例如按照增加深度值的顺序计算累加权重值。
此处，累加权重值是8.36。因此，中值深度值D中值(n,x)是96。此外，如果区域设置宽度Dthr是2，则可靠度确定区域是94至98，并且可靠度确定区域的总值Wsum_around_med(n,x)是6.16。通过将总无效值权重“0.2”与累加权重值“8.9”相加而确定的整个类宽度的总权重W总(n,x)是9.1。可靠度D置信度(n,x)是Wsum_around_med/W总≈0.67。此外，如果确定阈值Th直方图_比率是0.5，则感兴趣像素的深度值是96，因为可靠度D置信度(n,x)大于确定阈值Th直方图_比率。
上述第二实施方式不仅提供与第一实施方式类似的优点，而且还便于例如计算代表深度值，因为使用深度表而不是深度直方图。
<4.第三实施方式>
现在将描述根据第三实施方式的图像处理设备。将通过说明关于使用先前深度图像的可靠度来生成先前图像深度分布特征信息的情况来描述第三实施方式。
除了第一实施方式中包括的元件之外，第三实施方式还包括先前可靠度映射存储部28。
图11示出了第三实施方式的配置。在图11中，与第一实施方式的元件相同的元件用与第一实施方式的附图标记相同的附图标记表示。在第三实施方式中，图像处理设备20包括输入图像信息生成处理部21、先前引导图像存储部22、先前图像信息生成处理部24、合并控制部25、深度值处理部26和先前深度图像存储部27。此外，图像处理设备20包括先前可靠度映射存储部28。
针对每个感兴趣像素，输入图像信息生成处理部21通过使用输入引导图像和输入深度图像根据输入图像周边区域中的像素的像素值和深度值生成输入图像深度分布特征信息。
先前引导图像存储部22存储先前引导图像(例如，一帧之前的引导图像)。此外，先前引导图像存储部22将存储的先前引导图像输出至先前图像信息生成处理部24和合并控制部25。
针对每个感兴趣像素，先前图像信息生成处理部24根据感兴趣像素的像素值、先前图像周边区域中的像素的像素值和深度值以及关于先前图像周边区域的可靠度来生成先前图像深度分布特征信息。先前图像信息生成处理部24包括先前图像相似度计算部241和先前图像分布特征信息生成部242a。
针对每个感兴趣像素，先前图像相似度计算部241基于输入引导图像中的感兴趣像素与先前引导图像中的先前图像周边区域中的像素之间的像素信息相似度来计算权重，并且使权重随着像素信息相似度的增加而增加。例如，先前图像相似度计算部241使用感兴趣像素的亮度值和先前图像周边区域中的像素的亮度值来根据上面的式(4)计算权重W先前(n,x,x’)。
先前图像分布特征信息生成部242a通过将先前图像周边区域中的像素的深度值和可靠度与通过先前图像相似度计算部241确定的权重相关联来生成先前图像深度分布特征信息。先前图像深度分布特征信息指示先前图像周边区域中的深度值与基于可靠度的权重之间的关系。例如，先前图像分布特征信息生成部242a根据式(14)生成先前深度直方图H先前(n,x,d)。在式(14)中，D置信度(n-1,x’)是先前图像周边区域中的位置“x’”处的像素的可靠度，D过滤(n-1,x’)是位置“x’”处的像素的深度值，并且d(例如，0≤d≤255)是指示深度值的整数值。此外，针对感兴趣像素x的先前图像周边区域由局部窗函数W(x)指定，并且通过使用由局部窗函数W(x)指示的区域中的像素的权重、可靠度和深度值来生成先前深度直方图。应该注意，指示深度值的整数值d等于先前深度直方图的类(区间)。根据式(15)将整数值d等于深度值的周边像素的权重相加在一起。所得到的值被视为关于整数值d的频率。对于可靠度，使用存储在先前可靠度映射存储部28中的可靠度映射。
[数学式11]
合并控制部25根据输入引导图像中的感兴趣像素与先前图像中的对应像素之间的像素信息差异量来设置合并比率，并且将合并比率输出至深度值处理部26。
深度值处理部26按照由合并控制部25设置的合并比率将由输入图像信息生成处理部21生成的输入图像深度分布特征信息与由先前图像信息生成处理部24生成的先前图像深度分布特征信息合并。此外，深度值处理部26根据合并的深度分布特征信息计算代表深度值。此外，如果代表深度值的可靠度不低于确定阈值，则深度值处理部26将代表深度值视为感兴趣像素的深度值。此外，深度值处理部26使先前深度图像存储部27存储指示针对每个感兴趣像素计算的深度值的输出深度图像作为先前深度图像。另外，深度值处理部26使先前可靠度映射存储部28存储指示针对每个感兴趣像素计算的可靠度的可靠度映射作为与存储在先前深度图像存储部27中的先前深度图像对应的可靠度映射。
此外，在第三实施方式中，以与图7的流程图中描绘的方式类似的方式针对每个感兴趣像素执行处理，并且根据先前图像周边区域中的像素的深度值、可靠度和权重在步骤ST2中生成先前图像深度分布特征信息。
在如上所述配置第三实施方式时，其提供了与第一实施方式类似的优点。此外，在第三实施方式中，与先前深度图像对应的可靠度映射被反映在先前图像深度分布特征信息中。因此，获得比不使用可靠度映射的情况更适当的深度值。此外，期望提高被与输出深度图像同时输出的可靠度映射的准确度。
<5.第四实施方式>
附带地，在某些情况下在视点移动的情况下捕获对象的图像。鉴于这种情况，即使在视点移动的情况下，第四实施方式也改善了深度图像的时空稳定性。在第四实施方式中，图像处理设备执行将输入图像(输入引导图像和输入深度图像)和先前图像(先前引导图像和先前深度图像)中的至少任一个转换成在视点上与另一图像一致的图像的视点转换处理。此外，图像处理设备使用在视点上彼此一致的输入图像和先前图像，并且通过执行与第一实施方式至第三实施方式中的一个中的处理类似的处理来生成输出深度图像。下面描述用于使先前图像的视点与输入图像的视点一致的视点转换处理部被添加至第一实施方式的元件的情况。
图12示出了第四实施方式的配置。在图12中，与第一实施方式的元件相同的元件用与第一实施方式的附图标记相同的附图标记表示。图像处理设备20包括输入图像信息生成处理部21、先前引导图像存储部22、先前图像信息生成处理部24、合并控制部25、深度值处理部26和先前深度图像存储部27。此外，根据第四实施方式的图像处理设备20包括视点转换处理部23。
输入图像信息生成处理部21根据输入图像周边区域中的像素的像素值和深度值生成输入图像深度分布特征信息。
先前引导图像存储部22存储早于输入引导图像的先前引导图像。此外，先前引导图像存储部22将存储的先前引导图像输出至视点转换处理部23。
视点转换处理部23将从先前引导图像存储部22输出的先前引导图像转换成在输入图像的视点处的图像。此外，视点转换处理部23将存储在先前深度图像存储部27中的先前深度图像转换成在输入图像的视点处的深度图像。
视点转换处理部23包括位置/姿势检测部231、先前位置/姿势存储部232、视点转换参数生成部233、引导图像视点转换部234和深度图像视点转换部235。
位置/姿势检测部231检测已经根据输入引导图像生成引导图像的成像设备的位置和姿势。位置/姿势检测部231使用例如在Davison，Andrew J.“Real-time simultaneouslocalization localization and mapping with a single camera”，Computer Vision，2003，Proceedings，Ninth IEEE International Conference on IEEE 2003中公开的方法来检测已经生成输入引导图像的成像设备的位置和姿势，并且将检测结果输出至先前位置/姿势存储部232和视点转换参数生成部233。
先前位置/姿势存储部232存储从位置/姿势检测部231输出的检测结果。此外，先前位置/姿势存储部232将存储的检测结果即基于先前引导图像的检测结果输出至视点转换参数生成部233。
视点转换参数生成部233生成视点转换参数。视点转换参数用于执行使先前引导图像和先前深度图像在视点上与输入图像一致的视点转换处理。视点转换参数生成部233将生成的视点转换参数输出至引导图像视点转换部234和深度图像视点转换部235。
图13描绘了示出视点转换的图。图13的(a)描绘了未经历视点转换的二维深度图像。图13的(b)描绘了成像设备的移动。图13的(c)描绘了经历视点转换的二维深度图像。图13示出了以下情况：成像设备CAM(视点)在时间点t0与时间点t1之间的时间段期间移动，并且在时间点t0处的深度图像(先前深度图像)被转换成在时间点t1处的视点(输入深度图像的视点)处的深度图像。
可以根据式(16)和(17)将时间点t0处的二维深度图像的点Z0(x0,y0)转换成三维点(X0,Y0,Z0)。Z0是位置(x0,y0)处的深度值，f是焦距，并且Cx、Cy是图像的中心。
[数学式12]
可以通过使用视点移动之前的外部参数R0、T0和视点移动之后的外部参数R1、T1根据式(18)将时间点t0处的三维点(X0,Y0,Z0)转换成时间点t1处的三维点(X1,Y1,Z1)。应该注意，外部参数R0、R1是视点旋转参数，并且外部参数T0、T1是视点平移参数。
[数学式13]
此外，可以根据式(19)和式(20)将时间点t1处的三维点(X1,Y1,Z1)转换成时间点t1处的二维深度图像的点Z1(x1,y1)。应该注意，Z1是位置(x1,y1)的深度值。
[数学式14]
以上述方式中，时间点t0处的深度图像可以被转换成时间点t1的视点处的深度图像。因此，根据先前获取的焦距f、从位置/姿势检测部231输出的检测结果(对应于视点移动之后的外部参数R1、T1)以及存储在先前位置/姿势存储部232中的检测结果(对应于视点移动之前的外部参数R0、T0)，视点转换参数生成部233生成将二维深度图像的点Z0(x0,y0)转换成点Z1(x1,y1)的视点转换参数。
引导图像视点转换部234通过使用转换参数来执行视点转换以将存储在先前引导图像存储部22中的先前引导图像转换成在与输入引导图像的视点相同的视点处的引导图像，并且将所得到的引导图像输出至先前图像信息生成处理部24。
深度图像视点转换部235通过使用转换参数来执行视点转换以将存储在先前深度图像存储部27中的先前深度图像转换成在与输入深度图像的视点相同的视点处的深度图像，并且将所得到的深度图像输出至先前图像信息生成处理部24。
根据感兴趣像素的像素值以及先前图像周边区域中的像素的像素值、深度值和权重，先前图像信息生成处理部24通过使用经过视点转换的先前引导图像和先前深度图像来针对感兴趣像素生成先前图像深度分布特征信息。
合并控制部25根据输入引导图像中的感兴趣像素与经过视点转换的先前引导图像中的对应像素之间的像素信息差异量来设置合并比率，并且将合并比率输出至深度值处理部26。
深度值处理部26按照通过合并控制部25设置的合并比率将通过输入图像信息生成处理部21生成的输入图像深度分布特征信息与通过先前图像信息生成处理部24生成的先前图像深度分布特征信息合并。此外，深度值处理部26根据合并的深度分布特征信息计算代表深度值。此外，如果代表深度值的可靠度不低于确定阈值，则深度值处理部26将代表深度值视为感兴趣像素的深度值。此外，深度值处理部26使先前深度图像存储部27存储指示针对每个感兴趣像素计算的深度值的输出深度图像作为先前深度图像。另外，深度值处理部26使先前可靠度映射存储部28存储指示所计算的可靠度的可靠度映射。
图14是示出视点转换操作的流程图。在步骤ST11中，图像处理设备执行位置/姿势检测。根据输入图像，图像处理设备20中的视点转换处理部23检测已经生成输入图像的成像设备的位置和姿势。完成步骤ST11后，处理进行至步骤ST12。
在步骤ST12中，图像处理设备生成视点转换参数。根据步骤ST11中的位置和姿势检测的结果以及从基于先前引导图像的计算推导出的位置/姿势检测结果，视点转换处理部23生成使输入图像和先前图像在视点上一致的转换参数。完成步骤ST12后，处理进行至步骤ST13。
在步骤ST13中，图像处理设备执行视点转换。视点转换处理部23通过使用在步骤ST12中生成的视点转换参数来执行视点转换，并且根据检测结果和从基于先前引导图像的计算推导出的位置/姿势检测结果使输入图像和先前图像在视点上一致。
图像处理设备通过执行图14中所示的视点转换操作使输入图像和先前图像在视点上一致，并且然后，通过针对每个感兴趣像素执行图7的流程图中描绘的处理来生成具有改善的时空稳定性的输出深度图像，所述感兴趣像素相对于输入图像顺序设置。此外，每次输入新图像时，图像处理设备执行图14的流程图中描绘的处理和图7的流程图中描绘的处理。
图15示出了视点和前景对象的移动。图16示出了在视点和前景对象如图15中描绘的移动的情况下执行的第四实施方式的操作。
参照图14，成像设备CAM(视点)和前景对象在时间点t0与时间点t1之间的时间段期间移动。
图15示出了在时间点t1处相对于输入图像改善时空稳定性的情况。在这种情况下，时间点t0处的引导图像被存储在先前引导图像存储部中作为先前引导图像。此外，通过执行相对于在时间点t0处的深度图像改善时空稳定性的处理而生成的输出深度图像被存储在先前深度图像存储部中作为先前深度图像。此外，根据在时间点t0处的引导图像已经生成引导图像的成像设备的位置和姿势检测的结果被存储在视点转换处理部中。应该注意，图15中描绘的块用与图12中描绘的块相同的附图标记表示，并且适于执行相应处理。
根据时间点t1处的引导图像，位置/姿势检测处理检测已经生成引导图像的成像设备的位置和姿势。根据基于时间点t0处的引导图像的位置和姿势检测的结果以及基于时间点t1处的引导图像的位置和姿势检测的结果，姿势转换参数生成处理生成视点转换参数，该视点转换参数将先前引导图像和先前深度图像转换成具有在时间点t1处的引导图像和深度图像的视点的图像。
视点转换处理使用视点转换参数来执行先前引导图像和先前深度图像的视点转换，并且生成具有在时间点t1处的引导图像和深度图像的视点的先前引导图像和先前深度图像。
针对每个感兴趣像素，合并控制处理通过使用在时间点t1处的引导图像和经过视点转换的先前引导图像来根据像素信息差异量计算权重。应该注意，图15描绘了差异量检测的结果，并且黑色区域是遇到像素信息差异的像素区域，并且此外其他区域是实现像素信息一致的像素区域。
深度图像时空整合处理按照由合并控制部设置的合并比率将输入图像深度分布特征信息与先前图像深度分布特征信息合并，根据合并的深度分布特征信息计算代表深度值，以及通过将所计算的代表深度值处理为感兴趣像素的深度值来生成输出深度图像。
在第四实施方式如上所述时，其提供了与第一实施方式类似的优点。此外，即使在视点发生变化时，第四实施方式也能够改善深度图像的时空稳定性。因此，可以通过补偿成像设备的位置和姿势的帧间变化来支持成像设备被安装在移动设备(例如，例如智能电话或功能电话的移动终端)或可穿戴设备(例如，头戴式显示器)中的应用。
本文档中描述的一系列处理可以由硬件、软件或者硬件和软件的组合来执行。在通过软件执行处理的情况下，可以将记录了处理顺序的程序安装在专用硬件中包含的计算机的存储器中，并且然后执行程序，或者将程序安装在能够执行各种处理的通用计算机中并且然后执行程序。
例如，可以将程序预先记录在用作记录介质的硬盘或SSD(固态驱动器)上或者ROM(只读存储器)中。可替选地，可以将程序临时或永久地存储(记录)在软盘、CD-ROM(压缩盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、BD(蓝光盘(注册商标))、磁盘、半导体存储器或其他可移除记录介质上。可以将这样的可移除记录介质作为软件包提供。
作为将程序从可移除记录介质安装在计算机上的方法的替选方案，可以经由网络例如LAN(局域网)或因特网以无线或有线方式将程序从下载站点传输至计算机。在这样的情况下，计算机可以接收所传输的程序并且将其安装在内置硬盘或其他记录介质上。
本文档中描述的优点仅是说明性的而非限制性的。本技术不限于所描述的优点，并且可以提供另外的优点。本技术的解释不限于结合前述实施方式描述的那些。本技术的实施方式以说明性方式公开了本技术。要理解的是，在不脱离本技术的精神和范围的情况下，本领域技术人员可以修改或改变实施方式。也就是说，应该在考虑所附权利要求的情况下确定本技术的精神。
此外，根据本技术的图像处理设备可以采用以下配置。
(1)一种图像处理设备，包括：
深度值处理部，其将输入图像深度分布特征信息与先前图像深度分布特征信息合并以生成合并的深度分布特征信息，根据所述合并的深度分布特征信息计算代表深度值，以及将所计算的代表深度值视为输入图像的感兴趣像素的深度值，所述输入图像深度分布特征信息基于就所述感兴趣像素而言的周边区域中的像素的像素值和深度值，所述先前图像深度分布特征信息基于所述感兴趣像素的像素值以及就先前图像中的与所述感兴趣像素的像素位置对应的像素而言的周边区域中的像素的像素值和深度值，所述先前图像是早于所述输入图像的图像。
(2)根据(1)中描述的图像处理设备，还包括：
输入图像信息生成处理部，其生成所述输入图像深度分布特征信息；以及
先前图像信息生成处理部，其生成所述先前图像深度分布特征信息，
其中，所述输入图像信息生成处理部针对所述周边区域中的每个像素通过将深度值与基于与所述感兴趣像素的像素信息相似度的权重相关联来生成所述输入图像深度分布特征信息，并且
所述先前图像信息生成处理部针对就对应像素而言的周边区域中的每个像素通过将深度值与基于与所述感兴趣像素的像素信息相似度的权重相关联来生成所述先前图像深度分布特征信息。
(3)根据(2)中描述的图像处理设备，还包括：
合并控制部，其根据所述感兴趣像素与所述对应像素之间的像素信息差异量来设置合并比率，
其中，所述深度值处理部按照由所述合并控制部设置的所述合并比率将所述输入图像深度分布特征信息与所述先前图像深度分布特征信息合并。
(4)根据(3)中所描述的图像处理设备，其中，其中，所述合并控制部使用于由所述输入图像信息生成处理部生成的所述输入图像深度分布特征信息的合并比率随着所述感兴趣像素与所述对应像素之间的所述像素信息差异量的增加而增加。
(5)根据(3)或(4)中描述的图像处理设备，其中，所述像素信息包括关于亮度或颜色的信息。
(6)根据(2)至(5)中任一项描述的图像处理设备，其中，所述输入图像信息生成处理部和所述先前图像信息生成处理部使所述权重随着与所述感兴趣像素的所述像素信息相似度的增加而增加。
(7)根据(2)至(6)中任一项描述的图像处理设备，其中，如果由所述深度值处理部计算的所述代表深度值的可靠度不低于预先设置的确定阈值，则所述深度值处理部将所述代表深度值视为所述感兴趣像素的深度值。
(8)根据(7)中所描述的图像处理设备，其中，所述深度值处理部将基于所述代表深度值的预定深度范围内的总权重与所述合并的深度分布特征信息的总权重的比率视为所述可靠度。
(9)根据(7)或(8)中描述的图像处理设备，
其中，如果所述可靠度低于所述预先设置的确定阈值，则所述深度值处理部将所述感兴趣像素的深度值视为无效值，并且
所述先前图像信息生成处理部通过从就所述对应像素而言的周边区域中的像素中排除指示所述无效值的像素来生成所述先前图像深度分布特征信息。
(10)根据(7)至(9)中任一项描述的图像处理设备，其中，所述深度值处理部能够改变所述确定阈值。
(11)根据(2)至(10)中任一项描述的图像处理设备，其中，所述深度值处理部将所述合并的深度分布特征信息视为深度值顺序信息，并且对具有中值累加权重值的深度值作为所述代表深度值来处理。
(12)根据(2)至(11)中任一项描述的图像处理设备，
其中，所述输入图像信息生成处理部生成通过根据就所述感兴趣像素而言的周边区域中的像素的深度值和权重累加每个深度值的权重而获得的深度直方图作为所述深度分布特征信息，
所述先前图像信息生成处理部生成通过根据就所述对应像素而言的周边区域中的像素的深度值和权重累加每个深度值的权重而获得的深度直方图作为所述先前图像深度分布特征信息，并且
所述深度值处理部通过将由所述输入图像信息生成处理部和所述先前图像信息生成处理部生成的直方图的权重视为基于由所述合并控制部设置的合并比率的权重来合并所述直方图，并且将合并的深度直方图视为所述合并的深度分布特征信息。
(13)根据(2)至(11)中任一项描述的图像处理设备，
其中，所述输入图像信息生成处理部根据就所述感兴趣像素而言的周边区域中的像素的深度值和权重生成指示每个深度值的权重的深度表作为所述深度分布特征信息，
所述先前图像信息生成处理部根据就所述对应像素而言的先前图像周边区域中的像素的深度值和权重生成指示每个深度值的权重的深度表作为所述深度分布特征信息，并且
所述深度值处理部通过将由所述输入图像信息生成处理部和所述先前图像信息生成处理部生成的深度表的权重视为由通过所述合并控制部设置的合并比率的权重来合并所述深度表，并且将所合并的深度表视为所述合并的深度分布特征信息。
(14)根据(2)至(13)中任一项描述的图像处理设备，
其中，所述深度值处理部将针对被作为所述感兴趣像素的深度值来处理的所述代表深度值计算的可靠度视为所述感兴趣像素的可靠度，并且
所述先前图像信息生成处理部根据所述感兴趣像素的像素值以及就所述对应像素而言的周边区域中的像素的像素值、深度值和可靠度生成所述先前图像深度分布特征信息。
(15)根据(2)至(14)中任一项描述的图像处理设备，还包括：
视点转换处理部，其将所述输入图像和所述先前图像中的至少任一个转换成在视点上与另一图像一致的图像，
其中，所述输入图像信息生成处理部和所述先前图像信息生成处理部通过使用具有与所述视点转换处理部的转换结果相同的视点的图像来生成所述输入图像深度分布特征信息和所述先前图像深度分布特征信息。
[工业应用]
根据本技术的图像处理设备根据相对于感兴趣图像的时空方向上的像素的像素信息和深度值提供高度可靠的深度值作为感兴趣像素的深度值。这使得可以改善深度图像的时空稳定性。因此，图像处理设备可用在需要具有时空稳定性的深度图像的应用中，即，可应用于能够被用于例如三维用户接口和SLAM(同步定位和映射)的电子设备(例如，移动设备和可穿戴设备)。
[附图标记列表]
10 深度图像系统
15 深度图像生成设备
20 图像处理设备
21 输入图像信息生成处理部
22 先前引导图像存储部
23 视点转换处理部
24 先前图像信息生成处理部
25 合并控制部
26 深度值处理部
27 先前深度图像存储部
28 先前可靠度映射存储部
211 输入图像相似度计算部
212 输入图像分布特征信息生成部
231 位置/姿势检测部
232 先前位置/姿势存储部
233 视点转换参数生成部
234 引导图像视点转换部
235 深度图像视点转换部
241 先前图像相似度计算部
242,242a 先前图像分布特征信息生成部
251 差异量计算部
252 合并比率设置部
261 信息合并部
262 合并信息分析部

Claims (16)

1.一种图像处理设备，包括：
深度值处理部，其将输入图像深度分布特征信息与先前图像深度分布特征信息合并以生成合并的深度分布特征信息，根据所述合并的深度分布特征信息计算代表深度值，以及将所计算的代表深度值视为输入图像的感兴趣像素的深度值，所述输入图像深度分布特征信息基于就所述感兴趣像素而言的周边区域中的像素的像素值和深度值，所述先前图像深度分布特征信息基于所述感兴趣像素的像素值以及就先前图像中与所述感兴趣像素的像素位置对应的像素而言的周边区域中的像素的像素值和深度值，所述先前图像是早于所述输入图像的图像。
2.根据权利要求1所述的图像处理设备，还包括：
输入图像信息生成处理部，其生成所述输入图像深度分布特征信息；以及
先前图像信息生成处理部，其生成所述先前图像深度分布特征信息，
其中，所述输入图像信息生成处理部针对所述周边区域中的每个像素通过将深度值与基于与所述感兴趣像素的像素信息相似度的权重相关联来生成所述输入图像深度分布特征信息，并且
所述先前图像信息生成处理部针对就对应像素而言的周边区域中的每个像素通过将深度值与基于与所述感兴趣像素的像素信息相似度的权重相关联来生成所述先前图像深度分布特征信息。
3.根据权利要求2所述的图像处理设备，还包括：
合并控制部，其根据所述感兴趣像素与所述对应像素之间的像素信息差异量来设置合并比率，
其中，所述深度值处理部按照由所述合并控制部设置的所述合并比率将所述输入图像深度分布特征信息与所述先前图像深度分布特征信息合并。
4.根据权利要求3所述的图像处理设备，其中，所述合并控制部使用于由所述输入图像信息生成处理部生成的所述输入图像深度分布特征信息的合并比率随着所述感兴趣像素与所述对应像素之间的所述像素信息差异量的增加而增加。
5.根据权利要求3所述的图像处理设备，其中，所述像素信息包括关于亮度或颜色的信息。
6.根据权利要求2所述的图像处理设备，其中，所述输入图像信息生成处理部和所述先前图像信息生成处理部使所述权重随着与所述感兴趣像素的所述像素信息相似度的增加而增加。
7.根据权利要求2所述的图像处理设备，其中，如果由所述深度值处理部计算的所述代表深度值的可靠度不低于预先设置的确定阈值，则所述深度值处理部将所述代表深度值视为所述感兴趣像素的深度值。
8.根据权利要求7所述的图像处理设备，其中，所述深度值处理部将基于所述代表深度值的预定深度范围内的总权重与所述合并的深度分布特征信息的总权重的比率视为所述可靠度。
9.根据权利要求7所述的图像处理设备，
其中，如果所述可靠度低于所述预先设置的确定阈值，则所述深度值处理部将所述感兴趣像素的深度值视为无效值，并且
所述先前图像信息生成处理部通过从就所述对应像素而言的周边区域中的像素中排除指示所述无效值的像素来生成所述先前图像深度分布特征信息。
10.根据权利要求7所述的图像处理设备，其中，所述深度值处理部能够改变所述确定阈值。
11.根据权利要求2所述的图像处理设备，其中，所述深度值处理部将所述合并的深度分布特征信息视为深度值顺序信息，并且将具有中值累加权重值的深度值作为所述代表深度值来处理。
12.根据权利要求2所述的图像处理设备，
其中，所述输入图像信息生成处理部生成通过根据就所述感兴趣像素而言的周边区域中的像素的深度值和权重累加每个深度值的权重而获得的深度直方图作为所述深度分布特征信息，
所述先前图像信息生成处理部生成通过根据就所述对应像素而言的周边区域中的像素的深度值和权重累加每个深度值的权重而获得的深度直方图作为所述先前图像深度分布特征信息，并且
所述深度值处理部通过将由所述输入图像信息生成处理部和所述先前图像信息生成处理部生成的直方图的权重视为基于由所述合并控制部设置的合并比率的权重来合并所述直方图，并且将合并的深度直方图视为所述合并的深度分布特征信息。
13.根据权利要求2所述的图像处理设备，
其中，所述输入图像信息生成处理部根据就所述感兴趣像素而言的周边区域中的像素的深度值和权重生成指示每个深度值的权重的深度表作为所述深度分布特征信息，
所述先前图像信息生成处理部根据就所述对应像素而言的先前图像周边区域中的像素的深度值和权重生成指示每个深度值的权重的深度表作为所述深度分布特征信息，并且
所述深度值处理部通过将由所述输入图像信息生成处理部和所述先前图像信息生成处理部生成的深度表的权重视为基于由所述合并控制部设置的合并比率的权重来合并所述深度表，并且将所合并的深度表视为所述合并的深度分布特征信息。
14.根据权利要求2所述的图像处理设备，
其中，所述深度值处理部将针对作为所述感兴趣像素的深度值来处理的所述代表深度值计算的可靠度视为所述感兴趣像素的可靠度，并且
所述先前图像信息生成处理部根据所述感兴趣像素的像素值以及就所述对应像素而言的周边区域中的像素的像素值、深度值和可靠度生成所述先前图像深度分布特征信息。
15.根据权利要求2所述的图像处理设备，还包括：
视点转换处理部，其将所述输入图像和所述先前图像中的至少任一个转换成在视点上与另一图像一致的图像，
其中，所述输入图像信息生成处理部和所述先前图像信息生成处理部通过使用具有与所述视点转换处理部的转换结果相同的视点的图像来生成所述输入图像深度分布特征信息和所述先前图像深度分布特征信息。
16.一种图像处理方法，包括：
将输入图像深度分布特征信息与先前图像深度分布特征信息合并以生成合并的深度分布特征信息，所述输入图像深度分布特征信息基于就输入图像的感兴趣像素而言的周边区域中的像素的像素值和深度值，所述先前图像深度分布特征信息基于所述感兴趣像素的像素值以及就先前图像中的与所述感兴趣像素的像素位置对应的像素而言的周边区域中的像素的像素值和深度值，所述先前图像是早于所述输入图像的图像；
根据所述合并的深度分布特征信息计算代表深度值；以及
将所计算的代表深度值视为所述感兴趣像素的深度值。
CN201780020216.6A 2016-04-06 2017-01-16 图像处理设备和图像处理方法 Active CN108885778B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016076571 2016-04-06
JP2016-076571 2016-04-06
PCT/JP2017/001198 WO2017175441A1 (ja) 2016-04-06 2017-01-16 画像処理装置と画像処理方法

Publications (2)

Publication Number Publication Date
CN108885778A true CN108885778A (zh) 2018-11-23
CN108885778B CN108885778B (zh) 2023-04-07

Family

ID=60000987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780020216.6A Active CN108885778B (zh) 2016-04-06 2017-01-16 图像处理设备和图像处理方法

Country Status (6)

Country Link
US (1) US10846826B2 (zh)
JP (1) JP6908025B2 (zh)
KR (1) KR20180133394A (zh)
CN (1) CN108885778B (zh)
DE (1) DE112017001926T5 (zh)
WO (1) WO2017175441A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114659450A (zh) * 2022-03-25 2022-06-24 北京小米移动软件有限公司 机器人跟随方法、装置、机器人及存储介质
CN115115683A (zh) * 2021-03-22 2022-09-27 北京小米移动软件有限公司 图像处理方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776992B2 (en) * 2017-07-05 2020-09-15 Qualcomm Incorporated Asynchronous time warp with depth data
JP7451456B2 (ja) 2021-03-22 2024-03-18 株式会社東芝 運動推定装置及びそれを用いた運動推定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101512601A (zh) * 2006-09-04 2009-08-19 皇家飞利浦电子股份有限公司 从图像中确定深度图的方法以及确定深度图的设备
US20100166337A1 (en) * 2007-09-25 2010-07-01 Fujitsu Limited Image merge device and method
CN102385237A (zh) * 2010-09-08 2012-03-21 微软公司 基于结构化光和立体视觉的深度相机
US20140093159A1 (en) * 2012-03-29 2014-04-03 Panasonic Corporation Image processing apparatus and image processing method
US20150009286A1 (en) * 2012-01-10 2015-01-08 Sharp Kabushiki Kaisha Image processing device, image processing method, image processing program, image capture device, and image display device
US20150109513A1 (en) * 2012-04-26 2015-04-23 The Trustees of Collumbia University in the City York Systems, methods, and media for providing interactive refocusing in images

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04329481A (ja) 1991-05-01 1992-11-18 Matsushita Electric Ind Co Ltd ３次元データ獲得方法及び３次元データ獲得装置
JP4214527B2 (ja) 2004-12-27 2009-01-28 日本ビクター株式会社 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム
US8164594B2 (en) * 2006-05-23 2012-04-24 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
US8131098B2 (en) * 2007-07-06 2012-03-06 Panasonic Corporation Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit
JP5253835B2 (ja) * 2008-02-19 2013-07-31 株式会社キーエンス 画像生成装置、画像生成方法及びコンピュータプログラム
JP4655239B2 (ja) * 2008-09-24 2011-03-23 ソニー株式会社 撮像装置、その制御方法およびプログラム
JP5276539B2 (ja) * 2009-07-23 2013-08-28 キヤノン株式会社 画像処理方法および画像処理装置およびプログラム
JP2011091584A (ja) * 2009-10-21 2011-05-06 Seiko Epson Corp 撮像装置、撮像方法及び電子機器
JP5658873B2 (ja) * 2009-11-13 2015-01-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
JP5802364B2 (ja) * 2009-11-13 2015-10-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
JP5450330B2 (ja) * 2010-09-16 2014-03-26 株式会社ジャパンディスプレイ 画像処理装置および方法、ならびに立体画像表示装置
JP2012105225A (ja) * 2010-11-12 2012-05-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2012120057A (ja) * 2010-12-02 2012-06-21 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US20140036032A1 (en) * 2011-03-18 2014-02-06 Sony Corporation Image processing device, image processing method, and program
JP5908844B2 (ja) * 2011-04-07 2016-04-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像処理装置および画像処理方法
JP2012244396A (ja) 2011-05-19 2012-12-10 Sony Corp 画像処理装置、画像処理方法、およびプログラム
WO2013005365A1 (ja) * 2011-07-01 2013-01-10 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、集積回路
JP2013059016A (ja) 2011-08-12 2013-03-28 Sony Corp 画像処理装置および方法、並びにプログラム
US20140205007A1 (en) * 2011-08-31 2014-07-24 Sony Corporation Image processing devices and methods
TWI458256B (zh) * 2012-01-02 2014-10-21 Anpec Electronics Corp 基極偏壓控制裝置及放大器
JP5900017B2 (ja) 2012-02-28 2016-04-06 カシオ計算機株式会社 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム
JP5896788B2 (ja) * 2012-03-07 2016-03-30 キヤノン株式会社 画像合成装置及び画像合成方法
JP6470506B2 (ja) * 2014-06-09 2019-02-13 株式会社キーエンス 検査装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101512601A (zh) * 2006-09-04 2009-08-19 皇家飞利浦电子股份有限公司 从图像中确定深度图的方法以及确定深度图的设备
US20100166337A1 (en) * 2007-09-25 2010-07-01 Fujitsu Limited Image merge device and method
CN102385237A (zh) * 2010-09-08 2012-03-21 微软公司 基于结构化光和立体视觉的深度相机
US20150009286A1 (en) * 2012-01-10 2015-01-08 Sharp Kabushiki Kaisha Image processing device, image processing method, image processing program, image capture device, and image display device
US20140093159A1 (en) * 2012-03-29 2014-04-03 Panasonic Corporation Image processing apparatus and image processing method
US20150109513A1 (en) * 2012-04-26 2015-04-23 The Trustees of Collumbia University in the City York Systems, methods, and media for providing interactive refocusing in images

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115683A (zh) * 2021-03-22 2022-09-27 北京小米移动软件有限公司 图像处理方法及装置
CN114659450A (zh) * 2022-03-25 2022-06-24 北京小米移动软件有限公司 机器人跟随方法、装置、机器人及存储介质
CN114659450B (zh) * 2022-03-25 2023-11-14 北京小米机器人技术有限公司 机器人跟随方法、装置、机器人及存储介质

Also Published As

Publication number Publication date
DE112017001926T5 (de) 2019-01-10
US20190139197A1 (en) 2019-05-09
KR20180133394A (ko) 2018-12-14
WO2017175441A1 (ja) 2017-10-12
CN108885778B (zh) 2023-04-07
US10846826B2 (en) 2020-11-24
JP6908025B2 (ja) 2021-07-21
JPWO2017175441A1 (ja) 2019-02-14

Similar Documents

Publication Publication Date Title
US9123115B2 (en) Depth estimation based on global motion and optical flow
US9171372B2 (en) Depth estimation based on global motion
US20170372510A1 (en) Systems and methods for dynamic occlusion handling
US9224245B2 (en) Mesh animation
US10521919B2 (en) Information processing device and information processing method for applying an optimization model
CN108885778A (zh) 图像处理设备和图像处理方法
CN105374039B (zh) 基于轮廓锐度的单目图像深度信息估计方法
KR101820673B1 (ko) 멀티 스레드 방식을 기반으로 하는 3ｄ 디스플레이를 위한 비디오 처리 방법
US20190066311A1 (en) Object tracking
Ham et al. Probability-based rendering for view synthesis
Hebborn et al. Occlusion matting: realistic occlusion handling for augmented reality applications
CN111738265A (zh) Rgb-d图像的语义分割方法、系统、介质及电子设备
US12026903B2 (en) Processing of depth maps for images
JP4631973B2 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
US9317928B2 (en) Detecting and tracking point features with primary colors
Gibson et al. Robust optical flow estimation based on a sparse motion trajectory set
Liu et al. A new model-based method for multi-view human body tracking and its application to view transfer in image-based rendering
JP6079076B2 (ja) 物体追跡装置及び物体追跡方法
CN108537868A (zh) 信息处理设备和信息处理方法
US8995755B2 (en) Two-dimensional to stereoscopic conversion systems and methods
JP2012181710A (ja) オブジェクト追跡装置、方法、及びプログラム
JP2014078799A (ja) 画像処理装置及び画像処理方法
CN103618904B (zh) 基于像素的运动估计方法及装置
RU2517727C2 (ru) Способ расчета движения с коррекцией окклюзий
Heimann et al. Joint Geometry and Attribute Upsampling of Point Clouds Using Frequency-Selective Models with Overlapped Support

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant