CN107533370A - 图像处理设备、图像处理方法和程序 - Google Patents

图像处理设备、图像处理方法和程序 Download PDF

Info

Publication number
CN107533370A
CN107533370A CN201680023380.8A CN201680023380A CN107533370A CN 107533370 A CN107533370 A CN 107533370A CN 201680023380 A CN201680023380 A CN 201680023380A CN 107533370 A CN107533370 A CN 107533370A
Authority
CN
China
Prior art keywords
normal
image
polarization
identification
calculating section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680023380.8A
Other languages
English (en)
Other versions
CN107533370B (zh
Inventor
中谷文香
平泽康孝
近藤雄飞
陆颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107533370A publication Critical patent/CN107533370A/zh
Application granted granted Critical
Publication of CN107533370B publication Critical patent/CN107533370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G01B11/168—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by means of polarisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G03B35/04—Stereoscopic photography by sequential recording with movement of beam-selecting members in a system defining two or more viewpoints
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G03B35/06—Stereoscopic photography by sequential recording with axial movement of lens or gate between exposures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • G03B35/26—Stereoscopic photography by simultaneous viewing using polarised or coloured light separating different viewpoint images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects

Abstract

偏振图像采集部分20采集具有不同偏振方向的多个偏振图像。例如，所述偏振图像展示用于作为辨识目标物体的用户界面的输入指示符。法线计算部分30根据所述偏振图像采集部分20所采集的所述偏振图像计算所述辨识目标物体的各个像素的法线。所述法线表示基于所述辨识目标物体的三维形状的信息。辨识部分40通过使用所述法线计算部分30所计算出的所述法线来辨识所述物体，确定例如所述输入指示符的类型、位置和姿势，并且输出确定结果作为关于所述用户界面的输入信息。可容易地并且高准确度地辨识所述物体。

Description

图像处理设备、图像处理方法和程序
技术领域
本技术涉及图像处理设备、图像处理方法和程序，并且使得容易高准确度地辨识物体。
背景技术
过去从具有多个不同偏振方向的偏振图像计算物体的法线。例如，NPL 1和2描述了通过将具有多个不同偏振方向的偏振图像应用于模型方程式来执行的法线计算。
另外，例如，通过使用偏振图像来辨识物体。例如，PTL 1描述了通过设置照明装置以使得所得的照明光是相对于预定基准平面的p偏振光来执行的物体照明。PTL 1还描述了通过将从基准平面反射的光分离成s偏振光和p偏振光、测量每个偏振分量的光强度并且在沿基准平面移动测量目标时测量光强度来基于光强度测量结果实现的物体识别。
另外，法线用作用户界面。例如，根据PTL 2，检测对应于手和前臂的目标的操作以辨识与人体的被执行以翻页的自然动作相似的动作。对应于手的手掌的目标平面的法线用于检测所述动作。同时，通过提取距离图像的距离分布和轮廓来检测目标。
引文列表
【专利文献】
【PTL 1】
JP 2011-150689 A
【PTL 2】
JP 2012-242901 A
【非专利文献】
【NPL 1】
Lawrence B.Wolff和Terrance E.Boult：“Constraining Object FeaturesUsing a Polarization Reflectance Model”，IEEE Transaction on pattern analysisand machine intelligence，第13卷，第7期，1991年7月
【NPL 2】
Gary A.Atkinson和Edwin R.Hancock：“Recovery of surface orientationfrom diffuse polarization”，IEEE Transactions of Image Processing，第15卷，第6期，第1653至1664页，2006年
发明内容
【技术问题】
顺便提一下，当通过将具有多个不同偏振方向的偏振图像应用于模型方程式来计算法线时，偏振图像的偏振方向与亮度之间的关系具有180度周期性。因此，当确定法线的方向的方位角时，所谓的180度不确定性仍是一个问题。另外，当s偏振光和p偏振光用于识别用途时，可识别物体的表面材料之间的差异；然而，原则上无法从两个偏振方向识别物体的三维形状。此外，当基于距离图像来准确地执行目标检测或法线计算时，必须使用具有高距离分辨率的图像。然而，不容易获取具有高距离分辨率的图像。
鉴于以上情况，本技术提供使得容易高准确度地辨识物体的图像处理设备、图像处理方法和程序。
【问题解决方案】
根据本技术的第一方面，提供一种图像处理设备，其包括偏振图像采集部分、法线计算部分和辨识部分。所述偏振图像采集部分采集具有不同偏振方向并且展示辨识目标物体的图像的多个偏振图像。所述法线计算部分基于所述偏振图像采集部分所采集的偏振图像来计算各个像素的法线。所述辨识部分通过使用所述法线计算部分所计算的法线来辨识物体。
根据本技术，偏振图像采集部分采集具有不同偏振方向并且展示(例如)用于作为辨识目标物体的用户界面的输入指示符的图像的多个偏振图像。法线计算部分基于所采集的偏振图像来计算各个像素的法线。例如，法线计算部分通过使用从所述多个偏振图像生成的临时辨识过程图像来临时辨识所述物体。另外，法线计算部分从所述多个偏振图像计算法线并且基于临时辨识结果来解决所计算出的法线的不确定性。在临时辨识中，临时辨识过程图像和预先登记模型的图像用于选择最接近物体的模型作为所述物体的临时辨识结果，并且基于临时辨识模型来解决法线的不确定性。如果辨识目标物体是手，则法线计算部分通过使用临时辨识过程图像和预先登记模型的图像来临时辨识指尖和指腹的位置，并且基于临时辨识结果来解决手的手指区域的法线的不确定性。辨识部分基于手指区域的无不确定性的法线来确定手指指向方向。法线计算部分可通过使用临时辨识过程图像和预先登记模型的图像来临时辨识手区的位置和骨架结构，并且基于临时辨识结果来解决手的手指区域的法线的不确定性。在此类情况下，辨识部分基于手区的无不确定性的法线来确定手的形状。同时，如果辨识目标物体是脸，则法线计算部分通过使用临时辨识过程图像和预先登记模型的图像来临时辨识脸区域的位置，并且基于临时辨识结果来解决脸的法线的不确定性。辨识部分基于脸区域的无不确定性的法线来确定脸的形状或表情。
此外，辨识部分使用老师数据库部分来存储基于学习物体、指示(例如)学习物体的法线的分布并且从学习物体的法线采集的老师数据，其是基于展示学习物体并且具有不同偏振方向的多个偏振图像来计算的。辨识部分可使用基于展示辨识目标物体并且具有不同偏振方向的所述多个偏振图像所计算出的法线的分布作为学生数据，并且根据学生数据和存储在老师数据库部分中的老师数据选择对应于最接近学生数据的老师数据的学习物体，并将所选择的学习物体视为辨识目标物体的辨识结果。
根据本技术的第二方面，提供一种图像处理方法，其包括偏振图像采集部分采集展示辨识目标物体并且具有不同偏振方向的多个偏振图像，法线计算部分基于偏振图像采集部分所采集的偏振图像来计算各个像素的法线，并且辨识部分通过使用法线计算部分所计算出的法线来辨识物体。
根据本技术的第三方面，提供一种用于指示计算机执行以下步骤的程序：采集展示辨识目标物体并且具有不同偏振方向的多个偏振图像，基于所采集的偏振图像来计算各个像素的法线，并且通过使用所计算出的法线来辨识物体。
可通过使用存储媒体、通信媒体、诸如光盘、磁盘或半导体存储器等存储媒体或者诸如网络等通信媒体来以计算机可读格式将根据本技术的程序供应到(例如)能够执行各种程序和代码的通用计算机。当以计算机可读格式供应程序时，在计算机上实现根据所述程序的过程。
【发明的有利效果】
本技术采集展示辨识目标物体并且具有不同偏振方向的多个偏振图像，基于所采集的偏振图像来计算各个像素的法线，并且通过使用所计算出的法线来辨识所述物体。因此，可容易地并且高准确度地辨识所述辨识目标物体。本说明书中所描述的优点仅仅是示例性而不是限制性的。本技术不限于所描述的优点并且可提供额外优点。
附图说明
【图1】
图1是示出图像处理设备的基本配置的图。
【图2】
图2是示出图像处理设备的基本操作的流程图。
【图3】
图3是示出根据第一实施例的图像处理设备的配置的图。
【图4】
图4描绘示出其中在偏振图像采集部分中生成偏振图像的配置的图。
【图5】
图5是示出物体的偏振图像和形状的图。
【图6】
图6是示出亮度与偏振角之间的关系的图。
【图7】
图7是示出偏振角与天顶角之间的关系的图。
【图8】
图8描绘示出180度不确定性的图。
【图9】
图9是示出第一实施例的操作的流程图。
【图10】
图10是示出根据第一实施例的第一具体实例的操作的流程图。
【图11】
图11是示出手的轮廓的检测结果的图。
【图12】
图12描绘示出指腹区的法线的图。
【图13】
图13是示出手指指向方向的图。
【图14】
图14是示出视线方向的图。
【图15】
图15是示出根据第一实施例的第二具体实例的操作的流程图。
【图16】
图16是示出脸的三维形状和脸的取向的确定的图。
【图17】
图17是示出根据第一实施例的第三具体实例的操作的流程图。
【图18】
图18是示出被执行以检测手的骨架结构的操作的图。
【图19】
图19是示出根据第二实施例的图像处理设备的配置的图。
【图20】
图20是示出学习操作的流程图。
【图21】
图21是示出基于学习结果来执行的辨识操作的流程图。
【图22】
图22示出根据第二实施例的具体实例的操作。
【图23】
图23是示出本技术适用的用户界面的图。
具体实施方式
现在将描述本技术的实施例。将按以下次序给出描述。
1.图像处理设备的基本配置和基本操作
2.第一实施例
2-1.第一实施例的配置
2-2.第一实施例的操作
2-3.第一实施例的第一具体实例
2-4.第一实施例的第二具体实例
2-5.第一实施例的第三具体实例
3.第二实施例
3-1.第二实施例的配置
3-2.第二实施例的操作
3-3.第二实施例的具体实例
<1.图像处理设备的基本配置和基本操作>
图1示出图像处理设备的基本配置。图像处理设备10包括偏振图像采集部分20、法线计算部分30和辨识部分40。
偏振图像采集部分20采集展示辨识目标物体并且具有不同偏振方向的多个偏振图像，诸如具有三个或更多个偏振方向的偏振图像。偏振图像采集部分20可包括用于生成具有三个或更多个不同偏振方向的偏振图像的成像部分，或可被配置为(例如)从外部仪器或记录媒体采集具有三个或更多个不同偏振方向的偏振图像。
基于偏振图像采集部分20所采集的偏振图像，法线计算部分30计算辨识目标物体的法线。法线计算部分30通过将偏振图像采集部分20所采集的具有不同偏振方向的所述多个偏振图像应用于模型方程式来计算法线。例如，法线计算部分30可额外地对针对各个像素所计算出的法线执行不确定性解决过程。
基于法线计算部分30所计算出的法线，辨识部分40执行辨识所述辨识目标物体的过程。例如，如果辨识目标物体是用于用户界面的输入指示符，则辨识部分40辨识(例如)物体的类型、位置和姿势并且输出辨识结果作为关于用户界面的输入信息。
图2是示出图像处理设备的基本操作的流程图。在步骤ST1中，图像处理设备采集偏振图像。图像处理设备10的偏振图像采集部分20采集展示辨识目标物体并且具有不同偏振方向的多个偏振图像。在完成步骤ST1后，处理前进到步骤ST2。在步骤ST2中，图像处理设备计算法线。图像处理设备10的法线计算部分30基于在步骤ST1中所采集的偏振图像来计算各个像素的法线。在完成步骤ST2后，处理前进到步骤ST3。在步骤ST3中，图像处理设备输出辨识结果。基于在步骤ST2中所计算出的法线，图像处理设备10的辨识部分40对辨识目标物体执行辨识过程并且输出辨识结果。
<2.第一实施例>
<2-1.第一实施例的配置>
图3示出根据第一实施例的图像处理设备的配置。图像处理设备11包括偏振图像采集部分20、法线计算部分31和用户界面(UI)处理部分41。
偏振图像采集部分20采集具有不同偏振方向的多个偏振图像。图4示出其中在偏振图像采集部分中生成偏振图像的配置。如图所示，例如，在图4的(a)中，偏振图像采集部分20被配置为使得具有指向多个不同偏振方向的像素的偏振滤波器202设置在图像传感器201上，并且执行成像操作以生成偏振图像。图4的(a)示出其中具有指向四个不同偏振方向(所述偏振方向由箭头指示)中的一者的像素的偏振滤波器202设置在图像传感器201前面的情况。另外，偏振图像采集部分20可通过使用如图4的(b)所示的多透镜阵列的配置来生成具有不同偏振方向的多个偏振图像。例如，多个透镜203(图中具有四个透镜)设置在图像传感器201前面，并且每个透镜203用于在图像传感器201的成像平面上形成物体的光学图像。另外，具有不同偏振方向的偏振板204单独地设置在透镜203前面以生成具有不同偏振方向的多个偏振图像。当偏振图像采集部分20如上所述配置时，可通过执行单个成像操作来采集多个偏振图像。因此，可对辨识目标物体迅速地执行辨识过程。同时，如图4的(c)所示，具有不同偏振方向的偏振板212-1至212-4可设置在成像部分210-1至210-4前面以便从多个不同视角生成具有不同偏振方向的多个偏振图像。
如果辨识目标物体缓慢或逐步地移动，则偏振板211可如图4的(d)所示设置在成像部分210前面。在此类情况下，偏振板211被旋转以在不同偏振方向中的每一者上执行成像操作并且采集具有不同偏振方向的多个偏振图像。
如果图像传感器201不使用滤色器，则偏振图像采集部分20能够采集亮度偏振图像。此处，在图4的(a)所示的情况下，可通过求具有不同偏振方向的四个相邻像素的亮度值的平均值来采集等效于非偏振正常亮度图像的图像。在图4的(b)和(c)所示的情况下，只要透镜203与成像部分210-1至210-4之间的间距与到物体的距离相比短到可以忽略不计，具有不同偏振方向的多个偏振图像之间的视差就可以忽略不计。因此，可通过求具有不同偏振方向的偏振图像的亮度值的平均值来采集等效于非偏振正常亮度图像的图像。如果视差不是可以忽略不计的，则可通过根据视差量重新定位具有不同偏振方向的偏振图像并且求重新定位的偏振图像的亮度值的平均值来采集等效于非偏振正常亮度图像的图像。在图4的(d)所示的情况下，可通过求具有不同偏振方向的像素的亮度偏振图像的亮度值的平均值来采集等效于非偏振正常亮度图像的图像。
另外，偏振图像采集部分20可被配置为向图像传感器201提供滤色器以便同时生成亮度偏振图像以及(例如)三基色图像或红外图像。此外，偏振图像采集部分20可通过从三基色图像计算亮度来生成亮度图像。
法线计算部分31从偏振图像采集部分20所采集的多个偏振图像和诸如各种模型等辅助信息计算无不确定性的法线。法线计算部分31包括(例如)偏振处理部分301、临时辨识过程图像生成部分302、临时辨识处理部分303、模型数据库部分304和不确定性解决部分305。
偏振处理部分301从偏振图像计算法线并且将所计算出的法线输出到不确定性解决部分305。现在将参考图5描述物体的形状和偏振图像。如(例如)图5中所示，光源LT用于照明物体OB，并且成像部分DC通过偏振板PL捕获物体OB的图像。在这种情况下，所捕获的图像使得物体OB的亮度随偏振板PL的偏振方向变化。为了易于解释起见，假定当(例如)旋转偏振板PL以捕获多个偏振图像时获得最高亮度Imax和最低亮度Imin。另外，在二维坐标系统中的x轴和y轴位于偏振板PL的平面上的情形中，y轴方向相对于x轴的角度在旋转偏振板PL时被假定为偏振角υ。
当将偏振板PL旋转180度时，其回复到先前偏振状态，因为其具有180度周期性。另外，当观测到最大亮度Imax时所获得的偏振角υ被假定为方位角φ。当制定此类定义时，在旋转偏振板PL时观测到的亮度I可由以下方程式(1)表达。图6示出亮度与偏振角之间的关系。另外，图6的实例描绘漫反射模型。在镜面反射的情况下，方位角与偏振角远离90度。
数学1
在方程式(1)中，偏振角υ在偏振图像生成时为明显的，并且最大亮度Imax、最小亮度Imin和方位角φ是变量。因此，当将具有三个或更多个偏振方向的偏振图像的亮度值拟合到方程式(1)所指示的模型方程式中时，可基于指示亮度与偏振角之间的关系的模型方程式来确定方位角φ，所述方位角φ是提供最大亮度的偏振角。
另外，物体表面上的法线由极坐标系统表达并且由方位角φ和天顶角θ指示。假定天顶角θ是从z轴朝向法线测量的角度，并且方位角φ是如早先提到的y轴方向中的相对于x轴的角度。在这种情况下，当在旋转偏振板PL后获得最小亮度Imin和最大亮度Imax时，可基于以下方程式(2)来计算偏振度ρ。
数学2
已知在漫反射的情况下，偏振度ρ与天顶角θ之间的关系基于菲涅耳等式来展现(例如)图7中所描绘的特征。因此，图7所描绘的特征指示可基于偏振度ρ来确定天顶角θ。图7所描绘的特征仅仅是示例性的，并且依据(例如)物体的折射率而变化。例如，偏振度随折射率增大而增大。
如上所述计算的法线具有180度不确定性。图8描绘示出180度不确定性的图。当通过允许成像部分DC捕获图8的(a)中所描绘的物体OB的图像来计算法线时，由在偏振方向上旋转造成的亮度变化具有180度周期性。因此，物体OB的上半区GA中的法线的方向(由箭头指示)可为正确的，如图8的(b)中所指示；然而，下半区GB中的法线的方向可为颠倒的。
临时辨识过程图像生成部分302基于偏振图像采集部分20所采集的所述多个偏振图像来生成临时辨识过程图像。临时辨识过程图像生成部分302计算(例如)多个偏振图像的平均值以便生成等效于在没有使用偏振板或偏振滤波器的情况下采集的捕获图像(正常图像)的临时辨识过程图像。另外，临时辨识过程图像生成部分302可从多个偏振图像提取具有单个偏振方向的偏振图像并且使用所提取的偏振图像作为临时辨识过程图像。另外，临时辨识过程图像生成部分302可使用所述多个所采集的偏振图像作为临时辨识过程图像。另外，临时辨识过程图像生成部分302可使用正常图像和偏振图像两者作为临时辨识过程图像。临时辨识过程图像生成部分302将临时辨识过程图像输出到临时辨识处理部分303。
临时辨识处理部分303使用临时辨识过程图像，其由临时辨识过程图像生成部分302生成，以便临时辨识所述辨识目标物体。临时辨识处理部分303通过使用临时辨识过程图像来执行物体辨识并且确定(例如)辨识目标物体的类型、位置和姿势。临时辨识处理部分303使用(例如)临时辨识过程图像和提前存储在模型数据库部分304中的各种物体的模型的图像(正常图像和偏振图像)以便确定最接近辨识目标物体的模型。如果临时辨识过程图像生成部分302所生成的临时辨识过程图像包括偏振图像，则临时辨识处理部分303额外地考虑偏振特征以便确定最接近辨识目标物体的模型。临时辨识处理部分303将所确定的模型输出到不确定性解决部分305作为临时辨识结果。临时辨识处理部分303可使用除模型拟合法之外的物体辨识方法以便临时辨识所述辨识目标物体。
不确定性解决部分305根据从临时辨识处理部分303供应的临时辨识结果解决偏振处理部分301所计算出的法线的不确定性。如早先提到，临时辨识结果包括关于(例如)辨识目标物体的类型、位置和姿势的信息。因此，不确定性解决部分305根据临时辨识结果所指示的模型从与法线具有180度相位差的法线方向解决法线的不确定性。也就是说，不确定性解决部分305通过根据辨识目标物体的形状识别法线方向来解决法线的不确定性，并且将所得的无不确定性的法线输出到UI处理部分41。
UI处理部分41通过使用法线计算部分31所生成的无不确定性的法线来辨识物体。UI处理部分41将偏振图像采集部分20所采集的偏振图像中的辨识目标物体视为用于用户界面的输入指示符。UI处理部分41基于法线计算部分31所计算出的法线来执行物体辨识并且生成关于用户界面的输入信息(下文中称为“UI信息”)。如早先提到，法线表示指示辨识目标物体的三维形状的信息。UI处理部分41执行物体辨识以辨识(例如)辨识目标物体的类型、位置和姿势，并且输出辨识结果作为UI信息。
<2-2.第一实施例的操作>
图9是示出第一实施例的操作的流程图。在步骤ST11中，偏振图像采集部分20采集偏振图像。偏振图像采集部分20通过使用偏振板或偏振滤波器来执行成像操作，并且采集具有不同偏振方向的多个偏振图像。在完成步骤ST11后，处理前进到步骤ST12和ST13。
在步骤ST12中，法线计算部分31计算法线。法线计算部分31将具有不同偏振方向的多个偏振图像中的各个像素的像素值拟合到模型方程式，并且基于在拟合后获得的模型方程式来计算法线。在完成步骤ST12后，处理前进到步骤ST15。
在步骤ST13中，法线计算部分31生成临时辨识过程图像。法线计算部分31求(例如)在步骤ST11中所生成并且具有不同偏振方向的多个偏振图像中的各个像素的像素值的平均值，并且将所得的平均值视为临时辨识过程图像(等效于正常图像)的像素值。在完成步骤ST13后，处理前进到步骤ST14。
在步骤ST14中，法线计算部分31执行临时辨识过程。法线计算部分31通过使用(例如)临时辨识过程图像和所存储的模型来执行拟合，并且辨识(例如)辨识目标物体的类型、位置和姿势。在完成步骤ST14后，处理前进到步骤ST15。
在步骤ST15中，法线计算部分31解决法线的不确定性。法线计算部分31根据在步骤ST14中所获得的临时辨识结果，也就是说，根据(例如)辨识目标物体的类型、位置和姿势，解决在步骤ST12中所计算出的法线的不确定性，即具有180度不确定性的法线的不确定性。在完成步骤ST15后，处理前进到步骤ST16。
在步骤ST16中，UI处理部分41生成UI信息。基于无不确定性的法线，UI处理部分41辨识(例如)辨识目标物体的类型、位置和姿势，并且将辨识结果视为UI信息。
<2-3.第一实施例的第一具体实例>
现在将描述第一实施例的第一具体实例。在第一具体实例中，辨识目标物体是手，并且临时辨识处理部分通过使用临时辨识过程图像和预先登记模型的图像来辨识手的指尖和指腹的位置。另外，不确定性解决部分根据临时辨识处理部分临时所辨识的指尖和指腹的位置来解决手的手指区域的法线的不确定性。辨识部分根据手指区域的无不确定性的法线确定手指指向方向。
图10是示出根据第一实施例的第一具体实例的操作的流程图。在步骤ST21中，偏振图像采集部分20采集偏振图像。偏振图像采集部分20使用偏振板或偏振滤波器来捕获指向某个方向的手的图像。另外，偏振图像采集部分20采集具有不同偏振方向的多个偏振图像。在完成步骤S21后，处理前进到步骤ST22和ST23。
在步骤ST22中，法线计算部分31计算法线。法线计算部分31将具有不同偏振方向的偏振图像中的各个像素的像素值拟合到模型方程式，并且基于在拟合后所获得的模型方程式来计算法线。在完成步骤ST22后，处理前进到步骤ST25。
在步骤ST23中，法线计算部分31生成临时辨识过程图像。法线计算部分31求(例如)在步骤ST21中所生成并且具有不同偏振方向的多个偏振图像中的各个像素的像素值的平均值，并且将所得的平均值视为临时辨识过程图像(等效于正常图像)的像素值。在完成步骤ST23后，处理前进到步骤ST24。
在步骤ST24中，法线计算部分31检测指尖和指腹的位置。法线计算部分31使用图像辨识技术来从临时辨识过程图像检测指尖区和指腹区。如(例如)“S.K.Kang、M.Y.Nam和P.K.Rhee的‘Color Based Hand and Finger Detection Technology for UserInteraction’，International Conference on Convergence and Hybrid InformationTechnology，第229至236页，2008年”中的文献所描述，法线计算部分31从彩色临时辨识过程图像提取肤色图像区，并且在所提取的图像区的边缘区内执行边缘检测以检测手的轮廓。图11示出手的轮廓的检测结果。手的轮廓内的图像区是手区ARh。
接下来，法线计算部分31从手区检测手指区域。法线计算部分31对手区执行形态开放过程。在形态开放过程中，首先消除图像内的小物体以维持大物体的形状和大小。也就是说，当对手区执行形态开放过程时，首先消除比手的手掌薄的手指区域。因此，可通过计算在形态开放过程之前获得的图像与在形态开放过程之后获得的图像之间的差异来检测手指区域。
另外，可通过使用不同方法来检测手指区域。例如，可将手指的外部形状视为由多个突出外皮形成。可接着根据从手区检测突出外皮的结果确定手指区域。可(例如)通过使用采集从开放源计算机视觉库(OpenCV)可得的突出外皮的方法来容易地检测所述突出外皮。因而，可如图11所示检测手指区域ARf。
法线计算部分31将所检测到的手指区域分离成指尖区和指腹区。如图11所示，法线计算部分31将手区ARh与所检测到的手指区域ARf之间的差异区视为第一区ARg。另外，法线计算部分31将手指区域ARf分离成指尖区ARfs和指腹区ARft。指尖区ARfs是离第一区ARg的重心BG最远的区。指腹区ARft是手指区域ARf的剩余部分。
在步骤ST25中，法线计算部分31解决法线的不确定性。法线计算部分31将手指的外部形状视为突出的，并且根据步骤ST24中的检测结果，解决对应于手指区域并且具有180度不确定性的法线(即，在步骤ST22中所计算出的法线)的不确定性。在完成步骤ST25后，处理前进到步骤ST26。图12示出指腹区的法线。图12的(a)示出在不确定性解决之前获得的指腹区ARft的法线。图12的(b)示出在不确定性解决后获得的指腹区ARft的法线。
在步骤ST26中，UI处理部分41确定手指指向方向。基于手指区域的无不确定性的法线，UI处理部分41确定指尖指向的方向，也就是说，手指指向方向，并且将确定结果视为UI信息。
如图13所示，手指指向方向是与指腹区ARft的法线基本上正交的方向fs。因此，当(例如)识别面向偏振图像采集部分20的用户所执行的手指指向操作时，UI处理部分41将与指腹区的法线正交并且从图像的后方朝向前方的方向FP视为手指指向方向。
当手指指向方向中的向量p等于方程式(3)并且指腹区的法线方向中的向量n等于方程式(4)时，向量p与向量n的内积为“0”，如方程式(5)指示。因此，关于指腹区中的多个位置(例如，k个位置)处的法线，也就是说，方程式(6)中所指示的法线N，UI处理部分41确定在方程式(8)所定义的限制条件下满足方程式(7)的向量p。
数学3
p＝[px py pz]T…(3)
p·n＝0…(5)
argmin||Np||2＝argmin(pTNTNp)2…(7)
||p||＝1…(8)
当函数W被定义为如方程式(9)中指示那样时，方程式(7)中的最小函数可被定义为如方程式(10)所指示的函数C。也就是说，应当确定在方程式(8)所定义的限制条件下使函数C最小化的向量p。拉格朗日乘子法用于计算使函数C最小化的向量P。当使用拉格朗日乘子法时，方程式(10)可由方程式(11)替换，所述方程式(11)使用拉格朗日乘子λ。因此，可通过确定满足被指示为方程式(12)的特征方程式的向量p来计算满足方程式(7)的向量p。当向量P是函数W的特征向量并且λ的值对应于特征值时确立满足特征方程式的向量p。在这种情况下，当将函数W的特征向量代入作为向量p时，函数C的最小值等于λ。因此，满足方程式(7)的向量p是对应于函数W的最小特征值的特征向量。
数学4
W＝NTN…(9)
C＝pTWp…(10)
C＝pTWp+λ(1-pTp)…(11)
执行上述过程使得有可能比在使用距离图像时更准确地确定手指指向方向。另外，第一具体实例示出了其中确定手指指向方向的情况。然而，如图14所示，还可检测眼睛EP的虹膜的位置以依据眼睛EP的虹膜从中心移位的方向和此类移位的距离来确定视线方向FP。
<2-4.第一实施例的第二具体实例>
现在将描述第一实施例的第二具体实例。在第二具体实例中，辨识目标物体是脸，并且临时辨识处理部分通过使用临时辨识过程图像和预先登记模型的图像来辨识脸区域的位置。另外，不确定性解决部分根据临时辨识处理部分临时所辨识的脸的位置来解决脸的法线的不确定性。辨识部分根据脸区域的无不确定性的法线确定脸的形状或表情。
图15是示出根据第一实施例的第二具体实例的操作的流程图。在步骤ST31中，偏振图像采集部分20采集偏振图像。偏振图像采集部分20使用偏振板或偏振滤波器来捕获脸的图像。另外，在将滤色器设置在成像部分中的情况下，偏振图像采集部分20采集具有不同偏振方向的多个彩色偏振图像。在完成步骤ST31后，处理前进到步骤ST32和ST33。
在步骤ST32中，法线计算部分31计算法线。法线计算部分31将具有不同偏振方向的偏振图像中的各个像素的像素值拟合到模型方程式，并且基于在拟合后所获得的模型方程式来计算法线。在完成步骤ST32后，处理前进到步骤ST35。
在步骤ST33中，法线计算部分31生成临时辨识过程图像。法线计算部分31求(例如)在步骤ST31中所生成并且具有不同偏振方向的多个偏振图像中的各个像素的像素值的平均值，并且将所得的平均值视为临时辨识过程图像(等效于正常图像)的像素值。在完成步骤ST33后，处理前进到步骤ST34。
在步骤ST34中，法线计算部分31执行脸辨识并且检测脸的特征点。法线计算部分31使用脸辨识技术来从临时辨识过程图像检测脸的位置。另外，法线计算部分31通过使用(例如)“T.F.Cootes、C.J.Taylor、D.H.Cooper和J.Graham：‘Active Shape Models-TheirTraining and Application’，Computer Vision and Image Understanding，第16卷，第1期，1月，第38至59页，1995年)”中的文献所公开的主动形状模型来检测脸的特征点。主动形状模型实现确定所成像的辨识目标物体的姿势的特征点的自动检测。更具体地说，手动准备具有恰当设置的特征点的多个学习图像，并且接着从所准备的学习图像生成辨识目标物体的中间形状。随后，通过改变中间形状相对于待辨识的图像的位置来搜索辨识目标物体。在此类情况下，观测中间形状中的特征点的周边中的亮度变化来执行模板匹配。从低分辨率到高分辨率在图像金字塔的各个分辨率处重复这些搜索。法线计算部分31执行上述过程以检测脸的特征点。在完成步骤ST34后，处理前进到步骤ST35。
在步骤ST35中，法线计算部分31解决法线的不确定性。法线计算部分31从在步骤ST34中所检测到的脸特征点与三维模型的所存储特征点之间的位置关系确定脸的三维形状和取向。如图16所示，法线计算部分31从脸OBf的特征点(例如，眼睛、鼻子和嘴巴)与三维模型ML之间的位置关系确定脸的三维形状和取向。另外，基于所确定的脸的三维形状和取向并且根据步骤ST34中的检测结果，法线计算部分31解决在步骤ST32中所计算出、具有180度不确定性并且对应于脸区域的法线的不确定性。在完成步骤ST35后，处理前进到步骤ST36。
在步骤ST36中，UI处理部分41确定脸的形状和表情。基于脸区域的无不确定性的法线，UI处理部分41确定脸的详细形状和表情并且将确定结果视为UI信息。例如，UI处理部分41通过整合脸区域的无不确定性的法线来确定脸的详细形状并且从脸的详细形状确定脸部表情。针对脸的形状和表情的确定，例如，可使用距离图像信息和三维形状模型。
执行上述过程使得有可能比在使用距离图像时更准确地确定脸的形状和表情。第二具体实例示出其中执行脸辨识的情况。然而，还可在(例如)准备已知物体的三维模型时辨识已知物体。
<2-5.第一实施例的第三具体实例>
现在将描述第一实施例的第三具体实例。在第三具体实例中，辨识目标物体是手，并且临时辨识处理部分通过使用临时辨识过程图像和预先登记模型的图像来辨识手区的位置和骨架结构。另外，不确定性解决部分根据临时辨识处理部分临时所辨识的手区的位置和骨架结构解决手区的法线的不确定性。辨识部分根据手区的无不确定性的法线确定手的形状。
图17是示出根据第一实施例的第三具体实例的操作的流程图。在步骤ST41中，偏振图像采集部分20采集偏振图像。偏振图像采集部分20使用偏振板或偏振滤波器来捕获手的图像。另外，在将滤色器设置在成像部分中的情况下，偏振图像采集部分20采集具有不同偏振方向的多个彩色偏振图像。在完成步骤ST41后，处理前进到步骤ST42和ST43。
在步骤ST42中，法线计算部分31计算法线。法线计算部分31将具有不同偏振方向的偏振图像中的各个像素的像素值拟合到模型方程式，并且基于在拟合后所获得的模型方程式来计算法线。在完成步骤ST42后，处理前进到步骤ST45。
在步骤ST43中，法线计算部分31生成临时辨识过程图像。法线计算部分31求(例如)在步骤ST41中所生成并且具有不同偏振方向的多个偏振图像中的各个像素的像素值的平均值，并且将所得的平均值视为临时辨识过程图像(等效于正常图像)的像素值。在完成步骤ST43后，处理前进到步骤ST44。
在步骤ST44中，法线计算部分31检测手的位置和姿势。法线计算部分31以与在步骤ST24中相同的方式执行处理以检测第一区或手掌区和指尖区，并且通过将指尖连接到第一区或手掌区的重心来检测手的骨架结构。图18是示出被执行以检测手的骨架结构的操作的图。法线计算部分31检测手掌区ARk和手指区域ARf，并且接着通过如虚线所示将手掌区ARk的重心连接到手指区域ARf的前端来检测手的骨架结构。
法线计算部分31确定每个手姿势的手的所检测到的骨架结构与所存储的骨架结构模型之间的拟合误差，并且将使拟合误差最小化的骨架结构模型的姿势视为成像手姿势。在(例如)手的所检测到的骨架结构的重心与所存储的骨架结构模型的重心重合时，法线计算部分31计算(例如)关节或指尖在各个骨架结构模型基础上的位置坐标的绝对差值和(SAD)。法线计算部分31将具有最小计算SAD的姿势视为成像手姿势。在以上述方式检测手的位置和姿势之后，法线计算部分31前进到步骤ST45。
在步骤ST45中，法线计算部分31解决法线的不确定性。基于在步骤ST44中检测到的手的位置和姿势，法线计算部分31解决在步骤ST42中所计算出、具有180度不确定性和对应于手区的法线的不确定性。在完成步骤ST45后，处理前进到步骤ST46。
在步骤ST46中，UI处理部分41确定手的形状。基于手区的无不确定性的法线，UI处理部分41确定手的形状并且将确定结果视为UI信息。例如，UI处理部分41通过整合手区的无不确定性的法线来确定手的详细形状。针对手的形状的确定，例如，可使用距离图像信息和三维形状模型。
执行上述过程使得有可能比在使用距离图像时更准确地确定手的形状。另外，第三具体实例可应用于不仅确定手的形状，还确定手指指向方向。在此类情况下，在步骤ST44中，法线计算部分31执行在步骤ST24中以类似方式检测到的手指区域与用于每个手指指向方向的所存储的手指形状模型之间的拟合。针对所述拟合，在步骤ST24中以类似方式检测到的指尖区用作支点时，所检测到的手指区域(或手区)被定位成重叠手指形状模型的手指区域(或手区)。UI处理部分41将使拟合误差(即，重叠误差)最小化的手指形状模型的姿势视为成像手的手指指向方向。
另外，通过根据第一实施例使用流程图来描述的操作不限于其中与生成临时辨识过程图像并且临时辨识所述辨识目标物体的过程并行地执行生成具有不确定性的法线的过程的情况。例如，另选方式是执行两个过程中的一者并且接着执行剩余过程。
<3.第二实施例>
顺便提一下，已经在假设基于无不确定性的法线来生成UI信息的情况下描述上述第一实施例。然而，可基于具有不确定性的法线来生成UI信息。现将在假设基于具有不确定性的法线来生成UI信息的情况下描述第二实施例。
<3-1.第二实施例的配置>
图19是示出根据第二实施例的图像处理设备的配置的图。图像处理设备12包括偏振图像采集部分20-1和20-2、法线计算部分32-1和32-2以及用户界面(UI)处理部分42。
偏振图像采集部分20-1和20-2采集具有不同偏振方向的多个偏振图像。偏振图像采集部分20-1和20-2与第一实施例中的偏振图像采集部分20类似地配置。偏振图像采集部分20-1采集展示辨识目标物体并且具有不同偏振方向的多个偏振图像，并且将所采集的偏振图像输出到法线计算部分32-1。偏振图像采集部分20-2采集展示学习物体并且具有不同偏振方向的多个偏振图像，并且将所采集的偏振图像输出到法线计算部分32-2。另外，偏振图像采集部分20-1和20-2可将所采集的偏振图像输出到UI处理部分42。
法线计算部分32-1(32-2)从偏振图像采集部分20-1(20-2)所采集的多个偏振图像计算法线。法线计算部分32-1(32-2)是通过使用第一实施例中的法线计算部分31的偏振处理部分301来配置的。法线计算部分32-1以与上述偏振处理部分301相似的方式执行处理以从偏振图像采集部分20-1所采集的待辨识的偏振图像计算法线，并且将所计算出的法线输出到UI处理部分42。类似地，法线计算部分32-2从偏振图像采集部分20-2所采集的学习物体的偏振图像计算法线，并且将所计算出的法线输出到UI处理部分42。
UI处理部分42将偏振图像采集部分20-1所采集的偏振图像中所展示的辨识目标物体视为用于用户界面的输入指示符。另外，基于法线计算部分32-1所计算出并且仍具有不确定性的法线，UI处理部分42执行物体辨识并且生成关于用户界面的输入信息(下文称为“UI信息”)。如早先提到，法线表示指示辨识目标物体的三维形状的信息。UI处理部分42执行物体辨识以辨识(例如)辨识目标物体的类型、位置和姿势，并且输出辨识结果作为UI信息。另外，UI处理部分42基于学习物体提前存储老师数据，并且根据所存储的老师数据和基于展示辨识目标物体并且具有不同偏振方向的偏振图像所计算出的学生数据，对辨识目标物体执行辨识过程。
UI处理部分42包括老师数据生成部分421、老师数据库部分422和辨识处理部分423。
老师数据生成部分421通过使用法线计算部分32-2所计算出的法线来基于学习物体生成老师数据，并且使老师数据库部分422存储所生成的老师数据。另外，老师数据生成部分421可通过使用从偏振图像采集部分20-2供应的偏振图像来生成非偏振图像(正常图像)，并且通过使用从非偏振图像计算出的特征量和所采集的法线来生成老师数据。
老师数据库部分422存储老师数据生成部分421所生成的老师数据。另外，老师数据库部分422将所存储的老师数据输出到辨识处理部分423。
辨识处理部分423基于法线计算部分32-1所计算出的法线来生成学生数据，通过使用所生成的学生数据和存储在老师数据库部分422中的老师数据来执行辨识过程，并且生成UI信息。另外，辨识处理部分423可通过使用从偏振图像采集部分20-1供应的偏振图像来生成非偏振图像(正常图像)，并且通过使用从非偏振图像计算出的特征量和所采集的法线来生成学生数据。
<3-2.第二实施例的操作>
现在将描述第二实施例的操作。图20是示出学习操作的流程图。在步骤ST51中，偏振图像采集部分20-2采集学习物体的偏振图像。偏振图像采集部分20-2使用偏振板或偏振滤波器来采集展示学习物体并且具有不同偏振方向的多个偏振图像。在完成步骤ST51后，处理前进到步骤ST52。
在步骤ST52中，法线计算部分32-2计算法线。法线计算部分32-2将具有不同偏振方向的偏振图像中的各个像素的像素值拟合到模型方程式，并且基于在拟合后获得的模型方程式来计算法线。在完成步骤ST52后，处理前进到步骤ST54。
在步骤ST54中，UI处理部分42生成老师数据。UI处理部分42根据基于学习物体的偏振图像来计算的法线生成老师数据。在完成步骤ST54后，处理前进到步骤ST55。
在步骤ST55中，UI处理部分42存储老师数据。UI处理部分42使老师数据库部分422存储在步骤ST54中生成的老师数据。
另外，针对每个学习物体执行步骤ST51至ST55以便使UI处理部分42存储在将各种物体视为学习物体的情况下生成的老师数据。当基于偏振图像和具有不确定性的法线来生成UI信息时，UI处理部分42执行步骤ST53以从偏振图像生成非偏振图像。另外，在步骤ST54中，UI处理部分42通过使用基于学习物体的偏振图像计算出的法线和从非偏振图像计算出的特征量来生成老师数据。
图21是示出基于学习结果来执行的辨识操作的流程图。在步骤ST61中，偏振图像采集部分20-1采集辨识目标物体的偏振图像。偏振图像采集部分20-1使用偏振板或偏振滤波器来采集展示辨识目标物体并且具有不同偏振方向的多个偏振图像。在完成步骤ST61后，处理前进到步骤ST62。
在步骤ST62中，法线计算部分32-1计算法线。法线计算部分32-1将具有不同偏振方向的偏振图像中的各个像素的像素值拟合到模型方程式，并且基于在拟合后获得的模型方程式来计算法线。在完成步骤ST62后，处理前进到步骤ST64。
在步骤ST64中，UI处理部分42生成学生数据。UI处理部分42根据基于辨识目标物体的偏振图像来计算出的法线生成学生数据。在完成步骤ST64后，处理前进到步骤ST65。
在步骤ST65中，UI处理部分42生成UI信息。根据在步骤ST64中所生成的学生数据和在完成步骤ST51至ST55后存储的老师数据，UI处理部分42确定(例如)辨识目标物体的类型、位置和姿势，并且将确定结果视为UI信息。当基于具有不确定性的法线和偏振图像来生成UI信息时，UI处理部分42执行步骤ST63以从偏振图像生成非偏振图像。另外，在步骤ST64中，UI处理部分42通过使用基于辨识目标物体的偏振图像计算出的法线和从非偏振图像计算出的特征量来生成学生数据。
<3-3.第二实施例的具体实例>
现在将描述第二实施例的具体实例。图22示出根据第二实施例的具体实例的操作。所述具体实例示出其中基于具有不确定性的法线来生成UI信息的情况。在步骤S71中，偏振图像采集部分20-2采集学习物体的偏振图像(老师偏振图像)。偏振图像采集部分20-2使用偏振板或偏振滤波器来采集展示(例如)呈石头形状的手并且具有不同偏振方向的多个偏振图像。在完成步骤ST71后，处理前进到步骤ST72。
在步骤ST72中，法线计算部分32-2计算法线。法线计算部分32-2将具有不同偏振方向的偏振图像中的各个像素的像素值拟合到模型方程式，并且计算基于在拟合后获得且与呈石头形状的手相关的模型方程式的法线。在完成步骤ST72后，处理前进到步骤ST73。
在步骤ST73中，UI处理部分42生成老师数据。UI处理部分42基于学习物体的法线来生成老师数据。例如，UI处理部分42进行操作以使得将在手呈石头形状时获得的法线转换为直方图，并且将所得的法线直方图视为老师数据。在完成步骤ST73后，处理前进到步骤ST74。
在步骤ST74中，UI处理部分42存储老师数据。UI处理部分42进行操作以使得将在手呈石头形状时获得的法线直方图视为老师数据，并且将老师数据存储在老师数据库部分中。
另外，在手(例如)呈布形状和呈剪刀形状时针对每个学习物体执行步骤ST71至ST74，并且将在每个状态中获得的老师数据存储在老师数据库部分422中。
在步骤ST75中，偏振图像采集部分20-1采集辨识目标物体的偏振图像。偏振图像采集部分20-1使用偏振板或偏振滤波器来采集展示参与(例如)石头剪刀布游戏的手并且具有不同偏振方向的多个偏振图像。在完成步骤ST75后，处理前进到步骤ST76。
在步骤ST76中，法线计算部分32-1计算法线。法线计算部分32-1将具有不同偏振方向的偏振图像中的各个像素的像素值拟合到模型方程式，并且计算基于在拟合后获得的模型方程式的法线。在完成步骤ST76后，处理前进到步骤ST77。
在步骤ST77中，UI处理部分42生成学生数据。UI处理部分42基于辨识目标物体的法线来生成学生数据。例如，UI处理部分42进行操作以使得将指示待辨识的手的状态的法线转换为直方图，并且将所得的法线直方图视为学生数据。在完成步骤ST77后，处理前进到步骤ST78。
在步骤ST78中，UI处理部分42生成UI信息。UI处理部分42检查老师数据库部分422以确定最接近在步骤ST77中获得的学生数据的老师数据。另外，UI处理部分42将对应于所确定的老师数据的手状态确定为由在步骤ST75中所采集的偏振图像展示的手状态，并且将确定结果输出作为UI信息。
执行上述过程使得有可能在不执行解决法线的不确定性的过程的情况下生成UI信息。另外，可比在使用距离图像时更准确地执行辨识过程，第一实施例也是这种情况。
另外，第二实施例分开地提供用于从学习物体生成法线的配置以及用于从辨识目标物体生成法线的配置。因此，用于从学习物体生成法线的配置能够比用于从辨识目标物体生成法线的配置更准确地生成老师数据。因而，将用作确定参考的老师数据存储在老师数据库部分422中作为高度准确的数据。因此，可获得高度准确的确定结果。此外，在第二实施例中，偏振图像采集部分和法线计算部分可通常用于从学习物体生成法线并且从所需辨识目标物体生成法线。在此类情况下，图像处理设备具有简化配置并且可以低价格来供应。此外，第二实施例可被配置为使得UI处理部分包括(例如)通信部分和记录媒体安装部分以便准许从外部更新、添加或以其他方式修改老师数据。当可如上文提到通过通信信道或记录媒体从外部更新、添加或以其他方式修改老师数据时，可将增大数量的物体处理作为待辨识的物体。这提供增大的通用性。
图23示出本技术所适用的用户界面。例如，在将手选择作为辨识目标物体的情况下执行手辨识。当执行手辨识时，可确定手的形状和手指指向方向。当确定手的形状时，可准确地采集三维形状。因此，可准确地采集手指的形状。另外，在将脸选择作为辨识目标物体的情况下执行脸辨识。当执行脸辨识时，有可能执行个人验证并且确定脸部表情和视线方向。此外，在将人员选择作为辨识目标物体的情况下执行人员辨识。当执行人员辨识时，有可能执行身体形状验证和姿势确定。此外，当在将物体选择作为辨识目标物体的情况下执行物体验证时，可确定已知物体的姿势。
根据本技术，从偏振图像计算出的法线比从常规距离图像生成的法线更类似于物体的三维形状。因此，当(例如)物体相对于相机成角度时，可稳定地计算出法线。因而，使用从偏振图像计算出的法线使得有可能容易地且高准确度地辨识辨识目标物体。另外，例如，当本技术应用于用户界面时，可比在从距离图像辨识时更确定地辨识手指指向方向。因而，可供应无应力的用户界面。如果如(例如)在图4的(a)或(b)所示配置偏振图像采集部分，可从单目相机所捕获的偏振图像计算法线。这消除了对使用多个相机的必要性。因此，本技术容易应用于用户界面。
本说明书中所描述的一系列过程可通过硬件、软件或两者的组合来执行。当通过软件执行所述过程时，有可能将记录处理序列的程序安装在以专用硬件并入的计算机的存储器中并且接着执行所述程序，或将所述程序安装在能够执行各种过程的通用计算机中并且接着执行所述程序。
例如，所述程序可预先记录在硬盘或固态驱动器(SSD)(其用作记录媒体)上或只读存储器(ROM)中。另选地，所述程序可临时或永久地存储(记录)在软盘、压缩光盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用光盘(DVD)、蓝光光盘(BD)(注册商标)、磁盘、半导体存储卡或其它可装卸记录媒体上。此类可装卸记录媒体可被供应作为封装软件。
作为用于从可装卸记录媒体将程序安装在计算机上的方法的替代方式，可经由诸如局域网(LAN)或互联网等网络以无线或有线方式将所述程序从下载位点传送到计算机。在此类情况下，计算机可接收所传送的程序并且将其安装在内建硬盘或其它记录媒体上。
本说明书中所描述的优点仅仅是示例性而不是限制性的。本技术不限于所描述的优点并且可提供额外优点。本技术的解释不限于结合前述实施例所描述的那些内容。本技术的实施例以示例性方式公开本技术。应当理解，本领域的技术人员可在不脱离本技术的精神和范围的情况下修改或改变所述实施例。也就是说，应当在考虑所附权利要求书的情况下确定本技术的精神。
另外，本技术的图像处理设备可采用以下配置。
(1)一种图像处理设备，其包括：
偏振图像采集部分，其采集具有不同偏振方向并且展示辨识目标物体的图像的多个偏振图像；
法线计算部分，其根据所述偏振图像采集部分所采集的所述偏振图像计算各个像素的法线；以及
辨识部分，其通过使用所述法线计算部分所计算出的所述法线来辨识所述物体。
(2)根据上述(1)所述的图像处理设备，其中所述辨识目标物体是用于用户界面的输入指示符，并且所述辨识部分将所述物体的辨识结果视为关于所述用户界面的输入信息。
(3)根据上述(1)或(2)所述的图像处理设备，其中所述法线计算部分包括
临时辨识过程图像生成部分，其从所述多个偏振图像生成临时辨识过程图像，
临时辨识处理部分，其通过使用所述临时辨识过程图像生成部分所生成的所述临时辨识过程图像来临时辨识所述物体，
偏振处理部分，其从所述多个偏振图像计算法线，以及
不确定性解决部分，其根据所述临时辨识处理部分的临时辨识结果解决所述偏振处理部分所计算出的所述法线的不确定性，并且
所述辨识部分通过使用所述法线计算部分所得的所述没有不确定性的法线来辨识所述物体。
(4)根据上述(3)所述的图像处理设备，其中所述临时辨识处理部分使用所述临时辨识过程图像和预先登记模型的图像来选择最接近所述物体的模型作为所述物体的所述临时辨识结果，并且所述不确定性解决部分根据所述临时辨识处理部分临时所辨识的所述模型解决所述偏振处理部分所计算出的所述法线的所述不确定性。
(5)根据上述(4)所述的图像处理设备，其中所述辨识目标物体是手，所述临时辨识处理部分通过使用所述临时辨识过程图像和所述预先登记模型的图像来辨识所述手的指尖和指腹的位置，并且所述不确定性解决部分根据所述临时辨识处理部分临时所辨识的所述指尖和指腹的所述位置解决所述手的手指区域的法线的不确定性。
(6)根据上述(5)所述的图像处理设备，其中所述辨识部分根据所述法线计算部分所得的所述手指区域的没有不确定性的所述法线确定手指指向方向。
(7)根据上述(4)所述的图像处理设备，其中所述辨识目标物体是脸，所述临时辨识处理部分通过使用所述临时辨识过程图像和所述预先登记模型的图像来辨识脸区域的位置，并且所述不确定性解决部分根据所述临时辨识处理部分临时所辨识的所述脸区域的所述位置解决所述脸的法线的不确定性。
(8)根据上述(7)所述的图像处理设备，其中所述辨识部分根据所述法线计算部分所得的所述脸区域的没有不确定性的所述法线确定脸的形状或表情。
(9)根据上述(4)所述的图像处理设备，其中所述辨识目标物体是手，所述临时辨识处理部分通过使用所述临时辨识过程图像和所述预先登记模型的图像来辨识手区的位置和骨架结构，并且所述不确定性解决部分根据所述临时辨识处理部分临时所辨识的所述手区的所述位置和骨架结构解决所述手区的法线的不确定性。
(10)根据上述(9)所述的图像处理设备，其中所述辨识部分根据所述法线计算部分所得的所述手区的没有不确定性的所述法线确定手的形状。
(11)根据上述(1)或(2)所述的图像处理设备，其中所述辨识部分包括
老师数据生成部分，其基于学习物体从根据展示所述学习物体并且具有不同偏振方向的多个偏振图像计算出的法线生成老师数据，
老师数据库部分，其存储所述老师数据生成部分针对每个学习物体生成的所述老师数据，以及
辨识处理部分，其根据学生数据和老师数据辨识所述辨识目标物体，所述学生数据是基于所述辨识目标物体通过使用从展示所述辨识目标物体并且具有不同偏振方向的多个偏振图像计算出的所述法线来生成的，所述老师数据存储在所述老师数据库部分中。
(12)根据上述(11)所述的图像处理设备，其中所述偏振图像采集部分针对每个辨识目标物体和每个学习物体采集具有所述不同偏振方向的多个偏振图像，并且所述法线计算部分根据所述偏振图像采集部分所采集的所述偏振图像针对每个辨识目标物体和每个学习物体计算法线。
(13)根据上述(11)或(12)所述的图像处理设备，其还包括：
学习偏振图像采集部分，其采集展示所述学习物体并且具有不同偏振方向的多个偏振图像；以及
学习法线计算部分，其根据所述学习偏振图像采集部分所采集的所述偏振图像计算法线。
(14)根据上述(11)至(13)中任一项所述的图像处理设备，其中所述老师数据指示关于所述学习物体的法线的分布，并且所述学生数据指示针对所述辨识目标物体所计算出的法线的分布。
(15)根据上述(11)至(14)中任一项所述的图像处理设备，其中所述辨识处理部分选择对应于最接近所述学生数据的老师数据的学习物体作为辨识结果。
【工业适用性】
根据本技术的图像处理设备、图像处理方法和程序被配置以便采集展示辨识目标物体并且具有不同偏振方向的多个偏振图像，根据所述所采集的偏振图像计算各个像素的法线，并且通过使用所述所计算出的法线来辨识所述物体。因此，可容易地并且高准确度地辨识物体。因而，根据本技术的图像处理设备、图像处理方法和程序适用于具有(例如)提供操作控制的接口的仪器，或根据物体的(例如)类型、位置和姿势的辨识结果开始、结束、改变或编辑信号过程。
参考符号列表
10、11、12…图像处理设备
20、20-1、20-2…偏振图像采集部分
30、31、32-1、32-2…法线计算部分
40…辨识部分
41、42…用户界面(UI)处理部分
201…图像传感器
202…偏振滤波器
203…透镜
204、211、212-1至212-4…偏振板
210、210-1至210-4…成像部分
301…偏振处理部分
302…临时辨识过程图像生成部分
303…临时辨识处理部分
304…模型数据库部分
305…不确定性解决部分
421…老师数据生成部分
422…老师数据库部分
423…辨识处理部分。

Claims (17)

1.一种图像处理设备，其包括：
偏振图像采集部分，其采集具有不同偏振方向并且展示辨识目标物体的图像的多个偏振图像；
法线计算部分，其根据所述偏振图像采集部分所采集的所述偏振图像计算各个像素的法线；以及
辨识部分，其通过使用所述法线计算部分所计算出的所述法线来辨识所述物体。
2.根据权利要求1所述的图像处理设备，其中所述辨识目标物体是用于用户界面的输入指示符，并且
所述辨识部分将所述物体的辨识结果视为关于所述用户界面的输入信息。
3.根据权利要求1所述的图像处理设备，其中所述法线计算部分包括
临时辨识过程图像生成部分，其从所述多个偏振图像生成临时辨识过程图像，
临时辨识处理部分，其通过使用所述临时辨识过程图像生成部分所生成的所述临时辨识过程图像来临时辨识所述物体，
偏振处理部分，其从所述多个偏振图像计算法线，以及
不确定性解决部分，其根据所述临时辨识处理部分的临时辨识结果解决所述偏振处理部分所计算出的所述法线的不确定性，并且
所述辨识部分通过使用所述法线计算部分所得的没有不确定性的所述法线来辨识所述物体。
4.根据权利要求3所述的图像处理设备，其中所述临时辨识处理部分使用所述临时辨识过程图像和预先登记模型的图像来选择最接近所述物体的模型作为所述物体的所述临时辨识结果，并且
所述不确定性解决部分根据所述临时辨识处理部分临时所辨识的所述模型解决所述偏振处理部分所计算出的所述法线的所述不确定性。
5.根据权利要求4所述的图像处理设备，其中所述辨识目标物体是手，所述临时辨识处理部分通过使用所述临时辨识过程图像和所述预先登记模型的图像来辨识所述手的指尖和指腹的位置，并且
所述不确定性解决部分根据所述临时辨识处理部分临时所辨识的所述指尖和指腹的所述位置解决所述手的手指区域的法线的不确定性。
6.根据权利要求5所述的图像处理设备，其中所述辨识部分根据所述法线计算部分所得的所述手指区域的没有不确定性的所述法线确定手指指向方向。
7.根据权利要求4所述的图像处理设备，其中所述辨识目标物体是脸，
所述临时辨识处理部分通过使用所述临时辨识过程图像和所述预先登记模型的图像来辨识脸区域的位置，并且
所述不确定性解决部分根据所述临时辨识处理部分临时所辨识的所述脸区域的所述位置解决所述脸的法线的不确定性。
8.根据权利要求7所述的图像处理设备，其中所述辨识部分根据所述法线计算部分所得的所述脸区域的没有不确定性的所述法线确定脸的形状或表情。
9.根据权利要求4所述的图像处理设备，其中所述辨识目标物体是手，
所述临时辨识处理部分通过使用所述临时辨识过程图像和所述预先登记模型的图像来辨识手区的位置和骨架结构，并且
所述不确定性解决部分根据所述临时辨识处理部分临时所辨识的所述手区的所述位置和骨架结构解决所述手区的法线的不确定性。
10.根据权利要求9所述的图像处理设备，其中所述辨识部分根据所述法线计算部分所得的所述手区的没有不确定性的所述法线确定手的形状。
11.根据权利要求1所述的图像处理设备，其中所述辨识部分包括
老师数据生成部分，其基于学习物体从根据展示所述学习物体并且具有不同偏振方向的多个偏振图像计算出的法线生成老师数据，
老师数据库部分，其存储所述老师数据生成部分针对每个学习物体生成的所述老师数据，以及
辨识处理部分，其根据学生数据和老师数据辨识所述辨识目标物体，所述学生数据是基于所述辨识目标物体通过使用从展示所述辨识目标物体并且具有不同偏振方向的多个偏振图像计算出的所述法线来生成的，所述老师数据存储在所述老师数据库部分中。
12.根据权利要求11所述的图像处理设备，其中所述偏振图像采集部分针对每个辨识目标物体和每个学习物体采集具有所述不同偏振方向的多个偏振图像，并且
所述法线计算部分根据所述偏振图像采集部分所采集的所述偏振图像针对每个辨识目标物体和每个学习物体计算法线。
13.根据权利要求11所述的图像处理设备，其还包括：
学习偏振图像采集部分，其采集展示所述学习物体并且具有不同偏振方向的多个偏振图像；以及
学习法线计算部分，其根据所述学习偏振图像采集部分所采集的所述偏振图像计算法线。
14.根据权利要求11所述的图像处理设备，其中所述老师数据指示所述学习物体的法线的分布，并且所述学生数据指示针对所述辨识目标物体所计算出的法线的分布。
15.根据权利要求11所述的图像处理设备，其中所述辨识处理部分选择对应于最接近所述学生数据的老师数据的学习物体作为辨识结果。
16.一种图像处理方法，其包括：
偏振图像采集部分采集展示辨识目标物体并且具有不同偏振方向的多个偏振图像；
法线计算部分根据所述偏振图像采集部分所采集的所述偏振图像计算各个像素的法线；以及
辨识部分通过使用所述法线计算部分所计算出的所述法线来辨识所述辨识目标物体。
17.一种程序，用于使计算机执行以下步骤：
采集展示辨识目标物体并且具有不同偏振方向的多个偏振图像；
根据所述所采集的偏振图像计算各个像素的法线；以及
通过使用所述所计算出的法线来辨识所述物体。
CN201680023380.8A 2015-04-30 2016-03-01 图像处理设备、图像处理方法和程序 Active CN107533370B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015093070 2015-04-30
JP2015-093070 2015-04-30
PCT/JP2016/056191 WO2016174915A1 (ja) 2015-04-30 2016-03-01 画像処理装置と画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
CN107533370A true CN107533370A (zh) 2018-01-02
CN107533370B CN107533370B (zh) 2021-05-11

Family

ID=57199057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680023380.8A Active CN107533370B (zh) 2015-04-30 2016-03-01 图像处理设备、图像处理方法和程序

Country Status (6)

Country Link
US (1) US10444617B2 (zh)
EP (1) EP3291052B1 (zh)
JP (1) JP6693514B2 (zh)
CN (1) CN107533370B (zh)
ES (1) ES2929648T3 (zh)
WO (1) WO2016174915A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112655219A (zh) * 2018-09-12 2021-04-13 索尼公司 图像处理装置、图像处理方法和程序
CN113557709A (zh) * 2019-04-19 2021-10-26 索尼集团公司 成像装置、图像处理装置和图像处理方法
US11244145B2 (en) 2017-10-05 2022-02-08 Sony Corporation Information processing apparatus, information processing method, and recording medium
CN114731368A (zh) * 2019-12-13 2022-07-08 索尼集团公司 成像装置、信息处理装置、成像方法和信息处理方法
CN112655219B (zh) * 2018-09-12 2024-05-10 索尼公司 图像处理装置、图像处理方法和记录介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018029280A (ja) * 2016-08-18 2018-02-22 ソニー株式会社 撮像装置と撮像方法
US10462444B2 (en) 2017-04-17 2019-10-29 Faro Technologies, Inc. Three-dimensional inspection
JP6617124B2 (ja) * 2017-07-20 2019-12-11 セコム株式会社 物体検出装置
JP7103357B2 (ja) * 2017-07-26 2022-07-20 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019102734A1 (ja) * 2017-11-24 2019-05-31 ソニー株式会社 検出装置、及び電子機器の製造方法
JP7071633B2 (ja) * 2018-07-06 2022-05-19 富士通株式会社 距離計測装置、距離計測方法および距離計測プログラム
EP3617999B1 (en) * 2018-09-01 2023-04-19 Tata Consultancy Services Limited Systems and methods for dense surface reconstruction of an object using graph signal processing
US20220005172A1 (en) * 2018-11-21 2022-01-06 Sony Group Corporation Work determination system, work determination apparatus, and work determination method
US11004253B2 (en) * 2019-02-21 2021-05-11 Electronic Arts Inc. Systems and methods for texture-space ray tracing of transparent and translucent objects
US20220146434A1 (en) * 2019-04-03 2022-05-12 Sony Group Corporation Image processing apparatus, information generation apparatus, and method thereof
WO2021084907A1 (ja) * 2019-10-30 2021-05-06 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2022095024A (ja) * 2020-12-16 2022-06-28 キヤノン株式会社 学習データ生成装置、学習データ生成方法及びコンピュータプログラム
KR20230035209A (ko) * 2021-08-30 2023-03-13 소프트뱅크 가부시키가이샤 전자기기 및 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1384928A (zh) * 1999-09-03 2002-12-11 3M创新有限公司 利用双折射光学膜作不对称光散射的背投屏
WO2007126343A1 (en) * 2006-04-27 2007-11-08 St. Jude Medical Ab Coated leads and method of preparing the same
CN101118155A (zh) * 2006-08-01 2008-02-06 三菱电机株式会社 用于感测反光物体的表面形状的方法和系统
CN100517388C (zh) * 2004-11-08 2009-07-22 松下电器产业株式会社 法线信息估计装置、注册图像群制作装置、图像对照装置以及法线信息估计方法
CN102047651A (zh) * 2008-06-02 2011-05-04 松下电器产业株式会社 生成法线信息的图像处理装置、方法、计算机程序及视点变换图像生成装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5028138A (en) * 1989-05-23 1991-07-02 Wolff Lawrence B Method of and apparatus for obtaining object data by machine vision form polarization information
JPH10187978A (ja) * 1996-12-27 1998-07-21 Sanyo Electric Co Ltd 部品形状認識方法
JP2008146243A (ja) 2006-12-07 2008-06-26 Toshiba Corp 情報処理装置、情報処理方法、及びプログラム
EP2202688B1 (en) 2007-02-13 2013-11-20 Panasonic Corporation System, method and apparatus for image processing and image format
RU2009107141A (ru) 2007-08-07 2010-09-10 Панасоник Корпорэйшн (Jp) Устройство формирования информации нормальных векторов и способ формирования информации нормальных векторов
JP5196009B2 (ja) * 2009-03-30 2013-05-15 富士通オプティカルコンポーネンツ株式会社 光装置
JP5664152B2 (ja) 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
JP5588196B2 (ja) * 2010-02-25 2014-09-10 キヤノン株式会社 認識装置及びその制御方法、コンピュータプログラム
JP4971531B2 (ja) 2010-07-21 2012-07-11 パナソニック株式会社 画像処理装置
JP5658618B2 (ja) 2011-05-16 2015-01-28 パナソニックＩｐマネジメント株式会社 操作入力装置、プログラム
JP6004235B2 (ja) * 2012-02-03 2016-10-05 パナソニックＩｐマネジメント株式会社 撮像装置および撮像システム
US9702977B2 (en) * 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US9025067B2 (en) 2013-10-09 2015-05-05 General Electric Company Apparatus and method for image super-resolution using integral shifting optics
JP2015115041A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法
JP6456156B2 (ja) * 2015-01-20 2019-01-23 キヤノン株式会社 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム
WO2016136085A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
US10260866B2 (en) * 2015-03-06 2019-04-16 Massachusetts Institute Of Technology Methods and apparatus for enhancing depth maps with polarization cues
US9741163B2 (en) * 2015-12-22 2017-08-22 Raytheon Company 3-D polarimetric imaging using a microfacet scattering model to compensate for structured scene reflections

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1384928A (zh) * 1999-09-03 2002-12-11 3M创新有限公司 利用双折射光学膜作不对称光散射的背投屏
CN100517388C (zh) * 2004-11-08 2009-07-22 松下电器产业株式会社 法线信息估计装置、注册图像群制作装置、图像对照装置以及法线信息估计方法
WO2007126343A1 (en) * 2006-04-27 2007-11-08 St. Jude Medical Ab Coated leads and method of preparing the same
CN101118155A (zh) * 2006-08-01 2008-02-06 三菱电机株式会社 用于感测反光物体的表面形状的方法和系统
CN102047651A (zh) * 2008-06-02 2011-05-04 松下电器产业株式会社 生成法线信息的图像处理装置、方法、计算机程序及视点变换图像生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨春艳: "基于内容的三维模型检索技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11244145B2 (en) 2017-10-05 2022-02-08 Sony Corporation Information processing apparatus, information processing method, and recording medium
CN112655219A (zh) * 2018-09-12 2021-04-13 索尼公司 图像处理装置、图像处理方法和程序
CN112655219B (zh) * 2018-09-12 2024-05-10 索尼公司 图像处理装置、图像处理方法和记录介质
CN113557709A (zh) * 2019-04-19 2021-10-26 索尼集团公司 成像装置、图像处理装置和图像处理方法
CN114731368A (zh) * 2019-12-13 2022-07-08 索尼集团公司 成像装置、信息处理装置、成像方法和信息处理方法

Also Published As

Publication number Publication date
EP3291052A1 (en) 2018-03-07
CN107533370B (zh) 2021-05-11
ES2929648T3 (es) 2022-11-30
EP3291052B1 (en) 2022-10-05
EP3291052A4 (en) 2018-12-26
JPWO2016174915A1 (ja) 2018-02-22
WO2016174915A1 (ja) 2016-11-03
US10444617B2 (en) 2019-10-15
JP6693514B2 (ja) 2020-05-13
US20180107108A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
CN107533370A (zh) 图像处理设备、图像处理方法和程序
CN106022213B (zh) 一种基于三维骨骼信息的人体动作识别方法
CN106250870B (zh) 一种联合局部和全局相似性度量学习的行人再识别方法
CN110349213A (zh) 基于深度信息的位姿确定方法、装置、介质与电子设备
CN102812416B (zh) 指示输入装置、指示输入方法、程序、记录介质以及集成电路
JP6900081B2 (ja) 車両走行経路計画プログラム、装置、システム、媒体及びデバイス
CN105631861B (zh) 结合高度图从无标记单目图像中恢复三维人体姿态的方法
CN108875911A (zh) 一种泊车位检测方法
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
US20110025834A1 (en) Method and apparatus of identifying human body posture
CN106920279A (zh) 三维地图构建方法和装置
CN101894366A (zh) 一种获取标定参数的方法、装置及一种视频监控系统
CN102982334B (zh) 基于目标边缘特征与灰度相似性的稀疏视差获取方法
CN105608417B (zh) 交通信号灯检测方法及装置
CN106951930A (zh) 一种适用于变电站巡检机器人的仪表定位方法
CN107003737A (zh) 用于自然用户输入的指示器投影
CN105956586A (zh) 一种基于tof 3d摄像机的智能跟踪系统
CN103067656B (zh) 摄像装置以及摄像方法
TW200838750A (en) Intelligent driving safety monitoring system integrating multiple direction information and method thereof
JP2012221261A (ja) 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
CN108209926A (zh) 基于深度图像的人体身高测量系统
CN109752855A (zh) 一种光斑发射装置和检测几何光斑的方法
TW200937350A (en) Three-dimensional finger motion analysis system and method
CN108324247A (zh) 一种指定位置皮肤皱纹评估方法及系统
CN112258559A (zh) 一种基于多目标跟踪的智能跑步计时评分系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant