CN109660782A - 减少立体深度传感器成像中的纹理化ir图案 - Google Patents

减少立体深度传感器成像中的纹理化ir图案 Download PDF

Info

Publication number
CN109660782A
CN109660782A CN201811108232.3A CN201811108232A CN109660782A CN 109660782 A CN109660782 A CN 109660782A CN 201811108232 A CN201811108232 A CN 201811108232A CN 109660782 A CN109660782 A CN 109660782A
Authority
CN
China
Prior art keywords
image data
texture
input picture
image
original input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811108232.3A
Other languages
English (en)
Other versions
CN109660782B (zh
Inventor
安德斯·格劳内-杰普森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109660782A publication Critical patent/CN109660782A/zh
Application granted granted Critical
Publication of CN109660782B publication Critical patent/CN109660782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及减少立体深度传感器成像中的纹理化IR图案。讨论了与移除用于深度传感器的红外纹理图案有关的系统、设备和技术。这种技术可以包括将颜色校正变换应用于包括残差红外纹理图案的原始输入图像数据以生成输出图像数据，以使得输出图像数据相对于原始输入图像数据具有减少的IR纹理图案残差。

Description

减少立体深度传感器成像中的纹理化IR图案
技术领域
本公开一般地涉及减少立体深度传感器成像中的纹理化IR图案。
背景技术
在计算机视觉和其他成像和计算上下文中，可以基于场景的两个(例如，左和右或参考和目标)二维图像生成深度图像。具体地，在辅助立体或主动立体技术中，将红外(IR)纹理化图案投影到场景上，使得在曝光期间获得的图像包括由场景修改的IR纹理化图案。当场景本身不包括大量纹理(例如，对于空白白色墙壁或类似场景元素)时，这种技术可能是有利的。所获得的包括IR纹理的图像然后被用于使用立体图像匹配技术等来生成深度图像。这种(一个或多个)深度图像可以用于各种上下文中。
此外，可能希望获得不包括IR纹理化图案的场景的彩色图像，以用于向用户显示，用于计算机视觉或用于其他目的。用于获得除了包括IR纹理化图案的图像之外的不包括IR纹理化图案的场景的彩色图像的当前技术是昂贵的、功率密集的、降低可用帧速率、和/或倾向于不期望地增加成像设备的尺寸。例如，可以使用单独的成像器来获得除了具有IR纹理的图像之外的没有IR纹理的彩色图像，这可能增加成本、功率使用和设备尺寸。在另一示例中，可以使用时间复用技术以使得开启/关闭IR投影仪，并获得具有IR纹理(IR投影仪开启)图像和没有IR纹理(IR投影仪关闭)图像的单独的图像。然而，这种技术限制了帧速率，并且这种实现方式容易受到场景中的运动引起的问题的影响。最后，图像传感器是可用的，其包括R、G、B、IR子像素的经修改的Bayer图案，其可以用于从IR图像数据提取RGB图像数据。替代地，当前正在开发的图像传感器包括图像传感器上的有机层，其可以被电子激活以选择性地增加IR或RGB灵敏度。然而，这种图像传感器不期望地较大并且昂贵。
因此，当前的技术未提供成本高效的、限制功率使用和设备尺寸的包括和不包括IR纹理化图案的高质量图像，并且未提供易于实现性。关于这些和其他考虑因素需要目前的改进。随着在各种应用中利用深度图像的需求变得更加普遍，这种改进可能变得至关重要。
发明内容
根据本公开的一个方面，提供了一种成像设备，包括：红外(IR)投影仪，将IR纹理图案投影到场景上；图像传感器，基于包括所述IR纹理图案的投影的所述场景的图像捕获来生成原始输入图像数据，其中，所述原始输入图像数据包括来自所述IR纹理图案的IR纹理图案残差；以及图像信号处理器，被耦合到所述图像传感器，所述图像信号处理器接收所述原始输入图像数据，并将颜色校正变换应用于所述原始输入图像数据或对应于所述原始输入图像数据的图像数据以生成输出图像数据，其中，所述颜色校正变换校正所述IR纹理图案残差以使得所述输出图像数据相对于所述原始输入图像数据具有减少的IR纹理图案残差。
根据本公开的另一方面，提供了一种用于图像处理的方法，包括：接收原始输入图像数据，所述原始输入图像数据包括来自在场景的图像捕获期间被投影在所述场景上的红外(IR)纹理图案的IR纹理图案残差；将颜色校正变换应用于所述原始输入图像数据或对应于所述原始输入图像数据的图像数据以生成输出图像数据，其中，所述颜色校正变换校正所述IR纹理图案残差以使得所述输出图像数据相对于所述原始输入图像数据具有减少的IR纹理图案残差；以及提供所述输出图像数据以用于向用户显示或用于计算机视觉处理。
根据本公开的又一方面，提供了包括多个指令的至少一个机器可读介质，所述多个指令响应于在设备上被执行，使得所述设备通过执行以下操作来执行图像处理：接收原始输入图像数据，所述原始输入图像数据包括来自在场景的图像捕获期间被投影在所述场景上的红外(IR)纹理图案的IR纹理图案残差；将颜色校正变换应用于所述原始输入图像数据或对应于所述原始输入图像数据的图像数据以生成输出图像数据，其中，所述颜色校正变换校正所述IR纹理图案残差以使得所述输出图像数据相对于所述原始输入图像数据具有减少的IR纹理图案残差；以及提供所述输出图像数据以用于向用户显示或用于计算机视觉处理。
附图说明
本文描述的材料通过示例的方式并且不通过附图中的限制的方式被示出。为了说明的简单性和清楚性，附图中示出的元件不一定是按比例绘制的。例如，为了清楚起见，一些元件的尺寸可能相对于其他元件被夸大。此外，在认为合适的情况下，在附图中重复附图标记以指示对应或类似的元件。在附图中：
图1示出了用于处理图像以校正IR纹理图案残差并生成深度图的示例系统的组件；
图2示出了用于处理图像以校正IR纹理图案残差并生成深度图的示例设备；
图3示出了示例立体图像匹配；
图4示出了示例图像传感器和示例滤色器阵列；
图5示出了具有IR纹理的示例图像的描绘；
图6示出了校正IR纹理的示例图像的描绘；
图7示出了包括双流水线图像信号处理器的示例系统；
图8示出了用于校正IR纹理图案残差并生成深度图的示例过程；
图9示出了示例IR纹理化彩色图像、示例经IR校正的彩色图像和相应的示例深度图像；
图10是示出用于校正原始图像数据中的IR纹理图案残差的示例过程的流程图；
图11是用于校正原始图像数据中的IR纹理图案残差的示例系统的说明性图示；
图12是示例系统的说明性图示；以及
图13示出了完全根据本公开的至少一些实现方式布置的示例小型设备。
具体实施方式
现在参考附图描述一个或多个实施例或实现方式。尽管讨论了具体的配置和布置，但应理解，这仅是为了说明性目的。相关领域技术人员将认识到，在不脱离本说明书的精神和范围的情况下，可以采用其他配置和布置。对于相关领域技术人员明显的是，本文描述的技术和/或布置也可以用于除本文描述的系统和应用之外的各种其他系统和应用中。
虽然以下描述阐述了可以在诸如片上系统(SoC)架构之类的架构中展现的各种实现方式，但本文描述的技术和/或布置的实现方式不限于特定架构和/或计算系统，并且可以由用于类似目的的任何架构和/或计算系统来实现。例如，采用例如多个集成电路(IC)芯片和/或封装、和/或各种计算设备和/或消费电子(CE)设备(例如，机顶盒、智能电话等)的各种架构可以实现本文描述的技术和/或布置。此外，虽然以下描述可以阐述许多具体细节，例如，逻辑实现方式、系统组件的类型和相互关系、逻辑分区/集成选择等，但可以在没有这些具体细节的情况下实施所要求保护的主题。在其他情况下，可能未详细示出一些材料，例如，控制结构和完整软件指令序列，以免模糊本文公开的材料。
本文公开的材料可以在硬件、固件、软件或其任何组合中实现。本文公开的材料还可以被实现为存储在机器可读介质上的指令，其可以由一个或多个处理器读取和执行。机器可读介质可以包括用于以机器(例如，计算设备)可读的形式存储或发送信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等。
说明书中对“一个实现方式”、“实现方式”、“示例实现方式”、或这种实施例或示例等的引用指示所描述的实现方式、实施例或示例可以包括特定特征、结构或特性，但每个实现方式、实施例或示例可能不一定包括该特定特征、结构或特性。此外，这些短语不一定都指代同一实现方式。此外，当结合实施例描述特定特征、结构或特性时，主张结合本文明确描述或未明确描述的其他实现方式来实现这种特征、结构或特性是在本领域技术人员的知识之内。术语“基本上”、“接近”、“近似”、“靠近”和“大约”通常指在目标值的+/-10％之内。
本文描述了与在深度传感器中进行图像处理以从图像或图像数据移除红外(IR)纹理图案残差相关的方法、设备、装置、计算平台和物品。
如上所述，在一些上下文中，可以使用场景(使得红外(IR)纹理化图案在图像捕获期间已经被投影到场景上)的两个(例如，左和右或参考和目标)二维彩色图像来生成深度图像。这种IR纹理化图案在捕获的图像中提供IR纹理图案残差，这可以改善立体图像匹配，特别是当场景不以其他方式包含用于匹配的纹理细节时。在本文讨论的一些实施例中，可以通过对包括IR纹理图案残差的原始输入图像数据或对应于包括IR纹理图案残差的原始输入图像数据的图像数据应用颜色校正变换，来从图像或图像数据中移除IR纹理图案残差以生成输出图像数据，以使得颜色校正变换校正IR纹理图案残差，并且输出图像数据相对于原始输入图像数据和/或对应于原始输入图像数据的图像数据具有减少的IR纹理图案残差。
颜色校正变换可以包括任何适当的颜色校正变换以校正IR纹理图案残差，并且可以使用任何适当的一个或多个技术来应用颜色校正变换。在一些实施例中，颜色校正变换被应用于来自在其上具有滤色器阵列(CFA)的图像传感器的原始图像数据，以使得颜色校正变换从与CFA的颜色相对应的子像素信号转换为输出图像的像素值(例如，每个像素值包括红色值、绿色值和蓝色值)。在其他实施例中，颜色校正变换被应用于与原始输入图像数据相对应的图像数据，以使得原始输入图像数据在应用颜色校正变换之前已经以某种方式被修改，例如，平滑、偏差调整等。
这种技术提供了具有很少或没有IR纹理图案残差的场景的输出图像以及对应于该场景的深度图或深度图像。这种输出图像可以被呈现给用户(例如，没有难看的IR纹理图案残差)，用于计算机视觉分析或应用(例如，没有可能导致分析失败的IR纹理图案残差)，例如，边缘检测、目标检测、目标跟踪、手势识别和基于这种手势的设备控制、面部姿势识别和基于这种面部姿势的设备控制、三维场景重建、场景理解、虚拟现实、增强现实等。这种深度图或深度图像也可以可用于此类计算机视觉分析或应用。这种技术可以提供以下优点：提供完美配准(registered)的没有纹理的左彩色图像和右彩色图像，并且相对于具有纹理的左彩色图像和右彩色图像保持校准。例如，具有外部彩色成像器的系统具有校准困难，使得每个彩色像素与所得的深度像素不匹配。彩色图像像素(例如，没有纹理的彩色图像的R、G、B像素)和深度像素(例如，所得的深度图像的D像素)的这种匹配在诸如背景分割(例如，绿色筛选)、目标检测、目标提取之类的各种使用情况中可能是至关重要的。
图1示出了根据本公开的至少一些实现方式布置的用于处理图像以校正IR纹理图案残差并生成深度图的示例系统100的组件。如图1所示，系统100可以包括实现IR校正颜色转换变换模块102和IR纹理颜色转换变换模块103的图像信号处理器(ISP)101、左照相机104、右照相机105、IR发送器106、立体匹配模块107、存储器108、显示器109和计算机视觉模块110。同样如图所示，IR发送器106将IR纹理图案116投影到场景121上，以使得在由左照相机104和右照相机105捕获对应于场景121的图像或图像数据时获得IR纹理图案残差。例如，红外发送器106用红外光照射场景121，并且左照相机104和右照相机105基于场景121和经由IR发送器106提供的对IR纹理图案116的照射来获得左(L)原始图像111和右(R)原始图像112。IR发送器106可以是诸如IR激光器之类的任何适当的IR发送器，并且IR纹理图案116可以包括任何适当的图案，例如，网格图案等。
左照相机104和右照相机105可以包括任何适当的彩色照相机或彩色照相机模块，其各自包括例如图像传感器和覆盖图像传感器的滤色器阵列，以使得图像传感器通过将光(在它们通过滤色器阵列时)转换成信号或信号值来检测并传送图像的数据或信息。如本文进一步讨论的，滤色器阵列具有允许光的特定颜色(即红色、绿色或蓝色)穿过元件的元件。然而，这种滤色器阵列元件是不完美的并且允许其他颜色以及IR光通过，以使得被允许通过的所有光都被图像传感器的子像素检测到。因此，来自左照相机104和右照相机105(或其图像传感器)的原始图像数据(例如，左原始图像111和右原始图像112)包括所讨论的IR纹理图案116的残差。
如本文进一步讨论的，系统100可以通过用于移除IR的颜色校正变换来校正左原始图像111和右原始图像112中的一者或两者中的IR纹理图案116的残差，以生成具有IR校正的一个或多个彩色图像113。此外，系统100可以通过用于保留IR纹理的另一颜色校正变换来生成具有IR纹理的左图像和右图像114。如图所示，具有IR校正的(一个或多个)彩色图像113可以被存储到存储器108以便经由显示器109最终显示给用户、经由计算机视觉模块110用于计算机视觉、或者用于其中期望具有IR纹理被校正或移除的图像的其他用途。此外，具有IR纹理的左图像和右图像114可以被提供用于由立体匹配模块107通过立体匹配技术来生成深度图115。
系统100或其组件的任何组合可以通过任何适当的设备来实现，例如，深度传感器、深度传感器模块等。尽管本文关于经由深度传感器模块的实现方式进行了讨论，但系统100可以在任何其他合适的成像设备(例如，个人计算机、膝上型计算机、平板计算机、平板电话、智能电话、数码相机、游戏控制台、可穿戴设备、机顶盒设备等)中实现。
图2示出了根据本公开的至少一些实现方式布置的用于处理图像以校正IR纹理图案残差并生成深度图的示例设备200。如图2所示，设备200可以包括左照相机104、右照相机105、IR发送器106、以及在设备200的壳体202内实现立体匹配模块107、存储器108、ISP 101和计算机视觉模块110的主板201。同样如图所示，设备200可以包括用于发送图像数据以供经由显示器109呈现给用户的显示端口203，其可以实现为设备200的集成组件或者与设备200分离。
参考图1和图2，在一些实施例中，立体匹配模块107经由硬件(例如，图形处理器或ISP 101)来实现，以基于具有IR纹理的左图像和右图像114生成深度图115或深度图像。例如，具有IR纹理的左图像和右图像114可以包括红-绿-蓝(RGB)图像数据，使得具有IR纹理的左图像和右图像114的每个像素位置包括红色值、绿色值和蓝色值。尽管关于RGB图像数据进行了讨论，但具有IR纹理的左图像和右图像114和/或具有IR校正的彩色图像113可以处于任何适当的颜色空间，例如，YUV、YCbCR等。例如，立体匹配模块107可以基于对目标图像(即右图像)的搜索来生成深度图像或深度图(例如，深度图115)，对目标图像的搜索基于在参考图像(即左图像)中的像素位置周围生成的窗口。如图所示，左照相机104和右照相机105可以相对于场景121水平对齐或基本上水平对齐以获得图像(即具有IR纹理的左图像和右图像114)来执行针对场景121的立体图像匹配，如本文进一步讨论的。
图3示出了根据本公开的至少一些实现方式布置的示例立体图像匹配300。如图3所示，立体图像匹配300可以包括分别获得场景121的具有IR纹理的左图像和右图像114a和114b，场景121可以包括示例表面310。如所讨论的，具有IR纹理的左图像和右图像114可以包括分别经由左照相机104和右照相机105以及本文进一步讨论的图像处理获得的左或参考图像114a和右或目标图像114b。如图所示，在一些示例中，左图像可以是参考图像并且右图像可以是目标图像。在其他示例中，右图像可以是参考图像并且左图像可以是目标图像和/或可以使用的附加目标图像。此外，场景121可以包括任何适当的包括室内或室外场景的场景、包括对象和/或人的场景等。
立体匹配技术可以基于三角对应来确定深度图像。例如，如图3所示，给定具有IR纹理的左图像和右图像114，其各自包括三维点x在表面310上的表示，x的深度d可以基于d＝f*b/disp来确定，其中，f和b分别是焦距和基线，并且disp是x的视差，指示x在具有IR纹理的左图像和右图像114之间的像素位移(例如，xL-xR，其中，xL和xR分别是x在具有IR纹理的左图像和右图像114上的投影)。为了确定视差，可以在左或参考图像(例如，具有IR纹理的左图像114a)上的xL周围形成矩形模板或窗口，并且右或目标图像(例如，具有IR纹理的右图像114b)中的搜索窗口可以被水平搜索以获得最佳匹配。可以针对具有IR纹理的左图像和右图像114的全部或一些像素重复这样的过程以生成关联像素位置的视差值。这种视差值可以被转换为深度值(例如，使得d＝f*b/disp)，并且所得的深度图像或深度图(例如，深度图115)可以包括这些像素的深度值。如所讨论的，在具有IR纹理的左图像和右图像114内包括IR纹理图案116的残差可以有助于所讨论的立体图像匹配。
再次参考图1，在IR发送器106将IR纹理图案116照射到场景121上期间，左照相机104和右照相机105获得左原始图像111和右原始图像112。如所讨论的，在用于立体图像匹配的图像中包括IR纹理图案残差是有利的，以增加特别是在低细节或低纹理场景中的匹配的准确性。如图1所示，左原始图像111和右原始图像112被提供给IR纹理颜色转换变换模块103。IR纹理颜色转换变换模块103接收左原始图像111和右原始图像112，并且IR纹理颜色转换变换模块103生成具有IR纹理的左图像和右图像114。IR纹理颜色转换变换模块103可以使用任何适当的一个或多个技术来生成具有IR纹理的左图像和右图像114。在一些实施例中，IR纹理颜色转换变换模块103将颜色校正变换或矩阵应用于左原始图像111和右原始图像112(例如，来自图像传感器的图像数据)或对应于左原始图像111和右原始图像112的图像数据，以生成具有IR纹理的左图像和右图像114，使得具有IR纹理的左图像和右图像114保留残差IR纹理。
此外，可能有利的是提供具有IR校正的一个或多个彩色图像113以用于呈现给用户、用于计算机视觉、或用于使得具有IR校正的(一个或多个)彩色图像113具有被校正的、减少的、或消除的IR残差纹理的其他用途。如图所示，左原始图像111和/或右原始图像112被提供给IR校正颜色转换变换模块102。IR校正颜色转换变换模块102接收左原始图像111和右原始图像112中的一者或两者，并且IR校正颜色转换变换模块102生成具有IR校正的一个或多个彩色图像113。在实施例中，左原始图像111或右原始图像112中的仅一个被用于生成单个具有IR校正的彩色图像113。在实施例中，左原始图像111或右原始图像112这两者被用于生成两个具有IR校正的彩色图像113。IR校正颜色转换变换模块102可以使用任何适当的一个或多个技术来生成(一个或多个)具有IR校正的彩色图像113。在一些实施例中，IR校正颜色转换变换模块102将颜色校正变换或矩阵应用于左原始图像111和/或右原始图像112(例如，来自图像传感器的图像数据)或对应于左原始图像111和右原始图像112的图像数据(例如，已经被预处理的原始图像数据)以生成(一个或多个)具有IR校正的彩色图像113。
例如，左原始图像111和右原始图像112可以包括任何适当的原始图像或原始图像数据等。在实施例中，左照相机104和右照相机105中的每一个包括其上具有红-绿-蓝滤色器阵列的图像传感器(例如，互补金属氧化物半导体(CMOS)传感器)和/或用于提供左原始图像111和右原始图像112的图像预处理模块或组件。
图4示出了根据本公开的至少一些实现方式布置的示例图像传感器401和示例滤色器阵列402。如图4所示，滤色器阵列402可以包括滤色器元件403的阵列，使得滤色器阵列402的诸如滤色器元件404、405、406、407之类的滤色器元件403中的每个滤色器元件(在所示出的实施例中，每个滤色器元件为红(R)、绿(G)或蓝(B))试图阻挡所有其他颜色的光(例如，R滤色器元件404试图阻挡除红光之外的所有光、G滤色器元件405、406试图阻挡除绿光之外的所有光、并且B滤色器元件407试图阻挡除蓝光之外的所有光)。此外，每个滤色器元件403对应于图像传感器401的单个子像素(未示出)。图像传感器401在图像捕获期间生成针对其每个子像素的信号，其可以作为原始图像411被提供。例如，原始图像411可以包括针对图像传感器401的每个子像素的子像素信号，使得如所讨论的，每个子像素信号对应于滤色器元件的403的R、G或B滤色器元件。
尽管每个滤色器元件403试图阻挡除了与其对应的光带之外的所有其他光，但滤色器元件403总是将其他颜色的光泄漏到图像传感器401的相应子像素中。例如，蓝色子像素(即具有诸如滤色器元件407之类的B滤色器阵列元件的子像素)响应绿光和红光以及IR(即约850nm)光。类似地，红色子像素(即具有诸如滤色器元件404之类的R滤色器阵列元件的子像素)响应绿光、蓝光和IR光，并且绿色子像素(即具有诸如滤色器元件405、406之类的G滤色器阵列元件的子像素)响应红光、蓝光和IR光。
此外，如关于滤色器元件404、405、406、407和图像传感器401的相应子像素(未示出)的分组408所示的滤色器元件和图像传感器401的相应子像素的分组可以用于生成输出图像的单个像素值，如下文进一步讨论的。例如，对应于分组408的子像素的信号或信号值(即对应于滤色器元件404的子像素的红色信号值Rs、对应于滤色器元件405的子像素的绿色信号值Gs1、对应于滤色器元件406的子像素的绿色信号值Gs2、以及对应于滤色器元件407的子像素的蓝色信号值Bs)可以用于基于颜色转换变换或矩阵来确定输出图像的像素位置的单个像素值(具有红色值R、绿色值G和蓝色值B)，如下面所讨论的。
滤色器阵列402可以包括任何适当的滤色器阵列图案，例如，Bayer滤色器阵列图案、Yamanaka滤色器阵列图案、Lukac滤色器阵列图案、条纹滤色器阵列图案、或对角条纹滤色器阵列图案。此外，图像传感器401可以是任何适当的图像传感器，例如，CMOS传感器。图像传感器401和滤色器阵列402可以被实现为左照相机104和右照相机105中的一者或两者的一部分。
回到图1，ISP 101被耦合到左照相机104和右照相机105的图像传感器，并且ISP101接收具有关于原始图像411所讨论的特性的左原始图像111和右原始图像112。ISP 101可以是任何适当的图像信号处理器，例如，专用集成电路(ASIC)、可编程逻辑器件(PLD)或数字信号处理器(DSP)。IR校正颜色转换变换模块102将颜色校正变换或矩阵直接应用于左原始图像111和/或右原始图像112或相对应的图像数据(例如，在一些预处理之后)以校正由IR纹理图案116提供的IR纹理图案残差，以移除或基本上移除IR纹理图案残差以生成具有IR校正的一个或多个彩色图像113，使得产生具有IR校正的一个或多个彩色图像113。
提供IR校正(移除或减少)的颜色校正变换可以是从原始输入图像的子像素信号转换为输出图像的像素值的任何适当的颜色校正变换。例如，原始输入图像可以包括如关于图4所讨论的与R子像素、G子像素和B子像素相对应的子像素信号。提供IR校正的颜色校正变换可以被应用于原始输入图像或原始输入图像数据的多个子像素信号，以生成具有IR校正的输出图像的单个像素。针对输出图像的任意数目的单个像素重复这种处理。在实施例中，颜色校正变换提供原始输入图像或原始输入图像数据的卷积以生成具有IR校正的输出图像。在实施例中，颜色校正变换可以被应用于原始输入图像或原始输入图像数据的子像素区域，如等式(1)所示：
其中，a11-a34是颜色校正变换或矩阵系数，R、Gs1、Gs2和Bs是特定原始图像区域的子像素信号值(即用于分组408的子像素信号值)，并且RC、GC、和BC是具有IR校正(C)的输出图像或输出图像数据的单个像素的像素值。例如，具有IR校正的一个或多个彩色图像113中的彩色图像可以包括如使用等式(1)确定的其每个像素位置的RC、GC、和BC值。颜色校正变换或矩阵可以包括或实现提供使用任何适当的一个或多个技术实现的IR校正的任何适当的颜色校正变换或矩阵系数。在实施例中，经由IR校正颜色转换变换模块102可以访问的查找表(LUT)来实现颜色校正变换或矩阵系数。
类似地，在一些实施例中，IR纹理颜色转换变换模块103将颜色校正变换或矩阵直接应用于左原始图像111和右原始图像112，以使得IR纹理颜色转换变换模块103将颜色校正变换应用于左原始图像111和/或右原始图像112以保留由IR纹理图案116提供的IR纹理图案残差以用于立体匹配。保留IR校正的颜色校正变换可以是如上所述从原始输入图像的子像素信号转换为输出图像的像素值的任何适当的颜色校正变换。例如，保留IR校正的颜色校正变换可以被应用于原始输入图像或原始输入图像数据的多个子像素信号以生成如所讨论的具有IR校正的输出图像的单个像素。在实施例中，颜色校正变换提供原始输入图像或原始输入图像数据的卷积以生成具有IR校正的输出图像。在实施例中，颜色校正变换可以被应用于原始输入图像或原始输入图像数据的子像素区域，如等式(2)所示：
其中，b11-b34是颜色校正变换或矩阵系数，R、Gs1、Gs2和Bs是特定原始图像区域的子像素信号值(即用于分组408的子像素信号值)，并且RIR、GIR、和BIR是具有IR纹理(IR)的输出图像或输出图像数据的单个像素的像素值。例如，具有IR纹理的左图像和右图像114的彩色图像可以包括如使用等式(2)确定的其每个像素位置的RIR、GIR、和BIR值。颜色校正变换或矩阵可以包括或实现提供使用任何适当的一个或多个技术实现的IR校正的任何适当的颜色校正变换或矩阵系数。在实施例中，经由IR纹理颜色转换变换模块103可以访问的查找表(LUT)来实现颜色校正变换或矩阵系数。
在一些实施例中，所得的(一个或多个)IR校正输出图像可以被提供为具有IR校正的一个或多个彩色图像113，并且所得的(一个或多个)IR纹理输出图像可以被提供为具有IR纹理的左图像和右图像114。在其他实施例中，具有IR校正的(一个或多个)彩色图像113和/或具有IR纹理的左图像和右图像114中的一者或两者可以沿着单独的成像流水线来进一步处理，如本文关于图7进一步讨论的。
如所讨论的，在一些实施例中，IR校正颜色转换变换模块102和/或IR纹理颜色转换变换模块103将颜色校正变换或矩阵直接应用于左原始图像111和/或右原始图像112。在其他实施例中，IR校正颜色转换变换模块102和/或IR纹理颜色转换变换模块103将颜色校正变换或矩阵应用于与左原始图像111和/或右原始图像112相对应的图像数据(使得相应的图像数据已经被预处理以提供平滑的、移除异常信号等)。这样的预处理可以由左照相机和右照相机104、105内的图像预处理器来执行，或者由图像预处理器或ISP 101来执行。
图5示出了根据本公开的至少一些实现方式布置的具有IR纹理的示例图像500的描绘。例如，具有IR纹理的图像500可以是下述项或可以是下述项的呈现：本文讨论的任何IR纹理输出图像数据(例如，具有保留的IR纹理的输出图像数据)，例如，基于IR纹理颜色转换变换模块103对左原始图像111和右原始图像112应用颜色校正变换或矩阵以保留IR纹理而生成的具有IR纹理的左图像和右图像114。如图5所示，具有IR纹理的图像500包括来自被投影在场景121上的IR纹理图案116的IR纹理图案残差501(即图示中的白点)。如图所示，在实施例中，IR纹理图案残差501可以具有IR点或斑点等的类网格图案。然而，IR纹理图案残差501可以具有任何适当的IR投影形状(例如，正方形、矩形、菱形等)的任何适当的图案形状，例如，随机斑点图案、同心环图案等。在所示的实施例中，场景121包括前景对象503(例如，桌子)和背景502。
如所讨论的，在一些场景中，特别是在那些没有原生纹理的场景中，IR纹理图案残差501可以改善与另一图像的立体匹配，该另一图像具有来自被投影到场景上的匹配的IR纹理图案116的IR纹理残差。此外，如关于像素位置504所示，可以在具有IR纹理的图像500内的多个像素位置处提供IR纹理图案残差501，以使得IR纹理图案残差501的像素位置倾向于相对具有IR纹理的图像500的其他像素位置具有更大的亮度。虽然这并非对于每个非IR纹理图案残差像素位置都成立(即一些非IR纹理图案残差像素位置在场景内也可能具有高亮度)，但由于IR纹理图案116的投影和例如图像传感器401对图案的感测，IR纹理图案残差501的像素位置处的这种更大亮度将倾向于发生。
图6示出了根据本公开的至少一些实现方式布置的校正IR纹理的示例图像600的描绘。例如，校正IR纹理的图像600可以是下述项或可以是下述项的呈现：通过应用如本文所讨论的颜色校正变换或矩阵来校正IR残差纹理图案的任何输出图像或输出图像数据。例如，校正IR纹理的图像600可以是基于IR校正颜色转换变换模块102对左原始图像111或右原始图像112应用颜色校正变换或矩阵以校正或移除IR纹理而生成的具有IR校正的一个或多个彩色图像113之一。如图6所示，校正IR纹理的图像600包括在没有IR纹理图案残差501的情况下呈现的前景对象503和背景502。如所讨论的，这种呈现对于呈现给用户、用于计算机视觉、图像分析和其他应用可以是有利的。
此外，如关于像素位置504(与像素位置504相同的像素位置)所示，具有IR纹理的图像500内的像素位置504的高亮度在校正IR纹理的图像600的像素位置504处被移除。例如，参考图5和图6，如从具有IR纹理的图像500和校正IR纹理的图像600的视觉评估清楚的，校正IR纹理的图像600相对于具有IR纹理的图像500(以及用于生成具有IR纹理的图像500的相应的原始输入图像数据)具有减少的IR纹理图案残差。例如，校正IR纹理的图像600相对于具有IR纹理的图像500具有减少的IR纹理图案残差的结论可以使用任何适当的图像评估技术(例如，诸如像素位置504之类的IR纹理图案残差501的像素位置处的视觉评估、像素比较等)来确定。在实施例中，具有IR纹理的图像500包括在具有IR纹理的图像500内的包括像素位置504在内的多个像素位置处的IR纹理图案残差501。IR纹理图案残差501可以在具有IR纹理的图像500内的任何数目的像素位置处，例如，数百、数千、数万或更多的像素位置处。在实施例中，每个IR纹理元素(例如，点)可以用于定义具有IR纹理的图像500的相应像素位置。在其他实施例中，每个IR纹理元素(例如，点)可以用于定义具有IR纹理的图像500的多个相应像素位置。此外，在下面的讨论中，可以使用每一个和每个IR纹理元素，或者可以仅使用其子集。
在实施例中，相对于具有IR纹理的图像500具有减少的IR纹理图案残差的校正IR纹理的图像600包括具有IR纹理的图像500和校正IR纹理的图像600，该具有IR纹理的图像500在具有IR纹理图案残差501的具有IR纹理的图像500内的多个像素位置(例如，像素位置504)处具有平均亮度，并且该校正IR纹理的图像600在校正IR纹理的图像600内的相同的多个像素位置处具有平均亮度，该平均亮度小于具有IR纹理的图像500内的多个像素位置处的平均亮度。可以使用任何适当的一个或多个技术来确定平均亮度。例如，特定像素位置处的亮度可以根据R、G、B像素值被确定为k1*R+k2*G+k3*B，其中k1、k2、k3是转换常数，例如，k1～0.2-0.3，k2～0.5-0.6，k3～0.07-0.2等。在其他示例中，特定像素位置处的亮度可以被确定为k1*R^2+k2*G^2+k3*B^2。此外，尽管关于像素位置亮度值的平均进行了讨论，但可以使用其他技术来确定像素位置亮度值的中值。
如所讨论的，校正、减少或消除来自原始图像数据的IR纹理图案残差501以生成校正IR纹理的图像600，以及保留来自原始图像数据的IR纹理图案残差501以生成具有IR纹理的图像500可以通过对原始图像数据(即左(L)原始图像111和右(R)原始图像112)应用不同的颜色校正变换或矩阵来获得。颜色校正变换或矩阵可以包括可以相对于从其获得原始图像数据的图像传感器来调整或设计的任何适当的颜色校正变换或矩阵等。在实施例中，颜色校正变换或矩阵具有至少一个不同的颜色校正变换或矩阵系数。在实施例中，颜色校正变换或矩阵具有不同的颜色校正变换或矩阵系数以使得所有的颜色校正变换或矩阵系数不同。例如，用于校正IR纹理残差的任何数目的颜色校正变换或矩阵系数a11-a34相对于用于保留IR纹理残差的任何数目的颜色校正变换或矩阵系数b11-b34可以是不同的。
在一些实施例中，具有IR校正的彩色图像(例如，具有IR校正的一个或多个彩色图像113)可以被保存到存储器，以便最终呈现给用户以最终用于计算机视觉应用等。在其他实施例中，具有IR校正的彩色图像(例如，具有IR校正的一个或多个彩色图像113)在被保存到存储器之前可以由成像流水线进一步处理。类似地，在一些实施例中，具有IR纹理的彩色图像(例如，具有IR纹理的左图像和右图像114的彩色图像)可以被保存到存储器或被提供给立体匹配模块或组件，以最终用于生成深度图或图像和/或用于计算机视觉应用等。在其他实施例中，具有IR纹理的彩色图像(例如，具有IR纹理的左图像和右图像114的彩色图像)可以由单独的成像流水线进一步处理。
图7示出了根据本公开的至少一些实现方式布置的包括双流水线图像信号处理器的示例系统700。如图7所示，系统700可以包括如本文关于图4所讨论的图像传感器401和滤色器阵列402。例如，图像传感器401和滤色器阵列402可以由左照相机104和右照相机105中的一者或两者来实现。如图所示，图像传感器401基于具有IR纹理投影的场景的图像捕获来生成原始图像数据705，以使得原始图像数据705包括如本文所讨论的IR纹理图案残差。此外，如图所示，系统700包括实现IR校正流水线711和IR纹理流水线721的图像信号处理器(ISP)701。在实施例中，ISP 701可以在本文讨论的任何系统或设备中被实现为ISP 101。
IR校正流水线711包括IR校正颜色校正变换(CCT)模块712以实现颜色校正变换以校正、减少或消除IR残差纹理图案，如本文所讨论的。IR校正CCT模块712可以将IR校正颜色校正变换直接应用于原始图像数据705或对应于原始图像数据705的图像数据。例如，ISP701中的在IR校正流水线711内并且在IR校正CCT模块712之前、或者在IR校正流水线711和IR纹理流水线721两者之前的组件或模块可以应用平滑、异常值移除或其他操作，以在由IR校正CCT模块712进行处理之前预处理原始图像数据705。在任何情况下，IR校正CCT模块712都将颜色校正变换或矩阵应用于原始图像数据705或对应于原始图像数据705的图像数据，以生成与其相对应的移除IR纹理图案残差的彩色图像数据。例如，原始图像数据705或对应于原始图像数据705的图像数据可以在子像素信号值空间中，并且颜色校正变换或矩阵可以将原始图像数据705或对应于原始图像数据705的图像数据转换到像素空间，以使得输出图像数据的每个像素位置具有如本文例如关于等式(1)在其他地方所讨论的多个颜色信道值(例如，R-G-B值)。
此外，在移除IR纹理图案残差的这种转换之后，IR校正流水线711可以包括如关于自动水平模块713、白平衡模块714和噪声滤波器715所示的任何适当的图像处理阶段、组件或模块。例如，自动水平模块713可以提供像素强度的线性调整以改善对比度，白平衡模块714可以提供颜色强度的全局调整以准确地表示中性色，并且噪声滤波器715可以减少图像中的噪声。另外或替代地，IR校正流水线711可以包括伽马校正模块、色调校正模块或其他处理模块。可以使用任何适当的一个或多个技术来实现这样的模块。如图所示，在这样的处理之后，IR校正流水线711提供经IR校正的彩色图像716，其可以被提供为如本文所讨论的具有IR校正的一个或多个彩色图像113。
还如图7所示，IR纹理流水线721包括颜色校正变换模块722以实现颜色校正变换以保留IR残差纹理图案，如本文所讨论的。颜色校正变换模块722可以将IR校正颜色校正变换直接应用于原始图像数据705或者对应于原始图像数据705的图像数据。例如，ISP 701中的在IR纹理流水线721内并且在颜色校正变换模块722之前、或者在IR校正流水线711和IR纹理流水线721两者之前的组件或模块可以应用平滑、异常值移除或其他操作，以在由颜色校正变换模块722进行处理之前预处理原始图像数据705。颜色校正变换模块722将颜色校正变换或矩阵应用于原始图像数据705或对应于原始图像数据705的图像数据，以生成与其相对应的保留IR纹理图案的彩色图像数据，如本文所讨论的。例如，原始图像数据705或对应于原始图像数据705的图像数据可以在子像素信号值空间中，并且颜色校正变换或矩阵可以将原始图像数据705或对应于原始图像数据705的图像数据转换到像素空间，以使得输出图像数据的每个像素位置具有如本文例如关于等式(2)在其他地方所讨论的多个颜色信道值(例如，R-G-B值)。
此外，在这种颜色转换之后，IR纹理流水线721可以包括如关于自动水平模块723、白平衡模块724和噪声滤波器725所示的任何适当的图像处理阶段、组件或模块，其可以提供如关于IR校正流水线711所讨论的处理。另外或替代地，IR纹理流水线721可以包括伽马校正模块、色调校正模块或其他处理模块。可以使用任何适当的一个或多个技术来实现这样的模块。如图所示，在这样的处理之后，IR纹理流水线721提供IR纹理彩色图像726，其可以被提供为如本文所讨论的具有IR纹理的左图像和右图像114的彩色图像。
如图所示，在实施例中，ISP 701包括IR校正流水线711和IR纹理流水线721。在这样的实施例中，IR校正流水线711可以处理左图像和右图像中的一者或两者(例如，系统700可以包括类似于图像传感器401和滤色器阵列402的另一图像传感器和滤色器阵列，以使得如本文所讨论的获得场景的左图像和右图像)，并且IR纹理流水线721可以处理左图像和右图像两者。在另一实施例中，ISP 701包括第二IR纹理流水线和/或第二IR校正流水线以使得可以至少部分地并行处理左图像和右图像。
图8示出了根据本公开的至少一些实现方式布置的用于校正IR纹理图案残差并生成深度图的示例过程800。过程800可以包括如图8所示的一个或多个操作801-808。过程800或其部分可以由本文讨论的任何设备或系统执行，以使用具有IR纹理图案的彩色图像生成深度图或图像，并从原始图像数据中移除IR纹理图案残差以生成IR纹理图案被校正或移除的彩色图像。可以针对任何数目的原始输入图像等重复过程800或其部分。
过程800在操作801处开始，其中，IR图案被投影到场景上。可以使用任何适当的一个或多个技术将IR图案投影到任何场景上。在实施例中，IR投影仪将预定的IR图案投影到场景上。处理在操作802处继续，其中，执行图像捕获以在IR图案的投影期间获得场景的左原始输入图像数据和右原始输入图像数据。如所讨论的，获得左原始输入图像数据和右原始输入图像数据可以通过左照相机和右照相机获得，每个照相机具有图像传感器和相应的滤色器阵列以使得左照相机和右照相机被水平对准以进行立体匹配。如所讨论的，由于滤色器阵列的缺陷，原始输入图像数据可能包括与IR图案的投影相对应的IR纹理图案残差。
处理在判定操作803处继续，其中，可以确定是否启用IR纹理图案移除。例如，可以由用户通过系统设置等基于是否需要将具有移除的IR纹理图案的彩色图像呈现给用户、用于计算机视觉等，来启用或禁用IR纹理图案移除。如果IR纹理图案移除被禁用，则处理在操作806处继续，如下面所讨论的。
如果IR纹理图案移除被启用，则处理在操作804处继续，其中，处理左原始输入图像数据和右原始输入图像数据中的一者或两者以如本文所讨论的校正IR纹理图案残差，以生成校正IR纹理图案残差的左彩色图像和/或右彩色图像。例如，原始输入图像数据或对应于原始输入图像数据的图像数据可以通过应用如本文所讨论的颜色校正变换或矩阵来进行处理，该颜色校正变换或矩阵已经被调整或设计为从原始输入图像数据或对应于原始输入图像数据的图像数据移除IR信号。在实施例中，颜色校正变换或矩阵将原始输入图像数据从包括对应于滤色器阵列元件的子像素信号的子像素域变换到像素域，以使得每个像素位置包括多个颜色信道值，例如，R-G-B颜色信道值。
处理在操作805处继续，其中校正IR纹理图案残差的所得的(一个或多个)彩色图像可以被存储在存储器中以用于最终呈现给用户(例如，经由显示设备)和/或用于进一步处理，例如计算机视觉处理等。校正IR纹理图案残差的(一个或多个)彩色图像可以以任何合适的格式(例如，针对其每个像素位置具有R值、G值和B值的图像格式)来存储。
在操作806处，处理从操作805或判定操作803继续，其中处理左原始输入图像数据和右原始输入图像数据以生成具有IR纹理的左图像和右图像(例如，左和右IR纹理图像)。例如，原始输入图像数据或与原始输入图像数据相对应的图像数据可以通过应用如本文所讨论的颜色校正变换或矩阵来处理，该颜色校正变换或矩阵已经被调整或设计为保留来自原始输入图像数据或者与原始输入图像数据相对应的图像数据的IR信号。在一个实施例中，如关于操作805所讨论的，颜色校正变换或矩阵将原始输入图像数据从包括对应于滤色器阵列元件的子像素信号的子像素域变换到像素域，以使得每个像素位置包括多个颜色信道值，例如，R-G-B颜色信道值。
处理在操作处807处继续，其中，基于在操作806处生成的左纹理图像和右纹理图像生成深度图或图像。可以使用诸如立体搜索技术之类的任何适当的一个或多个技术来生成深度图或图像。处理在操作808处继续，其中，所得的深度图或图像可以被存储在存储器中以供进一步处理，例如，计算机视觉处理等。深度图或图像可以以任何适当的格式(例如，针对深度图或图像的每个像素位置具有深度或视差值的图像格式)来存储。
如所讨论的，可以从输入图像数据中移除IR纹理图案残差以生成IR纹理图案残差被校正、减少或消除的输出图像。例如，调整颜色校正变换或矩阵可以包括改变子像素响应的权重以优化诸如CMOS传感器之类的图像传感器，以执行对由滤色器阵列提供的诸如R-G-G-B Bayer图案之类的图案的去马赛克。如上所讨论的，蓝色子像素也将响应于绿色和红色光以及IR光(例如，850nm光)。类似地，红色子像素将响应于绿色和蓝色光以及IR光，并且绿色子像素将响应于蓝色和红色光以及IR光。对IR光的这种响应对于每个子像素颜色将是不同的(并且取决于所实现的传感器)。通过调整颜色校正变换或矩阵(例如，选择颜色校正系数)，IR信号在经IR校正的彩色图像中被否定或最小化。类似地，通过调整另一颜色校正变换或矩阵(例如，选择颜色校正系数)，IR信号被保留(并且可以减少或消除所讨论的交叉子像素污染)在IR纹理化彩色图像(例如，保留IR校正残差的那些图像)中。
所讨论的系统、设备、技术和物品提供IR纹理化彩色图像用于立体图像匹配并提供经IR校正的彩色图像用于显示或用于计算机视觉等，并具有下述优势：降低的成本(例如，不需要额外的IR传感器或RGB-IR传感器等)、增加的帧速率(例如，不需要复用具有IR纹理的图像和不具有IR纹理的图像)、以及在深度图像的时间上对准经IR校正的彩色图像(例如，可以基本上同时地处理经IR校正的彩色图像和IR纹理化彩色图像)。
图9示出了根据本公开的至少一些实现方式布置的示例IR纹理化彩色图像901、示例经IR校正的彩色图像903和相应的示例深度图像902、904。如图9所示，IR纹理化彩色图像901包括IR纹理残差图案，其在对象的衬衫和面部上最为明显。例如，IR纹理化彩色图像901可以是如本文所讨论的左IR纹理化彩色图像或右IR纹理化彩色图像。可以使用IR纹理化彩色图像901和相应的IR纹理化彩色图像(例如，如果纹理化彩色图像901是左图像，则该相应的IR纹理化彩色图像为右图像，反之亦然；未示出)来执行立体图像匹配以生成深度图像903。例如，深度图像903可以具有优异的质量，这至少部分地归因于纹理化彩色图像901和相应的IR纹理化彩色图像的IR纹理残差图案。
还如图9所示，在经IR校正的彩色图像903中，IR纹理残差图案已经被校正、减少或消除，这与IR纹理化彩色图像901相比是明显的。例如，经IR校正的彩色图像903和IR纹理化彩色图像901是基于类似的原始输入图像数据通过应用如本文所讨论的不同颜色转换变换而生成的。可以使用对应于经IR校正的彩色图像903的IR纹理化彩色图像(未示出)和另一IR纹理化彩色图像(例如，如果对应于经IR校正的彩色图像903的IR纹理化彩色图像是左图像，则该另一IR纹理化彩色图像为右图像，反之亦然；未示出)来执行立体图像匹配以生成深度图像904。例如，由于深度图像904基于IR纹理化彩色图像，因此深度图像904保持出色的结果。此外，获得经IR校正的彩色图像903以用于呈现(例如，使得难看的IR纹理残差图案被移除)或用于计算机视觉等(例如，其中IR纹理残差图案可能导致处理失败)。
图10是示出根据本公开的至少一些实现方式布置的用于校正原始图像数据中的IR纹理图案残差的示例过程1000的流程图。过程1000可以包括如图10所示的一个或多个操作1001-1003。过程1000可以形成IR纹理图案残差移除过程的至少一部分。通过非限制性示例的方式，过程1000可以形成如由本文所讨论的任何设备、系统或其组合执行的IR纹理图案残差移除过程的至少一部分。此外，本文将参考可以执行过程1000的一个或多个操作的图11的系统1100来描述过程1000。
图11是根据本公开的至少一些实现方式布置的用于校正原始图像数据中的IR纹理图案残差的示例系统1100的说明性图示。如图11所示，系统1100可以包括中央处理器1101、图形处理器1102、存储器1103、彩色照相机104、105、IR发送器204、ISP 101和/或显示器109。还如图所示，中央处理器1101可以包括或实现立体匹配模块107和计算机视觉模块110，并且ISP 101可以包括或实现IR校正颜色转换变换模块102和IR纹理颜色转换变换模块103。在系统1100的示例中，存储器1103可以存储原始图像数据、彩色图像、彩色图像数据、深度图像、深度图像数据、图像数据和/或本文所讨论的任何其他数据。
如图所示，在一些实施例中，立体匹配模块107和计算机视觉模块110由中央处理器1101实现，并且IR校正颜色转换变换模块102和IR纹理颜色转换变换模块103由ISP 101实现。在一些实施例中，立体匹配模块107和计算机视觉模块110中的一者或两者由ISP 101或图形处理器1102实现。在一些实施例中，IR校正颜色转换变换模块102和IR纹理颜色转换变换模块103中的一者或两者由中央处理器1101或图形处理器1102实现。
图形处理器1102可以包括可提供所讨论的颜色转换、立体匹配和计算机视觉操作和/或如本文讨论的其他操作的任何数目和类型的图形处理单元。例如，图形处理器1102可以包括专用于操纵从存储器1103获得的图像数据等的电路。ISP 101可以包括可提供所讨论的颜色转换、立体匹配和计算机视觉操作和/或如本文讨论的其他操作的任何数目和类型的图像信号或图像处理单元。例如，ISP 101可以包括专用于操纵图像数据的电路，例如，ASIC等。中央处理器1101可以包括可以为系统1100提供控制和其他高级功能和/或提供所讨论的颜色转换、立体匹配和计算机视觉操作和/或如本文所讨论的其他操作的任何数目和类型的处理单元或模块。存储器1103可以是任何类型的存储器，例如，易失性存储器(例如，静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)等)或非易失性存储器(例如，闪存等)等。在非限制性示例中，存储器1103可以由缓存存储器实现。
在实施例中，立体匹配模块107、计算机视觉模块110、IR校正颜色转换变换模块102和IR纹理颜色转换变换模块103中的一个或多个或它们的一些部分可以经由图形处理器1102或ISP 101的执行单元(EU)来实现。EU可以包括例如可编程逻辑或电路，例如，可以提供宽范围的可编程逻辑功能的一个或多个逻辑核。在实施例中，立体匹配模块107、计算机视觉模块110、IR校正颜色转换变换模块102和IR纹理颜色转换变换模块103中的一个或多个或它们的一些部分可以经由诸如ISP 101或图形处理器1102的固定功能电路之类的专用硬件来实现。固定功能电路可以包括专用逻辑或电路，并且可以提供可以映射到专用逻辑以用于固定目的或功能的一组固定功能入口点。
如本文所讨论的，照相机104、105可以获得场景的原始图像数据，其包括来自由红外发送器204发射的用于照射场景的IR光的IR纹理图案残差。在实施例中，照相机104、105中的一者或两者包括其上具有红-绿-蓝滤光器阵列的CMOS传感器。显示器109可以显示校正IR纹理图案的彩色图像、深度图像、或基于这样的图像和/或原始图像数据生成的其他图形界面信息(例如，基于手势或面部识别等的响应)。
回到图10的讨论，过程1000可以在操作1001处开始，其中，可以接收原始输入图像数据，其包括来自在场景的图像捕获期间投影在场景上的IR纹理图案的IR纹理图案残差。例如，IR发送器204可以将IR纹理图案投影到场景上，并且照相机104、105中的一者或两者可以生成包括IR纹理图案残差的原始输入图像数据。在实施例中，照相机104、105中的一者或两者的图像传感器生成原始输入图像数据。在实施例中，原始输入图像数据包括来自IR纹理图案的IR纹理图案残差。可以通过如由ISP 101实现的IR校正颜色转换变换模块102来从照相机104、105之一接收原始输入图像数据。
处理在操作1002处继续，其中，颜色校正变换被应用于原始输入图像数据或对应于原始输入图像数据的图像数据以生成输出图像数据，以使得颜色校正变换校正IR纹理图案残差以提供相对于原始输入图像数据具有减少的IR纹理图案残差的输出图像数据。可以使用任何适当的一个或多个技术来应用颜色校正变换。在实施例中，应用颜色校正变换包括将颜色校正变换直接应用于原始输入图像数据。如本文所使用的，术语原始输入图像数据指示来自图像传感器或图像传感器的图像预处理器的数据。在实施例中，应用颜色校正变换包括将颜色校正变换应用于与原始输入图像数据相对应的图像数据，以使得图像数据具有与原始输入图像数据相同的格式，但已经以某种方式进行了预处理。在实施例中，通过如由ISP 101实现的IR校正颜色转换变换模块102应用颜色校正变换。
在实施例中，应用颜色校正变换包括将颜色校正变换应用于原始输入图像数据或对应于原始输入图像数据的图像数据的多个子像素信号以生成输出图像数据的相应单个像素，以使得子像素信号包括至少一个红色子像素信号值、至少一个绿色子像素信号值和至少一个蓝色子像素信号值。在实施例中，该多个子像素信号由单个红色子像素信号值、两个绿色子像素信号值和单个蓝色子像素信号值组成，并且输出图像数据的单个像素包括红色像素值、绿色像素值和蓝色像素值。例如，颜色校正变换的应用针对每个像素可以提供从子像素空间(包括红色、绿色、绿色、蓝色信号的区域)到像素空间(包括红色、绿色和蓝色值)的变换。
在实施例中，在操作1002处处理的原始输入图像数据对应于用于立体图像匹配的左原始输入图像数据或右原始输入图像数据(例如，来自左照相机或右照相机)。在实施例中，可以接收与左照相机或右照相机的另一个相对应的第二原始输入图像数据，并且可以将颜色校正变换(例如，同一颜色校正变换)应用于第二原始输入图像数据或对应于第二原始输入图像数据的图像数据以生成第二输出图像数据，该第二输出图像数据也校正IR纹理图案残差。在这样的实施例中，对应于左照相机和照右相机(或图像传感器)两者的被校正IR纹理图案残差的彩色图像可以用于呈现给用户或用于计算机视觉。
处理在操作1003处继续，其中，输出图像数据被提供用于显示给用户或用于计算机视觉处理等。在实施例中，输出图像数据被存储到存储器1103。在实施例中，输出图像数据被提供给计算机视觉模块110以进行进一步处理。在实施例中，输出图像数据被提供给显示器109以呈现给用户。
如所讨论的，过程1000提供校正原始图像数据中的IR纹理图案残差以生成输出图像数据，以使得输出图像数据相对于原始图像数据具有减少的IR纹理图案残差。在实施例中，减少的IR纹理图案残差是无IR纹理图案残差或不可检测的减少的IR纹理图案残差。如本文所使用的，术语减少的IR纹理图案残留意味着包括IR纹理图案残差已被消除。
在实施例中，过程1000还包括将第二颜色校正变换(与在操作1002处实现的颜色校正变换不同)应用于原始输入图像数据或对应于原始输入图像数据的图像数据以生成IR纹理输出图像数据。例如，第二颜色校正变换将IR纹理图案残差保留在IR纹理输出图像数据内，并且输出图像数据相对于IR纹理输出图像数据具有减少的IR纹理图案残差。在实施例中，IR纹理输出图像数据内的多个像素位置包括IR纹理图案残差，并且相对于IR纹理输出图像数据具有减少的IR纹理图案残差的输出图像数据由在IR纹理输出图像数据内的多个像素位置处具有第一平均亮度的IR纹理输出图像数据、以及在输出图像数据内的相同的多个像素位置处具有小于第一平均亮度的第二平均亮度的输出图像数据来指示。
在实施例中，第二颜色校正变换和颜色校正变换在ISP 101的不同图像处理流水线中实现。例如，颜色校正变换可以在ISP 101的第一图像处理流水线中实现，并且第二颜色校正变换可以在ISP 101的第二图像处理流水线中实现。
此外，如关于操作1002所讨论的，在操作1002处理的原始输入图像数据可以对应于用于立体图像匹配的左原始输入图像数据或右原始输入图像数据(例如，来自左照相机或右照相机)，并且可以生成和/或接收对应于自左照相机或右照相机中的另一个的第二原始输入图像数据。在实施例中，原始输入图像数据由图像传感器生成，并且第二原始输入图像数据由第二图像传感器基于具有IR纹理图案的投影的场景的第二图像捕获生成。例如，第二原始输入图像数据包括来自投影到场景上的IR纹理图案的第二IR纹理图案残差。在实施例中，第一和第二图像传感器相对于场景被水平对齐以提供立体匹配。在实施例中，可以基于与原始输入图像数据相对应的IR纹理输出图像数据(如上所讨论的)和与第二原始输入图像数据相对应的第二IR纹理输出图像数据来生成深度图。例如，可以通过将第二颜色校正变换应用于第二原始输入图像数据或与其相对应的图像数据来生成第二IR纹理输出图像数据。在实施例中，生成深度图包括基于IR纹理图像和第二IR纹理图像执行立体图像匹配。
过程1000可以针对任何数目的原始输入图像等来串行或并行地重复任意次数。例如，过程1000可以在成像或视频捕获等期间针对任何数目的图像捕获实例提供校正IR纹理图案残差并生成深度图。
本文描述的系统的各种组件可以在软件、固件、和/或硬件、和/或其任何组合中实现。例如，本文讨论的系统的各种组件可以至少部分地由例如可以在计算系统(例如，智能电话)中找到的计算片上系统(SoC)的硬件来提供。本领域技术人员可以认识到，本文描述的系统可以包括未在相应的附图中描绘的附加组件。例如，本文讨论的系统可以包括附加组件，例如，为了清楚起见未示出的通信模块等。
尽管本文讨论的示例过程的实现方式可以包括以所示出的顺序来示出进行所有操作，但本公开不限于此方面，并且在各种示例中，本文的示例过程的实现方式可以包括仅所示出操作的子集、以不同于所示出的顺序执行的操作、或附加操作。
此外，可以响应于由一个或多个计算机程序产品提供的指令来进行本文讨论的任何一个或多个操作。这样的程序产品可以包括提供指令的信号承载介质，这些指令在由例如处理器执行时可以提供本文描述的功能。计算机程序产品可以以一个或多个机器可读介质的任何形式来提供。因此，例如，包括一个或多个图形处理单元或处理器核的处理器可以响应于由一个或多个机器可读介质传送到处理器的程序代码和/或指令或指令集来执行本文的示例过程的一个或多个块。通常，机器可读介质可以以程序代码和/或指令或指令集的形式来传送软件，这些程序代码和/或指令或指令集可以使得本文描述的任何设备和/或系统来实现本文讨论的系统的至少一些部分或如本文所讨论的任何其他模块或组件。
如在本文描述的任何实现方式中使用的，术语“模块”或“组件”指被配置为提供本文描述的功能的软件逻辑、固件逻辑、硬件逻辑和/或电路的任何组合。软件可以被体现为软件包、代码和/或指令集或指令，并且如在本文描述的任何实现方式中使用的，“硬件”可以单独地或以任何组合包括例如硬连线电路、可编程电路、状态机电路、固定功能电路、执行单元电路和/或存储由可编程电路执行的指令的固件。模块可以被共同地或单独地实现为形成较大系统的一部分的电路，例如，集成电路(IC)、片上系统(SoC)等。
图12是根据本公开的至少一些实现方式布置的示例系统1200的说明性图示。在各种实现中方式，系统1200可以是移动系统，但系统1200不限于该上下文。系统1200可以实现和/或执行本文所讨论的任何模块或技术。例如，系统1200可以被合并到个人计算机(PC)、服务器、膝上型计算机、超级膝上型计算机、平板计算机、触摸板、便携式计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板计算机或智能电视)、移动互联网设备(MID)、消息传递设备、数据通信设备、照相机(例如，傻瓜照相机、超级变焦照相机、数码单镜头反光(DSLR)照相机)等。在一些示例中，系统1200可以经由云计算环境来实现。
在各种实现方式中，系统1200包括耦合到显示器1220的平台1202。平台1202可以从诸如(一个或多个)内容服务设备1230或(一个或多个)内容递送设备1240或其他类似内容源之类的内容设备接收内容。包括一个或多个导航特征的导航控制器1250可以用于与例如平台1202和/或显示器1220进行交互。下面更详细地描述这些组件中的每一个。
在各种实现方式中，平台1202可以包括芯片组1205、处理器1210、存储器1212、天线1213、存储装置1214、图形子系统1215、应用1216和/或无线电组件1218的任何组合。芯片组1205可以提供处理器1210、存储器1212、存储装置1214、图形子系统1215、应用1216和/或无线电组件1218之间的相互通信。例如，芯片组1205可以包括能够提供与存储装置1214的相互通信的存储装置适配器(未示出)。
处理器1210可以被实现为复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核或任何其他微处理器或中央处理单元(CPU)。在各种实现方式中，处理器1210可以是(一个或多个)双核处理器、(一个或多个)双核移动处理器等。
存储器1212可以被实现为易失性存储器设备，例如但不限于：随机存取存储器(RAM)、动态随机存取存储器(DRAM)、或静态RAM(SRAM)。
存储装置1214可以被实现为非易失性存储设备，例如但不限于：磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附加存储设备、闪存、电池备用SDRAM(同步DRAM)和/或网络可访问存储设备。在各种实现方式中，例如，存储装置1214可以包括在包括多个硬盘驱动器时增加对有价值数字介质的存储性能增强保护的技术。
图形子系统1215可以执行诸如静止图像或视频图像之类的图像的处理以供显示。例如，图形子系统1215可以是图形处理单元(GPU)或视觉处理单元(VPU)。模拟或数字接口可以用于通信地耦合图形子系统1215和显示器1220。例如，接口可以是高清晰度多媒体接口、DisplayPort、无线HDMI、和/或无线HD兼容技术中的任何一种。图形子系统1215可以被集成到处理器1210或芯片组1205中。在一些实现方式中，图形子系统1215可以是被通信地耦合到芯片组1205的独立设备。
本文描述的图形和/或视频处理技术可以在各种硬件架构中实现。例如，图形和/或视频功能可以被集成在芯片组内。替代地，可以使用独立的图形和/或视频处理器。作为又一实现方式，图形和/或视频功能可以由包括多核处理器的通用处理器提供。在进一步的实施例中，这些功能可以在消费电子设备中实现。
无线电组件1218可以包括能够使用各种适当的无线通信技术来发送和接收信号的一个或多个无线电组件。这种技术可以涉及跨一个或多个无线网络的通信。示例无线网络包括(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络和卫星网络。在跨这些网络进行通信时，无线电组件1218可以根据任何版本的一个或多个适用标准进行操作。
在各种实现方式中，显示器1220可以包括任何电视类型监视器或显示器。显示器1220可以包括例如计算机显示屏、触摸屏显示器、视频监视器、类电视设备、和/或电视。显示器1220可以是数字的和/或模拟的。在各种实现方式中，显示器1220可以是全息显示器。此外，显示器1220可以是可以接收视觉投影的透明表面。这种投影可以传达各种形式的信息、图像和/或对象。例如，这种投影可以是用于移动增强现实(MAR)应用的视觉覆盖。在一个或多个软件应用1216的控制下，平台1202可以在显示器1220上显示用户界面1222。
在各种实现方式中，(一个或多个)内容服务设备1230可以由任何国家、国际和/或独立服务托管，并且因此例如可以经由互联网来访问平台1202。(一个或多个)内容服务设备1230可以被耦合到平台1202和/或显示器1220。平台1202和/或(一个或多个)内容服务设备1230可以被耦合到网络1260以传送(例如，发送和/或接收)去往和来自网络1260的媒体信息。(一个或多个)内容递送设备1240也可以被耦合到平台1202和/或显示器1220。
在各种实现方式中，(一个或多个)内容服务设备1230可以包括有线电视盒、个人计算机、网络、电话、能够传送数字信息和/或内容的互联网使能设备或设施、以及能够经由网络1260或直接地在内容提供商和平台1202和/或显示器1220之间单向地或双向地传送内容的任何其他类似设备。应理解，可以经由网络1260来单向和/或双向地向系统1200中的任何一个组件和内容提供商传送内容，或者从系统1200中的任何一个组件和内容提供商传送内容。内容的示例可以包括任何媒体信息，包括例如视频、音乐、医疗和游戏信息等。
(一个或多个)内容服务设备1230可以接收诸如包括媒体信息、数字信息和/或其他内容的有线电视节目之类的内容。内容提供商的示例可以包括任何有线或卫星电视、或无线电或互联网内容提供商。所提供的示例并不意味着以任何方式限制根据本公开的实现方式。
在各种实现方式中，平台1202可以从具有一个或多个导航特征的导航控制器1250接收控制信号。例如，导航控制器1250的导航特征可以用于与用户界面1222进行交互。在各种实施例中，导航控制器1250可以是定点设备，其可以是允许用户将空间(例如，连续和多维)数据输入计算机的计算机硬件组件(具体地，人类接口设备)。诸如图形用户界面(GUI)、以及电视和监视器之类的许多系统允许用户使用物理手势来控制计算机或电视和向计算机或电视提供数据。
导航控制器1250的导航特征的移动可以通过显示器上所显示的指针、光标、聚焦环或其他视觉指示符的移动来复制在显示器(例如，显示器1220)上。例如，在软件应用1216的控制下，位于导航控制器1250上的导航特征可以被映射到在用户界面1222上显示的虚拟导航特征。在各种实施例中，导航控制器1250可以不是单独的组件，而可以被集成到平台1202和/或显示器1220中。然而，本公开不限于本文示出或描述的元件或上下文。
在各种实现方式中，例如，驱动器(未示出)可以包括在被启用时使得用户能够在初始启动之后通过触摸按钮来立即打开和关闭平台1202(例如，电视)的技术。即使当平台被“关闭”时，程序逻辑也可以允许平台1202将内容流送到媒体适配器或其他(一个或多个)内容服务设备1230或(一个或多个)内容递送设备1240。此外，例如，芯片组1205可以包括支持5.1环绕声频和/或高清7.1环绕声频的硬件和/或软件。驱动器可以包括用于集成图形平台的图形驱动器。在各种实施例中，图形驱动器可包括外围组件互连(PCI)快速图形卡。
在各种实现方式中，可以集成系统1200中示出的组件中的任何一个或多个组件。例如，可以集成平台1202和(一个或多个)内容服务设备1230，或者可以集成平台1202和(一个或多个)内容递送设备1240，或者可以集成平台1202、(一个或多个)内容服务设备1230和(一个或多个)内容递送设备1240。在各种实施例中，平台1202和显示器1220可以是集成单元。例如，可以集成显示器1220和(一个或多个)内容服务设备1230，或者可以集成显示器1220和(一个或多个)内容递送设备1240。这些示例并不意味着限制本公开。
在各种实施例中，系统1200可以被实现为无线系统、有线系统或两者的组合。当被实现为无线系统时，系统1200可以包括适用于通过无线共享介质来进行通信的组件和接口，例如，一个或多个天线、发送器、接收器、收发器、放大器、滤波器、控制逻辑等。无线共享介质的示例可以包括无线频谱的部分，例如，RF频谱等。当被实现为有线系统时，系统1200可以包括适用于通过有线通信介质来进行通信的组件和接口，例如，输入/输出(I/O)适配器、用于将I/O适配器与相应的有线通信介质连接的物理连接器、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器等。有线通信介质的示例可以包括电线、电缆、金属引线、印刷电路板(PCB)、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等。
平台1202可以建立一个或多个逻辑或物理信道以传送信息。该信息可以包括媒体信息和控制信息。媒体信息可以指代表示针对用户的内容的任何数据。内容的示例可以包括例如来自语音会话、视频会议、流视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等的数据。来自语音对话的数据可以是例如语音信息、静默时段、背景噪声、舒适噪声、音调等。控制信息可以指代表示用于自动化系统的命令、指令或控制字的任何数据。例如，控制信息可以用于通过系统来路由媒体信息，或指示节点来以预定方式处理媒体信息。然而，实施例不限于图12中示出或描述的元件或上下文。
如上所述，系统1200可以被体现为不同的物理样式或形状。图13示出了根据本公开的至少一些实现方式布置的示例小型设备1300。在一些示例中，系统1200可以经由设备1300来实现。在其他示例中，本文讨论的其他系统或其部分可以经由设备1300来实现。在各种实施例中，例如，设备1300可以被实现为具有无线能力的移动计算设备。移动计算设备可以指具有处理系统和移动电源或电源(例如，一个或多个电池)的任何设备。
移动计算设备的示例可以包括：个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触摸板、便携式计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、智能设备(例如，智能电话、智能平板计算机或智能移动电视)、移动互联网设备(MID)、消息传递设备、数据通信设备、照相机(例如，傻瓜照相机、超级变焦照相机、数字单镜头反光(DSLR)照相机)等。
移动计算设备的示例还可以包括被布置为由人穿戴的计算机，例如，手腕计算机、手指计算机、戒指计算机、眼镜计算机、带夹计算机、臂带计算机、鞋计算机、服饰计算机、和其他可穿戴计算机。在各种实施例中，例如，移动计算设备可以被实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。尽管可以通过示例的方式利用被实现为智能电话的移动计算设备来描述一些实施例，但可以理解，其他实施例也可以使用其他无线移动计算设备来实现。实施例不限于此上下文。
如图13所示，设备1300可以包括具有前部1301和后部1302的壳体。设备1300包括显示器1304、输入/输出(I/O)设备1306、彩色照相机104、彩色照相机105、红外发送器204和集成天线1308。设备1300还可以包括导航特征1312。I/O设备1306可以包括用于将信息输入移动计算设备的任何适当的I/O设备。I/O设备1306的示例可以包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、麦克风、扬声器、语音识别设备和软件等。信息也可以通过麦克风(未示出)来输入设备1300，或者可以由语音识别设备进行数字化。如图所示，设备1300可以包括集成到设备1300的后部1302(或其他地方)的彩色照相机104、105和闪光灯1310。在其他示例中，彩色照相机104、105和闪光灯1310可以被集成到设备1300的前部1301，或者可以提供前后照相机组。彩色照相机104、105和闪光灯1310可以是照相机模块的组件以发起具有IR纹理校正的彩色图像数据，其可以被处理成被输出到显示器1304和/或经由例如天线1308从设备1300远程传送的图像或流式视频。
各种实施例可以使用硬件元件、软件元件或两者的组合来实现。硬件元件的示例可以包括处理器、微处理器、电路、电路元件(例如，晶体管、电阻器、电容器、电感器等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等。软件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、过程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定使用硬件元件和/或软件元件来实现实施例可以根据任何数目的因素(例如，期望计算速率、功率水平、热容差、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度和其他设计或性能约束)而变化。
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的代表性指令来实现，这些代表性指令表示处理器内的各种逻辑，这些逻辑在由机器读取时使机器制造执行本文所述的技术的逻辑。这种称为IP核的表示可以被存储在有形机器可读介质上并被提供给各种客户或制造设施，以加载到实际制造逻辑或处理器的制造机器中。
尽管已经参考各种实现方式描述了本文阐述的某些特征，但该描述并不旨在以限制意义来解释。因此，本文描述的实现方式的各种修改以及对于本公开所属领域的技术人员明显的其他实现方式被认为落入本公开的精神和范围内。
在一个或多个第一实施例中，成像设备包括：红外(IR)投影仪，将IR纹理图案投影到场景上；图像传感器，基于包括IR纹理图案的投影的场景的图像捕获来生成原始输入图像数据，以使得原始输入图像数据包括来自IR纹理图案的IR纹理图案残差；以及图像信号处理器，被耦合到图像传感器，该图像信号处理器接收原始输入图像数据，并将颜色校正变换应用于原始输入图像数据或对应于原始输入图像数据的图像数据以生成输出图像数据，以使得颜色校正变换校正IR纹理图案残差以使得输出图像数据相对于原始输入图像数据具有减少的IR纹理图案残差。
在一个或多个第二实施例中，在第一实施例之外，图像信号处理器还将第二颜色校正变换应用于原始输入图像数据或对应于原始输入图像数据的图像数据以生成IR纹理输出图像数据，以使得第二颜色校正变换将IR纹理图案残差保留在IR纹理输出图像数据内，并且输出图像数据相对于IR纹理输出图像数据具有减少的IR纹理图案残差。
在一个或多个第三实施例中，在第一或第二实施例之外，IR纹理输出图像数据内的多个像素位置包括IR纹理图案残差，并且使得相对于IR纹理输出图像数据具有减少的IR纹理图案残差的输出图像数据包括在IR纹理输出图像数据内的多个像素位置处具有第一平均亮度的IR纹理输出图像数据、以及在输出图像数据内的相同的多个像素位置处具有小于第一平均亮度的第二平均亮度的输出图像数据。
在一个或多个第四实施例中，在第一至第三实施例之外，颜色校正变换在图像信号处理器的第一图像处理流水线中实现，并且第二颜色校正变换在图像信号处理器的第二图像处理流水线中实现。
在一个或多个第五实施例中，在第一至第四实施例之外，成像设备还包括第二图像传感器，基于具有IR纹理图案的投影的场景的第二图像捕获来生成第二原始输入图像数据，以使得第二原始输入图像数据包括来自IR纹理图案的第二IR纹理图案残差，并使得第一图像传感器和第二图像传感器相对于场景被水平对齐。
在一个或多个第六实施例中，在第一至第五实施例之外，成像设备还包括处理器，被耦合到图像信号处理器，该处理器基于对应于原始输入图像数据的IR纹理输出图像数据和对应于第二原始输入图像数据的第二IR纹理图像数据来生成深度图。
在一个或多个第七实施例中，在第一至第六实施例之外，处理器生成深度图包括处理器基于IR纹理图像和第二IR纹理图像来执行立体图像匹配。
在一个或多个第八实施例中，在第一至第七实施例之外，图像信号处理器还接收第二原始输入图像数据，并将颜色校正变换应用于第二原始输入图像数据或对应于第二原始输入图像数据的图像数据以生成第二输出图像数据。
在一个或多个第九实施例中，在第一至第八实施例之外，图像信号处理器应用颜色校正变换包括图像信号处理器将颜色校正变换应用于原始输入图像数据或对应于原始输入图像数据的图像数据的多个子像素信号以生成输出图像数据的相应的单个像素，以使得子像素信号包括至少一个红色子像素信号值、至少一个绿色子像素信号值、以及至少一个蓝色子像素信号值。
在一个或多个第十实施例中，在第一至第九实施例之外，多个子像素信号包括单个红色子像素信号值、两个绿色子像素信号值和单个蓝色子像素信号值，并且输出图像数据的单个像素包括红色像素值、绿色像素值和蓝色像素值。
在一个或多个第十一实施例中，在第一至第十实施例之外，图像传感器包括其上具有红-绿-蓝滤色器阵列的互补金属氧化物半导体(CMOS)传感器，并且图像信号处理器包括专用集成电路(ASIC)。
在一个或多个第十二实施例中，用于图像处理的方法包括：接收原始输入图像数据，该原始输入图像数据包括来自在场景的图像捕获期间被投影在场景上的红外(IR)纹理图案的IR纹理图案残差；将颜色校正变换应用于原始输入图像数据或对应于原始输入图像数据的图像数据以生成输出图像数据，其中，颜色校正变换校正IR纹理图案残差以使得输出图像数据相对于原始输入图像数据具有减少的IR纹理图案残差；以及提供输出图像数据以用于向用户显示或用于计算机视觉处理。
在一个或多个第十三实施例中，在第十二实施例之外，该方法还包括将第二颜色校正变换应用于原始输入图像数据或对应于原始输入图像数据的图像数据以生成IR纹理输出图像数据，其中，第二颜色校正变换将IR纹理图案残差保留在IR纹理输出图像数据内，并且输出图像数据相对于IR纹理输出图像数据具有减少的IR纹理图案残差。
在一个或多个第十四实施例中，在第十二或第十三实施例之外，IR纹理输出图像数据内的多个像素位置包括IR纹理图案残差，并且其中，相对于IR纹理输出图像数据具有减少的IR纹理图案残差的输出图像数据包括在IR纹理输出图像数据内的多个像素位置处具有第一平均亮度的IR纹理输出图像数据、以及在输出图像数据内的相同的多个像素位置处具有小于第一平均亮度的第二平均亮度的输出图像数据。
在一个或多个第十五实施例中，在第十二至第十四实施例之外，该方法还包括基于具有IR纹理图案的投影的场景的第二图像捕获来接收第二原始输入图像数据，其中，第二原始输入图像数据包括来自IR纹理图案的第二IR纹理图案残差，并且其中，原始输入图像数据和第二原始输入图像数据来自相对于场景被水平对齐的第一图像传感器和第二图像传感器。
在一个或多个第十六实施例中，在第十二至第十五实施例之外，该方法还包括基于对应于原始输入图像数据的第一IR纹理图像和对应于第二原始输入图像数据的第二IR纹理图像来生成深度图。
在一个或多个第十七实施例中，在第十二至第十六实施例之外，生成深度图包括基于IR纹理图像和第二IR纹理图像来执行立体图像匹配。
在一个或多个第十八实施例中，在第十二至第十七实施例之外，应用颜色校正变换包括将颜色校正变换应用于原始输入图像数据或对应于原始输入图像数据的图像数据的多个子像素信号以生成输出图像数据的相应的单个像素，其中，子像素信号包括至少一个红色子像素信号值、至少一个绿色子像素信号值、以及至少一个蓝色子像素信号值。
在一个或多个第十九实施例中，在第十二至第十八实施例之外，多个子像素信号包括单个红色子像素信号值、两个绿色子像素信号值和单个蓝色子像素信号值，并且输出图像数据的单个像素包括红色像素值、绿色像素值和蓝色像素值。
在一个或多个第二十实施例中，至少一个机器可读介质包括多个指令，该多个指令响应于在设备上被执行，使得设备通过执行以下操作来执行图像处理：接收原始输入图像数据，该原始输入图像数据包括来自在场景的图像捕获期间被投影在场景上的红外(IR)纹理图案的IR纹理图案残差；将颜色校正变换应用于原始输入图像数据或对应于原始输入图像数据的图像数据以生成输出图像数据，其中，颜色校正变换校正IR纹理图案残差以使得输出图像数据相对于原始输入图像数据具有减少的IR纹理图案残差；以及提供输出图像数据以用于向用户显示或用于计算机视觉处理。
在一个或多个第二十一实施例中，在第二十实施例之外，机器可读介质包括其他指令，该其他指令响应于在设备上被执行，使得设备通过以下操作来执行图像处理：将第二颜色校正变换应用于原始输入图像数据或对应于原始输入图像数据的图像数据以生成IR纹理输出图像数据，其中，第二颜色校正变换将IR纹理图案残差保留在IR纹理输出图像数据内，并且输出图像数据相对于IR纹理输出图像数据具有减少的IR纹理图案残差。
在一个或多个第二十二实施例中，在第二十或第二十一实施例之外，IR纹理输出图像数据内的多个像素位置包括IR纹理图案残差，并且其中，相对于IR纹理输出图像数据具有减少的IR纹理图案残差的输出图像数据包括在IR纹理输出图像数据内的多个像素位置处具有第一平均亮度的IR纹理输出图像数据、以及在输出图像数据内的相同的多个像素位置处具有小于第一平均亮度的第二平均亮度的输出图像数据。
在一个或多个第二十三实施例中，在第二十至第二十二实施例之外，机器可读介质包括其他指令，该其他指令响应于在设备上被执行，使得设备通过以下操作来执行图像处理：基于具有IR纹理图案的投影的场景的第二图像捕获来接收第二原始输入图像数据，其中，第二原始输入图像数据包括来自IR纹理图案的第二IR纹理图案残差，并且其中，原始输入图像数据和第二原始输入图像数据来自相对于场景被水平对齐的第一图像传感器和第二图像传感器。
在一个或多个第二十四实施例中，在第二十至第二十三实施例之外，机器可读介质包括其他指令，该其他指令响应于在设备上被执行，使得设备通过以下操作来执行图像处理：基于对应于原始输入图像数据的第一IR纹理图像和对应于第二原始输入图像数据的第二IR纹理图像来生成深度图。
在一个或多个第二十五实施例中，在第二十到第二十四实施例之外，应用颜色校正变换包括将颜色校正变换应用于原始输入图像数据或对应于原始输入图像数据的图像数据的多个子像素信号以生成输出图像数据的相应的单个像素，其中，子像素信号包括至少一个红色子像素信号值、至少一个绿色子像素信号值、以及至少一个蓝色子像素信号值。
在一个或多个第二十六实施例中，成像设备包括：用于将IR纹理图案投影到场景上的装置；用于基于包括IR纹理图案的投影的场景的图像捕获来生成原始输入图像数据的装置，其中，原始输入图像数据包括来自IR纹理图案的IR纹理图案残差；以及用于接收原始输入图像数据，并将颜色校正变换应用于原始输入图像数据或对应于原始输入图像数据的图像数据以生成输出图像数据的装置，其中，颜色校正变换校正IR纹理图案残差以使得输出图像数据相对于原始输入图像数据具有减少的IR纹理图案残差。
在一个或多个第二十七实施例中，在第二十六实施例之外，成像设备还包括用于将第二颜色校正变换应用于原始输入图像数据或对应于原始输入图像数据的图像数据以生成IR纹理输出图像数据的装置，其中，第二颜色校正变换将IR纹理图案残差保留在IR纹理输出图像数据内，并且输出图像数据相对于IR纹理输出图像数据具有减少的IR纹理图案残差。
在一个或多个第二十八实施例中，至少一个机器可读介质可以包括多个指令，该多个指令响应于在计算设备上被执行，使得计算设备执行根据上述实施例中的任一实施例的方法。
在一个或多个第二十九实施例中，一种装置可以包括用于执行根据上述实施例中的任一实施例的方法的装置。
将认识到，实施例不限于被如此描述的实施例，而是可以在不脱离所附权利要求的范围的情况下通过修改和改变来实施。例如，上述实施例可以包括特征的特定组合。然而，上述实施例在这方面不受限制，并且在各种实现方式中，上述实施例可以包括仅承担这些特征的子集、承担这些特征的不同顺序、承担这些特征的不同组合、和/或承担除了所明确列出的那些特征之外的其他特征。因此，应参考所附权利要求以及这些权利要求所赋予的等同物的全部范围来确定实施例的范围。

Claims (23)

1.一种成像设备，包括：
红外(IR)投影仪，将IR纹理图案投影到场景上；
图像传感器，基于包括所述IR纹理图案的投影的所述场景的图像捕获来生成原始输入图像数据，其中，所述原始输入图像数据包括来自所述IR纹理图案的IR纹理图案残差；以及
图像信号处理器，被耦合到所述图像传感器，所述图像信号处理器接收所述原始输入图像数据，并将颜色校正变换应用于所述原始输入图像数据或对应于所述原始输入图像数据的图像数据以生成输出图像数据，其中，所述颜色校正变换校正所述IR纹理图案残差以使得所述输出图像数据相对于所述原始输入图像数据具有减少的IR纹理图案残差。
2.根据权利要求1所述的成像设备，其中，所述图像信号处理器还将第二颜色校正变换应用于所述原始输入图像数据或对应于所述原始输入图像数据的所述图像数据以生成IR纹理输出图像数据，其中，所述第二颜色校正变换将所述IR纹理图案残差保留在所述IR纹理输出图像数据内，并且所述输出图像数据相对于所述IR纹理输出图像数据具有减少的IR纹理图案残差。
3.根据权利要求2所述的成像设备，其中，所述IR纹理输出图像数据内的多个像素位置包括所述IR纹理图案残差，并且其中，相对于所述IR纹理输出图像数据具有减少的IR纹理图案残差的所述输出图像数据包括在所述IR纹理输出图像数据内的所述多个像素位置处具有第一平均亮度的所述IR纹理输出图像数据、以及在所述输出图像数据内的相同的多个像素位置处具有小于所述第一平均亮度的第二平均亮度的所述输出图像数据。
4.根据权利要求2所述的成像设备，其中，所述颜色校正变换在所述图像信号处理器的第一图像处理流水线中实现，并且所述第二颜色校正变换在所述图像信号处理器的第二图像处理流水线中实现。
5.根据权利要求2所述的成像设备，还包括：
第二图像传感器，基于具有所述IR纹理图案的投影的所述场景的第二图像捕获来生成第二原始输入图像数据，其中，所述第二原始输入图像数据包括来自所述IR纹理图案的第二IR纹理图案残差，并且其中，所述第一图像传感器和所述第二图像传感器相对于所述场景被水平对齐。
6.根据权利要求5所述的成像设备，还包括：
处理器，被耦合到所述图像信号处理器，所述处理器基于对应于所述原始输入图像数据的所述IR纹理输出图像数据和对应于所述第二原始输入图像数据的第二IR纹理图像数据来生成深度图。
7.根据权利要求6所述的成像设备，其中，所述处理器生成所述深度图包括所述处理器基于所述IR纹理图像和所述第二IR纹理图像来执行立体图像匹配。
8.根据权利要求5所述的成像设备，其中，所述图像信号处理器还接收所述第二原始输入图像数据，并将所述颜色校正变换应用于所述第二原始输入图像数据或对应于所述第二原始输入图像数据的图像数据以生成第二输出图像数据。
9.根据权利要求1所述的成像设备，其中，所述图像信号处理器应用所述颜色校正变换包括：所述图像信号处理器将所述颜色校正变换应用于所述原始输入图像数据或对应于所述原始输入图像数据的图像数据的多个子像素信号以生成所述输出图像数据的相应的单个像素，其中，所述子像素信号包括至少一个红色子像素信号值、至少一个绿色子像素信号值、以及至少一个蓝色子像素信号值。
10.根据权利要求9所述的成像设备，其中，所述多个子像素信号包括单个红色子像素信号值、两个绿色子像素信号值和单个蓝色子像素信号值，并且所述输出图像数据的单个像素包括红色像素值、绿色像素值和蓝色像素值。
11.根据权利要求1所述的成像设备，其中，所述图像传感器包括其上具有红-绿-蓝滤色器阵列的互补金属氧化物半导体(CMOS)传感器，并且所述图像信号处理器包括专用集成电路(ASIC)。
12.一种用于图像处理的方法，包括：
接收原始输入图像数据，所述原始输入图像数据包括来自在场景的图像捕获期间被投影在所述场景上的红外(IR)纹理图案的IR纹理图案残差；
将颜色校正变换应用于所述原始输入图像数据或对应于所述原始输入图像数据的图像数据以生成输出图像数据，其中，所述颜色校正变换校正所述IR纹理图案残差以使得所述输出图像数据相对于所述原始输入图像数据具有减少的IR纹理图案残差；以及
提供所述输出图像数据以用于向用户显示或用于计算机视觉处理。
13.根据权利要求12所述的方法，还包括：
将第二颜色校正变换应用于所述原始输入图像数据或对应于所述原始输入图像数据的所述图像数据以生成IR纹理输出图像数据，其中，所述第二颜色校正变换将所述IR纹理图案残差保留在所述IR纹理输出图像数据内，并且所述输出图像数据相对于所述IR纹理输出图像数据具有减少的IR纹理图案残差。
14.根据权利要求13所述的方法，其中，所述IR纹理输出图像数据内的多个像素位置包括所述IR纹理图案残差，并且其中，相对于所述IR纹理输出图像数据具有减少的IR纹理图案残差的所述输出图像数据包括在所述IR纹理输出图像数据内的所述多个像素位置处具有第一平均亮度的所述IR纹理输出图像数据、以及在所述输出图像数据内的相同的多个像素位置处具有小于所述第一平均亮度的第二平均亮度的所述输出图像数据。
15.根据权利要求14所述的方法，还包括：
基于具有所述IR纹理图案的投影的所述场景的第二图像捕获来接收第二原始输入图像数据，其中，所述第二原始输入图像数据包括来自所述IR纹理图案的第二IR纹理图案残差，并且其中，所述原始输入图像数据和所述第二原始输入图像数据来自相对于所述场景被水平对齐的第一图像传感器和第二图像传感器。
16.根据权利要求15所述的方法，还包括：
基于对应于所述原始输入图像数据的第一IR纹理图像和对应于所述第二原始输入图像数据的第二IR纹理图像来生成深度图。
17.根据权利要求12所述的方法，其中，应用所述颜色校正变换包括将所述颜色校正变换应用于所述原始输入图像数据或对应于所述原始输入图像数据的图像数据的多个子像素信号以生成所述输出图像数据的相应的单个像素，其中，所述子像素信号包括至少一个红色子像素信号值、至少一个绿色子像素信号值、以及至少一个蓝色子像素信号值。
18.包括多个指令的至少一个机器可读介质，所述多个指令响应于在设备上被执行，使得所述设备通过执行以下操作来执行图像处理：
接收原始输入图像数据，所述原始输入图像数据包括来自在场景的图像捕获期间被投影在所述场景上的红外(IR)纹理图案的IR纹理图案残差；
将颜色校正变换应用于所述原始输入图像数据或对应于所述原始输入图像数据的图像数据以生成输出图像数据，其中，所述颜色校正变换校正所述IR纹理图案残差以使得所述输出图像数据相对于所述原始输入图像数据具有减少的IR纹理图案残差；以及
提供所述输出图像数据以用于向用户显示或用于计算机视觉处理。
19.根据权利要求18所述的机器可读介质，所述机器可读介质包括其他指令，所述其他指令响应于在所述设备上被执行，使得所述设备通过以下操作来执行图像处理：
将第二颜色校正变换应用于所述原始输入图像数据或对应于所述原始输入图像数据的所述图像数据以生成IR纹理输出图像数据，其中，所述第二颜色校正变换将所述IR纹理图案残差保留在所述IR纹理输出图像数据内，并且所述输出图像数据相对于所述IR纹理输出图像数据具有减少的IR纹理图案残差。
20.根据权利要求19所述的机器可读介质，其中，所述IR纹理输出图像数据内的多个像素位置包括所述IR纹理图案残差，并且其中，相对于所述IR纹理输出图像数据具有减少的IR纹理图案残差的所述输出图像数据包括在所述IR纹理输出图像数据内的所述多个像素位置处具有第一平均亮度的所述IR纹理输出图像数据、以及在所述输出图像数据内的相同的多个像素位置处具有小于所述第一平均亮度的第二平均亮度的所述输出图像数据。
21.根据权利要求19所述的机器可读介质，所述机器可读介质包括其他指令，所述其他指令响应于在所述设备上被执行，使得所述设备通过以下操作来执行图像处理：
基于具有所述IR纹理图案的投影的所述场景的第二图像捕获来接收第二原始输入图像数据，其中，所述第二原始输入图像数据包括来自所述IR纹理图案的第二IR纹理图案残差，并且其中，所述原始输入图像数据和所述第二原始输入图像数据来自相对于所述场景被水平对齐的第一图像传感器和第二图像传感器。
22.根据权利要求21所述的机器可读介质，所述机器可读介质包括其他指令，所述其他指令响应于在所述设备上被执行，使得所述设备通过以下操作来执行图像处理：
基于对应于所述原始输入图像数据的第一IR纹理图像和对应于所述第二原始输入图像数据的第二IR纹理图像来生成深度图。
23.根据权利要求18所述的机器可读介质，其中，应用所述颜色校正变换包括将所述颜色校正变换应用于所述原始输入图像数据或对应于所述原始输入图像数据的图像数据的多个子像素信号以生成所述输出图像数据的相应的单个像素，其中，所述子像素信号包括至少一个红色子像素信号值、至少一个绿色子像素信号值、以及至少一个蓝色子像素信号值。
CN201811108232.3A 2017-09-21 2018-09-21 减少立体深度传感器成像中的纹理化ir图案 Active CN109660782B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/711,250 US10521920B2 (en) 2017-09-21 2017-09-21 Reducing textured IR patterns in stereoscopic depth sensor imaging
US15/711,250 2017-09-21

Publications (2)

Publication Number Publication Date
CN109660782A true CN109660782A (zh) 2019-04-19
CN109660782B CN109660782B (zh) 2022-08-16

Family

ID=65526666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811108232.3A Active CN109660782B (zh) 2017-09-21 2018-09-21 减少立体深度传感器成像中的纹理化ir图案

Country Status (3)

Country Link
US (2) US10521920B2 (zh)
CN (1) CN109660782B (zh)
DE (1) DE102018119625A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897697A (zh) * 2022-05-18 2022-08-12 北京航空航天大学 一种面向相机成像模型的超分辨率重建方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2996014C (en) * 2015-08-24 2018-07-31 Titan Medical Inc. Method and apparatus for illuminating an object field imaged by a rectangular image sensor
US10762708B2 (en) * 2016-06-23 2020-09-01 Intel Corporation Presentation of scenes for binocular rivalry perception
US10403029B2 (en) * 2017-05-03 2019-09-03 Microsoft Technology Licensing, Llc Methods and systems for multistage post-rendering image transformation
EP3430595B1 (en) * 2017-05-23 2020-10-28 Brainlab AG Determining the relative position between a point cloud generating camera and another camera
CN107749070B (zh) * 2017-10-13 2020-06-02 京东方科技集团股份有限公司 深度信息的获取方法和获取装置、手势识别设备
US10694168B2 (en) * 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
US10721470B2 (en) * 2018-07-06 2020-07-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Compression of a raw image
CN109190484A (zh) * 2018-08-06 2019-01-11 北京旷视科技有限公司 图像处理方法、装置和图像处理设备
TWI694721B (zh) * 2018-10-08 2020-05-21 瑞昱半導體股份有限公司 紅外線串擾補償方法及其裝置
JP2020149174A (ja) * 2019-03-12 2020-09-17 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
US10805549B1 (en) * 2019-08-20 2020-10-13 Himax Technologies Limited Method and apparatus of auto exposure control based on pattern detection in depth sensing system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100933466B1 (ko) * 2009-08-28 2009-12-23 주식회사 래보 입체 영상 처리 장치 및 방법
US20140240492A1 (en) * 2013-02-28 2014-08-28 Google Inc. Depth sensor using modulated light projector and image sensor with color and ir sensing
CN104995660A (zh) * 2012-12-28 2015-10-21 微软技术许可有限责任公司 冗余像素减轻
US20150371393A1 (en) * 2014-06-19 2015-12-24 Qualcomm Incorporated Structured light three-dimensional (3d) depth map based on content filtering
US20160309134A1 (en) * 2015-04-19 2016-10-20 Pelican Imaging Corporation Multi-baseline camera array system architectures for depth augmentation in vr/ar applications

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9704250B1 (en) * 2014-10-30 2017-07-11 Amazon Technologies, Inc. Image optimization techniques using depth planes
US9694498B2 (en) * 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100933466B1 (ko) * 2009-08-28 2009-12-23 주식회사 래보 입체 영상 처리 장치 및 방법
CN104995660A (zh) * 2012-12-28 2015-10-21 微软技术许可有限责任公司 冗余像素减轻
US20140240492A1 (en) * 2013-02-28 2014-08-28 Google Inc. Depth sensor using modulated light projector and image sensor with color and ir sensing
US20150371393A1 (en) * 2014-06-19 2015-12-24 Qualcomm Incorporated Structured light three-dimensional (3d) depth map based on content filtering
US20160309134A1 (en) * 2015-04-19 2016-10-20 Pelican Imaging Corporation Multi-baseline camera array system architectures for depth augmentation in vr/ar applications

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肖朝等: "基于结构光的多投影显示系统图像对准算法", 《西南交通大学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114897697A (zh) * 2022-05-18 2022-08-12 北京航空航天大学 一种面向相机成像模型的超分辨率重建方法

Also Published As

Publication number Publication date
CN109660782B (zh) 2022-08-16
DE102018119625A1 (de) 2019-03-21
US10521920B2 (en) 2019-12-31
US20190087968A1 (en) 2019-03-21
US11113831B2 (en) 2021-09-07
US20200020120A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
CN109660782A (zh) 减少立体深度传感器成像中的纹理化ir图案
CN109618090B (zh) 对通过使用广角透镜捕获的图像的图像失真校正的方法和系统
CN105409211B (zh) 用于图像处理的带皮肤色调校正的自动白平衡
US11882369B2 (en) Method and system of lens shading color correction using block matching
US11823033B2 (en) Condense-expansion-depth-wise convolutional neural network for face recognition
US9727775B2 (en) Method and system of curved object recognition using image matching for image processing
US9965861B2 (en) Method and system of feature matching for multiple images
US10762664B2 (en) Multi-camera processor with feature matching
CN107431770A (zh) 自适应线性亮度域视频流水线架构
CN107851307A (zh) 对用于图像处理的拜耳类型图像数据去马赛克的方法和系统
US11871110B2 (en) Single image ultra-wide fisheye camera calibration via deep learning
CN108885785A (zh) 用于时间噪声减少的运动自适应流处理
CN106255990B (zh) 用于相机阵列的图像重对焦
CN116438804A (zh) 帧处理和/或捕获指令系统及技术
US9807313B2 (en) Method and system of increasing integer disparity accuracy for camera images with a diagonal layout
Song et al. Real-scene reflection removal with raw-rgb image pairs
CN115706870B (zh) 视频处理方法、装置、电子设备和存储介质
TWI471848B (zh) 顏色校正方法與影像處理裝置
US20210303824A1 (en) Face detection in spherical images using overcapture
US11636708B2 (en) Face detection in spherical images
CN114125319A (zh) 图像传感器、摄像模组、图像处理方法、装置和电子设备
CN114257733A (zh) 具有视点偏移的全向图像的图像处理的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200909

Address after: Tokyo, Japan

Applicant after: Sony Corp.

Address before: California, USA

Applicant before: INTEL Corp.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant