CN105229696A - 用于多维数据存取的并行存储器 - Google Patents

用于多维数据存取的并行存储器 Download PDF

Info

Publication number
CN105229696A
CN105229696A CN201480021493.5A CN201480021493A CN105229696A CN 105229696 A CN105229696 A CN 105229696A CN 201480021493 A CN201480021493 A CN 201480021493A CN 105229696 A CN105229696 A CN 105229696A
Authority
CN
China
Prior art keywords
data
storer
sticking patch
dimension
multidimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480021493.5A
Other languages
English (en)
Inventor
K·H·叶古罗
R·A·小布里特纳
G·E·史密斯
S·M·斯威利
R·阿迈德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105229696A publication Critical patent/CN105229696A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/44—Grating systems; Zone plate systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1876—Diffractive Fresnel lenses; Zone plates; Kinoforms
    • G02B5/189—Structurally combined with optical elements not having diffractive power
    • G02B5/1895—Structurally combined with optical elements not having diffractive power such optical elements having dioptric power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3024—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a central processing unit [CPU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0207—Addressing or allocation; Relocation with multidimensional access, e.g. row/column, matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/0292—User address space allocation, e.g. contiguous or non contiguous base addressing using tables or multilevel address translation means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G06F9/30043—LOAD or STORE instructions; Clear instruction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30098—Register arrangements
    • G06F9/3012—Organisation of register space, e.g. banked or distributed register file
    • G06F9/30123—Organisation of register space, e.g. banked or distributed register file according to context, e.g. thread buffers
    • G06F9/30127—Register windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本公开针对以交错的方式用多维数据加载并行存储器(如在一个或多个FPGA中)，使得可在对存储器的单个并行读取中用对应的数据填充多维补片/窗口。根据补片的位置，数据可例如被水平地和/或垂直地旋转，使得每个补片中的数据在补片中被一致地安排，而不管每片数据是从哪个存储器读取的。还描述了充分利用双端口存储器进行多行读取和/或在从缓冲器的一部分进行读取的同时加载缓冲器的另一部分。

Description

用于多维数据存取的并行存储器
背景
标准图像和信号处理算法通常在一采样窗口(高斯模糊)内处理数据。如果该窗口以光栅顺序整齐地“滑动”，则产生这个采样窗口是相对直接的，并且在很大程度上不随采样窗口大小增加(例如，更大半径高斯模糊)而变得明显更困难。
尽管这适用于蛮力算法，但(为了计算效率)用在大数据集合上的算法通常需要执行更专门的和有针对性的计算。在此情况下，在其上进行计算的采样窗口通常是在更大搜索空间内任意定位的窗口。如果分析是依赖于数据的，则发生类似情况。为这些更高级算法产生采样窗口是困难得多的问题。
一个解决方案将代表该更大搜索空间的数据存储在缓冲器中，并对该缓冲器使用一系列的随机存储器存取以逐渐构建所需要的样本。然而，这个解决方案在存储器处造成了瓶颈，限制了计算的速度。这是因为真实存储器具有有限的I/O能力(即同时读取端口)，从而“完整”样本能被存取的速度与采样窗口的大小呈负相关；(例如，具有非常大的样本窗口的算法就是不能与具有更小窗口的那些算法运行得一样快)。另一个问题是除非样本非常小，否则整个样本不能一次性被访问。这强烈地限制了能被执行的并行计算的量。然而，这正是在CPU上实现的解决方案。
一替代解决方案通过使用多个缓冲器创建该更大搜索空间的多个相同副本来避免存储器瓶颈。以此方式，并行数据项在所请求的窗口内被产生，仅受到并行缓冲器的数量的限制。该解决方案经得起直接硬件实现的检验。然而，具有多个副本带来了显著的资源成本，因为如果被规范化成恒定的性能要求，所需的存储器的量实质上与窗口大小成比例。
概述
提供本概述以便以简化形式介绍将在以下的详细描述中进一步描述的一些代表性概念的选集。本概述不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在以限制所要求保护的主题的范围的任何方式来使用。
简要来说，本文所述的主题的各方面中的一个或多个方面针对在存储器之间分配多维数据使得多维数据的补片/窗口能够在并行数据读取操作中被填充。存储器的数量是基于处理多维数据时使用的补片的每个维度的长度的乘积来计算的。存储器被读取来通过对存储器中每一个存储器的并行读取用与补片的位置相关联的多维数据填充一被放置的数据补片。
在一个或多个方面中，分配过程被配置成基于多维补片维度来确定存储器的数量。该分配过程以交错的方式用来自多维数组的数据加载存储器，其中这种交错提供了通过读取存储器填充的任一数据补片(对应于多维补片维度)具有从不同存储器读取的每个数据存取单元(一个或多个项作为一个单元一起被读取或写入)。
一个或多个方面针对将多维数据加载到多个存储器中，基于窗口的位置来确定每个存储器中的地址，以及用对所述多个存储器的单个并行读取来填充数据窗口。对应于该窗口数据的数据被输出，且该过程对不同的窗口位置重复。窗口数据可被旋转来提供对应于该窗口数据的数据。
结合附图阅读以下详细描述，本发明的其他优点会变得显而易见。
附图简述
作为示例而非限制，在附图中示出了本发明，附图中相同的附图标记指示相同或相似的元素，附图中：
图1是根据一个或多个示例实现，表示可被用于加载多维数据供并行读取(包括读入和读出现场可编程门阵列(FPGA)存储器)的示例组件的框图。
图2A和2B是根据一个或多个示例实现，数据可被如何以交错的方式加载到存储器中供随后的并行读取的表示。
图3是根据一个或多个示例实现，通过并行存储器读取填充的数据窗口的表示。
图4是根据一个或多个示例实现，通过并行存储器读取填充的数据窗口的表示，其中基于窗口位置执行数据的水平旋转以提供一致的返回模式。
图5是根据一个或多个示例实现，通过并行存储器读取填充的数据窗口的表示，其中基于窗口位置执行数据的水平和垂直旋转以提供一致的返回模式。
图6是根据一个或多个实例实现，多维数据的子集可如何被缓冲的表示。
图7是根据一个或多个实例实现，可如何用基于区间的偏移来安排存储器的表示。
图8是根据一个或多个实例实现，某一存储器的两行可如何被读取的表示。
图9是根据一个或多个示例实现表示以交错的方式加载存储器所采取的示例步骤的流程图。
图10是根据一个或多个示例实现表示并行读取补片/窗口数据并按需旋转数据所采取的示例步骤的流程图。
图11是表示其中可实现在本文中所描述的各实施例的一个或多个方面的游戏系统形式的示例性、非限制性计算系统或操作环境的框图。
详细描述
本文所述的技术的各方面一般针对在分开的存储器(包括“补片高速缓存”(patchcache))之间划分要被处理的数据，每个存储器保持该数据的一不同但交错的部分。交错基于要被处理的数据(诸如图像数据或其他现实世界采样的数据)是物理上或时间上相邻的，例如图像中的像素与其他像素相邻。
划分与交错(循环(round-robin))基于补片的维度(dimension)(例如二维数据处理中的窗口大小)。当需要一补片来处理时，数据被安排成使得对“补片高速缓存”的每个存取需要从该高速缓存内的每个存储器获得一个且仅一个值。这提供了快速单周期存取，以及很大程度的聚合并行带宽。
一般来说，本文所述的技术提供了一种利用图像或其他现实世界数据的自然物理空间局部性来无需复制就能维持高性能的存储器架构。这允许以非常小的资源开销获得极高的性能。
应当理解，本文中的任何示例均是非限制的。例如，诸多好处在硬件/FPGA/ASIC情形中是显而易见的，然而该技术可被用于其他情形中。进一步，在某些示例中使用二维图像数据来帮助以相对容易理解的方式传达概念，然而图像数据仅仅是一种类型的数据，包括二维以上的其他类型的数据可受益于本文所述的技术。因此，本发明不限制于本文所述的任何具体的实施例、方面、概念、结构、功能或示例。相反，本文所述的实施例、方面、概念、结构、功能或示例中的任一个都是非限制性的，并且可用一般在数据处理和/或连接的组件方面提供好处和优点的各种方式来使用本发明。
图1示出了其中要被处理的多维数组102(如二维图像数据)由数组处理组件104处理的示例系统。如本文所述，为了高效存取，数组处理组件104耦合于数据分配过程106，数据分配过程106将数组数据写入多个独立的(例如FPGA)存储器108(1)–108(4)，例如总地被安排成补片高速缓存110。该分配过程被示为编码在高速缓存110中，但是可以是一分开的过程，且可被结合在数组处理组件中。注意图1中仅示出了四个独立的存储器108(1)–108(4)，但是可使用任意实际数量，且该数量取决于补片的维度。
为了处理数据，数组处理组件104耦合于数据提取过程112，数据提取过程112从补片高速缓存110/独立的存储器108(1)–108(4)并行地读取数据补片。数组处理组件104处理每个补片，以及使用对一个或多个补片的处理来最终提供结果114。注意，数组处理组件也可以采用硬件，例如补片高速缓存。
为了从缓存数据中产生任意定位的大小为P的“补片”，数据在分开的存储器之间被划分，每个存储器保持该数据的一不同的但交错的部分。从而全部存储器在这些分开的存储器之间被划分；例如如果单个被串行存取的存储器在D空间中保持数据，则每个经划分的并行存储器保持该数据的D/P。
数据的维度可被枚举为N、N’、N”等，一直到数据维度的数量。该补片的每一个维度可被枚举为P、P’、P”等。补片高速缓存110在内部被组织成独立存储器的阵列。独立存储器的数量(M)是补片中每个维度长度的乘积。
转到一示例，图2A示出在二维4×4空间中产生2×2补片的安排。也就是说，该补片具有维度P和P’(各自长度为2)，而数据具有维度N和N’(各自长度为4)。该16个数据项在图2A中用字母A至P以及数组下标(0,0)至(3,3)来按照字母顺序表示。
在图2A中，以及同样示于图2B中，由于补片是2×2的，因此使用M＝2×2＝4个存储器，标记为MemW、MemX、MemY和MemZ。如果全部缓冲器能够在整个维度空间中保持B个值，则每个存储器保持B/M个值。在图2A和2B的该示例中，缓冲器大小B＝16，从而每个存储器保持4个值(图2B)。
数据可按从N至N’至N”等的某一维度组织的光栅顺序被写入高速缓存中。这些写入一般是低宽度的(例如在图2A中仅一个值宽)，但是可接受更宽的数据。例如，数据可按照一维条的形式进入。系统可接受小长度的条；这可被扩展到全宽度N长度条或者更高阶多维条。
高速缓存110接受数据并按照维度以循环(round-robin)形式写入数据。例如，如果数据以光栅顺序到达，首先沿维度N，然后沿维度N’等等，则每个维度的数据依次被写入补片数组中的每个维度。这跨第一数据维度的整个长度在补片数组的第一维度之中以循环方式进行，在补片数组的该第一维度上回绕(wrap)。沿该数据的渐高维度的后续数据跨补片数组的渐高纬度而被循环分配，同样回绕补片数组的每个维度。如果数据的维度阶数高于补片的维度阶数，则循环排序在补片的第一维度重新开始。这种分配(例如对于三个维度)可被表示为：
列＝列地址modP
行＝行地址modP’
深度＝深度地址modP”
例如，在图2A中，MemW和MemX存储器在维度P×P’数组的第一行中(沿P维度)，而MemY和MemZ存储器在维度P×P’数组的第二行中(同样沿P维度，但此时在下一P’维度行中)。
由于在该示例中数据的N维度的长度是4，且补片的P维度是2，则前两个数据点A和B进入高速缓存并被分别放置在MemW和MemX存储器中。当第三数据点C进入高速缓存时，P维度的长度已被用尽，但N维度还未被用尽。从而，P维度将绕回，且第三和第四数据点C和D被分别置于MemW和MemX存储器中。
此时，N维度已被用尽，因此第五、第六、第七和第八数据点(E-H)以类似方式进入MemY、MemZ、MemY、MemZ存储器中。
此时，N维度和P’维度都被用尽，但是N’维度未被用尽，从而第九、第十、第十一以及第十二数据点(I-L)沿P’维度绕回MemW和MemX存储器。这继续到N×N’数据的结尾，例如在图2A和2B的示例中M-P被写入MemY和MemZ存储器中。
注意，为了维持2×2补片但具有第三数据维度(如输入数据是时间上的2D图像)，且希望跨N”维度从任何时间片获得图像的任一2×2补片(例如补片数组的维度小于数据的维度)，跨N”维度的第二、第三等时间片以相同的MemW、MemX、MemW、MemX、MemY、MemZ、MemY、MemZ、MemW、MemX……安排绕回到第一P维度。
当数据被分配且需要从存储器中按照“P×P’×P”...”补片被读回时，来自每个存储器的输出可沿每个维度被重新安排到一致的定向。例如，如图3-5中所示，任一2×2补片中的左上角像素(由虚线框表示)可来自于阵列中四个存储器中的任一个。从而，如果数据从MemW、MemX、MemY、MemZ按顺序被返回，则该顺序不对应于补片顺序。例如，在图4中，B、C、F、G是希望的补片数据，但是对应于MemW、MemX、MemY和MemZ的顺序是C、B、G和F。
对于某些使用情形，该顺序是不相关的，例如如果数组处理组件104仅仅是对返回值求和。然而，其他应用期望数据以一致的方式被返回，例如左上角、右上角以及左下角、右下角。
假设来自存储器的输出保持静态，这些值可能需要沿每个轴(维度P然后接着是按照维度P’)被旋转来确保每个结果补片的左上角像素保持在一致的位置中，以此类推。
如可看到的，来自图3中补片332的数据330不需要重排序。来自图4中补片442的数据440需要每行的水平移位来获得经排序数据444，即B、C、F、G。
图5中补片552的数据550需要水平移位(数据554)以及垂直移位(数据556)两者来获得F、G、J和K。进一步注意到，图5中的行数据需要经一偏移来被存取，以计及下一垂直行，例如存储器MemW被安排成A(0,0)、C(2,0)、I(0,2)和K(2,2)。如本文所使用的，由于在该示例中补片窗口的行高度是2，MemW被认为具有对应于该偏移的两个区间，即包含A(0,0)与C(2,0)区间0，以及包含I(0,2)与K(2,2)的区间1。这种基于区间的偏移寻址允许补片窗口在被置于任一行处时用正确的数据被填充，如图5中那样。
旋转可通过一系列移位寄存器来高效地完成。对于任何补片(窗口)维度的旋转(例如在二维中)是根据下式确定的：
X旋转＝X％Aw，X
Y旋转＝Y％AwY
其中％指示出模运算，而AwX和AwY定义了存取窗口，即补片维度，而X和Y是补片的起始坐标。
整个数组(如图像数据的完整集合)不需要同时被放入高速缓存中。例如，如图6中一般地示出的那样，图像的一部分(例如，一带)660可被写入存储器中，并被读回和处理。在图6中，被读取的该带介于由水平虚线指示出的Y低和Y高之间。一般来说，补片/存取窗口662需要能够被放置在该带中的任何地方(像素上对齐)，且由AwX(补片宽度)和AwY(补片高度)定义，在上述示例中例如可以是2×2窗口。如可容易理解的那样，在从不向上移动的滑动窗口情形中，一旦窗口向下移动一行，该行被释放且可被要处理的更多的数据来盖写，只要回绕/环形缓冲器情形被跟踪(因为图像中下一较低行现在位于缓冲器中的滑动窗口之上)。
在具有双端口存储器的一些实现中，存储器的一部分可被写入，同时从另一部分进行读取。从而，随着某一行被释放，它可在下一行正被处理的同时被写入。在非双端口存储器情形中，当需要新的写入时，读取需要暂停。并且，如下所述，在双端口存储器的情况下，可能有时两个端口都正被用于读取；如果不是这种情况，则读取和写入可在同一周期上发生。然而，这种机会可能不发生，或者写入可能落在读取后面，从而需要发生读取的某种暂停。
图7示出每个存储器被划分成区间，如sec0和sec1，以在数据中提供偏移来匹配补片的垂直行位置，如上所述。为此，区间号是从Y坐标计算的以便给出包含要被存取的行的存储器部分的起始地址。换言之，区间号以及因此存储器中的地址基于Y坐标；为了在存储器中找到用于某一大小(区间大小)的区间的地址，可使用下式：
图8示出另一替代，其中对于一次读取不是返回一个数据项(如像素)，而是返回两个像素作为一个单元。这可能是因为例如像素是8位宽且存储器是16位宽，从而一次读取两个像素。注意，如此处所使用的，术语“存取单元”指的是合适的任何读取和写入方案，例如一字节读取、两字节读取、四字节读取等。注意，使用的方案影响所需要的存储器的数量；例如，如果补片是4×4且每个存储器提供两个像素，则需要横向两个存储器以及向下四个存储器。
然而，如图8中虚线所表示的，使用4×4存取窗口作为示例，有时该窗口被放置成使得需要一次从一存储器读取不只一行来填充该窗口。对于允许从一个存储器提取两行的双端口存储器来说这不是问题；这两行被串接并且任何旋转如上所述地被处理。然而，如果不是双端口的，则需要两个时钟周期。进一步，如上所述，如果是双端口但一个端口正被用于同时写入，则要么写入需要被暂停来允许双读取，要么需要两个时钟周期来读取。
图9是示出用于基于窗口(补片)大小在存储器之间交错数据的示例步骤的流程图。图9一般地是参照两个维度来描述的，且假设数据将适合于存储器(不管是作为整体还是通过如上所述地一次一个带)。步骤902获得补片维度，如作为数组处理算法执行的设置过程的一部分。步骤904表示根据补片维度来分配存储器，例如2×2补片具有4个存储器，3×3是9个，4×4是16个，以此类推。
步骤906选择数据的第一维度，例如以坐标0开始的X维度。步骤908基于X维度选择存储器，诸如对于2×2补片来说四个存储器中的前两个，对于2×2补片来说是前三个，以此类推。
步骤910表示在所选择的存储器之间沿X轴对数据进行交错，例如在它们之间交替。注意，如上所述，数据根据需要在所选的存储器中绕回。这继续直到第一维度用尽为止，也就是说整个行都被放在所选的存储器中为止。
当第一维度用尽，步骤914评估第二维度是否用尽，即最后一行是否已被置于存储器中。如果否，则在步骤916处，第一维度被“重置”(如X坐标返回0)且下一维度被递增，例如Y坐标移动到下一行。
步骤908选择接下来的存储器，例如不是先前所使用的存储器。例如，对于2×2补片，每隔一行被置于不同的一对存储器中；对于3×3补片，每三行被置于不同的一组三个存储器中，以此类推。以此方式，窗口中的每一值处于不同的存储器中。
该过程沿各列继续在存储器之间交替直到第一维度(行)用尽为止，以及沿各行在存储器之间交替直到所有行用尽为止。此时，存储器准备好供读取。注意，如上所述，如果滑动窗口情形在使用中，则一旦已经写入了足够的行来用数据填充某一补片，就可开始读取。如果窗口被允许在任何时候放在缓冲器的任何地方，则缓冲器需要被填充。
图10表示读取数据，在步骤1002开始，在该步骤处窗口数据(如起始坐标与大小)被接收。注意，在滑动窗口情形中，图10的逻辑可简单地接收“下一位置”命令并水平地移动窗口直到需要向下移动到下一行为止。
步骤1004表示对存取窗口中的每个数据点计算每个存储器中的地址，例如使用上述的地址计算。注意，不是完整计算，在滑动窗口情形中，前一计算可被用于确定每个存储器中的下一位置，因为窗口位置和底层存储器有规律地改变。
步骤1006在存储器的相应的地址将存储器并行读入一组移位寄存器等。如上所述，步骤1008执行任何所需的X旋转，且步骤1010执行任何所需的Y旋转。此时，窗口被输出，以正确的顺序填充有正确的数据。
示例性操作环境
图11示出了其中可实现例如在此所描述的计算机相关示例和实现的合适计算和联网环境/系统1100的示例。作为一个示例，计算和联网环境1100可用数据和/或逻辑来编程FPGA以执行本文所述的多维数组处理，提供输入数据(如捕捉图像)，接收输出数据等。然而，计算和联网环境1100还可至少部分地用软件来实现图1至10所述的技术。
可以容易地理解以上所描述的实施方式及其替换方式可实现在任何合适的计算设备上，包括游戏系统、个人计算机、平板电脑、DVD、机顶盒、智能电话等。当多个这样的设备被链接在一起时，这样的设备的组合也是可行的。为了描述的目的，以下描述了一个游戏(包括媒体)系统作为一个示例性操作环境。
图11是示例游戏和媒体系统1100的功能框图并且更详细地示出各功能组件。控制台1101具有中央处理单元(CPU)1102以及便于处理器访问各种类型的存储器的存储器控制器1103，各种类型的存储器包括闪存只读存储器(ROM)1104、随机存取存储器(RAM)1106、硬盘驱动器1108，以及便携式媒体驱动器1109。在一种实现中，CPU1102包括1级高速缓存1110和2级高速缓存1112，这些高速缓存用于临时存储数据并因此减少对硬盘驱动器进行的存储器访问周期的数量，从而提高了处理速度和吞吐量。
CPU1102、存储器控制器1103、以及各种存储器设备经由一个或多个总线(未示出)互连。在此实现中所使用的总线的细节对理解此处所讨论的关注主题不是特别相关。然而，应该理解，这样的总线可以包括串行和并行总线、存储器总线、外围总线、使用各种总线体系结构中的任何一种的处理器或局部总线中的一个或多个。作为示例，这样的架构可以包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)局部总线、以及也称为夹层总线的外围部件互连(PCI)总线。
在一个实现中，CPU1102、存储器控制器1103、ROM1104以及RAM1106被集成到公用模块1114上。在此实现中，ROM1104被配置为经由外围部件互联(PCI)总线或类似的以及ROM总线(两者都未示出)或类似的连接到存储器控制器1103的闪存ROM。RAM1106被配置为多个双倍数据速率同步动态RAM(DDRSDRAM)模块，它们被存储器控制器1103通过分开的总线(未示出)独立地进行控制。硬盘驱动器1108和便携式媒体驱动器1109被示为通过PCI总线和AT附加(ATA)总线1116连接到存储器控制器1103。然而，在其他实现中，也可以备选地应用不同类型的专用数据总线结构。
三维图形处理单元1120和视频编码器1122构成了视频处理流水线，用于进行高速度和高分辨率(例如，高清晰度)图形处理。数据通过数字视频总线(未示出)从图形处理单元1120传输到视频编码器1122。音频处理单元1124和音频编解码器(编码器/解码器)1126构成了对应的音频处理流水线，用于对各种数字音频格式进行多通道音频处理。通过通信链路(未示出)在音频处理单元1124和音频编解码器1126之间传送音频数据。视频和音频处理流水线向A/V(音频/视频)端口1128输出数据，以便传输到电视机或其它显示器/扬声器。在例示出的实施方式中，视频和音频处理组件1120、1122、1124、1126以及1128被安装在模块1114上。
图11示出了包括USB主控制器1130和网络接口(NWI/F)1132的模块1114，网络接口1132可包括有线和/或无线组件。USB主控制器1130被示为通过总线(例如，PCI总线)与CPU1102和存储器控制器1103进行通信，并作为外围控制器1134的主机。网络接口1132提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线和无线接口组件中的任何一种。
在图11中描绘的示例实现中，控制台1101包括用于支持四个控制器1141(1)-1141(4)的控制器支持子部件1141。控制器支持子部件1140包括支持与诸如，例如，媒体和游戏控制器之类的外部控制设备的有线和/或无线操作所需的任何硬件和软件组件。前面板I/O子部件1142支持电源按钮1143、弹出按钮1144，以及任何其它按钮和任何LED(发光二极管)或暴露在控制台1101的外表面上的其它指示器等多个功能。子部件1140和1142经由一个或多个线缆子部件1146或类似的与模块1114通信。在其他实现中，控制台1101可以包括另外的控制器子组件。所示出的实现还示出了被配置为发送和接收可传递给模块1114的信号(例如来自遥控器1149)的光学I/O接口1148。
存储器单元(MU)1150(1)和1150(2)被示为可以分别连接到MU端口“A”1152(1)和“B”1152(2)。每一个MU1150都提供附加存储，在其上面可以存储游戏、游戏参数、及其它数据。在一些实现中，其他数据可以包括数字游戏组件、可执行的游戏应用，用于扩展游戏应用的指令集、以及媒体文件中的一个或多个。当被插入到控制台1101中时，每个MU1150可由存储器控制器1103访问。
系统供电模块1154向游戏系统1100的组件供电。风扇1156冷却控制台1101内的电路。
包括机器指令的应用1160被通常存储在硬盘驱动器1108上。当控制台1101通电时，应用1160的各个部分被加载到RAM1106和/或高速缓存1110和1112中以供在CPU1102上执行。总得来说，应用1160可包括一个或多个程序模块，用于执行各种显示功能，诸如控制对话屏幕供呈现在显示器上(例如，高分辨率监视器)、基于用户输入控制会话以及控制控制台1101和外部连接的设备指尖的数据传输和接收。
可以通过简单地将系统连接到高分辨率监视器、电视机、视频投影仪、或其它显示设备来将游戏系统1100用作独立系统。在此独立模式下，游戏系统1100允许一个或多个玩家玩游戏或欣赏数字媒体，例如观看电影或欣赏音乐。然而，随着宽带连接的集成通过网络接口1132而成为可能，游戏系统1100还可以作为更大的网络游戏社区或系统的参与组件来操作。
结语
尽管本发明易于作出各种修改和替换构造，但其某些说明性实施例在附图中示出并在上面被详细地描述。然而应当了解，这不旨在将本发明限于所公开的具体形式，而是相反地，旨在覆盖落入本发明的精神和范围之内的所有修改、替换构造和等效方案。

Claims (10)

1.一种方法，包括在存储器之间分配多维数据，其中存储器的数量是基于处理所述多维数据时所使用的补片的每个维度的长度的乘积来确定的，以及通过对每个存储器的并行读取来读取存储器以用对应于补片的位置的多维数据填充一被放置的数据补片。
2.如权利要求1所述的方法，其特征在于，分配多维数据包括：a)将所述多维数据的一带加载到包括所述存储器的一缓冲器中，或者b)交替地将对应于数据的第一维度的数据写到对应于补片的第一维度的第一组存储器，或者c)交替地将对应于数据的第一维度的数据写到对应于补片的第二维度的第二组第二存储器，或者a)、b)或c)的任意组合。
3.如权利要求1所述的方法，其特征在于，所述存储器包括双端口存储器，且a)其中读取存储器包括在单个周期中从两个地址读取数据，或者b)进一步包括写入一存储器的存储器地址，同时从该存储器的不同或相同存储器地址读取，或者a)和b)两者。
4.如权利要求1所述的方法，其特征在于，进一步包括(a)基于补片的位置以垂直旋转将补片中的数据旋转0次或更多次以旋转成一致的顺序，以及在对数据的任何旋转之后返回补片，或者(b)基于补片的位置以水平旋转将补片中的数据旋转0次或更多次以及以垂直旋转将补片中的数据旋转至少一次以旋转成一致的顺序，以及在对数据的任何旋转之后返回补片，或者a)和b)两者。
5.一种系统，包括被配置成基于多维补片维度来确定存储器的数量的分配过程，所述分配过程进一步被配置成以交错的方式用来自多维数组的数据加载所述存储器，其中所述交错提供了对应于所述多维补片维度的通过读取存储器填充的任一数据补片具有从不同存储器读取的每个数据存取单元。
6.如权利要求5所述的系统，其特征在于，所述存储器被包含在单个现场可编程门阵列中，或者所述存储器被分布在多个现场可编程门阵列之中。
7.如权利要求5所述的系统，其特征在于，进一步包括被配置成用从所述存储器并行读取的数据填充相对于所述多维数组的一给定位置处的补片的提取过程。
8.如权利要求7所述的系统，其特征在于，所述提取过程被配置成将从所述存储器读取的数据旋转成一致的顺序。
9.一个或多个具有可执行指令的计算机可读存储介质或逻辑，所述可执行指令在被执行时执行以下步骤，包括：
(a)将多维数据加载到多个存储器中；
(b)基于一窗口的位置确定每个存储器中的地址；
(c)用对所述多个存储器的单个并行读取来填充一数据窗口；
(d)输出对应于所述数据窗口的数据；
(e)对于至少多个不同窗口位置，当所述窗口的位置改变时，返回步骤(b)。
10.如权利要求9所述的一个或多个计算机可读存储介质或逻辑，其特征在于，进一步具有包括旋转所述数据窗口中的数据的可执行指令。
CN201480021493.5A 2013-04-15 2014-04-14 用于多维数据存取的并行存储器 Pending CN105229696A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361812232P 2013-04-15 2013-04-15
US61/812,232 2013-04-15
US13/918,892 US9760770B2 (en) 2013-04-15 2013-06-14 Parallel memories for multidimensional data access
US13/918,892 2013-06-14
PCT/US2014/033915 WO2014172227A1 (en) 2013-04-15 2014-04-14 Parallel memories for multidimensional data access

Publications (1)

Publication Number Publication Date
CN105229696A true CN105229696A (zh) 2016-01-06

Family

ID=51686521

Family Applications (8)

Application Number Title Priority Date Filing Date
CN201480021487.XA Active CN105143817B (zh) 2013-04-15 2014-04-14 通过移动图案投影仪对深度图进行超解析
CN201480021528.5A Active CN105210112B (zh) 2013-04-15 2014-04-14 带有用于对眼睛安全的操作的非衍射光扩大的衍射光学元件
CN201480021519.6A Active CN105247859B (zh) 2013-04-15 2014-04-14 一个或多个卫星设备的主动立体显像
CN201480021199.4A Active CN105229412B (zh) 2013-04-15 2014-04-14 用于主动立体的强度调制光图案
CN201480021493.5A Pending CN105229696A (zh) 2013-04-15 2014-04-14 用于多维数据存取的并行存储器
CN201480021958.7A Active CN105230003B (zh) 2013-04-15 2014-04-14 用于校准图像捕捉设备的颜色校正变换的方法和系统
CN201480021422.5A Active CN105308650B (zh) 2013-04-15 2014-04-14 用于确定立体图像中的块的相似度的方法和系统
CN201480021460.0A Active CN105229411B (zh) 2013-04-15 2014-04-14 稳健的立体深度系统

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN201480021487.XA Active CN105143817B (zh) 2013-04-15 2014-04-14 通过移动图案投影仪对深度图进行超解析
CN201480021528.5A Active CN105210112B (zh) 2013-04-15 2014-04-14 带有用于对眼睛安全的操作的非衍射光扩大的衍射光学元件
CN201480021519.6A Active CN105247859B (zh) 2013-04-15 2014-04-14 一个或多个卫星设备的主动立体显像
CN201480021199.4A Active CN105229412B (zh) 2013-04-15 2014-04-14 用于主动立体的强度调制光图案

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201480021958.7A Active CN105230003B (zh) 2013-04-15 2014-04-14 用于校准图像捕捉设备的颜色校正变换的方法和系统
CN201480021422.5A Active CN105308650B (zh) 2013-04-15 2014-04-14 用于确定立体图像中的块的相似度的方法和系统
CN201480021460.0A Active CN105229411B (zh) 2013-04-15 2014-04-14 稳健的立体深度系统

Country Status (11)

Country Link
US (14) US20140307055A1 (zh)
EP (9) EP2987132B1 (zh)
JP (1) JP6469080B2 (zh)
KR (2) KR102130187B1 (zh)
CN (8) CN105143817B (zh)
AU (1) AU2014254219B2 (zh)
BR (1) BR112015025819A8 (zh)
CA (1) CA2907895C (zh)
MX (1) MX357307B (zh)
RU (1) RU2663329C2 (zh)
WO (8) WO2014172227A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204414A (zh) * 2016-08-05 2016-12-07 蓝普金睛（北京）科技有限公司 一种动态图像缓存的方法及系统
CN106909320A (zh) * 2017-02-20 2017-06-30 北京中科睿芯科技有限公司 一种多维数据扩充传输的方法、装置以及系统
CN106980630A (zh) * 2016-01-19 2017-07-25 阿里巴巴集团控股有限公司 一种数据旋转展示方法及装置
CN112559037A (zh) * 2019-09-25 2021-03-26 阿里巴巴集团控股有限公司 一种指令执行方法、单元、装置及系统

Families Citing this family (168)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120072245A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 스테레오 영상 정합 장치 및 방법
JP6305941B2 (ja) * 2012-03-13 2018-04-04 ドルビー ラボラトリーズ ライセンシング コーポレイション オブジェクト向上のためのライティング・システムおよび方法
EP2700920B1 (en) 2012-08-23 2016-06-22 ams AG Light sensor system and method for processing light sensor signals
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US9467680B2 (en) 2013-12-12 2016-10-11 Intel Corporation Calibration of a three-dimensional acquisition system
EP3088839B1 (en) * 2013-12-27 2018-12-26 Sony Corporation Image processing device and image processing method
US9720506B2 (en) * 2014-01-14 2017-08-01 Microsoft Technology Licensing, Llc 3D silhouette sensing system
US10538074B2 (en) * 2014-01-16 2020-01-21 Hewlett-Packard Development Company, L.P. Processing slice data
US11265534B2 (en) * 2014-02-08 2022-03-01 Microsoft Technology Licensing, Llc Environment-dependent active illumination for stereo matching
US9842424B2 (en) * 2014-02-10 2017-12-12 Pixar Volume rendering using adaptive buckets
WO2015134961A1 (en) 2014-03-07 2015-09-11 Brown University Method and system for unsynchronized structured lighting
US10005126B2 (en) * 2014-03-19 2018-06-26 Autodesk, Inc. Systems and methods for improved 3D printing
US9674493B2 (en) * 2014-03-24 2017-06-06 Omnivision Technologies, Inc. Color image sensor with metal mesh to detect infrared light
WO2015152829A1 (en) * 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
GB201407270D0 (en) * 2014-04-24 2014-06-11 Cathx Res Ltd 3D data in underwater surveys
US9823842B2 (en) 2014-05-12 2017-11-21 The Research Foundation For The State University Of New York Gang migration of virtual machines using cluster-wide deduplication
US9533449B2 (en) 2014-06-19 2017-01-03 Autodesk, Inc. Material deposition systems with four or more axes
US10252466B2 (en) 2014-07-28 2019-04-09 Massachusetts Institute Of Technology Systems and methods of machine vision assisted additive fabrication
EP3074721B1 (en) * 2014-08-08 2021-05-19 CEMB S.p.A. Vehicle equipment with scanning system for contactless measurement
US10455212B1 (en) * 2014-08-25 2019-10-22 X Development Llc Projected pattern motion/vibration for depth sensing
JP6397698B2 (ja) * 2014-08-28 2018-09-26 任天堂株式会社 情報処理端末、情報処理プログラム、情報処理端末システム、および情報処理方法
US9507995B2 (en) * 2014-08-29 2016-11-29 X Development Llc Combination of stereo and structured-light processing
DE102014113389A1 (de) * 2014-09-17 2016-03-17 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Identifizieren von Strukturelementen eines projizierten Strukturmusters in Kamerabildern
EP3018587B1 (en) * 2014-11-05 2018-08-29 Renesas Electronics Europe GmbH Memory access unit
EP3043159B1 (en) * 2015-01-08 2019-12-18 ams AG Method for processing light sensor signals and light sensor system
EP3236199A4 (en) * 2014-12-15 2018-06-06 Sony Corporation Image capture device assembly, three-dimensional shape measurement device, and motion detection device
EP3040941B1 (en) * 2014-12-29 2017-08-02 Dassault Systèmes Method for calibrating a depth camera
US11562286B2 (en) * 2015-02-06 2023-01-24 Box, Inc. Method and system for implementing machine learning analysis of documents for classifying documents by associating label values to the documents
DE102015202182A1 (de) * 2015-02-06 2016-08-11 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur sequentiellen, diffraktiven Musterprojektion
US9699394B2 (en) 2015-03-09 2017-07-04 Microsoft Technology Licensing, Llc Filter arrangement for image sensor
JP6484071B2 (ja) * 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
CN106032059B (zh) * 2015-03-13 2019-11-26 三纬国际立体列印科技股份有限公司 立体打印方法与立体打印装置
KR102238794B1 (ko) * 2015-03-25 2021-04-09 한국전자통신연구원 영상 촬영 장치의 촬영 속도 증가 방법
WO2016157601A1 (ja) 2015-03-30 2016-10-06 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
EP3081384B1 (en) * 2015-04-17 2019-11-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
KR102483838B1 (ko) 2015-04-19 2023-01-02 포토내이션 리미티드 Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처
US9751263B2 (en) * 2015-04-20 2017-09-05 Xerox Corporation Injection molding to finish parts printed with a three-dimensional object printer
WO2016187344A1 (en) * 2015-05-18 2016-11-24 Lasermotive, Inc. Multi-layered safety system
US9683834B2 (en) * 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
US9495584B1 (en) * 2015-06-05 2016-11-15 Digital Signal Corporation System and method for facial recognition using images captured from a target illuminated with infrared light
US11054664B2 (en) * 2015-06-18 2021-07-06 Apple Inc. Monitoring DOE performance using software scene evaluation
US9734409B2 (en) * 2015-06-24 2017-08-15 Netflix, Inc. Determining native resolutions of video sequences
US10607351B2 (en) * 2015-07-13 2020-03-31 Koninklijke Philips N.V. Method and apparatus for determining a depth map for an image
US10510149B2 (en) 2015-07-17 2019-12-17 ams Sensors Singapore Pte. Ltd Generating a distance map based on captured images of a scene
WO2017023210A1 (en) 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
US10672137B2 (en) 2015-08-19 2020-06-02 Ams Sensors Singapore Pte. Ltd. Generating a disparity map having reduced over-smoothing
CN106550228B (zh) * 2015-09-16 2019-10-15 上海图檬信息科技有限公司 获取三维场景的深度图的设备
US20170116779A1 (en) * 2015-10-26 2017-04-27 Microsoft Technology Licensing, Llc Volumetric representation of objects
US10554956B2 (en) 2015-10-29 2020-02-04 Dell Products, Lp Depth masks for image segmentation for depth-based computational photography
US10021371B2 (en) 2015-11-24 2018-07-10 Dell Products, Lp Method and apparatus for gross-level user and input detection using similar or dissimilar camera pair
KR102323217B1 (ko) * 2015-12-21 2021-11-08 삼성전자주식회사 매크로 픽셀의 노이즈를 제어하는 뎁스 센서, 3차원 카메라 및 제어 방법
US9800795B2 (en) 2015-12-21 2017-10-24 Intel Corporation Auto range control for active illumination depth camera
US10761497B2 (en) 2016-01-14 2020-09-01 Microsoft Technology Licensing, Llc Printing 3D objects with automatic dimensional accuracy compensation
KR102417177B1 (ko) * 2016-02-18 2022-07-05 애플 인크. 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
JP6860000B2 (ja) * 2016-03-03 2021-04-14 ソニー株式会社 医療用画像処理装置、システム、方法、プログラム、画像処理システム及び医療用画像処理システム
DE102016106121A1 (de) 2016-04-04 2017-10-05 Carl Zeiss Ag Verfahren und Vorrichtung zum Bestimmen von Parametern zur Brillenanpassung
US20190196449A1 (en) * 2016-05-06 2019-06-27 Yunbo ZHANG Determining manufacturable models
CN107836112B (zh) * 2016-06-08 2019-03-12 松下知识产权经营株式会社 投影系统
US10659764B2 (en) 2016-06-20 2020-05-19 Intel Corporation Depth image provision apparatus and method
US10609359B2 (en) * 2016-06-22 2020-03-31 Intel Corporation Depth image provision apparatus and method
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
CN106210568A (zh) * 2016-07-15 2016-12-07 深圳奥比中光科技有限公司 图像处理方法以及装置
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
US10192311B2 (en) * 2016-08-05 2019-01-29 Qualcomm Incorporated Methods and apparatus for codeword boundary detection for generating depth maps
CN106375740B (zh) * 2016-09-28 2018-02-06 华为技术有限公司 生成rgb图像的方法、装置和系统
CN106447588A (zh) * 2016-09-30 2017-02-22 天津大学 菲涅耳变换域混沌双随机相位编码光学图像加密方法
JP6645394B2 (ja) * 2016-10-03 2020-02-14 株式会社デンソー 画像センサ
EP3554798B1 (en) 2016-12-16 2020-12-02 Massachusetts Institute of Technology Adaptive material deposition for additive manufacturing
EP3565259A1 (en) * 2016-12-28 2019-11-06 Panasonic Intellectual Property Corporation of America Three-dimensional model distribution method, three-dimensional model receiving method, three-dimensional model distribution device, and three-dimensional model receiving device
US10372974B2 (en) 2017-01-11 2019-08-06 Microsoft Technology Licensing, Llc 3D imaging recognition by stereo matching of RGB and infrared images
CN108399633A (zh) * 2017-02-06 2018-08-14 罗伯团队家居有限公司 用于立体视觉的方法和装置
CN106908391A (zh) * 2017-02-10 2017-06-30 广东欧珀移动通信有限公司 终端中盖板玻璃颜色识别方法和装置
WO2018154965A1 (ja) * 2017-02-24 2018-08-30 ソニー株式会社 画像処理装置及び撮像装置
US10955814B2 (en) 2017-04-24 2021-03-23 Autodesk, Inc. Closed-loop robotic deposition of material
US11181886B2 (en) * 2017-04-24 2021-11-23 Autodesk, Inc. Closed-loop robotic deposition of material
CN107084686B (zh) * 2017-04-26 2019-04-30 西安交通大学 一种无运动部件的动态多光刀扫描测量方法
EP3631757B1 (en) * 2017-05-31 2024-01-03 Hewlett-Packard Development Company, L.P. Deriving topology information of a scene
US20180347967A1 (en) * 2017-06-01 2018-12-06 RGBDsense Information Technology Ltd. Method and apparatus for generating a random coding pattern for coding structured light
US10817493B2 (en) 2017-07-07 2020-10-27 Raytheon Company Data interpolation
KR102346031B1 (ko) 2017-07-25 2022-01-03 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
KR102402477B1 (ko) * 2017-08-04 2022-05-27 엘지이노텍 주식회사 ToF 모듈
US10586342B2 (en) * 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
US10962790B2 (en) 2017-09-05 2021-03-30 Facebook Technologies, Llc Depth measurement using a pulsed structured light projector
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors
DE102017215850B4 (de) * 2017-09-08 2019-12-24 Robert Bosch Gmbh Verfahren zur Herstellung eines diffraktiven optischen Elements, LIDAR-System mit einem diffraktiven optischen Element und Kraftfahrzeug mit einem LIDAR-System
CN107884066A (zh) * 2017-09-29 2018-04-06 深圳奥比中光科技有限公司 基于泛光功能的光传感器及其3d成像装置
US10310281B1 (en) * 2017-12-05 2019-06-04 K Laser Technology, Inc. Optical projector with off-axis diffractive element
US10545457B2 (en) 2017-12-05 2020-01-28 K Laser Technology, Inc. Optical projector with off-axis diffractive element and conjugate images
CN109889799B (zh) * 2017-12-06 2020-08-25 西安交通大学 基于rgbir摄像头的单目结构光深度感知方法及装置
US10628952B2 (en) 2017-12-11 2020-04-21 Google Llc Dual-band stereo depth sensing system
US11227371B2 (en) * 2017-12-14 2022-01-18 Nec Corporation Image processing device, image processing method, and image processing program
DE102017222708A1 (de) * 2017-12-14 2019-06-19 Conti Temic Microelectronic Gmbh 3D-Umfelderfassung mittels Projektor und Kameramodulen
JP6939501B2 (ja) * 2017-12-15 2021-09-22 オムロン株式会社 画像処理システム、画像処理プログラム、および画像処理方法
CN108133494A (zh) * 2018-01-17 2018-06-08 南京华捷艾米软件科技有限公司 利用rgb-ir同时生成深度图和彩色图的系统和方法
DE102019000272B4 (de) 2018-01-19 2023-11-16 Cognex Corporation System zum bilden einer homogenisierten beleuchtungslinie, die als eine linie mit geringem speckle bildlich erfasst werden kann
US10317684B1 (en) 2018-01-24 2019-06-11 K Laser Technology, Inc. Optical projector with on axis hologram and multiple beam splitter
CN108319437B (zh) * 2018-02-28 2019-01-11 上海熙香艺享电子商务有限公司 内容大数据密集程度分析平台
CN108490632B (zh) * 2018-03-12 2020-01-10 Oppo广东移动通信有限公司 激光投射模组、深度相机和电子装置
EP3769121A4 (en) * 2018-03-20 2021-12-29 Magik Eye Inc. Distance measurement using projection patterns of varying densities
US10643341B2 (en) 2018-03-22 2020-05-05 Microsoft Technology Licensing, Llc Replicated dot maps for simplified depth computation using machine learning
US10565720B2 (en) 2018-03-27 2020-02-18 Microsoft Technology Licensing, Llc External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality
US10771766B2 (en) * 2018-03-30 2020-09-08 Mediatek Inc. Method and apparatus for active stereo vision
CN108564613A (zh) * 2018-04-12 2018-09-21 维沃移动通信有限公司 一种深度数据获取方法及移动终端
US10520923B2 (en) * 2018-05-22 2019-12-31 Mantle Inc. Method and system for automated toolpath generation
US10878590B2 (en) * 2018-05-25 2020-12-29 Microsoft Technology Licensing, Llc Fusing disparity proposals in stereo matching
CN108917640A (zh) * 2018-06-06 2018-11-30 佛山科学技术学院 一种激光盲孔深度检测方法及其系统
FI128523B (en) 2018-06-07 2020-07-15 Ladimo Oy Modeling of topography of a 3D surface
JP7297891B2 (ja) 2018-07-19 2023-06-26 アクティブ サージカル， インコーポレイテッド 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法
US11067820B2 (en) * 2018-07-31 2021-07-20 Himax Technologies Limited Structured light projector and three-dimensional image sensing module
CN109102540B (zh) * 2018-08-16 2022-01-28 杭州电子科技大学 基于fpga的标记面积块下限分离分道方法
TWI676781B (zh) * 2018-08-17 2019-11-11 鑑微科技股份有限公司 三維掃描系統
US10761337B2 (en) * 2018-08-24 2020-09-01 Himax Technologies Limited Projecting apparatus for spreading non-diffracted light
JP6907277B2 (ja) * 2018-08-30 2021-07-21 コグネックス・コーポレイション 歪みが低減された物体の３次元再構成を生成するための方法及び装置
US11039122B2 (en) * 2018-09-04 2021-06-15 Google Llc Dark flash photography with a stereo camera
US10791277B2 (en) * 2018-09-11 2020-09-29 Cognex Corporation Methods and apparatus for optimizing image acquisition of objects subject to illumination patterns
CN109146953B (zh) * 2018-09-11 2021-12-10 杭州电子科技大学 基于fpga的标记面积块上限分离分道方法
US20200082160A1 (en) * 2018-09-12 2020-03-12 Kneron (Taiwan) Co., Ltd. Face recognition module with artificial intelligence models
KR102562360B1 (ko) * 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
CN109532021B (zh) * 2018-10-10 2020-08-25 浙江大学 基于结构光线性异常点的3d打印熔积缺陷逐层检测方法
US11480793B2 (en) * 2018-10-24 2022-10-25 Google Llc Systems, devices, and methods for aligning a lens in a laser projector
JP7146576B2 (ja) * 2018-10-29 2022-10-04 芝浦機械株式会社 積層造形装置、積層造形方法、及びプログラム
WO2020091764A1 (en) 2018-10-31 2020-05-07 Hewlett-Packard Development Company, L.P. Recovering perspective distortions
US11024037B2 (en) 2018-11-15 2021-06-01 Samsung Electronics Co., Ltd. Foreground-background-aware atrous multiscale network for disparity estimation
US10628968B1 (en) * 2018-12-05 2020-04-21 Toyota Research Institute, Inc. Systems and methods of calibrating a depth-IR image offset
CN109798838B (zh) * 2018-12-19 2020-10-27 西安交通大学 一种基于激光散斑投射的ToF深度传感器及其测距方法
CN109741386B (zh) * 2018-12-26 2020-07-31 豪威科技(武汉)有限公司 立体视觉系统的增强方法及立体视觉系统
US10917568B2 (en) 2018-12-28 2021-02-09 Microsoft Technology Licensing, Llc Low-power surface reconstruction
US11333895B1 (en) 2019-01-11 2022-05-17 Facebook Technologies, Llc Systems and methods for structured light projector operational safety
JP7211835B2 (ja) * 2019-02-04 2023-01-24 ｉ－ＰＲＯ株式会社 撮像システムおよび同期制御方法
CN110087057B (zh) * 2019-03-11 2021-10-12 歌尔股份有限公司 一种投影仪的深度图像获取方法和装置
US20200292297A1 (en) * 2019-03-15 2020-09-17 Faro Technologies, Inc. Three-dimensional measurement device
KR20220021920A (ko) 2019-04-08 2022-02-22 액티브 서지컬, 인크. 의료 이미징을 위한 시스템 및 방법
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
EP3731175A1 (en) * 2019-04-26 2020-10-28 XRSpace CO., LTD. Interactive image processing system using infrared cameras
CN110111390A (zh) * 2019-05-15 2019-08-09 湖南科技大学 基于双目视觉光流跟踪的薄壁件全向振动测量方法及系统
CN110012206A (zh) * 2019-05-24 2019-07-12 Oppo广东移动通信有限公司 图像获取方法、图像获取装置、电子设备和可读存储介质
CN110209363A (zh) * 2019-05-30 2019-09-06 大连理工大学 基于遗传算法的智能3d打印路径规划方法
CN110524874B (zh) * 2019-08-23 2022-03-08 源秩科技（上海）有限公司 光固化3d打印装置及其打印方法
DE112020004391T5 (de) 2019-09-17 2022-06-02 Boston Polarimetrics, Inc. Systeme und verfahren zur oberflächenmodellierung unter verwendung von polarisationsmerkmalen
JP2022552833A (ja) 2019-10-07 2022-12-20 ボストン ポーラリメトリックス，インコーポレイティド 偏光による面法線計測のためのシステム及び方法
US11796829B1 (en) * 2019-10-31 2023-10-24 Meta Platforms Technologies, Llc In-field illuminator for eye depth sensing
US10890839B1 (en) * 2019-11-06 2021-01-12 Himax Technologies Limited Structured light imaging device
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
CN113009705A (zh) * 2019-12-19 2021-06-22 苏州苏大维格科技集团股份有限公司 一种消除零级衍射影响的结构光组件
US11132804B2 (en) * 2020-01-07 2021-09-28 Himax Technologies Limited Hybrid depth estimation system
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
CN113365035B (zh) * 2020-03-04 2022-10-21 合肥君正科技有限公司 一种图像色彩还原的校准系统
US11503266B2 (en) * 2020-03-06 2022-11-15 Samsung Electronics Co., Ltd. Super-resolution depth map generation for multi-camera or other environments
CN111246073B (zh) * 2020-03-23 2022-03-25 维沃移动通信有限公司 成像装置、方法及电子设备
CN111678457B (zh) * 2020-05-08 2021-10-01 西安交通大学 一种OLED透明屏下ToF装置及测距方法
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
CN111787084A (zh) * 2020-06-23 2020-10-16 杭州数澜科技有限公司 一种圈选对象的方法和装置
KR20220033924A (ko) 2020-09-10 2022-03-17 삼성전자주식회사 증강 현실 장치 및 그 제어 방법
CN114268774A (zh) * 2020-09-16 2022-04-01 Oppo广东移动通信有限公司 图像采集方法、图像传感器、装置、设备以及存储介质
US11657529B2 (en) * 2020-10-12 2023-05-23 Black Sesame Technologies Inc. Multiple camera system with flash for depth map generation
DE102020133085A1 (de) 2020-12-11 2022-06-15 Dürr Assembly Products GmbH Verfahren zur Vermessung der Kotflügelkante eines Fahrzeugs in einem Prüfstand
CN112959661B (zh) * 2021-01-26 2024-02-02 深圳市创必得科技有限公司 Lcd光固化3d打印均光优化补偿方法及装置
EP4281289A1 (en) * 2021-01-29 2023-11-29 Essentium IPCO, LLC Contour smoothing for material extrusion three-dimensionally printed parts
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11636623B2 (en) * 2021-06-28 2023-04-25 Motional Ad Llc Systems and methods for camera alignment using pre-distorted targets
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
AU2022324102A1 (en) * 2021-08-06 2024-03-07 Ppg Industries Ohio, Inc. System and method for 3d printing a non-planar surface
US11852439B2 (en) * 2021-11-24 2023-12-26 Wrap Technologies, Inc. Systems and methods for generating optical beam arrays
CN116800947A (zh) * 2022-03-16 2023-09-22 安霸国际有限合伙企业 用于大规模生产过程的快速rgb-ir校准验证
KR20230174621A (ko) * 2022-06-21 2023-12-28 삼성전자주식회사 깊이 맵 생성을 위한 전자 장치 및 그 동작 방법
CN116448250A (zh) * 2023-06-14 2023-07-18 国网山西省电力公司超高压变电分公司 一种电力设备红外热成像辅助定位装置及辅助定位方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1669051A (zh) * 2002-06-13 2005-09-14 模拟设备公司 用于使用图像条和循环寻址排列进行图像数据处理的方法和装置
CN101443809A (zh) * 2006-05-09 2009-05-27 皇家飞利浦电子股份有限公司 可编程数据处理电路

Family Cites Families (153)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3938102A (en) 1974-08-19 1976-02-10 International Business Machines Corporation Method and apparatus for accessing horizontal sequences and rectangular sub-arrays from an array stored in a modified word organized random access memory system
EP0085210A1 (en) 1982-01-29 1983-08-10 International Business Machines Corporation Image processing system
US5351152A (en) 1991-07-23 1994-09-27 The Board Of Governers Of Wayne State University Direct-view stereoscopic confocal microscope
US5471326A (en) 1993-04-30 1995-11-28 Northrop Grumman Corporation Holographic laser scanner and rangefinder
US5586200A (en) 1994-01-07 1996-12-17 Panasonic Technologies, Inc. Segmentation based image compression system
US5739906A (en) 1996-06-07 1998-04-14 The United States Of America As Represented By The Secretary Of Commerce Interferometric thickness variation test method for windows and silicon wafers using a diverging wavefront
US6105139A (en) 1998-06-03 2000-08-15 Nec Usa, Inc. Controller-based power management for low-power sequential circuits
TW495749B (en) 1998-08-03 2002-07-21 Matsushita Electric Ind Co Ltd Optical head
JP3450792B2 (ja) 1999-03-25 2003-09-29 キヤノン株式会社 奥行き画像計測装置及び方法、並びに複合現実感提示システム
US6751344B1 (en) * 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
GB0008303D0 (en) 2000-04-06 2000-05-24 British Aerospace Measurement system and method
US6826299B2 (en) 2000-07-31 2004-11-30 Geodetic Services, Inc. Photogrammetric image correlation and measurement system and method
US6850872B1 (en) 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
US7554737B2 (en) 2000-12-20 2009-06-30 Riake Corporation Illumination device and method using adaptable source and output format
US6895115B2 (en) 2001-04-23 2005-05-17 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method for implementation of recursive hierarchical segmentation on parallel computers
JP2004534276A (ja) 2001-07-06 2004-11-11 エクスプレイ エルティーディー 画像投影装置および方法
JP4635392B2 (ja) 2001-08-09 2011-02-23 コニカミノルタホールディングス株式会社 ３次元物体の表面形状モデリング装置、および、プログラム
US6940538B2 (en) 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
RU2237284C2 (ru) 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Способ генерирования структуры узлов, предназначенных для представления трехмерных объектов с использованием изображений с глубиной
US7762964B2 (en) 2001-12-10 2010-07-27 Candela Corporation Method and apparatus for improving safety during exposure to a monochromatic light source
JP4075418B2 (ja) 2002-03-15 2008-04-16 ソニー株式会社 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム
US7399220B2 (en) 2002-08-02 2008-07-15 Kriesel Marshall S Apparatus and methods for the volumetric and dimensional measurement of livestock
CN1176351C (zh) 2002-10-09 2004-11-17 天津大学 动态多分辨率的三维数字成像的方法及装置
CN1186671C (zh) 2002-10-09 2005-01-26 天津大学 投影结构光的产生方法及装置
JP2004135209A (ja) 2002-10-15 2004-04-30 Hitachi Ltd 広視野高解像度映像の生成装置及び方法
GB2395261A (en) 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
US7103212B2 (en) 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
US7154157B2 (en) 2002-12-30 2006-12-26 Intel Corporation Stacked semiconductor radiation sensors having color component and infrared sensing capability
JP3938120B2 (ja) 2003-09-17 2007-06-27 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
FR2870621B1 (fr) 2004-05-21 2006-10-27 Inst Francais Du Petrole Methode pour generer un maillage hybride conforme en trois dimensions d'une formation heterogene traversee par une ou plusieurs discontinuites geometriques dans le but de realiser des simulations
JP4011039B2 (ja) 2004-05-31 2007-11-21 三菱電機株式会社 撮像装置及び信号処理方法
DE102004029552A1 (de) 2004-06-18 2006-01-05 Peter Mäckel Verfahren zur Sichtbarmachung und Messung von Verformungen von schwingenden Objekten mittels einer Kombination einer synchronisierten, stroboskopischen Bildaufzeichnung mit Bildkorrelationsverfahren
US7315383B1 (en) * 2004-07-09 2008-01-01 Mohsen Abdollahi Scanning 3D measurement technique using structured lighting and high-speed CMOS imager
US20080094406A1 (en) 2004-08-11 2008-04-24 Koninklijke Philips Electronics, N.V. Stripe-Based Image Data Storage
JPWO2006025271A1 (ja) 2004-09-03 2008-05-08 コニカミノルタオプト株式会社 カップリングレンズ及び光ピックアップ装置
JP4883517B2 (ja) 2004-11-19 2012-02-22 学校法人福岡工業大学 三次元計測装置および三次元計測方法並びに三次元計測プログラム
US7719533B2 (en) 2004-11-24 2010-05-18 General Electric Company Graph extraction labelling and visualization
US7367682B2 (en) 2004-12-07 2008-05-06 Symbol Technologies, Inc. Color image projection arrangement and method
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
JP4506501B2 (ja) 2005-02-21 2010-07-21 株式会社日立製作所 画像合成装置及び撮像システム
US7512262B2 (en) 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
US7295771B2 (en) 2005-04-25 2007-11-13 Delphi Technologies, Inc. Method and apparatus for minimizing ambient illumination effects in a vision system
JP4577126B2 (ja) 2005-07-08 2010-11-10 オムロン株式会社 ステレオ対応づけのための投光パターンの生成装置及び生成方法
JP5001286B2 (ja) 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
US20070145273A1 (en) 2005-12-22 2007-06-28 Chang Edward T High-sensitivity infrared color camera
US7821552B2 (en) 2005-12-27 2010-10-26 Sanyo Electric Co., Ltd. Imaging apparatus provided with imaging device having sensitivity in visible and infrared regions
JP4466569B2 (ja) 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
DE102006007170B4 (de) 2006-02-08 2009-06-10 Sirona Dental Systems Gmbh Verfahren und Anordnung zur schnellen und robusten chromatisch konfokalen 3D-Messtechnik
KR101331543B1 (ko) 2006-03-14 2013-11-20 프라임센스 엘티디. 스페클 패턴을 이용한 3차원 센싱
JP5592070B2 (ja) 2006-03-14 2014-09-17 プライム センス リミティド 三次元検知のために深度変化させる光照射野
US7970177B2 (en) * 2006-03-23 2011-06-28 Tyzx, Inc. Enhancing stereo depth measurements with projected texture
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
BRPI0621997A2 (pt) 2006-09-21 2011-12-27 Thomson Licensing mÉtodo e sistema para aquisiÇço de modelo tridimensional
ATE556397T1 (de) * 2006-09-28 2012-05-15 Bea Sa Sensor zur präsenzdetektion
US7616328B2 (en) 2006-11-07 2009-11-10 Rudolph Technologies, Inc. Method and system for providing a high definition triangulation system
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
CA2670214A1 (en) 2006-11-21 2008-05-29 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
WO2008086033A1 (en) 2007-01-10 2008-07-17 Z Corporation Three-dimensional printing material system with improved color, article performance, and ease of use
US8326020B2 (en) 2007-02-28 2012-12-04 Sungkyunkwan University Foundation Structural light based depth imaging method and system using signal separation coding, and error correction thereof
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
FR2914422B1 (fr) 2007-03-28 2009-07-03 Soitec Silicon On Insulator Procede de detection de defauts de surface d'un substrat et dispositif mettant en oeuvre ledit procede.
EP2149268A1 (en) 2007-04-23 2010-02-03 California Institute of Technology An aperture system with spatially-biased aperture shapes for 3-d defocusing-based imaging
JP2008288629A (ja) 2007-05-15 2008-11-27 Sony Corp 画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラム
JP5018282B2 (ja) 2007-07-04 2012-09-05 マツダ株式会社 製品の３次元形状モデルデータ作成方法
US20120002045A1 (en) 2007-08-08 2012-01-05 Mayer Tony Non-retro-reflective license plate imaging system
US7933056B2 (en) 2007-09-26 2011-04-26 Che-Chih Tsao Methods and systems of rapid focusing and zooming for volumetric 3D displays and cameras
GB201006202D0 (en) 2007-10-02 2010-06-02 Doubleshot Inc Laser beam pattern projector
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
IL191615A (en) 2007-10-23 2015-05-31 Israel Aerospace Ind Ltd A method and system for producing tie points for use in stereo adjustment of stereoscopic images and a method for identifying differences in the landscape taken between two time points
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
US7958468B2 (en) 2008-02-21 2011-06-07 Oracle America, Inc. Unidirectional relabeling for subcircuit recognition
US8788990B2 (en) 2008-02-21 2014-07-22 Oracle America, Inc. Reuse of circuit labels in subcircuit recognition
US7861193B2 (en) 2008-02-21 2010-12-28 Oracle America, Inc. Reuse of circuit labels for verification of circuit recognition
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
WO2009117483A1 (en) 2008-03-18 2009-09-24 Novadaq Technologies Inc. Imaging system for combined full-color reflectance and near-infrared imaging
US8405727B2 (en) * 2008-05-01 2013-03-26 Apple Inc. Apparatus and method for calibrating image capture devices
NZ567986A (en) 2008-05-02 2010-08-27 Auckland Uniservices Ltd Real-time stereo image matching system
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5317169B2 (ja) 2008-06-13 2013-10-16 洋 川崎 画像処理装置、画像処理方法およびプログラム
JP4513905B2 (ja) 2008-06-27 2010-07-28 ソニー株式会社 信号処理装置、信号処理方法、プログラム及び記録媒体
KR101530930B1 (ko) 2008-08-19 2015-06-24 삼성전자주식회사 패턴투영장치, 이를 구비한 3차원 이미지 형성장치, 및 이에 사용되는 초점 가변 액체렌즈
US8442940B1 (en) 2008-11-18 2013-05-14 Semantic Research, Inc. Systems and methods for pairing of a semantic network and a natural language processing information extraction system
JP5430138B2 (ja) 2008-12-17 2014-02-26 株式会社トプコン 形状測定装置およびプログラム
CN101509764A (zh) 2009-02-27 2009-08-19 东南大学 一种快速获取物体三维形状的方法
DE102009001889A1 (de) 2009-03-26 2010-09-30 Robert Bosch Gmbh Lasermarkierung mit Koordinatensystem
US8823775B2 (en) 2009-04-30 2014-09-02 Board Of Regents, The University Of Texas System Body surface imaging
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8204904B2 (en) 2009-09-30 2012-06-19 Yahoo! Inc. Network graph evolution rule generation
KR101173668B1 (ko) 2009-10-27 2012-08-20 서울대학교산학협력단 다중 공간 주파수를 이용한 3차원 물체의 깊이 측정 방법 및 그 장치
US9047674B2 (en) 2009-11-03 2015-06-02 Samsung Electronics Co., Ltd. Structured grids and graph traversal for image processing
KR101377325B1 (ko) 2009-12-21 2014-03-25 한국전자통신연구원 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
JP2011191221A (ja) 2010-03-16 2011-09-29 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
US8619143B2 (en) 2010-03-19 2013-12-31 Pixim, Inc. Image sensor including color and infrared pixels
KR20110132260A (ko) 2010-05-29 2011-12-07 이문기 모니터 기반 증강현실 시스템
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
EP2400261A1 (de) 2010-06-21 2011-12-28 Leica Geosystems AG Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
GB2481459B (en) 2010-06-25 2017-05-03 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E V Capturing a surface structure of an object surface
US8357899B2 (en) 2010-07-30 2013-01-22 Aptina Imaging Corporation Color correction circuitry and methods for dual-band imaging systems
US9036158B2 (en) 2010-08-11 2015-05-19 Apple Inc. Pattern projector
DE102010039246A1 (de) 2010-08-12 2012-02-16 Robert Bosch Gmbh Verfahren zum Kalibrieren eines Messsystems und Vorrichtung zum Durchführen des Verfahrens
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8903119B2 (en) 2010-10-11 2014-12-02 Texas Instruments Incorporated Use of three-dimensional top-down views for business analytics
JP5787508B2 (ja) 2010-11-11 2015-09-30 キヤノン株式会社 回折光学素子及び光学系
US20120154397A1 (en) 2010-12-03 2012-06-21 Old Dominion University Research Foundation Method and system for generating mesh from images
KR101694292B1 (ko) 2010-12-17 2017-01-09 한국전자통신연구원 스테레오 영상 정합 장치 및 그 방법
CN102867328B (zh) 2011-01-27 2014-04-23 深圳泰山在线科技有限公司 一种物体表面重建的系统
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
DE102011004663B4 (de) * 2011-02-24 2018-11-22 Robert Bosch Gmbh Vorrichtung zur Fahrzeugvermessung
KR101289595B1 (ko) 2011-02-28 2013-07-24 이경자 격자패턴투영장치
KR101792501B1 (ko) 2011-03-16 2017-11-21 한국전자통신연구원 특징기반의 스테레오 매칭 방법 및 장치
KR101801355B1 (ko) 2011-03-25 2017-11-24 엘지전자 주식회사 회절 소자와 광원을 이용한 대상물의 거리 인식 장치
US8718748B2 (en) 2011-03-29 2014-05-06 Kaliber Imaging Inc. System and methods for monitoring and assessing mobility
JP5979500B2 (ja) * 2011-04-07 2016-08-24 パナソニックＩｐマネジメント株式会社 立体撮像装置
CN102760234B (zh) 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
US8760499B2 (en) 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
WO2012151173A1 (en) 2011-05-02 2012-11-08 Faro Technologies, Inc. Three-dimensional scanner for hand-held phones
US9536312B2 (en) 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
US9245307B2 (en) 2011-06-01 2016-01-26 Empire Technology Development Llc Structured light projection for motion detection in augmented reality
CN102831380A (zh) 2011-06-15 2012-12-19 康佳集团股份有限公司 一种基于深度图像感应的肢体动作识别方法及系统
US9530192B2 (en) 2011-06-30 2016-12-27 Kodak Alaris Inc. Method for determining stereo quality score and automatically improving the quality of stereo images
BR112014002186B1 (pt) 2011-07-29 2020-12-29 Hewlett-Packard Development Company, L.P sistema de projeção de captura, meio executável de processamento e método de colaboração em espaço de trabalho
US8867825B2 (en) 2011-08-30 2014-10-21 Thompson Licensing Method and apparatus for determining a similarity or dissimilarity measure
US20140225988A1 (en) 2011-09-07 2014-08-14 Commonwealth Scientific And Industrial Research Organisation System and method for three-dimensional surface imaging
US9285871B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Personal audio/visual system for providing an adaptable augmented reality environment
US9248623B2 (en) 2011-10-14 2016-02-02 Makerbot Industries, Llc Grayscale rendering in 3D printing
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
US20140098342A1 (en) 2011-11-04 2014-04-10 The General Hospital Corporation System and method for corneal irradiation
JP5910043B2 (ja) * 2011-12-02 2016-04-27 富士通株式会社 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置
JP5898484B2 (ja) 2011-12-19 2016-04-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
CN102572485B (zh) 2012-02-02 2015-04-22 北京大学 一种自适应加权立体匹配算法、立体显示采集装置及系统
US20130229396A1 (en) * 2012-03-05 2013-09-05 Kenneth J. Huebner Surface aware, object aware, and image aware handheld projector
JP5994715B2 (ja) 2012-04-10 2016-09-21 パナソニックＩｐマネジメント株式会社 計算機ホログラム型表示装置
KR20130120730A (ko) 2012-04-26 2013-11-05 한국전자통신연구원 변이 공간 영상의 처리 방법
US9514522B2 (en) 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
US10674135B2 (en) 2012-10-17 2020-06-02 DotProduct LLC Handheld portable optical scanner and method of using
US9332243B2 (en) 2012-10-17 2016-05-03 DotProduct LLC Handheld portable optical scanner and method of using
US9117267B2 (en) 2012-10-18 2015-08-25 Google Inc. Systems and methods for marking images for three-dimensional image generation
US20140120319A1 (en) 2012-11-01 2014-05-01 Benjamin E. Joseph 3d mapping using structured light and formation of custom surface contours
KR20140075163A (ko) 2012-12-11 2014-06-19 한국전자통신연구원 구조광 방식을 활용한 패턴 프로젝팅 방법 및 장치
US10049281B2 (en) 2012-11-12 2018-08-14 Shopperception, Inc. Methods and systems for measuring human interaction
BR112015012073A2 (pt) * 2012-11-29 2017-07-11 Koninklijke Philips Nv dispositivo de laser para projetar um padrão de luz estruturada sobre uma cena, e uso de um dispositivo
DE202012104890U1 (de) 2012-12-14 2013-03-05 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
US9298945B2 (en) 2012-12-26 2016-03-29 Elwha Llc Ad-hoc wireless sensor package
US9292927B2 (en) 2012-12-27 2016-03-22 Intel Corporation Adaptive support windows for stereoscopic image correlation
US9251590B2 (en) 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US20140241612A1 (en) 2013-02-23 2014-08-28 Microsoft Corporation Real time stereo matching
US20140293011A1 (en) 2013-03-28 2014-10-02 Phasica, LLC Scanner System for Determining the Three Dimensional Shape of an Object and Method for Using
US9191643B2 (en) 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US20140320605A1 (en) 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
CN103308517B (zh) 2013-05-21 2015-09-30 谢绍鹏 中药颜色客观化方法及中药图像获取装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1669051A (zh) * 2002-06-13 2005-09-14 模拟设备公司 用于使用图像条和循环寻址排列进行图像数据处理的方法和装置
CN101443809A (zh) * 2006-05-09 2009-05-27 皇家飞利浦电子股份有限公司 可编程数据处理电路

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KOTA YAMAGUCHI,ET AL.: "Interleaved Pixel Lookup for Embedded Computer Vision", 《COMPUTER VISION AND PATTERN RECOGNITION,CVPR WORKSHOPS 2008》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980630A (zh) * 2016-01-19 2017-07-25 阿里巴巴集团控股有限公司 一种数据旋转展示方法及装置
CN106980630B (zh) * 2016-01-19 2020-03-10 菜鸟智能物流控股有限公司 一种数据旋转展示方法及装置
CN106204414A (zh) * 2016-08-05 2016-12-07 蓝普金睛（北京）科技有限公司 一种动态图像缓存的方法及系统
CN106909320A (zh) * 2017-02-20 2017-06-30 北京中科睿芯科技有限公司 一种多维数据扩充传输的方法、装置以及系统
CN106909320B (zh) * 2017-02-20 2020-01-21 北京中科睿芯科技有限公司 一种多维数据扩充传输的方法、装置以及系统
CN112559037A (zh) * 2019-09-25 2021-03-26 阿里巴巴集团控股有限公司 一种指令执行方法、单元、装置及系统
CN112559037B (zh) * 2019-09-25 2024-04-12 阿里巴巴集团控股有限公司 一种指令执行方法、单元、装置及系统

Also Published As

Publication number Publication date
US20140307307A1 (en) 2014-10-16
CN105229412B (zh) 2018-12-07
CN105308650A (zh) 2016-02-03
US20180173947A1 (en) 2018-06-21
US9922249B2 (en) 2018-03-20
AU2014254219A1 (en) 2015-10-22
EP2987138B1 (en) 2021-09-22
EP2987132A1 (en) 2016-02-24
BR112015025819A2 (pt) 2017-07-25
EP2987320B1 (en) 2021-02-03
WO2014172227A1 (en) 2014-10-23
CN105229411B (zh) 2019-09-03
US9697424B2 (en) 2017-07-04
CA2907895A1 (en) 2014-10-23
BR112015025819A8 (pt) 2019-12-24
EP2986936A1 (en) 2016-02-24
US20180260623A1 (en) 2018-09-13
CN105230003A (zh) 2016-01-06
US20140307058A1 (en) 2014-10-16
JP2016522889A (ja) 2016-08-04
US9928420B2 (en) 2018-03-27
CN105308650B (zh) 2020-09-25
EP2987320A1 (en) 2016-02-24
US20140307098A1 (en) 2014-10-16
EP2987131A1 (en) 2016-02-24
KR20150140838A (ko) 2015-12-16
MX357307B (es) 2018-07-04
WO2014172223A1 (en) 2014-10-23
CN105229411A (zh) 2016-01-06
MX2015014577A (es) 2017-02-15
US9508003B2 (en) 2016-11-29
US20140310496A1 (en) 2014-10-16
US20180218210A1 (en) 2018-08-02
EP2986935A1 (en) 2016-02-24
RU2015143654A (ru) 2017-04-28
CN105247859B (zh) 2019-11-29
EP3757510A1 (en) 2020-12-30
CN105229412A (zh) 2016-01-06
WO2014172276A1 (en) 2014-10-23
EP2986931A1 (en) 2016-02-24
KR102130187B1 (ko) 2020-07-03
EP2987323A1 (en) 2016-02-24
WO2014172231A1 (en) 2014-10-23
EP2986936B1 (en) 2020-08-26
EP2987132B1 (en) 2017-11-01
US9760770B2 (en) 2017-09-12
CN105247859A (zh) 2016-01-13
WO2014172221A1 (en) 2014-10-23
US20140307953A1 (en) 2014-10-16
CN105210112B (zh) 2019-08-30
EP2986935B1 (en) 2021-03-31
US10816331B2 (en) 2020-10-27
CN105210112A (zh) 2015-12-30
US20140307055A1 (en) 2014-10-16
US20140307047A1 (en) 2014-10-16
US10929658B2 (en) 2021-02-23
JP6469080B2 (ja) 2019-02-13
WO2014172229A1 (en) 2014-10-23
EP3757510B1 (en) 2022-06-29
KR102207768B1 (ko) 2021-01-25
US20150078672A1 (en) 2015-03-19
US20140309764A1 (en) 2014-10-16
CN105230003B (zh) 2019-07-16
US10268885B2 (en) 2019-04-23
EP2987138A1 (en) 2016-02-24
US20230332886A1 (en) 2023-10-19
WO2014172228A1 (en) 2014-10-23
KR20150140841A (ko) 2015-12-16
CN105143817A (zh) 2015-12-09
US9959465B2 (en) 2018-05-01
CN105143817B (zh) 2021-02-09
CA2907895C (en) 2020-10-27
US20140307057A1 (en) 2014-10-16
US10928189B2 (en) 2021-02-23
AU2014254219B2 (en) 2017-07-27
EP2987323B1 (en) 2020-10-21
WO2014172222A1 (en) 2014-10-23
RU2663329C2 (ru) 2018-08-03

Similar Documents

Publication Publication Date Title
CN105229696A (zh) 用于多维数据存取的并行存储器
US9978115B2 (en) Sprite graphics rendering system
CN106056529B (zh) 一种对用于图片识别的卷积神经网络训练的方法与设备
CA2886429C (en) Method for partitioning, managing and displaying a collaboration space and interactive input system employing same
CN106779057B (zh) 基于gpu的计算二值神经网络卷积的方法及装置
CN103995684B (zh) 超高分辨率平台下的海量影像并行处理显示方法及系统
CN107251004A (zh) 通过使用欺骗时钟及细粒度频率控制实现的向后兼容性
JP2016529593A (ja) 立体シーンのインターリーブ方式のタイル型レンダリング
CN104350523B (zh) 用于多通道存储器的填补
CN109978977A (zh) 使用预取的图形数据执行基于图块的渲染的装置和方法
CN107077375A (zh) 用于多操作系统的显示方法、装置和电子设备
EP3493041A1 (en) Exploration of medical visualization parameters in virtual spaces
Ross et al. Visualization and parallel I/O at extreme scale
CN114596423A (zh) 基于虚拟场景网格化的模型渲染方法、装置和计算机设备
CN112862942B (zh) 物理特效模拟方法、装置、电子设备和存储介质
KR20100068603A (ko) 밉맵 생성 장치 및 방법
CN101310303A (zh) 用于显示高分辨率图像数据和时变低分辨率图像数据的方法
CN101620743A (zh) 用隐藏面消除的图形处理
Sullivan Graph-based data visualization in virtual reality: a comparison of user experiences
Wang et al. Multi-gpu compositeless parallel rendering algorithm
de Haan Scalable visualization of massive point clouds
Kuzma Occlusion in Augmented Reality: Exploring the problem of rendering semi-occluded objects in augmented reality using a model-based approach.
KR101275588B1 (ko) 3차원 볼륨 데이터에 대한 고속 집적 영상 생성 시스템 및 이를 이용한 입체영상 표시 방법
CN110992444B (zh) 图像处理方法、装置及电子设备
JP7475625B2 (ja) ３次元空間における入力受付および入力表示方法、プログラム、および３次元空間における入力受付および入力表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160106

RJ01 Rejection of invention patent application after publication