CN112752086A - 用于环境映射的图像信号处理器、方法和系统 - Google Patents

用于环境映射的图像信号处理器、方法和系统 Download PDF

Info

Publication number
CN112752086A
CN112752086A CN202011177484.9A CN202011177484A CN112752086A CN 112752086 A CN112752086 A CN 112752086A CN 202011177484 A CN202011177484 A CN 202011177484A CN 112752086 A CN112752086 A CN 112752086A
Authority
CN
China
Prior art keywords
input data
data
module
compressed
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011177484.9A
Other languages
English (en)
Other versions
CN112752086B (zh
Inventor
阿列克谢·科尔尼延科
马克西姆·诺维科夫
托马斯·詹姆斯·库克西
何金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARM Ltd
Original Assignee
ARM Ltd
Apical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ARM Ltd, Apical Ltd filed Critical ARM Ltd
Publication of CN112752086A publication Critical patent/CN112752086A/zh
Application granted granted Critical
Publication of CN112752086B publication Critical patent/CN112752086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Abstract

本公开涉及用于环境映射的图像信号处理器、方法和系统。一种图像信号处理器，包括用于从相机获得输入数据的输入模块，其中该相机被布置为捕获现实环境的再现。该图像信号处理器还包括至少一个调整模块，其用于压缩输入数据并产生压缩的输入数据；以及定位和映射模块，其被布置为从压缩的输入数据生成一个或多个数据点。图像信号处理器还包括用于输出至少一个或多个数据点的输出模块。

Description

用于环境映射的图像信号处理器、方法和系统
技术领域
本发明涉及用于环境映射的图像信号处理器、方法和系统。
背景技术
已知为计算设备提供惯性传感器，诸如惯性测量单元(IMU)，以达到检测设备的方向的目的。IMU的输出可以用于虚拟现实(VR)和/或增强现实(AR)应用，以检测设备方向的变化。这允许计算设备向用户提供虚拟环境的显示，该虚拟环境的显示响应于检测到的方向变化而改变。检测设备方向的变化，这可以称为定向运动的感测，从而允许用户控制他们对虚拟环境的观察。
期望允许计算设备不仅检测设备的方向变化而且检测设备的位置变化，这可以被称为定位运动的感测。然后，用户可以通过现实定位运动而不是通过经由控制界面的不自然用户输入，在虚拟环境中按位置移动。
挑战是以对于各种应用足够的精度和/或频率来检测设备的位置，同时节省计算资源和/或功率。由于AR和VR环境生成和图像渲染的巨大需求，因此该挑战对于AR和VR应用日益严峻。对于在具有相对少量的可用计算资源和/或功率的移动计算设备(诸如通用智能手机和通用平板计算设备)上执行的AR和VR应用而言，这是特别的挑战。
发明内容
根据本公开的第一方面，提供了一种图像信号处理器，包括：输入模块，其用于从相机获得输入数据，该相机被布置为捕获现实环境的再现(representation)；至少一个压缩模块，其用于压缩输入数据并产生压缩的输入数据；定位和映射模块，其被布置为从压缩的输入数据生成一个或多个数据点；以及输出模块，其用于输出至少一个或多个数据点。
根据本公开的第二方面，提供了一种用于定位和映射现实环境的方法，该方法包括以下步骤：从相机获得输入数据，该相机被布置为捕获现实环境的再现；压缩输入数据以产生压缩的输入数据；从压缩的输入数据生成一个或多个数据点；以及输出至少一个或多个数据点。
根据本公开的第三方面，提供了一种系统，包括：传感器，其用于捕获现实环境的再现；根据权利要求1所述的图像信号处理器，其被布置为从相机接收再现并生成一个或多个数据点；以及处理器。
附图说明
通过以下仅作为示例给出的优选实施例的描述，其他特征和优点将变得显而易见，该描述参考附图进行，在附图中，相同的附图标记用于表示相同的特征。
图1示意性地示出了根据第一示例的图像信号处理器；
图2示意性地示出了根据第二示例的图像信号处理器；
图3是示出根据示例的方法的流程图；和
图4示意性地示出了包括根据示例的特征的系统。
具体实施方式
根据下面参考附图的描述，根据示例的图像处理器、系统和方法的细节将变得显而易见。在该描述中，出于解释的目的，阐述了某些示例的许多具体细节。说明书中对“示例”或类似语言的引用意指结合该示例描述的特征、结构或特性至少包括在该至少一个示例中，但不一定包括在其他示例中。还应当注意，为了易于解释和理解示例基础的概念，示意性地描述了其中某些特征被省略和/或必要简化的某些示例。
同步定位和映射是在构造或更新未知现实环境的地图同时跟踪设备在其中的位置的计算问题。同步定位和映射实现依赖于多个传感器，该多个传感器被布置为接收与现实环境有关的输入。这些输入由一个或多个处理器处理，以检测传感器信息中的多个数据点并随时间跟踪它们。在一些示例中，同步定位和映射能够用于预测先前检测的关键点的位置，以及获得关于数据点的元数据。此种检测和跟踪需要大量的计算资源，诸如存储器和处理时间。通过将传感器信息读取和写入存储器会占用大量计算资源。这样它可以被一个或多个处理器读取和处理。
图像信号处理器(ISP)用于使用计算机算法来处理传感器图像数据。传感器图像数据是通过检测现实场景的光子的传感器来获得的。传感器数据然后通过ISP进行处理，以恢复与现实场景匹配的图像数据。ISP能够通过应用一种或多种算法来进一步处理传感器数据，这些算法改变了图像的质量，以便其适合通过人或计算机视觉(CV)算法查看，其中图像能够被分析来提取信息。通过在ISP内进行处理，诸如由同步定位和映射算法执行的处理，可以通过消除在由单独的同步定位和映射单元处理之前将ISP的输出读取并写入到存储器中的需求，来提高效率。图1示意性地示出了根据第一示例的ISP 100。ISP 100被布置为从一个或多个传感器(未示出)接收输入数据110，在输入模块120处接收输入数据110。输入数据110可以是来自传感器的视觉数据流。传感器可以检测来自现实场景的光或其他辐射(诸如红外线)的强度。然后，根据在各个传感器像素或传感器上的点处检测到的辐射强度来生成图像数据110。例如，在传感器是相机的情况下，可以使用每个像素处的光强度来生成图像数据110。所生成的图像数据110取决于传感器的特性。在一个示例中，传感器具有颜色滤波阵列(CFA)，该颜色滤波阵列用于检测来自现实场景的光的颜色。颜色滤波器可以是拜耳滤波器，其由红色、绿色、绿色和蓝色滤波器的2×2像素阵列的组合组成。使用颜色滤波阵列生成被拼接的传感器图像数据，因为每个颜色像素只能检测某种颜色的光。在另一示例中，传感器图像数据包含由各种随机物理过程导致的信号噪声，并且场景中的亮度水平能够导致信息丢失。传感器可通信地耦合到ISP 100，如将在下面关于图4更详细地描述的。尽管本发明是关于与一个或多个传感器(未示出)分离的ISP 100描述的，但是应当理解，在一些示例中，本发明可以在同一片上系统(SoC)中嵌有与传感器相关联的处理组件。输入模块120从视觉数据流接收输入数据流110，例如图像数据的帧，该输入数据流110被传递到压缩模块130。
压缩模块130被布置为从输入模块130接收输入数据流110并缩放或内插输入数据110以减小大小。这样确保减少了ISP 100所需的内部存储器的量。压缩模块130被布置成将缩放器应用于输入数据流110。可以使用硬件将这样的缩放器应用于输入数据流，并且例如可以对输入数据110进行子采样。在此示例中，可以以先进先出的方式从存储器读取单个像素值，并将其与多个先前像素值进行平均。压缩模块130被布置为减小用于生成如下文所描述的一个或多个描述符的输入数据110的大小，因此减小了ISP 100中所需的内部存储器的量。压缩可以在频域和/或使用小波(wavelet)变换被执行。
ISP 100还包括定位和映射模块140，用于生成一个或多个数据点，诸如关键点位置、关键点检测器响应、关键点描述符、关键点的跟踪信息以及指示匹配质量的匹配分数。定位和映射模块140从压缩模块130接收压缩数据流，并基于压缩数据流生成一个或多个数据点。通过在压缩数据流上而不是在直接从传感器接收的输入数据流110上生成一个或多个数据点，定位和映射模块140所需的ISP 100的内部存储器的量被显著地减少，而与直接在输入数据流110上生成数据点相比，仍然提供了基本相似的结果。
ISP 100包括输出模块150，该输出模块150被布置为输出包括由定位和映射模块140生成的至少一个或多个数据点的输出数据160。输出模块150可以通信地连接到一个或多个处理器(未示出)，该一个或多个处理器被布置成接收输出数据160。
在一些示例中，一个或多个处理器可以被布置为经由输入模块120向ISP 100提供附加信息170，诸如来自其他传感器和/或先前操作的反馈数据。该附加信息170可以包括先前检测的关键点的预测位置、与预测位置相关联的方差或其他元数据、正在监视的特定兴趣点和/或与先前检测的关键点相关联的附加元数据。附加信息170可以用于进一步细化由定位和映射模块140生成的数据点。在一些示例中，该进一步信息可以在由定位和映射模块140处理之前由压缩模块130组合和/或压缩。
在又一示例中，输出数据160可以包括从相机接收的原始输入数据流110以及由定位和映射模块140生成的数据点，或在其他实施例中，其可以包括处理的图像数据，诸如不同颜色空间中的图像数据，例如RGB、YUV、Luv甚至是灰度。
在又一示例中，ISP 100可以包括校正模块(未示出)，该校正模块用于校正由定位和映射模块140生成的数据点中的一个或多个缺陷。校正模块可以被布置为相对于例如透镜畸变和/或滚动快门减缓，校正一个或多个数据点和/或图像数据。然而，将理解，校正模块可以被布置为校正输入数据110或数据点中的其他错误和/或缺陷。
图2示意性地示出了根据第二示例的ISP 200。ISP 200包括如图1所示的示例ISP100中的输入模块120，输入模块120被布置为从诸如相机之类的一个或多个传感器(未示出)接收输入数据110。输入数据110可以以来自传感器的数据流的形式被接收，并且可以如上面关于图1所描述的那样经过压缩模块130。然而，在图2的示例200中，输入数据110可以由一个或多个压缩模块130a-130c处理，该一个或多个压缩模块130a-130c可以被布置为通过各自将缩放器应用于输入数据110来减小输入数据110的大小。每个缩放器可以将输入数据缩放为不同的量。例如，压缩模块130a可以将缩放器应用到输入数据110，该缩放器将输入数据110的大小减小到原来的二分之一，这可以通过对从输入模块接收的每2个比特进行平均来实现。压缩模块130b可以例如通过对输入数据110的每4个比特进行平均来将输入数据110的大小减小到原来的四分之一，并且压缩模块130c可以通过对输入数据110的每8个比特进行平均来将输入数据110的大小减小到原来的八分之一。应当理解，压缩模块130a-130c可以通过除上述方法之外的其他方法并以其他因子来减小输入数据110的大小。
由于输入数据110作为来自传感器的数据流被接收，并且由于压缩模块130a-130c的缩放因子不同，因此其中每个压缩模块130a-130c需要不同量的输入数据流110以便相应地缩放输入数据110，有必要延迟/缓冲需要较少数据的压缩模块130a-130c的输出，以便能够在输入数据110的相同部分上确定数据点。在此示例中，ISP 200包括延迟模块210。延迟模块210可以包括缓冲器和/或与每个压缩模块130a-130c相关联的多个延迟线，其被布置为延迟压缩模块130a-130c的输出，以便生成的任何数据点都基本基于输入数据110的相同部分。
ISP 200还包括用于组合一个或多个压缩模块130a-130c的输出的组合模块220。例如，组合模块220可以被布置为基于输入数据110的特定部分来对缩放器130a-130c中的一个或多个的输出取平均。一旦被组合，组合模块220的输出就由定位和映射模块140使用，用于生成一个或多个数据点，诸如关键点位置、关键点检测器响应、关键点描述符、关键点的跟踪信息和指示匹配质量的匹配分数。定位和映射模块140从组合模块220接收压缩的和组合的数据流，并基于压缩的数据流生成一个或多个数据点。通过在压缩的数据流上而不是在从相机接收的输入数据流110上生成一个或多个数据点，定位和映射模块140所需的内部存储器的量被显著地减少，而与在输入数据流110上生成数据点相比，仍然提供了基本相似的结果。
ISP 100包括输出模块150，该输出模块150被布置为输出包括由定位和映射模块140生成的至少一个或多个数据点的输出数据160。输出模块150可以通信地连接到一个或多个处理器(未示出)，该一个或多个处理器被布置成接收输出数据160。
在一些示例中，一个或多个处理器可以被布置为经由输入模块120向ISP 100提供附加信息170，诸如来自其他传感器和/或先前操作的反馈数据。该附加信息170可以包括先前检测的关键点的预测位置、与预测位置相关联的方差或其他元数据、正在监视的特定兴趣点和/或与先前检测的关键点相关联的附加元数据。附加信息170可以用于进一步细化由定位和映射模块140生成的数据点。在一些示例中，该进一步信息可以在由定位和映射模块140处理之前由压缩模块130组合和/或压缩。
在又一示例中，输出数据160可以包括从相机接收的原始输入数据110以及由定位和映射模块140生成的数据点，或在其他实施例中，其可以包括处理过的图像数据，诸如不同颜色空间中的图像数据，例如RGB、YUV、Luv甚至是灰度。
在又一示例中，ISP 100可以包括校正模块(未示出)，该校正模块用于校正由定位和映射模块140生成的数据点中的一个或多个缺陷。校正模块可以被布置为相对于例如透镜畸变和/或滚动快门减缓，校正一个或多个数据点和/或图像数据。然而，将理解，校正模块可以被布置为校正输入数据110或数据点中的其他错误和/或缺陷。
通过在ISP 100、200处生成数据点，不需要单独的处理器来生成数据点，因此，不需要将输入数据110存储在存储器中并由单独的处理器读取以生成数据点。这不仅减少了所需的外部存储器，而且通过消除了对从存储器读取输入数据和向存储器写入输入数据的需求，减少了计算时间，从而提高了效率。在一些示例中，其中不需要输入数据110，例如其中传感器是相机，并且设备不需要示出相机的输出，输入数据110本身可以永远不会被写入外部存储器，这进一步提高了效率。在又一示例中，上述ISP 100的组件可以与传感器本身集成在同一SoC上，从而进一步提高了效率。
图3是示出了根据示例的用于定位和映射现实环境的方法的流程图300。在项目310处，获得输入数据。输入数据至少包括从与如下面将关于图4描述的方法的系统相关联的相机获得的相机数据。相机数据可以在输入模块处作为视觉数据流被接收。获得的输入数据还可以包括从系统的一个或多个其他组件接收的其他反馈数据。例如，输入数据还可以包括先前检测的关键点的一个或多个预测位置、一个或多个预测位置的方差或其他统计、一个或多个关注点以及与一个或多个先前检测的关键点相关联的元数据。一旦获得了输入数据，则该方法进行到项目320，在此压缩输入数据。
在项目320，从ISP的输入模块接收输入数据并对其进行压缩。在一些示例中，仅从诸如相机之类的传感器获得的输入数据110被压缩，而在其他示例中，传感器数据和从一个或多个其他处理器获得的反馈数据二者都可以被压缩。压缩输入数据可以包括以一个或多个采样率对输入数据进行采样以减小数据的大小，从而减小ISP的任何内部存储器需求。在一些示例中，压缩输入数据可以包括以单一采样率对输入数据进行采样，在其他示例中，压缩输入数据可以包括以多个不同的采样率对输入数据进行采样。为了调整输入数据，可以应用缩放器，该缩放器以特定因子减小输入数据的大小，例如减小到原来的二分之一。这可以通过对接收的输入数据的每2个比特进行平均来实现。类似地，输入数据的大小可以通过对输入数据的每4个比特进行平均来减小到原来的四分之一，并且可以通过对输入数据110的每8个比特进行平均来减小到原来的八分之一。将理解的是，除了上述这些示例之外，可以通过其他方法并以其他因子来减小输入数据的大小。
可以使用多个不同的压缩率来压缩输入数据。在此示例中，输出可以是基于不同压缩率的组合。可以将此类不同的压缩率应用于输入数据的不同部分。例如，在输入数据的中心可能需要更详细信息，因此，可以使用较低的压缩率以保留更详细信息，而对于输入数据的边缘，可以使用较高的压缩率，因为边缘的细节并不重要。将理解的是，基于系统的需要，可以使用不同压缩率的其他示例。当使用多个不同的压缩率来调整输入数据时，在一些实施例中，为了组合压缩的数据以便生成数据点，一些压缩的输入数据必须被延迟。这确保了在组合已被应用不同采样率的压缩的输入数据时，压缩的输入数据的组合与相同范围的输入数据有关。如此，在输入数据以因子2采样的情况下，并且在输入数据还以因子4采样的情况下，以因子2缩放的输入数据必须被延迟和/或缓冲，以便在组合时，可以使用输入数据的相同部分。即，在组合时根据需要，当以因子2缩放时，将有压缩的输入数据的两个实例；当以因子4缩放时，将有压缩的输入数据的一个实例。可以使用一个或多个延迟线和/或缓冲器来实现该延迟。然后组合的数据被使用来生成数据点。在一些示例中，ISP可以包括一个或多个插值模块(未示出)以放大或缩小输入数据，从而使得能够有效地生成数据的可变缩放版本。
接下来，在项目340处，数据被输出到系统的一个或多个其他组件，诸如下面将关于图4进行描述的系统。数据输出可以仅包括数据点，或者在一些示例中，还可以包括一个或多个其他数据项，诸如从相机接收的输入数据。这使得ISP能够基于系统需要来输出信息，例如在不需要使用视觉数据的情况下，可以将视觉数据丢弃，而仅在后续处理中使用数据点。如上面关于图1和图2所描述的，通过在ISP处计算此种数据点，可以提高系统的效率，因为不需要在单独的定位和映射处理器从存储器中读取数据并确定一个或多个数据点之前，首先处理输入数据并将其存储在存储器中。
一旦输入数据已被压缩，则该方法继续到项目330，在此生成与输入数据相关联的一个或多个数据点。一个或多个数据点可以包括至少一个关键点位置、关键点检测器响应、关键点描述符、与至少一个关键点相关联的运动向量和匹配分数。
图4示意性地示出了包括根据示例的特征的系统400，其使用图像处理器，诸如上面关于图1和图2所述的图像处理器100、200，以及一个或多个其他处理器420。
系统400包括图像传感器410，诸如相机，其被布置为捕获与系统所处环境的现实环境再现相关联的视觉数据。例如，该系统可以与相机一起形成移动计算设备(诸如移动电话或可穿戴设备)的一部分，其中相机被布置为捕获关于移动计算设备的位置的视觉数据。
图像传感器410可通信地耦合到ISP 200，诸如上面关于图1和图2所述的ISP 100、200。如上所述，ISP 200被布置为处理由图像传感器410捕获的图像数据，其可以被临时存储在ISP 200的内部存储器中。ISP 200被布置为生成一个或多个数据点，诸如关键点位置、关键点检测器响应、关键点描述符、至少一个关键点的运动向量、以及匹配分数。
系统400还包括一个或多个附加处理器420，诸如中央处理单元、图形处理单元或专用的同步定位和映射求解器。一个或多个其他处理器420和ISP 200可以被组合为SoC或被组合在多个SoC上以形成一个或多个应用处理器。
一个或多个其他处理器420可以被布置为从附加传感器430接收进一步的输入，该附加传感器430被布置为测量现实环境的其他特性和特征。例如，附加传感器可以是如下中的任何一个：光学传感器，诸如激光测距仪、声纳或激光雷达(LiDAR)系统；加速度计或其他运动检测传感器；位置定位传感器，诸如全球或本地定位系统传感器、GLONASS(格洛纳斯)、伽利略或室内定位系统；和/或能够确定设备相对于一个或多个接入点的位置的无线连接模块，诸如Wi-Fi和/或
Figure BDA0002749112180000101
传感器。将理解的是，可以将任意数量和/或类型的传感器组合地连接到一个或多个其他处理器420。一个或多个附加传感器430可以形成IMU的一部分。一个或多个其他处理器被布置为处理从这些传感器接收的输入，并且在一些示例中，将输入提供给IPS 200作为反馈数据，以在生成数据点时使用。
系统400还包括用于至少存储由ISP 200生成的数据点的存储器440，并且其经由存储器控制器450被访问。存储器还可以被布置为存储由系统400、ISP 200或任何其他处理器430使用的其他信息。例如，存储器440可以被布置为存储与先前检测的数据点有关的信息，以便一个或多个其他处理器420可以读取该信息并将其与来自传感器430的输入组合以细化和/或更新由ISP 200生成的数据点。
存储器控制器450可以包括动态存储器控制器(DMC)。存储器控制器450被耦合到存储器440。存储器控制器450被配置为管理去往和来自存储器440的数据流。存储器440可以包括主存储器，或称为“主要存储器”。存储器440可以是外部存储器，因为存储器440在系统400的外部。例如，存储器440可以包括“片外”存储器。存储器440可以具有比ISP 200和/或其他处理器420的存储器缓存更大的存储容量。在一些示例中，存储器440被包括在系统400中。例如，存储器440可以包括“片上”存储器。存储器440可以例如包括磁盘或光盘以及磁盘驱动器或固态硬盘(SSD)。在一些示例中，存储器440包括同步动态随机存取存储器(SDRAM)。例如，存储器440可以包括双倍数据速率同步动态随机存取存储器(DDR-SDRAM)。存储器440可以被布置为存储作为来自ISP 200的输出接收的图像数据。所存储的图像数据可以对应于视频流中的连续图像。存储器440可以包括被布置为存储图像数据的帧缓冲器。
ISP 200、至少一个其他处理器420、以及存储器控制器450、相机410和一个或多个其他传感器430中的一个或多个可以例如使用系统总线460互连，尽管将理解，ISP 200和系统400的其他组件410、420、430、450中的至少一个可以直接彼此连接，使得管线中的一个组件的输出直接连接到另一组件的输入。这允许在各个组件之间传输数据。系统总线460可以是或包括任何合适的接口或总线。例如，可以使用
Figure BDA0002749112180000111
高级微控制器总线架构
Figure BDA0002749112180000112
接口，诸如高级可扩展接口(AXI)。
上述示例应被理解为本公开的说明性示例。设想了进一步示例。应当理解，关于任何一个示例描述的任何特征可以单独使用，或者与所描述的其他特征结合使用，并且还可以与任何其他示例的一个或多个特征结合使用，或者与任何其他示例的任何组合结合使用。此外，在不脱离由所附权利要求限定的本公开的范围的情况下，也可以采用以上未描述的等同和修改。

Claims (10)

1.一种图像信号处理器，包括：
输入模块，所述输入模块用于从相机获得输入数据，所述相机被布置为捕获现实环境的再现；
至少一个压缩模块，所述至少一个压缩模块用于压缩所述输入数据并产生压缩的输入数据，其中，所述压缩的输入数据比所述输入数据更小；
定位和映射模块，所述定位和映射模块被布置为从所述压缩的输入数据生成一个或多个数据点；以及
输出模块，所述输出模块用于输出至少所述一个或多个数据点。
2.根据权利要求1所述的图像信号处理器，其中，第一压缩模块被布置为以第一压缩率生成压缩的输入数据，第二压缩模块被布置为以第二压缩率生成压缩的输入数据，并且其中，所述第一压缩率被应用于所述输入数据的第一部分，所述第二压缩率被应用于所述输入数据的第二部分。
3.根据权利要求1所述的图像信号处理器，其中，所述压缩模块被布置为将以下各项中的至少一项应用于所述输入数据：
缩放运算；以及
插值运算。
4.根据权利要求1所述的图像信号处理器，其中，所述输入模块还被布置为从处理器接收反馈数据，并且其中，所述定位和映射模块基于所述压缩的输入数据和所述反馈数据生成所述一个或多个数据点。
5.一种用于定位和映射现实环境的方法，所述方法包括以下步骤：
从相机获得输入数据，所述相机被布置为捕获所述现实环境的再现；
压缩所述输入数据以产生压缩的输入数据，其中所述压缩的输入数据比所述输入数据更小；
从所述压缩的输入数据生成一个或多个数据点；以及
输出至少所述一个或多个数据点。
6.根据权利要求5所述的方法，其中，压缩所述输入数据包括以第一压缩率压缩所述输入数据和以第二压缩率压缩所述输入数据，其中，所述第一压缩率被应用于所述输入数据的第一部分，所述第二压缩率被应用于所述输入数据的第二部分。
7.根据权利要求6所述的方法，还包括以下步骤：至少组合以所述第一压缩率压缩的输入数据和以所述第二压缩率压缩的输入数据。
8.根据权利要求5所述的方法，其中，压缩所述输入数据包括将以下各项中的至少一项应用于所述输入数据：
缩放运算；以及
插值运算。
9.根据权利要求5所述的方法，还包括：获得用于处理器的反馈数据，并基于所述压缩的输入数据和所述反馈数据生成所述一个或多个数据点。
10.一种系统，包括：
传感器，所述传感器用于捕获现实环境的再现；
根据权利要求1所述的图像信号处理器，所述图像信号处理器被布置为从相机接收所述再现并生成一个或多个数据点；以及
处理器。
CN202011177484.9A 2019-10-31 2020-10-29 用于环境映射的图像信号处理器、方法和系统 Active CN112752086B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/670,344 US11270412B2 (en) 2019-10-31 2019-10-31 Image signal processor, method, and system for environmental mapping
US16/670,344 2019-10-31

Publications (2)

Publication Number Publication Date
CN112752086A true CN112752086A (zh) 2021-05-04
CN112752086B CN112752086B (zh) 2024-03-22

Family

ID=75648797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011177484.9A Active CN112752086B (zh) 2019-10-31 2020-10-29 用于环境映射的图像信号处理器、方法和系统

Country Status (2)

Country Link
US (1) US11270412B2 (zh)
CN (1) CN112752086B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270412B2 (en) * 2019-10-31 2022-03-08 Apical Limited Image signal processor, method, and system for environmental mapping

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120262558A1 (en) * 2006-11-02 2012-10-18 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
US20160234514A1 (en) * 2013-10-17 2016-08-11 Mediatek Inc. Data processing apparatus for transmitting/receiving compressed pixel data groups of picture and indication information of pixel data grouping setting and related data processing method
CN107077209A (zh) * 2014-08-18 2017-08-18 环球城市电影有限责任公司 用于生成增强和虚拟现实图像的系统和方法
CN107533230A (zh) * 2015-03-06 2018-01-02 索尼互动娱乐股份有限公司 头戴式显示器用追踪系统
CN107924554A (zh) * 2015-08-26 2018-04-17 苹果公司 图像处理流水线中对图像数据的多速率处理

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004200739A (ja) * 2002-12-16 2004-07-15 Sanyo Electric Co Ltd 画像処理装置
US7542613B2 (en) * 2004-09-21 2009-06-02 Sanyo Electric Co., Ltd. Image processing apparatus
US9639935B1 (en) * 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
US10095933B2 (en) * 2016-12-05 2018-10-09 Google Llc Systems and methods for locating image data for selected regions of interest
US10970552B2 (en) * 2017-09-28 2021-04-06 Gopro, Inc. Scene classification for image processing
US10630921B2 (en) * 2018-05-21 2020-04-21 Gopro, Inc. Image signal processing for reducing lens flare
US10916040B2 (en) * 2018-07-24 2021-02-09 Apical Ltd. Processing image data using different data reduction rates
US11039118B2 (en) * 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
US11270412B2 (en) * 2019-10-31 2022-03-08 Apical Limited Image signal processor, method, and system for environmental mapping

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120262558A1 (en) * 2006-11-02 2012-10-18 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
US20160234514A1 (en) * 2013-10-17 2016-08-11 Mediatek Inc. Data processing apparatus for transmitting/receiving compressed pixel data groups of picture and indication information of pixel data grouping setting and related data processing method
CN107077209A (zh) * 2014-08-18 2017-08-18 环球城市电影有限责任公司 用于生成增强和虚拟现实图像的系统和方法
CN107533230A (zh) * 2015-03-06 2018-01-02 索尼互动娱乐股份有限公司 头戴式显示器用追踪系统
CN107924554A (zh) * 2015-08-26 2018-04-17 苹果公司 图像处理流水线中对图像数据的多速率处理

Also Published As

Publication number Publication date
US20210133922A1 (en) 2021-05-06
CN112752086B (zh) 2024-03-22
US11270412B2 (en) 2022-03-08

Similar Documents

Publication Publication Date Title
JP6961749B2 (ja) インターリーブチャネルデータ用の構成可能な畳み込みエンジン
CN110574025B (zh) 用于合并交错通道数据的卷积引擎
US10868985B2 (en) Correcting pixel defects based on defect history in an image processing pipeline
US9615039B2 (en) Systems and methods for reducing noise in video streams
CN110637297B (zh) 卷积引擎、数据处理方法和电子设备
JP2009064421A (ja) 深度データの符号化方法、深度マップ生成装置及び電子装置
CN107749987B (zh) 一种基于块运动估计的数字视频稳像方法
US9307148B1 (en) Video enhancement techniques
US11182908B2 (en) Dense optical flow processing in a computer vision system
US20130322766A1 (en) Method of detecting global motion and global motion detector, and digital image stabilization (dis) method and circuit including the same
JP2019519862A (ja) 並列コンピュータビジョン及び画像スケーリング・アーキテクチャ
US20100302402A1 (en) Image processing apparatus, image processing method, and program
CN107959798B (zh) 视频数据实时处理方法及装置、计算设备
US8587705B2 (en) Hardware and software partitioned image processing pipeline
US11818468B2 (en) Methods and apparatus for shear correction in image projections
US11682212B2 (en) Hierarchical data organization for dense optical flow processing in a computer vision system
CN112752086B (zh) 用于环境映射的图像信号处理器、方法和系统
TW201320727A (zh) 影像處理裝置、影像處理方法以及記錄媒體
US11847784B2 (en) Image processing apparatus, head-mounted display, and method for acquiring space information
CN109493349B (zh) 一种图像特征处理模块、增强现实设备和角点检测方法
CN107977644B (zh) 基于图像采集设备的图像数据处理方法及装置、计算设备
CN116993620B (zh) 一种去模糊方法和电子设备
US20230298302A1 (en) Single read of keypoint descriptors of image from system memory for efficient header matching
US20230316706A1 (en) Filtering of keypoint descriptors based on orientation angle
KR20240039394A (ko) 영상 처리 장치, 그것을 갖는 전자 장치, 그것의 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20220725

Address after: Britain Camb

Applicant after: Arm Ltd.

Address before: Cambridge County, England

Applicant before: Apical Ltd.

Applicant before: ARM Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant