CN104244014A - 用于处理图像数据流的装置、方法和系统 - Google Patents

用于处理图像数据流的装置、方法和系统 Download PDF

Info

Publication number
CN104244014A
CN104244014A CN201410262419.4A CN201410262419A CN104244014A CN 104244014 A CN104244014 A CN 104244014A CN 201410262419 A CN201410262419 A CN 201410262419A CN 104244014 A CN104244014 A CN 104244014A
Authority
CN
China
Prior art keywords
data stream
image data
data flow
processing unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410262419.4A
Other languages
English (en)
Other versions
CN104244014B (zh
Inventor
A.罗歇
R.伊尼阿斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN104244014A publication Critical patent/CN104244014A/zh
Application granted granted Critical
Publication of CN104244014B publication Critical patent/CN104244014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428—Gradation resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/06—Use of more than one graphics processor to process data before displaying to one or more screens

Abstract

本发明公开了用于处理图像数据流的装置、方法和系统。实现方式涉及一种用于处理图像数据流的装置。所述装置可以包括：第一处理单元和第二处理单元，用于接收所述图像数据流。所述第一处理单元可以被布置成用于提供第一数据流，所述第一数据流与所述图像数据流相比具有减少的带宽。所述第二处理单元可以被布置成用于提供第二数据流，所述第二数据流与所述图像数据流相比具有减少的带宽。

Description

用于处理图像数据流的装置、方法和系统
技术领域
实施例涉及图像数据的（预）处理的改进。
背景技术
为了增强道路安全性并且减少事故，Euro-NCAP（欧洲新车安全评鉴协会）定义了详细的先进驾驶员辅助系统（ADAS）特征和测试情形以用于在 2016年以后生产的车辆中，以便获得五星评级。
使用了不同类型（例如基于照相机或基于雷达）的系统，这些系统意图用来检测风险情况，通知驾驶员并且假如驾驶员未及时介入则自主地发起动作（例如使车辆慢下来以免碰撞）。
基于照相机的系统特别地使得能够进行前向碰撞报警、车道偏离和远光灯辅助。
为了甚至在变化的并且不同的光条件下提供想要的程度的安全性，可以使用高动态传感器，这进而造成对于存储器和计算性能的增加的要求。另一方面，意图使基于照相机的系统变得更廉价，从而更多的车辆可以装备有这样的安全性增强的特征。
发明内容
本发明的一个方面涉及一种用于处理图像数据流的装置，包括：第一处理单元和第二处理单元，用于接收所述图像数据流；其中，所述第一处理单元被布置成用于提供第一数据流，其中，所述第一数据流与所述图像数据流相比具有减少的带宽；其中，所述第二处理单元被布置成用于提供第二数据流，其中，所述第二数据流与所述图像数据流相比具有减少的带宽。
本发明的一个方面涉及一种装置，包括：第一处理单元，被耦接到输入图像数据流，其中，所述第一处理单元被布置成用于提供第一数据流，其中，所述第一数据流与所述输入图像数据流相比具有减少的带宽；第二处理单元，被耦接到所述输入图像数据流，其中，所述第二处理单元被布置成用于提供第二数据流，其中，所述第二数据流与所述图像数据流相比具有减少的带宽；存储器，用于至少部分地存储所述第一数据流和所述第二数据流。
本发明的一个方面涉及一种用于处理图像数据流的方法，包括：提供第一数据流，其中，所述第一数据流与所述图像数据流相比具有减少的带宽；提供第二数据流，其中，所述第二数据流与所述图像数据流相比具有减少的带宽；其中，由第一处理单元提供所述第一数据流，并且由第二处理单元提供所述第二数据流。
本发明的一个方面涉及一种用于处理图像数据流的系统，包括：用于提供第一数据流的部件，其中，所述第一数据流与所述图像数据流相比具有减少的带宽；用于提供第二数据流的部件，其中，所述第二数据流与所述图像数据流相比具有减少的带宽。
附图说明
参照附图示出并且图解实施例。附图用于图解基本原理，从而仅图解对于理解基本原理所必须的各方面。附图并非成比例。在附图中，相同标号指明同样的特征。
图1示出如其可以在ADAS应用中利用那样的示例性示意图。
图2示出图像处理架构的示例性示意图。
图3示出包括若干被并行布置的像素路径（pixelpath）的示例性架构。
图4示出包括图3的像素路径的示例性架构，其中，数据流存储在特别被实现为嵌入式RAM的存储器中。
具体实施方式
所提出的方法特别提供一种对于存储器具有低要求的图像预处理器架构。该解决方案可以特别利用在先进驾驶员辅助系统（ADAS）中。
用于ADAS的图像处理可以使用若干处理路径，其中，所述处理路径中的至少两条可以被彼此并行地布置。图像存储器可以包括随机存取存储器（RAM），其被看作对于ADAS装置的成本而言的关键因素。
第一实施例涉及一种用于处理图像数据流的装置，包括第一处理单元和第二处理单元以用于接收图像数据流；其中，所述第一处理单元被布置成用于提供第一数据流，其中，所述第一数据流与所述图像数据流相比具有减少的带宽；以及其中所述第二处理单元被布置成用于提供第二数据流，其中，所述第二数据流与所述图像数据流相比具有减少的带宽。
图像数据流可以是图像记录装置（例如照相机）所提供的任何数据。所述图像数据流包括以特定速率拍摄的图像或图片。图像数据流的数据速率取决于所拍摄的图像的大小以及每段时间间隔记录的图像量（即多久记录一次图像）。可以由至少一个照相机提供图像数据流。所述图像数据流可以已经被照相机接口预处理，其中，这样的预处理可以特别地包括解压缩。
所述第一处理单元和所述第二处理单元可以是物理上分离的处理实体，其可以特别地被部署在单个芯片或若干芯片上。每个处理单元构建还被提及为像素路径的处理路径。可以存在两个或更多个处理所述图像数据流的处理单元。
所述第一处理单元的压缩率和所述第二处理单元的压缩率可以被调整或经受配置。
第二实施例涉及一种装置，包括：第一处理单元，被耦接到输入图像数据流，其中，所述第一处理单元被布置用于提供第一数据流，其中，所述第一数据流与所述输入图像数据流相比具有减少的带宽；所述装置包括：第二处理单元，被耦接到所述输入图像数据流，其中，所述第二处理单元被布置成用于提供第二数据流，其中所述第二数据流与所述图像数据流相比具有减少的带宽；并且所述装置包括存储器，用于至少部分地存储所述第一数据流和所述第二数据流。
第三实施例涉及一种用于处理图像数据流的方法，包括以下步骤：
—提供第一数据流，其中，所述第一数据流与所述图像数据流相比具有减少的带宽；
—提供第二数据流，其中，所述第二数据流与所述图像数据流相比具有减少的带宽；
—其中，由第一处理单元提供所述第一数据流，并且由第二处理单元提供所述第二数据流。
第四实施例针对一种用于处理图像数据流的系统，包括：用于提供第一数据流的部件，其中，所述第一数据流与所述图像数据流相比具有减少的带宽；用于提供第二数据流的部件，其中，所述第二数据流与所述图像数据流相比具有减少的带宽。
图1示出如其可以在ADAS应用中利用那样的示例性示意图。具有共计120兆字节/秒的数据速率的视频流101（还被提及为图像流或（图像）数据流）被馈送到照相机接口102，照相机接口102可以对该视频流101进行解压缩，并且将解压缩的流馈送到低精度图像获取单元103和全精度图像获取单元104。
低精度图像获取单元103处理输入流，并且以减少的分辨率来提供包括全场景（即100%的图像）的流109。流109存储在存储器105中。下一级可以按总计例如达到15兆字节/秒的数据速率经由流107来利用存储器105中所存储的该流109的数据。
全精度图像获取单元104处理输入流，并且以其全分辨率来提供包括减少的场景（例如流101中所包含的图像的场景的30%或50%）的流110。流110存储在存储器106中。下一级可以按总计例如达到60兆字节/秒的数据速率经由流108来利用存储器106中所存储的该流110的数据。
因此，图1所示的示例可以用在包括两个获取路径的单个芯片ADAS装置中：一个低分辨率的路径覆盖输入流101的整个图像或场景，而另一个高分辨率的路径覆盖输入流101的整个图像或场景的一部分。
应注意单个芯片可以是单个衬底、管芯、晶片或硅。
在此所提出的方法特别允许利用减少的存储器（特别是RAM）的量来减少处理器（例如CPU或信令处理器）在图像预处理期间的负荷。这对于基于照相机的ADAS应用而言可能是有用的。由于即将来临的世代的照相机具有甚至更高分辨率的传感器并且因此以甚至增加的数据速率来提供图像流，因此该解决方案是特别有益的。
因此，所提出的解决方案特别是应对ADAS应用中增加的RAM需求。按照所提出的方法，所要求的存储器的量可以被明显地减少（考虑相同数据速率的视频流）。假如是具有增加的数据速率的视频流，则所要求的附加的存储器的量可以被减少。应注意减少所要求的RAM的量还暗示可以减少用于单个芯片解决方案的硅上的面积，并且可以或者造成更小的单个芯片或者造成具有增加的性能的相同大小的单个芯片。这两种效果都是有益的并且成本高效的。
图2示出图像处理架构的示例性示意图。处于120兆字节/秒的数据速率的（例如压缩的）数据流201被馈送到照相机接口202，照相机接口202对数据流201进行解压缩，并且以达到200兆字节/秒的数据速率将（解压缩的）数据流206供给至处理单元203。应注意数据流201可以是压缩的或未压缩的数据流。
处理单元203可以提供以下中的至少一个：
—利用不同压缩率的至少两个压缩数据流，
—压缩数据流中的至少一个是高分辨率；
—压缩数据流中的至少一个是减少的（例如低的）分辨率；
—压缩数据流中的至少一个包括数据流206的完整图像或场景；
—压缩数据流中的至少一个包括数据流206的图像或场景的一部分；
—至少一个被滤波的压缩数据流。
所述图像或场景的一部分可能提及例如在水平线之上或之下的图像的一部分。这对于对前方道路拍摄的图片或视频可能特别有用，因为经常可以在水平线之下的地面发现道路。提取机制和成像处理算法可以被用于确定图像或场景的所述部分。
关于此的解决方案可能提及每像素所使用的比特的数量（还被提及为像素精度）和/或用于（视频的）图像的像素的数量：例如，具有1280×720个像素（其中，每个像素具有16比特）的分辨率的视频流可以被减少为例如：
—1024×576个像素，每个像素具有16比特，即更小量的像素，和/或
—1280×720个像素，每个像素具有8比特，即更小量的像素精度。
当然，上面的图仅仅是示例；可以相应地使用其它分辨率以及宽高比。另外，取决于特定的使用情况情形，可以对像素量的减少和像素精度的减少进行组合。
结果，处理单元203提供若干数据流204、205以用于进一步的处理。所组合的数据流204、205的数据速率（总计例如20兆字节/秒至30兆字节/秒）与流206的数据速率相比可以被明显地减少。根据处理单元203的可能性，数据流204、205中的每一个可以优选地形成为给定类型的压缩视频。
例如，可以使用基于高精度视频的高精度算法，从而处理单元203所提供的输出与其输入（即数据流206）的数据速率相比可以被实质地减少。
因此，该解决方案特别是可以提供可以用于具有多个数据流动和高数据压缩中的每一个的ADAS中的图像处理的硬件。另外，高精度处理可以用于改进的数据减少。
这样的硬件可以被组织为物理上分离的像素路径，其中，每个像素路径使得能够进行视频数据的预处理。基于这样的硬件架构，后续的处理级可以处理减少的量的存储器（例如嵌入式RAM）。
图3示出包括被并行布置的若干像素路径的示例性架构。压缩数据流301被馈送到照相机接口302，照相机接口302解压缩数据流301，并且将（解压缩的）数据流306（全分辨率、高精度像素）供给至处理单元303至305，其中，处理单元303至305中的每一个是一个像素路径的一部分。
特别是通过以允许减少后续处理级中的RAM需求的方式来使用硬件加速器而布置处理单元303至305以用于处理图像。
处理单元303至305中的每一个可以被布置为提供下面中的至少一个：
—以特定压缩率提供数据流，其中处理单元303至305当中的压缩率可以至少部分地相同，或它们可以至少部分地不同；
—高分辨率的压缩数据流；
—减少的（例如低的）分辨率的压缩数据流；
—包括数据流306的完整图像或场景的压缩数据流；
—包括数据流306的图像或场景的一部分（例如细节）的压缩数据流；
—滤波操作。
因此，处理单元303至305中的每一个提供数据流307至309以用于进一步的处理。因为它们的压缩，所以数据流307至309在一起可以具有比数据流306明显更低的数据速率。数据流307至309特别是可以为不同分辨率（像素的数量和/或像素分辨率），和/或包括输入数据流306的不同部分（细节）。此外，数据流307至309中的每一个例如可以经受至少一个滤波操作，以便确定图像中或图像的一部分中的红外内容。可以组合这些可能性以便供给能够以高效方式利用存储器的适当数据流307至309，并且允许后续的处理级以在时间上和在存储器上高效的方式来利用从数据流306获得的信息。
所提出的解决方案可以被实现在ADAS相关的图像处理器中，或者作为ADAS相关的图像处理器的一部分。该图像处理器可以能够明显减少输出数据速率和大小，从而在没有或具有关于传递到一般目的的图像处理器（例如图4的控制器402，参见以下）的信息的输出质量和精度的受限制折中的情况下优化计算需求和存储器需求。图像处理器能够提供由至少一个传感器所获取的情景的若干表示，从而存储这样的表示所要求的存储器可以被明显减少。
处理单元303至305中的每一个可以是为一般目的的图像处理器提供数据的这样的图像处理器的一部分。处理单元303至305可以生成基于数据流306的场景的多个表示。处理单元303至305中的每一个可以使用由一般目的的图像处理器运行的ADAS算法。每个表示的获取速率可以可选地被经受配置。
数据流307至309可以被存储在公共共享存储器中。作为选项，数据流307至309中的每一个可以被存储在（共享）存储器的不同部分中。
另一选项是：至少一个数据流307、308或309具有与至少一个其它的数据流不同的输出速率。此外，数据流307、308或309可以具有多个输出速率，即，其可以在时间上的若干时刻（例如每经n个和每经m个时钟周期）提供压缩图像。换句话说，可以每经一段时间间隔就确定和/或存储一次压缩图像或者在这样的时间间隔内将压缩图像确定和/或存储若干次。
由处理单元303至305中的至少一个利用的算法可以包括下面的至少一个：
—对到来的数据流进行压缩；
—区域提取；
—无损向下采样；
—滤波，特别是卷积滤波；以及
—减少像素大小。
这些算法仅仅是示例，算法可以经受例如由用户进行的或者以自动的方式进行的配置。相应地，可以利用其它的用于图像处理和/或滤波的算法。例如，处理单元303至305中的至少一个可以利用已知的图像压缩算法（比如MPEG或H.26x）。
根据示例，处理单元303可以生成表示如由数据流306供给那样的整个场景、但是具有减少的像素数量并且具有每像素16比特的像素精度的压缩图像，以提取数据流306中的水平线位置并且分析图像亮度。处理单元304可以基于使用模糊滤波（基于具有减少的像素量和减少的像素精度的整个场景）来生成压缩图像。处理单元305可以基于用于边缘检测（例如为了车道检测和/或碰撞报警的目的）的可配置的（多个）卷积滤波器的使用而生成压缩图像。处理单元303至305以相同或不同的时间间隔生成这些图像，造成具有相同或不同数据速率的数据流307至309（还取决于相应的数据流307至309的每个图像的大小）。
所建议的解决方案允许在关注于预处理的一般性图像压缩与由一般目的的处理器进行的图像后处理（下一级处理，参见例如图4中的控制器402）之间的容易的软件分隔。
一个选项是处理—特别是利用硬件加速器来进行—可以基于行或基于图像来完成。例如，基于行的处理可以用于减少缓冲所要求的存储器。
另一选项是处理单元303至305中的每一个（或它们中的至少一些）包括无损向下采样级。
进一步的选项是处理单元303至305中的至少一个可以以还对数据流307至309中的每一个的数据速率具有明显影响的不同图像速率来提供输出。例如，处理单元304和305可以处理数据流306，并且以一定的时钟速率（即在长度t的时间间隔之后）提供输出。处理单元303可以执行不同的操作，操作例如可能是复杂的或者不经常要求用到的，并且与由处理单元304和305提供的结果相比，处理器303可以以例如以总计2t的时间间隔（在该示例中每两个时间间隔t）的不同的时钟速率来提供其处理的结果。因此，基于每个处理单元303至305的处理能力和/或使用情况情形，对于各个目标来处理数据流306的工作量可以被高效地分布在各像素路径（即处理单元303至305）当中。
还可以的一个选项是利用外部信号和/或配置标记来使能处理单元303至305中的至少一个的处理，从而外部信号和/或配置标记可以定义当获取到后续图像时哪个（哪些）处理单元将预处理所获取的图像。例如，由传感器确定的光条件的改变可以用于启动或重启处理单元303至305中的至少一个。
有益的是，所提出的示例使用像素路径以根据使用情况需求来提供高效的预处理。通过组合由处理单元303至305供给的数据流307至309，输入数据流306的数据速率被实质性地减少。因此，存储器的量（例如用于RAM的芯片上的表面）可以被明显减少，或者—作为替换—可以处理更高的数据速率（例如更多的像素路径），这造成或是更便宜的产品或是利用相同芯片面积的更高性能的产品。这对于利用嵌入式RAM的单个芯片解决方案而言是特别有用的。
示例：经由接口的转换
图4示出包括图3的像素路径的示例性架构，其中，数据流307至309被存储在存储器401（特别是嵌入式RAM）中。
提供接口403和/或接口404以获得来自存储器401的数据流307至309的信息，并且将信息转换成对于控制器402进行处理而言适合和/或高效的格式。控制器402和接口403、404经由总线405耦接。控制器402可以是或其可以包括中央处理单元、信号处理器或微控制器等。
例如，存储器401中所存储的数据流307至309可能具有总计8比特的像素精度，但是控制器402可能是对16比特而不是对8比特来高效地操作。因此，接口403和404可以（分别地或组合地）提供从8比特到16比特的转换以用于使控制器402能够以高效的方式来处理数据流307至309（或其一部分）。
进行转换的方法具有可以仍然高效地使用存储器401的优点，因为接口403、404将8比特图像数据变换为16比特图像数据而且不需要将这样的16比特图像数据存储在存储器401中。
因此，接口403和404可以被设计为使得像素信息可以按最小的所要求精度来存储，并且其可以被变换为适合于控制器402的格式。
应注意为了转换的目的可以提供至少一个这样的接口。另外，可以使用若干接口403和404。作为选项，接口403被布置为读取存储器401中所存储的格式下的像素，并且在没有任何转换的情况下将这些像素传递到控制器402。还一选项是接口404被布置为读取存储器401中所存储的像素，将它们转换成适合于控制器402的格式，并且将被转换的像素转发到控制器402。
所述转换可以包括向上转换，例如从8比特到16比特或从4比特到16比特。所述转换还可以包括向下转换，例如从32比特到16比特等。
进一步的优点和示例
所提出的解决方案使得有益的硬件配置能够在减少RAM需求的情况下覆盖例如基于照相机的ADAS。例如，包括1280×720个像素的传感器可能要求1.8兆字节的RAM缓冲器。通过减少数据流的数据速率，所要求的RAM可以被减少到690千字节，这节省了多于1.1兆字节的RAM。这与采用40nm的4平方毫米的硅面积的面积对应，并且造成减少到1/3。
使用硬件加速器有益地允许高能量效率，这还可以增加所附接的部件（比如，例如（信号）处理器）的寿命时段。
由于1兆字节的RAM可以足够用于处理雷达和图像数据，因此所提出的解决方案进一步使得能够使用同一硅来覆盖雷达和图像处理。
所提出的解决方案可以应用在个人交通运输领域或工业应用中。当在运动实体（例如任意种类的车辆）中实现时，特别是在有兴趣检测和/或监控它们的周围环境和/或确定它们周围环境的特殊性的情况下，这是特别有用的。
所建议的架构可以与ADAS预处理器组合而使用，允许明显的存储器减少。这对于以下应用中的至少一个可能是特别有益的：远光灯辅助、车道分离报警、前向碰撞报警。
因为该方法的低存储器需求，因此其也可以用于优化或减少功耗。
下面的示例和/或实施例中的至少一个可以被看作是创新的。如所描述那样它们可以与其它方面或实施例组合。在此描述?的任意的实施例或设计不一定被解释为较之其它实施例或设计是优选的或是有利的。
建议了一种用于处理图像数据流的装置，
—包括第一处理单元和第二处理单元，用于接收所述图像数据流；
—其中，所述第一处理单元被布置成用于提供第一数据流，其中，所述第一数据流与所述图像数据流相比具有减少的带宽；
—其中，所述第二处理单元被布置成用于提供第二数据流，其中，所述第二数据流与所述图像数据流相比具有减少的带宽。
在实施例中，所述第一处理单元被布置为提供下面中的至少一个：
—以第一压缩率从所述图像数据流生成所述第一数据流；
—以第一分辨率从所述图像数据流生成所述第一数据流；
—基于所述图像数据流的场景的一部分来从所述图像数据流生成所述第一数据流；
—基于滤波操作来从所述图像数据流生成所述第一数据流。
在实施例中，所述第一压缩率造成图像数据流的无损压缩或有损压缩。
在实施例中，所述第一分辨率包括下面中的至少一个：
—与所述图像数据流的图像相比的减少的像素量；
—与所述图像数据流的图像相比的减少的像素精度量；
—与所述图像数据流在每段时间的图像相比的减少的在每段时间的图像的量。
在实施例中，所述第二处理单元被布置为提供下面中的至少一个：
—以第二压缩率从所述图像数据流生成所述第二数据流；
—以第二分辨率从所述图像数据流生成所述第二数据流；
—基于所述图像数据流的场景的一部分来从所述图像数据流生成所述第二数据流；
—基于滤波操作来从所述图像数据流生成所述第二数据流。
在实施例中，所述第二压缩率造成图像数据流的无损压缩或有损压缩。
在实施例中，所述第二分辨率包括下面中的至少一个：
—与所述图像数据流的图像相比的减少的像素量；
—与所述图像数据流的图像相比的减少的像素精度量；
—与所述图像数据流在每段时间的图像相比的减少的在每段时间的图像的量。
在实施例中，在特定区域提取中，经由图像处理来确定所述图像数据流的场景的一部分。
在实施例中，所述滤波操作包括下面中的至少一个：
—低通滤波；
—高通滤波；
—模糊滤波；
—卷积滤波。
在实施例中，通过逐行处理所述图像数据流的图像而基于图像数据流来确定所述第一数据流。
在实施例中，通过逐行处理所述图像数据流的图像而基于图像数据流来确定所述第二数据流。
在实施例中，所述第一处理单元的获取速率和所述第二处理单元的获取速率均是可配置的。
在实施例中，所述第一数据流与所述图像数据流相比具有在每段时间间隔不同数量的图像。
在实施例中，所述第二数据流与所述图像数据流相比具有在每段时间间隔不同数量的图像。
在实施例中，所述装置包括：存储器，用于至少部分地存储所述第一数据流和所述第二数据流。
在实施例中，所述存储器是共享存储器，其中，所述第一处理单元与所述共享存储器的第一部分关联，并且所述第二处理单元与所述共享存储器的第二部分关联。
在实施例中，所述存储器包括随机存取存储器。
在实施例中，在单个芯片上布置所述第一处理单元、所述第二处理单元和所述随机存取存储器。
在实施例中，所述装置包括：至少一个接口，被布置成用于存取所述存储器并且用于将所述第一数据流和所述第二数据流的数据转换为预定格式。
在实施例中，所述预定格式包括由被布置成用于处理来自所述第一数据流和所述第二数据流的图像的控制器所使用的多个比特。
建议了一种装置，
—包括第一处理单元，其被耦接到输入图像数据流，其中，所述第一处理单元被布置用于提供第一数据流，其中，所述第一数据流与所述输入图像数据流相比具有减少的带宽；
—包括第二处理单元，其被耦接到所述输入图像数据流，其中，所述第二处理单元被布置成用于提供第二数据流，其中，所述第二数据流与所述图像数据流相比具有减少的带宽；
—包括存储器，用于至少部分地存储所述第一数据流和所述第二数据流。
在实施例中，在单个芯片上布置图像预处理级的部件，其中，所述存储器是所述单个芯片上所布置的随机存取存储器。
建议了一种用于处理图像数据流的方法，包括以下步骤：
—提供第一数据流，其中，所述第一数据流与所述图像数据流相比具有减少的带宽；
—提供第二数据流，其中，所述第二数据流与所述图像数据流相比具有减少的带宽；
—其中，由第一处理单元提供所述第一数据流，并且由第二处理单元提供所述第二数据流。
在实施例中，所述方法包括步骤：
—在存储器中至少部分地存储所述第一数据流和所述第二数据流。
在实施例中，提供所述第一数据流的步骤包括下面中的至少一个：
—以第一压缩率从所述图像数据流生成所述第一数据流；
—以第一分辨率从所述图像数据流生成所述第一数据流；
—基于所述图像数据流的场景的一部分来从所述图像数据流生成所述第一数据流；
—基于滤波操作来从所述图像数据流生成所述第一数据流。
在实施例中，所述第一分辨率包括下面中的至少一个：
—与所述图像数据流的图像相比的减少的像素量；
—与所述图像数据流的图像相比的减少的像素精度量；
—与所述图像数据流在每段时间的图像相比的减少的在每段时间的图像的量。
在实施例中，提供所述第二数据流的步骤包括下面中的至少一个：
—以第二压缩率从所述图像数据流生成所述第二数据流；
—以第二分辨率从所述图像数据流生成所述第二数据流；
—基于所述图像数据流的场景的一部分来从所述图像数据流生成所述第二数据流；
—基于滤波操作来从所述图像数据流生成所述第二数据流。
在实施例中，所述第二分辨率包括下面中的至少一个：
—与所述图像数据流的图像相比的减少的像素量；
—与所述图像数据流的图像相比的减少的像素精度量；
—与所述图像数据流在每段时间的图像相比的减少的在每段时间的图像的量。
提供一种用于处理图像数据流的系统，包括：
—用于提供第一数据流的部件，其中，所述第一数据流与所述图像数据流相比具有减少的带宽；
—用于提供第二数据流的部件，其中，所述第二数据流与所述图像数据流相比具有减少的带宽；
虽然已经公开了本发明各个示例性实施例，但是对于本领域技术人员显而易见的是，可以在不脱离本发明的精神和范围的情况下作出将达成本发明的一些优点的各种改变和修改。对于本领域技术人员来说很明显执行相同功能的其它部件可以被适合地代替。应当提到参照具体的图所解释的特征可以与其它图的特征组合，即使是在尚未明确提到这一点的那些情况下也如此。进一步地，可以或者使用适当的处理器指令而全部由软件实现方式来达成本发明的方法，或者以利用硬件逻辑和软件逻辑的组合以达成相同结果的混合式实现方式来达成本发明的方法。意图由所述权利要求覆盖这样的对本发明构思的修改。

Claims (31)

1. 一种用于处理图像数据流的装置，包括：
第一处理单元和第二处理单元，用于接收所述图像数据流；
其中，所述第一处理单元被布置成用于提供第一数据流，其中，所述第一数据流与所述图像数据流相比具有减少的带宽；
其中，所述第二处理单元被布置成用于提供第二数据流，其中，所述第二数据流与所述图像数据流相比具有减少的带宽。
2. 如权利要求1所述的装置，其中，所述第一处理单元被布置成提供下面中的至少一个：
以第一压缩率从所述图像数据流生成所述第一数据流；
以第一分辨率从所述图像数据流生成所述第一数据流；
基于所述图像数据流的场景的一部分来从所述图像数据流生成所述第一数据流；
基于滤波操作来从所述图像数据流生成所述第一数据流。
3. 如权利要求2所述的装置，其中，所述第一压缩率造成所述图像数据流的无损压缩或有损压缩。
4. 如权利要求2所述的装置，其中，所述第一分辨率包括下面中的至少一个：
与所述图像数据流的图像相比的减少的像素量；
与所述图像数据流的图像相比的减少的像素精度量；
与所述图像数据流在每段时间的图像相比的减少的在每段时间的图像的量。
5. 如权利要求2所述的装置，其中，在特定区域提取中，经由图像处理来确定所述图像数据流的场景的一部分。
6. 如权利要求2所述的装置，其中，所述滤波操作包括下面中的至少一个：
低通滤波；
高通滤波；
模糊滤波；
卷积滤波。
7. 如权利要求1所述的装置，其中，所述第二处理单元被布置成提供下面中的至少一个：
以第二压缩率从所述图像数据流生成所述第二数据流；
以第二分辨率从所述图像数据流生成所述第二数据流；
基于所述图像数据流的场景的一部分来从所述图像数据流生成所述第二数据流；
基于滤波操作来从所述图像数据流生成所述第二数据流。
8. 如权利要求7所述的装置，其中，所述第二压缩率造成所述图像数据流的无损压缩或有损压缩。
9. 如权利要求7所述的装置，其中，所述第二分辨率包括下面中的至少一个：
与所述图像数据流的图像相比的减少的像素量；
与所述图像数据流的图像相比的减少的像素精度量；
与所述图像数据流在每段时间的图像相比的减少的在每段时间的图像的量。
10. 如权利要求7所述的装置，其中，在特定区域提取中，经由图像处理来确定所述图像数据流的场景的一部分。
11. 如权利要求7所述的装置，其中，所述滤波操作包括下面中的至少一个：
低通滤波；
高通滤波；
模糊滤波；
卷积滤波。
12. 如权利要求1所述的装置，其中，通过逐行处理所述图像数据流的图像而基于所述图像数据流来确定所述第一数据流。
13. 如权利要求1所述的装置，其中，通过逐行处理所述图像数据流的图像而基于所述图像数据流来确定所述第二数据流。
14. 如权利要求1所述的装置，其中，所述第一处理单元的获取速率和所述第二处理单元的获取速率均是可配置的。
15. 如权利要求1所述的装置，其中，所述第一数据流与所述图像数据流相比具有在每段时间间隔不同数量的图像。
16. 如权利要求1所述的装置，其中，所述第二数据流与所述图像数据流相比具有在每段时间间隔不同数量的图像。
17. 如权利要求1所述的装置，包括：存储器，用于至少部分地存储所述第一数据流和所述第二数据流。
18. 如权利要求17所述的装置，其中，所述存储器是共享存储器，其中，所述第一处理单元与所述共享存储器的第一部分关联，并且所述第二处理单元与所述共享存储器的第二部分关联。
19. 如权利要求17所述的装置，其中，所述存储器包括随机存取存储器。
20. 如权利要求19所述的装置，其中，在单个芯片上布置所述第一处理单元、所述第二处理单元和所述随机存取存储器。
21. 如权利要求17所述的装置，包括：至少一个接口，被布置成用于存取所述存储器并且用于将所述第一数据流和所述第二数据流的数据转换为预定格式。
22. 如权利要求21所述的装置，其中，所述预定格式包括由被布置成用于处理来自所述第一数据流和所述第二数据流的图像的控制器所使用的多个比特。
23. 一种装置，包括：
第一处理单元，被耦接到输入图像数据流，其中，所述第一处理单元被布置成用于提供第一数据流，其中，所述第一数据流与所述输入图像数据流相比具有减少的带宽；
第二处理单元，被耦接到所述输入图像数据流，其中，所述第二处理单元被布置成用于提供第二数据流，其中，所述第二数据流与所述图像数据流相比具有减少的带宽；
存储器，用于至少部分地存储所述第一数据流和所述第二数据流。
24. 如权利要求23所述的装置，其中，在单个芯片上布置所述处理单元，并且其中，所述存储器是布置在所述单个芯片上的随机存取存储器。
25. 一种用于处理图像数据流的方法，包括：
提供第一数据流，其中，所述第一数据流与所述图像数据流相比具有减少的带宽；
提供第二数据流，其中，所述第二数据流与所述图像数据流相比具有减少的带宽；
其中，由第一处理单元提供所述第一数据流，并且由第二处理单元提供所述第二数据流。
26. 如权利要求25所述的方法，进一步包括：
在存储器中至少部分地存储所述第一数据流和所述第二数据流。
27. 如权利要求25所述的方法，其中，提供所述第一数据流包括下面中的至少一个：
以第一压缩率从所述图像数据流生成所述第一数据流；
以第一分辨率从所述图像数据流生成所述第一数据流；
基于所述图像数据流的场景的一部分来从所述图像数据流生成所述第一数据流；
基于滤波操作来从所述图像数据流生成所述第一数据流。
28. 如权利要求27所述的方法，其中，所述第一分辨率包括下面中的至少一个：
与所述图像数据流的图像相比的减少的像素量；
与所述图像数据流的图像相比的减少的像素精度量；
与所述图像数据流在每段时间的图像相比的减少的在每段时间的图像的量。
29. 如权利要求25所述的方法，其中，提供所述第二数据流包括下面中的至少一个：
以第二压缩率从所述图像数据流生成所述第二数据流；
以第二分辨率从所述图像数据流生成所述第二数据流；
基于所述图像数据流的场景的一部分来从所述图像数据流生成所述第二数据流；
基于滤波操作来从所述图像数据流生成所述第二数据流。
30. 如权利要求29所述的方法，其中，所述第二分辨率包括下面中的至少一个：
与所述图像数据流的图像相比的减少的像素量；
与所述图像数据流的图像相比的减少的像素精度量；
与所述图像数据流在每段时间的图像相比的减少的在每段时间的图像的量。
31. 一种用于处理图像数据流的系统，包括：
用于提供第一数据流的部件，其中，所述第一数据流与所述图像数据流相比具有减少的带宽；
用于提供第二数据流的部件，其中，所述第二数据流与所述图像数据流相比具有减少的带宽。
CN201410262419.4A 2013-06-12 2014-06-12 用于处理图像数据流的装置、方法和系统 Active CN104244014B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/916,446 2013-06-12
US13/916446 2013-06-12
US13/916,446 US10796617B2 (en) 2013-06-12 2013-06-12 Device, method and system for processing an image data stream

Publications (2)

Publication Number Publication Date
CN104244014A true CN104244014A (zh) 2014-12-24
CN104244014B CN104244014B (zh) 2019-04-30

Family

ID=52009860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410262419.4A Active CN104244014B (zh) 2013-06-12 2014-06-12 用于处理图像数据流的装置、方法和系统

Country Status (5)

Country Link
US (1) US10796617B2 (zh)
JP (1) JP5902234B2 (zh)
KR (1) KR101642181B1 (zh)
CN (1) CN104244014B (zh)
DE (1) DE102014008893A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107333107A (zh) * 2017-07-21 2017-11-07 广东美的制冷设备有限公司 监控拍摄方法、装置及其设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464781B (zh) * 2014-05-08 2020-11-03 索尼公司 信息处理装置和信息处理方法
US9904595B1 (en) 2016-08-23 2018-02-27 Texas Instruments Incorporated Error correction hardware with fault detection
JP2018158545A (ja) * 2017-03-23 2018-10-11 富士ゼロックス株式会社 液滴吐出装置
DE102017108016A1 (de) * 2017-04-13 2018-10-18 Carl Zeiss Microscopy Gmbh Mikroskopsystem und Verfahren zum Betreiben eines Mikroskopsystems
US11215999B2 (en) * 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097435A (en) * 1997-01-31 2000-08-01 Hughes Electronics Corporation Video system with selectable bit rate reduction
US20010040581A1 (en) * 2000-02-04 2001-11-15 Alliance Semiconductor Corporation Shared memory graphics accelerator system
US20040141067A1 (en) * 2002-11-29 2004-07-22 Fujitsu Limited Picture inputting apparatus
US20090022403A1 (en) * 2007-07-20 2009-01-22 Fujifilm Corporation Image processing apparatus, image processing method, and computer readable medium
US20100278271A1 (en) * 2009-05-01 2010-11-04 Maclnnis Alexander G Method And System For Adaptive Rate Video Compression And Transmission
CN101924890A (zh) * 2009-06-11 2010-12-22 索尼公司 图像处理设备和图像处理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348542A (ja) 2002-05-27 2003-12-05 Canon Inc ディジタルビデオカムコーダ
JP2004320502A (ja) 2003-04-17 2004-11-11 Matsushita Electric Ind Co Ltd 撮影装置
KR100866482B1 (ko) * 2004-01-29 2008-11-03 삼성전자주식회사 감시 시스템 및 그 사용 방법
KR101110009B1 (ko) 2004-02-27 2012-02-06 교세라 가부시키가이샤 촬상 장치 및 화상 생성 방법
US8416251B2 (en) * 2004-11-15 2013-04-09 Nvidia Corporation Stream processing in a video processor
US7406711B2 (en) * 2005-09-02 2008-07-29 Motorola, Inc. Method and apparatus for enforcing independence of processors on a single IC
JP2009048620A (ja) * 2007-07-20 2009-03-05 Fujifilm Corp 画像処理装置、画像処理方法、およびプログラム
KR100983873B1 (ko) 2008-07-04 2010-10-01 대한민국 돼지 써코바이러스 타입 1 및 2의 감별진단을 위한미니어레이법
US9774875B2 (en) * 2009-03-10 2017-09-26 Avago Technologies General Ip (Singapore) Pte. Ltd. Lossless and near-lossless image compression
JP5684488B2 (ja) 2009-04-20 2015-03-11 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
KR101067599B1 (ko) * 2010-01-18 2011-09-27 (주)나노포인트 저 해상도 및 고 해상도 영상 정보를 원격지에 전송하는 차량용 블랙박스 장치
US9077910B2 (en) * 2011-04-06 2015-07-07 Dolby Laboratories Licensing Corporation Multi-field CCD capture for HDR imaging
US9049464B2 (en) 2011-06-07 2015-06-02 Qualcomm Incorporated Multiple description coding with plural combined diversity
US20130021488A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Adjusting Image Capture Device Settings
US8953044B2 (en) 2011-10-05 2015-02-10 Xerox Corporation Multi-resolution video analysis and key feature preserving video reduction strategy for (real-time) vehicle tracking and speed enforcement systems
KR101899877B1 (ko) * 2012-04-04 2018-09-19 삼성전자주식회사 확대된 영상의 화질을 개선하기 위한 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097435A (en) * 1997-01-31 2000-08-01 Hughes Electronics Corporation Video system with selectable bit rate reduction
US20010040581A1 (en) * 2000-02-04 2001-11-15 Alliance Semiconductor Corporation Shared memory graphics accelerator system
US20040141067A1 (en) * 2002-11-29 2004-07-22 Fujitsu Limited Picture inputting apparatus
US20090022403A1 (en) * 2007-07-20 2009-01-22 Fujifilm Corporation Image processing apparatus, image processing method, and computer readable medium
US20100278271A1 (en) * 2009-05-01 2010-11-04 Maclnnis Alexander G Method And System For Adaptive Rate Video Compression And Transmission
CN101924890A (zh) * 2009-06-11 2010-12-22 索尼公司 图像处理设备和图像处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107333107A (zh) * 2017-07-21 2017-11-07 广东美的制冷设备有限公司 监控拍摄方法、装置及其设备

Also Published As

Publication number Publication date
CN104244014B (zh) 2019-04-30
US20140368514A1 (en) 2014-12-18
DE102014008893A1 (de) 2014-12-18
JP5902234B2 (ja) 2016-04-13
US10796617B2 (en) 2020-10-06
KR101642181B1 (ko) 2016-07-22
KR20140145090A (ko) 2014-12-22
JP2015002558A (ja) 2015-01-05

Similar Documents

Publication Publication Date Title
CN104244014A (zh) 用于处理图像数据流的装置、方法和系统
Romera et al. Efficient convnet for real-time semantic segmentation
KR102515735B1 (ko) 자율 주행을 위한 데이터 파이프 라인 및 딥 러닝 시스템
Taccari et al. Classification of crash and near-crash events from dashcam videos and telematics
JP2009510827A (ja) 動き検出装置
JP6601506B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法、画像処理プログラム及び車両
US11508156B2 (en) Vehicular vision system with enhanced range for pedestrian detection
US11170470B1 (en) Content-adaptive non-uniform image downsampling using predictive auxiliary convolutional neural network
CN111898539A (zh) 一种多目标检测方法、装置、系统、设备及可读存储介质
US11876540B2 (en) Processing of lossy-compressed ADAS sensor data for driver assistance systems
CN103400499A (zh) 超高清智能视频电子警察系统及其判定车辆违章的方法
US9953235B2 (en) Image pickup device, vehicle number image pickup device, and image pickup method
US10417507B2 (en) Freespace detection apparatus and freespace detection method
JPWO2018143277A1 (ja) 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム
Velez et al. Embedded platforms for computer vision-based advanced driver assistance systems: a survey
US11676397B2 (en) System and method for detecting an object collision
Claus et al. A comparison of embedded reconfigurable video-processing architectures
CN112287731B (zh) 目标的三元图像构建方法和装置及检测方法和装置
Yu et al. SoC processor for real-time object labeling in life camera streams with low line level latency
WO2022176795A1 (ja) 画像認識システム、処理装置、サーバ、画像認識方法、及びコンピュータプログラム
JP2022044775A (ja) 生成装置、学習装置、方法、およびプログラム
Khan et al. Memory efficient hardware accelerator for kernel support vector machine based pedestrian detection
Nguyen et al. AI-based traffic counting: A Case Study in Vietnam
JP2022181678A (ja) 情報処理システム及びプログラム
Lin et al. Development of a Multimedia-Based vehicle lane departure warning, forward collision warning and event video recorder systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant