CN1318977C - 图象处理设备和图象拾取装置 - Google Patents

图象处理设备和图象拾取装置 Download PDF

Info

Publication number
CN1318977C
CN1318977C CNB021057923A CN02105792A CN1318977C CN 1318977 C CN1318977 C CN 1318977C CN B021057923 A CNB021057923 A CN B021057923A CN 02105792 A CN02105792 A CN 02105792A CN 1318977 C CN1318977 C CN 1318977C
Authority
CN
China
Prior art keywords
data
pictorial data
image
pictorial
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB021057923A
Other languages
English (en)
Other versions
CN1410892A (zh
Inventor
村松彰二
大冢裕史
小林芳树
武长宽
竹崎次郎
门司竜彦
古泽勲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN1410892A publication Critical patent/CN1410892A/zh
Application granted granted Critical
Publication of CN1318977C publication Critical patent/CN1318977C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Abstract

本发明涉及一种图象处理设备和图象拾取装置,在图象拾取装置中将来自物体的光束信息转换成电荷信息以产生一屏幕图象数据,图象数据被输出至图象处理LSI,处理量减少单元仅选择属于多个区域的图象数据,所选出的图象数据由数据传送单元传送至单芯片中的RAM,并且由CPU根据RAM中存储的图象数据进行识别白线的操作。

Description

图象处理设备和图象拾取装置
技术领域
本发明涉及一种图象处理设备,并且更具体地说,涉及一种适于对存储在工作存储器中的图象数据进行运算操作处理的图象处理设备。
背景技术
用于对图象拾取装置所获得图象数据进行处理的图象处理技术已开始应用于检测可疑人物侵入或异常现象的监控系统中以及保障汽车安全旅行的车载系统中。为了将图象处理技术应用于这些系统中,需要图象处理系统具有较小的空间和较低的成本。为了实现小空间和低成本,需要一种具有有限运算操作能力的CPU(中央处理单元)和有限硬件物理性能的以高速进行图象处理的装置。至于图象处理设备小型化的方法,例如有一种采用单芯片的方法。该单芯片使CPU进行运算操作处理,使ROM(只读存储器)在其中存储程序,使RAM(随机存取存储器)用作工作存储器,并且构造系统例如网络和一系列端口所需的功能被相互集成在一个芯片封装中。通过采用该单芯片,可以在一个芯片中实现先前采用多个装置而构造的系统,这有助于图象处理设备的小空间和低成本。
另一方面,为了采用单芯片进行高速的图象处理,需要通过在单芯片中采用适当存储器来进行图象处理。其原因在于从CPU对设在单芯片外部的外部存储器的存取一般慢于对设在单芯片内部的本地存储器(工作存储器)的存取。为此原因,当采用外部存储器进行图象处理时,难以提供实际的处理量。例如,对于车载系统中采用的白线(交通线或车道)识别功能,需要以视频速度的识别从而需要高速的处理。但是,在采用外部存储器进行处理的情况下,难以实现所需的性能。另外,在环境抵抗型单芯片用于汽车控制等的情况下,由于单芯片中存储器的容量较小,所以能够高速处理的数据量是有限的。
因而,如JP-A-2001-101396中所述,提出了一种方法,其中存储在外部存储器中的图象数据通过DMA(直接存储器存取)传送被发送至与处理器集成在一个芯片中的本地存储器以便对图象数据进行高速处理。另外,如JP-A-6-4651中所述,还提出了一种方法,其中只有处理过程中所用区域的数据被传送以便对图象数据进行高速处理。各该现有技术采用其中图象数据被存储在外部存储器中的结构,并且在需要时将需要的图象数据传送至本地存储器以供处理。
发明内容
在上述前一项现有技术中,存储在外部存储器中的图象数据只有图象处理所需的图象数据被传送至本地存储器以实现高速处理。
更具体地说,由图象拾取装置产生的图象数据通过接线输入至用于图象处理的LSI中,在图象处理LSI中处理的图象数据由数据传送单元通过总线传送至外部存储器,存储在外部存储器中的图象数据被传送至单芯片中的本地存储器中。在此情况下,一屏幕的图象数据被传送至外部存储器,并且存储在外部存储器中的图象数据中只有所需图象数据被传送至单芯片中的本地存储器中以便高速进行图象处理。因此,采用了一种其中在将图象数据传送至外部存储器时将一屏幕图象数据整体传送的方法。然而,如果在车载图象处理设备中考虑道路上白线(交通线或车道)的识别,则由于白线不会出现在全屏幕上,所以也可以想到将其中出现白线的区域中的图象数据传送至外部存储器。但是,在现有技术中,考虑到待搜索白线区域由于图象处理运算或汽车位置的变化而可能会改变,采用了将整个一屏幕图象数据存储在外部存储器中的结构。
然而,尽管在这种结构中当外部存储器具有足够容量时不会出现问题,但是在把低成本看得很重要的设备中,必须考虑外部存储器容量或者不够或者没有的情况。此时,由于当单芯片中本地存储器容量不够时没有用于将图象数据存储于其中的存储单元,所以不可能构成图象处理系统。实际上,由于在当前可用单芯片的情况下本地存储器的容量较小,所以能够适用于在其中只装有一个本地存储器作为存储装置的图象处理设备中实际使用的应用是有限的。
另一方面,尽管在上述后一项现有技术中只传送图象处理所用的数据以进行高速处理,但是当没有足够的存储器容量用于存储原始图象数据时,不可能将图象数据存储在存储器中,因而不可能构成图象处理系统。
考虑到上述,为解决现有技术的问题而作出本发明,因此本发明的目的在于提供一种提供图象处理设备,能够使作为本地存储器的图象数据存储单元小型化而不采用任何外部存储器,并且提供了一种采用该图象处理设备的图象拾取装置。
为了达到上述目的,根据本发明的一个方面,提供了一种图象处理设备,包括:一种图象处理设备,包括:图象数据存储单元,用于将向之传送的图象数据存储于其中;运算操作处理单元,用于对所述图象数据存储单元中存储的图象数据进行运算处理;和数据传送单元,用于接收作为其输入的图象数据,并且将所输入图象数据中其量小于所输入图象数据量的多个图象数据传送至所述图象数据存储单元。
在构造上述图象处理设备时,也可以采用如下结构,其中设有图象拾取装置,用于将来自物体的光束信息转换成电荷信息以相继产生一屏幕图象数据,并且由图象拾取装置产生的图象数据被输入至数据传送单元。在此情况下,优选所述图象数据存储单元的物理存储容量被设定成小于从所述图象拾取装置输出的图象数据量。
另外,根据本发明的另一方面,提供了一种图象处理设备,包括:图象数据存储单元,用于将图象数据存储于其中;运算操作处理单元,用于对所述图象数据存储单元中存储的图象数据进行运算操作和处理;图象数据产生单元,用于将来自物体的光束信息转换成电荷信息以相继产生一屏幕图象数据;和数据传送单元,用于将所述图象数据产生单元所产生的图象数据中其量小于所产生图象数据量的多个图象数据传送至所述图象数据存储单元。
在构造上述各图象处理设备时,可以添加如下特征。
(1)所述数据传送单元将作为所述运算操作处理单元中运算操作处理对象的一个屏幕上多个区域中的图象数据作为多个图象数据加以传送。
(2)所述数据传送单元将作为所述运算操作处理单元中运算操作处理对象的一个屏幕上多个区域中的图象数据使每个图象数据在一个单个区域中分多次单独地加以传送。
(3)所述数据传送单元将不同种类的图象数据作为多个图象数据按种类单独地加以传送。
(4)所述数据传送单元将其中图象中浓度变化等于或高于一既定水平的多个边缘部分的图象数据加以传送,并且还传送该多个边缘部分的坐标信息。
(5)所述数据传送单元将作为所述运算操作处理单元中运算操作处理对象的一个屏幕上多个区域的图象数据中其中图象中浓度变化等于或高于一既定水平的多个边缘部分的图象数据加以传送,并且还传送该多个边缘部分的坐标信息。
另外,根据本发明的再一个方面,提供了一种图象拾取装置,包括:图象数据产生单元,用于将来自物体的光束信息转换成电荷信息以相继产生一屏幕图象数据;和区域选择单元,用于在所述图象数据产生单元所产生的一屏幕图象数据中选择出属于多个区域的图象数据。
在构造上述图象拾取装置时,可以添加如下特征。
(1)该图象拾取装置还包括数据输出单元,用于将所述区域选择单元选择出的属于所述多个区域的图象数据与用于限定该多个区域的区域信息一起加以输出。
(2)该图象拾取装置还包括数据传送单元,用于通过DMA传送方法或者基于SRAM存取的传送方法将所述数据输出单元输出的图象数据传送至图象数据存储单元,用于将图象数据存储于其中。
(3)该图象拾取装置还包括:曝光时间检测单元,用于检测产生一屏幕图象数据所需的的曝光时间已经完成;和数据传送单元,用于在所述曝光时间检测单元检测到曝光时间完成的情况下,将所述数据输出单元输出的图象数据传送至所述用于存储图象数据于其中的图象数据存储单元。
(4)该图象拾取装置还包括传送请求输出单元,用于在所述曝光时间检测单元检测到曝光时间完成时输出一个将图象数据传送至传送目标的传送请求。
(5)该图象拾取装置还包括图象数据存储单元,用于将所述图象数据产生单元所产生的图象数据对应于一屏幕象素地存储于其中,其中存储于所述图象数据存储单元中的图象数据的地址映射成与所述用于对图象数据进行运算操作的运算操作处理单元中的存储器空间部分相关联。
(6)一种图象拾取装置,包括:图象数据产生单元,用于将来自物体的光束信息转换成电荷信息以相继产生一屏幕图象数据;和区域选择单元,用于在所述图象数据产生单元所产生的一屏幕图象数据中相继选择出属于多个区域的每一单个区域图象数据。
(7)一种图象拾取装置,包括:图象数据产生单元,用于将来自物体的光束信息转换成电荷信息以相继产生一屏幕图象数据;区域选择单元,用于在所述图象数据产生单元所产生的一屏幕图象数据中相继选择出属于多个区域的每一单个区域图象数据;和数据传送单元,用于保持由所述区域选择单元选择出的图象数据并将每一区域如此保持的图象数据相继加以传送。
根据上述装置,在图象数据被存储在图象数据存储单元中之前,选择出运算操作处理所用图象数据中其量小于所输入图象数据的多个图象数据,并且仅将所选出的图象数据存储在图象数据存储单元中。因此,可以减少作为本地存储器(工作存储器)的图象数据存储单元的存储容量而不采用任何外部存储器,这有助于小空间和低成本。另外,由于存储在图象数据存储单元中的图象数据量被减少,所以施加在图象数据所经由传送的总线上的负载得以减少,所以运算操作单元(CPU)更加可以高速处理。此外,可以将向图象数据存储单元写入图象数据的处理降低至最低程度。
另外,在传送图象数据时,屏幕上多个区域中的图象数据或者其中图象中浓度变化等于或高于一既定水平的多个边缘部分的图象数据被传送,从而可以减少数据量。另外,屏幕上区域中的图象数据中其中图象中浓度变化等于或高于一既定水平的多个边缘部分的图象数据于其坐标信息一起被传送,从而可以减少数据量。
另外,根据本发明的图象拾取装置,由于一个屏幕上图象数据中属于多个区域的图象数据被选择输出,所以可以提高传送图象拾取装置所产生图象数据时的传送速度。另外,图象拾取装置中添加了选择/传送图象数据的功能以提供单片组件,这有助于小空间和低成本。
从下面结合附图对本发明实施例的描述中可以清楚本发明的其它目的、特色和优点。
附图说明
图1表示根据本发明第一实施例的图象处理设备结构的方框图;
图2是示意图,用于说明白线识别过程中使用的图象数据;
图3是用于说明图1所示图象处理设备操作的流程图;
图4是表示数据传送单元结构的方框图;
图5是用于说明DMA传送过程的流程图;
图6表示作为DMA传送中传送目标的存储器空间部分的结构;
图7A表示根据本发明另一实施例将芯片图象加以显示的例子;
图7B表示根据本发明另一实施例的存储器空间部分的结构;
图8A和8B分别用于说明采用边缘部分减少存储容量的方法;
图9表示数据传送单元另一实施例结构的方框图;
图10表示根据本发明第二实施例的图象处理设备结构的方框图;
图11A用于说明区域选择;
图11B表示区域选择单元的结构;
图12是用于说明从图象拾取装置输出的输出数据结构的时序图;
图13表示根据本发明第三实施例的图象处理设备结构的方框图;以及
图14是用于说明图13所示图象处理设备操作的时序图。
具体实施方式
下面参照附图详细说明本发明的实施例。
图1是表示根据本发明一个实施例用于识别道路上白线(交通线或车道)以确定驾驶员汽车位置的图象处理设备结构的方框图。对于作为车载系统的图象处理设备,小空间和低成本是实际应用的强制要求,并且考虑到将本发明用于要求高度安全的汽车上,在本实施例中采用环境抵抗型单芯片。另外,提供了其中采用单芯片并且在该单芯片中使用有限的本地存储器的图象处理设备,从而用较低的硬件物理性能来实现高速的图象处理。下面参照图1说明其具体内容。
在图1中,图象处理识别包括一个单芯片1,一个图象处理LSI2,和一个图象拾取装置3。然后,将单芯片1通过总线4连接至图象处理LSI2,将图象处理LSI2连接至图象拾取装置3。
图象拾取装置3作为图象数据产生单元,其功能在于将来自该领域的光束也即来自物体的光束的信息转换成电子变化信息,以例如1/60秒的间隔相继产生数字图象数据,并且通常由一个包括CCD(电荷耦合装置)和CMOS(互补金属氧化物半导体)的传感器构成。已经由图象拾取装置3产生的图象数据作为图象拾取装置数据输出(由箭头5表示)至图象处理LSI2。图象处理LSI2将输入其中的图象数据进行图象处理,然后通过一个用于减少处理数据量的单元30在图象处理之后获得的图象数据中选择出一定数量的图象数据。待传送的图象数据由用于减少处理数据量的单元30加以选择,从而进行减少传送数据量的操作。
已经由用于减少处理数据量的单元30选择的图象数据由数据传送单元20通过总线4传送至单芯片1(由箭头6表示)。在此情况下,如图2中所示,图象拾取装置3相继产生相对于屏幕100的一屏幕图象数据,并且在图象数据已经输入至图象处理LSI2时,属于区域A120和区域B130的图象数据被通过总线4传送至单芯片1,其中区域A120和区域B130都小于屏幕区域100。区域A120和区域B130的设置(由箭头7表示)由单芯片1中ROM13中存储的程序确定。也就是说,服从于此确定的控制信号从单芯片1通过总线4输入至图象处理LSI2以设置区域A120和区域B130。
单芯片1包括一个CPU11,作为运算操作处理单元,用于对图象数据进行运算操作和处理;一个RAM12,为工作存储器或本地存储器,作为图象数据存储单元,用于将向其传送的图象数据存储于其中;和一个ROM13,用于将程序等存储于其中。然后,CPU11用以对RAM12中存储的图象数据进行处理以识别道路上的白线。用于识别白线的程序存储在ROM13中。存储在ROM13中的任何程序,类似于存储在RAM12中的图象数据,可以由CPU11以高速存取。
在上述结构的图象处理设备中,如图3中所示,首先,图象拾取装置3根据来自物体的光束获取图象以产生图象数据(步骤S10),并且相继将所产生的一屏幕图象数据传送至图象处理LSI2。然后,图象处理LSI2在存储图象数据之前,进行处理以减少处理数据的量(步骤S11)。减少处理数据量的操作指的是将准备记录在单芯片1的RAM12中的图象数据限制在需要进行处理的数据,并且在本实施例中,指的是只选择属于图2中所示区域A120和区域B130的图象数据的操作。白线(也即交通线或车道)101的图象数据分别包含在区域A120和区域B130中,在将其传送至单芯片1完成之后,将其存储在单芯片1的RAM12中(步骤S12)。此后,CPU11开始对存储在RAM12中的图象数据进行运算操作和处理,以进行识别白线101的操作(步骤S13)。
如上所述,在本实施例中,在将图象数据存储在RAM12中之前,选择的图象数据量小于从图象拾取装置3输入的图象数据量以减少图象数据量。其结果是,不必如现有技术中那样提供外部存储器,用于将所有图象数据存储于其中,从而系统可以用较低的硬件物理性能构成,并且可以降低硬件的物理优势以及施加于总线4上的负载。
附带指出,尽管在本实施例中,减少处理数据量的操作以及存储数据的操作是单独进行的,但是实际上,选择是在其中不管输入数据是需要一个图象数据接着一个图象数据地进行处理的数据还是不需要以此方式进行处理的数据的情况下进行的,并且在完成选择之后,只有所选择的数据被写入在RAM12上。因此,感兴趣的操作是流水线操作。
下面参照图4说明数据传送单元20的具体结构。在图4中,数据传送单元20具有将属于图2中所示区域A120和区域B130的图象数据传送至单芯片1的RAM12中的功能,并且包括一个用于选择属于区域A120的图象数据的区域选择单元A21,和一个用于选择属于区域B130的图象数据的区域选择单元B22。从图象拾取装置3输出的图象数据通过接线51被输入至区域选择单元A21和区域选择单元B22的每一个中。然后,由于区域选择单元A21和区域选择单元B22具有相同的功能,在此情况下,下面仅说明区域选择单元A21。根据写入控制单元24控制的写入信号将已经通过接线51输入的图象数据写入至数据缓存器25中。现在,写入控制单元24驱动用于识别通过接线51输入的图象数据的坐标位置的电路,并且具有辨别所输入图象数据是否为区域A120中图象数据的功能。然后,如果判定所输入图象数据是区域A120中的图象数据,则写入控制单元24允许关注图象数据写入至数据缓存器25以进行写入操作。其结果是,只有区域A120中的图象数据被记录在数据缓存器25中。当数据缓冲器25中存储有等于或大于一定常量的图象数据时,由数据缓存器25发出一个将图象数据传送至单芯片1中RAM12的请求以开始图象数据至RAM12的传送。此时,读出控制单元23实施从单芯片1进行DMA传送所需的读出控制,以控制对数据缓存器25中存储的图象数据的读出操作。接着,如此读出的图象数据通过DMA传送被传送至RAM12。
在从数据缓存器25输出传送请求至单芯片1之后,该传送请求被作为对单芯片中CPU11的中断加以处理。下面参照图5说明此时的处理流程。
首先,在从数据缓存器25输出传送请求至单芯片1中CPU11之后,响应于该传送请求,CPU11产生一个中断(步骤S20)。接着,单芯片1中的CPU11对中断因素或条件进行分析(步骤S21)。也就是说,CPU11分析传送请求从数据缓存器25输入是否是因为存储在数据缓存器25中的图象数据量已经等于或大于所述常量。如果分析判定传送请求从数据缓存器25输入是因为存储在数据缓存器25中的图象数据量已经等于或大于所述常量,则数据缓存器25的输出地址被设定为传送源的地址(步骤S22)。接下来,设置数据的传送目标地址(步骤S23)。在此情况下,如图6中所示,假定RAM12的存储器空间部分140中的存储器空间A121为存储区域A120中数据的区域,并且将存储器空间A121的头部地址设定为传送目标地址。在完成传送源地址的设定以及传送目标地址的设定之后,根据存储在数据缓存器25中的数据总数确定DMA传送的传送次数以设定传送次数(步骤S24)。最后,启动DMA传送(步骤S25)以将数据缓存器25中的图象数据DMA传送至单芯片1中RAM12中的存储器空间A121。重复进行这些操作,直到完成一屏幕图象数据的图象处理。
附带指出,在区域选择单元B22的数据缓存器发出传送请求的情况下,根据上述相同的处理流程进行DMA传送。重复进行该操作,直到完成一屏幕图象数据的图象处理。
根据本发明,由于只有处理所需图象数据被传送至单芯片1中的RAM(本地存储器)12,所以可以减少数据的存储容量。另外,由于传送数据的量也较小,所以可以减少施加在总线上的负载,并且可以防止CPU11处理量的降低。另外,由于图象处理设备包括多个数据传送单元,所以为便于运算操作,可以将多个区域的数据传送至存储器空间部分。这使得在数据传送完成之后在识别白线的过程中不必进行重排数据等操作,并且有助于降低运算操作量。
尽管在本实施例中是针对属于两个区域的图象数据作为待传送至单芯片1中RAM12的图象数据进行说明的,但是也可以采用传送属于等于或大于三个区域的图象数据的结构。下面参照图7A和7B说明传送属于等于或大于三个区域的图象数据时的实施例。在图7A和7B所示的实施例中,假设对一个半导体部件的引线310进行检测,对引线310的检测是一个尽管采用较宽广的领域但是也需要高测量精度的应用场合。为了提高测量精度,采用用于检测引线310的图象处理设备来获取高清晰度图象形式的图象300。该图象300包括一个形成在芯片301上用以对准芯片301的标记311,和从芯片301端部引出的引线310,作为检测物体。在该检测的情况下,不采用整屏幕的图象数据,而只采用属于可能存在标记311和引线310的区域320、321、322和323的图象数据。这些区域因为其随时间、地点和部件分散而并不固定,因此需要通过一个程序加以设置。
在本实施例中,在RAM12中存储器空间部分340上确保对应于图象处理所用区域320、321、322和323的存储器空间341、342、343和344。然后,属于相应区域的图象数据作为图象处理所需图象数据由这些区域所对应的数据传送单元传送至单芯片1上的RAM12中。在此情况下,CPU11对各引线310的长度进行识别以检测引线310的质量。
根据本实施例,由于尽管采用高清晰度图象数据但只有处理所需的图象数据被传送,所以可以将处理所需图象数据记录在具有较小存储容量的RAM中。另外,通过由程序控制传送所用区域的范围,可以传送属于任意区域的图象数据。此外,由于在这些区域中设有多个数据传送单元,所以这些传送单元可以用交叠方式使用,因此本实施例可以应用于机动灵活的应用场合。
如上所述,根据本实施例,仅具有必要最小存储容量的图象处理设备也可以应用于使用高清晰度图象的应用场合,而这在通常情况下是需要较大的存储容量的。
虽然在上述各实施例中说明了通过限制待处理区域来实现减少RAM12中存储数据量的方法,但是在下面的实施例中,下面说明利用白线边缘部分的信息来减少数据量的方法,如图8A和8B中所示。
如图8A中所示,当根据由图象拾取装置3输出的一屏幕图象数据中属于区域110的图象数据对白线进行识别时,如果使用于识别白线102的图象数据经过轮廓增强的滤波处理,则可以以边缘部分的形式提取出白线102的两侧。也就是说,可以提取出其中图象浓度变化(亮度变化)等于或大于一既定水平的边缘部分的图象数据。由于对白线102进行识别的处理是利用白线102所具有的边缘信息进行的,所以在多数情况下该处理中仅使用了边缘部分的信息(图象数据)。如果在识别处理中仅使用了该边缘部分信息,则待存储数据量可以小于存储属于区域110的所有图象数据的量。另外,对于待记录信息,也可以使用确定为边缘部分的位置的坐标信息。在图8B中,用于限定区域A120和区域B130的坐标信息的数据传送与边缘部分的图象数据的数据传送结合进行,也即,不同种类的信息被根据种类单独传送,从而可以进一步减少处理所需数据的存储容量。图9中画出了此时数据传送单元20的具体结构。
数据传送单元20除包括区域选择单元A21和区域选择单元B22之外还包括一个预处理单元400。数据传送单元20用以将已通过接线53输入用于识别白线的图象数据提供至预处理单元400中进行轮廓增强滤波处理以提取出边缘部分,以便利用区域选择单元A21和区域选择单元B22只将该边缘部分信息(图象数据)传送至单芯片1中的RAM(本地存储器)12中。此时,对于区域选择单元A21,可以采用与图4中所示区域选择单元A21相同的单元。但是,在写入控制单元24中还要添加判断关注图象数据是否为输入图象数据坐标的图象数据以及判断关注图象数据是否为其边缘部分图象数据的功能。
根据本实施例,在假定处理中只使用边缘部分图象数据的基础上传送图象数据,从而可以减少图象处理设备中所需的存储容量。另外,作为处理对象的区域限制在屏幕上,从而可以获得由于区域限制而减少数据量以及由于将信息限制在边缘部分信息的方法而减少数据量的综合效果。换句话说,可以进一步减少处理所需的图象数据存储容量。
虽然在上述各实施例中,图象拾取装置3已用作用于简单输出图象数据的装置,但是也可以采用将图1中所示减少处理数据量的单元30附加在图象拾取装置3上的结构。下面参照图10说明此时的实施例。
下面参照图10,在根据本实施例的图象处理设备中,在图象拾取装置3中设有区域选择单元510,并且在图象处理LSI2中设有数据传送单元500。也就是说,图象拾取装置3具有作为数据产生单元的功能,用于将来自物体的光束信息转换成电荷信息以相继产生一屏幕图象数据;具有作为区域选择单元的功能,用于在如此产生的图象数据中选择出属于多个区域的图象数据;并且具有作为数据输出单元的功能,用于将如此选择出的属于多个区域的图象数据与用于限定这些区域的区域信息一起通过总线520加以输出。
区域选择单元510,如图11A和11B中所示,进行设定区域A650和区域B651的操作,并且在设定属于屏幕100的区域A650时,设定区域A650的起始点坐标600、宽度601和高度602的数据,而在设定区域B651时,设定区域B651的起始点坐标610、宽度611和高度612的数据。在已经设定区域A650和区域B651每个的起始点坐标、宽度和高度的数据之后,将区域A650和区域B651的信息分别记录在图11B中所示的区域存储单元620和621中。记录在区域存储单元620和621中的数据由传感器数据读出单元630读出,以与用于限定这些区域的区域信息一起通过接线632加以输出。在此情况下,在图象拾取装置3中,具有输出区域存储单元620中所存储图象数据功能的传感器数据读出单元630对输出数据进行控制。
具体地说,将一个CMOS传感器的光电接收装置阵列与SRAM相比,并且在此条件下,可以向传感器数据读出单元630加上一个用于SRAM存取的电路。此时,用坐标值作为地址进行数据读出操作。另外,也可以用如下方式进行控制,在传感器数据读出单元630中将来自CMOS传感器的输出信号分成需要输出至图象拾取装置3外部的信号和不需要输出至其外的信号,以便只输出必要数据。另外,也可以既输出有效数据也输出无效数据以输出用于识别的信号,而不管所输出数据有效还是无效。
例如,在从图象拾取装置3输出多个区域数据的情况下,如图12的时序图中所示,无论何时输出有效数据信号521,都将作为属于区域A的图象数据的输出数据522与用于限定区域A的区域数据503一起加以输出,并且也将属于区域B的图象数据(输出数据)522与用于限定区域B的区域数据523一起加以输出。现在,用于限定区域A和区域B的区域数据523可以是用于确定DATA a和DATA b作为输出数据522各属于何者的信息,从而可以采用例如区域的坐标信息或ID等信息作为区域数据523。
如上所述,在本实施例中,当图象拾取装置3所产生的图象数据中只有属于限定区域的图象数据通过接线520被输出至图象处理LSI2,以便由图象处理LSI2中的数据传送单元500通过总线4传送至单芯片1时,在图象拾取装置3中选择需要记录于单芯片1中RAM12中的数据。其结果是,图象处理LSI2只必须具有传送该数据的功能。
因此,根据本实施例,选择数据的功能附加地设在图象拾取装置3中,从而可以高速地仅读出处理所用数据。
下面参照图13说明设在图象处理LSI2中的数据传送单元500被附加地设在图象拾取装置3中的实施例。
本实施例中的图象拾取装置3具有数据传送单元500和区域选择单元510的功能。根据本实施例的图象处理设备由单芯片1和图象拾取装置3构成,因而与根据上述实施例的图象处理设备相比可以小型化。然后,图象拾取装置3和单芯片1通过总线4彼此连接,并且将图象拾取装置3的寄存器等映射在单芯片1的存储器空间部分上。此时,图象拾取装置3的寄存器对应于图11B中所示的区域存储单元620。另外,图象拾取装置3中含有的各光电接收装置被映射在单芯片1的存储器空间部分上,使得图象拾取装置3也可以用作外部存储器。也就是说,存储在RAM12中的图象数据的地址可以以此方式映射以与CPU11的存储器空间部分相关联。通过添加用于进行DMA传送的电路或者参照图11B所述的电路可以做到这一点。
从本实施例中图象拾取装置3至单芯片1的RAM12的图象数据传送,如图14中所示,是在已经检测到曝光时间700完成的条件下进行的。也就是说,当以1/60至1.0秒的间隔摄取图象以相继产生一屏幕图象数据时,图象拾取装置3只要经过曝光时间700就产生图象数据。从而,在图象拾取装置3中设置曝光时间检测单元用于检测曝光时间700。当曝光时间检测单元已经检测到曝光时间700完成时,图象拾取装置3向单芯片1产生一个中断701。响应于来自图象拾取装置3的中断701,单芯片1中的CPU11命令图象拾取装置3启动DMA传送702,然后根据数据传送单元500的操作开始从图象拾取装置3至单芯片1中RAM12的DMA传送。在此情况下,若每行产生一个中断,则每行产生一次DMA传送。另外,如果每场产生一个中断,则每场启动一次DMA传送。附带指出,图14中的时序图可以针对图象的每一行确定,也可以针对每一场确定。特别地,在CMOS传感器的情况下,在当前CMOS传感器的操作中通常将图14看作每行的时序图。
根据本实施例的图象拾取装置3,由于图象拾取装置3设有传送屏幕中限定区域图象数据的功能以构成单片组件,所以这有助于小空间和低成本。
虽然在上述各实施例中所说明的程序中在传送图象数据时一次传送多个区域的图象数据,但是也可以采用如下程序,从所产生的一屏幕图象数据中选择出多个区域的图象数据,将所选出的图象数据分成多个单个区域,并且将各单个区域中的图象数据分多次单独地加以传送。
另外,可以采用如下程序,从所产生的一屏幕图象数据中选择出多个单个区域图象数据,并将所选出的图象数据分多次单独地依次加以传送。在此情况下,该程序可以通过存储用于多次单独传送单个区域图象数据的处理程序来实现。例如,该程序可以如下实现,通过执行处理程序以便在经由一次曝光所获得的一屏幕图象数据中设定具有待多次单独传送至存储器中的图象数据的区域,以便将图象数据依次从图象拾取装置传送至单芯片中的存储器。
另外,当对于每一单个区域多次单独传送图象数据时,对于数据传送单元和区域选择单元,可以采用单个区域选择单元用于多次选择单个区域。
此外,多次单独传送一屏幕图象数据中的多个区域图象数据意味着图象拾取装置也用作存储器,从而图象拾取装置保留图象数据直到由图象拾取装置所产生的所有图象数据的传送完成之后。
如上所述,根据本发明,在将图象数据存储于图象数据存储单元之前,在运算操作处理所用的图象数据中选择出其量小于输入数据量的多个图象数据,并且仅将所选择出的图象数据存储于图象数据存储单元中。因此,可以减少作为本地存储器的图象数据存储单元的存储容量而不采用任何外部存储器,这有助于小空间和低成本。
本领域技术人员还应理解,上述说明是针对本发明的实施例作出的,可以对本发明进行各种变化和改型而不偏离本发明的精神和所附权利要求的范围。

Claims (6)

1.一种图象处理设备,包括:
图象数据存储装置(12),用于将向之传送的图象数据存储于其中;
运算操作处理装置(11),用于对所述图象数据存储装置中存储的图象数据进行运算处理;
图象拾取装置(3),用于将来自物体的光束信息转换成电荷信息以相继产生一屏幕图象数据;和
数据传送装置(20),用于接收作为其输入的从图象拾取装置(3)输出的图象数据,并将所输入图象数据中其量小于所输入图象数据量的图象数据的多个预定区域传送至所述图象数据存储装置。
2.如权利要求1所述的图象处理设备,其中所述数据传送装置将作为所述运算操作处理装置中运算操作处理对象的一个屏幕上多个区域中的图象数据作为多个图象数据加以传送。
3.如权利要求1所述的图象处理设备,其中所述数据传送装置将作为所述运算操作处理装置中运算操作处理对象的一个屏幕上多个区域中的图象数据以每个图象数据在一个单个区域中分多次单独地加以传送。
4.如权利要求1所述的图象处理设备,其中所述数据传送装置将不同种类的图象数据作为多个图象数据按种类单独地加以传送。
5.如权利要求1所述的图象处理设备,其中所述数据传送装置将其中图象中浓度变化等于或高于一既定水平的多个边缘部分的图象数据加以传送,并且还传送该多个边缘部分的坐标信息。
6.如权利要求1所述的图象处理设备,其中所述数据传送装置将作为所述运算操作处理装置中运算操作处理对象的一个屏幕上多个区域的图象数据中其中图象中浓度变化等于或高于一既定水平的多个边缘部分的图象数据加以传送,并且还传送该多个边缘部分的坐标信息。
CNB021057923A 2001-10-02 2002-04-18 图象处理设备和图象拾取装置 Expired - Lifetime CN1318977C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001306528A JP3932379B2 (ja) 2001-10-02 2001-10-02 画像処理装置と撮像素子
JP306528/2001 2001-10-02

Publications (2)

Publication Number Publication Date
CN1410892A CN1410892A (zh) 2003-04-16
CN1318977C true CN1318977C (zh) 2007-05-30

Family

ID=19126151

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB021057923A Expired - Lifetime CN1318977C (zh) 2001-10-02 2002-04-18 图象处理设备和图象拾取装置

Country Status (4)

Country Link
US (2) US7110613B2 (zh)
EP (1) EP1300799A3 (zh)
JP (1) JP3932379B2 (zh)
CN (1) CN1318977C (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3625460B2 (ja) 2002-09-27 2005-03-02 三菱電機株式会社 車載用走行車線認識装置
US7392330B2 (en) * 2004-07-02 2008-06-24 Mediatek Usa Inc. Memory access bandwidth allocation and latency control in a digital camera
US8164773B2 (en) 2006-05-26 2012-04-24 Marvell World Trade Ltd. Wireless system-in-package and image processing control apparatus
JP5035284B2 (ja) * 2009-03-25 2012-09-26 株式会社日本自動車部品総合研究所 車両周辺表示装置
JP5388835B2 (ja) 2009-12-24 2014-01-15 キヤノン株式会社 情報処理装置及び情報処理方法
US9286643B2 (en) 2011-03-01 2016-03-15 Applaud, Llc Personalized memory compilation for members of a group and collaborative method to build a memory compilation
JP6403430B2 (ja) * 2014-05-23 2018-10-10 キヤノン株式会社 画像処理装置および画像処理方法
CN107562660B (zh) * 2017-08-29 2020-07-17 深圳普思英察科技有限公司 一种视觉slam的片上系统及数据处理方法
JP2019056971A (ja) 2017-09-19 2019-04-11 株式会社東芝 データ転送回路、データ転送方法及びプログラム
JP6456466B2 (ja) * 2017-12-01 2019-01-23 キヤノン株式会社 イメージセンサー及びイメージセンサーの制御方法
CN110758291B (zh) * 2019-11-13 2021-04-27 合肥杰发科技有限公司 一种倒车影像系统的控制方法、控制器、系统及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4729028A (en) * 1985-10-10 1988-03-01 Deutsche Itt Industries Gmbh Television receiver with multipicture display
CN1040106A (zh) * 1989-09-27 1990-02-28 邮电部兴安通信设备厂 多功能高分辨率图象输入机
US5065447A (en) * 1989-07-05 1991-11-12 Iterated Systems, Inc. Method and apparatus for processing digital data
CN1060170A (zh) * 1990-09-17 1992-04-08 北京科海高技术(集团)公司 运载工具标记识别系统
US5539865A (en) * 1992-11-10 1996-07-23 Adobe Systems, Inc. Method and apparatus for processing data for a visual-output device with reduced buffer memory requirements
US5627590A (en) * 1991-07-04 1997-05-06 Fujitsu Limited Image encoding and transmitting system
EP0841558A2 (en) * 1996-11-11 1998-05-13 Hitachi, Ltd. Method and apparatus for evaluating defects
CN1213255A (zh) * 1997-04-14 1999-04-07 鸿友科技股份有限公司 图像处理装置
CN1217122A (zh) * 1996-03-27 1999-05-19 欧姆龙株式会社 图象识别的方法和装置以及利用此方法和装置的复印机和打印机

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6234281A (ja) 1985-08-08 1987-02-14 Fanuc Ltd 画像処理装置
US4870500A (en) * 1985-09-30 1989-09-26 Canon Kabushiki Kaisha Image signal processing apparatus
JPS6381688A (ja) * 1986-09-26 1988-04-12 Hitachi Ltd 半導体記憶装置
JPH01144171A (ja) * 1987-11-30 1989-06-06 Toshiba Corp 電子ファイリング装置
US5465163A (en) * 1991-03-18 1995-11-07 Canon Kabushiki Kaisha Image processing method and apparatus for processing oversized original images and for synthesizing multiple images
JPH064651A (ja) 1992-06-19 1994-01-14 Mitsubishi Electric Corp 画像処理装置
JPH09312859A (ja) * 1996-05-23 1997-12-02 Sony Corp カラー表示装置の画質測定装置及び画質測定方法
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
EP1193977B1 (en) * 1997-06-09 2003-08-27 Hitachi, Ltd. Image sequence coding method
US6192080B1 (en) * 1998-12-04 2001-02-20 Mitsubishi Electric Research Laboratories, Inc. Motion compensated digital video signal processing
US6252577B1 (en) * 1999-03-18 2001-06-26 Intel Corporation Efficient methodology for scaling and transferring images
JP3822380B2 (ja) * 1999-03-26 2006-09-20 富士写真フイルム株式会社 画像信号処理装置
JP2001101396A (ja) 1999-09-30 2001-04-13 Toshiba Corp 画像歪み補正処理装置および方法、並びに画像歪み補正処理を行うプログラムを格納した媒体
JP2002063778A (ja) * 2000-08-18 2002-02-28 Sony Corp ディスクカートリッジおよびその製造方法ならびに記録再生システム
US7495690B2 (en) * 2000-12-01 2009-02-24 Nikon Corporation Image data processing device
JP3797159B2 (ja) * 2001-08-28 2006-07-12 ソニー株式会社 撮像装置
AU2002354181A1 (en) * 2001-12-03 2003-06-17 Nikon Corporation Electronic apparatus, electronic camera, electronic device, image display apparatus, and image transmission system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4729028A (en) * 1985-10-10 1988-03-01 Deutsche Itt Industries Gmbh Television receiver with multipicture display
US5065447A (en) * 1989-07-05 1991-11-12 Iterated Systems, Inc. Method and apparatus for processing digital data
CN1040106A (zh) * 1989-09-27 1990-02-28 邮电部兴安通信设备厂 多功能高分辨率图象输入机
CN1060170A (zh) * 1990-09-17 1992-04-08 北京科海高技术(集团)公司 运载工具标记识别系统
US5627590A (en) * 1991-07-04 1997-05-06 Fujitsu Limited Image encoding and transmitting system
US5539865A (en) * 1992-11-10 1996-07-23 Adobe Systems, Inc. Method and apparatus for processing data for a visual-output device with reduced buffer memory requirements
CN1217122A (zh) * 1996-03-27 1999-05-19 欧姆龙株式会社 图象识别的方法和装置以及利用此方法和装置的复印机和打印机
EP0841558A2 (en) * 1996-11-11 1998-05-13 Hitachi, Ltd. Method and apparatus for evaluating defects
CN1213255A (zh) * 1997-04-14 1999-04-07 鸿友科技股份有限公司 图像处理装置

Also Published As

Publication number Publication date
US7110613B2 (en) 2006-09-19
US20070003148A1 (en) 2007-01-04
JP3932379B2 (ja) 2007-06-20
US20030063773A1 (en) 2003-04-03
EP1300799A2 (en) 2003-04-09
CN1410892A (zh) 2003-04-16
JP2003115986A (ja) 2003-04-18
EP1300799A3 (en) 2004-01-02

Similar Documents

Publication Publication Date Title
US20070003148A1 (en) Image processing apparatus and image pickup device
KR20180119578A (ko) 이벤트 기반의 비전 센서
US8723989B2 (en) Image distortion processing apparatus, and method of operating an image distortion processing apparatus
US11955032B2 (en) Sensor device and encryption method
US20200412930A1 (en) Event detecting device including an event signal generator and an output signal generator
JPH1098730A (ja) 動きベクトル検出方法及び動きベクトル検出装置
CN107958224B (zh) Adas上基于isp的图像预处理系统及方法
US11481916B2 (en) Method, system and computer program product for emulating depth data of a three-dimensional camera device
CN114467260A (zh) 驾驶员辅助系统的有损压缩的高级驾驶辅助系统传感器数据处理
US7610421B2 (en) Bus request control circuit
JP2008234059A (ja) データ転送装置および情報処理システム
WO2021084944A1 (ja) 情報処理システム、情報処理方法、撮像装置、情報処理装置
CN116069801B (zh) 一种交通视频结构化数据生成方法、装置及介质
EP3920463A1 (en) Encryption device, encryption method
KR20190070688A (ko) 이미지 센싱 시스템 및 이의 동작 방법
CN116260970A (zh) 一种基于数据大量传输的网络通信方法及系统
US20220366195A1 (en) Autonomous vehicle object detection
EP0454064A2 (en) Data transmission system
KR20220075442A (ko) 시나리오 정보의 검출 방법, 장치, 전자 기기, 매체 및 프로그램
CN116912951B (zh) 人体姿态的评估方法及装置
CN112238819A (zh) 用于记录车辆的行驶影像的装置及方法
CN115393579B (zh) 一种基于加权块对比度的红外小目标检测方法
CN116136416B (zh) 基于多特征融合滤波的实时轨迹优化方法和装置
JPH05307531A (ja) 画像処理装置
CN116403200A (zh) 基于硬件加速的车牌实时识别系统

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Ibaraki

Patentee after: Hitachi astemo Co.,Ltd.

Address before: Ibaraki

Patentee before: HITACHI AUTOMOTIVE SYSTEMS, Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20211126

Address after: Ibaraki

Patentee after: HITACHI AUTOMOTIVE SYSTEMS, Ltd.

Address before: Tokyo

Patentee before: Hitachi, Ltd.

TR01 Transfer of patent right
CX01 Expiry of patent term

Granted publication date: 20070530

CX01 Expiry of patent term