CN108449556A - 跨行时延积分方法、装置及相机 - Google Patents
跨行时延积分方法、装置及相机 Download PDFInfo
- Publication number
- CN108449556A CN108449556A CN201810217621.3A CN201810217621A CN108449556A CN 108449556 A CN108449556 A CN 108449556A CN 201810217621 A CN201810217621 A CN 201810217621A CN 108449556 A CN108449556 A CN 108449556A
- Authority
- CN
- China
- Prior art keywords
- integral
- energy
- row
- domain
- grade
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/768—Addressed sensors, e.g. MOS or CMOS sensors for time delay and integration [TDI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/711—Time delay and integration [TDI] registers; TDI shift registers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/713—Transfer or readout registers; Split readout registers or multiple readout registers
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种跨行时延积分方法、装置及相机,涉及成像技术领域。所述跨行时延积分方法包括:在第一积分片域的第i行上获取第一场景内第i目标区域内的第一级积分能量;将所述第一级积分能量跨行转移到第二积分片域的第i行上;经过一个积分周期后,在所述第二积分片域的第i行上获取所述第i目标区域内的第一级积分和第二级积分累积的积分能量;输出包含有所述第一级积分能量和所述第二级积分能量的第i目标区域的图像。本发明通过将成像获得的能量进行跨行积分,能够在更高速的环境下进行目标的拍摄,且可在现有的相机等光电器件上实现本方法,具有优良的成像质量和广泛的适用性。
Description
技术领域
本发明涉及高速成像技术领域,具体而言,涉及一种跨行时延积分方法、装置及相机。
背景技术
TDI(Time Delay Integration),时间延迟积分成像技术通常适用于对一些相机与目标相对移动的物体来成像。
现有的基于时延积分技术的TDI-CCD相机和TDI-CMOS相机,其能量积分工作模式是从前一行向相邻的后一行进行转移,达到设定的积分级数后输出一行图像。
然而,TDI-CCD或TDI-CMOS器件的刷新频率并不是无限高的,因此,在目标和相机相对运动速度高到一定值后,相机就无法正常工作了。
发明内容
本发明的目的在于提供一种跨行时延积分方法、装置及相机,其能够有效改善上述问题。
本发明中所述积分片域是对相机成像象元面阵的划分,一个积分片域对应的成像范围构成一个场景,所述第i目标区域是一个积分片域覆盖的场景内对应于i行图像的1个条带成像区域。所述第x目标区域是一个积分片域覆盖的场景内对应于x行图像的1个条带成像区域。
本发明的实施例是这样实现的:
第一方面,本发明实施例提供了一种跨行时延积分方法,所述方法包括:在第一积分片域的第i行上获取第i目标区域内的第一级积分能量;将所述第一级积分能量跨行转移到第二积分片域的第i行上;经过一个积分周期后,在所述第二积分片域的第i行上获取所述第i目标区域内的第一级积分和第二级积分累积的积分能量;输出包含有所述第一级积分能量和所述第二级积分能量的第i目标区域的图像。
第二方面,本发明实施例还提供了一种跨行时延积分装置,其包括第一获取模块,用于在第一积分片域的第i行上获取第i目标区域内的第一级积分能量;第一转移模块,用于将所述第一级积分能量跨行转移到第二积分片域的第i行上;第二获取模块,用于经过一个积分周期后,在所述第二积分片域的第i行上获取所述第i目标区域内的第一级积分和第二级积分累积的积分能量;第一输出模块,用于输出包含有所述第一级积分能量和所述第二级积分能量的第i目标区域的图像。
第三方面,本发明实施例还提供了一种跨行时延积分相机,其包括成像元件和控制器,所述成像元件和所述控制器连接,所述成像元件包括多个积分片域,每个所述积分片域包括多行有效成像区,所述控制器用于分别控制所述多行有效成像区独立进行光电转换、能量处理、能量转移、能量积分以及图像输出,其中,所述积分片域的个数、每个所述积分片域上的所述有效成像区的行数、能量转移跨行的行数以及能量积分的积分级数可编辑。
本发明实施例提供的跨行时延积分方法、装置及相机,首先在第一积分片域对第一场景成像时,在第一积分片域的第i行上获取所述第i目标区域的第一级积分能量;然后将所述第一级积分能量跨行转移到第二积分片域的第i行上;在经过一个积分周期后,第二积分片域运动至第一场景上方,再在所述第二积分片域的第i行上获取所述第一场景第i目标区域的第二级积分能量;最后,输出第一场景第i目标区域包含有所述第一级积分能量和所述第二级积分能量的第i目标区域图像。相对于现有技术,本发明通过将单次成像获得的能量进行跨行积分,实现对同一场景的多次成像,能够在更高速的环境下进行目标的拍摄,且可在现有的光电器件上通过逻辑编程实现本方法,具有优良的成像质量和广泛的适用性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为一种可应用于本发明实施例中的电子设备的结构框图;
图2为本发明第一实施例提供的跨行时延积分方法的流程框图;
图3为本发明第一实施例提供的步骤S300到步骤S320的流程框图;
图4为本发明第一实施例提供的步骤S400到步骤S430的流程框图;
图5为本发明第一实施例提供的步骤S500到步骤S520的流程框图;
图6为本发明第一实施例提供的步骤S600到步骤S610的流程框图;
图7为本发明第二实施例提供的跨行时延积分装置的结构框图;
图8为本发明第二实施例提供的第二种跨行时延积分装置的结构框图;
图9为本发明第二实施例提供的第三种跨行时延积分装置的结构框图;
图10为本发明第二实施例提供的第四种跨行时延积分装置的结构框图;
图11为本发明第三实施例提供的跨行时延积分相机的结构示意图;
图12为本发明第三实施例提供的成像元件的结构示意图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清晰、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
图1示出了一种可应用于本申请实施例中的电子设备100的结构框图。如图1所示,电子设备100可以包括存储器110、存储控制器120、处理器130、显示屏幕140和跨行时延积分装置。例如,该电子设备100可以为个人电脑(personal computer,PC)、平板电脑、智能手机、个人数字助理(personal digital assistant,PDA)等。
存储器110、存储控制器120、处理器130、显示屏幕140各元件之间直接或间接地电连接,以实现数据的传输或交互。例如,这些元件之间可以通过一条或多条通讯总线或信号总线实现电连接。所述跨行时延积分方法分别包括至少一个可以以软件或固件(firmware)的形式存储于存储器110中的软件功能模块,例如所述跨行时延积分装置包括的软件功能模块或计算机程序。
存储器110可以存储各种软件程序以及模块,如本申请实施例提供的跨行时延积分方法、装置及相机对应的程序指令/模块。处理器130通过运行存储在存储器110中的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现本申请实施例中的跨行时延积分方法。存储器110可以包括但不限于随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器130可以是一种集成电路芯片,具有信号处理能力。上述处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本发明实施例中所应用的电子设备100为实现跨行时延积分方法,还可以具备自显示功能,其中的显示屏幕140可以在所述电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。例如,可以显示跨行时延积分装置通过光电转换采集到的原始图像以及经过能量积分后生成的完整图像。
在介绍本发明的具体实施例之前首先需要说明的是,本发明涉及计算机技术、电子技术、图像处理等技术,在本发明的实现过程中,会涉及到多个软件功能模块的应用。申请人认为,如在仔细阅读申请文件、准确理解本发明的实现原理和发明目的以后,在结合现有公知技术的情况下,本领域技术人员完全可以运用其掌握的软件编程技能实现本发明,凡本发明申请文件提及的软件功能模块均属此范畴,申请人不再一一列举。
本发明实施例中所应用的跨行时延积分相机是一种面阵影像能量转移结构的相机,其成像靶面按照i行、j列的规格划分为k个积分片域,k个积分片域可以在空间上连续分布,也可以不连续分布。跨行积分的方向为推扫运动方向。
第一实施例
请参照图2,本实施例提供了一种跨行时延积分方法,应用于跨行时延积分相机,所述方法包括:
步骤S200:在第一积分片域的第i行上获取第i目标区域内的第一级积分能量;
本实施例中,所述第i目标区域可以是拍摄对象在第一场景对应于所述第一积分片域第i行的区域,所述第一积分片域可以是跨行时延积分相机光感面阵上的一部分。
本实施例中,相机面阵(成像靶面)被划分为多块用于成像的积分片域,每块积分片域又被划分为多行成像区,所述第一积分片域的第i行可以指所述第一积分片域的多行成像区中的任意一行成像区,例如可以是第1行,或第2行,或第m行;也可以指所述第一积分片域的多行成像区中的任意多行成像区,例如可以是第1行到第2行,或第1行到第3行,或第2行到第3行,或第1行到第m行。可以理解的是,在一个积分片域上的多行成像区总是在同一个积分周期内,对一个与其位置对应的目标区域进行成像并获取级积分能量。其中,处于工作状态(进行成像并获取能量)的成像区行数可以是单行,例如第1行;也可以是多行,例如第1行到第m行;可以是连续的多行,例如第1行、第2行和第3行;也可以是间隔的多行,例如第1行、第3行和第5行。
可以理解的是,每块积分片域还可以被划分为多行、多列成像区,以在每块积分片域上形成积分片域坐标系,其中,在每块积分片域坐标系中位于(i,j)位置的感光单元,即为每块积分片域的第i行、第j列的感光单元,位于每个坐标位置上的感光单元都可以独立用于工作(成像并获取级积分能量)或非工作。
在拍摄时,拍摄对象与相机以某一速度相对运动。在第一时刻,对应于该相机的第一积分片域上第i行的拍摄区域为第一场景第i目标区域,所述第i目标区域在所述第一积分片域的第i行上成像,经过光电转换即可获取携带有所述第i目标区域图像信息的能量信号,即所述第一级积分能量。
本实施例中,所述第一时刻,可以指的是相机刚开始工作时的第一个积分周期内,也可以指的是相机工作一段时间后的某一个积分周期内。
在本发明实施例中,一个积分周期可以理解为ccd像元第一次曝光开始,到曝光能量转移出去,清零,准备好第二次曝光。
可以理解的是,所述第一积分片域的第i行,可以指所述第一积分片域上的任意一行有效成像区,即在所述第一时刻,所述第一积分片域上的每一行有效成像区都在工作。特别的,如果在第一时刻,例如,所述第一积分片域的第1行到第5行上有目标成像,但是所述第一积分片域的第6行以及第6行之后的所有行都没有目标成像(可以理解为:不需要第6行以后的图像,或者是第一片域第6行对应的成像区域与第二积分片域第一行的目标区域重叠了,所以不需要第6行以后的图像),此时第6行以及第6行之后的所有行上没有获取能量,则在该第一时刻时,可以认为第6行以及第6行之后的所有行上获取的第一级积分能量为0。
需要注意的是,本实施例中的相机上的积分片域在相对运动方向上的长度可以是不完全相同的,每个积分片域上的每行成像区的宽度也可以是不完全相同的,其尺寸可以根据实际拍摄需求进行调整。
步骤S210:将所述第一级积分能量跨行转移到第二积分片域的第i行上;
本实施例中,相机面阵上的每个积分片域的每行成像区都能够独立进行光电转换、能量处理、能量转移、能量积分以及图像输出。在上一步骤获取所述第一级积分能量后,将暂时存储在第一积分片域第i行对应的存储单元里,等待第二片域第i行感光元件清零后输出到第二积分片域的第i行上。
可以理解的是,如果一个积分片域上的成像区的总行数为p,那么将第一级积分能量从第一积分片域的第i行转移到第二积分片域的第i行,需要将所述第一级积分能量跨过p行进行转移。特别的,当一个积分片域的p行成像区中只提供m行进行有效成像(即p行成像区中有m行有效成像区),此时第一级积分能量也同样是跨过p行进行转移,只是跨过的p行中只有m行是有效成像区。可以理解:p大于或等于m。
本实施例中,相机上的每行有效成像区都在进行工作,具体的,第一积分片域上的第1行上成像获得的能量跨过p行转移到第二积分片域上的第1行,第一积分片域上的第2行上成像获得的能量跨过p行转移到第二积分片域上的第2行,以此类推,所述第一积分片域上的每行的第一级积分能量都同时跨过p行转移到第二积分片域对应的行上。可以理解的是,多个积分片域上的第i行成像获得的能量所携带的信息,都对应于所述第一场景的第i目标区域。
本实施例中,特别的,每个积分片域的每行除成像区外,还可以包括能量存储区。在进行跨行积分能量的转移时,可以先将上一个积分片域第i行成像区成像获得的该级积分能量转移到该行的能量存储区内,以做好向下一个积分片域第i行成像元件转移的准备,并将该行成像区内的能量清除归零,以做好对下一目标区域的感光成像准备。可以理解的是,级积分能量的获取(感光成像)在积分片域每行的成像区上进行,而级积分能量的转移在积分片域每行的能量存储区内进行。所述积分片域每行的能量存储区,可以是该积分片域的感光元件连接的能量存储电路,也可以是计算机硬盘等存储介质。
步骤S220:经过一个积分周期后,在所述第二积分片域的第i行上获取所述第一场景第i目标区域的第二级积分能量;
可以理解的是这个第二级积分能量可以是同一目标区域第一级积分能量与第二级积分能量的累积,也可以仅是第二级积分能量,可以在能量处理单元里实现与第一级积分能量的累积,第一级积分能量与第二级积分能量可能是原始能量,也可以是经过指定处理的能量。
本实施例中,所述积分周期可以是相机的刷新频率,即光电元件在进行两次成像之间需要的最小时间间隔。
由于相机与目标以某一速度进行相对运动,经过一个积分周期后,在第二级积分起始时刻,所述相机的第一积分片域已经移动到拍摄对象的下一位置上方,而移动到所述第一场景上方的是所述第二积分片域,即在第二级积分起始时刻,所述第一场景在所述第二积分片域上成像。此时,所述第二积分片域的第i行上不仅存储有第i目标区域成像的第二级积分能量,还存储有在第一时刻从所述第一积分片域第i行上转移过来的第一级积分能量。
可以理解的是,相机的第一积分片域的第i行与第二积分片域的第i行之间的间距,对应于一个积分周期内相机在成像视场中与目标区域相对运动的距离。
步骤S230:输出包含有所述第一级积分能量和所述第二级积分能量的第i目标区域的图像。
本实施例中,将所述第一级积分能量和所述第二级积分能量进行积分,即可获取包含有所述第一级积分能量和所述第二级积分能量的第i目标区域图像。可以理解的是,当相机的积分级数k为2时,所述第i目标区域图像是第一级积分能量和第二级积分能量的积分;当相机的积分级数k超过2时,所述第i目标区域图像还可以包含其他积分片域上成像获得的级积分能量。
本实施例中,相机可以设置积分级数k。例如,相机面阵上一共划分有k个有效积分片域,那么从第一级积分感光的时刻开始,经过k个积分周期,总共获取了k个级积分能量,这k个级积分能量分别是k个有效积分片域的第i行对所述同一个第i目标区域进行成像获得的,经过k-1次跨行输出转移,这k个级积分能量集中到了最后一个积分片域的第i行上,则最后一个积分片域的第i行输出包含有这k个级积分能量的图像。可以理解的是,如果每个积分片域上都有m行有效成像区同时进行工作,那么最后一个积分片域则输出m行经历k级积分的图像。可以理解的是,每一个积分片域的行数大于或等于所述输出图像的行数m。
申请人经过实验研究发现,在现有技术中,由于相机的级积分能量总是从前一行向相邻的后一行进行转移,导致当相机与拍摄目标的相对运动速度超过光电元件的刷新速度时,原本在第一时刻对应于第一积分行的第i目标区域,在经过一个积分周期后,可能会跨过第二行直接移动到第三行对应的位置上,此时第二行上只存有从第一行转移过来的第一级积分能量,却不能对第i目标区域进行第二次成像,而是将非同一区域的图像能量做了积分;在经过第二个积分周期后,原本应该对应于第三积分行的第i目标区域,此时已经跨过第四积分行移动到第五积分行对应的位置上了,因此第三积分行也不能对第i目标区域成像。依此类推,在这种情况下,除了第一积分行上成像获得的第一级积分能量是正常的,之后的应该对第i目标区域每个积分行都无法顺利在第一级积分能量的基础上对第i目标区域成像并进行能量积分,结果是输出的积分图像并不是仅包含第i目标区域的能量,而包含的是不同目标区域的混合能量,导致输出的图像质量差,而时延积分的正确意义也不成立了。
本实施例提供的跨行时延积分方法,正是为了解决上述现有技术中存在的问题,通过跨行时延积分,在高速相对运动的环境下,根据相对运动速度和相机刷新频率的关系来设定跨行数,使每一个积分周期后,目标区在上一个积分行上成像的能量一定能跨行转移到下一个与该目标区对应的积分行上,实现了高速运动环境下正确的能量积分过程。
请参照图3,本实施例中,进一步的,在所述步骤S220之后,还可以包括如下步骤:
步骤S300:将所述第一级积分能量和所述第二级积分能量跨行转移到第三积分片域的第i行上;
本实施例中,当积分级数k大于2时,第二积分片域后的其他积分片域也需要参与拍摄工作,因此在第二积分片域的第i行上获取第二级积分能量后,可将转移到第二积分片域第i行上的第一级积分能量和刚刚成像获取的第二级积分能量一同转移到第三积分片域的第i行上。
步骤S310:经过一个积分周期后,在所述第三积分片域的第i行上获取在所述第i目标区域内的第三级积分能量;
经过一个积分周期后,第三积分片域第i行移动到第一场景第i目标区域的上方,此时第三积分片域的第i行再对第i目标区域进行成像获取第三级积分能量。可以理解的是,此时,所述第三积分片域的第i行上存储有第一级积分能量、第二级积分能量和第三级积分能量。
步骤S320:输出包含有所述第一级积分能量、所述第二级积分能量以及所述第三级积分能量的第i目标区域的图像。
本实施例中,当积分级数k为3时,输出的第i目标区域图像是所述第一级积分能量、第二级积分能量和第三级积分能量经过积分获得的;当积分级数k大于3时,输出的第i目标区域图像是所述第一级积分能量、第二级积分能量、第三级积分能量和获得的其他级积分能量经过积分获得的。
请参照图4,本实施例中,进一步的,在所述步骤S210之后,还可以包括如下步骤:
步骤S400:在第一积分片域的第i行上获取第i目标区域的第一级积分能量的同时,在所述第一积分片域的第x行上获取第x目标区域内的第I级积分能量,其中第x行为除所述第i行之外的任意一行;
本实施例中,可以在步骤S220进行的同时,第一积分片域的第x行对第x目标区域进行成像并获取第I级积分能量,经过一个积分周期后,第一积分片域移动到前进方向新的成像目标区上方,第二积分片域则移动到上一积分周期里第一积分片域成像目标区域的上方。第二积分片域的第x行对第x目标区域进行成像并获取第II级积分能量。
特别的,所述第i目标区域和所述第x目标区域可以是无空间间隔的邻域关系,也可以是有空间间隔的关系,以此可以满足对空间连续的多个目标区域进行拍摄,或对空间间隔的多个目标区域进行拍摄。
步骤S410:将所述第I级积分能量转移到所述第二积分片域的第x行上;
本实施例中,在获得第一积分片域的第x行的第I级积分能量后,第二积分片域的第x行可以接收由第一积分片域第x行转移过来的第I级积分能量。
步骤S420:经过一个积分周期后,在所述第二积分片域的第x行上获取所述第x目标区域内的第I级积分能量和第II级积分能量累积的积分能量;
相机和目标继续相对运动,经过一个积分周期后,第一积分片域移动到其他区域,而第二积分片域第x行则移动到对应的第x目标区域的上方,第二积分片域的第x行对该第x目标区域进行成像。
步骤S430:输出包含有所述第I级积分能量和所述第II级积分能量的第x目标区域图像。
本实施例中,积分片域是对相机成像象元矩阵的划分,所述第i目标区域和第x目标区域是一个积分片域覆盖的成像区域内对应于2行图像的2个条带成像区域,属于m行中的2行。
请参照图5,本实施例中,进一步的,在所述步骤S420之后,还可以包括如下步骤:
步骤S500:将所述第I级积分能量和所述第II级积分能量的累积能量跨行转移到第三积分片域的第x行上;
步骤S510:经过一个积分周期后,在所述第三积分片域的第x行上获取所述第x目标区域的所述第I级积分、第II级积分以及第III级积分累积的积分能量;
步骤S520:输出包含有所述第I级积分能量、所述第II级积分能量以及所述第III级积分能量的第x目标图像。
本实施例中,当积分级数k为3时,输出的第x目标图像是所述第I级积分能量、第II级积分能量和第III级积分能量经过积分获得的;当积分级数k大于3时,输出的第x目标图像是所述第I级积分能量、第II级积分能量、第III级积分能量和获得的其他级积分能量经过积分获得的。
请参照图6,本实施例中,进一步的,在所述步骤S230之后,还可以包括如下步骤:
步骤S600:将转移到第k积分片域第i行上的k-1级积分能量与第k次感光获得的能量进行累加,获得包含有所述k级积分能量的k级积分图像,其中,所述k级积分能量包括所述第i目标区域依次在所述第一积分片域的第i行直到所述第k积分片域的第i行上成像的第一级积分能量,每个所述积分片域包括m行有效成像区;
本实施例中,所述k级积分能量包括所述第i目标区域依次在所述第一积分片域的第i行直到所述第k积分片域的第i行上成像的第一级积分能量直到第k级积分能量的累加。
步骤S610:输出所述m行k级积分图像,k个积分片域的成像可以共用一个能量采集系统或使用多个能量采集系统。
本实施例中,所述第一积分片域到第k积分片域均包括m行有效成像区。可以理解的是,以第一积分片域感光起始时间为第一级积分周期的开始时间点,以第二积分片域感光起始时间为第一级积分周期的结束时间点和第二级积分周期的开始时间点,在一个积分周期里,完成了对当前场景的成像并移动到了下一个场景等待成像。可以理解的是:第一场景、第二场景的排序是以第一积分片域按照时间向后推移所对应的成像场景,指k个积分片域的顺序关系;在经过k个积分周期后,相机与成像场景相对运动跨越了k个积分片域的距离,完成了m个目标区域对应的m行图像的k级积分,此时第一积分片域处于第k+1场景,第k积分片域处于第二场景上方,待输出的是第一场景完成k级积分后的m行图像;以此循环模式,完后所有目标区域的连续的跨行时延积分成像。
本实施例中,在跨行时延积分的具体实施中,上一个积分片域向下一个积分片域对应行进行转移的能量可以是模拟量,例如电荷、电流、电压;也可以是数字量,例如高电平、低电平。以传输方式来看,上一个积分片域坐标系中位于(i,j)位置的感光单元向下一个积分片域坐标系中位于(i,j)位置的感光单元进行转移的级积分能量,可以通过物理连接方式进行转移,例如两个单元之间进行电路连接;也可以通过数字量进行转移,例如将上一个感光单元获取的级积分能量通过计算机进行处理,转换为数字信号后,再跨行发送给下一个感光单元。
本实施例中,上一个积分片域坐标系中位于(i,j)位置的感光单元向下一个积分片域坐标系中位于(i,j)位置的感光单元进行转移的级积分能量可以是原始电荷能量,例如将上一个感光单元进行光电转换获得的原始电荷能量直接跨行传输给下一个感光单元;也可以是将所述原始能量进行预设处理后的能量。所述预设处理可以是通过放大、滤波等电路对所述原始能量进行处理,也可以是通过计算机对所述原始能量进行模数转换等处理。
本实施例中,上一个积分片域坐标系中位于(i,j)位置的感光单元实现k级积分的过程可以在感光单元外部的处理单元完成,例如:上一个积分片域坐标系中位于(i,j)位置的感光单元能量输出到一个处理模块,经过处理后放入存储器里,等待下一个积分片域坐标系中位于(i,j)位置的感光单元能量输出到处理模块,经过处理后与已经存在存储器里的上一个积分片域坐标系中(i,j)位置的感光能量处理后的数据进行积分处理,并将结果存入存储器里。这种积分模式可以扩展到k级积分。
本实施例中,所述跨行时延积分相机的镜头可以是柱面镜头;也可以是球面镜头;可以是柱面镜头的组合,例如多个柱面镜头构成的透镜组;也可以是球面镜头的组合,例如多个球面镜头构成的透镜组;还可以是柱面镜头和球面镜头的组合,例如包含有柱面镜头和球面镜头的透镜组。可以理解的是,所述跨行时延积分相机的镜头还可以包括非球面镜头或镜头组。可以理解的是,所述跨行时延积分相机光学能量的采集系统可以根据需要选择各种光学系统形成的镜头,比如:远心镜头等。
本实施例提供的方法通过将成像获得的能量进行跨行积分,相对于现有技术能够在更高速的环境下进行目标的拍摄,且可在现有的光电器件上通过开关集成电路或逻辑编程电路(FPGA)实现积分片域、积分行的灵活划分,具有优良的成像质量和广泛的适用性。
第二实施例
请参照图7,本实施例提供了一种跨行时延积分装置700,其包括:
第一获取模块711,用于在第一积分片域的第i行上获取第i目标区域内的第一级积分能量;
第一转移模块712,用于将所述第一级积分能量跨行转移到第二积分片域的第i行上;
第二获取模块713,用于经过一个积分周期后,在所述第二积分片域的第i行上获取所述第i目标区域内的第一级积分和第二级积分累积的积分能量;
第一输出模块714,用于输出包含有所述第一级积分能量和所述第二级积分能量的第i目标区域的图像。
请参照图8,本实施例中,进一步的,所述跨行时延积分装置700还可以包括:
第二转移模块721,用于将所述第一级积分和第二级积分累积的积分能量跨行转移到第三积分片域的第i行上;
第三获取模块722,用于经过一个积分周期后,在所述第三积分片域的第i行上获取在所述第i目标区域内的第一级积分、第二级积分以及第三级积分累积的积分能量;
第二输出模块723,用于输出包含有所述第一级积分能量、所述第二级积分能量以及所述第三级积分能量的第i目标区域的图像。
请参照图9,本实施例中,进一步的,所述跨行时延积分装置700还可以包括:
第I获取模块731,用于在第一积分片域的第i行上获取第i目标区域内的第一级积分能量的同时,在所述第一积分片域的第x行上获取第x目标区域的第I级积分能量,其中第x行为除所述第i行之外的任意一行;
第I转移模块732,用于将所述第I级积分能量转移到所述第二积分片域的第x行上;
第II获取模块733,用于经过一个积分周期后,在所述第二积分片域的第x行上获取所述第x目标区域的第I级积分能量和第II级积分能量累积的积分能量;
第I输出模块734,用于输出包含有所述第I级积分能量和所述第II级积分能量的第x目标区域图像。
请参照图10,本实施例中,进一步的,所述跨行时延积分装置700还可以包括:
积分模块741,用于将转移到第k积分片域第i行上的k-1级积分能量与第k次感光获得的能量进行累加,获得包含有所述k级积分能量的k级积分图像,其中,所述k级积分能量包括所述第i目标区域依次在所述第一积分片域的第i行直到所述第k积分片域的第i行上成像的第一级积分能量,,每个所述积分片域包括m行有效成像区;
图像模块742,用于输出所述m行k级积分图像,k个积分片域的成像可以共用一个能量采集系统或使用多个能量采集系统。
第三实施例
请参照图11,本实施例提供了一种跨行时延积分相机1000,可用于实现本发明第一实施例提供的跨行时延积分方法。所述跨行时延积分相机1000包括成像元件800和控制器900,所述成像元件800和所述控制器900连接。本实施例中,所述成像元件800可以用于感光成像并获取级积分能量。
请参照图12,所述成像元件800包括多个积分片域820,每个所述积分片域820包括多行有效成像区822,所述控制器900用于分别控制所述多行有效成像区822独立进行光电转换、能量转移、能量处理、能量积分以及图像输出。其中,所述积分片域820的个数、每个所述积分片域820上的所述有效成像区822的行数、能量转移跨行的行数以及能量积分的积分级数均可以通过控制器900进行编辑。
特别的,所述成像元件800还可以包括多列所述积分片域820,在垂直于运动方向进行相机面阵的横向扩展,以形成积分片域820坐标系,每个坐标点位置对应的感光单元都可以通过控制器900进行单独控制,可适用于复杂方向相对运动的拍摄。
本实施例中,所述控制器900可以是PCB电路或FPGA电路,通过对电路进行逻辑编程实现所述积分片域820的个数、每个所述积分片域820上的所述有效成像区822的行数、能量转移跨行的行数、能量处理的功能以及能量积分的积分级数的灵活编辑。
综上所述,本发明实施例提供的跨行时延积分方法、装置及相机,首先获取第i目标区域在第一积分片域的第i行上成像的第一级积分能量;然后将所述第一级积分能量跨行转移到第二积分片域的第i行上;在经过一个积分周期后,再获取所述第i目标区域在所述第二积分片域的第i行上成像的第二级积分能量;最后,输出包含有所述第一级积分能量和所述第二级积分能量的第一目标图像。相对于现有技术,本发明通过将成像获得的能量进行跨行积分,能够在更高速的环境下进行目标的拍摄,且可在现有的光电器件上通过逻辑编程实现本方法,具有优良的成像质量和广泛的适用性。以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种跨行时延积分方法,应用于跨行时延积分相机,其特征在于,所述方法包括:
在第一积分片域的第i行上获取第i目标区域内的第一级积分能量;
将所述第一级积分能量跨行转移到第二积分片域的第i行上;
经过一个积分周期后,在所述第二积分片域的第i行上获取所述第i目标区域内的第一级积分和第二级积分累积的积分能量;
输出包含有所述第一级积分能量和所述第二级积分能量的第i目标区域的图像。
2.根据权利要求1所述的方法,其特征在于,在所述第二积分片域的第i行上获取所述第i目标区域内的第一级积分和第二级积分累积的积分能量之后,所述方法还包括:
将所述第一级积分和第二级积分累积的积分能量跨行转移到第三积分片域的第i行上;
经过一个积分周期后,在所述第三积分片域的第i行上获取在所述第i目标区域内的第一级积分、第二级积分以及第三级积分累积的积分能量;
输出包含有所述第一级积分能量、所述第二级积分能量以及所述第三级积分能量的第i目标区域的图像。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在第一积分片域的第i行上获取第i目标区域内的第一级积分能量的同时,在所述第一积分片域的第x行上获取第x目标区域的第I级积分能量,其中第x行为除所述第i行之外的任意一行;
将所述第I级积分能量转移到所述第二积分片域的第x行上;
经过一个积分周期后,在所述第二积分片域的第x行上获取所述第x目标区域的第I级积分能量和第II级积分能量累积的积分能量;
输出包含有所述第I级积分能量和所述第II级积分能量的第x目标区域图像。
4.根据权利要求3所述的方法,其特征在于,在所述第二积分片域的第x行上获取所述第x目标区域内的第I级积分能量和第II级积分能量累积的积分能量之后,所述方法还包括:
将所述第I级积分能量和所述第II级积分能量的累积能量跨行转移到第三积分片域的第x行上;
经过一个积分周期后,在所述第三积分片域的第x行上获取所述第x目标区域的所述第I级积分、第II级积分以及第III级积分累积的积分能量;
输出包含有所述第I级积分能量、所述第II级积分能量以及所述第III级积分能量的第x目标区域图像。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将转移到第k积分片域第i行上的k-1级积分能量与第k次感光获得的能量进行累加,获得包含有所述k级积分能量的k级积分图像,其中,所述k级积分能量包括所述第i目标区域依次在所述第一积分片域的第i行直到所述第k积分片域的第i行上成像的第一级积分能量,每个所述积分片域包括m行有效成像区;
输出所述m行k级积分图像,k个积分片域的成像可以共用一个能量采集系统或使用多个能量采集系统。
6.根据权利要求1-5中任一权项所述的方法,其特征在于,上一个积分片域向下一个积分片域对应行进行转移的级积分能量为模拟量或数字量;
上一个积分片域坐标系中位于(i,j)位置的感光单元向下一个积分片域坐标系中位于(i,j)位置的感光单元进行转移的能量通过物理连接方式进行转移。
7.根据权利要求1-5中任一权项所述的方法,其特征在于,上一个积分片域坐标系中位于(i,j)位置的感光单元向下一个积分片域坐标系中位于(i,j)位置的感光单元进行转移的能量为原始电荷能量,或为将所述原始电荷能量进行处理后的能量。
8.根据权利要求1-5中任一权项所述的方法,其特征在于,所述跨行时延积分相机的镜头为柱面镜头,或为球面镜头,或为柱面镜头的组合,或为球面镜头的组合,或为柱面镜头和球面镜头的组合。
9.一种跨行时延积分装置,其特征在于,所述装置包括:
第一获取模块,用于在第一积分片域的第i行上获取第i目标区域内的第一级积分能量;
第一转移模块,用于将所述第一级积分能量跨行转移到第二积分片域的第i行上;
第二获取模块,用于经过一个积分周期后,在所述第二积分片域的第i行上获取所述第i目标区域内的第一级积分和第二级积分累积的积分能量;
第一输出模块,用于输出包含有所述第一级积分能量和所述第二级积分能量的第i目标区域的图像。
10.一种跨行时延积分相机,其特征在于,包括成像元件和控制器,所述成像元件和所述控制器连接,所述成像元件包括多个积分片域,每个所述积分片域包括多行有效成像区,所述控制器用于分别控制所述多行有效成像区独立进行光电转换、能量处理、能量转移、能量积分以及图像输出,其中,所述积分片域的个数、每个所述积分片域上的所述有效成像区的行数、能量转移跨行的行数以及能量积分的积分级数可编辑。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810217621.3A CN108449556B (zh) | 2018-03-16 | 2018-03-16 | 跨行时延积分方法、装置及相机 |
JP2020549561A JP7244025B2 (ja) | 2018-03-16 | 2019-03-18 | クロスロー時間遅延積分方法、装置及びカメラ |
DE112019000852.8T DE112019000852T5 (de) | 2018-03-16 | 2019-03-18 | Reihenübergreifendes Zeitverzögerungs-Integrationsverfahren, -vorrichtung und -kamera |
PCT/CN2019/078513 WO2019174648A1 (zh) | 2018-03-16 | 2019-03-18 | 跨行时延积分方法、装置及相机 |
CA3095218A CA3095218C (en) | 2018-03-16 | 2019-03-18 | Cross-row time delay integration method, apparatus and camera |
US17/023,270 US11128821B2 (en) | 2018-03-16 | 2020-09-16 | Cross-row time delay integration method, apparatus and camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810217621.3A CN108449556B (zh) | 2018-03-16 | 2018-03-16 | 跨行时延积分方法、装置及相机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108449556A true CN108449556A (zh) | 2018-08-24 |
CN108449556B CN108449556B (zh) | 2019-12-24 |
Family
ID=63194784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810217621.3A Active CN108449556B (zh) | 2018-03-16 | 2018-03-16 | 跨行时延积分方法、装置及相机 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11128821B2 (zh) |
JP (1) | JP7244025B2 (zh) |
CN (1) | CN108449556B (zh) |
CA (1) | CA3095218C (zh) |
DE (1) | DE112019000852T5 (zh) |
WO (1) | WO2019174648A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019174648A1 (zh) * | 2018-03-16 | 2019-09-19 | 成都中信华瑞科技有限公司 | 跨行时延积分方法、装置及相机 |
CN113284161A (zh) * | 2021-05-10 | 2021-08-20 | 深圳市魔方卫星科技有限公司 | 一种面阵遥感成像方法、装置、计算机设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6563539B1 (en) * | 1998-09-18 | 2003-05-13 | Nortel Networks Limited | Charge transfer circuit for use in imaging systems |
CN102209198A (zh) * | 2011-06-13 | 2011-10-05 | 中国科学院长春光学精密机械与物理研究所 | 基于航空航天应用积分时间可调节的线阵ccd相机系统 |
CN104904194A (zh) * | 2012-12-10 | 2015-09-09 | 科磊股份有限公司 | 用于使用脉冲照明的移动图像的高速获取的方法及设备 |
CN105791716A (zh) * | 2016-03-10 | 2016-07-20 | 长春长光辰芯光电技术有限公司 | Cmostdi图像传感器及其控制方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5101266A (en) * | 1990-12-13 | 1992-03-31 | International Business Machines Corporation | Single-scan time delay and integration color imaging system |
WO1998020301A1 (en) * | 1996-11-05 | 1998-05-14 | Lockheed Martin Corporation | Electro-optical reconnaissance system with forward motion compensation |
KR20000018460A (ko) * | 1998-09-02 | 2000-04-06 | 오쯔보 히데오 | 이미지 센서 |
JP2011024082A (ja) * | 2009-07-17 | 2011-02-03 | Olympus Corp | 画像入力装置およびこれを備える顕微鏡撮影装置、ラインスキャン型カメラ、スキャナ |
BR112012015931A2 (pt) * | 2009-12-30 | 2021-03-02 | Koninklijke Philips Eletronics N.V. | método para formar imagem microscopicamente de uma amostra com um escaner, microscópio de escaneamento para formação de imagem de uma amostra, uso de um sensor de disposição bidimensional e disposição para formação de imagem de um corte trasnversal oblíquio de uma amostra |
FR2959902B1 (fr) * | 2010-05-04 | 2013-08-23 | E2V Semiconductors | Capteur d'image lineaire a defilement et sommation analogique et numerique et procede correspondant |
WO2013138911A1 (en) * | 2012-03-23 | 2013-09-26 | Huron Technologies International Inc. | Slide scanner with dynamic focus and specimen tilt and method of operation |
CN109547714B (zh) * | 2012-10-12 | 2021-03-02 | 统雷有限公司 | 采用ccd成像仪的时间延迟与积分扫描 |
FR3001852B1 (fr) * | 2013-02-07 | 2015-02-27 | E2V Semiconductors | Capteur d'image a defilement et sommation avec detection d'erreurs de defilement |
US9723179B2 (en) * | 2014-11-25 | 2017-08-01 | Raytheon Company | Time delay and integration (TDI) imaging sensor and method |
CN106101583B (zh) * | 2016-07-29 | 2019-03-22 | 中国科学院长春光学精密机械与物理研究所 | 基于数字域tdi的红外成像方法 |
CN106603927B (zh) * | 2017-01-10 | 2019-05-28 | 吉林大学 | 一种星载aps相机数字域tdi加复线阵成像方法 |
CN108449556B (zh) * | 2018-03-16 | 2019-12-24 | 成都中信华瑞科技有限公司 | 跨行时延积分方法、装置及相机 |
-
2018
- 2018-03-16 CN CN201810217621.3A patent/CN108449556B/zh active Active
-
2019
- 2019-03-18 CA CA3095218A patent/CA3095218C/en active Active
- 2019-03-18 DE DE112019000852.8T patent/DE112019000852T5/de active Pending
- 2019-03-18 JP JP2020549561A patent/JP7244025B2/ja active Active
- 2019-03-18 WO PCT/CN2019/078513 patent/WO2019174648A1/zh active Application Filing
-
2020
- 2020-09-16 US US17/023,270 patent/US11128821B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6563539B1 (en) * | 1998-09-18 | 2003-05-13 | Nortel Networks Limited | Charge transfer circuit for use in imaging systems |
CN102209198A (zh) * | 2011-06-13 | 2011-10-05 | 中国科学院长春光学精密机械与物理研究所 | 基于航空航天应用积分时间可调节的线阵ccd相机系统 |
CN104904194A (zh) * | 2012-12-10 | 2015-09-09 | 科磊股份有限公司 | 用于使用脉冲照明的移动图像的高速获取的方法及设备 |
CN105791716A (zh) * | 2016-03-10 | 2016-07-20 | 长春长光辰芯光电技术有限公司 | Cmostdi图像传感器及其控制方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019174648A1 (zh) * | 2018-03-16 | 2019-09-19 | 成都中信华瑞科技有限公司 | 跨行时延积分方法、装置及相机 |
CN113284161A (zh) * | 2021-05-10 | 2021-08-20 | 深圳市魔方卫星科技有限公司 | 一种面阵遥感成像方法、装置、计算机设备及存储介质 |
CN113284161B (zh) * | 2021-05-10 | 2023-05-16 | 深圳市魔方卫星科技有限公司 | 一种面阵遥感成像方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20200412984A1 (en) | 2020-12-31 |
US11128821B2 (en) | 2021-09-21 |
JP2021516912A (ja) | 2021-07-08 |
CA3095218C (en) | 2023-03-14 |
JP7244025B2 (ja) | 2023-03-22 |
WO2019174648A1 (zh) | 2019-09-19 |
CN108449556B (zh) | 2019-12-24 |
DE112019000852T5 (de) | 2020-10-29 |
CA3095218A1 (en) | 2019-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100426845C (zh) | 电子抖动校正装置 | |
CN103327237B (zh) | 图像处理设备和图像处理方法 | |
EP1788802A1 (en) | Image pickup device, image pickup result processing method and integrated circuit | |
CN109328457A (zh) | 摄像装置及摄像装置的控制方法 | |
US20060103745A1 (en) | Image sensor and image sensor system | |
CN107431774A (zh) | 图像传感器、处理方法和电子设备 | |
CN103024296A (zh) | 具有灵活互连能力的图像传感器 | |
CN101933322B (zh) | 固体摄像装置以及包括其的x射线ct装置 | |
CN103168463A (zh) | 图像传感器和摄像设备 | |
US6608296B1 (en) | High-speed vision sensor having a parallel processing system | |
CN106454130A (zh) | 控制方法、控制装置和电子装置 | |
CN104813212B (zh) | 摄像装置及曝光确定方法 | |
CN102057665A (zh) | 电子照相机、图象处理装置及图象处理方法 | |
CN108353140A (zh) | 图像传感器系统 | |
CN108449556A (zh) | 跨行时延积分方法、装置及相机 | |
CN108141532A (zh) | 摄像装置及图像处理装置 | |
CN107850753A (zh) | 检测设备、检测方法、检测程序和成像设备 | |
CN103024302A (zh) | 进行图像处理的图像处理装置 | |
CN107533762A (zh) | 图像处理装置、图像处理方法以及程序 | |
DE102014223858A1 (de) | Bildaufnahmevorrichtung, die zum Ändern eines Ansteuermodus fähig ist, und Bildsignalsteuerverfahren | |
JP3386025B2 (ja) | 画像特徴抽出装置、画像特徴抽出方法、監視検査システム、半導体露光システム、およびインターフェースシステム | |
CN105933593A (zh) | 聚焦位置检测装置和聚焦位置检测方法 | |
JP3920659B2 (ja) | Af評価値算出装置 | |
JP2002196227A (ja) | 測距センサ及び測距装置 | |
CN114040081A (zh) | 图像传感器、摄像模组、电子设备、对焦方法及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |