CN115086632B - 三维图像系统、图像传感器的增益调节方法及存储介质 - Google Patents
三维图像系统、图像传感器的增益调节方法及存储介质 Download PDFInfo
- Publication number
- CN115086632B CN115086632B CN202210561382.XA CN202210561382A CN115086632B CN 115086632 B CN115086632 B CN 115086632B CN 202210561382 A CN202210561382 A CN 202210561382A CN 115086632 B CN115086632 B CN 115086632B
- Authority
- CN
- China
- Prior art keywords
- image
- current frame
- frame image
- target area
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 82
- 238000004364 calculation method Methods 0.000 claims abstract description 62
- 238000004590 computer program Methods 0.000 claims description 9
- 230000031700 light absorption Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims 2
- 238000012545 processing Methods 0.000 abstract description 8
- 210000001061 forehead Anatomy 0.000 description 12
- 210000004209 hair Anatomy 0.000 description 10
- 230000001815 facial effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 210000003467 cheek Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001680 brushing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请适用于图像处理技术领域,提供了一种三维图像系统、图像传感器的增益调节方法和存储介质。三维图像系统包括图像传感器、深度计算芯片及控制器,其中,图像传感器可获取当前帧图像;深度计算芯片可用于从图像传感器中获取当前帧图像,并生成当前帧图像对应的深度图像,深度计算芯片和控制器可交互计算图像传感器的增益参数,进而根据增益参数设置图像传感器的增益值,进而调整图像传感器采集的下一帧图像的图像亮度。本申请的实施例可以实现对图像传感器的增益值进行调节,使得图像传感器采集的下一帧图像能够满足图像识别算法的需求,进而提高三维图像系统的识别精度。
Description
技术领域
本申请属于图像处理技术领域,尤其涉及一种三维图像系统、图像传感器的增益调节方法和存储介质。
背景技术
三维图像系统通常包括二维图像和深度图像,三维图像系统相较于二维图像系统所包含的特征数据更加丰富,具有更高的精度和安全性,可以被用于人脸识别等领域中。
在三维图像系统中,需要利用自身的图像识别算法识别二维图像中的物体,然而图像识别算法对所采集到的图像有特定的要求,比如在不同外部光照环境下,当所采集到的图像亮度过高或者过低都会影响图像识别算法的精度,进而导致三维图像系统的准确度下降。
发明内容
本申请实施例提供一种三维图像系统、图像传感器的增益调节方法和存储介质,可以解决采集的图像难以满足图像识别算法的需求而导致三维图像系统识别精度下降的问题。
本申请实施例第一方面提供一种三维图像系统,包括图像传感器、深度计算芯片及控制器:所述图像传感器用于获取当前帧图像;所述深度计算芯片用于从所述图像传感器中获取所述当前帧图像,并生成所述当前帧图像对应的深度图像;所述控制器用于从所述深度计算芯片中获取所述当前帧图像,识别所述当前帧图像中的目标区域的位置坐标,并发送所述位置坐标至所述深度计算芯片;所述深度计算芯片还用于根据所述当前帧图像及所述位置坐标,计算所述图像传感器的增益参数,并根据所述增益参数设置所述图像传感器的增益值,所述增益参数用于调整所述图像传感器采集的下一帧图像的图像亮度。
本申请实施例第二方面提供的另一三维图像系统,包括图像传感器、深度计算芯片及控制器:所述图像传感器用于获取当前帧图像;所述深度计算芯片用于从所述图像传感器中获取所述当前帧图像,及生成所述当前帧图像对应的深度图像;所述控制器用于从所述深度计算芯片中获取所述当前帧图像,根据所述当前帧图像计算所述图像传感器的增益参数,并根据所述增益参数通过所述深度计算芯片设置所述图像传感器的增益值,或根据所述增益参数直接设置所述图像传感器的增益值,所述增益参数用于调整所述图像传感器采集的下一帧图像的图像亮度。
本申请实施例第三方面提供的一种图像传感器的增益调节方法,包括:通过图像传感器获取当前帧图像;利用所述深度计算芯片获取所述图像传感器中的所述当前帧图像,及生成所述当前帧图像对应的深度图像;通过控制器用于从所述深度计算芯片中获取所述当前帧图像,识别所述当前帧图像中的目标区域的位置坐标,并发送所述位置坐标至所述深度计算芯片;通过所述深度计算芯片根据所述当前帧图像及所述位置坐标,计算所述图像传感器的增益参数,并根据所述增益参数设置所述图像传感器的增益值,所述增益参数用于调整所述图像传感器采集的下一帧图像的图像亮度。
本申请实施例第四方面提供的另一图像传感器的增益调节方法,包括:通过图像传感器获取当前帧图像;利用深度计算芯片获取所述图像传感器中的所述当前帧图像,及生成所述当前帧图像对应的深度图像;通过控制器从所述深度计算芯片中获取所述当前帧图像,及根据所述当前帧图像计算所述图像传感器的增益参数,并根据所述增益参数通过所述深度计算芯片设置所述图像传感器的增益值,或根据所述增益参数直接设置所述图像传感器的增益值,所述增益参数用于调整所述图像传感器采集的下一帧图像的图像亮度。
本申请实施例第五方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述增益调节方法的步骤。
本申请的实施方式中,在三维图像系统中,深度计算芯片可以获取图像传感器获取到的当前帧图像,并生成当前帧图像对应的深度图像,然后,既可以由控制器根据从深度计算芯片中获取到的当前帧图像确定增益参数,完成对图像传感器的增益值进行设置,也可以由深度计算芯片根据当前帧图像和由控制器识别到的当前帧图像中的目标区域的位置坐标确定增益参数,完成对图像传感器的增益值进行设置,实现了对图像传感器的增益值进行调节,使得图像传感器采集的下一帧图像能够满足图像识别算法的需求,进而提高三维图像系统的识别精度。
并且,由控制器处理时,控制器可以分配足量的运算资源用于确定增益参数,能够实时地计算增益参数并对图像传感器进行增益值的设置,不需要等待集成电路总线(Inter-Integrated Circuit,IIC)接口的数据处理轮询时间,提高了增益调整的效率,并且,控制器可以根据自身使用的算法模型确定增益参数,得到的增益参数能够使下一帧图像的图像亮度满足控制器使用的算法模型的需求,提升了增益调整的效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的三维图像系统的结构示意图;
图2是本申请实施例提供的一种图像传感器的增益调节方法的实现流程示意图;
图3是本申请实施例提供的另一种图像传感器的增益调节方法的实现流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护。
请参阅图1,图1示出了本申请提供的三维图像系统的示意图,三维图像系统可以包括控制器及深度相机,控制器可以和深度相机可通过移动产业处理器接口(MobileIndustry Processor Interface,MIPI)、集成电路总线接口连接,从而实现参数、指令、数据的互传。深度相机可以获取到目标物体的深度信息,控制器可以结合深度信息及二维图像实现三维建模、图像识别等功能。其中,MIPI接口可以实现数据传输,IIC接口可以实现控制参数、控制指令的传输。本申请提供的三维图像系统可以用于手机、计算机等智能终端,也可以用于智能门锁、监控设备等智能设备,在此不做限制。
具体地,深度相机可以包括深度计算芯片和图像传感器,深度计算芯片和图像传感器可以通过IIC接口及MIPI接口连接。深度相机可以是双目深度相机、结构光深度相机、飞行时间深度相机,在此不做具体限制。在一些实施方式中,深度相机还可包括发射模组,发射模组可以用于朝目标物体投射光线或光斑,图像传感器可以接收目标物体反射的光线或光斑并成像。
深度计算芯片可以通过IIC接口给图像传感器设置参数,深度计算芯片可以通过MIPI接口从图像传感器中获取图像传感器获取到的图像,深度计算芯片在获取到图像后,可以生成与该图像对应的深度图像。深度计算芯片可以是集成电路(ApplicationSpecific Integrated Circuit,ASIC)芯片,可以为一颗具有深度计算功能的专用芯片。
图像传感器可以用于获取目标物体的二维图像,并且可以将获取到的二维图像通过MIPI接口传输至深度计算芯片。在一些实施例中,图像传感器可包括感光元件及图像信号处理芯片(Image Signal Processor,ISP),感光元件具体可以为电荷耦合元件(Chargecoupled Device,CCD)或互补金属氧化物半导体(Complementary Metal OxideSemiconductor,CMOS),感光元件可以获取目标物体的RAW原始图像,ISP芯片可以对原始图像进行处理,从而得到目标物体的二维图像,二维图像可以为红外图像或彩色图像,具体可根据感光元件的类型确定。可以理解,此实施例中的图像传感器可以指的是红外相机或彩色相机。在另一些实施例中,图像传感器可以为一感光元件,深度计算芯片可以内置ISP,深度计算芯片可以对感光元件获取到的原始图像进行处理,从而得到目标物体的二维图像。
控制器可与深度相机连接,控制器具体可通过MIPI接口及IIC接口与深度计算芯片连接,深度计算芯片的数据通过MIPI接口传输至控制器,控制器也可以通过IIC接口与深度计算芯片进行通信。在一些实施方式中,控制器还可以与图像传感器通过IIC接口连接,此时,控制器可以通过IIC接口直接设置图像传感器的参数。在另一些实施方式中,控制器需通过深度计算芯片设置图像传感器的参数,即,控制器将需设置的参数发送至深度计算芯片,深度计算芯片再将该参数设置至图像传感器中。
具体地,控制器可包括处理器及存储器,处理器可与存储器连接,并获取存储器内存储的数据,处理器也可以将数据存储至存储器中,处理器具体可为中央处理器(centralprocessing unit,CPU)或微控制单元(Microcontroller Unit,MCU)。存储器内存储有图像识别算法及增益调节算法,处理器通过调用图像识别算法,可以根据接收到的深度图像及二维图像进行图像识别,处理器通过调用并实现增益调节算法可以对图像传感器的增益进行调节。
在一些实施例中,控制器可以为一颗图像识别芯片,内置有图像识别算法、增益调节算法等;或者,控制器可以为通用芯片,通过刷入图像识别算法、增益调节算法等固件成为控制器,进而可以实现图像识别;或者控制器可以为一颗包含图像识别、增益调节等功能的专用芯片。
可以理解,人脸识别等图像识别功能主要是由控制器进行,控制器可以结合采集到的深度图像和二维图像对人脸进行识别。然而,控制器内的图像识别算法对所采集到的图像有特定的要求,比如在不同外部光照环境下,当所采集到的图像亮度过高或者过低都会影响图像识别算法的精度。为了使图像传感器采集的图像满足图像识别算法的需求,可以对图像传感器的增益进行调节。其中,增益值可以用于对经过双采样之后得到的模拟信号进行放大增益或缩小增益。
需要说明的是,深度相机与控制器之间不局限于通过MIPI接口和IIC接口连接,还可以通过其它接口进行连接,在此不做限制。
为了说明本申请的技术方案,下面通过具体实施例来详细说明本申请的三维图像系统中如何对图像传感器的增益进行调节。
实施例一
本实施例的三维图像系统中,图像传感器可以获取当前帧图像并可以通过MIPI接口将当前帧图像发送至深度计算芯片,或者深度计算芯片也可以通过MIPI接口从图像传感器中获取当前帧图像,深度计算芯片在获取到当前帧图像后,可以发送至控制器。控制器可以识别当前帧图像中的目标区域的位置坐标,并发送位置坐标至深度计算芯片。深度计算芯片在接收到目标区域的位置坐标后,可以根据当前帧图像及位置坐标,计算图像传感器的增益参数,并根据增益参数设置图像传感器的增益值。其中,增益参数可以用于调整图像传感器采集的下一帧图像的图像亮度。可以理解,即使当前帧图像的亮度无法满足控制器的识别要求,控制器也可以粗略地识别当前帧图像中的目标区域的位置坐标。
具体地,深度计算芯片可以用于:根据目标区域的位置坐标,确定当前帧图像中的目标区域;获取目标区域的第一亮度值及非目标区域的第二亮度值,并根据第一亮度值及第二亮度值,计算当前帧图像的亮度值;根据当前帧图像的亮度值和预设的亮度阈值,计算增益参数。
深度计算芯片可以通过控制器发送的目标区域的位置坐标,确定当前帧图像中目标区域与非目标区域的范围,然后深度计算芯片可以分别计算目标区域的第一亮度值及非目标区域的第二亮度值。具体可以根据基于目标区域和非目标区域中各个像素点的像素值,确定对应的亮度值。
深度计算芯片可以用于获取目标区域中所有像素点的像素值,根据目标区域内所有像素点的像素值,计算目标区域的亮度值;以及深度计算芯片可以用于获取非目标区域中所有像素点的像素值,根据非目标区域内所有像素点的像素值,计算非目标区域的亮度值。
例如,像素值与亮度值之间成映射关系,通过像素点的像素值即可计算得到该像素点对应的亮度值,统计目标区域内所有像素点的像素值即可计算得到目标区域的亮度值,统计非目标区域内所有像素点的像素值即可计算得到非目标区域的亮度值。当然,还可以通过其它方式计算目标区域的亮度值和非目标区域的亮度值,例如,取目标区域的亮度值最低的像素点的亮度值作为目标区域的亮度值和取非目标区域的亮度值最低的像素点的亮度值作为非目标区域的亮度值。
进一步地,目标区域和非目标区域所对应的权重不同,目标区域的权重大于非目标区域的权重,将目标区域的亮度乘以对应的权重和非目标区域的亮度乘以对应的权重,求和后即可得到当前帧图像的权重,在计算当前帧图像亮度时更多地考虑目标区域的亮度,可以减少非目标区域对目标区域造成的干扰,提高计算的准确性。
例如,以人脸识别为例进行说明,可将当前帧图像分割成人脸区域和背景区域,假设人脸区域的权重为m,背景区域的权重为n,n<m,计算得到人脸区域的亮度值为M,计算得到背景区域的亮度值为N,则当前帧图像的亮度为M×m+N×n,由此,可以避免背景区域亮度过高而人脸区域亮度较小而导致计算得到的增益参数不准确情况。例如,背光拍摄时背景区域的亮度会大于人脸区域的亮度,基于加权求和,可以使深度计算芯片在计算增益参数时更多地考虑人脸区域的亮度,进而使完成参数调整后的下一帧图像中人脸区域的亮度满足算法模型的需求。
在另一些实施例中,在当前帧图像中存在多个不同的图像,或者同一当前帧图像中存在多个目标对象时,可以将当前帧图像分割成多个目标区域和非目标区域,例如人物区域、动物区域以及人物区域和动物区域以外的背景区域。再依据每个区域的权重加权相加,求得当前帧图像的亮度值。如此,利用该亮度值求得的增益参数可以同时适配不同的图像识别算法。
再进一步地,在计算目标区域的亮度值时,深度计算芯片还可以用于根据控制器识别到的特征数据,将目标区域分割成多个特征区域,不同的特征区域包括的特征数据不同;根据每个特征区域内的像素点的像素值,计算每个特征区域的亮度值;根据每个特征区域的亮度值及每个特征区域对应的权重,计算目标区域的亮度值。其中,特征数据可以是控制器识别到后发送至深度计算芯片。
例如,以目标区域为人脸区域为例进行说明,可以识别人脸区域中的头发、耳朵、面部及额头,然后将人脸区域分割为头发区域、耳朵区域、面部区域、额头区域,假设头发区域、耳朵区域、面部区域、额头区域分别对应权重a、b、c、d,然后根据头发区域内的所有像素点的像素值、耳朵区域内的所有像素点的像素值、面部区域内的所有像素点的像素值、额头区域内的所有像素点的像素值,分别计算得到头发区域的亮度为A、耳朵区域的亮度为B、面部区域内的亮度为C、额头区域内的亮度为D,然后将各个区域的亮度值乘以对应的权重并求和得到目标区域的亮度值,即,目标区域的亮度值为A×a+B×b+C×c+D×d。需要说明的是,面部区域可包括脸颊、鼻子、嘴巴、眼睛、眉毛。
在计算目标区域的亮度值时,分别考虑不同的特征区域对光的吸收能力不同,而分别设置一个权重,可以使得计算得到的目标区域的亮度更加准确,进而计算得到的增益系数更加准确。
当然,计算目标区域内的亮度值的方式还可以是其它,例如,直接统计目标区域内每个像素点的亮度值作为目标区域的亮度值,或者计算统计目标区域内所有像素点的亮度值的均值作为目标区域的亮度值,在此不详细列举也不做限制。在计算非目标区域的亮度值时,也可以根据非目标区域所包含的特征,将非目标区域划分成多个特征区域,然后分别计算亮度以及加权求和得到非目标区域的亮度,在此不详细展开描述,也不做具体限制。
深度计算芯片在计算得到当前帧图像的亮度值后,可以根据当前帧图像的亮度值和预设的亮度阈值,计算增益参数。其中,亮度阈值可以根据识别场景、识别类型针对性设置。例如,强光和暗光下的亮度阈值可不同,人脸识别和动物识别的亮度阈值可不同。
在本申请的一些实施方式中,深度计算芯片可以计算当前帧图像的亮度值与亮度阈值之间的差值。通过预先的实验或现有的增益值确定算法,可以确定每个差值对应的增益参数,得到差值与增益参数之间的关系表。查询关系表,深度计算芯片可以得到使当前帧图像各个像素点的亮度值满足亮度阈值所需的增益参数。或者,亮度差值与增益参数之间存在一定的映射关系(例如函数关系),通过计算亮度差值即可确定对应的增益参数。
进一步地,在一些实施方式中,控制器还可以发送进行图像识别算法时所使用的算法模型的标识至深度计算芯片。深度计算芯片可以根据与该算法模型的标识对应的亮度阈值及当前帧图像的亮度值计算增益参数。不同的算法模型所需的图像亮度值不完全相同,因此,不同的所述算法模型可以分别对应一个亮度阈值,亮度阈值即为算法模型所需的图像亮度值范围。如此,可以使得深度计算芯片计算得到的增益参数更加准确,在后续过程中可以针对性地提高图像的亮度,使得获取到的图像更加满足控制器进行图像识别时的要求。
在本申请的另一些实施方式中,在获取到当前帧图像中目标区域的亮度值及非目标区域的亮度值后,深度计算芯片可以比较非目标区域的亮度值与目标区域的亮度值,在非目标区域的亮度值大于目标区域的亮度值时,深度计算芯片可以根据非目标区域的亮度值与目标区域的亮度值之间的差值计算第一增益参数,然后根据第一增益参数设置图像传感器的增益值,第一增益参数可以使得下一帧图像中非目标区域的亮度降低,以降低控制器在进行图像识别时非目标区域的干扰,提高图像识别的准确性。如果目标区域的亮度值满足亮度阈值,则目标区域的保持不变;如果目标区域的亮度不满足亮度阈值,则根据目标区域的亮度值与亮度阈值,计算第二增益参数,然后根据第二增益参数设置图像传感器的增益值,使得下一帧图像的亮度满足亮度阈值。
具体地,以人脸识别为例,图像传感器在获取人脸图像时,人脸动作变化较小,当前帧图像和下一帧图像中人脸区域的坐标基本保持不变,因此,可以确定当前帧图像中人脸区域的像素点在图像传感器中对应的第一像素(第一感光单元),可以确定当前帧图像中其它区域(除人脸区域以外的区域)的像素点在图像传感器中对应的第二像素(第二感光单元),通过第二增益参数可以调整第一像素的所生成的像素点的亮度,通过第一增益参数可以调整第二像素的所生成的像素点的亮度,使得获取到的下一帧图像中人脸区域的亮度满足要求,同时其它区域的亮度较低,降低了其它区域的干扰。
深度计算芯片在计算得到增益参数后,还可以用于根据增益参数设置图像传感器的增益值,深度计算芯片具体可以通过IIC接口设置图像传感器的增益值,使得图像传感器采集到的下一帧图像的图像亮度相较于当前帧图像的图像亮度有所改变,可以满足控制器在进行图像识别时的要求。
具体的,若增益参数是调整后的增益值,则深度计算芯片可以直接根据增益参数设置图像传感器的增益值;若增益参数是用于对图像传感器的原增益值进行调整的修正参数,则深度计算芯片可以将图像传感器的原增益值乘以增益参数,得到新的增益值,并根据新的增益值设置为图像传感器的增益值。
具体的,增益值越大,下一帧图像的亮度越高,反之则下一帧图像的亮度越低。
在一些实施方式中,深度计算芯片在获取到当前帧图像之后,可以判断当前帧图像的亮度是否满足亮度阈值,进而判断当前帧图像是否满足控制器使用的图像识别算法的需求。在当前帧图像的亮度值满足亮度阈值时,深度计算芯片可以直接识别当前帧图像,而无需计算增益参数,如此,避免了在当前帧图像满足亮度阈值时仍然计算增益参数而影响识别效率。
本实施例的图像传感器的三维图像系统中,控制器先识别到当前帧图像中的目标区域,并将识别到的目标区域的位置坐标发送至深度计算芯片,使得深度计算芯片在计算增益参数时可以着重考虑目标区域,进而深度计算芯片计算得到的增益参数更加准确,从而使得图像传感器采集的下一帧图像可以满足控制器进行图像识别时的要求,提高了三维图像系统的识别精度。
请参考图2,本实施例还提供了一种图像传感器的增益调节方法,用于上述实施方式中的三维图像系统,增益调节方包括以下步骤S101-S104。
S101:通过图像传感器获取当前帧图像。
S102:利用深度计算芯片获取图像传感器中的当前帧图像,及生成当前帧图像对应的深度图像。
S103:通过控制器用于从深度计算芯片中获取当前帧图像,识别当前帧图像中的目标区域的位置坐标,并发送目标区域的位置坐标至深度计算芯片。
S104:通过深度计算芯片根据当前帧图像及目标区域的位置坐标,计算图像传感器的增益参数,并根据增益参数设置图像传感器的增益值。
在本申请的一些实施方式中,上述深度计算芯片计算增益参数的步骤可以包括以下步骤:
根据目标区域的位置坐标,确定当前帧图像中的目标区域;
获取目标区域的第一亮度值及非目标区域的第二亮度值,并根据第一亮度值及第二亮度值,计算当前帧图像的亮度值;
根据当前帧图像的亮度值和预设的亮度阈值,计算增益参数。
在本申请的一些实施方式中,上述深度计算芯片计算目标区域的亮度值的步骤可以包括以下步骤:
获取目标区域中所有像素点的像素值;
根据所有像素点的像素值,计算目标区域的亮度值。
在本申请的一些实施方式中,上述深度计算芯片根据所有像素点的像素值,计算目标区域的亮度值的步骤可以包括以下步骤:
根据控制器识别到的特征数据,将目标区域分割成多个特征区域,不同的特征区域包括的特征数据不同;
根据每个特征区域内的像素点的像素值,计算每个特征区域的亮度值;
根据每个特征区域的亮度值及每个特征区域对应的权重,计算目标区域的亮度值。
上述图像传感器的增益调节方法中各个步骤的具体内容可以参阅实施例一中所描述的三维图像系统中相对应的内容,在此不做赘述。
本实施例的图像传感器的增益调节方法中,可以通过控制器先识别到当前帧图像中的目标区域,并将识别到的目标区域的位置坐标发送至深度计算芯片,使得深度计算芯片在计算增益参数时可以着重考虑目标区域,进而利用深度计算芯片计算得到的增益参数更加准确,从而使得图像传感器采集的下一帧图像可以满足控制器进行图像识别时的要求,提高了三维图像系统的识别精度。
实施例二
本实施例中,图像传感器可以获取当前帧图像,并可以通过MIPI接口将当前帧图像发送至深度计算芯片,或者深度计算芯片也可以通过MIPI接口从图像传感器中获取当前帧图像,深度计算芯片在获取到当前帧图像后,可以发送至控制器;深度计算芯片还可以用于生成与当前帧图像对应的深度图像。控制器获取到当前帧图像后,可以根据当前帧图像计算图像传感器的增益参数,并根据增益参数通过深度计算芯片设置图像传感器的增益值,或根据增益参数直接设置图像传感器的增益值。
具体地,控制器可以通过与深度计算芯片连接的MIPI接口从深度计算芯片获取当前帧图像,或者深度计算芯片可以通过与控制器连接的MIPI接口传输当前帧图像至控制器,使得控制器可以获取到当前帧图像。控制器获取到当前帧图像之后,可以根据当前帧图像计算图像传感器的增益参数。
为了计算图像传感器的增益参数,控制器可以用于获取当前帧图像的亮度值。具体的,控制器可以基于当前帧图像各个像素点的像素值,确定对应的亮度值。例如,在一些实施方式中,可以将当前帧图像灰度化,并利用各个像素点的灰度值确定对应的亮度值。在另一些实施方式中,也可以将当前帧图像二值化,遍历二值化图像中的各个像素点,统计像素值不为0的像素点的数量,将该数量作为当前帧图像的亮度值均值。在又一些实施方式中,像素值与亮度值之间成映射关系,通过像素点的像素值即可计算得到该像素点对应的亮度值。
进一步地,可以根据图像识别结果,将当前帧图像分割成多个区域,每个区域可分别对应一个权重,例如,有些区域的权重高,有些区域的权重低。然后可以分别计算每个区域的亮度值,将每个区域的亮度值乘以对应的权重后进行求和,得到的数值即可作为当前帧图像的亮度,由此,当前帧图像亮度计算更加准确。
控制器可以通过图像识别算法识别当前帧图像中的目标区域及非目标区域,其中,目标区域是指当前帧图像中算法模型识别得到的结果所在的图像区域。例如,图像识别算法可以为人脸识别算法,上述人脸识别算法可以为特征脸法(Eigenface)、局部二值模式(Local Binary Patterns,LBP)、Fisherface算法或其他人脸识别算法,对此本申请不做限制。控制器利用人脸识别模型对当前帧图像进行人脸识别,可以得到当前帧图像中的人脸图像区域作为目标区域,背景区域为非目标区域。又例如,上述算法模型可以为背景识别模型,控制器利用人脸识别模型对当前帧图像进行背景识别,可以得到当前帧图像中的背景区域作为目标区域。
然后控制器可以分别获取目标区域的第一亮度值及非目标区域的第二亮度值。控制器具体可以根据基于目标区域和非目标区域中各个像素点的像素值,确定对应的亮度值。目标区域和非目标区域所对应的权重不同,目标区域的权重大于非目标区域的权重,将目标区域的亮度乘以对应的权重和非目标区域的亮度乘以对应的权重,求和后即可得到当前帧图像的权重,在计算当前帧图像亮度时更多地考虑目标区域的亮度,可以减少非目标区域对目标区域造成的干扰,提高计算的准确性。
例如,以人脸识别为例进行说明,控制器可将当前帧图像分割成人脸区域(即目标区域)和背景区域(非目标区域),假设人脸区域的权重为m,背景区域的权重为n,n<m,计算得到人脸区域的亮度值为M,计算得到背景区域的亮度值为N,则当前帧图像的亮度为M×m+N×n,由此,可以避免背景区域亮度过高而人脸区域亮度较小而导致计算得到的增益参数不准确情况。例如,背光拍摄时背景区域的亮度会大于人脸区域的亮度,基于加权求和,可以使控制器在计算增益参数时更多地考虑人脸区域的亮度,进而使完成参数调整后的下一帧图像中人脸区域的亮度满足算法模型的需求。
需要说明的是,在一些具体的实现方式中,在进行图像识别时,使用到的上述图像识别算法的数量可以大于一个。例如用户需使用控制器同时识别人与宠物时,图像识别算法可以同时包括人物识别算法和动物识别算法。
在另一些实施例中,在当前帧图像中存在多个不同的图像,或者同一当前帧图像中存在多个目标对象时,控制器可以将当前帧图像分割成多个目标区域和非目标区域,例如人物区域、动物区域以及人物区域和动物区域以外的背景区域。再依据每个区域的权重加权相加,求得当前帧图像的亮度值。如此,利用该亮度值求得的增益参数可以同时适配不同的图像识别算法。
需要说明的是,其他图像亮度值的计算方法也可适用于本申请,对此本申请不进行限制。
再进一步地,在计算目标区域的亮度值时,控制器还可以用于识别目标区域中的特征区域,根据识别到的特征数据,将目标区域分割成多个特征区域,不同的特征区域包括的特征数据不同;根据每个特征区域内的像素点的像素值,计算每个特征区域的亮度值;根据每个特征区域的亮度值及每个特征区域对应的权重,计算目标区域的亮度值。
例如,以目标区域为人脸区域为例进行说明,控制器可以识别人脸区域中的头发、耳朵、面部及额头,然后将人脸区域分割为头发区域、耳朵区域、面部区域、额头区域,假设头发区域、耳朵区域、面部区域、额头区域分别对应权重a、b、c、d,然后根据头发区域内的所有像素点的像素值、耳朵区域内的所有像素点的像素值、面部区域内的所有像素点的像素值、额头区域内的所有像素点的像素值,分别计算得到头发区域的亮度为A、耳朵区域的亮度为B、面部区域内的亮度为C、额头区域内的亮度为D,然后将各个区域的亮度值乘以对应的权重并求和得到目标区域的亮度值,即,目标区域的亮度值为A×a+B×b+C×c+D×d。需要说明的是,面部区域可包括脸颊、鼻子、嘴巴、眼睛、眉毛。
在计算目标区域的亮度值时,分别考虑不同的特征区域对光的吸收能力不同,而分别设置一个权重,可以使得计算得到的目标区域的亮度更加准确,进而计算得到的增益系数更加准确。
当然,计算目标区域内的亮度值的方式还可以是其它,例如,直接统计目标区域内每个像素点的亮度值作为目标区域的亮度值,或者计算统计目标区域内所有像素点的亮度值的均值作为目标区域的亮度值,在此不详细列举也不做限制。在计算非目标区域的亮度值时,也可以根据非目标区域所包含的特征,将非目标区域划分成多个特征区域,然后分别计算亮度以及加权求和得到非目标区域的亮度,在此不详细展开描述,也不做具体限制。
控制器可以依据整个当前帧图像的亮度值与亮度阈值之间的关系计算计算图像传感器的增益参数,控制器也可以依据当前帧图像中目标区域的的亮度值与亮度阈值之间的关系计算计算图像传感器的增益参数,具体可以根据使用场景、用户需求等选择性设置,在此不做限制。
在一些实施方式中,控制器根据目标区域的亮度值和亮度阈值,计算图像传感器的增益参数。具体的,控制器可以计算目标区域的亮度值的均值与亮度阈值之间的差值。查询差值与增益参数之间的关系表,控制器可以得到使当前帧图像各个像素点的亮度值满足算法模型对应的亮度阈值所需的增益参数。
本申请的实施方式,通过获取目标区域的亮度值,并根据目标区域的亮度值和亮度阈值计算增益参数,可以使图像传感器采集的下一帧图像中目标区域的图像亮度可以满足控制器内图像识别算法的要求,避免了图像传感器获取到的图像中的非感兴趣区域对参数调整的干扰,提升了参数调整的效果。
在本申请的另一些实施方式中,在获取到目标区域的亮度值后,还可以获取当前帧图像中非目标区域的亮度值,比较非目标区域的亮度值与目标区域的亮度值,在非目标区域的亮度值大于目标区域的亮度值时,可以根据非目标区域的亮度值与目标区域的亮度值之间的差值计算第一增益参数,然后根据第一增益参数设置图像传感器的增益值,第一增益参数可以使得下一帧图像中非目标区域的亮度降低,以降低控制器在进行图像识别时非目标区域的干扰,提高图像识别的准确性。如果目标区域的亮度值满足亮度阈值,则目标区域的保持不变;如果目标区域的亮度不满足亮度阈值,则根据目标区域的亮度值与亮度阈值,计算第二增益参数,然后根据第二增益参数设置图像传感器的增益值,使得下一帧图像的亮度满足亮度阈值。
具体地,以人脸识别为例,图像传感器在获取人脸图像时,人脸动作变化较小,当前帧图像和下一帧图像中人脸区域的坐标基本保持不变,因此,可以确定当前帧图像中人脸区域的像素点在图像传感器中对应的第一像素(第一感光单元),可以确定当前帧图像中其它区域(除人脸区域以外的区域)的像素点在图像传感器中对应的第二像素(第二感光单元),通过第二增益参数可以调整第一像素的所生成的像素点的亮度,通过第一增益参数可以调整第二像素的所生成的像素点的亮度,使得获取到的下一帧图像中人脸区域的亮度满足要求,同时其它区域的亮度较低,降低了其它区域的干扰。
在确定当前帧图像的亮度值后,控制器可以用于确定对当前帧图像进行图像识别时使用的算法模型,并获取与算法模型对应的亮度阈值。其中,算法模型为控制器进行图像识别时使用的图像识别算法。
在本申请的一些实施方式中,控制器可以从自身固件程序的文件中获取算法模型的模型标识以确定对当前帧图像进行图像识别时使用的算法模型。利用获取到的模型标识,控制器可以查询模型标识与亮度阈值之间的映射关系表,获得与模型标识关联的亮度阈值。
在本申请的另一些实施方式中,控制器也可以根据用户输入的识别指令,确定与该识别指令相对应的算法模型,例如,用户输入识别人脸指令,则对应人脸识别算法模型,用户输入识别植物指令,则对应植物识别算法模型。
具体的,每个算法模型可以对应一个唯一的模型标识,模型标识可以以数字、字母等字符构成。
在本申请的一些实施方式中,不同的算法模型所需的图像亮度值不完全相同,因此,不同的所述算法模型可以分别对应一个亮度阈值,亮度阈值即为算法模型所需的图像亮度值范围。
在本申请的一些实施方式中,控制器可以计算当前帧图像的亮度值与亮度阈值之间的差值。通过预先的实验或现有的增益值确定算法,可以确定每个差值对应的增益参数,得到差值与增益参数之间的关系表。查询关系表,控制器可以得到使当前帧图像各个像素点的亮度值满足亮度阈值所需的增益参数。或者,亮度差值与增益参数之间存在一定的映射关系(例如函数关系),通过亮度差值即可确定对应的增益参数。
并且,由于每个算法模型均对应一个亮度阈值,如此,在计算增益参数时得到的增益参数可以更加满足期望,在后续过程中可以针对性地提高图像的亮度,使得在进行图像识别时获取到的图像更加满足对应的算法模型。
当然,在其他的实施方式中,控制器也可以直接根据当前帧图像的亮度值与通用的亮度阈值计算增益参数,在此不详细描述。
控制器确定出增益参数之后,可以根据增益参数调整图像传感器的增益值。具体的,若增益参数是调整后的增益值,则控制器可以直接根据增益参数设置图像传感器的增益值;若增益参数是用于对图像传感器的原增益值进行调整的修正参数,则图像识别芯片可以将图像传感器的原增益值乘以增益参数,得到新的增益值,并根据新的增益值设置为图像传感器的增益值。
在本申请的一些实施方式中,控制器在计算得到增益值后,控制器可以将增益值发送至深度计算芯片,由深度计算芯片在获取到增益值之后,由深度计算芯片调整图像传感器的增益值。
为了进一步提高下发增益值的速度,在本申请的另一些实施方式中,控制器也可以通过IIC接口与图像传感器连接,进而由控制器通过IIC接口直接调整图像传感器的增益值。
完成设置后,图像传感器可以在下一次进行图像采集时使用调整后的增益值,进而使图像传感器采集到的下一帧图像的图像亮度相较于当前帧图像的图像亮度有所改变。这里的改变可以是图像亮度增高或降低,具体可以根据控制器使用的算法模型的需求决定。也就是说,图像传感器根据调整后的增益值采集的下一帧图像可以满足控制器的算法模型的需求。
需要说明的是,控制器根据增益参数设置图像传感器的增益值的方式可以根据实际情况进行调整。
请参考图3,本实施例还提供了一种图像传感器的增益调节方法,用于本实施例的三维图像系统,增益调节方包括以下步骤S201-S203。
S201:通过图像传感器获取当前帧图像。
S202:利用深度计算芯片获取图像传感器中的当前帧图像,及生成当前帧图像对应的深度图像。
S203:通过控制器从深度计算芯片中获取当前帧图像,及根据当前帧图像计算图像传感器的增益参数,并根据增益参数通过深度计算芯片设置图像传感器的增益值,或根据增益参数直接设置图像传感器的增益值,增益参数用于调整图像传感器采集的下一帧图像的图像亮度。
在本申请的一些实施方式中,通过控制器计算图像传感器的增益系数的步骤包括以下步骤:
获取当前帧图像的亮度值;
确定对当前帧图像进行图像识别时使用的算法模型;
获取与算法模型对应的亮度阈值,每个算法模型分别对应一个亮度阈值;
根据亮度阈值与当前帧图像的亮度值,计算增益参数。
在本申请的一些实施方式中,通过控制器根据亮度阈值与当前帧图像的亮度值,计算增益参数的步骤包括以下步骤:
通过算法模型识别当前帧图像中的目标区域;
获取目标区域的亮度值;
根据目标区域的亮度值和亮度阈值,计算增益参数。
在本申请的一些实施方式中,通过控制器获取目标区域的亮度值的步骤包括以下步骤:
获取目标区域中所有像素点的像素值;
根据所有像素点的像素值,计算目标区域的亮度值。
在本申请的一些实施方式中,通过控制器根据所有像素点的像素值,计算目标区域的亮度值的步骤包括以下步骤:
根据控制器识别到的特征数据,将目标区域分割成多个特征区域,不同的特征区域包括的特征数据不同;
根据每个特征区域内的像素点的像素值,计算每个特征区域的亮度值;
根据每个特征区域的亮度值及每个特征区域对应的权重,计算目标区域的亮度值。
本实施例的图像传感器的增益调节方法中各个步骤的具体内容可以参阅实施例二所描述的三维图像系统中相对应的内容,在此不做赘述。
在本实施例的三维图像系统及增益调节方法中,图像传感器将获取到的当前帧图像发送至深度计算芯片,深度计算芯片将当前帧图像发送至控制器,控制器可以根据当前帧图像计算图像传感器的增益参数,然后控制器可以根据增益参数设置图像传感器的增益值,使得图像传感器采集到的下一帧图像可以满足控制器进行图像识别的需求,进而提高三维图像系统的识别精度。
进一步地,控制器的运算能力大于深度计算芯片,并且控制器可以分配足量的运算资源用于确定增益参数,能够实时地计算增益参数并对图像传感器进行增益值的设置,不需要等待IIC接口的数据处理轮询时间,提高了增益调整的效率。
并且,控制器可以根据自身使用的算法模型确定增益参数,得到的增益参数可以使图像传感器采集的下一帧图像的图像亮度满足控制器使用的算法模型的需求,能够提升增益调整的效果,进而,在对下一帧图像进行图像识别时,所得到的结果的准确性有所提高。
具体的,控制器在获取到当前帧图像之后,可以判断当前帧图像的亮度是否满足亮度阈值,进而判断当前帧图像是否满足控制器使用的算法模型的需求。在当前帧图像的亮度值满足亮度阈值时,控制器可以直接识别当前帧图像,而无需计算增益参数,如此,避免了在当前帧图像满足亮度阈值时仍然计算增益参数而影响识别效率。在当前帧图像的亮度值不满足亮度阈值时,控制器可以通过以下方式确定增益参数。
在本申请的另一些实施方式中,在上述任一实施例的三维图像系统中,在当前帧图像的亮度值满足亮度阈值时,控制器可以根据内置的图像识别算法对当前帧图像进行图像识别,得到当前帧图像的图像识别结果。
并且,控制器可以根据图像识别结果及深度计算芯片生成的深度图像,认证目标物体,或者,根据图像识别结果及深度计算芯片生成的深度图像,注册目标物体的特征信息。
其中,目标物体可以包括但不限于人、动物、车辆、仪表等物体。
以图像识别算法为人脸识别算法为例,当前帧图像的亮度值满足亮度阈值时,控制器可以识别得到当前帧图像的人脸识别结果,然后根据人脸识别结果及深度计算芯片计算得到的深度图像,认证当前帧图像中的用户。也可以根据人脸识别结果及深度计算芯片生成的的深度图像,注册用户的人脸特征信息。
具体地,算法模型可以将人脸识别结果中人脸区域的像素坐标发送至深度计算芯片,深度计算芯片可以根据这些像素坐标生成得到人脸区域的深度图像,进而可以将深度图像发送给控制器,控制器可以结合人脸识别结果和深度图像,提取被识别用户的人脸特征信息。如果此时用户正在进行人脸解锁认证,则可以根据提取到的人脸特征信息和预先注册的人脸特征信息进行比较,对该用户进行人脸认证。如果此时用户正在进行人脸注册,则可以根据提取到的人脸特征信息对该用户进行人脸特征信息注册,以便于后续进行人脸识别。人脸识别结果是根据增益参数调整后的当前帧图像获取到的,人脸识别结果更加准确,提取到的人脸特征信息也更加准确,提升了用户使用时的安全性。或者,控制器也可以基于人脸识别结果和深度图像,构建用户的人脸3D模型,然后根据该人脸3D模型与预先注册的人脸3D模型进行认证。在此不详细展开描述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为根据本申请,某些步骤可以采用其它顺序进行。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对各个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例图像传感器的增益调节方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (9)
1.一种三维图像系统,其特征在于,包括图像传感器、深度计算芯片及控制器:
所述图像传感器用于获取当前帧图像;
所述深度计算芯片用于从所述图像传感器中获取所述当前帧图像,并生成所述当前帧图像对应的深度图像;
所述控制器用于从所述深度计算芯片中获取所述当前帧图像,识别所述当前帧图像中的目标区域的位置坐标,并发送所述位置坐标至所述深度计算芯片;
所述深度计算芯片还用于根据所述当前帧图像及所述位置坐标,计算所述图像传感器的增益参数,并根据所述增益参数设置所述图像传感器的增益值,所述增益参数用于调整所述图像传感器采集的下一帧图像的图像亮度;
所述深度计算芯片还用于:根据所述位置坐标,确定所述当前帧图像中的所述目标区域;根据所述控制器识别到的特征数据,将所述目标区域和非目标区域各自分割成多个特征区域,不同的所述特征区域包括的特征数据不同;根据每个所述特征区域内的像素点的像素值,计算每个所述特征区域的亮度值;根据每个所述特征区域的亮度值及每个所述特征区域对应的权重,计算所述目标区域的第一亮度值和所述非目标区域的第二亮度值,其中,每个所述特征区域对应的权重与该特征区域对光的吸收能力相关;根据第一亮度值及第二亮度值,计算所述当前帧图像的亮度值;根据所述当前帧图像的亮度值和预设的亮度阈值,计算所述增益参数。
2.一种三维图像系统,其特征在于,包括图像传感器、深度计算芯片及控制器:
所述图像传感器用于获取当前帧图像;
所述深度计算芯片用于从所述图像传感器中获取所述当前帧图像,及生成所述当前帧图像对应的深度图像;根据所述当前帧图像中的目标区域的位置坐标,确定所述当前帧图像中的所述目标区域;根据所述控制器识别到的特征数据,将所述目标区域和非目标区域各自分割成多个特征区域,不同的所述特征区域包括的特征数据不同;根据每个所述特征区域内的像素点的像素值,计算每个所述特征区域的亮度值;根据每个所述特征区域的亮度值及每个所述特征区域对应的权重,计算所述目标区域的第一亮度值和所述非目标区域的第二亮度值,其中,每个所述特征区域对应的权重与该特征区域对光的吸收能力相关;根据第一亮度值及第二亮度值,计算所述当前帧图像的亮度值;
所述控制器用于从所述深度计算芯片中获取所述当前帧图像,识别所述当前帧图像中的目标区域的位置坐标,根据所述当前帧图像的亮度值和预设的亮度阈值计算所述图像传感器的增益参数,并根据所述增益参数通过所述深度计算芯片设置所述图像传感器的增益值,或根据所述增益参数直接设置所述图像传感器的增益值,所述增益参数用于调整所述图像传感器采集的下一帧图像的图像亮度。
3.如权利要求2所述的三维图像系统,其特征在于,所述控制器还用于:
获取所述当前帧图像的亮度值;
确定对所述当前帧图像进行图像识别时使用的算法模型;
获取与所述算法模型对应的亮度阈值,每个所述算法模型分别对应一个亮度阈值;
根据所述亮度阈值与所述当前帧图像的亮度值,计算所述增益参数。
4.如权利要求3所述的三维图像系统,其特征在于,所述控制器还用于:
通过所述算法模型识别所述当前帧图像中的目标区域;
获取所述目标区域的亮度值;
根据所述目标区域的亮度值和所述亮度阈值,计算所述增益参数。
5.一种图像传感器的增益调节方法,其特征在于,包括:
通过图像传感器获取当前帧图像;
利用深度计算芯片获取所述图像传感器中的所述当前帧图像,及生成所述当前帧图像对应的深度图像;
通过控制器用于从所述深度计算芯片中获取所述当前帧图像,识别所述当前帧图像中的目标区域的位置坐标,并发送所述位置坐标至所述深度计算芯片;
通过所述深度计算芯片根据所述当前帧图像及所述位置坐标,计算所述图像传感器的增益参数,并根据所述增益参数设置所述图像传感器的增益值,所述增益参数用于调整所述图像传感器采集的下一帧图像的图像亮度;
所述根据所述当前帧图像及所述位置坐标,计算所述图像传感器的增益参数,包括:根据所述位置坐标,确定所述当前帧图像中的所述目标区域;根据所述控制器识别到的特征数据,将所述目标区域和非目标区域各自分割成多个特征区域,不同的所述特征区域包括的特征数据不同;根据每个所述特征区域内的像素点的像素值,计算每个所述特征区域的亮度值;根据每个所述特征区域的亮度值及每个所述特征区域对应的权重,计算所述目标区域的第一亮度值和所述非目标区域的第二亮度值,其中,每个所述特征区域对应的权重与该特征区域对光的吸收能力相关;根据第一亮度值及第二亮度值,计算所述当前帧图像的亮度值;根据所述当前帧图像的亮度值和预设的亮度阈值,计算所述增益参数。
6.一种图像传感器的增益调节方法,其特征在于,包括:
通过图像传感器获取当前帧图像;
利用深度计算芯片获取所述图像传感器中的所述当前帧图像,及生成所述当前帧图像对应的深度图像;
通过控制器从所述深度计算芯片中获取所述当前帧图像,及根据所述当前帧图像计算所述图像传感器的增益参数,并根据所述增益参数通过所述深度计算芯片设置所述图像传感器的增益值,或根据所述增益参数直接设置所述图像传感器的增益值,所述增益参数用于调整所述图像传感器采集的下一帧图像的图像亮度;所述根据所述当前帧图像计算所述图像传感器的增益参数,包括:根据所述当前帧图像的亮度值和预设的亮度阈值计算所述图像传感器的增益参数;
所述增益调节方法还包括:利用所述深度计算芯片根据所述当前帧图像中目标区域的位置坐标,确定所述当前帧图像中的所述目标区域;根据所述控制器识别到的特征数据,将所述目标区域和非目标区域各自分割成多个特征区域,不同的所述特征区域包括的特征数据不同;根据每个所述特征区域内的像素点的像素值,计算每个所述特征区域的亮度值;根据每个所述特征区域的亮度值及每个所述特征区域对应的权重,计算所述目标区域的第一亮度值和所述非目标区域的第二亮度值,其中,每个所述特征区域对应的权重与该特征区域对光的吸收能力相关;根据第一亮度值及第二亮度值,计算所述当前帧图像的亮度值。
7.如权利要求6所述的图像传感器的增益调节方法,其特征在于,所述根据所述当前帧图像,计算所述图像传感器的增益参数,还包括:
获取所述当前帧图像的亮度值;
确定对所述当前帧图像进行图像识别时使用的算法模型;
获取与所述算法模型对应的亮度阈值,每个所述算法模型分别对应一个亮度阈值;
根据所述亮度阈值与所述当前帧图像的亮度值,计算所述增益参数。
8.如权利要求7所述的图像传感器的增益调节方法,其特征在于,所述根据所述亮度阈值与所述当前帧图像的亮度值,计算所述增益参数,包括:
通过所述算法模型识别所述当前帧图像中的目标区域;
获取所述目标区域的亮度值;
根据所述目标区域的亮度值和所述亮度阈值,计算所述增益参数。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求5至8任一项所述增益调节方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210561382.XA CN115086632B (zh) | 2022-05-23 | 2022-05-23 | 三维图像系统、图像传感器的增益调节方法及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210561382.XA CN115086632B (zh) | 2022-05-23 | 2022-05-23 | 三维图像系统、图像传感器的增益调节方法及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115086632A CN115086632A (zh) | 2022-09-20 |
CN115086632B true CN115086632B (zh) | 2024-05-31 |
Family
ID=83249625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210561382.XA Active CN115086632B (zh) | 2022-05-23 | 2022-05-23 | 三维图像系统、图像传感器的增益调节方法及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115086632B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105657282A (zh) * | 2014-11-11 | 2016-06-08 | 宁波舜宇光电信息有限公司 | 一种图像亮度主动优化的视觉识别方法 |
CN107124561A (zh) * | 2016-12-27 | 2017-09-01 | 福建新大陆自动识别技术有限公司 | 一种基于cmos的条码图像曝光调整系统和方法 |
WO2017166479A1 (zh) * | 2016-03-29 | 2017-10-05 | 中兴通讯股份有限公司 | 图像采集设备的测光方法及装置 |
CN110248112A (zh) * | 2019-07-12 | 2019-09-17 | 成都微光集电科技有限公司 | 一种图像传感器的曝光控制方法 |
WO2019232834A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技(深圳)有限公司 | 人脸亮度调整方法、装置、计算机设备及存储介质 |
CN110569822A (zh) * | 2019-09-16 | 2019-12-13 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
JP2020091667A (ja) * | 2018-12-06 | 2020-06-11 | トヨタ自動車株式会社 | 定点画像認識装置 |
CN112235512A (zh) * | 2020-09-16 | 2021-01-15 | 浙江大华技术股份有限公司 | 图像曝光参数调节方法、设备及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5038190B2 (ja) * | 2008-02-29 | 2012-10-03 | キヤノン株式会社 | 撮影装置及びその設定方法 |
JP6562770B2 (ja) * | 2015-08-24 | 2019-08-21 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
-
2022
- 2022-05-23 CN CN202210561382.XA patent/CN115086632B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105657282A (zh) * | 2014-11-11 | 2016-06-08 | 宁波舜宇光电信息有限公司 | 一种图像亮度主动优化的视觉识别方法 |
WO2017166479A1 (zh) * | 2016-03-29 | 2017-10-05 | 中兴通讯股份有限公司 | 图像采集设备的测光方法及装置 |
CN107124561A (zh) * | 2016-12-27 | 2017-09-01 | 福建新大陆自动识别技术有限公司 | 一种基于cmos的条码图像曝光调整系统和方法 |
WO2019232834A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技(深圳)有限公司 | 人脸亮度调整方法、装置、计算机设备及存储介质 |
JP2020091667A (ja) * | 2018-12-06 | 2020-06-11 | トヨタ自動車株式会社 | 定点画像認識装置 |
CN110248112A (zh) * | 2019-07-12 | 2019-09-17 | 成都微光集电科技有限公司 | 一种图像传感器的曝光控制方法 |
CN110569822A (zh) * | 2019-09-16 | 2019-12-13 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN112235512A (zh) * | 2020-09-16 | 2021-01-15 | 浙江大华技术股份有限公司 | 图像曝光参数调节方法、设备及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115086632A (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111144284B (zh) | 深度人脸图像的生成方法、装置、电子设备及介质 | |
CN110163111A (zh) | 基于人脸识别的叫号方法、装置、电子设备及存储介质 | |
CN111611934A (zh) | 一种人脸检测模型生成和人脸检测方法、装置及设备 | |
CN111062891A (zh) | 图像处理方法、装置、终端及计算机可读存储介质 | |
CN114612987B (zh) | 一种表情识别方法及装置 | |
CN112257526B (zh) | 一种基于特征交互学习的动作识别方法及终端设备 | |
WO2018004921A1 (en) | Technologies for efficient identity recognition based on skin features | |
CN108615253A (zh) | 图像生成方法、装置与计算机可读存储介质 | |
US20210217145A1 (en) | System and method for multi-frame contextual attention for multi-frame image and video processing using deep neural networks | |
CN111598065B (zh) | 深度图像获取方法及活体识别方法、设备、电路和介质 | |
US20210321069A1 (en) | Electronic device which adjusts white balance of image according to attributes of object in image and method for processing image by electronic device | |
WO2021114886A1 (zh) | 虹膜图像采集方法以及装置、对焦方法以及装置 | |
CN115797876A (zh) | 设备监控处理方法及系统 | |
CN115565212A (zh) | 图像处理方法、神经网络模型训练方法及装置 | |
CN112489144B (zh) | 图像处理方法、图像处理装置、终端设备及存储介质 | |
CN115086632B (zh) | 三维图像系统、图像传感器的增益调节方法及存储介质 | |
CN114332993A (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
CN115049819A (zh) | 注视区域识别方法及装置 | |
CN114298922A (zh) | 图像处理方法、装置及电子设备 | |
CN111222446B (zh) | 人脸识别方法、人脸识别装置及移动终端 | |
CN110852943A (zh) | 图像处理方法及装置、图像处理设备及存储介质 | |
CN112087556B (zh) | 一种暗光成像方法、装置、可读存储介质及终端设备 | |
CN109284694A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN115375592A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN113824894A (zh) | 曝光控制方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |