CN112270639A - 一种图像处理方法、图像处理装置以及存储介质 - Google Patents

一种图像处理方法、图像处理装置以及存储介质 Download PDF

Info

Publication number
CN112270639A
CN112270639A CN202010996742.XA CN202010996742A CN112270639A CN 112270639 A CN112270639 A CN 112270639A CN 202010996742 A CN202010996742 A CN 202010996742A CN 112270639 A CN112270639 A CN 112270639A
Authority
CN
China
Prior art keywords
image data
black level
level reference
control device
reference value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010996742.XA
Other languages
English (en)
Other versions
CN112270639B (zh
Inventor
郝李鹏
安鹏洲
张宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010996742.XA priority Critical patent/CN112270639B/zh
Publication of CN112270639A publication Critical patent/CN112270639A/zh
Application granted granted Critical
Publication of CN112270639B publication Critical patent/CN112270639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理方法、图像处理装置以及存储介质,该图像处理方法包括:控制装置向协助控制装置发送不同类型的图像数据分别对应的黑电平参考值,以通过协助控制装置向图像传感器发送图像数据采集指令;其中,采集指令包括待采集的图像数据的类型及图像数据对应的黑电平参考值;其中,不同类型的图像数据对应的黑电平参考值不同;接收图像传感器响应于采集指令采集的图像数据,其中,图像数据叠加有黑电平参考值;对叠加有黑电平参考值的图像数据的类型进行识别。通过上述方式,本申请能够降低违法取证设备对FPGA的性能要求,扩大FPGA的选型范围。

Description

一种图像处理方法、图像处理装置以及存储介质
技术领域
本发明涉及视频监控技术领域,尤其是涉及一种图像处理方法、图像处理装置以及存储介质。
背景技术
在智能交通领域,违法取证设备需要严格的时序控制,现有技术需要采用现场可编程门阵列(Field Programmable Gate Array,FPGA)作为协处理器输出相关的控制时序,实现工频同步、抓拍以及抓拍信息同步等功能。
具体地,FPGA采集图像传感器(Image Sensor)输出的图像数据,并在图像数据的设定位置添加当前图像的快门模式信息以及抓拍信息,FPGA完成以上操作后将带有附加信息的图像数据输出给中央处理器(Central Processing Unit,CPU),由CPU对图像数据进行相应的分类处理。
然而,随着图像传感器输出图像的分辨率和帧率不断提高,其对适配的FPGA的运行频率、逻辑单元数目以及管脚数量等核心参数的要求也不断提高,这就要求FPGA具有大量的逻辑单元以及管脚等资源,对FPGA的选型具有极大的局限性,导致违法取证设备的制造成本不断攀升。
发明内容
本申请主要解决的技术问题是提供一种图像处理方法、图像处理装置以及存储介质,能够降低设备对FPGA的性能要求,扩大FPGA的选型范围。
为解决上述技术问题,本申请采用的一个技术方案是提供一种图像处理方法,该方法包括:控制装置向协助控制装置发送不同类型的图像数据分别对应的黑电平参考值,以通过协助控制装置向图像传感器发送图像数据采集指令;其中,采集指令包括待采集的图像数据的类型及图像数据对应的黑电平参考值;其中,不同类型的图像数据对应的黑电平参考值不同;接收图像传感器响应于采集指令采集的图像数据,其中,图像数据叠加有黑电平参考值;对叠加有黑电平参考值的图像数据的类型进行识别。
其中,对叠加有黑电平参考值的图像数据的类型进行识别的步骤包括:计算图像数据中光学暗区区域黑电平参考值的统计值;将统计值与分别响应于不同类型的图像数据的黑电平参考值进行对比,并根据对比结果对图像数据进行分类处理。
其中,计算图像数据中光学暗区区域黑电平参考值的统计值,将统计值与分别响应于不同类型的图像数据的黑电平参考值进行对比,并根据对比结果对图像数据进行分类处理的步骤具体包括:计算统计值与不同的黑电平参考值的差值,获取到与统计值的差值绝对值为最小的黑电平参考值,并根据黑电平参考值对应的图像数据的类型对图像数据进行分类处理。
其中,不同类型的图像数据包括视频帧数据、图片帧数据以及抓拍帧数据。
为解决上述技术问题,本发明采用的又一个技术方案是提供一种图像处理方法,该方法包括:协助控制装置接收控制装置发送的不同类型的图像数据分别对应的黑电平参考值;其中,不同类型的图像数据对应的黑电平参考值不同;向图像传感器发送图像数据采集指令,采集指令包括待采集的图像数据的类型及图像数据对应的黑电平参考值,以使图像传感器响应图像数据采集指令采集图像数据,并将叠加有黑电平参考值的图像数据发送至控制装置,通过控制装置对叠加有黑电平参考值的图像数据的类型进行识别。
为解决上述技术问题,本发明采用的另一个技术方案是提供一种图像处理方法,该方法包括:图像传感器接收协助控制装置发送的图像数据采集指令;其中,采集指令包括待采集的图像数据的类型及图像数据对应的黑电平参考值;根据采集指令中的图像数据类型及图像数据对应的黑电平参考值采集叠加有黑电平参考值的图像数据;将叠加有黑电平参考值的图像数据发送至控制装置,以使控制装置对叠加有黑电平参考值的图像数据的类型进行识别。
为解决上述技术问题,本发明采用的又一个技术方案是提供一种控制装置,控制装置用于向协助控制装置发送不同类型的图像数据分别对应的黑电平参考值,以通过协助控制装置向图像传感器发送图像数据采集指令;其中,采集指令包括待采集的图像数据的类型及图像数据对应的黑电平参考值;其中,不同类型的图像数据对应的黑电平参考值不同;控制装置进一步用于接收图像传感器响应于采集指令采集的图像数据,其中,图像数据叠加有黑电平参考值;控制装置还用于对叠加有黑电平参考值的图像数据的类型进行识别。
为解决上述技术问题,本发明采用的另一个技术方案是提供一种协助控制装置,协助控制装置用于接收控制装置发送的不同类型的图像数据分别对应的黑电平参考值;其中,不同类型的图像数据对应的黑电平参考值不同;协助控制装置还用于向图像传感器发送图像数据采集指令,采集指令包括待采集的图像数据的类型及图像数据对应的黑电平参考值,以使图像传感器响应图像数据采集指令采集图像数据,并将叠加有黑电平参考值的图像数据发送至控制装置,通过控制装置对叠加有黑电平参考值的图像数据的类型进行识别。
为解决上述技术问题,本发明采用的又一个技术方案是提供一种图像传感器,图像传感器用于接收协助控制装置发送的图像数据采集指令;其中,采集指令包括待采集的图像数据的类型及图像数据对应的黑电平参考值;图像传感器进一步用于根据采集指令中的图像数据类型及图像数据对应的黑电平参考值采集叠加有黑电平参考值的图像数据;图像传感器还用于将叠加有黑电平参考值的图像数据发送至控制装置,以使控制装置对叠加有黑电平参考值的图像数据的类型进行识别。
为解决上述技术问题,本发明采用的另一个技术方案是提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述任一项所述的图像处理方法中的步骤。
本发明的有益效果是:区别于现有技术,本申请通过协助控制装置每帧配置给图像传感器对应于不同类型图像数据的黑电平参数值,并通过控制装置对叠加有黑电平参考值的图像数据的类型进行识别,能够摒弃协助控制装置与控制装置之间的高速数据接口,使协助控制装置可通过低速通信接口与控制装置完成协议数据的相互传递,不仅减少了FPGA管脚的使用,也减少了逻辑资源的消耗,从整体上降低了对FPGA的性能要求,扩大了FPGA的选型范围;进一步地,由于图像传感器输出的图像数据带有分类信息,故无需FPGA向CPU传递带有图像快门模式信息数据,同时减轻了CPU的性能开销,使CPU器件拥有更多的高速接口用来处理更多通路的视频图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请图像处理装置一实施方式的结构示意图;
图2是本申请图像处理装置一实施方式的信号流向图;
图3是本申请图像处理方法一实施方式的流程示意图;
图4是图1中步骤S33一优选实施方式的子流程图;
图5是图1中步骤S33另一优选实施方式的子流程图;
图6是本申请图像处理方法另一实施方式的流程示意图;
图7是本申请图像处理方法又一实施方式的流程示意图;
图8是本申请图像处理方法一实际应用场景的工作流程图;
图9是本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,均属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,本文中使用的术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在智能交通领域,违法取证设备需要严格的时序控制,现有技术需要采用协处理器(Field Programmable Gate Array,FPGA)输出相关的控制时序,实现工频同步、抓拍以及抓拍信息同步等功能。
具体地,FPGA采集图像传感器(Image Sensor)输出的图像数据,并在图像数据的设定位置添加当前图像的快门模式信息以及抓拍信息,FPGA完成以上操作后将带有附加信息的图像数据输出给中央处理器(Central Processing Unit,CPU),由CPU对图像数据进行相应的分类处理。
现有技术中,CPU与FPGA的数据交互一般使用低压差分信号技术接口(LowVoltage Differential Signaling,LVDS)、和/或移动产业处理器接口(Mobile IndustryProcessor Interface,MIPI)、和/或可扩展低压信号嵌入式时钟(Scalable Low VoltageSignaling Embedded Clock,SLVS-EC)等高速信号模式,FPGA需要将待传的带图像快门模式数据转换为这些高速信号,这些高速信号的转换对FPGA的时钟资源、逻辑资源以及IP资源均有要求。且使用FPGA向CPU传递带有图像快门模式信息数据,意味着后续CPU还需要专门的处理模块对这一路的数据进行存储、处理,给后续CPU带来了额外的性能开销。
随着图像传感器输出图像的分辨率和帧率不断提高,其对适配的FPGA的运行频率、逻辑单元数目以及管脚数量等核心参数的要求也不断提高,这就要求FPGA具有大量的逻辑单元以及管脚等资源,对FPGA的选型具有极大的局限性,导致违法取证设备的制造成本不断攀升。
基于上述情况,本申请提供一种图像处理方法、图像处理装置以及存储介质,能够降低设备对FPGA的性能要求,扩大FPGA的选型范围。
基于上述图像处理方法,本申请首先提供一种图像处理装置。
具体地,请参阅图1,图1是本申请图像处理装置一实施方式的结构示意图。如图1所示,在本实施方式中,图像处理装置10包括相互耦接的控制装置11、协助控制装置12以及图像传感器13。
本实施方式中,控制装置11包括中央处理器(Central Processing Unit,CPU)。
其中,控制装置11采用嵌入式系统芯片(System-on-a-chip,SoC)。
本实施方式中,协助控制装置12包括现场可编程逻辑门阵列(FieldProgrammable Gate Array,FPGA)。
FPGA是数字电路的物理实现方式之一,与数字电路的另一种重要实现方式专用集成电路(Application Specific Integrated Circuit,ASIC)芯片相比,FPGA的一项重要特点是其可编程特性,即用户可通过程序指定FPGA实现某一特定数字电路。
本实施方式中,控制装置11通过低速通信接口与协助控制装置12连接,并通过低速通信接口完成协议数据的相互传递;协助控制装置12通过低速通信接口与图像传感器13连接,并通过低速通信接口实时地控制图像传感器13的驱动与曝光、增益控制;控制装置11通过高速通信接口与图像传感器13连接,并通过高速通信接口采集图像传感器13传输的图像数据。
其中,低速通信接口包括串行外设接口(Serial Peripheral Interface,SP1)、和/或串行传输总线(Inter IC BUS,IIC)、和/或通用异步收发器(UniversalAsynchronous Receiver Transmitter,UART),本申请对此不作限定。
其中,高速通信接口包括低压差分信号技术接口(Low Voltage DifferentialSignaling,LVDS)、和/或移动产业处理器接口(Mobile Industry Processor Interface,MIPI)、和/或可扩展低压信号嵌入式时钟(Scalable Low Voltage Signaling EmbeddedClock,SLVS-EC),本申请对此不作限定。
请参阅图2,图2是本申请图像处理装置一实施方式的信号流向图。
本实施方式中,控制装置11用于向协助控制装置12发送不同类型的图像数据分别对应的黑电平参考值,以通过协助控制装置12向图像传感器13发送图像数据采集指令;其中,采集指令包括待采集的图像数据的类型及图像数据对应的黑电平参考值;其中,不同类型的图像数据对应的黑电平参考值不同;控制装置11进一步用于接收图像传感器13响应于采集指令采集的图像数据,其中,图像数据叠加有黑电平参考值;控制装置11还用于对叠加有黑电平参考值的图像数据的类型进行识别。
本实施方式中,当协助控制装置12与辅助采集装置连接时,控制装置11还用于向协助控制装置12发送控制辅助采集装置运行的参数,例如,不同类型的图像数据分别对应的曝光、增益等感光类参数,以使协助控制装置12对辅助采集装置实施控制,以在图像传感器13进行采集时提供相应的曝光以及增益等技术支持。
协助控制装置12用于接收控制装置11发送的不同类型的图像数据分别对应的黑电平参考值;其中,不同类型的图像数据对应的黑电平参考值不同;协助控制装置12还用于向图像传感器13发送图像数据采集指令,采集指令包括待采集的图像数据的类型及图像数据对应的黑电平参考值,以使图像传感器13响应图像数据采集指令采集图像数据,并将叠加有黑电平参考值的图像数据发送至控制装置11,通过控制装置11对叠加有黑电平参考值的图像数据的类型进行识别。
本实施方式中,当协助控制装置12与辅助采集装置连接时,协助控制装置12还用于接收控制装置11发送的控制辅助采集装置运行的参数,例如,不同类型的图像数据分别对应的曝光、增益等感光类参数,从而对辅助采集装置实施控制,以在图像传感器13进行采集时提供相应的曝光以及增益等技术支持。
图像传感器13用于接收协助控制装置12发送的图像数据采集指令;其中,采集指令包括待采集的图像数据的类型及图像数据对应的黑电平参考值;图像传感器13进一步用于根据采集指令中的图像数据类型及图像数据对应的黑电平参考值采集叠加有黑电平参考值的图像数据;图像传感器13还用于将叠加有黑电平参考值的图像数据发送至控制装置11,以使控制装置11对叠加有黑电平参考值的图像数据的类型进行识别。
请参阅图3,图3是本申请图像处理方法一实施方式的流程示意图。如图3所示,在本实施方式中,该方法的执行主体为控制装置,该方法包括:
S31:控制装置向协助控制装置发送不同类型的图像数据分别对应的黑电平参考值,以通过协助控制装置向图像传感器发送图像数据采集指令;其中,采集指令包括待采集的图像数据的类型及图像数据对应的黑电平参考值;其中,不同类型的图像数据对应的黑电平参考值不同。
本实施方式中,CPU确定抓拍模式后,将该模式下的拍摄参数通过低速通信接口下发给FPGA,其中,拍摄参数包括不同类型的图像数据分别对应的黑电平参考值。
其中,不同类型的图像数据对应的黑电平参考值不同。
具体地,图像数据中包括光学暗区(Optical Black,OB),OB区域的数据可以被集成于CPU中的视频处理器(Video Processor,VP)获取到。由于图像传感器本身存在暗电流,其在没有外部光照射的时候,也有一定的输出电压,故基本上所有的图像传感器在输出的图像数据中都会预留一些完全没有曝光的像素。
在实际应用中,图像传感器会对外部控制装置开放寄存器,外部控制装置配置图像传感器时会给图像传感器的输出数据垫上一个基底(Pedestal)。对于Video Processor来说,获取到的图像数据实际上是在真实图像中叠加了Optical Black与Pedestal的集合。随着图像传感器的OB性能(全局或者区部统计的B\Gb\R\Gr的平均值)一致性越来越好,在不同的增益、温度影响下,Optical Black与Pedestal的集合依然是在Pedestal值的上下浮动,且浮动范围较小。
本实施方式中,CPU下发给FPGA的黑电平参考值即为基底。
具体地,当FPGA与辅助采集装置(例如,外同步信号、频爆闪灯等外围组件)相连时,CPU下发给FPGA的拍摄参数还包括控制辅助采集装置运行的参数,例如,不同类型的图像数据分别对应的曝光、增益等感光类参数,以使FPGA对辅助采集装置实施控制。
其中,不同类型的图像数据对应的曝光、增益等感光类参数不同。
S32:接收图像传感器响应于采集指令采集的图像数据,其中,图像数据叠加有黑电平参考值。
本实施方式中,图像数据叠加有黑电平参考值指的是图像数据包括有OB区域的图像快门模式数据。
S33:对叠加有黑电平参考值的图像数据的类型进行识别。
本实施方式中,CPU接收图像传感器采集的叠加有黑电平参考值的图像数据后,首先通过Video Processor采集OB区域的图像快门模式数据,再根据图像快门模式数据进行计算获得黑电平参考值的统计值,并将该统计值与不同类型的图像数据所对应的黑电平参考值进行比较,获取到与当前统计值的差值绝对值为最小的黑电平参考值,并根据该黑电平参考值识别其对应的图像数据类型,从而对每一帧图像数据进行分类。
区别于现有技术,本申请中通过控制装置对图像数据中叠加的黑电平参考值进行识别及分类,能够摒弃协助控制装置与控制装置之间的高速数据接口,使协助控制装置通过低速通信接口与控制装置完成协议数据的相互传递,不仅减少了FPGA管脚的使用,也减少了逻辑资源的消耗,从整体上降低了对FPGA的性能要求。
进一步请参阅图4,图4是图3中步骤S33一优选实施方式的子流程图。如图4所示,在本实施方式中,该方法包括:
S41:计算图像数据中光学暗区区域黑电平参考值的统计值。
本实施方式中,CPU中集成有数据分析与分配中心(Data Analyze DistributeCenter,DADC)。
其中,DADC能够将获取到的图像数据按照配套的多快门帧嵌入信息进行分类和图像视频处理,并将处理好的图像数据送至CPU的下一级模块。
本实施方式中,DADC可以在图像数据OB区域的设定位置分别统计R、Gr、B、Gb四种Bayer序的平均值,得到D_R、D_Gr、D_B、D_Gb四种像素的黑电平参考值,并通过D_R、D_Gr、D_B、D_Gb计算黑电平参考值的统计值。
其中,OB区域的设定位置可以是完整的OB区域,也可以是完整OB区域内的部分指定区域,本申请对此不作限定。
S42:将统计值与分别响应于不同类型的图像数据的黑电平参考值进行对比,并根据对比结果对图像数据进行分类处理。
本实施方式中,不同类型的图像数据包括视频帧数据、图片帧数据以及抓拍帧数据,视频帧数据、图片帧数据以及抓拍帧数据分别对应数值不同的黑电平参考值。
具体地,不同类型的图像数据主要是通过曝光、增益等感光类参数的差异来体现。
将上述步骤中计算出的黑电平参考值的统计值分别与响应于视频帧数据、图片帧数据以及抓拍帧数据的黑电平参考值进行对比,并根据对比结果对图像数据进行分类。
具体地,请参阅图5,图5是图3中步骤S33另一优选实施方式的子流程图。如图5所示,在本实施方式中,该方法包括:
S51:计算图像数据中光学暗区区域黑电平参考值的统计值。
统计值的计算方式与步骤S41中相同,此处不再赘述。
S52:计算统计值与不同的黑电平参考值的差值,获取到与统计值的差值绝对值为最小的黑电平参考值,并根据黑电平参考值对应的图像数据的类型对图像数据进行分类处理。
在一个具体的实施方式中,CPU将分别响应于视频帧数据、图片帧数据以及抓拍帧数据的黑电平参考值设置为A、B、C。统计获取到的D_R、D_Gr、D_B、D_Gb四种像素的黑电平参考值之间可能存在细微差异,但均在A、B、C三者其中一个值的附近,故通过D_R、D_Gr、D_B、D_Gb计算出的黑电平参考值的统计值会在A、B、C三者其中一个值的附近。
将计算出的统计值与A、B、C的数值进行比较,获取到三者中与统计值的差值绝对值为最小的黑电平参考值,并基于该黑电平参考值所对应的图像数据类型对采集的图像数据进行分类。
例如,当统计值与A的数值的差值绝对值最小时,则基于A所对应的视频帧数据将采集的该帧图像数据分类为视频帧数据;当统计值与B的数值的差值绝对值最小时,则基于B所对应的图片帧数据将采集的该帧图像数据分类为图片帧数据;当统计值与C的数值的差值绝对值最小时,则基于C所对应的抓拍帧数据将采集的该帧图像数据分类为抓拍帧数据。
进一步地,对图像数据的数据帧分类完成后,DADC将剥离掉OB区域的实际有效图像部分以及当前计算得到的D_R、D_Gr、D_B、D_Gb,并将图像数据根据对应的类型送至CPU的数字视频处理模块。例如,将视频帧数据送至编码显示模块,将图片帧数据送至智能算法模块,将抓拍帧数据送至取证上图模块。
区别于现有技术,本申请中通过控制装置对叠加有黑电平参考值的图像数据的类型进行识别及分类,能够摒弃协助控制装置与控制装置之间的高速数据接口,使协助控制装置通过低速通信接口与控制装置完成协议数据的相互传递,不仅减少了FPGA管脚的使用,也减少了逻辑资源的消耗,从整体上降低了对FPGA的性能要求;由于FPGA无需向CPU传递带有图像快门模式信息数据,故CPU不需要专门的处理模块对这一路的数据进行存储、处理,同时还减轻了CPU的性能开销,进一步降低了违法取证设备的成本。
请参阅图6,图6是本申请图像处理方法另一实施方式的流程示意图。如图6所示,在本实施方式中,该方法的执行主体为协助控制装置,该方法包括:
S61:协助控制装置接收控制装置发送的不同类型的图像数据分别对应的黑电平参考值;其中,不同类型的图像数据对应的黑电平参考值不同。
本实施方式中,FPGA还接收CPU传输的不同类型的图像数据分别对应的曝光、增益等感光类参数。
当FPGA与辅助采集装置(例如,外同步信号、频爆闪灯等外围组件)相连时,FPGA还接收CPU下发的控制辅助采集装置运行的参数,从而对辅助采集装置实施控制,以在图像传感器进行采集时提供相应的曝光以及增益等技术支持。
S62:向图像传感器发送图像数据采集指令,采集指令包括待采集的图像数据的类型及图像数据对应的黑电平参考值,以使图像传感器响应图像数据采集指令采集图像数据,并将叠加有黑电平参考值的图像数据发送至控制装置,通过控制装置对叠加有黑电平参考值的图像数据的类型进行识别。
本实施方式中,FPGA接收到响应于不同类型图像数据的黑电平参考值后,在实时控制图像传感器每一帧图像数据的类型时,可以针对不同类型的图像数据通过低速通信接口将不同的黑电平参考值配置给图像传感器,以使图像传感器根据采集指令采集叠加有黑电平参考值的图像数据。
由于FPGA每帧配置给图像传感器的黑电平参考值可以存在差异,且CPU可以识别图像数据中OB区域的黑电平参考值的统计值,并根据该统计值对图像数据进行分类,相当于将图像快门模式信息直接嵌入在图像传感器的输出图像中,无需FPGA向CPU传递图像快门模式信息数据,在FPGA内部只用实时地控制图像传感器的驱动与曝光、增益控制以及外围组件等辅助采集装置(例如外同步信号、频爆闪灯等)的处理,故FPGA与CPU之间无需高速通信接口,极大降低了对FPGA的性能要求,一般普通的国产FPGA甚至复杂可编程逻辑器件(Complex Programmable Logic Device,CPLD)均能胜任。
区别于现有技术,本申请中协助控制装置在实时配置图像传感器每帧图像数据的曝光、增益参数的同时,利用控制装置能够获取不同黑电平参考值的特性,还实时地配置了图像传感器每帧图像数据的黑电平参考值,使控制装置能够直接对图像传感器输出的图像数据进行分类,从而可以摒弃协助控制装置与控制装置之间的高速数据接口,使协助控制装置通过低速通信接口与控制装置完成协议数据的相互传递,不仅减少了FPGA管脚的使用,也减少了逻辑资源的消耗,从整体上降低了对FPGA的性能要求;进一步地,由于图像传感器输出的图像数据带有分类信息,故无需FPGA向CPU传递带有图像快门模式信息数据,同时减轻了CPU的性能开销,使CPU器件拥有更多的高速接口用来处理更多通路的视频图像。
请参阅图7,图7是本申请图像处理方法又一实施方式的流程示意图。如图7所示,在本实施方式中,该方法的执行主体为图像传感器,该方法包括:
S71:图像传感器接收协助控制装置发送的图像数据采集指令;其中,采集指令包括待采集的图像数据的类型及图像数据对应的黑电平参考值。
S72:根据采集指令中的图像数据类型及图像数据对应的黑电平参考值采集叠加有黑电平参考值的图像数据。
S73:将叠加有黑电平参考值的图像数据发送至控制装置,以使控制装置对叠加有黑电平参考值的图像数据的类型进行识别。
区别于现有技术,本申请图像传感器在采集图像数据时,根据图像数据的类型在图像数据中叠加有响应于该类型的黑电平参考值,使控制装置能够直接对图像传感器输出的图像数据进行分类,从而可以摒弃协助控制装置与控制装置之间的高速数据接口,使协助控制装置通过低速通信接口与控制装置完成协议数据的相互传递,不仅减少了FPGA管脚的使用,也减少了逻辑资源的消耗,从整体上降低了对FPGA的性能要求;进一步地,由于图像传感器输出的图像数据带有分类信息,故无需FPGA向CPU传递带有图像快门模式信息数据,同时减轻了CPU的性能开销,使CPU器件拥有更多的高速接口用来处理更多通路的视频图像。
请参阅图8,图8是本申请图像处理方法一实际应用场景的工作流程图。如图8所示,控制装置81、协助控制装置82以及图像传感器83相互耦接。
本实施方式中,控制装置81通过低速通信接口与协助控制装置82连接,控制装置81通过高速通信接口与图像传感器83连接;协助控制装置82通过低速通信接口与图像传感器83连接。
具体地,控制装置81向协助控制装置82发送不同类型的图像数据分别对应的黑电平参考值,以通过协助控制装置82向图像传感器83发送图像数据采集指令;其中,采集指令包括待采集的图像数据的类型及图像数据对应的黑电平参考值;其中,不同类型的图像数据对应的黑电平参考值不同。
本实施方式中,由于协助控制装置82与辅助采集装置84连接,控制装置81还用于向协助控制装置82发送控制辅助采集装置运行的参数,例如,不同类型的图像数据分别对应的曝光、增益等感光类参数,以使协助控制装置12对辅助采集装置实施控制。
协助控制装置82接收控制装置81发送的不同类型的图像数据分别对应的黑电平参考值后,实时向图像传感器83发送图像数据采集指令,采集指令包括待采集的图像数据的类型及图像数据对应的黑电平参考值。
其中,协助控制装置82还与辅助采集装置84连接,辅助采集装置84包括同步信号、频爆闪灯等外围组件,用于在图像传感器83采集图像数据的过程中提供相应的曝光以及增益技术支持,以使图像传感器83采集到不同类型的图像数据。
进一步地,协助控制装置82实时控制图像传感器83的驱动与曝光、增益效果以及驱动辅助采集装置84提供技术支持。
图像传感器83接收到协助控制装置82发送的图像数据采集指令后,根据采集指令中的图像数据类型及图像数据对应的黑电平参考值采集叠加有黑电平参考值的图像数据,并将叠加有黑电平参考值的图像数据发送至控制装置81。
具体地,图像传感器83将VF_X_i发送至控制装置81。
其中,VF_X_i泛指包含有OB区域的图像快门模式数据的图像数据,具体地,VF_S_i对应的是包含有OB区域的视频快门模式数据,VF_T_i对应的是包含有OB区域的图片快门模式数据,VF_TM_i对应的是包含有OB区域的抓拍快门模式数据。
本实施方式中,控制装置81内部集成有视频处理器801、数据分析与分配中心802以及数字视频处理模块803,能够对VF_X_i进行识别并分类。
具体地,视频处理器801从高速通信接口采集到图像传感器83生成的VF_X_i,并将VF_X_i送至数据分析与分配中心802;数据分析与分配中心802根据VF_X_i进行计算获得黑电平参考值的统计值,并将该统计值与不同类型的图像数据所对应的黑电平参考值进行比较,获取到与当前统计值的差值绝对值为最小的黑电平参考值,并根据该黑电平参考值识别其对应的图像数据类型,从而对VF_X_i进行分类,并在分类完成后剥离掉VF_X_i中OB区域的实际有效图像部分以及当前计算得到的D_R、D_Gr、D_B、D_Gb,获取到VF_X,将VF_X送至数字视频处理模块803。
进一步地,数字视频处理模块803包括编码显示模块、智能算法模块以及取证上图模块,数据分析与分配中心802可根据VF_X的具体类型将VF_X送至数字视频处理模块803中的不同模块。例如,将VF_S送至编码显示模块,将VF_T送至智能算法模块,将VF_TM送至取证上图模块。
区别于现有技术,本申请通过协助控制装置每帧配置给图像传感器对应于不同类型图像数据的黑电平参数值,并通过控制装置对叠加有黑电平参考值的图像数据的类型进行识别,能够摒弃协助控制装置与控制装置之间的高速数据接口,使协助控制装置可通过低速通信接口与控制装置完成协议数据的相互传递,不仅减少了FPGA管脚的使用,也减少了逻辑资源的消耗,从整体上降低了对FPGA的性能要求;进一步地,由于图像传感器输出的图像数据带有分类信息,故无需FPGA向CPU传递带有图像快门模式信息数据,同时减轻了CPU的性能开销,使CPU器件拥有更多的高速接口用来处理更多通路的视频图像。
请参阅图9,图9是本申请计算机可读存储介质一实施方式的结构示意图。
计算机可读存储介质90包括计算机可读存储介质90上存储的计算机程序901,所述计算机程序901被上述处理器执行时实现上述任一方法实施例中的步骤或者上述方法实施例中图像处理方法对应执行的步骤。
具体地,集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质90中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个计算机可读存储介质90中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质90包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
控制装置向协助控制装置发送不同类型的图像数据分别对应的黑电平参考值,以通过所述协助控制装置向图像传感器发送图像数据采集指令;其中,所述采集指令包括待采集的图像数据的类型及所述图像数据对应的黑电平参考值;其中,不同类型的图像数据对应的黑电平参考值不同;
接收所述图像传感器响应于所述采集指令采集的图像数据,其中,所述图像数据叠加有所述黑电平参考值;
对叠加有所述黑电平参考值的所述图像数据的类型进行识别。
2.根据权利要求1所述的图像处理方法,其特征在于,所述对叠加有黑电平参考值的所述图像数据的类型进行识别的步骤包括:
计算所述图像数据中光学暗区区域黑电平参考值的统计值;将所述统计值与分别响应于不同类型的图像数据的黑电平参考值进行对比,并根据对比结果对所述图像数据进行分类处理。
3.根据权利要求2所述的图像处理方法,其特征在于,所述计算所述图像数据中光学暗区区域黑电平参考值的统计值,将所述统计值与分别响应于不同类型的图像数据的黑电平参考值进行对比,并根据对比结果对所述图像数据进行分类处理的步骤具体包括:
计算所述统计值与不同的所述黑电平参考值的差值,获取到与所述统计值的差值绝对值为最小的黑电平参考值,并根据所述黑电平参考值对应的图像数据的类型对所述图像数据进行分类处理。
4.根据权利要求3所述的图像处理方法,其特征在于,所述不同类型的图像数据包括视频帧数据、图片帧数据以及抓拍帧数据。
5.一种图像处理方法,其特征在于,包括:
协助控制装置接收控制装置发送的不同类型的图像数据分别对应的黑电平参考值;其中,不同类型的图像数据对应的黑电平参考值不同;
向图像传感器发送图像数据采集指令,所述采集指令包括待采集的图像数据的类型及所述图像数据对应的黑电平参考值,以使所述图像传感器响应所述图像数据采集指令采集图像数据,并将叠加有所述黑电平参考值的所述图像数据发送至所述控制装置,通过所述控制装置对叠加有所述黑电平参考值的所述图像数据的类型进行识别。
6.一种图像处理方法,其特征在于,包括:
图像传感器接收协助控制装置发送的图像数据采集指令;其中,所述采集指令包括待采集的图像数据的类型及所述图像数据对应的黑电平参考值;
根据所述采集指令中的图像数据类型及所述图像数据对应的黑电平参考值采集叠加有所述黑电平参考值的图像数据;
将叠加有所述黑电平参考值的所述图像数据发送至控制装置,以使所述控制装置对叠加有所述黑电平参考值的所述图像数据的类型进行识别。
7.一种控制装置,其特征在于,所述控制装置用于向协助控制装置发送不同类型的图像数据分别对应的黑电平参考值,以通过所述协助控制装置向图像传感器发送图像数据采集指令;其中,所述采集指令包括待采集的图像数据的类型及所述图像数据对应的黑电平参考值;其中,不同类型的图像数据对应的黑电平参考值不同;
所述控制装置进一步用于接收所述图像传感器响应于所述采集指令采集的图像数据,其中,所述图像数据叠加有所述黑电平参考值;
所述控制装置还用于对叠加有所述黑电平参考值的所述图像数据的类型进行识别。
8.一种协助控制装置,其特征在于,所述协助控制装置用于接收控制装置发送的不同类型的图像数据分别对应的黑电平参考值;其中,不同类型的图像数据对应的黑电平参考值不同;
所述协助控制装置还用于向图像传感器发送图像数据采集指令,所述采集指令包括待采集的图像数据的类型及所述图像数据对应的黑电平参考值,以使所述图像传感器响应所述图像数据采集指令采集图像数据,并将叠加有所述黑电平参考值的所述图像数据发送至所述控制装置,通过所述控制装置对叠加有所述黑电平参考值的所述图像数据的类型进行识别。
9.一种图像传感器,其特征在于,所述图像传感器用于接收协助控制装置发送的图像数据采集指令;其中,所述采集指令包括待采集的图像数据的类型及所述图像数据对应的黑电平参考值;
所述图像传感器进一步用于根据所述采集指令中的图像数据类型及所述图像数据对应的黑电平参考值采集叠加有所述黑电平参考值的图像数据;
所述图像传感器还用于将叠加有所述黑电平参考值的所述图像数据发送至控制装置,以使所述控制装置对叠加有所述黑电平参考值的所述图像数据的类型进行识别。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1~6任一项所述的图像处理方法中的步骤。
CN202010996742.XA 2020-09-21 2020-09-21 一种图像处理方法、图像处理装置以及存储介质 Active CN112270639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010996742.XA CN112270639B (zh) 2020-09-21 2020-09-21 一种图像处理方法、图像处理装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010996742.XA CN112270639B (zh) 2020-09-21 2020-09-21 一种图像处理方法、图像处理装置以及存储介质

Publications (2)

Publication Number Publication Date
CN112270639A true CN112270639A (zh) 2021-01-26
CN112270639B CN112270639B (zh) 2024-04-19

Family

ID=74348524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010996742.XA Active CN112270639B (zh) 2020-09-21 2020-09-21 一种图像处理方法、图像处理装置以及存储介质

Country Status (1)

Country Link
CN (1) CN112270639B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689707A (zh) * 2021-07-20 2021-11-23 浙江大华技术股份有限公司 视频数据处理方法、装置以及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976506A (zh) * 2010-11-02 2011-02-16 公安部第三研究所 一种机动车超速图像取证及无线传输装置
CN102184521A (zh) * 2011-03-24 2011-09-14 苏州迪吉特电子科技有限公司 高性能图像处理系统及图像数据处理方法
CN108989638A (zh) * 2018-08-01 2018-12-11 Oppo(重庆)智能科技有限公司 成像装置及其控制方法、电子装置和计算机可读存储介质
US10255525B1 (en) * 2017-04-25 2019-04-09 Uber Technologies, Inc. FPGA device for image classification
CN110557527A (zh) * 2018-06-04 2019-12-10 杭州海康威视数字技术股份有限公司 一种摄像机及抓拍图片融合方法
CN111357278A (zh) * 2018-12-17 2020-06-30 深圳市大疆创新科技有限公司 图像处理方法、图像处理装置及图像采集装置、存储介质
CN111491110A (zh) * 2020-04-17 2020-08-04 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976506A (zh) * 2010-11-02 2011-02-16 公安部第三研究所 一种机动车超速图像取证及无线传输装置
CN102184521A (zh) * 2011-03-24 2011-09-14 苏州迪吉特电子科技有限公司 高性能图像处理系统及图像数据处理方法
US10255525B1 (en) * 2017-04-25 2019-04-09 Uber Technologies, Inc. FPGA device for image classification
CN110557527A (zh) * 2018-06-04 2019-12-10 杭州海康威视数字技术股份有限公司 一种摄像机及抓拍图片融合方法
CN108989638A (zh) * 2018-08-01 2018-12-11 Oppo(重庆)智能科技有限公司 成像装置及其控制方法、电子装置和计算机可读存储介质
CN111357278A (zh) * 2018-12-17 2020-06-30 深圳市大疆创新科技有限公司 图像处理方法、图像处理装置及图像采集装置、存储介质
CN111491110A (zh) * 2020-04-17 2020-08-04 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689707A (zh) * 2021-07-20 2021-11-23 浙江大华技术股份有限公司 视频数据处理方法、装置以及计算机可读存储介质
CN113689707B (zh) * 2021-07-20 2022-09-06 浙江大华技术股份有限公司 视频数据处理方法、装置以及计算机可读存储介质

Also Published As

Publication number Publication date
CN112270639B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN110602488B (zh) 一种日夜型摄像装置切换异常检测方法、装置及摄像装置
EP3707671B1 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
CN105430359A (zh) 成像方法、图像传感器、成像装置及电子装置
CN105578072A (zh) 成像方法、成像装置及电子装置
CN104350744A (zh) 具有多光谱滤光器阵列的相机系统及其图像处理方法
US8798369B2 (en) Apparatus and method for estimating the number of objects included in an image
WO2019172521A1 (en) Electronic device and method for correcting images based on image feature information and image correction scheme
CN105430361A (zh) 成像方法、图像传感器、成像装置及电子装置
US20220094847A1 (en) Smart ip camera with color night mode
CN112087569B (zh) 一种摄像机及摄像机启动方法、装置
WO2020155739A1 (zh) 图像传感器、从其获取图像数据的方法及摄像设备
US20140211979A1 (en) Image processing apparatus and method thereof
CN105578080A (zh) 成像方法、图像传感器、成像装置及电子装置
JP7429756B2 (ja) 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN108833803A (zh) 成像方法、装置和电子设备
KR101236266B1 (ko) 주차공간정보 관리시스템
CN112132070A (zh) 驾驶行为分析方法、装置、设备及存储介质
CN112270639A (zh) 一种图像处理方法、图像处理装置以及存储介质
CN210223049U (zh) 一种全景一体化车型识别器
CN114444650A (zh) 改进量化的多级对象检测网络的准确度的方法
JP2023169254A (ja) 撮像素子、撮像素子の作動方法、プログラム、及び撮像システム
CN115115526A (zh) 图像处理方法及装置、存储介质和图形计算处理器
CN114374797A (zh) 具有两个输出接口的摄像装置
CN109309788A (zh) 多镜头图像拼接装置及方法
EP4383183A1 (en) Data processing method and apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant