CN117011507B - 一种2cmos图像识别数据分析方法和系统 - Google Patents

一种2cmos图像识别数据分析方法和系统 Download PDF

Info

Publication number
CN117011507B
CN117011507B CN202311128189.8A CN202311128189A CN117011507B CN 117011507 B CN117011507 B CN 117011507B CN 202311128189 A CN202311128189 A CN 202311128189A CN 117011507 B CN117011507 B CN 117011507B
Authority
CN
China
Prior art keywords
image
loading platform
gray
representing
2cmos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311128189.8A
Other languages
English (en)
Other versions
CN117011507A (zh
Inventor
蔡惠明
李长流
朱淳
潘洁
胡学山
卢露
倪轲娜
王玉叶
张岩
陈平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Nuoyuan Medical Devices Co Ltd
Original Assignee
Nanjing Nuoyuan Medical Devices Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Nuoyuan Medical Devices Co Ltd filed Critical Nanjing Nuoyuan Medical Devices Co Ltd
Priority to CN202311128189.8A priority Critical patent/CN117011507B/zh
Publication of CN117011507A publication Critical patent/CN117011507A/zh
Application granted granted Critical
Publication of CN117011507B publication Critical patent/CN117011507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像识别领域，尤其涉及一种2CMOS图像识别数据分析方法和系统，所述方法包括：使用2CMOS图像传感器对装车平台左侧和右侧图像进行采集；对采集到的装车平台图像进行预处理；在预处理后的装车平台图像中，基于车牌与出库产品的特征进行定位并识别；将识别的结果记录并进行数据分析，得出统计规律。本发明对运动区域进行去噪操作，能提降低图像的噪声，并且基于表面复杂度高的视点视图能更好地判断产品分类。

Description

一种2CMOS图像识别数据分析方法和系统
技术领域
本发明涉及图像识别领域，尤其涉及一种2CMOS图像识别数据分析方法和系统。
背景技术
图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。现阶段图像识别技术一般分为人脸识别与商品识别，人脸识别主要运用在安全检查、身份核验与移动支付中；商品识别主要运用在商品流通过程中，特别是无人货架、智能零售柜等无人零售领域。图像的传统识别流程分为四个步骤：图像采集，图像预处理，特征提取和图像识别。
医疗仪器制造中，任何生产型企业在产品生产过程完成后，都会涉及到将成品出库、装车和发车到客户的过程。通常情况下，成品的出库装车过程在厂区的装车平台上完成，并且出于安全考虑，此类装车平台都会安装一定数目的监测摄像头。在货品出库过程中，信息系统建设比较好的大型公司会通过扫描条码等方式将出库装车相关信息记录入自己的管理系统中去。但是，对于很多中小企业而言，此类管理信息系统的建设成本过高，并且使用者也缺乏相应的训练和能力，所以中小企业仍旧依赖手工标记、纸质表单等方式记录货品的装车、发车等信息。与此同时，已有的监控视频中所记录的货品装车发车等发货环节由于视频内容的覆盖，导致非常有价值的生产、销售相关信息无法有效被记录下来。当企业需要贷款等资金支持时，中小企业往往不能向金融机构提供相关的可信生产经营数据，从而错失了发展的机会。
如申请公开号为CN111814549A的中国专利公开了一种基于监控视频采样与图像识别技术的数据分析方法，所述方法包括：利用标注法，将视频中的货品标示出来，利用货品识别训练模型自动识别装车平台中的货品；使用货品识别训练模型，对监控视频进行实时数据采集和分析；利用时序分析方法，计算和分析该装车平台的经营规律；制定报警机制，在不符合经营规律的情况下提示金融机构生产经营异常。此种方法可该方法利用已有的厂区货品装车平台监控视频，按照一定频率进行视频采样，针对每天的货品装车数据采样分析可以计算出该企业货品出库的正常规律，从而帮助金融机构了解该企业的基本生产和经营状况，并且在出现异常的情况下及时预警；此外，视频采样数据和分析结果数据等均可以通过可信网络进行存储，作为生产经营数据的证据进行保存。
如授权公告号为CN112528967B的中国专利公开了一种基于图像识别的差异物料监测方法、装置及电子设备，所述方法包括：获取来料的彩色图像和三维扫描数据；基于来料的彩色图像和三维扫描数据确定来料的区域图像；基于来料的区域图像搜索第一数据库，获取第一图像集；基于来料的三维扫描数据和第一图像集，确定来料的第一信息；基于第一信息确定来料的输出位置。提出的监测方法能够智能识别输送带上的差异化的物料，在提高识别的速度、准确度的同时降低来料识别的运算量；在智能识别的基础上，自适应确定差异化的物料的输出位置，提高了装车的效率，保证自动装车的正常运行，摆脱对人工的依赖。
以上专利均存在本背景技术提出的问题：CMOS图像传感器获取到的图像必定有噪声干扰，会对图像识别的精度造成一定影响；此外，通过获取的单视图与产品单视图比对来判断产品种类，分类精度并不够高。为了解决这些问题，本申请设计了一种2CMOS图像识别数据分析方法和系统。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供了一种2CMOS图像识别数据分析方法和系统。
为实现上述目的，本发明提供如下技术方案：
一种2CMOS图像识别数据分析方法，包括以下步骤：
步骤S1：使用2CMOS图像传感器对装车平台左侧和右侧图像进行采集；
步骤S2：对采集到的装车平台图像进行预处理；
步骤S3：在预处理后的装车平台图像中，基于车牌与出库产品的特征进行定位并识别；
步骤S4：将识别的结果记录并进行数据分析，得出统计规律。
进一步地，步骤S2具体包括以下步骤：
步骤S2.1：对2CMOS图像传感器获取的装车平台左侧和右侧图像进行灰度化处理，得到装车平台左侧和右侧灰度图像；
步骤S2.2：将装车平台左侧和右侧灰度图像进行融合；
步骤S2.3：对装车平台灰度图像的运动区域进行降噪。
进一步地，步骤S2.2具体包括以下步骤：
步骤S2.2.1：以灰度图像中心为原点，设定装车平台左侧灰度图像在点(x,y)的灰度值为f1(x,y)，设定装车平台右侧灰度图像在点(x,y)的灰度值为f2(x,y)；
步骤S2.2.2：计算融合后图像在该点的灰度值，计算公式为：
其中，f(x,y)表示融合后图像在(x,y)点的灰度值，ω1表示装车平台左侧灰度图像目标点灰度值的权重，ω2表示装车平台右侧灰度图像目标点灰度值的权重，f1表示左侧CMOS传感器获取的图像，f2表示右侧CMOS传感器获取的图像。
进一步地，步骤S2.3具体包括以下步骤：
步骤S2.3.1：判断像素点是在静止区域还是在运动区域，判断公式为：
g(x,y,t)＝|f(x,y,t)-f(x,y,t-2)||f(x,y,t-1)-f(x,y,t-3)|，
其中，t表示当前帧灰度图像，t-1表示前一帧灰度图像，t-2表示前第二帧灰度图像，t-3表示前第三帧灰度图像，g(x,y,t)表示关于目标点(x,y)和t的函数，f(x,y,t)表示当前帧下的目标点(x,y)的灰度值，N表示图像待检测区域中像素的总数量，表示光照的抑制系数，T表示灰度值阈值，Max表示取最大值函数，当满足不等式时，目标点(x,y)属于运动区域；
步骤S2.3.2：计算降噪后目标点的灰度值，计算公式为：
其中，表示降噪后当前帧下目标点(x,y)的灰度值，Q1表示静止区域，Q2表示运动区域。
进一步地，骤S3具体包括以下步骤：
步骤S3.1：对装车平台图像中车牌号进行特征定位并进行字符识别；
步骤S3.2：对装车平台图像中出库产品进行特征定位并进行分类。
进一步地，步骤S3.1具体包括以下步骤：
步骤S3.1.1：基于最大稳定极值将图像分割为极值区域；
步骤S3.1.2：对极值区域进行约束，定位到车牌号所属的极值区域，约束条件为：
3.1≤d1≤3.2，0.5≤d2≤0.58，
其中，d1表示车牌极值区域最小外接矩形的长宽比，d2表示车牌内字符极值区域最小外接矩形的长宽比；
步骤S3.1.3：对车牌内字符与模板字符比对并进行特征识别匹配，计算公式为：
其中，n表示待识别字符边界数据的个数，i表示待识别字符的数据序号，ai表示待识别字符的数据，k表示模板字符数目，β(i,k)表示模板字符的边界数据，ηi表示权值，z表示待识别字符与模板字符的最小特征差值，当z最小时，即可判定待匹配字符与第k个模板字符相匹配。
进一步地，步骤S3.2具体包括以下步骤：
步骤S3.2.1：设置主视点分别位于产品的左、右、前、后四个面的中心，并在每个主视点的左上、右上、左下、右下设置四个辅助视点，即每个视点组共设置五个视点，共计二十个视点，以此二十个视点生成二十个产品表面视图；
步骤S3.2.2：计算视图特征的表面复杂度，计算公式为：
Cc＝μL*L+μS*S+μF*F+μH*H+μE*E，
其中，Cc表示第c个视图特征的表面复杂度，L表示梯度函数，μL表示梯度函数的权重值，S表示灰度方差乘积，μS表示灰度方差乘积的权重值，F表示方差，μF表示方差的权重值，H表示信息熵，μH表示信息熵的权重值，E表示能量梯度，μH表示能量梯度的权重值；
步骤S3.2.3：将每个视点组中最大视图表面复杂度的视点视图作为模型训练视图，每种产品有四个训练视图；
步骤S3.2.4：通过对装车平台图像分割并定位到出库产品的图像区域；
步骤S3.2.5：提取出库产品的具体图像特征信息，输入神经网络模型，完成出库产品的分类。
进一步地，步骤S4具体包括以下步骤：
步骤S4.1：基于装车平台图像中车牌号信息和出库产品信息，获取货车可装载该出库产品的数量信息；
步骤S4.2：在仓储数据库中实时更新记录出库产品类型、出库产品数量、装车时间和装车平台产品装车图像；
步骤S4.3：对装车平台出库数据进行时间序列分解和计算，得出装车平台不同种类产品的出库规律；
步骤S4.4：将实际出库情况与出库规律进行比对，以支持出库管理员的决策或业务流程的优化。
一种2CMOS图像识别数据分析系统，包括：
2CMOS图像传感器，用于实时获取装车平台图像；
图像预处理模块，用于对装车平台图像进行预处理操作；
图像定位识别模块，用于对装车平台图像中基于车牌与出库产品的进行定位并识别；
数据统计分析模块，用于基于出库产品信息的更新得出统计结论并完成分析。
进一步地，所述2CMOS图像传感器，包括：
微透镜，光通过微透镜时，其中的非活性部分负责将光收集起来并将其聚焦到彩色滤光片；
彩色滤光片，拆分反射光中的红、绿、蓝(RGB)成分，并通过感光元件形成拜尔阵列滤镜；
光电二极管，作为光电转换器件，捕捉光并转换成电流；
像素设计，从大型电容阵列中获得缓冲像素，并在像素内部将光电流转换成电压。
一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述任一项所述的一种2CMOS图像识别数据分析方法。
一种电子设备，包括处理器和上述的存储介质，所述处理器执行所述存储介质中的指令。
与现有技术相比，本发明的有益效果是：
1.本发明提出的一种2CMOS图像识别数据分析方法，通过左侧和右侧两个CMOS传感器获取图像，并进行融合，能够比单CMOS传感器视野更广，在重合部分分别给予两侧图像灰度值不同权重，能提高融合后图像的可靠性。
2.本发明提出的一种2CMOS图像识别数据分析方法，通过判断像素是在静止区域还是在运动区域，并对运动区域进行去噪操作，能提降低图像的噪声，提高图像识别分类的精度。
3.本发明提出的一种2CMOS图像识别数据分析方法，通过二十个视点生成二十个产品表面视图，对此二十个产品表面视图进行表面复杂度分析，得到每个视点组中最大视图表面复杂度的视点视图作为模型训练视图，复杂度越高，包含信息越多，越能更好地判断产品分类。
4.本发明提出的一种2CMOS图像识别数据分析方法，在货品出库过程中对装车平台的产品的装车、发车和产品出货数量信息进行实时图像采集记录，并基于时间序列分解和计算，得出装车平台不同种类产品的出库规律，能够在需要资金支持是提供相关的可信生产经营数据，同时可以将实际出库情况与出库规律进行比对，帮助出库管理员做出决策或完成业务流程的优化。
附图说明
通过阅读参照以下附图所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1实施例1为本发明实施例一种2CMOS图像识别数据分析方法的流程示意图；
图2实施例2为本发明实施例一种2CMOS图像识别数据分析方法的左右两侧CMOS传感器融合成像示意图；
图3实施例3为本发明实施例一种2CMOS图像识别数据分析方法的车牌所属的极值区域分割定位示意图；
图4实施例4为本发明实施例一种2CMOS图像识别数据分析方法的产品主视点与辅助视点图；
图5实施例5为本发明实施例一种2CMOS图像识别数据分析系统的系统模块图；
图6实施例6为本发明实施例一种2CMOS图像识别数据分析方法的CMOS传感器电子元件结构图；
图7实施例7为本发明实施例一种2CMOS图像识别数据分析方法的电子设备图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。
实施例1
请参阅图1，本发明提供的一种实施例：一种2CMOS图像识别数据分析方法，其特征在于，包括以下步骤：
步骤S1：使用2CMOS图像传感器对装车平台左侧和右侧图像进行采集；
步骤S2：对采集到的装车平台图像进行预处理；
步骤S3：在预处理后的装车平台图像中，基于车牌与出库产品的特征进行定位并识别；
步骤S4：将识别的结果记录并进行数据分析，得出统计规律。
CMOS图像传感器电路包括：
1、光电二极管PD，作用是实现光电转换2、浮置扩散区FD，我们可以把它理解为一个电容，用于存储光电转换产生的电子，3、传输门晶体管Tx，有时候也称为TG可以理解为用于控制电子从光电二极管传输到浮置扩散区的开关，4、重置开关Reset，用于重置电路中的电压信号，5、源随器SF，用来控制浮置扩散区的电子传输到信号线的开关，6、选择晶体管Select，用于控制信号输出的开关，通过这个开关可以控制哪个像素信号先输出，哪个后输出。
CMOS图像传感器具体工作流程为：
第一阶段为曝光阶段，即信号累积阶段，在这个阶段传输门晶体管/重置开关/选择晶体管都是关断状态，在这个阶段就是光电二极管接收光照，进行光电转换，累积光电子的阶段；
第二阶段依然是曝光阶段，但是这时选择晶体管和重置开关晶体管会打开，进行晶体管的复位，主要的目的是为了让浮置扩散区中上一次信号传输残留的电子被传导出去，避免对这一次的信号传输产生干扰，与此同时，光电二极管仍然在接受光照产生光电子。
第三阶段，重置开关晶体管关闭，重置完成。
第四阶段，传输门晶体管打开，把光电二极管中的光电子传输到浮置扩散区里面，传输完毕后就会进入第五阶段，传输门晶体管关闭，避免后续光电二极管中的光电转换对浮置扩散区产生影响，同时，浮置扩散区由于光电子的原因产生电压，对源随器进行控制开关，把信号传输出去。
最后，所有晶体管全部打开，进行一次完整的重置，进入下一次的循环。
步骤S2具体包括以下步骤：
步骤S2.1：对2CMOS图像传感器获取的装车平台左侧和右侧图像进行灰度化处理，得到装车平台左侧和右侧灰度图像；
步骤S2.2：将装车平台左侧和右侧灰度图像进行融合；
步骤S2.3：对装车平台灰度图像的运动区域进行降噪。
实施例2
请参阅图2，本发明提供的一种实施例：一种2CMOS图像识别数据分析方法的左右两侧CMOS传感器融合成像示意图，包括：
(x1,y1,z1)表示左侧CMOS图像传感器，(x2,y2,z2)表示右侧CMOS图像传感器，点f(x,y)表示融合后点的灰度值，f1(x,y)表示左侧CMOS图像传感器获取图像在点(x,y)的灰度值，f2(x,y)表示右侧CMOS图像传感器获取图像在点(x,y)的灰度值。
步骤S2.2具体包括以下步骤：
步骤S2.2.1：以灰度图像中心为原点，设定装车平台左侧灰度图像在点(x,y)的灰度值为f1(x,y)，设定装车平台右侧灰度图像在点(x,y)的灰度值为f2(x,y)；
步骤S2.2.2：计算融合后图像在该点的灰度值，计算公式为：
其中，f(x,y)表示融合后图像在(x,y)点的灰度值，ω1表示装车平台左侧灰度图像目标点灰度值的权重，ω2表示装车平台右侧灰度图像目标点灰度值的权重，f1表示左侧CMOS传感器获取的图像，f2表示右侧CMOS传感器获取的图像。
步骤S2.3具体包括以下步骤：
步骤S2.3.1：判断像素点是在静止区域还是在运动区域，判断公式为：
g(x,y,t)＝|f(x,y,t)-f(x,y,t-2)||f(x,y,t-1)-f(x,y,t-3)|，
其中，t表示当前帧灰度图像，t-1表示前一帧灰度图像，t-2表示前第二帧灰度图像，t-3表示前第三帧灰度图像，g(x,y,t)表示关于目标点(x,y)和t的函数，f(x,y,t)表示当前帧下的目标点(x,y)的灰度值，N表示图像待检测区域中像素的总数量，表示光照的抑制系数，T表示灰度值阈值，Max表示取最大值函数，当满足不等式时，目标点(x,y)属于运动区域；
步骤S2.3.2：计算降噪后目标点的灰度值，计算公式为：
其中，表示降噪后当前帧下目标点(x,y)的灰度值，
Q1表示静止区域，Q2表示运动区域。
步骤S3具体包括以下步骤：
步骤S3.1：对装车平台图像中车牌号进行特征定位并进行字符识别；
步骤S3.2：对装车平台图像中出库产品进行特征定位并进行分类。
实施例3
请参阅图3，本发明提供的一种实施例：一种2CMOS图像识别数据分析方法的车牌所属的极值区域分割定位示意图，其中，车牌号真实字体为公安部开发的一种特殊字体，以黑体为基本字体进行了一定的改进，使得目前通用的电脑上的任何字体都不与其完全吻合，只在公安交警部门或指定的车牌制作单位的输出设备上可以输出，车牌所属的极值区域分割定位示意图仅作区域划分示意，不代表车牌字体真实长宽；
首先求得最大稳定极值区域，计算公式为：
其中，Qp表示图中在阈值p下的某一个连通区域的面积，p表示灰度阈值，取值范围为[0～255]，Δ表示灰度阈值的微小变化量，qp表示灰度阈值为i时连通区域面积Qp的变化率，当qp为局部最小值时，Qp即表示最大稳定极值区域的面积；对极值区域进行约束，可得到车牌区域的外接矩形和车牌字符区域的外接矩形；通过对车牌字符与车牌模板字符进行比对，可以完成车牌号码的识别。
其中，车牌模板字符由官方网站下载并提取，模板字符包括：
数字：[0，1，2，3，4，5，6，7，8，9]；
字母：[A，B，C，D，E，F，G，H，J，K，L，M，N，P，Q，R，S，T，U，V，W，X，Y，Z]；
汉字：[京，沪，津，渝，鲁，冀，晋，蒙，辽，吉，黑，苏，浙，皖，闽，赣，豫，湘，鄂，粤，桂，琼，川，贵，云，藏，陕，甘，青，宁，新，港，澳，台]。
步骤S3.1具体包括以下步骤：
步骤S3.1.1：基于最大稳定极值将图像分割为极值区域；
步骤S3.1.2：对极值区域进行约束，定位到车牌号所属的极值区域，约束条件为：
3.1≤d1≤3.2，0.5≤d2≤0.58，
其中，d1表示车牌极值区域最小外接矩形的长宽比，d2表示车牌内字符极值区域最小外接矩形的长宽比；
步骤S3.1.3：对车牌内字符与模板字符比对并进行特征识别匹配，计算公式为：
其中，n表示待识别字符边界数据的个数，i表示待识别字符的数据序号，ai表示待识别字符的数据，k表示模板字符数目，β(i,k)表示模板字符的边界数据，ηi表示权值，z表示待识别字符与模板字符的最小特征差值，当z最小时，即可判定待匹配字符与第k个模板字符相匹配。
实施例4
请参阅图4，本发明提供的一种实施例：一种2CMOS图像识别数据分析方法的产品主视点与辅助视点图，其中，该产品为医疗检测仪器，以该仪器正面为例，选取正面的中心点为主视点，并在每个主视点的左上、右上、左下、右下设置四个辅助视点，即每个视点组共设置五个视点，以这五个视点对医疗检测仪器进行拍摄，得到医疗检测仪器的特征图像。
步骤S3.2具体包括以下步骤：
步骤S3.2.1：设置主视点分别位于产品的左、右、前、后四个面的中心，并在每个主视点的左上、右上、左下、右下设置四个辅助视点，即每个视点组共设置五个视点，共计二十个视点，以此二十个视点生成二十个产品表面视图；
步骤S3.2.2：计算视图特征的表面复杂度，计算公式为：
Cc＝μL*L+μS*S+μF*F+μH*H+μE*E，
其中，Cc表示第c个视图特征的表面复杂度，L表示梯度函数，μL表示梯度函数的权重值，S表示灰度方差乘积，μS表示灰度方差乘积的权重值，F表示方差，μF表示方差的权重值，H表示信息熵，μH表示信息熵的权重值，E表示能量梯度，μH表示能量梯度的权重值；
步骤S3.2.3：将每个视点组中最大视图表面复杂度的视点视图作为模型训练视图，每种产品有四个训练视图；
步骤S3.2.4：通过对装车平台图像分割并定位到出库产品的图像区域；
步骤S3.2.5：提取出库产品的具体图像特征信息，输入神经网络模型，完成出库产品的分类。
其中，使用的分类模型为Resnet50网络，关键在于其结构中的残差单元，在残差网络单元中包含了跨层连接，可以将输入直接跨层传递，进行了同等映射，之后与经过卷积操作的结果相加。Resnet50网络中包含了49个卷积层、一个全连接层。Resnet50网络结构可以分成七个部分，第一部分不包含残差块，主要对输入进行卷积、正则化、激活函数、最大池化的计算。第二、三、四、五部分结构都包含了残差块，不会改变残差块的尺寸，只用于改变残差块的维度。在Resnet50网络结构中，残差块都有三层卷积，那网络总共有49个卷积层，加上最后的全连接层总共是50层，这也是Resnet50名称的由来。网络的输入为224×224×3，经过前五部分的卷积计算，输出为7×7×2048，池化层会将其转化成一个特征向量，最后分类器会对这个特征向量进行计算并输出类别概率。
实施例5
请参阅图5，本发明提供的一种实施例：一种2CMOS图像识别数据分析方法的系统模块图，包括：
2CMOS图像传感器，用于实时获取装车平台图像；
图像预处理模块，用于对装车平台图像进行预处理操作；
图像定位识别模块，用于对装车平台图像中基于车牌与出库产品的进行定位并识别；
数据统计分析模块，用于基于出库产品信息的更新得出统计结论并完成分析。
2CMOS图像传感器，包括：
微透镜，光通过微透镜时，其中的非活性部分负责将光收集起来并将其聚焦到彩色滤光片；
彩色滤光片，拆分反射光中的红、绿、蓝(RGB)成分，并通过感光元件形成拜尔阵列滤镜；
光电二极管，作为光电转换器件，捕捉光并转换成电流；
像素设计，可从大型电容阵列中获得或缓冲像素，并在像素内部将光电流转换成电压。
实施例6
请参阅图6，本发明提供的一种实施例：一种2CMOS图像识别数据分析方法的CMOS传感器电子元件结构图，包括：
行选择逻辑单元可以逐行扫描像素阵列或分行扫描，行选择逻辑单元和列选择逻辑单元可以实现图像的窗口提取功能；
CDS是相关双取样电路，每个像素的输出波形只在一部分时间内是图像信号，其余时间内是复位电平和干扰；
PLL是一种实现相位自动锁定的控制系统，它一般有鉴相器、环路滤波器、压控振荡器等部件组成；
像素阵列是由水平方向的行和垂直方向的列正交排列构成的，像素排列的最基本设计原则是：摄像器件像素排列的坐标，必须在显示的时候能够准确地还原在图像原来的相对位置上，在大多数情况下，每个像素中心线在行的方向和列的方向，即垂直和水平两个方向的步距是相等的，为了充分利用像素阵列的面积，通常像素的高度和宽度尺寸分别与像素的垂直步距和水平步距相等，即像素之间在垂直和水平方向都不留空隙，所以在水平和垂直两个方向步距相同的阵列中，像素形状也应该是正方形的；
ADC表示模数转换器，是一种将连续模拟信号转换为数字信号的电路器件，在数字电路中，ADC是必不可少的元件之一，它可以将传感器采集到的模拟信号转换为数字信号，以便数字系统对这些数据进行处理和分析；
PGA是扩展系统动态范围的重要电路部件，它可以根据不同图像信号大小，进行不同增益的选取，从而显示更多的图像细节信息，在扩展动态范围上有很大的优势；
ISP，也称为图像信号处理器，在CMOS图像传感器中起着重要的作用,在CMOS图像传感器中主要有灰度补偿，平滑处理，色彩校正，色彩插值等算法。
实施例7
请参阅图7，本发明提供的一种实施例：一种2CMOS图像识别数据分析方法的电子设备图，包括处理器和上述的存储介质，所述处理器执行所述存储介质中的指令。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM),只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
以上所述仅为本申请的较佳实例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (6)

1.一种2CMOS图像识别数据分析方法，其特征在于，包括以下步骤：
步骤S1：使用2CMOS图像传感器对装车平台左侧和右侧图像进行采集；
步骤S2：对采集到的装车平台图像进行预处理；
步骤S3：在预处理后的装车平台图像中，基于车牌与出库产品的特征进行定位并识别；
步骤S4：将识别的结果记录并进行数据分析，得出统计规律；
所述步骤S2具体包括以下步骤：
步骤S2.1：对2CMOS图像传感器获取的装车平台左侧和右侧图像进行灰度化处理，得到装车平台左侧和右侧灰度图像；
步骤S2.2：将装车平台左侧和右侧灰度图像进行融合；
步骤S2.3：对装车平台灰度图像的运动区域进行降噪；
所述步骤S2.2具体包括以下步骤：
步骤S2.2.1：以灰度图像中心为原点，设定装车平台左侧灰度图像在点(x,y)的灰度值为f1(x,y)，设定装车平台右侧灰度图像在点(x,y)的灰度值为f2(x,y)；
步骤S2.2.2：计算融合后图像在该点的灰度值，计算公式为：
其中，f(x,y)表示融合后图像在(x,y)点的灰度值，ω1表示装车平台左侧灰度图像目标点灰度值的权重，ω2表示装车平台右侧灰度图像目标点灰度值的权重，f1表示左侧CMOS传感器获取的图像，f2表示右侧CMOS传感器获取的图像；
所述步骤S2.3具体包括以下步骤：
步骤S2.3.1：判断像素点是在静止区域还是在运动区域，判断公式为：
g(x,y,t)＝|f(x,y,t)-f(x,y,t-2)||f(x,y,t-1)-f(x,y,t-3)|，
其中，t表示当前帧灰度图像，t-1表示前一帧灰度图像，t-2表示前第二帧灰度图像，t-3表示前第三帧灰度图像，g(x,y,t)表示关于目标点(x,y)和t的函数，f(x,y,t)表示当前帧下的目标点(x,y)的灰度值，N表示图像待检测区域中像素的总数量，表示光照的抑制系数，T表示灰度值阈值，Max表示取最大值函数，当满足不等式时，目标点(x,y)属于运动区域；
步骤S2.3.2：计算降噪后目标点的灰度值，计算公式为：
其中，表示降噪后当前帧下目标点(x,y)的灰度值，Q1表示静止区域，Q2表示运动区域；
所述步骤S3具体包括以下步骤：
步骤S3.1：对装车平台图像中车牌号进行特征定位并进行字符识别；
步骤S3.2：对装车平台图像中出库产品进行特征定位并进行分类；
所述步骤S3.1具体包括以下步骤：
步骤S3.1.1：基于最大稳定极值将图像分割为极值区域；
步骤S3.1.2：对极值区域进行约束，定位到车牌号所属的极值区域，约束条件为：
3.1≤d1≤3.2，0.5≤d2≤0.58，
其中，d1表示车牌极值区域最小外接矩形的长宽比，d2表示车牌内字符极值区域最小外接矩形的长宽比；
步骤S3.1.3：对车牌内字符与模板字符比对并进行特征识别匹配，计算公式为：
其中，n表示待识别字符边界数据的个数，i表示待识别字符的数据序号，ai表示待识别字符的数据，k表示模板字符数目，β(i,k)表示模板字符的边界数据，ηi表示权值，z表示待识别字符与模板字符的最小特征差值，当z最小时，即可判定待匹配字符与第k个模板字符相匹配；
所述步骤S3.2具体包括以下步骤：
步骤S3.2.1：设置主视点分别位于产品的左、右、前、后四个面的中心，并在每个主视点的左上、右上、左下、右下设置四个辅助视点，即每个视点组共设置五个视点，共计二十个视点，以此二十个视点生成二十个产品表面视图；
步骤S3.2.2：计算视图特征的表面复杂度，计算公式为：
Cc＝μL*L+μS*S+μF*F+μH*H+μE*E，
其中，Cc表示第c个视图特征的表面复杂度，L表示梯度函数，μL表示梯度函数的权重值，S表示灰度方差乘积，μS表示灰度方差乘积的权重值，F表示方差，μF表示方差的权重值，H表示信息熵，μH表示信息熵的权重值，E表示能量梯度，μH表示能量梯度的权重值；
步骤S3.2.3：将每个视点组中最大视图表面复杂度的视点视图作为模型训练视图，每种产品有四个训练视图；
步骤S3.2.4：通过对装车平台图像分割并定位到出库产品的图像区域；
步骤S3.2.5：提取出库产品的具体图像特征信息，输入神经网络模型，完成出库产品的分类。
2.根据权利要求1所述的一种2CMOS图像识别数据分析方法，其特征在于，所述步骤S4具体包括以下步骤：
步骤S4.1：基于装车平台图像中车牌号信息和出库产品信息，获取货车可装载该出库产品的数量信息；
步骤S4.2：在仓储数据库中实时更新记录出库产品类型、出库产品数量、装车时间和装车平台产品装车图像；
步骤S4.3：对装车平台出库数据进行时间序列分解和计算，得出装车平台不同种类产品的出库规律；
步骤S4.4：将实际出库情况与出库规律进行比对，以支持出库管理员的决策或业务流程的优化。
3.一种2CMOS图像识别数据分析系统，其基于权利要求1-2中任一项所述的一种2CMOS图像识别数据分析方法实现，其特征在于，包括：
2CMOS图像传感器，用于实时获取装车平台图像；
图像预处理模块，用于对装车平台图像进行预处理操作；
图像定位识别模块，用于对装车平台图像中基于车牌与出库产品的进行定位并识别；
数据统计分析模块，用于基于出库产品信息的更新得出统计结论并完成分析。
4.根据权利要求3所述的一种2CMOS图像识别数据分析系统，其特征在于，所述2CMOS图像传感器，包括：
微透镜，光通过微透镜时，其中的非活性部分负责将光收集起来并将其聚焦到彩色滤光片；
彩色滤光片，拆分反射光中的红、绿、蓝(RGB)成分，并通过感光元件形成拜尔阵列滤镜；
光电二极管，作为光电转换器件，捕捉光并转换成电流；
像素设计，从大型电容阵列中获得缓冲像素，并在像素内部将光电流转换成电压。
5.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1-2中任一项所述的一种2CMOS图像识别数据分析方法。
6.一种电子设备，其特征在于，包括处理器和权利要求5所述的存储介质，所述处理器执行所述存储介质中的指令。
CN202311128189.8A 2023-09-04 2023-09-04 一种2cmos图像识别数据分析方法和系统 Active CN117011507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311128189.8A CN117011507B (zh) 2023-09-04 2023-09-04 一种2cmos图像识别数据分析方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311128189.8A CN117011507B (zh) 2023-09-04 2023-09-04 一种2cmos图像识别数据分析方法和系统

Publications (2)

Publication Number Publication Date
CN117011507A CN117011507A (zh) 2023-11-07
CN117011507B true CN117011507B (zh) 2024-01-26

Family

ID=88571075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311128189.8A Active CN117011507B (zh) 2023-09-04 2023-09-04 一种2cmos图像识别数据分析方法和系统

Country Status (1)

Country Link
CN (1) CN117011507B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122777A (zh) * 2017-04-25 2017-09-01 云南省交通科学研究所 一种基于视频文件的车辆分析系统及分析方法
CN107633251A (zh) * 2017-09-28 2018-01-26 深圳市晟达机械设计有限公司 一种基于图像增强的车辆识别系统
CN108364010A (zh) * 2018-03-08 2018-08-03 广东工业大学 一种车牌识别方法、装置、设备及计算机可读存储介质
JP2019057908A (ja) * 2017-09-20 2019-04-11 キヤノン株式会社 撮像装置およびその制御方法
CN110659649A (zh) * 2019-09-29 2020-01-07 哈尔滨工业大学 一种基于近红外光成像的图像处理与字符识别算法
CN111814549A (zh) * 2020-06-04 2020-10-23 北京沅启融安科技有限公司 一种基于监控视频采样与图像识别技术的数据分析方法
CN113963041A (zh) * 2021-08-30 2022-01-21 南京市晨枭软件技术有限公司 一种图像纹理识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7098342B2 (ja) * 2018-02-06 2022-07-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122777A (zh) * 2017-04-25 2017-09-01 云南省交通科学研究所 一种基于视频文件的车辆分析系统及分析方法
JP2019057908A (ja) * 2017-09-20 2019-04-11 キヤノン株式会社 撮像装置およびその制御方法
CN107633251A (zh) * 2017-09-28 2018-01-26 深圳市晟达机械设计有限公司 一种基于图像增强的车辆识别系统
CN108364010A (zh) * 2018-03-08 2018-08-03 广东工业大学 一种车牌识别方法、装置、设备及计算机可读存储介质
CN110659649A (zh) * 2019-09-29 2020-01-07 哈尔滨工业大学 一种基于近红外光成像的图像处理与字符识别算法
CN111814549A (zh) * 2020-06-04 2020-10-23 北京沅启融安科技有限公司 一种基于监控视频采样与图像识别技术的数据分析方法
CN113963041A (zh) * 2021-08-30 2022-01-21 南京市晨枭软件技术有限公司 一种图像纹理识别方法及系统

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
基于MATLAB的车牌识别的设计;崔诗晨;迟宗涛;;工业控制计算机(第08期);全文 *
基于STM32的智能车位锁车牌识别设计;张杨和健;方颢;何燕思;;电声技术(第02期);全文 *
基于机器视觉的车牌识别系统设计;莫玲;麦康机;;机电工程技术(第11期);全文 *
崔诗晨 ; 迟宗涛 ; .基于MATLAB的车牌识别的设计.工业控制计算机.2017,(第08期),全文. *
张杨和健 ; 方颢 ; 何燕思 ; .基于STM32的智能车位锁车牌识别设计.电声技术.2019,(第02期),全文. *
强噪声车牌图像中的字符识别;王永茂;刘贺平;;计算机仿真(第12期);全文 *
王永茂 ; 刘贺平 ; .强噪声车牌图像中的字符识别.计算机仿真.2006,(第12期),全文. *
莫玲 ; 麦康机 ; .基于机器视觉的车牌识别系统设计.机电工程技术.2018,(第11期),全文. *

Also Published As

Publication number Publication date
CN117011507A (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
US9547800B2 (en) System and a method for the detection of multiple number-plates of moving cars in a series of 2-D images
CN109359536B (zh) 基于机器视觉的乘客行为监控方法
US9014432B2 (en) License plate character segmentation using likelihood maximization
US6754369B1 (en) License plate reading apparatus and method
US7756295B2 (en) Change region detection device and change region detecting method
CN109255326B (zh) 一种基于多维信息特征融合的交通场景烟雾智能检测方法
Huynh-The et al. NIC: A robust background extraction algorithm for foreground detection in dynamic scenes
CN113989794B (zh) 一种车牌检测和识别方法
US8923552B2 (en) Object detection apparatus and object detection method
Saidane et al. Robust binarization for video text recognition
Rudrappa et al. Cloud classification using K-means clustering and content based image retrieval technique
Fernández-Caballero et al. Display text segmentation after learning best-fitted OCR binarization parameters
Koniar et al. Machine vision application in animal trajectory tracking
CN117333776A (zh) VOCs气体泄漏检测方法、装置及存储介质
KR101705061B1 (ko) 차량 번호판의 글자 인식을 위한 번호판 검출방법
Lecca et al. Comprehensive evaluation of image enhancement for unsupervised image description and matching
CN113378912B (zh) 一种基于深度学习目标检测的林区非法开垦地块检测方法
JPH06215293A (ja) 車番認識装置
CN117011507B (zh) 一种2cmos图像识别数据分析方法和系统
CN114549391A (zh) 一种基于偏振先验的电路板表面缺陷检测方法
CN102044079B (zh) 考虑比例跟踪图像补丁的方法和设备
CN115984646B (zh) 面向遥感跨卫星观测的分布式目标检测方法、装置和卫星
CN115880476A (zh) 一种基于可见光红外图像融合的皮带跑偏检测方法
CN114529555A (zh) 一种基于图像识别的烟箱高效进出库检测方法
CN114554188A (zh) 基于图像传感器像素阵列的手机摄像头检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant