CN112767302A - 摄像头模组缺陷检测系统和方法 - Google Patents
摄像头模组缺陷检测系统和方法 Download PDFInfo
- Publication number
- CN112767302A CN112767302A CN202010692327.5A CN202010692327A CN112767302A CN 112767302 A CN112767302 A CN 112767302A CN 202010692327 A CN202010692327 A CN 202010692327A CN 112767302 A CN112767302 A CN 112767302A
- Authority
- CN
- China
- Prior art keywords
- camera module
- light field
- camera
- light
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000007547 defect Effects 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 title description 8
- 238000012545 processing Methods 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 2
- 239000000428 dust Substances 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 18
- 238000000605 extraction Methods 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Studio Devices (AREA)
Abstract
一种摄像头模组缺陷检测系统，该系统包括，待检测的摄像头模组；至少一个光源，该光源的光线照射至所述的摄像头模组；光场相机，用于拍摄所述摄像头模组，获得所述摄像头模组光场图像，用以检测出所述摄像头模组的产品缺陷。
Description
技术领域
本发明涉及产品缺陷检测技术领域，特别涉及摄像头模组，特别是数字移动终端的摄像头模组的产品缺陷检测系统和方法。
背景技术
近年来，人们对手机依赖程度的提升，智能手机市场逐年增长，品牌间竞争愈发激烈。各大品牌为了增强自身产品吸引力不断增加在品质提升上的投入。其中，摄像头是其中的焦点之一。手机摄像头像素一直在后置拍照上进行不断升级。像素的提升使得对摄像头模组的品质要求也越来越高。因此，手机摄像头模组缺陷检测的需求在数量和质量上都在不断提高。
手机摄像头模组是一个立体的结构，各层之间具有一定深度差。普通的二维工业相机对其进行拍摄时有两种情形：一是使用较大景深，从而同时拍摄到各层的缺陷。然而二维工业相机无法获取所摄图像的深度信息，因此对于拍摄到的缺陷，无法确定在哪一层，容易导致缺陷位置的误判；二是使用较小的景深，一次拍摄只获得一层结构的图像。这样拍摄可以实现对各层缺陷的区分，然而缺点是对于每次检测都需要加设物理的扫描结构，使得检测时间增加，不利于流水线的运作。同时，精密的扫描结构增加了检测设备的成本与操作难度。所以对手机摄像头模组的缺陷检测亟待更优的解决方案。
发明内容
本发明实施例提供了一种基于光场相机对手机摄像头模组的缺陷检测系统，包括：待检测的手机摄像头模组，至少一个光源，用于将光线照射至所述检测对象，光场相机，拍摄获取所述检测对象的图像，用以检测出手机摄像头模组不同层存在的缺陷。该检测的步骤包括：用光圈匹配后的光场相机拍摄多张散焦柔光板，进行光场白图像校准，并且完成微透镜中心校准；搭设适合角度的光源；用光场相机拍摄被测摄像头模组并处理得到数字重聚焦图像，根据聚焦在不同深度层的重聚焦图像分别判断摄像头模组各层中是否存在或缺陷。
本发明实施例提供的基于光场相机对手机摄像头模组的缺陷检测系统，利用光场相机的数字重聚焦功能，仅用单次拍摄实现对手机摄像头模组的分层检测，判断摄像头模组各层中是否存在缺陷。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1是根据本发明实施例之一的摄像头模组产品缺陷检测方法流程图。
图2是根据本发明实施例中光场相机拍摄手机摄像头模组的示意图。
其中，100——光场相机，
200——桶形光源，
300——手机摄像头模组。
图3是根据本发明实施例中计算得到的手机摄像头模组的光场数字重聚焦图像，其中，图3a是对焦在表面层的重聚焦图像；图3b是对焦在中间层的重聚焦图像；图3c是对焦在内层的重聚焦图像。
具体实施方式
本发明实施例采用光场相机，为三维缺陷检测提供了新的解决方向。光场相机在常规相机的传感器和主镜头中间增加了微透镜阵列，进而记录光线的传播方向，形成独特的经过透镜阵列编码的光场图像，对该光场图像进行处理渲染，继而可以得到数字重聚焦图像，分别聚焦在手机摄像头模组的不同层，实现仅用一次拍摄完成对多层结构的缺陷检测。
根据一个或者实施例，如图2所示，一种光场相机对手机摄像头模组的缺陷检测系统。该系统包括，待检测的手机摄像头模组；至少一个光源，用于将光线照射至手机摄像头模组；光场相机，拍摄获取所述手机摄像头模组的图像，用以检测出所述的手机摄像头模组各层中存在的缺陷。这里的摄像头模组也可以是用于其他的移动终端、手持信息设备或者便携通信设备上的摄像头模组，摄像头模组可以是由多个摄像头组成的一个组件。
检测摄像头模组产品缺陷的步骤包括：用光圈匹配后的光场相机拍摄多张散焦柔光板，进行光场白图像校准，并且完成微透镜中心校准；用光场相机拍摄被测手机摄像头模组并处理得到多视角及数字重聚焦图像，基于对焦在不同层的重聚焦图像获得所述的手机摄像头模组各层的缺陷信息。
根据一个或者多个实施例，如图1所示，一种手机摄像头模组缺陷检测方法，可以包含如下步骤：
A1，根据摄像头模组(可能包含有透明或半透明介质)的测量区域大小和测量深度范围，选择适合焦距和放大倍率的光学镜头。调节镜头光圈至光场相机光圈匹配，即微透镜光圈和主镜头光圈匹配，具体表现为光场相机拍摄散焦柔光纯色校准板图像，该图像中微透镜阵列恰好或接近于相切状态。光场白图像，或者光场相机白图像是指光场相机拍摄的纯白背景图像，这时微透镜阵列的形状会在该图像上体现的特别明显。因此可以基于该图像调节光圈，确保微透镜图像恰好相切。
调节完毕后，拍摄多张位于光场相机散焦处的光强较为均匀的纯色背景板，即散焦柔光纯色校准板。对多张光场白图像进行平均化及归一化处理后得到去渐晕矩阵
后续拍摄的全部光场原始图像均需要点除以该去渐晕矩阵，从而完成光场白图像校准。这里的光场原始图像是指相对于未经过光场算法处理的光场图像。
完成光场白图像校准步骤后，对光场白图像使用滤波器进行处理，去除光场白图像噪声，并对滤波后的光场图像进行非极大值抑制；进而根据处理后的图像取局部最大值，该最大值恰好为光场相机微透镜的整数级中心；以整数级微透镜中心作为初始迭代值，迭代优化微透镜排列网格，最终获得微透镜排列的角度及间距，获得亚像素级微透镜中心。
A2，根据被测手机摄像头模组的测量需求进行多个角度光源照射，如图2所示表面及内部的缺陷照射，以至于能被光场相机成像；该过程中光源并不受限制，可以使用诸如环形光源、球积分光源、穹顶光源、同轴光源等。
A3，基于含有缺陷信息的光场相机原始光场图像，进行常规光场渲染及数字重聚焦。首先进行光场多视角渲染，得到具有缺陷信息的光场多视角图像；然后进一步计算获得聚焦在不同层的光场数字重聚焦图像，这些重聚焦图像可以反映缺陷的深度位置信息。
A4，光场数字重聚焦图像与常规二维相机图像本质上没有区别，可以视为聚焦在多个不同位置的二维相机拍摄同一个物体，因此可以对该数字重聚焦图像进行缺陷提取。缺陷识别和提取可以使用多种方法，如基于形状的模板匹配、基于灰度的轮廓提取和基于卷积神经网络的缺陷识别等方法将图像中缺陷的像素坐标提取出来，并剔除非缺陷区域。
本发明实施例具体操作过程包括：
整套系统首先将被测摄像头模组样品移动到光场相机视野恰好覆盖手机摄像头模组；根据手机摄像头模组的尺寸直径约10mm及对应的结构深度，本实施例采用搭配2倍的放大倍率镜头进行拍摄；光场相机搭配合适光圈和焦距的镜头后拍摄散焦柔光纯色校准板，进行光场白图像校准和微透镜中心校准；搭配桶型光源，该桶型光源罩住待测手机摄像头模组上方，桶型光源分别从上中下三个角度发射蓝光照射待测物体，以至于摄像头模组表面及内部的缺陷和灰尘均能被光场相机拍摄成像；光场相机进行光场多视角渲染，得到对应的手机屏幕缺陷二维中心视角图像并进一步计算得到数字重聚焦图像；对重聚焦图像进行缺陷识别，获得被测摄像头模组的各层缺陷情况。
本发明实施例的有益效果包括：
1、利用光场相机被动式测量的特点，光场相机可以透过透明介质进行成像。因此，不仅可以检测手机摄像头模组表面缺陷，也能对摄像头模组内部和各层进行三维检测。
2、提出的基于光场相机的单次拍摄数字重聚焦检测方法高效便捷并且具有更高的普适性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种摄像头模组缺陷检测系统，其特征在于，该系统包括，
待检测的摄像头模组；
至少一个光源，该光源的光线照射至所述的摄像头模组；
光场相机，用于拍摄所述摄像头模组，获得所述摄像头模组光场图像，用以检测出所述摄像头模组的产品缺陷。
2.根据权利要求1所述的摄像头模组缺陷检测系统，其特征在于，所述光场相机检测所述摄像头模组产品缺陷的步骤还包括：
所述光场相机拍摄多张散焦柔光板，进行光场白图像校准，并且完成微透镜中心校准；
搭设、设置所述光源至适合角度；
用所述光场相机拍摄所述摄像头模组并处理得到数字重聚焦图像，根据聚焦在不同深度层的重聚焦图像分别判断所述摄像头模组各层中是否存在的缺陷。
3.根据权利要求1所述的摄像头模组缺陷检测系统，其特征在于，所述摄像头模组被组装在移动终端、手持信息设备或者便携通信设备上。
4.根据权利要求1所述的摄像头模组缺陷检测系统，其特征在于，所述光源是桶型或者环形光源，该光源的光线罩住待测摄像头模组。
5.根据权利要求4所述的摄像头模组缺陷检测系统，其特征在于，所述光源的光线位于待测摄像头模组上方，所述光场相机位于所述光源的上方。
6.根据权利要求4所述的摄像头模组缺陷检测系统，其特征在于，所述光源分别从上、中、下三个角度照射待测摄像头模组，以至于摄像头模组表面及内部的缺陷和灰尘均能被所述光场相机拍摄成像。
7.根据权利要求2所述的摄像头模组缺陷检测系统，其特征在于，所述光场相机检测所述摄像头模组产品缺陷的步骤还包括，
所述光场相机进行光场多视角渲染，得到所述摄像头模组缺陷的二维中心视角图像，并进一步计算得到数字重聚焦图像。
8.一种摄像头模组缺陷检测系统，其特征在于，该系统包括，
待检测的摄像头模组；
至少一个光源，该光源的光线照射至所述的摄像头模组；
光场相机，用于拍摄所述摄像头模组，获得所述摄像头模组光场图像，
光场图像处理器，与所述光场相机耦接，获得所述光场相机发送的光场图像后对光场图像进行处理，用以检测出所述摄像头模组的产品缺陷。
9.一种摄像头模组缺陷检测方法，其特征在于，该方法包括以下步骤：
设置至少一个光源，该光源的光线照射至所述的摄像头模组；
采用光场相机拍摄所述摄像头模组，获得所述摄像头模组光场图像，用以检测出所述摄像头模组的产品缺陷。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010692327.5A CN112767302A (zh) | 2020-07-17 | 2020-07-17 | 摄像头模组缺陷检测系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010692327.5A CN112767302A (zh) | 2020-07-17 | 2020-07-17 | 摄像头模组缺陷检测系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112767302A true CN112767302A (zh) | 2021-05-07 |
Family
ID=75693024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010692327.5A Withdrawn CN112767302A (zh) | 2020-07-17 | 2020-07-17 | 摄像头模组缺陷检测系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112767302A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113473031A (zh) * | 2021-09-06 | 2021-10-01 | 华能南京金陵发电有限公司 | 一种粉尘泄漏监测装置和方法 |
| US11954842B2 (en) | 2021-09-06 | 2024-04-09 | Huaneng Nanjing Jinling Power Generation Co., Ltd. | Powder leakage monitoring device and powder leakage monitoring method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170098308A1 (en) * | 2015-10-02 | 2017-04-06 | Varian Medical Systems, Inc. | Systems and methods for detecting camera defect caused by exposure to radiation |
| CN110082360A (zh) * | 2019-05-17 | 2019-08-02 | 中国科学院光电技术研究所 | 一种基于阵列相机的序列光学元件表面缺陷在线检测装置及方法 |
| CN111257340A (zh) * | 2020-03-27 | 2020-06-09 | 河海大学常州校区 | 一种精密相机模组的表面缺陷检测装置 |
| CN111272777A (zh) * | 2020-02-28 | 2020-06-12 | 合肥市商巨智能装备有限公司 | 缺陷分层检测装置及方法 |
| CN111292228A (zh) * | 2020-01-16 | 2020-06-16 | 宁波舜宇仪器有限公司 | 镜头缺陷检测方法 |
| CN111351446A (zh) * | 2020-01-10 | 2020-06-30 | 奕目(上海)科技有限公司 | 一种用于三维形貌测量的光场相机校准方法 |
-
2020
- 2020-07-17 CN CN202010692327.5A patent/CN112767302A/zh not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170098308A1 (en) * | 2015-10-02 | 2017-04-06 | Varian Medical Systems, Inc. | Systems and methods for detecting camera defect caused by exposure to radiation |
| CN110082360A (zh) * | 2019-05-17 | 2019-08-02 | 中国科学院光电技术研究所 | 一种基于阵列相机的序列光学元件表面缺陷在线检测装置及方法 |
| CN111351446A (zh) * | 2020-01-10 | 2020-06-30 | 奕目(上海)科技有限公司 | 一种用于三维形貌测量的光场相机校准方法 |
| CN111292228A (zh) * | 2020-01-16 | 2020-06-16 | 宁波舜宇仪器有限公司 | 镜头缺陷检测方法 |
| CN111272777A (zh) * | 2020-02-28 | 2020-06-12 | 合肥市商巨智能装备有限公司 | 缺陷分层检测装置及方法 |
| CN111257340A (zh) * | 2020-03-27 | 2020-06-09 | 河海大学常州校区 | 一种精密相机模组的表面缺陷检测装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113473031A (zh) * | 2021-09-06 | 2021-10-01 | 华能南京金陵发电有限公司 | 一种粉尘泄漏监测装置和方法 |
| WO2023029438A1 (zh) * | 2021-09-06 | 2023-03-09 | 华能南京金陵发电有限公司 | 一种粉尘泄漏监测装置和方法 |
| US11954842B2 (en) | 2021-09-06 | 2024-04-09 | Huaneng Nanjing Jinling Power Generation Co., Ltd. | Powder leakage monitoring device and powder leakage monitoring method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN208672539U (zh) | 一种基于图像采集的片状玻璃边缘瑕疵检测装置 | |
| CN107105141B (zh) | 图像传感器、图像处理方法、成像装置和移动终端 | |
| CN112824881A (zh) | 一种基于光场相机的透明或半透明介质缺陷检测系统及方法 | |
| US8427632B1 (en) | Image sensor with laser for range measurements | |
| US8773507B2 (en) | Defocusing feature matching system to measure camera pose with interchangeable lens cameras | |
| US20170034499A1 (en) | Structured-stereo imaging assembly including separate imagers for different wavelengths | |
| CN112767302A (zh) | 摄像头模组缺陷检测系统和方法 | |
| US20120013727A1 (en) | Cell characterization using multiple focus planes | |
| CN112748071A (zh) | 透明或半透明介质缺陷检测系统和方法 | |
| CN105844197B (zh) | 一种用于dpm码阅读器的双镜头图像采集与处理装置 | |
| US20120307128A1 (en) | Light filter with varying polarization angles and processing algorithm | |
| KR20230096057A (ko) | 라이트 필드 카메라를 기반으로 한 결함 레이어링 검출 방법과 시스템 및 검출 생산 라인 | |
| WO2022126870A1 (en) | Three-dimensional imaging method and method based on light field camera and three-dimensional imaging measuring production line | |
| CN109406527B (zh) | 一种微型摄像模组镜头精细外观缺陷检测系统及方法 | |
| CN112816493A (zh) | 一种芯片打线缺陷检测方法及装置 | |
| CN112747670A (zh) | 一种bga封装锡球检测系统及方法 | |
| CN107710741B (zh) | 一种获取深度信息的方法及摄像装置 | |
| CN112770100B (zh) | 一种图像获取方法、摄影装置以及计算机可读存储介质 | |
| CN112747822A (zh) | 一种三维成像系统和方法 | |
| CN110443750B (zh) | 检测视频序列中的运动的方法 | |
| US20160307303A1 (en) | Image capture device | |
| CN110896469B (zh) | 用于三摄的解像力测试方法及其应用 | |
| CN111179353A (zh) | 一种光场相机的微透镜阵列标定方法及系统 | |
| TW201741723A (zh) | 影像景深測量方法以及應用該方法的影像擷取裝置 | |
| CN112782176A (zh) | 一种产品外观检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 201100 room 1206, building 1, No. 951, Jianchuan Road, Minhang District, Shanghai Applicant after: Yimu (Shanghai) Technology Co.,Ltd. Address before: 201109 room 1103, building 1, 951 Jianchuan Road, Minhang District, Shanghai Applicant before: Yimu (Shanghai) Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210507 |
|
| WW01 | Invention patent application withdrawn after publication |