CN117274257B - 基于机器视觉的图书品相自动分级系统 - Google Patents
基于机器视觉的图书品相自动分级系统 Download PDFInfo
- Publication number
- CN117274257B CN117274257B CN202311553165.7A CN202311553165A CN117274257B CN 117274257 B CN117274257 B CN 117274257B CN 202311553165 A CN202311553165 A CN 202311553165A CN 117274257 B CN117274257 B CN 117274257B
- Authority
- CN
- China
- Prior art keywords
- module
- book
- image
- defect
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 claims abstract description 81
- 238000001514 detection method Methods 0.000 claims abstract description 40
- 238000004364 calculation method Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 8
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 7
- 238000003702 image correction Methods 0.000 claims description 6
- 230000004888 barrier function Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 229910001095 light aluminium alloy Inorganic materials 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000012015 optical character recognition Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- HEZMWWAKWCSUCB-PHDIDXHHSA-N (3R,4R)-3,4-dihydroxycyclohexa-1,5-diene-1-carboxylic acid Chemical compound O[C@@H]1C=CC(C(O)=O)=C[C@H]1O HEZMWWAKWCSUCB-PHDIDXHHSA-N 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明属于图书管理技术领域，公开了一种基于机器视觉的图书品相自动分级系统，包括：侧面开口的方形箱体、控制模块和供电模块，方形箱体中间设置有用于放置图书的透光板，方形箱体内壁上设置有分别位于图书上下左右四侧的四组摄像头，方形箱体四角分别设置有一个可调灯光阵列，方形箱体内壁设置有防反光背景板；控制模块与摄像头和可调灯光阵列连接；控制模块内设置有采集控制模块、图像处理模块、识别模块、缺陷检测模块和品相值计算模块。本发明提高了书籍品相信息采集的效率和准确性。
Description
技术领域
本发明属于图书管理技术领域，具体涉及一种基于机器视觉的图书品相自动分级系统。
背景技术
当前数字经济快速发展的时代，数字化信息检测，存储及相关数字技术正逐渐渗透传统行业，旧书或二手书交易本身属于出版行业中很成熟且冷门的一个重要组成部分。书籍在流通或者保存过程中会出现磨损、弯曲、划痕、虫蛀、破损甚至缺页等物理损坏造成的缺陷，也容易造成色差、污渍、霉变等化学损伤导致的缺陷，这不仅影响书籍本身的阅读价值，而且对书籍的流通交易造成很大影响。此外，对于大型图书馆来说，需要定期对书籍进行检查和更新。目前对书籍的品相分级评价主要依靠人工实现，其效率低下，而且人工分级受主观意识影响较大，无法实现标准统一的分级品相分级，准确性相对较低。
发明内容
本发明为了克服现有技术中图书品相分级只能通过人工鉴别，主观性强，差异大，效率低等缺陷，提供了一种人工辅助的基于机器视觉的图书品相自动分级系统。
为了解决上述技术问题，本发明采用的技术方案为：一种基于机器视觉的图书品相自动分级系统，包括：侧面开口的方形箱体、控制模块和供电模块，所述方形箱体中间设置有用于放置图书的透光板，所述方形箱体内壁上设置有分别位于图书上下左右四侧的四组摄像头，所述方形箱体四角分别设置有一个可调灯光阵列，所述方形箱体内壁设置有防反光背景板；所述控制模块与所述摄像头和可调灯光阵列连接，所述供电模块用于给所述控制模块、摄像头和可调灯光阵列供电；所述方形箱体内还设置有用于检测透光板上是否有书的红外探测传感器；
所述控制模块内设置有采集控制模块、图像处理模块、识别模块、缺陷检测模块和品相值计算模块；所述采集控制模块用于根据红外探测传感器的检测信号控制所述摄像头和可调灯光阵列的工作状态；所述图像处理模块与所述四组摄像头连接，用于采集四组摄像头拍摄的图书照片，并进行预处理后发送至所述识别模块；所述识别模块用于识别预处理后的多张图书照片，得到图书出版信息；所述缺陷检测模块用于将预处理后的图像输入训练好的图像检测模型，提取得到图像信息包含的所有目标区域及其对应的品相类别和缺陷属性，进而得到各个品相类别下各个缺陷属性的量化值；所述品相值计算模块用于根据缺陷检测模块得到的各个品相类别下各个缺陷属性的量化值，结合各个品相类别下各个缺陷属性的权重计算得到对应图书的品相值。
所述四组摄像头与透光板的距离满足以下条件：
2Htanθ/2-c>W≥2/>b；
2htanθ/2≥c；
2htanγ/2>L≥a；
2Htanγ/2>L≥a；
其中，a，b，c分别表示图书的长宽高，θ和γ分别表示各个摄像头的水平视场角和垂直视场角；H表示上下方的摄像头与透光板的距离，h表示左右两侧的摄像头与透光板宽度两侧的置物边缘线的距离，L表示透光板长度方向两侧的置物边缘线之间的距离，W表示透光板宽度方向两侧的置物边缘线之间的距离。
所述的一种基于机器视觉的图书品相自动分级系统，还包括语音提示输出模块和信息输入模块，所述采集控制模块的工作流程为：
步骤1：上电开机；校准灯光亮度与摄像头参数，并控制四组摄像头启动拍摄程序，确定无故障进行正式的图书品相图像采集程序；
步骤2：待红外探测传感器检测到有图书放置，控制四组摄像头启动拍摄程序，同时拍摄图书获得第一~第四图像；
步骤3：拍摄完成后通过语音提示出处模块发出旋转图书指令，提醒工作人员向右90°旋转图书旋转；
步骤4：待接收到信息输入模块输入的旋转确认信息后，控制左右位摄像头拍摄图书获得第五图像和第六图像；
步骤5：拍摄完成后通过语音提示出处模块发出打开图书版权页指令，提醒工作人员打开图书版权页；
步骤6：待接收到信息输入模块输入的版权页打开确认信息后，控制上位摄像头拍摄图书获得第七图像；
步骤7：发送命令至所述图像处理模块，控制所述图像处理模块对第一~第七图像进行预处理。
所述图像处理模块包括多进程图像校正模块和图像拼接模块，所述多进程图像校正模块用于对各个图像进行：几何矫正、色差矫正、灰度变换、噪声处理、归一化处理、图像增强和边缘检测的图像预处理，所述图像拼接模块用于对预处理后的第一图像、第二图像、第三图像和第七图像进行拼接后得到第一拼接图像后发送给所述识别模块，还用于对预处理后的第一图像~第七图像进行拼接后得到第二拼接图像后发送给所述缺陷检测模块。
所述识别模块先采用OCR算法对文本检测得到的区域，将图像中的文字转换为可处理的文本数据，再使用NLP算法从OCR输出中提取图书出版信息；
所述缺陷识别模块包括：YOLO图像检测模型、单缺陷度计算模块、同类缺陷复合计算模块；所述YOLO图像检测模型通过区域卷积神经网络算法检测到所有的目标区域及其对应的缺陷属性；所述单缺陷度计算模块用于计算各个目标区域的面积；所述同类缺陷复合计算模块用于结合各个同类缺陷对应的所有目标区域的面积和数量，综合计算得到各个品相类别下各个缺陷属性对应的量化值。
品相值计算模块计算得到对应图书品相值的计算公式为：
；
其中，D表示图书品相值，Aij表示第i个品相类别下第j个缺陷属性的分值，Bij表示第i个品相类别下第j个缺陷属性的权值，R表示补偿值。
所述品相类别包括书籍完整度，污损度，痕迹度，平整度；所述书籍完整度的缺陷属性类别包括封面、封底、内页，版权页、书脊；污损度的缺陷属性类别包括虫蛀、污斑、粘连；痕迹度的缺陷属性类别包括印章、笔迹墨迹，平整度的缺陷属性类别包括折痕、卷角。
所述方形箱体的开口面设置有支撑板，两根支撑条的一端固定在所述方形箱体的开口面对面的板面上，另一端固定设置在所述支撑板上，所述透光板两侧分别固定在其中一根支撑条上；
透光板两端分别设置有用于对书本限位的挡条；所述红外探测传感器设置在其中一根挡条侧面的中心位置。
所述方形箱体包括位于外层的轻质铝合金框架和位于内层的不透光亚克力板，所述不透光亚克力板上设置有用于摄像头走线的线槽，所述线槽被所述防反光背景板覆盖。
本发明与现有技术相比具有以下有益效果：
1、本发明提供了一种基于机器视觉的图书品相自动分级系统，利用方形箱体四周设置的四个摄像头5对书籍进行多角度，多方位图像记录，同时利用采集控制模块实现图像采集的半自动控制，提高了书籍品相信息采集效率和准确性。
2、本发明通过图像处理模块进行预处理后，发送给识别模块和缺陷检测模块，通过识别模块可以自动识别出图书出版信息（包括CIP核准号，正书名，出版单位，作者，版次印次，ISDN书号，定价，开本，印张等信息），通过品相值计算模块可以利用深度学习算法精确识别图书不同品相类别下各个缺陷属性的分值（量化值），图书品相值可以与标准库的品相分级规则进行匹配，避免了人工主观因素影响，提高了品相计算的准确性和精度。
综上所述，本发明提供了一种基于机器视觉的图书品相自动分级系统，可以实现旧书市场上的书籍的外观数字化和品相评价数字化，有助于旧书收藏、交易行业的标准化，商业化。
附图说明
图1为本发明实施例提供的一种基于机器视觉的图书品相自动分级系统的立体结构示意图；
图2为本发明实施例提供的一种基于机器视觉的图书品相自动分级系统的主视图；
图3为图2的局部示意图；
图4为本发明实施例中摄像头水平视场角计算示意图之一；
图5为本发明实施例中摄像头水平视场角计算示意图之二；
图6为本发明实施例中摄像头垂直视场角计算示意图之一；
图7为本发明实施例中摄像头垂直视场角计算示意图之二；
图8为本发明实施例提供的一种基于机器视觉的图书品相自动分级系统的电路连接框图；
图9为本发明实施例中采集控制模块的工作流程示意图；
图10为本发明实施例中数据处理的流程示意图；
图中：1为方形箱体，2为控制模块，3为供电模块，4为透光板，5为摄像头，6为可调灯光阵列，7为防反光背景板，8为支撑板，9为支撑条，10为轻质铝合金框架，11为不透光亚克力板，12为线槽，13为红外探测传感器，14为挡条。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1~3所示，本发明实施例提供了一种基于机器视觉的图书品相自动分级系统，包括：侧面开口的方形箱体1、控制模块2和供电模块3，所述方形箱体1中间设置有用于放置图书的透光板4，所述方形箱体1内壁上设置有分别位于图书上下左右四侧的四组摄像头5，所述方形箱体1四角分别设置有一个可调灯光阵列6，所述方形箱体1内壁设置有防反光背景板7；所述控制模块2与所述摄像头5和可调灯光阵列6连接，所述供电模块3用于给所述控制模块2、摄像头5和可调灯光阵列6供电。控制模块2和供电模块3设置方形箱体1下方。
如图1~2所示，本实施例中，所述方形箱体1的开口面设置有支撑板8，两根支撑条9的一端固定在所述方形箱体1的开口面对面的板面上，另一端固定设置在所述支撑板8上，所述透光板4两侧分别固定在一根支撑条9上。所述方形箱体1内壁还设置有红外探测传感器13，用于检测透光板4上是否放置有图书，通过两根支撑条9可以实现透光板4的固定，而且，支撑条9可以保证不会遮挡下方摄像头5的视线，提高图像采集的效率。
具体地，本实施例中，所述透光板4两端还分别设置有挡条14，所述挡条14用于对书本进行限位，使其位于各个摄像头5的视野范围，进一步地，所述红外探测传感器13设置在其中一根挡条14侧面的中心位置，当透光板4上有书时，红外探测传感器13接收到挡光信号并发出信号，控制模块2接收信号后，可以控制摄像头5采集图像数据。
进一步地，如图1~2所示，本实施例中，所述方形箱体1包括位于外层的轻质铝合金框架10和位于内层的不透光亚克力板11，所述不透光亚克力板11上设置有用于摄像头5走线的线槽12，所述线槽12被所述防反光背景板7覆盖。进一步地，如图3所示，所述摄像头5通过螺栓固定在方形箱体1上。
当书水平放置在所述透光板4上时，四组摄像头5可同时拍摄书的封面，封底，书脊和书口照片。如果需要拍摄书顶（上切口）或者书根（下切口）可手动90°旋转书的摆放位置，利用左右两侧摄像头5完成图像获取。根据摄像头5的视场角和需要拍摄书籍的最大尺寸可进行摄像头5与书籍之间的直线距离的设置。左、右两侧摄像头5拍摄书脊和书口，主要考虑水平视场角，一般情况书的厚度均低于书的长宽尺寸。下位摄像头5主要考虑书的长度和宽度，上位摄像头5需要考虑拍摄书的版权页以及涂写痕迹页。要求水平视场角(书展开视场角)至少是书的宽度的2倍以上。另外摄像头5的参数亮度，对比度、色饱和度、色调、清晰度、伽玛、白平衡等参数，可通过计算机远程控制摄像头5进行调节，以确保采集的图书图像最接近原貌，另外摄像头5具有自动对焦的功能。
如图4和图5所示，当上下方的摄像头5进行拍摄时，其水平视场角应该覆盖整个书籍的翻开宽度；当左位的摄像头5进行拍摄时，其水平视场角应该覆盖整个书籍的厚度。以a，b，c分别表示图书的长宽高，θ和γ分别表示各个摄像头5的水平视场角和垂直视场角；H表示上下方的摄像头5与透光板4的距离，h表示左右两侧的摄像头5与透光板4宽度两侧的置物边缘线的距离，L表示透光板4长度方向两侧的置物边缘线之间的距离，W表示透光板4宽度方向两侧的置物边缘线之间的距离。则摄像头5与透光板4的距离应满足以下条件：
2Htanθ/2-c>W≥2/>b；（1）
2htanθ/2≥c；（2）
如图6和图7所示，当左右两侧方的摄像头5进行拍摄时，其垂直视场角应该覆盖整个书籍的长度；当上下方的摄像头5进行拍摄时，其垂直视场角应该覆盖整个书籍的长度，因此，摄像头5与透光板4的距离应满足以下条件：
2htanγ/2>L≥a；（3）
2Htanγ/2>L≥a；（4）
例如按照大16K平装书尺寸（ab）：297×210mm，书的厚度c取50mm。假设W=2b=420mm，L=a=297mm。选择常规视场角θ=γ=75°的无畸变带自动对焦的摄像头5模组。将上述参数代入式（1）~（4），则有：
Htanθ/2-c/2>210；得出H>306mm；
2htanθ/2>50；得出h>32.6mm；
2htanγ/2>297；得出h>194mm；
2Htanγ/2>297；得出H>194mm；
综上可以得出各个摄像头5的安装距离的最小值，最后确定，上、下的摄像头5总距离为2H+c，左、右的摄像头5间距为2h+W，可以得到最终的安装尺寸。
具体地，本实施例中，四个可调灯光阵列6选用无频闪、高亮度、效率高、发热低、显指高、多角度和可调光的LED白色灯珠阵列。通过采集控制模块可以控制模拟开关切换不同档位的灯亮度，可以确保4组可调灯光阵列6输出亮度相同。可调灯光阵列6的安装底板为金属铝板，可以迅速散去灯板的热量，另外可调灯光阵列6前安装柔光灯罩，确保射出光线亮度的均匀。本实施例中，通过四组可调灯光阵列6发出的光完全覆盖图像采集区域，无遮挡和阴影存在。
具体地，本实施例中，供电模块3主要是将AC220V转换为可调灯光阵列6，摄像头5和控制模块2所需要的直流电压，一般常用的是DC12V，DC5V。此外还可以采用可充电锂电池进行供电，其通过DCDC转换模块获得所需要的直流电压。市电供电经供电模块3后和锂电池采用单刀双掷开关与后级DCDC转换模块连接转换后输出对应的直流电压。
如图8所示，本实施例中，所述控制模块2内设置有采集控制模块、图像处理模块、识别模块、缺陷检测模块和品相值计算模块；所述采集控制模块用于控制所述摄像头5和可调灯光阵列6的工作状态；所述图像处理模块与四组摄像头5连接，用于采集四组摄像头5拍摄的多张图书照片，并进行预处理后发送至所述识别模块；所述识别模块用于识别预处理后的多张图书照片，得到图书出版信息；所述缺陷检测模块用于将预处理后的所有图书照片输入训练好的缺陷识别模型得到图书对应的各个品相类别下各个缺陷属性的量化值；所述品相值计算模块用于根据缺陷检测模块得到的品相类别下各个缺陷属性的量化值，结合各个品相类别下各个缺陷属性的权重计算得到对应图书的品相值。
进一步地，如图8所示，本实施例中的基于机器视觉的图书品相自动分级系统，还包括语音提示输出模块和信息输入模块，其与所述采集控制模块连接，前者用于输出语音提示信息，后面用于输人工操作信息。
具体地，如图9所示，本实施例中，所述采集控制模块的工作流程为：
步骤1：上电开机；分档调整灯光亮度与摄像头5参数，并控制四组摄像头5启动拍摄程序，确定无故障进行正式的图书品相图像采集程序。其中，分档调整灯光亮度，采集装置根据获取图像的直方图和对比度进行光源和摄像头5对焦参数的设置，最大程度保证获取图像细节的清晰，改善原始图像的品质。
步骤2：待红外探测传感器13检测到有图书放置，控制四组摄像头5启动拍摄程序，同时拍摄图书获得第一~第四图像。
步骤3：拍摄完成后通过语音提示出处模块发出旋转图书指令，提醒工作人员向右90°旋转图书。工作人员旋转图书到位后，通过信息输入模块输入旋转确认信号。具体地，信息输入模块可以为具体的按钮，也可以为触摸显示屏上的虚拟按钮。
步骤4：待接收到信息输入模块输入的旋转确认信息后，控制左右位的摄像头5拍摄图书获得第五图像和第六图像。
步骤5：拍摄完成后通过语音提示出处模块发出打开图书版权页指令，提醒工作人员打开图书版权页。
步骤6：待接收到信息输入模块输入的版权页打开确认信息后，控制上位的摄像头5拍摄图书获得第七图像。
步骤7：发送命令至所述图像处理模块，控制所述图像处理模块对第一~第七图像进行预处理。
具体地，本实施例中，第一~第七图像分别指封面、封底、书脊、书口、上切口、下切口、版权页图像。
进一步地，本实施例中，如图10所示，所述图像处理模块包括多进程图像校正模块和图像拼接模块，所述多进程图像校正模块用于对各个图像进行：几何矫正、色差矫正、灰度变换、噪声处理、归一化处理、图像增强和边缘检测的图像预处理，所述图像拼接模块用于对预处理后的第一图像、第二图像、第三图像和第七图像进行拼接后得到第一拼接图像后发送给所述识别模块，还用于对预处理后的第一图像~第七图像进行拼接后得到第二拼接图像后发送给所述述缺陷检测模块。
具体地，如图10所示，本实施例中，所述识别模块应用OCR（光学字符识别）算法对文本检测得到的区域，将图像中的文字转换为可处理的文本数据，再使用NLP（自然语言处理）算法从OCR输出中提取图书出版信息，包括CIP核准号，正书名，出版单位，作者，版次印次，ISDN书号，定价，开本，印张等信息。
所述缺陷识别模型包括：YOLO图像检测模型、单缺陷度计算模块、同类缺陷复合计算模块；所述YOLO图像检测模型通过区域卷积神经网络算法检测到所有的目标区域及其对应的品相类别和缺陷属性；所述单缺陷度计算模块用于计算各个目标区域的面积；所述同类缺陷复合计算模块用于结合各个同类缺陷属性对应的所有目标区域的面积和数量，综合计算得到各个品相类别下各个缺陷属性类别对应的量化值。
本实施例中，YOLO图像检测模型可以通过区域卷积神经网络的深度学习算法，检测到多个不同的目标区域及其对应的缺陷属性，则单缺陷度计算模块可以计算各个目标区域的面积，再通过同类缺陷复合计算模块可以得到所有同类型缺陷属性对应的目标区域面积和数量，进而计算出各种缺陷的量化值。具体地，面积越大，或者该缺陷属性对应的目标区域的数量越多，则对应缺陷属性类别的量化值越小。当某种缺陷属性无目标区域时，则该缺陷属性对应的量化值为最大值。本实施例中，一个品相类别下包括多个缺陷属性。
进一步地，本实施例中，品相值计算模块计算得到对应图书品相值的计算公式为：
；（5）
其中，D表示图书品相值，Aij表示第i个品相类别下第j个缺陷属性的分值，Bij表示第i个品相类别下第j个缺陷属性的权值，R表示补偿值。
具体地，本实施例中，所述品相类别包括书籍完整度，污损度，痕迹度，平整度；所述书籍完整度的缺陷属性类别包括封面、封底、内页，版权页、书脊；污损度的缺陷属性类别包括虫蛀、污斑、粘连；痕迹度的缺陷属性类别包括印章、笔迹墨迹，平整度的缺陷属性类别包括折痕、卷角。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种基于机器视觉的图书品相自动分级系统，其特征在于，包括：侧面开口的方形箱体(1)、控制模块(2)和供电模块(3)，所述方形箱体(1)中间设置有用于放置图书的透光板(4)，所述方形箱体(1)内壁上设置有分别位于图书上下左右四侧的四组摄像头(5)，所述方形箱体(1)四角分别设置有一个可调灯光阵列(6)，所述方形箱体(1)内壁设置有防反光背景板(7)；所述控制模块(2)与所述摄像头(5)和可调灯光阵列(6)连接，所述供电模块(3)用于给所述控制模块(2)、摄像头(5)和可调灯光阵列(6)供电；所述方形箱体(1)内还设置有用于检测透光板(4)上是否有书的红外探测传感器(13)；
所述控制模块(2)内设置有采集控制模块、图像处理模块、识别模块、缺陷检测模块和品相值计算模块；所述采集控制模块用于根据红外探测传感器(13)的检测信号控制所述摄像头(5)和可调灯光阵列(6)的工作状态；所述图像处理模块与所述四组摄像头(5)连接，用于采集四组摄像头(5)拍摄的图书照片，并进行预处理后发送至所述识别模块；所述识别模块用于识别预处理后的多张图书照片，得到图书出版信息；所述缺陷检测模块用于将预处理后的图像输入训练好的图像检测模型，提取得到图像信息包含的所有目标区域及其对应的品相类别和缺陷属性，进而得到各个品相类别下各个缺陷属性的量化值；所述品相值计算模块用于根据缺陷检测模块得到的各个品相类别下各个缺陷属性的量化值，结合各个品相类别下各个缺陷属性的权重计算得到对应图书的品相值；
品相值计算模块计算得到对应图书品相值的计算公式为：
D＝(∏[1-(Aij*Bij)]+R)*10；
其中，D表示图书品相值，Aij表示第i个品相类别下第j个缺陷属性的分值，Bij表示第i个品相类别下第j个缺陷属性的权值，R表示补偿值；
所述品相类别包括书籍完整度，污损度，痕迹度，平整度；
所述书籍完整度的缺陷属性类别包括封面、封底、内页，版权页、书脊；污损度的缺陷属性类别包括虫蛀、污斑、粘连；痕迹度的缺陷属性类别包括印章、笔迹墨迹，平整度的缺陷属性类别包括折痕、卷角。
2.根据权利要求1所述的一种基于机器视觉的图书品相自动分级系统，其特征在于，所述四组摄像头(5)与透光板(4)的距离满足以下条件：
2H*tanθ/2-c>W≥2*b；
2h*tanθ/2≥c；
2h*tanγ/2>L≥a；
2H*tanγ/2>L≥a；
其中，a，b，c分别表示图书的长宽高，θ和γ分别表示各个摄像头(5)的水平视场角和垂直视场角；H表示上下方的摄像头(5)与透光板(4)的距离，h表示左右两侧的摄像头(5)与透光板(4)宽度两侧的置物边缘线的距离，L表示透光板(4)长度方向两侧的置物边缘线之间的距离，W表示透光板(4)宽度方向两侧的置物边缘线之间的距离。
3.根据权利要求1所述的一种基于机器视觉的图书品相自动分级系统，其特征在于，还包括语音提示输出模块和信息输入模块，所述采集控制模块的工作流程为：
步骤1：上电开机；校准灯光亮度与摄像头(5)参数，并控制四组摄像头(5)启动拍摄程序，确定无故障进行正式的图书品相图像采集程序；
步骤2：待红外探测传感器(13)检测到有图书放置，控制四组摄像头(5)启动拍摄程序，同时拍摄图书获得第一～第四图像；
步骤3：拍摄完成后通过语音提示出处模块发出旋转图书指令，提醒工作人员向右90°旋转图书旋转；
步骤4：待接收到信息输入模块输入的旋转确认信息后，控制左右位摄像头(5)拍摄图书获得第五图像和第六图像；
步骤5：拍摄完成后通过语音提示出处模块发出打开图书版权页指令，提醒工作人员打开图书版权页；
步骤6：待接收到信息输入模块输入的版权页打开确认信息后，控制上位摄像头(5)拍摄图书获得第七图像；
步骤7：发送命令至所述图像处理模块，控制所述图像处理模块对第一～第七图像进行预处理。
4.根据权利要求3所述的一种基于机器视觉的图书品相自动分级系统，其特征在于，所述图像处理模块包括多进程图像校正模块和图像拼接模块，所述多进程图像校正模块用于对各个图像进行：几何矫正、色差矫正、灰度变换、噪声处理、归一化处理、图像增强和边缘检测的图像预处理，所述图像拼接模块用于对预处理后的第一图像、第二图像、第三图像和第七图像进行拼接后得到第一拼接图像后发送给所述识别模块，还用于对预处理后的第一图像～第七图像进行拼接后得到第二拼接图像后发送给所述缺陷检测模块。
5.根据权利要求1所述的一种基于机器视觉的图书品相自动分级系统，其特征在于，
所述识别模块先采用OCR算法对文本检测得到的区域，将图像中的文字转换为可处理的文本数据，再使用NLP算法从OCR输出中提取图书出版信息；
所述缺陷识别模块包括：YOLO图像检测模型、单缺陷度计算模块、同类缺陷复合计算模块；所述YOLO图像检测模型通过区域卷积神经网络算法检测到所有的目标区域及其对应的缺陷属性；所述单缺陷度计算模块用于计算各个目标区域的面积；所述同类缺陷复合计算模块用于结合各个同类缺陷对应的所有目标区域的面积和数量，综合计算得到各个品相类别下各个缺陷属性对应的量化值。
6.根据权利要求1所述的一种基于机器视觉的图书品相自动分级系统，其特征在于，所述方形箱体(1)的开口面设置有支撑板(8)，两根支撑条(9)的一端固定在所述方形箱体(1)的开口面对面的板面上，另一端固定设置在所述支撑板(8)上，所述透光板(4)两侧分别固定在其中一根支撑条(9)上；
透光板(4)两端分别设置有用于对书本限位的挡条(14)；所述红外探测传感器(13)设置在其中一根挡条(14)侧面的中心位置。
7.根据权利要求1所述的一种基于机器视觉的图书品相自动分级系统，其特征在于，所述方形箱体(1)包括位于外层的轻质铝合金框架(10)和位于内层的不透光亚克力板(11)，所述不透光亚克力板(11)上设置有用于摄像头(5)走线的线槽(12)，所述线槽(12)被所述防反光背景板(7)覆盖。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311553165.7A CN117274257B (zh) | 2023-11-21 | 2023-11-21 | 基于机器视觉的图书品相自动分级系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311553165.7A CN117274257B (zh) | 2023-11-21 | 2023-11-21 | 基于机器视觉的图书品相自动分级系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117274257A CN117274257A (zh) | 2023-12-22 |
| CN117274257B true CN117274257B (zh) | 2024-01-23 |
Family
ID=89212770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311553165.7A Active CN117274257B (zh) | 2023-11-21 | 2023-11-21 | 基于机器视觉的图书品相自动分级系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274257B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117516395B (zh) * | 2024-01-05 | 2024-03-22 | 常州新区盛晖针纺织品有限公司 | 橡皮布生产用检测装置及其检测方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110836914A (zh) * | 2019-11-14 | 2020-02-25 | 河海大学常州校区 | 一种图书漏页、折页缺陷检测系统及方法 |
| CN113109351A (zh) * | 2021-03-31 | 2021-07-13 | 安徽理工大学 | 一种图书借还破损度智能检测装置及其系统 |
| CN113177925A (zh) * | 2021-05-11 | 2021-07-27 | 昆明理工大学 | 一种无损检测水果表面缺陷的方法 |
| CN113295700A (zh) * | 2021-05-11 | 2021-08-24 | 国网安徽省电力有限公司信息通信分公司 | 一种基于物联网的输电线路外绝缘状态监测方法及系统 |
| WO2021232611A1 (zh) * | 2020-05-22 | 2021-11-25 | 五邑大学 | 酒瓶表面缺陷模型的评价方法、电子装置及存储介质 |
| CN114972342A (zh) * | 2022-07-28 | 2022-08-30 | 南通新思迪机电有限公司 | 一种变速箱齿轮表面缺陷检测方法 |
| WO2022241784A1 (zh) * | 2021-05-21 | 2022-11-24 | 京东方科技集团股份有限公司 | 缺陷检测方法及装置、存储介质及电子设备 |
| CN115661071A (zh) * | 2022-10-25 | 2023-01-31 | 华中科技大学 | 基于深度学习的复合材料加工表面缺陷检测及评价方法 |
| CN116501942A (zh) * | 2023-05-08 | 2023-07-28 | 安徽中冠信息产业发展有限公司 | 一种基于中台架构的图书馆智能管理系统 |
| CN116756372A (zh) * | 2023-06-19 | 2023-09-15 | 红云红河烟草(集团)有限责任公司 | 一种烟支缺陷检测方法及装置 |
| CN116843680A (zh) * | 2023-08-29 | 2023-10-03 | 深圳市华盛源机电有限公司 | Igbt功率模块散热器表面缺陷识别方法 |
-
2023
- 2023-11-21 CN CN202311553165.7A patent/CN117274257B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110836914A (zh) * | 2019-11-14 | 2020-02-25 | 河海大学常州校区 | 一种图书漏页、折页缺陷检测系统及方法 |
| WO2021232611A1 (zh) * | 2020-05-22 | 2021-11-25 | 五邑大学 | 酒瓶表面缺陷模型的评价方法、电子装置及存储介质 |
| CN113109351A (zh) * | 2021-03-31 | 2021-07-13 | 安徽理工大学 | 一种图书借还破损度智能检测装置及其系统 |
| CN113177925A (zh) * | 2021-05-11 | 2021-07-27 | 昆明理工大学 | 一种无损检测水果表面缺陷的方法 |
| CN113295700A (zh) * | 2021-05-11 | 2021-08-24 | 国网安徽省电力有限公司信息通信分公司 | 一种基于物联网的输电线路外绝缘状态监测方法及系统 |
| WO2022241784A1 (zh) * | 2021-05-21 | 2022-11-24 | 京东方科技集团股份有限公司 | 缺陷检测方法及装置、存储介质及电子设备 |
| CN114972342A (zh) * | 2022-07-28 | 2022-08-30 | 南通新思迪机电有限公司 | 一种变速箱齿轮表面缺陷检测方法 |
| CN115661071A (zh) * | 2022-10-25 | 2023-01-31 | 华中科技大学 | 基于深度学习的复合材料加工表面缺陷检测及评价方法 |
| CN116501942A (zh) * | 2023-05-08 | 2023-07-28 | 安徽中冠信息产业发展有限公司 | 一种基于中台架构的图书馆智能管理系统 |
| CN116756372A (zh) * | 2023-06-19 | 2023-09-15 | 红云红河烟草(集团)有限责任公司 | 一种烟支缺陷检测方法及装置 |
| CN116843680A (zh) * | 2023-08-29 | 2023-10-03 | 深圳市华盛源机电有限公司 | Igbt功率模块散热器表面缺陷识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Study on Book Quality Evaluation Based on Neural Network And Data Visualization;Bi Xiaobin;《Journal of Physics:Conference Series》;1-7 * |
| 基于机器视觉的收藏币币面品相质量检测技术研究;罗彰;《中国优秀硕士学位论文全文数据库信息科技辑》;I138-1355 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117274257A (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117274257B (zh) | 基于机器视觉的图书品相自动分级系统 | |
| CN110389127B (zh) | 一种金属陶瓷零件识别及表面缺陷检测系统和方法 | |
| CN110414334B (zh) | 一种基于无人机巡视的智能水质识别方法 | |
| CN111091538A (zh) | 一种管道焊缝自动识别、缺陷检测方法及装置 | |
| CN101751572A (zh) | 一种图案检测方法、装置、设备及系统 | |
| CN111612737B (zh) | 一种人造板表面瑕疵检测装置及检测方法 | |
| CN208207914U (zh) | 基于快速几何对准的pcb表面缺陷检测装置 | |
| CN111982933B (zh) | 一种涂覆缺陷检测系统及装置 | |
| CN113724216A (zh) | 一种波峰焊点缺陷检测方法及系统 | |
| CN108334955A (zh) | 基于Faster-RCNN的身份证复印件检测方法 | |
| CN109685789A (zh) | 基于视觉检测的电芯表面胶纸检测方法及装置 | |
| CN102592302B (zh) | 数字化卡通智能动检系统及动检方法 | |
| CN114136975A (zh) | 一种微波裸芯片表面缺陷智能检测系统和方法 | |
| CN114565848B (zh) | 一种复杂场景的药液液位检测方法及系统 | |
| CN112686872B (zh) | 基于深度学习的木材计数方法 | |
| CN117523573A (zh) | 基于多阶段视觉检测融合故障预警的水表读数方法、系统 | |
| CN110210401B (zh) | 一种弱光下的目标智能检测方法 | |
| CN116486212A (zh) | 一种基于计算机视觉的水尺识别方法、系统及存储介质 | |
| CN110930393A (zh) | 一种基于机器视觉的芯片料管计数方法、装置及系统 | |
| CN111141741A (zh) | 一种可识别打印机标签缺陷的检测装置 | |
| CN116091472A (zh) | 一种融合可见光和红外图像的光伏组件缺陷智能检测方法 | |
| CN115801942A (zh) | 一种手机自动化检测系统 | |
| CN107403192A (zh) | 一种基于多分类器的快速目标检测方法及系统 | |
| CN114663367A (zh) | 一种涂胶缺陷视觉检测的自动示教方法 | |
| CN114494142A (zh) | 一种基于深度学习的移动终端中框缺陷检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |