CN114155314A - 基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质 - Google Patents
基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN114155314A CN114155314A CN202111417193.7A CN202111417193A CN114155314A CN 114155314 A CN114155314 A CN 114155314A CN 202111417193 A CN202111417193 A CN 202111417193A CN 114155314 A CN114155314 A CN 114155314A
- Authority
- CN
- China
- Prior art keywords
- image
- recognition
- wall
- character recognition
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010422 painting Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims abstract description 49
- 238000005507 spraying Methods 0.000 claims abstract description 43
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 239000007921 spray Substances 0.000 claims description 34
- 238000004040 coloring Methods 0.000 claims description 32
- 238000010586 diagram Methods 0.000 claims description 24
- 230000005012 migration Effects 0.000 claims description 14
- 238000013508 migration Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 7
- 239000011248 coating agent Substances 0.000 claims description 7
- 238000000576 coating method Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000003973 paint Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及墙体绘画技术领域，公开了一种基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质，首先获取将要进行墙绘的图像；对所述图像进行预处理；对经过预处理的图像利用Double‑U‑Frame分割模型进行目标分割；对分割完成后的目标轮廓图像进行文字识别和图像识别，获取该分割区域的色彩设定；根据色彩设定对分割所得轮廓图像内像素RGB值进行修改；根据目标分割图像利用路径规划算法生成最终的喷涂路径；根据所述喷涂路径进行墙绘喷涂。与现有技术相比，本发明利用智能化拍摄图像或录入图像，对图像进行目标分割，并进行图像识别和文字识别，确定各轮廓的色彩后进行喷涂路径规划，实现了智能化的墙绘操作。
Description
技术领域
本发明涉及墙体绘画技术领域，具体涉及一种基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质。
背景技术
墙绘主要应用于城市宣传或者室内装修，其中城市宣传主要以倡导行为文明、宣传公益活动、鼓励健康运动、崇尚绿色环保、宣传新城市文化、推广本地名胜风景等以辅助社会民众素质提升，塑造城市文明形象，吸引潜在游客资源，勾勒和谐、文明、人文、艺术的城市风景线。家居装修则是屋主根据个人喜好兴趣、志向追求等采用墙绘方式把自己所喜所好的场景实施于室内墙面，以达到悦己悦人的效果。
但是目前普通墙绘都是通过人工描绘，耗费大量的人力和时间，尤其是高处墙体的绘制，更是会发生工作人员高空坠落或是支架倒塌等事故，后果不堪设想，并且一些定制化程度高的个人室内墙绘，往往需要技艺高超的专人才能完成，收费昂贵，工期也无法保证，更甚的无人能满足屋主需求。因此，自动化智能化的自动墙绘设备成为一个有效的手段，用户只需将所需绘制的图像进行采集录入，设置期望的风格，选定目标墙体，即可等待自动化墙绘设备绘制完成。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供一种基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质，利用智能化拍摄图像或录入图像，对图像进行目标分割，并进行图像识别和文字识别，确定各轮廓的色彩后再进行喷涂路径规划，实现了智能化的墙绘操作。
技术方案：本发明提供了一种基于图像识别与文字识别的智能化墙绘方法，包括如下步骤：
获取将要进行墙绘的图像，所述图像为系统直接录入的完整图像或预先画于墙体的线条框图，所述线条框图的各区域通过文字标记有色彩设定；
对所述图像进行预处理；
对经过预处理的图像利用Double-U-Frame分割模型进行目标分割；
对分割完成后的目标轮廓图像进行文字识别，获取该分割区域的额外色彩设定和/或对分割完成后的目标轮廓图像进行图像识别，获取该分割区域的色彩设定；
根据色彩设定对分割所得轮廓图像内像素RGB值进行修改，得到新的目标分割图像；
根据最终的目标分割图像结合预设的含有喷枪类型、工艺方法、示教墙绘路径速度、加速度参数的经验库，利用路径规划算法生成最终的喷涂路径，同时本次生成路径规划将与本次的喷枪类型、工艺方法、示教墙绘路径速度、加速度同时存入经验库，作为后续的经验库；
根据所述喷涂路径进行墙绘喷涂。
进一步地，在获取预先画于墙体的线条框图时，采集多张图像，并对多张图像进行匹配与合成，输出一张合成图像。
进一步地，所述图像预处理包括：
1)对于线条框图或完整图像进行中值滤波、对数增强的预处理操作；
2)结合RGB三通道信息对图像中每一个像素点进行分类，确定每个点的类别，进行区域划分轮廓。
进一步地，所述Double-U-Frame分割模型结构包括：
编码部分、解码部分以及基于Bi-FPN的跳跃连接层，通道数为n的输入图像，通过连续四个编码器模块后，依次得到64、128、256、512、1024维的特征，再通过连续四个解码器模块后，依次将高维特征图恢复到原图大小，得到一个通道数为m的掩模图；并且每层同维度的特征图要进入Bi-FPN双向特征网络进行通道方向的特征图扩展，将编码器部分的局部特征与解码器部分的宏观特征进行融合；其中，每个编码器模块由两次3x3卷积和一次最大值池化组成，解码器由两次3x3卷积和一次上采样反卷积组成。
进一步地，所述路径规划算法涂绘最小触笔单元为椭圆形，并且喷涂路径为轮廓向内法线方向等距生成，包括如下步骤：
1)构建涂层厚度分布模型：
其中，
r1＝x2+y2，
r2＝(x-δ)2+y2，a＝(a1+a2)/2，
外着色点：墙绘喷枪在交叠边界喷涂时在外侧喷绘的单次喷涂面积，为椭圆形；内着色点：墙绘喷枪在交叠边界喷涂时在内侧喷绘的单次喷涂面积，为椭圆形；a为外着色点长轴长度，b为外着色点短轴长度，a1为外着色点外侧最远点与喷枪运动中心的距离，a2为外着色点内侧最远点与喷枪运动中心的距离，δ为外着色点与内着色点运动轨迹的距离，R为着色点在轨迹中中心处窄边高度，x,y为着色点轨迹中心坐标，T1为外着色点的厚度，T2为内着色点的厚度，Ts为交叠边界的厚度，v为喷枪运动速度；
2)根据上述模型获取涂层交叠处的目标优化函数：
其中，Td为墙绘理想厚度，vmax为喷枪最大运动速度，约束条件为v≤vmax，0≤δ≤2a；
3)根据目标优化算法和约束条件确定最终的喷涂轨迹。
进一步地，在进行路径规划之前还对得到新的目标分割图像利用风格迁移模型进行风格转换，所述风格迁移模型为优化后的卷积神经网络模型，由VGG19网络与Gram矩阵组成，VGG19网络作为主干网络逐层提取图像的特征图集，通过计算原图与目标风格图的风格差异矩阵，即Gram矩阵，来确定两幅图的风格差异量；通过对Gram矩阵参数构建损失函数，完成指定风格的特征学习，后续通过训练好的VGG19网络模型进行推理计算即可将原图完成风格转换。
本发明还公开一种基于图像识别与文字识别的智能化墙绘系统，包括：
图像获取模块，用于获取将要进行墙绘的图像，所述图像为系统直接录入的完整图像或预先画于墙体的线条框图，所述线条框图的各区域通过文字标记有色彩设定；
图像预处理模块，用于对获取的图像进行预处理操作；
目标分割模块，用于利用Double-U-Frame分割模型对预处理后的图像进行目标分割；
图像识别模块，用于对分割完成后的目标轮廓图像进行图像识别，获取该分割区域的色彩设定；和/或文字识别模块，用于对分割完成后的目标轮廓图像进行文字识别，获取该分割区域的额外色彩设定；
色彩修改模块，用于对分割所得轮廓图像内像素RGB值进行修改，得到新的目标分割图像；
路径生成模块，用于利用路径规划算法生成最终的喷涂路径；
喷涂执行模块，用于控制喷枪执行喷涂路径。
优选地，还包括：
风格迁移模块，用于在进行路径规划之前对得到新的目标分割图像利用风格迁移模型进行风格转换。
本发明还公开一种墙绘设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述基于图像识别与文字识别的智能化墙绘方法的步骤。
本发明还公开一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述混流板材双面喷涂方法的步骤。
有益效果：
1、本发明基于图像识别与文字识别的智能化墙绘方法具有智能化、自动化的特点，可以在不需要技术人员具有墙绘/绘画基础的情况下，完成任意图像进入系统即可完成墙绘绘制，大幅提高生产作业效率。
2、本发明设计的Double-U-Frame分割模型是一种端到端的深度学习方法可以解决墙绘图分割的任务。它在编码器和解码器之间合并了Bi-FPN(双向特征网络)。此外，它使用PRelu激活函数和掩码的权重，从而可以提高分割效率。
3、本发明提出的一种适应墙绘边界曲线曲率变化的路径生成方法，涂绘最小触笔单元为椭圆形，可以很好的适应任意曲率轮廓的插补空隙，并且喷涂路径为轮廓向内法线方向等距生成，与轮廓有近似性，因此在绘制时其边界曲率的变化不会造成色彩图层边界交叠影响。
4、本发明在已有线条框图基础上进行墙绘填充彩色时，利用多张图像进行匹配合成的技术，可以防止图片拍摄不全。
附图说明
图1为本发明实施例的墙绘设备示意图；
图2为本发明图像分割用的Double-U-Frame神经网络模型的示意图；
图3为本发明路径规划算法使用的喷涂模型；
图4为本发明智能化墙绘系统模块框图。
其中，1-墙绘设备，2-彩色工业相机，3-补光射灯，4-全向可伸缩支架，5-彩绘喷头，6-喷头活动轨道支架。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明公开了一种基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质，该基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质设置于图1所述的设备中，该设备包括墙绘设备、墙绘设备上设置有控制器，用于控制墙绘设备整体水平移动，在墙绘设备的顶端设置有彩色工业相机、补光射灯和全向可伸缩支架利用全向可伸缩支架实现彩色工业相机的伸缩和转向，彩色工业相机可以实现360度转向。在墙绘设备顶端还设置有彩绘喷头，彩绘喷头和喷头活动轨道支架连接，喷头活动轨道支架实现彩绘喷头360度旋转与伸缩，彩绘喷头与墙绘设备连接，彩色工业相机、补光射灯、彩绘喷头均与控制器连接，控制器控制整个墙绘设备的水平移动并且控制彩色工业相机、补光射灯开启与关闭，同时控制彩绘喷头进行喷涂操作。
而且该墙绘设备上还设置有智能墙绘系统平台软件，该智能墙绘系统平台软件为本领域常用的软件，非本发明需要保护的重点，在此不做赘述。智能墙绘系统平台软件与墙绘设备中的控制器连接，控制器可以通过智能墙绘系统平台软件实现图像录入。图像还可以通过彩色工业相机现场拍摄，拍摄的图像为预先画于墙体的线条框图，线条框图的各区域通过文字标记有色彩设定。
对于利用智能墙绘系统平台软件进行录入图像的情况下，控制器中设置有图像识别模块，用于对分割完成后的目标轮廓图像进行图像识别，获取该分割区域的色彩设定。
对于通过彩色工业相机现场拍摄的情况下：拍摄的图像为预先画于墙体的线条框图，线条框图的各区域通过文字标记有色彩设定，在控制器中设置有文字识别模块，用于对分割完成后的目标轮廓图像进行文字识别，获取该分割区域的额外色彩设定。
对于上述的控制器，控制器中设置有基于图像识别与文字识别的智能化墙绘方法，用于进行智能化墙绘，主要包括如下步骤：
步骤1：用智能墙绘系统平台软件录入图像或者利用彩色工业相机正对需要墙绘的墙面进行拍摄照片，获取将要进行墙绘的图像，利用彩色工业相机拍摄的图像为预先画于墙体的线条框图，线条框图的各区域通过文字标记有色彩设定。
特别的，对于利用彩色工业相机拍摄的图像，可以多角度采集多张图像，并对多张图像进行匹配合成，输出一张合成的图像，本发明利用sift方法进行图像合成：
在进行图像合成时，先对多张图像进行特征提取，提取各图像中的特征，多不同图像中的特征进行匹配，计算homogenous矩阵，并使用homogenous矩阵进行变换，将多张图像投影到同一平面，调整不同图像之间由于曝光等原因产生的色差，找到相邻图像的重合位置并进行融合，最终合成一张图像。
步骤2：对于控制器获取的图像，对图像进行预处理，预处理操作包括：对于线条框图或完整图像进行中值滤波、对数增强的预处理操作；并结合RGB三通道信息对图像中每一个像素点进行分类，确定每个点的类别(如属于背景、树或物体等)，进行区域划分轮廓。
步骤3：对经过预处理的图像利用Double-U-Frame分割模型进行目标分割，本发明使用的Double-U-Frame分割模型参见附图2，它是一种端到端的深度学习方法可以解决墙绘图分割的任务。它在编码器和解码器之间合并了Bi-FPN(双向特征网络)。此外，它使用PRelu激活函数和掩码的权重，从而可以提高分割效率。
Double-U-Frame具体结构包括三部分，左边是编码部分，右边是解码部分，中间是基于Bi-FPN的跳跃连接层，由于网络结构像U型，并且跳跃连接层是双向特征网络，因此叫Double-U-Frame框架。通道数为n的输入图像，通过连续四个编码器模块后，依次得到64、128、256、512、1024维的特征，再通过连续四个解码器模块后，依次将高维特征图恢复到原图大小，得到一个通道数为m的掩模图。并且每层同维度的特征图要进入Bi-FPN双向特征网络进行通道方向的特征图扩展，将编码器部分的局部特征与解码器部分的宏观特征进行融合，丰富同维度解码器模块的特征图信息。其中，每个编码器模块由两次3x3卷积和一次最大值池化组成，解码器由两次3x3卷积和一次上采样反卷积组成。
步骤4：对分割完成后的目标轮廓图像进行文字识别，获取该分割区域的额外色彩设定和/或对分割完成后的目标轮廓图像进行图像识别，获取该分割区域的色彩设定。
步骤5：根据步骤4中的色彩设定对分割所得轮廓图像内像素RGB值进行修改，得到新的目标分割图像。
步骤6：对得到新的目标分割图像利用锋哥迁移模型进行风格转换，风格迁移模型为优化后的卷积神经网络模型，风格迁移模型由VGG19网络与Gram矩阵组成，VGG19网络作为主干网络逐层提取图像的特征图集，通过计算原图与目标风格图的风格差异矩阵，即Gram矩阵，来确定两幅图的风格差异量。通过对Gram矩阵参数构建损失函数即可完成指定风格的特征学习，后续通过训练好的VGG19网络模型进行推理计算即可将原图完成风格转换。
步骤7：根据最终的目标分割图像结合预设的含有喷枪类型、工艺方法、示教墙绘路径速度、加速度参数的经验库，例如喷嘴为2mm的雾型喷枪，采用匀速v喷涂，以及对应的走直线、圆弧的速度、加速度曲线参数图。喷涂路径依据轮廓向法线方向等间隔生成，所有轮廓逆时针方向为正方向，使用右手定则(四指指向轮廓线正方向，拇指所朝方向既为向内的法线方向)确认连通域内部，延向内法线方向等距轮廓线得到第一条喷涂路径路线，距离间隔为经验库内依据喷枪类型与工艺的预设值，也可以人工调整。若干次等距操作后，得到数个喷涂路径，当最新的喷涂路径连通域内部宽度小于预设等距宽度时，停止生成新的喷涂路径，并且合并再等距过程中位置交换的关键点生成新的关键点。对每个轮廓重复上述操作后，可生成最终的喷涂路径，同时本次生成路径规划将与本次的喷枪类型、工艺方法、示教墙绘路径速度、加速度同时存进经验库，作为后续的经验库。
本发明针对具有风格迁移特点的墙绘图形外形特征复杂多样，绘制时其边界曲率的变化大会造成色彩图层边界交叠影响较大的问题，设计一种适应墙绘边界曲线曲率变化的路径规划算法，涂绘最小触笔单元为椭圆形，可以很好的适应任意曲率轮廓的插补空隙，并且喷涂路径为轮廓向内法线方向等距生成，与轮廓有近似性，因此在绘制时其边界曲率的变化不会造成色彩图层边界交叠影响。包括如下步骤：
1)构建涂层厚度分布模型：
其中，
r1＝x2+y2，
r2＝(x-δ)2+y2，a＝(a1+a2)/2，
参见附图3，外着色点：墙绘喷枪在交叠边界喷涂时在外侧喷绘的单次喷涂面积，为椭圆形；内着色点：墙绘喷枪在交叠边界喷涂时在内侧喷绘的单次喷涂面积，为椭圆形；a为外着色点长轴长度，b为外着色点短轴长度，a1为外着色点外侧最远点与喷枪运动中心的距离，a2为外着色点内侧最远点与喷枪运动中心的距离，δ为外着色点与内着色点运动轨迹的距离，R为着色点在轨迹中中心处窄边高度，x,y为着色点轨迹中心坐标，T1为外着色点的厚度，T2为内着色点的厚度，Ts为交叠边界的厚度，v为喷枪运动速度；vmax为喷枪最大运动速度。
2)根据上述模型获取涂层交叠处的目标优化函数：
其中，Td为墙绘理想厚度，约束条件为v≤vmax，0≤δ≤2a；
3)根据目标优化算法和约束条件确定最终的喷涂轨迹。
步骤8：根据上述的喷涂路径，控制器控制彩绘喷头进行墙绘喷涂。
对于上述的基于图像识别与文字识别的智能化墙绘方法，其对应的系统模块参见附图4，主要包括：
图像获取模块，用于获取将要进行墙绘的图像，图像为系统直接录入的完整图像或预先画于墙体的线条框图，所述线条框图的各区域通过文字标记有色彩设定。
图像预处理模块，用于对获取的图像进行上述的预处理操作。
目标分割模块，用于利用Double-U-Frame分割模型对预处理后的图像进行目标分割，具体的Double-U-Frame分割模型参见上述描述。
图像识别模块，用于对分割完成后的目标轮廓图像进行图像识别，获取该分割区域的色彩设定。和/或文字识别模块，用于对分割完成后的目标轮廓图像进行文字识别，获取该分割区域的额外色彩设定。图像识别模块和文字识别模块利用传统的技术进行识别，非本发明需要保护的重点，此处不做赘述。
色彩修改模块，用于对分割所得轮廓图像内像素RGB值进行修改，得到新的目标分割图像。
路径生成模块，用于利用路径规划算法生成最终的喷涂路径，路径规划算法参见上述描述。
喷涂执行模块，用于控制器控制彩绘喷枪、墙绘设备执行喷涂路径。
在控制器中还设置风格迁移模块，可以根据需要选择不同的风格进行墙绘，用户可选择风格迁移的操作，实现目标图像的转换。智能墙绘系统平台软件可提供风格图片输入或风格类别(旧时光、青春、阳光等)选择。控制器中的风格迁移模块中使用预训练好的风格迁移模型进行风格转换，具体风格迁移模型参见步骤6中描述。
上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于图像识别与文字识别的智能化墙绘方法，其特征在于，包括如下步骤：
获取将要进行墙绘的图像，所述图像为系统直接录入的完整图像或预先画于墙体的线条框图，所述线条框图的各区域通过文字标记有色彩设定；
对所述图像进行预处理；
对经过预处理的图像利用Double-U-Frame分割模型进行目标分割；
对分割完成后的目标轮廓图像进行文字识别，获取该分割区域的额外色彩设定和/或对分割完成后的目标轮廓图像进行图像识别，获取该分割区域的色彩设定；
根据色彩设定对分割所得轮廓图像内像素RGB值进行修改，得到新的目标分割图像；
根据最终的目标分割图像结合预设的含有喷枪类型、工艺方法、示教墙绘路径速度、加速度参数的经验库，利用路径规划算法生成最终的喷涂路径，同时本次生成路径规划将与本次的喷枪类型、工艺方法、示教墙绘路径速度、加速度同时存入经验库，作为后续的经验库；
根据所述喷涂路径进行墙绘喷涂。
2.根据权利要求1所述的基于图像识别与文字识别的智能化墙绘方法，其特征在于，在获取预先画于墙体的线条框图时，采集多张图像，并对多张图像进行匹配与合成，输出一张合成图像。
3.根据权利要求1所述的基于图像识别与文字识别的智能化墙绘方法，其特征在于，所述图像预处理包括：
1)对于线条框图或完整图像进行中值滤波、对数增强的预处理操作；
2)结合RGB三通道信息对图像中每一个像素点进行分类，确定每个点的类别，进行区域划分轮廓。
4.根据权利要求1所述的基于图像识别与文字识别的智能化墙绘方法，其特征在于，所述Double-U-Frame分割模型结构包括：
编码部分、解码部分以及基于Bi-FPN的跳跃连接层，通道数为n的输入图像，通过连续四个编码器模块后，依次得到64、128、256、512、1024维的特征，再通过连续四个解码器模块后，依次将高维特征图恢复到原图大小，得到一个通道数为m的掩模图；并且每层同维度的特征图要进入Bi-FPN双向特征网络进行通道方向的特征图扩展，将编码器部分的局部特征与解码器部分的宏观特征进行融合；其中，每个编码器模块由两次3x3卷积和一次最大值池化组成，解码器由两次3x3卷积和一次上采样反卷积组成。
5.根据权利要求1所述的基于图像识别与文字识别的智能化墙绘方法，其特征在于，所述路径规划算法涂绘最小触笔单元为椭圆形，并且喷涂路径为轮廓向内法线方向等距生成，包括如下步骤：
1)构建涂层厚度分布模型：
其中，
r1＝x2+y2，
r2＝(x-δ)2+y2，a＝(a1+a2)/2，
外着色点：墙绘喷枪在交叠边界喷涂时在外侧喷绘的单次喷涂面积，为椭圆形；内着色点：墙绘喷枪在交叠边界喷涂时在内侧喷绘的单次喷涂面积，为椭圆形；a为外着色点长轴长度，b为外着色点短轴长度，a1为外着色点外侧最远点与喷枪运动中心的距离，a2为外着色点内侧最远点与喷枪运动中心的距离，δ为外着色点与内着色点运动轨迹的距离，R为着色点在轨迹中中心处窄边高度，x，y为着色点轨迹中心坐标，T1为外着色点的厚度，T2为内着色点的厚度，Ts为交叠边界的厚度，v为喷枪运动速度；
2)根据上述模型获取涂层交叠处的目标优化函数：
其中，Td为墙绘理想厚度，vmax为喷枪最大运动速度，约束条件为v≤vmax，0≤δ≤2a；
3)根据目标优化算法和约束条件确定最终的喷涂轨迹。
6.根据权利要求1所述的基于图像识别与文字识别的智能化墙绘方法，其特征在于，在进行路径规划之前还对得到新的目标分割图像利用风格迁移模型进行风格转换，所述风格迁移模型为优化后的卷积神经网络模型，由VGG19网络与Gram矩阵组成，VGG19网络作为主干网络逐层提取图像的特征图集，通过计算原图与目标风格图的风格差异矩阵，即Gram矩阵，来确定两幅图的风格差异量；通过对Gram矩阵参数构建损失函数，完成指定风格的特征学习，后续通过训练好的VGG19网络模型进行推理计算即可将原图完成风格转换。
7.一种基于图像识别与文字识别的智能化墙绘系统，其特征在于，包括：
图像获取模块，用于获取将要进行墙绘的图像，所述图像为系统直接录入的完整图像或预先画于墙体的线条框图，所述线条框图的各区域通过文字标记有色彩设定；
图像预处理模块，用于对获取的图像进行预处理操作；
目标分割模块，用于利用Double-U-Frame分割模型对预处理后的图像进行目标分割；
图像识别模块，用于对分割完成后的目标轮廓图像进行图像识别，获取该分割区域的色彩设定；和/或文字识别模块，用于对分割完成后的目标轮廓图像进行文字识别，获取该分割区域的额外色彩设定；
色彩修改模块，用于对分割所得轮廓图像内像素RGB值进行修改，得到新的目标分割图像；
路径生成模块，用于利用路径规划算法生成最终的喷涂路径；
喷涂执行模块，用于控制喷枪执行喷涂路径。
8.根据权利要去7所述的基于图像识别与文字识别的智能化墙绘系统，其特征在于，还包括：
风格迁移模块，用于在进行路径规划之前对得到新的目标分割图像利用风格迁移模型进行风格转换。
9.一种墙绘设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的基于图像识别与文字识别的智能化墙绘方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的混流板材双面喷涂方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111417193.7A CN114155314A (zh) | 2021-11-25 | 2021-11-25 | 基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111417193.7A CN114155314A (zh) | 2021-11-25 | 2021-11-25 | 基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114155314A true CN114155314A (zh) | 2022-03-08 |
Family
ID=80457737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111417193.7A Pending CN114155314A (zh) | 2021-11-25 | 2021-11-25 | 基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114155314A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116809345A (zh) * | 2023-06-26 | 2023-09-29 | 珠海新泉包装容器有限公司 | 一种防锈瓶盖二维码的喷涂方法及装置 |
| CN117218512A (zh) * | 2023-09-11 | 2023-12-12 | 电子科技大学重庆微电子产业技术研究院 | 一种红外低小慢目标检测方法、计算机设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104841593A (zh) * | 2015-05-29 | 2015-08-19 | 芜湖希美埃机器人技术有限公司 | 一种机器人自动喷涂系统的控制方法 |
| CN106600606A (zh) * | 2016-12-19 | 2017-04-26 | 上海电气自动化设计研究所有限公司 | 基于图像分割的船舶涂装轮廓检测方法 |
| US20190087982A1 (en) * | 2017-09-20 | 2019-03-21 | Preferred Networks, Inc. | Automatic coloring of line drawing |
| CN111530671A (zh) * | 2020-05-07 | 2020-08-14 | 佛山科学技术学院 | 一种基于喷涂系统的智能机器人喷涂方法 |
| CN112508975A (zh) * | 2020-12-21 | 2021-03-16 | 上海眼控科技股份有限公司 | 一种图像识别方法、装置、设备及存储介质 |
-
2021
- 2021-11-25 CN CN202111417193.7A patent/CN114155314A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104841593A (zh) * | 2015-05-29 | 2015-08-19 | 芜湖希美埃机器人技术有限公司 | 一种机器人自动喷涂系统的控制方法 |
| CN106600606A (zh) * | 2016-12-19 | 2017-04-26 | 上海电气自动化设计研究所有限公司 | 基于图像分割的船舶涂装轮廓检测方法 |
| US20190087982A1 (en) * | 2017-09-20 | 2019-03-21 | Preferred Networks, Inc. | Automatic coloring of line drawing |
| CN111530671A (zh) * | 2020-05-07 | 2020-08-14 | 佛山科学技术学院 | 一种基于喷涂系统的智能机器人喷涂方法 |
| CN112508975A (zh) * | 2020-12-21 | 2021-03-16 | 上海眼控科技股份有限公司 | 一种图像识别方法、装置、设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116809345A (zh) * | 2023-06-26 | 2023-09-29 | 珠海新泉包装容器有限公司 | 一种防锈瓶盖二维码的喷涂方法及装置 |
| CN117218512A (zh) * | 2023-09-11 | 2023-12-12 | 电子科技大学重庆微电子产业技术研究院 | 一种红外低小慢目标检测方法、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Do et al. | Real-time self-driving car navigation using deep neural network | |
| CN108090443B (zh) | 基于深度强化学习的场景文本检测方法及系统 | |
| CN101452582B (zh) | 一种实现三维视频特效的方法和装置 | |
| CN114155314A (zh) | 基于图像识别与文字识别的智能化墙绘方法、系统、设备及存储介质 | |
| Mellor et al. | Unsupervised doodling and painting with improved spiral | |
| Kelly et al. | FrankenGAN: guided detail synthesis for building mass-models using style-synchonized GANs | |
| CN101814196B (zh) | 基于图片的三维动漫玩具设计方法 | |
| CN102638653B (zh) | 一种基于Kinect的自动面部追踪方法 | |
| CN106658023A (zh) | 一种基于深度学习的端到端视觉里程计及方法 | |
| CN105719326A (zh) | 一种基于单张照片的真实感人脸生成方法 | |
| CN104331164B (zh) | 一种基于手势识别的相似度阈值分析的手势运动平滑处理方法 | |
| CN101154289A (zh) | 基于多目相机的三维人体运动跟踪的方法 | |
| CN112965081A (zh) | 基于融合行人信息的特征地图的模仿学习社交导航方法 | |
| Pan et al. | Sketch-based skeleton-driven 2D animation and motion capture | |
| CN103544685A (zh) | 一种基于主体调整的图像构图美化方法及系统 | |
| CN104463859A (zh) | 一种基于跟踪指定点的实时视频拼接方法 | |
| CN111475667A (zh) | 一种基于手写汉字的机械臂楷体风格书法撰写方法 | |
| Xie et al. | Stroke-based stylization learning and rendering with inverse reinforcement learning | |
| Yang et al. | Easy drawing: Generation of artistic Chinese flower painting by stroke-based stylization | |
| Liang et al. | A robot calligraphy writing method based on style transferring algorithm and similarity evaluation | |
| Guo et al. | ShadowPainter: Active learning enabled robotic painting through visual measurement and reproduction of the artistic creation process | |
| Liu et al. | Software-defined active LiDARs for autonomous driving: A parallel intelligence-based adaptive model | |
| Liu et al. | Data augmentation technology driven by image style transfer in self-driving car based on end-to-end learning | |
| Liu et al. | BuildingSketch: Freehand mid-air sketching for building modeling | |
| Zhao et al. | Drivedreamer-2: Llm-enhanced world models for diverse driving video generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |