CN113326819A - 机器手素描绘画方法、装置及机器人工作台 - Google Patents
机器手素描绘画方法、装置及机器人工作台 Download PDFInfo
- Publication number
- CN113326819A CN113326819A CN202110878059.0A CN202110878059A CN113326819A CN 113326819 A CN113326819 A CN 113326819A CN 202110878059 A CN202110878059 A CN 202110878059A CN 113326819 A CN113326819 A CN 113326819A
- Authority
- CN
- China
- Prior art keywords
- sketch
- image
- outline
- gray
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器人工作台的机器手素描绘画方法、装置及机器人工作台，其中，所述方法包括：基于控制显示端获得待绘画图像信息，并进行灰度化处理，获得灰度待绘画图像信息；对灰度待绘画图像信息进行素描轮廓提取处理，获得素描轮廓图像；基于素描轮廓图像对灰度待绘画图像信息进行聚类处理，获得若干个聚类中心，并基于若干个聚类中心形成若干个素描着色区域；将素描轮廓图像和对应的若干个素描着色区域按照预设放缩比例生成控制机械手的素描绘画路径；基于素描绘画路径控制机械手在素描画板上进行素描绘画。在本发明实施例中，可以快速的根据彩色图像的内容在对应的素描画板上进行素描绘画，降低素描绘画成本，且具有良好的使用体验。
Description
技术领域
本发明涉及机械手素描轨迹控制技术领域，尤其涉及一种基于机器人工作台的机器手素描绘画方法、装置及机器人工作台。
背景技术
随着技术的发展，机械手的控制精度越来越高，对于机械手的应用领域也越来越广泛，并逐渐应用到绘画领域；但是现有的机械手在绘画控制的时候，只能控制其进行相关的较为简单的素描绘画处理，即简单的单线素描绘画，在素描阴影着色上或者素描光暗度变换上，无法有效处理，因此在较为复杂的素描绘画上，达不到相应的素描结果，导致用户的体验度不高。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于机器人工作台的机器手素描绘画方法、装置及机器人工作台，可以快速的根据彩色图像的内容在对应的素描画板上进行素描绘画，降低素描绘画成本，且具有良好的使用体验。
为了解决上述技术问题，本发明实施例提供了一种基于机器人工作台的机器手素描绘画方法，所述机器人工作台包括工作平台、用于素描绘画的机械手、控制显示端和至少一个素描画板；所述机械手设置在所述工作平台上；至少一个素描画板设置在所述工作平台上，且在所述机械手工作范围内；所述控制显示端通过支架设置在工作平台上；所述方法包括：
基于所述控制显示端获得待绘画图像信息，并对所述待绘画图像信息进行灰度化处理，获得灰度待绘画图像信息；
基于轮廓提取算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得素描轮廓图像；
基于所述素描轮廓图像对灰度待绘画图像信息进行聚类处理，获得若干个聚类中心，并基于若干个聚类中心形成若干个素描着色区域；
将所述素描轮廓图像和对应的若干个素描着色区域按照预设放缩比例生成控制所述机械手的素描绘画路径；
基于所述素描绘画路径控制所述机械手在所述素描画板上进行素描绘画。
可选的，所述基于所述控制显示端获得待绘画图像信息，并对所述待绘画图像信息进行灰度化处理，获得灰度待绘画图像信息，包括：
所述控制显示端基于内置摄像头采集或基于网络协议下载获得待绘画图像信息；
基于像素加权平均对所述待绘画图像信息进行灰度化处理，获得灰度待绘画图像信息。
可选的，所述基于轮廓提取算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得素描轮廓图像，包括：
基于Sobel边缘检测算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得第一素描轮廓图像；
基于拉普拉斯边缘检测算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得第二素描轮廓图像；
基于Canny边缘检测算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得第三素描轮廓图像；
基于预设加权融合比例将所述第一素描轮廓图像、所述第二素描轮廓图像和所述第三素描轮廓图像进行融合，形成素描轮廓图像。
可选的，所述基于预设加权融合比例将所述第一素描轮廓图像、所述第二素描轮廓图像和所述第三素描轮廓图像进行融合，形成素描轮廓图像，包括：
将所述第一素描轮廓图像、所述第二素描轮廓图像和所述第三素描轮廓图像分别进行轮廓图像矩阵构建处理，分别获得第一轮廓矩阵、第二轮廓矩阵和第三轮廓矩阵；
基于预设加权融合比例将所述第一轮廓矩阵、所述第二轮廓矩阵和所述第三轮廓矩阵进行加权融合，形成加权融合矩阵；
基于所述加权融合矩阵获得素描轮廓图像。
可选的，所述基于所述素描轮廓图像对灰度待绘画图像信息进行聚类处理，获得若干个聚类中心，包括：
基于所述素描轮廓图像对所述灰度待绘画图像信息进行图像分割处理，获得分割灰度图像块；
对所述分割灰度图像块内的灰度值进行聚类处理，获得所述分割灰度图像块内的若干个聚类中心。
可选的，所述基于所述素描轮廓图像对所述灰度待绘画图像信息进行图像分割处理，获得分割灰度图像块，包括：
对所述灰度待绘画图像信息按照所述素描轮廓图像的素描轮廓进行图像粗分割处理，获得第一分割灰度图像块；
依次遍历所有的第一分割灰度图像块，并在遍历过程中，判断每一个的第一分割灰度图像块的像素面积是否大于预设像素面积；
若大于时，则将大于预设像素面积的第一分割灰度图像块进行二次等面积分割处理，获得分割灰度图像块；
若小于或等于时，则将小于或等于预设像素面积的第一分割灰度图像块作为分割灰度图像块。
可选的，所述基于若干个聚类中心形成若干个素描着色区域，包括：
计算若干个聚类中心中的每个聚类中心的像素平均值，并基于所述每个聚类中心的像素平均值获得每个聚类中心对应区域的素描着色；
根据每个聚类中心对应区域的素描着色获得若干个素描着色区域。
可选的，所述基于所述素描绘画路径控制所述机械手在所述素描画板上进行素描绘画之后，还包括：
设置在所述机械手上的摄像头设备实时采集素描绘画结果，并将所述素描绘画结果与所述素描轮廓图像和对应的若干个素描着色区域进行校正匹配，并基于校正匹配结果更新所述机械手的素描绘画路径。
另外，本发明实施例还提供了一种基于机器人工作台的机器手素描绘画装置，所述机器人工作台包括工作平台、用于素描绘画的机械手、控制显示端和至少一个素描画板；所述机械手设置在所述工作平台上；至少一个素描画板设置在所述工作平台上，且在所述机械手工作范围内；所述控制显示端通过支架设置在工作平台上；所述装置包括：
灰度化处理模块：用于基于所述控制显示端获得待绘画图像信息，并对所述待绘画图像信息进行灰度化处理，获得灰度待绘画图像信息；
轮廓提取模块：用于基于轮廓提取算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得素描轮廓图像；
聚类模块：用于基于所述素描轮廓图像对灰度待绘画图像信息进行聚类处理，获得若干个聚类中心，并基于若干个聚类中心形成若干个素描着色区域；
路径规划模块：用于将所述素描轮廓图像和对应的若干个素描着色区域按照预设放缩比例生成控制所述机械手的素描绘画路径；
素描绘画模块：用于基于所述素描绘画路径控制所述机械手在所述素描画板上进行素描绘画。
另外，本发明实施例还提供了一种机器人工作台，所述机器人工作台包括工作平台、用于素描绘画的机械手、控制显示端和至少一个素描画板；所述机械手设置在所述工作平台上；至少一个素描画板设置在所述工作平台上，且在所述机械手工作范围内；所述控制显示端通过支架设置在工作平台上；其中，所述机器人工作台被配置为执行上述任意一项所述的机器手素描绘画方法。
在本发明实施例中，通过本发明给出的机器人工作台执行本发明中的实施例，可以快速的根据彩色图像的内容在对应的素描画板上进行素描绘画，降低素描绘画成本，同时可以在素描过程中在素描阴影着色，或者素描光暗变换着色，使得素描效果更好，因此具有良好的使用体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于机器人工作台的机器手素描绘画方法的流程示意图；
图2是本发明实施例中的基于机器人工作台的机器手素描绘画装置的结构组成示意图；
图3是本发明实施例中的机器人工作台的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
请参阅图1，图1是本发明实施例中的基于机器人工作台的机器手素描绘画方法的流程示意图。
如图1所示，一种基于机器人工作台的机器手素描绘画方法，所述机器人工作台包括工作平台、用于素描绘画的机械手、控制显示端和至少一个素描画板；所述机械手设置在所述工作平台上；至少一个素描画板设置在所述工作平台上，且在所述机械手工作范围内；所述控制显示端通过支架设置在工作平台上；所述方法包括：
S11：基于所述控制显示端获得待绘画图像信息，并对所述待绘画图像信息进行灰度化处理，获得灰度待绘画图像信息；
在本发明具体实施过程中，所述基于所述控制显示端获得待绘画图像信息，并对所述待绘画图像信息进行灰度化处理，获得灰度待绘画图像信息，包括：所述控制显示端基于内置摄像头采集或基于网络协议下载获得待绘画图像信息；基于像素加权平均对所述待绘画图像信息进行灰度化处理，获得灰度待绘画图像信息。
具体的，控制显示端上设置有相关用户采集图像的摄像头，并且该控制显示端与互联网相连接，即，该控制显示端可以通过内置摄像头采集待绘画图像信息或者通过网络协议的方式下载待绘画图像信息，因为该待绘画图像信息一般为彩色图像信息，需要对该待绘画图像信息进行灰度化处理，在本申请中，可以采用像素加权平均的方式对待绘画图像信息进行灰度化处理，即可得到灰度待绘画图像信息；从而方便后续素描。
S12：基于轮廓提取算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得素描轮廓图像；
在本发明具体实施过程中，所述基于轮廓提取算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得素描轮廓图像，包括：基于Sobel边缘检测算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得第一素描轮廓图像；基于拉普拉斯边缘检测算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得第二素描轮廓图像；基于Canny边缘检测算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得第三素描轮廓图像；基于预设加权融合比例将所述第一素描轮廓图像、所述第二素描轮廓图像和所述第三素描轮廓图像进行融合，形成素描轮廓图像。
进一步的，所述基于预设加权融合比例将所述第一素描轮廓图像、所述第二素描轮廓图像和所述第三素描轮廓图像进行融合，形成素描轮廓图像，包括：将所述第一素描轮廓图像、所述第二素描轮廓图像和所述第三素描轮廓图像分别进行轮廓图像矩阵构建处理，分别获得第一轮廓矩阵、第二轮廓矩阵和第三轮廓矩阵；基于预设加权融合比例将所述第一轮廓矩阵、所述第二轮廓矩阵和所述第三轮廓矩阵进行加权融合，形成加权融合矩阵；基于所述加权融合矩阵获得素描轮廓图像。
具体的，在得到灰度待绘画图像信息之后，需要进行素描轮廓提取处理，因此，需要通过轮廓提取算法来对灰度待绘画图像信息进行轮廓提取处理，从而得到素描轮廓图像；因为单一的轮廓提取算法存在均存在一些噪声，无法准确提取到准确的轮廓信息，因此在本申请中利用多种轮廓提取算法来进行轮廓提取处理，然后进行加权，最终确定素描轮廓图像；因此，通过Sobel边缘检测算法对灰度待绘画图像信息进行素描轮廓提取处理，获得第一素描轮廓图像；通过拉普拉斯边缘检测算法对灰度待绘画图像信息进行素描轮廓提取处理，获得第二素描轮廓图像；通过Canny边缘检测算法对灰度待绘画图像信息进行素描轮廓提取处理，获得第三素描轮廓图像；然后利用预设加权融合比例将第一素描轮廓图像、第二素描轮廓图像和第三素描轮廓图像进行融合，形成素描轮廓图像。
因为，Sobel边缘检测算法和Canny边缘检测算法在边缘检测上具有较高的检测识别度，但是拉普拉斯边缘检测算法为辅助性的边缘检测算法，因此，预设加权融合比例的设置为第一素描轮廓图像占0.4；第二素描轮廓图像占0.2；第三素描轮廓图像占0.4；并且可以根据后续用户的需求进而调整设置比例。
在进行融合时，首先需要将第一素描轮廓图像、第二素描轮廓图像和第三素描轮廓图像根据轮廓的像素，分部构建一个N*N的矩阵，即对应为第一轮廓矩阵、第二轮廓矩阵和第三轮廓矩阵；然后利用这三个矩阵和预设加权融合比例对应的比例进行加权融合，最终形成加权融合矩阵；在加权融合之后，加权融合矩阵中，每个元素占比大于0.5，即第一轮廓矩阵、第二轮廓矩阵和第三轮廓矩阵同一个元素，至少两个矩阵同时存在特征（元素值不为0），则该加权融合矩阵存在相关特征，即通过加权融合矩阵转化为图像，形成素描轮廓图像。
S13：基于所述素描轮廓图像对灰度待绘画图像信息进行聚类处理，获得若干个聚类中心，并基于若干个聚类中心形成若干个素描着色区域；
在本发明具体实施过程中，所述基于所述素描轮廓图像对灰度待绘画图像信息进行聚类处理，获得若干个聚类中心，包括：基于所述素描轮廓图像对所述灰度待绘画图像信息进行图像分割处理，获得分割灰度图像块；对所述分割灰度图像块内的灰度值进行聚类处理，获得所述分割灰度图像块内的若干个聚类中心。
进一步的，所述基于所述素描轮廓图像对所述灰度待绘画图像信息进行图像分割处理，获得分割灰度图像块，包括：对所述灰度待绘画图像信息按照所述素描轮廓图像的素描轮廓进行图像粗分割处理，获得第一分割灰度图像块；依次遍历所有的第一分割灰度图像块，并在遍历过程中，判断每一个的第一分割灰度图像块的像素面积是否大于预设像素面积；若大于时，则将大于预设像素面积的第一分割灰度图像块进行二次等面积分割处理，获得分割灰度图像块；若小于或等于时，则将小于或等于预设像素面积的第一分割灰度图像块作为分割灰度图像块。
进一步的，所述基于若干个聚类中心形成若干个素描着色区域，包括：计算若干个聚类中心中的每个聚类中心的像素平均值，并基于所述每个聚类中心的像素平均值获得每个聚类中心对应区域的素描着色；根据每个聚类中心对应区域的素描着色获得若干个素描着色区域。
具体的，首先需要根据素描轮廓图像来对灰度待绘画图像信息进行图像分割处理，并得到分割灰度图像块；然后对分割灰度图像块内的灰度值进行聚类处理，进而得到分割灰度图像块内的若干个聚类中心；最后通过分割灰度图像块内的若干个聚类中心形成若干个素描着色区域。
在进行分割时，对灰度待绘画图像信息按照素描轮廓图像的素描轮廓进行图像粗分割处理，然后得到第一分割灰度图像块；再然后依次遍历所有的第一分割灰度图像块，并在遍历过程中，判断每一个的第一分割灰度图像块的像素面积是否大于预设像素面积；若大于时，则将大于预设像素面积的第一分割灰度图像块进行二次等面积分割处理，并且最终的分割图像块需要小于等于预设像素面积，即可获得分割灰度图像块；若小于或等于时，则将小于或等于预设像素面积的第一分割灰度图像块作为分割灰度图像块。
在着色上，需要计算若干个聚类中心中的每个聚类中心的像素平均值，然后根据每个聚类中心的像素平均值来作为素描区域着色，即可获得每个聚类中心对应区域的素描着色；然后每个聚类中心对应区域的素描着色获得若干个素描着色区域。
S14：将所述素描轮廓图像和对应的若干个素描着色区域按照预设放缩比例生成控制所述机械手的素描绘画路径；
在本发明具体实施过程中，将素描轮廓图像和对应的若干个素描着色区域按照预设放缩比例映射至机器人工作台对应的素描画板上，然后将映射有素描轮廓图像和对应的若干个素描着色区域的素描画板耦合在机械手的坐标系中，然后在该坐标系中规划机械手素描绘画路径，生成控制所述机械手的素描绘画路径。
S15：基于所述素描绘画路径控制所述机械手在所述素描画板上进行素描绘画。
在本发明具体实施过程中，所述基于所述素描绘画路径控制所述机械手在所述素描画板上进行素描绘画之后，还包括：设置在所述机械手上的摄像头设备实时采集素描绘画结果，并将所述素描绘画结果与所述素描轮廓图像和对应的若干个素描着色区域进行校正匹配，并基于校正匹配结果更新所述机械手的素描绘画路径。
具体的，在机器人工作台根据素描绘画路径控制机械手在所述素描画板上进行素描绘画之后，通过设置在机械手上的摄像头设备实时采集素描绘画结果，并将素描绘画结果与素描轮廓图像和对应的若干个素描着色区域进行校正匹配，并通过校正匹配结果更新机械手的素描绘画路径；使得素描绘画精度更高。
在本发明实施例中，通过本发明给出的机器人工作台执行本发明中的实施例，可以快速的根据彩色图像的内容在对应的素描画板上进行素描绘画，降低素描绘画成本，同时可以在素描过程中在素描阴影着色，或者素描光暗变换着色，使得素描效果更好，因此且具有良好的使用体验。
实施例二
请参阅图2，图2是本发明实施例中的基于机器人工作台的机器手素描绘画装置的结构组成示意图。
如图2所示，一种基于机器人工作台的机器手素描绘画装置，所述机器人工作台包括工作平台、用于素描绘画的机械手、控制显示端和至少一个素描画板；所述机械手设置在所述工作平台上；至少一个素描画板设置在所述工作平台上，且在所述机械手工作范围内；所述控制显示端通过支架设置在工作平台上；所述装置包括：
灰度化处理模块21：用于基于所述控制显示端获得待绘画图像信息，并对所述待绘画图像信息进行灰度化处理，获得灰度待绘画图像信息；
如图1所示，一种基于机器人工作台的机器手素描绘画方法，所述机器人工作台包括工作平台、用于素描绘画的机械手、控制显示端和至少一个素描画板；所述机械手设置在所述工作平台上；至少一个素描画板设置在所述工作平台上，且在所述机械手工作范围内；所述控制显示端通过支架设置在工作平台上；所述方法包括：
S11：基于所述控制显示端获得待绘画图像信息，并对所述待绘画图像信息进行灰度化处理，获得灰度待绘画图像信息；
在本发明具体实施过程中，所述基于所述控制显示端获得待绘画图像信息，并对所述待绘画图像信息进行灰度化处理，获得灰度待绘画图像信息，包括：所述控制显示端基于内置摄像头采集或基于网络协议下载获得待绘画图像信息；基于像素加权平均对所述待绘画图像信息进行灰度化处理，获得灰度待绘画图像信息。
具体的，控制显示端上设置有相关用户采集图像的摄像头，并且该控制显示端与互联网相连接，即，该控制显示端可以通过内置摄像头采集待绘画图像信息或者通过网络协议的方式下载待绘画图像信息，因为该待绘画图像信息一般为彩色图像信息，需要对该待绘画图像信息进行灰度化处理，在本申请中，可以采用像素加权平均的方式对待绘画图像信息进行灰度化处理，即可得到灰度待绘画图像信息；从而方便后续素描。
轮廓提取模块22：用于基于轮廓提取算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得素描轮廓图像；
在本发明具体实施过程中，所述基于轮廓提取算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得素描轮廓图像，包括：基于Sobel边缘检测算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得第一素描轮廓图像；基于拉普拉斯边缘检测算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得第二素描轮廓图像；基于Canny边缘检测算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得第三素描轮廓图像；基于预设加权融合比例将所述第一素描轮廓图像、所述第二素描轮廓图像和所述第三素描轮廓图像进行融合，形成素描轮廓图像。
进一步的，所述基于预设加权融合比例将所述第一素描轮廓图像、所述第二素描轮廓图像和所述第三素描轮廓图像进行融合，形成素描轮廓图像，包括：将所述第一素描轮廓图像、所述第二素描轮廓图像和所述第三素描轮廓图像分别进行轮廓图像矩阵构建处理，分别获得第一轮廓矩阵、第二轮廓矩阵和第三轮廓矩阵；基于预设加权融合比例将所述第一轮廓矩阵、所述第二轮廓矩阵和所述第三轮廓矩阵进行加权融合，形成加权融合矩阵；基于所述加权融合矩阵获得素描轮廓图像。
具体的，在得到灰度待绘画图像信息之后，需要进行素描轮廓提取处理，因此，需要通过轮廓提取算法来对灰度待绘画图像信息进行轮廓提取处理，从而得到素描轮廓图像；因为单一的轮廓提取算法存在均存在一些噪声，无法准确提取到准确的轮廓信息，因此在本申请中利用多种轮廓提取算法来进行轮廓提取处理，然后进行加权，最终确定素描轮廓图像；因此，通过Sobel边缘检测算法对灰度待绘画图像信息进行素描轮廓提取处理，获得第一素描轮廓图像；通过拉普拉斯边缘检测算法对灰度待绘画图像信息进行素描轮廓提取处理，获得第二素描轮廓图像；通过Canny边缘检测算法对灰度待绘画图像信息进行素描轮廓提取处理，获得第三素描轮廓图像；然后利用预设加权融合比例将第一素描轮廓图像、第二素描轮廓图像和第三素描轮廓图像进行融合，形成素描轮廓图像。
因为，Sobel边缘检测算法和Canny边缘检测算法在边缘检测上具有较高的检测识别度，但是拉普拉斯边缘检测算法为辅助性的边缘检测算法，因此，预设加权融合比例的设置为第一素描轮廓图像占0.4；第二素描轮廓图像占0.2；第三素描轮廓图像占0.4；并且可以根据后续用户的需求进而调整设置比例。
在进行融合时，首先需要将第一素描轮廓图像、第二素描轮廓图像和第三素描轮廓图像根据轮廓的像素，分部构建一个N*N的矩阵，即对应为第一轮廓矩阵、第二轮廓矩阵和第三轮廓矩阵；然后利用这三个矩阵和预设加权融合比例对应的比例进行加权融合，最终形成加权融合矩阵；在加权融合之后，加权融合矩阵中，每个元素占比大于0.5，即第一轮廓矩阵、第二轮廓矩阵和第三轮廓矩阵同一个元素，至少两个矩阵同时存在特征（元素值不为0），则该加权融合矩阵存在相关特征，即通过加权融合矩阵转化为图像，形成素描轮廓图像。
聚类模块23：用于基于所述素描轮廓图像对灰度待绘画图像信息进行聚类处理，获得若干个聚类中心，并基于若干个聚类中心形成若干个素描着色区域；
在本发明具体实施过程中，所述基于所述素描轮廓图像对灰度待绘画图像信息进行聚类处理，获得若干个聚类中心，包括：基于所述素描轮廓图像对所述灰度待绘画图像信息进行图像分割处理，获得分割灰度图像块；对所述分割灰度图像块内的灰度值进行聚类处理，获得所述分割灰度图像块内的若干个聚类中心。
进一步的，所述基于所述素描轮廓图像对所述灰度待绘画图像信息进行图像分割处理，获得分割灰度图像块，包括：对所述灰度待绘画图像信息按照所述素描轮廓图像的素描轮廓进行图像粗分割处理，获得第一分割灰度图像块；依次遍历所有的第一分割灰度图像块，并在遍历过程中，判断每一个的第一分割灰度图像块的像素面积是否大于预设像素面积；若大于时，则将大于预设像素面积的第一分割灰度图像块进行二次等面积分割处理，获得分割灰度图像块；若小于或等于时，则将小于或等于预设像素面积的第一分割灰度图像块作为分割灰度图像块。
进一步的，所述基于若干个聚类中心形成若干个素描着色区域，包括：计算若干个聚类中心中的每个聚类中心的像素平均值，并基于所述每个聚类中心的像素平均值获得每个聚类中心对应区域的素描着色；根据每个聚类中心对应区域的素描着色获得若干个素描着色区域。
具体的，首先需要根据素描轮廓图像来对灰度待绘画图像信息进行图像分割处理，并得到分割灰度图像块；然后对分割灰度图像块内的灰度值进行聚类处理，进而得到分割灰度图像块内的若干个聚类中心；最后通过分割灰度图像块内的若干个聚类中心形成若干个素描着色区域。
在进行分割时，对灰度待绘画图像信息按照素描轮廓图像的素描轮廓进行图像粗分割处理，然后得到第一分割灰度图像块；再然后依次遍历所有的第一分割灰度图像块，并在遍历过程中，判断每一个的第一分割灰度图像块的像素面积是否大于预设像素面积；若大于时，则将大于预设像素面积的第一分割灰度图像块进行二次等面积分割处理，并且最终的分割图像块需要小于等于预设像素面积，即可获得分割灰度图像块；若小于或等于时，则将小于或等于预设像素面积的第一分割灰度图像块作为分割灰度图像块。
在着色上，需要计算若干个聚类中心中的每个聚类中心的像素平均值，然后根据每个聚类中心的像素平均值来作为素描区域着色，即可获得每个聚类中心对应区域的素描着色；然后每个聚类中心对应区域的素描着色获得若干个素描着色区域。
路径规划模块24：用于将所述素描轮廓图像和对应的若干个素描着色区域按照预设放缩比例生成控制所述机械手的素描绘画路径；
在本发明具体实施过程中，将素描轮廓图像和对应的若干个素描着色区域按照预设放缩比例映射至机器人工作台对应的素描画板上，然后将映射有素描轮廓图像和对应的若干个素描着色区域的素描画板耦合在机械手的坐标系中，然后在该坐标系中规划机械手素描绘画路径，生成控制所述机械手的素描绘画路径。
素描绘画模块25：用于基于所述素描绘画路径控制所述机械手在所述素描画板上进行素描绘画。
在本发明具体实施过程中，所述基于所述素描绘画路径控制所述机械手在所述素描画板上进行素描绘画之后，还包括：设置在所述机械手上的摄像头设备实时采集素描绘画结果，并将所述素描绘画结果与所述素描轮廓图像和对应的若干个素描着色区域进行校正匹配，并基于校正匹配结果更新所述机械手的素描绘画路径。
具体的，在机器人工作台根据素描绘画路径控制机械手在所述素描画板上进行素描绘画之后，通过设置在机械手上的摄像头设备实时采集素描绘画结果，并将素描绘画结果与素描轮廓图像和对应的若干个素描着色区域进行校正匹配，并通过校正匹配结果更新机械手的素描绘画路径；使得素描绘画精度更高。
在本发明实施例中，通过本发明给出的机器人工作台执行本发明中的实施例，可以快速的根据彩色图像的内容在对应的素描画板上进行素描绘画，降低素描绘画成本，同时可以在素描过程中在素描阴影着色，或者素描光暗变换着色，使得素描效果更好，因此且具有良好的使用体验。
实施例三
请参阅图3，图3是本发明实施例中的机器人工作台的结构组成示意图。
如图3所示，一种机器人工作台，所述机器人工作台包括工作平台31、用于素描绘画的机械手32、控制显示端34和至少一个素描画板33；所述机械手32设置在所述工作平台31上；至少一个素描画板33设置在所述工作平台31上，且在所述机械手32工作范围内；所述控制显示端34通过支架设置在工作平台31上；其中，所述机器人工作台被配置为执行上述任意一项所述的机器手素描绘画方法。
在此，机器人工作台执行机器手素描绘画方法的具体实施例在此不再赘述，请参详上述实施例。
在本发明实施例中，通过本发明给出的机器人工作台执行本发明中的实施例，可以快速的根据彩色图像的内容在对应的素描画板上进行素描绘画，降低素描绘画成本，同时可以在素描过程中在素描阴影着色，或者素描光暗变换着色，使得素描效果更好，因此且具有良好的使用体验。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，ReadOnly Memory）、随机存取存储器（RAM，Random AccessMemory）、磁盘或光盘等。
另外，以上对本发明实施例所提供的进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于机器人工作台的机器手素描绘画方法，其特征在于，所述机器人工作台包括工作平台、用于素描绘画的机械手、控制显示端和至少一个素描画板；所述机械手设置在所述工作平台上；至少一个素描画板设置在所述工作平台上，且在所述机械手工作范围内；所述控制显示端通过支架设置在工作平台上；所述方法包括：
基于所述控制显示端获得待绘画图像信息，并对所述待绘画图像信息进行灰度化处理，获得灰度待绘画图像信息；
基于轮廓提取算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得素描轮廓图像；
基于所述素描轮廓图像对灰度待绘画图像信息进行聚类处理，获得若干个聚类中心，并基于若干个聚类中心形成若干个素描着色区域；
将所述素描轮廓图像和对应的若干个素描着色区域按照预设放缩比例生成控制所述机械手的素描绘画路径；
基于所述素描绘画路径控制所述机械手在所述素描画板上进行素描绘画。
2.根据权利要求1所述的机器手素描绘画方法，其特征在于，所述基于所述控制显示端获得待绘画图像信息，并对所述待绘画图像信息进行灰度化处理，获得灰度待绘画图像信息，包括：
所述控制显示端基于内置摄像头采集或基于网络协议下载获得待绘画图像信息；
基于像素加权平均对所述待绘画图像信息进行灰度化处理，获得灰度待绘画图像信息。
3.根据权利要求1所述的机器手素描绘画方法，其特征在于，所述基于轮廓提取算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得素描轮廓图像，包括：
基于Sobel边缘检测算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得第一素描轮廓图像；
基于拉普拉斯边缘检测算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得第二素描轮廓图像；
基于Canny边缘检测算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得第三素描轮廓图像；
基于预设加权融合比例将所述第一素描轮廓图像、所述第二素描轮廓图像和所述第三素描轮廓图像进行融合，形成素描轮廓图像。
4.根据权利要求3所述的机器手素描绘画方法，其特征在于，所述基于预设加权融合比例将所述第一素描轮廓图像、所述第二素描轮廓图像和所述第三素描轮廓图像进行融合，形成素描轮廓图像，包括：
将所述第一素描轮廓图像、所述第二素描轮廓图像和所述第三素描轮廓图像分别进行轮廓图像矩阵构建处理，分别获得第一轮廓矩阵、第二轮廓矩阵和第三轮廓矩阵；
基于预设加权融合比例将所述第一轮廓矩阵、所述第二轮廓矩阵和所述第三轮廓矩阵进行加权融合，形成加权融合矩阵；
基于所述加权融合矩阵获得素描轮廓图像。
5.根据权利要求1所述的机器手素描绘画方法，其特征在于，所述基于所述素描轮廓图像对灰度待绘画图像信息进行聚类处理，获得若干个聚类中心，包括：
基于所述素描轮廓图像对所述灰度待绘画图像信息进行图像分割处理，获得分割灰度图像块；
对所述分割灰度图像块内的灰度值进行聚类处理，获得所述分割灰度图像块内的若干个聚类中心。
6.根据权利要求5所述的机器手素描绘画方法，其特征在于，所述基于所述素描轮廓图像对所述灰度待绘画图像信息进行图像分割处理，获得分割灰度图像块，包括：
对所述灰度待绘画图像信息按照所述素描轮廓图像的素描轮廓进行图像粗分割处理，获得第一分割灰度图像块；
依次遍历所有的第一分割灰度图像块，并在遍历过程中，判断每一个的第一分割灰度图像块的像素面积是否大于预设像素面积；
若大于时，则将大于预设像素面积的第一分割灰度图像块进行二次等面积分割处理，获得分割灰度图像块；
若小于或等于时，则将小于或等于预设像素面积的第一分割灰度图像块作为分割灰度图像块。
7.根据权利要求1所述的机器手素描绘画方法，其特征在于，所述基于若干个聚类中心形成若干个素描着色区域，包括：
计算若干个聚类中心中的每个聚类中心的像素平均值，并基于所述每个聚类中心的像素平均值获得每个聚类中心对应区域的素描着色；
根据每个聚类中心对应区域的素描着色获得若干个素描着色区域。
8.根据权利要求1所述的机器手素描绘画方法，其特征在于，所述基于所述素描绘画路径控制所述机械手在所述素描画板上进行素描绘画之后，还包括：
设置在所述机械手上的摄像头设备实时采集素描绘画结果，并将所述素描绘画结果与所述素描轮廓图像和对应的若干个素描着色区域进行校正匹配，并基于校正匹配结果更新所述机械手的素描绘画路径。
9.一种基于机器人工作台的机器手素描绘画装置，其特征在于，所述机器人工作台包括工作平台、用于素描绘画的机械手、控制显示端和至少一个素描画板；所述机械手设置在所述工作平台上；至少一个素描画板设置在所述工作平台上，且在所述机械手工作范围内；所述控制显示端通过支架设置在工作平台上；所述装置包括：
灰度化处理模块：用于基于所述控制显示端获得待绘画图像信息，并对所述待绘画图像信息进行灰度化处理，获得灰度待绘画图像信息；
轮廓提取模块：用于基于轮廓提取算法对所述灰度待绘画图像信息进行素描轮廓提取处理，获得素描轮廓图像；
聚类模块：用于基于所述素描轮廓图像对灰度待绘画图像信息进行聚类处理，获得若干个聚类中心，并基于若干个聚类中心形成若干个素描着色区域；
路径规划模块：用于将所述素描轮廓图像和对应的若干个素描着色区域按照预设放缩比例生成控制所述机械手的素描绘画路径；
素描绘画模块：用于基于所述素描绘画路径控制所述机械手在所述素描画板上进行素描绘画。
10.一种机器人工作台，其特征在于，所述机器人工作台包括工作平台、用于素描绘画的机械手、控制显示端和至少一个素描画板；所述机械手设置在所述工作平台上；至少一个素描画板设置在所述工作平台上，且在所述机械手工作范围内；所述控制显示端通过支架设置在工作平台上；其中，所述机器人工作台被配置为执行权利要求1-8任意一项所述的机器手素描绘画方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110878059.0A CN113326819B (zh) | 2021-08-02 | 2021-08-02 | 机器手素描绘画方法、装置及机器人工作台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110878059.0A CN113326819B (zh) | 2021-08-02 | 2021-08-02 | 机器手素描绘画方法、装置及机器人工作台 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113326819A true CN113326819A (zh) | 2021-08-31 |
| CN113326819B CN113326819B (zh) | 2021-11-05 |
Family
ID=77426702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110878059.0A Active CN113326819B (zh) | 2021-08-02 | 2021-08-02 | 机器手素描绘画方法、装置及机器人工作台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113326819B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984316A (zh) * | 2023-03-20 | 2023-04-18 | 东莞市兆丰精密仪器有限公司 | 一种复杂环境的工业图像边缘提取方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014113179A1 (de) * | 2014-01-28 | 2015-07-30 | Kastanienbaum GmbH | Verfahren zum Ermitteln von representativen Punkten, die Kanten und Ecken eines 3D-Objekts angeben |
| US20160350589A1 (en) * | 2015-05-27 | 2016-12-01 | Hsien-Hsiang Chiu | Gesture Interface Robot |
| CN108482000A (zh) * | 2018-05-25 | 2018-09-04 | 北京科技大学 | 一种绘画机器人系统 |
| CN109523603A (zh) * | 2018-10-24 | 2019-03-26 | 广东智媒云图科技股份有限公司 | 一种基于皴法风格的绘画方法、装置、终端设备及存储介质 |
| CN109741418A (zh) * | 2018-11-20 | 2019-05-10 | 广东智媒云图科技股份有限公司 | 一种低多边形风格绘画获取方法及装置 |
| CN110570480A (zh) * | 2019-07-19 | 2019-12-13 | 广东智媒云图科技股份有限公司 | 一种绘画机器人素描绘画方法、电子设备、存储介质 |
| CN111016515A (zh) * | 2019-12-19 | 2020-04-17 | 广东智媒云图科技股份有限公司 | 一种通过机器人自动绘画的方法、自动刺绣的方法及装置 |
| CN112192563A (zh) * | 2020-08-28 | 2021-01-08 | 珠海市一微半导体有限公司 | 智能绘画机器人的绘画控制方法、芯片及智能绘画机器人 |
-
2021
- 2021-08-02 CN CN202110878059.0A patent/CN113326819B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102014113179A1 (de) * | 2014-01-28 | 2015-07-30 | Kastanienbaum GmbH | Verfahren zum Ermitteln von representativen Punkten, die Kanten und Ecken eines 3D-Objekts angeben |
| US20160350589A1 (en) * | 2015-05-27 | 2016-12-01 | Hsien-Hsiang Chiu | Gesture Interface Robot |
| CN108482000A (zh) * | 2018-05-25 | 2018-09-04 | 北京科技大学 | 一种绘画机器人系统 |
| CN109523603A (zh) * | 2018-10-24 | 2019-03-26 | 广东智媒云图科技股份有限公司 | 一种基于皴法风格的绘画方法、装置、终端设备及存储介质 |
| CN109741418A (zh) * | 2018-11-20 | 2019-05-10 | 广东智媒云图科技股份有限公司 | 一种低多边形风格绘画获取方法及装置 |
| CN110570480A (zh) * | 2019-07-19 | 2019-12-13 | 广东智媒云图科技股份有限公司 | 一种绘画机器人素描绘画方法、电子设备、存储介质 |
| CN111016515A (zh) * | 2019-12-19 | 2020-04-17 | 广东智媒云图科技股份有限公司 | 一种通过机器人自动绘画的方法、自动刺绣的方法及装置 |
| CN112192563A (zh) * | 2020-08-28 | 2021-01-08 | 珠海市一微半导体有限公司 | 智能绘画机器人的绘画控制方法、芯片及智能绘画机器人 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984316A (zh) * | 2023-03-20 | 2023-04-18 | 东莞市兆丰精密仪器有限公司 | 一种复杂环境的工业图像边缘提取方法及装置 |
| CN115984316B (zh) * | 2023-03-20 | 2023-07-21 | 东莞市兆丰精密仪器有限公司 | 一种复杂环境的工业图像边缘提取方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113326819B (zh) | 2021-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109409366B (zh) | 基于角点检测的畸变图像校正方法及装置 | |
| CN108381549B (zh) | 一种双目视觉引导机器人快速抓取方法、装置及存储介质 | |
| CN106599028B (zh) | 一种基于视频图像处理的书本内容搜索匹配方法 | |
| CN110969046B (zh) | 人脸识别方法、设备及计算机可读存储介质 | |
| CN112991374B (zh) | 基于Canny算法的边缘增强方法、装置、设备及存储介质 | |
| CN114155546A (zh) | 一种图像矫正方法、装置、电子设备和存储介质 | |
| CN110443245A (zh) | 一种非限制场景下的车牌区域的定位方法、装置及设备 | |
| CN113326819B (zh) | 机器手素描绘画方法、装置及机器人工作台 | |
| CN110599586A (zh) | 一种半稠密场景重建方法、装置、电子设备及存储介质 | |
| CN105701496B (zh) | 一种基于人工智能技术的围棋盘面识别方法 | |
| CN114049499A (zh) | 用于连续轮廓的目标对象检测方法、设备及存储介质 | |
| CN114782286A (zh) | 缺陷修复方法、光学修复设备、电子设备及存储介质 | |
| CN115810133A (zh) | 基于图像处理和点云处理的焊接控制方法及相关设备 | |
| CN114842335B (zh) | 用于建筑机器人的开槽目标识别方法及系统 | |
| CN116596903A (zh) | 缺陷识别方法、装置、电子设备及可读存储介质 | |
| CN113850238B (zh) | 文档检测方法、装置、电子设备及存储介质 | |
| CN114862963A (zh) | 贴合定位方法、装置、设备及存储介质 | |
| CN113592907A (zh) | 基于光流的视觉伺服跟踪方法及装置 | |
| CN111914857A (zh) | 板材余料的排样方法、装置、系统、电子设备及存储介质 | |
| CN113763400A (zh) | 一种机器人视觉导引方法、装置、设备及存储介质 | |
| CN112529928A (zh) | 零件组装检测方法、计算机设备及存储介质 | |
| CN110796050A (zh) | 一种无人机巡检过程中目标物体的识别方法及相关装置 | |
| CN114092696A (zh) | 图像分割方法、装置、电子设备及存储介质 | |
| CN115409890B (zh) | 基于msr和广义霍夫变换的自定义标志检测方法及系统 | |
| CN110796602B (zh) | 一种用于降低图像透视变换后失真的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |