CN113688897B - 一种共享单车全自动拆卸方法、智能终端及存储介质 - Google Patents

一种共享单车全自动拆卸方法、智能终端及存储介质 Download PDF

Info

Publication number
CN113688897B
CN113688897B CN202110961386.2A CN202110961386A CN113688897B CN 113688897 B CN113688897 B CN 113688897B CN 202110961386 A CN202110961386 A CN 202110961386A CN 113688897 B CN113688897 B CN 113688897B
Authority
CN
China
Prior art keywords
image
disassembled
robot
checkerboard
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110961386.2A
Other languages
English (en)
Other versions
CN113688897A (zh
Inventor
张坛
张政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Technology University
Original Assignee
Shenzhen Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Technology University filed Critical Shenzhen Technology University
Priority to CN202110961386.2A priority Critical patent/CN113688897B/zh
Publication of CN113688897A publication Critical patent/CN113688897A/zh
Application granted granted Critical
Publication of CN113688897B publication Critical patent/CN113688897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/50—Reuse, recycling or recovery technologies
    • Y02W30/56—Reuse, recycling or recovery technologies of vehicles

Abstract

本发明公开了一种共享单车全自动拆卸方法、智能终端及存储介质，包括：获取待拆卸共享单车对应的待识别图像，将待识别图像输入图像识别模型，通过图像识别模型输出待拆卸共享单车中各个待拆卸部件对应的类别信息和图像位置信息；根据图像位置信息以及预先确定的相机到机器人末端的转换矩阵，确定各个待拆卸部件对应的目标位置；根据类别信息和目标位置，控制机器人对各个待拆卸部件进行拆卸。本发明根据图像识别模型输出的类别信息和图像位置信息，控制机器人对各个待拆卸部件进行拆卸，可以精确识别待拆卸部件的类别信息并精确定位位置信息，实现共享单车的自动分类拆卸与共享单车零件的循环利用，解决人工暴力拆卸造成的资源浪费问题。

Description

一种共享单车全自动拆卸方法、智能终端及存储介质
技术领域
本发明涉及机器识别技术领域，尤其涉及的是一种共享单车全自动拆卸方法、智能终端及存储介质。
背景技术
共享单车具有自由度高、价格低、低碳环保等优点，使用频度较高颇受年轻人青睐。共享单车给人们带来极大便利的同时，由于大量投放以及各种人为因素的破坏，每年都有上千万量共享单车面临报废，为解决破旧共享单车乱停乱放问题，现有方法是将回收的共享单车经过暴力拆卸后当做废品处理，这种处理方式会造成极大的资源浪费。
因此，现有技术还有待改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种共享单车全自动拆卸方法、智能终端及存储介质，旨在解决现有人工暴力拆卸共享单车的方式造成极大的资源浪费的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种共享单车全自动拆卸方法，其中，应用于与相机和机器人连接的智能终端，所述方法包括：
获取待拆卸共享单车对应的待识别图像，将所述待识别图像输入图像识别模型，通过所述图像识别模型输出所述待拆卸共享单车中各个待拆卸部件对应的类别信息和图像位置信息；
根据所述图像位置信息以及预先确定的相机到机器人末端的转换矩阵，确定所述各个待拆卸部件对应的目标位置；
根据所述类别信息和所述目标位置，控制机器人对所述各个待拆卸部件进行拆卸，以实现所述待拆卸共享单车的全自动拆卸。
所述的共享单车全自动拆卸方法，其中，所述图像识别模型的生成方法包括：
将训练图像集中的训练图像输入预设网络模型中，通过所述预设网络模型输出所述训练图像中各部件对应的预测属性标签；其中，所述训练图像集中包括训练图像和所述训练图像中各部件对应的真实属性标签，所述真实属性标签包括真实类别信息和真实图像位置信息，所述预测属性标签包括预测类别信息和预测图像位置信息；
根据所述预测属性标签和所述真实属性标签对所述预设网络模型的模型参数进行更新，并继续执行通过所述预设网络模型输出所述训练图像中各部件对应的预测属性标签的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到图像识别模型。
所述的共享单车全自动拆卸方法，其中，所述根据所述图像位置信息以及预先确定的相机到机器人末端的转换矩阵，确定所述各个待拆卸部件对应的目标位置的步骤包括：
根据所述图像位置信息，确定所述各个待拆卸部件对应的中心位置坐标；
根据预先确定的相机到机器人末端的转换矩阵对所述中心位置坐标进行坐标变换，确定所述各个待拆卸部件对应的目标位置。
所述的共享单车全自动拆卸方法，其中，所述根据所述图像位置信息，确定所述各个待拆卸部件对应的中心位置坐标的步骤包括：
根据所述图像位置信息，确定所述各个待拆卸部件对应的最小外接矩形；
获取所述各个待拆卸部件对应的最小外接矩形的中心点坐标，并将所述中心点坐标确定为所述各个待拆卸部件对应的中心位置坐标。
所述的共享单车全自动拆卸方法，其中，所述相机到机器人末端的转换矩阵的确定方法包括：
获取预先设计的棋盘格，根据所述棋盘格确定所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标；
根据所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标，确定相机到机器人末端的转换矩阵。
所述的共享单车全自动拆卸方法，其中，所述根据所述棋盘格确定所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标的步骤包括：
根据所述棋盘格对相机进行标定，确定所述相机的内外参数以及畸变系数；
获取所述棋盘格中各个角点的图像坐标，根据所述相机的内外参数以及畸变系数对所述图像坐标进行坐标变换，确定所述棋盘格中各个角点在相机坐标系下的坐标。
所述的共享单车全自动拆卸方法，其中，所述根据所述棋盘格确定所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标的步骤还包括：
根据所述棋盘格，确定棋盘格坐标系到机器人末端坐标系的转换矩阵和所述棋盘格中各个角点在棋盘格坐标系下的坐标；
根据棋盘格坐标系到机器人末端坐标系的转换矩阵和所述棋盘格中各个角点在棋盘格坐标系下的坐标，确定所述棋盘格中各个角点在机器人基座坐标系下的坐标。
所述的共享单车全自动拆卸方法，其中，根据所述类别信息和所述目标位置，控制机器人对所述各个待拆卸部件进行拆卸，以实现所述待拆卸共享单车的全自动拆卸的步骤包括：
根据所述类别信息以及预先设置的类别信息与拆卸信息的对应关系，确定所述各个待拆卸部件对应的拆卸信息；
控制机器人末端移动到所述目标位置，并控制机器人按照所述拆卸信息对所述各个待拆卸部件进行拆卸，以实现所述待拆卸共享单车的全自动拆卸。
第二方面，本发明实施例还提供一种共享单车全自动拆卸装置，其中，所述装置包括：
图像识别模块，用于获取待拆卸共享单车对应的待识别图像，将所述待识别图像输入图像识别模型，通过所述图像识别模型输出所述待拆卸共享单车中各个待拆卸部件对应的类别信息和图像位置信息；
目标定位模块，用于根据所述图像位置信息以及预先确定的相机到机器人末端的转换矩阵，确定所述各个待拆卸部件对应的目标位置；
部件拆卸模块，用于根据所述类别信息和所述目标位置，控制机器人对所述各个待拆卸部件进行拆卸，以实现所述待拆卸共享单车的全自动拆卸。
第三方面，本发明实施例提供一种智能终端，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述所述的共享单车全自动拆卸方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有多条指令，其中，所述指令适于由处理器加载并执行，以执行实现上述所述的共享单车全自动拆卸方法的步骤。
本发明的有益效果：本发明实施例首先获取待拆卸共享单车对应的待识别图像，将所述待识别图像输入图像识别模型，通过所述图像识别模型输出所述待拆卸共享单车中各个待拆卸部件对应的类别信息和图像位置信息，然后根据所述图像位置信息以及预先确定的相机到机器人末端的转换矩阵，确定所述各个待拆卸部件对应的目标位置，最后根据所述类别信息和所述目标位置，控制机器人对所述各个待拆卸部件进行拆卸，以实现所述待拆卸共享单车的全自动拆卸，因此，通过图像识别模型输出类别信息及图像位置信息，并根据类别信息以及目标位置控制机器人对待拆卸共享单车的各个待拆卸部件进行拆卸，可以精确识别待拆卸部件的类别信息并精确定位待拆卸部件的位置信息，实现共享单车的自动分类拆卸与共享单车零件的循环利用，解决人工暴力拆卸造成的资源浪费问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的共享单车全自动拆卸方法的流程示意图；
图2是本发明实施例提供的共享单车全自动拆卸装置的原理框图；
图3是本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
共享单车相比传统单车租赁具有如下优点：首先，共享单车无需停在专门的停车桩上，可以大多数区域即停即走，具有较高的使用自由度；其次，共享单车相比传统租赁下几元甚至景区几十元的价格更具优势；另外，共享单车符合当前低碳环保、绿色出行的潮流。这些优点使得共享单车有望满足日常高频使用需求，并成为年轻人的出行新风尚。
但是，共享单车给人们带来极大便利的同时，由于大量投放以及各种人为因素的破坏，每年都有上千万量共享单车面临报废，为解决破旧共享单车乱停乱放问题，现有方法是将回收的共享单车经过人工暴力拆卸后当做废品处理，而共享单车上部分铝合金、塑料、钢铁等是可利用的资料，这种处理方式会造成极大的资源浪费。
为了解决现有技术的问题，本实施例提供了一种共享单车全自动拆卸方法，通过所述方法可以精确识别待拆卸部件的类别信息并精确定位待拆卸部件的位置信息，实现共享单车的自动分类拆卸与共享单车零件的循环利用，解决人工暴力拆卸造成的资源浪费问题。具体实施时，首先获取待拆卸共享单车对应的待识别图像，将所述待识别图像输入图像识别模型，通过所述图像识别模型输出所述待拆卸共享单车中各个待拆卸部件对应的类别信息和图像位置信息，然后，根据所述图像位置信息以及预先确定的相机到机器人末端的转换矩阵，确定所述各个待拆卸部件对应的目标位置，最后，根据所述类别信息和所述目标位置，控制机器人对所述各个待拆卸部件进行拆卸，以实现所述待拆卸共享单车的全自动拆卸，因此，通过图像识别模型输出待拆卸共享单车中各个待拆卸部件的类别信息及图像位置信息，并根据类别信息和目标位置控制机器人对各个待拆卸部件进行拆卸，可以精确识别待拆卸部件的类别信息并精确定位待拆卸部件的位置信息，实现共享单车的自动分类拆卸与共享单车零件的循环利用。
示例性方法
本实施例提供一种共享单车全自动拆卸方法，该方法可以应用于与相机和机器人连接的智能终端。具体如图1中所示，所述方法包括：
步骤S100、获取待拆卸共享单车对应的待识别图像，将所述待识别图像输入图像识别模型，通过所述图像识别模型输出所述待拆卸共享单车中各个待拆卸部件对应的类别信息和图像位置信息。
具体地，所述待识别图像通过工业相机对待拆卸共享单车进行拍照获得，所述待拆卸共享单车包括若干待拆卸部件，如螺母、螺钉、螺栓等，所述工业相机的像素高达200万，并能够以每秒15帧的速度采集待识别图像，所述工业相机与智能终端通过网线建立连接，然后利用UDP/IP协议，创建SOCKET通信，实现应用层到应用层之间的数据传输，当工业相机对待拆卸共享单车进行拍照获得待识别图像后，将待识别图像传输至智能终端。
所述类别信息为各个待拆卸部件所属的类别，例如待拆卸部件属于螺母、螺栓或螺钉等，所述图像位置信息为各个待拆卸部件在所述待识别图像上的二维图像坐标，所述类别信息和所述位置信息通过图像识别模型对待识别图像进行识别和定位得到，相应的，获取所述各个待拆卸部件对应的类别信息和图像位置信息的步骤具体可以为：将所述待识别图像输入图像识别模型，通过所述图像识别模型输出所述待拆卸共享单车中各个待拆卸部件对应的类别信息和图像位置信息。其中，所述图像识别模型包括基础的卷积神经网络和联结的回归分类网络，如卷积层、激活层、池化层等一些核心主干层。
在一具体实施方式中，步骤S100中所述图像识别模型的生成方法包括：
步骤S110、将训练图像集中的训练图像输入预设网络模型中，通过所述预设网络模型输出所述训练图像中各部件对应的预测属性标签；其中，所述训练图像集中包括训练图像和所述训练图像中各部件对应的真实属性标签，所述真实属性标签包括真实类别信息和真实图像位置信息，所述预测属性标签包括预测类别信息和预测图像位置信息。
步骤S120、根据所述预测属性标签和所述真实属性标签对所述预设网络模型的模型参数进行更新，并继续执行通过所述预设网络模型输出所述训练图像中各部件对应的预测属性标签的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到图像识别模型。
具体地，所述训练图像集中包括训练图像和所述训练图像中各部件对应的真实属性标签，所述若干训练图像通过工业相机对不同种类的部件进行拍照得到，为了提高所述图像识别模型识别和定位准确性，在采集所述训练图像集时，通过改变工业相机和部件的相对位置，以及通过不同的光照、明暗、远近、图像分辨率模拟不同工业背景环境，来增加所述训练图像集的鲁棒性。所述真实属性标签包括所述训练图像中各部件对应的真实类别信息和真实图像位置信息。
本实施例中预先使用深度学习算法构建网络模型，所述网络模型与所述图像识别模型结构相同，包括基础的卷积神经网络和联结的回归分类网络，如卷积层、激活层、池化层等一些核心主干层。获取到训练图像集后，通过深度学习算法对网络模型进行训练，训练过程中包括对训练轮次、训练批次等属性的设置，其中，所述网络模型的训练过程具体包括：将训练图像集中的训练图像输入预设网络模型中，通过所述预设网络模型输出所述训练图像中各部件对应的预测属性标签，与所述真实属性标签类似，所述预测属性标签包括预测类别信息和预测图像位置信息；然后根据所述预测属性标签和所述真实属性标签对所述预设网络模型的模型参数进行更新，直至所述预设网络模型的训练情况满足预设条件，以得到图像识别模型。
在一具体实施方式中，步骤S120中所述根据所述预测属性标签和所述真实属性标签对所述预设网络模型的模型参数进行更新，并继续执行通过所述预设网络模型输出所述训练图像中各部件对应的预测属性标签的步骤，直至所述预设网络模型的训练情况满足预设条件的步骤包括：
步骤S121、根据所述预测属性标签和所述真实属性标签确定损失值，并将所述损失值与预设阈值进行比较；
步骤S122、当所述损失值不小于所述预设阈值时，根据预设的参数学习率对所述预设网络模型的模型参数进行更新，并继续执行通过所述预设网络模型输出所述训练图像中各部件对应的预测属性标签的步骤，直至所述预设网络模型的训练情况满足预设条件。
具体地，本实施例中预先设置用于判断预设网络模型的训练情况是否满足预设条件的阈值，获取到预测属性标签后，根据预测属性标签和真实属性标签确定损失值。一般损失值越小，则表明网络模型的性能越优，获取损失值后，进一步判断损失值是否小于预设阈值；若是，则表明预设网络模型的训练情况满足预设条件；若否，则说明预设网络模型的训练情况不满足预设条件，则根据预设的参数学习率对预设网络模型的模型参数进行更新，并继续执行通过所述预设网络模型输出所述训练图像中各部件对应的预测属性标签的步骤，在网络模型的训练过程中，可以通过tensorboard进行后台实时监控，审查网络训练情况，当所述损失值趋于平稳并小于预设阈值时，网络模型训练完成。
步骤S200、根据所述图像位置信息以及预先确定的相机到机器人末端的转换矩阵，确定所述各个待拆卸部件对应的目标位置。
由于图像识别模型输出的各个待拆卸部件对应的图像位置信息为各个待拆卸部件在待识别图像上的二维图像坐标，为了方便机器人对待拆卸部件进行自动拆卸，还需要将图像位置信息转化为机器人末端坐标系下的目标位置。本实施例获取到各个待拆卸部件对应的图像位置信息后，进一步通过预先确定的相机到机器人末端的转换矩阵对所述图像位置信息进行坐标变换，得到各个待拆卸部件对应的目标位置。
在一具体实施方式中，步骤S200具体包括：
步骤S210、根据所述图像位置信息，确定所述各个待拆卸部件对应的中心位置坐标；
步骤S220、根据预先确定的相机到机器人末端的转换矩阵对所述中心位置坐标进行坐标变换，确定所述各个待拆卸部件对应的目标位置。
具体地，本实施例获取到待拆卸部件对应的图像位置信息后，根据所述图像位置信息，确定各个待拆卸部件对应的中心位置坐标，然后根据预先确定的相机到机器人末端的转换矩阵对所述中心位置坐标进行坐标变换，确定各个待拆卸部件对应的目标位置。
在一具体实施方式中，步骤S210具体包括：
步骤S211、根据所述图像位置信息，确定所述各个待拆卸部件对应的最小外接矩形；
步骤S212、获取所述各个待拆卸部件对应的最小外接矩形的中心点坐标，并将所述中心点坐标确定为所述各个待拆卸部件对应的中心位置坐标。
在一具体实施方式中，各个待拆卸部件对应的中心位置坐标为各个待拆卸部件对应的最小外接矩形的中心点坐标，本实施例获取各个待拆卸部件对应的图像位置信息后，从各个待拆卸部件对应的图像位置信息中选择最大和最小的横纵坐标作为边界框，确定各个待拆卸部件对应的最小外接矩形，然后获取各个待拆卸部件对应的最小外接矩形的中心点坐标，并将所述中心点坐标确定为各个待拆卸部件对应的中心位置坐标。
在一具体实施方式中，步骤S200中所述相机到机器人末端的转换矩阵的确定方法包括：
步骤M210、获取预先设计的棋盘格，根据所述棋盘格确定所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标；
步骤M220、根据所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标，确定相机到机器人末端的转换矩阵。
具体地，相机标定是机器人视觉中非常重要的一步，可以帮助机器人转换识别到的视觉信息，从而完成后续的共享单车拆卸，本实施例在确定相机到机器人末端的转换矩阵时，采用预先设计的棋盘格，根据所述棋盘格确定所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标，然后根据所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标，确定相机到机器人末端的转换矩阵。其中，相机到机器人末端的转换矩阵的计算公式为endTcamera＝(baseTend)-1baseP(cameraP)-1，其中，endTcamera为相机到机器人末端的转换矩阵，baseTend为机器人末端到基座坐标系的转换矩阵，baseTend可以实时根据机器人正运动学得到，cameraP为棋盘格中各个角点在相机坐标系下的坐标，baseP为棋盘格中各个角点在机器人基座坐标系下的坐标。
在一具体实施方式中，步骤M210中，所述根据所述棋盘格确定所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标的步骤包括：
步骤M211、根据所述棋盘格对相机进行标定，确定所述相机的内外参数以及畸变系数；
步骤M212、获取所述棋盘格中各个角点的图像坐标，根据所述相机的内外参数以及畸变系数对所述图像坐标进行坐标变换，确定所述棋盘格中各个角点在相机坐标系下的坐标。
具体地，本实施例在确定所述棋盘格中各个角点在相机坐标系下的坐标时，首先根据所述棋盘格对所述相机进行标定，确定所述相机的内外参数以及畸变系数，然后获取所述棋盘格中各个角点的图像坐标，根据所述相机的内外参数以及畸变系数对所述图像坐标进行坐标变换，确定所述棋盘格中各个角点在相机坐标系下的坐标。其中，相机的标定过程为：将棋盘格放于暗箱中，为棋盘格拍摄一些不同方向的照片，获得一系列棋盘格图片，获取棋盘格上各个角点在世界坐标系中的坐标值以及对应的棋盘格图片中的坐标值利用最小二乘法得到单应性矩阵，求解相机内外参数以及畸变系数从而对相机进行标定。
在一具体实施方式中，步骤M210中，所述根据所述棋盘格确定所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标的步骤还包括：
步骤M213、根据所述棋盘格，确定棋盘格坐标系到机器人末端坐标系的转换矩阵和所述棋盘格中各个角点在棋盘格坐标系下的坐标；
步骤M214、根据棋盘格坐标系到机器人末端坐标系的转换矩阵和所述棋盘格中各个角点在棋盘格坐标系下的坐标，确定所述棋盘格中各个角点在机器人基座坐标系下的坐标。
具体地，本实施例在确定所述棋盘格中各个角点在机器人基座坐标系下的坐标时，可以通过设置棋盘格的左上角点为原点，然后测量或者根据设计尺寸确定棋盘格中各个角点在棋盘格坐标系下的坐标以及棋盘格原点到机器人末端坐标原点的平移坐标，然后根据棋盘格原点到机器人末端坐标原点的平移坐标确定棋盘格坐标系到机器人末端坐标系的转换矩阵，最后根据棋盘格坐标系到机器人末端坐标系的转换矩阵和所述棋盘格中各个角点在棋盘格坐标系下的坐标，确定所述棋盘格中各个角点在机器人基座坐标系下的坐标。其中，棋盘格中各个角点在机器人基座坐标系下的坐标的计算公式为：baseP＝baseTend endTboard boardP，其中，baseTend为机器人末端到基座坐标系的转换矩阵，baseTend可以实时根据机器人正运动学得到，endTboard为棋盘格坐标系到机器人末端坐标系的转换矩阵，boardP为棋盘格中各个角点在棋盘格坐标系下的坐标。
步骤S300、根据所述类别信息和所述目标位置，控制机器人对所述各个待拆卸部件进行拆卸，以实现所述待拆卸共享单车的全自动拆卸。
具体地，智能终端获取到各个待拆卸部件对应的类别信息和目标位置后，根据所述类别信息和所述目标位置，控制机器人对所述各个待拆卸部件进行拆卸，以实现所述待拆卸共享单车的全自动拆卸。智能终端在控制机器人对待拆卸部件进行拆卸过程中，通过导入机器人的SDK包，调用机器人PTP(TCP point)方法使机器人内部依据该目标位置，调整机器人姿态并确定各个关节的转动角度，将其赋值给机器人动作指令，完成到末端TCPpoint的运动。机器人在移动过程中，智能终端实时显示机器人的位姿，拆卸执行完毕后，点击显示界面的“返回初始值”按钮，机器人复位，实现坐标刷新。
在一具体实施方式中，步骤S300具体包括：
步骤S310、根据所述类别信息以及预先设置的类别信息与拆卸信息的对应关系，确定所述各个待拆卸部件对应的拆卸信息；
步骤S320、控制机器人末端移动到所述目标位置，并控制机器人按照所述拆卸信息对所述各个待拆卸部件进行拆卸，以实现所述待拆卸共享单车的全自动拆卸。
具体地，所述拆卸信息指将所述待拆卸部件拆卸所需执行的拆卸步骤，考虑到不同类别的部件对应不同的拆卸步骤，为了实现共享单车的自动拆卸，本实施例预先设置待拆卸部件的类别信息与拆卸信息的对应关系，获取到各个待拆卸部件对应的类别信息后，将所述类别信息与预先设置的类别信息与拆卸信息的对应关系进行比较，确定所述各个待拆卸部件对应的拆卸信息，例如，类别A对应拆卸信息A，类别B对应拆卸信息B，类别C对应拆卸信息C，当获取到待拆卸部件对应的类别信息为类别A时，确定所述待拆卸部件对应的拆卸信息为拆卸信息A。然后控制机器人末端移动到所述目标位置，并控制机器人按照所述拆卸信息对所述各个待拆卸部件进行拆卸，以实现所述待拆卸共享单车的全自动拆卸。
示例性设备
如图2中所示，本发明实施例提供一种共享单车全自动拆卸装置，该装置包括：图像识别模块210、目标定位模块220、部件拆卸模块230。具体地，所述图像识别模块210，用于获取待拆卸共享单车对应的待识别图像，将所述待识别图像输入图像识别模型，通过所述图像识别模型输出所述待拆卸共享单车中各个待拆卸部件对应的类别信息和图像位置信息。所述目标定位模块220，用于根据所述图像位置信息以及预先确定的相机到机器人末端的转换矩阵，确定所述各个待拆卸部件对应的目标位置。所述部件拆卸模块230，用于根据所述类别信息和所述目标位置，控制机器人对所述各个待拆卸部件进行拆卸，以实现所述待拆卸共享单车的全自动拆卸。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图3所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种共享单车全自动拆卸方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的温度传感器是预先在智能终端内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图3中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
获取待拆卸共享单车对应的待识别图像，将所述待识别图像输入图像识别模型，通过所述图像识别模型输出所述待拆卸共享单车中各个待拆卸部件对应的类别信息和图像位置信息；
根据所述图像位置信息以及预先确定的相机到机器人末端的转换矩阵，确定所述各个待拆卸部件对应的目标位置；
根据所述类别信息和所述目标位置，控制机器人对所述各个待拆卸部件进行拆卸，以实现所述待拆卸共享单车的全自动拆卸。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了一种共享单车全自动拆卸方法、智能终端及存储介质，包括：获取待拆卸共享单车对应的待识别图像，将所述待识别图像输入图像识别模型，通过所述图像识别模型输出所述待拆卸共享单车中各个待拆卸部件对应的类别信息和图像位置信息；根据所述图像位置信息以及预先确定的相机到机器人末端的转换矩阵，确定所述各个待拆卸部件对应的目标位置；根据所述类别信息和所述目标位置，控制机器人对所述各个待拆卸部件进行拆卸，以实现所述待拆卸共享单车的全自动拆卸。本发明通过图像识别模型输出待拆卸共享单车中各个待拆卸部件对应的类别信息及图像位置信息，并根据类别信息和目标位置控制机器人对待拆卸共享单车的各个待拆卸部件进行拆卸，可以精确识别待拆卸部件的类别信息并精确定位待拆卸部件的位置信息，实现共享单车的自动分类拆卸与共享单车零件的循环利用，解决人工暴力拆卸造成的资源浪费问题。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种共享单车全自动拆卸方法，其特征在于，应用于与相机和机器人连接的智能终端，所述方法包括：
获取待拆卸共享单车对应的待识别图像，将所述待识别图像输入图像识别模型，通过所述图像识别模型输出所述待拆卸共享单车中各个待拆卸部件对应的类别信息和图像位置信息；
根据所述图像位置信息以及预先确定的相机到机器人末端的转换矩阵，确定所述各个待拆卸部件对应的目标位置；
根据所述类别信息和所述目标位置，控制机器人对所述各个待拆卸部件进行拆卸，以实现所述待拆卸共享单车的全自动拆卸。
2.根据权利要求1所述的共享单车全自动拆卸方法，其特征在于，所述图像识别模型的生成方法包括：
将训练图像集中的训练图像输入预设网络模型中，通过所述预设网络模型输出所述训练图像中各部件对应的预测属性标签；其中，所述训练图像集中包括训练图像和所述训练图像中各部件对应的真实属性标签，所述真实属性标签包括真实类别信息和真实图像位置信息，所述预测属性标签包括预测类别信息和预测图像位置信息；
根据所述预测属性标签和所述真实属性标签对所述预设网络模型的模型参数进行更新，并继续执行通过所述预设网络模型输出所述训练图像中各部件对应的预测属性标签的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到图像识别模型。
3.根据权利要求1所述的共享单车全自动拆卸方法，其特征在于，所述根据所述图像位置信息以及预先确定的相机到机器人末端的转换矩阵，确定所述各个待拆卸部件对应的目标位置的步骤包括：
根据所述图像位置信息，确定所述各个待拆卸部件对应的中心位置坐标；
根据预先确定的相机到机器人末端的转换矩阵对所述中心位置坐标进行坐标变换，确定所述各个待拆卸部件对应的目标位置。
4.根据权利要求3所述的共享单车全自动拆卸方法，其特征在于，所述根据所述图像位置信息，确定所述各个待拆卸部件对应的中心位置坐标的步骤包括：
根据所述图像位置信息，确定所述各个待拆卸部件对应的最小外接矩形；
获取所述各个待拆卸部件对应的最小外接矩形的中心点坐标，并将所述中心点坐标确定为所述各个待拆卸部件对应的中心位置坐标。
5.根据权利要求1所述的共享单车全自动拆卸方法，其特征在于，所述相机到机器人末端的转换矩阵的确定方法包括：
获取预先设计的棋盘格，根据所述棋盘格确定所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标；
根据所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标，确定相机到机器人末端的转换矩阵。
6.根据权利要求5所述的共享单车全自动拆卸方法，其特征在于，所述根据所述棋盘格确定所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标的步骤包括：
根据所述棋盘格对相机进行标定，确定所述相机的内外参数以及畸变系数；
获取所述棋盘格中各个角点的图像坐标，根据所述相机的内外参数以及畸变系数对所述图像坐标进行坐标变换，确定所述棋盘格中各个角点在相机坐标系下的坐标。
7.根据权利要求6所述的共享单车全自动拆卸方法，其特征在于，所述根据所述棋盘格确定所述棋盘格中各个角点在机器人基座坐标系下的坐标和在相机坐标系下的坐标的步骤还包括：
根据所述棋盘格，确定棋盘格坐标系到机器人末端坐标系的转换矩阵和所述棋盘格中各个角点在棋盘格坐标系下的坐标；
根据棋盘格坐标系到机器人末端坐标系的转换矩阵和所述棋盘格中各个角点在棋盘格坐标系下的坐标，确定所述棋盘格中各个角点在机器人基座坐标系下的坐标。
8.根据权利要求1所述的共享单车全自动拆卸方法，其特征在于，根据所述类别信息和所述目标位置，控制机器人对所述各个待拆卸部件进行拆卸，以实现所述待拆卸共享单车的全自动拆卸的步骤包括：
根据所述类别信息以及预先设置的类别信息与拆卸信息的对应关系，确定所述各个待拆卸部件对应的拆卸信息；
控制机器人末端移动到所述目标位置，并控制机器人按照所述拆卸信息对所述各个待拆卸部件进行拆卸，以实现所述待拆卸共享单车的全自动拆卸。
9.一种智能终端，其特征在于，包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-8任一项所述的共享单车全自动拆卸方法的步骤。
10.一种计算机可读存储介质，其上存储有多条指令，其特征在于，所述指令适于由处理器加载并执行，以执行实现上述权利要求1-8任一项所述的共享单车全自动拆卸方法的步骤。
CN202110961386.2A 2021-08-20 2021-08-20 一种共享单车全自动拆卸方法、智能终端及存储介质 Active CN113688897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110961386.2A CN113688897B (zh) 2021-08-20 2021-08-20 一种共享单车全自动拆卸方法、智能终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110961386.2A CN113688897B (zh) 2021-08-20 2021-08-20 一种共享单车全自动拆卸方法、智能终端及存储介质

Publications (2)

Publication Number Publication Date
CN113688897A CN113688897A (zh) 2021-11-23
CN113688897B true CN113688897B (zh) 2023-07-25

Family

ID=78581065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110961386.2A Active CN113688897B (zh) 2021-08-20 2021-08-20 一种共享单车全自动拆卸方法、智能终端及存储介质

Country Status (1)

Country Link
CN (1) CN113688897B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103481297A (zh) * 2012-06-08 2014-01-01 株式会社安川电机 机器人室元、机器人室元的组装方法以及机器人系统
CN108544199A (zh) * 2018-04-19 2018-09-18 合肥启涵电子科技有限公司 一种用于废弃共享单车车身零件的高效拆卸回收的设备
CN110503741A (zh) * 2018-05-18 2019-11-26 宝沃汽车（中国）有限公司 共享车辆的监测方法、装置和车辆
CN112734101A (zh) * 2021-01-04 2021-04-30 北京瀚文智远信息技术有限公司 一种基于用车需求预测的共享单车智能调配方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076313B2 (en) * 2003-06-06 2006-07-11 Visteon Global Technologies, Inc. Method for optimizing configuration of pick-and-place machine
MX2020008385A (es) * 2019-08-18 2021-02-19 Crimping & Stamping Tech Inc Control a base de imagen de proceso de manufacturacion de conector y mazo de cables usando inteligencia artificial.

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103481297A (zh) * 2012-06-08 2014-01-01 株式会社安川电机 机器人室元、机器人室元的组装方法以及机器人系统
CN108544199A (zh) * 2018-04-19 2018-09-18 合肥启涵电子科技有限公司 一种用于废弃共享单车车身零件的高效拆卸回收的设备
CN110503741A (zh) * 2018-05-18 2019-11-26 宝沃汽车（中国）有限公司 共享车辆的监测方法、装置和车辆
CN112734101A (zh) * 2021-01-04 2021-04-30 北京瀚文智远信息技术有限公司 一种基于用车需求预测的共享单车智能调配方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
M Shaibani等.Expansion-tolerant architectures for stable cycling of ultrahigh-loading sulfur cathodes in lithium-sulfur batteries.《Science Advances》.2020,1-12. *
共享单车智能控制系统的设计;郭慧毅;;电子制作(第01期);42-43+45 *
城市地下快速路驾驶模拟仿真试验方法研究;杨旻皓;张兰芳;王明炯;杨光;;中国市政工程(第02期);5-9+128 *
基于机器视觉的装料系统试验研究;冉宝山;《中国优秀硕士学位论文全文数据库信息科技辑》;i138-867 *
多功能破拆机器人工具头换装可视化研究;陈宏斌等;《南华大学学报（自然科学版）》;78-85 *

Also Published As

Publication number Publication date
CN113688897A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN109544629B (zh) 摄像头位姿确定方法和装置以及电子设备
CN109902548B (zh) 一种对象属性识别方法、装置、计算设备及系统
CN112465840B (zh) 语义分割模型训练方法、语义分割方法及相关装置
JP2023145545A5 (zh)
US20200167609A1 (en) Object recognition system and method using simulated object images
CN112767354A (zh) 基于图像分割的缺陷检测方法、装置、设备及存储介质
CN114677567B (zh) 模型训练方法、装置、存储介质及电子设备
CN113688897B (zh) 一种共享单车全自动拆卸方法、智能终端及存储介质
CN113674341A (zh) 一种机器人视觉识别及定位方法、智能终端及存储介质
CN115008454A (zh) 一种基于多帧伪标签数据增强的机器人在线手眼标定方法
CN116778458B (zh) 车位检测模型构建方法、车位检测方法、设备及存储介质
Chen et al. A Comprehensive Review of Deep Learning-Based PCB Defect Detection
CN116168040B (zh) 元器件的方向检测方法、装置、电子设备及可读存储介质
CN116402891A (zh) 新能源汽车充电接口自动定位方法和充电枪自动插拔定位方法
TW202024994A (zh) 基於上採樣的影像定位系統及其方法
CN115219492A (zh) 一种三维物体的外观图像采集方法及装置
CN110348268A (zh) 一种电子元器件的局部的特征识别方法、装置及设备
CN110335274B (zh) 一种三维模具缺陷检测方法及装置
CN115346270A (zh) 交警手势识别方法、装置、电子设备及存储介质
CN110728281B (zh) 一种车牌分割和识别的方法
CN114022949A (zh) 一种基于运动模型的事件相机运动补偿方法及装置
Yu et al. Surface Defect inspection under a small training set condition
CN112258563A (zh) 图像对齐方法、装置、电子设备及存储介质
CN115409890B (zh) 基于msr和广义霍夫变换的自定义标志检测方法及系统
CN117129029B (zh) 一种芯片检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant