CN115937097A - 基于人工智能的工业机器人视觉图像识别系统 - Google Patents

Abstract

本发明公开了基于人工智能的工业机器人视觉图像识别系统，涉及工业机器人技术领域，包括：清晰度检测模块，判断成像清晰度是否达标，将判断结果输出；检测单元，对成像模块进行检测，周期性的形成检测信息；第一处理单元，获取评估值，并输出相应的控制策略；控制单元，依据输出的控制策略，自检单元对成像模块进行自检，判断成像模块是否存在有故障特征，由第二处理单元进行检索，将相应的应对方案输出，并由第三处理单元进行执行；如果不存，由第三处理单元发出警报。在成像模块产生内部故障时，对成像模块进行自检，对已经产生的故障进行判断，确定相应的解决方案，向用户发出警报，提高用户维修的效率，快速使维修模块恢复工作状态。

Description

基于人工智能的工业机器人视觉图像识别系统

技术领域

本发明涉及工业机器人技术领域，具体为基于人工智能的工业机器人视觉图像识别系统。

背景技术

工业机器人是广泛用于工业领域的多关节机械手或多自由度的机器装置，具有一定的自动性，可依靠自身的动力能源和控制能力实现各种工业加工制造功能。工业机器人被广泛应用于电子、物流、化工等各个工业领域之中。相比于传统的工业设备，工业机器人有众多的优势，比如机器人具有易用性、智能化水平高、生产效率及安全性高、易于管理且经济效益显著等特点，使得它们可以在高危环境下进行作业。

在工业机器人在车间处于工作状态时，通过自身的成像模块来对外界环境进行成像，基于成像结果，在人工智能的夹持下，对成像结果进行分析和判断，最终做出决策，因此成像模块的成像质量对工业机器人的视觉图像识别系统运行起到了重要作用。

在工业机器人在工作时，用于对外部成像的成像模块容易因为内部或者外部的问题受到干扰，从而影响成像质量，但是现有的工业机器人视觉图像识别系统智能判断成像模块是否存在问题时，很难确定产生故障的原因，这就导致在需要用户检测时，检测的效率较低。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了基于人工智能的工业机器人视觉图像识别系统，通过设置清晰度检测模块，判断成像清晰度是否达标，将判断结果输出；检测单元，对成像模块进行检测，周期性的形成检测信息；第一处理单元，获取评估值，并输出相应的控制策略；控制单元，依据输出的控制策略，自检单元对成像模块进行自检，判断成像模块是否存在有故障特征，由第二处理单元进行检索，将相应的应对方案输出，并由第三处理单元进行执行；如果不存，由第三处理单元发出警报。在成像模块产生内部故障时，对成像模块进行自检，对已经产生的故障进行判断，确定相应的解决方案，向用户发出警报，提高用户维修的效率，快速使维修模块恢复工作状态，解决了背景技术中的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：基于人工智能的工业机器人视觉图像识别系统，包括：清晰度检测模块，在工业机器人成像模块的成像后，对成像结果进行检测，并在获取到成像清晰度值后，与相应的阈值进行比对，判断成像清晰度是否达标，如果不达标，则将判断结果输出；检测单元，在工业机器人的成像清晰度不达标时，对成像模块进行检测，周期性的形成检测信息，并建检测信息数据集；第一处理单元，从检测信息数据集中获取检测数据，进行第一次评估，获取评估值，并输出相应的控制策略；控制单元，依据输出的控制策略，通过对调焦模块及补光模块进行控制，对成像模块进行调整，由清晰度检测模块对成像的清晰度再次进行检测，如果清晰度仍不能达到预期，则由自检单元对成像模块进行自检，判断成像模块是否存在有故障特征，如果存在，则由第二处理单元进行检索，如果存在相应的应对方案，将相应的应对方案输出，并由第三处理单元进行执行；如果不存在相应的应对方案，则由第三处理单元发出警报。

进一步的，所述检测单元包括：光线检测模块，对成像模块邻近区域的光照强度进行检测，形成光照强度LD；距离检测模块，判断成像模块与成像目标物之间距离，并形成成像距离JL；透光性检测模块，检测成像模块进光区域的模糊程度，并形成透光率TG。

进一步的，所述第一处理单元包括：第一评估模块，获取光照强度LD、成像距离JL及成透光率TG，先进行归一化处理，关联后获取评估值P；判断模块，获取评估值P，并将其与相应阈值进行对比，判断是否小于阈值，输出判断结果；分析模块，接收判断模块形成的判断结果，在评估值P小于相应阈值时，形成第一调整策略；在评估值P不小于相应阈值时，形成第二调整策略；控制单元，接收第一调整策略，形成第一控制指令，对调焦模块及补光模块中的至少一个进行调整。

进一步的，所述第一调整策略为：在光照强度LD小于阈值时，对位于成像模块周围的补光模块邻近区域的光照强度进行调节，直至光照强度LD符合阈值；在成像距离JL不符合阈值时，对由成像模块所具备的补光模块对焦距进行调整，直至成像清晰度符合阈值。

进一步的，所述第二调整策略为：控制自检单元对成像模块进行自检，判断是否为成像模块内部的问题。

进一步的，所述评估值P的获取方式如下：

获取光照强度LD、成像距离JL及成透光率TG，进行归一化处理，形成评估值P；其中，关联的方法符合如下公式：

其中，0≤γ≤1，0≤θ≤1，0≤β≤1，γ、θ、β为权重，C为常数修正系数，其具体值可由用户调整设置，R为成像距离JL及光照强度LD之间相关系数，由若干组光照强度LD及成像距离JL计算得出。

进一步的，所述自检单元包括扫描模块、特征库及上记录模块，所述扫描模块，对成像模块进行扫描，如果存在故障，则将故障特征进行输出；所述特征库，获取输出的故障特征，并在故障特征库中进行检索，如果检索到，则确定成像模型的故障类型，对故障的种类进行输出；如果未在故障特征库中检索到，则由上记录模块对故障特征及相应的故障类型进行记录，存入特征库中。

进一步的，所述第二处理单元包括方案库及方案输出模块，所述方案库，获取特征库所确定的故障类型，在故障方案库中检索到相应的解决方案；所述方案输出模块，获取解决方案，并向用户输出。

进一步的，所述第三处理单元包括执行模块及第二评估模块；所述执行模块，依据方案输出模块输出的解决方案并由用户执行，获取执行结果；所述第二评估模块，重新利用清晰度检测模块检测成像的清晰度，对成像效果进行评估，判断维修效果，如果评估效果低于阈值，也即为未能成功维修，则将评估结果输出。

进一步的，所述第三处理单元还包括报警模块，获取评估结果，向外部发出警报，在上记录模块记录到未知的故障特征时，向外部发出警报。

(三)有益效果

本发明提供了基于人工智能的工业机器人视觉图像识别系统。具备以下有益效果：

通过设置清晰度检测模块、检测单元及第一处理单元，能够对成像模块进行检测和评估，从而对成像模块的工作状态进行判断，并且在成像模块工作状态较差时，对导致工作状态的原因进行区分，判断为内部原因还是外部原因，减少用户对成像模块进行检修及溯源的时间，提高检修的效率，而且由于利用检测单元周期性的对成像模块进行检测，也能够延长成像模块的使用寿命。

通过设置自检单元、第二处理单元及第三处理单元，在成像模块产生内部故障时，能够对成像模块进行自检，对已经产生的故障进行判断，并确定相应的解决方案，并在现有方案不能解决出现的问题时，或者出现未知的故障特征时，则向用户发出警报，由此，能够提高用户维修的效率，能够快速使维修模块恢复工作状态。

附图说明

图1为本发明工业机器人视觉图像识别系统的检测流程示意图；

图2为本发明工业机器人视觉图像识别系统的自检流程示意图；

图中：

10、检测单元；11、光线检测模块；12、距离检测模块；13、透光性检测模块；

20、第一处理单元；21、第一评估模块；22、判断模块；23、分析模块；

30、控制单元；40、调焦模块；50、补光模块；60、清晰度检测模块；

70、自检单元；71、扫描模块；72、特征库；73、上记录模块；

80、第二处理单元；81、方案库；82、方案输出模块；

90、第三处理单元；91、执行模块；92、第二评估模块；93、报警模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

请参阅图1-2，本发明提供基于人工智能的工业机器人视觉图像识别系统，包括检测单元10、第一处理单元20、控制单元30、调焦模块40及补光模块50、清晰度检测模块60；在工业机器人在车间处于工作状态时，通过自身的成像模块来对外界环境进行成像，基于成像结果来做出决策，因此成像模块的成像质量对工业机器人的运行起到了重要作用。也正因此，在工业机器人在工作时，为了确保工业机器人的工作质量，需要周期对成像模块进行评估，依据评估结果来对成像模块进行调整。

所述清晰度检测模块60，在工业机器人成像模块的成像后，对成像结果进行检测，并在获取到成像清晰度值后，与相应的阈值进行比对，判断成像清晰度是否达标，如果不达标，则将判断结果输出；

所述检测单元10，在工业机器人的成像清晰度不达标时，对成像模块进行检测，周期性的形成检测信息，并建检测信息数据集；

所述第一处理单元20，从检测信息数据集中获取检测数据，进行第一次评估，获取评估值，并输出相应的控制策略；

所述控制单元30，依据输出的控制策略，通过对调焦模块40及补光模块50进行控制，对成像模块进行调整，由清晰度检测模块60对成像的清晰度再次进行检测，如果清晰度仍不能达到预期，则由自检单元70对成像模块进行自检，判断成像模块是否存在有故障特征，如果存在，则由第二处理单元80进行检索，如果存在相应的应对方案，将相应的应对方案输出，并由第三处理单元90进行执行；如果不存在相应的应对方案，则由第三处理单元90发出警报。

参考图1及图2，所述检测单元10包括光线检测模块11、距离检测模块12及透光性检测模块13；其中，

所述光线检测模块11，对成像模块邻近区域的光照强度进行检测，用于判断光线条件是否满足成像需求，形成光照强度LD；

所述距离检测模块12，判断成像模块与成像目标物之间距离，用于判断距离条件是否满足成像需求，是否过近或者过远，并形成成像距离JL；

所述透光性检测模块13，检测成像模块进光区域的模糊程度，用于判断镜头是否存在遮挡，是否存在烟雾，并形成透光率TG。

使用时，在判断成像模块是否满足成像条件时，利用光线检测模块11、距离检测模块12及透光性检测模块13之间的配合，获取光照强度LD、成像距离JL及成透光率TG，利用这三种数据对成像模块的外部成像条件进行判断。

参考图1及图2，所述第一处理单元20包括第一评估模块21、判断模块22及分析模块23；其中，

所述第一评估模块21，获取光照强度LD、成像距离JL及成透光率TG，先进行归一化处理，关联后获取评估值P；其中，所述评估值P的获取方式如下：

获取光照强度LD、成像距离JL及成透光率TG，进行归一化处理，形成评估值P；其中，关联的方法符合如下公式：

其中，0≤γ≤1，0≤θ≤1，0≤β≤1，γ、θ、β为权重，C为常数修正系数，其具体值可由用户调整设置，R为成像距离JL及光照强度LD之间相关系数，由若干组光照强度LD及成像距离JL计算得出。

所述判断模块22，获取评估值P，并将其与相应阈值进行对比，判断是否小于阈值，如果小于阈值，则可判断成像模块成像的外部条件较差，输出判断结果；

如果不小于阈值，则可判断成像模块的外部条件相对较好，能够满足成像；

所述分析模块23，接收判断模块22形成的判断结果，在评估值P小于相应阈值时，形成第一调整策略；在评估值P不小于相应阈值时，形成第二调整策略。

所述控制单元30，接收第一调整策略，形成第一控制指令，对调焦模块40及补光模块50中的至少一个进行调整。

其中，所述第一调整策略具体为：

在光照强度LD小于阈值时，对位于成像模块周围的补光模块50邻近区域的光照强度进行调节，直至光照强度LD符合阈值；在成像距离JL不符合阈值时，对由成像模块所具备的补光模块50对焦距进行调整，直至成像清晰度符合阈值。

其中，所述第二调整策略具体为：控制自检单元70对成像模块进行自检，判断是否为成像模块内部的问题。

使用时，通过设置第一处理单元20及控制单元30，在检测单元10完成对成像模块的外部成像条件进行判断，从而形成评估值P，将三个因素综合在一起，如果在评估值P小于相应的阈值，则可以判断成像模块的外部较差，此时，则相应的形成第一调整策略，进行调节和补光，并且在透光率较差时，通知用户进行擦拭，最终改善成像模块的外部条件；如果在评估值P不小于相应的阈值，则可以判断成像模块的外部基本符合条件，此时则利用第二调整策略对自检单元70控制。

因此，通过设置第一处理单元20及控制单元30，在判断出成像模块的成像清晰度不足时，能够对成像模块的外部问题还是内部问题进行区分，从而方便进行针对性处理。

参考图1及图2，所述自检单元70包括扫描模块71、特征库72及上记录模块73，其中，

所述扫描模块71，对成像模块进行扫描，如果存在故障，则将故障特征进行输出；

所述特征库72，获取输出的故障特征，并在故障特征库中进行检索，如果检索到，则确定成像模型的故障类型，对故障的种类进行输出；如果未在故障特征库中检索到，则由上记录模块73对故障特征及相应的故障类型进行记录，存入特征库72中。

使用时，利用扫描模块71及特征库72的配合，能够对成像模块进行周期性扫描，确认成像模块内部的问题，如果扫描出的故障并不是已经出现过的故障，则利用上记录模块73进行记录，从而降低用户自身维护的时间，减少工序。

参考图1及图2，所述第二处理单元80包括方案库81及方案输出模块82，其中，

所述方案库81，获取特征库72所确定的故障类型，在故障方案库中检索到相应的解决方案；

所述方案输出模块82，获取解决方案，并向用户输出。

使用时，利用方案库81及方案输出模块82，在用户确定成像模块出现的问题为现有的故障时，能够快速的获取到相应的解决方案，从而减少获取解决方案的时间，提高效率。

参考图2，所述第三处理单元90包括执行模块91及第二评估模块92、报警模块93；

所述执行模块91，依据方案输出模块82输出的解决方案并由用户执行，获取执行结果；

所述第二评估模块92，重新利用清晰度检测模块60检测成像的清晰度，对成像效果进行评估，判断维修效果，如果评估效果低于阈值，也即为未能成功维修，则将评估结果输出；

所述报警模块93，获取评估结果，向外部发出警报，在上记录模块73记录到未知的故障特征时，向外部发出警报。

使用时，在第二处理单元80未做出有效的维修时，由报警模块93发出警报，提醒用户进行处理，如果形成了新的更有效解决方案时，则可以将时新的解决方案记录，增加至故障方案库中，在上记录模块73记录到新的故障特征时，也同样提醒用户处理，如果用户形成了针对新的故障特征形成了新的解决方案时，则也可以将该解决方案存入故障方案库中。使用时，利用执行模块91、第二评估模块92及报警模块93之间的配合，对维修结果进行判断和评估，从而提醒用户做出进一步的处理。

结合以上内容，在本申请中至少存在以下效果：

通过设置清晰度检测模块60、检测单元10及第一处理单元20，能够对成像模块进行检测和评估，从而对成像模块的工作状态进行判断，并且在成像模块工作状态较差时，对导致工作状态的原因进行区分，判断为内部原因还是外部原因，减少用户对成像模块进行检修及溯源的时间，提高检修的效率，而且由于利用检测单元10周期性的对成像模块进行检测，也能够延长成像模块的使用寿命。

通过设置自检单元70、第二处理单元80及第三处理单元90，在成像模块产生内部故障时，能够对成像模块进行自检，对已经产生的故障进行判断，并确定相应的解决方案，并在现有方案不能解决出现的问题时，或者出现未知的故障特征时，则向用户发出警报，由此，能够提高用户维修的效率，能够快速使维修模块恢复工作状态。

需要说明的是，在本文中，如若存在第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.基于人工智能的工业机器人视觉图像识别系统，其特征在于：包括：

清晰度检测模块(60)，在工业机器人成像模块的成像后，对成像结果进行检测，并在获取到成像清晰度值后，与相应的阈值进行比对，判断成像清晰度是否达标，如果不达标，则将判断结果输出；

检测单元(10)，在工业机器人的成像清晰度不达标时，对成像模块进行检测，周期性的形成检测信息，并建检测信息数据集；

第一处理单元(20)，从检测信息数据集中获取检测数据，进行第一次评估，获取评估值，并输出相应的控制策略；

控制单元(30)，依据输出的控制策略，通过对调焦模块(40)及补光模块(50)进行控制，对成像模块进行调整，由清晰度检测模块(60)对成像的清晰度再次进行检测，如果清晰度仍不能达到预期，则由自检单元(70)对成像模块进行自检，判断成像模块是否存在有故障特征，如果存在，则由第二处理单元(80)进行检索，如果存在相应的应对方案，将相应的应对方案输出，并由第三处理单元(90)进行执行；如果不存在相应的应对方案，则由第三处理单元(90)发出警报。

2.根据权利要求1所述的基于人工智能的工业机器人视觉图像识别系统，其特征在于：所述检测单元(10)包括：

光线检测模块(11)，对成像模块邻近区域的光照强度进行检测，形成光照强度LD；

距离检测模块(12)，判断成像模块与成像目标物之间距离，并形成成像距离JL；

透光性检测模块(13)，检测成像模块进光区域的模糊程度，并形成透光率TG。

3.根据权利要求1所述的基于人工智能的工业机器人视觉图像识别系统，其特征在于：所述第一处理单元(20)包括：

第一评估模块(21)，获取光照强度LD、成像距离JL及成透光率TG，先进行归一化处理，关联后获取评估值P；

判断模块(22)，获取评估值P，并将其与相应阈值进行对比，判断是否小于阈值，输出判断结果；

分析模块(23)，接收判断模块(22)形成的判断结果，在评估值P小于相应阈值时，形成第一调整策略；在评估值P不小于相应阈值时，形成第二调整策略；

控制单元(30)，接收第一调整策略，形成第一控制指令，对调焦模块(40)及补光模块(50)中的至少一个进行调整。

4.根据权利要求3所述的基于人工智能的工业机器人视觉图像识别系统，其特征在于：所述第一调整策略为：在光照强度LD小于阈值时，对位于成像模块周围的补光模块(50)邻近区域的光照强度进行调节，直至光照强度LD符合阈值；在成像距离JL不符合阈值时，对由成像模块所具备的补光模块(50)对焦距进行调整，直至成像清晰度符合阈值。

5.根据权利要求3所述的基于人工智能的工业机器人视觉图像识别系统，其特征在于：所述第二调整策略为：控制自检单元(70)对成像模块进行自检，判断是否为成像模块内部的问题。

6.根据权利要求3所述的基于人工智能的工业机器人视觉图像识别系统，其特征在于：所述评估值P的获取方式如下：

获取光照强度LD、成像距离JL及成透光率TG，进行归一化处理，形成评估值P；其中，关联的方法符合如下公式：

其中，0≤γ≤1，0≤θ≤1，0≤β≤1，γ、θ、β为权重，C为常数修正系数，其具体值可由用户调整设置，R为成像距离JL及光照强度LD之间相关系数，由若干组光照强度LD及成像距离JL计算得出。

7.根据权利要求5所述的基于人工智能的工业机器人视觉图像识别系统，其特征在于：所述自检单元(70)包括扫描模块(71)、特征库(72)及上记录模块(73)，

所述扫描模块(71)，对成像模块进行扫描，如果存在故障，则将故障特征进行输出；

所述特征库(72)，获取输出的故障特征，并在故障特征库中进行检索，如果检索到，则确定成像模型的故障类型，对故障的种类进行输出；如果未在故障特征库中检索到，则由上记录模块(73)对故障特征及相应的故障类型进行记录，存入特征库(72)中。

8.根据权利要求1所述的基于人工智能的工业机器人视觉图像识别系统，其特征在于：所述第二处理单元(80)包括方案库(81)及方案输出模块(82)，所述方案库(81)，获取特征库(72)所确定的故障类型，在故障方案库中检索到相应的解决方案；所述方案输出模块(82)，获取解决方案，并向用户输出。

9.根据权利要求1所述的基于人工智能的工业机器人视觉图像识别系统，其特征在于：所述第三处理单元(90)包括执行模块(91)及第二评估模块(92)；

所述执行模块(91)，依据方案输出模块(82)输出的解决方案并由用户执行，获取执行结果；所述第二评估模块(92)，重新利用清晰度检测模块(60)检测成像的清晰度，对成像效果进行评估，判断维修效果，如果评估效果低于阈值，也即为未能成功维修，则将评估结果输出。

10.根据权利要求9所述的基于人工智能的工业机器人视觉图像识别系统，其特征在于：所述第三处理单元(90)还包括报警模块(93)，获取评估结果，向外部发出警报，在上记录模块(73)记录到未知的故障特征时，向外部发出警报。

Images