CN111144401A - 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法 - Google Patents
一种电厂集控室深度学习和视觉伺服的触屏控制操作方法 Download PDFInfo
- Publication number
- CN111144401A CN111144401A CN201911075065.1A CN201911075065A CN111144401A CN 111144401 A CN111144401 A CN 111144401A CN 201911075065 A CN201911075065 A CN 201911075065A CN 111144401 A CN111144401 A CN 111144401A
- Authority
- CN
- China
- Prior art keywords
- power plant
- image
- deep learning
- neural network
- visual servo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000000007 visual effect Effects 0.000 title claims abstract description 25
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- MWUXSHHQAYIFBG-UHFFFAOYSA-N nitrogen oxide Inorganic materials O=[N] MWUXSHHQAYIFBG-UHFFFAOYSA-N 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 102100032202 Cornulin Human genes 0.000 description 1
- 101000920981 Homo sapiens Cornulin Proteins 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 150000002500 ions Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- -1 nitrogen oxides Chemical class 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术和视觉伺服技术领域，特别涉及基一种电厂集控室深度学习和视觉伺服的触屏控制操作方法。本操作方法包括：获取集控室电厂需要监测的界面图像并建立相应图像库；利用训练好的卷积神经网络识别界面局部的字符信息来判断当前所停留的工作页面；采用图像的模板匹配方法检测需要后续机械臂点击的字符按钮；利用摄像头采集显示屏的RGB图像，再通过卷积神经网络确定显示屏的位姿信息，结合操作界面的图像识别与定位，驱动机械臂末端完成操作。本发明采用深度学习技术，实现集控系统状况的快速、智能判断；引入视觉伺服技术，实现机械臂对控制界面的精准操作，安全性得到了大幅提高，保证电厂生产的信息安全。
Description
技术领域
本发明涉及图像处理技术和视觉伺服技术领域，具体而言，特别涉及基一种电厂集控室深度学习和视觉伺服的触屏控制操作方法。
背景技术
电厂所处气候属于亚热带季风型海洋性气候区，大气中富含氮氧化物等强腐蚀性离子，即电厂所处的环境较差且各设备之间存在一定的配合逻辑，一旦某种设备出现运行故障，便可能会出现整个系统的停运。因此电厂的监控工作影响全厂的安全、高效运作，关系重大。
电厂集控室通过人工监盘主要存在以下两个缺点：(1)操作界面图例较小，监控人员长时间进行监控，注意力需要高度集中，容易疲劳，造成监控人员对界面内的信息产生错误判断，出现操作失误；(2)由于监控系统界面需监控的位点众多，且一人需要负责观察多个屏幕，定期监控，工作重复、繁重，工作量大。
发明内容
基于此，本发明的目的是提供一种能够有效解决上述现有技术存在的问题的电厂集控室深度学习和视觉伺服的触屏控制操作方法，本发明采用深度学习技术，实现集控系统状况的快速、智能判断；引入视觉伺服技术，实现机械臂对控制界面的精准操作。
为实现上述目的，本发明提供的一种电厂集控室深度学习和视觉伺服的触屏控制操作方法，所述方法包括以下步骤：
步骤S1：获取集控室电厂需要监测的界面图像并建立相应图像库；
步骤S2：利用训练好的卷积神经网络识别界面局部的字符信息来判断当前所停留的工作页面；
步骤S3：采用图像的模板匹配方法检测需要后续机械臂点击的字符按钮；
步骤S4：利用摄像头采集显示屏的RGB图像，再通过卷积神经网络确定显示屏的位姿信息，结合操作界面的图像识别与定位，驱动机械臂末端完成操作。
进一步的，所述步骤S2以及步骤S4中，用于识别界面局部字符信息来判断当前停留的工作页面的卷积神经网络以及用于确定显示屏的位姿信息的卷积神经网络的训练，包括：
卷积神经网络的结构建立和卷积神经网络的参数学习；步骤S2中训练所采用的图像样本来源于视频采集的方式,即将操作界面的视频信号通过视频采集卡，获得画面图像；步骤S4中训练采用的图像样本来源于步骤S1中通过视频采集的方式获得的图片和摄像头采集显示屏的RGB图像。其中，卷积神经网络的结构建立，包括：
确定包括卷积层层数、每卷积层的特征图数，全连接的层数、每全连接层的特征图数，池化层层数，卷积层使用的卷积核的大小，池化层所用的采样核的大小，训练步长。
用于字符识别的卷积神经网络CRNN的损失函数O为：
其中，Yi是由Li经过循环层和卷积层所产生的序列。该目标函数会直接从图像和它的真实标签序列序列计算损失值。因此该网络可以在成对的图像和序列上进行端到端的训练。
进一步的，所述步骤S3中，判断出当前所停留的工作界面之后，需要识别出图像中需要点击的字符按钮，可以截取待检测区域像素，采用图像的模板匹配方法进行检测。模板匹配是一项在一幅图像中寻找与另一幅模板图像最匹配部分的技术。通过目标图片在待匹配图片进行遍历，通过选择一定的匹配方式能够得到每个起始像素点的匹配值，最终匹配值最大的位置即为候选匹配位置，也就达到了匹配查找的效果。
进一步的，所述步骤S4中，利用摄像头采集显示屏的RGB图像，再通过卷积神经网络确定显示屏的位姿信息，结合操作界面的图像识别与定位，驱动机械臂末端完成操作。卷积神经网络通过在图像中定位其中心并预测其与相机的距离来估计对象的3D平移。通过回归到的四元数表示来估计对象的3D旋转。
所述用于6D物体姿态估计的新型卷积神经网络的训练，具体为：网络的预测输出共有3个，分别为语义分割分支，位置分支，和姿态分支。对于上述的每个分支，都有一个Loss，一共有3个Loss。训练整个模型的目标函数是：
其中，M代表3D模型空间中的点。
和R(q)分别代表预测的3D旋转矩阵和真正的3D旋转矩阵。X1表示场景中的点，X2表示模型上离X1最近的点。
本发明相对于现有技术的增益效果是：本发明采用视觉伺服技术，实现机械臂对控制界面的精准操作；引入图像处理与深度学习技术，实现集控系统状况的快速、智能判断；使用机械臂进行触屏操作，可以实现长时间的监盘操作，减少操作人员的重复性工作；使用接触屏操作的方式，监盘人员可以方便进行直观地监督，大大提高了自动操盘的安全性和可靠性，保证了电厂生产的信息安全。
附图说明
图1为本发明基于深度学习和视觉伺服的电厂集控室的触屏控制操作方法的流程图。
图2为本发明实施例的训练卷积神经网络来判断当前页面的样本图像。
图3为本发明实施例模板匹配识别的结果图。
图4为本发明实施例所使用的卷积神经网络的整体结构示意图。
图5为本发明实施例所使用的机械设备示意图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的首选实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供该实施例的目的是使对本发明的公开更加透彻全面。
请参阅图1，基于深度学习和视觉伺服的电厂集控室的触屏控制操作方法，该方法包括以下步骤：
步骤S1：获取集控室电厂需要监测的界面图像并建立相应图像库；
步骤S2：利用训练好的卷积神经网络识别界面局部的字符信息来判断当前所停留的工作页面；
步骤S3：采用图像的模板匹配方法检测需要后续机械臂点击的字符按钮；
步骤S4：利用摄像头采集显示屏的RGB图像，再通过卷积神经网络确定显示屏的位姿信息，结合操作界面的图像识别与定位，驱动机械臂末端完成操作。
以下详细说明本发明涉及的关键步骤。
首先，步骤S1中，将操作界面的视频信号通过视频采集卡，即可获得画面图像，用于后续的步骤S2和步骤S3中各类图像处理。这种图像获取的方法相较于通过外部摄像头获取操作界面图像有如下优点：
(1)图像更加清晰，不受环境光照、距离远近的影响；
(2)保证获取图像的完整，不受摄像头视角大小限制；
(3)只获取图像信息，不会对总控制台进行信息回传，保障了安全性。
其次，所述步骤S2以及步骤S4中，利用反向传播算法训练用于识别界面局部字符来判断当前所停留的工作界面以及确定显示屏的位姿信息的两个卷积神经网络。具体步骤为：
(1)将图像库中的图片以9：1的比列分为训练集和验证集；
(2)对所述训练集进行数据增广，如：对图片进行随机旋转(左右旋转的角度不能超过10°)；对图片进行透视形变，其中描述上下左右方向的垂直型变的程度参数设置为0.2；对图片进行平移操作且平移的尺度设置为10。
(3)利用反向传播算法训练满足要求的两个卷积神经网络；
(4)使用所述验证集评估卷积神经网络的性能，以判断是否可部署所述神经网络模型。
第三，所述用验证集评估卷积神经网络模型的性能具体包括：
(1)用训练完成的模型对所述验证集的图片进行识别；
(2)判断当前所停留的界面是否为需要后续机械手臂点击的界面；
(3)若是，则确认所述神经网络模型可使用且进行下一步的模板匹配算法流程；
(4)若否，则重复上述训练过程。
第四，所述步骤S3中，判断出当前所停留的工作界面之后，需要识别出图像中需要点击的字符按钮，可以截取待检测区域像素，采用图像的模板匹配方法进行检测。模板匹配是在一幅图像中寻找与另一幅模板图像最匹配部分的技术。通过目标图片在待匹配图片进行遍历，通过选择一定的匹配方式能够得到每个起始像素点的匹配值，最终匹配值最大的位置即为候选匹配位置。
第五，所述步骤S4中，利用摄像头采集显示屏的RGB图像，再通过卷积神经网络确定显示屏的位姿信息，结合操作界面的图像识别与定位，确定需要操作的位姿信息，最后驱动机械臂末端完成操作。
所使用的模型是是一种用于6D物体姿态估计的新型卷积神经网络。通过在图像中定位其中心并预测其与相机的距离来估计对象的3D平移。通过回归到的四元数表示来估计对象的3D旋转。整个模型主要进行三项任务：语义分割，3D位置，3D旋转姿态。
用于6D物体姿态估计的新型卷积神经网络结构主要由骨干网络、网络预测输出、位置分支等三个模块组成
(1)骨干网络：VGG16
(2)网络预测输出：语义分割分支，位置分支，姿态分支。每个分支都有一个损失估计，共三个损失估计。
(3)位置分支：通过定位图像中物体的2D中心和估计物体到相机的距离深度，来估计3D位置。
对于上述的每个分支，都有一个Loss，一共有3个Loss。训练整个模型的目标函数是：
其中，M代表3D模型空间中的点。
和R(q)分别代表预测的3D旋转矩阵和真正的3D旋转矩阵。X1表示场景中的点，X2表示模型上离X1最近的点。
需要说明的是，步骤S2以及步骤S4中中，建立所述卷积神经网络的结构具体包括确定所述深度卷积神经网络的卷积层的层数、每卷积层的特征图数，全连接层的层数、每全连接层的特征图数，池化层的层数，卷积层所用的卷积核的大小，池化层所用的采样核的大小，训练步长，如图4所示，图4中上部小括号内的参数为该层神经网络的卷积核的数目，下部中括号内的参数为每一次神经网络的卷积核的大小和步长，如[3x3x1]为3x3的卷积核且卷积的步长为1。
相较于现有技术，本发明采用视觉伺服技术，实现机械臂对控制界面的精准操作；引入图像处理与深度学习技术，实现集控系统状况的快速、智能判断；使用机械臂进行触屏操作，可以实现长时间的监盘操作，减少操作人员的重复性工作；使用接触屏操作的方式，监盘人员可以方便进行直观地监督，大大提高了自动操盘的安全性；不接入总控系统进行操作，保证了电厂生产的信息安全。
以上所述实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种电厂集控室深度学习和视觉伺服的触屏控制操作方法，其特征在于，所述方法包括如下步骤：
步骤S1：获取集控室内电厂需要监测的操作界面图像并建立相应图像库；
步骤S2：利用训练好的卷积神经网络识别操作界面局部的字符信息来判断当前所停留的工作页面；
步骤S3：采用图像的模板匹配方法检测需要后续机械臂点击的字符按钮；
步骤S4：利用摄像头采集触控显示屏的RGB图像，再通过卷积神经网络确定显示屏的位姿信息，结合操作界面的图像识别与定位，驱动机械臂末端完成操作。
2.根据权利要求1所述的基于深度学习和视觉伺服的电厂集控室的触屏控制操作方法，其特征在于，步骤S1中，具体包括将操作界面的视频信号通过视频采集卡，获得操作界面画面图像，用于后续的步骤S2和步骤S3中的图像识别匹配处理。
3.根据权利要求1所述的电厂集控室深度学习和视觉伺服的触屏控制操作方法，其特征在于：所述步骤S2以及步骤S4中，利用反向传播算法训练用于识别界面局部字符来判断当前所停留的工作界面以及确定显示屏的位姿信息的两个卷积神经网络。
4.根据权利要求1所述的电厂集控室深度学习和视觉伺服的触屏控制操作方法：所述步骤S3中，判断出当前所停留的工作界面之后，需要识别出图像中需要点击的字符按钮，可以截取待检测区域像素，采用图像的模板匹配方法进行检测。
5.根据权利要求1所述的电厂集控室深度学习和视觉伺服的触屏控制操作方法，其特征在于，步骤S4中，利用设置在机械臂末端的摄像头采集显示屏的RGB图像，再通过所述卷积神经网络确定显示屏的位姿信息，结合操作界面的图像识别与定位，确定需要操作的位姿信息，最后发送驱动信号驱动机械臂末端完成操作。
6.根据权利要求3所述的电厂集控室深度学习和视觉伺服的触屏控制操作方法：其特征在于，用验证集评估所述卷积神经网络放入模型的性能。
7.根据权利要求3所述电厂集控室深度学习和视觉伺服的触屏控制操作方法：其特征在于，所述卷积神经网络的结构建立均包括卷积层层数、每卷积层的特征图数，全连接的层数、每全连接层的特征图数，池化层层数，卷积层使用的卷积核的大小，池化层所用的采样核的大小，训练步长。
8.根据权利要求3所述电厂集控室深度学习和视觉伺服的触屏控制操作方法，其特征在于，实现所述卷积神经网络端到端的训练，具体为：训练数据通过：
X＝{Ii,Li}i的定义
其中Ii是训练过程中卷积神经网络判断的序列，Li是真实的标签序列,训练整个模型的目标函数是最小化真实条件概率下的负对数似然函数:
其中，Yi是由Li经过循环层和卷积层所产生的序列,该目标函数会直接从图像和它的真实标签序列序列计算损失值,因此该网络可以在成对的图像和序列上进行端到端的训练,卷积神经网络使用随梯度下降(SGD)进行训练，梯度由反向传播算法计算。
9.根据权利要求3所述电厂集控室深度学习和视觉伺服的触屏控制操作方法：其特征在于，卷积神经网络通过在图像中定位其中心并预测其与相机的距离来估计对象的3D平移。通过回归到的四元数表示来估计对象的3D旋转。
10.根据权利要求3所述电厂集控室深度学习和视觉伺服的触屏控制操作方法，其特征在于，实现所述用于6D物体姿态估计的新型卷积神经网络的训练，具体为：网络的预测输出共有3个，分别为语义分割分支，位置分支，和姿态分支，对于上述的每个分支，都有一个Loss，一共有3个Loss,训练整个模型的目标函数是：
其中，M代表3D模型空间中的点,
和R(q)分别代表预测的3D旋转矩阵和真正的3D旋转矩阵,X1表示场景中的点，X2表示模型上离X1最近的点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911075065.1A CN111144401B (zh) | 2019-11-06 | 2019-11-06 | 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911075065.1A CN111144401B (zh) | 2019-11-06 | 2019-11-06 | 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111144401A true CN111144401A (zh) | 2020-05-12 |
| CN111144401B CN111144401B (zh) | 2024-01-26 |
Family
ID=70517004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911075065.1A Active CN111144401B (zh) | 2019-11-06 | 2019-11-06 | 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111144401B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111796708A (zh) * | 2020-06-02 | 2020-10-20 | 南京信息工程大学 | 一种在触摸屏上再现图像三维形状特征的方法 |
| CN111857470A (zh) * | 2020-07-15 | 2020-10-30 | 杭州真鹏科技有限公司 | 一种生产设备的无人值守控制方法、装置和控制器 |
| CN112101336A (zh) * | 2020-09-09 | 2020-12-18 | 杭州测质成科技有限公司 | 一种基于计算机视觉的智能数据采集方式 |
| CN114442533A (zh) * | 2022-01-27 | 2022-05-06 | 华能(广东)能源开发有限公司海门电厂 | 一种监盘机器人控制方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108032313A (zh) * | 2018-01-04 | 2018-05-15 | 北京理工大学 | 基于仿生原理自动完成智能终端触屏游戏的机械手 |
| CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人（合肥）国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
| CN108972593A (zh) * | 2018-09-07 | 2018-12-11 | 顺德职业技术学院 | 一种工业机器人系统下的控制方法及系统 |
| CN109215080A (zh) * | 2018-09-25 | 2019-01-15 | 清华大学 | 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置 |
| CN110263790A (zh) * | 2019-04-18 | 2019-09-20 | 汕头大学 | 一种基于卷积神经网络的电厂电表字符定位和识别方法 |
| CN110322510A (zh) * | 2019-06-27 | 2019-10-11 | 电子科技大学 | 一种利用轮廓信息的6d位姿估计方法 |
-
2019
- 2019-11-06 CN CN201911075065.1A patent/CN111144401B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108032313A (zh) * | 2018-01-04 | 2018-05-15 | 北京理工大学 | 基于仿生原理自动完成智能终端触屏游戏的机械手 |
| CN108171748A (zh) * | 2018-01-23 | 2018-06-15 | 哈工大机器人（合肥）国际创新研究院 | 一种面向机器人智能抓取应用的视觉识别与定位方法 |
| CN108972593A (zh) * | 2018-09-07 | 2018-12-11 | 顺德职业技术学院 | 一种工业机器人系统下的控制方法及系统 |
| CN109215080A (zh) * | 2018-09-25 | 2019-01-15 | 清华大学 | 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置 |
| CN110263790A (zh) * | 2019-04-18 | 2019-09-20 | 汕头大学 | 一种基于卷积神经网络的电厂电表字符定位和识别方法 |
| CN110322510A (zh) * | 2019-06-27 | 2019-10-11 | 电子科技大学 | 一种利用轮廓信息的6d位姿估计方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111796708A (zh) * | 2020-06-02 | 2020-10-20 | 南京信息工程大学 | 一种在触摸屏上再现图像三维形状特征的方法 |
| CN111796708B (zh) * | 2020-06-02 | 2023-05-26 | 南京信息工程大学 | 一种在触摸屏上再现图像三维形状特征的方法 |
| CN111857470A (zh) * | 2020-07-15 | 2020-10-30 | 杭州真鹏科技有限公司 | 一种生产设备的无人值守控制方法、装置和控制器 |
| CN111857470B (zh) * | 2020-07-15 | 2022-02-22 | 杭州真鹏科技有限公司 | 一种生产设备的无人值守控制方法、装置和控制器 |
| CN112101336A (zh) * | 2020-09-09 | 2020-12-18 | 杭州测质成科技有限公司 | 一种基于计算机视觉的智能数据采集方式 |
| CN114442533A (zh) * | 2022-01-27 | 2022-05-06 | 华能(广东)能源开发有限公司海门电厂 | 一种监盘机器人控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111144401B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112199993B (zh) | 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法 | |
| CN111144401A (zh) | 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法 | |
| CN108022235B (zh) | 高压输电铁塔关键部件缺陷识别方法 | |
| CN107977639B (zh) | 一种人脸清晰度判断方法 | |
| CN109858367B (zh) | 工人通过支撑不安全行为的视觉自动化检测方法及系统 | |
| CN112686833B (zh) | 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置 | |
| CN111652225A (zh) | 基于深度学习的非侵入式摄像读取方法及系统 | |
| CN110458198B (zh) | 多分辨率目标识别方法及装置 | |
| CN112349057A (zh) | 基于深度学习的室内烟雾和火灾检测方法 | |
| CN111507261A (zh) | 一种基于视觉目标定位的工序操作质量监控方法 | |
| CN115330734A (zh) | 一种基于三维目标检测和点云缺陷补全的自动化机器人补焊系统 | |
| CN112749656A (zh) | 基于ORB特征匹配与yolo的空气开关状态检测方法及装置 | |
| CN115830407A (zh) | 一种基于yolov4目标检测模型的电缆管线故障判别算法 | |
| CN116579992A (zh) | 一种用于无人机巡检的小目标螺栓缺陷检测方法 | |
| CN114092478B (zh) | 一种异常检测方法 | |
| Gal | Automatic obstacle detection for USV’s navigation using vision sensors | |
| Saad et al. | StereoYolo+ DeepSORT: a framework to track fish from underwater stereo camera in situ | |
| CN116403162B (zh) | 一种机场场面目标行为识别方法、系统及电子设备 | |
| CN111798518A (zh) | 机械臂姿态检测方法、装置和设备及计算机存储介质 | |
| Özer et al. | An approach based on deep learning methods to detect the condition of solar panels in solar power plants | |
| CN111738264A (zh) | 一种机房设备显示面板数据的智能采集方法 | |
| CN116740036A (zh) | 一种钢管管端引熄弧板切割点位检测方法和系统 | |
| Delahoz et al. | A real-time smartphone-based floor detection system for the visually impaired | |
| US20230360262A1 (en) | Object pose recognition method based on triangulation and probability weighted ransac algorithm | |
| CN115019202A (zh) | 一种应用于服务型移动机械臂的分步式抓取检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |