CN105072402B - 一种机器人巡视监测的方法 - Google Patents
一种机器人巡视监测的方法 Download PDFInfo
- Publication number
- CN105072402B CN105072402B CN201510491216.7A CN201510491216A CN105072402B CN 105072402 B CN105072402 B CN 105072402B CN 201510491216 A CN201510491216 A CN 201510491216A CN 105072402 B CN105072402 B CN 105072402B
- Authority
- CN
- China
- Prior art keywords
- point
- monitoring
- information
- image
- background dot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种机器人巡视监测的方法，包括：对监测物体建立背景信息；在监测物体发生变化或增减时更新背景信息；机器人按设定时间对目标物与环境进行巡视自动监测，监测事件包括目标物的移动和消失及被遮挡、目标物颜色和灰度及纹理变化、目标物形状与姿态变化等；目标物为固定物、移动物、人、背景；在监测到事件时将事件信息通过网络通告设定的事件接收方；事件信息包括反映事件过程的视频流和事件图片、事件发生的起止时间、事件发生地点、事件发生地的地理信息、事件类型；本发明可移动监测、监测范围广、监测种类多、能自动视频分析，记录图像清晰，本方法能广泛应用于各种需要巡视安防进行自动监测的场合与领域。
Description
技术领域
本发明涉及智能机器人、人工智能、视频图像处理技术领域。尤其是涉及一种利用视频图像处理技术的机器人巡视监测的方法。
背景技术
机器人巡视监测需要发现事件并通告事件。
中国发明专利申请号为201210031915.X专利公开了一种安防系统及其无线安防报警传感器的扩展方法。这种系统包括主机、无线网络模块、无线报警设备、无线报警信号接收模块、监控终端；其中无线报警设备包括老人跌倒传感器、烟雾探测器、温度探测器、煤气探测器、红外探测器和门禁。这种系统的不足之处在于：不能对未戴跌倒传感器的被监护人进行监测，且不能对被监护人其它不正常状态进行监测；烟雾探测器只有当烟雾聚集到相当大浓度时才能探测，不能做到烟雾刚刚产生时就被监测到；红外探测器和门禁监测的地方固定、监测的范围较小。
目前，为安防需要许多地方安装了很多监控摄像机。这类摄像机的不足之处在于：摄像机是固定摄像机，不能移动监测，监测范围内有死角；监控主要以人工监控为主，不具备自动视频分析能力；监控的场景较大，视频图像与录像是压缩后的视频，导致监控图像与录像图像较为模糊难以看清细节。
发明内容
为了克服现有技术的监测范围不广、监测种类不多、没有自动视频分析的不足，本发明的目的是提供一种机器人巡视监测的方法，该方法可移动监测、监测范围广、监测种类多、能自动视频分析，记录图像清晰。
本发明的目的通过以下技术方案实现：
一种机器人巡视监测的方法，其特征在于：该方法采用机器人系统，该系统包括能根据导航信息自主行走的机器人，在机器人上安装有处理机和图像采集设备；处理机包括处理器、存储设备、输入设备、输出设备和网络设备，处理机装有操作系统和应用程序以及存储有导航信息并能通过网络设备连通网络；具体步骤如下：
A.建立背景信息与生成导航物体信息；步骤如下：
A1.取出导航信息：系统取出导航信息；导航信息是指采集点数量I和采集点i的导航信息，i＝1,2,…,I；其中：采集点i导航信息是采集点编号i、M(i,W(i))、GS(i)与FS(i,R(i))；M(i,W(i))是机器人从采集点i向采集点i+1行走的行走模式，W(i)是机器人旋转行走的旋转量，如果机器人直线行走W(i)＝0；行走是指直线行走、旋转行走；直线行走是指向前直线行走、向后直线行走；旋转行走是指左转行走、右转行走，左转行走是指向前左转行走、向后左转行走；右转行走是指向前右转行走、向后右转行走；行走模式是指机器人行走的模式；GS(i)是系统在采集点i读取的图像；FS(i,R(i))是GS(i)的匹配数据，R(i)＝1,2，…,N(i)，N(i)是图像GS(i)中匹配数据的数量；匹配数据是指图像匹配所需的数据；
A2.设置背景点：操作者依据所述的行走路线上的采集点设置J个背景点；系统按照背景点与所述的采集点读取图像的位置最接近，将这J个背景点设置为背景点j，背景点j分别与采集点ij读取图像的位置最接近；其中，j是背景点编号，ij是采集点编号，j＝1,2,…,J，ij＝i1,i2,…,iJ，1≤J≤I；
A3.初始点处理：系统得到初始点d，并将初始点d设为背景点0；
A4.赋背景点编号初值：系统赋背景点编号j的初值为1；
A5.机器人行走：系统控制机器人从背景点j-1向背景点j自主行走；如果背景点j-1到背景点j之间没有采集点，则机器人不进行行走；
A6.到达背景点j判断：系统根据图像匹配的结果判断机器人是否到达背景点j，如果机器人到达背景点j转步骤A7；否则转步骤A5；
A7.生成背景点j信息：系统在背景点j读取图像GB(j)；系统对图像GB(j)进行识别物体处理，在图像GB(j)中识别出物体TB(j,S(j))；系统用背景点编号j、采集点编号ij、GB(j)与TB(j,S(j))生成背景点j信息；其中，S(j)＝1,2,…,L(j)，L(j)是在图像GB(j)中识别出物体的数量；
A8.增加背景点编号：系统对背景点编号j加1；如果j＝J+1则转步骤A9；否则j≤J转步骤A5；
A9.生成背景信息：系统用所述的背景点数量J和所述的背景点j信息，j＝1,2,…,J，生成背景信息；
A10.存储背景信息：系统存储所述的背景信息；
A11.生成导航物体信息：如果系统生成过导航物体信息，则结束处理；否则，系统生成导航物体信息，导航物体信息是指TS(i,K(i))，i＝1,2,…,I；生成导航信息物体信息是指系统分别对图像GS(i)进行识别物体处理，在图像GS(i)中识别出物体TS(i,K(i))；其中，i是机器人行走路线上的采集点编号，i＝1,2,…,I；K(i)＝1,2,…,T(i)，T(i)是GS(i)中识别出物体的数量；
A12.存储导航物体信息：系统存储所述的导航物体信息；
B.更新背景信息；步骤如下：
B1.取出信息：系统取出所述的导航信息和所述的背景信息；
B2.处理背景点：处理背景点的步骤如下：
B21.标注更新背景点：操作者在所述的原J个背景点中标注需更新点Kp和标注需删除背景点Sb；其中：Kp是原背景点中背景点的编号，p＝1,2,…,P，P为原J个背景点中更新背景点的数量；Sb是原背景点中背景点的编号，b＝1,2,…,B，B为原J个背景点中删除背景点的数量；
B22.删除原背景点：系统删除所述的标注需更新点Kp信息，p＝1,2,…,P；系统删除所述的标注需删除背景点Sb信息，b＝1,2,…,B；
B23.新增背景点：操作者依据所述的行走路线上的采集点新增Q个背景点；这Q个新增背景点的编号分别为L1,L2,…,LQ；
B24.生成更新点：如果在原背景点中没有需更新的背景点并且没有新增的背景点，则赋更新点数量K＝0，转步骤B9；否则，系统将所述的需更新的原P个背景点和新增的Q个背景点，作为更新点；系统按照更新点与所述的采集点读取图像的位置最接近，将这K个更新点设置为更新点k，更新点k分别与采集点ik读取图像的位置最接近；其中，k是更新点的编号，ik是采集点的编号，k＝1,2,…,K，ik＝i1,i2,…,iK，K＝P+Q，1≤K≤I；
B3.初始点处理：系统得到初始点d，并将初始点d设定为更新点0；
B4.赋更新点编号初值：系统赋更新点编号k的初值为1；
B5.机器人行走：系统控制机器人从更新点k-1向更新点k自主行走；如果更新点k-1到更新点k之间没有采集点，则机器人不进行行走；
B6.到达更新点k判断：系统根据图像匹配的结果判断机器人是否到达更新点k；如果机器人到达更新点k转步骤B7；否则转步骤B5；
B7.生成更新点k信息：系统在更新点k读取图像GB(k)；系统对图像GB(k)进行识别物体处理在图像GB(k)中识别出物体TB(k,S(k))；系统用更新点编号k、采集点编号ik、GB(k)与TB(k,S(k))生成更新点k信息；其中，S(k)＝1,2,…,L(k)，L(k)是在图像GB(k)中识别出物体的数量；
B8.增加更新点编号：系统对更新点编号k加1；如果k＝K+1，转步骤B9；否则k≤K转步骤B5；
B9.生成背景信息：系统用所述的更新后的背景点数量M和所述的背景点m信息生成背景信息，m＝1,2,…,M；其中，背景点m与采集点im读取图像的位置最接近，m是背景点编号，im是采集点编号，im＝i1,i2,…,iM，1≤M≤I，M＝T+K；所述的这M个背景点中有T个原背景点和所述的K个更新点；所述的T个原背景点是原背景信息中未被删除的背景点；
B10.存储背景信息：系统存储所述的背景信息；
C.巡视监测；步骤如下：
C1.取出信息：系统取出所述的导航信息和所述的背景信息以及所述的导航物体信息；
C2.设置监测信息：设置监测信息的步骤如下：
C21.设置监测点：操作者在所述的M个背景点中设置T个监测点；系统按照监测点与所述的采集点读取图像的位置最接近，将这T个监测点设置为监测点t，监测点t分别与采集点it读取图像的位置最接近；其中，t是监测点的编号，it是采集点的编号，t＝1,2,…,T，it＝i1,i2,…,iT，1≤T≤M；
C22.设置监测时间：操作者对每个监测点t设置监测的开始时间与监测的结束时间，监测时间范围是从监测开始时间到监测结束时间这段时间；
C3.初始点处理：系统得到初始点d，并将初始点d设定为监测点0；
C4.赋监测点编号初值：系统赋监测点编号t的初值为1；
C5.机器人行走：系统控制机器人从监测点t-1向监测点t自主行走；如果监测点t-1到监测点t之间没有采集点，则机器人不进行行走；
C6.到达监测点t判断：系统根据图像匹配的结果判断机器人是否到达监测点t；如果机器人到达监测点t转步骤C9，否则转步骤C5；
C7.行走中事件监测：机器人在从监测点t-1向监测点t行走中，系统进行事件监测；如果系统监测到事件转步骤C8；否则转步骤C5；
C8.事件处理：系统进行事件处理；事件处理结束转步骤C5；
C9.监测点t事件监测：监测点t事件监测的步骤如下：
C91.获取当前时间:系统获取当前时间；
C92.监测时间范围判断：系统判断当前时间是否在所述的监测点t时间范围内，如果当前时间处在监测点t时间范围内，转步骤C93；否则转步骤C91；
C93.监测点t事件监测：系统进行事件监测；如果监测到事件，转步骤C94；否则转步骤C95；
C94.事件处理：系统进行事件处理；
C95.获取当前时间:系统获取当前时间；
C96.监测结束时间判断：系统判断当前时间是否到或超过所述的监测点t监测结束时间，如果当前时间未到监测点t监测结束时间，转步骤C93；否则监测点t监测结束转步骤C10；
C10.增加监测点编号：系统对监测点编号t加1；如果t＝T+1，结束巡视监测；否则t≤T转步骤C5。
本发明中，所述的图像匹配是指系统用图像匹配算法对两幅图像分别进行处理得到这两幅图像的匹配数据，分析这两幅图像匹配数据的对应关系、相似性与一致性，得到图像匹配的结果是：这两幅图像相对缩放量、这两幅图像相对旋转量、这两幅图像相对平移量、这两幅图像的相同目标、这两幅图像相同目标的相对旋转量、这两幅图像相同目标的相对平移量、这两幅图像的不同目标；匹配数据是指灰度数据，或者特征数据，或者灰度数据与特征数据。
所述的系统得到初始点d是指系统读取在行走路线上机器人的所在位置的图像GA，并对图像GA进行处理得到匹配数据FA(R)，R＝1,2，…,N，N是图像GA中匹配数据的数量；系统用所述的FS(i,R(i))和FA逐一进行图像匹配，i＝1,2,…,I，I是采集点的数量；从图像GS(i)中找到与图像GA对应图像GS(d)，对应图像的读取位置即为初始点d，d是采集点的编号；图像GS(d)与图像GA为对应图像是指在导航信息的图像GS(i)中图像GS(d)与图像GA读取图像的位置最接近。
所述的系统对图像G进行识别物体处理是指系统对图像G进行识别物体处理，在图像G中识别出物体T(S)，S＝1,2,…,L，L是在图像G中识别出物体的数量；识别物体是指用图像处理的方法对图像中的物体进行识别。
所述的系统控制机器人从所述的点j-1向点j自主行走是指系统依据从点j-1到点j的导航信息，控制机器人从点j-1向点j自主行走，从点j-1到点j的导航信息是从点j-1到点j之间的采集点n的机器人行走模式M(n,W(n))和匹配数据FS(n,R(n))，n＝i(j-1),i(j-1)+1,…,ij；点j与采集点ij读取图像的位置最接近；所述的点是背景点，或是更新点，或是监测点。
所述的系统根据图像匹配的结果判断机器人是否到达所述的点j是指系统读取机器人所在位置的图像GA，并对图像GA进行处理得到匹配数据FA(R)，R＝1,2，…,N，N是图像GA中匹配数据的数量；系统用所述的匹配数据FA(R)和所述的匹配数据FS(ij,(Rij))进行图像匹配，并根据图像匹配的结果判断机器人是否到达所述的点j；点j与采集点ij读取图像的位置最接近；所述的点是背景点，或是更新点，或是监测点。
所述的系统进行事件监测是指系统通过图像分析，至少监测到以下一种事件：I1.目标物位置移动；I2.目标物消失；I3.目标物被遮挡；I4.目标物全部颜色变化或目标物部分地方颜色变化；I5.目标物全部灰度变化或物体部分地方灰度变化；I6.目标物全部纹理变化或物体部分地方纹理变化；I7.目标物全部形状变化或物体部分地方形状变化；I8.目标物姿态变化；目标物是指至少以下一种图像处理对象：固定物体、移动物体、人、背景；所述的图像分析是指至少进行以下一种图像匹配和图像比较：J1.G(0)与G(p)图像分析，-5≤p≤-1；J2.TG(S)与所述的导航物体信息TS(k)图像分析；J3.TG(S)与所述的背景信息中的TB(t)图像分析；其中，G(0)是系统读取机器人所在位置的本帧图像，G(p)是本帧图像的前p帧图像；TG(S)是系统对本帧图像G(0)进行识别物体处理，在图像G(0)中识别出的物体，S＝1,2,…,L，L是在图像G(0)中识别出物体的数量；t是监测点t的编号，k是采集点的编号，it-D≤k≤D+it，D≥0；监测点t与采集点it读取图像的位置最接近。
所述的事件处理是指事件记录和事件通告；事件记录是指系统存储记录；记录是指至少以下一种记录数据：记录事件过程视频流的数据，记录事件图片的数据；事件通告是指系统通过网络将事件信息通告系统设定的事件接收方；事件信息包括事件记录、事件发生的起止时间、事件发生地点、事件发生地的地理信息、事件类型。
本发明对监测物体建立背景信息；在监测物体发生变化时，或增加监测物体，或减少监测物体时更新背景信息；系统按设定时间对物体与环境进行巡视监测，实现事件自动监测；在监测到事件时将事件信息通告系统设定的事件接收方；事件信息包括反映事件过程的视频流和事件图片、事件发生的起止时间、事件发生地点、事件发生地的地理信息、事件类型；事件监测是指对目标物位置移动、目标物消失、目标物被遮挡、目标物颜色变化、目标物灰度变化、目标物纹理变化、目标物形状变化、目标物姿态变化进行监测；目标物包括固定物体、移动物体、人、背景。
本发明的有益效果是：采用该方法可移动监测、监测范围广、监测种类多，能自动视频分析、记录图像清晰。
本发明广泛应用于各种需要巡视安防进行自动监测的场合与领域。
附图说明
图1是本发明的建立背景与生成导航物体信息的流程图。
图2是本发明的更新背景的流程图。
图3是本发明的巡视监测的流程图。
图4是本发明的监测点事件监测的流程图。
具体实施方式
下面结合附图，详细叙述本发明的方法的具体实施方式：
本发明的一种机器人巡视监测的方法，该方法采用机器人系统，该系统包括能根据导航信息自主行走的机器人，在机器人上安装有处理机和图像采集设备；处理机包括处理器、存储设备、输入设备、输出设备和网络设备，处理机装有操作系统和应用程序以及存储有导航信息并能通过网络设备连通网络；本例中，机器人是一台左右两轮驱动的机器人，处理机是一台平板电脑，平板电脑由处理器、SD卡、触摸屏、显示器、无线网卡组成，平板电脑装有操作系统和应用程序及存储有导航信息并能通过无线网卡联通网络；图像采集设备是200万彩色摄像机；来实现机器人巡视监测，实现机器人巡视监测方法的步骤如下：
A.建立背景信息与生成导航物体信息；
其中，A.建立背景信息与生成导航物体信息的步骤如下：
A1.取出导航信息：系统取出导航信息；导航信息是指采集点数量I和采集点i的导航信息，i＝1,2,…,I；其中：采集点i导航信息是采集点编号i、M(i,W(i))、GS(i)与FS(i,R(i))；M(i,W(i))是机器人从采集点i向采集点i+1行走的行走模式，W(i)是机器人旋转行走的旋转量，如果机器人直线行走W(i)＝0；行走是指直线行走、旋转行走；直线行走是指向前直线行走、向后直线行走；旋转行走是指左转行走、右转行走，左转行走是指向前左转行走、向后左转行走；右转行走是指向前右转行走、向后右转行走；行走模式是指机器人行走的模式；GS(i)是系统在采集点i读取的图像；FS(i,R(i))是GS(i)的匹配数据，R(i)＝1,2，…,N(i)，N(i)是图像GS(i)中匹配数据的数量；匹配数据是指图像匹配所需的数据；本例中，I＝100；匹配数据是系统对图像进行处理，在图像提取出角点作为匹配(特征)数据；
A2.设置背景点：操作者依据所述的行走路线上的采集点设置J个背景点；系统按照背景点与所述的采集点读取图像的位置最接近，将这J个背景点设置为背景点j，背景点j分别与采集点ij读取图像的位置最接近；其中，j是背景点编号，ij是采集点编号，j＝1,2,…,J，ij＝i1,i2,…,iJ，1≤J≤I；本例中，取J＝5，i1＝10，i2＝24，i3＝58，i4＝69，i5＝92；即背景点1、背景点2、背景点3、背景点4、背景点5分别与导航信息采集点10、采集点24、采集点58、采集点69、采集点92读取图像的位置最接近；
A3.初始点处理：系统得到初始点d，并将初始点d设为背景点0；
A4.赋背景点编号初值：系统赋背景点编号j的初值为1；
A5.机器人行走：系统控制机器人从背景点j-1向背景点j自主行走；如果背景点j-1到背景点j之间没有采集点，则机器人不进行行走；本例中，背景点0到背景点1导航信息是从背景点0到背景点1之间的采集点n的机器人行走模式M(n)和匹配数据FS(n,R(n))，n＝5,6,…,10；
A6.到达背景点j判断：系统根据图像匹配的结果判断机器人是否到达背景点j，如果机器人到达背景点j转步骤A7；否则转步骤A5；
A7.生成背景点j信息：系统在背景点j读取图像GB(j)；系统对图像GB(j)进行识别物体处理，在图像GB(j)中识别出物体TB(j,S(j))；系统用背景点编号j、采集点编号ij、GB(j)与TB(j,S(j))生成背景点j信息；其中，S(j)＝1,2,…,L(j)，L(j)是在图像GB(j)中识别出物体的数量；本例中，系统依次生成背景点1信息背景点编号1、采集点编号i1＝10、GB(1)与TB(1,S(1))；背景点2信息背景点编号2、采集点编号i2＝24、GB(2)与TB(2,S(2))；背景点3信息背景点编号3、采集点编号i3＝58、GB(3)与TB(3,S(3))；背景点4信息背景点编号4、采集点编号i4＝69、GB(4)与TB(4,S(4))；背景点5信息背景点编号5、采集点编号i5＝92、GB(5)与TB(5,S(5))；
A8.增加背景点编号：系统对背景点编号j加1；如果j＝J+1则转步骤A9；否则j≤J转步骤A5；本例中，j值加1后依次为2,3,4,5,6；如果j＝6转步骤A9；否则转步骤A5；
A9.生成背景信息：系统用所述的背景点数量J和所述的背景点j信息，j＝1,2,…,J，生成背景信息；
A10.存储背景信息：系统存储所述的背景信息；
A11.生成导航物体信息：如果系统生成过导航物体信息，则结束处理；否则，系统生成导航物体信息，导航物体信息是指TS(i,K(i))，i＝1,2,…,I；生成导航信息物体信息是指系统分别对图像GS(i)进行识别物体处理，在图像GS(i)中识别出物体TS(i,K(i))；其中，i是机器人行走路线上的采集点编号，i＝1,2,…,I；K(i)＝1,2,…,T(i)，T(i)是GS(i)中识别出物体的数量；本例中，如果是第一次进行建立背景信息与生成导航物体信息，系统没有生成过导航信息物体信息，系统分别对GS(i)进行识别物体处理，在GS(i)中识别出物体TS(i,K(i))，i＝1,2,…,100；K(i)＝1,2,…,T(i)，T(i)是GS(i)中识别出物体的数量；
A12.存储导航物体信息：系统存储所述的导航物体信息；
B.更新背景信息；
其中，B.更新背景信息的步骤如下：
B1.取出信息：系统取出所述的导航信息和所述的背景信息；
B2.处理背景点：处理背景点的步骤如下：
B21.标注更新背景点：操作者在所述的原J个背景点中标注需更新点Kp和标注需删除背景点Sb；其中：Kp是原背景点中背景点的编号，p＝1,2,…,P，P为原J个背景点中更新背景点的数量；Sb是原背景点中背景点的编号，b＝1,2,…,B，B为原J个背景点中删除背景点的数量；本例中，取J＝5，P＝2，K1＝1，K2＝3；B＝1，B1＝2；即在原5个背景点中标注需更新点背景点1、背景点3；标注需删除背景点2；
B B22.删除原背景点：系统删除所述的标注需更新点Kp信息，p＝1,2,…,P；系统删除所述的标注需删除背景点Sb信息，b＝1,2,…,B；本例中，系统删除所述的标注需更新的背景点1的信息、背景点3的信息；系统删除所述的标注需删除背景点2信息；
B23.新增背景点：操作者依据所述的行走路线上的采集点新增Q个背景点；这Q个新增背景点的编号分别为L1,L2,…,LQ；本例中，Q＝2，L1＝1,L2＝2为新增背景点的编号；
B24.生成更新点：如果在原背景点中没有需更新的背景点并且没有新增的背景点，则赋更新点数量K＝0，转步骤B9；否则，系统将所述的需更新的原P个背景点和新增的Q个背景点，作为更新点；系统按照更新点与所述的采集点读取图像的位置最接近，将这K个更新点设置为更新点k，更新点k分别与采集点ik读取图像的位置最接近；其中，k是更新点的编号，ik是采集点的编号，k＝1,2,…,K，ik＝i1,i2,…,iK，K＝P+Q，1≤K≤I；本例中，K＝P+Q＝2+2＝4，更新点1是需更新的原背景点1、更新点2是需更新的原背景点3，更新点3是新增背景点1、更新点4是新增背景点2；这4个更新点1、更新点2、更新点3、更新点4分别与采集点j1＝10、j2＝58、j3＝78、j4＝99读取图像的位置最接近；
B3.初始点处理：系统得到初始点d，并将初始点d设定为更新点0；
B4.赋更新点编号初值：系统赋更新点编号k的初值为1；
B5.机器人行走：系统控制机器人从更新点k-1向更新点k自主行走；如果更新点k-1到更新点k之间没有采集点，则机器人不进行行走；本例中，刚开始行走时，更新点0即初始点d的采集点编号是10，所以更新点0到更新点1之间没有采集点，则机器人不进行行走；
B6.到达更新点k判断：系统根据图像匹配的结果判断机器人是否到达更新点k；如果机器人到达更新点k转步骤B7；否则转步骤B5；
B7.生成更新点k信息：系统在更新点k读取图像GB(k)；系统对图像GB(k)进行识别物体处理在图像GB(k)中识别出物体TB(k,S(k))；系统用更新点编号k、采集点编号ik、GB(k)与TB(k,S(k))生成更新点k信息；其中，S(k)＝1,2,…,L(k)，L(k)是在图像GB(k)中识别出物体的数量；本例中，系统依次用更新点编号1、采集点编号i1、GB(1)与TB(1,S(1))生成更新点1信息；用更新点编号2、采集点编号i2、GB(2)与TB(2,S(2))生成更新点2信息；用更新点编号3、采集点编号i2、GB(3)与TB(3,S(3))市场1更新点3信息；用更新点编号4、采集点编号i4、更新点4信息GB(4)与TB(4,S(4))生成更新点4信息；
B8.增加更新点编号：系统对更新点编号k加1；如果k＝K+1，转步骤B9；否则k≤K转步骤B5；
B9.生成背景信息：系统用所述的更新后的背景点数量M和所述的背景点m信息生成背景信息，m＝1,2,…,M；其中，背景点m与采集点im读取图像的位置最接近，m是背景点编号，im是采集点编号，im＝i1,i2,…,iM，1≤M≤I，M＝T+K；所述的这M个背景点中有T个原背景点和所述的K个更新点；所述的T个原背景点是原背景信息中未被删除的背景点；本例中，M＝T+K＝2+4＝6，T＝J-P-B＝5-2-1＝2，K＝4，原5个背景点中被保留的背景点是原背景编号为4和原背景编号为5的2个背景点；更新点是更新点1、更新点2、更新点3、更新点4；原背景编号为4与原背景编号为5的背景点分别与采集点i4＝69，i5＝92读取图像的位置最接近；更新点1、更新点2、更新点3、更新点4分别与采集点j1＝10、j2＝58、j3＝78、j4＝99读取图像的位置最接近；
B10.存储背景信息：系统存储所述的背景信息；
C.巡视监测；
其中：C实现巡视监测的步骤如下：
C1.取出信息：系统取出所述的导航信息和所述的背景信息以及所述的导航物体信息；
C2.设置监测信息：设置监测信息的步骤如下：
C21.设置监测点：操作者在所述的M个背景点中设置T个监测点；系统按照监测点与所述的采集点读取图像的位置最接近，将这T个监测点设置为监测点t，监测点t分别与采集点it读取图像的位置最接近；其中，t是监测点的编号，it是采集点的编号，t＝1,2,…,T，it＝i1,i2,…,iT，1≤T≤M；本例中，取T＝3，即在6个背景点中设置3个监测点；监测点1、监测点2、监测点3分别与导航信息采集点i1＝10、i2＝69、i3＝78读取图像的位置最接近；
C22.设置监测时间：操作者对每个监测点t设置监测的开始时间与监测的结束时间，监测时间范围是从监测开始时间到监测结束时间这段时间；本例中，取监测点1监测的起始时间为8:00，监测的结束时间为9:00；监测点2监测的起始时间为9:05，监测的结束时间为10:00；监测点3监测的起始时间为10:05，监测的结束时间为11:00；
C3.初始点处理：系统得到初始点d，并将初始点d设定为监测点0；
C4.赋监测点编号初值：系统赋监测点编号t的初值为1；
C5.机器人行走：系统控制机器人从监测点t-1向监测点t自主行走；如果监测点t-1到监测点t之间没有采集点，则机器人不进行行走；本例中，机器人依次从监测点0向监测点1不进行行走，机器人从监测点1向监测点2进行行走，从监测点2向监测点3进行行走；
C6.到达监测点t判断：系统根据图像匹配的结果判断机器人是否到达监测点t；如果机器人到达监测点t转步骤C9，否则转步骤C5；
C7.行走中事件监测：机器人在从监测点t-1向监测点t行走中，系统进行事件监测；如果系统监测到事件转步骤C8；否则转步骤C5；本例中，系统通过本帧图像G(0)与前帧图像G(-1)比较，进行固定物体位置移动的事件监测；如果监测到固定物体位置移动，系统对事件进行事件记录和事件通告；事件记录是指系统存储记录；记录是记录事件过程视频流的数据和记录事件图片的数据；事件通告是指系统通过网络将事件信息通告系统设定的事件接收方；事件信息包括事件记录、事件发生的起止时间、事件发生地点、事件发生地的地理信息、事件类型。
C8.事件处理：系统进行事件处理；事件处理结束转步骤C5；
C9.监测点t事件监测：监测点t事件监测的步骤如下：
C91.获取当前时间:系统获取当前时间；
C92.监测时间范围判断：系统判断当前时间是否在所述的监测点t时间范围内，如果当前时间处在监测点t时间范围内，转步骤C93；否则转步骤C91；本例中，监测点1监测的起始时间为8:00，监测的结束时间为9:00；监测点2监测的起始时间为9:05，监测的结束时间为10:00；监测点3监测的起始时间为10:05，监测的结束时间为11:00；如果当前时间处在监测点t时间范围内，转步骤C93；否则转步骤C91；
C93.监测点t事件监测：系统进行事件监测；如果监测到事件，转步骤C94；否则转步骤C95；
C94.事件处理：系统进行事件处理；本例中，系统用本帧图像G(0)识别处理得到的物体TG(S)与所述的背景信息中的TB(t)比较，监测物体消失事件，如果监测到物体消失，系统进行事件记录和事件通告；
C95.获取当前时间:系统获取当前时间；
C96.监测结束时间判断：系统判断当前时间是否到或超过所述的监测点t监测结束时间，如果当前时间未到监测点t监测结束时间，转步骤C93；否则监测点t监测结束转步骤C10；本例中，监测点1的监测的结束时间为9:00，监测点2的监测的结束时间为10:00，监测点3的监测的结束时间为11:00，如果当前时间依次未到监测点1、监测点2、监测点3监测的结束时间9:00、10:00、10:00转步骤C93；否则监测点1、监测点2、监测点3监测结束转步骤C10；
C10.增加监测点编号：系统对监测点编号t加1；如果t＝T+1，结束巡视监测；否则t≤T转步骤C5。
Claims (8)
1.一种机器人巡视监测的方法，其特征在于：该方法采用机器人系统，该系统包括能根据导航信息自主行走的机器人，在机器人上安装有处理机和图像采集设备；处理机包括处理器、存储设备、输入设备、输出设备和网络设备，处理机装有操作系统和应用程序以及存储有导航信息并能通过网络设备连通网络；具体步骤如下：
A.建立背景信息与生成导航物体信息；步骤如下：
A1.取出导航信息：系统取出导航信息；导航信息是指采集点数量I和采集点i的导航信息，i＝1,2,…,I；其中：采集点i导航信息是采集点编号i、M(i,W(i))、GS(i)与FS(i,R(i))；M(i,W(i))是机器人从采集点i向采集点i+1行走的行走模式，W(i)是机器人旋转行走的旋转量，如果机器人直线行走W(i)＝0；行走是指直线行走、旋转行走；直线行走是指向前直线行走、向后直线行走；旋转行走是指左转行走、右转行走，左转行走是指向前左转行走、向后左转行走；右转行走是指向前右转行走、向后右转行走；行走模式是指机器人行走的模式；GS(i)是系统在采集点i读取的图像；FS(i,R(i))是GS(i)的匹配数据，R(i)＝1,2，…,N(i)，N(i)是图像GS(i)中匹配数据的数量；匹配数据是指图像匹配所需的数据；
A2.设置背景点：操作者依据行走路线上的采集点设置J个背景点；系统按照背景点与所述的采集点读取图像的位置最接近，将这J个背景点设置为背景点j，背景点j分别与采集点ij读取图像的位置最接近；其中，j是背景点编号，ij是采集点编号，j＝1,2,…,J，ij＝i1,i2,…,iJ，1≤J≤I；
A3.初始点处理：系统得到初始点d，并将初始点d设为背景点0；
A4.赋背景点编号初值：系统赋背景点编号j的初值为1；
A5.机器人行走：系统控制机器人从背景点j-1向背景点j自主行走；如果背景点j-1到背景点j之间没有采集点，则机器人不进行行走；
A6.到达背景点j判断：系统根据图像匹配的结果判断机器人是否到达背景点j，如果机器人到达背景点j转步骤A7；否则转步骤A5；
A7.生成背景点j信息：系统在背景点j读取图像GB(j)；系统对图像GB(j)进行识别物体处理，在图像GB(j)中识别出物体TB(j,S(j))；系统用背景点编号j、采集点编号ij、GB(j)与TB(j,S(j))生成背景点j信息；其中，S(j)＝1,2,…,L(j)，L(j)是在图像GB(j)中识别出物体的数量；
A8.增加背景点编号：系统对背景点编号j加1；如果j＝J+1则转步骤A9；否则j≤J转步骤A5；
A9.生成背景信息：系统用所述的背景点数量J和所述的背景点j信息，j＝1,2,…,J，生成背景信息；
A10.存储背景信息：系统存储所述的背景信息；
A11.生成导航物体信息：如果系统生成过导航物体信息，则结束处理；否则，系统生成导航物体信息，导航物体信息是指TS(i,K(i))，i＝1,2,…,I；生成导航信息物体信息是指系统分别对图像GS(i)进行识别物体处理，在图像GS(i)中识别出物体TS(i,K(i))；其中，i是机器人行走路线上的采集点编号，i＝1,2,…,I；K(i)＝1,2,…,T(i)，T(i)是GS(i)中识别出物体的数量；
A12.存储导航物体信息：系统存储所述的导航物体信息；
B.更新背景信息；步骤如下：
B1.取出信息：系统取出所述的导航信息和所述的背景信息；
B2.处理背景点：处理背景点的步骤如下：
B21.标注更新背景点：操作者在所述的原J个背景点中标注需更新点Kp和标注需删除背景点Sb；其中：Kp是原背景点中背景点的编号，p＝1,2,…,P，P为原J个背景点中更新背景点的数量；Sb是原背景点中背景点的编号，b＝1,2,…,B，B为原J个背景点中删除背景点的数量；
B22.删除原背景点：系统删除所述的标注需更新点Kp信息，p＝1,2,…,P；系统删除所述的标注需删除背景点Sb信息，b＝1,2,…,B；
B23.新增背景点：操作者依据行走路线上的采集点新增Q个背景点；这Q个新增背景点的编号分别为L1,L2,…,LQ；
B24.生成更新点：如果在原背景点中没有需更新的背景点并且没有新增的背景点，则赋更新点数量K＝0，转步骤B9；否则，系统将所述的需更新的原P个背景点和新增的Q个背景点，作为更新点；系统按照更新点与所述的采集点读取图像的位置最接近，将这K个更新点设置为更新点k，更新点k分别与采集点ik读取图像的位置最接近；其中，k是更新点的编号，ik是采集点的编号，k＝1,2,…,K，ik＝i1,i2,…,iK，K＝P+Q，1≤K≤I；
B3.初始点处理：系统得到初始点d，并将初始点d设定为更新点0；
B4.赋更新点编号初值：系统赋更新点编号k的初值为1；
B5.机器人行走：系统控制机器人从更新点k-1向更新点k自主行走；如果更新点k-1到更新点k之间没有采集点，则机器人不进行行走；
B6.到达更新点k判断：系统根据图像匹配的结果判断机器人是否到达更新点k；如果机器人到达更新点k转步骤B7；否则转步骤B5；
B7.生成更新点k信息：系统在更新点k读取图像GB(k)；系统对图像GB(k)进行识别物体处理在图像GB(k)中识别出物体TB(k,S(k))；系统用更新点编号k、采集点编号ik、GB(k)与TB(k,S(k))生成更新点k信息；其中，S(k)＝1,2,…,L(k)，L(k)是在图像GB(k)中识别出物体的数量；
B8.增加更新点编号：系统对更新点编号k加1；如果k＝K+1，转步骤B9；否则k≤K转步骤B5；
B9.生成背景信息：系统用所述的更新后的背景点数量M和所述的背景点m信息生成背景信息，m＝1,2,…,M；其中，背景点m与采集点im读取图像的位置最接近，m是背景点编号，im是采集点编号，im＝i1,i2,…,iM，1≤M≤I，M＝T+K；所述的这M个背景点中有T个原背景点和所述的K个更新点；所述的T个原背景点是原背景信息中未被删除的背景点；
B10.存储背景信息：系统存储所述的背景信息；
C.巡视监测；步骤如下：
C1.取出信息：系统取出所述的导航信息和所述的背景信息以及所述的导航物体信息；
C2.设置监测信息：设置监测信息的步骤如下：
C21.设置监测点：操作者在所述的M个背景点中设置T个监测点；系统按照监测点与所述的采集点读取图像的位置最接近，将这T个监测点设置为监测点t，监测点t分别与采集点it读取图像的位置最接近；其中，t是监测点的编号，it是采集点的编号，t＝1,2,…,T，it＝i1,i2,…,iT，1≤T≤M；
C22.设置监测时间：操作者对每个监测点t设置监测的开始时间与监测的结束时间，监测时间范围是从监测开始时间到监测结束时间这段时间；
C3.初始点处理：系统得到初始点d，并将初始点d设定为监测点0；
C4.赋监测点编号初值：系统赋监测点编号t的初值为1；
C5.机器人行走：系统控制机器人从监测点t-1向监测点t自主行走；如果监测点t-1到监测点t之间没有采集点，则机器人不进行行走；
C6.到达监测点t判断：系统根据图像匹配的结果判断机器人是否到达监测点t；如果机器人到达监测点t转步骤C9，否则转步骤C5；
C7.行走中事件监测：机器人在从监测点t-1向监测点t行走中，系统进行事件监测；如果系统监测到事件转步骤C8；否则转步骤C5；
C8.事件处理：系统进行事件处理；事件处理结束转步骤C5；
C9.监测点t事件监测：监测点t事件监测的步骤如下：
C91.获取当前时间:系统获取当前时间；
C92.监测时间范围判断：系统判断当前时间是否在所述的监测点t时间范围内，如果当前时间处在监测点t时间范围内，转步骤C93；否则转步骤C91；
C93.监测点t事件监测：系统进行事件监测；如果监测到事件，转步骤C94；否则转步骤C95；
C94.事件处理：系统进行事件处理；
C95.获取当前时间:系统获取当前时间；
C96.监测结束时间判断：系统判断当前时间是否到或超过所述的监测点t监测结束时间，如果当前时间未到监测点t监测结束时间，转步骤C93；否则监测点t监测结束转步骤C10；
C10.增加监测点编号：系统对监测点编号t加1；如果t＝T+1，结束巡视监测；否则t≤T转步骤C5。
2.根据权利要求1所述的机器人巡视监测的方法，其特征在于：所述的图像匹配是指系统用图像匹配算法对两幅图像分别进行处理得到这两幅图像的匹配数据，分析这两幅图像匹配数据的对应关系、相似性与一致性，得到图像匹配的结果是：这两幅图像相对缩放量、这两幅图像相对旋转量、这两幅图像相对平移量、这两幅图像的相同目标、这两幅图像相同目标的相对旋转量、这两幅图像相同目标的相对平移量、这两幅图像的不同目标；匹配数据是指灰度数据，或者特征数据，或者灰度数据与特征数据。
3.根据权利要求1所述的机器人巡视监测的方法，其特征在于：所述的系统得到初始点d是指系统读取在行走路线上机器人的所在位置的图像GA，并对图像GA进行处理得到匹配数据FA(R)，R＝1,2，…,N，N是图像GA中匹配数据的数量；系统用所述的FS(i,R(i))和FA逐一进行图像匹配，i＝1,2,…,I，I是采集点的数量；从图像GS(i)中找到与图像GA对应图像GS(d)，对应图像的读取位置即为初始点d，d是采集点的编号；图像GS(d)与图像GA为对应图像是指在导航信息的图像GS(i)中图像GS(d)与图像GA读取图像的位置最接近。
4.根据权利要求1所述的机器人巡视监测的方法，其特征在于：所述的系统对图像G进行识别物体处理是指系统对图像G进行识别物体处理，在图像G中识别出物体T(S)，S＝1,2,…,L，L是在图像G中识别出物体的数量；识别物体是指用图像处理的方法对图像中的物体进行识别。
5.根据权利要求1所述的机器人巡视监测的方法，其特征在于：所述的系统控制机器人从所述的点j-1向点j自主行走是指系统依据从点j-1到点j的导航信息，控制机器人从点j-1向点j自主行走，从点j-1到点j的导航信息是从点j-1到点j之间的采集点n的机器人行走模式M(n,W(n))和匹配数据FS(n,R(n))，n＝i(j-1),i(j-1)+1,…,ij；点j与采集点ij读取图像的位置最接近；所述的点是背景点，或是更新点，或是监测点。
6.根据权利要求1所述的机器人巡视监测的方法，其特征在于：所述的系统根据图像匹配的结果判断机器人是否到达所述的点j是指系统读取机器人所在位置的图像GA，并对图像GA进行处理得到匹配数据FA(R)，R＝1,2，…,N，N是图像GA中匹配数据的数量；系统用所述的匹配数据FA(R)和所述的匹配数据FS(ij,(Rij))进行图像匹配，并根据图像匹配的结果判断机器人是否到达所述的点j；点j与采集点ij读取图像的位置最接近；所述的点是背景点，或是更新点，或是监测点。
7.根据权利要求1所述的机器人巡视监测的方法，其特征在于，所述的系统进行事件监测是指系统通过图像分析，至少监测到以下一种事件：I1.目标物位置移动；I2.目标物消失；I3.目标物被遮挡；I4.目标物全部颜色变化或目标物部分地方颜色变化；I5.目标物全部灰度变化或物体部分地方灰度变化；I6.目标物全部纹理变化或物体部分地方纹理变化；I7.目标物全部形状变化或物体部分地方形状变化；I8.目标物姿态变化；目标物是指至少以下一种图像处理对象：固定物体、移动物体、人、背景；所述的图像分析是指至少进行以下一种图像匹配和图像比较：J1.G(0)与G(p)图像分析，-5≤p≤-1；J2.TG(S)与所述的导航物体信息TS(k)图像分析；J3.TG(S)与所述的背景信息中的TB(t)图像分析；其中，G(0)是系统读取机器人所在位置的本帧图像，G(p)是本帧图像的前p帧图像；TG(S)是系统对本帧图像G(0)进行识别物体处理，在图像G(0)中识别出的物体，S＝1,2,…,L，L是在图像G(0)中识别出物体的数量；t是监测点t的编号，k是采集点的编号，it-D≤k≤D+it，D≥0；监测点t与采集点it读取图像的位置最接近。
8.根据权利要求1所述的机器人巡视监测的方法，其特征在于，所述的事件处理是指事件记录和事件通告；事件记录是指系统存储记录；记录是指至少以下一种记录数据：记录事件过程视频流的数据，记录事件图片的数据；事件通告是指系统通过网络将事件信息通告系统设定的事件接收方；事件信息包括事件记录、事件发生的起止时间、事件发生地点、事件发生地的地理信息、事件类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510491216.7A CN105072402B (zh) | 2015-08-11 | 2015-08-11 | 一种机器人巡视监测的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510491216.7A CN105072402B (zh) | 2015-08-11 | 2015-08-11 | 一种机器人巡视监测的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105072402A CN105072402A (zh) | 2015-11-18 |
| CN105072402B true CN105072402B (zh) | 2017-11-28 |
Family
ID=54501671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510491216.7A Active CN105072402B (zh) | 2015-08-11 | 2015-08-11 | 一种机器人巡视监测的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105072402B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3828859A1 (en) * | 2016-07-04 | 2021-06-02 | Sony Corporation | Robot, robot system, and storage medium |
| CN110946514B (zh) * | 2018-09-27 | 2021-10-15 | 广东美的生活电器制造有限公司 | 应用于可移动清扫设备的监控方法及监控装置 |
| CN117975658A (zh) * | 2024-04-01 | 2024-05-03 | 江苏征途电气科技有限公司 | 基于人工智能的监控分析报警系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002197444A (ja) * | 2000-12-27 | 2002-07-12 | Nissan Motor Co Ltd | 車両の走行路認識装置 |
| CN1637675A (zh) * | 2003-12-23 | 2005-07-13 | 三星电子株式会社 | 使用旋转运动量的方法和装置以及计算机可读记录介质 |
| JP2006185438A (ja) * | 2004-12-03 | 2006-07-13 | Matsushita Electric Ind Co Ltd | ロボット制御装置 |
-
2015
- 2015-08-11 CN CN201510491216.7A patent/CN105072402B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002197444A (ja) * | 2000-12-27 | 2002-07-12 | Nissan Motor Co Ltd | 車両の走行路認識装置 |
| CN1637675A (zh) * | 2003-12-23 | 2005-07-13 | 三星电子株式会社 | 使用旋转运动量的方法和装置以及计算机可读记录介质 |
| JP2006185438A (ja) * | 2004-12-03 | 2006-07-13 | Matsushita Electric Ind Co Ltd | ロボット制御装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105072402A (zh) | 2015-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109922310B (zh) | 目标对象的监控方法、装置及系统 | |
| CN109299703B (zh) | 对鼠情进行统计的方法、装置以及图像采集设备 | |
| CN102306304B (zh) | 人脸遮挡物识别方法及其装置 | |
| AU2012340862B2 (en) | Geographic map based control | |
| CN107679471B (zh) | 基于视频监控平台的室内人员空岗检测方法 | |
| US8922674B2 (en) | Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras | |
| CN110956118B (zh) | 目标对象检测方法和装置、存储介质及电子装置 | |
| US20080112595A1 (en) | Method for detecting image regions that are conspicuous in terms of the movement in them; apparatus and computer program for performing the method | |
| TW201142756A (en) | Image processing device, image processing method and program | |
| KR100822476B1 (ko) | 원격 응급상황 모니터링 시스템 및 방법 | |
| KR102249498B1 (ko) | 이벤트 검색 장치 및 시스템 | |
| CN105072402B (zh) | 一种机器人巡视监测的方法 | |
| KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
| CN112132863A (zh) | 一种高空抛物检测流程及分析方法 | |
| KR102511287B1 (ko) | 영상 기반 자세 예측 및 행동 검출 방법 및 장치 | |
| JP2020145511A (ja) | カメラ装置、人物検出方法および人物検出システム | |
| CN112232107A (zh) | 一种图像式烟雾探测系统及方法 | |
| CN110472458A (zh) | 一种无人店铺秩序管理方法及系统 | |
| US20080211908A1 (en) | Monitoring Method and Device | |
| CN110580708B (zh) | 一种快速移动检测方法、装置及电子设备 | |
| KR20080071770A (ko) | 실시간 이상현상 감지 시스템 및 그 제어방법 | |
| CN116246299A (zh) | 一种结合目标检测和姿态识别技术的“低头族”智能识别系统 | |
| KR101355206B1 (ko) | 영상분석을 이용한 출입 계수시스템 및 그 방법 | |
| TW202145952A (zh) | 多目標人體體溫追蹤方法及系統 | |
| KR102147678B1 (ko) | 영상병합 스트림 리즈닝 감시방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230612 Address after: Room 355, Floor 3, Building 1, No. 1 Xinfa Road, Suzhou Industrial Park, Suzhou Pilot Free Trade Zone, Jiangsu Province, 215000 Patentee after: Suzhou Aifeiling Intelligent Technology Co.,Ltd. Address before: Room 102, Building 13, Tianyue Garden, Maqun New Street, Qixia District, Nanjing, Jiangsu 210046 Patentee before: Yu Lu Patentee before: Yu Cheng |
|
| TR01 | Transfer of patent right |