CN115314684A - 一种铁路桥梁的巡检方法、系统、设备及可读存储介质 - Google Patents
一种铁路桥梁的巡检方法、系统、设备及可读存储介质 Download PDFInfo
- Publication number
- CN115314684A CN115314684A CN202211231204.7A CN202211231204A CN115314684A CN 115314684 A CN115314684 A CN 115314684A CN 202211231204 A CN202211231204 A CN 202211231204A CN 115314684 A CN115314684 A CN 115314684A
- Authority
- CN
- China
- Prior art keywords
- information
- visual angle
- angle scene
- worker
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
- G07C1/20—Checking timed patrols, e.g. of watchman
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
本发明提供了一种铁路桥梁的巡检方法、系统、设备及可读存储介质,涉及铁路桥梁智能化施工巡检领域,所述方法包括获取第一信息和第二信息,第一信息包括本地端采集的实时音视频数据,第二信息包括远程端采集的实时音视频数据;将第一信息和第二信息发送至后台服务器进行配对,得到配对信息;根据配对信息分别将配对后的第一信息发送至对应的远程端生成第一视角场景和配对后的第二信息发送至对应的本地端生成第二视角场景;根据第一视角场景和第二视角场景对本地端进行巡检,本发明可以实现远程端对现场工作人员的第二视角场景进行实时的语音指导,并结合眼动追踪技术,进一步获取现场作业人员的视角聚焦点,提高专家对现场的感知。
Description
技术领域
本发明涉及铁路桥梁智能化施工巡检领域,具体而言,涉及一种铁路桥梁的巡检方法、系统、设备及可读存储介质。
背景技术
在现有技术中对铁路桥梁进行巡检遇到作业难题时,通常将现场采集到的铁路桥梁的视频数据进行保存,再发送给专家进行分析,但该方法缺少实时性,在遇到一些危急情况时,难以及时处理,导致无法迅速采取措施造成较大的危害,因此,亟需一种巡检方法能够现场工作人员与远程端的专家进行实时交互,来实现高效、精准的远程协作。
发明内容
本发明的目的在于提供一种铁路桥梁的巡检方法、系统、设备及可读存储介质,以改善上述问题。
为了实现上述目的,本申请实施例提供了如下技术方案:
一方面,本申请实施例提供了一种铁路桥梁的巡检方法,所述方法包括:
获取第一信息和第二信息,所述第一信息包括本地端采集的实时音视频数据,所述第二信息包括远程端采集的实时音视频数据;
将所述第一信息和所述第二信息发送至后台服务器进行配对,得到配对信息;
根据所述配对信息分别将配对后的第一信息发送至对应的远程端生成第一视角场景和配对后的第二信息发送至对应的本地端生成第二视角场景;
根据所述第一视角场景和所述第二视角场景对本地端进行巡检。
第二方面,本申请实施例提供了一种铁路桥梁的巡检系统,所述系统包括:
获取模块,用于获取第一信息和第二信息,所述第一信息包括本地端采集的实时音视频数据,所述第二信息包括远程端采集的实时音视频数据;
配对模块,用于将所述第一信息和所述第二信息发送至后台服务器进行配对,得到配对信息;
发送模块,用于根据所述配对信息分别将配对后的第一信息发送至对应的远程端生成第一视角场景和配对后的第二信息发送至对应的本地端生成第二视角场景;
巡检模块,用于根据所述第一视角场景和所述第二视角场景对本地端进行巡检。
第三方面,本申请实施例提供了一种铁路桥梁的巡检设备,所述设备包括存储器和处理器。存储器用于存储计算机程序;处理器用于执行所述计算机程序时实现上述铁路桥梁的巡检方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述铁路桥梁的巡检方法的步骤。
本发明的有益效果为:
1、本发明通过在远程端建立第一视角场景,在本地端建立第二视角场景,再利用实时音频通信技术,实现了远程端的专家与本地端的工作人员的实时交互,有效的提高了解决现场施工作业难题的效率和对铁路桥梁的巡检效率,并且避免了遇到危急情况时无法及时完成施工作业,造成经济损失的难题,同时结合融合技术将虚拟信息实时渲至真实环境中,对现场作业人员进行远程协同指导。通过该种协同交互形式,可打破物理空间上的隔阂,就算用户间相隔万里,也可进行异地协同分析与指导,降低了异地协同作业的难度。
2、本发明通过在第二视角场景中结合眼动追踪技术,对本地端的施工人员的眼球位置进行追踪并将广域的视角范围聚焦于一点,更进一步提高远程端的专家对现场的感知,让专家知悉现场工作人员的视角聚焦点,实现高效、精准的远程协作。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的铁路桥梁的巡检方法的流程示意图。
图2为本发明实施例中所述的铁路桥梁的巡检系统的结构示意图。
图3为本发明实施例中所述的铁路桥梁的巡检设备的结构示意图。
图中标记:901、获取模块;902、配对模块;903、发送模块;904、巡检模块;9021、第一获取单元;9022、第一建立单元;9023、第一判断单元;9031、第一处理单元;9032、第二处理单元;9033、第三处理单元;9034、第四处理单元;9041、第二获取单元;9042、标注单元;9043、同步单元;90411、第二建立单元;90412、第五处理单元;90413、第六处理单元;904121、第二判断单元;800、铁路桥梁的巡检设备;801、处理器;802、存储器;803、多媒体组件;804、I/O接口;805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例1:
本实施例提供了一种铁路桥梁的巡检方法,可以理解的是,在本实施例中可以铺设一个场景,例如:在现场的工作人员需要在远程端的专家的指导下对铁路桥梁的作业情况进行巡检。
如图1所示,本实施例提供了一种铁路桥梁的巡检方法,所述方法包括:步骤S1、步骤S2、步骤S3和步骤S4,其中:
步骤S1、获取第一信息和第二信息,所述第一信息包括本地端采集的实时音视频数据,所述第二信息包括远程端采集的实时音视频数据;
可以理解的是,针对现场作业面临的某一难题,远程的专家指派一名作业人员前往现场解决,作业人员到达现场后,穿戴AR眼镜并启动远程协助应用,通过远程协助应用向后方服务器发送AR眼镜端采集到的现场的音视频数据即第一信息;远程的专家启动远程的移动终端上的远程协助应用,并通过远程协助应用向后方服务器发送远程的移动终端上的音视频数据即第二信息。
步骤S2、将所述第一信息和所述第二信息发送至后台服务器进行配对,得到配对信息;
可以理解的是,步骤S2还包括步骤S21、步骤S22和步骤S12,其中:
步骤S21、获取本地端ID信息和远程端ID信息;
可以理解的是本地端的ID信息与远程端的ID信息为远程专家预先设置的,当专家指派具体的工作人员进行作业时,需要告知本地端工作人员本地端的ID信息,用以登录远程协助应用。
步骤S22、建立本地端ID信息与第一信息之间的对应关系,得到第一对应信息,建立远程端ID信息与第二信息之间的对应关系,得到第二对应信息;
步骤S23、判断所述本地端ID信息与所述远程端ID信息是否匹配,其中,若匹配,则将本地端ID信息对应的第一信息与远程端ID信息对应的第二信息进行配对,若不匹配,则不进行配对。
可以理解的是,服务器通过识别远程的移动终端对应的远程端ID信息与AR眼镜对应的本地端的ID信息是否匹配来对远程的移动终端与本地AR眼镜设备进行配对。
步骤S3、根据所述配对信息分别将配对后的第一信息发送至对应的远程端生成第一视角场景和配对后的第二信息发送至对应的本地端生成第二视角场景;
可以理解的是,步骤S3还包括步骤S31、步骤S32、步骤S33和步骤S34,其中:
步骤S31、利用实时音频通信技术将远程端接收到的所述第一信息与所述第二信息进行结合,得到远程端的场景信息;
可以理解的是,实时音频通信技术将远程端接收到的所述第一信息与所述第二信息进行结合为现有技术,故不在此赘述。
步骤S32、利用虚实融合技术将所述远程端的场景信息实时渲染至真实空间中,生成第一视角场景;
步骤S33、利用实时音频通信技术将本地端接收到的所述第二信息与所述第一信息进行结合,得到本地端的场景信息;
步骤S34、利用虚实融合技术将所述本地端的场景信息实时渲染至真实空间中,生成第二视角场景。
在本实施例中,通过实时的音视频通信技术,实时获取本地端采集的场景信息,并通过虚实融合技术将本地端的场景信息实时渲染至真实空间中,然后,将虚实结合的场景信息实时反馈至本地端,且在两端实时获取另一端视角场景信息的同时,还可以通过实时语音交互的方式对现场作业情况进行沟通;同时,通过远程协同技术,指挥人员对本地端进行交互选取并展示的图像/视频数据也会在远程端进行虚实融合展示。
需要说明的是,结合融合技术将虚拟信息实时渲至真实环境中,对现场作业人员进行远程协同指导。通过该种协同交互形式,可打破物理空间上的隔阂,就算用户间相隔万里,也可进行异地协同分析与指导,降低了异地协同作业的难度,通过第一视角音视频双向实时沟通,让协作更精准、更高效。
步骤S4、根据所述第一视角场景和所述第二视角场景对本地端进行巡检。
可以理解的是,在远程端为专家的移动终端生成本地端对应的第一视角场景,在本地端为现场工作人员的AR眼镜生成远程端专家对应的第二视角场景,通过第一视角场景和第二视角场景实现本地端的现场工作人员在远程端专家的指导下对铁路桥梁作业进行巡检。
可以理解的是,所述步骤S4还包括步骤S41、步骤S42和步骤S43,其中:
步骤S41、获取现场信息,所述现场信息为本地端工作人员在所述第二视角场景中所观察到的铁路桥梁的缺陷位置;
可以理解的是,所述步骤S41还包括步骤S411、步骤S412和步骤S413,其中:
步骤S411、建立本地端工作人员的眼球位置与所述第二视角场景之间的映射关系;
可以理解的是,通过AR眼镜建立本地端工作人员的眼球位置与所述第二视角场景之间的映射关系,从而使工作人员的眼球位置与第二视角场景对应的视角一一对应。
步骤S412、利用眼动追踪技术捕捉本地端工作人员的眼球位置,得到眼球的位置信息;
可以理解的是,所述步骤S412还包括步骤S4121,其中:
步骤S4121、利用眼动追踪技术追踪所述工作人员的眼球位置并判断所述工作人员的眼球位置是否移动,其中,若所述工作人员的眼球位置停留时间超过预设的时间阈值,则判断所述工作人员在巡检时观察到铁路桥梁的缺陷;若工作人员的眼球位置停留时间小于预设的时间阈值,则判断工作人员正在对铁路桥梁进行巡检。
需要说明的是,当眼球位置的停留时间超过了AR设备预设的时间阈值可以判断现场工作人员正在进行凝视操作,此时可以判断工作人员在作业任务进行巡检时检查到了铁路桥梁的缺陷,进一步的AR设备还会再其注释的焦点处出现圆型指引光标,同时,远程专家根据第二视角场景中出现的圆型指引光标可知悉现场作业人员的视角聚焦点,进一步提高了远程专家对现场的感知,从而实现了高效、精准的远程协作,
步骤S413、根据所述眼球的位置信息与眼球位置与所述第二视角场景之间的映射关系得到本地端工作人员在所述第二视角场景中所观察到的铁路桥梁的缺陷位置。
可以理解的是,根据眼球的位置信息和眼球位置与所述第二视角场景之间的映射关系即可将本地端工作人员的视角进行聚焦,使远程端的专家能够迅速的在移动终端上捕捉到铁路桥梁的缺陷位置。
步骤S42、根据所述现场信息在所述第一视角场景中对应的位置进行标注,得到标注后的第一视角场景;
可以理解的是,专家可以对现场工作人员观察到的铁路桥梁的缺陷位置处进行标注,其中标注类型可以为圆或箭头,通过标注能够更方便的使远程端的专家对现场工作人员的作业进行指导。
步骤S43、根据所述标注后的第一视角场景对所述第二视角场景进行同步,得到标注后的第二视角场景。
可以理解的是,专家在移动终端上对第一视角场景的窗口中的内容进行标注会向服务器发送一串包含标注类型+标记的生成位置(position:(x,y,z))的字符串,服务器接收移动终端发送的包含标注类型+标记的生成位置(position:(x,y,z))的字符串并更新信息缓存池的参数信息,AR眼镜设备不断轮询服务器缓存池信息的过程,根据缓存池更新的缓存信息即标注类型+标记的生成位置(position:(x,y,z))的字符串,进行解析并在AR眼镜端将标注进行同步,此外,远程专家还可以对第一视角场景中的内容进行缩放操作,其中具体为:远程专家通过鼠标对第一视角场景中的内容进行缩放操作,会向服务器发送一串包含表示图片窗口Scale(比例)大小的x,y,z字符串,例:图片窗口原来大小xyz为(1f,1f,1f),缩小后xyz为(0.5f,0.5f,0.5f),放大后xyz为(1.5f,1.5f,1.5f);服务器接收PC端发送的交互参数信息并更新信息缓存池的参数信息,AR眼镜端在不断轮询服务器缓存池信息的过程中,根据缓存池更新的缓存信息进行解析并在AR眼镜端进行相同的操作,如PC端进行了缩小操作发送指令A给服务器,服务器接收并更新缓存池信息为指令A,AR眼镜端在不断轮询服务器缓存池信息的过程中,根据缓存池更新的缓存信息指令A进行解析并在AR眼镜端进行缩小操作,实现协同交互。
实施例2:
如图2所示,本实施例提供了一种铁路桥梁的巡检系统,所述系统包括获取模块901、配对模块902、发送模块903和巡检模块904,其中:
获取模块901,用于获取第一信息和第二信息,所述第一信息包括本地端采集的实时音视频数据,所述第二信息包括远程端采集的实时音视频数据;
配对模块902,用于将所述第一信息和所述第二信息发送至后台服务器进行配对,得到配对信息;
发送模块903,用于根据所述配对信息分别将配对后的第一信息发送至对应的远程端生成第一视角场景和配对后的第二信息发送至对应的本地端生成第二视角场景;
巡检模块904,用于根据所述第一视角场景和所述第二视角场景对本地端进行巡检。
在本公开的一种具体实施方式中,所述配对模块902包括第一获取单元9021、第一建立单元9022和第一判断单元9023,其中:
第一获取单元9021,用于获取本地端ID信息和远程端ID信息;
第一建立单元9022,用于建立本地端ID信息与第一信息之间的对应关系,得到第一对应信息,建立远程端ID信息与第二信息之间的对应关系,得到第二对应信息;
第一判断单元9023,用于判断所述本地端ID信息与所述远程端ID信息是否匹配,其中,若匹配,则将本地端ID信息对应的第一信息与远程端ID信息对应的第二信息进行配对,若不匹配,则不进行配对。
在本公开的一种具体实施方式中,所述发送模块903包括第一处理单元9031、第二处理单元9032、第三处理单元9033和第四处理单元9034,其中:
第一处理单元9031,用于利用实时音频通信技术将远程端接收到的所述第一信息与所述第二信息进行结合,得到远程端的场景信息;
第二处理单元9032,用于利用虚实融合技术将所述远程端的场景信息实时渲染至真实空间中,生成第一视角场景;
第三处理单元9033,用于利用实时音频通信技术将本地端接收到的所述第二信息与所述第一信息进行结合,得到本地端的场景信息;
第四处理单元9034,用于利用虚实融合技术将所述本地端的场景信息实时渲染至真实空间中,生成第二视角场景。
在本公开的一种具体实施方式中,所述巡检模块904包括第二获取单元9041、标注单元9042和同步单元9043,其中:
第二获取单元9041,用于获取现场信息,所述现场信息为本地端工作人员在所述第二视角场景中所观察到的铁路桥梁的缺陷位置;
标注单元9042,用于根据所述现场信息在所述第一视角场景中对应的位置进行标注,得到标注后的第一视角场景;
同步单元9043,用于根据所述标注后的第一视角场景对所述第二视角场景进行同步,得到标注后的第二视角场景。
在本公开的一种具体实施方式中,所述第二获取单元9041包括第二建立单元90411、第五处理单元90412和第六处理单元90413,其中:
第二建立单元90411,用于建立本地端工作人员的眼球位置与所述第二视角场景之间的映射关系;
第五处理单元90412,用于利用眼动追踪技术捕捉本地端工作人员的眼球位置,得到眼球的位置信息;
第六处理单元90413,用于根据所述眼球的位置信息与眼球位置与所述第二视角场景之间的映射关系得到本地端工作人员在所述第二视角场景中所观察到的铁路桥梁的缺陷位置。
在本公开的一种具体实施方式中,所述第五处理单元90412包括第二判断单元904121,其中:
第二判断单元904121,用于利用眼动追踪技术追踪所述工作人员的眼球位置并判断所述工作人员的眼球位置是否移动,其中,若所述工作人员的眼球位置停留时间超过预设的时间阈值,则判断所述工作人员在巡检时观察到铁路桥梁的缺陷;若工作人员的眼球位置停留时间小于预设的时间阈值,则判断工作人员正在对铁路桥梁进行巡检。
需要说明的是,关于上述实施例中的系统,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
实施例3:
相应于上面的方法实施例,本实施例中还提供了一种铁路桥梁的巡检设备,下文描述的一种铁路桥梁的巡检设备与上文描述的一种铁路桥梁的巡检方法可相互对应参照。
图3是根据示例性实施例示出的一种铁路桥梁的巡检设备800的框图。如图3所示,该铁路桥梁的巡检设备800可以包括:处理器801,存储器802。该铁路桥梁的巡检设备800还可以包括多媒体组件803, I/O接口804,以及通信组件805中的一者或多者。
其中,处理器801用于控制该铁路桥梁的巡检设备800的整体操作,以完成上述的铁路桥梁的巡检方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该铁路桥梁的巡检设备800的操作,这些数据例如可以包括用于在该铁路桥梁的巡检设备800上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-OnlyMemory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该铁路桥梁的巡检设备800与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件805可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,铁路桥梁的巡检设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的铁路桥梁的巡检方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的铁路桥梁的巡检方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器802,上述程序指令可由铁路桥梁的巡检设备800的处理器801执行以完成上述的铁路桥梁的巡检方法。
实施例4:
相应于上面的方法实施例,本实施例中还提供了一种可读存储介质,下文描述的一种可读存储介质与上文描述的一种铁路桥梁的巡检方法可相互对应参照。
一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例的铁路桥梁的巡检方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种铁路桥梁的巡检方法,其特征在于,包括:
获取第一信息和第二信息,所述第一信息包括本地端采集的实时音视频数据,所述第二信息包括远程端采集的实时音视频数据;
将所述第一信息和所述第二信息发送至后台服务器进行配对,得到配对信息;
根据所述配对信息分别将配对后的第一信息发送至对应的远程端生成第一视角场景和配对后的第二信息发送至对应的本地端生成第二视角场景;
根据所述第一视角场景和所述第二视角场景对本地端进行巡检。
2.根据权利要求1所述的铁路桥梁的巡检方法,其特征在于,根据所述第一视角场景和所述第二视角场景对本地端进行巡检,包括:
获取现场信息,所述现场信息为本地端工作人员在所述第二视角场景中所观察到的铁路桥梁的缺陷位置;
根据所述现场信息在所述第一视角场景中对应的位置进行标注,得到标注后的第一视角场景;
根据所述标注后的第一视角场景对所述第二视角场景进行同步,得到标注后的第二视角场景。
3.根据权利要求2所述的铁路桥梁的巡检方法,其特征在于,所述获取现场信息,包括:
建立本地端工作人员的眼球位置与所述第二视角场景之间的映射关系;
利用眼动追踪技术捕捉本地端工作人员的眼球位置,得到眼球的位置信息;
根据所述眼球的位置信息与眼球位置与所述第二视角场景之间的映射关系得到本地端工作人员在所述第二视角场景中所观察到的铁路桥梁的缺陷位置。
4.根据权利要求3所述的铁路桥梁的巡检方法,其特征在于,所述利用眼动追踪技术捕捉本地端工作人员的眼球位置,得到眼球的位置信息,包括:
利用眼动追踪技术追踪所述工作人员的眼球位置并判断所述工作人员的眼球位置是否移动,其中,若所述工作人员的眼球位置停留时间超过预设的时间阈值,则判断所述工作人员在巡检时观察到铁路桥梁的缺陷;若工作人员的眼球位置停留时间小于预设的时间阈值,则判断工作人员正在对铁路桥梁进行巡检。
5.一种铁路桥梁的巡检系统,其特征在于,包括:
获取模块,用于获取第一信息和第二信息,所述第一信息包括本地端采集的实时音视频数据,所述第二信息包括远程端采集的实时音视频数据;
配对模块,用于将所述第一信息和所述第二信息发送至后台服务器进行配对,得到配对信息;
发送模块,用于根据所述配对信息分别将配对后的第一信息发送至对应的远程端生成第一视角场景和配对后的第二信息发送至对应的本地端生成第二视角场景;
巡检模块,用于根据所述第一视角场景和所述第二视角场景对本地端进行巡检。
6.根据权利要求5所述的铁路桥梁的巡检系统,其特征在于,所述巡检模块,包括:
第二获取单元,用于获取现场信息,所述现场信息为本地端工作人员在所述第二视角场景中所观察到的铁路桥梁的缺陷位置;
标注单元,用于根据所述现场信息在所述第一视角场景中对应的位置进行标注,得到标注后的第一视角场景;
同步单元,用于根据所述标注后的第一视角场景对所述第二视角场景进行同步,得到标注后的第二视角场景。
7.根据权利要求6所述的铁路桥梁的巡检系统,其特征在于,所述第二获取单元,包括:
第二建立单元,用于建立本地端工作人员的眼球位置与所述第二视角场景之间的映射关系;
第五处理单元,用于利用眼动追踪技术捕捉本地端工作人员的眼球位置,得到眼球的位置信息;
第六处理单元,用于根据所述眼球的位置信息与眼球位置与所述第二视角场景之间的映射关系得到本地端工作人员在所述第二视角场景中所观察到的铁路桥梁的缺陷位置。
8.根据权利要求7所述的铁路桥梁的巡检系统,其特征在于,所述第五处理单元,包括:
第二判断单元,用于利用眼动追踪技术追踪所述工作人员的眼球位置并判断所述工作人员的眼球位置是否移动,其中,若所述工作人员的眼球位置停留时间超过预设的时间阈值,则判断所述工作人员在巡检时观察到铁路桥梁的缺陷;若工作人员的眼球位置停留时间小于预设的时间阈值,则判断工作人员正在对铁路桥梁进行巡检。
9.一种铁路桥梁的巡检设备,其特征在于,包括:
存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现如权利要求1至4任一项所述铁路桥梁的巡检方法的步骤。
10.一种可读存储介质,其特征在于:所述可读存储质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述铁路桥梁的巡检方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211231204.7A CN115314684B (zh) | 2022-10-10 | 2022-10-10 | 一种铁路桥梁的巡检方法、系统、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211231204.7A CN115314684B (zh) | 2022-10-10 | 2022-10-10 | 一种铁路桥梁的巡检方法、系统、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115314684A true CN115314684A (zh) | 2022-11-08 |
CN115314684B CN115314684B (zh) | 2022-12-27 |
Family
ID=83866476
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211231204.7A Active CN115314684B (zh) | 2022-10-10 | 2022-10-10 | 一种铁路桥梁的巡检方法、系统、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115314684B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116798142A (zh) * | 2023-06-25 | 2023-09-22 | 中路高科交通检测检验认证有限公司 | 长大桥梁可视化巡检方法、系统、设备及储存介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2209886A1 (en) * | 1996-07-15 | 1998-01-15 | University Technologies International, Inc. | Motor and eye activity performance analyzer |
US20160292884A1 (en) * | 2015-04-01 | 2016-10-06 | Owl Labs, Inc. | Scaling sub-scenes within a wide angle scene |
CN107168537A (zh) * | 2017-05-19 | 2017-09-15 | 山东万腾电子科技有限公司 | 一种协同式增强现实的可穿戴作业指导方法及系统 |
CN108879440A (zh) * | 2018-06-20 | 2018-11-23 | 国网山东省电力公司济宁供电公司 | 基于可穿戴增强现实显示终端和云平台的智能检修系统及方法 |
US20190236373A1 (en) * | 2018-01-31 | 2019-08-01 | Guangzhou Institute Of Building Science Co., Ltd. | Data Transmission System of Safety Patrol on Construction Project Site Based on "Internet Plus" |
US20190318535A1 (en) * | 2016-12-27 | 2019-10-17 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Display data processing method and apparatus |
CN113110733A (zh) * | 2021-03-03 | 2021-07-13 | 卓才互能(广州)科技股份有限公司 | 一种基于远程双工的虚拟现场交互方法及系统 |
CN114662714A (zh) * | 2022-02-25 | 2022-06-24 | 南京邮电大学 | 基于ar设备的机房运维管理系统及方法 |
US20220317766A1 (en) * | 2019-09-30 | 2022-10-06 | Boe Technology Group Co., Ltd. | Virtual Tourism Client, Server, System and Acquisition Device |
-
2022
- 2022-10-10 CN CN202211231204.7A patent/CN115314684B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2209886A1 (en) * | 1996-07-15 | 1998-01-15 | University Technologies International, Inc. | Motor and eye activity performance analyzer |
US20160292884A1 (en) * | 2015-04-01 | 2016-10-06 | Owl Labs, Inc. | Scaling sub-scenes within a wide angle scene |
US20190318535A1 (en) * | 2016-12-27 | 2019-10-17 | Cloudminds (Shenzhen) Robotics Systems Co., Ltd. | Display data processing method and apparatus |
CN107168537A (zh) * | 2017-05-19 | 2017-09-15 | 山东万腾电子科技有限公司 | 一种协同式增强现实的可穿戴作业指导方法及系统 |
US20190236373A1 (en) * | 2018-01-31 | 2019-08-01 | Guangzhou Institute Of Building Science Co., Ltd. | Data Transmission System of Safety Patrol on Construction Project Site Based on "Internet Plus" |
CN108879440A (zh) * | 2018-06-20 | 2018-11-23 | 国网山东省电力公司济宁供电公司 | 基于可穿戴增强现实显示终端和云平台的智能检修系统及方法 |
US20220317766A1 (en) * | 2019-09-30 | 2022-10-06 | Boe Technology Group Co., Ltd. | Virtual Tourism Client, Server, System and Acquisition Device |
CN113110733A (zh) * | 2021-03-03 | 2021-07-13 | 卓才互能(广州)科技股份有限公司 | 一种基于远程双工的虚拟现场交互方法及系统 |
CN114662714A (zh) * | 2022-02-25 | 2022-06-24 | 南京邮电大学 | 基于ar设备的机房运维管理系统及方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116798142A (zh) * | 2023-06-25 | 2023-09-22 | 中路高科交通检测检验认证有限公司 | 长大桥梁可视化巡检方法、系统、设备及储存介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115314684B (zh) | 2022-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110189416B (zh) | 检修现场的远程指导方法及系统 | |
CN111722714A (zh) | 一种基于ar技术的数字化变电站计量运检辅助方法 | |
CN111386511A (zh) | 基于自扩展的增强现实服务指令库 | |
CN101489073B (zh) | 信息处理装置以及信息处理方法 | |
CN104956339B (zh) | 从视频生成软件测试脚本 | |
US20200082199A1 (en) | Method and apparatus for inspecting burrs of electrode slice | |
CN112085232A (zh) | 一种基于增强现实技术的运检系统及方法 | |
US20240249555A1 (en) | Method for detecting human behavior, electronic device, and storage medium | |
CN115314684B (zh) | 一种铁路桥梁的巡检方法、系统、设备及可读存储介质 | |
CN112749813A (zh) | 一种数据处理系统、方法、电子设备及存储介质 | |
CN110740285A (zh) | 一种远程信息处理方法和装置 | |
CN105159537A (zh) | 基于多屏的实时独立交互系统 | |
US20210224526A1 (en) | Method and apparatus for detecting wearing of safety helmet, device and storage medium | |
JP2015061339A (ja) | 結線作業支援システム | |
CN111049687A (zh) | 设备检修视频操作指导文件处理方法、装置、ar终端 | |
CN112272279B (zh) | 作业信息展示方法、装置、计算机设备和存储介质 | |
JP2020086980A (ja) | 設備点検支援端末、設備点検支援システム及びプログラム | |
CN109324911A (zh) | 用户行为自动检测智能屏幕抓屏系统 | |
CN111464787A (zh) | 远程协助方法、终端设备和可读存储介质 | |
CN109871465B (zh) | 一种时间轴计算方法、装置、电子设备及存储介质 | |
CN112383734A (zh) | 视频处理方法、装置、计算机设备和存储介质 | |
CN112130572A (zh) | 一种基于穿戴式设备的机电设备养护单兵辅助方法及系统 | |
CN116152945A (zh) | 一种基于ar技术的矿下巡检系统及方法 | |
CN115406626A (zh) | 基于ar眼镜的故障检测方法、装置、ar眼镜和介质 | |
CN110096601B (zh) | 图表关键区域确定方法、装置、介质、服务器及用户终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |