CN114090550B - 一种机器人数据库构建方法、系统、电子设备及存储介质 - Google Patents

一种机器人数据库构建方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN114090550B
CN114090550B CN202210057266.4A CN202210057266A CN114090550B CN 114090550 B CN114090550 B CN 114090550B CN 202210057266 A CN202210057266 A CN 202210057266A CN 114090550 B CN114090550 B CN 114090550B
Authority
CN
China
Prior art keywords
data
robot
operation process
database
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210057266.4A
Other languages
English (en)
Other versions
CN114090550A (zh
Inventor
李耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Borns Medical Robotics Co Ltd
Original Assignee
Chengdu Borns Medical Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Borns Medical Robotics Co Ltd filed Critical Chengdu Borns Medical Robotics Co Ltd
Priority to CN202210057266.4A priority Critical patent/CN114090550B/zh
Publication of CN114090550A publication Critical patent/CN114090550A/zh
Application granted granted Critical
Publication of CN114090550B publication Critical patent/CN114090550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/219Managing data history or versioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本申请公开了一种机器人数据库构建方法、系统、电子设备及存储介质,所述方法包括:获取机器人操作过程数据,并按照操作过程时间轴形成操作数据日志;获取所述机器人操作过程数据对应的可视化数据,并在约束条件下将所述操作数据日志与所述可视化数据进行叠加得到叠加数据;其中,所述约束条件为保持所述操作数据日志的时间轴与所述可视化数据的时间轴对齐;根据所述叠加数据构建机器人的多源叠加数据库。本申请能够实现操作过程数据和可视化数据的共同存储,以使用户从数据库中提取时间同步的操作过程数据和可视化数据。

Description

一种机器人数据库构建方法、系统、电子设备及存储介质
技术领域
本申请涉及机器人数据库建立技术领域,特别涉及一种机器人数据库构建方法、系统、电子设备及存储介质。
背景技术
在操作达芬奇机器人过程中,可以生成机器人的操作过程数据,还可以通过相机、内窥镜等设备获取机器人的可视化数据。操作过程数据和可视化数据往往分别存储在不同的数据库中,在工作人员需要分析机器人操作过程时,往往需要分别从不同的数据库提取操作过程数据和可视化数据,且可能出现操作过程数据和可视化数据不同步的情况。
因此,如何实现操作过程数据和可视化数据的共同存储,以使用户从数据库中提取时间同步的操作过程数据和可视化数据是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种机器人数据库构建方法、一种数据库构建系统、一种电子设备及一种存储介质,能够实现操作过程数据和可视化数据的共同存储,以使用户从数据库中提取时间同步的操作过程数据和可视化数据。
为解决上述技术问题,本申请提供一种机器人数据库构建方法,包括:
获取机器人操作过程数据,并按照操作过程时间轴形成操作数据日志;
获取所述机器人操作过程数据对应的可视化数据,并在约束条件下将所述操作数据日志与所述可视化数据进行叠加得到叠加数据;其中,所述约束条件为保持所述操作数据日志的时间轴与所述可视化数据的时间轴对齐;
根据所述叠加数据构建机器人的多源叠加数据库。
可选的,所述按照操作过程时间轴形成操作数据日志,包括:
对所述操作过程数据进行分类,并根据分类结果为每一类数据添加对应的分类索引标记;
对添加所述分类索引标记的操作过程数据按照操作过程时间轴进行排序,以便形成所述操作数据日志。
可选的,所述分类索引标记包括操作数据索引标记、操作动作索引标记、系统状态索引标记和设备报错索引标记。
可选的,获取所述机器人操作过程数据对应的可视化数据,包括:
在机器人操作的过程中,获取所述机器人操作过程数据对应的可视化数据;
相应的,在获取所述机器人操作过程数据对应的可视化数据之后,还包括:
对所述可视化数据中的关键信息添加对应的关键信息索引标记。
可选的,还包括:
接收数据检索指令,解析所述数据检索指令得到目标检索信息;其中,所述目标检索信息包括时间轴信息、目标分类索引标记和目标关键信息索引标记中的任一项或任几项的组合;
从所述多源叠加数据库中检索与所述目标检索信息对应的数据。
可选的,所述时间轴包括时间戳,其中所述时间戳至少包括数据序号、数据发生时间、数据生成时间中的任意一种。
可选的,所述可视化数据包括与机器人操作过程数据相对应的相同时间轴的操作视频和/或3D模型视频。
可选的,还包括:
在按照操作过程时间轴形成所述操作数据日志之后,将所述操作数据日志进行压缩得到操作数据压缩包,并将所述操作数据压缩包存储至机器人数据库系统;
和/或,在获取所述机器人操作过程数据对应的所述可视化数据之后,将所述可视化数据进行压缩得到可视化数据压缩包,并将所述可视化数据压缩包存储至所述机器人数据库系统;
和/或,在将所述操作数据日志与所述可视化数据进行叠加得到叠加数据之后,将所述叠加数据进行压缩得到多源数据压缩包,并将所述多源数据压缩包存储至所述机器人数据库系统;
其中,所述机器人数据库系统包括本地机器人数据库系统和/或云端机器人数据库系统。
可选的,还包括:
判断是否接收到机器人操作过程重现指令或回放指令;
若是,则从所述机器人数据库系统中读取所述目标压缩数据,执行所述目标压缩数据对应的机器人操作过程的重现操作或回放操作;其中,所述目标压缩数据包括所述操作数据压缩包、所述可视化数据压缩包和所述多源数据压缩包中的任一种或任几种的组合。
可选的,所述执行所述目标压缩数据对应的机器人操作过程的重现操作或回放操作,包括:
解压所述目标压缩数据,并在机器人系统中运行所述目标压缩数据的解压结果,以便实现机器人操作过程的重现操作;
或,解压所述目标压缩数据,将所述目标压缩数据的解压结果导入机器人3D模型,通过所述机器人3D模型运行导入的所述目标压缩数据的解压结果,以便实现机器人操作过程的回放操作。
可选的,还包括:
判断是否接收机器人远程操作请求;
若是,则确定所述机器人远程操作请求对应的业务数据包;其中,所述业务数据包至少包括所述操作数据压缩包或所述多源数据压缩包;
将所述业务数据包上传至远端设备,以便所述远端设备利用所述业务数据包进行远程机器人操作。
本申请还提供了一种机器人数据库构建系统,包括:
日志生成模块,用于获取机器人操作过程数据,并按照操作过程时间轴形成操作数据日志;
数据叠加模块,用于获取所述机器人操作过程数据对应的可视化数据,并在约束条件下将所述操作数据日志与所述可视化数据进行叠加得到叠加数据;其中,所述约束条件为保持所述操作数据日志的时间轴与所述可视化数据的时间轴对齐;
数据库构建模块,用于根据所述叠加数据构建机器人的多源叠加数据库。
本申请还提供了一种存储介质,其上存储有计算机程序,所述计算机程序执行时实现上述机器人数据库构建方法执行的步骤。
本申请还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现上述机器人数据库构建方法执行的步骤。
本申请提供了一种机器人数据库构建方法,该机器人数据库构建方法包括:获取机器人操作过程数据,并按照操作过程时间轴形成操作数据日志;获取所述机器人操作过程数据对应的可视化数据,并在约束条件下将所述操作数据日志与所述可视化数据进行叠加得到叠加数据;其中,所述约束条件为保持所述操作数据日志的时间轴与所述可视化数据的时间轴对齐;根据所述叠加数据构建机器人的多源叠加数据库。
本申请获取机器人操作过程数据,并按照操作过程时间轴形成操作数据日志,本申请将操作数据日志和可视化数据进行叠加得到叠加数据,并基于叠加数据构建机器人的多源叠加数据库。叠加数据中操作数据日志的时间轴与可视化数据的时间轴对齐,本申请构建的多源叠加数据库可以实现操作过程数据和可视化数据的共同存储,以使用户从数据库中提取时间同步的操作过程数据和可视化数据。本申请同时还提供了一种机器人数据库构建系统、一种存储介质和一种电子设备,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种机器人数据库构建方法的流程图;
图2为本申请实施例所提供的一种数据叠加示意图;
图3为本申请实施例所提供的一种手术操作数据的处理方案的流程图;
图4为本申请实施例所提供的一种机器人数据库构建系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面请参见图1,图1为本申请实施例所提供的一种机器人数据库构建方法的流程图,具体步骤可以包括:
S101:获取机器人操作过程数据,并按照操作过程时间轴形成操作数据日志;
其中,本实施例可以应用于机器人或与机器人连接的计算机,机器人操作过程数据指操作过程中所有数据。上述机器人可以为手术机器人、膜料喷涂机器人或零件装配机器人。以手术机器人为例,机器人操作过程数据可以包括:手腕数据(XYZ坐标和PRY坐标)、人手检测数据、脚踏数据(如启动、离合、镜头切换)、每条机械臂上的器械数据、能量器械数据、器械组合数据,以及机械臂关节数据。上述器械数据包括器械类型、使用时间、更换时间、运动时间、静态时间和器械夹闭“运动数据”;能量器械数据包括器械类型(如双极、单极、超声刀、切、凝)、激发时间、激发时长和能量大小。本实施例可以在机器人微创手术过程中通过多通道记录手术操作过程,得到机器人操作过程数据。上述时间轴包括时间戳,其中所述时间戳至少包括数据序号、数据发生时间、数据生成时间中的任意一种。在时间轴形成的数据包格式为:时间戳(序号—时间)、设备、类型、数据值或具体参数。
S102:获取所述机器人操作过程数据对应的可视化数据,并在约束条件下将所述操作数据日志与所述可视化数据进行叠加得到叠加数据;
其中,上述约束条件为保持所述操作数据日志的时间轴与所述可视化数据的时间轴对齐。上述可视化数据包括与机器人操作过程数据相对应的相同时间轴的操作视频和/或3D模型视频。本实施例可以通过以下方式对数据进行叠加显示,具体过程包括:获取机器人操作过程数据对应的可视化数据;其中,所述可视化数据包括操作视频和/或3D模型回放视频;接收数据叠加指令,并按照时间轴将所述机器人操作过程数据与所述可视化数据进行叠加,得到叠加数据;显示所述叠加数据。
以手术机器人操作过程数据为例,生成叠加数据的过程包括:获取所述手术操作数据对应的可视化数据;其中,所述可视化数据包括手术视频和/或3D模型回放视频;接收数据叠加指令,并按照时间轴将所述手术操作数据与所述可视化数据进行叠加,得到叠加数据;显示所述叠加数据。请参见图2,图2为本申请实施例所提供的一种数据叠加示意图。本实施例将手术操作数据(数据A)、手术操作视频(数据B)和手术操作外景(数据C)按照时间轴进行对齐,即同时显示的数据对应的时间点相同。进一步的,在得到叠加数据之后,还可以将所述叠加数据上传至远端设备,以便所述远端设备利用所述叠加数据进行远程手术。
S103:根据所述叠加数据构建机器人的多源叠加数据库。
本实施例获取机器人操作过程数据,并按照操作过程时间轴形成操作数据日志,本实施例将操作数据日志和可视化数据进行叠加得到叠加数据,并基于叠加数据构建机器人的多源叠加数据库。叠加数据中操作数据日志的时间轴与可视化数据的时间轴对齐,本实施例构建的多源叠加数据库可以实现操作过程数据和可视化数据的共同存储,以使用户从数据库中提取时间同步的操作过程数据和可视化数据。
作为对于图1对应实施例的进一步介绍,可以通过以下方式形成操作数据日志:对所述操作过程数据进行分类,并根据分类结果为每一类数据添加对应的分类索引标记;对添加所述分类索引标记的操作过程数据按照操作过程时间轴进行排序,以便形成所述操作数据日志。具体的,上述分类索引标记包括操作数据索引标记、操作动作索引标记、系统状态索引标记和设备报错索引标记。
作为对于图1对应实施例的进一步介绍,可以在机器人操作的过程中实时获取所述机器人操作过程数据对应的可视化数据,进而在机器人操作的过程中对所述可视化数据中的关键信息添加对应的关键信息索引标记。本步骤还可以预先配置关键词表,关键词表可以包括多个预设关键词(如夹取、切割等),进而依据关键词表对可视化数据中的关键信息添加关键信息索引标记。
在添加分类索引标记和/或关键信息索引标记之后,可以基于上述索引标记进行数据检索。具体的,可以接收数据检索指令,解析所述数据检索指令得到目标检索信息;其中,所述目标检索信息包括时间轴信息、目标分类索引标记和目标关键信息索引标记中的任一项或任几项的组合;从所述多源叠加数据库中检索与所述目标检索信息对应的数据。
其中,根据目标分类索引标记可以确定相应分类的操作过程数据,根据目标关键信息索引可以确定包含目标关键信息的可视化数据。本实施例对操作数据日志中的数据进行分类,并根据分类结果为每一类数据添加对应的分类索引标记;对所述可视化数据中的关键信息添加对应的关键信息索引标记。依据数据检索指令可以从数据库中精准检索对应的数据。本实施例提供的数据检索方案无需手动检索,可以实现自动且高效的数据检索。
进一步的,在按照操作过程时间轴形成所述操作数据日志之后,可以将所述操作数据日志进行压缩得到操作数据压缩包,并将所述操作数据压缩包存储至机器人数据库系统。在获取所述机器人操作过程数据对应的所述可视化数据之后,可以将所述可视化数据进行压缩得到可视化数据压缩包,并将所述可视化数据压缩包存储至所述机器人数据库系统。在将所述操作数据日志与所述可视化数据进行叠加得到叠加数据之后,可以将所述叠加数据进行压缩得到多源数据压缩包,并将所述多源数据压缩包存储至所述机器人数据库系统。本实施例可以生成操作数据压缩包、可视化数据压缩包和多源数据压缩包中的任一种或任几种。上述机器人数据库系统包括本地机器人数据库系统和/或云端机器人数据库系统。在将上述任一种或任几种压缩数据包存储至机器人数据库系统之后,还可以判断是否接收到机器人操作过程重现指令或回放指令;若是,则从所述机器人数据库系统中读取所述目标压缩数据,执行所述目标压缩数据对应的机器人操作过程的重现操作或回放操作;其中,所述目标压缩数据包括所述操作数据压缩包、所述可视化数据压缩包和所述多源数据压缩包中的任一种或任几种的组合。
本实施例可以通过以下方式进行机器人操作过程的重现操作:解压所述目标压缩数据,并在机器人系统中运行所述目标压缩数据的解压结果,以便实现机器人操作过程的重现操作。本实施例还可以通过以下方式进行机器人操作过程的回放操作:解压所述目标压缩数据,将所述目标压缩数据的解压结果导入机器人3D模型,通过所述机器人3D模型运行导入的所述目标压缩数据的解压结果,以便实现机器人操作过程的回放操作。
在将得到操作数据压缩包或多源数据压缩包之后,还可以判断是否接收机器人远程操作请求;若是,则确定所述机器人远程操作请求对应的业务数据包;其中,所述业务数据包至少包括所述操作数据压缩包或所述多源数据压缩包;将所述业务数据包上传至远端设备,以便所述远端设备利用所述业务数据包进行远程机器人操作。
下面通过在实际应用中的实施例说明上述实施例描述的流程。
为了解决现有技术中手术视频与操作信息不便于检索提取的技术问题,本实施例建立手术操作的数据库,并对手术过程中的各个操作数据进行压缩和标记,从而方便技术人员进行索引,方便手术信息的存储,便于医院人员根据所需要的信息进行分类检索。本实施例中根据手术起始时间(机器人本地服务器时间)记录手术过程中各个操作数据,对所记录的手术操作数据进行标记并压缩,根据需要本地存储或通过低带宽视频编码压缩算法上传服务器。
请参见图3,图3为本申请实施例所提供的一种手术操作数据的处理方案的流程图,具体可以包括以下步骤:
S301:记录手术操作过程所有手术操作数据。
以“夹取”动作为例说明上述操作:每次启动手术机器人(产生本次启动的时间轴起点),建立病人档案,操作手柄检测操作医生手数据,医护控制操作手柄(XYZ,PRY)运动,生成分别控制机械臂关节运动—滑台运动——手术器械运动完成指定夹取的动作。按照时间轴顺序依次记录该过程中产生的所有操作数据(即手术操作数据)。
作为一种可行的实施方式,为了防止同一时刻同时操作手和脚的动作,本实施例可以对数据库显示精度进行设置(如本数据库可以精确到微秒),同时对时间轴进行排序,即防止在时间轴上的同一时刻产生多个数据信息。
S302:根据预设的数据库规则,将所获取的手术操作数据进行分类。
举例说明数据库分类的规则:
[000001-2021-09-24 10:29:22.621] [omega] [left] [data] [ 45 45 45 4545 ] //
说明:以上数据为2021.9.24 10:29:22.621产生的第一条件数据包,是操作手柄的运动控制数据。
[000002-2021-09-24 10:29:22.621][omega] [left] [opera] [force true]//
说明:以上数据为2021.9.24 10:29:22.621产生的第二条件数据包,是操作手柄因运动控制产生的重力补偿数据。
[000003-2021-09-24 10:29:22.621][main][ device] [state] [ready] //
说明:以上数据为2021.9.24 10:29:22.621产生的第三条件数据包,是系统状态数据。
[000004-2021-09-24 10:29:22.621][arm] [1] [ error] [2003 prective] //
说明:以上数据为2021.9.24 10:29:22.621产生的第四条件数据包,是设备报错的数据。
以上数据仅为因数据库时间显示限制,通过排序+时间的方式,避免同一时刻产生多组数据,进而提高了检索精度。本实施例可以避免手术操作过程部分零部件在同一时间段操作密度过大,导致后期数据不便查阅和检索的问题。为了后期的检索方便,还可以在分类时还可以增加每个动作的关键信息。
S303:对S301中记录的手术操作数据,根据需要对特定时间的关键信息进行标定/标记。
以手术操作数据中的右操作手柄数据为例,右Omega标识,时间戳,x,y,z,第一腕关节,第二腕关节,第三腕关节和夹取;对右操作手柄的关键信息“夹取”的动作进行标定,后期检索时,直接通过关键词“夹取”即可很快的找出所有“夹取”动作的操作。
本实施例通过利用预设的数据库规则建立的数据库,医护人员可以对高度抽象/复杂语义的手术过程进行精确的检索。比如通过目标效果的关键词组合(如分类+关键信息)检索,可以精确的检索出多个部件同一时刻或同一时间段的手术数据/过程。相较于现有技术通过手术过程回放去定位目标手术过程,该方案检索效率更高,检索结果更全面和准确。通过S202和S203的相关操作可以使手术操作数据形成有效的信息分类标记,便于医护人员根据所需要的关键信息进行检索。
S304:对S301~S303形成的数据库数据进行压缩并存储。
本步骤可以对分类和添加关键信息后的手术操作数据进行压缩形成手术操作的日志数据包,以便直接存储手术操作的数字信息,便于存储和上传。当需要调取手术过程,可提取本地存储的压缩日志数据包,导入3D模型中实现手术过程的复原,便于检测或检索手术过程中的关键信息。本实施例也可以直接通过机器人(本地)系统,直接通过压缩日志数据包,复原该日志数据包对应的手术过程,以便实现本地随时检测或检索手术过程中的关键信息。上述方式通过提取数据库中的数据,将其导入3D模型中实现手术过程的回放,从而既可以实现在本地回放,还可以实现远程随时回放。上述方式实现了手术数据日志的本地压缩和本地回放。
下面举例说明数据导入3D模型复原手术的过程:通过获取室内和体内所有目标物的3D模型,构建手术系统3D模型,通过将记录形成的数据库中的数据通过二进制压缩法压缩数据,并存储在机器人本地系统里,当需要所存储的数据时,将所存储的压缩数据提取出来,并导入已构建好的手术系统3D模型中,手术系统3D模型根据设置的程序,读取压缩包中数据,执行相应程序,实现数据对应的手术过程的复原。
作为一种可行的实施方式,在将所述手术操作数据存储至数据库之后,还可以判断是否接收到3D模型回放指令;若是,则从所述数据库中读取所述手术操作数据,并将所述手术操作数据导入手术系统3D模型,以便所述手术系统3D模型执行所述手术操作数据对应的手术过程回放操作,得到3D模型回放视频。
作为一种可行的实施方式,在获取手术机器人的手术操作数据之后相当于将手术操作数据、手术视频数据和3D模型回放视频三者分离。手术视频数据可以包括手术过程中手术机器人的视频和手术机器人的内窥镜视频,3D模型回放视频包括手术机器人的3D模型或手术系统3D模型的回放视频。
S305:将S301-S303形成的手术操作数据与对应的手术视频/动态3D模型叠加到数据库中。
本实施例可以将数据库与整个手术操作过程的手术视频/动态3D模型进行叠加,使数据库时间轴上每个时刻的数据与手术视频/动态3D模型中每一帧画面对应。本实施例可以将操作数据按照所处的时间轴叠加在显示在手术视频中(内景),或将该处时间轴处的操作数据发送给3D模型记录模型的运动(外景)。上述方式使得压缩日志数据包导入手术机器人系统或3D模型后,进而实现数据与视频同步。
在上述实施例中,已经形成了三种数据统一的时间轴,所有数据和每一帧画面都对应一个时刻,通过该数据库可实现手术操作数据、手术操作视频数据和手术操作外景数据,三者数据完全分开,但通过视频叠加的方法可实现三者又都在该数据库中同一时间轴上。当只需要手术操作数据时,可根据需要只压缩手术操作数据并只导出手术操作数据,即医护人员可根据需要自行选择三者中需要的任一数据,进行压缩—存储—导出—复原的操作。本实施例可以在数据库中叠加真实手术视频,回放的数据更准确和真实。本实施例可以实现3D 模型压缩手术室外景图形信息,可以实现3D 模型压缩手术室内镜操作信息,可以实现3D手术器械虚拟模型回放,可以实现3D模型与真实手术视频叠加,可以实现3D手术机器人外景模型回放;可以实现快速关键帧搜索定位,可以实现手术回放及操作指南,可以实现高速多视频关键帧统计。
S306:将S304或S305形成的压缩数据上传服务器。
本步骤通过低带宽视频编码压缩算法上传数据至数据库服务器中。当需要调取手术过程,可提取本地存储的压缩日志数据包,导入3D模型中,实现手术过程的复原,便于检测或检索手术过程中的关键信息。本实施例也可以直接通过机器人(本地)系统,直接通过压缩日志数据包,复原该日志数据包对应的手术过程,以便实现本地随时检测或检索手术过程中的关键信息。通过上述方式可以利用数据库实现远程手术操作。
通过上述方案,医护人员可根据需要选择一个时段/一个时间点,重现手术过程,因为该重现过程包括手术全过程记录的数据和对应的实时手术视频,医护人员可据此判断该手术过程中是否存在操作失误或错误等情况;若医护人员在这个过程中,发现每个操作步骤或部件的操作疑似有问题,还可以针对该操作部件/操作步骤进行精确的检索,重现该操作部件/步骤的手术过程,已确认该部件/步骤操作是否存在问题。本实施例还可以针对上述实施方案中形成的数据库中的数据进行高速的多视频关键帧进行统计。
请参见图4,图4为本申请实施例所提供的一种机器人数据库构建系统的结构示意图,该系统可以包括:
日志生成模块401,用于获取机器人操作过程数据,并按照操作过程时间轴形成操作数据日志;
数据叠加模块402,用于获取所述机器人操作过程数据对应的可视化数据,并在约束条件下将所述操作数据日志与所述可视化数据进行叠加得到叠加数据;其中,所述约束条件为保持所述操作数据日志的时间轴与所述可视化数据的时间轴对齐;
数据库构建模块403,用于根据所述叠加数据构建机器人的多源叠加数据库。
本实施例获取机器人操作过程数据,并按照操作过程时间轴形成操作数据日志,本实施例将操作数据日志和可视化数据进行叠加得到叠加数据,并基于叠加数据构建机器人的多源叠加数据库。叠加数据中操作数据日志的时间轴与可视化数据的时间轴对齐,本实施例构建的多源叠加数据库可以实现操作过程数据和可视化数据的共同存储,以使用户从数据库中提取时间同步的操作过程数据和可视化数据。
进一步的,日志生成模块401用于对所述操作过程数据进行分类,并根据分类结果为每一类数据添加对应的分类索引标记;还用于对添加所述分类索引标记的操作过程数据按照操作过程时间轴进行排序,以便形成所述操作数据日志。
进一步的,所述分类索引标记包括但不限于操作数据索引标记、操作动作索引标记、系统状态索引标记和设备报错索引标记。
进一步的,数据叠加模块402用于在机器人操作的过程中,获取所述机器人操作过程数据对应的可视化数据;
相应的,还包括:
索引添加模块,用于在获取所述机器人操作过程数据对应的可视化数据之后,对所述可视化数据中的关键信息添加对应的关键信息索引标记。
进一步的,还包括:
数据检索模块,用于接收数据检索指令,解析所述数据检索指令得到目标检索信息;其中,所述目标检索信息包括时间轴信息、目标分类索引标记和目标关键信息索引标记中的任一项或任几项的组合;还用于从所述多源叠加数据库中检索与所述目标检索信息对应的数据。
进一步的,所述时间轴包括时间戳,其中所述时间戳至少包括数据序号、数据发生时间、数据生成时间中的任意一种。
进一步的,所述可视化数据包括与机器人操作过程数据相对应的相同时间轴的操作视频和/或3D模型视频。
进一步的,还包括:
第一压缩模块,用于在按照操作过程时间轴形成所述操作数据日志之后,将所述操作数据日志进行压缩得到操作数据压缩包,并将所述操作数据压缩包存储至机器人数据库系统;
和/或,第二压缩模块,用于在获取所述机器人操作过程数据对应的所述可视化数据之后,将所述可视化数据进行压缩得到可视化数据压缩包,并将所述可视化数据压缩包存储至所述机器人数据库系统;
和/或,第三压缩模块,用于在将所述操作数据日志与所述可视化数据进行叠加得到叠加数据之后,将所述叠加数据进行压缩得到多源数据压缩包,并将所述多源数据压缩包存储至所述机器人数据库系统;
其中,所述机器人数据库系统包括本地机器人数据库系统和/或云端机器人数据库系统。
进一步的,还包括:
重放模块,用于判断是否接收到机器人操作过程重现指令或回放指令;若是,则从所述机器人数据库系统中读取所述目标压缩数据,执行所述目标压缩数据对应的机器人操作过程的重现操作或回放操作;其中,所述目标压缩数据包括所述操作数据压缩包、所述可视化数据压缩包和所述多源数据压缩包中的任一种或任几种的组合。
进一步的,重放模块包括:
重现单元,用于解压所述目标压缩数据,并在机器人系统中运行所述目标压缩数据的解压结果,以便实现机器人操作过程的重现操作;
或,回放单元,用于解压所述目标压缩数据,将所述目标压缩数据的解压结果导入机器人3D模型,通过所述机器人3D模型运行导入的所述目标压缩数据的解压结果,以便实现机器人操作过程的回放操作。
进一步的,还包括
远程控制模块,用于判断是否接收机器人远程操作请求;若是,则确定所述机器人远程操作请求对应的业务数据包;其中,所述业务数据包至少包括所述操作数据压缩包或所述多源数据压缩包;还用于将所述业务数据包上传至远端设备,以便所述远端设备利用所述业务数据包进行远程机器人操作。
本申请还提供了一种存储介质,其上存有计算机程序,该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory ,ROM)、随机存取存储器(Random Access Memory ,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备,可以包括存储器和处理器,所述存储器中存有计算机程序,所述处理器调用所述存储器中的计算机程序时,可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口,电源等组件。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (14)

1.一种机器人数据库构建方法,其特征在于,包括:
获取机器人操作过程数据,并按照操作过程时间轴形成操作数据日志;
获取所述机器人操作过程数据对应的可视化数据,并在约束条件下将所述操作数据日志与所述可视化数据进行叠加得到叠加数据;其中,所述约束条件为保持所述操作数据日志的时间轴与所述可视化数据的时间轴对齐;
根据所述叠加数据构建机器人的多源叠加数据库;
其中,还包括:
在按照操作过程时间轴形成所述操作数据日志之后,将所述操作数据日志进行压缩得到操作数据压缩包,并将所述操作数据压缩包存储至机器人数据库系统;
在获取所述机器人操作过程数据对应的所述可视化数据之后,将所述可视化数据进行压缩得到可视化数据压缩包,并将所述可视化数据压缩包存储至所述机器人数据库系统;
在将所述操作数据日志与所述可视化数据进行叠加得到叠加数据之后,将所述叠加数据进行压缩得到多源数据压缩包,并将所述多源数据压缩包存储至所述机器人数据库系统。
2.根据权利要求1所述机器人数据库构建方法,其特征在于,所述按照操作过程时间轴形成操作数据日志,包括:
对所述操作过程数据进行分类,并根据分类结果为每一类数据添加对应的分类索引标记;
对添加所述分类索引标记的操作过程数据按照操作过程时间轴进行排序,以便形成所述操作数据日志。
3.根据权利要求2所述机器人数据库构建方法,其特征在于,所述分类索引标记包括操作数据索引标记、操作动作索引标记、系统状态索引标记和设备报错索引标记。
4.根据权利要求1所述机器人数据库构建方法,其特征在于,获取所述机器人操作过程数据对应的可视化数据,包括:
对所述可视化数据中的关键信息添加对应的关键信息索引标记。
5.根据权利要求1所述机器人数据库构建方法,其特征在于,还包括:
接收数据检索指令,解析所述数据检索指令得到目标检索信息;其中,所述目标检索信息包括时间轴信息、目标分类索引标记和目标关键信息索引标记中的任一项或任几项的组合;
从所述多源叠加数据库中检索与所述目标检索信息对应的数据。
6.根据权利要求1所述机器人数据库构建方法,其特征在于,所述时间轴包括时间戳,其中所述时间戳至少包括数据序号、数据发生时间、数据生成时间中的任意一种。
7.根据权利要求1所述机器人数据库构建方法,其特征在于,所述可视化数据包括与机器人操作过程数据相对应的相同时间轴的操作视频和/或3D模型视频。
8.根据权利要求1至7任一项所述机器人数据库构建方法,其特征在于,还包括:
其中,所述机器人数据库系统包括本地机器人数据库系统和/或云端机器人数据库系统。
9.根据权利要求8所述机器人数据库构建方法,其特征在于,还包括:
判断是否接收到机器人操作过程重现指令或回放指令;
若是,则从所述机器人数据库系统中读取目标压缩数据,执行所述目标压缩数据对应的机器人操作过程的重现操作或回放操作;其中,所述目标压缩数据包括所述操作数据压缩包、所述可视化数据压缩包和所述多源数据压缩包中的任一种或任几种的组合。
10.根据权利要求9所述机器人数据库构建方法,其特征在于,所述执行所述目标压缩数据对应的机器人操作过程的重现操作或回放操作,包括:
解压所述目标压缩数据,并在机器人系统中运行所述目标压缩数据的解压结果,以便实现机器人操作过程的重现操作;
或,解压所述目标压缩数据,将所述目标压缩数据的解压结果导入机器人3D模型,通过所述机器人3D模型运行导入的所述目标压缩数据的解压结果,以便实现机器人操作过程的回放操作。
11.根据权利要求8所述机器人数据库构建方法,其特征在于,还包括:
判断是否接收机器人远程操作请求;
若是,则确定所述机器人远程操作请求对应的业务数据包;其中,所述业务数据包至少包括所述操作数据压缩包或所述多源数据压缩包;
将所述业务数据包上传至远端设备,以便所述远端设备利用所述业务数据包进行远程机器人操作。
12.一种机器人数据库构建系统,其特征在于,包括:
日志生成模块,用于获取机器人操作过程数据,并按照操作过程时间轴形成操作数据日志;
数据叠加模块,用于获取所述机器人操作过程数据对应的可视化数据,并在约束条件下将所述操作数据日志与所述可视化数据进行叠加得到叠加数据;其中,所述约束条件为保持所述操作数据日志的时间轴与所述可视化数据的时间轴对齐;
数据库构建模块,用于根据所述叠加数据构建机器人的多源叠加数据库;
第一压缩模块,用于在按照操作过程时间轴形成所述操作数据日志之后,将所述操作数据日志进行压缩得到操作数据压缩包,并将所述操作数据压缩包存储至机器人数据库系统;
第二压缩模块,用于在获取所述机器人操作过程数据对应的所述可视化数据之后,将所述可视化数据进行压缩得到可视化数据压缩包,并将所述可视化数据压缩包存储至所述机器人数据库系统;
第三压缩模块,用于在将所述操作数据日志与所述可视化数据进行叠加得到叠加数据之后,将所述叠加数据进行压缩得到多源数据压缩包,并将所述多源数据压缩包存储至所述机器人数据库系统。
13.一种电子设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如权利要求1至11任一项所述机器人数据库构建方法的步骤。
14.一种存储介质,其特征在于,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如权利要求1至11任一项所述机器人数据库构建方法的步骤。
CN202210057266.4A 2022-01-19 2022-01-19 一种机器人数据库构建方法、系统、电子设备及存储介质 Active CN114090550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210057266.4A CN114090550B (zh) 2022-01-19 2022-01-19 一种机器人数据库构建方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210057266.4A CN114090550B (zh) 2022-01-19 2022-01-19 一种机器人数据库构建方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114090550A CN114090550A (zh) 2022-02-25
CN114090550B true CN114090550B (zh) 2022-11-29

Family

ID=80308835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210057266.4A Active CN114090550B (zh) 2022-01-19 2022-01-19 一种机器人数据库构建方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114090550B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152893A (ja) * 1993-11-29 1995-06-16 Nec Corp 画像地図データベース構築方法
WO2013144720A2 (en) * 2012-03-30 2013-10-03 Kinaxis Inc. Improved performance for large versioned databases
CN110109808A (zh) * 2018-02-01 2019-08-09 北京视联动力国际信息技术有限公司 一种日志处理的方法和装置
CN111264063A (zh) * 2017-09-22 2020-06-09 知识产权之桥一号有限责任公司 显示控制设备和计算机程序
CN113297403A (zh) * 2021-06-30 2021-08-24 苏州科达科技股份有限公司 图像智能存储方法、系统、设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009236963A (ja) * 2008-03-25 2009-10-15 Panasonic Electric Works Co Ltd 内視鏡手術用トレーニング装置、内視鏡手術用技能評価方法
CN103841372B (zh) * 2012-11-23 2017-10-13 中国电信股份有限公司 信息叠加方法和系统、中心服务器、测距管理单元
CN110162598B (zh) * 2019-04-12 2022-07-12 北京搜狗科技发展有限公司 一种数据处理方法和装置、一种用于数据处理的装置
CN110113644B (zh) * 2019-05-09 2020-04-21 贵阳动视云科技有限公司 一种录制视频的方法及装置
CN112770149B (zh) * 2019-11-01 2022-07-12 腾讯科技(深圳)有限公司 视频处理方法、装置、终端及存储介质
JP7070533B2 (ja) * 2019-11-26 2022-05-18 セイコーエプソン株式会社 画像データ生成方法、プログラムおよび情報処理装置
CN112135091A (zh) * 2020-08-27 2020-12-25 杭州张量科技有限公司 监控场景标记方法、装置、计算机设备和存储介质
CN112445757A (zh) * 2020-09-08 2021-03-05 微民保险代理有限公司 可视化日志存储和回溯方法、装置和计算机设备
CN112616083A (zh) * 2020-12-11 2021-04-06 湖南国科微电子股份有限公司 一种视频的显示层叠加处理方法、装置、设备及存储介质
CN113492410B (zh) * 2021-09-09 2022-03-18 成都博恩思医学机器人有限公司 显示机器人操作过程的方法、系统、机械设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152893A (ja) * 1993-11-29 1995-06-16 Nec Corp 画像地図データベース構築方法
WO2013144720A2 (en) * 2012-03-30 2013-10-03 Kinaxis Inc. Improved performance for large versioned databases
CN111264063A (zh) * 2017-09-22 2020-06-09 知识产权之桥一号有限责任公司 显示控制设备和计算机程序
CN110109808A (zh) * 2018-02-01 2019-08-09 北京视联动力国际信息技术有限公司 一种日志处理的方法和装置
CN113297403A (zh) * 2021-06-30 2021-08-24 苏州科达科技股份有限公司 图像智能存储方法、系统、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
苏南SOTER数据库的建立及其在水稻土生产力评价上的应用;张定祥 等;《安徽农业大学学报(自然科学版)》;20010625(第02期);119-124 *

Also Published As

Publication number Publication date
CN114090550A (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
US20070266304A1 (en) Annotating media files
CN104115225A (zh) 利用去间隙成比例缩略图的双时间线的视频编辑软件
WO2004002144A1 (ja) メタデータ作成装置、その作成方法および検索装置
JPWO2014049804A1 (ja) 分散システムにおけるシステム動作トレース方法
CN112132705B (zh) 一种变电站全景数据存储与再现方法及系统
CN105828179A (zh) 视频定位方法和装置
US20110119317A1 (en) Apparatus, method and computer readable medium for simulation integration
Deardorff et al. Video scene decomposition with the motion picture parser
JP2007020195A (ja) 映像の検索方法および装置
CN112399227A (zh) 一种多路医疗影像同时间轴同步播放方法及系统
CN114090550B (zh) 一种机器人数据库构建方法、系统、电子设备及存储介质
JPH1051733A (ja) 動画像編集方法および動画像編集装置および動画像編集手順を有するプログラムコードを記録する記録媒体
JPH07200632A (ja) 情報処理装置
CN113312951A (zh) 动态视频目标跟踪系统、相关方法、装置及设备
KR20000038290A (ko) 사건구간을 기반으로 하는 동영상 검색방법과 검색 데이타 구조
CN109299345B (zh) 多通道人机环境测试数据同步平台项目预览系统和方法
JP2002262233A (ja) 行動計測システム
JP2006060279A (ja) 動画再生装置
KR100729475B1 (ko) 영상 열람 시스템 및 방법
JP2004297305A (ja) データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置
JP2007199764A (ja) マルチメディアコンテンツ編集装置
JP2004172788A (ja) 映像閲覧システムおよび方法
US20200034338A1 (en) System and method of virtual/augmented/mixed (vam) reality data storage
JP3931890B2 (ja) 映像の検索方法および装置
JP4021449B2 (ja) 動画像編集方法および動画像編集装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant