CN113487655B - 一种室内模型生成方法、一种电子设备及一种存储介质 - Google Patents

一种室内模型生成方法、一种电子设备及一种存储介质 Download PDF

Info

Publication number
CN113487655B
CN113487655B CN202111040781.3A CN202111040781A CN113487655B CN 113487655 B CN113487655 B CN 113487655B CN 202111040781 A CN202111040781 A CN 202111040781A CN 113487655 B CN113487655 B CN 113487655B
Authority
CN
China
Prior art keywords
model
indoor
mechanical arm
pose
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111040781.3A
Other languages
English (en)
Other versions
CN113487655A (zh
Inventor
李耀
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Borns Medical Robotics Co Ltd
Original Assignee
Chengdu Borns Medical Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Borns Medical Robotics Co Ltd filed Critical Chengdu Borns Medical Robotics Co Ltd
Priority to CN202111040781.3A priority Critical patent/CN113487655B/zh
Publication of CN113487655A publication Critical patent/CN113487655A/zh
Application granted granted Critical
Publication of CN113487655B publication Critical patent/CN113487655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种室内模型生成方法、一种电子设备及一种存储介质，所述室内模型生成方法包括：获取室内所有目标物的目标物3D模型；其中，目标物包括室内人员和室内设备；根据所有目标物在室内的位置将目标物3D模型添加至目标空间；其中，目标空间内所有目标物3D模型的位置关系与室内所有目标物的位置关系相同；获取目标物的位姿变化数据；根据位姿变化数据更新目标物3D模型在目标空间中的当前位姿，得到室内动态3D模型。本申请能够生成室内动态3D模型，全方位展示室内设备运行情况和室内人员位姿。本申请公开的一种电子设备及一种存储介质，也具有以上有益效果。

Description

一种室内模型生成方法、一种电子设备及一种存储介质
技术领域
本申请涉及模型显示技术领域，特别涉及一种室内模型生成方法、一种电子设备及一种存储介质。
背景技术
随着科技的进步，机器人技术和人工智能技术逐渐成熟并被广泛应用。机器人技术与人工智能技术的结合是人类进一步提高智能化的重要手段，而要保障机器人及机械臂在自动化、智能化应用中的安全，是本领域技术人员目前需要解决的技术问题，现有技术通常采用各类传感器实时采集机器人及机械臂的运动数据，以监测机器人及机械臂是否正在运行，是否按照预设的运动路径运动，以及是否安全等。但该方式较为局限，不能直观的通过视觉感官获取机器人及机械臂运动过程中的具体细节，特别是当应用到人工智能工厂等复杂环境下，需要多个机器人或机械臂等设备同时运行、同时操作时，通过现有的安全监测及风险预警技术不能有效的保障多个机器人或多个机械臂协同操作的安全性、也不能实现多个机器人或多个机械臂协同操作的同步可视化效果。因此针对如何实现复杂应用场景下，多个机器人或多个机械臂等设备的协同操作的可视化，且与实际机器人或机械臂的运动同步化，本申请提出了一种生成室内动态3D模型的技术方案，全方位同步展示室内设备运行情况和室内人员位姿，同时可利用3D模型数据实现室内设备运行情况及人员位姿的视频回放。
发明内容
本申请的目的是提供一种室内模型生成方法、一种电子设备及一种存储介质，能够生成室内动态3D模型，全方位展示室内设备运行情况和室内人员位姿。
为解决上述技术问题，本申请提供一种室内模型生成方法，该室内模型生成方法包括：
步骤A：获取室内所有目标物的目标物3D模型；其中，所述目标物包括室内人员和室内设备；
步骤B：根据所有所述目标物在室内的位置将所述目标物3D模型添加至目标空间；其中，所述目标空间内所有所述目标物3D模型的位置关系与室内所有所述目标物的位置关系相同；
步骤C：获取所述目标物的位姿变化数据；
步骤D：根据所述位姿变化数据更新所述目标物3D模型在所述目标空间中的当前位姿，得到室内动态3D模型。
可选的，所述室内设备包括机械臂；
相应的，在所述步骤D根据所述位姿变化数据更新所述目标物3D模型在所述目标空间中的当前位姿，得到室内动态3D模型之后，还包括：
步骤E：根据所述室内动态3D模型确定所述机械臂的末端操作器械位置，并判断所述机械臂的末端操作器械位置是否为所述机械臂的远程运动中心；
步骤F：若所述机械臂的末端操作器械位置为所述机械臂的远程运动中心，则根据机械臂3D模型在当前时刻的位姿确定所述机械臂3D模型的最大运动轨迹，并将所述机械臂3D模型的最大运动轨迹渲染至所述室内动态3D模型。
可选的，在所述步骤F若所述机械臂的末端操作器械位置为所述机械臂的远程运动中心，则根据机械臂3D模型在当前时刻的位姿确定所述机械臂3D模型的最大运动轨迹，并将所述机械臂3D模型的最大运动轨迹渲染至所述室内动态3D模型之后，还包括：
步骤G：根据所述机械臂3D模型的最大运动轨迹设置所述机械臂3D模型的操作范围；
步骤H：根据所述机械臂3D模型的操作范围执行碰撞提示操作。
可选的，所述步骤H根据所述机械臂3D模型的操作范围执行碰撞提示操作，包括：
当所述机械臂3D模型的运动轨迹超出所述机械臂3D模型的操作范围，则生成第一碰撞提示信息；
当除了所述机械臂3D模型之外的其他室内设备3D模型的运动轨迹进入所述机械臂3D模型的操作范围，则生成第二碰撞提示信息。
可选的，在所述步骤A获取室内所有目标物的目标物3D模型之后，在所述步骤B根据所有所述目标物在室内的位置将所述目标物3D模型添加至目标空间之前，还包括：
测量所有所述目标物之间的距离，根据所有所述目标物之间的距离确定所有所述目标物在室内的位置。
可选的，当所述室内设备包括机械臂、床体和光学测量仪时，所述步骤C获取所述目标物的位姿变化数据，包括：
获取所述机械臂上每一关节的电机状态数据，并根据所述电机状态数据确定所述机械臂的位姿变化数据；
利用所述光学测量仪检测确定所述床体的位姿变化数据。
可选的，在所述步骤D根据所述位姿变化数据更新所述目标物3D模型在所述目标空间中的当前位姿，得到室内动态3D模型之后，在所述步骤E根据所述室内动态3D模型确定所述机械臂的末端操作器械位置并判断所述机械臂的末端操作器械位置是否为所述机械臂的远程运动中心之前，还包括：
步骤α：若所述床体的位姿变化数据不为零，则在所述室内动态3D模型中添加预设标识，以便向用户提示所述床体的位姿发生变化。
可选的，在步骤α若所述床体的位姿变化数据不为零，则在所述室内动态3D模型中添加预设标识，以便向用户提示所述床体的位姿发生变化之后，在所述步骤E根据所述室内动态3D模型确定所述机械臂的末端操作器械位置并判断所述机械臂的末端操作器械位置是否为所述机械臂的远程运动中心之前，还包括：
步骤β：按照预设周期存储所述室内动态3D模型中所有所述目标物3D模型的当前位姿数据，得到历史位姿数据集合；
步骤γ：若接收到操作回放指令，则根据所述历史位姿数据集合生成操作回放指令对应时刻的室内3D模型。
本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述室内模型生成方法执行的步骤。
本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述室内模型生成方法执行的步骤。
本申请提供了一种室内模型生成方法，包括：步骤A：获取室内所有目标物的目标物3D模型；其中，所述目标物包括室内人员和室内设备；步骤B：根据所有所述目标物在室内的位置将所述目标物3D模型添加至目标空间；其中，所述目标空间内所有所述目标物3D模型的位置关系与室内所有所述目标物的位置关系相同；步骤C：获取所述目标物的位姿变化数据；步骤D：根据所述位姿变化数据更新所述目标物3D模型在所述目标空间中的当前位姿，得到室内动态3D模型。
本申请获取室内所有目标物的目标物3D模型，并根据室内各目标物的位置将目标物3D模型添加至目标空间中，以使目标空间内所有目标物3D模型的位置关系与室内所有目标物的位置关系相同。本申请根据目标物的位姿变化数据更新目标空间内各目标物3D模型的当前位姿，得到室内动态3D模型。上述得到的室内动态3D模型中的目标物3D模型的位姿与室内目标物的位姿相同，因此本方案能够生成室内动态3D模型，全方位展示室内设备运行情况和室内人员位姿。本申请同时还提供了一种电子设备及一种存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种室内模型生成方法的流程图；
图2为本申请实施例所提供的一种显示室内动态3D模型的方法流程图；
图3为本申请实施例所提供的另一种显示室内动态3D模型的方法流程图；
图4为本申请实施例所提供的一种室内场景示意图。
附图中标号说明如下：
持镜台车201，器械台车202，床体203，传感器204，跟踪相机205，内窥镜206，第一器械207，第二器械208。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面请参见图1，图1为本申请实施例所提供的一种室内模型生成方法的流程图。
具体步骤可以包括：
步骤A：获取室内所有目标物的目标物3D模型；
其中，室内的目标物可以包括室内设备和室内人员。具体的，目标物的种类可以根据与目标物所在空间的类型确定；当本实施例生成的室内动态3D模型为膜料喷涂车间内的动态3D模型时，室内的目标物包括喷涂机械臂、机床和烘干设备等室内设备，以及操作人员、监督人员等室内人员；当本实施例生成的室内动态3D模型为手术室内的动态3D模型时，室内的目标物包括机器人、床、光源等室内设备，以及医生、护士、患者等室内人员。本步骤中获取的目标物3D模型包括等比例的室内设备3D模型和室内人员3D模型，上述目标物3D模型可以为预先构建好的模型，也可以为通过CAD、solidworks等三维模型软件按照各个室内设备和室内人员的大小比例及位置制作室内设备和室内人员的3D模型，还可以为通过光学照相机或内窥镜等设备获取、由三维模型软件生成的室内设备和室内人员的3D模型。
步骤B：根据所有所述目标物在室内的位置将所述目标物3D模型添加至目标空间；
其中，在本步骤之前还可以存在获取室内人员和室内设备在室内的位置的操作。例如，可以利用测距雷达测量所有所述目标物之间的距离，根据所有所述目标物之间的距离确定所有所述目标物在室内的位置。根据上述设备位置可以将目标物3D模型添加至目标空间的相应位置，以使目标空间内所有所述目标物3D模型的位置关系与室内所有所述目标物的位置关系相同。上述测距雷达属于室内设备。
步骤C：获取所述目标物的位姿变化数据；
步骤D：根据所述位姿变化数据更新所述目标物3D模型在所述目标空间中的当前位姿，得到室内动态3D模型。
其中，在实际使用过程中室内设备和室内人员可以存在位姿变化，为了准确描述各个室内设备和室内人员的工作状态，本实施例可以实时获取所有室内设备和室内人员的位姿变化数据，根据所述位姿变化数据更新目标物3D模型在所述目标空间中的当前位姿，得到室内动态3D模型。该室内动态3D模型可以包括目标空间中的所有设备3D模型，还可以实时显示室内设备与人的状态。在得到室内动态3D模型后，可以在图形界面上进行显示。
本实施例获取室内所有目标物的目标物3D模型，并根据室内各目标物的位置将目标物3D模型添加至目标空间中，以使目标空间内所有目标物3D模型的位置关系与室内所有目标物的位置关系相同。本实施例根据目标物的位姿变化数据更新目标空间内各目标物3D模型的当前位姿，得到室内动态3D模型。上述得到的室内动态3D模型中的目标物3D模型的位姿与室内目标物的位姿相同，因此本方案能够生成室内动态3D模型，全方位展示室内设备运行情况和室内人员位姿。
作为对于图1对应实施例的进一步介绍，当所述室内设备包括机械臂、床体和光学测量仪时，可以通过图1对应实施例中步骤C可以通过以下方式获取机械臂的位姿变化数据：获取所述机械臂上每一关节的电机状态数据，并根据所述电机状态数据确定所述机械臂的位姿变化数据。具体的，本实施例可以根据电机状态数据中的电机角度的变化情况确定机械臂的位姿变化数据。本实施例还可以利用所述光学测量仪检测确定所述床体的位姿变化数据。其中，本实施例可以在床体上设置光学标记，光学测量仪与光学标记一一对应，根据光学标记的位置变化可以确定床体的位姿变化数据。上述床体为用于放置机械臂操作对象的结构。
进一步的，为便于操作，操作人员经常需要移动操作对象以暴露特定位置，这种运动可以使机械臂的戳卡以任意六自由度运动，戳卡上的远程运动中心RCM（Remote centermotion）在任何时候都不能相对于操作对象移动。因此，机械臂RCM需要跟踪戳卡的运动，即：机械臂要始终保证机械臂末端的执行器械上的RCM点能随床体的移动而移动。针对上述情况，在根据所述光学标记的位置信息的变化情况确定所述床体的位姿变化数据之后，还可以判断床体的位姿变化是否为零，若所述床体的位姿变化数据不为零，则根据所述床体的位姿变化数据调整所述机械臂的当前位姿。床体为放置操作对象的载体。进一步的，在判断所述述床体的位姿变化数据是否为零后，若床体的位姿变化数据不为零，则在所述室内动态3D模型中添加预设标识，以便向用户提示所述床体的位姿发生变化。上述预设标识可以为点亮的虚拟指示灯，也可以为文字信息。在添加预设标识后，延时预设时长可以删除预设标识并将位姿变化数据归零；当检测到床体的位姿变化数据再次不为零时，再次添加预设标识。
作为对于图1对应实施例的进一步介绍，当所述室内设备包括机械臂时，在图1对应的实施例步骤D之后还包括渲染最大运动轨迹渲染和提示碰撞的操作，将上述操作与图1对应的实施例相结合可以得到图2所示的实施例，图2为本申请实施例所提供的一种显示室内动态3D模型的方法流程图，该方法以下步骤：
步骤A：获取室内所有目标物的目标物3D模型。
步骤B：根据所有所述目标物在室内的位置将所述目标物3D模型添加至目标空间。
步骤C：获取所述目标物的位姿变化数据。
步骤D：根据所述位姿变化数据更新所述目标物3D模型在所述目标空间中的当前位姿，得到室内动态3D模型。
步骤E：根据所述室内动态3D模型确定所述机械臂的末端操作器械位置，并判断所述机械臂的末端操作器械位置是否为所述机械臂的远程运动中心。
步骤F：若所述机械臂的末端操作器械位置为所述机械臂的远程运动中心，则根据机械臂3D模型在当前时刻的位姿确定所述机械臂3D模型的最大运动轨迹，并将所述机械臂3D模型的最大运动轨迹渲染至所述室内动态3D模型。
其中，机械臂3D模型即机械臂对应的目标物3D模型。
步骤G：根据所述机械臂3D模型的最大运动轨迹设置所述机械臂3D模型的操作范围。
步骤H：根据所述机械臂3D模型的操作范围执行碰撞提示操作。
具体的，步骤H中根据所述机械臂3D模型的操作范围执行碰撞提示操作的具体过程包括：当检测到所述机械臂3D模型的运动轨迹超出所述机械臂3D模型的操作范围，则生成第一碰撞提示信息；当检测到除了所述机械臂3D模型之外的其他室内设备3D模型的运动轨迹进入所述机械臂3D模型的操作范围，则生成第二碰撞提示信息。
其中，在图2对应实施例的步骤执行顺序先后依次为：步骤A、步骤B、步骤C、步骤D、步骤E、步骤F、步骤G、步骤H。
进一步的，在上述实施例提供的步骤D之后、步骤E之前，还可以存在提示床体位姿变化和位姿回放的操作，将上述操作与图2对应的实施例相结合可以得到图3所示的实施例，图3为本申请实施例所提供的另一种显示室内动态3D模型的方法流程图，该方法以下步骤：
步骤A：获取室内所有目标物的目标物3D模型。
步骤B：根据所有所述目标物在室内的位置将所述目标物3D模型添加至目标空间。
步骤C：获取所述目标物的位姿变化数据。
步骤D：根据所述位姿变化数据更新所述目标物3D模型在所述目标空间中的当前位姿，得到室内动态3D模型。
步骤α：若所述床体的位姿变化数据不为零，则在所述室内动态3D模型中添加预设标识，以便向用户提示所述床体的位姿发生变化。
步骤β：按照预设周期存储所述室内动态3D模型中所有目标物3D模型的当前位姿数据，得到历史位姿数据集合。
步骤γ：若接收到操作回放指令，则根据所述历史位姿数据集合生成操作回放指令对应时刻的室内3D模型。
其中，图3对应实施例的步骤执行顺序先后依次为：步骤A、步骤B、步骤C、步骤D、步骤α、步骤β、步骤γ。进一步的，在图3对应的实施例执行完步骤γ之后或执行完步骤D不执行步骤α~γ时，还可以执行以下步骤E~H的操作：
步骤E：根据所述室内动态3D模型确定所述机械臂的末端操作器械位置，并判断所述机械臂的末端操作器械位置是否为所述机械臂的远程运动中心。
步骤F：若所述机械臂的末端操作器械位置为所述机械臂的远程运动中心，则根据机械臂3D模型在当前时刻的位姿确定所述机械臂3D模型的最大运动轨迹，并将所述机械臂3D模型的最大运动轨迹渲染至所述室内动态3D模型。
步骤G：根据所述机械臂3D模型的最大运动轨迹设置所述机械臂3D模型的操作范围。
步骤H：根据所述机械臂3D模型的操作范围执行碰撞提示操作。
作为对于图1对应实施例的进一步介绍，在根据所述位姿变化数据更新所述设备3D模型在所述目标空间中的当前位姿之后，还可以将目标物3D模型在每一时刻的位姿数据存储至操作日志；若接收到操作回放指令，则利用所述操作日志生成操作回放指令对应时刻的室内动态3D模型。具体的，本实施例可以按照预设周期存储所述室内动态3D模型中所有所述目标物3D模型的当前位姿数据，得到历史位姿数据集合；若接收到操作回放指令，则根据所述历史位姿数据集合生成操作回放指令对应时刻的室内3D模型。通过上述方式能够观察室内动态3D模型在任意时刻下的工作状态，便于用户对于室内设备和室内人员所执行的操作的合理性进行分析。
下面通过在实际应用中的实施例说明上述实施例描述的流程。请参见图4，图4为本申请实施例所提供的一种室内场景示意图，图4示出的室内设备包括：机器人（持镜台车201和器械台车202）、床体203、传感器204和跟踪相机205。其中，机械臂包括连接臂和关节电机，机械臂上可以安装有内窥镜206、第一器械207和第二器械208。其中，所述关节电机有6个，连接臂有5根。
本申请实施例提供一种构建虚拟室内动态3D模型的方法，本实施例通过在室内设置的测距雷达测量室内设备之间的距离，并将该长度的距离按照比例投影至3D模型中，从而确定各个设备相对于测量原点的距离数值；确定出当前各个设备所处坐标。本实施例确定基准坐标的原点位置，实时获取计算得到各个设备的坐标位置，从而将室内各个设备进行动态模拟。本实施例确定机械臂在使用过程中的RCM点位置，当机械臂的末端处于RCM点位时，记录此时机械臂上各个关节处所处最大伸展状态时的坐标位置，并将该位置在3D场景中图像化处理。本实施例可以包括以下步骤：
步骤I1：在三维软件中建立初始状态下的室内结构环境。
其中，本步骤中可以将室内的各个室内设备通过测量的方式画入到CAD、solidworks等三维建模软件中，得到设备3D模型。
步骤I2：选取基准坐标原点，并测量各个设备相对于基准坐标原点的位置关系，进而确定三维建模中室内各个设备之间的相对位置关系。
具体的，本步骤可以选取机械臂的基座作为基准坐标的坐标原点，在床体上安装测距雷达，通过测距雷达测量床体上的安装点与坐标原点的直线距离。由于在3D模型中按照设备的比例也已经标记出3D模型中的坐标原点已经测距雷达的安装位置，由此关系可以确定出室内各个设备相对于基准坐标原点的位置关系。
步骤I3：实时获取室内设备的坐标数据，并根据该坐标数据变化调整3D模型中室内设备的位姿；
其中，室内主要移动的设备包括床体的偏移，以及机械臂的移动。床体的偏移可以通过光学测量仪来进行测量确定。具体地，床体的两侧可以均设置机械臂台车，两个机械臂台车上和床体的底部均设置光学测量仪，其中，具体设置的位置由图4可知，这样通过光学测量仪可测量床体的偏移量，并将所获取的数据反馈至主机中，进而在3D模型中调整相对应的位置。上述光学测量仪可以包括光学传感器、光发送装置和光接收装置。
机械臂的移动量主要是通过接收机械臂上关节电机的电机转动角度来得到，在使用机械臂时，可以根据接收电机的转动角度在三维模型中调整机械臂的转动位置。较优地，也可以通过正运动学公式，由电机的转动角度计算得到机械臂相对于坐标原点所处位置的坐标。具体地，正运动学（Forward Kinematics）是已知机器臂的机械结构与各个关节的位置（转角），进而求解机器臂末端作用器（end-effector）位置的过程。
步骤I4：确定机械臂的RCM点，当机械臂的末端处于RCM点位时，记录此时机械臂上各个关节处所处最大伸展状态时的坐标位置，并将该位置在3D场景中图像化处理。
RCM点为远程运动中心点，即机械臂末端的器械与操作对象外表面相接触的位置（在操作过程中，要确保RCM点的位置稳定，进而避免操作过程中操作对象受到损伤）。本步骤中的RCM点可以通过在床体上进行标定的方式人工标记确定。RCM 点位置也可以使用以下方法计算：
构建机械臂的D-H模型，使用以下D-H矩阵来计算每个关节间的齐次变换矩阵T：
Figure 168606DEST_PATH_IMAGE001
利用D-H表中的参数，计算前一关节i-1到下一关节i的变换矩阵，乘以所有6个关节的变换矩阵，得到从基坐标系到最后一个关节坐标系的变换矩阵T16=T1T2T3T4T5T6，而此时RCM（远程运动中心点）的位置为：PRCM=T16·PTCP，其中， PTCP可以通过CAD或者solidworks理论模型或者实际的TCP测量估计得到。
确定RCM点后，使得机械臂末端的器械处于RCM点位，并保持固定，驱动机械臂上各个关节处于最大转动角度转动，由此确定机械臂的最大运动轨迹，并将最大运动轨迹在3D模型中进行渲染，以便提前预判碰撞。
本实施例可以通过动态图像更加准确的反映室内各个设备的运行位置；本实施例得到的室内动态3D模型能够方便室内设备工作开始前，针对不同的任务类型，调整室内各个设备的摆放位置；本实施例还可以显示室内机械臂的活动范围，避免机械臂与其他设备或者室内人员发生碰撞。
下面提供上述室内模型生成方法的应用场景实施例：
场景1：生成手术室内的动态3D模型，具体可以包括以下步骤：
具体步骤可以包括：
步骤J1：获取手术室内所有室内设备的设备3D模型；
其中，手术室内可以存在手术机器人、手术床、光源等室内设备，本步骤中获取的设备3D模型为对应室内设备的等比例模型，上述设备3D模型可以为预先构建好的模型，也可以为通过CAD、SDWORKS等三维模型软件按照手术室内各个室内设备的大小比例以及摆放位置制作好手术室内的设备3D模型。
步骤J2：根据所有所述室内设备在所述手术室内的设备位置将所述设备3D模型添加至目标空间；
其中，在本步骤之前还可以存在获取室内设备在所述手术室内的设备位置的操作。例如，可以利用测距雷达测量所有所述室内设备之间的距离，根据所有所述室内设备之间的距离确定所有所述室内设备在所述手术室内的设备位置。根据上述设备位置可以将设备3D模型添加至目标空间的相应位置，以使目标空间内所有所述设备3D模型的位置关系与所述手术室内所有所述室内设备的位置关系相同。上述测距雷达属于室内设备。
步骤J3：获取所有室内设备的位姿变化数据，并根据所述位姿变化数据更新所述设备3D模型在所述目标空间中的当前位姿，得到手术室动态3D模型。
其中，在手术室实际使用过程中可以存在位姿变化，为了准确描述手术室内各个室内设备的工作状态，本实施例可以实时获取所有室内设备的位姿变化数据，根据所述位姿变化数据更新所述设备3D模型在所述目标空间中的当前位姿，得到手术室动态3D模型。该手术室模型可以包括目标空间中的所有设备3D模型。在得到手术室模型后，可以在图形界面上进行显示。
本实施例获取手术室内所有室内设备的设备3D模型，并根据手术室内各设备的位置将设备3D模型添加至目标空间中，以使目标空间内所有所述设备3D模型的位置关系与所述手术室内所有所述室内设备的位置关系相同。本实施例根据室内设备的位姿变化数据更新目标空间内各设备3D模型的当前位姿，得到手术室模型。上述得到的手术室模型中的设备3D模型的位姿与手术的室内设备的位姿相同，因此本方案能够生成手术室模型，全方位展示手术室内各设备运行情况。
场景2：生膜料喷涂车间内的动态3D模型，具体可以包括以下步骤：
步骤K1：获取膜料喷涂车间内所有室内设备的设备3D模型；
其中，膜料喷涂车间内可以存在膜料喷涂机器人、膜料喷涂机床、工件传输设备、光源等室内设备，本步骤中获取的设备3D模型为对应室内设备的等比例模型，上述设备3D模型可以为预先构建好的模型，也可以为通过CAD、SDWORKS等三维模型软件按照膜料喷涂车间内各个室内设备的大小比例以及摆放位置制作好膜料喷涂车间内的设备3D模型。
步骤K2：根据所有所述室内设备在所述膜料喷涂车间内的设备位置将所述设备3D模型添加至目标空间；
其中，在本步骤之前还可以存在获取室内设备在所述膜料喷涂车间内的设备位置的操作。例如，可以利用测距雷达测量所有所述室内设备之间的距离，根据所有所述室内设备之间的距离确定所有所述室内设备在所述膜料喷涂车间内的设备位置。根据上述设备位置可以将设备3D模型添加至目标空间的相应位置，以使目标空间内所有所述设备3D模型的位置关系与所述膜料喷涂车间内所有所述室内设备的位置关系相同。上述测距雷达属于室内设备。
步骤K3：获取所有室内设备的位姿变化数据，并根据所述位姿变化数据更新所述设备3D模型在所述目标空间中的当前位姿，得到膜料喷涂车间动态3D模型。
其中，在膜料喷涂车间实际使用过程中可以存在位姿变化，为了准确描述膜料喷涂车间内各个室内设备的工作状态，本实施例可以实时获取所有室内设备的位姿变化数据，根据所述位姿变化数据更新所述设备3D模型在所述目标空间中的当前位姿，得到膜料喷涂车间动态3D模型。该膜料喷涂车间模型可以包括目标空间中的所有设备3D模型。在得到膜料喷涂车间模型后，可以在图形界面上进行显示。
本实施例获取膜料喷涂车间内所有室内设备的设备3D模型，并根据膜料喷涂车间内各设备的位置将设备3D模型添加至目标空间中，以使目标空间内所有所述设备3D模型的位置关系与所述膜料喷涂车间内所有所述室内设备的位置关系相同。本实施例根据室内设备的位姿变化数据更新目标空间内各设备3D模型的当前位姿，得到膜料喷涂车间动态3D模型。上述得到的膜料喷涂车间模型中的设备3D模型的位姿与膜料喷涂车间内设备的位姿相同，因此本方案能够生成膜料喷涂车间模型，全方位展示膜料喷涂车间内各设备运行情况。
本申请实施例还提供的一种室内模型生成系统，该系统可以包括：
设备模型获取模块，用于获取室内所有目标物的目标物3D模型；其中，所述目标物包括室内人员和室内设备；
设备模型添加模块，用于根据所有所述目标物在室内的位置将所述目标物3D模型添加至目标空间；其中，所述目标空间内所有所述目标物3D模型的位置关系与室内所有所述目标物的位置关系相同；
室内模型生成模块，用于获取所有所述目标物的位姿变化数据，并根据所述位姿变化数据更新所述目标物3D模型在所述目标空间中的当前位姿，得到室内动态3D模型。
本实施例获取室内所有目标物的目标物3D模型，并根据室内各目标物的位置将目标物3D模型添加至目标空间中，以使目标空间内所有目标物3D模型的位置关系与室内所有目标物的位置关系相同。本实施例根据目标物的位姿变化数据更新目标空间内各目标物3D模型的当前位姿，得到室内动态3D模型。上述得到的室内动态3D模型中的目标物3D模型的位姿与室内目标物的位姿相同，因此本方案能够生成室内动态3D模型，全方位展示室内设备运行情况和室内人员位姿。
进一步的，还包括：
设备位置确定模块，用于测量所有所述目标物的距离，根据所有所述目标物之间的距离确定所有所述目标物在室内的位置。
进一步的，室内模型生成模块包括：
姿态变化确定单元，用于获取所述机械臂上每一关节的电机状态数据，并根据所述电机状态数据确定所述机械臂的位姿变化数据；还用于利用所述光学测量仪检测确定所述床体的位姿变化数据。
进一步的，还包括：
床体运动检测模块，用于判断所述述床体的位姿变化数据是否为零；若否，则在所述室内动态3D模型中添加预设标识，以便向用户提示所述床体的位姿发生变化。
进一步的，还包括：
轨迹渲染模块，用于当所述室内设备包括机械臂时，根据所述室内动态3D模型确定所述机械臂的末端操作器械位置；判断所述机械臂的末端操作器械位置是否为所述机械臂的远程运动中心；若是，则根据机械臂3D模型在当前时刻的位姿确定所述机械臂3D模型的最大运动轨迹，并将所述机械臂3D模型的最大运动轨迹渲染至所述室内动态3D模型。
进一步的，还包括：
碰撞检测模块，用于根据所述机械臂3D模型的最大运动轨迹设置所述机械臂3D模型的操作范围；还用于当所述机械臂3D模型的运动轨迹超出所述操作范围，则生成第一碰撞提示信息；还用于当除了所述机械臂3D模型之外的其他室内设备3D模型的运动轨迹进入所述操作范围，则生成第二碰撞提示信息。
进一步的，还包括：
回放模块，用于按照预设周期存储所述室内动态3D模型中所有所述目标物3D模型的当前位姿数据，得到历史位姿数据集合；若接收到操作回放指令，则根据所述历史位姿数据集合生成操作回放指令对应时刻的室内3D模型。
由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请还提供了一种存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器（Read-Only Memory ，ROM）、随机存取存储器（Random Access Memory ，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (7)

1.一种室内模型生成方法，其特征在于，包括：
步骤A：获取室内所有目标物的目标物3D模型；其中，所述目标物包括室内人员和室内设备；
步骤B：根据所有所述目标物在室内的位置将所述目标物3D模型添加至目标空间；其中，所述目标空间内所有所述目标物3D模型的位置关系与室内所有所述目标物的位置关系相同；
步骤C：获取所述目标物的实时位姿变化数据；
步骤D：根据所述实时位姿变化数据更新所述目标物3D模型在所述目标空间中的当前位姿，得到室内动态3D模型；
其中，所述室内设备包括机械臂，所述室内模型生成方法还包括：
步骤α：若床体的实时位姿变化数据不为零，则在所述室内动态3D模型中添加预设标识，以便向用户提示所述床体的实时位姿发生变化；并根据所述床体的实时位姿变化数据调整所述机械臂的当前位姿；
步骤β：按照预设周期存储所述室内动态3D模型中所有所述目标物3D模型的当前位姿数据，得到历史位姿数据集合；
步骤γ：若接收到操作回放指令，则根据所述历史位姿数据集合生成操作回放指令对应时刻的室内3D模型；
步骤E：根据所述室内动态3D模型确定所述机械臂的末端操作器械位置，并判断所述机械臂的末端操作器械位置是否为所述机械臂的远程运动中心；
步骤F：若所述机械臂的末端操作器械位置为所述机械臂的远程运动中心，则根据机械臂3D模型在当前时刻的位姿确定所述机械臂3D模型的最大运动轨迹，并将所述机械臂3D模型的最大运动轨迹渲染至所述室内动态3D模型。
2.根据权利要求1所述室内模型生成方法，其特征在于，在所述步骤F若所述机械臂的末端操作器械位置为所述机械臂的远程运动中心，则根据机械臂3D模型在当前时刻的位姿确定所述机械臂3D模型的最大运动轨迹，并将所述机械臂3D模型的最大运动轨迹渲染至所述室内动态3D模型之后，还包括：
步骤G：根据所述机械臂3D模型的最大运动轨迹设置所述机械臂3D模型的操作范围；
步骤H：根据所述机械臂3D模型的操作范围执行碰撞提示操作。
3.根据权利要求2所述室内模型生成方法，其特征在于，所述步骤H根据所述机械臂3D模型的操作范围执行碰撞提示操作，包括：
当所述机械臂3D模型的运动轨迹超出所述机械臂3D模型的操作范围，则生成第一碰撞提示信息；
当除了所述机械臂3D模型之外的其他室内设备3D模型的运动轨迹进入所述机械臂3D模型的操作范围，则生成第二碰撞提示信息。
4.根据权利要求1所述室内模型生成方法，其特征在于，在所述步骤A获取室内所有目标物的目标物3D模型之后，在所述步骤B根据所有所述目标物在室内的位置将所述目标物3D模型添加至目标空间之前，还包括：
测量所有所述目标物之间的距离，根据所有所述目标物之间的距离确定所有所述目标物在室内的位置。
5.根据权利要求1所述室内模型生成方法，其特征在于，当所述室内设备包括机械臂、床体和光学测量仪时，所述步骤C获取所述目标物的实时位姿变化数据，包括：
获取所述机械臂上每一关节的电机状态数据，并根据所述电机状态数据确定所述机械臂的实时位姿变化数据；
利用所述光学测量仪检测确定所述床体的实时位姿变化数据。
6.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至5任一项所述室内模型生成方法的步骤。
7.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至5任一项所述室内模型生成方法的步骤。
CN202111040781.3A 2021-09-07 2021-09-07 一种室内模型生成方法、一种电子设备及一种存储介质 Active CN113487655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111040781.3A CN113487655B (zh) 2021-09-07 2021-09-07 一种室内模型生成方法、一种电子设备及一种存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111040781.3A CN113487655B (zh) 2021-09-07 2021-09-07 一种室内模型生成方法、一种电子设备及一种存储介质

Publications (2)

Publication Number Publication Date
CN113487655A CN113487655A (zh) 2021-10-08
CN113487655B true CN113487655B (zh) 2022-03-01

Family

ID=77946546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111040781.3A Active CN113487655B (zh) 2021-09-07 2021-09-07 一种室内模型生成方法、一种电子设备及一种存储介质

Country Status (1)

Country Link
CN (1) CN113487655B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104626208A (zh) * 2015-01-07 2015-05-20 北京卫星环境工程研究所 航天器机械臂辅助装配安全工作空间建立及干涉预警方法
CN108839025A (zh) * 2018-07-12 2018-11-20 杭州电子科技大学 一种移动机械臂的运动规划方法和装置
CN109822579A (zh) * 2019-04-10 2019-05-31 江苏艾萨克机器人股份有限公司 基于视觉的协作机器人安全控制方法
CN109840947A (zh) * 2017-11-28 2019-06-04 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
CN111015655A (zh) * 2019-12-18 2020-04-17 深圳市优必选科技股份有限公司 机械臂抓取方法、装置、计算机可读存储介质及机器人
CN112263332A (zh) * 2020-10-23 2021-01-26 微创（上海）医疗机器人有限公司 手术机器人的调整系统、方法、介质及终端
CN113246143A (zh) * 2021-06-25 2021-08-13 视比特(长沙)机器人科技有限公司 一种机械臂动态避障轨迹规划方法及装置
CN113313815A (zh) * 2021-05-24 2021-08-27 北京航空航天大学 一种机械臂抓取物体实时三维重建方法
CN113334393A (zh) * 2021-08-06 2021-09-03 成都博恩思医学机器人有限公司 一种机械臂控制方法、系统、机器人及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106055810A (zh) * 2016-06-07 2016-10-26 中国人民解放军国防科学技术大学 用于在轨快速抓捕的姿轨臂一体化运动规划方法
CN106361440B (zh) * 2016-08-31 2019-07-12 北京术锐技术有限公司 一种柔性手术工具系统及其在运动约束下的控制方法
CN107877517B (zh) * 2017-11-16 2021-03-30 哈尔滨工业大学 基于CyberForce遥操作机械臂的运动映射方法
CN108789406A (zh) * 2018-06-05 2018-11-13 上海大学 一种用于冗余机械臂可达性分析的逆解求解方法
CN112238452B (zh) * 2019-07-19 2022-06-03 顺丰科技有限公司 机械臂路径规划方法、装置、工控设备及存储介质
US11548140B2 (en) * 2019-08-15 2023-01-10 Covidien Lp System and method for radio based location of modular arm carts in a surgical robotic system
AU2020373118A1 (en) * 2019-11-01 2022-05-12 True Digital Surgery Robotic surgical navigation using a proprioceptive digital surgical stereoscopic camera system
CN110802578B (zh) * 2019-11-13 2022-08-30 吉林大学 一种可穿戴机器人上肢肢体的最大安全作业范围检测方法
CN112245014B (zh) * 2020-10-30 2023-06-02 上海微创医疗机器人（集团）股份有限公司 一种医疗机器人、检测机械臂碰撞的方法及存储介质
CN112472297B (zh) * 2020-11-26 2022-03-29 上海微创医疗机器人（集团）股份有限公司 位姿监测系统、方法、手术机器人系统和存储介质
CN112402020B (zh) * 2020-12-01 2022-02-22 北京天智航医疗科技股份有限公司 用于手术机器人机械臂的控制方法和装置、介质、设备
CN113100944B (zh) * 2021-03-09 2022-12-20 武汉联影智融医疗科技有限公司 手术环境的构建方法、机器人控制方法和系统
CN113334391B (zh) * 2021-08-06 2021-11-09 成都博恩思医学机器人有限公司 一种机械臂的摆位控制方法、系统、机器人及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104626208A (zh) * 2015-01-07 2015-05-20 北京卫星环境工程研究所 航天器机械臂辅助装配安全工作空间建立及干涉预警方法
CN109840947A (zh) * 2017-11-28 2019-06-04 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
CN108839025A (zh) * 2018-07-12 2018-11-20 杭州电子科技大学 一种移动机械臂的运动规划方法和装置
CN109822579A (zh) * 2019-04-10 2019-05-31 江苏艾萨克机器人股份有限公司 基于视觉的协作机器人安全控制方法
CN111015655A (zh) * 2019-12-18 2020-04-17 深圳市优必选科技股份有限公司 机械臂抓取方法、装置、计算机可读存储介质及机器人
CN112263332A (zh) * 2020-10-23 2021-01-26 微创（上海）医疗机器人有限公司 手术机器人的调整系统、方法、介质及终端
CN113313815A (zh) * 2021-05-24 2021-08-27 北京航空航天大学 一种机械臂抓取物体实时三维重建方法
CN113246143A (zh) * 2021-06-25 2021-08-13 视比特(长沙)机器人科技有限公司 一种机械臂动态避障轨迹规划方法及装置
CN113334393A (zh) * 2021-08-06 2021-09-03 成都博恩思医学机器人有限公司 一种机械臂控制方法、系统、机器人及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
The Study of Mechanical Arm and Intelligent Robot;Hai-Wu Lee;《IEEE Access》;20200619;第8卷;第119624-119634页 *
微创手术机器人从手系统控制的研究;邹水中;《中国优秀博硕士学位论文全文数据库（博士）信息科技辑》;20200115;第I140-79页 *

Also Published As

Publication number Publication date
CN113487655A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
JP7334239B2 (ja) 拡張現実及びデジタルツインのためのロボット較正
US10585167B2 (en) Relative object localization process for local positioning system
US7236854B2 (en) Method and a system for programming an industrial robot
EP1435280A2 (en) A method and a system for programming an industrial robot
JP5113666B2 (ja) ロボット教示システム及びロボットの動作のシミュレーション結果の表示方法
CN108403146A (zh) 基于多传感器信息融合的三维超声成像方法及装置
CN108994832A (zh) 一种基于rgb-d相机的机器人手眼系统及其自标定方法
CN110142770B (zh) 一种基于头戴显示装置的机器人示教系统及方法
JP2001060108A (ja) ロボット動作教示装置および動作教示方法
EP1941719A2 (en) System and method for calibrating a set of imaging devices and calculating 3d coordinates of detected features in a laboratory coordinate system
Zhuang et al. Robot calibration by mobile camera systems
US11494985B2 (en) System and method for mapping an interior space
CN109983299A (zh) 工业机器人的测量系统和方法
CN113487655B (zh) 一种室内模型生成方法、一种电子设备及一种存储介质
JP4227037B2 (ja) 撮像システム及び校正方法
JP7366264B2 (ja) ロボット教示方法及びロボット作業方法
CN110539330A (zh) 一种机器人导航系统位置标定装置及其标定方法
CN113597362B (zh) 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
CN113479635A (zh) 一种基于ar技术的工程搬运机器人及控制方法
JPH09323280A (ja) マニピュレータの制御方法及びシステム
Boulic et al. Indoor tracking for large area industrial mixed reality
Nuelle et al. Mobile Augmented Reality System for Craftsmen
Verma et al. Application of markerless image-based arm tracking to robot-manipulator teleoperation
Gillespie et al. POSE ESTIMATION USING AUGMENTED REALITY FOR PARTS UNDER ROBOTIC REPAIR
CN110000793B (zh) 一种机器人运动控制方法、装置、存储介质和机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant