CN111110348B - 定位方法、定位装置、定位系统及计算机可读存储介质 - Google Patents
定位方法、定位装置、定位系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111110348B CN111110348B CN201911403971.XA CN201911403971A CN111110348B CN 111110348 B CN111110348 B CN 111110348B CN 201911403971 A CN201911403971 A CN 201911403971A CN 111110348 B CN111110348 B CN 111110348B
- Authority
- CN
- China
- Prior art keywords
- target
- optical
- positioning
- target object
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请属于定位技术领域，尤其涉及一种定位方法、定位装置、定位系统及计算机可读存储介质，其中，所述定位系统包括：设置位于不同位置的多个光学定位设备，每个光学定位设备包含至少两个摄像头；所述定位方法包括：获取所述多个光学定位设备同步采集得到的目标对象的多个图像数据；根据所述图像数据从所述多个光学定位设备中选择用于确定所述目标对象的目标位置的最优目标光学定位设备组合；根据所述最优目标光学定位设备组合同步采集的所述目标对象的图像数据利用多目垂足法计算所述目标对象的目标位置；实现了对目标对象的精确定位。
Description
技术领域
本申请属于定位技术领域，尤其涉及一种定位方法、定位装置、定位系统及计算机可读存储介质。
背景技术
骨科辅助手术机器人是一种能协助骨外科医生进行精准手术操作的机器人系统。骨科手术机器人具有手术精准度高、病人创伤小、术后恢复快、以及降低医生操作强度等优点。
定位跟踪技术是骨科辅助手术机器人领域重要技术之一，基于成像的光学定位跟踪技术是常用的定位跟踪方法。
然而，视线遮挡(loss of sight)是光学定位跟踪系统最常见的工作失效原因之一。近红外光学定位跟踪系统中，当来自主动式光学发光标记点，或者被动反射式光学标靶的红外光线被用户或物体遮挡时，空间点三维重构由于缺少必要的二维图像中特征点的信息，容易导致定位跟踪失败，出现定位结果不连贯、定位精度低的问题。
发明内容
本申请实施例提供一种定位方法、定位装置、定位系统及计算机可读存储介质，可以解决目前的定位系统定位结果不连贯、定位精度低的问题。
本申请实施例第一方面提供一种定位方法，应用于定位系统，所述定位系统包括：设置位于不同位置的多个目标光学定位设备，每个目标光学定位设备包含至少两个摄像头；所述定位方法包括：
获取所述多个光学定位设备同步采集得到的目标对象的多个图像数据；
根据所述图像数据从所述多个光学定位设备中选择用于确定所述目标对象的目标位置的最优目标光学定位设备组合；所述最优目标光学定位设备组合包含一个或多个目标光学定位设备；
根据所述最优目标光学定位设备组合同步采集的所述目标对象的图像数据利用多目垂足法计算所述目标对象的目标位置。
本申请实施例第二方面提供一种定位装置，配置于定位系统，所述定位系统包括：设置位于不同位置的多个目标光学定位设备，每个目标光学定位设备包含至少两个摄像头；所述定位装置包括：
获取单元，用于获取所述多个光学定位设备同步采集得到的目标对象的多个图像数据；
确定单元，用于根据所述图像数据从所述多个光学定位设备中选择用于确定所述目标对象的目标位置的最优目标光学定位设备组合；所述最优目标光学定位设备组合包含一个或多个目标光学定位设备；
定位单元，用于根据所述最优目标光学定位设备组合同步采集的所述目标对象的图像数据利用多目垂足法计算所述目标对象的目标位置。
本申请实施例第三方面提供一种定位系统，包括：设置于不同位置的多个光学定位设备，每个光学定位设备包含至少两个摄像头；所述定位系统还包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
本申请实施例第四方面提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例中，通过设置包含至少两个摄像头并且位于不同位置的多个光学定位设备对目标对象进行定位，使得在部分光学定位设备的视线受到遮挡时，仍然可以通过其他视线未被遮挡的光学定位设备对目标对象进行定位；因此，可以保证定位结果的连贯性，解决了目前的定位系统定位结果不连贯的问题。另外，本申请还通过在部分光学定位设备的视线被遮挡时，或者全部光学定位设备的视线均未被遮挡的情况下，从多个光学定位设备中选择出用于确定目标对象的目标位置的最优目标光学定位设备组合，并根据最优目标光学定位设备组合同步采集的目标对象的图像数据利用多目垂足法计算所述目标对象的目标位置，使得在确定目标对象的目标位置时，是通过选择出的最优的一个或多个目标光学定位设备同步采集的目标对象的图像数据进行计算得到，避免了其他非最优光学定位设备采集的目标对象的图像数据参与计算带来的误差，因此，可以获得最精确的定位结果。在骨科辅助手术机器人的定位系统中使用本申请提供的定位系统及定位方法，可以使得在部分光学定位设备的视线受到遮挡时，仍然可以通过其他视线未被遮挡的光学定位设备对手术器械等目标对象进行精确定位，提高了手术导航的鲁棒性，并且，还可以在部分光学定位设备的视线被遮挡时，或者全部光学定位设备的视线均未被遮挡的情况下，通过选择出的最优的一个或多个目标光学定位设备进行目标对象的定位，获得最精确的定位结果，提升了骨科手术的手术精确度和手术质量。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的一种定位方法的实现流程示意图；
图2是本申请实施例提供的确定工作空间中的任意一个位置对应的最优目标光学定位设备组合的实现流程示意图；
图3是本申请实施例提供的选择用于确定目标对象的目标位置的最优目标光学定位设备组合的实现流程示意图；
图4是本申请实施例提供的计算目标对象的目标位置的实现流程示意图；
图5是本申请实施例提供的计算目标对象的目标位置的示意图；
图6是本申请实施例提供的根据位姿数据及目标位置确定目标对象的位置的实现流程示意图；
图7是本申请实施例提供的光学定位设备的结构示意图；
图8是本申请实施例提供的定位装置的结构示意图；
图9是本申请实施例提供的定位系统的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
骨科辅助手术机器人是一种能协助骨外科医生进行精准手术操作的机器人系统。骨科手术机器人具有手术精准度高、病人创伤小、术后恢复快、以及降低医生操作强度等优点。
定位跟踪技术是骨科辅助手术机器人领域重要技术之一，基于成像的光学定位跟踪技术是常用的定位跟踪方法。
然而，视线遮挡(loss of sight)是光学定位跟踪系统最常见的工作失效原因之一。近红外光学定位跟踪系统中，当来自主动式光学发光标记点，或者被动反射式光学标靶的红外光线被用户或物体遮挡时，空间点三维重构由于缺少必要的二维图像中特征点的信息，容易导致定位跟踪失败，无法进行精确定位。
具体的，传统的近红外光学定位跟踪系统中一般只包含一个光学定位设备，该定位系统利用光学定位设备上配置的多个摄像头采集目标对象的图像数据进行定位，当该光学定位设备被遮挡时，有可能会出现无法完成对目标对象的定位的情况。
基于此，本申请实施例提供一种定位方法、定位装置、定位系统及计算机可读存储介质，可以解决目前的定位系统定位结果不连贯、定位精度低的问题。
需要说明的是，本申请实施例中提供的定位方法、定位装置、定位系统及计算机可读存储介质可以适用于各种需要实现定位功能的定位场景中，为了描述的方便，下面以应用于对骨科辅助手术机器人进行定位和导航的定位系统为例进行说明。
如图1示出了本申请实施例提供的一种定位方法的实现流程示意图，该方法应用于定位系统，可以由定位系统上配置的定位装置执行，适用于需实现精确定位的情形。
需要说明的是，本申请提供的定位系统可以包括：设置于不同位置的多个目标光学定位设备，并且，每个目标光学定位设备包含至少两个摄像头，因而，每个光学定位设备均可以用于确定目标对象的位置，使得在部分光学定位设备的视线受到遮挡时，仍然可以通过其他视线未被遮挡的光学定位设备对目标对象进行定位。
基于本申请提供的上述定位系统，如图1所示，本申请提供的定位方法可以包括步骤101至步骤103。
步骤101，获取所述多个光学定位设备同步采集得到的目标对象的多个图像数据。
步骤102，根据图像数据从多个光学定位设备中选择用于确定目标对象的目标位置的最优目标光学定位设备组合。
在实际应用中，一方面，定位系统的部分光学定位设备可能发生视线遮挡，导致这些目标光学定位设备采集得到的图像数据不能完整地包含目标对象，进而在利用这些发送视线遮挡的光学定位设备计算目标对象的位置时，无法确定目标对象的位置，或者得到误差较大的定位结果。
例如，在骨科辅助手术机器人的定位系统中，光学定位设备可能被医生、医疗设备、血迹等遮挡，用被遮挡的光学定位设备计算手术器械等目标对象的位置，可能出现得到的定位结果不连贯、定位精度低的问题。
因此，在获取多个目标光学定位设备同步采集得到的目标对象的多个图像数据之后，可以选择用于确定目标对象的目标位置的最优目标光学定位设备组合对目标对象进行定位，实现目标对象的精确定位，避免发生视线遮挡的一个或多个目标光学定位设备对定位精度的影响。
另一方面，当全部光学定位设备均未被遮挡时，由于各个光学定位设备相对于目标对象的距离远近以及方位各不相同，因此，为了提高对目标对象进行定位的定位精度，也可以从多个光学定位设备中选择用于确定目标对象的目标位置的最优目标光学定位设备组合对目标对象进行定位，实现目标对象的精确定位。
其中，最优目标光学定位设备组合可以包含一个或多个目标光学定位设备。
在本申请的一些实施方式中，为了可以从多个光学定位设备中选择用于确定目标对象的目标位置的最优目标光学定位设备组合，如图2所示，在根据图像数据从多个光学定位设备中选择用于确定目标对象的目标位置的最优目标光学定位设备组合之前，可以确定工作空间中的任意一个位置对应的最优目标光学定位设备组合，具体可以包括：步骤201至步骤203。
步骤201，将真实长度值为d并且两端设有光学小球的连杆放置在工作空间的多个离散位置，并在每个离散位置使用不同光学定位设备组合确定光学小球之间的距离s。
步骤202，计算d与s对应的差值的绝对值，将绝对值中最小的绝对值对应的光学定位设备组合确定为相应的离散位置对应的最优目标光学定位设备组合。
具体的，在将真实长度值为d并且两端设有光学小球的连杆放置在工作空间的多个离散位置之后，每个光学定位设备都可以采集到连杆的图像数据；使用不同光学定位设备组合采集得到的连杆的图像数据可以计算出多个光学小球之间的距离s，因此，通过比较每个光学定位设备组合计算得到的光学小球之间的距离s与d对应的差值的绝对值，即可确定出最优目标光学定位设备组合。
在本申请的一些实施方式中，将连杆真实长度值d与通过不同光学定位设备组合计算得到的两个光学小球之间的距离s对应的多个差值的绝对值进行比较，当绝对值最小时，表示计算得到的两个光学小球之间的距离s与连杆真实长度值d最接近，即，当目标对象位于该连杆对应的离散位置时，根据该最小的绝对值对应的光学定位设备组合可以得到最接近目标对象的真实位置的目标位置，因此，可以将该光学定位设备组合确定为相应的离散位置对应的最优目标光学定位设备组合。
步骤203，根据每个离散位置对应的最优目标光学定位设备组合利用线性回归算法得到工作空间中任意一个位置对应的最优目标光学定位设备组合。
本申请的实施例中，根据每个离散位置对应的最优目标光学定位设备组合，并利用线性回归算法，可以得到工作空间中任意一个位置对应的最优目标光学定位设备组合，因此，当目标对象处于工作空间中的某一位置时，可以选择该位置对应的最优目标光学定位设备组合并计算目标对象的目标位置，得到的目标位置比根据其他光学定位设备组合计算得到位置更接近真实位置，进而实现最精确的定位。
相应的，如图3所示，在确定了工作空间中任意一个位置对应的最优目标光学定位设备组合之后，可以根据图像数据从多个光学定位设备中选择用于确定目标对象的目标位置的最优目标光学定位设备组合，具体可以包括：步骤301至步骤302。
步骤301，对图像数据进行识别，得到目标对象在每个图像数据中显示的完整度，并得到完整度最大的至少两个图像数据。
本申请实施例中，在对图像数据进行识别，得到目标对象在每个图像数据中显示的完整度的过程中，可以使用卷积神经网络对图像数据进行识别，得到目标对象在每个图像数据中显示的完整度；也可以先获取完整度为1的参考图像，然后将各个光学定位设备采集的目标对象的图像数据与该参考图像进行比对，得到目标对象在每个图像数据中显示的完整度。
步骤302，根据完整度最大的至少两个图像数据计算目标对象的第一参考位置，并将第一参考位置对应的最优目标光学定位设备组合作为用于确定目标对象的目标位置的最优目标光学定位设备组合。
在本申请的一些实施方式中，通过对多个光学定位设备同步采集得到的目标对象的多个图像数据进行识别，可以得到目标对象在每个图像数据中显示的完整度；目标对象在某个图像数据中显示的完整度越大，表示获取该图像数据的光学定位设备的视线被遮挡得越少，甚至未被遮挡，例如，当完整度为1时，可以表示获取该图像数据的光学定位设备的视线没有被遮挡，该光学定位设备采集的图像数据越能反映目标对象的真实情况；反之，当完整度为0时，可以表示获取该图像数据的光学定位设备的视线被全部遮挡，没有拍摄到目标对象的任何部分。因此，可以根据完整度最大的至少两个图像数据，较为准确地计算出目标对象在工作空间中的第一参考位置，并选择第一参考位置对应的最优目标光学定位设备组合作为用于确定目标对象的目标位置的最优目标光学定位设备组合，进而确定目标对象的目标位置，提高目标对象的定位精度。
例如，在骨科辅助手术机器人的定位系统中使用本申请提供的定位方法对手术器械进行定位时，可以通过对多个光学定位设备同步采集得到的手术器械的多个图像数据进行识别，得到手术器械在图像数据中完整度最大的至少两个图像数据，通过这些图像数据，可以确定手术器械的第一参考位置，此时，可以选择该第一参考位置对应的最优目标光学定位设备组合确定手术器械的目标位置，进而实现在骨科手术中对手术器械的实时定位，提高了手术的精度。
步骤103，根据最优目标光学定位设备组合同步采集的目标对象的图像数据利用多目垂足法计算目标对象的目标位置。
具体的，如图4所示，上述根据最优目标光学定位设备组合同步采集的目标对象的图像数据利用多目垂足法计算目标对象的目标位置，包括：步骤401至步骤403。
步骤401，获取最优目标光学定位设备组合同步采集得到的目标对象的多个图像数据。
在本申请的一些实施方式中，由于每个目标光学定位设备均包含至少两个摄像头，因此，当上述最优目标光学定位设备组合为一个目标光学定位设备时，可以根据该目标光学定位设备的多个摄像头采集得到的目标对象的多个图像数据，利用多目垂足法计算目标对象的目标位置；当上述最优目标光学定位设备组合为多个目标光学定位设备时，可以根据最优目标光学定位设备组合中每个目标光学定位设备的每个摄像头采集得到的目标对象的图像数据，利用多目垂足法计算目标对象的目标位置。
步骤402，识别所述多个图像数据中的目标对象，得到每个图像数据中的目标对象的投影坐标，并得到由多个目标光学定位设备的摄像头光学中心坐标与投影坐标的连线组成的多条空间异面直线。
步骤403，计算多条空间异面直线两两之间的公垂线垂足点的三维坐标，并将三维坐标的平均值作为目标对象的目标位置。
其中，上述识别多个图像数据中的目标对象的具体实现方式可以采用目前通用的图像识别技术实现，例如，可以通过将图像数据输入卷积神经网络模型(ConvolutionalNeural Networks，CNN)的方式进行目标对象的识别，本申请再次不做赘述。
在理想情况下，每个摄像头的光学中心点与该摄像头采集到的图像数据中的目标对象的理论投影点的连线应相交于点目标对象的实际位置，然而，由于在对图像数据进行目标对象的特征的提取及匹配时可能产生误差，摄像头采集到的图像数据中的目标对象的实际投影点往往不是理论投影点，导致每个摄像头的光学中心点与该摄像头采集到的图像数据中的目标对象的实际投影点的连线不能相交。
例如，如图5所示，点M是目标对象的实际位置，点O1、O2、O3、O4分别是4个不同摄像头的光学中心点，点q1、q2、q3、q4分别是该点在4个不同摄像头采集的图像数据中的目标对象的理论投影点，由于图像特征提取及匹配的误差，点m1、m2、m3、m4才是该点在4个不同摄像头采集的图像数据中的目标对象的实际投影点，点O1与点m1的连线、点O2与点m2的连线、点O3与点m3的连线和点O4与点m4的连线并不相交。
为了确定目标对象的目标位置，在本申请的一些实施方式中，可以通过计算每个图像数据中的目标对象的投影坐标，得到由多个目标光学定位设备的摄像头光学中心坐标与投影坐标的连线组成的多条空间异面直线，然后，根据这些空间异面直线确定目标对象的目标位置。
具体的，如图5所示，根据点O1与点m1的连线与点O2与点m2的连线，可以得到这两条连线的公垂线G1 G2，以此类推，图5中4条空间异面直线一共可以得到6条公垂线及12个垂足点，通过计算这12个垂足点三维坐标的平均值，得到点F的三维坐标，则可以将点F的三维坐标作为所述目标对象的目标位置。
本申请实施例中，通过设置包含至少两个摄像头并且位于不同位置的多个光学定位设备对目标对象进行定位，使得在部分光学定位设备的视线受到遮挡时，仍然可以通过其他视线未被遮挡的光学定位设备对目标对象进行定位；因此，可以保证定位结果的连贯性，解决了目前的定位系统定位结果不连贯的问题。另外，本申请还通过在部分光学定位设备的视线被遮挡时，或者全部光学定位设备的视线均未被遮挡的情况下，从多个光学定位设备中选择出用于确定目标对象的目标位置的最优目标光学定位设备组合，并根据最优目标光学定位设备组合同步采集的目标对象的图像数据利用多目垂足法计算所述目标对象的目标位置，使得在确定目标对象的目标位置时，是通过选择出的最优的一个或多个目标光学定位设备同步采集的目标对象的图像数据进行计算得到，避免了其他非最优光学定位设备采集的目标对象的图像数据参与计算带来的误差，因此，可以获得最精确的定位结果。
在骨科辅助手术机器人的定位系统中使用本申请提供的定位系统及定位方法，可以使得在部分光学定位设备的视线受到遮挡时，仍然可以通过其他视线未被遮挡的光学定位设备对手术器械等目标对象进行精确定位，提高了手术导航的鲁棒性，并且，还可以在部分光学定位设备的视线被遮挡时，或者全部光学定位设备的视线均未被遮挡的情况下，通过选择出的最优的一个或多个目标光学定位设备进行目标对象的定位，获得最精确的定位结果，提升了骨科手术的手术精确度和手术质量。
然而，在利用上述包含多个光学定位设备的定位系统对目标对象进行定位时，仍然有可能因为摄像头测量精度以及校正误差的影响，导致得到的目标对象的目标位置存在一定误差。
因此，在本申请的一些实施方式中，还可以通过在目标对象上设置位姿传感器，并由上述定位系统获取该位姿传感器采集的位姿数据确定所述目标对象的第二参考位置，将该第二参考位置与上述目标位置进行融合，得到所述目标对象对应的融合后的目标位置，以便进一步提高对目标对象进行定位的定位精度。
具体的，如图6所示，在上述根据多个目标光学定位设备采集的目标对象的图像数据利用多目垂足法计算目标对象的目标位置之后，可以包括：步骤601至步骤602。
步骤601，获取位姿传感器采集的位姿数据确定目标对象的第二参考位置。
步骤602，利用扩展卡尔曼滤波算法将第二参考位置与目标位置进行融合，得到目标对象对应的融合后的目标位置。
具体的，在利用位姿传感器采集的位姿数据确定目标对象的第二参考位置的过程中，受到积分漂移的影响，以及目标对象自身结构的影响，计算得到的第二参考位置可能与目标对象的实际位置存在较大的误差。为了最大限度的避免第二参考位置与目标位置本身的误差对定位结果的影响，本申请的实施例，在定位系统根据位姿数据确定目标对象的第二参考位置之后，可以利用扩展卡尔曼滤波(Extended Kalman Filter，EKF)算法将第二参考位置与目标位置进行融合，得到目标对象对应的融合后的目标位置，并将该融合后的目标位置作为最终得到的目标对象的位置信息。
在上述各个实施方式中，上述配置于定位系统的光学定位设备还可以包括与摄像头连接，并且可以使摄像头发生位置变化的运动机构。例如，该运动机构为可以使摄像头进行平移、旋转的机器人，使得目标对象发生位置变化时，摄像头可以通过动态调整位姿的方式，获得最大的拍摄视场。
例如，如图7所示，上述光学定位设备可以包括与摄像头701连接的运动机构702，通过运动机构702动态调整摄像701位姿，使得摄像头可以在拍摄目标对象703时获得最大的拍摄视场。
具体的，可以为目标对象设置安全区，并根据目标对象和光学定位设备上的摄像头之间的姿势来构建报警区域，然后，根据该安全区与该报警区域确定使得视场(Field ofView)范围最大的摄像头位置。
例如，如图7所示，安全区可以定义为以半径r为中心的球，该球以目标对象的中心为球心。报警区域可以定义以摄像机中心为单位，以从摄像头中心到安全区球心的切线为母线为圆锥体以外的区域。通过将摄像头视场保持在圆锥体内即可。
本申请实施例中，通过在光学定位设备上设置与摄像头连接，并且可以使摄像头发生位置变化的运动机构，还可以使得一个光学定位设备可以通过组合出由具有不同位姿状态的摄像头组成的多个摄像头组，实现一个光学定位设备包含多种工作状态，因而，可以扩充上述最优目标光学定位设备组合的数量及细化程度，从而可以进一步提高该光学定位设备的定位精度。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为根据本发明，某些步骤可以采用其它顺序进行。
图8示出了本申请实施例提供的一种定位装置800的结构示意图，该定位装置配置于定位系统，该定位系统可以包括设置位于不同位置的多个光学定位设备，每个光学定位设备包含至少两个摄像头；该定位装置包括获取单元801、确定单元802和定位单元803。
获取单元801，用于获取所述多个光学定位设备同步采集得到的目标对象的多个图像数据。
确定单元802，用于根据所述图像数据从所述多个光学定位设备中选择用于确定所述目标对象的目标位置的最优目标光学定位设备组合；所述最优目标光学定位设备组合包含一个或多个目标光学定位设备。
定位单元803，用于根据所述最优目标光学定位设备组合同步采集的所述目标对象的图像数据利用多目垂足法计算所述目标对象的目标位置。
在本申请的一些实施方式中，上述确定单元802还用于：将真实长度值为d并且两端设有光学小球的连杆放置在工作空间的多个离散位置，并在每个离散位置使用不同光学定位设备组合确定所述光学小球之间的距离s；计算d与s对应的差值的绝对值，将所述绝对值中最小的绝对值对应的光学定位设备组合确定为相应的离散位置对应的最优目标光学定位设备组合；根据每个离散位置对应的最优目标光学定位设备组合利用线性回归算法得到工作空间中任意一个位置对应的最优目标光学定位设备组合。
在本申请的一些实施方式中，上述确定单元802还用于：对所述图像数据进行识别，得到所述目标对象在每个图像数据中显示的完整度，并得到完整度最大的至少两个图像数据；根据所述完整度最大的至少两个图像数据计算所述目标对象的第一参考位置，并将所述第一参考位置对应的最优目标光学定位设备组合作为所述用于确定所述目标对象的目标位置的最优目标光学定位设备组合。
在本申请的一些实施方式中，上述定位单元803还用于：获取所述最优目标光学定位设备组合同步采集得到的所述目标对象的多个图像数据；识别所述多个图像数据中的目标对象，得到每个图像数据中的目标对象的投影坐标，并得到由所述多个目标光学定位设备的摄像头光学中心坐标与所述投影坐标的连线组成的多条空间异面直线；计算所述多条空间异面直线两两之间的公垂线垂足点的三维坐标，并将所述三维坐标的平均值作为所述目标对象的目标位置。
在本申请的一些实施方式中，上述定位装置还包括融合单元，用于获取所述位姿传感器采集的位姿数据确定所述目标对象的第二参考位置；利用扩展卡尔曼滤波算法将所述第二参考位置与所述目标位置进行融合，得到所述目标对象对应的融合后的目标位置。
需要说明的是，为描述的方便和简洁，上述描述的定位装置800的具体工作过程，可以参考上述图1至图7中描述的方法的对应过程，在此不再赘述。
如图9所示，本申请实施例还提供了一种用于实现定位方法的定位系统。该定位系统9可以包括：处理器90、存储器91以及存储在所述存储器91中并可在所述处理器90上运行的计算机程序92，例如，定位程序；该定位系统9还可以包括多个光学定位设备94(图中仅示出一个)。所述处理器90执行所述计算机程序92时实现上述各装置实施例中各模块/单元的功能，例如图1所示单元101至103的功能。或者，所述处理器90执行所述计算机程序92时实现上述各个定位方法实施例中的步骤，例如图8所示的步骤801至803。
所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器91中，并由所述处理器90执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述定位系统中的执行过程。例如，所述计算机程序可以被分割成获取单元、确定单元和定位单元，各单元具体功能如下：
获取单元，用于获取所述多个光学定位设备同步采集得到的目标对象的多个图像数据；
确定单元，用于根据所述图像数据从所述多个光学定位设备中选择用于确定所述目标对象的目标位置的最优目标光学定位设备组合；所述最优目标光学定位设备组合包含一个或多个目标光学定位设备；
定位单元，用于根据所述最优目标光学定位设备组合同步采集的所述目标对象的图像数据利用多目垂足法计算所述目标对象的目标位置。
所述定位系统可包括但不仅限于，处理器90、存储器91。本领域技术人员可以理解，图9仅仅是定位系统的示例，并不构成对定位系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述定位系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器90可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器91可以是所述定位系统的内部存储单元，例如定位系统的硬盘或内存。所述存储器91也可以是所述定位系统的外部存储设备，例如所述定位系统上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器91还可以既包括所述定位系统的内部存储单元也包括外部存储设备。所述存储器91用于存储所述计算机程序以及所述定位系统所需的其他程序和数据。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/定位系统和方法，可以通过其它的方式实现。例如，以上所描述的装置/定位系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (6)
1.一种定位方法，应用于定位系统，其特征在于，所述定位系统包括：设置位于不同位置的多个光学定位设备，每个光学定位设备包含至少两个摄像头；所述定位方法包括：
获取所述多个光学定位设备同步采集得到的目标对象的多个图像数据；
将真实长度值为d并且两端设有光学小球的连杆放置在工作空间的多个离散位置，并在每个离散位置使用不同光学定位设备组合确定所述光学小球之间的距离s；
计算d与s对应的差值的绝对值，将所述绝对值中最小的绝对值对应的光学定位设备组合确定为相应的离散位置对应的最优目标光学定位设备组合；
根据每个离散位置对应的最优目标光学定位设备组合利用线性回归算法得到工作空间中任意一个位置对应的最优目标光学定位设备组合；
根据所述图像数据从所述多个光学定位设备中选择用于确定所述目标对象的目标位置的最优目标光学定位设备组合；所述最优目标光学定位设备组合包含一个或多个目标光学定位设备；
获取所述最优目标光学定位设备组合同步采集得到的所述目标对象的多个图像数据；
识别所述多个图像数据中的目标对象，得到每个图像数据中的目标对象的投影坐标，并得到由所述多个目标光学定位设备的摄像头光学中心坐标与所述投影坐标的连线组成的多条空间异面直线；
计算所述多条空间异面直线两两之间的公垂线垂足点的三维坐标，并将所述三维坐标的平均值作为所述目标对象的目标位置；
其中，所述根据所述图像数据从所述多个光学定位设备中选择用于确定所述目标对象的目标位置的最优目标光学定位设备组合，包括：
对所述图像数据进行识别，得到所述目标对象在每个图像数据中显示的完整度，并得到完整度最大的至少两个图像数据；
根据所述完整度最大的至少两个图像数据计算所述目标对象的第一参考位置，并将所述第一参考位置对应的最优目标光学定位设备组合作为所述用于确定所述目标对象的目标位置的最优目标光学定位设备组合。
2.如权利要求1所述的定位方法，其特征在于，所述目标对象上设有位姿传感器；在所述根据所述多个目标光学定位设备采集的所述目标对象的图像数据利用多目垂足法计算所述目标对象的目标位置之后，包括：
获取所述位姿传感器采集的位姿数据确定所述目标对象的第二参考位置；
利用扩展卡尔曼滤波算法将所述第二参考位置与所述目标位置进行融合，得到所述目标对象对应的融合后的目标位置。
3.如权利要求1所述的定位方法，其特征在于，所述光学定位设备包括与所述摄像头连接，并且可以使所述摄像头发生位置变化的运动机构。
4.一种定位装置，配置于定位系统，其特征在于，所述定位系统包括：设置于不同位置的多个光学定位设备，每个光学定位设备包含至少两个摄像头；所述定位装置包括：
获取单元，用于获取所述多个光学定位设备同步采集得到的目标对象的多个图像数据；
确定单元，用于将真实长度值为d并且两端设有光学小球的连杆放置在工作空间的多个离散位置，并在每个离散位置使用不同光学定位设备组合确定所述光学小球之间的距离s；
计算d与s对应的差值的绝对值，将所述绝对值中最小的绝对值对应的光学定位设备组合确定为相应的离散位置对应的最优目标光学定位设备组合；
根据每个离散位置对应的最优目标光学定位设备组合利用线性回归算法得到工作空间中任意一个位置对应的最优目标光学定位设备组合；
根据所述图像数据从所述多个光学定位设备中选择用于确定所述目标对象的目标位置的最优目标光学定位设备组合；所述最优目标光学定位设备组合包含一个或多个目标光学定位设备；
定位单元，用于获取所述最优目标光学定位设备组合同步采集得到的所述目标对象的多个图像数据；
识别所述多个图像数据中的目标对象，得到每个图像数据中的目标对象的投影坐标，并得到由所述多个目标光学定位设备的摄像头光学中心坐标与所述投影坐标的连线组成的多条空间异面直线；
计算所述多条空间异面直线两两之间的公垂线垂足点的三维坐标，并将所述三维坐标的平均值作为所述目标对象的目标位置；
其中，所述根据所述图像数据从所述多个光学定位设备中选择用于确定所述目标对象的目标位置的最优目标光学定位设备组合，包括：
对所述图像数据进行识别，得到所述目标对象在每个图像数据中显示的完整度，并得到完整度最大的至少两个图像数据；
根据所述完整度最大的至少两个图像数据计算所述目标对象的第一参考位置，并将所述第一参考位置对应的最优目标光学定位设备组合作为所述用于确定所述目标对象的目标位置的最优目标光学定位设备组合。
5.一种定位系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述定位系统还包括：设置于不同位置的多个光学定位设备，每个光学定位设备包含至少两个摄像头；所述处理器执行所述计算机程序时实现如权利要求1-3任意一项所述方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911403971.XA CN111110348B (zh) | 2019-12-28 | 2019-12-28 | 定位方法、定位装置、定位系统及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911403971.XA CN111110348B (zh) | 2019-12-28 | 2019-12-28 | 定位方法、定位装置、定位系统及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111110348A CN111110348A (zh) | 2020-05-08 |
| CN111110348B true CN111110348B (zh) | 2021-01-05 |
Family
ID=70505960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911403971.XA Active CN111110348B (zh) | 2019-12-28 | 2019-12-28 | 定位方法、定位装置、定位系统及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111110348B (zh) |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106021803B (zh) * | 2016-06-06 | 2019-04-16 | 中国科学院长春光学精密机械与物理研究所 | 一种确定图像采集设备最优排布的方法及系统 |
| CN106272437B (zh) * | 2016-10-12 | 2018-11-09 | 吉林大学 | 一种用于并联机器人双目视觉定位的最优视场求取装置 |
| WO2019135805A1 (en) * | 2017-09-20 | 2019-07-11 | Think Surgical, Inc. | Interactive anatomical positioner and a robotic system therewith |
| CN109674534A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的手术导航图像显示方法和系统 |
| US10999493B2 (en) * | 2017-12-22 | 2021-05-04 | Medtech S.A. | Scialytic light navigation |
| CN109959381B (zh) * | 2017-12-22 | 2021-06-04 | 深圳市优必选科技有限公司 | 一种定位方法、装置、机器人及计算机可读存储介质 |
| US11490969B2 (en) * | 2018-03-22 | 2022-11-08 | Medtech S.A. | Optical camera positioning tool |
| US11166781B2 (en) * | 2018-04-23 | 2021-11-09 | Mako Surgical Corp. | System, method and software program for aiding in positioning of a camera relative to objects in a surgical environment |
| CN108742841B (zh) * | 2018-05-30 | 2020-11-06 | 上海交通大学 | 一种多位置跟踪仪的工具实时定位装置 |
-
2019
- 2019-12-28 CN CN201911403971.XA patent/CN111110348B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111110348A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3215044B1 (en) | Optical tracking method and system based on passive markers | |
| US7561733B2 (en) | Patient registration with video image assistance | |
| US9622824B2 (en) | Method for automatically identifying instruments during medical navigation | |
| US20200129240A1 (en) | Systems and methods for intraoperative planning and placement of implants | |
| JP6869302B2 (ja) | 検査位置の調整方法、調整装置、超音波プローブおよび端末 | |
| US9974615B2 (en) | Determining a position of a medical device to be localized | |
| US20140253712A1 (en) | Medical tracking system comprising two or more communicating sensor devices | |
| US10776937B2 (en) | Image processing apparatus and image processing method for setting measuring point to calculate three-dimensional coordinates of subject image with high reliability | |
| US20210290315A1 (en) | System method and computer program product, for computer aided surgery | |
| US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
| EP3798980A1 (en) | Technologies for determining the accuracy of three-dimensional models for use in an orthopaedic surgical procedure | |
| EP4247254A1 (en) | Systems and methods for artificial intelligence based image analysis for placement of surgical appliance | |
| Cai et al. | Tracking multiple surgical instruments in a near-infrared optical system | |
| CN111110348B (zh) | 定位方法、定位装置、定位系统及计算机可读存储介质 | |
| CN116258752A (zh) | 配准方法、配准装置、电子设备和计算机可读存储介质 | |
| CN116047412A (zh) | 标记物的伪影坐标去除方法及相关装置 | |
| CN109410277B (zh) | 一种虚拟标记点过滤方法及系统 | |
| CN115619836A (zh) | 一种焦屏距校准方法及装置 | |
| US20230252681A1 (en) | Method of medical calibration | |
| CN114209431B (zh) | 光学探针识别方法、装置、电子设备及存储介质 | |
| CN117481755A (zh) | 针对脑部病灶的穿刺路径确定系统、方法、装置及介质 | |
| CN116758248A (zh) | 增强现实ToF深度传感器矫正的方法、装置、设备及介质 | |
| CN115546262A (zh) | 一种确定目标点的方法及装置 | |
| CN116091609A (zh) | 标定组件、图像识别方法、装置、介质及电子设备 | |
| CN115376676A (zh) | 手术器械的调整方法、手术系统和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200508 Assignee: Bone shengyuanhua robot (Shenzhen) Co., Ltd Assignor: Yuanhua Intelligent Technology (Shenzhen) Co.,Ltd. Contract record no.: X2020980004664 Denomination of invention: Positioning method, positioning device, positioning system and computer-readable storage medium License type: Common License Record date: 20200804 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |