CN112862813B - 标记点提取方法、装置、电子设备及计算机存储介质 - Google Patents

标记点提取方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN112862813B
CN112862813B CN202110264829.2A CN202110264829A CN112862813B CN 112862813 B CN112862813 B CN 112862813B CN 202110264829 A CN202110264829 A CN 202110264829A CN 112862813 B CN112862813 B CN 112862813B
Authority
CN
China
Prior art keywords
image
point
mark point
coordinate system
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110264829.2A
Other languages
English (en)
Other versions
CN112862813A (zh
Inventor
宫明波
要文杰
谢永召
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baihui Weikang Technology Co Ltd
Original Assignee
Beijing Baihui Weikang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baihui Weikang Technology Co Ltd filed Critical Beijing Baihui Weikang Technology Co Ltd
Priority to CN202110264829.2A priority Critical patent/CN112862813B/zh
Publication of CN112862813A publication Critical patent/CN112862813A/zh
Application granted granted Critical
Publication of CN112862813B publication Critical patent/CN112862813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Abstract

本申请实施例提供了一种标记点提取方法、装置、电子设备及计算机存储介质。方法包括：获取包含多个标记点的目标图像；根据目标图像的成像方式下标记点对应图像点的图像值范围，从目标图像中确定候选标记点区域；对候选标记点区域中的各图像点进行类别划分，得到多个参考标记点集合；其中，每个参考标记点集合代表一个连通区域，每个参考标记点集合对应一个标记点；分别基于各参考标记点集合中的图像点，进行特征点提取，得到各参考标记点集合对应的初始标记点；基于初始标记点，采用搜索算法对各参考标记点集合进行搜索，得到目标图像对应的图像坐标系下，该参考标记点集合对应的标记点的位置。本申请实施例可以提高标记点提取的效率和准确度。

Description

标记点提取方法、装置、电子设备及计算机存储介质
技术领域
本申请实施例涉及图像处理技术领域，尤其涉及一种标记点提取方法、装置、电子设备及计算机存储介质。
背景技术
机器人作业过程中，通常涉及机器人坐标系与图像坐标系之间的转换。以进行医学手术的手术机器人为例，需要先确定好图像坐标系(CT图像坐标系等)和机器人坐标系之间的转换关系，然后才能将图像坐标系下的手术位置转换为机器人空间坐标系下的位置，以便手术机器人对手术位置进行手术操作。
机器人坐标系与图像坐标系之间的转换关系一般是通过标记点得到的，具体的：在获取到包含预设标记点的图像之后，在图像坐标系中进行预设标记点提取，得到上述标记点在图像坐标系中的位置，然后基于标记点在机器人坐标系中的位置和标记点在图像坐标系中的位置，得到两个坐标系之间的转换关系。
现阶段，通常是操作人员根据标记点在图像中的颜色、形状等属性信息，对图像进行观察，手动在图像坐标系中提取预设标记点，因此，标记点提取的准确度和效率均较低。
发明内容
本申请的目的在于提出一种标记点提取方法、装置、电子设备及计算机存储介质，用于解决现有技术中存在的标记点提取的准确度和效率较低的问题。
根据本申请实施例的第一方面，提供了一种标记点提取方法，所述方法包括：
获取包含多个标记点的目标图像；
根据所述目标图像的成像方式下所述标记点对应图像点的图像值范围，从所述目标图像中确定候选标记点区域；其中，所述候选标记点区域中各图像点的图像值位于所述图像值范围内；
对所述候选标记点区域中的各图像点进行类别划分，得到多个参考标记点集合；其中，每个参考标记点集合代表一个连通区域，且每个参考标记点集合对应一个标记点；
分别基于各参考标记点集合中的图像点，进行特征点提取，得到各参考标记点集合对应的初始标记点；
基于所述初始标记点，采用搜索算法对各参考标记点集合进行搜索，得到在所述目标图像对应的图像坐标系下，该参考标记点集合对应的标记点的位置。
根据本申请实施例的第二方面，提供了一种标记点提取装置，所述装置包括：
图像获取模块，用于获取包含多个标记点的目标图像；
候选标记点区域确定模块，用于根据所述目标图像的成像方式下所述标记点对应图像点的图像值范围，从所述目标图像中确定候选标记点区域；其中，所述候选标记点区域中各图像点的图像值位于所述图像值范围内；
参考标记点集合得到模块，用于对所述候选标记点区域中的各图像点进行类别划分，得到多个参考标记点集合；其中，每个参考标记点集合代表一个连通区域，且每个参考标记点集合对应一个标记点；
初始标记点得到模块，用于分别基于各参考标记点集合中的图像点，进行特征点提取，得到各参考标记点集合对应的初始标记点；
标记点位置得到模块，用于基于所述初始标记点，采用搜索算法对各参考标记点集合进行搜索，得到在所述目标图像对应的图像坐标系下，该参考标记点集合对应的标记点的位置。
根据本申请实施例的第三方面，提供了一种坐标转换关系获取方法，所述方法包括：
获取预设的标记点在图像坐标系下的位置作为第一位置；获取所述标记点在机器人坐标系下的位置作为第二位置；
以所述图像坐标系与所述机器人坐标系间的平移变换矩阵和旋转变换矩阵作为自变量，基于所述第一位置和所述第二位置，构建误差函数；其中，所述误差函数用于表征：采用所述平移变换矩阵和所述旋转变换矩阵对所述第一位置进行转换后得到的转换后位置与所述第二位置间的误差；或者，采用所述平移变换矩阵和所述旋转变换矩阵对所述第二位置进行转换后得到的转换后位置与所述第一位置间的误差；
对所述误差函数进行最小化处理，得到所述平移变换矩阵和所述旋转变换矩阵间的最优变换关系；
根据所述最优变换关系，将所述误差函数转换为以所述旋转变换矩阵为自变量的目标函数；并对所述目标函数进行最小化，得到最优旋转变换矩阵；
基于所述第一位置、所述第二位置以及所述最优旋转变换矩阵，得到最优平移变换矩阵。
根据本申请实施例的第四方面，提供了一种坐标转换关系获取装置，所述装置包括：
位置获取模块，用于获取预设的标记点在图像坐标系下的位置作为第一位置；获取所述标记点在机器人坐标系下的位置作为第二位置；
误差函数构建模块，用于以所述图像坐标系与所述机器人坐标系间的平移变换矩阵和旋转变换矩阵作为自变量，基于所述第一位置和所述第二位置，构建误差函数；其中，所述误差函数用于表征：采用所述平移变换矩阵和所述旋转变换矩阵对所述第一位置进行转换后得到的转换后位置与所述第二位置间的误差；或者，采用所述平移变换矩阵和所述旋转变换矩阵对所述第二位置进行转换后得到的转换后位置与所述第一位置间的误差；
最优变换关系得到模块，用于对所述误差函数进行最小化处理，得到所述平移变换矩阵和所述旋转变换矩阵间的最优变换关系；
最优旋转变换矩阵得到模块，用于根据所述最优变换关系，将所述误差函数转换为以所述旋转变换矩阵为自变量的目标函数；并对所述目标函数进行最小化，得到最优旋转变换矩阵；
最优平移变换矩阵得到模块，用于基于所述第一位置、所述第二位置以及所述最优旋转变换矩阵，得到最优平移变换矩阵。
根据本申请实施例的第五方面，提供了一种电子设备，所述设备包括：一个或多个处理器；计算机可读介质，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的标记点提取方法，或者，实现如第三方面所述的坐标转换关系获取方法。
根据本申请实施例的第六方面，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的标记点提取方法，或者，实现如第三方面所述的坐标转换关系获取方法。
根据本申请实施例提供的标记点提取方法、装置、电子设备及计算机存储介质，获取包含多个标记点的目标图像；根据所述目标图像的成像方式下所述标记点对应图像点的图像值范围，从所述目标图像中确定候选标记点区域；其中，所述候选标记点区域中各图像点的图像值位于所述图像值范围内；对所述候选标记点区域中的各图像点进行类别划分，得到多个参考标记点集合；其中，每个参考标记点集合代表一个连通区域，且每个参考标记点集合对应一个标记点；分别基于各参考标记点集合中的图像点，进行特征点提取，得到各参考标记点集合对应的初始标记点；基于所述初始标记点，采用搜索算法对各参考标记点集合进行搜索，得到在所述目标图像对应的图像坐标系下，该参考标记点集合对应的标记点的位置。
本申请实施例中，在获取包含多个标记点的目标图像之后，先从中确定出了候选标记点区域，然后通过对候选标记点区域进行类别划分，得到了参考标记点集合；基于参考标记点集合中的图像点，进行特征点提取，得到了初始标记点；再采用搜索算法，得到了图像坐标系下，各标记点的位置。上述过程无需人工参与，自动实现了对标记点的提取操作，与依赖操作人员自身经验的人工提取方式相比，标记点提取的效率较高。同时，由于人工提取时，人眼确定的初始标记点位置与最终手动选择的初始标记点位置之间通常存在误差，且人工仅能在构成目标图像的整数图层中进行初始标记点提取，而本申请实施例则是基于参考标记点集合中的图像点进行特征点提取得到初始标记点的，因此，提取到的初始标记点也可能位于整数图层之间，因此，标记点提取的准确度也较高。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为根据本申请实施例一的一种标记点提取方法的步骤流程图；
图2为根据本申请实施例二的一种标记点提取方法的步骤流程图；
图3为根据本申请实施例三的一种坐标转换关系获取方法的步骤流程图；
图4为根据本申请实施例四的一种坐标转换关系获取方法的步骤流程图；
图5为本申请实施例五中标记点提取装置的结构示意图；
图6为本申请实施例六中坐标转换关系获取装置的结构示意图；
图7为本申请实施例七中电子设备的结构示意图；
图8为本申请实施例八中电子设备的硬件结构。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅配置为解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例一
参照图1，示出了根据本申请实施例一的一种标记点提取方法的步骤流程图。
本实施例的标记点提取方法包括以下步骤：
步骤101，获取包含多个标记点的目标图像。
本申请实施例中，对于标记点数量不做限制，可以根据实际情况进行设定。
本步骤中的目标图像可以为三维空间图像，对于目标图像的具体获得方式也不做限定。例如：可以为通过CT设备得到的CT图像，也可以为通过核磁共振设备得到的图像，还可以为通过其他成像设备得到的图像。
以手术机器人进行医学手术这一场景为例，标记点可以为附着于患者病灶附近的陶瓷小球，需要说明的是，本申请实施例中对于标记点的材质和形状均不做限定，此处仅以陶瓷的小球为例进行解释说明。将含有陶瓷小球的定位板附着于患者病灶附近，在二者保持相对固定的时候通过CT设备获取包含陶瓷小球的患者病灶CT三维图像，作为目标图像。
步骤102，根据目标图像的成像方式下标记点对应图像点的图像值范围，从目标图像中确定候选标记点区域。
其中，候选标记点区域中各图像点的图像值位于图像值范围内。
同一成像方式下，不同材质的物体对应的图像点的图像值范围有所不同，因此，可以根据标记点对应图像点的图像值范围，从步骤101获得的目标图像中确定出标记点区域。
还以上述手术机器人场景为例，当X射线穿过同质均匀物体时，其强度呈指数关系衰减，当射线穿过同等厚度的组织时，透过对X射线吸收能力更强的组织的射线更少，而组织对X射线的吸收能力取决于该组织的密度，密度高的组织吸收X射线的能力较强；反之，密度较低的组织吸收X射线的能力较弱，穿过该组织的X射线较多。下表1为CT图像中，不同人体组织对应的CT值：
表1
组织名称 CT值(单位：Hu)
骨组织 >400
钙值 80～300
血块 64～84
脑白质 25～34
脑灰质 28～44
脑脊液 3～8
血液 13～32
血浆 3～14
渗出液 >15
肝脏 50～70
脾脏 35～60
胰腺 30～55
肾脏 25～50
肌肉 40～55
胆囊 10～30
甲状腺 50～90
脂肪 -20～-100
水 0
在CT图像中，陶瓷小球的CT值(大于2000Hu)远高于正常人体组织，因此，可以根据陶瓷小球在CT图像中的图像值范围(大于2000Hu)从目标图像中确定候选标记点区域，具体的：将CT图像中图像值大于2000Hu的图像点所在区域作为标记点区域。
步骤103，对候选标记点区域中的各图像点进行类别划分，得到多个参考标记点集合；其中，每个参考标记点集合代表一个连通区域，且每个参考标记点集合对应一个标记点。
由于标记点是一个客观物体，其组成部分在空间分布中具有连续性及相近的性质，因此可根据该性质利用类别划分的方式将候选标记点区域分成不同部分，从而获得多个参考标记点集合。
本申请实施例中，可以采用任意的类别划分方式对候选标记点区域中的各图像点进行类别划分。例如：可以采用传统的分类算法或聚类算法，也可以采用机器学习方式，还可以采用模型演化(如：马尔可夫随机场模型法)等方式，此处，对于类别划分所采用的具体方式不做限定。
就聚类算法而言，例如：可以采用K-means等划分聚类算法，也可以采用层次聚类算法，还可以采用模糊聚类算法等等，对于聚类算法的具体形式也不做限定。
步骤104，分别基于各参考标记点集合中的图像点，进行特征点提取，得到各参考标记点集合对应的初始标记点。
由于不同的成像方式会受到不同因素(例如，噪声)的影响，参考标记点集合中的图像点无法直接作为标记点使用，且每个标记点只需一个图像点表示即可。因此可以根据成像方式、处理方式以及特征点提取的用途等因素，分别基于各参考标记点集合中的图像点，提取到各参考标记点集合的特征点作为初始标记点。
本步骤提取到的特征点可以为表征参考标记点集合的位置特征的图像点，例如：可以为参考标记点集合中的图像点的坐标均值对应的图像点，也可以为参考标记点集合中灰度梯度为0的图像点，还可以为参考标记点集合中最大连通区域中心对应的图像点等等。
步骤105，基于初始标记点，采用搜索算法对各参考标记点集合进行搜索，得到在目标图像对应的图像坐标系下，该参考标记点集合对应的标记点的位置。
针对每个参考标记点集合而言，在得到对应的初始标记点之后，以该初始标记点为搜索起点，采用搜索算法对该参考标记点集合进行搜索，可以得到在目标图像对应的图像坐标系下，该参考标记点集合对应的标记点的位置。
可以采用任意的搜索算法对参考标记点集合进行搜索，本申请实施例中，对于搜索算法的具体形式不做限定，例如：可以采用全局搜索算法，或者也可以采用局部搜索算法等等。
本申请实施例中，在获取包含多个标记点的目标图像之后，先从中确定出了候选标记点区域，然后通过对候选标记点区域类别划分，得到了参考标记点集合；基于各参考标记点集合中的图像点，进行特征点提取，得到了初始标记点；再采用搜索算法，得到了图像坐标系下，各标记点的位置。上述过程无需人工参与，自动实现了对标记点的提取操作，与依赖操作人员自身经验的人工提取方式相比，标记点提取的效率较高。同时，由于人工提取时，人眼确定的初始标记点位置与最终手动选择的初始标记点位置之间通常存在误差，且人工仅能在构成目标图像的整数图层中进行初始标记点提取，而本申请实施例则是基于参考标记点集合中的图像点进行特征点提取得到初始标记点的，因此，提取到的初始标记点也可能位于整数图层之间，因此，标记点提取的准确度也较高。
本实施例的标记点提取方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、PC机、甚至高性能的移动终端等。
实施例二
参照图2，示出了根据本申请实施例二的一种标记点提取方法的步骤流程图。
本实施例的标记点提取方法包括以下步骤：
步骤201，获取包含多个标记点的目标图像。
本申请实施例中，对于标记点数量不做限制，可以根据实际情况进行设定。
本步骤中的目标图像可以为三维空间图像，对于目标图像的具体获得方式也不做限定。例如：可以为通过CT设备得到的CT图像，也可以为通过核磁共振设备得到的图像，还可以为通过其他成像设备得到的图像。
以手术机器人进行医学手术这一场景为例，标记点可以为附着于患者病灶附近的陶瓷小球，需要说明的是，本申请实施例中对于标记点的材质和形状均不做限定，此处仅以陶瓷的小球为例进行解释说明。将含有陶瓷小球的定位板附着于患者病灶附近，在二者保持相对固定的时候通过CT设备获取包含陶瓷小球的患者病灶CT三维图像，作为目标图像。
步骤202，根据目标图像的成像方式下标记点对应图像点的图像值范围，从目标图像中确定候选标记点区域。
其中，候选标记点区域中各图像点的图像值位于图像值范围内。
同一成像方式下，不同材质的物体对应的图像点的图像值范围有所不同，因此，可以根据标记点对应图像点的图像值范围，从步骤201获得的目标图像中确定出标记点区域。
步骤203，对候选标记点区域中的各图像点进行类别划分，得到多个参考标记点集合；其中，每个参考标记点集合代表一个连通区域，且每个参考标记点集合对应一个标记点。
由于标记点是一个客观物体，其组成部分在空间分布中具有连续及相近的性质，因此可根据该性质利用类别划分的方式将候选标记点区域分成不同部分，从而获得多个参考标记点集合。
本申请实施例中，可以采用任意的类别划分方式对候选标记点区域中的各图像点进行类别划分。例如：可以采用传统的分类算法或聚类算法，也可以采用机器学习方式，还可以采用模型演化(如：马尔可夫随机场模型法)等方式，此处，对于类别划分所采用的具体方式不做限定。
就聚类算法而言，例如：可以采用K-means等划分聚类算法，也可以采用层次聚类算法，还可以采用模糊聚类算法等等，对于聚类算法的具体形式也不做限定。
由于聚类算法可以将数据集合根据特征相似度分成不同的簇，这些簇满足同一簇内差异最小，不同簇间差异最大。因此，可选地，在其中一些实施例中，可以采用聚类算法，对候选标记点区域中的各图像点进行聚类，得到多个参考标记点集合。其中，由于均值平均了系统误差，使得随机误差较小，同时，实现方式较为便捷，因此，可以采用均值聚类算法，对候选标记点区域中的各图像点进行聚类，得到多个参考标记点集合。
具体的：可以先从候选标记点区域中选择多个初始聚类中心，其中，初始聚类中心的数量与标记点的数量相同；然后计算候选标记点区域中各图像点与每个初始聚类中心的距离，可以理解，此处的距离可以为图像点与初始聚类中心之间的欧式距离，或者曼哈顿距离，或者切比雪夫距离等等，本申请实施例中，对于上述距离的具体表述不做限定，可以根据实际需要进行选择；并将每个图像点分别划分至距离该图像点最近的初始聚类中心，从而形成不同的簇，并计算各簇内图像点与初始聚类中心的距离之和，本申请实施例中的距离之和，可以通过误差平方和的方式来表征，也可以通过熵等其他方式来表征，此处对于具体选择何种表征方式不做限定；重新基于各簇内图像点，进行体征点提取：计算该簇内各图像点的均值，并将均值对应的图像点作为新的聚类中心，再次进行聚类；依次迭代，直至满足预设迭代终止条件为止，此时，聚类完成，得到多个参考标记点集合，其中，预设迭代终止条件可以为：误差平方和小于设定误差平方和阈值；或者，熵小于设定的熵阈值；或者，迭代次数大于指定迭代次数，或者，评价函数的函数值不再变化，或者，评价函数的函数值变化量极小等等，本申请实施例中，对于预设迭代终止条件的具体内容不做限定，可以根据实际需要进行设定。
在采用均值聚类算法进行聚类时，初始聚类中心的选择原则可以为：将候选标记点区域中距离之和最大的图像点作为初始聚类中心。例如：标记点数量为3，则可以将候选标记点区域中距离之和最大的3个图像点作为初始聚类中心。
或者，初始聚类中心的选择原则也可以为：在候选标记点区域中选择图像值为预设图像值的图像点作为初始聚类中心。例如：如前，CT图像中，陶瓷小球的CT值(大于2000Hu)远高于正常人体组织，假设标记点的数量为3个，因此，可以在图像值大于2000Hu的图像点中3个图像点作为初始聚类中心。根据标记点对应图像点的预设图像值，在目标图像中进行初始聚类中心的选择，将图像值为上述预设图像值的图像点作为初始聚类中心，这样可以使得初始聚类中心更接近标记点对应的图像点，因此，有利于聚类迭代过程更快收敛，提高了聚类的效率，进而可以提高标记点提取的整体效率。
再或者，初始聚类中心的选择原则还可以为：在候选标记点区域中，选择组成的连线为预设形状的图像点作为初始聚类中心。上述预设形状可以为由所有标记点组成的真实形状，由于若采用规则形状(例如，等边三角形、或等腰三角形等)作为上述预设形状，则在进行聚类时，可能出现多种聚类结果，因此，通常采用定制化的不规则形状作为上述预设形状。例如：若3个标记点组成的真实形状为定制化的不规则三角形，则可以在候选标记点区域中，选择组成的连线为上述不规则三角形的3个图像点作为初始聚类中心。选择组成的连线为预设形状的图像点作为初始聚类中心，可以使得图像坐标系下，初始聚类中心之间的相对位置关系更接近标记点之间的真实相对位置关系，因此，有利于聚类迭代过程更快收敛，提高了聚类的效率，进而可以提高标记点提取的整体效率。
步骤204，分别基于各参考标记点集合中的图像点，进行特征点提取，得到各参考标记点集合对应的初始标记点。
由于不同的成像方式会受到不同因素(例如，噪声)的影响，参考标记点集合中的图像点无法直接作为标记点使用，且每个标记点只需一个图像点表示即可。因此可以根据成像方式、处理方式以及特征点提取的用途等因素，分别基于各参考标记点集合中的图像点，提取到各参考标记点集合的特征点作为初始标记点。
本步骤提取到的特征点可以为能够表征参考标记点集合的位置特征的图像点，例如：可以为参考标记点集合中的图像点的坐标均值对应的图像点，也可以为参考标记点集合中灰度梯度为0的图像点，还可以为参考标记点集合中最大连通区域中心对应的图像点等等。
均值作为一种统计量可以较好地避免偶然误差，缩小系统误差，因此，可选地，在其中一些实施例中，选取各个参考标记点集合的均值作为初始标记点。具体的：分别基于各参考标记点集合中的图像点，进行特征点提取，得到各参考标记点集合对应的初始标记点，包括：
计算每个参考标记点集合中的图像点的坐标均值，将该坐标均值对应的图像点作为该参考标记点集合对应的初始标记点。
步骤205，基于初始标记点，采用搜索算法对各参考标记点集合进行搜索，得到在目标图像对应的图像坐标系下，该参考标记点集合对应的标记点的位置。
针对每个参考标记点集合而言，在得到对应的初始标记点之后，以该初始标记点为搜索起点，采用搜索算法对该参考标记点集合进行搜索，可以得到在目标图像对应的图像坐标系下，该参考标记点集合对应的标记点的位置。
可以采用任意的搜索算法对参考标记点集合进行搜索，本申请实施例中，对于局部搜索算法的具体形式不做限定，例如：可以采用全局搜索算法，或者也可以采用局部搜索算法等等。
至此，在图像坐标下提取到了标记点的位置，但是，由于标记点的数量为多个，因此，为了得到图像坐标系与机器人坐标系之间的转换关系，还需要先确定出图像坐标下的标记点与机器人坐标系下标记点之间的对应关系。
步骤206，获取机器人坐标系下各标记点的位置，作为第一位置；并对基于第一位置进行特征点提取，得到第一特征点位置。
步骤207，将图像坐标系下各标记点的位置作为第二位置；并基于第二位置进行特征点提取，得到第二特征点位置。
本步骤中，第一特征点位置可以为各第一位置的均值，或者为第一位置组成的集合中灰度梯度为0的图像点，或者为第一位置组成的集合中最大连通区域中心对应的图像点等等。
可选地，在其中一些实施例中，基于第一位置进行特征点提取，得到第一特征点位置，包括：
计算各第一位置的位置均值，得到第一特征点位置；
基于第二位置进行特征点提取，得到第二特征点位置，包括：
计算各第二位置的位置均值，得到第二特征点位置。
步骤208，基于第一特征点位置、距离第一特征点位置最远的第一位置，以及距离第一特征点位置次远的第一位置，建立机器人初始坐标系；基于第二特征点位置、距离第二特征点位置最远的第二位置，以及距离第二特征点位置次远的第二位置，建立图像初始坐标系。
需要说明的是，为保证能够建立唯一的机器人初始坐标系，在本步骤中，距离第一特征点位置最远的第一位置的个数需仅为1个，距离第一特征点位置次远的第一位置也仅为1个；对应地，为保证能够建立唯一的图像初始坐标系，在本步骤中，距离第二特征点位置最远的第二位置的个数需仅为1个，距离第二特征点位置次远的第二位置也仅为1个。
可选地，在其中一些实施例中，基于第一特征点位置、距离第一特征点位置最远的第一位置，以及距离第一特征点位置次远的第一位置，建立机器人初始坐标系，包括：
将第一特征点位置与距离第一特征点位置最远的第一位置连线所在的轴线确定为机器人初始坐标系中的第一坐标轴；
将垂直于机器人初始坐标系中的第一坐标轴，且垂直于第一特征点位置与距离第一特征点位置次远的第一位置连线的直线，确定为机器人初始坐标系中的第二坐标轴；
基于机器人初始坐标系中的第一坐标轴、机器人初始坐标系中的第二坐标轴，确定机器人初始坐标系中的第三坐标轴。
具体的，可以对平行于机器人初始坐标系中第一坐标轴的向量和平行于机器人初始坐标系中第二坐标轴的向量进行叉乘运算，得到结果向量，并将结果向量所在的轴作为机器人初始坐标系中的第三坐标轴。
基于第二特征点位置、距离第二特征点位置最远的第二位置，以及距离第二特征点位置次远的第二位置，建立图像初始坐标系，包括：
将第二特征点位置与距离第二特征点位置最远的第二位置连线所在的轴线确定为图像初始坐标系中的第一坐标轴；
将垂直于图像初始坐标系中的第一坐标轴，且垂直于第二特征点位置与距离第二特征点位置次远的第二位置连线的直线，确定为图像初始坐标系中的第二坐标轴；
基于图像初始坐标系中的第一坐标轴、图像初始坐标系中的第二坐标轴，确定图像初始坐标系中的第三坐标轴。
与机器人初始坐标系的构建过程相同，可以对平行于图像初始坐标系中第一坐标轴的向量和平行于图像初始坐标系中第二坐标轴的向量进行叉乘运算，得到结果向量，并将结果向量所在的轴作为图像初始坐标系中的第三坐标轴。
在图像初始坐标系的上述建立过程中，先通过第二特征点位置和距离第二特征点位置最远的第二位置确定出了图像初始坐标系的第二坐标轴，由于标记点提取的精度会受到目标图像质量的影响，也就是说，受目标图像质量的影响，在目标图像中提取到的标记点位置与标记点的真实位置之间通常存在一定的误差，而选择通过第二特征点位置，以及距离第二特征点位置最远的标记点的位置建立图像初始坐标系，可以使得结果计算误差最小化，即：可以使得所建立的图像初始坐标系的坐标轴与真实的图像坐标系的坐标轴之间的误差最小。因此，将第二特征点位置与距离第二特征点位置最远的第二位置连线所在的轴线确定为图像初始坐标系中的第一坐标轴，可以提高图像初始坐标系建立的准确度。
另外，与第一坐标轴相比，第二特征点位置与距离第二特征点位置次远的第二位置连线的直线与真实的图像坐标系的坐标轴之间的误差最大，因此，本申请实施例中，先通过第一坐标轴，以及第二特征点位置与距离第二特征点位置次远的第二位置连线的直线确定出图像初始坐标系中的第二坐标轴，然后，再基于第一坐标轴和第二坐标，通过叉乘运算得到图像初始坐标系中的第三坐标轴，进一步提高了图像初始坐标系建立的准确度。
步骤209，计算机器人初始坐标系和图像初始坐标系之间的转换关系。
步骤210，根据各标记点的第一位置、第二位置，以及转换关系，得到第一位置与第二位置之间的对应关系。
可选地，在其中一些实施例中，根据各标记点的第一位置、第二位置，以及初始坐标转换关系，得到第一位置与第二位置之间的对应关系，包括：
基于初始坐标转换关系，分别对各第一位置进行坐标转换，得到各第一位置在图像坐标系下的转换后位置；
针对每个转换后位置，将与该转换后位置距离最近的第二位置，确定为与该转换后位置对应的第一位置具有对应关系的第二位置；
或者，
基于初始坐标转换关系，分别对各第二位置进行坐标转换，得到各第二位置在图像坐标系下的转换后位置；
针对每个转换后位置，将与该转换后位置距离最近的第一位置，确定为与该转换后位置对应的第二位置具有对应关系的第一位置。
本申请实施例中，在获取包含多个标记点的目标图像之后，先从中确定出了候选标记点区域，然后通过对候选标记点区域进行类别划分，得到了参考标记点集合；基于各参考标记点集合中的图像点，进行特征点提取，得到了初始标记点；再采用搜索算法，得到了图像坐标系下，各标记点的位置。上述过程无需人工参与，自动实现了对标记点的提取操作，与依赖操作人员自身经验的人工提取方式相比，标记点提取的效率较高。同时，由于人工提取时，人眼确定的初始标记点位置与最终手动选择的初始标记点位置之间通常存在误差，且人工仅能在构成目标图像的整数图层中进行初始标记点提取，而本申请实施例则是基于参考标记点集合中的图像点进行特征点提取得到初始标记点的，因此，提取到的初始标记点也可能位于整数图层之间，因此，标记点提取的准确度也较高。
本实施例的标记点提取方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、PC机、甚至高性能的移动终端等。
实施例三
参照图3，图3为根据本申请实施例三的一种坐标转换关系获取方法的步骤流程图。在通过本申请实施例一或实施例二提取到标记点之后，可以基于提取到的标记点的位置，获取图像坐标系与机器人坐标系之间的坐标转换关系。
本实施例的坐标转换关系获取方法包括以下步骤：
步骤301，获取预设的标记点在图像坐标系下的位置作为第一位置；获取标记点在机器人坐标系下的位置作为第二位置。
针对机器人坐标系与图像坐标系之间的坐标转换关系，可以通过引入预先设定的标记点，然后再基于标记点在图像坐标系下的位置和在机器人坐标系下的位置来计算上述两个坐标系之间的坐标转换关系。
标记点在机器人坐标系下的位置可以为已知的，而图像坐标系下标记点的位置可以通过如下方式获取：在获取到包含预设标记点的图像之后，在图像对应的图像坐标系中进行预设标记点提取，得到上述标记点在图像坐标系中的位置。
以手术机器人进行医学手术这一场景为例，标记点可以为附着于患者病灶附近的陶瓷小球，需要说明的是，本申请实施例中对于标记点的材质和形状均不做限定，此处仅以陶瓷的小球为例进行解释说明。而图像坐标系下标记点的位置可以通过如下方式获取：将含有陶瓷小球的定位板附着于患者病灶附近，在二者保持相对固定的时候通过CT设备获取包含陶瓷小球的患者病灶CT三维图像，进而基于CT图像对应的图像坐标系，得到标记点在图像坐标系下的位置。
为了使得最终获取到的坐标转换关系更加精准，本申请实施例中的标记点个数至少为3个，且在所有标记点中存在3个不共线的标记点。
步骤302，以图像坐标系与机器人坐标系间的平移变换矩阵和旋转变换矩阵作为自变量，基于第一位置和第二位置，构建误差函数。
其中，误差函数用于表征：采用平移变换矩阵和旋转变换矩阵对第一位置进行转换后得到的转换后位置与第二位置间的误差；或者，采用平移变换矩阵和旋转变换矩阵对第二位置进行转换后得到的转换后位置与第一位置间的误差。
步骤303，对误差函数进行最小化处理，得到平移变换矩阵和旋转变换矩阵间的最优变换关系。
由于上述误差函数中包含有两个自变量，为便于计算，可以先获取平移变换矩阵和旋转变换矩阵之间的最优的变换关系，将上述误差函数转换为仅包含一个自变量的函数，例如：仅包含旋转变换矩阵的函数，进而计算出使得上述函数值最小的最优旋转变换矩阵，然后再得到最优平移变换矩阵。
具体地，本步骤可以计算使得上述误差函数取到最小值时，平移变换矩阵和旋转变换矩阵之间的变换关系，作为最优变换关系。
步骤304，根据最优变换关系，将误差函数转换为以旋转变换矩阵为自变量的目标函数；并对目标函数进行最小化，得到最优旋转变换矩阵。
与步骤303对应地，本步骤中，可以计算使得上述目标函数取得最小值时的旋转变换矩阵，作为最优旋转变换矩阵。
步骤305，基于第一位置、第二位置以及最优旋转变换矩阵，得到最优平移变换矩阵。
例如：可以在得到最优旋转变换矩阵之后，采用最优旋转变换矩阵对第一位置(即：标记点在图像坐标系下的坐标向量)进行变换，得到变换后坐标向量，然后将变换后坐标向量与第二位置(即：标记点在机器人坐标系下的坐标向量)之差，确定为最优平移变换矩阵。
或者，又如：
可以在得到最优旋转变换矩阵之后，采用最优旋转变换矩阵对第二位置(即：标记点在机器人坐标系下的坐标向量)进行变换，得到变换后坐标向量，然后将变换后坐标向量与第一位置(即：标记点在图像坐标系下的坐标向量)之差，确定为最优平移变换矩阵。
本申请实施例提供了一种自动获取机器人坐标系和图像坐标系之间的坐标转换关系的方法。通过对以平移变换矩阵和旋转变换矩阵为自变量的误差函数进行最小化处理，以及对由误差函数转换而成的目标函数进行最小化，得到了精确度较高的最优旋转变换矩阵，进而基于第一位置、第二位置以及上述精确度较高的最优旋转变换矩阵，对应得到了精确度较高的最优平移变换矩阵。因此，采用本申请实施例的方案，可以得到精确度较高的坐标转换关系。
本实施例的坐标转换关系获取方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、PC机、甚至高性能的移动终端等。
本申请中，可以将实施例一与实施例三进行组合，或者，将实施例二与实施例三进行组合，从而实现标记点提取以及坐标转换关系获取的整个过程。实施例组合时，本申请实施例三步骤301中，各标记点在图像坐标系下的位置，可以通过采用实施例一或实施例二中的方法获取，本申请实施例三中的“标记点在图像坐标系下的位置”即为实施例一中“在目标图像对应的图像坐标系下，参考标记点集合对应的标记点的位置”；本申请实施例三中的“标记点在图像坐标系下的位置”即为实施例二中“图像坐标系下各标记点的位置”。
实施例四
参照图4，示出了根据本申请实施例四的一种坐标转换关系获取方法的步骤流程图，为了使得得到的坐标转换关系更加准确，本申请实施例中的标记点数量为多个。
本实施例的坐标转换关系获取方法包括以下步骤：
步骤401，获取预设的各标记点在图像坐标系下的位置作为第一位置；获取各标记点在机器人坐标系下的位置作为第二位置。
本申请实施例中，各标记点在机器人坐标系下的位置(即：第二位置)通常可以为已知的。而各标记点在图像坐标系下的位置(即：第一位置)则可以通过对包含标记点的图像进行标记点提取来获取。本申请实施例中，对于标记点提取的具体方式不做限定，例如：可以为操作人员根据标记点在图像中的颜色、形状等属性信息，对图像进行观察，在图像坐标系中提取预设标记点；也可以采用现有的标记点提取方法来自动获取等等。
步骤402，获取各第一位置和各第二位置间的对应关系。
其中，具有对应关系的第一位置和第二位置属于同一标记点。
例如：若标记点的个数为三个(分别为：1、2、3)，则共有三个第一位置：A1、B1、C1，同时，也共有三个第二位置：A2、B2、C2，若A1和A2为属于标记点1的位置信息；B1和B2为属于标记点2的位置信息；C1和C2为属于标记点3的位置信息，则A1和A2对应、B1和B2对应、C1和C2对应。
当标记点的个数为多个时，在得到各标记点的第一位置和第二位置的同时，还需要确定好各第一位置和各第二位置间的对应关系。
上述对应关系可以为操作人员根据标记点之间的相对位置关系确定出来的，也可以是基于各第一位置和各第二位置，通过位置坐标变换，自动获得的。
可选地，在其中一个实施例中，可以采用如下方式来获取上述对应关系：
基于各所述第一位置进行特征点提取，得到第一特征点位置；基于各所述第二位置进行特征点提取，得到第二特征点位置；
基于所述第一特征点位置、距离所述第一特征点位置最远的第一位置，以及距离所述第一特征点位置次远的第一位置，建立机器人初始坐标系；基于所述第二特征点位置、距离所述第二特征点位置最远的第二位置，以及距离所述第二特征点位置次远的第二位置，建立图像初始坐标系；
计算所述机器人初始坐标系和所述图像初始坐标系之间的转换关系，作为初始转换关系；
根据各所述第一位置、各所述第二位置，以及所述初始转换关系，得到各所述第一位置与各所述第二位置之间的对应关系。
具体的，上述过程与实施例二步骤206至步骤210中的具体实现方式相同，本实施例中的具体实现方式可以参见实施例二中的解释说明，此处，不再赘述。
步骤403，以图像坐标系与机器人坐标系间的平移变换矩阵和旋转变换矩阵作为自变量，基于各第一位置、各第二位置以及对应关系，构建误差函数。
其中，误差函数用于表征：采用平移变换矩阵和旋转变换矩阵对各第一位置进行转换后得到的转换后位置与各第二位置间的误差；或者，采用平移变换矩阵和旋转变换矩阵对各第二位置进行转换后得到的转换后位置与各第一位置间的误差。
可选地，在其中一些实施例中，可以采用第一预设公式，以所述图像坐标系与所述机器人坐标系间的平移变换矩阵和旋转变换矩阵作为自变量，基于各所述第一位置、所述各第二位置以及所述对应关系，构建误差函数，所述第一预设公式为：
Figure BDA0002961688810000211
其中，R表示图像坐标系与机器人坐标系间的旋转变换矩阵；T表示图像坐标系与机器人坐标系间的平移变换矩阵；F(R,T)表示以平移变换矩阵和旋转变换矩阵为自变量的误差函数；n表示标记点的个数；ωi表示与第i个标记点对应的预设权重值；|| ||2表示向量模的平方；Pi表示第i个标记点在图像坐标系中的坐标，且qi表示第i个标记点在机器人坐标系中的坐标，或者，Pi表示第i个标记点在机器人坐标系中的坐标，且qi表示第i个标记点在图像坐标系中的坐标。
具体的，本步骤中的标记点在机器人坐标系中的坐标可以表示为由标记点在机器人坐标系中的三维坐标值组成的列向量，同样地，标记点在图像坐标系中的坐标可以表示为由标记点在图像坐标系中的三维坐标值组成的列向量。
各标记点对应的预设权重值用于表征各标记点的位置对于获取到的坐标转换关系的准确度的影响程度，可以根据实际情况进行设定，此处，不做限定。例如：当各标记点的位置对于获取到的坐标转换关系的准确度的影响均相同时，可以将各标记点对应的预设权重值均设定为1。
步骤404，对误差函数进行最小化处理，得到平移变换矩阵和旋转变换矩阵间的最优变换关系。
可选地，在其中一些实施例中，当误差函数为采用上述第一预设公式得到的函数时，可以通过如下方式对误差函数进行最小化处理，得到平移变换矩阵和旋转变换矩阵间的最优变换关系：
对所述误差函数求导，并令导数值等于0，得到所述平移变换矩阵和所述旋转变换矩阵间的最优变换关系：
Figure BDA0002961688810000221
其中，
Figure BDA0002961688810000222
为了求取误差函数的最小值，可以先对第一预设公式中的F(R,T)求取关于平移变换矩阵T的偏导数，并令上述偏导数等于0，从而得到平移变换矩阵和旋转变换矩阵间的变换关系，作为最优变换关系，具体求取过程为：
Figure BDA0002961688810000223
记：
Figure BDA0002961688810000224
则，得到最优变换关系为：
Figure BDA0002961688810000225
步骤405，根据最优变换关系，将误差函数转换为以旋转变换矩阵为自变量的目标函数；并对目标函数进行最小化，得到最优旋转变换矩阵。
可选地，在其中一些实施例中，在步骤404得到最优旋转变换矩阵
Figure BDA0002961688810000231
之后，可以将上述最优旋转变换矩阵带入至上述第一预设公式中，从而得到以旋转变换矩阵为自变量的目标函数：
Figure BDA0002961688810000232
其中，M(R)表示以所述旋转变换矩阵为自变量的目标函数。
对上述目标函数M(R)进行最小化，得到最优旋转变换矩阵：R′＝VUT
其中，
Figure BDA0002961688810000233
R′为最优旋转变换矩阵；V和U分别为对
Figure BDA0002961688810000234
进行SVD分解之后得到的两个酉矩阵；Λ为对
Figure BDA0002961688810000235
进行SVD分解之后得到的对角矩阵。
具体的，得到上述最优旋转变换矩阵的过程如下：
对上述M(R)进行分解可得：
Figure BDA0002961688810000236
根据上述可知，当
Figure BDA0002961688810000241
取最大值时，M(R)取最小值。
Figure BDA0002961688810000242
的结果为标量，根据标量的迹等于其本身，可以得到：
Figure BDA0002961688810000243
其中，tr()表示矩阵的迹。
由于
Figure BDA0002961688810000244
为方阵，因此对
Figure BDA0002961688810000245
进行SVD分解，可以得到：
Figure BDA0002961688810000246
其中，V和U分别为对
Figure BDA0002961688810000247
进行SVD分解之后得到的两个酉矩阵；Λ为对
Figure BDA0002961688810000248
进行SVD分解之后得到的对角矩阵。
因此：
Figure BDA0002961688810000249
由于Λ为对角矩阵，VTRU为正交矩阵，因此，当VTRU＝I时(也就是说当VTRU为单位阵时)，tr(ΛVTRU)最大(即：等于Λ的对角线元素之和)，即：当VTRU＝I时，
Figure BDA0002961688810000251
取最大值，M(R)取最小值，此时的R为最优旋转变换矩阵，将最优旋转变换矩阵记做R′，由于V和U均为转置与自身的乘积为单位阵的酉矩阵，因此有：R′＝VUT。
步骤406，基于各第一位置、各第二位置以及最优旋转变换矩阵，得到最优平移变换矩阵。
可选地，在其中一些实施例中，可以通过如下第二预设公式，基于各所述第一位置、各所述第二位置以及所述最优旋转变换矩阵，得到最优平移变换矩阵，所述第二预设公式为：
T′＝G-R′G*
其中，R′为最优旋转变换矩阵；T′为最优平移变换矩阵；当Pi表示第i个标记点在图像坐标系中的坐标时，G*表示基于标记点在所述图像坐标系下的坐标得到的向量，G表示基于标记点在所述机器人坐标系下的坐标得到的向量；当所述Pi表示第i个标记点在机器人坐标系中的坐标时，G*表示基于标记点在所述机器人坐标系下的坐标得到的向量，G表示基于标记点在所述图像坐标系下的坐标得到的向量。
例如：当Pi表示第i个标记点在图像坐标系中的坐标时，G*可以为单个标记点在图像坐标系下的坐标对应的向量，对应地，G也可以为单个标记点在机器人坐标系下的坐标对应的向量；或者，G*可以为对所有标记点在图像坐标系下的坐标求取均值后得到的向量，对应地，G也可以为对所有标记点在机器人坐标系下的坐标求取均值后得到的向量等等。
以标记点的数量为三个，且Pi表示第i个标记点在图像坐标系中的坐标(Pi为一个列向量，用于表示第i个标记点在图像坐标系中的坐标,i为大于0且小于等于3的自然数)，Pi表示第i个标记点在机器人坐标系中的坐标为例，G*可以表示为：G*＝[pi]，G则可以表示为：G＝[qi]；或者，G*也可以表示为:
Figure BDA0002961688810000261
G也可以表示为：
Figure BDA0002961688810000262
等等。
当Pi表示第i个标记点在机器人坐标系中的坐标时，G*可以为单个标记点在机器人坐标系下的坐标对应的向量，对应地，G也可以为单个标记点在图像坐标系下的坐标对应的向量；或者，G*可以为对所有标记点在机器人坐标系下的坐标求取均值后得到的向量，对应地，G也可以为对所有标记点在图像坐标系下的坐标求取均值后得到的向量等等。
步骤407，获取目标作业区域在图像坐标系下的位置。
还以手术机器人进行医学手术这一场景为例，目标作业区域可以为待进行手术的手术区域，可以从CT等图像中确定出目标作业区域的位置，即获取到了目标作业区域在图像坐标系下的位置。
步骤408，根据最优旋转变换矩阵和最优平移变换矩阵，对目标作业区域在图像坐标系下的位置进行坐标转换，得到目标作业区域在机器人坐标系下的位置。
具体的，可以先对最优旋转变换矩阵和最优平移变换矩阵进行融合，得到融合变换矩阵；然后在基于融合后变换矩阵，对目标作业区域在图像坐标系下的位置进行坐标转换，从而得到目标作业区域在机器人坐标系下的位置。
以三维空间为例，可以通过如下公式对最优旋转变换矩阵R3×3和最优平移变换矩阵T3×1进行融合，得到融合变换矩阵H：
Figure BDA0002961688810000263
图4所示实施例提供了一种自动获取机器人坐标系和图像坐标系之间的坐标转换关系的方法。通过对以平移变换矩阵和旋转变换矩阵为自变量的误差函数进行最小化处理，以及对由误差函数转换而成的目标函数进行最小化，得到了精确度较高的最优旋转变换矩阵，进而基于第一位置、第二位置以及上述精确度较高的最优旋转变换矩阵，对应得到了精确度较高的最优平移变换矩阵。因此，采用本申请实施例的方案，可以得到精确度较高的坐标转换关系。
本实施例的坐标转换关系获取方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、PC机、甚至高性能的移动终端等。
本申请中，可以将实施例一与实施例四进行组合，或者，将实施例二与实施例四进行组合，从而实现标记点提取以及坐标转换关系获取的整个过程。实施例组合时，本申请实施例四步骤401中，各标记点在图像坐标系下的位置，可以通过采用实施例一或实施例二中的方法获取，本申请实施例四中的“标记点在图像坐标系下的位置”即为实施例一中“在目标图像对应的图像坐标系下，参考标记点集合对应的标记点的位置”；本申请实施例四中的“标记点在图像坐标系下的位置”即为实施例二中“图像坐标系下各标记点的位置”。
实施例五
参照图5，图5为本申请实施例五中标记点提取装置的结构示意图。
本申请实施例提供的标记点提取装置包括：
图像获取模块501，用于获取包含多个标记点的目标图像；
候选标记点区域确定模块502，用于根据目标图像的成像方式下标记点对应图像点的图像值范围，从目标图像中确定候选标记点区域；其中，候选标记点区域中各图像点的图像值位于图像值范围内；
参考标记点集合得到模块503，用于对候选标记点区域中的各图像点进行类别划分，得到多个参考标记点集合；其中，每个参考标记点集合代表一个连通区域，且每个参考标记点集合对应一个标记点；
初始标记点得到模块504，用于分别基于各参考标记点集合中的图像点，进行特征点提取，得到该参考标记点集合对应的初始标记点；
标记点位置得到模块505，用于基于初始标记点，采用搜索算法对各参考标记点集合进行搜索，得到在目标图像对应的图像坐标系下，该参考标记点集合对应的标记点的位置。
可选地，在本申请的一种实施例中，参考标记点集合得到模块503，具体用于：
采用聚类算法，对候选标记点区域中的各图像点进行聚类，得到多个参考标记点集合；
其中，初始聚类中心的选择原则为：将候选标记点区域中距离之和最大的图像点作为初始聚类中心；或者，在候选标记点区域中选择图像值为预设图像值的图像点作为初始聚类中心，或者，在候选标记点区域中，选择组成的连线为预设形状的图像点作为初始聚类中心。
可选地，在本申请的一种实施例中，初始标记点得到模块504具体用于：
计算每个参考标记点集合中的图像点的坐标均值，将该坐标均值对应的图像点作为该参考标记点集合对应的初始标记点。
可选地，在本申请的一种实施例中，标记点提取装置还包括：
第一特征点位置得到模块，用于获取机器人坐标系下各标记点的位置，作为第一位置；并基于第一位置进行特征点提取，得到第一特征点位置；
第二特征点位置得到模块，用于将图像坐标系下各标记点的位置作为第二位置；并基于第二位置进行特征点提取，得到第二特征点位置；
初始坐标系建立模块，用于基于第一特征点位置、距离第一特征点位置最远的第一位置，以及距离第一特征点位置次远的第一位置，建立机器人初始坐标系；基于第二特征点位置、距离第二特征点位置最远的第二位置，以及距离第二特征点位置次远的第二位置，建立图像初始坐标系；
转换关系计算模块，用于计算机器人初始坐标系和图像初始坐标系之间的转换关系；
对应关系得到模块，用于根据各标记点的第一位置、第二位置，以及转换关系，得到第一位置与第二位置之间的对应关系。
可选地，在本申请的一种实施例中，第一特征点位置得到模块具体用于：
计算各第一位置的位置均值，得到第一特征点位置；
第二特征点位置得到模块具体用于：
计算各第二位置的位置均值，得到第二特征点位置。
可选地，在本申请的一种实施例中，初始坐标系建立模块，具体用于：
将第一特征点位置与距离第一特征点位置最远的第一位置连线所在的轴线确定为机器人初始坐标系中的第一坐标轴；
将垂直于机器人初始坐标系中的第一坐标轴，且垂直于第一特征点位置与距离第一特征点位置次远的第一位置连线的直线，确定为机器人初始坐标系中的第二坐标轴；
基于机器人初始坐标系中的第一坐标轴、机器人初始坐标系中的第二坐标轴，确定机器人初始坐标系中的第三坐标轴；
将第二特征点位置与距离第二特征点位置最远的第二位置连线所在的轴线确定为图像初始坐标系中的第一坐标轴；
将垂直于图像初始坐标系中的第一坐标轴，且垂直于第二特征点位置与距离第二特征点位置次远的第二位置连线的直线，确定为图像初始坐标系中的第二坐标轴；
基于图像初始坐标系中的第一坐标轴、图像初始坐标系中的第二坐标轴，确定图像初始坐标系中的第三坐标轴。
可选地，在本申请的一种实施例中，对应关系得到模块，具体用于：
基于初始坐标转换关系，分别对各第一位置进行坐标转换，得到各第一位置在图像坐标系下的转换后位置；
针对每个转换后位置，将与该转换后位置距离最近的第二位置，确定为与该转换后位置对应的第一位置具有对应关系的第二位置；
或者，
基于初始坐标转换关系，分别对各第二位置进行坐标转换，得到各第二位置在图像坐标系下的转换后位置；
针对每个转换后位置，将与该转换后位置距离最近的第一位置，确定为与该转换后位置对应的第二位置具有对应关系的第一位置。
本申请实施例的标记点提取装置用于实现前述实施例一或实施例二中相应的标记点提取方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本申请实施例的标记点提取装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例六、
参照图6，图6为本申请实施例六中坐标转换关系获取装置的结构示意图。
本申请实施例提供的坐标转换关系获取装置包括：
位置获取模块601，用于获取预设的标记点在图像坐标系下的位置作为第一位置；获取标记点在机器人坐标系下的位置作为第二位置；
误差函数构建模块602，用于以图像坐标系与机器人坐标系间的平移变换矩阵和旋转变换矩阵作为自变量，基于第一位置和第二位置，构建误差函数；其中，误差函数用于表征：采用平移变换矩阵和旋转变换矩阵对第一位置进行转换后得到的转换后位置与第二位置间的误差；或者，采用平移变换矩阵和旋转变换矩阵对第二位置进行转换后得到的转换后位置与第一位置间的误差；
最优变换关系得到模块603，用于对误差函数进行最小化处理，得到平移变换矩阵和旋转变换矩阵间的最优变换关系；
最优旋转变换矩阵得到模块604，用于根据最优变换关系，将误差函数转换为以旋转变换矩阵为自变量的目标函数；并对目标函数进行最小化，得到最优旋转变换矩阵；
最优平移变换矩阵得到模块605，用于基于第一位置、第二位置以及最优旋转变换矩阵，得到最优平移变换矩阵。
可选地，在本申请的一种实施例中，标记点的数量为多个；位置获取模块601具体用于：
获取预设的各标记点在图像坐标系下的位置作为第一位置；获取各标记点在机器人坐标系下的位置作为第二位置；获取各第一位置和各第二位置间的对应关系；其中，具有对应关系的第一位置和第二位置属于同一标记点；
误差函数构建模块602，具体用于：以图像坐标系与机器人坐标系间的平移变换矩阵和旋转变换矩阵作为自变量，基于各第一位置、各第二位置以及对应关系，构建误差函数；
最优平移变换矩阵得到模块605，具体用于：
基于各第一位置、各第二位置、对应关系以及最优旋转变换矩阵，得到最优平移变换矩阵。
可选地，在本申请的一种实施例中，误差函数构建模块602，具体用于：
采用第一预设公式，以图像坐标系与机器人坐标系间的平移变换矩阵和旋转变换矩阵作为自变量，基于各第一位置、各第二位置以及对应关系，构建误差函数，第一预设公式为：
Figure BDA0002961688810000311
其中，R表示图像坐标系与机器人坐标系间的旋转变换矩阵；T表示图像坐标系与机器人坐标系间的平移变换矩阵；F(R,T)表示以平移变换矩阵和旋转变换矩阵为自变量的误差函数；n表示标记点的个数；ωi表示与第i个标记点对应的预设权重值；|| ||2表示向量模的平方；Pi表示第i个标记点在图像坐标系中的坐标，且qi表示第i个标记点在机器人坐标系中的坐标，或者，Pi表示第i个标记点在机器人坐标系中的坐标，且qi表示第i个标记点在图像坐标系中的坐标。
可选地，在本申请的一种实施例中，最优变换关系得到模块303，具体用于：
对误差函数求导，并令导数值等于0，得到平移变换矩阵和旋转变换矩阵间的最优变换关系：
Figure BDA0002961688810000321
其中，
Figure BDA0002961688810000322
最优旋转变换矩阵得到模块304，具体用于：
根据最优变换关系，将误差函数转换为以旋转变换矩阵为自变量的目标函数：
Figure BDA0002961688810000323
其中，M(R)表示以旋转变换矩阵为自变量的目标函数；
对目标函数进行最小化，得到最优旋转变换矩阵：
R′＝VUT
其中，
Figure BDA0002961688810000324
R′为最优旋转变换矩阵；V和U分别为对
Figure BDA0002961688810000325
进行SVD分解之后得到的两个酉矩阵；Λ为对
Figure BDA0002961688810000326
进行SVD分解之后得到的对角矩阵。
可选地，在本申请的一种实施例中，最优平移变换矩阵得到模块305，具体用于：
通过第二预设公式，基于各第一位置、各第二位置以及最优旋转变换矩阵，得到最优平移变换矩阵，第二预设公式为：
T′＝G-R′G*
其中，R′为最优旋转变换矩阵；T′为最优平移变换矩阵；当Pi表示第i个标记点在图像坐标系中的坐标时，G*表示基于所述标记点在所述图像坐标系下的坐标得到的向量，G表示基于所述标记点在所述机器人坐标系下的坐标得到的向量；当所述Pi表示第i个标记点在机器人坐标系中的坐标时，G*表示基于所述标记点在所述机器人坐标系下的坐标得到的向量，G表示基于所述标记点在所述图像坐标系下的坐标得到的向量。
可选地，在本申请的一种实施例中，装置还包括：
目标作业区域位置获取模块，用于获取目标作业区域在图像坐标系下的位置；
坐标转换模块，用于根据最优旋转变换矩阵和最优平移变换矩阵，对目标作业区域在图像坐标系下的位置进行坐标转换，得到目标作业区域在机器人坐标系下的位置。
可选地，在本申请的一种实施例中，位置获取模块301在执行获取各第一位置和各第二位置间的对应关系的步骤时，具体用于：
基于各第一位置进行特征点提取，得到第一特征点位置；对各第二位置进行特征点提取，得到第二特征点位置
基于第一特征点位置、距离第一特征点位置最远的第一位置，以及距离第一特征点位置次远的第一位置，建立机器人初始坐标系；基于第二特征点位置、距离第二特征点位置最远的第二位置，以及距离第二特征点位置次远的第二位置，建立图像初始坐标系；
计算机器人初始坐标系和图像初始坐标系之间的转换关系，作为初始转换关系；
根据各第一位置、各第二位置，以及初始转换关系，得到各第一位置与各第二位置之间的对应关系。
本申请实施例的坐标转换关系获取装置用于实现前述实施例三或实施例四中相应的坐标转换关系获取方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本申请实施例的坐标转换关系获取装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例七、
图7为本申请实施例七中电子设备的结构示意图；该电子设备可以包括：
一个或多个处理器701；
计算机可读介质702，可以配置为存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述实施例一至实施例二任一标记点提取方法，或者，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述实施例三至实施例四任一坐标转换关系获取方法。
实施例八、
图8为本申请实施例八中电子设备的硬件结构；如图8所示，该电子设备的硬件结构可以包括：处理器801，通信接口802，计算机可读介质803和通信总线804；
其中处理器801、通信接口802、计算机可读介质803通过通信总线804完成相互间的通信；
可选地，通信接口802可以为通信模块的接口，如GSM模块的接口；
其中，处理器801具体可以配置为：获取包含多个标记点的目标图像；根据目标图像的成像方式下标记点对应图像点的图像值范围，从目标图像中确定候选标记点区域；其中，候选标记点区域中各图像点的图像值位于图像值范围内；对候选标记点区域中的各图像点进行类别划分，得到多个参考标记点集合；其中，每个参考标记点集合代表一个连通区域，且每个参考标记点集合对应一个标记点；分别基于各参考标记点集合中的图像点，进行特征点提取，得到各参考标记点集合对应的初始标记点；基于初始标记点，采用搜索算法对各参考标记点集合进行搜索，得到在目标图像对应的图像坐标系下，该参考标记点集合对应的标记点的位置；或者，处理器801具体可以配置为：获取预设的标记点在图像坐标系下的位置作为第一位置；获取所述标记点在机器人坐标系下的位置作为第二位置；以所述图像坐标系与所述机器人坐标系间的平移变换矩阵和旋转变换矩阵作为自变量，基于所述第一位置和所述第二位置，构建误差函数；其中，所述误差函数用于表征：采用所述平移变换矩阵和所述旋转变换矩阵对所述第一位置进行转换后得到的转换后位置与所述第二位置间的误差；或者，采用所述平移变换矩阵和所述旋转变换矩阵对所述第二位置进行转换后得到的转换后位置与所述第一位置间的误差；对所述误差函数进行最小化处理，得到所述平移变换矩阵和所述旋转变换矩阵间的最优变换关系；根据所述最优变换关系，将所述误差函数转换为以所述旋转变换矩阵为自变量的目标函数；并对所述目标函数进行最小化，得到最优旋转变换矩阵；基于所述第一位置、所述第二位置以及所述最优旋转变换矩阵，得到最优平移变换矩阵。
处理器801可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
计算机可读介质803可以是，但不限于，随机存取存储介质(Random AccessMemory，RAM)，只读存储介质(Read Only Memory，ROM)，可编程只读存储介质(Programmable Read-Only Memory，PROM)，可擦除只读存储介质(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储介质(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。
特别地，根据本申请实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含配置为执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读介质例如可以但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储介质(RAM)、只读存储介质(ROM)、可擦式可编程只读存储介质(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储介质(CD-ROM)、光存储介质件、磁存储介质件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输配置为由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写配置为执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络：包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个配置为实现规定的逻辑功能的可执行指令。上述具体实施例中有特定先后关系，但这些先后关系只是示例性的，在具体实现的时候，这些步骤可能会更少、更多或执行顺序有调整。即在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括图像获取模块、候选标记点区域确定模块、参考标记点集合得到模块、初始标记点得到模块以及标记点位置得到模块；或者，可以描述为：一种处理器包括位置获取模块、误差函数构建模块、最优变换关系得到模块、最优旋转变换矩阵得到模块以及最优平移变换矩阵得到模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，图像获取模块还可以被描述为“获取包含多个标记点的目标图像的模块”。
作为另一方面，本申请还提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一或实施例二所描述的标记点提取方法；或者，该程序被处理器执行时实现如上述实施例三或实施例四所描述的坐标转换关系获取方法。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取包含多个标记点的目标图像；根据目标图像的成像方式下标记点对应图像点的图像值范围，从目标图像中确定候选标记点区域；其中，候选标记点区域中各图像点的图像值位于图像值范围内；对候选标记点区域中的各图像点进行类别划分，得到多个参考标记点集合；其中，每个参考标记点集合代表一个连通区域，且每个参考标记点集合对应一个标记点；分别基于各参考标记点集合中的图像点，进行特征点提取，得到各参考标记点集合对应的初始标记点；基于初始标记点，采用搜索算法对各参考标记点集合进行搜索，得到在目标图像对应的图像坐标系下，该参考标记点集合对应的标记点的位置；或者，使得该装置：获取预设的标记点在图像坐标系下的位置作为第一位置；获取所述标记点在机器人坐标系下的位置作为第二位置；以所述图像坐标系与所述机器人坐标系间的平移变换矩阵和旋转变换矩阵作为自变量，基于所述第一位置和所述第二位置，构建误差函数；其中，所述误差函数用于表征：采用所述平移变换矩阵和所述旋转变换矩阵对所述第一位置进行转换后得到的转换后位置与所述第二位置间的误差；或者，采用所述平移变换矩阵和所述旋转变换矩阵对所述第二位置进行转换后得到的转换后位置与所述第一位置间的误差；对所述误差函数进行最小化处理，得到所述平移变换矩阵和所述旋转变换矩阵间的最优变换关系；根据所述最优变换关系，将所述误差函数转换为以所述旋转变换矩阵为自变量的目标函数；并对所述目标函数进行最小化，得到最优旋转变换矩阵；基于所述第一位置、所述第二位置以及所述最优旋转变换矩阵，得到最优平移变换矩阵。
在本申请的各种实施方式中所使用的表述“第一”、“第二”、“所述第一”或“所述第二”可修饰各种部件而与顺序和/或重要性无关，但是这些表述不限制相应部件。以上表述仅配置为将元件与其它元件区分开的目的。例如，第一用户设备和第二用户设备表示不同的用户设备，虽然两者均是用户设备。例如，在不背离本申请的范围的前提下，第一元件可称作第二元件，类似地，第二元件可称作第一元件。
当一个元件(例如，第一元件)称为与另一元件(例如，第二元件)“(可操作地或可通信地)联接”或“(可操作地或可通信地)联接至”另一元件(例如，第二元件)或“连接至”另一元件(例如，第二元件)时，应理解为该一个元件直接连接至该另一元件或者该一个元件经由又一个元件(例如，第三元件)间接连接至该另一个元件。相反，可理解，当元件(例如，第一元件)称为“直接连接”或“直接联接”至另一元件(第二元件)时，则没有元件(例如，第三元件)插入在这两者之间。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (9)

1.一种标记点提取方法，其特征在于，所述方法包括：
获取包含多个标记点的目标图像；
根据所述目标图像的成像方式下所述标记点对应图像点的图像值范围，从所述目标图像中确定候选标记点区域；其中，所述候选标记点区域中各图像点的图像值位于所述图像值范围内；
对所述候选标记点区域中的各图像点进行类别划分，得到多个参考标记点集合；其中，每个参考标记点集合代表一个连通区域，且每个参考标记点集合对应一个标记点；
分别基于各参考标记点集合中的图像点，进行特征点提取，得到各参考标记点集合对应的初始标记点；
基于所述初始标记点，采用搜索算法对各参考标记点集合进行搜索，得到在所述目标图像对应的图像坐标系下，该参考标记点集合对应的标记点的位置；
其中，所述对所述候选标记点区域中的各图像点进行类别划分，得到多个参考标记点集合，包括：
采用聚类算法，对所述候选标记点区域中的各图像点进行聚类，得到多个参考标记点集合；
初始聚类中心的选择原则为：将所述候选标记点区域中距离之和最大的图像点作为所述初始聚类中心；或者，在所述候选标记点区域中选择图像值为预设图像值的图像点作为所述初始聚类中心，或者，在所述候选标记点区域中，选择组成的连线为预设形状的图像点作为所述初始聚类中心；其中，所述初始聚类中心的数量与所述标记点的数量相同。
2.根据权利要求1所述的方法，其特征在于，所述分别基于各参考标记点集合中的图像点，进行特征点提取，得到各参考标记点集合对应的初始标记点，包括：
计算每个参考标记点集合中的图像点的坐标均值，将该坐标均值对应的图像点作为该参考标记点集合对应的初始标记点。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取机器人坐标系下各所述标记点的位置，作为第一位置；并基于所述第一位置进行特征点提取，得到第一特征点位置；
将所述图像坐标系下各所述标记点的位置作为第二位置；并基于所述第二位置进行特征点提取，得到第二特征点位置；
基于所述第一特征点位置、距离所述第一特征点位置最远的第一位置，以及距离所述第一特征点位置次远的第一位置，建立机器人初始坐标系；基于所述第二特征点位置、距离所述第二特征点位置最远的第二位置，以及距离所述第二特征点位置次远的第二位置，建立图像初始坐标系；
计算所述机器人初始坐标系和所述图像初始坐标系之间的转换关系；
根据各所述标记点的所述第一位置、所述第二位置，以及所述转换关系，得到所述第一位置与所述第二位置之间的对应关系。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一位置进行特征点提取，得到第一特征点位置，包括：
计算各所述第一位置的位置均值，得到第一特征点位置；
所述基于所述第二位置进行特征点提取，得到第二特征点位置，包括：
计算各所述第二位置的位置均值，得到第二特征点位置。
5.根据权利要求3所述的方法，其特征在于，所述基于所述第一特征点位置、距离所述第一特征点位置最远的第一位置，以及距离所述第一特征点位置次远的第一位置，建立机器人初始坐标系，包括：
将所述第一特征点位置与距离所述第一特征点位置最远的第一位置连线所在的轴线确定为所述机器人初始坐标系中的第一坐标轴；
将垂直于所述机器人初始坐标系中的第一坐标轴，且垂直于所述第一特征点位置与距离所述第一特征点位置次远的第一位置连线的直线，确定为所述机器人初始坐标系中的第二坐标轴；
基于所述机器人初始坐标系中的第一坐标轴、所述机器人初始坐标系中的第二坐标轴，确定所述机器人初始坐标系中的第三坐标轴；
所述基于所述第二特征点位置、距离所述第二特征点位置最远的第二位置，以及距离所述第二特征点位置次远的第二位置，建立图像初始坐标系，包括：
将所述第二特征点位置与距离所述第二特征点位置最远的第二位置连线所在的轴线确定为所述图像初始坐标系中的第一坐标轴；
将垂直于所述图像初始坐标系中的第一坐标轴，且垂直于所述第二特征点位置与距离所述第二特征点位置次远的第二位置连线的直线，确定为所述图像初始坐标系中的第二坐标轴；
基于所述图像初始坐标系中的第一坐标轴、所述图像初始坐标系中的第二坐标轴，确定所述图像初始坐标系中的第三坐标轴。
6.根据权利要求3所述的方法，其特征在于，所述根据各所述标记点的所述第一位置、所述第二位置，以及所述转换关系，得到所述第一位置与所述第二位置之间的对应关系，包括：
基于所述转换关系，分别对各所述第一位置进行坐标转换，得到各所述第一位置在所述图像坐标系下的转换后位置；
针对每个转换后位置，将与该转换后位置距离最近的第二位置，确定为与该转换后位置对应的第一位置具有对应关系的第二位置；
或者，
基于所述转换关系，分别对各所述第二位置进行坐标转换，得到各所述第二位置在所述图像坐标系下的转换后位置；
针对每个转换后位置，将与该转换后位置距离最近的第一位置，确定为与该转换后位置对应的第二位置具有对应关系的第一位置。
7.一种标记点提取装置，其特征在于，所述装置包括：
图像获取模块，用于获取包含多个标记点的目标图像；
候选标记点区域确定模块，用于根据所述目标图像的成像方式下所述标记点对应图像点的图像值范围，从所述目标图像中确定候选标记点区域；其中，所述候选标记点区域中各图像点的图像值位于所述图像值范围内；
参考标记点集合得到模块，用于对所述候选标记点区域中的各图像点进行类别划分，得到多个参考标记点集合；其中，每个参考标记点集合代表一个连通区域，且每个参考标记点集合对应一个标记点；
初始标记点得到模块，用于分别基于各参考标记点集合中的图像点，进行特征点提取，得到各参考标记点集合对应的初始标记点；
标记点位置得到模块，用于基于所述初始标记点，采用搜索算法对各参考标记点集合进行搜索，得到在所述目标图像对应的图像坐标系下，该参考标记点集合对应的标记点的位置；
其中，所述参考标记点集合得到模块，具体用于：采用聚类算法，对候选标记点区域中的各图像点进行聚类，得到多个参考标记点集合；其中，初始聚类中心的选择原则为：将候选标记点区域中距离之和最大的图像点作为初始聚类中心；或者，在候选标记点区域中选择图像值为预设图像值的图像点作为初始聚类中心，或者，在候选标记点区域中，选择组成的连线为预设形状的图像点作为初始聚类中心。
8.一种电子设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一个可执行指令，所述可执行指令使所述处理器执行如权利要求1-6中任一项所述的标记点提取方法对应的操作。
9.一种计算机存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-6中任一所述的标记点提取方法。
CN202110264829.2A 2021-03-04 2021-03-04 标记点提取方法、装置、电子设备及计算机存储介质 Active CN112862813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110264829.2A CN112862813B (zh) 2021-03-04 2021-03-04 标记点提取方法、装置、电子设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110264829.2A CN112862813B (zh) 2021-03-04 2021-03-04 标记点提取方法、装置、电子设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN112862813A CN112862813A (zh) 2021-05-28
CN112862813B true CN112862813B (zh) 2021-11-05

Family

ID=75994047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110264829.2A Active CN112862813B (zh) 2021-03-04 2021-03-04 标记点提取方法、装置、电子设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN112862813B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113616350B (zh) * 2021-07-16 2022-04-19 元化智能科技(深圳)有限公司 标记点选取位置的验证方法、装置、终端设备和存储介质
CN113764076B (zh) * 2021-07-26 2024-02-20 北京天智航医疗科技股份有限公司 检测医疗透视图像中标记点的方法、装置及电子设备
CN113591977A (zh) * 2021-07-29 2021-11-02 武汉联影智融医疗科技有限公司 点对匹配方法、装置、电子设备和存储介质
CN113744328B (zh) * 2021-11-05 2022-02-15 极限人工智能有限公司 医学图像标记点识别方法、装置、电子设备及存储介质
CN114037814B (zh) * 2021-11-11 2022-12-23 北京百度网讯科技有限公司 数据处理方法、装置、电子设备和介质
CN113947637B (zh) * 2021-12-15 2022-04-22 北京柏惠维康科技有限公司 标记点提取方法、装置、电子设备及计算机存储介质
CN117472069B (zh) * 2023-12-28 2024-03-26 烟台宇控软件有限公司 一种用于输电线路检测的机器人控制方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2006803A1 (en) * 2007-06-19 2008-12-24 Agfa HealthCare NV Method of segmenting anatomic entities in 3D digital medical images
CN101126725B (zh) * 2007-09-24 2010-12-15 舒嘉 采用x射线容积摄影实现图像重建的方法
CN101666621B (zh) * 2009-09-24 2011-01-05 浙江大学 一种与光照无关的标记点提取方法
CN105551042B (zh) * 2015-12-15 2018-09-18 沈阳东软医疗系统有限公司 一种扫描床标记点位置的确定方法和装置
CN106127753B (zh) * 2016-06-20 2019-07-30 中国科学院深圳先进技术研究院 一种外科手术中ct影像体表人工标记自动提取方法
CN110647886A (zh) * 2019-09-19 2020-01-03 北京百度网讯科技有限公司 兴趣点标注方法、装置、计算机设备和存储介质
CN112036362A (zh) * 2020-09-11 2020-12-04 上海明略人工智能(集团)有限公司 图像处理方法、装置、计算机设备和可读存储介质

Also Published As

Publication number Publication date
CN112862813A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112862813B (zh) 标记点提取方法、装置、电子设备及计算机存储介质
CN112837391B (zh) 坐标转换关系获取方法、装置、电子设备及存储介质
KR101875468B1 (ko) 질환 모델 기반의 의료 정보 서비스 제공 방법 및 장치
US7583857B2 (en) System and method for salient region feature based 3D multi modality registration of medical images
US11188738B2 (en) System and method associated with progressive spatial analysis of prodigious 3D data including complex structures
CN112907642B (zh) 一种配准重合的方法、系统、存储介质及设备
Wu et al. A supervoxel classification based method for multi-organ segmentation from abdominal ct images
CN112598790A (zh) 脑结构三维重建方法、装置及终端设备
CN110782489B (zh) 影像数据的匹配方法、装置、设备及计算机可读存储介质
CN113487656B (zh) 图像配准方法及装置，训练方法及装置，控制方法及装置
CN111062390A (zh) 感兴趣区域标注方法、装置、设备和存储介质
Jiang et al. Fast and robust multimodal image registration using a local derivative pattern
CN108304578B (zh) 地图数据的处理方法、介质、装置和计算设备
KR20130016942A (ko) 3차원 볼륨 파노라마 영상 생성 방법 및 장치
CN114049344A (zh) 图像分割方法及其模型的训练方法及相关装置、电子设备
CN110009726B (zh) 一种根据平面基元间的结构关系对点云提取平面的方法
Staib et al. Intermodality 3D medical image registration with global search
CN111476802A (zh) 一种基于稠密卷积模型的医学图像分割与肿瘤检测方法，设备及可读存储介质
CN111292230A (zh) 深度学习中螺旋变换数据扩增方法、系统、介质及设备
CN112862975B (zh) 骨骼数据处理方法、系统、可读存储介质和设备
CN115311188B (zh) 一种图像识别方法、装置、电子设备及存储介质
Valente et al. Registration and fusion with mutual information for information-preserved multimodal visualization
CN113643328A (zh) 标定物的重建方法、装置、电子设备及计算机可读介质
Wu et al. Point cloud registration algorithm based on the volume constraint
CN115619835B (zh) 基于深度相位相关的异构三维观测配准方法、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 100191 Room 501, floor 5, building 9, No. 35 Huayuan North Road, Haidian District, Beijing

Patentee after: Beijing Baihui Weikang Technology Co.,Ltd.

Address before: 100191 Room 608, 6 / F, building 9, 35 Huayuan North Road, Haidian District, Beijing

Patentee before: Beijing Baihui Wei Kang Technology Co.,Ltd.

CP03 Change of name, title or address