CN112734652B - 一种基于双目视觉的近红外血管图像投影校正方法 - Google Patents

一种基于双目视觉的近红外血管图像投影校正方法 Download PDF

Info

Publication number
CN112734652B
CN112734652B CN202011530678.2A CN202011530678A CN112734652B CN 112734652 B CN112734652 B CN 112734652B CN 202011530678 A CN202011530678 A CN 202011530678A CN 112734652 B CN112734652 B CN 112734652B
Authority
CN
China
Prior art keywords
image
pixel
points
coordinate system
blood vessel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011530678.2A
Other languages
English (en)
Other versions
CN112734652A (zh
Inventor
齐鹏
陈音拿
葛坦谛
朱睿
程黎明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202011530678.2A priority Critical patent/CN112734652B/zh
Publication of CN112734652A publication Critical patent/CN112734652A/zh
Application granted granted Critical
Publication of CN112734652B publication Critical patent/CN112734652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于双目视觉的近红外血管图像投影校正方法，包括通过近红外采集装置获得当前皮肤位置血管图像；利用双目相机移动多个位置拍摄相同皮肤位置的图像；通过在双目相机所拍摄的每一张图像上不断移动窗口位置来寻找Harris算子的极值，得到特征点；利用NCC算法对不同图像的特征点进行两两匹配，从而建立起配对的track组合；计算每一个track中的特征点的实际三维坐标，得点连接成为3D点云模型；通过ICP算法完成3D点云模型匹配重构出皮肤3D表面模型；利用所得到的皮肤3D曲面模型的曲率信息对血管图像进行扭曲还原处理。与现有技术相比，本发明克服了近红外血管图像投影至皮肤表面时，由于皮肤非平面所带来的畸变失真，从而提高穿刺的成功率。

Description

一种基于双目视觉的近红外血管图像投影校正方法
技术领域
本发明涉及静脉穿刺的图像识别领域，尤其是涉及一种基于双目视觉的近红外血管图像投影校正方法。
背景技术
在静脉穿刺的血管成像过程中，近红外光成像技术仍然是应用最为广泛的成像技术。其利用静脉血管中血红蛋白对近红外光的吸收作用，来获取静脉血管图像；其获取的图像再经过二值化、滤波、图像增强等一系列图像处理技术处理，最终投影到皮肤表面，便可看到较为清晰的静脉血管图像。但在实际的投影过程中，由于皮肤表面并非平面，而是由一系列圆滑曲面所构成，所以在投影的过程当中会产生一系列的图像扭曲畸变。因此，最终在人皮肤上所形成血管图像往往会发生一系列的扭曲畸变，对最终的穿刺引导造成较大的误差。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于双目视觉的近红外血管图像投影校正方法，克服近红外血管图像投影至皮肤表面时，由于皮肤非平面所带来的畸变失真，从而提高穿刺的成功率。
本发明的目的可以通过以下技术方案来实现：
一种基于双目视觉的近红外血管图像投影校正方法，包括以下步骤：
S1、通过近红外采集装置获得当前皮肤位置血管图像P0；
S2、利用双目相机移动多个位置拍摄相同皮肤位置的图像，双目相机每移动一次位置进行一次参数标定；
S3、通过在双目相机所拍摄的每一张图像上不断移动窗口位置来寻找Harris 算子的极值，当该极值大于给定阈值时，即认定当前像素点为该图像的特征点 Pn(m)，n表示图像的序号，m表示特征点的序号；
S4、利用NCC算法对步骤S3中所得到的不同图像的特征点Pn(m)进行两两匹配，当通过NCC匹配度公式计算得到的匹配度系数大于设定阈值时，认定两个特征点匹配，从而建立起配对的track组合；
S5、计算每一个track中的特征点的实际三维坐标，并利用最小二乘法将每一个track中的计算所得点连接成为3D点云模型；
S6、通过最近点迭代的ICP算法完成3D点云模型匹配重构出皮肤3D表面模型；
S7、利用步骤S6中所得到的皮肤3D曲面模型的曲率信息对血管图像P0进行扭曲还原处理，最终得到处理后的图像；
S8、将处理后的近红外血管图像投影至皮肤表面。
进一步地，所述的步骤S2中，利用双目相机光心、图像平面中的像素点和实际物体的位置关系来获取物体的深度信息同时完成摄像机的参数标定；
所述世界坐标系用于描述摄像机的位置；
所述图像坐标系包括原点在图像左上角的像素图像坐标系O-uv，以及原点在图像的几何中心位置的物理图像坐标系O-XY；
所述摄像机坐标系O-xyz即为以摄像机为中心位置，横纵轴与像素图坐标系平行，z轴则沿摄像机光心位置透过图像指向物体的坐标系；
进行双目相机参数标定的表达式如下：
物理图像坐标系O-XY与摄像机坐标系O-xyz的关系式为：
Figure RE-GDA0002967443840000021
Figure RE-GDA0002967443840000022
其中，
Figure RE-GDA0002967443840000023
和/>
Figure RE-GDA0002967443840000024
表示物体在左侧图像坐标系下的横纵坐标；/>
Figure RE-GDA0002967443840000025
表示物体在左侧镜头坐标系下的三维坐标，/>
Figure RE-GDA0002967443840000026
和/>
Figure RE-GDA0002967443840000027
表示物体在右侧图像坐标系下的横纵坐标，
Figure RE-GDA0002967443840000028
表示物体在右侧镜头坐标系下的三维坐标；f1和f2分别表示双目相机的左右两个焦距；
双目相机的两个镜头的位置之间的关系表达式为：
Figure RE-GDA0002967443840000031
其中，x、y、z表示物体在实际空间中的三维坐标；r1～r9表示双目相机参数标定中需要标定的9个旋转矩阵参数的待定系数；tx、ty、tz表示双目相机参数标定中需要标定的3个平移矩阵参数的待定系数；R表示旋转矩阵；T表示平移矩阵；P 表示参数矩阵，反映了摄像机坐标系相对于世界坐标系的方向和位置参数等信息，求得P的过程即为摄像机的参数标定。
进一步地，所述的步骤S3具体包括：
S31、计算S2中所得每张图像的水平和垂直方向的梯度；
S32、计算每个像素点位置的Harris矩阵；
S33、计算每个像素点位置的Harris角点响应值；
S34、进行非极大值抑制：分别给定步骤S33中计算所得的每个窗口的置信度得分，窗口由3×3像素点构成，取窗口内9个像素点Harris角点响应值的算术均值为置信度，设定阈值0.75；依据置信度进行排序，并将置信度最高的窗口边界框中特征点选出；计算所有剩余特征点像素的面积之和；计算置信度最高的像素点及其周围候选像素点的IoU；删除IoU大于设定阈值的边界框；重复步骤S32～S34 直到边界框列表为空；
S35、找到Harris角点响应值大于给定阈值0.65的点作为特征点输出。
进一步地，所述的步骤S4具体包括：
S41、对步骤S3所得到的每一个特征像素点(px,py)构建一个大小为n×n的邻域作为匹配窗口；
S42、对于相应待检测目标像素位置(px+d,py)同样构建一个大小为n×n的匹配窗口；
S43、进行相似度匹配计算；
S44、若步骤S43所计算的结果大于设定阈值，则认为两特征点匹配完成，否则，认为两特征点无强相关性。
进一步地，所述相似度的计算表达式如下：
Figure RE-GDA0002967443840000041
其中，Hp为在步骤S4中所得到的需要匹配的特征点窗口；I1(x,y)为特征像素点的像素值；
Figure RE-GDA0002967443840000042
为窗口内的特征像素点的像素值均值；I2(x+d,y)为待检测目像素点的像素值；/>
Figure RE-GDA0002967443840000043
为窗口内的待检测目像素点的像素值均值。
进一步地，所述的步骤S7具体包括：
S71、依据步骤S6所得到的皮肤3D模型，可直接获得图像所对应像素点的曲率信息；
S72、依据3D图像曲率信息，将全部特征点与血管图像P0一一对应；
S73、假设未进行畸变校正近红外图像像素在图像上所属坐标为(x,y)，进行畸变校正后其相同像素的位置坐标为
Figure RE-GDA0002967443840000044
则采用多项式描述其之间关系，其关系描述如下：
Figure RE-GDA0002967443840000045
Figure RE-GDA0002967443840000046
通过步骤S72中得到的N个对应点，求出图像畸形校正系数a0～an，以及b0～bn。
进一步地，步骤S1中，近红外采集装置获得当前皮肤位置血管图像后，通过高斯滤波去除噪点进行预处理。
本发明是依据双目相机参数、特征点检测、特征匹配算法、空间点定位、表面几何重建等一系列变换后最终构建出曲面的3D表面模型。其中，在摄像机参数标定中采用三角测量方法；在图像特征提取中通过定义Harris算子，并寻找该算子的极值来提取图像的特征点；在特征点提取完成后利用NCC(Normalized Cross Correlation Method)对特征进行匹配；在特征点和匹配完成后，计算每一个track中的特征点的实际三维坐标，得点连接成为3D点云模型；并最终通过最近点迭代的 ICP(Iterative Closest Point)算法完成点云匹配重构出3D表面模型。
与现有技术相比，本发明具有以下有益效果：
本发明将基于双目视觉的3D曲面立体重建技术和图像扭曲畸变还原技术引入近红外血管成像的矫正当中，首先利用双目视觉的3D曲面立体重建技术得到皮肤表面的3D模型，从而获得指导图像扭曲畸变的曲面曲率等信息，并最终将畸变校正后的图像投影至皮肤表面，从而大大提高血管图像再次投影到皮肤表面上的精确性，从而大大提高静脉穿刺的准确率。
附图说明
图1为本发明的流程示意图。
图2为世界坐标系、图像坐标系、摄像机坐标系的关系图。
图3为高斯核函数进行离散化处理时模板在各个位置坐标关系图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本实施例提供了一种基于双目视觉的近红外血管图像投影校正方法，包括以下步骤：
步骤S1、通过近红外采集装置获得当前皮肤位置血管图像，并通过高斯滤波对其进行图像预处理，去除图像噪点，将其获得图像记为P0。
步骤S2、利用双目相机移动多个位置拍摄相同皮肤位置的图像(共拍摄n张图片，将其图片分别记为P1，P2，...Pn)，双目相机每移动一次位置进行一次参数标定。
步骤S3、分别在双目摄像机所摄图像(P1，P2，...Pn)的每一张图像上不断移动窗口位置来寻找Harris算子的极值，当该极值大于给定阈值0.65时，即可认定其为该图像的特征点Pn(m)，其代表意义是第n张双目摄像机所摄图像上的第m个特征点。
步骤S4、利用NCC(Normalized Cross Correlation Method)算法对步骤S3中所得到的分属于不同图像的特征点Pn(m)进行两两匹配，当通过NCC匹配度公式计算得到的匹配度系数大于设定阈值0.75时，认定该两个特征点匹配；从而建立起配对的track组合比如(track1:P1(3)、P2(7)…代表P1图的第3个特征点和P2图的第 7个特征点匹配(是实际世界中相同的点只是在不同图片中位置不同))。
步骤S5、计算每一个track中的特征点的实际三维坐标，并利用最小二乘法将每一个track中的计算所得点连接成为3D点云模型。
步骤S6、通过最近点迭代的ICP(Iterative Closest Point)算法完成点云匹配重构出3D表面模型。
步骤S7、利用S6中所得到的3D曲面模型的曲率信息对血管图像P0进行扭曲还原处理，最终得到处理后的图像。
步骤S8、将处理后的近红外血管图像投影至皮肤表面。
上述步骤的具体展开如下：
在步骤S1中，图像预处理采用高斯滤波去除噪点，其处理流程如下：
步骤S11：移动相关核的中心元素，使其位于输入图像待处理元素的正上方；其中一个二维的高斯核函数如下所示：
Figure RE-GDA0002967443840000061
其中(x,y)为坐标点，在图像处理中可以认定为整数；σ是标准差；为了得到一个高斯滤波模板，可以对高斯函数进行离散化处理，例如对中心像素点周围3×3大小的区域共八个相邻像素点进行采样，模板在各个位置的坐标如图3所示；对于窗口模板的大小为(2k+1)×(2k+1)，模板中各元素计算公式如下：
Figure RE-GDA0002967443840000062
若计算结果为小数，无需进行任何处理；
若计算结果为整数，则需要进行归一化处理，将模板左上角的值归一化处理为 1，同时在模板前添加一个系数，其值为模板系数和的倒数：
Figure RE-GDA0002967443840000063
步骤S12：将输入的图像的像素值作为权重，乘以相关的核。
步骤S13：将步骤S11和S12所得到的结果相加作为输出，完成滤波。
在步骤S2中，需要对双目相机完成参数标定，其参数标定过程如下：
步骤S3中，涉及三个坐标系，世界坐标系、摄像机坐标系和图像坐标系。
世界坐标系是指物体在实际空间中的三位坐标，在本专利中用于描述摄像机的位置；
图像坐标系包括两种，包括像素图像坐标系O-uv，其原点在图像左上角，u轴方向水平向左，v轴方向垂直向下。和物理图像坐标系O-XY，其原点在图像的几何中心位置；
摄像机坐标系O-xyz即指以摄像机为中心位置，其横纵轴与像素图坐标系平行，z轴则沿摄像机光心位置透过图像指向物体。
其各个坐标轴位置信息如图2所示，假设左侧和右侧相机的焦距分别为为 f1、f2。则有以下等式成立：(物理图像坐标系O-XY与摄像机坐标系O-xyz的关系式)
Figure RE-GDA0002967443840000071
Figure RE-GDA0002967443840000072
由关系矩阵P可表示两个摄像机位置之间的相互关系可表示如下：
Figure RE-GDA0002967443840000073
上两个关系式中，
Figure RE-GDA0002967443840000074
和/>
Figure RE-GDA0002967443840000075
表示物体在左侧图像坐标系下的横纵坐标；/>
Figure RE-GDA0002967443840000076
Figure RE-GDA0002967443840000077
表示物体在左侧摄像机坐标系下的三维坐标，/>
Figure RE-GDA0002967443840000078
和/>
Figure RE-GDA0002967443840000079
表示物体在右侧图像坐标系下的横纵坐标，/>
Figure RE-GDA00029674438400000710
表示物体在右侧摄像机坐标系下的三维坐标；x、y、 z表示物体在实际空间中的三维坐标；r1～r9表示摄像机参数标定中需要标定的9 个待定系数(旋转矩阵参数)；tx、ty、tz表示摄像机参数标定中需要标定的3个待定系数(平移矩阵参数)。
上式中P矩阵反映了摄像机坐标系相对于世界坐标系的方向和位置参数等信息，称为参数矩阵，R称为旋转矩阵，T称为平移矩阵。利用计算机利用上式求得 P的过程即为摄像机的参数标定。
在步骤S3中，分别在双目摄像机所摄图像(P1，P2，...Pn)的每一张图像上不断移动窗口位置来寻找Harris算子的极值，当该极值大于给定阈值0.65时，即可认定其为该图像的特征点Pn(m)(其代表意义是第n张双目摄像机所摄图像上的第 m个特征点)。
假设ω(x,y)表示权重权值为1或者以点为中心的高斯权重；x+u；y+v分别为中心加偏移量；x,y分别为中心的坐标；I代表像素，即为RGB或灰度；H代表 Harris矩阵。
其具体实施过程如下所示：
步骤S31：计算S2中所得每张图像的水平和垂直方向的梯度，计算公式如下：
Figure RE-GDA00029674438400000711
Figure RE-GDA0002967443840000081
步骤S32：计算每个像素点位置的Harris矩阵，计算公式如下：
Figure RE-GDA0002967443840000082
其中，σ1表示逐个计算每个像素点，ω(x,y)表示权重权值为1或者以点为中心的高斯权重。
步骤S33：计算每个像素位置的Harris角点响应值。
对H矩阵进行特征值分析：记λmax＝λ1；λmin＝λ2；则两个特征值分别反映了相互垂直关系上的变化情况，分别代表最快和最慢的变化方向；
进一步地，计算每个像素位置处的Harris角点响应值，计算公式如下：
C＝det(H)-ktrace(H)2＝λ1λ2-k(λ1+λ1)2
其中，k为设定参数，一般情况下，k越小，检测越敏感。
步骤S34：非极大值抑制，其具体操作流程如下所示：
1)分别给定步骤c中计算所得的每个窗口的置信度得分，设定阈值0.75。
2)依据置信度进行排序，并将置信度最高的窗口边界框中特征点选出。
3)计算所有剩余特征点像素的面积之和。
4)计算置信度最高的像素点及其周围候选像素点的IoU(即两个边界框的交集部分除以他们的并集部分)。
5)删除IoU大于设定阈值的边界框。
6)重复2)～5)步，直到边界框列表为空。
步骤S35：找到Harris角点响应值大于给定阈值0.65的点作为特征点输出。
在步骤S4中，利用NCC(Normalized Cross Correlation Method)算法对步骤S4中所得到的分属于不同图像的特征点Pn(m)进行两两匹配，当通过NCC匹配度公式计算得到的匹配度系数大于设定阈值0.75时，认定该两个特征点匹配；其具体操作过程如下所示。
步骤S41：对步骤S3所得到的每一个特征像素点(px,py)构建一个大小为n×n 的邻域作为匹配窗口。
步骤S42：对于相应待检测目标像素位置(px+d,py)同样构建一个大小为n×n 的匹配窗口。
步骤S43：进行相似度匹配，Hp为在步骤S4中所得到的需要匹配的特征点窗口；I1(x,y)为原始图像的像素值；
Figure RE-GDA0002967443840000091
为原始图像窗口内的均值；
其计算公式如下：
Figure RE-GDA0002967443840000092
步骤S44：若步骤S43所计算结果大于设定阈值0.75，则认为两特征点匹配完成，否则，认为两特征点无强相关性。
步骤S45：建立起配对的track组合比如(track1:P1(3)、P2(7)…代表P1图的第 3个特征点和P2图的第7个特征点匹配(是实际世界中相同的点只是在不同图片中位置不同))。
在步骤S5中，计算每一个track中的特征点的实际三维坐标，并利用最小二乘法将每一个track中的计算所得点连接成为3D点云模型；
步骤S51：分别计算track1中每一个特征点的实际三维坐标，其计算公式如下：
在世界坐标系下任意点在双目相机的两个镜头坐标系下的关系有：
Figure RE-GDA0002967443840000093
结合拍摄该图片时的双目相机标定信息即矩阵P(由步骤S2得到)，则有空间中某一点的三维信息(x,y,z)为：
Figure RE-GDA0002967443840000094
步骤S52：利用最小二乘法将track1中计算所得的点连接成为3D点云模型。
步骤S53：分别对每一个track重复步骤上述步骤S61和S62。
在步骤S6中，利用ICP算法对步骤S5中所得到的点云模型进行匹配以此来获得更为完整和精确的皮肤表面3D曲面模型，其中n为最邻近点的个数，pi为目标点云P中的一点，qi为目标点云A中与pi对应的最近点，R为旋转矩阵，T为平移向量。其基本步骤如下：
步骤S61：在目标点云P中取点集pi∈P。
步骤S62：找出源点云中的对应点集中的一点qi∈Q,使得最终有‖pi-qi‖最小。
步骤S63：计算旋转矩阵R和平移矩阵T，使得误差函数最小。
其中误差函数的计算公式为：
Figure RE-GDA0002967443840000101
步骤S63：对点pi使用步骤c中求得的旋转矩阵R和平移矩阵T进行旋转和平移变换，对应到新的点集pi＝Rpi+T,pi∈P。
步骤S64：计算pi与pi的距离，其计算公式如下：
Figure RE-GDA0002967443840000102
当d小于给定阈值时，则停止迭代，否则返回步骤S62继续迭代，直到满足收敛条件。
在步骤S7中，利用S6中所得到的3D曲面模型的曲率信息对血管图像进行扭曲还原处理，最终得到处理后的图像，其基本操作流程如下：
步骤S71：依据步骤S6所得到的皮肤3D模型，可直接获得图像所对应像素点的曲率信息。
步骤S72：依据3D图像曲率信息，将部分特征点(N个)与原图像点一一对应。
步骤S73：假设未进行畸变校正近红外图像像素格在图像上所属坐标为(x,y)，进行畸变校正后其相同像素的位置坐标为
Figure RE-GDA0002967443840000103
则采用多项式描述其之间关系，其关系描述如下：
Figure RE-GDA0002967443840000104
Figure RE-GDA0002967443840000105
利用步骤S72中所得到的N个对应点，求出图像畸形校正系数，并按照此对应关系对血管图像进行畸形校正。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (5)

1.一种基于双目视觉的近红外血管图像投影校正方法，其特征在于，包括以下步骤：
S1、通过近红外采集装置获得当前皮肤位置血管图像P0；
S2、利用双目相机移动多个位置拍摄相同皮肤位置的图像，双目相机每移动一次位置进行一次参数标定；
S3、通过在双目相机所拍摄的每一张图像上不断移动窗口位置来寻找Harris算子的极值，当该极值大于给定阈值时，即认定当前像素点为该图像的特征点Pn(m)，n表示图像的序号，m表示特征点的序号；
S4、利用NCC算法对步骤S3中所得到的不同图像的特征点Pn(m)进行两两匹配，当通过NCC匹配度公式计算得到的匹配度系数大于设定阈值时，认定两个特征点匹配，从而建立起配对的track组合；
S5、计算每一个track中的特征点的实际三维坐标，并利用最小二乘法将每一个track中的计算所得点连接成为3D点云模型；
S6、通过最近点迭代的ICP算法完成3D点云模型匹配重构出皮肤3D表面模型；
S7、利用步骤S6中所得到的皮肤3D曲面模型的曲率信息对血管图像P0进行扭曲还原处理，最终得到处理后的图像；
S8、将处理后的近红外血管图像投影至皮肤表面；
所述的步骤S2中，利用双目相机光心、图像平面中的像素点和实际物体的位置关系来获取物体的深度信息同时完成摄像机的参数标定；
世界坐标系用于描述摄像机的位置；
图像坐标系包括原点在图像左上角的像素图像坐标系O-uv，以及原点在图像的几何中心位置的物理图像坐标系O-XY；
摄像机坐标系O-xyz即为以摄像机为中心位置，横纵轴与像素图坐标系平行，z轴则沿摄像机光心位置透过图像指向物体的坐标系；
进行双目相机参数标定的表达式如下：
物理图像坐标系O-XY与摄像机坐标系O-xyz的关系式为：
Figure FDA0004038379750000021
Figure FDA0004038379750000022
其中，
Figure FDA0004038379750000023
和/>
Figure FDA0004038379750000024
表示物体在左侧图像坐标系下的横纵坐标；/>
Figure FDA0004038379750000025
表示物体在左侧镜头坐标系下的三维坐标，/>
Figure FDA0004038379750000026
和/>
Figure FDA0004038379750000027
表示物体在右侧图像坐标系下的横纵坐标，
Figure FDA0004038379750000028
表示物体在右侧镜头坐标系下的三维坐标；f1和f2分别表示双目相机的左右两个焦距；
双目相机的两个镜头的位置之间的关系表达式为：
Figure FDA0004038379750000029
其中，x、y、z表示物体在实际空间中的三维坐标；r1～r9表示双目相机参数标定中需要标定的9个旋转矩阵参数的待定系数；tx、ty、tz表示双目相机参数标定中需要标定的3个平移矩阵参数的待定系数；R表示旋转矩阵；T表示平移矩阵；P表示参数矩阵，反映了摄像机坐标系相对于世界坐标系的方向和位置参数信息，求得P的过程即为摄像机的参数标定；
所述的步骤S7具体包括：
S71、依据步骤S6所得到的皮肤3D模型，可直接获得图像所对应像素点的曲率信息；
S72、依据3D图像曲率信息，将全部特征点与血管图像P0一一对应；
S73、假设未进行畸变校正近红外图像像素在图像上所属坐标为(x,y)，进行畸变校正后其相同像素的位置坐标为
Figure FDA00040383797500000210
则采用多项式描述其之间关系，其关系描述如下：
Figure FDA00040383797500000211
Figure FDA00040383797500000212
通过步骤S72中得到的N个对应点，求出图像畸形校正系数a0～an，以及b0～bn。
2.根据权利要求1所述的一种基于双目视觉的近红外血管图像投影校正方法，其特征在于，所述的步骤S3具体包括：
S31、计算S2中所得每张图像的水平和垂直方向的梯度；
S32、计算每个像素点位置的Harris矩阵；
S33、计算每个像素点位置的Harris角点响应值；
S34、进行非极大值抑制：分别给定步骤S33中计算所得的每个窗口的置信度得分，窗口由3×3像素点构成，取窗口内9个像素点Harris角点响应值的算术均值为置信度，设定阈值0.75；依据置信度进行排序，并将置信度最高的窗口边界框中特征点选出；计算所有剩余特征点像素的面积之和；计算置信度最高的像素点及其周围候选像素点的IoU；删除IoU大于设定阈值的边界框；重复步骤S32～S34直到边界框列表为空；
S35、找到Harris角点响应值大于给定阈值0.65的点作为特征点输出。
3.根据权利要求1所述的一种基于双目视觉的近红外血管图像投影校正方法，其特征在于，所述的步骤S4具体包括：
S41、对步骤S3所得到的每一个特征像素点(px,py)构建一个大小为n×n的邻域作为匹配窗口；
S42、对于相应待检测目标像素位置(px+d,py)同样构建一个大小为n×n的匹配窗口；
S43、进行相似度匹配计算；
S44、若步骤S43所计算的结果大于设定阈值，则认为两特征点匹配完成，否则，认为两特征点无强相关性。
4.根据权利要求3所述的一种基于双目视觉的近红外血管图像投影校正方法，其特征在于，所述相似度的计算表达式如下：
Figure FDA0004038379750000031
其中，Hp为在步骤S4中所得到的需要匹配的特征点窗口；I1(x,y)为特征像素点的像素值；
Figure FDA0004038379750000032
为窗口内的特征像素点的像素值均值；I2(x+d,y)为待检测目像素点的像素值；/>
Figure FDA0004038379750000033
为窗口内的待检测目像素点的像素值均值。
5.根据权利要求1所述的一种基于双目视觉的近红外血管图像投影校正方法，其特征在于，步骤S1中，近红外采集装置获得当前皮肤位置血管图像后，通过高斯滤波去除噪点进行预处理。
CN202011530678.2A 2020-12-22 2020-12-22 一种基于双目视觉的近红外血管图像投影校正方法 Active CN112734652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011530678.2A CN112734652B (zh) 2020-12-22 2020-12-22 一种基于双目视觉的近红外血管图像投影校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011530678.2A CN112734652B (zh) 2020-12-22 2020-12-22 一种基于双目视觉的近红外血管图像投影校正方法

Publications (2)

Publication Number Publication Date
CN112734652A CN112734652A (zh) 2021-04-30
CN112734652B true CN112734652B (zh) 2023-03-31

Family

ID=75604039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011530678.2A Active CN112734652B (zh) 2020-12-22 2020-12-22 一种基于双目视觉的近红外血管图像投影校正方法

Country Status (1)

Country Link
CN (1) CN112734652B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113889238B (zh) * 2021-10-25 2022-07-12 推想医疗科技股份有限公司 一种图像识别方法、装置、电子设备及存储介质
CN115423758B (zh) * 2022-08-15 2023-07-11 山东电力建设第三工程有限公司 一种全场精细化dni预测方法
CN115778320B (zh) * 2022-11-10 2023-06-09 北京悬丝医疗科技有限公司 一种移动关节式诊脉仪
CN118078402A (zh) * 2024-04-28 2024-05-28 南昌大学第一附属医院 一种基于图像分割模型构建的留置针的智能化穿刺系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102440855A (zh) * 2010-10-07 2012-05-09 西门子公司 用于动脉瘤修补的基于曲面重建的二维三维叠加
CN103337071A (zh) * 2013-06-19 2013-10-02 北京理工大学 基于结构重建的皮下静脉三维可视化装置及方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2751777B1 (en) * 2011-08-31 2019-08-07 Apple Inc. Method for estimating a camera motion and for determining a three-dimensional model of a real environment
CN104116496B (zh) * 2014-07-11 2016-06-22 深圳先进技术研究院 医用三维静脉血管增强现实装置及方法
CN105184856A (zh) * 2015-09-02 2015-12-23 泰山学院 一种基于稠密匹配的二阶段人体皮肤三维重建方法
CN107041729A (zh) * 2016-12-30 2017-08-15 西安中科微光影像技术有限公司 双目近红外成像系统及血管识别方法
CN107481315A (zh) * 2017-06-29 2017-12-15 重庆邮电大学 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
CN107837076B (zh) * 2017-11-27 2020-09-11 东北大学 一种近红外自配准静脉显像装置及方法
CN108335350A (zh) * 2018-02-06 2018-07-27 聊城大学 双目立体视觉的三维重建方法
CN111210506A (zh) * 2019-12-30 2020-05-29 塔普翊海（上海）智能科技有限公司 一种三维还原方法、系统、终端设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102440855A (zh) * 2010-10-07 2012-05-09 西门子公司 用于动脉瘤修补的基于曲面重建的二维三维叠加
CN103337071A (zh) * 2013-06-19 2013-10-02 北京理工大学 基于结构重建的皮下静脉三维可视化装置及方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法

Also Published As

Publication number Publication date
CN112734652A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112734652B (zh) 一种基于双目视觉的近红外血管图像投影校正方法
CN109558764B (zh) 人脸识别方法及装置、计算机设备
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
EP2081133B1 (en) System and method for deformable object recognition
US9807365B2 (en) System and method for hybrid simultaneous localization and mapping of 2D and 3D data acquired by sensors from a 3D scene
CN106709950B (zh) 一种基于双目视觉的巡线机器人跨越障碍导线定位方法
CN113065546B (zh) 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN111652085A (zh) 基于2d与3d特征结合的物体识别方法
SE528068C2 (sv) Igenkänning av 3D föremål
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN109272577B (zh) 一种基于Kinect的视觉SLAM方法
CN112067233A (zh) 一种用于风洞模型六自由度运动捕获方法
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
JP2005339288A (ja) 画像処理装置及びその方法
JP2018128897A (ja) 対象物の姿勢等を検出する検出方法、検出プログラム
WO2023024766A1 (zh) 物体尺寸识别方法、可读存储介质及物体尺寸识别系统
Ozbay et al. A hybrid method for skeleton extraction on Kinect sensor data: Combination of L1-Median and Laplacian shrinking algorithms
CN114022542A (zh) 一种基于三维重建的3d数据库制作方法
CN111127556B (zh) 基于3d视觉的目标物体识别和位姿估算方法以及装置
CN114310887A (zh) 3d人腿识别方法、装置、计算机设备及存储介质
Wietrzykowski et al. Stereo plane R-CNN: Accurate scene geometry reconstruction using planar segments and camera-agnostic representation
CN116523916B (zh) 产品表面缺陷检测方法、装置、电子设备及存储介质
CN115841668A (zh) 一种双目视觉苹果识别以及精准定位的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant