CN111770243A - 内窥镜的图像处理方法、装置、存储介质 - Google Patents

内窥镜的图像处理方法、装置、存储介质 Download PDF

Info

Publication number
CN111770243A
CN111770243A CN202010770523.XA CN202010770523A CN111770243A CN 111770243 A CN111770243 A CN 111770243A CN 202010770523 A CN202010770523 A CN 202010770523A CN 111770243 A CN111770243 A CN 111770243A
Authority
CN
China
Prior art keywords
image
frame
blocks
attribute
endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010770523.XA
Other languages
English (en)
Other versions
CN111770243B (zh
Inventor
高元倩
王建辰
姜佑其
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Edge Medical Co Ltd
Original Assignee
Shenzhen Edge Medical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Edge Medical Co Ltd filed Critical Shenzhen Edge Medical Co Ltd
Priority to CN202010770523.XA priority Critical patent/CN111770243B/zh
Publication of CN111770243A publication Critical patent/CN111770243A/zh
Priority to PCT/CN2020/132540 priority patent/WO2022027878A1/zh
Application granted granted Critical
Publication of CN111770243B publication Critical patent/CN111770243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor
    • H04N3/1568—Control of the image-sensor operation, e.g. image processing within the image-sensor for disturbance correction or prevention within the image-sensor, e.g. biasing, blooming, smearing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Abstract

本发明公开了一种内窥镜的图像处理方法，包括：获取包括有多帧图像的图像帧序列，并对图像帧序列中的每一帧图像进行划分，得到多个图像块；获取每一帧图像中多个图像块的特征值和图像信息；根据所述特征值确定多个图像块中每一图像块在每一帧图像中的属性；根据属性确定每一图像块在每一帧图像中的加权参数，并根据加权参数得到加权参数组；根据加权参数组和多帧图像的位于同一位置的图像块的图像信息，进行加权平均计算得到多个图像块的目标图像信息；将所述多个图像块的目标图像信息合成目标图像帧。本发明还公开了图像处理装置及计算机可读存储介质。本发明可以在图像中存在移动速度较快的运动物体时，防止图像产生拖尾的现象。

Description

内窥镜的图像处理方法、装置、存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种内窥镜的图像处理方法、图像处理装置以及计算机可读存储介质。
背景技术
内窥镜广泛应用于医疗领域和工业领域。例如，在医疗领域的内窥镜系统中，医生通过内窥镜获取的图像对患者进行内窥镜检查或实施微创手术。在工业领域的内窥镜系统中，观测者通过内窥镜获取的图像，检查各种机器、设备等的内部，而不需要拆卸或破坏被检测物体。
内窥镜中使用的图像传感器，由于受各种环境限制以及严格的温度要求，会造成原始图像的信噪比过低。为了解决此问题，现有方案通常采用滤波器对图像进行滤波，但由于噪点在图像中是随机分布的，因此，在对多帧图像进行加权平均时，虽会降低噪点，但当图像中存在移动速度较快的运动物体，则会导致图像产生严重的拖尾现象。
发明内容
本发明的主要目的在于提供一种内窥镜的图像处理方法、图像处理装置以及计算机可读存储介质，旨在解决现有内窥镜获取的图像中存在移动速度较快的运动物体时，导致图像产生严重拖尾现象的技术问题。
为实现上述目的，本发明提供一种内窥镜的图像处理方法，所述内窥镜的图像处理方法包括：
获取包括有多帧图像的图像帧序列，并对所述图像帧序列中的每一帧图像进行划分，得到多个图像块；
获取所述每一帧图像中所述多个图像块的特征值和图像信息；
根据所述特征值确定所述多个图像块中每一图像块在所述每一帧图像中的属性；
根据所述属性确定所述多个图像块中每一图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组；
根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到所述多个图像块的目标图像信息；
将所述多个图像块的目标图像信息合成目标图像帧。
优选地，所述根据所述特征值确定所述多个图像块中每一图像块在所述每一帧图像中的属性的步骤包括：
根据所述每一帧图像中所述多个图像块的特征值，计算当前帧图像与前一帧图像的所述多个图像块中对应的每一图像块之间的特征差值；
在所述特征差值大于第一预设阈值时，确定所述图像块的属性为移动状态；
在所述特征差值小于或等于所述第一预设阈值时，确定所述图像块的属性为静止状态。
优选地，所述根据所述特征值确定所述多个图像块中每一图像块在所述每一帧图像中的属性的步骤包括：
根据所述每一帧图像中所述多个图像块的特征值，计算所述多个图像块中每一图像块在所述图像帧序列中对应的平均特征值；
计算当前帧图像中各个图像块的特征值与各自对应的所述平均特征值之间的特征差值；
在所述特征差值大于第二预设阈值时，确定所述图像块的属性为移动状态；
在所述特征差值小于或等于所述第二预设阈值时，确定所述图像块的属性为静止状态。
优选地，所述根据所述属性确定所述多个图像块中每一图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组的步骤包括：
在所述属性为移动状态时，赋予属性为移动状态的所述图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组{K1(M，N),K2(M，N)，……，Kn(M，N)}，其中，K1(M，N)＜K2(M，N)＜……＜Kn(M，N)，或K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＜Kn(M，N)，Kn(M，N)表示图像块(M，N)在第n帧图像中的加权参数，Kn(M，N)∈[0，1]。
优选地，所述K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＜Kn(M，N)中，K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＝0，Kn(M，N)＝1。
优选地，所述根据所述属性确定所述多个图像块中每一图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组的步骤包括：
在所述属性为静止状态时，赋予属性为静止状态的所述图像块在所述每一帧图像中的加权参数，并根据所述图像帧序列中位于同一位置的图像块的加权参数得到的加权参数组{K1(M，N),K2(M，N)，……，Kn(M，N)}，其中，K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＝Kn(M，N)＝1/n。
优选地，所述根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到所述多个图像块的目标图像信息的步骤包括：
根据所述加权参数组与位于同一位置的图像块的图像信息，计算所述同一位置的图像块在不同图像帧的图像信息与所述加权参数组中对应的加权参数之间的乘积；
将同一位置的图像块的所述乘积相加，得到对应所述同一位置的目标图像块的目标图像信息。
优选地，所述特征值包括RGB值、灰度值、轮廓分布、角点、光流、运动梯度中的至少一种。
为实现上述目的，本发明还提供一种图像处理装置，所述图像处理装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的内窥镜的图像处理程序；
所述内窥镜的图像处理程序被所述处理器执行时实现如上所述的方法的步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有内窥镜的图像处理程序，所述内窥镜的图像处理程序被处理器执行时实现如上所述的图像处理装置的图像处理方法的步骤。
本发明提供的内窥镜的图像处理方法、图像处理装置以及计算机可读存储介质，通过获取包括有多帧图像的图像帧序列，并对所述图像帧序列中的每一帧图像进行划分，得到多个图像块，然后获取所述每一帧图像中所述多个图像块的特征值和图像信息，根据所述属性确定所述多个图像块中每一图像块在所述每一帧图像中的加权参数，再根据所述图像帧序列中位于同一位置的图像块的加权参数得到加权参数组，进一步根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到所述多个图像块的目标图像信息，最后将所述多个图像块的目标图像信息合成目标图像帧。如此，根据图像块的属性赋予每一图像块对应不同图像帧的加权参数，经过不同加权参数的加权平均，可以在图像中存在移动速度较快的运动物体时，防止图像产生拖尾现象。
附图说明
图1为本发明实施例提供的图像处理装置的硬件结构示意图；
图2为本发明内窥镜的图像处理方法一实施例的流程示意图；
图3为本发明图像块划分的第一实施例的示意图；
图4为本发明图像块划分的第二实施例的示意图；
图5为本发明图像块划分的第三实施例的示意图；
图6为本发明内窥镜的图像处理方法又一实施例的流程示意图；
图7为本发明手术机器人的结构示意图；
图8为本发明手术机器人适用单孔手术的从操作设备的部分结构示意图；
图9为本发明手术机器人适用多孔手术的从操作设备的部分结构示意图；
图10为本发明手术机器人适用单孔手术的从操作设备构建坐标系的示意图；
图11为本发明手术机器人适用多孔手术的从操作设备构建坐标系的示意图；
图12为本发明包含操作臂的可见区域的所述虚拟投影图像；
图13为对图12中虚拟投影图像进行扩大的示意图；
图14为本发明对图像块进行属性标记的示意图；
图15为本发明图像帧序列中当前图像帧与虚拟投影图像的图像块进行匹配的示意图；
图16为本发明对操作臂进行标记的示意图；
图17为本发明分别对运动操作臂、静止操作臂在虚拟投影图像上的图像块划分和属性标记的示意图；
图18为本发明内窥镜的图像处理方法再一实施例的流程示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
如图1所示，图1是本发明实施例方案涉及的图像处理装置的硬件结构示意图。
如图1所示，该图像处理装置可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)；存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的硬件结构并不构成对图像处理装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像处理程序。
在图1所示的图像处理装置中，所述网络通信模块主要用于连接服务器，并与服务器进行数据通信；而处理器1001可以用于调用存储器1005中存储的图像处理程序，并执行以下操作：
获取包括有多帧图像的图像帧序列，并对所述图像帧序列中的每一帧图像进行划分，得到多个图像块；
获取所述每一帧图像中所述多个图像块的特征值和图像信息；
根据所述属性确定所述多个图像块中每一图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组；
根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到所述多个图像块的目标图像信息；
将所述多个图像块的目标图像信息合成目标图像帧。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
根据所述每一帧图像中所述多个图像块的特征值，计算当前帧图像与前一帧图像的所述多个图像块中对应的每一图像块之间的特征差值；
在所述特征差值大于第一预设阈值时，确定所述图像块的属性为移动状态；
在所述特征差值小于或等于所述第一预设阈值时，确定所述图像块的属性为静止状态。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
根据所述每一帧图像中所述多个图像块的特征值，计算所述多个图像块中每一图像块在所述图像帧序列中对应的平均特征值；
计算当前帧图像中各个图像块的特征值与各自对应的所述平均特征值之间的特征差值；
在所述特征差值大于第二预设阈值时，确定所述图像块的属性为移动状态；
在所述特征差值小于或等于所述第二预设阈值时，确定所述图像块的属性为静止状态。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
在所述属性为移动状态时，赋予属性为移动状态的所述图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组{K1(M，N),K2(M，N)，……，Kn(M，N)}，其中，K1(M，N)＜K2(M，N)＜……＜Kn(M，N)，或K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＜Kn(M，N)，Kn(M，N)表示图像块(M，N)在第n帧图像中的加权参数，Kn(M，N)∈[0，1]。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
在所述属性为静止状态时，赋予属性为静止状态的所述图像块在所述每一帧图像中的加权参数，并根据所述图像帧序列中位于同一位置的图像块的加权参数得到的加权参数组{K1(M，N),K2(M，N)，……，Kn(M，N)}，其中，K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＝Kn(M，N)＝1/n。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
根据所述加权参数组与位于同一位置的图像块的图像信息，计算所述同一位置的图像块在不同图像帧的图像信息与所述加权参数组中对应的加权参数之间的乘积；
将同一位置的图像块的所述乘积相加，得到对应所述同一位置的目标图像块的目标图像信息。
所述处理器1001还可以用于调用存储器1005中存储的图像处理程序，并执行以下操作：
获取手术机器人的操作臂的运动信息以及所述手术机器人的内窥镜的参数信息；
根据所述操作臂的运动信息以及所述内窥镜的参数信息，计算得到所述操作臂相对所述内窥镜的虚拟投影图像；
对所述虚拟投影图像进行划分，得到多个图像块，并根据所述运动信息确定所述多个图像块的第一属性；
读取所述内窥镜获取的包括有多帧图像的图像帧序列，并对所述图像帧序列中的每一帧图像进行划分，得到多个图像块，并获取所述每一图像中所述多个图像块的特征值和图像信息；
将所述虚拟投影图像的图像块与所述多帧图像的图像块进行匹配，得到所述每一帧图像中每一图像块与所述第一属性对应的第二属性；
根据所述第二属性，确定所述多个图像块中每一图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组；
根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到所述多个图像块的目标图像信息；
将所述多个图像块的目标图像信息合成目标图像帧。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
获取所述操作臂的运动传感器信息，根据所述运动传感器信息得到所述操作臂的运动状态、运动速度、运动加速度和位置信息；
获取所述手术机器人的基坐标系，并根据所述位置信息构建所述操作臂相对所述基坐标系的第一运动方程，以及所述内窥镜相对所述基坐标系的第二运动方程；
根据所述第一运动方程和所述第二运动方程计算得到所述操作臂相对所述内窥镜的位姿信息。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
在所述运动信息为运动状态时，根据所述运动状态确定运动操作臂和静止操作臂；
获取所述运动操作臂在所述虚拟投影图像上的运动图像块，并对应标记所述运动图像块的属性为移动状态，获取所述静止操作臂在所述虚拟投影图像上的静止图像块，并对应标记所述静止图像块的属性为静止状态。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
在所述运动信息为运动速度或运动加速度时，根据所述运动速度或运动加速度确定运动操作臂和静止操作臂；
获取所述运动操作臂在所述虚拟投影图像上的运动图像块，并对应标记所述运动图像块的运动速度或运动加速度以及所述运动图像块的属性为移动状态，获取所述静止操作臂在所述虚拟投影图像上的静止图像块，并对应标记所述静止图像块的属性为静止状态。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
根据所述运动信息计算所述操作臂的投影点在所述虚拟投影图像上的运动速度；
根据所述运动速度对应标记所述图像块的速度，并在所述运动速度大于零时，标记所述图像块的属性为移动状态，在所述运动速度等于零时，标记所述图像块的属性为静止状态。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
根据所述内窥镜的参数信息构建内窥镜投影模型，得到所述内窥镜的虚拟投影平面；
根据所述操作臂的运动信息和所述内窥镜投影模型，得到所述操作臂相对所述虚拟投影平面的可见区域和不可见区域；
将所述可见区域投影至所述虚拟投影平面，得到包含所述可见区域的所述虚拟投影图像。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
在所述属性为移动状态时，赋予属性为移动状态的所述图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组{K1(M，N),K2(M，N)，……，Kn(M，N)}，其中，K1(M，N)＜K2(M，N)＜……＜Kn(M，N)，或K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＜Kn(M，N)，Kn(M，N)表示图像块(M，N)在第n帧图像中的加权参数，Kn(M，N)∈[0，1]。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
在所述属性为移动状态时，赋予属性为移动状态的所述图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组{V1*K1(M，N),V2*K2(M，N)，……，Vn*Kn(M，N)}，其中，V1*K1(M，N)+V2*K2(M，N)，+……+Vn*Kn(M，N)＝1，Kn(M，N)表示图像块(M，N)在第n帧图像中的加权参数，Kn(M，N)∈[0，1]，Vn表示图像块(M，N)在第n帧图像中的运动速度或加速度。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
根据所述加权参数组与位于同一位置的图像块的图像信息，计算所述同一图像块在不同图像帧的图像信息与所述加权参数组中对应的加权参数之间的乘积；
将同一位置的图像块的所述乘积相加，得到对应所述同一位置的目标图像块的目标图像信息。
所述处理器1001还可以用于调用存储器1005中存储的图像处理程序，并执行以下操作：
获取手术机器人的操作臂的运动信息以及所述手术机器人的内窥镜的参数信息；
根据所述操作臂的运动信息以及所述内窥镜的参数信息，计算得到所述操作臂相对所述内窥镜的第一虚拟投影图像，所述第一虚拟投影图像包括所述操作臂的投影图像；
对所述第一虚拟投影图像进行划分，得到多个第一图像块，并根据所述运动信息确定所述多个第一图像块的第一属性；
读取所述内窥镜获取的包括有多帧图像的图像帧序列，并对所述图像帧序列中的每一帧图像进行划分，得到多个与所述第一图像块对应的第二图像块，并将所述第一图像块与所述第二图像块进行匹配，得到每一帧图像中所述多个第二图像块与所述第一属性对应的第二属性；
对所述第二属性为移动状态的第二图像块进行二次划分，得到多个第三图像块；
获取所述每一帧图像的每一第二图像块和每一第三图像块的特征值和图像信息，并根据每一第三图像块的特征值确定每一第三图像块的第三属性；
根据所述第二属性和所述第三属性分别确定未经二次划分的每一第二图像块和每一第三图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组；
根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到对应所述同一位置的目标图像块的目标图像信息；
将所述多个图像块的目标图像信息合成目标图像帧。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
在得到所述操作臂的投影图像时，对所述操作臂的投影图像进行预设比例的扩大，得到包含扩大后的所述操作臂的投影图像的所述第一虚拟投影图像。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
获取所述操作臂的投影图像的多个关节特征点，以各个所述关节特征点为原点、以各自对应的预设半径作圆得到多个特征圆，并获取相邻两个特征圆的公切线，将多个所述公切线连接得到扩大后的所述操作臂的投影图像。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
获取所述操作臂的运动传感器信息，根据所述运动传感器信息得到所述操作臂的运动状态、运动速度、运动加速度和位置信息；
获取所述手术机器人的基坐标系，并根据所述位置信息构建所述操作臂相对所述基坐标系的第一运动方程，以及所述内窥镜相对所述基坐标系的第二运动方程；
根据所述第一运动方程和所述第二运动方程计算所述操作臂相对所述内窥镜的位姿信息。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
根据所述内窥镜的参数信息构建内窥镜投影模型，得到所述内窥镜的虚拟投影平面；
根据所述操作臂的运动信息和所述内窥镜投影模型，得到所述操作臂相对所述虚拟投影平面的可见区域和不可见区域；
将所述可见区域投影至所述虚拟投影平面，得到包含所述可见区域的所述第一虚拟投影图像。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
根据所述多个第二图像块的特征值确定所述图像帧序列中每一帧图像的所述第二图像块的第二属性；
赋予所述第二属性为静止状态的所述第二图像块，在所述每一帧图像中的加权参数，并根据所述图像帧序列中位于同一位置的图像块加权参数得到加权参数组{K1(M，N),K2(M，N)，……，Kn(M，N)}，其中，K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＝Kn(M，N)＝1/n，Kn(M，N)表示所述第二图像块(M，N)在第n帧图像中的加权参数，Kn(M，N)∈[0，1]；
赋予所述第二属性为静止状态的所述第二图像块，在所述每一帧图像中的加权参数，并根据所述图像帧序列中位于同一位置的图像块加权参数得到加权参数组{K’1(M’，N’),K’2(M’，N’)，……，K’n(M’，N’)}，其中，K’1(M’，N’)＝K’2(M’，N’)＝……K’(n-1)(M，N)＝K’n(M，N)＝1/n，K’n(M’，N’)表示所述第二图像块(M’，N’)在第n帧图像中的加权参数，K’n(M’，N’)∈[0，1]；
赋予所述第二属性为移动状态的所述第二图像块，在所述每一帧图像中的加权参数，并根据所述图像帧序列中位于同一位置的图像块加权参数得到加权参数组{K’1(M，N),K’2(M，N)，……，K’n(M，N)}，其中，K’1(M，N)＜K’2(M，N)＜……＜K’n(M，N)，或K’1(M，N)＝K’2(M，N)＝……＝K’(n-1)(M，N)＜K’n(M，N)，K’n(M，N)表示所述第二图像块(M’，N’)在第n帧图像中的加权参数，K’n(M，N)∈[0，1]。
进一步地，处理器110可以调用存储器109中存储的内窥镜的图像处理程序，还执行以下操作：
根据所述加权参数组与位于同一位置的未经二次划分的第二图像块和位于同一位置的所述多个第三图像块的图像信息，计算所述同一位置的图像块在不同图像帧的图像信息与所述加权参数组中对应的加权参数之间的乘积；
将所述每一图像块的所述乘积相加，得到所述多个图像块的目标图像信息。
参照图2，在第一实施例中，本发明提供一种内窥镜的图像处理方法，包括以下步骤：
步骤S11、获取包括有多帧图像的图像帧序列，并对所述图像帧序列中的每一帧图像进行划分，得到多个图像块；
本实施例中，所述内窥镜可以是具有一个摄像头的普通单目内窥镜，也可以是具有两个摄像头的双目立体内窥镜，还可以是具有多个摄像头的多目立体内窥镜。具体摄像头的数量可以根据实际需要合理设置。
在获取到预设数量帧M的图像时，这些图像即组成图像帧序列。其中，所述预设数量帧的选取可以与图像的噪声频率和图像输出频率相关。例如，当所述噪声频率较高时，可以增加M的取值大小；当所述噪声频率较低时，可以降低M的取值大小。当图像输出频率较低时，可以增加M的取值大小；当图像输出频率较高时，可以减小M的取值大小。
可以理解的是，可以在获取到每一帧图像时，即对当前帧图像进行图像块划分；也可以在获取到部分数量帧的图像时，同时对这些图像进行图像块划分；还可以在获取到预设数量帧的图像时，同时对所有的图像进行图像块划分。
其中，图像块划分的方式可以是均等划分和非均等划分。如图3所示，可以采用均等划分方式将图像均等划分为24个大小相等的正方形的图像块。如图4所示，可以采用非均等划分方式先将图像划分成4个大小相等的正方形的子图像块，然后再继续通过方块划分方式得到12个大小相等的正方形的次级子图像块。如图5所示，可以采用均等划分和非均等划分结合的方式，先将图像划分成6个大小相等的正方形子图像块A，然后再通过方块划分得到8个大小相等的正方形的次级子图像块B，再继续对其中的2个次级子图像块进行方块划分，得到8个再次级子图像块C。
图5中上图右侧为非方块划分，所述非方块划分包括垂直划分和水平划分。右下方的子图像块被水平划分为1、2两个子图像块，并被垂直划分为3、4、5三个子图像块。右上方的子图像块被水平和垂直划分为6个大小相同的次级子图像块。水平划分是指将对图像帧的对象分成多个沿水平方向排列的相同的子图像块；垂直划分就是指将当前图像块划分成多个沿垂直方向排列的相同的子图像块。
应理解，上述图像块不一定是规则的方块结构，还可以是其他规则形状或不规则形状。
所述多个图像块可以是当前帧图像的所有图像块，也可以是部分图像块，如目标图像块。
步骤S12、获取所述每一帧图像中所述多个图像块的特征值和图像信息；
本实施例中，所述特征值包括RGB值、灰度值、轮廓分布、角点、光流、运动梯度中的至少一种。
所述图像信息为对应图像块的各个坐标位置上的像素点的色彩分量信息，所述色彩分量信息为不同颜色模型对应的RGB值、HSV值、HSI值、CMYK值、HSL值、HSB值、Ycc值、XYZ值、Lab值、YUV值中的任一种。
可以理解的是，还可以获取一帧当前图像，对所述当前图像进行图像块划分，得到多个图像块的特征值，并确定各个图像块的属性如移动状态和静止状态。然后，根据所述各个图像块的属性对应调整下一帧图像的图像块划分方式，如图像特征信息变化较快的区域，可以增加划分图像块的密度；图像特征信息变化较慢的区域，可以降低划分图像块的密度。
步骤S13、根据所述特征值确定所述多个图像块中每一图像块在所述每一帧图像中的属性；
本实施例中，可以计算当前帧图像与前一帧图像中的所述多个图像块中对应每一图像块之间的特征差值，来确定每一图像块在其对应的图像中的运动属性，然后根据所述运动属性确定每一图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组；还可以计算所述多个图像块中每一图像块在所述图像帧序列中对应的平均特征值，计算当前帧图像中各个图像块的特征值与各自对应的所述平均特征值之间的特征差值，来确定每一图像块在其对应的图像中的运动属性，然后根据所述运动属性确定每一图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组。
根据特征值确定所述多个图像块中每一图像块在所述每一帧图像中的属性的具体方法同上，此处不再赘述。当然，在其他实施例中，还可以结合其他参数值来确定所述多个图像块的属性，或采用其他合理方法来确定所述多个图像块的属性。
步骤S14、根据所述属性确定所述多个图像块中每一图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组；
本实施例中，在所述属性为移动状态时，赋予属性为移动状态的所述图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组为{K1(M，N),K2(M，N)，……，Kn(M，N)}，Kn(M，N)表示图像块(M，N)在第n帧图像中的加权参数，Kn(M，N)∈[0，1]。
其中，K1(M，N)＜K2(M，N)＜……＜Kn(M，N)，即图像块(M，N)在第1帧图像中的加权参数小于所述图像块(M，N)在第2帧图像中的加权参数，所述图像块(M，N)在第2帧图像中的加权参数小于所述图像块(M，N)在第3帧图像中的加权参数，并依次类推，所述图像块(M，N)在第n帧图像中的加权参数最大，通常是当前帧图像的加权参数最大。
或K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＜Kn(M，N)，即图像块(M，N)在第1帧图像中的加权参数等于所述图像块(M，N)在第2帧图像中的加权参数，所述图像块(M，N)在第2帧图像中的加权参数等于所述图像块(M，N)在第3帧图像中的加权参数，并依次类推直至所述图像块(M，N)在第(n-1)帧图像中的加权参数小于所述图像块(M，N)在第n帧图像中的加权参数，所述图像块(M，N)在第n帧图像中的加权参数最大，通常是当前帧图像的加权参数最大。
或所述K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＝0，Kn(M，N)＝1，即所述图像块(M，N)直接采用第n帧图像的特征值，舍弃其他图像帧对应的图像块的特征值。
在所述属性为静止状态时，赋予属性为静止状态的所述图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组{K1(M，N),K2(M，N)，……，Kn(M，N)}，其中，K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＝Kn(M，N)＝1/n。
本实施例中，在所述属性为静止状态时，赋予属性为静止状态的所述图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组为{K1(M，N),K2(M，N)，……，Kn(M，N)}，Kn(M，N)表示图像块(M，N)在第n帧图像中的加权参数，Kn(M，N)∈[0，1]。
其中，K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＝Kn(M，N)＝1/n，即图像块(M，N)在第n帧图像中的加权参数相等。
可以理解的是，在获取到所述图像帧序列中位于同一位置的图像块的加权参数组，对所述图像帧序列进行加权平均计算时，具体计算方式如下：
根据所述加权参数组和位于同一位置的图像块的图像信息，进行加权平均计算，得到对应所述同一位置的目标图像块的目标图像信息为F(M，N)：
F(M，N)＝K1*f(i+1)+K2*f(i+2)+…+Kn*f(i+N)；
其中，f(i+N)表示每帧图像对应的图像块的图像信息；K1、K2…Kn为图像帧序列中不同图像帧中位于同一位置的图像块的加权参数，取值范围为[0，1]。
步骤S15、根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到所述多个图像块的目标图像信息；
步骤S16、将所述多个图像块的目标图像信息合成目标图像帧。
本实施例中，根据所述加权参数组与位于同一位置的图像块的图像信息，计算所述同一位置的图像块在不同图像帧的图像信息与所述加权参数组中对应的加权参数之间的乘积，然后将同一位置的图像块的所述乘积相加，得到对应所述同一位置的目标图像块的目标图像信息。可以理解的是，在合成目标图像帧时，还可以结合其他信息，如图像块的位置等信息。
应理解，本发明提及的同一位置是指所述图像帧序列中，不同图像帧之间坐标相同的图像块。当然，位于同一位置的图像块其大小可以相同，也可以不同。也即，上述不同图像之间的图像块划分方式可以相同，也可以近似相同。
本发明提供的内窥镜的图像处理方法，通过获取包括有多帧图像的图像帧序列，并对所述图像帧序列中的每一帧图像进行划分，得到多个图像块，然后获取所述每一帧图像中所述多个图像块的特征值和图像信息，根据所述属性确定所述多个图像块中每一图像块在所述每一帧图像中的加权参数，再根据所述图像帧序列中位于同一位置的图像块的加权参数得到加权参数组，进一步根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到所述多个图像块的目标图像信息，最后将所述多个图像块的目标图像信息合成目标图像帧。如此，根据图像块的属性赋予每一图像块对应不同图像帧的加权参数，经过不同加权参数的加权平均，可以在图像中存在移动速度较快的运动物体时，防止图像产生拖尾现象。
在第二实施例中，基于第一实施例，所述步骤S131包括：
步骤S1311、根据所述每一帧图像中所述多个图像块的特征值，计算当前帧图像与前一帧图像的所述多个图像块中对应的每一图像块之间的特征差值；
本实施例中，可以选择RGB值、灰度值、轮廓分布、角点、光流、运动梯度中的任一种、任两种或两种以上的特征值，计算对应的特征差值。
以计算得到灰度特征差值Sy为例，Sy＝Syi-Syi-1，i表示第i帧图像。
可以理解的是，当选择两种或两种以上的特征值时，可以分别计算两个或多个特征值各自的特征差值；也可以分别计算两个或多个特征值各自的特征差值，然后将计算的两个或多个差值拟合成一个综合特征差值。
步骤S1312、在所述特征差值大于第一预设阈值时，确定所述图像块的属性为移动状态；
步骤S1313、在所述特征差值小于或等于所述第一预设阈值时，确定所述图像块的属性为静止状态。
本实施例中，当选择一种特征值时，将计算的特征差值与对应的第一预设阈值进行比较，若所述特征差值大于所述第一预设阈值，则确定所述图像块的属性为移动状态；若所述特征差值小于或等于所述第一预设阈值，则确定所述图像块的属性为静止状态。
当选择两种或两种以上特征值时，分别计算两个或多个特征值各自的特征差值，若其中任一特征差值大于其对应的所述第一预设阈值，则确定所述图像块的属性为移动状态；反之，若其中任一所述特征差值小于或等于所述第一预设阈值，则确定所述图像块的属性为静止状态。或若其中所有特征差值大于各自对应的所述第一预设阈值，则确定所述图像块的属性为移动状态；反之，若所有特征差值小于或等于各自对应的所述第一预设阈值，则确定所述图像块的属性为静止状态。
当选择两种或两种以上特征值，并计算得到综合特征差值时，将计算得到的所述综合特征差值与对应的第一预设阈值进行比较，若所述综合特征差值大于所述第一预设阈值，则确定所述图像块的属性为移动状态；若所述综合特征差值小于或等于所述第一预设阈值，则确定所述图像块的属性为静止状态。
在第三实施例中，基于第一实施例，所述步骤S13包括：
步骤S133、根据所述每一帧图像中所述多个图像块的特征值，计算所述多个图像块中每一图像块在所述图像帧序列中对应的平均特征值；
本实施例中，可以选择RGB值、灰度值、轮廓分布、角点、光流、运动梯度中的任一种、任两种或两种以上的特征值，计算对应的平均特征差值。
以计算得到灰度平均特征值为例，
Figure BDA0002616427470000181
i表示第i帧图像。
步骤S134、计算当前帧图像中各个图像块的特征值与各自对应的所述平均特征值之间的特征差值；
本实施例中，以计算得到灰度特征差值Sy为例，Sy＝Syi-(Syi-1+Syi-2+…Syi-n)/n，i表示第i帧图像。
可以理解的是，当选择两种或两种以上的特征值时，可以分别计算两个或多个特征值各自的特征差值；也可以分别计算两个或多个特征值各自的特征差值，然后将计算的两个或多个差值拟合成一个综合特征差值。
步骤S135、在所述特征差值大于第二预设阈值时，确定所述图像块的属性为移动状态；
步骤S136、在所述特征差值小于或等于所述第二预设阈值时，确定所述图像块的属性为静止状态。
本实施例中，当选择一种特征值时，将计算的特征差值与对应的第二预设阈值进行比较，若所述特征差值大于所述第二预设阈值，则确定所述图像块的属性为移动状态；若所述特征差值小于或等于所述第二预设阈值，则确定所述图像块的属性为静止状态。
当选择两种或两种以上特征值时，分别计算两个或多个特征值各自的特征差值，若其中任一特征差值大于其对应的所述第二预设阈值，则确定所述图像块的属性为移动状态；反之，若其中任一所述特征差值小于或等于所述第二预设阈值，则确定所述图像块的属性为静止状态。或若其中所有特征差值大于各自对应的所述第二预设阈值，则确定所述图像块的属性为移动状态；反之，若所有特征差值小于或等于各自对应的所述第二预设阈值，则确定所述图像块的属性为静止状态。
当选择两种或两种以上特征值，并计算得到综合特征差值时，将计算得到的所述综合特征差值与对应的第二预设阈值进行比较，若所述综合特征差值大于所述第二预设阈值，则确定所述图像块的属性为移动状态；若所述综合特征差值小于或等于所述第二预设阈值，则确定所述图像块的属性为静止状态。
参照图6，在第五实施例中，本发明还提供一种内窥镜的图像处理方法，包括以下步骤：
步骤S21、获取手术机器人的操作臂的运动信息以及所述手术机器人的内窥镜的参数信息；
本实施例中，如图7所示，手术机器人通常包括主操作台1及从操作设备2，主操作台1用于根据医生的操作向从操作设备发送控制命令，以控制从操作设备2；从操作设备2用于响应主操作台1发送的控制命令，并进行相应的手术操作。所述从操作设备2包括机械臂21、设置于机械臂上的动力机构22以及操作臂23，所述操作臂23用于在动力机构22的驱动作用下伸入体内，通过其位于远端的末端器械执行手术操作，及/或通过其位于远端的内窥镜获取体内影像。所述主操作台1还用于显示操作设备获取的影像。
如图8(适用于单孔手术)和图9(适用多孔手术)所示，所述操作臂23的远端连接有末端器械25或连接有内窥镜26。可以通过运动传感器27如位置传感器、速度传感器、位移传感器、磁传感器以及力传感器等，获取所述操作臂的多个运动传感器的运动传感器信息，然后根据所述运动传感器信息得到所述操作臂的运动状态、运动速度、运动加速度、位置信息以及位姿信息中的至少一种运动信息。当然，所述运动信息还可以包括：关节信息(包括关节节点坐标、关节长度)、移动信息、末端开合信息、末端受力信息等，此时，需获取所述操作臂的几何信息和直径等。所述内窥镜的参数信息包括所述内窥镜的视场角、焦距以及偏移量中的至少一种。
其中，获取所述运动信息中的位姿信息的方式可以为：获取所述手术机器人的基坐标系，并根据所述位置信息构建所述操作臂相对所述基坐标系的第一运动方程，以及所述内窥镜相对所述基坐标系的第二运动方程，然后根据所述第一运动方程和所述第二运动方程计算得到所述操作臂相对所述内窥镜的位姿信息。所述基坐标系可以选择手术机器人的多个位置，如图10(适用于单孔手术)和图11(适用多孔手术)所示，可以以坐标系{A}作为所述基坐标系，或选择运动过程中无相对运动的结构的静止坐标系如机械臂的坐标系{B0}或内窥镜的坐标系{Bc0}作为所述基坐标系。
以下以坐标系{B}作为基坐标系，然后计算所述操作臂相对所述基坐标系{B}的坐标变换矩阵，即得到所述第一运动方程：
Figure BDA0002616427470000191
其中，
Figure BDA0002616427470000192
tn表示所述操作臂上的第n个特征点的坐标系，n表示所述特征点tn所在的连杆序号。本实施例中，所述n＝3。
计算内窥镜的坐标系{C}到基坐标系{B}的坐标变换矩阵，即得到所述第二运动方程：
Figure BDA0002616427470000201
其中，
Figure BDA0002616427470000202
c表示所述内窥镜的坐标系，m表示所述操作臂上的连杆的数量。
再根据所述第一运动方程和所述第二运动方程，计算所述操作臂相对所述内窥镜的坐标变换矩阵，即得到所述位姿信息：
Figure BDA0002616427470000203
可以理解的是，所述特征点是指所述连杆上预定的特征点，通常位于所述操作臂的关节处或所述关节之间的连杆上。
步骤S22、根据所述操作臂的运动信息以及所述内窥镜的参数信息，计算得到所述操作臂相对所述内窥镜的虚拟投影图像；
本实施例中，可以根据所述内窥镜的参数信息构建内窥镜投影模型，然后根据所述内窥镜投影模型，以及所述操作臂的运动信息，计算得到所述操作臂相对所述内窥镜的虚拟投影图像。
具体地，所述步骤S22可以进一步包括：
步骤S221、根据所述内窥镜的参数信息构建内窥镜投影模型，得到所述内窥镜的虚拟投影平面；
本实施例中，可以根据所述内窥镜的参数信息如视场角、焦距以及偏移量中的至少一种，构建以所述内窥镜的位置为顶点的四面锥体，所述四面锥体的底面即为所述内窥镜的虚拟投影平面。当然，在其他实施例中，还可以构建其他类型的投影模型。
步骤S222、根据所述操作臂的运动信息和所述内窥镜投影模型，得到所述操作臂相对所述虚拟投影平面的可见区域和不可见区域；
本实施例中，可以根据各个关节节点相对所述内窥镜的的坐标，得到所述操作臂的各个关节在所述虚拟投影平面的可见区域和不可见区域。当然，在其他实施例中，还可以结合其他信息如所述操作臂的直径、关节长度等信息，进一步精确确定所述各个关节在所述虚拟投影平面的可见区域和不可见区域。
步骤S223、将所述可见区域投影至所述虚拟投影平面，得到包含所述可见区域的所述虚拟投影图像。
本实施例中，在得到所述操作臂的可见区域时，对应将所述操作臂的可见区域投影到所述虚拟投影平面，从而得到如图12所示的包含所述可见区域的所述虚拟投影图像。应理解，本发明中提及的所述虚拟投影平面为所述操作臂投影前的空白虚拟投影图像，当所述操作臂的可见区域投影到所述虚拟投影平面后，形成包含所述操作臂的投影图像的所述虚拟投影图像。
步骤S23、对所述虚拟投影图像进行划分，得到多个图像块，并根据所述运动信息确定所述多个图像块的第一属性；
本实施例中，对所述虚拟投影图像的划分方式可以是均等划分和非均等划分，具体方式同上，此处不再赘述。
根据所述运动信息确定所述多个图像块的第一属性，所述第一属性的描述可以是移动状态和静止状态，还可以是运动快状态、运动慢状态以及静止状态，也可以是运动速度或加速度的标识等方式。
如图14所示，以第一属性包括移动状态和静止状态为例，“√”表示图像块的第一属性为移动状态；“×”表示图像块的第一属性为静止状态。
步骤S24、读取所述内窥镜获取的包括有多帧图像的图像帧序列，并对所述图像帧序列中的每一帧图像进行划分，得到多个图像块，并获取所述多个图像块的特征值和图像信息；
本实施例中，在获取到预设数量帧M的图像时，这些图像即组成图像帧序列。其中，所述预设数量帧的选取可以与图像的噪声频率和图像输出频率相关。例如，当所述噪声频率较高时，可以增加M的取值大小；当所述噪声频率较低时，可以降低M的取值大小。当图像输出频率较低时，可以增加M的取值大小；当图像输出频率较高时，可以减小M的取值大小。
本实施例中，应理解，所述图像帧序列的图像块划分方式与所述虚拟投影图像的图像块划分方式相同。当然，在其他实施例中，若二者的图像块划分方式部分相同也能实现本发明方案，则二者的图像块划分方式也可不同。所述特征值包括RGB值、灰度值、轮廓分布、角点、光流、运动梯度中的至少一种。所述图像信息为对应图像块的各个坐标位置上的像素点的色彩分量信息，所述色彩分量信息为不同颜色模型对应的RGB值、HSV值、HSI值、CMYK值、HSL值、HSB值、Ycc值、XYZ值、Lab值、YUV值中的任一种。
步骤S25、将所述虚拟投影图像的图像块与所述多帧图像的图像块进行匹配，得到所述每一帧图像中每一图像块与所述第一属性对应的第二属性；
本实施例中，将所述图像帧序列中的每一帧图像与虚拟投影图像的坐标位置相同的图像块进行属性的一一匹配。如图15所示，以当前帧为例，将当前帧与虚拟投影图像的坐标位置相同的图像块进行属性的一一匹配，也即所述当前图像帧的图像块(M，N)与所述虚拟投影图像的图像块(M，N)的属性相同。
步骤S26、根据所述第二属性，确定所述多个图像块中每一图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组；
本实施例中，以第二属性包括移动状态和静止状态为例，在所述第二属性为移动状态时，赋予第二属性为移动状态的所述图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组为{K1(M，N),K2(M，N)，……，Kn(M，N)}，Kn(M，N)表示图像块(M，N)在第n帧图像中的加权参数，Kn(M，N)∈[0，1]。
其中，K1(M，N)＜K2(M，N)＜……＜Kn(M，N)，即图像块(M，N)在第1帧图像中的加权参数小于所述图像块(M，N)在第2帧图像中的加权参数，所述图像块(M，N)在第2帧图像中的加权参数小于所述图像块(M，N)在第3帧图像中的加权参数，并依次类推，所述图像块(M，N)在第n帧图像中的加权参数最大，通常是当前帧图像的加权参数最大。
或K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＜Kn(M，N)，即图像块(M，N)在第1帧图像中的加权参数等于所述图像块(M，N)在第2帧图像中的加权参数，所述图像块(M，N)在第2帧图像中的加权参数等于所述图像块(M，N)在第3帧图像中的加权参数，并依次类推直至所述图像块(M，N)在第(n-1)帧图像中的加权参数小于所述图像块(M，N)在第n帧图像中的加权参数，所述图像块(M，N)在第n帧图像中的加权参数最大，通常是当前帧图像的加权参数最大。
或所述K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＝0，Kn(M，N)＝1，即所述图像块(M，N)直接采用第n帧图像的特征值，舍弃其他图像帧对应的图像块的特征值。
在所述第二属性为静止状态时，赋予第二属性为静止状态的所述图像块所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组{K1(M，N),K2(M，N)，……，Kn(M，N)}，其中，K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＝Kn(M，N)＝1/n。
本实施例中，在所述第二属性为静止状态时，赋予第二属性为静止状态的所述图像块所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组为{K1(M，N),K2(M，N)，……，Kn(M，N)}，Kn(M，N)表示图像块(M，N)在第n帧图像中的加权参数，Kn(M，N)∈[0，1]。
其中，K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＝Kn(M，N)＝1/n，即图像块(M，N)在第n帧图像中的加权参数相等。
以所述第二属性为运动速度或加速度为例，赋予所述图像块在所述图像帧序列中的加权参数组{V1*K1(M，N),V2*K2(M，N)，……，Vn*Kn(M，N)}，其中，V1*K1(M，N)+V2*K2(M，N)，+……+Vn*Kn(M，N)＝1，Kn(M，N)表示图像块(M，N)在第n帧图像中的加权参数，Kn(M，N)∈[0，1]，Vn表示图像块(M，N)在第n帧图像中的运动速度或加速度。
步骤S27、根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到所述多个图像块的目标图像信息；
本实施例中，根据所述加权参数组与位于同一位置的图像块的图像信息，计算所述同一位置的图像块在不同图像帧的图像信息与所述加权参数组中对应的加权参数之间的乘积，然后将同一位置的图像块的所述乘积相加，得到对应所述同一位置的目标图像块的目标图像信息。可以理解的是，在合成目标图像帧时，还可以结合其他信息，如图像块的位置等信息。
在获取到所述图像帧序列中位于同一位置的图像块的加权参数组，对所述图像帧序列进行加权平均计算时，具体计算方式如下：
根据所述加权参数组和位于同一位置的图像块的特征值，进行加权平均计算，得到对应所述同一位置的目标图像块的目标图像信息为F(M，N)：
F(M，N)＝K1*f(i+1)+K2*f(i+2)+…+Kn*f(i+N)；
其中，f(i+N)表示每帧图像对应的图像块的图像信息；K1、K2…Kn为图像帧序列中不同图像帧中位于同一位置的图像块的加权参数，取值范围为[0，1]。
步骤S28、将所述多个图像块的目标图像信息合成目标图像帧。
本实施例中，在得到多个所述目标图像块的目标图像信息时，将所述多个目标图像块合成新的目标图像帧。由于本实施例根据图像块的图像信息赋予每一图像块对应不同图像帧的加权参数，从而可以在图像中存在移动速度较快的运动物体时，防止图像产生拖尾现象。
本发明提供的内窥镜的图像处理方法，通过获取手术机器人的操作臂的运动信息以及所述手术机器人的内窥镜的参数信息，计算得到所述操作臂相对所述内窥镜的虚拟投影图像，然后对所述虚拟投影图像进行划分，得到多个图像块，再根据所述运动信息确定所述多个图像块的第一属性，读取所述内窥镜获取的包括有多帧图像的图像帧序列，并对所述图像帧序列中的每一帧图像进行划分，得到多个图像块，获取所述多个图像块的特征值和图像信息，将所述虚拟投影图像的图像块与所述多帧图像的图像块进行匹配，得到所述每一帧图像中每一图像块与所述第一属性对应的第二属性，再根据所述第二属性，确定所述多个图像块中每一图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组，根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到所述多个图像块的目标图像信息，最后将所述多个图像块的目标图像信息合成目标图像帧。如此，根据图像块的属性赋予每一图像块对应不同图像帧的加权参数，经过不同加权参数的加权平均，可以在图像中存在移动速度较快的运动物体时，防止图像产生拖尾现象。
在第六实施例中，基于第五实施例，所述步骤S23中所述根据所述运动信息确定所述多个图像块的属性的步骤包括：
步骤S231、在所述运动信息为运动状态时，根据所述运动状态确定运动操作臂和静止操作臂；
本实施例中，所述运动状态包括移动状态和静止状态。如图16所示，可以根据所述操作臂的移动状态或静止状态，对应标识运动操作臂和静止操作臂。
步骤S232、获取所述运动操作臂在所述虚拟投影图像上的运动图像块，并对应标记所述运动图像块的属性为移动状态，获取所述静止操作臂在所述虚拟投影图像上的静止图像块，并对应标记所述静止图像块的属性为静止状态。
本实施例中，如图17所示，获取所述运动操作臂在所述虚拟投影图像上的图像块分别为(1，1)，(1，2)，(2，2)，(2，3)，并对应标记这些图像块的属性为移动状态，用“√”表示；获取所述静止操作臂在所述虚拟投影图像上的图像块分别为(5，2)，(5，3)，(6，1)，(6，2)，并分别标记这些图像块的属性为静止状态，用“×”表示。
在第七实施例中，基于第五实施例，所述步骤S23中所述根据所述运动信息确定所述多个图像块的属性的步骤包括：
步骤S233、在所述运动信息为运动速度或运动加速度时，根据所述运动速度或运动加速度确定运动操作臂和静止操作臂；
本实施例中，可以直接根据所述操作臂的运动速度或运动加速度确定运动操作臂和静止操作臂。例如，当所述运动速度或运动加速度为零时，则确定所述操作臂为静止操作臂，反之，当所述运动速度或运动加速度大于零时，则确定所述操作臂为运动操作臂。
步骤S234、获取所述运动操作臂在所述虚拟投影图像上的图像块，并对应标记所述运动图像块的运动速度或运动加速度以及所述运动图像块的属性为移动状态，获取所述静止操作臂在所述虚拟投影图像上的静止图像块，并对应标记所述静止图像块的属性为静止状态。
本实施例中，同上实施例，获取所述运动操作臂在所述虚拟投影图像上的图像块，并对应标记这些图像块的属性为移动状态，用“√”表示；获取所述静止操作臂在所述虚拟投影图像上的图像块，并分别标记这些图像块的属性为静止状态，用“×”表示。
在其他实施例中，还可以结合所述图像块的运动速度或运动加速度的大小，直接将所述运动速度或运动加速度标记在对应的图像块上，以根据不同的运动速度或运动加速度确定所述加权参数组。
在其他实施例中，还可以根据所述运动信息计算所述操作臂的投影点在所述虚拟投影图像上的运动速度，并根据所述运动速度对应标记所述图像块的速度，并在所述运动速度大于零时，标记所述图像块的属性为移动状态，用“√”表示；在所述运动速度等于零时，标记所述图像块的属性为静止状态，用“×”表示。应理解，所述操作臂在所述虚拟投影平面上的投影点为多个，不同部位对应的投影点具有不同的运动速度。具体可以预设所述操作臂的特征点，获取所述操作臂的特征点在所述虚拟投影平面上的运动速度，并根据位置微分的方法计算得到所述操作臂的投影点在所述虚拟投影图像上的运动速度。当然，在其他实施例中并不限于位置微分的方法，还可以为其他合理的方法。
可以理解的是，根据获取的所述操作臂的运动信息，可以采用正运动学雅各比矩阵可以计算得到所述操作臂的运动速度。
在其他实施例中，当检测到所述内窥镜移动时，可以认为所述虚拟投影平面都在运动，从而可以将所有的图像块均标记为移动状态；还可以根据所述操作臂的运动速度，对应标记所述图像块的运动速度；还可以计算所述内窥镜与所述操作臂之间的相互运动关系，此时，所述操作臂的不同投影点相对所述虚拟投影平面具有不同的运动速度，从而可以在对应不同的图像块上标记不同的运动速度。
参照图18，在第九实施例中，本发明还提供一种内窥镜的图像处理方法，包括以下步骤：
步骤S31、获取手术机器人的操作臂的运动信息以及所述手术机器人的内窥镜的参数信息；
本实施例中，如图7所示，手术机器人通常包括主操作台1及从操作设备2，主操作台1用于根据医生的操作向从操作设备发送控制命令，以控制从操作设备2；从操作设备2用于响应主操作台1发送的控制命令，并进行相应的手术操作。所述从操作设备2包括机械臂21、设置于机械臂上的动力机构22以及操作臂23，所述操作臂23用于在动力机构22的驱动作用下伸入体内，通过其位于远端的末端器械执行手术操作，及/或通过其位于远端的内窥镜获取体内影像。所述主操作台1还用于显示操作设备获取的影像。
如图8(适用于单孔手术)和图9(适用多孔手术)所示，所述操作臂23的远端连接有末端器械25或连接有内窥镜26。可以通过运动传感器27如位置传感器、速度传感器、位移传感器、磁传感器以及力传感器等，获取所述操作臂的多个运动传感器的运动传感器信息，然后根据所述运动传感器信息得到所述操作臂的运动状态、运动速度、运动加速度、位置信息以及位姿信息中的至少一种运动信息。当然，所述运动信息还可以包括：关节信息(包括关节节点坐标、关节长度)、移动信息、末端开合信息、末端受力信息等，此时，需获取所述操作臂的几何信息和直径等。所述内窥镜的参数信息包括所述内窥镜的视场角、焦距以及偏移量中的至少一种。
其中，获取所述运动信息中的位姿信息的方式可以为：获取所述手术机器人的基坐标系，并根据所述位置信息构建所述操作臂相对所述基坐标系的第一运动方程，以及所述内窥镜相对所述基坐标系的第二运动方程，然后根据所述第一运动方程和所述第二运动方程计算得到所述操作臂相对所述内窥镜的位姿信息。所述基坐标系可以选择手术机器人的多个位置，如图10(适用于单孔手术)和图11(适用多孔手术)所示，可以以坐标系{A}作为所述基坐标系，或选择运动过程中无相对运动的结构的静止坐标系如机械臂的坐标系{B0}或内窥镜的坐标系{Bc0}作为所述基坐标系。
以下以坐标系{B}作为基坐标系，然后计算所述操作臂相对所述基坐标系{B}的坐标变换矩阵，即得到所述第一运动方程：
Figure BDA0002616427470000271
其中，
Figure BDA0002616427470000272
tn表示所述操作臂上的第n个特征点的坐标系，n表示所述特征点tn所在的连杆序号。本实施例中，所述n＝3。
计算内窥镜的坐标系{C}到基坐标系{B}的坐标变换矩阵，即得到所述第二运动方程：
Figure BDA0002616427470000273
其中，
Figure BDA0002616427470000274
c表示所述内窥镜的坐标系，m表示所述操作臂上的连杆的数量。
再根据所述第一运动方程和所述第二运动方程，计算所述操作臂相对所述内窥镜的坐标变换矩阵，即得到所述位姿信息：
Figure BDA0002616427470000275
可以理解的是，所述特征点是指所述连杆上预定的特征点，通常位于所述操作臂的关节处或所述关节之间的连杆上。
步骤S32、根据所述操作臂的运动信息以及所述内窥镜的参数信息，计算得到述操作臂相对所述内窥镜的第一虚拟投影图像，所述第一虚拟投影图像包括所述操作臂的投影图像；
本实施例中，可以根据所述内窥镜的参数信息构建内窥镜投影模型，然后根据所述内窥镜投影模型，以及所述操作臂的运动信息，计算得到所述操作臂相对所述内窥镜的第一虚拟投影图像，所述第一虚拟投影图像包括所述操作臂的投影图像。
具体地，所述步骤S32可以进一步包括：
步骤S321、根据所述内窥镜的参数信息构建内窥镜投影模型，得到所述内窥镜的虚拟投影平面；
本实施例中，可以根据所述内窥镜的参数信息如视场角、焦距以及偏移量中的至少一种，构建以所述内窥镜的位置为顶点的四面锥体，所述四面锥体的底面即为所述内窥镜的虚拟投影平面。当然，在其他实施例中，还可以构建其他类型的投影模型。
步骤S322、根据所述操作臂的运动信息和所述内窥镜投影模型，得到所述操作臂相对所述虚拟投影平面的可见区域和不可见区域；
本实施例中，可以根据各个关节节点相对所述内窥镜的的坐标，得到所述操作臂的各个关节在所述虚拟投影平面的可见区域和不可见区域。当然，在其他实施例中，还可以结合其他信息如所述操作臂的直径、关节长度等信息，进一步精确确定所述各个关节在所述虚拟投影平面的可见区域和不可见区域。
步骤S323、将所述可见区域投影至所述虚拟投影平面，得到包含所述可见区域的所述第一虚拟投影图像。
本实施例中，在得到所述操作臂的可见区域时，对应将所述操作臂的可见区域投影到所述第一虚拟投影平面，从而得到如图12所示的包含所述可见区域的所述第一虚拟投影图像。
步骤S33、对所述第一虚拟投影图像进行划分，得到多个第一图像块，并根据所述运动信息确定所述多个第一图像块的第一属性；
本实施例中，对所述第一虚拟投影图像的划分方式可以是均等划分和非均等划分，具体方式同上，此处不再赘述。但与前面实施例不同的地方在于，所述多个第一图像块的大小大于上述其他实施例中的所述多个图像块的大小，以对所述第一虚拟投影图像进行粗划分。
根据所述运动信息确定所述多个图像块的第一属性，所述第一属性的描述可以是移动状态和静止状态，还可以是运动快状态、运动慢状态以及静止状态，还可以是运动速度或加速度的标识等方式。以第一属性包括移动状态和静止状态为例，“√”表示图像块的第一属性为移动状态；“×”表示图像块的第一属性为静止状态。
在其他实施例中，在得到所述操作臂的投影图像时，对所述操作臂的投影图像进行预设比例的扩大，得到包含扩大后的所述操作臂的投影图像的所述第一虚拟投影图像。所述预设比例的扩大可以是：
对完整的所述操作臂的投影图像进行预设比例的放大。也可以如图13所示，获取所述操作臂的投影图像的多个关节特征点a、b、c等，各个所述关节特征点为所述操作臂的关节中心点，然后以各个所述关节特征点为原点、以各自对应的预设半径作圆得到多个特征圆，具体地：分别以a为圆心，以半径R1作圆；以b为圆心，以半径R2作圆；以c为圆心，以半径R3作圆，得到三个圆。然后获取相邻两个特征圆的公切线L1和L2，将多个所述公切线如L1和L2连接得到扩大后的所述操作臂的投影图像。可以理解的是，各个半径R1、R2、R3之间的比例关系可以与各个关节特征点对应的初始半径R01、R02、R03之间的比例关系相等，例如：若R01：R02：R03＝1:1.2:1.5，则R1：R2：R3＝1:1.2:1.5。可以理解的是，还可以获取所述操作臂的投影图像在所述虚拟投影图像的边界处的特征点d，并以所述特征点为圆心，以半径R4作圆(图中未示出)，然后作相邻两个特征圆的公切线，并将公切线进行连接。由于本实施例对所述操作臂的投影图像进行了扩大，相对于没有扩大的所述操作臂的投影图像，对图像块属性的确定更精准。
步骤S34、读取所述内窥镜获取的包括有多帧图像的图像帧序列，并对所述图像帧序列中的每一帧图像进行划分，得到多个与所述第一图像块对应的第二图像块，并将所述第一图像块与所述第二图像块进行匹配，得到每一帧图像中所述多个第二图像块与所述第一属性对应的第二属性；
本实施例中，应理解，所述图像帧序列中的每一帧图像的图像块划分方式与所述第一虚拟投影图像的第二图像块划分方式相同或相似。将所述每一帧图像与所述第一虚拟投影图像的坐标位置相同的第一图像块进行属性的一一匹配，也即所述每一帧图像的第一图像块(M，N)与所述第一虚拟投影图像的第一图像块(M，N)的属性相同。所述属性的描述可以是移动状态和静止状态，还可以是运动快状态、运动慢状态以及静止状态，也可以是运动速度或加速度的标识等方式。以下实施例以所述第二属性包括移动状态和静止状态为例进行说明。
本实施例中，在获取到预设数量帧M的图像时，这些图像即组成图像帧序列。其中，所述预设数量帧的选取可以与图像的噪声频率和图像输出频率相关。例如，当所述噪声频率较高时，可以增加M的取值大小；当所述噪声频率较低时，可以降低M的取值大小。当图像输出频率较低时，可以增加M的取值大小；当图像输出频率较高时，可以减小M的取值大小。
步骤S35、对所述第二属性为移动状态的第二图像块进行二次划分，得到多个第三图像块；
本实施例中，在所述第二图像块的第二属性为移动状态时，对所述每一帧图像的所述第二图像块进行二次划分，可以理解的是，对所述第二图像块的二次划分方式可以是均等划分和非均等划分。具体方式同第一实施例，此处不再赘述。而对其他所述第二属性为静止状态的所述第二图像块，不进行二次划分。
步骤S36、获取所述每一帧图像的每一第二图像块和每一第三图像块的特征值和图像信息，并根据每一第三图像块的特征值确定每一第三图像块的第三属性；
本实施例中，所述每一帧图像中未经二次划分的每一第二图像块，以及每一第三图像块的特征值，可以包括RGB值、灰度值、轮廓分布、角点、光流、运动梯度中的至少一种。具体地，所述图像信息可以为对应图像块的各个坐标位置上的像素点的色彩分量信息，所述色彩分量信息为不同颜色模型对应的RGB值、HSV值、HSI值、CMYK值、HSL值、HSB值、Ycc值、XYZ值、Lab值、YUV值中的任一种。
同样地，所述第三属性的描述可以是移动状态和静止状态，还可以是运动快状态、运动慢状态以及静止状态，还可以是运动速度或加速度的标识等方式。此处不再赘述。
步骤S37、根据所述第二属性和所述第三属性分别确定未经二次划分的每一第二图像块和每一第三图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组；
本实施例中，可以计算当前帧图像与前一帧图像中对应的所述多个第二图像块或第三图像块中对应每一图像块之间的特征差值，来确定每一图像块在其对应的图像中的运动属性，然后根据所述运动属性确定每一图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组；还可以计算所述多个第二图像块或第三图像块中每一图像块在所述图像帧序列中对应的平均特征值，计算当前帧图像中各个图像块的特征值与各自对应的所述平均特征值之间的特征差值，来确定每一图像块在其对应的图像中的运动属性，然后根据所述运动属性确定每一图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组。
具体地，由于所述未经二次划分的所述多个第二图像块的属性均为静止状态，因此，可以赋予未经二次划分的所述第二图像块在所述图像帧序列中的加权参数组{K1(M，N),K2(M，N)，……，Kn(M，N)}，其中，K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＝Kn(M，N)＝1/n，Kn(M，N)表示所述第二图像块(M，N)在第n帧图像中的加权参数，Kn(M，N)∈[0，1]。
在所述第二图像块的第二属性为移动状态时，对所述第二图像块进行二次划分得到的多个第三图像块，此时，由于对所述第二图像块的细化可能会导致所述多个第三图像块之间的属性不同，如部分为移动状态、部分为静止状态。
当所述多个第三图像块的属性为静止状态时，赋予属性为静止状态的所述第三图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组{K’1(M’，N’),K’2(M’，N’)，……，K’n(M’，N’)}，其中，K’1(M’，N’)＝K’2(M’，N’)＝……K’(n-1)(M，N)＝K’n(M，N)＝1/n，K’n(M’，N’)表示所述第三图像块(M’，N’)在第n帧图像中的加权参数，K’n(M’，N’)∈[0，1]。
当所述多个第三图像块的属性为移动状态时，赋予属性为移动状态的所述第三图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组{K’1(M’，N’),K’2(M’，N’)，……，K’n(M’，N’)}，K’n(M’，N’)表示所述第三图像块(M’，N’)在第n帧图像中的加权参数，K’n(M’，N’)∈[0，1]。
其中，K’1(M’，N’)＜K’2(M’，N’)＜……＜K’n(M’，N’)，即图像块(M’，N’)在第1帧图像中的加权参数小于所述图像块(M’，N’)在第2帧图像中的加权参数，所述图像块(M’，N’)在第2帧图像中的加权参数小于所述图像块(M’，N’)在第3帧图像中的加权参数，并依次类推，所述图像块(M’，N’)在第n帧图像中的加权参数最大，通常是当前帧图像的加权参数最大。
或K’1(M’，N’)＝K’2(M’，N’)＝……＝K’(n-1)(M’，N’)＜K’n(M’，N’)，即图像块(M’，N’)在第1帧图像中的加权参数等于所述图像块(M’，N’)在第2帧图像中的加权参数，所述图像块(M’，N’)在第2帧图像中的加权参数等于所述图像块(M’，N’)在第3帧图像中的加权参数，并依次类推，直至所述图像块(M’，N’)在第(n-1)帧图像中的加权参数小于所述图像块(M’，N’)在第n帧图像中的加权参数，所述图像块(M’，N’)在第n帧图像中的加权参数最大，通常是当前帧图像的加权参数最大。
或所述K’1(M’，N’)＝K’2(M’，N’)＝……＝K’(n-1)(M’，N’)＝0，K’n(M’，N’)＝1，即所述图像块(M’，N’)直接采用第n帧图像的特征值，舍弃其他图像帧对应的图像块的特征值。
步骤S38、根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到对应所述同一位置的目标图像块的目标图像信息；
本实施例中，根据所述加权参数组与位于同一位置的未经二次划分的第二图像块和位于同一位置的所述多个第三图像块的图像信息，计算所述同一位置的图像块在不同图像帧的图像信息与所述加权参数组中对应的加权参数之间的乘积，然后将所述每一图像块的所述乘积相加，得到对应所述同一位置的目标图像块的目标图像信息。可以理解的是，在合成目标图像帧时，还可以结合其他信息，如图像块的位置等信息。
根据所述加权参数组和位于同一位置的图像块的图像信息，进行加权平均计算，得到对应所述同一位置的目标图像块的目标图像信息为F(M，N)：
F(M，N)＝{K1*f(i+1)+K2*f(i+2)+…+Kn*f(i+N)}+{K’1*f(i+1)+K’2*f(i+2)+…+K’n*f(i+N)}；
其中，f(i+N)表示每帧图像对应的图像块的图像信息；K1、K2…Kn为图像帧序列中每一帧图像对应所述第二图像块的加权参数，取值范围为[0，1]；K’1、K’2…K’n为图像帧序列中每一帧图像对应所述第三图像块的加权参数，取值范围为[0，1]。
步骤S39、将所述多个图像块的目标图像信息合成目标图像帧。
本实施例中，在得到多个所述目标图像块的目标图像信息时，将所述多个目标图像块合成新的目标图像帧。由于本实施例对图像块进行了粗化和细化两次划分，相比只有一次图像块划分的方案，可以更精确地确定图像块的属性，从而可以在图像中存在移动速度较快的运动物体时，进一步避免图像产生拖尾的现象。
本发明还提供一种图像处理装置，所述图像处理装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的内窥镜的图像处理程序；所述内窥镜的图像处理程序被所述处理器执行时实现如上所述的方法的步骤。
本实施例中，所述图像处理装置可以是普通单目内窥镜，也可以是双目或多目立体内窥镜，还可以是独立于所述立体内窥镜之外的装置，还可以是手术机器人。
具体地，如图7所示，手术机器人通常包括主操作台1及从操作设备2，主操作台1用于根据医生的操作向从操作设备发送控制命令，以控制从操作设备2；从操作设备2用于响应主操作台1发送的控制命令，并进行相应的手术操作。所述从操作设备2包括机械臂21、设置于机械臂上的动力机构22以及操作臂23，所述操作臂23用于在动力机构22的驱动作用下伸入体内，通过其位于远端的末端器械执行手术操作，及/或通过其位于远端的内窥镜获取体内影像。所述主操作台1还用于显示从操作设备获取的影像。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有内窥镜的图像处理程序，所述内窥镜的图像处理程序被处理器执行时实现如上所述的图像处理装置的图像处理方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台图像处理装置(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本发明各个实施例所述的方法。

Claims (10)

1.一种内窥镜的图像处理方法，其特征在于，所述内窥镜的图像处理方法包括：
获取包括有多帧图像的图像帧序列，并对所述图像帧序列中的每一帧图像进行划分，得到多个图像块；
获取所述每一帧图像中所述多个图像块的特征值和图像信息；
根据所述特征值确定所述多个图像块中每一图像块在所述每一帧图像中的属性；
根据所述属性确定所述多个图像块中每一图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组；
根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到所述多个图像块的目标图像信息；
将所述多个图像块的目标图像信息合成目标图像帧。
2.如权利要求1所述的内窥镜的图像处理方法，其特征在于，所述根据所述特征值确定所述多个图像块中每一图像块在所述每一帧图像中的属性的步骤包括：
根据所述每一帧图像中所述多个图像块的特征值，计算当前帧图像与前一帧图像的所述多个图像块中对应的每一图像块之间的特征差值；
在所述特征差值大于第一预设阈值时，确定所述图像块的属性为移动状态；
在所述特征差值小于或等于所述第一预设阈值时，确定所述图像块的属性为静止状态。
3.如权利要求1所述的内窥镜的图像处理方法，其特征在于，所述根据所述特征值确定所述多个图像块中每一图像块在所述每一帧图像中的属性的步骤包括：
根据所述每一帧图像中所述多个图像块的特征值，计算所述多个图像块中每一图像块在所述图像帧序列中对应的平均特征值；
计算当前帧图像中各个图像块的特征值与各自对应的所述平均特征值之间的特征差值；
在所述特征差值大于第二预设阈值时，确定所述图像块的属性为移动状态；
在所述特征差值小于或等于所述第二预设阈值时，确定所述图像块的属性为静止状态。
4.如权利要求1所述的内窥镜的图像处理方法，其特征在于，所述根据所述属性确定所述多个图像块中每一图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组的步骤包括：
在所述属性为移动状态时，赋予属性为移动状态的所述图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组{K1(M，N),K2(M，N)，……，Kn(M，N)}，其中，K1(M，N)＜K2(M，N)＜……＜Kn(M，N)，或K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＜Kn(M，N)，Kn(M，N)表示图像块(M，N)在第n帧图像中的加权参数，Kn(M，N)∈[0，1]。
5.如权利要求4所述的内窥镜的图像处理方法，其特征在于，所述K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＜Kn(M，N)中，K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＝0，Kn(M，N)＝1。
6.如权利要求1所述的内窥镜的图像处理方法，其特征在于，所述根据所述属性确定所述多个图像块中每一图像块在所述每一帧图像中的加权参数，并根据所述多帧图像位于同一位置的图像块的加权参数得到加权参数组的步骤包括：
在所述属性为静止状态时，赋予属性为静止状态的所述图像块在所述每一帧图像中的加权参数，并根据所述图像帧序列中位于同一位置的图像块的加权参数得到的加权参数组{K1(M，N),K2(M，N)，……，Kn(M，N)}，其中，K1(M，N)＝K2(M，N)＝……＝K(n-1)(M，N)＝Kn(M，N)＝1/n。
7.如权利要求4至6中任一项所述的内窥镜的图像处理方法，其特征在于，所述根据所述加权参数组和所述多帧图像的位于同一位置的图像块的所述图像信息，进行加权平均计算得到所述多个图像块的目标图像信息的步骤包括：
根据所述加权参数组与位于同一位置的图像块的图像信息，计算所述同一位置的图像块在不同图像帧的图像信息与所述加权参数组中对应的加权参数之间的乘积；
将同一位置的图像块的所述乘积相加，得到对应所述同一位置的目标图像块的目标图像信息。
8.如权利要求1所述的内窥镜的图像处理方法，其特征在于，所述特征值包括RGB值、灰度值、轮廓分布、角点、光流、运动梯度中的至少一种。
9.一种图像处理装置，其特征在于，所述图像处理装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的内窥镜的图像处理程序；
所述内窥镜的图像处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有内窥镜的图像处理程序，所述内窥镜的图像处理程序被处理器执行时实现如权利要求1至8中任一项所述的图像处理装置的图像处理方法的步骤。
CN202010770523.XA 2020-08-04 2020-08-04 内窥镜的图像处理方法、装置、存储介质 Active CN111770243B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010770523.XA CN111770243B (zh) 2020-08-04 2020-08-04 内窥镜的图像处理方法、装置、存储介质
PCT/CN2020/132540 WO2022027878A1 (zh) 2020-08-04 2020-11-28 内窥镜的图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010770523.XA CN111770243B (zh) 2020-08-04 2020-08-04 内窥镜的图像处理方法、装置、存储介质

Publications (2)

Publication Number Publication Date
CN111770243A true CN111770243A (zh) 2020-10-13
CN111770243B CN111770243B (zh) 2021-09-03

Family

ID=72729125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010770523.XA Active CN111770243B (zh) 2020-08-04 2020-08-04 内窥镜的图像处理方法、装置、存储介质

Country Status (1)

Country Link
CN (1) CN111770243B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022027878A1 (zh) * 2020-08-04 2022-02-10 深圳市精锋医疗科技有限公司 内窥镜的图像处理方法
CN115035152A (zh) * 2022-08-12 2022-09-09 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置以及相关设备
WO2024051697A1 (zh) * 2022-09-06 2024-03-14 维沃移动通信有限公司 图像融合方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076411A1 (en) * 2001-10-01 2003-04-24 Pentax Corporation Electronic endoscope with light-amount adjustment apparatus
US20140267853A1 (en) * 2013-03-18 2014-09-18 Seiko Precision Inc. Image pickup device and focal plane shutter
CN107113405A (zh) * 2015-01-20 2017-08-29 奥林巴斯株式会社 图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序和内窥镜装置
CN109410124A (zh) * 2016-12-27 2019-03-01 深圳开阳电子股份有限公司 一种视频图像的降噪方法及装置
CN111479072A (zh) * 2020-04-14 2020-07-31 深圳市道通智能航空技术有限公司 高动态范围图像合成方法、装置、图像处理芯片及航拍相机

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076411A1 (en) * 2001-10-01 2003-04-24 Pentax Corporation Electronic endoscope with light-amount adjustment apparatus
US20140267853A1 (en) * 2013-03-18 2014-09-18 Seiko Precision Inc. Image pickup device and focal plane shutter
CN107113405A (zh) * 2015-01-20 2017-08-29 奥林巴斯株式会社 图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序和内窥镜装置
CN109410124A (zh) * 2016-12-27 2019-03-01 深圳开阳电子股份有限公司 一种视频图像的降噪方法及装置
CN111479072A (zh) * 2020-04-14 2020-07-31 深圳市道通智能航空技术有限公司 高动态范围图像合成方法、装置、图像处理芯片及航拍相机

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022027878A1 (zh) * 2020-08-04 2022-02-10 深圳市精锋医疗科技有限公司 内窥镜的图像处理方法
CN115035152A (zh) * 2022-08-12 2022-09-09 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置以及相关设备
CN115035152B (zh) * 2022-08-12 2022-10-25 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置以及相关设备
WO2024051697A1 (zh) * 2022-09-06 2024-03-14 维沃移动通信有限公司 图像融合方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111770243B (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN111770243B (zh) 内窥镜的图像处理方法、装置、存储介质
JP3847753B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
EP3633606B1 (en) Information processing device, information processing method, and program
US20210152751A1 (en) Model training method, media information synthesis method, and related apparatuses
CN111787183B (zh) 内窥镜的图像处理方法、装置、存储介质
CN112581389A (zh) 虚拟视点深度图处理方法、设备、装置及存储介质
US11893705B2 (en) Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method
WO2022027878A1 (zh) 内窥镜的图像处理方法
CN113569896A (zh) 基于图像和深度数据进行对象3d定位的计算机实现方法
US20210118216A1 (en) Method of displaying a wide-format augmented reality object
JP4689548B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP7006810B2 (ja) ３次元計測装置、移動ロボット、手押し車型移動装置および３次元計測処理方法
JP2003346185A (ja) 情報表示システム及び携帯情報端末
JP2002032744A (ja) ３次元モデリング及び３次元画像作成のための装置及び方法
US11417063B2 (en) Determining a three-dimensional representation of a scene
US11847784B2 (en) Image processing apparatus, head-mounted display, and method for acquiring space information
JP5280940B2 (ja) 特定色検出回路
JP2000028354A (ja) ３次元画像処理装置
JP4505616B2 (ja) 固有空間学習装置、固有空間学習方法及び固有空間プログラム
CN113744364A (zh) 图像处理方法和装置
CN108921097B (zh) 人眼视角检测方法、装置及计算机可读存储介质
KR101893793B1 (ko) 컴퓨터 그래픽 영상의 실감도 증강을 위한 장치 및 방법
CN113557717A (zh) 信息处理装置、信息处理方法和程序
CN114419949B (zh) 一种汽车后视镜影像重建方法及后视镜
JP2001319225A (ja) ３次元入力装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant