CN113011418B - 确定图像中待处理区域的方法、装置、设备 - Google Patents
确定图像中待处理区域的方法、装置、设备 Download PDFInfo
- Publication number
- CN113011418B CN113011418B CN202110181068.4A CN202110181068A CN113011418B CN 113011418 B CN113011418 B CN 113011418B CN 202110181068 A CN202110181068 A CN 202110181068A CN 113011418 B CN113011418 B CN 113011418B
- Authority
- CN
- China
- Prior art keywords
- candidate region
- determining
- image
- region
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000006073 displacement reaction Methods 0.000 claims description 58
- 230000003902 lesion Effects 0.000 claims description 13
- 230000001186 cumulative effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000002674 endoscopic surgery Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Abstract
本申请公开了一种确定图像中待处理区域的方法、装置、设备，属于图像处理领域。所述方法包括：基于当前拍摄的目标图像以及预先训练的操作位置识别模型，确定所述目标图像中至少一个候选区域的位置；基于所述至少一个候选区域的位置，在所述至少一个候选区域中确定待处理区域。采用本申请能够直接在拍摄的图像中识别需要进行处理的区域，无需操控者调整摄像设备的拍摄位置和方向，简化了操控者使用操作工具的步骤。
Description
技术领域
本申请涉及图像处理领域，特别涉及一种确定图像中待处理区域的方法、装置、设备。
背景技术
随着科技的进步以及制造业的发展，人们可以使用各种各样的操作工具来完成一些对精确度要求较高的工作。例如工人通过远程控制安装有各种操作工具的机器人完成大型设备的检修工作，医生通过各种手术器械对患者进行手术。
在操控者使用各种操作工具完成相应的工作的过程中，为了便于操控者准确的操控操作工具，可以通过设置摄像设备对相应的操作区域进行拍摄，然后通过显示器对拍摄的画面进行显示。例如在进行内镜手术时，可以将内窥镜以及各种手术器械导入患者体内，摄像设备可以通过内窥镜对患者身体内部以及导入患者体内的手术器械进行拍摄，然后将拍摄的视频画面传输至显示器。医生可以通过显示器中显示的视频画面操控手术器械，对人体内部的病变部分进行手术。
为了便于操控者更清晰的观察到操作工具进行操作的区域，一般还可以对图像中操作工具当前正在操作的区域进行处理，然后对该区域中进行处理后的图像通过画中画形式进行显示，即在显示器中可以显示两个画面，一个画面显示可以显示摄像设备拍摄的图像，另一个画面显示度操作区域的图像进行处理后的图像。例如在进行内镜手术时，可以提高内窥镜拍摄的图像中包括病变部位的区域的显示亮度，然后对提高亮度的图像进行显示，从而使医生即能整体的观察通过内窥镜拍摄的图像，也能更清晰的观察到病变部位的图像。
在实现本申请的过程中，发明人发现相关技术至少存在以下问题：
在相关技术中，对摄像设备拍摄的图像进行处理的区域为图像中特定区域的画面。在实际操作中，操控者需要一直调整摄像设备的拍摄位置或拍摄方向，从而使需要进行处理的画面一直处在摄像设备拍摄图像中的特定区域内，但同时也在操控者使用操作工具的过程增加了多余的操作步骤。
发明内容
本申请实施例提供了一种确定图像中待处理区域的方法、装置、设备，能够直接在拍摄的图像中识别到需要进行处理的区域。所述技术方案如下：
一方面，提供了一种确定图像中待处理区域的方法，所述方法包括：
基于当前拍摄的目标图像以及预先训练的操作位置识别模型，得到所述目标图像中至少一个候选区域的位置；
基于所述至少一个候选区域的位置，在所述至少一个候选区域中确定待处理区域。
可选的，所述基于当前拍摄的目标图像以及预先训练的操作位置识别模型，得到所述目标图像中至少一个候选区域的位置，包括：
基于当前拍摄的目标图像以及预先训练的操作位置识别模型，得到所述目标图像中至少一个候选区域的位置以及至少一个操作工具的位置；
所述基于所述至少一个候选区域的位置，在所述至少一个候选区域中确定待处理区域，包括：
基于所述至少一个候选区域的位置以及至少一个操作工具的位置，在所述至少一个候选区域中确定待处理区域。
可选的，所述基于当前拍摄的目标图像以及预先训练的操作位置识别模型，得到所述目标图像中至少一个候选区域的位置以及至少一个操作工具的位置，包括：
将所述目标图像输入到所述预先训练的操作位置识别模型中，得到所述目标图像中至少一个候选区域的位置、至少一个操作工具的位置以及每个候选区域的位置对应的第一置信度；
所述基于所述至少一个候选区域的位置以及至少一个操作工具的位置，在所述至少一个候选区域中确定待处理区域，包括：
基于所述至少一个候选区域的位置、至少一个操作工具的位置，确定所述每个候选区域的位置对应的第二置信度；
基于所述每个候选区域的位置对应的第一置信度以及第二置信度，确定所述每个候选区域的位置的第三置信度；
将所述至少一个候选区域中对应第三置信度满足预设数值条件的候选区域，确定为待处理区域。
可选的，所述第二置信度包括第一子置信度、第二子置信度以及第三子置信度，所述基于所述至少一个候选区域的位置、至少一个操作工具的位置，确定所述每个候选区域的位置对应的第二置信度，包括：
分别确定每个候选区域的位置与所述目标图像的图像中心位置的第一相对距离，基于所述每个候选区域的位置对应第一相对距离确定对应的第一子置信度；
分别确定每个候选区域的位置与各操作工具的位置的第二相对距离，并基于每个操作工具在所述目标图像的位置，确定所述每个操作工具的在预设时长内的累计位移量，基于所述每个候选区域的位置分别与各操作工具的位置的第二相对距离以及所述每个操作工具对应的累计位移量，确定所述每个候选区域的位置对应的第二子置信度；
对于任一候选区域的位置，在所述预设时长内拍摄的视频图像中确定对应待处理区域的位置为所述任一候选区域的位置的参考图像，基于每个参考图像对应的拍摄时间，确定所述任一候选区域的位置对应的第三子置信度。
可选的，所述基于所述每个候选区域的位置对应的第一置信度以及第二置信度，确定所述每个候选区域的位置的第三置信度，包括：
基于预设的权重系数组，对所述每个候选区域的位置对应的第一置信度、第一子置信度、第二子置信度以及第三子置信度进行加权求和，得到所述每个候选区域的位置的第三置信度。
可选的，所述基于每个操作工具在所述目标图像的位置，确定所述每个操作工具的在预设时长内的累计位移量，包括：
对于所述目标图像中的每个操作工具的位置，基于所述操作工具在所述目标图像前一个拍摄的图像中的位置，确定所述操作工具在所述目标图像与所述前一个拍摄的视频图像中的第一位移量；基于所述第一位移量以及所述操作工具在所述预设时长内拍摄的视频图像中的第二位移量，确定与所述操作工具的在预设时长内的累计位移量。
可选的，所述在所述至少一个候选区域中确定待处理区域之后，所述方法还包括：
对所述目标图像中所述待处理区域的图像进行目标图像处理，得到处理后的目标图像；
对所述处理后的目标图像进行显示。
可选的，所述在所述至少一个候选区域中确定待处理区域之后，所述方法还包括：
获取所述目标图像对应的辅助显示图像，对所述辅助显示图像中对应所述待处理区域的图像进行显示。
可选的，所述目标图像是由内窥镜拍摄的，所述至少一个操作工具为至少一个手术器械。
再一方面，提供了一种确定图像中待处理区域的装置，所述装置包括：
识别模块，用于基于当前拍摄的目标图像以及预先训练的操作位置识别模型，得到所述目标图像中至少一个候选区域的位置；
确定模块，用于基于所述至少一个候选区域的位置，在所述至少一个候选区域中确定待处理区域。
可选的，所述识别模块，用于：
基于当前拍摄的目标图像以及预先训练的操作位置识别模型，得到所述目标图像中至少一个候选区域的位置以及至少一个操作工具的位置；
所述确定模块，用于：
基于所述至少一个候选区域的位置以及至少一个操作工具的位置，在所述至少一个候选区域中确定待处理区域。
可选的，所述识别模块，用于：
将所述目标图像输入到所述预先训练的操作位置识别模型中，得到所述目标图像中至少一个候选区域的位置、至少一个操作工具的位置以及每个候选区域的位置对应的第一置信度；
所述确定模块，用于：
基于所述至少一个候选区域的位置、至少一个操作工具的位置，确定所述每个候选区域的位置对应的第二置信度；
基于所述每个候选区域的位置对应的第一置信度以及第二置信度，确定所述每个候选区域的位置的第三置信度；
将所述至少一个候选区域中对应第三置信度满足预设数值条件的候选区域，确定为待处理区域。
可选的，所述第二置信度包括第一子置信度、第二子置信度以及第三子置信度，所述确定模块，用于：
分别确定每个候选区域的位置与所述目标图像的图像中心位置的第一相对距离，基于所述每个候选区域的位置对应第一相对距离确定对应的第一子置信度；
分别确定每个候选区域的位置与各操作工具的位置的第二相对距离，并基于每个操作工具在所述目标图像的位置，确定所述每个操作工具的在预设时长内的累计位移量，基于所述每个候选区域的位置分别与各操作工具的位置的第二相对距离以及所述每个操作工具对应的累计位移量，确定所述每个候选区域的位置对应的第二子置信度；
对于任一候选区域的位置，在所述预设时长内拍摄的视频图像中确定对应待处理区域的位置为所述任一候选区域的位置的参考图像，基于每个参考图像对应的拍摄时间，确定所述任一候选区域的位置对应的第三子置信度。
可选的，所述确定模块，用于：
基于预设的权重系数组，对所述每个候选区域的位置对应的第一置信度、第一子置信度、第二子置信度以及第三子置信度进行加权求和，得到所述每个候选区域的位置的第三置信度；
所述确定模块，用于：
对于所述目标图像中的每个操作工具的位置，基于所述操作工具在所述目标图像前一个拍摄的图像中的位置，确定所述操作工具在所述目标图像与所述前一个拍摄的视频图像中的第一位移量；基于所述第一位移量以及所述操作工具在所述预设时长内拍摄的视频图像中的第二位移量，确定与所述操作工具的在预设时长内的累计位移量。
可选的，所述在装置还包括处理模块，用于：
对所述目标图像中所述待处理区域的图像进行目标图像处理，得到处理后的目标图像；
对所述处理后的目标图像进行显示；
所述处理模块，还用于：获取所述目标图像对应的辅助显示图像，对所述辅助显示图像中对应所述待处理区域的图像进行显示。
再一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上所述的确定图像中待处理区域的方法所执行的操作。
再一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的确定图像中待处理区域的方法所执行的操作。
本申请实施例提供的技术方案带来的有益效果是：
通过预先训练的操作位置识别模型对拍摄的目标图像进行识别，得到目标图像中可能需要进行处理的候选区域的位置，然后根据候选区域的位置确定目标图像中的待处理区域，可见采用本申请实施例能够直接在拍摄的图像中识别需要进行处理的区域，无需操控者调整摄像设备的拍摄位置和方向，简化了操控者使用操作工具的步骤。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的实施环境的示意图；
图2是本申请实施例提供的确定图像中待处理区域的方法流程图；
图3是本申请实施例提供的确定图像中待处理区域的方法流程图；
图4是本申请实施例提供的确定图像中待处理区域的方法示意图；
图5是本申请实施例提供的确定图像中待处理区域的方法示意图；
图6是本申请实施例提供的确定图像中待处理区域的方法示意图；
图7是本申请实施例提供的确定图像中待处理区域的装置结构示意图；
图8是本申请实施例提供的终端结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请提供的确定图像中待处理区域的方法可通过终端实现，其中，该终端可以与摄像设备、显示器建立连接，具备图像处理功能，能够接收摄像设备拍摄的图像，对接收的图像进行处理，然后将处理之后的图像传输至显示器，由显示器进行显示。该终端可以是手机、平板电脑、智能穿戴设备、台式计算机、笔记本电脑等。
图1是本申请实施例提供的一种实施环境的示意图。参见图1，在本申请可应用在操控者操作各种操作工具的过程中，摄像设备可以对操作工具正在作用的操作区域进行拍摄，然后将拍摄的画面传输至图像处理设备(终端)，由图像处理设备对接收到的图像进行识别，确定接收的图像中需要进行处理的区域，然后将相应的区域进行处理，并将进行处理后的图像以及接收到的图像组成画中画的形式发送至显示器进行显示。
图2是本申请实施例提供的一种确定图像中待处理区域的方法示意图。参见图2，该方法包括：
步骤201、基于当前拍摄的目标图像以及预先训练的操作位置识别模型，确定目标图像中至少一个候选区域的位置。
在实施中，摄像设备可以对操作工具正在作用的操作区域进行拍摄，并将拍摄的视频图像发送至图像处理设备，其中，目标图像可以为图像处理设备接收的由摄像设备发送的任一视频图像。图像处理设备可以将接收到的任一视频图像输入到预先训练的操作位置识别模型，由操作位置识别模型输出目标图像中一个或多个候选区域的位置。其中，候选区域为图像中可能是操作工具当前正在操作的操作区域。候选区域的位置可以为候选区域的中心点，或者是候选区域对应的顶点等。
例如在术者实施内镜手术的场景中，对应的操作工具可以为手术器械，如手术刀、手术钳等。术者可以将内窥镜和手术器械导入到患者的体内，内窥镜的摄像头可以拍摄患者体内的画面并发送至图像处理设备，再由图像处理设备对图像进行处理，即图像处理设备可以将接收到的患者体内的图像输入至预先训练的操作位置识别模型由操作位置识别模型输出患者体内的图像中一个或多个候选区域的位置。其中，候选区域即为术者关注的区域，例如病人的病变部位，或者手术器械当前正在作用的区域。
步骤202、基于至少一个候选区域的位置，在至少一个候选区域中确定待处理区域。
在实施中，由操作位置识别模型输出的至少一个候选区域的位置可能是一个也可能是多个。如果操作位置识别模型只输出了一个候选区域的位置，则可以将该位置对应的图像区域，确定为目标图像中待处理的区域，例如将以候选区域的位置为中心固定尺寸大小的图形所包围的区域确定为待处理区域。如果操作位置识别模型输出多个候选区域的位置，则可以根据多个候选区域的位置进行计算，得到待处理区域对应的目标位置，然后将目标位置在目标图像中对应的图像区域，确定为目标图像中待处理的区域。例如可以将根据各个候选区域的位置对应的坐标值的均值确定为目标位置的坐标值，或者，操作位置识别模型输出的至少一个候选区域的位置中还可以包括对应位置的置信度，将各个候选区域的位置对应置信度最高的位置确定为目标位置。
本申请实施例，通过预先训练的操作位置识别模型对拍摄的目标图像进行识别，得到目标图像中可能需要进行处理的候选区域的位置，然后根据候选区域的位置确定对应的目标图像中的待处理区域，可见采用本申请实施例能够直接在拍摄的图像中识别需要进行处理的区域，无需操控者调整摄像设备的拍摄位置和方向，简化了操控者使用操作工具的步骤。
图3是本申请实施例提供的一种确定图像中待处理区域的方法示意图。在本实施例中，预先训练的操作位置识别模型中还可以识别到目标图像中至少一个操作工具的位置。并根据至少一个候选区域的位置以及至少一个操作工具的位置，确定目标图像中待处理区域，相应的处理可如图3所示，包括：
步骤301、基于当前拍摄的目标图像以及预先训练的操作位置识别模型，确定目标图像中至少一个候选区域的位置以及至少一个操作工具的位置。
其中，目标图像可以是摄像设备拍摄的视频中的每帧视频图像。
在实施中，当操控者在操控操作工具，可以预先在操作工具的附近可设置有摄像设备对操作工具对应的操作区域进行拍摄。例如在进行内镜手术时，可以将内窥镜以及各种手术器械导入患者体内，设置在内窥镜上的摄像头可以对患者体内的病变部位进行拍摄，在拍摄的画面中可以包括患者体内的病变部位、对病变部位进行固定的手术钳以及对病变部位进行切除的手术刀等。摄像设备可以将拍摄到视频画面传输至图像处理设备。在图像处理设备中可以设置有预先训练的操作位置识别模型，能够对接收到的视频帧(目标图像)中候选区域的位置和操作工具的位置进行识别。即图像处理设备在每接收到一个视频帧后，可以将接收到的视频帧输入到操作位置识别模型，由操作位置识别模型输出视频帧中包括的候选区域的位置和操作工具的位置。
其中，候选区域的位置以及操作工具的位置可以通过对应位置在目标图像中的坐标进行表示。候选区域的位置以及操作工具的位置的个数可以相同，也可以不同。例如操作位置识别模型可以对内窥镜上的摄像头拍摄的视频图像进行识别，得到视频图像中每个手术器械的在视频图像中的坐标值以及每个候选区域在视频图像中的坐标值，其中候选区域可以是患者体内的病变部位、手术钳固定的部位、手术刀切割的部位对应的区域等。
其中，预先训练的操作位置识别模型可以为RCNN(Regions with CNN feature，一种卷积神经网络)、SPPNet(Spatial Pyramid Pooling in Deep ConvolutionalNetworks，一种卷积神经网络)、YOLO(You Only Look Once，一种基于深度神经网络的对象识别和定位算法)等模型，可以通过不同的应用场景确定对应的样本图像，然后对样本图像进行标注，再通过完成标注的样本图像对操作位置识别模型进行训练。例如应用场景可以是医生使用内窥镜进行内镜手术。则对应的样本图像可以由内窥镜中的摄像头拍摄的正在进行通过手术器械对体内的病变部位进行手术的图像，然后可以由技术人员对图像中病变部位、手术器械的位置进行标注。然后根据完成标注的样本图像对操作位置识别模型进行训练。
另外，在操作位置识别模型可包括多层神经网络，至少一个候选区域的位置和至少一个操作工具的位置可分别由不同的神经网络层输出。如图4所示，可以由操作位置识别模型中神经网络层A输出至少一个操作工具的位置，然后再将操作位置识别模型中对图像数据进行处理后的数据以及至少一个操作工具的位置输入到神经网络层A下一个神经网络层B中，再由神经网络层B输出至少一个候选区域的位置。这样可以根据识别到的操作工具的位置作为辅助信息对图像中的候选区域的位置，能够提高识别候选区域的位置的准确性。相应的，在对操作位置识别模型进行训练时，可以根据标注操作工具的位置的样本图像对操作位置识别模型中的神经网络层A进行训练，完成对神经网络层A的训练后，可以再根据标注待处理区域位置以及操作工具位置的样本图像对神经网络层B进行训练。
步骤302、基于至少一个候选区域的位置以及至少一个操作工具的位置，在至少一个候选区域中确定待处理区域。
在实施中，在得到操作位置识别模型识别的目标图像中各个候选区域的位置和各个操作工具的位置后，可以根据候选区域的位置和操作工具的位置在至少一个候选区域的位置中确定目标位置，该目标位置即为待处理区域的位置。然后将目标位置对应的预设范围内的区域确定为待处理区域。例如通过预设的权重系数，对各个候选区域的位置和各个操作工具的位置进行加权求和，得到目标位置。然后将目标位置对应的预设范围内的区域确定为待处理区域。
可选的，操作位置识别模型除了可以对目标图像进行识别，得到目标图像中至少一个候选区域的位置、至少一个操作工具的位置，还可以输出对应每个候选区域的位置的第一置信度，然后基于至少一个候选区域的位置以及至少一个操作工具的位置，在至少一个候选区域中确定待处理区域，相应的处理如下：
基于所述至少一个候选区域的位置、至少一个操作工具的位置，确定所述每个候选区域的位置对应的第二置信度；基于所述每个候选区域的位置对应的第一置信度以及第二置信度，确定所述每个候选区域的位置的第三置信度；将所述至少一个候选区域中对应第三置信度满足预设数值条件的候选区域，确定为待处理区域。
其中，第一置信度是由操作位置识别模型输出的每个候选区域的位置对应的置信度，第二置信度是根据候选区域的位置以及每个操作工具的位置，计算得到的每个候选区域的位置的置信度，第三置信度是根据第一置信度以及第二置信度进行计算得到的每个候选区域的位置的置信度，即第三置信度是模型输出的候选区域的位置对应的第一置信度、候选区域的位置以及各个操作工具的位置进行计算得到的融合置信度。
在实施中，操作位置识别模型还可以输出对应每个候选区域的位置的第一置信度。并且对于识别到的每个候选区域的位置，可以根据每个候选区域的位置与每个操作工具的位置计算每个候选区域的位置的第二置信度，在得到每个候选区域的位置对应的第一置信度以及第二置信度后，可以根据每个选区域的位置对应的第一置信度和第二置信度确定每个候选区域的位置的第三置信度，然后可以根据多个候选区域中对应第三置信度，确定对应的第三置信度满足预设数值条件的候选区域，将该候选区域确定为待处理区域。
其中，第二置信度可以由第一子置信度、第二子置信度以及第三子置信度组成。第一子置信度可以是根据每个候选区域的位置与目标图像的图像中心位置确定的，第二子置信度可以是根据每个候选区域的位置分别与各操作工具的位置的第二相对距离以及每个操作工具对应的累计位移量确定的，第三子置信度可以是根据目标图像中的各个候选区域以及在目标图像之前接收的多个图像中确定的待处理区域确定的。相应的处理如下：
(1)分别确定每个候选区域的位置与目标图像的图像中心位置的第一相对距离，基于每个候选区域的位置对应第一相对距离确定对应的第一子置信度。
在实施中，在得到目标图像中每个候选区域的位置后，可以计算目标图像的图像中心位置的第一相对距离。如图5所示，候选区域的位置为(x1,y1)，图像中心位置为(x0,y0)，则对应的第一相对距离为然后可以根据第一相对距离确定对应的第一子置信度。例如可以将第一相对距离的倒数确定为第一子置信度。这样距离图像中心位置越远的位置对应的第一子置信度越低。
在一种可选的方案中，还可以通过如下公式(1)-(2)确定每个候选区域的位置对应的第一子置信度。
其中，(x0,y0)为图像中心位置，(xi,yi)为第i个候选区域的位置，a1、b1、c1为预先设置的系数。wi第i个候选区域的位置对应的第一子置信度。这样可以得到每个候选区域的位置对应的第一子置信度W1＝{w1,w2,…,wi,…wn}。L为目标图像中距离图像中心位置最远的距离，
(2)分别确定每个候选区域的位置与各操作工具的位置的第二相对距离，并基于每个操作工具在目标图像的位置，确定每个操作工具的在预设时长内的累计位移量，基于每个候选区域的位置分别与各操作工具的位置的第二相对距离以及每个操作工具对应的累计位移量，确定每个候选区域的位置对应的第二子置信度。
在实施中，在得到目标图像中每个候选区域的位置以及每个操作工具的位置后，可以确定每个候选区域的位置与每个操作工具的位置的第二相对距离。如图5所示，第i个候选区域的位置为(xi,yi)，第j个操作工具的位置为(mxj,myj)，则对应的第二相对距离然后可以根据如下公式(3)-(4)确定每个候选区域的位置与各操作工具的位置的第二相对距离对应的距离组成的距离参考向量W2＝{u1,u2,…,ui…,un}。
其中，(mxj,myj)为第j个操作工具的位置，(xi,yi)为第i个候选区域的位置，a2、b2、c2为预先设置的系数。ui第i个候选区域的位置对应的距离参考量。这样可以得到候选区域的位置对应的距离参考向量W2＝{u1,u2,…,ui…,un}。L为目标图像中候选区域的位置与操作工具的位置之间的距离可能存在最大值， height为目标图像的高，width为目标图像的宽。
在本申请中，还可以根据操作工具在预设时长内的累计位移量，并根据每个候选区域对应的距离参考值以及各个操作工具的累计位移量，确定每个候选区域对应的第二子置信度。例如在预设时长内接收摄像设备拍摄的视频图像为F个，如图6所示，对应的累计位移量为同一操作用具分别在相邻的视频图像中位置的距离差值之和，对应的累计位移量可如下公式(5)。
其中，Sj为第j个操作工具的累计位移量，(xi,yi)为F个视频图像中第i个视频图像中的第j个操作工具的位置。在得到各个操作工具的累计位移量组成的累计位移向量S＝{S1,S2,…,Sf}，可以根据以下公式(6)确定每个操作工具基于累计位移量确定的累计位移参考量。
其中，Smax为累计位移量中的最大值，在得到操作工具对应的累计位移向量P＝{p1,p2,…,pj,…,pf}后，可以对分别将候选区域对应的距离参考向量和操作工具对应的累计位移向量相乘，得到每个候选区域的位置对应的第二子置信度。如下公式(7)。
vi＝W2*PT 公式(7)
在一种可选的方式中，基于每个操作工具在目标图像的位置，确定每个操作工具的在预设时长内的累计位移量的处理可以如下：对于目标图像中的每个操作工具的位置，基于操作工具在目标图像前一个拍摄的图像中的位置，确定操作工具在目标图像与前一个拍摄的视频图像中的第一位移量；基于第一位移量以及操作工具在预设时长内拍摄的视频图像中的第二位移量，确定与操作工具的在预设时长内的累计位移量。
在实施中，图像处理设备在每接收到一个视频图像后，可以根据预先训练的操作位置识别模型识别视频图像各个操作工具的位置。然后对于在当前视频图像中识别到的每个操作工具，可以根据当前视频图像中操作工具的位置，在对应的前一帧视频图像中各个操作工具的位置中确定与当前视频图像中识别到操作工具为同一个操作工具的位置。然后根据该操作工具分别在当前视频图像中的位置以及前一视频帧中的位置确定该操作工具在前一帧视频图像与目标视频帧中的第一位移量，再将该第一位移量加上历史记录的该操作工具对应的第二位移量，得到操作工具的在预设时长内的累计位移量。其中，历史记录的该操作工具对应的第二位移量可以该操作工具在预设时长内接收到的各视频图像中的位置计算得到。
其中，需要说明的是，对于一个操作工具，如果在前一视频帧中没有相同的操作工具，则该操作工具对应的累计位移量为0。确定两个相邻的视频图像中的操作工具的位置是否对应同一个操作工具，可以根据两个相邻的视频图像中的操作工具的位置之间的距离是否在预设的接近距离范围内，如果在预设的接近距离范围内，则可以确定两个相邻的视频图像中的操作工具的位置对应同一个操作工具。
(3)对于任一候选区域的位置，在预设时长内拍摄的视频图像中确定对应待处理区域的位置为任一候选区域的位置的参考图像，基于每个参考图像对应的拍摄时间，确定任一候选区域的位置对应的第三子置信度。
在实施中，对于目标图像中的任一候选区域的位置，可以确定预设时长内拍摄的视频图像中将对应的任一候选区域的位置确定为待处理区域的位置的图像，即参考图像。然后根据预设时长内拍摄的视频图像对应的拍摄时间进行排序，确定参考图像在预设时长内拍摄的视频图像对应序列中的位置。根据参考图像的位置确定对应任一候选区域的位置的第三子置信度。例如可以通过如下公式(8)确定对应的每个候选区域的位置的第三子置信度。
其中，W3为任一候选区域的位置对应的第三子置信度，F为预设时长内的接收到视频图像的个数；w0为预设的数值；i为图像在F个视频图像按照拍摄时间从后到前的顺序进行排列中的位置；Ii用于表示在第i个视频图像中确定的待操作区域的位置是否为对应的任一候选区域的位置。其中，当第i个视频图像中确定的待操作区域的位置为对应的任一候选区域的位置时，则对应的Ii的数值可以为1，否则对应的Ii的数值可以为0。
可选的，基于每个候选区域的位置对应的权重值以及置信度，确定每个候选区域的位置的参考值的处理可以包括：基于预设的权重系数组，对所述每个候选区域的位置对应的第一置信度、第一子置信度、第二子置信度以及第三子置信度进行加权求和，得到所述每个候选区域的位置的第三置信度。
在实施中，每个候选区域的位置对应的权重值可包括第一置信度、第一子置信度、第二子置信度以及第三子置信度。技术人员可以分别对第一置信度、第一子置信度、第二子置信度以及第三子置信度设置对应的权重系数。然后对第一置信度、第一子置信度、第二子置信度以及第三子置信度进行加权求和，得到候选区域的位置的第三置信度。如下公式(9)：
WFinal,i＝wi,1*α1+wi,2*α2+wi,3*α3+wi,4*α4 公式(9)
其中，WFinal,i为第i个候选区域的第三置信度，wi,1为第i个候选区域的第一置信度，α1第一置信度的权重系数，wi,2为第i个候选区域的第一子置信度，α2第一子置信度的权重系数，wi,3为第i个候选区域的第二子置信度，α3为第二子置信度的权重系数，wi,4为第i个候选区域的第三子置信度，α4第三子置信度对应的权重系数。
在确定目标图像中待处理区域后，可以根据目标图像中待处理区域对目标图像进行相应的处理，例如可以截取目标图像中待处理区域的图像，并将截取的图像进行存储或者传输至显示器进行显示。或者还可以对待处理区域的图像进行识别处理，得到待处理区域的图像信息。例如，目标图像可以由内窥镜拍摄的患者体内病变部位的图像，在确定目标图像中的待处理区域之后，可以将待处理区域的图像输入到预先训练好的健康分析模型，由健康分析模型输出待处理区域的图像中所显示器官或部位可能存在的健康问题等。
其中，还可以对目标图像中待处理区域的图像进行目标图像处理，得到处理后的目标图像，并对对处理后的目标图像进行显示。
在实施中，确定目标图像中的待处理区域后，可以对目标图像中待处理区域中的图像进行目标图像处理。其中，目标图像处理可以由正在观察摄像设备拍摄的图像的操作者设定，例如，目标图像处理可以是提高图像显示锐度、提高图像显示亮度、提高图像显示对比度等，或者还可以对待处理区域中的图像进行放大等。当图像处理设备对目标图像进行处理后，可以将处理后的目标图像传输至显示器，由显示器进行显示。
另外，在确定目标图像的待处理区域后，还可以获取目标图像对应的辅助显示图像，对辅助显示图像中对应待处理区域的图像进行显示。其中，与目标图像与辅助显示图像可以为摄像设备中不同的图像传感器获取的图像。例如目标图像为可见光图像，辅助显示图像为红外图像、荧光图像等。
例如，在进行内镜手术时，内窥镜中可分别设置有用于对获取可见光的图像传感器以及用于获取荧光的图像传感器。可见光的图像传感器输出的图像为可见光图像，即目标图像，用于获取荧光的图像传感器获取的荧光图像，即辅助显示图像。图像处理设备可以先对目标图像进行检测，确定目标图像中对应的待处理区域，然后将对应荧光图像的待处理区域中的图像显示的显示器中，这样能够通过荧光图像能够清晰的显示出患者的病变部位。
本申请实施例通过预先训练的操作位置识别模型对拍摄的目标图像进行识别，得到目标图像候选区域的位置和操作工具的位置，然后根据每个候选区域的位置和每个操作工具的位置，在识别到候选区域中进行确定待处理区域，然后对待处理区域中的图像进行处理。可见采用本申请不需要人为的调整摄像设备的拍摄位置和方向以使需要处理的图像处于预设的图像区域内，能够直接在图像中识别到需要进行处理区域并进行处理，从而在使用操作工具的过程中无需对摄像头进行调整，使操作过程变得简单。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图7是本申请实施例提供了一种确定图像中待处理区域的装置，如图7所示，该装置包括：
识别模块710，用于基于当前拍摄的目标图像以及预先训练的操作位置识别模型，得到所述目标图像中至少一个候选区域的位置；
确定模块720，用于基于所述至少一个候选区域的位置，在所述至少一个候选区域中确定待处理区域。
可选的，所述识别模块710，用于：
基于当前拍摄的目标图像以及预先训练的操作位置识别模型，得到所述目标图像中至少一个候选区域的位置以及至少一个操作工具的位置；
所述确定模块720，用于：
基于所述至少一个候选区域的位置以及至少一个操作工具的位置，在所述至少一个候选区域中确定待处理区域。
可选的，所述识别模块710，用于：
将所述目标图像输入到所述预先训练的操作位置识别模型中，得到所述目标图像中至少一个候选区域的位置、至少一个操作工具的位置以及每个候选区域的位置对应的第一置信度；
所述确定模块720，用于：
基于所述至少一个候选区域的位置、至少一个操作工具的位置，确定所述每个候选区域的位置对应的第二置信度；
基于所述每个候选区域的位置对应的第一置信度以及第二置信度，确定所述每个候选区域的位置的第三置信度；
将所述至少一个候选区域中对应第三置信度满足预设数值条件的候选区域，确定为待处理区域。
可选的，所述第二置信度包括第一子置信度、第二子置信度以及第三子置信度，所述确定模块720，用于：
分别确定每个候选区域的位置与所述目标图像的图像中心位置的第一相对距离，基于所述每个候选区域的位置对应第一相对距离确定对应的第一子置信度；
分别确定每个候选区域的位置与各操作工具的位置的第二相对距离，并基于每个操作工具在所述目标图像的位置，确定所述每个操作工具的在预设时长内的累计位移量，基于所述每个候选区域的位置分别与各操作工具的位置的第二相对距离以及所述每个操作工具对应的累计位移量，确定所述每个候选区域的位置对应的第二子置信度；
对于任一候选区域的位置，在所述预设时长内拍摄的视频图像中确定对应待处理区域的位置为所述任一候选区域的位置的参考图像，基于每个参考图像对应的拍摄时间，确定所述任一候选区域的位置对应的第三子置信度。
可选的，所述确定模块720，用于：
基于预设的权重系数组，对所述每个候选区域的位置对应的第一置信度、第一子置信度、第二子置信度以及第三子置信度进行加权求和，得到所述每个候选区域的位置的第三置信度；
所述确定模块720，用于：
对于所述目标图像中的每个操作工具的位置，基于所述操作工具在所述目标图像前一个拍摄的图像中的位置，确定所述操作工具在所述目标图像与所述前一个拍摄的视频图像中的第一位移量；基于所述第一位移量以及所述操作工具在所述预设时长内拍摄的视频图像中的第二位移量，确定与所述操作工具的在预设时长内的累计位移量。
可选的，所述在装置还包括处理模块730，用于：
对所述目标图像中所述待处理区域的图像进行目标图像处理，得到处理后的目标图像；
对所述处理后的目标图像进行显示；
所述处理模块730，还用于：获取所述目标图像对应的辅助显示图像，对所述辅助显示图像中对应所述待处理区域的图像进行显示。
需要说明的是：上述实施例提供的确定图像中待处理区域的装置在确定图像中待处理区域时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的显示确定图像中待处理区域的装置与确定图像中待处理区域的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图8示出了本申请一个示例性实施例提供的电子设备800的结构框图。该电子设备800可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(moving pictureexperts group audio layer III，动态影像专家压缩标准音频层面3)、MP4(movingpicture experts group audio layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，电子设备800包括有：处理器801和存储器802。
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(digital signal processing，数字信号处理)、FPGA(field－programmable gate array，现场可编程门阵列)、PLA(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(central processingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以集成有GPU(graphics processing unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI(artificial intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本申请中方法实施例提供的确定图像中待处理区域的方法。
在一些实施例中，电子设备800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。
外围设备接口803可被用于将I/O(input/output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路804用于接收和发射RF(radio frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括NFC(near field communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏805用于显示UI(user interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置在电子设备800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在电子设备800的不同表面或呈折叠设计；在另一些实施例中，显示屏805可以是柔性显示屏，设置在电子设备800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用LCD(liquid crystal display，液晶显示屏)、OLED(organic light-emitting diode，有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
定位组件808用于定位电子设备800的当前地理位置，以实现导航或LBS(locationbased service，基于位置的服务)。定位组件808可以是基于美国的GPS(globalpositioning system，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源809用于为电子设备800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，电子设备800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以电子设备800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测电子设备800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对电子设备800的3D动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在电子设备800的侧边框和/或显示屏805的下层。当压力传感器813设置在电子设备800的侧边框时，可以检测用户对电子设备800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时，由处理器801根据用户对显示屏805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置在电子设备800的正面、背面或侧面。当电子设备800上设置有物理按键或厂商Logo时，指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制显示屏805的显示亮度。具体地，当环境光强度较高时，调高显示屏805的显示亮度；当环境光强度较低时，调低显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。
接近传感器816，也称距离传感器，通常设置在电子设备800的前面板。接近传感器816用于采集用户与电子设备800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与电子设备800的正面之间的距离逐渐变小时，由处理器801控制显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与电子设备800的正面之间的距离逐渐变大时，由处理器801控制显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图8中示出的结构并不构成对电子设备800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中显示待处理区域的方法。该计算机可读存储介质可以是非暂态的。例如，所述计算机可读存储介质可以是ROM(read-onlymemory，只读存储器)、RAM(random access memory，随机存取存储器)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (11)
1.一种确定图像中待处理区域的方法，其特征在于，所述方法包括：
基于当前拍摄的目标图像以及预先训练的操作位置识别模型，确定所述目标图像中至少一个候选区域的位置以及至少一个操作工具的位置，其中，所述操作工具为手术器械，所述候选区域为病变部位对应的区域或者所述手术器械当前正在作用的区域；
基于所述至少一个候选区域的位置以及至少一个操作工具的位置，在所述至少一个候选区域中确定待处理区域；
所述基于所述至少一个候选区域的位置以及至少一个操作工具的位置，在所述至少一个候选区域中确定待处理区域，包括：如果所述操作位置识别模型输出多个候选区域的位置，根据所述多个候选区域的位置进行计算，得到待处理区域对应的目标位置，将所述目标位置在所述目标图像中对应的图像区域，确定为所述目标图像的待处理区域。
2.根据权利要求1所述的方法，其特征在于，所述基于当前拍摄的目标图像以及预先训练的操作位置识别模型，确定所述目标图像中至少一个候选区域的位置以及至少一个操作工具的位置，包括：
将所述目标图像输入到所述预先训练的操作位置识别模型中，得到所述目标图像中至少一个候选区域的位置、至少一个操作工具的位置以及每个候选区域的位置对应的第一置信度；
所述基于所述至少一个候选区域的位置以及至少一个操作工具的位置，在所述至少一个候选区域中确定待处理区域，包括：
基于所述至少一个候选区域的位置、至少一个操作工具的位置，确定所述每个候选区域的位置对应的第二置信度；
基于所述每个候选区域的位置对应的第一置信度以及第二置信度，确定所述每个候选区域的位置的第三置信度；
将所述至少一个候选区域中对应第三置信度满足预设数值条件的候选区域，确定为待处理区域。
3.根据权利要求2所述的方法，其特征在于，所述第二置信度包括第一子置信度、第二子置信度以及第三子置信度，所述基于所述至少一个候选区域的位置、至少一个操作工具的位置，确定所述每个候选区域的位置对应的第二置信度，包括：
分别确定每个候选区域的位置与所述目标图像的图像中心位置的第一相对距离，基于所述每个候选区域的位置对应第一相对距离确定对应的第一子置信度；
分别确定每个候选区域的位置与各操作工具的位置的第二相对距离，并基于每个操作工具在所述目标图像的位置，确定所述每个操作工具的在预设时长内的累计位移量，基于所述每个候选区域的位置分别与各操作工具的位置的第二相对距离以及所述每个操作工具对应的累计位移量，确定所述每个候选区域的位置对应的第二子置信度；
对于任一候选区域的位置，在所述预设时长内拍摄的视频图像中确定对应待处理区域的位置为所述任一候选区域的位置的参考图像，基于每个参考图像对应的拍摄时间，确定所述任一候选区域的位置对应的第三子置信度。
4.根据权利要求3所述的方法，其特征在于，所述基于所述每个候选区域的位置对应的第一置信度以及第二置信度，确定所述每个候选区域的位置的第三置信度，包括：
基于预设的权重系数组，对所述每个候选区域的位置对应的第一置信度、第一子置信度、第二子置信度以及第三子置信度进行加权求和，得到所述每个候选区域的位置的第三置信度。
5.根据权利要求3所述的方法，其特征在于，所述基于每个操作工具在所述目标图像的位置，确定所述每个操作工具的在预设时长内的累计位移量，包括：
对于所述目标图像中的每个操作工具的位置，基于所述操作工具在所述目标图像前一个拍摄的图像中的位置，确定所述操作工具在所述目标图像与所述前一个拍摄的视频图像中的第一位移量；基于所述第一位移量以及所述操作工具在所述预设时长内拍摄的视频图像中的第二位移量，确定与所述操作工具的在预设时长内的累计位移量。
6.根据权利要求1所述的方法，其特征在于，所述在所述至少一个候选区域中确定待处理区域之后，所述方法还包括：
对所述目标图像中所述待处理区域的图像进行目标图像处理，得到处理后的目标图像；
对所述处理后的目标图像进行显示。
7.根据权利要求1所述的方法，其特征在于，所述在所述至少一个候选区域中确定待处理区域之后，所述方法还包括：
获取所述目标图像对应的辅助显示图像，对所述辅助显示图像中对应所述待处理区域的图像进行显示。
8.根据权利要求1所述的方法，其特征在于，所述目标图像是由内窥镜拍摄的，所述至少一个操作工具为至少一个手术器械。
9.一种确定图像中待处理区域的装置，其特征在于，所述装置包括：
识别模块，用于基于当前拍摄的目标图像以及预先训练的操作位置识别模型，确定所述目标图像中至少一个候选区域的位置以及至少一个操作工具的位置，其中，所述操作工具为手术器械，所述候选区域为病变部位对应的区域或者所述手术器械当前正在作用的区域；
确定模块，用于基于所述至少一个候选区域的位置以及至少一个操作工具的位置，在所述至少一个候选区域中确定待处理区域，如果所述操作位置识别模型输出多个候选区域的位置，根据所述多个候选区域的位置进行计算，得到待处理区域对应的目标位置，将所述目标位置在所述目标图像中对应的图像区域，确定为所述目标图像的待处理区域。
10.根据权利要求9所述的装置，其特征在于，所述识别模块，用于：
将所述目标图像输入到所述预先训练的操作位置识别模型中，得到所述目标图像中至少一个候选区域的位置、至少一个操作工具的位置以及每个候选区域的位置对应的第一置信度；
所述确定模块，用于：
基于所述至少一个候选区域的位置、至少一个操作工具的位置，确定所述每个候选区域的位置对应的第二置信度；
基于所述每个候选区域的位置对应的第一置信度以及第二置信度，确定所述每个候选区域的位置的第三置信度；
将所述至少一个候选区域中对应第三置信度满足预设数值条件的候选区域，确定为待处理区域；
所述第二置信度包括第一子置信度、第二子置信度以及第三子置信度，所述确定模块，用于：
分别确定每个候选区域的位置与所述目标图像的图像中心位置的第一相对距离，基于所述每个候选区域的位置对应第一相对距离确定对应的第一子置信度；
分别确定每个候选区域的位置与各操作工具的位置的第二相对距离，并基于每个操作工具在所述目标图像的位置，确定所述每个操作工具的在预设时长内的累计位移量，基于所述每个候选区域的位置分别与各操作工具的位置的第二相对距离以及所述每个操作工具对应的累计位移量，确定所述每个候选区域的位置对应的第二子置信度；
对于任一候选区域的位置，在所述预设时长内拍摄的视频图像中确定对应待处理区域的位置为所述任一候选区域的位置的参考图像，基于每个参考图像对应的拍摄时间，确定所述任一候选区域的位置对应的第三子置信度；
所述确定模块，用于：
基于预设的权重系数组，对所述每个候选区域的位置对应的第一置信度、第一子置信度、第二子置信度以及第三子置信度进行加权求和，得到所述每个候选区域的位置的第三置信度；
所述确定模块，用于：
对于所述目标图像中的每个操作工具的位置，基于所述操作工具在所述目标图像前一个拍摄的图像中的位置，确定所述操作工具在所述目标图像与所述前一个拍摄的视频图像中的第一位移量；基于所述第一位移量以及所述操作工具在所述预设时长内拍摄的视频图像中的第二位移量，确定与所述操作工具的在预设时长内的累计位移量；
所述装置还包括处理模块，用于：
对所述目标图像中所述待处理区域的图像进行目标图像处理，得到处理后的目标图像；
对所述处理后的目标图像进行显示；
所述处理模块，还用于：获取所述目标图像对应的辅助显示图像，对所述辅助显示图像中对应所述待处理区域的图像进行显示。
11.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至权利要求8任一项所述的确定图像中待处理区域的方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110181068.4A CN113011418B (zh) | 2021-02-09 | 2021-02-09 | 确定图像中待处理区域的方法、装置、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110181068.4A CN113011418B (zh) | 2021-02-09 | 2021-02-09 | 确定图像中待处理区域的方法、装置、设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113011418A CN113011418A (zh) | 2021-06-22 |
| CN113011418B true CN113011418B (zh) | 2024-02-23 |
Family
ID=76401990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110181068.4A Active CN113011418B (zh) | 2021-02-09 | 2021-02-09 | 确定图像中待处理区域的方法、装置、设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113011418B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107209939A (zh) * | 2015-01-22 | 2017-09-26 | 迈柯唯有限公司 | 用于在使用至少一个医学仪器外科手术期间以给出图像的方式支持手术医生的辅助设备和方法 |
| CN107847349A (zh) * | 2015-08-04 | 2018-03-27 | 诺华股份有限公司 | 动态外科手术数据覆盖 |
| CN108055454A (zh) * | 2017-12-08 | 2018-05-18 | 合肥工业大学 | 医用内窥镜人工智能芯片的体系架构及图像处理方法 |
| JP6425868B1 (ja) * | 2017-09-29 | 2018-11-21 | オリンパス株式会社 | 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 |
| CN109310306A (zh) * | 2016-06-28 | 2019-02-05 | 索尼公司 | 图像处理装置、图像处理方法和医疗成像系统 |
| CN109528315A (zh) * | 2018-11-12 | 2019-03-29 | 南京迈瑞生物医疗电子有限公司 | 术野图像控制系统、方法、计算机设备及存储介质 |
| CN109829456A (zh) * | 2017-11-23 | 2019-05-31 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置及终端 |
| CN110536629A (zh) * | 2017-03-31 | 2019-12-03 | 索尼公司 | 手术图像处理设备、图像处理方法和手术系统 |
| CN111415404A (zh) * | 2020-03-16 | 2020-07-14 | 广州柏视医疗科技有限公司 | 术中预设区域的定位方法、装置、存储介质及电子设备 |
| CN111640127A (zh) * | 2020-05-29 | 2020-09-08 | 成都金盘电子科大多媒体技术有限公司 | 一种用于骨科的精准临床诊断导航方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6890184B2 (ja) * | 2017-09-15 | 2021-06-18 | 富士フイルム株式会社 | 医療画像処理装置及び医療画像処理プログラム |
-
2021
- 2021-02-09 CN CN202110181068.4A patent/CN113011418B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107209939A (zh) * | 2015-01-22 | 2017-09-26 | 迈柯唯有限公司 | 用于在使用至少一个医学仪器外科手术期间以给出图像的方式支持手术医生的辅助设备和方法 |
| CN107847349A (zh) * | 2015-08-04 | 2018-03-27 | 诺华股份有限公司 | 动态外科手术数据覆盖 |
| CN109310306A (zh) * | 2016-06-28 | 2019-02-05 | 索尼公司 | 图像处理装置、图像处理方法和医疗成像系统 |
| CN110536629A (zh) * | 2017-03-31 | 2019-12-03 | 索尼公司 | 手术图像处理设备、图像处理方法和手术系统 |
| JP6425868B1 (ja) * | 2017-09-29 | 2018-11-21 | オリンパス株式会社 | 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法 |
| CN109829456A (zh) * | 2017-11-23 | 2019-05-31 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置及终端 |
| CN108055454A (zh) * | 2017-12-08 | 2018-05-18 | 合肥工业大学 | 医用内窥镜人工智能芯片的体系架构及图像处理方法 |
| CN109528315A (zh) * | 2018-11-12 | 2019-03-29 | 南京迈瑞生物医疗电子有限公司 | 术野图像控制系统、方法、计算机设备及存储介质 |
| CN111415404A (zh) * | 2020-03-16 | 2020-07-14 | 广州柏视医疗科技有限公司 | 术中预设区域的定位方法、装置、存储介质及电子设备 |
| CN111640127A (zh) * | 2020-05-29 | 2020-09-08 | 成都金盘电子科大多媒体技术有限公司 | 一种用于骨科的精准临床诊断导航方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于机器视觉的内窥镜器械检测和跟踪算法研究;刘奇奇;中国优秀硕士论文电子期刊网;全文 * |
| 深度学习在微创手术视频分析中的应用研究综述;史攀;赵子健;;中国生物医学工程学报(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113011418A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110502954B (zh) | 视频分析的方法和装置 | |
| CN110222551B (zh) | 识别动作类别的方法、装置、电子设备及存储介质 | |
| CN111382624B (zh) | 动作识别方法、装置、设备及可读存储介质 | |
| CN108363982B (zh) | 确定对象数量的方法及装置 | |
| CN109886208B (zh) | 物体检测的方法、装置、计算机设备及存储介质 | |
| CN111027490B (zh) | 人脸属性识别方法及装置、存储介质 | |
| CN110956580B (zh) | 图像换脸的方法、装置、计算机设备以及存储介质 | |
| CN110570460A (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
| CN110675473B (zh) | 生成gif动态图的方法、装置、电子设备及介质 | |
| CN111931712B (zh) | 人脸识别方法、装置、抓拍机及系统 | |
| CN112241987B (zh) | 确定防区的系统、方法、装置及存储介质 | |
| CN109767482B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111754564B (zh) | 视频展示方法、装置、设备及存储介质 | |
| CN111327819A (zh) | 选择图像的方法、装置、电子设备及介质 | |
| CN113011418B (zh) | 确定图像中待处理区域的方法、装置、设备 | |
| CN114115544B (zh) | 人机交互方法、三维显示设备及存储介质 | |
| CN112967261B (zh) | 图像融合方法、装置、设备及存储介质 | |
| CN112243083B (zh) | 抓拍方法、装置及计算机存储介质 | |
| CN111179628B (zh) | 自动驾驶车辆的定位方法、装置、电子设备及存储介质 | |
| CN111723615B (zh) | 对检测物图像进行检测物匹配判定的方法和装置 | |
| CN111325083B (zh) | 记录考勤信息的方法和装置 | |
| CN111310526B (zh) | 目标跟踪模型的参数确定方法、装置及存储介质 | |
| CN113298040A (zh) | 关键点检测方法、装置、电子设备及计算机可读存储介质 | |
| CN114913113A (zh) | 进行图像处理的方法、装置及设备 | |
| CN111583339A (zh) | 获取目标位置的方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |