CN116761075B - 基于内窥镜的图像处理方法、装置、电子设备及存储介质 - Google Patents

基于内窥镜的图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116761075B
CN116761075B CN202310514409.4A CN202310514409A CN116761075B CN 116761075 B CN116761075 B CN 116761075B CN 202310514409 A CN202310514409 A CN 202310514409A CN 116761075 B CN116761075 B CN 116761075B
Authority
CN
China
Prior art keywords
endoscope
image
target
information
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310514409.4A
Other languages
English (en)
Other versions
CN116761075A (zh
Inventor
罗国涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Xianrong Medical Technology Co ltd
Original Assignee
Shenzhen Xianrong Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xianrong Medical Technology Co ltd filed Critical Shenzhen Xianrong Medical Technology Co ltd
Priority to CN202310514409.4A priority Critical patent/CN116761075B/zh
Publication of CN116761075A publication Critical patent/CN116761075A/zh
Application granted granted Critical
Publication of CN116761075B publication Critical patent/CN116761075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本申请适用于图像处理技术领域，提供了基于内窥镜的图像处理方法、装置、电子设备及存储介质，方法包括：获取目标对象的对象信息；对象信息包含目标对象的生物信息；基于生物信息生成目标对象的期望移动轨迹；基于期望移动轨迹控制内窥镜在目标对象在目标检测区域移动，并在移动过程中采集目标检测区域的多个采集图像以及确定内窥镜的实际移动轨迹；根据实际移动轨迹合并多个采集图像，得到目标检测图像；目标检测图像用于生成目标检测区域的检测报告。采用上述方法能够实现对多个拍摄局域区域内容的采集图像进行合并，得到整体区域的目标检测图像，提高了检测的准确性的同时，也能够减少图像拼接的难度。

Description

基于内窥镜的图像处理方法、装置、电子设备及存储介质
技术领域
本申请属于数据处理技术领域，尤其涉及基于内窥镜的图像处理方法、装置、电子设备及存储介质。
背景技术
内窥镜作为生物检测过程使用的重要设备之一，得益于设备技术的不断发展，使其在保持成像质量的同时，能够实现设备体积的小型化以及轻量化，被广泛应用于的生物检测领域，例如有胶囊形态的内窥镜，以及带引线的内窥镜等。因此，如何能够有效利用内窥镜进行生物体内的图像采集，成为了影响检测准确性的重要因素。
现有的内窥镜控制技术，由于内窥镜在生物体内采集图像时，其视野较窄，往往只能获取到局部区域的图像，为了确定检测区域的实际情况需要调整内窥镜的拍摄位姿，以获取多个图像，并对多个图像进行拼接，以确定检测区域的整体区域的图像。然而由于内窥镜在生物体内检测位置不固定，用户在获取得到多个局域图像后，无法较好地将上述图像进行拼接，从而大大增加了后续检测分析的难度，也降低了生物体内检测的准确性。
发明内容
本申请实施例提供了一种基于内窥镜的图像处理方法、装置、电子设备及存储介质，可以解决现有的基于内窥镜的图像处理技术，由于内窥镜在生物体内检测位置不固定，用户在获取得到多个局域图像后，无法较好地将上述图像进行拼接，从而大大增加了后续检测分析的难度，也降低了生物体内检测的准确性的问题。
第一方面，本申请实施例提供了一种基于内窥镜的图像处理方法，包括：
获取目标对象的对象信息；所述对象信息包含所述目标对象的生物信息；
基于所述生物信息生成所述目标对象的期望移动轨迹；
基于所述期望移动轨迹控制内窥镜在所述目标对象在目标检测区域移动，并在移动过程中采集目标检测区域的多个采集图像以及确定所述内窥镜的实际移动轨迹；
根据所述实际移动轨迹合并所述多个采集图像，得到目标检测图像；所述目标检测图像用于生成所述目标检测区域的检测报告。
在第一方面的一种可能的实现方式中，所述生物信息包括所述目标对象的体型信息以及体脂信息；
所述基于所述生物信息生成所述目标对象的期望移动轨迹，包括：
从预设的对象模型库内选取与所述体型信息匹配的通用对象模型；所述通用对象模块包含所述目标检测区域的区域模型；
基于所述体脂信息确定所述目标对象的内脏脂肪系数，并根据所述内脏脂肪系数得到在内窥镜进入所述目标检测区域的目标路径上的期望脂肪分布信息；
通过所述期望脂肪分布信息调整所述通用对象模型，得到所述目标对象的期望对象模型；
根据所述期望对象模型以及所述目标路径，生成所述期望移动轨迹。
在第一方面的一种可能的实现方式中，所述通过所述期望脂肪分布信息调整所述通用对象模型，得到所述目标对象的期望对象模型，包括：
获取所述目标对象在预设监控时间范围内的饮食信息；
基于所述饮食信息确定在所述目标路径上的食物残留分布函数；所述食物残留分布函数为：
其中，DisPRove(pst)为所述目标路径上任一位置的食物残留概率；Curv(pst)为所述任一位置的弯度曲率；BaseCurv为基础曲率；Currtime为控制所述内窥镜的时间；Tgtime为最近饮食时间；FoodViscty为基于饮食信息确定的食物粘度；
将所述期望脂肪分布信息导入预设的脂肪概率分布函数，确定所述任一位置的脂肪分布概率；
根据所述食物残留概率以及所述脂肪分布概率，确定所述任一位置的可通行孔径；
基于所述目标路径上所有位置的所述可通行孔径，生成所述期望对象模型。
在第一方面的一种可能的实现方式中，所述基于所述期望移动轨迹控制内窥镜在所述目标对象在目标检测区域移动，并在移动过程中采集目标检测区域的多个采集图像以及确定所述内窥镜的实际移动轨迹，包括：
基于在采集过程中获取的所述采集图像，确定所述目标检测区域中所述采集图像对应位置的实际通行孔径；
根据所述位置的所述可通行孔径与所述实际通信孔径，计算所述采集图像对应位置的预测偏差值；
若所述预测偏差值大于预设偏差阈值，则基于所述预测偏差值调整所述食物残留分布函数以及调整所述脂肪概率分布函数；
基于调整后的食物残留分布函数以及调整后的脂肪概率分布函数，调整所述采集图像对应位置后的期望移动轨迹；
基于调整后的期望移动轨迹，控制所述内窥镜在所述目标对象在目标检测区域移动。
在第一方面的一种可能的实现方式中，所述基于所述期望移动轨迹控制内窥镜在所述目标对象在目标检测区域移动，并在移动过程中采集目标检测区域的多个采集图像以及确定所述内窥镜的实际移动轨迹，包括：
若检测到基于所述期望移动轨迹控制所述内窥镜移动时所述内窥镜的可视距离小于预设的距离阈值，则向所述内窥镜发送移动调整指令，以调整所述内窥镜的移动方向；
基于调整后的移动方向更新所述期望移动轨迹，并基于更新后的期望移动轨迹控制所述内窥镜移动；
基于移动过程中的所有所述移动调整指令以及更新后的期望移动轨迹，生成所述实际移动轨迹。
在第一方面的一种可能的实现方式中，所述根据所述实际移动轨迹合并所述多个采集图像，得到目标检测图像，包括：
确定各个所述采集图像在所述实际移动轨迹内对应的拍摄坐标以及拍摄角度；
基于各个所述拍摄坐标在所述实际移动轨迹中的位置次序，确定各个所述采集图像的拼接次序；
基于相邻拼接次序之间拍摄坐标之间的位移向量以及角度偏转向量，合并相邻拍摄次序之间的所述采集图像，得到拼接图像；
将对所述实际移动轨迹上所有拍摄坐标合并后的所述拼接图像，作为所述目标检测图像。
在第一方面的一种可能的实现方式中，所述基于相邻拼接次序之间拍摄坐标之间的位移向量以及角度偏转向量，合并相邻拍摄次序之间的所述采集图像，得到拼接图像，包括：
确定相邻拍摄次序之间的两个所述采集图像间的图像重合区域；所述图像重合区域包含前一拍摄次序的采集图像对应的第一重合区域与后一拍摄次序的采集图像对应的第二重合区域；
根据所述内窥镜在所述位移向量移动时的移动速度，计算畸变系数；
基于所述畸变系数调整所述图像重合区域；
基于调整后的图像重合区域合并所述相邻拍摄次序之间的所述采集图像，得到所述拼接图像。
第二方面，本申请实施例提供了一种基于内窥镜的图像处理装置，包括：
对象信息获取单元，用于获取目标对象的对象信息；所述对象信息包含所述目标对象的生物信息；
期望移动轨迹生成单元，用于基于所述生物信息生成所述目标对象的期望移动轨迹；
实际移动轨迹生成单元，用于基于所述期望移动轨迹控制内窥镜在所述目标对象在目标检测区域移动，并在移动过程中采集目标检测区域的多个采集图像以及确定所述内窥镜的实际移动轨迹；
目标检测图像生成单元，用于单元，用于根据所述实际移动轨迹合并所述多个采集图像，得到目标检测图像；所述目标检测图像用于生成所述目标检测区域的检测报告。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面任一项所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一项所述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在服务器上运行时，使得服务器执行上述第一方面中任一项所述的方法。
本申请实施例与现有技术相比存在的有益效果是：通过在控制内窥镜进入目标对象的目标检测区域之前，可以获取该目标对象的对象信息，根据对象信息中的生物信息生成内窥镜进入目标检测区域的期望移动轨迹，并控制内窥镜基于该期望移动轨迹进行移动，从而能够实现有序控制内窥镜在目标对象体内移动的目的，以事实确定内窥镜的位姿，继而在移动的过程中获取目标检测区域内的多个采集图像，并生成对应的实际移动轨迹，由于已经确定内窥镜的实际移动轨迹，因此可以确定在获取各个采集图像时内窥镜的位姿，因此可以基于实际移动轨迹对各个采集图像进行合并，得到目标检测图像，从而实现采集目标对象在目标检测区域内整体情况的图像。与现有的内窥镜控制技术相比，本申请实施例由于获取采集图像时内窥镜是基于期望移动轨迹移动的，即内窥镜的位姿是可预测的，因此最后可以根据实际移动轨迹对采集图像进行合并，从而实现了对多个拍摄局域区域内容的采集图像进行合并，得到整体区域的目标检测图像，提高了检测的准确性的同时，也能够减少图像拼接的难度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的内窥检测系统的结构示意图；
图2是本申请实施例提供的一种基于内窥镜的图像处理方法的实现示意图；
图3是本申请一实施例提供的采集图像的拼接示意图；
图4是本申请第二实施例提供的一种基于内窥镜的图像处理方法在S202的具体实现流程图；
图5是本申请第三实施例提供的一种基于内窥镜的图像处理方法S203的具体实现流程图；
图6是本申请一实施例提供的期望移动轨迹的调整示意图；
图7是本申请第四实施例提供的一种基于内窥镜的图像处理方法S203的具体实现流程图；
图8是本申请第五实施例提供的一种基于内窥镜的图像处理方法S204的具体实现流程图；
图9是本申请实施例提供的评价报告的生成装置的结构示意图；
图10是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本申请实施例提供的评价报告的生成方法可以应用于服务器、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本等能够对图像数据进行处理的电子设备上。本申请实施例对电子设备的具体类型不作任何限制。特别地，该电子设备可以为一具有图像处理能力的内窥镜，该内窥镜可以基于预设的期望移动轨迹移动，并采集移动过程中的采集图像，对采集图像进行拼接，以得到目标检测区域的目标检测图像。
示例性地，图1示出了本申请一实施例提供的内窥检测系统的结构示意图，参见图1所示，该内窥检测系统包括有一内窥镜11以及用于图像处理的电子设备12。其中，该内窥镜11可以通过有线方式或无线方式与电子设备12建立通信连接。在内窥镜11通过有线方式与电子设备12建立通信连接的情况下，该内窥镜的可配置有引线，用户可以通过该引线与内窥镜连接处的传动部件，控制内窥镜朝指定方向移动；在内窥镜11通过无线方式与电子设备12建立通信连接的情况下，该内窥镜可以不配置有引线，而是可以通过其内部配置有的传动部件，控制其在生物体内移动，已到达预设的目标检测区域并获取对应的采集图像，在此不对内窥镜的形态和功能进行限定。
请参阅图2，图2示出了本申请实施例提供的一种基于内窥镜的图像处理方法的实现示意图，该方法包括如下步骤：
在S201中，获取目标对象的对象信息；所述对象信息包含所述目标对象的生物信息。
在本实施例中，电子设备在控制内窥镜采集目标对象的目标检测区域内的采集图像之前，可以获取该目标对象的对象信息，以根据该目标对象的对象信息生成对应的期望移动轨迹，以通过期望移动轨迹控制内窥镜在目标对象的体内移动。其中，该目标信息包括该目标对象的生物信息，生物信息包括：目标对象的生物体征信息(如血压、血氧、心率以及血脂等信息)以及生物体态信息(如体重、身高以及性别等信息)。需要说明的是，该目标对象可以为任意生物，在部分场景下，该目标对象可以为人，在其他场景下，该目标对象还可以为动物，如猫、狗等其他生物。
在一种可能的实现方式中，电子设备可以将用于采集对象信息的采集链接发送给目标对象对应的用户终端，用户终端可以根据该采集链接生成对应的信息采集界面，通过该信息采集界面输入多项生物信息，并将填写结果反馈给电子设备，电子设备在接收到上述基于采集界面反馈的信息后，可以得到目标对象的对象信息。
在一种可能的实现方式中，电子设备也可以在本地生成对应的采集界面，用户可以在电子设备本地输入对应的对象信息。可选地，若电子设备配置有语音采集模块，可以通过获取用于描述目标对象的对象信息的语音信号，并通过语音解析算法将语音信号转换为对应的文本数据，根据生物信息中关联的生物关键词，从上述的文本数据中提取各个维度的生物信息，从而生成目标对象的对象信息，从而能够减少用户填写生物信息的操作，提高了采集效率。
在一种可能的实现方式中，电子设备可以与预设的对象数据库通信，根据目标对象的对象标识，从对象数据库中获取该目标对象的对象信息。该对象数据库可以集成于电子设备中，也可以为独立的数据库服务器，在此不对其进行限定。
在S202中，基于所述生物信息生成所述目标对象的期望移动轨迹。
在本实施例中，电子设备在获取得到目标对象的对象信息后，会提取该对象信息中的生物信息，基于该生物信息构建目标对象的虚拟对象模型。该虚拟对象模型可以包含目标对象的生物体内构造，并在该虚拟对象模型中定位出目标检测区域，基于该生物体内构造确定内窥镜在目标对象体内移动的期望移动轨迹。
在一种可能的实现方式中，若上述生物信息包括目标对象的透视扫描图像，则电子设备可以基于该透视扫描图像构建目标对象的虚拟对象模型，并基于目标检测区域确定在目标对象中的检测入口，并以检测入口为起点，目标检测区域为终点，基于虚拟对象模型内的生物体内构造生成上述起点至终点之间的期望移动路径。
在一种可能的实现方式中，若检测入口至目标检测区域存在多条可选移动轨迹，则获取各个可选移动轨迹中的轨迹特征信息，基于所述轨迹特征信息计算各个可选移动轨迹的推荐系数，并选取推荐系数最高的一个可选移动轨迹作为期望移动轨迹。其中，上述轨迹特征信息包括：轨迹长度、轨迹最小径宽、轨迹最大径宽以及轨迹弯道数量等，根据上述轨迹特征信息中各个项目预设的权重值，可以导入到预设的推荐系数转换算法，计算得到可移动轨迹的推荐系数，其中，推荐系数越高，则内窥镜到达目标检测区域的难度越低；反之，推荐系数越低，则内窥镜到达目标检测区域的难度越高，因此可以从多个可选移动轨迹中选择合适的轨迹作为期望移动轨迹。
在S203中，基于所述期望移动轨迹控制内窥镜在所述目标对象在目标检测区域移动，并在移动过程中采集目标检测区域的多个采集图像以及确定所述内窥镜的实际移动轨迹。
在本实施例中，电子设备在确定了期望移动轨迹后，可以确定该期望移动轨迹内轨迹起点，并将内窥镜从上述轨迹起点进入目标对象的体内，继而可以控制内窥镜在目标对象的体内沿上述的期望移动轨迹移动。
在一种可能的实现方式中，内窥镜可以配置有传动部件，电子设备可以根据期望移动轨迹向内窥镜发送相应的移动指令，内窥镜在接收到上述移动指令后，可以朝着指定的方向移动。若内窥镜没有配置有传动部件，而是配置有对应的控制引线，则电子设备可以控制引线伸长或缩短，以及旋转等，控制内窥镜移动。
在本实施例中，内窥镜可以配置有摄像头，电子设备在控制内窥镜沿上述期望移动轨迹移动的过程中，可以在期望移动轨迹上配置有多个图像采集点，若检测到内窥镜到达期望移动轨迹上对应的图像采集点时，可以向内窥镜发送图像采集指令，内窥镜在接收到图像采集指令时，通过摄像头获取对应的采集图像，并将采集图像反馈给电子设备。
在一种可能的实现方式中，为了实时对内窥镜的移动位姿进行调整，内窥镜在移动过程中会实时反馈采集得到的视频画面，并将视频画面反馈给电子设备，电子设备可以根据该视频图像调整内窥镜的移动位姿，并根据调整的内容更新期望移动轨迹，从而生成对应的实际移动轨迹。
在一种可能的实现方式中，内窥镜内还可以配置有对应的运动传感器，如陀螺仪、加速度传感器或角速度传感器等，并将运动传感器采集得到的运动数据反馈给电子设备，电子设备可以根据运动数据构建内窥镜在目标对象体内的实际移动轨迹。
在S204中，根据所述实际移动轨迹合并所述多个采集图像，得到目标检测图像；所述目标检测图像用于生成所述目标检测区域的检测报告。
在本实施例中，内窥镜在获取上述采集图像的过程中，是根据电子设备的期望移动轨迹在移动过程中采集的，因此，每个采集图像可以关联有对应的期望采集位置，电子设备可以在期望移动轨迹上标记上述的期望采集位置，并基于期望移动轨迹与实际移动轨迹之间的轨迹偏差，确定期望采集位置在实际移动轨迹上对应的实际采集位置，从而可以确定内窥镜在拍摄该采集图像时的实际位姿，并基于各个采集图像在目标检测区域内的实际位姿，确定各个采集图像的拼接顺序以及拼接位置，继而将多个采集图像进行图像拼接，得到目标检测检测图像。
示例性地，图3示出了本申请一实施例提供的采集图像的拼接示意图。参见图3中的(a)所示，内窥镜在位置1～3分别获取了三个采集图像，分别为图像1～图像3，电子设备可以确定采集图像在实际移动轨迹中的位置，即位置1～3，从而确定了各个采集图像之间的拼接顺序以及相互之间的拼接方位，从而可以将上述三个图像进行拼接合并，得到目标检测图像，如图3中的(b)所示。
在一种可能的实现方式中，在获取得到目标检测图像后，电子设备可以通过预设的图像处理算法对上述的目标检测图像进行处理，例如通过轮廓识别算法提取该目标检测图像中携带有的轮廓信息，并基于轮廓信息生成该目标检测区域的检测报告。当然，若通过轮廓信息检测到目标检测区域内存在异物，则可以输出对应的异常提示信息，以进行相应的异常响应操作。
以上可以看出，本申请实施例提供的一种基于内窥镜的图像处理方法通过在控制内窥镜进入目标对象的目标检测区域之前，可以获取该目标对象的对象信息，根据对象信息中的生物信息生成内窥镜进入目标检测区域的期望移动轨迹，并控制内窥镜基于该期望移动轨迹进行移动，从而能够实现有序控制内窥镜在目标对象体内移动的目的，以事实确定内窥镜的位姿，继而在移动的过程中获取目标检测区域内的多个采集图像，并生成对应的实际移动轨迹，由于已经确定内窥镜的实际移动轨迹，因此可以确定在获取各个采集图像时内窥镜的位姿，因此可以基于实际移动轨迹对各个采集图像进行合并，得到目标检测图像，从而实现采集目标对象在目标检测区域内整体情况的图像。与现有的内窥镜控制技术相比，本申请实施例由于获取采集图像时内窥镜是基于期望移动轨迹移动的，即内窥镜的位姿是可预测的，因此最后可以根据实际移动轨迹对采集图像进行合并，从而实现了对多个拍摄局域区域内容的采集图像进行合并，得到整体区域的目标检测图像，提高了检测的准确性的同时，也能够减少图像拼接的难度。
图4示出了本申请第二实施例提供的一种基于内窥镜的图像处理方法在S202的具体实现流程图。参见图4，相对于图2所述实施例，本实施例提供的一种基于内窥镜的图像处理方法中在S202包括：S2021～S2024，具体详述如下：
进一步地，所述生物信息包括所述目标对象的体型信息以及体脂信息；所述基于所述生物信息生成所述目标对象的期望移动轨迹，包括：
在S2021中，从预设的对象模型库内选取与所述体型信息匹配的通用对象模型；所述通用对象模块包含所述目标检测区域的区域模型。
在本实施例中，生物的体内构造与多项因素相关，其中，生物个体间体型的差异，对于体内构造的影响较大，例如，身高较高的用户，其从食道至肠道的距离会大于身高较低的用户，而体重较大的用户其胃部空间的大小往往会大于体重较小的用户。基于此，电子设备在生成内窥镜的期望移动轨迹时，可以从生物信息中确定目标对象的体型信息。上述体型信息包括目标对象的身高、体重、三维数据等与体型相关的特征信息。
在本实施例中，电子设备在确定了目标对象的体型信息后，可以从已经预先创建的对象模型库中选取与该体型信息匹配的通用对象模型。其中，该对象模型库中已经创建的通用对象模型可以关联有对应的体型范围，若目标对象的体型信息在任一通用对象模型的体型范围内，则将其作为该目标对象的通用对象模型。其中，体型范围包括：体重范围、身高范围以及三维数据范围，需要目标对象的体型信息中各项数据均落入通用对象模块的体型范围内，才识别两者匹配。
在本实施例中，该通用对象模型是基于目标对象的生物类型相同的生物结构创建的，因此，该通用对象模型中包含有目标检测区域对应的区域模型，以模拟该目标检测区域的体内结构。
在S2022中，基于所述体脂信息确定所述目标对象的内脏脂肪系数，并根据所述内脏脂肪系数得到在内窥镜进入所述目标检测区域的目标路径上的期望脂肪分布信息。
在本实施例中，由于内窥镜在生物体内移动时，其移动轨迹的选择与其生物体内的各路径的孔径相关，而生物体内，如食道的孔径大小、肠道的孔径大小，会受该目标对象的脂肪分布影响，若该目标对象的内脏脂肪系数越高，则其各路径上可能会附着有脂肪，从而缩小了孔径的大小，有可能会阻碍内窥镜在体内的移动，基于此，为了提高对象模型的准确性，电子设备可以从生物信息中获取该目标独享的内脏脂肪系数，从而可以将内脏脂肪系数转换为移动至目标检测区域的目标路径上的脂肪分布信息。
在一种可能的实现方式中，电子设备可以配置有脂肪分布概率模型，电子设备可以将内脏脂肪系数以及该目标对象的体型信息导入到该脂肪分布概率模型内，则可以输出关于各个体内区域的脂肪分布概率，基于所有体内区域的脂肪分布概率，生成上述的脂肪分布信息。
在S2023中，通过所述期望脂肪分布信息调整所述通用对象模型，得到所述目标对象的期望对象模型。
在本实施例中，电子设备在确定了期望脂肪分布概率后，可以确定在目标路径上各个位置的脂肪分布情况，从而调整通用对象模型中目标路径上各孔径的期望孔径大小，从而得到与目标用户更为匹配的期望对象模型。
进一步地，作为本申请的另一实施例，上述S2023具体包括以下五个步骤，具体实现过程如下：
步骤1：获取所述目标对象在预设监控时间范围内的饮食信息。
步骤2：基于所述饮食信息确定在所述目标路径上的食物残留分布函数；所述食物残留分布函数为：
其中，DisPRove(pst)为所述目标路径上任一位置的食物残留概率；Curv(pst)为所述任一位置的弯度曲率；BaseCurv为基础曲率；Currtime为控制所述内窥镜的时间；Tgtime为最近饮食时间；FoodViscty为基于饮食信息确定的食物粘度。
在本实施例中，除了内脏脂肪会影响目标路径上的孔径大小，若目标对象在进行检测之前存在进食行为，其进食过程中的食物可能会一定程度残留与进食路径的内壁上，如食道的内壁上、胃的内壁上等，基于此，为了能够准确估算目标对象体内的环境，电子设备可以从目标对象的对象信息中，确定在预设监控时间内的饮食信息，确定该预设监控时间内进食的食物种类以及食物数量，不同食物对应的粘度以及消化程度不一样，其附着与内壁上的程度也存在一定差异，基于此，电子设备在确定了饮食信息后，会确定用户进食的各个食物对应的食物粘度。其中，该食物粘度可以通过查询预设的对应的关系表确定，该对应关系表可以根据食物类型确定不同食物的基础食物粘度，继而基于饮食信息中所有食物的基础食物粘度，确定其整体的粘度，即上述的食物粘度FoodViscty。
在本实施例中，电子设备可以根据获取目标路径上任一位置对应的弯度曲率，曲率越大，其对应食物残留的概率越高，并且食物粘度越高其对应的残留概率也越大，基于此，电子设备可以生成目标路径上各个位置对应的食物残留概率的预测函数，即得到上述的DisPRove(pst)。其中，pst为目标路径上的任一位置。
步骤3：将所述期望脂肪分布信息导入预设的脂肪概率分布函数，确定所述任一位置的脂肪分布概率。
在本实施例中，电子设备可以根据上述的期望脂肪分布信息，目标路径上任意位置内脏脂肪的分布情况，从而确定其位置对应的脂肪分布概率。其中，该脂肪分布概率可以根据该任一位置的脂肪分布的基础概率以及上述的分布信息两个参量联合确定。
步骤4：根据所述食物残留概率以及所述脂肪分布概率，确定所述任一位置的可通行孔径。
在本实施例中，电子设备在确定了目标路径上每个位置的食物残留概率与脂肪分布概率后，可以确定对孔径影响的程度高低，从而可以确定食物残留的残留厚度与内脏脂肪厚度，继而基于上述两个厚度以确定目标路径上任一位置的可通行孔径。
步骤5：基于所述目标路径上所有位置的所述可通行孔径，生成所述期望对象模型。
在本实施例中，在确定了目标路径上各个位置的可通行路径后，可以对通用对象模型在目标路径上的孔径进行调整，从而生成上述的期望对象模型。
在本申请实施例中，在确定目标对象的期望对象模型时，不仅考虑目标对象的内脏脂肪分布，还考虑了进食过程对于孔径大小的影响，继而提高了期望对象模型构建的准确性，继而提高了后续期望移动轨迹选取的准确性。
在S2024中，根据所述期望对象模型以及所述目标路径，生成所述期望移动轨迹。
在本实施例中，可以在期望对象模型中标记目标检测区域，继而确定从检测入口到目标检测区域之间的路径，从而生成上述的期望移动轨迹。
在本申请实施例中，通过考虑内脏脂肪系数对于期望对象模型的影响，能够提高对象模型构建的准确性，继而提高了后续期望移动轨迹选取的准确性。
图5示出了本申请第三实施例提供的一种基于内窥镜的图像处理方法S203的具体实现流程图。参见图5，相对于图4所述实施例，本实施例提供的一种基于内窥镜的图像处理方法中S203包括：S2031～S2035，具体详述如下：
在S2031中，基于在采集过程中获取的所述采集图像，确定所述目标检测区域中所述采集图像对应位置的实际通行孔径；
在本实施例中，电子设备在控制内窥镜在目标对象的体内进行移动的过程中，可以随时调整上述的期望对象模型。由于上述的内脏脂肪分布函数与食物残留分布函数均是基于大数据统计后生成的，即上述的两个函数并未基于目标对象的实际体内情况进行调整，为了能够提高期望移动轨迹的准确性，实现对内窥镜的精准控制，电子设备可以基于获取到的采集图像，确定期望移动轨迹中当前拍摄位置的实际通行孔径，以确定之前的预测与实际情况是否吻合。
在一种可能的实现方式中，电子设备在获取得到采集图像后，可以根据采集图像在获取时内窥镜位姿，对采集图像进行图像畸变修正，以得到角度修正图像。由于在获取采集图像时，由于拍摄角度的不同，会影响对实际通行孔径的确定，基于此，电子设备可以对采集图像进行图像畸变修正，以提高确定的实际通行孔径的准确性。
在S2032中，根据所述位置的所述可通行孔径与所述实际通信孔径，计算所述采集图像对应位置的预测偏差值；
在本实施例中，电子设备可以根据期望对象模型确定拍摄采集图像对应位置的可通行孔径，并将基于采集图像确定的实际通信孔径进行偏差计算，即计算上述两个数值的差值，得到采集图像对应位置的预测偏差值。其中，电子设备可以将可通行孔径与实际通行孔径之间的差值的绝对性，作为上述的预测偏差值。
在一种可能的实现方式中，若预测偏差值小于或等于预设偏差阈值，则表示期望对象模型与目标对象的体内的实际情况吻合，因此无需调整期望对象模型，且基于期望对象模型生成的期望移动轨迹较为准确，在该情况下可以继续沿期望移动轨迹控制内窥镜移动。
在S2033中，若所述预测偏差值大于预设偏差阈值，则基于所述预测偏差值调整所述食物残留分布函数以及调整所述脂肪概率分布函数；
在本实施例中，由于实际通行孔径与可通行孔径之间的预测偏差值大于预设偏差阈值，则表示期望对象模型与目标对象的实际体内结构存在一定的差异，因此需要对期望对象模型进行调整更新，以得到更为准确的期望移动轨迹。而期望对象模型的构建是基于食物残留分布函数与脂肪概率分布函数计算得到的相关概率生成的，因此，电子设备可以对采集图像进行进一步的图像解析，确定采集图像中的实际脂肪分布区域以及食物残留区域，并基于上述两个区域对分布函数进行调整，即基于采集图像中的食物残留区域对食物残留分布函数进行调整更新，以及根据实际脂肪分布区域对脂肪概率分布函数进行调整更新。
在S2034中，基于调整后的食物残留分布函数以及调整后的脂肪概率分布函数，调整所述采集图像对应位置后的期望移动轨迹；
在本实施例中，电子设备可以根据食物残留分布函数以及调整脂肪分布函数，分别计算采集图像位置后，其他位置的可通行孔径，并基于调整后的可通行孔径更新目标对象的期望对象模型，并基于调整后的期望对象模型，重新生成采集图像对应位置后的期望移动轨迹。
示例性地，图6示出了本申请一实施例提供的期望移动轨迹的调整示意图。轨迹1为调整前的期望移动轨迹，在位置1内窥镜将采集图像反馈给电子设备，并电子设备检测到该位置1的可通行孔径与实际通行孔径之间存在差异，基于此，电子设备会对期望对象模型进行更新，并重新指定调整后的期望移动轨迹，即轨迹2。
在S2035中，基于调整后的期望移动轨迹，控制所述内窥镜在所述目标对象在目标检测区域移动。
在本实施例中，电子设备可以基于调整后的期望移轨迹，继续控制内控制移动，并在移动过程中继续获取采集图像，并循环上述各个步骤，以实现实时调整期望移动轨迹的目的，提高了移动控制的准确性。
图7示出了本申请第四实施例提供的一种基于内窥镜的图像处理方法S203的具体实现流程图。参见图7，相对于图2所述实施例，本实施例提供的一种基于内窥镜的图像处理方法中S203包括：S2036～S2038，具体详述如下：
在S2036中，若检测到基于所述期望移动轨迹控制所述内窥镜移动时所述内窥镜的可视距离小于预设的距离阈值，则向所述内窥镜发送移动调整指令，以调整所述内窥镜的移动方向。
在本实施例中，电子设备在控制内窥镜在目标对象的体内移动时，为了减少对目标对象内壁的损伤，电子设备在检测到内窥镜靠近内壁时，则会控制内窥镜移动，因此，若检测到内窥镜的可视距离小于预设的距离阈值，则表示内窥镜靠近目标对象的内壁，此时会向内窥镜发送对应的移动调整指令，以调整内窥镜的移动方向。需要说明的是，若内窥镜沿预设的期望移动轨迹移动时，其可视距离会大于或等于上述的距离阈值，在该情况下，内窥镜只需按照期望移动轨迹移动即可，而在检测到可视距离小于上述的距离阈值，则表示期望移动轨迹与实际移动轨迹之间存在偏差，此时需要发送移动调整指令，以改变内窥镜的移动方向。
在S2037中，基于调整后的移动方向更新所述期望移动轨迹，并基于更新后的期望移动轨迹控制所述内窥镜移动。
在S2038中，基于移动过程中的所有所述移动调整指令以及更新后的期望移动轨迹，生成所述实际移动轨迹。
在本实施例中，电子设备在向内窥镜发送移动调整指令后，由于与原有的移动轨迹之间发生了一定程度的偏移，因此会根据新的移动方向，调整期望移动轨迹，最后基于所有调整移动方向的操作，以及更新后的期望移动轨迹，得到内窥镜在目标对象体内移动的实际移动轨迹。
在本申请实施例中，在检测到移动环境异常的情况下，能够向内窥镜发送对应的移动调整指令，以避免因内窥镜移动对目标对象体内的内壁造成损伤，且可视距离较短也不利于后续采集图像的获取，提高了检测准确性的同时，保证了采集动作的安全性。
图8示出了本申请第五实施例提供的一种基于内窥镜的图像处理方法S204的具体实现流程图。参见图8，相对于图3所述实施例，本实施例提供的一种基于内窥镜的图像处理方法中S204包括：S2041～S2044，具体详述如下：
在S2041中，确定各个所述采集图像在所述实际移动轨迹内对应的拍摄坐标以及拍摄角度。
在本实施例中，由于内窥镜是基于期望移动轨迹移动的，在获取采集图像时，可以关联有对应的轨迹坐标点。电子设备可以根据在期望移动轨迹上的轨迹坐标点以及内窥镜反馈的实际移动轨迹，在实际移动轨迹上确定轨迹坐标点对应的实际坐标点，并基于该实际坐标点确定拍摄采集图像时对应的拍摄坐标以及拍摄角度，即内窥镜获取采集图像时的拍摄位姿。
在S2042中，基于各个所述拍摄坐标在所述实际移动轨迹中的位置次序，确定各个所述采集图像的拼接次序。
在本实施例中，电子设备可以基于各个采集图像在实际移动轨迹上的拍摄坐标以及内窥镜的移动方向，确定各个采集图像之间的位置次序，并将该位置次序确定为各个采集图像相互之间的拼接次序，其中，根据各个采集图像在实际移动轨迹中的相互位置关系，还可以确定各个采集图像之间拼接方位。
在S2043中，基于相邻拼接次序之间拍摄坐标之间的位移向量以及角度偏转向量，合并相邻拍摄次序之间的所述采集图像，得到拼接图像。
在本实施例中，电子设备可以基于上述拼接次序依次拼接各个采集图像，其中，在进行任意两个采集图像的拼接操作之前，需要根据两个图像之间的拍摄坐标，计算得到两个图像之间的位移向量以及角度向量，以基于上述两个向量调整上述相邻两个采集图像之间的相互位置关系，并确定调整后两个采集图像之间的重合区域，基于重合区域将两个图像进行合并，得到上述的拼接图像。
进一步地，作为本申请的另一实施例，上述S2043具体包括以下步骤，具体描述如下：
步骤1.确定相邻拍摄次序之间的两个所述采集图像间的图像重合区域；所述图像重合区域包含前一拍摄次序的采集图像对应的第一重合区域与后一拍摄次序的采集图像对应的第二重合区域；
步骤2.根据所述内窥镜在所述位移向量移动时的移动速度，计算畸变系数；
步骤3.基于所述畸变系数调整所述图像重合区域；
步骤4.基于调整后的图像重合区域合并所述相邻拍摄次序之间的所述采集图像，得到所述拼接图像。
在本实施例中，电子设备在拼接两个相邻的采集图像时，需要确定两个采集图像内的图像重合区域，对于拍摄次序靠前的一个采集图像，其对应的图像重合区域为第一重合区域，而对于拍摄次序靠后的另一采集图像，其对应的图像重合区域为第二重合区域，鉴于内窥镜在拍摄采集图像时是以一定速度移动的，而移动可能会带来一定的图形畸变，因此需要确定对应的畸变系数对上述重合区域的内容进行调整，并基于调整后的图像重合区域进行拼接，以得到拼接图像，提高了拼接图像的准确性。
在S2044中，将对所述实际移动轨迹上所有拍摄坐标合并后的所述拼接图像，作为所述目标检测图像。
在本申请实施例中，基于预设的次序依次拼接各个采集图像，能够实现有序准确地进行图像拼接，提高了拼接的准确性。
图9示出了本申请一实施例提供的一种基于内窥镜的图像处理装置的结构框图，该评价报告的生成装置包括的各单元用于执行图2对应的实施例中生成装置实现的各步骤。具体请参阅图2与图2所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。
参见图9，所述基于内窥镜的图像处理装置包括：
对象信息获取单元91，用于获取目标对象的对象信息；所述对象信息包含所述目标对象的生物信息；
期望移动轨迹生成单元92，用于基于所述生物信息生成所述目标对象的期望移动轨迹；
实际移动轨迹生成单元93，用于基于所述期望移动轨迹控制内窥镜在所述目标对象在目标检测区域移动，并在移动过程中采集目标检测区域的多个采集图像以及确定所述内窥镜的实际移动轨迹；
目标检测图像生成单元94，用于单元，用于根据所述实际移动轨迹合并所述多个采集图像，得到目标检测图像；所述目标检测图像用于生成所述目标检测区域的检测报告。
可选地，所述生物信息包括所述目标对象的体型信息以及体脂信息；
所述期望移动轨迹生成单元92包括：
通用对象模型确定单元，用于从预设的对象模型库内选取与所述体型信息匹配的通用对象模型；所述通用对象模块包含所述目标检测区域的区域模型；
期望脂肪分布信息确定单元，用于基于所述体脂信息确定所述目标对象的内脏脂肪系数，并根据所述内脏脂肪系数得到在内窥镜进入所述目标检测区域的目标路径上的期望脂肪分布信息；
期望对象模型生成单元，用于通过所述期望脂肪分布信息调整所述通用对象模型，得到所述目标对象的期望对象模型；
轨迹生成单元，用于根据所述期望对象模型以及所述目标路径，生成所述期望移动轨迹。
可选地，期望对象模型生成单元包括：
饮食信息获取单元，用于获取所述目标对象在预设监控时间范围内的饮食信息；
食物残留分布函数构建单元，用于基于所述饮食信息确定在所述目标路径上的食物残留分布函数；所述食物残留分布函数为：
其中，DisPRove(pst)为所述目标路径上任一位置的食物残留概率；Curv(pst)为所述任一位置的弯度曲率；BaseCurv为基础曲率；Currtime为控制所述内窥镜的时间；Tgtime为最近饮食时间；FoodViscty为基于饮食信息确定的食物粘度；
脂肪分布概率生成单元，用于将所述期望脂肪分布信息导入预设的脂肪概率分布函数，确定所述任一位置的脂肪分布概率；
可通行孔径确定单元，用于根据所述食物残留概率以及所述脂肪分布概率，确定所述任一位置的可通行孔径；
期望对象模型构建单元，用于基于所述目标路径上所有位置的所述可通行孔径，生成所述期望对象模型。
可选地，所述实际移动轨迹生成单元93，包括：
实际通行孔径确定单元，用于基于在采集过程中获取的所述采集图像，确定所述目标检测区域中所述采集图像对应位置的实际通行孔径；
预测偏差值计算单元，用于根据所述位置的所述可通行孔径与所述实际通信孔径，计算所述采集图像对应位置的预测偏差值；
调整单元，用于若所述预测偏差值大于预设偏差阈值，则基于所述预测偏差值调整所述食物残留分布函数以及调整所述脂肪概率分布函数；
轨迹调整单元，用于基于调整后的食物残留分布函数以及调整后的脂肪概率分布函数，调整所述采集图像对应位置后的期望移动轨迹；
移动控制单元，用于基于调整后的期望移动轨迹，控制所述内窥镜在所述目标对象在目标检测区域移动。
可选地，所述实际移动轨迹生成单元93包括：
移动调整指令发送单元，用于若检测到基于所述期望移动轨迹控制所述内窥镜移动时所述内窥镜的可视距离小于预设的距离阈值，则向所述内窥镜发送移动调整指令，以调整所述内窥镜的移动方向；
内窥镜移动单元，用于基于调整后的移动方向更新所述期望移动轨迹，并基于更新后的期望移动轨迹控制所述内窥镜移动；
轨迹更新单元，用于基于移动过程中的所有所述移动调整指令以及更新后的期望移动轨迹，生成所述实际移动轨迹。
可选地，所述目标检测图像生成单元94包括：
拍摄位姿确定单元，用于确定各个所述采集图像在所述实际移动轨迹内对应的拍摄坐标以及拍摄角度；
拼接次序确定单元，用于基于各个所述拍摄坐标在所述实际移动轨迹中的位置次序，确定各个所述采集图像的拼接次序；
图像拼接单元，用于基于相邻拼接次序之间拍摄坐标之间的位移向量以及角度偏转向量，合并相邻拍摄次序之间的所述采集图像，得到拼接图像；
拼接合并单元，用于将对所述实际移动轨迹上所有拍摄坐标合并后的所述拼接图像，作为所述目标检测图像。
可选地，所述图像拼接单元包括：
重合区域确定单元，用于确定相邻拍摄次序之间的两个所述采集图像间的图像重合区域；所述图像重合区域包含前一拍摄次序的采集图像对应的第一重合区域与后一拍摄次序的采集图像对应的第二重合区域；
畸变系数确定单元，用于根据所述内窥镜在所述位移向量移动时的移动速度，计算畸变系数；
图像调整单元，用于基于所述畸变系数调整所述图像重合区域；
调整合并单元，用于基于调整后的图像重合区域合并所述相邻拍摄次序之间的所述采集图像，得到所述拼接图像。
应当理解的是，图9示出的评价报告的生成装置的结构框图中，各模块用于执行图2至图8对应的实施例中的各步骤，而对于图2至图8对应的实施例中的各步骤已在上述实施例中进行详细解释，具体请参阅图2至图8以及图2至图8所对应的实施例中的相关描述，此处不再赘述。
图10是本申请另一实施例提供的一种电子设备的结构框图。如图10所示，该实施例的电子设备1000包括：处理器1010、存储器1020以及存储在存储器1020中并可在处理器1010运行的计算机程序1030，例如评价报告的生成方法的程序。处理器1010执行计算机程序1030时实现上述各个评价报告的生成方法各实施例中的步骤，例如图2所示的S201至S204。或者，处理器1010执行计算机程序1030时实现上述图9对应的实施例中各模块的功能，例如，图9所示的单元91至94的功能，具体请参阅图9对应的实施例中的相关描述。
示例性的，计算机程序1030可以被分割成一个或多个模块，一个或者多个模块被存储在存储器1020中，并由处理器1010执行，以完成本申请。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序1030在电子设备1000中的执行过程。例如，计算机程序1030可以被分割成各个单元模块，各模块具体功能如上。
电子设备1000可包括，但不仅限于，处理器1010、存储器1020。本领域技术人员可以理解，图10仅仅是电子设备1000的示例，并不构成对电子设备1000的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器1010可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。
存储器1020可以是电子设备1000的内部存储单元，例如电子设备1000的硬盘或内存。存储器1020也可以是电子设备1000的外部存储设备，例如电子设备1000上配备的插接式硬盘，智能存储卡，闪存卡等。进一步地，存储器1020还可以既包括电子设备1000的内部存储单元也包括外部存储设备。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (6)

1.一种基于内窥镜的图像处理方法，其特征在于，包括：
获取目标对象的对象信息；所述对象信息包含所述目标对象的生物信息；
基于所述生物信息生成所述目标对象的期望移动轨迹；
基于所述期望移动轨迹控制内窥镜在所述目标对象在目标检测区域移动，并在移动过程中采集目标检测区域的多个采集图像以及确定所述内窥镜的实际移动轨迹；
根据所述实际移动轨迹合并所述多个采集图像，得到目标检测图像；所述目标检测图像用于生成所述目标检测区域的检测报告；
所述生物信息包括所述目标对象的体型信息以及体脂信息；
所述基于所述生物信息生成所述目标对象的期望移动轨迹，包括：
从预设的对象模型库内选取与所述体型信息匹配的通用对象模型；所述通用对象模型包含所述目标检测区域的区域模型；
基于所述体脂信息确定所述目标对象的内脏脂肪系数，并根据所述内脏脂肪系数得到在内窥镜进入所述目标检测区域的目标路径上的期望脂肪分布信息；
通过所述期望脂肪分布信息调整所述通用对象模型，得到所述目标对象的期望对象模型；
根据所述期望对象模型以及所述目标路径，生成所述期望移动轨迹；
所述通过所述期望脂肪分布信息调整所述通用对象模型，得到所述目标对象的期望对象模型，包括：
获取所述目标对象在预设监控时间范围内的饮食信息；
基于所述饮食信息确定在所述目标路径上的食物残留分布函数；所述食物残留分布函数为：
其中，DisPR(pst)为所述目标路径上任一位置的食物残留概率；Curv(pst)为所述任一位置的弯度曲率；BaseCurv为基础曲率；Currtime为控制所述内窥镜的时间；Tgtime为最近饮食时间；FoodViscty为基于饮食信息确定的食物粘度；所述食物粘度是通过查询预设的对应关系表确定；所述对应关系表是根据食物类型确定不同食物的基础食物粘度；
将所述期望脂肪分布信息导入预设的脂肪概率分布函数，确定所述任一位置的脂肪分布概率；
根据所述食物残留概率以及所述脂肪分布概率，确定所述任一位置的可通行孔径；
基于所述目标路径上所有位置的所述可通行孔径，生成所述期望对象模型；
所述基于所述期望移动轨迹控制内窥镜在所述目标对象在目标检测区域移动，并在移动过程中采集目标检测区域的多个采集图像以及确定所述内窥镜的实际移动轨迹，包括：
基于在采集过程中获取的所述采集图像，确定所述目标检测区域中所述采集图像对应位置的实际通行孔径；
根据所述位置的所述可通行孔径与所述实际通行孔径，计算所述采集图像对应位置的预测偏差值；
若所述预测偏差值大于预设偏差阈值，则基于所述预测偏差值调整所述食物残留分布函数以及调整所述脂肪概率分布函数；
基于调整后的食物残留分布函数以及调整后的脂肪概率分布函数，调整所述采集图像对应位置后的期望移动轨迹；
基于调整后的期望移动轨迹，控制所述内窥镜在所述目标对象在目标检测区域移动；
或
所述基于所述期望移动轨迹控制内窥镜在所述目标对象在目标检测区域移动，并在移动过程中采集目标检测区域的多个采集图像以及确定所述内窥镜的实际移动轨迹，包括：
若检测到基于所述期望移动轨迹控制所述内窥镜移动时所述内窥镜的可视距离小于预设的距离阈值，则向所述内窥镜发送移动调整指令，以调整所述内窥镜的移动方向；
基于调整后的移动方向更新所述期望移动轨迹，并基于更新后的期望移动轨迹控制所述内窥镜移动；
基于移动过程中的所有所述移动调整指令以及更新后的期望移动轨迹，生成所述实际移动轨迹。
2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述实际移动轨迹合并所述多个采集图像，得到目标检测图像，包括：
确定各个所述采集图像在所述实际移动轨迹内对应的拍摄坐标以及拍摄角度；
基于各个所述拍摄坐标在所述实际移动轨迹中的位置次序，确定各个所述采集图像的拼接次序；
基于相邻拼接次序之间拍摄坐标之间的位移向量以及角度偏转向量，合并相邻拍摄次序之间的所述采集图像，得到拼接图像；
将对所述实际移动轨迹上所有拍摄坐标合并后的所述拼接图像，作为所述目标检测图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述基于相邻拼接次序之间拍摄坐标之间的位移向量以及角度偏转向量，合并相邻拍摄次序之间的所述采集图像，得到拼接图像，包括：
确定相邻拍摄次序之间的两个所述采集图像间的图像重合区域；所述图像重合区域包含前一拍摄次序的采集图像对应的第一重合区域与后一拍摄次序的采集图像对应的第二重合区域；
根据所述内窥镜在所述位移向量移动时的移动速度，计算畸变系数；
基于所述畸变系数调整所述图像重合区域；
基于调整后的图像重合区域合并所述相邻拍摄次序之间的所述采集图像，得到所述拼接图像。
4.一种基于内窥镜的图像处理装置，其特征在于，包括：
对象信息获取单元，用于获取目标对象的对象信息；所述对象信息包含所述目标对象的生物信息；
期望移动轨迹生成单元，用于基于所述生物信息生成所述目标对象的期望移动轨迹；
实际移动轨迹生成单元，用于基于所述期望移动轨迹控制内窥镜在所述目标对象在目标检测区域移动，并在移动过程中采集目标检测区域的多个采集图像以及确定所述内窥镜的实际移动轨迹；
目标检测图像生成单元，用于根据所述实际移动轨迹合并所述多个采集图像，得到目标检测图像；所述目标检测图像用于生成所述目标检测区域的检测报告；
所述生物信息包括所述目标对象的体型信息以及体脂信息；
所述期望移动轨迹生成单元包括：
通用对象模型确定单元，用于从预设的对象模型库内选取与所述体型信息匹配的通用对象模型；所述通用对象模型包含所述目标检测区域的区域模型；
期望脂肪分布信息确定单元，用于基于所述体脂信息确定所述目标对象的内脏脂肪系数，并根据所述内脏脂肪系数得到在内窥镜进入所述目标检测区域的目标路径上的期望脂肪分布信息；
期望对象模型生成单元，用于通过所述期望脂肪分布信息调整所述通用对象模型，得到所述目标对象的期望对象模型；
轨迹生成单元，用于根据所述期望对象模型以及所述目标路径，生成所述期望移动轨迹；
期望对象模型生成单元包括：
饮食信息获取单元，用于获取所述目标对象在预设监控时间范围内的饮食信息；
食物残留分布函数构建单元，用于基于所述饮食信息确定在所述目标路径上的食物残留分布函数；所述食物残留分布函数为：
其中，DisPR(pst)为所述目标路径上任一位置的食物残留概率；Curv(pst)为所述任一位置的弯度曲率；BaseCurv为基础曲率；Currtime为控制所述内窥镜的时间；Tgtime为最近饮食时间；FoodViscty为基于饮食信息确定的食物粘度；所述食物粘度是通过查询预设的对应关系表确定；所述对应关系表是根据食物类型确定不同食物的基础食物粘度；
脂肪分布概率生成单元，用于将所述期望脂肪分布信息导入预设的脂肪概率分布函数，确定所述任一位置的脂肪分布概率；
可通行孔径确定单元，用于根据所述食物残留概率以及所述脂肪分布概率，确定所述任一位置的可通行孔径；
期望对象模型构建单元，用于基于所述目标路径上所有位置的所述可通行孔径，生成所述期望对象模型；
所述实际移动轨迹生成单元，包括：
实际通行孔径确定单元，用于基于在采集过程中获取的所述采集图像，确定所述目标检测区域中所述采集图像对应位置的实际通行孔径；
预测偏差值计算单元，用于根据所述位置的所述可通行孔径与所述实际通行孔径，计算所述采集图像对应位置的预测偏差值；
调整单元，用于若所述预测偏差值大于预设偏差阈值，则基于所述预测偏差值调整所述食物残留分布函数以及调整所述脂肪概率分布函数；
轨迹调整单元，用于基于调整后的食物残留分布函数以及调整后的脂肪概率分布函数，调整所述采集图像对应位置后的期望移动轨迹；
移动控制单元，用于基于调整后的期望移动轨迹，控制所述内窥镜在所述目标对象在目标检测区域移动；
或
所述实际移动轨迹生成单元包括：
移动调整指令发送单元，用于若检测到基于所述期望移动轨迹控制所述内窥镜移动时所述内窥镜的可视距离小于预设的距离阈值，则向所述内窥镜发送移动调整指令，以调整所述内窥镜的移动方向；
内窥镜移动单元，用于基于调整后的移动方向更新所述期望移动轨迹，并基于更新后的期望移动轨迹控制所述内窥镜移动；
轨迹更新单元，用于基于移动过程中的所有所述移动调整指令以及更新后的期望移动轨迹，生成所述实际移动轨迹。
5.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的方法。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的方法。
CN202310514409.4A 2023-05-09 2023-05-09 基于内窥镜的图像处理方法、装置、电子设备及存储介质 Active CN116761075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310514409.4A CN116761075B (zh) 2023-05-09 2023-05-09 基于内窥镜的图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310514409.4A CN116761075B (zh) 2023-05-09 2023-05-09 基于内窥镜的图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116761075A CN116761075A (zh) 2023-09-15
CN116761075B true CN116761075B (zh) 2024-05-24

Family

ID=87957907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310514409.4A Active CN116761075B (zh) 2023-05-09 2023-05-09 基于内窥镜的图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116761075B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102405010A (zh) * 2009-04-20 2012-04-04 奥林巴斯医疗株式会社 被检体内检查系统
CN102639049A (zh) * 2010-09-29 2012-08-15 奥林巴斯医疗株式会社 信息处理装置以及胶囊型内窥镜系统
JP2012200282A (ja) * 2011-03-23 2012-10-22 Olympus Corp 内部観察装置及び内部観察方法
CN112435266A (zh) * 2020-11-10 2021-03-02 中国科学院深圳先进技术研究院 一种图像分割方法、终端设备及计算机可读存储介质
CN113520275A (zh) * 2021-08-13 2021-10-22 元化智能科技(深圳)有限公司 无线胶囊内窥镜的轨迹追踪系统、设备及介质
CN115187596A (zh) * 2022-09-09 2022-10-14 中国医学科学院北京协和医院 用于腹腔镜结直肠癌手术的神经智能辅助识别系统
CN115553925A (zh) * 2022-12-05 2023-01-03 珠海视新医用科技有限公司 内窥镜操控模型训练方法及装置、设备、存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8682045B2 (en) * 1997-02-25 2014-03-25 Wake Forest University Health Sciences Virtual endoscopy with improved image segmentation and lesion detection
JP6707083B2 (ja) * 2015-06-29 2020-06-10 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
US11069131B2 (en) * 2019-09-26 2021-07-20 Amazon Technologies, Inc. Predictive personalized three-dimensional body models
EP4040782A4 (en) * 2019-10-01 2022-08-31 NEC Corporation IMAGE PROCESSING DEVICE, CONTROL METHOD AND STORAGE MEDIA

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102405010A (zh) * 2009-04-20 2012-04-04 奥林巴斯医疗株式会社 被检体内检查系统
CN102639049A (zh) * 2010-09-29 2012-08-15 奥林巴斯医疗株式会社 信息处理装置以及胶囊型内窥镜系统
JP2012200282A (ja) * 2011-03-23 2012-10-22 Olympus Corp 内部観察装置及び内部観察方法
CN112435266A (zh) * 2020-11-10 2021-03-02 中国科学院深圳先进技术研究院 一种图像分割方法、终端设备及计算机可读存储介质
CN113520275A (zh) * 2021-08-13 2021-10-22 元化智能科技(深圳)有限公司 无线胶囊内窥镜的轨迹追踪系统、设备及介质
CN115187596A (zh) * 2022-09-09 2022-10-14 中国医学科学院北京协和医院 用于腹腔镜结直肠癌手术的神经智能辅助识别系统
CN115553925A (zh) * 2022-12-05 2023-01-03 珠海视新医用科技有限公司 内窥镜操控模型训练方法及装置、设备、存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CT仿真内窥镜对气管支气管异物的诊断;周建荣;廖敏;钟福兴;;赣南医学院学报;20090828(04);全文 *
基于超宽带胶囊内窥镜的胃部肿瘤成像算法研究;陈功;《中国博士学位论文全文数据库医药卫生科技辑》;20200215;全文 *

Also Published As

Publication number Publication date
CN116761075A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
US10898755B2 (en) Method for providing posture guide and apparatus thereof
US11986286B2 (en) Gait-based assessment of neurodegeneration
CN110321754B (zh) 一种基于计算机视觉的人体运动姿态纠正方法及系统
EP3885967A1 (en) Object key point positioning method and apparatus, image processing method and apparatus, and storage medium
US20200090408A1 (en) Systems and methods for augmented reality body movement guidance and measurement
EP3477589B1 (en) Method of processing medical image, and medical image processing apparatus performing the method
US8107686B2 (en) Image procesing apparatus and image processing method
US20210315486A1 (en) System and Method for Automatic Evaluation of Gait Using Single or Multi-Camera Recordings
US20220207921A1 (en) Motion recognition method, storage medium, and information processing device
CN112668359A (zh) 动作识别方法、动作识别装置和电子设备
CN106659370B (zh) 胶囊型内窥镜以及内窥镜系统
CN112149602B (zh) 动作计数方法、装置、电子设备及存储介质
US20100269582A1 (en) Method and a System for Lameness Recognition
JP2019056957A (ja) 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
US11779260B2 (en) Cognitive function evaluation method, cognitive function evaluation device, and non-transitory computer-readable recording medium in which cognitive function evaluation program is recorded
US20240057946A1 (en) Sarcopenia evaluation method, sarcopenia evaluation device, and non-transitory computer-readable recording medium in which sarcopenia evaluation program is recorded
CN114495241A (zh) 一种图像识别方法及装置、电子设备、存储介质
US20220222975A1 (en) Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus
CN111881905B (zh) 调整感兴趣区域的方法与其运算装置
CN116761075B (zh) 基于内窥镜的图像处理方法、装置、电子设备及存储介质
Luo et al. Monocular endoscope 6-DoF tracking with constrained evolutionary stochastic filtering
Talaa et al. Computer Vision-Based Approach for Automated Monitoring and Assessment of Gait Rehabilitation at Home.
JP7197011B2 (ja) 身長推定装置、身長推定方法及びプログラム
CN113287152A (zh) 信息处理设备、信息处理方法和程序
CN112541382A (zh) 一种辅助运动的方法、系统以及识别终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant