CN114445380A - 视频分析方法及相关装置、设备、系统和存储介质 - Google Patents

视频分析方法及相关装置、设备、系统和存储介质 Download PDF

Info

Publication number
CN114445380A
CN114445380A CN202210107160.0A CN202210107160A CN114445380A CN 114445380 A CN114445380 A CN 114445380A CN 202210107160 A CN202210107160 A CN 202210107160A CN 114445380 A CN114445380 A CN 114445380A
Authority
CN
China
Prior art keywords
video
analysis
message
frame image
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210107160.0A
Other languages
English (en)
Inventor
李嘉辉
黄晓迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shangtang Shancui Medical Technology Co ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202210107160.0A priority Critical patent/CN114445380A/zh
Publication of CN114445380A publication Critical patent/CN114445380A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本申请公开了一种视频分析方法及相关装置、设备、系统和存储介质，其中，视频分析方法包括：获取内窥镜在目标对象内部扫描到的视频帧图像；基于视频帧图像进行分析处理，得到分析结果；其中，分析处理包括位置检测，分析结果包括内窥镜的镜头在目标对象内部的位置；基于分析结果，输出提示消息；其中，提示消息包括第一消息，第一消息用于提示目标对象内部的未扫描区域。上述方案，能够提升目标对象的探查效率。

Description

视频分析方法及相关装置、设备、系统和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种视频分析方法及相关装置、设备、系统和存储介质。
背景技术
内窥镜在诸如医学、工业等众多领域均有着重要作用。例如，在医学领域，内窥镜可用于消化道(胃、肠)等部位检查，在工业领域，内窥镜可用于油气化工等场景检查。
然而，在众多场景中，内窥镜不适于在目标对象内部留置太久，因此内窥镜面临着在检查效率维度的严苛挑战。例如，在消化道检查场景中，由于内窥镜深入患者体内会引发病人不适，且内窥镜在患者体内留置越久，患者的不适感一般越强烈，因此要求在短时间内发现病灶，或者在管道探伤场景中，由于管道内可能存在有害、有毒等危险物质，且内窥镜在管道内留置越久，危险物质泄露的可能性一般也越高，因此要求在短时间内发现伤痕。有鉴于此，如何提升目标对象的探查效率成为亟待解决的问题。
发明内容
本申请提供一种视频分析方法及相关装置、设备、系统和存储介质。
本申请第一方面提供了一种视频分析方法，包括：获取内窥镜在目标对象内部扫描到的视频帧图像；基于视频帧图像进行分析处理，得到分析结果；其中，分析处理包括位置检测，分析结果包括内窥镜的镜头在目标对象内部的位置；基于分析结果，输出提示消息；其中，提示消息包括第一消息，第一消息用于提示目标对象内部的未扫描区域。
因此，获取内窥镜在目标对象内部扫描到的视频帧图像，并基于视频帧图像进行分析处理，得到分析结果，且分析处理包括位置检测，分析结果包括内窥镜的镜头在目标对象内部的位置，在此基础上，再基于分析结果，输出提示消息，且提示消息包括第一消息，第一消息用于提示目标对象内部的未扫描区域，由于在内窥镜探查目标对象内部过程中，能够持续对内窥镜的镜头进行位置检测，以获悉目标对象内部的未扫描区域，从而能够指导探查目标对象，进而能够大大减少来回重复探查相同位置的可能性，有利于提升目标对象的探查效率。
其中，第一消息以预设方式呈现，且预设包括通过目标对象的内部构造进行呈现，内部构造标记有未扫描区域。
因此，第一消息通过以预设方式呈现，且预设方式通过目标对象的内部构造进行呈现，内部构造还标记有未扫描区域，因此能够提升展示未扫描区域的直观性。
其中，分析处理包括感兴趣点检测，分析结果包括视频帧图像中感兴趣点的检测区域，提示消息包括第二消息，第二消息用于提示检测区域。
因此，分析处理进一步包括感兴趣点检测，分析结果对应包括视频帧图像中感兴趣点的检测区域，提示消息对应包括第二消息，且第二消息用于提示检测区域，故能够利用内窥镜实现感兴趣点的自动检测，有利于大大提升工作效率。
其中，分析处理包括感兴趣点分类，分析结果包括视频帧图像中感兴趣点的预测类别，提示消息包括第三消息，第三消息用于提示预测类别。
因此，分析处理进一步包括感兴趣点分类，分析结果对应包括视频帧图像中感兴趣点的预测类别，提示消息对应包括第三消息，且第三消息用于提示预测类别，故能够利用内窥镜实现感兴趣点的自动分类，有利于大大提升工作效率。
其中，分析处理包括感兴趣点检索，分析结果包括与视频帧图像相关的若干参考图像，参考图像与视频帧图像之间的相似度满足预设条件，参考图像标记有参考图像中感兴趣点的预测类别，提示消息包括第四消息，第四消息以若干参考图像予以呈现。
因此，分析处理进一步包括感兴趣点检索，分析结果对应包括与视频帧图像相关的若干参考图像，参考图像与视频帧图像之间的相似度满足预设条件，参考图像还标记有参考图像中感兴趣点的预测类别，提示消息包括第四消息，且第四消息以若干参考图像予以呈现，故能够利用内窥镜检查过程中，检索出与目前视频帧图像相关的参考图像以供参考视频帧图像中感兴趣点，有利于大大提升工作效率。
其中，分析处理包括清洁度检测，分析结果包括目标对象内部在视频帧图像视野范围内的清洁度，提示消息包括第五消息，第五消息用于提示清洁度。
因此，分析处理进一步包括清洁度检测，分析结果对应包括目标对象内部在视频帧图像视野范围内的清洁度，提示消息对应包括第五消息，且第五消息用于提示清洁度，由于目标对象内部的清洁度对于图像分析的准确性存在一定影响，故通过提示当前视野范围内的清洁度，能够有利于使用户知晓当前分析结果的可信度。
其中，分析处理包括速度检测，分析结果包括镜头在目标对象内部的当前速度，提示消息包括第六消息，第六消息用于提示维持或提高或降低当前速度。
因此，分析处理进一步包括速度检测，分析结果对应包括镜头在目标对象内部的当前速度，提示消息对应包括第六消息，且第六消息用于提示维持或提高或降低当前速度，故能够使镜头的移动速度维持在合理区间内，从而使得镜头的移动速度不至于过快导致画面模糊，影响分析处理精度，也使得镜头的移动速度不至于过慢导致内窥镜在目标对象内部的留置时间过长，影响分析处理效率。
其中，分析处理包括感兴趣点分割，分析结果包括视频帧图像中感兴趣点的轮廓区域，提示消息包括第七消息，第七消息用于提示轮廓区域。
因此，分析处理进一步包括感兴趣点分割，分析结果对应包括视频帧图像中感兴趣点的轮廓区域，提示消息对应包括第七消息，且第七消息用于提示轮廓区域，故能够利用内窥镜实现感兴趣点的自动分割，有利于大大提升工作效率。
其中，视频分析方法由视频分析设备执行，视频分析设备的输入端与视频采集设备连接，视频采集设备连接至内窥镜，以通过采集内窥镜的视频信号得到视频帧图像，且视频分析设备的输出端与显示设备连接，以通过显示设备输出提示消息。
因此，视频分析方法由视频分析设备执行，视频分析设备的输入端与视频采集设备连接，视频采集设备连接至内窥镜，以通过采集内窥镜的视频信号得到视频帧图像，且视频分析设备的输出端与显示设备连接，以通过显示设备输出提示消息，也就是说，仅需在显示设备与内窥镜之间设置视频分析设备与视频采集设备即可实现视频分析，有利于降低搭建视频分析系统的复杂度。
本申请第二方面提供了一种视频分析装置，包括：图像获取模块、分析处理模块和提示输出模块，图像获取模块用于获取内窥镜在目标对象内部扫描到的视频帧图像；分析处理模块用于基于视频帧图像进行分析处理，得到分析结果；其中，分析处理包括位置检测，分析结果包括内窥镜的镜头在目标对象内部的位置；提示输出模块用于基于分析结果，输出提示消息；其中，提示消息包括第一消息，第一消息用于提示目标对象内部的未扫描区域。
本申请第三方面提供了一种视频分析设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的视频分析方法。
本申请第四方面提供了一种视频分析系统，包括视频采集设备和第三方面中的视频分析设备，视频采集设备和视频分析设备连接，视频采集设备用于连接内窥镜，以通过采集内窥镜的视频信号得到视频帧图像，视频分析设备用于与显示设备连接，以通过显示设备输出提示消息。
本申请第五方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的视频分析方法。
上述方案，获取内窥镜在目标对象内部扫描到的视频帧图像，并基于视频帧图像进行分析处理，得到分析结果，且分析处理包括位置检测，分析结果包括内窥镜的镜头在目标对象内部的位置，在此基础上，再基于分析结果，输出提示消息，且提示消息包括第一消息，第一消息用于提示目标对象内部的未扫描区域，由于在内窥镜探查目标对象内部过程中，能够持续对内窥镜的镜头进行位置检测，以获悉目标对象内部的未扫描区域，从而能够指导探查目标对象，进而能够大大减少来回重复探查相同位置的可能性，有利于提升目标对象的探查效率。
附图说明
图1是本申请视频分析方法一实施例的流程示意图；
图2是本申请视频分析系统一实施例的框架示意图；
图3是未扫描区域一实施例的示意图；
图4是第二消息一实施例的示意图；
图5是第四消息一实施例的示意图；
图6是本申请视频分析装置一实施例的框架示意图；
图7是本申请视频分析设备一实施例的框架示意图；
图8是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请视频分析方法一实施例的流程示意图。
具体而言，可以包括如下步骤：
步骤S11：获取内窥镜在目标对象内部扫描到的视频帧图像。
在一个实施场景中，目标对象可以根据实际应用场景进行设置。例如，目标对象可以包括但不限于：消化道(如，胃、肠)、呼吸道等，以实现对消化道、呼吸道等部位进行探查，或者，目标对象也可以包括但不限于：油气管道、发动机等，以实现对油气管道、发动机等设备进行探查，在此不做限定。
在一个实施场景中，需要说明的是，在利用内窥镜对目标对象内部进行探查可以是持续性过程，也就是说，内窥镜在目标对象内部可以扫描到多个视频帧图像，以持续对各个视频帧图像进行分析处理，分析处理的具体过程可以参阅下述相关描述，在此暂不赘述。
在一个实施场景中，请结合参阅图2，图2是本申请视频分析系统一实施例的框架示意图。如图2所示，视频分析系统具体可以包括视频采集设备和视频分析设备，且视频分析设备用于执行本申请视频分析方法实施例中步骤，视频采集设备用于连接内窥镜，以通过采集内窥镜的视频信号得到视频帧图像，视频分析设备用于与显示设备连接，以通过显示设备输出提示消息，该提示消息是基于对视频帧图像的分析结果而得到的，具体可以参阅下述相关描述，在此暂不赘述。
在一个具体的实施场景中，请继续结合参阅图2，视频分析设备的输入端可以与视频采集设备连接，视频分析设备的输出端可以与显示设备连接。
在一个具体的实施场景中，内窥镜的视频信号可以采用第一协议，而视频采集设备可以将第一协议的视频信号转换为第二协议，并基于第二协议的视频信号提取得到视频帧图像。示例性地，可以通过内窥镜获取SDI(Serial Digital Interface，即数字分量串行接口)视频信号，视频采集设备可以将SDI视频信号转换为HDMI(High DefinitionMultimedia Interface，即高清多媒体接口)视频信号，在此基础上，可以提取得到视频帧图像。
在一个具体的实施场景中，还可以通过优化下述分析处理算法，使视频分析设备在不影响分析处理效率的前提下，实现小型化。例如，视频分析设备的尺寸可以为：长22厘米、宽22厘米、高3cm，在此不做限定，从而可以更加方便地在空间不足的内窥镜检查室搭建上述视频分析系统。
在一个具体的实施场景中，视频分析设备还可以支持多路视频流输入/输出，从而视频分析设备可以与多个内窥镜耦接，并与多个显示设备连接，进而可以将多个内窥镜扫描得到的视频帧图像分别处理得到的提示消息，分别在多个显示设备予以输出。以视频分析设备支持4路视频流为例，视频分析设备可以与4台内窥镜耦接，并与4台显示设备连接，从而1号显示设备可以显示基于1号内窥镜扫描到的视频帧图像而分析处理得到的提示消息，2号显示设备可以显示基于2号内窥镜扫描到的视频帧图像而分析处理得到的提示消息，以此类推，在此不再一一举例。
步骤S12：基于视频帧图像进行分析处理，得到分析结果。
本公开实施例中，分析处理包括位置检测，分析结果包括内窥镜的镜头在目标对象内部的位置。
在一个实施场景中，具体可以基于单目SLAM(Simultaneous Localization AndMapping，即时定位与地图)算法实现位置检测，具体检测过程，可以参阅单目SLAM的技术细节，在此不再赘述。
在一个实施场景中，还可以基于诸如卷积神经网络等网络模型实现位置检测。该网络模型具体可以包括但不限于：卷积层、激活层、池化层等等，在此对网络模型的具体结构不做限定。例如，可以预先采集若干样本图像，且样本图像标注有其在目标对象内部的样本位置，在此基础上，可以利用网络模型对样本图像进行位置检测，得到预测位置，并基于样本位置和预测位置之间的差异，调整网络模型的网络参数。需要说明的是，上述差异的计算过程，可以参阅诸如交叉熵损失等损失函数的技术细节，上述参数的调整过程，可以参阅诸如梯度下降有优化方式的技术细节，在此不再赘述。通过上述训练过程，网络模型能够学习到目标对象内部各个位置处的图像特征，从而在后续实际检测过程中，通过将视频帧图像输入该网络模型，即可输出得到拍摄该视频帧图像时，内窥镜的镜头在目标对象内部的位置。
步骤S13：基于分析结果，输出提示消息。
本公开实施例中，提示消息包括第一消息，第一消息用于提示目标对象内部的未扫描区域。
在一个实施场景中，如前所述，在利用内窥镜对目标对象内部进行探查可以是持续性过程，则在对每一个视频帧图像进行位置检测之后，均可对应得到拍摄该视频帧图像时内窥镜的镜头在目标对象内部的位置，在此基础上，可以对各个视频帧图像对应的位置进行记录，目标对象内部尚未记录到的位置即构成未扫描区域。
在一个实施场景中，第一消息可以以预设方式呈现，且预设方式包括通过目标对象的内部构造进行呈现，内部构造可以标记有未扫描区域。以医学场景为例，请结合参阅图3，图3是未扫描区域一实施例的示意图。需要说明的是，图3所示是在目标对象为消化道的情况下未扫描区域的示意图。如图3所示，斜线阴影填充部分即表示未扫描区域。在实际应用过程中，也可以采用其他形式来标记未扫描区域，如可以采用预设颜色(如，红色、绿色等)、预设线型(如，实线、虚线等)、预设粗细(如，20磅、30磅等)的轮廓线来表示，或者可以采用预设透明度(如，20％、50％等)、预设填充样式(如，纯色填充、点状填充)的填充块来表示，在此不做限定。上述方式，第一消息通过以预设方式呈现，且预设方式包括通过目标对象的内部构造进行呈现，内部构造还标记有未扫描区域，因此能够提升展示未扫描区域的直观性。
上述方案，获取内窥镜在目标对象内部扫描到的视频帧图像，并基于视频帧图像进行分析处理，得到分析结果，且分析处理包括位置检测，分析结果包括内窥镜的镜头在目标对象内部的位置，在此基础上，再基于分析结果，输出提示消息，且提示消息包括第一消息，第一消息用于提示目标对象内部的未扫描区域，由于在内窥镜探查目标对象内部过程中，能够持续对内窥镜的镜头进行位置检测，以获悉目标对象内部的未扫描区域，从而能够指导探查目标对象，进而能够大大减少来回重复探查相同位置的可能性，有利于提升目标对象的探查效率。
在一些公开实施例中，请结合参阅图2，处理分析还可以进一步包括感兴趣点检测，分析结果对应可以包括视频帧图像中感兴趣点的检测区域，提示消息对应可以包括第二消息，且第二消息用于提示该检测区域。上述方式，能够利用内窥镜实现感兴趣点的自动检测，有利于大大提升工作效率。需要说明的是，根据应用场景的不同，感兴趣点也可以不同。例如，在医学场景中，感兴趣点可以包括但不限于病灶等；或者，例如，在工业场景中，感兴趣点可以包括但不限于伤痕等。其他场景可以以此类推，在此不再一一举例。
在一个实施场景中，可以采用诸如卷积神经网络等网络模型对视频帧图像进行感兴趣点检测，以得到视频帧图像中感兴趣点的检测区域。网络模型具体可以包括但不限于：Faster-RCNN、YOLO等等，在此对网络模型的具体结构不做限定。具体地，可以预先采集若干样本图像，且样本图像中标注有感兴趣点的样本区域，在此基础上，可以利用该网络模型对样本图像进行感兴趣点检测，得到感兴趣点的预测区域，从而可以基于样本区域与预测区域之间的差异，调整该网络模型的网络参数。需要说明的是，上述差异的计算过程，可以参阅诸如交叉熵损失等损失函数的技术细节，上述参数的调整过程，可以参阅诸如梯度下降有优化方式的技术细节，在此不再赘述。通过上述训练过程，网络模型能够学习到感兴趣点区域相关的图像特征，从而在后续实际检测过程中，可以将视频帧图像输入该网络模型，即可预测得到该视频帧图像中感兴趣点的检测区域。
在一个实施场景中，检测区域可以以包围感兴趣点的矩形框予以表示，即分析结果具体可以包括该矩形框顶点在视频帧图像中的位置坐标。例如，在医学场景中，检测区域具体可以是包围病灶的矩形框；或者，在工业场景中，检测区域具体可以是包围伤痕的矩形框。其他场景可以以此类推，在此不再一一举例。
在一个实施场景中，第二消息可以以视频帧图像予以呈现，且视频帧图像标记有对其进行感兴趣点检测所检测到的检测区域。以医学场景为例，请结合参阅图4，图4是第二消息一实施例的示意图。如图4所示为视频帧图像，实线矩形框即表示病灶的检测区域。
在一些公开实施例中，请结合参阅图2，处理分析还可以进一步包括感兴趣点分类，分析结果对应可以包括视频帧图像中感兴趣点的预测类别，提示消息对应可以包括第三消息，且第三消息用于提示该预测类别。上述方式，能够利用内窥镜实现感兴趣点的自动分类，有利于大大提升工作效率。
在一个实施场景中，可以采用诸如卷积神经网络等网络模型对视频帧图像进行感兴趣点分类，以得到视频帧图像中感兴趣点的预测类别。网络模型具体可以包括但不限于：卷积层、激活层、池化层、全连接层等等，在此对网络模型的具体结构不做限定。具体地，可以预先采集若干样本图像，且样本图像中标注有感兴趣点的样本类别，在此基础上，可以利用该网络模型对样本图像进行感兴趣点分类，得到感兴趣点的预测类别，从而可以基于样本类别与预测类别之间的差异，调整该网络模型的网络参数。需要说明的是，上述差异的计算过程，可以参阅诸如交叉熵损失等损失函数的技术细节，上述参数的调整过程，可以参阅诸如梯度下降有优化方式的技术细节，在此不再赘述。通过上述训练过程，网络模型能够学习到感兴趣点类别相关的图像特征，从而在后续实际检测过程中，可以将视频帧图像输入该网络模型，即可预测得到该视频帧图像中感兴趣点的预测类别。
在一个实施场景中，第三消息可以以视频帧图像予以呈现，且在视频帧图像中感兴趣点的检测区域处标记有该感兴趣点的预测类别，从而可以直观地展示视频帧图像中所检出的感兴趣点及其预测类别。例如，在医学场景中，在视频帧图像中病灶的检测区域处可以标记有该病灶的预测类别(如，血肿、囊肿等)，从而可以直观地展示视频帧图像中所检出的病灶及其预测类别；或者，在工业场景中，在视频帧图像中伤痕的检测区域处可以标记有该伤痕的预测类别(如，贯穿性孔洞、划痕、腐蚀等)，从而可以直观地展示视频帧图像中所检出的伤痕及其预测类别。其他场景可以以此类推，在此不再一一举例。
在一些公开实施例中，请结合参阅图2，处理分析还可以进一步包括感兴趣点检索，分析结果对应可以包括与视频帧图像相关的若干参考图像，参考图像与视频帧图像之间的相似度满足预设条件，参考图像标记有参考图像中感兴趣点的预测类别，提示消息对应可以包括第四消息，第四消息可以以若干参考图像予以呈现。上述方式，能够利用内窥镜检查过程中，检索出与目前视频帧图像相关的参考图像以供医生参考视频帧图像中感兴趣点，有利于大大提升工作效率。
在一个实施场景中，可以利用诸如卷积神经网络等网络模型对视频帧图像以及历史扫描图像进行特征提取，得到视频帧图像的第一图像特征和历史扫描图像的第二图像特征。需要说明的是，历史扫描图像可以是在视频帧图像之前所扫描到的图像，且历史扫描图像可以标记有在其上所检出的感兴趣点的预测类别。在此基础上，可以基于余弦相似度等相似度度量方式获取第一图像特征分别与各个第二图像特征之间的相似度。具体地，可以预先采集若干样本图像，并获取表征样本图像两两之间是否相关的参考信息，在此基础上，可以利用该网络模型对各个样本图像进行特征提取，得到样本图像特征，从而可以将若干样本图像分别作为当前图像，并基于参考信息将与当前图像相关的样本图像作为正例图像，将与当前图像不相关的样本图像作为负例图像，进而可以基于三元组损失函数度量当前图像的样本图像特征与正例图像的样本图像特征之间的差异，以及当前图像的样本图像特征与负例图像的样本图像特征之间的差异，得到当前图像对应的子损失，进一步基于各个样本图像对应的子损失，可以得到总损失，并基于总损失调整该网络模型的网络参数。需要说明的是，上述差异的计算过程，可以参阅诸如三元组损失等损失函数的技术细节，上述参数的调整过程，可以查阅诸如梯度下降等优化方式的技术细节，在此不再赘述。通过上述训练过程，网络模型能够使得相关图像的图像特征尽可能地接近，而不相关图像的图像特征尽可能地疏离，从而在后续实际检测过程中，可以将视频帧图像输入该网络模型，即可预测得到该视频帧图像的图像特征。
在一个实施场景中，可以按照相似度由高到低的顺序将上述历史扫描图像进行排序，则预设条件可以设置为位于预设序位之前，也就是说，可以取位于预设序位之前(如，前5位、前6位等)的历史扫描图像作为参考图像。
在一个实施场景中，以医学场景为例，请结合参阅图5，图5是第四消息一实施例的示意图。对于图5左侧所示的视频帧图像，可以检索到5个与其内容相关的参考图像，且在参考图像左上角标注有其内病灶的预测类别，如T1N0、T1N0+、T1Nx等，具体含义可以参阅TMN分期的相关细节，在此不再赘述。
在一些公开实施例中，请结合参阅图2，处理分析还可以进一步包括清洁度检测，分析结果对应可以包括目标对象内部在视频帧图像视野范围内的清洁度，提示消息对应可以包括第五消息，且第五消息用于提示清洁度。上述方式，由于目标对象内部的清洁度对于图像分析的准确性存在一定影响，故通过提示当前视野范围内的清洁度，能够有利于使用户知晓当前分析结果的可信度。
在一个实施场景中，可以利用诸如卷积神经网络等网络模型对视频帧图像进行清洁度检测，得到目标对象内部在视频帧图像的视野范围内的清洁度。该网络模型可以包括但不限于：卷积层、激活层、池化层等，在此对网络模型的具体结构不做限定。具体地，可以预先采集若干样本图像，且样本图像标注有样本清洁度。例如，样本清洁度可以以数值来表示(如，以0至10来表示)，或者样本清洁度也可以以文字来表示(如，以“不清洁”、“清洁”、“十分清洁”来表示)。在此基础上，可以利用该网络模型对样本图像进行清洁度检测，得到预测清洁度，并利用样本清洁度和预测清洁度之间的差异，调整该网络模型的网络参数。需要说明的是，上述差异的计算过程，可以参阅诸如交叉熵损失等损失函数的技术细节，上述参数的调整过程，可以参阅诸如梯度下降等优化方式的技术细节，在此不再赘述。通过上述训练过程，网络模型能够学习到与清洁度相关的图像特征，从而在后续实际检测过程中，可以将视频帧图像输入该网络模型，即可预测得到目标对象内部在视频帧图像视野范围内的清洁度。
在一个实施场景中，需要说明的是，目标对象内部在视频帧图像视野范围内的清洁度越高，前述位置检测、感兴趣点检测、感兴趣点分类、感兴趣点检索的可信度也越高，反之，目标对象在视频帧图像视野范围内的清洁度越低，前述位置检测、感兴趣点检测、感兴趣点分类、感兴趣点检索的可信度也越低。
在一个实施场景中，第五消息也可以以视频帧图像予以呈现，且视频帧图像可以标记有该清洁度。在此基础上，可以提示在视频帧图像上所标记的检测区域、预测类别等分析结果的可信度，以为医生提供更为丰富的辅助信息。
在一些公开实施例中，请结合参阅图2，处理分析还可以进一步包括速度检测，分析结果对应可以包括镜头在目标对象内部的当前速度，提示消息对应可以包括第六消息，第六消息可以用于提示维持或提高或降低当前速度。上述方式，能够使镜头的移动速度维持在合理区间内，从而使得镜头的移动速度不至于过快导致画面模糊，影响分析处理精度，也使得镜头的移动速度不至于过慢导致内窥镜在目标对象内部的留置时间过长，影响分析处理效率。
在一个实施场景中，如前述公开实施例所述，可以基于单目SLAM、神经网络等进行位置检测，得到内窥镜的镜头在目标对象内部的当前位置，且如前述公开实施例所述，在利用内窥镜对目标对象内部进行探查可以是持续性过程，则可以获取在当前视频帧图像之前所扫描到的视频帧图像对应的拍摄位置，从而可以基于当前位置与拍摄位置之间的距离差，以及当前视频帧图像的扫描时间及其之前所扫描到的视频帧图像的扫描时间之间的时间差，得到镜头在目标对象内部的当前速度。例如，为了简化计算，可以直接将距离场与时间差之比作为当前速度。
在一个实施场景中，也可以将当前所扫描到的视频帧图像和在此之前所扫描到的视频帧图像进行相似度检测，得到相似度，并将该相似度代入图像相似度与移动速度之间的映射关系，即可得到当前速度。需要说明的是，该映射关系可以是线性关系，且图像相似度越高，移动速度越慢，图像相似度越低，移动速度越快。此外，该映射关系可以是预先建立的。例如，可以预先以不同速度在目标对象内部移动，并测算不同移动速度下，相邻图像之间相似度，基于此即可建立上述映射关系。
在一个实施场景中，可以检测当前速度是否在预设范围内，若在当前速度在预设范围内，则第六消息具体可以表征提示维持当前速度，若当前速度低于预设范围的下限值，则第六消息具体可以表征提示提高当前速度，若当前速度高于预设范围的上限值，则第六消息具体可以表征提示降低当前速度。需要说明的是，预设范围可以根据实际应用情况进行设置，例如，在内窥镜帧率较高的情况下，预设范围可以设置地适当大一些，而在内窥镜的帧率较低的情况下，预设范围可以设置地适当小一些，其具体数值范围在此不做限定。
在一些公开实施例中，分析处理包括感兴趣点分割，分析结果包括视频帧图像中感兴趣点的轮廓区域，提示消息包括第七消息，第七消息用于提示轮廓区域。上述方式，能够利用内窥镜实现感兴趣点的自动分割，有利于大大提升工作效率。
在一个实施场景中，可以采用诸如卷积神经网络等网络模型对视频帧图像进行感兴趣点分割，以得到视频帧图像中感兴趣点的轮廓区域。网络模型具体可以包括但不限于：U-Net等等，在此对网络模型的具体结构不做限定。具体地，可以预先采集若干样本图像，且样本图像中标注有感兴趣点的样本轮廓，在此基础上，可以利用该网络模型对样本图像进行感兴趣点分割，得到感兴趣点的预测轮廓，从而可以基于样本轮廓与预测轮廓之间的差异，调整该网络模型的网络参数。需要说明的是，上述差异的计算过程，可以参阅诸如交叉熵损失等损失函数的技术细节，上述参数的调整过程，可以参阅诸如梯度下降有优化方式的技术细节，在此不再赘述。通过上述训练过程，网络模型能够学习到感兴趣点轮廓相关的图像特征，从而在后续实际检测过程中，可以将视频帧图像输入该网络模型，即可预测得到该视频帧图像中感兴趣点的轮廓区域。
在一个实施场景中，轮廓区域可以以沿感兴趣点的轮廓线予以表示，即分析结果具体可以包括该轮廓线上各个轮廓点在视频帧图像中的位置坐标。例如，在医学场景中，轮廓区域具体可以是病灶轮廓；或者，在工业场景中，轮廓区域具体可以是伤痕轮廓。其他场景可以以此类推，在此不再一一举例。
在一个实施场景中，第七消息可以以视频帧图像予以呈现，且视频帧图像标记有对其进行感兴趣点检测所检测到的轮廓区域。具体地，可以采用预设样式来标记轮廓区域。例如，预设样式可以包括但不限于：线条颜色、线条线型、线条粗细等，在此不做限定。
在一些公开实施例中，通过如图2所示的视频分析系统，视频分析设备可以执行诸如位置检测、感兴趣点检测、感兴趣点分类、感兴趣点检索、清洁度检测、速度检测、感兴趣点分割等检测算法，以尽可能地为用户提供丰富的辅助信息。一旦某一位置检测出感兴趣点(如，病灶、伤痕)，还可以提示用户将内窥镜的镜头拉回至该位置，以对该位置进行进一步详细检查其是否真是感兴趣点(如，病灶、伤痕)，或者，根据实际情况提示用户采用染色剂、或放大镜头倍率等，在此不做限定。
请参阅图6，图6是本申请视频分析装置60一实施例的框架示意图。视频分析装置60包括：图像获取模块61、分析处理模块62和提示输出模块63，图像获取模块61用于获取内窥镜在目标对象内部扫描到的视频帧图像；分析处理模块62用于基于视频帧图像进行分析处理，得到分析结果；其中，分析处理包括位置检测，分析结果包括内窥镜的镜头在目标对象内部的位置；提示输出模块63用于基于分析结果，输出提示消息；其中，提示消息包括第一消息，第一消息用于提示目标对象内部的未扫描区域。
上述方案，由于在内窥镜探查目标对象内部过程中，能够持续对内窥镜的镜头进行位置检测，以获悉目标对象内部的未扫描区域，从而能够指导探查目标对象，进而能够大大减少来回重复探查相同位置的可能性，有利于提升目标对象的探查效率。
在一些公开实施例中，第一消息以预设方式呈现，且预设方式包括通过目标对象的内部构造进行呈现的方式，内部构造标记有未扫描区域。
因此，第一消息通过以预设方式呈现，且预设方式包括通过目标对象的内部构造进行呈现，内部构造还标记有未扫描区域，因此能够提升展示未扫描区域的直观性。
在一些公开实施例中，分析处理包括感兴趣点检测，分析结果包括视频帧图像中感兴趣点的检测区域，提示消息包括第二消息，第二消息用于提示检测区域。
因此，分析处理进一步包括感兴趣点检测，分析结果对应包括视频帧图像中感兴趣点的检测区域，提示消息对应包括第二消息，且第二消息用于提示检测区域，故能够利用内窥镜实现感兴趣点的自动检测，有利于大大提升工作效率。
在一些公开实施例中，分析处理包括感兴趣点分类，分析结果包括视频帧图像中感兴趣点的预测类别，提示消息包括第三消息，第三消息用于提示预测类别。
因此，分析处理进一步包括感兴趣点分类，分析结果对应包括视频帧图像中感兴趣点的预测类别，提示消息对应包括第三消息，且第三消息用于提示预测类别，故能够利用内窥镜实现感兴趣点的自动分类，有利于大大提升工作效率。
在一些公开实施例中，分析处理包括感兴趣点检索，分析结果包括与视频帧图像相关的若干参考图像，参考图像与视频帧图像之间的相似度满足预设条件，参考图像标记有参考图像中感兴趣点的预测类别，提示消息包括第四消息，第四消息以若干参考图像予以呈现。
因此，分析处理进一步包括感兴趣点检索，分析结果对应包括与视频帧图像相关的若干参考图像，参考图像与视频帧图像之间的相似度满足预设条件，参考图像还标记有参考图像中感兴趣点的预测类别，提示消息包括第四消息，且第四消息以若干参考图像予以呈现，故能够利用内窥镜检查过程中，检索出与目前视频帧图像相关的参考图像以供医生参考视频帧图像中感兴趣点，有利于大大提升工作效率。
在一些公开实施例中，分析处理包括清洁度检测，分析结果包括目标对象内部在视频帧图像视野范围内的清洁度，提示消息包括第五消息，第五消息用于提示清洁度。
因此，分析处理进一步包括清洁度检测，分析结果对应包括目标对象内部在视频帧图像视野范围内的清洁度，提示消息对应包括第五消息，且第五消息用于提示清洁度，由于目标对象内部的清洁度对于图像分析的准确性存在一定影响，故通过提示当前视野范围内的清洁度，能够有利于使用户知晓当前分析结果的可信度。
在一些公开实施例中，分析处理包括速度检测，分析结果包括镜头在目标对象内部的当前速度，提示消息包括第六消息，第六消息用于提示维持或提高或降低当前速度。
因此，分析处理进一步包括速度检测，分析结果对应包括镜头在目标对象内部的当前速度，提示消息对应包括第六消息，且第六消息用于提示维持或提高或降低当前速度，故能够使镜头的移动速度维持在合理区间内，从而使得镜头的移动速度不至于过快导致画面模糊，影响分析处理精度，也使得镜头的移动速度不至于过慢导致内窥镜在目标对象内部的留置时间过长，影响分析处理效率。
在一些公开实施例中，分析处理包括感兴趣点分割，分析结果包括视频帧图像中感兴趣点的轮廓区域，提示消息包括第七消息，第七消息用于提示轮廓区域。
因此，分析处理进一步包括感兴趣点分割，分析结果对应包括视频帧图像中感兴趣点的轮廓区域，提示消息对应包括第七消息，且第七消息用于提示轮廓区域，故能够利用内窥镜实现感兴趣点的自动分割，有利于大大提升工作效率。
在一些公开实施例中，视频分析方法由视频分析设备执行，视频分析设备的输入端与视频采集设备连接，视频采集设备连接至内窥镜，以通过采集内窥镜的视频信号得到视频帧图像，且视频分析设备的输出端与显示设备连接，以通过显示设备输出提示消息。
因此，视频分析方法由视频分析设备执行，视频分析设备的输入端与视频采集设备连接，视频采集设备连接至内窥镜，以通过采集内窥镜的视频信号得到视频帧图像，且视频分析设备的输出端与显示设备连接，以通过显示设备输出提示消息，也就是说，仅需在显示设备与内窥镜之间设置视频分析设备与视频采集设备即可实现视频分析，有利于降低搭建视频分析系统的复杂度。
请参阅图7，图7是本申请视频分析设备70一实施例的框架示意图。视频分析设备70包括相互耦接的存储器71和处理器72，处理器72用于执行存储器71中存储的程序指令，以实现上述任一视频分析方法实施例的步骤。在一个具体的实施场景中，视频分析设备70可以包括但不限于：微型计算机、服务器，此外，视频分析设备70还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器72用于控制其自身以及存储器71以实现上述任一视频分析方法实施例的步骤。处理器72还可以称为CPU(Central Processing Unit，中央处理单元)。处理器72可能是一种集成电路芯片，具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器72可以由集成电路芯片共同实现。
上述方案，由于在内窥镜探查目标对象内部过程中，能够持续对内窥镜的镜头进行位置检测，以获悉目标对象内部的未扫描区域，从而能够指导探查目标对象，进而能够大大减少来回重复探查相同位置的可能性，有利于提升目标对象的探查效率。
请参阅图8，图8为本申请计算机可读存储介质80一实施例的框架示意图。计算机可读存储介质80存储有能够被处理器运行的程序指令801，程序指令801用于实现上述任一视频分析方法实施例的步骤。
上述方案，由于在内窥镜探查目标对象内部过程中，能够持续对内窥镜的镜头进行位置检测，以获悉目标对象内部的未扫描区域，从而能够指导探查目标对象，进而能够大大减少来回重复探查相同位置的可能性，有利于提升目标对象的探查效率。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。

Claims (13)

1.一种视频分析方法，其特征在于，包括：
获取内窥镜在目标对象内部扫描到的视频帧图像；
基于所述视频帧图像进行分析处理，得到分析结果；其中，所述分析处理包括位置检测，所述分析结果包括所述内窥镜的镜头在所述目标对象内部的位置；
基于所述分析结果，输出提示消息；其中，所述提示消息包括第一消息，所述第一消息用于提示所述目标对象内部的未扫描区域。
2.根据权利要求1所述的方法，其特征在于，所述第一消息以预设方式呈现，且所述预设方式包括通过所述目标对象的内部构造进行呈现的方式，所述内部构造标记有所述未扫描区域。
3.根据权利要求1或2所述的方法，其特征在于，所述分析处理包括感兴趣点检测，所述分析结果包括所述视频帧图像中所述感兴趣点的检测区域，所述提示消息包括第二消息，所述第二消息用于提示所述检测区域。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述分析处理包括感兴趣点分类，所述分析结果包括所述视频帧图像中所述感兴趣点的预测类别，所述提示消息包括第三消息，所述第三消息用于提示所述预测类别。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述分析处理包括感兴趣点检索，所述分析结果包括与所述视频帧图像相关的若干参考图像，所述参考图像与所述视频帧图像之间的相似度满足预设条件，所述参考图像标记有所述参考图像中所述感兴趣点的预测类别，所述提示消息包括第四消息，所述第四消息以所述若干参考图像予以呈现。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述分析处理包括清洁度检测，所述分析结果包括所述目标对象内部在所述视频帧图像视野范围内的清洁度，所述提示消息包括第五消息，所述第五消息用于提示所述清洁度。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述分析处理包括速度检测，所述分析结果包括所述镜头在所述目标对象内部的当前速度，所述提示消息包括第六消息，所述第六消息用于提示维持或提高或降低所述当前速度。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述分析处理包括感兴趣点分割，所述分析结果包括所述视频帧图像中所述感兴趣点的轮廓区域，所述提示消息包括第七消息，所述第七消息用于提示所述轮廓区域。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述视频分析方法由视频分析设备执行，所述视频分析设备的输入端与视频采集设备连接，所述视频采集设备连接至所述内窥镜，以通过采集所述内窥镜的视频信号得到所述视频帧图像，且所述视频分析设备的输出端与显示设备连接，以通过所述显示设备输出所述提示消息。
10.一种视频分析装置，其特征在于，包括：
图像获取模块，用于获取内窥镜在目标对象内部扫描到的视频帧图像；
分析处理模块，用于基于所述视频帧图像进行分析处理，得到分析结果；其中，所述分析处理包括位置检测，所述分析结果包括所述内窥镜的镜头在所述目标对象内部的位置；
提示输出模块，用于基于所述分析结果，输出提示消息；其中，所述提示消息包括第一消息，所述第一消息用于提示所述目标对象内部的未扫描区域。
11.一种视频分析设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至9任一项所述的视频分析方法。
12.一种视频分析系统，其特征在于，包括视频采集设备和如权利要求11所述的视频分析设备，所述视频采集设备和所述视频分析设备连接，所述视频采集设备用于连接所述内窥镜，以通过采集所述内窥镜的视频信号得到视频帧图像，所述视频分析设备用于与显示设备连接，以通过所述显示设备输出提示消息。
13.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至9任一项所述的视频分析方法。
CN202210107160.0A 2022-01-28 2022-01-28 视频分析方法及相关装置、设备、系统和存储介质 Pending CN114445380A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210107160.0A CN114445380A (zh) 2022-01-28 2022-01-28 视频分析方法及相关装置、设备、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210107160.0A CN114445380A (zh) 2022-01-28 2022-01-28 视频分析方法及相关装置、设备、系统和存储介质

Publications (1)

Publication Number Publication Date
CN114445380A true CN114445380A (zh) 2022-05-06

Family

ID=81371974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210107160.0A Pending CN114445380A (zh) 2022-01-28 2022-01-28 视频分析方法及相关装置、设备、系统和存储介质

Country Status (1)

Country Link
CN (1) CN114445380A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116256376A (zh) * 2023-05-12 2023-06-13 深圳杰泰科技有限公司 发动机的内部缺陷检测方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116256376A (zh) * 2023-05-12 2023-06-13 深圳杰泰科技有限公司 发动机的内部缺陷检测方法、装置、电子设备及存储介质
CN116256376B (zh) * 2023-05-12 2023-08-15 深圳杰泰科技有限公司 发动机的内部缺陷检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
EP3839885A1 (en) Real-time pathological microscopic image collection and analysis system, method and device and medium
Lakshminarayanan et al. Deep Learning-Based Hookworm Detection in Wireless Capsule Endoscopic Image Using AdaBoost Classifier.
US20220172828A1 (en) Endoscopic image display method, apparatus, computer device, and storage medium
US9684960B2 (en) Automated histological diagnosis of bacterial infection using image analysis
EP1769729B1 (en) System and method for in-vivo feature detection
EP3998579A1 (en) Medical image processing method, apparatus and device, medium and endoscope
US7319781B2 (en) Method and system for multiple passes diagnostic alignment for in vivo images
CN113379693B (zh) 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
US8290280B2 (en) Image processing device, image processing method, and computer readable storage medium storing image processing program
US20050075537A1 (en) Method and system for real-time automatic abnormality detection for in vivo images
CN108830149B (zh) 一种目标细菌的检测方法及终端设备
CN111340827A (zh) 一种肺部ct影像数据处理分析方法及系统
US20240070858A1 (en) Capsule endoscope image recognition method based on deep learning, and device and medium
US20200311931A1 (en) Method for analyzing image of biopsy specimen to determine cancerous probability thereof
US20240206700A1 (en) Information processing apparatus, control method, and program
CN111862090A (zh) 一种基于人工智能的食管癌术前管理的方法和系统
CN114445380A (zh) 视频分析方法及相关装置、设备、系统和存储介质
CN108682013A (zh) 一种胃镜图像智能处理装置
Cai et al. Convolutional neural network-based surgical instrument detection
WO2024164912A1 (zh) 内窥镜下目标结构评估系统、方法、设备及存储介质
CN112907571A (zh) 基于多光谱图像融合识别的目标判定方法
WO2020071086A1 (ja) 情報処理装置、制御方法、及びプログラム
WO2022080141A1 (ja) 内視鏡撮影装置、方法およびプログラム
CN115359412A (zh) 一种盐酸中和实验评分方法、装置、设备及可读存储介质
CN113409312B (zh) 一种用于生物医疗影像的图像处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240604

Address after: 200233, Units 6-01, 6-49, 6-80, 6th Floor, No. 1900 Hongmei Road, Xuhui District, Shanghai

Applicant after: Shanghai Shangtang Shancui Medical Technology Co.,Ltd.

Country or region after: China

Address before: Room 1605a, building 3, 391 Guiping Road, Xuhui District, Shanghai

Applicant before: SHANGHAI SENSETIME INTELLIGENT TECHNOLOGY Co.,Ltd.

Country or region before: China