CN114446435A - 一种肠镜报告生成方法和装置 - Google Patents

一种肠镜报告生成方法和装置 Download PDF

Info

Publication number
CN114446435A
CN114446435A CN202210127313.8A CN202210127313A CN114446435A CN 114446435 A CN114446435 A CN 114446435A CN 202210127313 A CN202210127313 A CN 202210127313A CN 114446435 A CN114446435 A CN 114446435A
Authority
CN
China
Prior art keywords
image
endoscope
white light
recognition result
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210127313.8A
Other languages
English (en)
Inventor
于红刚
姚理文
张晨霞
张丽辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210127313.8A priority Critical patent/CN114446435A/zh
Publication of CN114446435A publication Critical patent/CN114446435A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

本申请提供一种肠镜报告生成方法和装置；该方法先获取进镜开始时刻和肠镜下的多个进镜体内图像，在从各进镜体内图像中识别到包括目标肠段的进镜体内图像时，输出第一识别结果并触发语音交互系统，然后获取退镜过程中的中间态白光图像，并在获取到初始态退镜体外图像时确定退镜结束时刻，接着通过语音交互系统响应于用户发出的至少一条第一语音指令，对中间态白光图像进行识别处理得到第二识别结果，最后根据进镜开始时刻、第一识别结果、退镜结束时刻以及第二识别结果生成肠镜报告。该方法将图像识别技术与语音交互技术结合，实现了肠镜报告的自动生成，降低了肠镜检查中的人力成本，提高了报告的准确性。

Description

一种肠镜报告生成方法和装置
技术领域
本申请涉及医疗辅助技术领域，尤其涉及一种肠镜报告生成方法和装置。
背景技术
目前，结肠镜检查是下消化道疾病得以早诊早治的重要手段，而高质量的结肠镜检查对提高腺瘤检出率、降低结直肠癌死亡率至关重要。
其中，肠镜报告是证明结肠镜检查程序完整性的唯一方法。在传统的结肠镜操作过程中，最终肠镜报告的内镜描述及诊断一般由医生完成检查过程后形成，由于操作时间长，内镜医师工作负担较重，易造成病灶所处肠段记录错误或观察遗漏等不良情况；此外，不同内镜医师间工作经验、工作习惯及工作状态往往存在差异，导致其诊断主观、诊断不全、诊断出错，肠镜报告质量参差不齐，可能会给患者后续的治疗与随访以及肠镜质量的评估带来极大的影响。
因此，需要提出一种肠镜报告生成方法降低肠镜检查中的人力成本，提高报告的准确性。
发明内容
本申请提供一种肠镜报告是生成方法和装置，用于降低肠镜检查中的人力成本，提高报告的准确性。
为了解决上述技术问题，本申请提供以下技术方案：
本申请提供一种肠镜报告生成方法，包括：
获取进镜开始时刻和肠镜下的多个进镜体内图像；
在从各进镜体内图像中识别到包括目标肠段的进镜体内图像时，输出第一识别结果并触发语音交互系统；
响应于用户基于所述第一识别结果发出的退镜信号，获取退镜过程中的中间态白光图像，并在获取到初始态退镜体外图像时，确定退镜结束时刻；
通过所述语音交互系统响应于所述用户发出的至少一条第一语音指令，对所述中间态白光图像进行识别处理，得到第二识别结果；
根据所述进镜开始时刻、所述第一识别结果、所述退镜结束时刻以及所述第二识别结果生成肠镜报告。
相应的，本申请还提供一种肠镜报告生成装置，包括：
第一获取模块，用于获取进镜开始时刻和肠镜下的多个进镜体内图像；
触发模块，用于在从各进镜体内图像中识别到包括目标肠段的进镜体内图像时，输出第一识别结果并触发语音交互系统；
第一响应模块，用于响应于用户基于所述第一识别结果发出的退镜信号，获取退镜过程中的中间态白光图像，并在获取到初始态退镜体外图像时，确定退镜结束时刻；
第二响应模块，用于通过所述语音交互系统响应于所述用户发出的至少一条第一语音指令，对所述中间态白光图像进行识别处理，得到第二识别结果；
报告生成模块，用于根据所述进镜开始时刻、所述第一识别结果、所述退镜结束时刻以及所述第二识别结果生成肠镜报告。
同时，本申请提供一种电子设备，其包括处理器和存储器，存储器用于存储计算机程序，处理器用于运行所述存储器里的计算机程序，以执行上述肠镜报告生成方法中的步骤。
此外，本申请还提供一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行上述肠镜报告生成方法中的步骤。
有益效果：本申请提供一种肠镜报告生成方法和装置。具体地，该方法先获取进镜开始时刻和肠镜下的多个进镜体内图像，然后在从各进镜体内图像中识别到包括目标肠段的进镜体内图像时，输出第一识别结果并触发语音交互系统，接着响应于用户基于该第一识别结果发出的退镜信号，获取退镜过程中的中间态白光图像，并在获取到初始态退镜体外图像时确定退镜结束时刻，然后通过该语音交互系统响应于用户发出的至少一条第一语音指令对中间态白光图像进行识别处理，得到第二识别结果，最后根据进镜开始时刻、第一识别结果、退镜结束时刻以及第二识别结果生成肠镜报告。该方法将图像识别技术与语音交互技术结合，利用图像识别技术实现语音交互系统的自动激活，通过在肠镜检查过程中与用户的不断沟通辅助各肠段重要解剖标志及病灶的自动识别和图像采集，并基于此自动生成肠镜检查报告，降低肠镜检查过程中的人力成本，提高报告生成的准确性。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。
图1是本申请实施例提供的肠镜报告生成系统的系统架构图。
图2是本申请实施例提供的肠镜报告生成方法的一种流程示意图。
图3是本申请实施例提供的肠镜报告生成方法的另一种流程示意图。
图4是本申请实施例提供的体内图像和体外图像的示意图。
图5是本申请实施例提供的肠镜下的白光图像和NBI图像的示意图。
图6是本申请实施例提供的图像采集过程的界面示意图。
图7是本申请实施例提供的肠镜报告生成过程的一种界面示意图。
图8是本申请实施例提供的病灶检测过程的一种界面示意图。
图9是本申请实施例提供的病灶检测过程的另一种界面示意图。
图10是本申请实施例提供的肠镜报告单的示意图。
图11是本申请实施例提供的肠镜报告生成装置的结构示意图。
图12是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含；本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行。
在本申请中，进镜开始时刻指的是当肠镜第一次检测到肠部的体内图像的时刻。
在本申请中，目标肠段一般为回盲部，可选地，目标肠段也可以是升结肠、乙状结肠、直肠等肠段。具体地，目标肠段可以是系统默认的，也可以是人为通过系统设定的。
在本申请中，退镜信号指的是用户(一般为内镜医师)在执行退镜时产生的信号。
在本申请中，中间态白光图像指的是在检测到肠部的体内图像后，肠镜在肠子内部检测到的白光图像；其中，白光图像指的是基于400mm至700mm可见光光谱下的显示组织表层图像。
在本申请中，初始态退镜体外图像指的是在执行退镜过程中第一次检测到肠外部的图像；而退镜结束时刻指的是在执行退镜过程中第一次检测到肠外部的图像的时刻。
在本申请中，第一语音指令指的是用户(一般为内镜医师)发出的例如“已抵达某肠段(例如肝曲/脾曲/乙状结肠/直肠等)”的语音。
本申请提供一种肠镜报告生成方法、装置、电子设备及计算机可读存储介质。
请参阅图1，图1是本申请提供的肠镜报告生成系统的系统架构示意图，如图1所示，该肠镜报告生成系统至少包括图像识别系统101、语音交互系统102以及报告生成设备103，其中：
图像识别系统101、语音交互系统102以及报告生成设备103之间设有通信链路，以实现信息交互。通信链路的类型可以包括有线、无线通信链路或者光纤电缆等，本申请在此不做限制。
图像识别系统101可以包括图像采集设备和图像识别模块等；其中，图像采集设备主要用于肠镜下的图像采集，图像识别模块主要用于肠镜下各个图像的识别，包括体内外图像识别、白光图像和NBI图像的识别、合格图像和不合格图像的识别以及病灶识别等。
语音交互系统102主要包括语音采集设备、语音发出模块以及语音转换模块等；其中，语音采集设备主要用于采集用户发出的语音，语音发出模块主要用于发出询问指令(例如“是否记录”)、反馈指令(例如“收到，请继续”)等，语音转换模块主要用于将采集到的语音转换成文本。
报告生成设备103主要用于结合图像识别系统101和语音交互系统102的识别结果生成最终的肠镜报告。
本申请提出了一种肠镜报告生成系统。具体地，通过图像识别系统101获取进镜开始时刻和肠镜下的多个进镜体内图像，然后在从各进镜体内图像中识别到包括目标肠段的进镜体内图像时，输出第一识别结果并自动触发语音交互系统102，接着图像识别系统101响应于用户基于第一识别结果发出的退镜信号，获取退镜过程中的中间态白光图像，并在获取到初始态退镜体外图像时确定退镜结束时刻，然后通过语音交互系统102响应于用户发出的至少一条第一语音指令，对该中间态白光图像进行识别处理得到第二识别结果，最后通过报告生成设备103根据该进镜开始时刻、该第一识别结果、该退镜结束时刻以及该第二识别结果生成肠镜报告。
在上述肠镜报告生成过程中，图像识别系统101通过深度学习自动激活语音交互系统102，语音交互系统102实时与用户(一般为内镜医师)进行语音互动以辅助病灶所处肠段(例如回盲部、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、直肠)的识别并通过报告生成设备103自动生成肠镜报告。其中，利用图像识别技术实现语音交互系统的自动激活，通过在肠镜检查过程中与用户(一般为内镜医师)的不断沟通辅助各肠段重要解剖标志及病灶的自动识别和图片采集，减少了肠镜检查所耗的员工工时，降低了肠镜筛查所需成本，以此提高了肠镜筛查的普及率。此外，通过此种方式生成的规范的肠镜图文报告可大大提高内镜医师在实际临床操作过程中报告记录的准确性，解决其评判主观、描述不完整等问题，以此减少医疗报告中的信息漏缺错误，降低病人后续诊治成本，提高内镜检查质量，为后续肠镜检查质量的评估以及病人的随访提供有效的参考。
需要说明的是，图1所示的系统架构示意图仅仅是一个示例，本申请实施例描述的系统、设备以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
综合上述肠镜报告生成系统的系统架构，下面将对本申请中肠镜报告生成方法进行详细的介绍，请参阅图2所示，图2是本申请实施例提供的肠镜报告生成方法的一种流程示意图，下面将对本申请中的肠镜报告生成方法进行详细的介绍，该方法至少包括以下步骤：
S201：获取进镜开始时刻和肠镜下的多个进镜体内图像。
在进行肠镜检测时，内镜医师需要通过肠镜下的体内图像和体外图像判断是否将肠镜成功插入患者体内，因此，需要收集肠镜下的多个待识别图像，并采用深度学习技术对这多个待识别图像进行分类，识别出体内图像和体外图像，如图4所示，图4为本申请实施例提供的体内图像和体外图像的示意图。其中，体内图像和体外图像是相对于肠的外部和内部而言的，肠外部的图像称为体外图像，肠内部的图像称为体内图像。
在一种实施例中，获取进镜开始时刻和肠镜下的多个进镜体内图像的步骤具体包括：响应于用户发出的进镜信号，获取进镜过程中的多个待识别图像；对各待识别图像进行识别处理，得到肠镜下的多个进镜体内图像和多个进镜体外图像，所述多个进镜体内图像包括一个初始态进镜体内图像和若干个中间态进镜体内图像；根据所述初始态进镜体内图像，确定进镜开始时刻。其中，进镜信号指的是用户(一般为内镜医师)将肠镜插入患者体内时发出的信号；一般通过深度学习技术对待识别图像进行识别处理，具体地，可以训练构建第一ResNet图像二分类神经网络模型，通过训练后的ResNet图像二分类神经网络模型对待识别图像进行识别处理，从而得到肠镜下的多个进镜体内图像和多个进镜体外图像。
具体地，肠镜在第一次检测到体内图像时，用户(一般为内镜医师)即能判断肠镜已进入患者肠的内部，而第一次检测到的体内图像即为初始态进镜体内图像，在第一次检测到的体内图像之后获取得到的体内图像即为中间态进镜体内图像。相应的，在检测到初始态进镜体内图像的时刻即为进镜开始时刻。
S202：在从各进镜体内图像中识别到包括目标肠段的进镜体内图像时，输出第一识别结果并触发语音交互系统。
在一种实施例中，获取到各进镜体内图像后，需要对各进镜体内图像进行识别处理，包括图像是否合格、图像为白光图像还是NBI图像以及图像为哪一肠段的图像等，其具体步骤包括：对各进镜体内图像进行识别处理，得到合格进镜体内图像；对所述合格进镜体内图像进行识别处理，得到初始态白光图像；在从所述初始态白光图像中识别到包括目标肠段的初始态白光图像时，输出第一识别结果；根据所述第一识别结果，触发语音交互系统。其中，合格进镜体内图像指的是图像质量较好、清洁、不影响观察的图像，而不合格进镜体内图像指的是图像质量较差、不清洁、影响观察的图像(例如冲水-即图像中显示大量水流；出血-即图像中显示有片状红色；异物-即图像中显示有大量食物残渣；黏液糊-即图像中显示有大量黏液覆盖肠粘膜；模糊-即图像中显示肠粘膜及血管网模糊不可见)。
具体地，可以采用训练后的第二ResNet图像二分类神经网络模型识别各进行体内图像，从而过滤不合格进镜体内图像，留下合格进镜体内图像；接着，采用训练后的第三ResNet图像二分类神经网络模型识别合格进镜体内图像，对NBI(Narrow Band Imaging，窄带成像)图像(基于400-900nm可见光光谱，显示组织血管和黏膜表面的细微变化))和白光图像(基于400-700nm可见光光谱，显示组织表层图像)进行分类识别，得到初始态白光图像，其中，初始态白光图像指的是进镜体内图像中合格的白光图像。
在得到初始态白光图像(进镜体内图像中合格的白光图像)后，可以采用训练后的第四ResNet二分类神经网络模型识别初始态白光图像是目标肠段图像还是其他肠段图像，在识别到目标肠段图像时，留取目标肠段图像，并生成对目标肠段图像的描述，该描述包括目标肠段名称，以及图文报告关键词汇(例如，当目标肠段为回盲部时，肠镜报告生成系统将自动留取回盲部对应的合格白光图像，并生成针对此时识别到的回盲部图像得到“回盲部，当前时刻XX时XX分，未见异常，呈唇状”的关键词汇)，此时，留取的图像和生成的关键词汇即为针对目标肠段的第一识别结果。在第一识别结果表征已经识别到目标肠段时，根据机器学习技术由图像识别系统将“识别到目标肠段”的信息发送到语音交互系统，从而激活语音交互系统，此时为进镜结束时刻，同时也为退镜开始时刻。
S203：响应于用户基于第一识别结果发出的退镜信号，获取退镜过程中的中间态白光图像，并在获取到初始态退镜体外图像时，确定退镜结束时刻。
根据上述步骤，用户(一般为内镜医师)通过肠镜报告生成系统的界面可以观察系统是否识别到目标肠段，在观察到系统已经识别到目标肠段时，会执行退镜操作，此时退镜操作发出的信号即为退镜信号。用户(一般为内镜医师)在操作退镜的过程中，图像采集设备(也即肠镜)就能实时采集退镜过程中的中间态白光图像，在退镜过程中第一次检测到退镜体外图像的时刻，即为退镜结束时刻。其中，中间态白光图像即为退镜过程中获取的合格白光图像；初始态退镜体外图像即为在执行退镜过程中第一次检测到肠外部的图像。
S204：通过语音交互系统响应于用户发出的至少一条第一语音指令，对中间态白光图像进行识别处理，得到第二识别结果。
在识别到目标肠段后，用户(一般为内镜医师)在退镜过程中会使得图像采集设备(即肠镜)到达各个解剖结构和肠段(例如升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠以及直肠等)，而这些解剖结构和肠段中有一些(例如肝曲、脾曲、乙状结肠以及直肠等)是需要通过语音交互系统去激活识别的，而另外一些是在识别到回盲部、肝曲以及脾曲等后自动进行识别的。
在一种实施例中，通过结合语音交互系统和图像识别系统对肠的各解剖结构和肠段进行识别的具体步骤包括：通过所述语音交互系统接收所述用户发出的至少一条第一语音指令；响应于所述第一语音指令，获取肠段识别模型；基于所述肠段识别模型对所述中间态白光图像进行肠段识别，得到第二识别结果。其中，第一语音指令为用户(一般为内镜医师)在退镜过程中抵达肝曲、脾曲、乙状结肠以及直肠等部位时实时向语音交互系统发出的，例如“已抵达肝曲”，此时肠镜报告系统的界面如图6所示，图6为本申请实施例提供的图像采集过程的界面示意图，医师在发出“已抵达肝曲”的语音指令后，语音交互系统向用户反馈“收到，已记录”，此时界面右侧会对肠镜下所采集到的肝曲图像进行记录；同时，语音交互系统接收指令后，进一步的，按照肠段识别模型的识别逻辑(如表1所示)对退镜过程中的各解剖结构和肠段进行识别，并留取各解剖结构和肠段预设数量(例如4张)的图像，如图7所示，图7为本申请实施例提供的肠镜报告生成过程中的一种界面示意图，左侧为检查报告单，右侧为系统留取的各解剖结构和肠段的图像。
表1肠段识别模型的识别逻辑
Figure BDA0003501011250000091
其中，基于肠段识别模型对中间态白光图像进行肠段识别得到第二识别结果的具体步骤包括：基于所述肠段识别模型对所述中间态白光图像进行肠段识别，得到各肠段中间态白光图像和各肠段中间态白光图像的医学词汇；识别各肠段中间态白光图像，得到各肠段合格中间态白光图像和各肠段不合格中间态白光图像；根据各肠段不合格中间态白光图像和各肠段中间态白光图像，确定各肠段的清洁度评分；根据各肠段合格中间态白光图像、所述医学词汇和所述清洁度评分，确定第二识别结果。其中，肠段识别模型是一种训练后的深度学习模型，该模型由识别的目标肠段图像激活，在肠镜下的视频中以每10秒一帧的频率截取清晰肠镜图像，然后进一步的结合肠段识别模型为每一解剖结构和后场断留取预设数量的清晰图像。
具体地，如表1所示，表1为本申请实施例提供的肠段识别模型的识别逻辑表格。其中，回盲瓣/阑尾口(属于回盲部)通过深度学习模型自动识别，而升结肠是不需要去是识别的，因为回盲瓣和阑尾口是升结肠的起始，肝曲是升结肠的终末端，所以当系统识别到回盲瓣和阑尾口的时候，继续退镜，在退镜过程中接收到语音指令已经到达了肝曲，并对肝曲部位的图像进行识别，当系统接收到抵达肝曲的指令就知道前面的图像都是升结肠，继续从肝曲退镜，当系统接收到抵达脾曲的指令后，就知道从肝曲出发到脾曲为止之间的是横结肠，同样的，当系统接收到抵达乙状结肠的指令，系统就知道从脾曲出发到乙状结肠为止之间的是降结肠，当系统接收到抵达直肠的指令，对直肠部位的图像进行识别。该识别过程除了留取各解剖结构和肠段预设数量的图像外，还需要对各解剖结构和肠段的形态等医学特征进行描述，以得到描述各肠段中间态白光图像的医学词汇。在对各解剖结构和肠段进行识别后，还需要对各解剖结构和肠段的清洁度进行评分。具体地，针对整个退镜检查过程中采集并识别的中间态白光图像，计算其中不合格(即不清洁)的中间态白光图像数量占总中间态白光图像数量的比例，该比例作为判断肠镜检查肠道准备质量评分的依据计算每一肠段的Boston评分。
通过上述识别过程得到了各肠段合格中间态白光图像、描述各肠段合格中间态白光图像的医学词汇以及各肠段的清洁度评分，结合这些内容得到了第二识别结果，第二识别结果中的文字部分例如“横结肠肠腔呈三角形，黏膜光滑，血管网清晰，Boston评分：横结肠2分”。
在一种实施例中，识别活检钳得到第二识别结果的具体步骤包括：通过所述语音交互系统接收所述用户发出的至少一条第一语音指令；响应于所述第一语音指令，获取目标检测模型；基于所述目标检测模型对所述中间态白光图像进行活检钳识别，得到第二识别结果。其中，第一语音指令为用户(一般为内镜医师)在退镜过程中抵达肝曲、脾曲、乙状结肠以及直肠等部位时实时向语音交互系统发出的，例如“已抵达脾曲”；同时，语音交互系统接收到该第一语音指令后，进一步的，通过目标检测模型对中间态白光图像进行活检钳识别得到第二识别结果。其中，目标检测模型为训练后的YOLO目标检测模型，该模型可以用于识别合格白光图像中的活检钳(是内镜检查取病理标本不可缺少的工具)。
在一种实施例中，识别病灶得到第二识别结果的具体步骤包括：通过所述语音交互系统接收所述用户发出的至少一条第一语音指令；响应于所述第一语音指令，获取病灶检测模型；基于所述病灶检测模型对所述中间态白光图像进行病灶检测，得到第二识别结果。其中，第一语音指令为用户(一般为内镜医师)在退镜过程中抵达肝曲、脾曲、乙状结肠以及直肠等部位时实时向语音交互系统发出的，例如“已抵达乙状结肠”；同时，语音交互系统接收到该第一语音指令后，进一步的，通过病灶检测模型对中间态白光图像进行病灶识别得到第二识别结果。其中，病灶检测模型为训练后的ResNet图像二分类神经网络模型和训练后的YOLO目标检测模型，通过该模型可以识别合格白光图像是病灶图像还是其他图像，进一步的识别病灶图像中的病灶，一般的，病灶可以包括息肉。
具体地，在识别到各肠段的中间态白光图像中有病灶图像后，对病灶图像进行更详细的识别，其具体步骤包括：基于所述病灶检测模型对所述中间态白光图像进行病灶检测，得到病灶图像；通过所述语音交互系统发出基于所述病灶图像的记录询问指令；响应于所述用户基于所述记录询问指令发出的执行信号，获取描述所述病灶图像的医学词汇；根据所述病灶图像和所述医学词汇，确定第二识别结果。其中，用户基于所述记录询问指令发出的执行信号可以是用户通过语音回复是否记录，还可以是用户通过触控界面反馈是否记录等。
在上述过程中，当病灶识别模型识别到中间态白光图像存在病灶图像时，留取包含病灶的病灶图像，框出病灶图像中的病灶的位置，并通过语音交互系统发出基于该病灶图像的记录询问指令(例如“检测到息肉，是否记录”)，如果用户(一般为内镜医师)反馈为不需要记录，则继续执行退镜操作，如果用户(一般为内镜医师)反馈为需要记录，则进一步通过语音交互系统接收用户(一般为内镜医师)描述病灶的语音信息(例如：退镜至横结肠，距肛门口30cm处，可见一0.2*0.3cm的息肉)，并将该语音信息发送至服务器进行语义识别，基于服务器对该语音信息的语义识别结果，与用户(一般为内镜医师)进行语音互答，利用机器学习技术匹配并提取关键文字信息，从而获取病灶所处肠段、距肛门口距离、数量及大小等描述病灶的医学词汇，并将获取的信息存储在病灶图像中。如图8所示，图8为本申请实施例提供的病灶检测过程的一种界面示意图，图中示出了两个板块，左边板块为留取的病灶图像，右边板块为针对病灶的关键文字信息描述，以息肉(肠黏膜表面的异常凸起)为例，右侧框为息肉基本信息，包括息肉所处的肠段(升结肠、肝曲)、距肛门口距离(60cm)、数量及大小(5枚0.2*0.3cm的息肉、1枚0.2*0.8cm的息肉)；此外，图中所示左侧板块中的编辑病灶框的控件是系统自动执行的，医师在核查过程中发现问题也可以对其进行编辑，右侧板块的“+添加更多”控件是用于当病灶图像中不止一个病灶时，给医师增加记录空间。
具体地，病灶位置的确定主要是通过图像上的时间确定的，因为退镜是一个连续的过程，而图像采集设备(即肠镜)是连续采图的，相当于每一张图都有一个对应的时间，图像采集设备从目标肠段激活后就开始连续采图，每一张图片都是有一个距离目标肠段的时间点，例如1min30s、2min05s，然后医生操作肠镜抵达了肝曲之后，会发出抵达肝曲的指令，以告诉肠镜报告生成系统现在图像采集设备已经到达肝曲了，那之前所有的图片都在升结肠，如果这之前的图像中有一张是病灶图像，根据这个时间点就可以确定病灶在升结肠。
进一步的，在识别完病灶的基本信息后，语音交互系统会继续发出基于该病灶图像的记录询问指令(例如“是否为特殊息肉”)，若用户反馈为不是特殊息肉，则继续退镜；若用户反馈为是特殊息肉，则该肠镜报告生成系统通过图像识别系统对病灶图像进行深度识别，包括：针对病灶图像，采用深度学习技术进行分类，一般采用训练后的ResNet图像三分类神经网络模型，从而识别病灶的表面形态(颗粒/光滑/结节)；针对是颗粒形态的病灶，采用深度学习技术对颗粒图像进行分类，一般采用训练后的ResNet图像二分类神经网络模型，识别颗粒图像是否为大结节颗粒形态(病灶表面颗粒直径>3mm)；针对病灶图像，采用深度学习技术进行分类，一般采用训练后的ResNet图像多分类神经网络模型，识别病灶的巴黎分类形态(Is/Ip/IIa/IIb/IIc/III型)；针对病灶的NBI放大图像，采用深度学习技术对图像进行分类，一般采用训练后的ResNet三分类神经网络模型，识别出病灶的NICE分型(Ⅰ/Ⅱ/Ⅲ型，其中，Ⅰ型-病灶与背景黏膜相近或更浅，表面缺乏仅有稀疏的丝状血管，无明显结构或呈均匀一致的白色圆点；Ⅱ型-病灶相对于背景偏棕色，表面有增粗的棕色血管围绕分支状或卵圆形的白色结构；Ⅲ型-病灶相对于背景偏棕色或深棕色，部分区域血管明显扭曲或缺失，表面结构不规则或消失)。如图9所示，图9为本申请实施例提供的病灶检测过程的另一种界面示意图，图中示出了两个板块，左边板块为留取的病灶图像，图中框出了病灶位置，右边板块为针对病灶的关键文字信息描述，以息肉(肠黏膜表面的异常凸起)为例，续图8后的识别结果，图9示出的主要是对息肉的表面形态(光滑)、巴黎分型(IIb型)以及NICE分型(II型)进行识别的结果，此外还示出了基于用户判断的予一次性活检钳钳取送检的结果(否)。
S205：根据进镜开始时刻、第一识别结果、退镜结束时刻以及第二识别结果生成肠镜报告。
在一种实施例中，结合上述识别结果和获取的进镜开始时刻、退镜结束时刻生成肠镜报告的具体步骤包括：获取语句生成模型；将所述进镜开始时刻、所述第一识别结果中的词汇、所述退镜结束时刻以及所述第二识别结果中的词汇输入所述语句生成模型，得到结构化语句；根据所述第一识别结果中的图像、所述第二识别结果中的图像以及所述结构化语句，生成肠镜报告。其中，语句生成模型可以是训练后的基于生成对抗网络(GAN)的语句生成模型，该模型可以通过提取的词汇与语音交互系统语义分析记录的结果生成结构化语句；第一识别结果中除了目标肠段的图像、部位名称以及医学特征描述外，还包括当前时刻，而这个时刻即为进镜结束时刻，也为退镜开始时刻，因此，根据第一识别结果可以得到进镜结束时刻和退镜开始时刻，而后依据进镜开始时刻和进镜结束时刻可以计算得到进镜时间，依据退镜开始时刻和退镜结束时刻可以计算得到退镜时间。
具体地，肠镜报告生成系统基于肠镜报告常用医学术语或词汇构建了基础词库及特征词库，其中，基础词库包含基础词汇，包括但不限于回盲部、回盲瓣、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠、连接词等；特征词库包含操作特征词、解剖特征词、病灶特征词、测量特征词等，包括但不限于解剖结构名、息肉、颗粒、结节、NICE分型、巴黎分型、隆起、平坦、混合、大小数值、大小单位等。因此，将进镜开始时刻、第一识别结果中的词汇、退镜结束时刻以及第二识别结果中的词汇输入语句生成模型，可以通过强化学习和生成对抗网络生成结构化语句(例如，第二识别结果中包含了以下词汇：息肉、横结肠、肛门口、30cm、一枚、0.2*0.3cm、表面形态：光滑、巴黎分型：IIb型，基于此其生成的结构化语句为：在横结肠，距肛门口30cm处可见一枚0.2*0.3cm的息肉，表面光滑，巴黎分型为IIb型)，最后基于第一识别结果中的图像和第二识别结果中的图像以及该结构化语句生成肠镜报告。如图10所示，图10为本申请实施例提供的肠镜报告单的示意图，该报告单上显示了检查时间、患者的基本信息、第一识别结果对应的图像(目标肠段的图像：用户(一般为内镜医师)在上述留取的预设数量的图像中选择的一张)、第二识别结果对应的图像未显示在图中，以及结构化语句(在心电监测下，行肛门指诊，结肠镜插入至回盲部耗时3分钟，插镜顺利，Boston评分：右侧结肠2分；横结肠2分；左侧结肠2分，少量气泡，退镜观察6分钟。回盲部未见异常，回盲瓣呈唇状；阑尾开口新月形；升结肠、肝曲，肠腔呈三角形，黏膜光滑，血管网清晰；横结肠肠腔呈三角形，黏膜光滑，血管网清晰；降结肠、脾曲肠腔呈三角形，黏膜光滑，血管网清晰；乙状结肠肠腔呈圆形，黏膜光滑，血管网清晰,退镜至距肛门约30cm可见一大小约2.0*0.8cm长蒂息肉，表面黏膜充血，其旁可见一大小约0.4*0.4cm息肉；直肠黏膜光滑,血管网清晰，肛门可见痔核)。
本申请利用图像识别技术实现语音交互系统的自动激活，通过在肠镜检查过程中与内镜医师的不断沟通辅助各肠段重要解剖标志及病灶的自动识别和图片采集，并基于此，开发一种自动生成完整和标准的结直肠镜报告的方法，降低肠镜检查所耗员工时，减少肠镜筛查所需成本，得到了规范的肠镜图文报告，大大提高内镜医师在实际临床操作过程中报告记录的准确性，解决其评判主观、描述不完整等问题，减少了医疗报告中的信息漏缺错误，降低病人后续诊治成本，提高内镜检查质量。
下面以目标肠段为回盲部为例描述肠镜报告生成的流程，如图3所示，图3为本申请实施例提供的肠镜报告生成方法的另一种流程示意图，其具体步骤包括：
S301：开始。
用户操作肠镜为患者进行肠镜检查。
S302：识别进镜体内图像和进镜体外图像，并确定进镜开始时刻。
收集肠镜下的进镜体外图像和进镜体内图像，采用深度学习技术(一般用训练后的ResNet图像二分类神经网络模型)进行分类，识别进镜体外图像和进镜体内图像，第一次检测到进镜体内图像即为进境的开始。
S303：识别进镜体内图像中的合格图像和不合格图像，基于识别结果进行肠道清洁度评分。
计算进镜体内图像中不合格(即不清洁)的进镜体内图像数量占总进镜体内图像数量的比例，该比例作为判断肠镜检查肠道准备质量评分的依据计算肠道清洁度评分。其中，合格图像指的是图像质量较好、清洁、不影响观察的图像，而不合格图像指的是图像质量较差、不清洁、影响观察的图像(例如冲水-即图像中显示大量水流；出血-即图像中显示有片状红色；异物-即图像中显示有大量食物残渣；黏液糊-即图像中显示有大量黏液覆盖肠粘膜；模糊-即图像中显示肠粘膜及血管网模糊不可见)。
S304：识别合格进镜体内图像中的初始态白光图像。
采用训练后的ResNet图像二分类神经网络模型，识别合格进镜体内图像是白光图像(基于400-700nm可见光光谱，显示组织表层图像)还是NBI(Narrow Band Imaging，窄带成像)图像(基于400-900nm可见光光谱，显示组织血管和黏膜表面的细微变化)，如图5所示，图5为本申请实施例提供的场景下的白光图像和NBI图像的示意图。其中，初始态白光图像指的是进镜体内图像中合格的白光图像；白光图像的特征为肠粘膜血管网表现为红色；NBI图像的特征为表层毛细血管表现为棕褐色，黏膜表层下树状血管表现为墨绿色。
S305：通过回盲部识别模型从初始态白光图像中识别回盲部，得到第一识别结果，并触发语音交互系统。
针对初始态白光图像，采用深度学习技术(训练后的回盲部识别模型)对图像进行分类，从初始态白光图像中识别回盲部(为一盲端，可见回盲瓣或阑尾开口)和其他图像，检测到回盲部图像即为进镜的结束、也即退镜的开始。针对识别的回盲部图像，由机器学习技术将“识别到回盲部”这一信息发送至语音交互系统，进一步的，激活语音交互功能。其中，第一识别结果包括系统留取的回盲部图像、描述回盲部医学特征的关键词汇以及当前时刻(作为进镜结束时刻、退镜开始时刻)。
S306：响应用户基于第一识别结果发出的退镜信号，并获取退镜过程中的中间态白光图像。
在识别到回盲部后，用户(一般为内镜医师)将进行退镜操作，此时图像识别系统响应用户在退镜操作过程中发出的退镜信号，通过图像采集设备(即肠镜)实时采集退镜过程中的中间态白光图像。其中，中间态白光图像即为退镜过程中获取的合格白光图像；初始态退镜体外图像即为在执行退镜过程中第一次检测到肠外部的图像。
S307：接收内镜医师发出“已抵达肝曲/脾曲/乙状结肠/直肠”等第一语音指令。
退镜过程中，内镜医师在抵达肝曲、脾曲、乙状结肠、直肠等部位时，实时向语音交互系统发送第一语音指令，例如“已抵达肝曲”，而语音交互系统在接收到该第一语音指令后作出反馈，如图6所示，系统发出“收到，已记录”的反馈消息，并显示于系统的显示界面中。
S308：通过肠段识别模型对中间态白光图像进行肠段识别，得到第二识别结果。
语音交互系统接收第一语音指令后，进一步的，按照肠段识别模型的识别逻辑识别中间态白光图像的肠段，得到第二识别结果。肠段识别模型的识别逻辑在上文中已经进行了详细的描述，在此不再赘述。其中，第二识别结果包括系统留取的各肠段的图像、描述各肠段医学特征的词汇以及各肠段的清洁度评分，第二识别结果的文字部分例如“Boston评分：右侧结肠2分；横结肠2分；左侧结肠2分，少量气泡，退镜观察6分钟。回盲部未见异常，回盲瓣呈唇状；阑尾开口新月形；升结肠、肝曲，肠腔呈三角形，黏膜光滑，血管网清晰；横结肠肠腔呈三角形，黏膜光滑，血管网清晰；降结肠、脾曲肠腔呈三角形，黏膜光滑，血管网清晰；乙状结肠肠腔呈圆形，黏膜光滑，血管网清晰”。
S309：通过目标检测模型对中间态白光图像进行活检钳识别，得到第二识别结果。
语音交互系统接收第一语音指令后，进一步的，基于目标检测模型识别中间态白光图像中是否存在活检钳图像，如果有，留取活检钳图像，并框出活检钳，最后得到第二识别结果。
S310：通过病灶检测模型识别到病灶，并留取病灶图像。
语音交互系统接收第一语音指令后，进一步的，基于病灶检测模型识别中间态白光图像中是否存在病灶，如果有，留取病灶图像，并框出病灶的位置，如图8所示，图8左侧板块示出了病灶图像和病灶框。
S311：发出记录询问指令。
在检测到有病灶图像后，语音交互系统主动发出记录询问指令，如“检测到息肉，是否记录”。
S312：判断是否记录。
此时，用户基于语音交互系统发出的记录询问指令作出反馈，可以通过语音直接回答“记录/不记录”进行反馈，也可以是通过系统的显示界面中的记录选择控件(该控件可以是“记录/不记录”的按键等其他形式)进行反馈，随后，系统基于用户的反馈判断是否需要记录该息肉。
如果需要记录，则执行S313；如果不需要记录，则执行S317。
S313：接收内镜医师发出的描述病灶的第二语音指令。
针对识别到的息肉图像，进一步的，由语音交互系统收集内镜医师对息肉进行描述的第二语音指令(例如：退镜至横结肠，距肛门口30cm处，可见一个大小为0.2*0.3cm的息肉)。
S314：将第二语音指令转化为文本，并提取关键文字同病灶图像一起保存。
语音交互系统利用语音文本转换工具包将内镜医师发出的语音信息转化为文字信息，针对转化的文字信息，系统利用机器学习技术匹配并提取其中的关键文字信息，最终将病灶所处肠段、距肛门口距离、数量及大小等关键文字信息储存于病灶图像中。
S315：判断是否为特殊病灶。
在对病灶进行基础识别后，语音交互系统发出“是否为特殊病灶”的记录询问指令，用户通过界面或者语音接收到需要判断是否为特殊病灶的指示后，对当前病灶的特殊性进行判断。
如果用户判断当前检测到的病灶为特殊病灶后，通过界面上的添加特殊息肉的控件进行反馈，系统获悉当前病灶为特殊病灶，则执行S316；如果不是特殊病灶，则执行S317。
S316：通过深度学习模型进行进一步的识别，得到第二识别结果。
具体地，通过深度学习模型对特殊病灶进行进一步的识别包括：针对识别的白光下的病灶图像，采用深度学习技术进行分类，识别息肉表面形态(颗粒/光滑/结节)；针对是颗粒形态的病灶，进一步的，采用深度学习技术对颗粒图像进行分类，识别出是(病灶表面颗粒直径>3mm)/否大结节颗粒形态；针对识别的白光下的病灶图像，采用深度学习技术进行分类，识别息肉巴黎分类形态(Is/Ip/IIa/IIb/IIc/III型)；针对NBI放大图像，采用深度学习技术对图像进行分类，识别出息肉NICE分型(I/II/III型)。通过前述识别过程，得到第二识别结果，其第二识别结果的文字部分例如“在横结肠，距肛门口30cm处可见一枚0.2*0.3cm的息肉，表面光滑，巴黎分型为Ⅱb型”。
S317：获取到初始态退镜体外图像，确定退镜结束时刻。
在退镜过程中，第一次检测到体外图像即为退镜结束时刻。其中，初始态退镜体外图像指的是在执行退镜过程中第一次检测到肠外部的图像。
S318：综合第一识别结果、进镜开始时刻、第二识别结果以及退镜结束时刻，生成肠镜报告。
在退镜结束后，由于第一识别结果中除了回盲部的图像以及描述回盲部医学特征的关键词汇外，还包括进镜结束时刻和退镜开始时刻，因此，通过深度学习模型可以计算出进镜时间和退镜时间。
将第一识别结果中的文字部分、进镜开始时刻、第二识别结果中的文字部分以及退镜结束时刻输入训练后的基于生成对抗网络的语句生成模型，可以得到结构化语句，也即肠镜报告单中镜下诊断一栏的文字部分，同时，医师选择第一识别结果中留取的图像中的一张图像、第二识别结果中留取的图像中各肠段的一张图像到报告单中，肠镜报告生成系统结合图像和文字自动生成了如图9所示的肠镜报告单。
S319：结束。
本申请通过上述过程得到了较为完整的肠镜报告，通过结合图像识别结束和语音交互技术减轻了内镜医师的工作负担，提高了报告的准确性。
基于上述实施例的内容，本申请实施例提供了一种肠镜报告生成装置。该肠镜报告生成装置用于执行上述方法实施例中提供的肠镜报告生成方法，具体地，请参阅图11，该装置包括：
第一获取模块1101，用于获取进镜开始时刻和肠镜下的多个进镜体内图像；
触发模块1102，用于在从各进镜体内图像中识别到包括目标肠段的进镜体内图像时，输出第一识别结果并触发语音交互系统；
第一响应模块1103，用于响应于用户基于所述第一识别结果发出的退镜信号，获取退镜过程中的中间态白光图像，并在获取到初始态退镜体外图像时，确定退镜结束时刻；
第二响应模块1104，用于通过所述语音交互系统响应于所述用户发出的至少一条第一语音指令，对所述中间态白光图像进行识别处理，得到第二识别结果；
报告生成模块1105，用于根据所述进镜开始时刻、所述第一识别结果、所述退镜结束时刻以及所述第二识别结果生成肠镜报告。
在一种实施例中，第一获取模块1101包括：
第三响应模块，用于响应于用户发出的进镜信号，获取进镜过程中的多个待识别图像；
第一识别模块，用于对各待识别图像进行识别处理，得到肠镜下的多个进镜体内图像和多个进镜体外图像，所述多个进镜体内图像包括一个初始态进镜体内图像和若干个中间态进镜体内图像；
时刻确定模块，用于根据所述初始态进镜体内图像，确定进镜开始时刻。
在一种实施例中，触发模块1102包括：
第二识别模块，用于对各进镜体内图像进行识别处理，得到合格进镜体内图像；
第三识别模块，用于对所述合格进镜体内图像进行识别处理，得到初始态白光图像；
第四识别模块，用于在从所述初始态白光图像中识别到包括目标肠段的初始态白光图像时，输出第一识别结果；
语音触发模块，用于根据所述第一识别结果，触发语音交互系统。
在一种实施例中，第一响应模块1103包括：
第一接收模块，用于通过所述语音交互系统接收所述用户发出的至少一条第一语音指令；
第四响应模块，用于响应于所述第一语音指令，获取肠段识别模型；
肠段识别模块，用于基于所述肠段识别模型对所述中间态白光图像进行肠段识别，得到第二识别结果。
在一种实施例中，肠段识别模块包括：
肠段识别子模块，用于基于所述肠段识别模型对所述中间态白光图像进行肠段识别，得到各肠段中间态白光图像和描述各肠段中间态白光图像的医学词汇；
图像识别模块，用于识别各肠段中间态白光图像，得到各肠段合格中间态白光图像和各肠段不合格中间态白光图像；
评分模块，用于根据各肠段不合格中间态白光图像和各肠段中间态白光图像，确定各肠段的清洁度评分；
第一结果确定模块，用于根据各肠段合格中间态白光图像、所述医学词汇和所述清洁度评分，确定第二识别结果。
在一种实施例中，第一响应模块1103还包括：
第二接收模块，用于通过所述语音交互系统接收所述用户发出的至少一条第一语音指令；
第五响应模块，用于响应于所述第一语音指令，获取目标检测模型；
活检钳识别模块，用于基于所述目标检测模型对所述中间态白光图像进行活检钳识别，得到第二识别结果。
在一种实施例中，第一响应模块1103还包括：
第三接收模块，用于通过所述语音交互系统接收所述用户发出的至少一条第一语音指令；
第六响应模块，用于响应于所述第一语音指令，获取病灶检测模型；
病灶检测模块，用于基于所述病灶检测模型对所述中间态白光图像进行病灶检测，得到第二识别结果。
在一种实施例中，病灶检测模块包括：
病灶检测子模块，用于基于所述病灶检测模型对所述中间态白光图像进行病灶检测，得到病灶图像；
记录模块，用于通过所述语音交互系统发出基于所述病灶图像的记录询问指令；
第七响应模块，用于响应于所述用户基于所述记录询问指令发出的执行信号，获取描述所述病灶图像的医学词汇；
第二结果确定模块，用于根据所述病灶图像和所述医学词汇，确定第二识别结果。
在一种实施例中，报告生成模块1105包括：
第二获取模块，用于获取语句生成模型；
语句生成模块，用于将所述进镜开始时刻、所述第一识别结果中的词汇、所述退镜结束时刻以及所述第二识别结果中的词汇输入所述语句生成模型，得到结构化语句；
报告生成子模块，用于根据所述第一识别结果中的图像、所述第二识别结果中的图像以及所述结构化语句，生成肠镜报告。
本申请实施例的肠镜报告生成装置，可以用于执行前述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
区别于当前的技术，本申请提供的肠镜报告生成装置设置了触发模块和报告生成模块，通过触发模块在识别到包括目标肠段的进镜体内图像时，自动触发语音交互系统，实时与内镜医师进行语音交互，并结合图像识别系统实现病灶、肠段的识别，最后通过报告生成模块基于前述识别结果自动生成肠镜报告，降低了肠镜检查过程中的人力成本，同时提高了报告的准确性。
相应的，本申请实施例还提供一种电子设备，如图12所示，该电子设备可以包括有一个或者一个以上处理核心的处理器1201、无线(WiFi，Wireless Fidelity)模块1202、有一个或一个以上计算机可读存储介质的存储器1203、音频电路1204、显示单元1205、输入单元1206、传感器1207、电源1208、以及射频(RF，Radio Frequency)电路1209等部件。本领域技术人员可以理解，图12中示出的电子设备的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器1201是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器1203内的软件程序和/或模块，以及调用存储在存储器1203内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。在一种实施例中，处理器1201可包括一个或多个处理核心；优选的，处理器1201可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1201中。
WiFi属于短距离无线传输技术，电子设备通过无线模块1202可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图12示出了无线模块1202，但是可以理解的是，其并不属于终端的必需构成，完全可以根据需要在不改变发明的本质的范围内而省略。
存储器1203可用于存储软件程序以及模块，处理器1201通过运行存储在存储器1203的计算机程序以及模块，从而执行各种功能应用以及数据处理。存储器1203可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1203可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1203还可以包括存储器控制器，以提供处理器1201和输入单元1206对存储器1203的访问。
音频电路1204包括扬声器，扬声器可提供用户与电子设备之间的音频接口。音频电路1204可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，扬声器将收集的声音信号转换为电信号，由音频电路1204接收后转换为音频数据，再将音频数据输出处理器1201处理后，经射频电路1209发送给比如另一电子设备，或者将音频数据输出至存储器1203以便进一步处理。音频电路1204还可能包括耳塞插孔，以提供外设耳机与电子设备的通信。
显示单元1205可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元1205可包括显示面板，在一种实施例中，可以采用液晶显示器(LCD，Liquid CrystalDisplay)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器1201以确定触摸事件的类型，随后处理器1201根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图12中，触敏表面与显示面板是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
输入单元1206可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元1206可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。在一种实施例中，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1201，并能接收处理器1201发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元1206还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
电子设备还可包括至少一种传感器1207，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及距离传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度；至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
电子设备还包括给各个部件供电的电源1208(比如电池)，优选的，电源可以通过电源管理系统与处理器1201逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1208还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
射频电路1209可用于收发信息过程中信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器1201处理；另外，将涉及上行的数据发送给基站。通常，射频电路1209包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，射频电路1209还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。
尽管未示出，电子设备还可以包括蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备中的处理器1201会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器1203中，并由处理器1201来运行存储在存储器1203中的应用程序，从而实现以下功能：
获取进镜开始时刻和肠镜下的多个进镜体内图像；
在从各进镜体内图像中识别到包括目标肠段的进镜体内图像时，输出第一识别结果并触发语音交互系统；
响应于用户基于所述第一识别结果发出的退镜信号，获取退镜过程中的中间态白光图像，并在获取到初始态退镜体外图像时，确定退镜结束时刻；
通过所述语音交互系统响应于所述用户发出的至少一条第一语音指令，对所述中间态白光图像进行识别处理，得到第二识别结果；
根据所述进镜开始时刻、所述第一识别结果、所述退镜结束时刻以及所述第二识别结果生成肠镜报告。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以实现上述肠镜报告生成方法的功能。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
以上对本申请实施例所提供的肠镜报告生成方法、装置、电子设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种肠镜报告生成方法，其特征在于，包括：
获取进镜开始时刻和肠镜下的多个进镜体内图像；
在从各进镜体内图像中识别到包括目标肠段的进镜体内图像时，输出第一识别结果并触发语音交互系统；
响应于用户基于所述第一识别结果发出的退镜信号，获取退镜过程中的中间态白光图像，并在获取到初始态退镜体外图像时，确定退镜结束时刻；
通过所述语音交互系统响应于所述用户发出的至少一条第一语音指令，对所述中间态白光图像进行识别处理，得到第二识别结果；
根据所述进镜开始时刻、所述第一识别结果、所述退镜结束时刻以及所述第二识别结果生成肠镜报告。
2.根据权利要求1所述的肠镜报告生成方法，其特征在于，所述获取进镜开始时刻和肠镜下的多个进镜体内图像的步骤，包括：
响应于用户发出的进镜信号，获取进镜过程中的多个待识别图像；
对各待识别图像进行识别处理，得到肠镜下的多个进镜体内图像和多个进镜体外图像，所述多个进镜体内图像包括一个初始态进镜体内图像和若干个中间态进镜体内图像；
根据所述初始态进镜体内图像，确定进镜开始时刻。
3.根据权利要求1所述的肠镜报告生成方法，其特征在于，所述在从各进镜体内图像中识别到包括目标肠段的进镜体内图像时，输出第一识别结果并触发语音交互系统的步骤，包括：
对各进镜体内图像进行识别处理，得到合格进镜体内图像；
对所述合格进镜体内图像进行识别处理，得到初始态白光图像；
在从所述初始态白光图像中识别到包括目标肠段的初始态白光图像时，输出第一识别结果；
根据所述第一识别结果，触发语音交互系统。
4.根据权利要求1所述的肠镜报告生成方法，其特征在于，所述通过所述语音交互系统响应于所述用户发出的至少一条第一语音指令，对所述中间态白光图像进行识别处理，得到第二识别结果的步骤，包括：
通过所述语音交互系统接收所述用户发出的至少一条第一语音指令；
响应于所述第一语音指令，获取肠段识别模型；
基于所述肠段识别模型对所述中间态白光图像进行肠段识别，得到第二识别结果。
5.根据权利要求4所述的肠镜报告生成方法，其特征在于，所述基于所述肠段识别模型对所述中间态白光图像进行肠段识别，得到第二识别结果的步骤，包括：
基于所述肠段识别模型对所述中间态白光图像进行肠段识别，得到各肠段中间态白光图像和描述各肠段中间态白光图像的医学词汇；
识别各肠段中间态白光图像，得到各肠段合格中间态白光图像和各肠段不合格中间态白光图像；
根据各肠段不合格中间态白光图像和各肠段中间态白光图像，确定各肠段的清洁度评分；
根据各肠段合格中间态白光图像、所述医学词汇和所述清洁度评分，确定第二识别结果。
6.根据权利要求1所述的肠镜报告生成方法，其特征在于，所述通过所述语音交互系统响应于所述用户发出的至少一条第一语音指令，对所述中间态白光图像进行识别处理，得到第二识别结果的步骤，包括：
通过所述语音交互系统接收所述用户发出的至少一条第一语音指令；
响应于所述第一语音指令，获取目标检测模型；
基于所述目标检测模型对所述中间态白光图像进行活检钳识别，得到第二识别结果。
7.根据权利要求1所述的肠镜报告生成方法，其特征在于，所述通过所述语音交互系统响应于所述用户发出的至少一条第一语音指令，对所述中间态白光图像进行识别处理，得到第二识别结果的步骤，包括：
通过所述语音交互系统接收所述用户发出的至少一条第一语音指令；
响应于所述第一语音指令，获取病灶检测模型；
基于所述病灶检测模型对所述中间态白光图像进行病灶检测，得到第二识别结果。
8.根据权利要求7所述的肠镜报告生成方法，其特征在于，所述基于所述病灶检测模型对所述中间态白光图像进行病灶检测，得到第二识别结果的步骤，包括：
基于所述病灶检测模型对所述中间态白光图像进行病灶检测，得到病灶图像；
通过所述语音交互系统发出基于所述病灶图像的记录询问指令；
响应于所述用户基于所述记录询问指令发出的执行信号，获取描述所述病灶图像的医学词汇；
根据所述病灶图像和所述医学词汇，确定第二识别结果。
9.根据权利要求1所述的肠镜报告生成方法，其特征在于，所述第一识别结果包括图像和词汇，所述第二是识别结果包括图像和词汇，所述根据所述进镜开始时刻、所述第一识别结果、所述退镜结束时刻以及所述第二识别结果生成肠镜报告的步骤，包括：
获取语句生成模型；
将所述进镜开始时刻、所述第一识别结果中的词汇、所述退镜结束时刻以及所述第二识别结果中的词汇输入所述语句生成模型，得到结构化语句；
根据所述第一识别结果中的图像、所述第二识别结果中的图像以及所述结构化语句，生成肠镜报告。
10.一种肠镜报告生成装置，其特征在于，包括：
第一获取模块，用于获取进镜开始时刻和肠镜下的多个进镜体内图像；
触发模块，用于在从各进镜体内图像中识别到包括目标肠段的进镜体内图像时，输出第一识别结果并触发语音交互系统；
第一响应模块，用于响应于用户基于所述第一识别结果发出的退镜信号，获取退镜过程中的中间态白光图像，并在获取到初始态退镜体外图像时，确定退镜结束时刻；
第二响应模块，用于通过所述语音交互系统响应于所述用户发出的至少一条第一语音指令，对所述中间态白光图像进行识别处理，得到第二识别结果；
报告生成模块，用于根据所述进镜开始时刻、所述第一识别结果、所述退镜结束时刻以及所述第二识别结果生成肠镜报告。
CN202210127313.8A 2022-02-11 2022-02-11 一种肠镜报告生成方法和装置 Pending CN114446435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210127313.8A CN114446435A (zh) 2022-02-11 2022-02-11 一种肠镜报告生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210127313.8A CN114446435A (zh) 2022-02-11 2022-02-11 一种肠镜报告生成方法和装置

Publications (1)

Publication Number Publication Date
CN114446435A true CN114446435A (zh) 2022-05-06

Family

ID=81372423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210127313.8A Pending CN114446435A (zh) 2022-02-11 2022-02-11 一种肠镜报告生成方法和装置

Country Status (1)

Country Link
CN (1) CN114446435A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035153A (zh) * 2022-08-12 2022-09-09 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置及其相关设备
CN116596919A (zh) * 2023-07-11 2023-08-15 浙江华诺康科技有限公司 内镜图像质控方法、装置、系统、计算机设备和存储介质
CN117392449A (zh) * 2023-10-24 2024-01-12 青岛美迪康数字工程有限公司 基于进镜图像特征的肠镜部位识别方法、装置和设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035153A (zh) * 2022-08-12 2022-09-09 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置及其相关设备
CN115035153B (zh) * 2022-08-12 2022-10-28 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置及其相关设备
CN116596919A (zh) * 2023-07-11 2023-08-15 浙江华诺康科技有限公司 内镜图像质控方法、装置、系统、计算机设备和存储介质
CN116596919B (zh) * 2023-07-11 2023-11-07 浙江华诺康科技有限公司 内镜图像质控方法、装置、系统、计算机设备和存储介质
CN117392449A (zh) * 2023-10-24 2024-01-12 青岛美迪康数字工程有限公司 基于进镜图像特征的肠镜部位识别方法、装置和设备

Similar Documents

Publication Publication Date Title
CN114446435A (zh) 一种肠镜报告生成方法和装置
CN109146884B (zh) 内窥镜检查监控方法及装置
EP3777645A1 (en) Endoscope observation assistance device, endoscope observation assistance method, and program
WO2020215807A1 (zh) 一种基于深度学习提高结肠镜腺瘤性息肉检出率的方法
TWI788620B (zh) 通過語音記錄及處理一組織之影像資訊的方法及系統
WO2023124876A1 (zh) 内窥镜图像检测辅助系统、方法、介质和电子设备
CN113177928B (zh) 一种图像识别方法、装置、电子设备及存储介质
JP2009022446A (ja) 医療における統合表示のためのシステム及び方法
CN116745861B (zh) 通过实时影像获得的病变判断系统的控制方法、装置及记录媒介
CN114569043A (zh) 一种基于人工智能的内窥镜辅助检查方法及装置
CN114052794A (zh) 一种基于多模态信息的颈动脉超声报告生成系统
CN114417037B (zh) 图像处理方法、装置、终端及可读存储介质
WO2021146420A1 (en) Systems and methods for assessing colonoscopy preparation
CN114419521A (zh) 肠道内镜检查的监控方法及装置
US20100317924A1 (en) Digital image data collection apparatus system and method
WO2022127317A1 (zh) 注射泵气泡排空控制方法、装置、注射泵及存储介质
JPWO2019088178A1 (ja) 生検支援装置、内視鏡装置、生検支援方法、及び生検支援プログラム
US20040225476A1 (en) Inspection apparatus for diagnosis
CN114627078B (zh) 视网膜病变识别设备、装置及存储介质
CN113393744B (zh) 一种模拟肠镜检查与诊断系统及方法
CN117396124A (zh) 信息处理装置、信息处理方法、以及计算机程序
JP3194808U (ja) 所見入力支援装置
JP7264407B2 (ja) 訓練用の大腸内視鏡観察支援装置、作動方法、及びプログラム
WO2024095674A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
WO2024171780A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination