CN110738655A - 影像报告生成方法、装置、终端及存储介质 - Google Patents
影像报告生成方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN110738655A CN110738655A CN201911014570.5A CN201911014570A CN110738655A CN 110738655 A CN110738655 A CN 110738655A CN 201911014570 A CN201911014570 A CN 201911014570A CN 110738655 A CN110738655 A CN 110738655A
- Authority
- CN
- China
- Prior art keywords
- picture
- pictures
- target
- image
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000003860 storage Methods 0.000 title claims description 15
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000001914 filtration Methods 0.000 claims abstract description 45
- 230000002159 abnormal effect Effects 0.000 claims abstract description 17
- 238000009826 distribution Methods 0.000 claims description 34
- 238000003384 imaging method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 26
- 230000003902 lesion Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 19
- 238000004880 explosion Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 3
- 208000037062 Polyps Diseases 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 9
- 210000001035 gastrointestinal tract Anatomy 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000001079 digestive effect Effects 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 238000001839 endoscopy Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 239000011148 porous material Substances 0.000 description 2
- 208000007882 Gastritis Diseases 0.000 description 1
- 210000000436 anus Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 208000015768 polyposis Diseases 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Processing (AREA)
- Endoscopes (AREA)
Abstract
本发明实施例公开了一种影像报告生成的方法、装置、终端及介质，其中方法包括：获取目标视频，将所述目标视频转换成N张图片帧，N为正整数；过滤所述N张图片帧中的低质图片，得到W张合格图片，其中，低质图片包括低分辨率图片、模糊图片、色调异常图片和过爆欠曝图片，合格图片为过滤后的图片，W为正整数；对所述W张合格图片中每张合格图片进行识别处理，得到W张目标图片目标部位；遍历目标部位的目标图片，得到所述目标部位的检测结果；根据所述目标部位的所述检测结果生成影像报告。本发明实施例可以实现自动化采图和自动生成影像报告，解决手动制作影像报告的低效问题。
Description
技术领域
本发明涉及影像领域，具体涉及一种影像报告生成方法、一种影像报告生成装置、一种终端及一种计算机存储介质。
背景技术
目前消化道病变的筛查办法，一般是做消化内镜。依据现有消化内镜操作规范，内镜医生需要在消化道每个细分部位及病灶处手动采图，并根据采图制作完整的影像报告。但由于消化道细分部位较多，这种采图操作和影像制作操作会极大增加人力成本和时间损耗，导致单个患者的内镜效率偏低且不利于大规模普及消化道内镜筛查。
发明内容
本发明实施例提供了一种影像报告生成方法、装置、终端及计算机存储介质，可以自动采图和自动生成影像报告，解决手动制作影像报告的低效问题。
第一方面，本发明实施例提供了一种影像报告生成的方法，包括：
获取目标视频，将所述目标视频转换成N张图片帧，N为正整数；
过滤所述N张图片帧中的低质图片，得到W张合格图片，其中，低质图片包括低分辨率图片、模糊图片、色调异常图片和过爆欠曝图片，合格图片为过滤后的图片，W为正整数；
对所述W张合格图片中每张合格图片进行识别处理，得到W张目标图片；
遍历目标部位的目标图片，得到所述目标部位的检测结果；
根据所述目标部位的所述检测结果生成影像报告。
第二方面，本发明实施例提供了一种影像报告生成装置，该影像报告生成装置包括：
获取单元，用于获取目标视频，将所述目标视频转换成N张图片帧，N为正整数；
处理单元，用于过滤所述N张图片帧中的低质图片，得到W张合格图片，其中，低质图片包括低分辨率图片、模糊图片、色调异常图片和过爆欠曝图片，合格图片为过滤后的图片，W为正整数；以及用于对所述W张合格图片中每张合格图片进行识别处理，得到W张目标图片；以及用于遍历目标部位的目标图片，得到所述目标部位的检测结果；以及用于根据所述目标部位的所述检测结果生成影像报告。
第三方面，本发明实施例提供了一种终端，所述终端包括输入设备和输出设备，所述终端还包括：
处理器，适于实现一条或一条以上指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由所述处理器加载并执行如本申请实施例第一方面中所描述的部分或全部步骤。
第四方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由处理器加载并执行如本申请实施例第一方面中所描述的部分或全部步骤。
可以看出，本申请实施例中通过获取目标视频，将所述目标视频转换成N张图片帧，N为正整数；过滤所述N张图片帧中的低质图片，得到W张合格图片，其中，低质图片包括低分辨率图片、模糊图片、色调异常图片和过爆欠曝图片，合格图片为过滤后的图片，W为正整数；对所述W张合格图片中每张合格图片进行识别处理，得到W张目标图片目标部位；遍历目标部位的目标图片，得到所述目标部位的检测结果；根据所述目标部位的所述检测结果生成影像报告。上述影像报告生成过程可以实现自动化采图和自动生成影像报告，解决手动制作影像报告的低效问题。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的消化道息肉癌变过程示意图；
图2是本申请实施例提供的内窥镜影像报告单示意图；
图3是本申请实施例提供的视频处理设备的结构示意图；
图4是本申请实施例提供的整体流程示意图；
图5为本申请实施例提供的一种影像报告生成的方法的流程示意图；
图6是本申请实施例提供的模糊图片帧的示意图；
图7是本申请实施例提供的白光图片和窄带成像图片的示意图；
图8是本申请实施例提供的病灶区域示意图；
图9是本申请实施例提供的初步影像报告调整的页面示意图；
图10是本申请实施例提供的一种影像报告生成的方法的流程示意图；
图11是本申请实施例提供的一种终端的结构示意图；
图12是本申请实施例提供的一种影像报告生成装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的终端可以包括各种具有无线通信功能的手持设备、车载设备、无线耳机、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，终端设备(terminal device)等等，终端例如可以为智能手机、平板电脑、耳机盒等等。为方便描述，上面提到的设备统称为终端。
如图1所示，图1是本申请实施例提供的消化道息肉癌变过程示意图，息肉是指人体组织表面长出的赘生物，如图所示，体积小的息肉(1cm以内)多为良性，不会癌变，而体积大的息肉(2cm以上)尤其是多发性息肉非常容易病变，形成肿瘤，并进一步癌变扩散。人体的消化道分为上下消化道两部分：上消化道由口腔，咽部，食管，胃，十二指肠组成；下消化道由空肠，回肠和大肠组成。上述消化道的每一部分都可能出现息肉，为避免消化道中的息肉病变成消化道恶性肿瘤，应在早期的筛查窗口期(癌变前15-20年)，通过筛查手段定位早期患者，并及早介入治疗。
目前一般是通过做消化内镜筛查消化道病变，即用一根带镜头的管状器械从口腔或肛门插入体内，镜头与外部显示器相连，可将镜头所见的患者消化道实时影像传输给外部显示器，医生可通过观察显示器上的患者消化道画面来诊断患者是否患有恶性病变。
如图2所示，图2是本申请实施例提供的内窥镜影像报告单示意图。医生根据消化内镜所见，出具内窥镜影像报告，影像报告包括观察结论和配图两部分。一般医生在做内镜时，需要按照内镜操作规范，在消化道各细分部位及病变处留下一定数量的采图，例如对胃部进行检查，则需要采集胃底、胃窦、胃体等细分部位的图片，做完内镜后，医生会依据内镜观察撰写观察结论，即图2中的“内镜所见”部分，并从采集的图片里找到能支持观察结论的图片附在报告里，生成影像报告。
其中，目前用于做内镜的器械设备一般自带脚踏板，脚踩以后可以冻结内镜画面，从而便于医生确认当前内镜画面没有运动模糊，再次脚踏后即可将当前内镜画面采集到医院的影像信息系统中，用于后续生成影像报告。然而，由于消化道细分部位较多，这种采集图像的方法会极大增加时间成本，且消耗体力，导致单个患者的内镜检测效率偏低，不利于大规模普及消化道内镜筛查。
见图3和图4，图3是本申请实施例提供的视频处理设备的结构示意图，图4是本申请实施例提供的整体流程示意图，其中，视频处理设备包括内窥镜和计算机，内窥镜由冷光源镜头、纤维光导线、图象传输系统和屏幕显示系统等组成，在计算机中，视频采集卡、显示器和键盘均与AI(人工智能)引擎相连接，且内窥镜与计算机中的视频采集卡相连接。医生对患者进行内镜检查时(图4中的步骤1)，内窥镜将患者的内镜视频传输给视频采集卡，视频采集卡采集到完整的内镜视频(图4中的步骤2)，将对应的视频数据转换为数字数据，并将数字数据发送给并将内镜视频拆分成一张张的图片帧，将图片帧转换成数字数据发送给AI引擎，AI引擎对数字数据进行处理，得到图片帧数据(图4中的步骤3)，然后对图片帧数据进行处理，确认每张图片帧所属部位、所属部位是否有病灶并确认病灶类型(图4中的步骤4)，在对每张图片帧处理完后，聚合每个部位的图片集，确认该部位是否存在含有病灶的图片，若该部位存在含有病灶的图片，确认该部位存在病灶，并为该部位下每个病灶自动选取一张有病灶的图片帧用于生成电子版的影像报告，若该部位不存在含有病灶的图片，确认该部位健康，为该部位自动选取一张健康的图片帧用于生成电子版的影像报告(图4中的步骤5)，电子版的影像报告通过显示器显示，医生在查看影像报告后，可通过键盘、鼠标等设备对影像报告主体内容的结论和选图进行调整(图4中的步骤6)，若确认无误，即可生成图2所示的内窥镜影像报告单。
参阅图5，图5为本申请实施例提供的一种影像报告生成方法的流程示意图，所述影像报告生成方法应用于影像报告生成装置，所述方法包括：
501、获取目标视频，将所述目标视频转换成N张图片帧，N为正整数。
其中，通过内窥镜获取需要检测的部位的目标视频后，发送给视频采集卡，经过数据转换后，由AI引擎对其处理得到图片帧，在本申请实施例中，目标部位为消化道中的各个部位。
502、过滤所述N张图片帧中的低质图片，得到W张合格图片，其中，低质图片包括低分辨率图片、模糊图片、色调异常图片和过爆欠曝图片，合格图片为过滤后的图片，W为正整数。
其中，过滤低质图片包括滤除低分辨率图片、模糊图片、色调异常图片和过爆欠曝图片。
503、对所述W张合格图片中每张合格图片进行识别处理，得到W张目标图片。
其中，识别处理包括：识别图片类型，确认目标部位，定位病灶和识别病灶类型。若合格图片所属的目标部位没有病灶，则为该合格图片添加名称为“正常”的标签，若合格图片所属的目标部位有病灶，且已确认其病灶类型，则为该合格图片添加以其病灶类型命名的标签。
504、遍历目标部位的目标图片，得到所述目标部位的检测结果。
其中，目标部位可以为一个或者多个，根据合格图片的标签可以确定其所属的目标部位，将合格图片按照其所属的目标部位聚集，然后根据标签可确定合格图片所属的部位是否有病灶以及病灶类型，遍历目标部位所有的目标图片，即可得到目标部位的检测结果。
505、根据所述目标部位的所述检测结果生成影像报告。
其中，在得到目标部位的检测结果后，即可生成初步影像报告，并通过显示器显示该初步影像报告，初步影像报告包括观察结论和报告配图，若用户(医生)在检查该初步影像报告后发现报告有误，可实时修改报告中的观察结论和报告配图。
可以看出，本申请实施例中通过获取目标视频，将所述目标视频转换成N张图片帧，N为正整数；过滤所述N张图片帧中的低质图片，得到W张合格图片，其中，低质图片包括低分辨率图片、模糊图片、色调异常图片和过爆欠曝图片，合格图片为过滤后的图片，W为正整数；对所述W张合格图片中每张合格图片进行识别处理，得到W张目标图片目标部位；遍历目标部位的目标图片，得到所述目标部位的检测结果；根据所述目标部位的所述检测结果生成影像报告。上述影像报告生成过程可以实现自动化采图和自动生成影像报告，解决手动制作影像报告的低效问题。
在一个可能的示例中，所述低质图片包括低分辨率图片，所述过滤所述N张图片帧中的低质图片包括:
获取所述N张图片帧中每张图片帧的颜色向量矩阵；
根据所述颜色向量矩阵得到对应的灰度值分布图；
标记所述灰度值分布图中小于预设像素值的像素点；
统计所述灰度值分布图中每行被标记的像素点的比例；
剪除与所述灰度值分布图对应的图片帧中的无效行，其中，所述无效行的像素点中被标记的像素点的比例大于预设比例；
计算所述图片帧中剪除所述无效行之后的有效面积，若有效面积小于预设面积，将所述图片帧标记为所述低质图片，滤除所述低质图片。
其中，因为每个像素点的颜色是由RGB(红绿蓝)三个值来表现的，所以每个像素点有相应的三个颜色向量矩阵，分别是R矩阵、G矩阵和B矩阵，三个颜色向量矩阵分别表示三个颜色通道的RGB值。将一张图片帧中所有像素点的颜色向量矩阵整合成一个整体的颜色向量矩阵，然后对每个像素点的颜色向量矩阵进行灰度化处理即可得到每个像素点的灰度值，即得到整个图片帧的灰度值分布图。灰度化处理方法可采用平均值法、浮点算法等，其中，平均值法是将同一个像素点3个通道的RGB值进行平均得到该像素点的灰度值，浮点算法是根据RGB和YUV(一种颜色编码方法)颜色空间的变化关系建立亮度值Y与R、G、B三个颜色分量的对应：Y＝0.3R+0.59G+0.11B，以该亮度值Y表示图像的灰度值。像素点的灰度值数值越小，说明该像素点颜色越深，越有可能是图片帧外围的黑色边框，需要将图片帧外围的黑色边框剪除，因此设定预设像素值，将灰度值小于该预设像素值的像素点进行标记，当图片帧的一行像素点中被标记的像素点的个数与该行像素点总数的比例高于预设比例时，认为该行像素点属于外围黑色边框，该行为无效行，因此剪除该行，当在一张图片帧中剪除了所有的无效行之后剩余的有效面积低于预设面积时，认为该图片帧是低质图片，滤除该图片帧。其中，可将各个像素点按列进行处理，方法相同，不再赘述。
可见，本示例中，通过剪除无效行，可以判断图片是否为低质图片，进而滤除低质图片，提高了后续图片处理的效率。
在一个可能的示例中，所述低质图片还包括模糊图片，所述过滤所述N张图片帧中的低质图片包括:
对第一图片进行中值滤波，得到第二图片，其中，所述第一图片为所述N张图片帧中滤除低分辨率图片后的任意一张图片帧；
获取所述第一图片的第一像素值分布图和所述第二图片的第二像素值分布图；
根据所述第一像素值分布图对所述第一图片进行梯度计算，得到第一梯度图像，根据所述第二像素值分布图对所述第二图片进行梯度计算，得到第二梯度图像；
计算所述第一梯度图像与所述第二梯度图像的相似度，若所述相似度高于预设相似度，将所述第一图片标记为所述低质图片，滤除所述低质图片。
其中，在对第一图片进行中值滤波之前，还需要对第一图片进行高斯滤波，以消除因图像采样而产生的摩尔纹。采用了3×3中值滤波，从而消除孤立的噪声点，得到第二图片。
梯度的方向是图像函数变化最快的方向，当图像中存在边缘时，梯度值较大，当图像中有比较平滑的部分时，灰度值变化较小，相应的梯度值也较小。根据第一像素值分布图可以获取第一图片中每个像素点在x方向和y方向的方向梯度，获取方法可采用向前差商法、向后差商法或中心差商法，进而获取第一梯度图像，采用同样的方法可得到第二梯度图像。可通过欧几里得距离、皮尔逊相关系数或余弦相似度等方法计算第一梯度图像和第二梯度图像的相似度，相似度越高，说明第一图片越模糊，如图6所示，图6是本申请实施例提供的模糊图片帧的示意图，其中，图6左侧为第一图片，右侧为第二图片，图6中的第一图片和第二图片的相似度高于预设相似度，图6中的图片帧较为模糊，应该滤除。
可见，本示例中，通过计算图片帧的梯度，从而确定该图片帧是否模糊，从而滤除了模糊的低质图片，提高了后续图片处理的效率。
在一个可能的示例中，所述低质图片还包括色调异常图片和过爆欠曝图片，所述过滤所述N张图片帧中的低质图片，得到W张合格图片包括:
将第三图片均分为M×M个图像块，从所述M×M块中选取K个图像块，其中，所述第三图片为所述N张图片帧中滤除低分辨率图片和模糊图片后的任意一张图片帧，M和K均为正整数；
获取所述K个图像块的特征，所述特征包括色调和饱和度；
将所述K个图像块的特征分别与标准图像块的特征进行匹配；
若匹配失败，将所述第三图片标记为所述低质图片，滤除所述低质图片，得到所述W张合格图片。
其中，在本申请实施例中，M＝7，K＝9，将第三图片均分为7×7的图像块，并从中随机选取9个图像块，在HSV空间下计算每个图像块的H(色调)、S(饱和度)和V(明度)，因为色调异常以及过曝欠曝的种类较多，因此建立色调合格拍摄正常的标准库文件，将9个图像块中每个图像块的H和S与标准库文件中标准图像块的H和S进行匹配，当9个图像块的平均匹配成功率低于预设值时，匹配失败，认为第三图片为低质图片并滤除，即可得到所述W张合格图片，其中，预设值可以设置为70％、80％、90％等。
可见，本示例中，通过计算第一图片的色调和饱和度，并将其与标准图像块进行匹配，从而确定第一图片是否为低质图片，滤除了色调异常图片和过爆欠曝图片，提高了后续图片处理的效率。
在一个可能的示例中，所述识别处理包括识别图片类型，所述对所述W张合格图片中每张合格图片进行识别处理包括:
将标准图片归一化至固定大小，其中，所述标准图片为所述W张合格图片中任意一张图片帧；
将所述标准图片输入第一深度卷积网络；
通过所述第一深度卷积网络确认所述标准图片的图片类型，其中，所述图片类型包括白光图片和窄带成像图片。
其中，如图7所示，图7是本申请实施例提供的白光图片和窄带成像图片的示意图，图7左边为窄带成像图片，右边为白光图片，窄带成像图片可以更清晰的显示出血管走向和血管颜色，因此，用户在实际操作内窥镜检查时，当发现疑似息肉时，往往会采用窄带成像图片来诊断当前息肉的病理分型。识别图片类型即是进行图像分类，在本实施例中，通过深度卷积网络进行图像分类，在将标准图片输入深度卷积网络之前，需要对输入的原始图片进行放缩，调整至固定的224×224大小。如下表1所示，表1为深度卷积网络的结构示意表。
表1深度卷积网络的结构示意表
表1中第一栏Layers层包括Convolution卷积层、Dense Block密集层、TransitionLayer过渡层和Classfication Layer分类层(全连接层)，表1中第二栏为各层的输出大小(Output Size)，第三栏中conv表示卷积，stride表示步长，max pool表示最大池化，average pool表示平均池化，global average pool表示全局平均池化，2D fully-connected表示2维全连接，softmax用于将多分类的输出数值转化为相对概率。通过网络参数调优，最终将增长率growth-rate设置为48，过渡层transition layer的压缩比为0.5，使得深度神经网络的分类效果达到最优。
其中，在识别图片类型之后，还需要获取标准图片的特征，将标准图片的特征与对应类型(白光图片和窄带成像图片)的消化道各部位图像的特征进行比对，从而确标准图片所属的目标部位，并为标准图片添加以目标部位作为名称的标签。
可选的，可通过对光源进行转换，将目标图片帧统一处理为窄带成像图片或白光图片，然后进行病灶定位。
可见，本示例中，通过深度神经网络可区分出图像类型，以便于后续使用对应的模型来定位并识别病灶。
在一个可能的示例中，所述识别处理还包括定位病灶，所述对所述W张合格图片中每张合格图片进行识别处理还包括:
若所述标准图片为白光图片，将所述标准图片输入白光病灶定位模型中，通过所述白光病灶定位模型进行病灶定位，得到病灶的定位坐标以及所述病灶的置信度；以及
若所述标准图片为窄带成像图片，将所述标准图片输入窄带成像病灶定位模型中，通过所述窄带成像病灶定位模型进行病灶定位，得到所述病灶的定位坐标以及所述病灶的置信度；
其中，若未检测到病灶，获取所述标准图片为正常图片的置信度作为所述标准图片的第一标签。
其中，在本实施例中，病灶主要表现为息肉，因此该部分以息肉为例进行说明，白光图片和窄带成像图片在息肉表观形态上有很大区别，在窄带成像图片中，可观测到血管流向，且血液的颜色为黑色，因此在定位病灶部分，分别针对白光图片数据和窄带成像图片数据训练息肉定位模型。使用Imagenet数据库训练神经网络模型，初始化网络参数，得到白光病灶定位模型和窄带成像病灶定位模型，所得的息肉定位模型可以更好的收敛到全局最优解。当标准图片为白光图片时，调用白光病灶定位模型进行息肉定位，当标准图片为窄带成像图片时，调用入窄带成像病灶定位模型进行息肉定位。本实施例通过YOLO V2算法对息肉进行定位检测，YOLO V2算法是一种端到端的实时的目标检测与识别算法，可在保证检测速度的同时，极大提升模型检测的精度及泛化能力。可选的，也可选用YOLO V3算法、特征金字塔网络(FPN)、深度监督对象检测器(DSOD)、单阶段目标检测网络(RetinaNet)代替YOLOV2算法。
其中，病灶的置信度表示标准图片中含有病灶的可能性。
可见，本示例中，在确认图片类型以及所属目标部位后，可进一步确认图片帧所属目标部位是否有病灶。
在一个可能的示例中，所述识别处理还包括识别病灶类型，所述对所述W张合格图片中每张合格图片进行识别处理还包括:
根据所述定位坐标从所述目标图片帧中选取病灶区域；
扩充所述病灶区域范围；
将扩充后的所述病灶区域归一化至所述固定大小，并输入第二深度卷积网络；
通过所述第二深度卷积网络识别所述病灶类型，将所述病灶类型以及所述病灶的置信度作为所述目标图片帧的第二标签，输出所述病灶类型。
其中，在定位病灶之后，可得到病灶的定位坐标，根据定位坐标做出定位框，即可选取病灶区域，如图8所示，图8是本申请实施例提供的病灶区域示意图，在将含有病灶区域的图片输入第二深度卷积网络之前，需要将其大小调整为224×224，因为息肉定位模型输出的息肉位置(病灶区域)大小不一样，因此需要扩充扩充病灶区域范围，将病灶区域向上下左右各外扩10％比例区域，以保证框住的区域有一定的上下文语义信息，从而辅助后续特征提取操作，然后将外扩后的区域大小归一化到224×224，在将其输入第二深度卷积网络。病灶类型包括：正常、非腺瘤、腺瘤、腺癌，本申请对病灶实际场景中的具体类型不做限定。
如下表2所示，表2为第二深度卷积网络的结构示意表，可见，识别病灶类型所用的神经网络比识别图片类型部分所用的神经网络更深更复杂。
表2第二深度卷积网络的结构示意表
其中，通过网络参数调优，将第二深度卷积网络的增长率growth-rate设置为24，过渡层的压缩比为0.5。
可见，本示例中，通过训练好的第二深度卷积网络可以准确的识别出病灶类型，提高消化道疾病识别效率。
在一个可能的示例中，所述遍历目标部位的目标图片，得到所述目标部位的检测结果，包括：
获取所述目标部位的所述目标图片；
若所述目标图片都为正常图片，确认所述目标部位正常，并根据所述目标图片的所述第一标签获取所述目标图片中置信度最高的目标图片作为报告配图；以及
若所述目标图片中存在至少一个有病灶的目标图片，确认所述目标检测部位有病灶，并根据所述至少一个有病灶的目标图片得到S个病灶，根据所述目标图片的所述第二标签获取与所述S个病灶中每个病灶对应的目标图片中置信度最高的目标图片作为所述报告配图，S为正整数。
其中，若目标部位所有目标图片的标签都是“正常”，则确认目标部位正常无病灶，若目标部位的目标图片中有至少一个有病灶的目标图片，则认为目标部位有病灶，因为目标部位可能有多个病灶(息肉)，每个病灶可能有对应的若干张目标图片，因此，根据至少一个有病灶的目标图片得到S个病灶后，获取每个病灶对应的若干个目标图片中病灶的置信度最高的目标图片作为报告配图。
可见，本示例中，可以通过目标部位对应的目标图片来确认目标部位的是否正常，判断精确度高，简便快捷。
在一个可能的示例中，所述根据所述目标部位的所述检测结果生成影像报告，包括：
根据所述目标部位的所述检测结果生成初步影像报告，输出所述初步影像报告，其中，所述初步影像报告包括观察结论和所述报告配图；
接收用户输入的报告判断指令，所述报告判断指令携带所述初步影像报告是否正确的信息；
若所述初步影像报告正确，将所述初步影像报告发送给中央信息系统；以及
若所述初步影像报告不正确，接收所述用户输入的最终观察结论，根据所述最终观察结论生成候选配图，接收所述用户从所述候选配图中选择的最终配图；
根据所述最终观察结论和所述最终配图生成所述影像报告。
其中，如图9所示，图9是本申请实施例提供的初步影像报告调整的页面示意图，当用户(医生)判断初步影像报告不正确时，显示器上会显示如图8所示的页面，对于不同的部位，观察结论包括未见异常以及各部位可能的病症，以胃部为例，观察结论可以为：未见异常、息肉、胃窦炎等。若用户选择了对应的病症，观察结论下方会出现对应病症的候选图片，用户从中选取影像报告需要的配图，在确定了观察结论和配图之后，即可生成需要的影像报告。
可见，本示例中，不仅可以自动生成影像报告，而且还可以对生成的影像报告进行调整，以防止报告有误，极大的简化了内镜操作和报告输出的流程，提高消化内镜的观察效率，全过程让医生把主要精力集中于观察病灶，降低漏诊误诊。
请参阅图10，图10是本申请实施例提供的一种影像报告生成的方法的流程示意图，包括：
1001、获取目标视频，将所述目标视频转换成N张图片帧，N为正整数；
1002、过滤所述N张图片帧中的低质图片，得到W张合格图片，其中，低质图片包括低分辨率图片、模糊图片、色调异常图片和过爆欠曝图片，合格图片为过滤后的图片，W为正整数；
1003、识别所述W张合格图片中每张合格图片的图片类型；
1004、定位所述W张合格图片中每张合格图片中的病灶；
1005、识别合格图片中的病灶的类型；
1006、遍历目标部位的目标图片，得到所述目标部位的检测结果；
1007、根据所述目标部位的所述检测结果生成影像报告。
其中，本实施例中大部分步骤已在上一实施例中进行阐述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
可以看出，本申请实施例中通过获取目标视频，将所述目标视频转换成N张图片帧，N为正整数；过滤所述N张图片帧中的低质图片，得到W张合格图片，其中，低质图片包括低分辨率图片、模糊图片、色调异常图片和过爆欠曝图片，合格图片为过滤后的图片，W为正整数；识别所述W张合格图片中每张合格图片的图片类型；定位所述W张合格图片中每张合格图片中的病灶；识别合格图片中的病灶的类型；遍历目标部位的目标图片，得到所述目标部位的检测结果；根据所述目标部位的所述检测结果生成影像报告。上述影像报告生成过程可以实现自动化采图和自动生成影像报告，解决手动制作影像报告的低效问题。
请参阅图11，图11是本申请实施例提供的一种终端的结构示意图，如图所示，包括处理器、存储器、通信接口，以及一个或多个程序，所述程序被存储在所述存储器中，并且被配置由所述处理器执行。所述程序包括用于执行以下步骤的指令：
获取目标视频，将所述目标视频转换成N张图片帧，N为正整数；
过滤所述N张图片帧中的低质图片，得到W张合格图片，其中，低质图片包括低分辨率图片、模糊图片、色调异常图片和过爆欠曝图片，合格图片为过滤后的图片，W为正整数；
对所述W张合格图片中每张合格图片进行识别处理，得到W张目标图片；
遍历目标部位的目标图片，得到所述目标部位的检测结果；
根据所述目标部位的所述检测结果生成影像报告。
在一个可能的示例中，所述低质图片包括低分辨率图片，在所述过滤所述N张图片帧中的低质图片方面，所述程序包括用于执行以下步骤的指令：
获取所述N张图片帧中每张图片帧的颜色向量矩阵；
根据所述颜色向量矩阵得到对应的灰度值分布图；
标记所述灰度值分布图中小于预设像素值的像素点；
统计所述灰度值分布图中每行被标记的像素点的比例；
剪除与所述灰度值分布图对应的图片帧中的无效行，其中，所述无效行的像素点中被标记的像素点的比例大于预设比例；
计算所述图片帧中剪除所述无效行之后的有效面积，若有效面积小于预设面积，将所述图片帧标记为所述低质图片，滤除所述低质图片。
在一个可能的示例中，所述低质图片还包括模糊图片，在所述过滤所述N张图片帧中的低质图片方面，所述程序包括用于执行以下步骤的指令：
对第一图片进行中值滤波，得到第二图片，其中，所述第一图片为所述N张图片帧中滤除低分辨率图片后的任意一张图片帧；
获取所述第一图片的第一像素值分布图和所述第二图片的第二像素值分布图；
根据所述第一像素值分布图对所述第一图片进行梯度计算，得到第一梯度图像，根据所述第二像素值分布图对所述第二图片进行梯度计算，得到第二梯度图像；
计算所述第一梯度图像与所述第二梯度图像的相似度，若所述相似度高于预设相似度，将所述第一图片标记为所述低质图片，滤除所述低质图片。
在一个可能的示例中，所述低质图片还包括色调异常图片和过爆欠曝图片，在所述过滤所述N张图片帧中的低质图片，得到W张合格图片方面，所述程序包括用于执行以下步骤的指令：
将第三图片均分为M×M个图像块，从所述M×M块中选取K个图像块，其中，所述第三图片为所述N张图片帧中滤除低分辨率图片和模糊图片后的任意一张图片帧，M和K均为正整数；
获取所述K个图像块的特征，所述特征包括色调和饱和度；
将所述K个图像块的特征分别与标准图像块的特征进行匹配；
若匹配失败，将所述第三图片标记为所述低质图片，滤除所述低质图片，得到所述W张合格图片。
在一个可能的示例中，所述识别处理包括识别图片类型，在所述对所述W张合格图片中每张合格图片进行识别处理方面，所述程序包括用于执行以下步骤的指令：
将标准图片归一化至固定大小，其中，所述标准图片为所述W张合格图片中任意一张图片帧；
将所述标准图片输入第一深度卷积网络；
通过所述第一深度卷积网络确认所述标准图片的图片类型，其中，所述图片类型包括白光图片和窄带成像图片。
在一个可能的示例中，所述识别处理还包括定位病灶，在所述对所述W张合格图片中每张合格图片进行识别处理方面，所述程序包括用于执行以下步骤的指令：
若所述标准图片为白光图片，将所述标准图片输入白光病灶定位模型中，通过所述白光病灶定位模型进行病灶定位，得到病灶的定位坐标以及所述病灶的置信度；以及
若所述标准图片为窄带成像图片，将所述标准图片输入窄带成像病灶定位模型中，通过所述窄带成像病灶定位模型进行病灶定位，得到所述病灶的定位坐标以及所述病灶的置信度；
其中，若未检测到病灶，获取所述标准图片为正常图片的置信度作为所述标准图片的第一标签。
在一个可能的示例中，所述识别处理还包括识别病灶类型，在所述对所述W张合格图片中每张合格图片进行识别处理方面，所述程序包括用于执行以下步骤的指令：
根据所述定位坐标从所述标准图片中选取病灶区域；
扩充所述病灶区域范围；
将扩充后的所述病灶区域归一化至所述固定大小，并输入第二深度卷积网络；
通过所述第二深度卷积网络识别所述病灶类型，将所述病灶类型以及所述病灶的置信度作为所述标准图片的第二标签，输出所述病灶类型。
在一个可能的示例中，在所述遍历目标部位的目标图片，得到所述目标部位的检测结果方面，所述程序包括用于执行以下步骤的指令：
获取所述目标部位的所述目标图片；
若所述目标图片都为正常图片，确认所述目标部位正常，并根据所述目标图片的所述第一标签获取所述目标图片中置信度最高的目标图片作为报告配图；以及
若所述目标图片中存在至少一个有病灶的目标图片，确认所述目标检测部位有病灶，并根据所述至少一个有病灶的目标图片得到S个病灶，根据所述目标图片的所述第二标签获取与所述S个病灶中每个病灶对应的目标图片中置信度最高的目标图片作为所述报告配图，S为正整数。
在一个可能的示例中，在所述根据所述目标部位的所述检测结果生成影像报告方面，所述程序包括用于执行以下步骤的指令：
根据所述目标部位的所述检测结果生成初步影像报告，输出所述初步影像报告，其中，所述初步影像报告包括观察结论和所述报告配图；
接收用户输入的报告判断指令，所述报告判断指令携带所述初步影像报告是否正确的信息；
若所述初步影像报告正确，将所述初步影像报告发送给中央信息系统；以及
若所述初步影像报告不正确，接收所述用户输入的最终观察结论，根据所述最终观察结论生成候选配图，接收所述用户从所述候选配图中选择的最终配图；
根据所述最终观察结论和所述最终配图生成所述影像报告。
上述主要从方法执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
与上述一致的，请参阅图12，图12是本申请实施例提供的一种影像报告生成装置的结构示意图，所述影像报告生成装置包括：
获取单元120，用于获取目标视频，将所述目标视频转换成N张图片帧，N为正整数；
处理单元121，用于过滤所述N张图片帧中的低质图片，得到W张合格图片，其中，低质图片包括低分辨率图片、模糊图片、色调异常图片和过爆欠曝图片，合格图片为过滤后的图片，W为正整数；以及用于对所述W张合格图片中每张合格图片进行识别处理，得到W张目标图片；以及用于遍历目标部位的目标图片，得到所述目标部位的检测结果；以及用于根据所述目标部位的所述检测结果生成影像报告。
可以看出，本申请实施例中通过获取目标视频，将所述目标视频转换成N张图片帧，N为正整数；过滤所述N张图片帧中的低质图片，得到W张合格图片，其中，低质图片包括低分辨率图片、模糊图片、色调异常图片和过爆欠曝图片，合格图片为过滤后的图片，W为正整数；对所述W张合格图片中每张合格图片进行识别处理，得到W张目标图片目标部位；遍历目标部位的目标图片，得到所述目标部位的检测结果；根据所述目标部位的所述检测结果生成影像报告。上述影像报告生成过程可以实现自动化采图和自动生成影像报告，解决手动制作影像报告的低效问题。
在一可能的示例中，所述低质图片包括低分辨率图片，在所述过滤所述N张图片帧中的低质图片方面，所述处理单元121具体用于：
获取所述N张图片帧中每张图片帧的颜色向量矩阵；
根据所述颜色向量矩阵得到对应的灰度值分布图；
标记所述灰度值分布图中小于预设像素值的像素点；
统计所述灰度值分布图中每行被标记的像素点的比例；
剪除与所述灰度值分布图对应的图片帧中的无效行，其中，所述无效行的像素点中被标记的像素点的比例大于预设比例；
计算所述图片帧中剪除所述无效行之后的有效面积，若有效面积小于预设面积，将所述图片帧标记为所述低质图片，滤除所述低质图片。
在一个可能的示例中，所述低质图片还包括模糊图片，在所述过滤所述N张图片帧中的低质图片方面，所述处理单元121具体用于：
对第一图片进行中值滤波，得到第二图片，其中，所述第一图片为所述N张图片帧中滤除低分辨率图片后的任意一张图片帧；
获取所述第一图片的第一像素值分布图和所述第二图片的第二像素值分布图；
根据所述第一像素值分布图对所述第一图片进行梯度计算，得到第一梯度图像，根据所述第二像素值分布图对所述第二图片进行梯度计算，得到第二梯度图像；
计算所述第一梯度图像与所述第二梯度图像的相似度，若所述相似度高于预设相似度，将所述第一图片标记为所述低质图片，滤除所述低质图片。
在一个可能的示例中，所述低质图片还包括色调异常图片和过爆欠曝图片，在所述过滤所述N张图片帧中的低质图片，得到W张合格图片方面，所述处理单元121具体用于：
将第三图片均分为M×M个图像块，从所述M×M块中选取K个图像块，其中，所述第三图片为所述N张图片帧中滤除低分辨率图片和模糊图片后的任意一张图片帧，M和K均为正整数；
获取所述K个图像块的特征，所述特征包括色调和饱和度；
将所述K个图像块的特征分别与标准图像块的特征进行匹配；
若匹配失败，将所述第三图片标记为所述低质图片，滤除所述低质图片，得到所述W张合格图片。
在一个可能的示例中，所述识别处理包括识别图片类型，在所述对所述W张合格图片中每张合格图片进行识别处理方面，所述处理单元121具体用于：
将标准图片归一化至固定大小，其中，所述标准图片为所述W张合格图片中任意一张图片帧；
将所述标准图片输入第一深度卷积网络；
通过所述第一深度卷积网络确认所述标准图片的图片类型，其中，所述图片类型包括白光图片和窄带成像图片。
在一个可能的示例中，所述识别处理还包括定位病灶，在所述对所述W张合格图片中每张合格图片进行识别处理方面，所述处理单元121还用于：
若所述标准图片为白光图片，将所述标准图片输入白光病灶定位模型中，通过所述白光病灶定位模型进行病灶定位，得到病灶的定位坐标以及所述病灶的置信度；以及
若所述标准图片为窄带成像图片，将所述标准图片输入窄带成像病灶定位模型中，通过所述窄带成像病灶定位模型进行病灶定位，得到所述病灶的定位坐标以及所述病灶的置信度；
其中，若未检测到病灶，获取所述标准图片为正常图片的置信度作为所述标准图片的第一标签。
在一个可能的示例中，所述识别处理还包括识别病灶类型，在所述对所述W张合格图片中每张合格图片进行识别处理方面，所述处理单元121还用于：
根据所述定位坐标从所述标准图片中选取病灶区域；
扩充所述病灶区域范围；
将扩充后的所述病灶区域归一化至所述固定大小，并输入第二深度卷积网络；
通过所述第二深度卷积网络识别所述病灶类型，将所述病灶类型以及所述病灶的置信度作为所述标准图片的第二标签，输出所述病灶类型。
在一个可能的示例中，在所述遍历目标部位的目标图片，得到所述目标部位的检测结果方面，所述处理单元121还用于：
获取所述目标部位的所述目标图片；
若所述目标图片都为正常图片，确认所述目标部位正常，并根据所述目标图片的所述第一标签获取所述目标图片中置信度最高的目标图片作为报告配图；以及
若所述目标图片中存在至少一个有病灶的目标图片，确认所述目标检测部位有病灶，并根据所述至少一个有病灶的目标图片得到S个病灶，根据所述目标图片的所述第二标签获取与所述S个病灶中每个病灶对应的目标图片中置信度最高的目标图片作为所述报告配图，S为正整数。
在一个可能的示例中，在所述根据所述目标部位的所述检测结果生成影像报告方面，所述处理单元121还用于：
根据所述目标部位的所述检测结果生成初步影像报告，输出所述初步影像报告，其中，所述初步影像报告包括观察结论和所述报告配图；
接收用户输入的报告判断指令，所述报告判断指令携带所述初步影像报告是否正确的信息；
若所述初步影像报告正确，将所述初步影像报告发送给中央信息系统；以及
若所述初步影像报告不正确，接收所述用户输入的最终观察结论，根据所述最终观察结论生成候选配图，接收所述用户从所述候选配图中选择的最终配图；
根据所述最终观察结论和所述最终配图生成所述影像报告。
本发明实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是终端中的记忆设备，用于存放前文提及的影像报告生成装置所执行的计算机程序。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制。尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (12)
1.一种影像报告生成的方法，其特征在于，包括：
获取目标视频，将所述目标视频转换成N张图片帧，N为正整数；
过滤所述N张图片帧中的低质图片，得到W张合格图片，其中，低质图片包括低分辨率图片、模糊图片、色调异常图片和过爆欠曝图片，合格图片为过滤后的图片，W为正整数；
对所述W张合格图片中每张合格图片进行识别处理，得到W张目标图片；
遍历目标部位的目标图片，得到所述目标部位的检测结果；
根据所述目标部位的所述检测结果生成影像报告。
2.根据权利要求1所述的方法，其特征在于，所述低质图片包括低分辨率图片，所述过滤所述N张图片帧中的低质图片包括:
获取所述N张图片帧中每张图片帧的颜色向量矩阵；
根据所述颜色向量矩阵得到对应的灰度值分布图；
标记所述灰度值分布图中小于预设像素值的像素点；
统计所述灰度值分布图中每行被标记的像素点的比例；
剪除与所述灰度值分布图对应的图片帧中的无效行，其中，所述无效行的像素点中被标记的像素点的比例大于预设比例；
计算所述图片帧中剪除所述无效行之后的有效面积，若有效面积小于预设面积，将所述图片帧标记为所述低质图片，滤除所述低质图片。
3.根据权利要求1或2所述的方法，其特征在于，所述低质图片还包括模糊图片，所述过滤所述N张图片帧中的低质图片包括:
对第一图片进行中值滤波，得到第二图片，其中，所述第一图片为所述N张图片帧中滤除低分辨率图片后的任意一张图片帧；
获取所述第一图片的第一像素值分布图和所述第二图片的第二像素值分布图；
根据所述第一像素值分布图对所述第一图片进行梯度计算，得到第一梯度图像，根据所述第二像素值分布图对所述第二图片进行梯度计算，得到第二梯度图像；
计算所述第一梯度图像与所述第二梯度图像的相似度，若所述相似度高于预设相似度，将所述第一图片标记为所述低质图片，滤除所述低质图片。
4.根据权利要求3所述的方法，其特征在于，所述低质图片还包括色调异常图片和过爆欠曝图片，所述过滤所述N张图片帧中的低质图片，得到W张合格图片包括:
将第三图片均分为M×M个图像块，从所述M×M块中选取K个图像块，其中，所述第三图片为所述N张图片帧中滤除低分辨率图片和模糊图片后的任意一张图片帧，M和K均为正整数；
获取所述K个图像块的特征，所述特征包括色调和饱和度；
将所述K个图像块的特征分别与标准图像块的特征进行匹配；
若匹配失败，将所述第三图片标记为所述低质图片，滤除所述低质图片，得到所述W张合格图片。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述识别处理包括识别图片类型，所述对所述W张合格图片中每张合格图片进行识别处理包括:
将标准图片归一化至固定大小，其中，所述标准图片为所述W张合格图片中任意一张图片帧；
将所述标准图片输入第一深度卷积网络；
通过所述第一深度卷积网络确认所述标准图片的图片类型，其中，所述图片类型包括白光图片和窄带成像图片。
6.根据权利要求5所述的方法，其特征在于，所述识别处理还包括定位病灶，所述对所述W张合格图片中每张合格图片进行识别处理还包括:
若所述标准图片为白光图片，将所述标准图片输入白光病灶定位模型中，通过所述白光病灶定位模型进行病灶定位，得到病灶的定位坐标以及所述病灶的置信度；以及
若所述标准图片为窄带成像图片，将所述标准图片输入窄带成像病灶定位模型中，通过所述窄带成像病灶定位模型进行病灶定位，得到所述病灶的定位坐标以及所述病灶的置信度；
其中，若未检测到病灶，获取所述标准图片为正常图片的置信度作为所述标准图片的第一标签。
7.根据权利要求6所述的方法，其特征在于，所述识别处理还包括识别病灶类型，所述对所述W张合格图片中每张合格图片进行识别处理还包括:
根据所述定位坐标从所述标准图片中选取病灶区域；
扩充所述病灶区域范围；
将扩充后的所述病灶区域归一化至所述固定大小，并输入第二深度卷积网络；
通过所述第二深度卷积网络识别所述病灶类型，将所述病灶类型以及所述病灶的置信度作为所述标准图片的第二标签，输出所述病灶类型。
8.根据权利要求6所述的方法，其特征在于，所述遍历目标部位的目标图片，得到所述目标部位的检测结果包括：
获取所述目标部位的所述目标图片；
若所述目标图片都为正常图片，确认所述目标部位正常，并根据所述目标图片的所述第一标签获取所述目标图片中置信度最高的目标图片作为报告配图；以及
若所述目标图片中存在至少一个有病灶的目标图片，确认所述目标检测部位有病灶，并根据所述至少一个有病灶的目标图片得到S个病灶，根据所述目标图片的所述第二标签获取与所述S个病灶中每个病灶对应的目标图片中置信度最高的目标图片作为所述报告配图，S为正整数。
9.根据权利要求8所述的方法，其特征在于，所述根据所述目标部位的所述检测结果生成影像报告包括：
根据所述目标部位的所述检测结果生成初步影像报告，输出所述初步影像报告，其中，所述初步影像报告包括观察结论和所述报告配图；
接收用户输入的报告判断指令，所述报告判断指令携带所述初步影像报告是否正确的信息；
若所述初步影像报告正确，将所述初步影像报告发送给中央信息系统；以及
若所述初步影像报告不正确，接收所述用户输入的最终观察结论，根据所述最终观察结论生成候选配图，接收所述用户从所述候选配图中选择的最终配图；
根据所述最终观察结论和所述最终配图生成所述影像报告。
10.一种影像报告生成装置，其特征在于，包括：
获取单元，用于获取目标视频，将所述目标视频转换成N张图片帧，N为正整数；
处理单元，用于过滤所述N张图片帧中的低质图片，得到W张合格图片，W为正整数；以及用于对所述W张合格图片中每张合格图片进行识别处理，得到W张目标图片；以及用于遍历目标部位的目标图片，得到所述目标部位的检测结果；以及用于根据所述目标部位的所述检测结果生成影像报告。
11.一种终端，包括输入设备和输出设备，其特征在于，还包括：
处理器，适于实现一条或一条以上指令；以及，
计算机存储介质，所述计算机存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由所述处理器加载并执行如权利要求1-9任一项所述的图像处理方法。
12.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或一条以上指令，所述一条或一条以上指令适于由处理器加载并执行如权利要求1-9任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911014570.5A CN110738655B (zh) | 2019-10-23 | 2019-10-23 | 影像报告生成方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911014570.5A CN110738655B (zh) | 2019-10-23 | 2019-10-23 | 影像报告生成方法、装置、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110738655A true CN110738655A (zh) | 2020-01-31 |
| CN110738655B CN110738655B (zh) | 2024-04-26 |
Family
ID=69271076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911014570.5A Active CN110738655B (zh) | 2019-10-23 | 2019-10-23 | 影像报告生成方法、装置、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110738655B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111640480A (zh) * | 2020-05-21 | 2020-09-08 | 上海联影智能医疗科技有限公司 | 医学报告生成方法、计算机设备和存储介质 |
| CN112085113A (zh) * | 2020-09-14 | 2020-12-15 | 四川大学华西医院 | 一种重症肿瘤影像识别系统及方法 |
| CN112669942A (zh) * | 2021-03-17 | 2021-04-16 | 上海孚慈医疗科技有限公司 | 一种基于胃溃疡病理影像的智能标签存储方法及系统 |
| CN112837296A (zh) * | 2021-02-05 | 2021-05-25 | 深圳瀚维智能医疗科技有限公司 | 基于超声视频的病灶检测方法、装置、设备及存储介质 |
| CN113012131A (zh) * | 2021-03-19 | 2021-06-22 | 重庆金山医疗器械有限公司 | 一种内镜图像处理方法、装置、设备和介质 |
| CN113409330A (zh) * | 2021-06-03 | 2021-09-17 | 青岛海尔科技有限公司 | 用于图像自动化测试的方法及装置、设备 |
| CN114305690A (zh) * | 2021-12-31 | 2022-04-12 | 杭州三坛医疗科技有限公司 | 一种手术导航定位方法及装置 |
| CN116884557A (zh) * | 2023-06-25 | 2023-10-13 | 深圳市梦网物联科技发展有限公司 | 基于数字孪生的体检报告生成方法、终端设备及介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140369583A1 (en) * | 2013-06-18 | 2014-12-18 | Konica Minolta, Inc. | Ultrasound diagnostic device, ultrasound diagnostic method, and computer-readable medium having recorded program therein |
| US20150078615A1 (en) * | 2013-09-18 | 2015-03-19 | Cerner Innovation, Inc. | Marking and tracking an area of interest during endoscopy |
| CN106803247A (zh) * | 2016-12-13 | 2017-06-06 | 上海交通大学 | 一种基于多级筛选卷积神经网络的微血管瘤自动检测方法 |
| CN107730489A (zh) * | 2017-10-09 | 2018-02-23 | 杭州电子科技大学 | 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法 |
| US20180068438A1 (en) * | 2016-09-07 | 2018-03-08 | International Business Machines Corporation | Integrated deep learning and clinical image viewing and reporting |
| CN109035234A (zh) * | 2018-07-25 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 一种结节检测方法、装置和存储介质 |
| CN109378043A (zh) * | 2017-10-13 | 2019-02-22 | 北京昆仑医云科技有限公司 | 基于患者的医学图像生成诊断报告的系统和方法及介质 |
| CN109447973A (zh) * | 2018-10-31 | 2019-03-08 | 腾讯科技（深圳）有限公司 | 一种结肠息肉图像的处理方法和装置及系统 |
| CN109583440A (zh) * | 2017-09-28 | 2019-04-05 | 北京西格码列顿信息技术有限公司 | 结合影像识别与报告编辑的医学影像辅助诊断方法及系统 |
| CN110010219A (zh) * | 2019-03-13 | 2019-07-12 | 杭州电子科技大学 | 光学相干层析图像视网膜病变智能检测系统及检测方法 |
| CN110136829A (zh) * | 2019-05-16 | 2019-08-16 | 腾讯科技（深圳）有限公司 | 乳腺钼靶图像的辅助诊断方法、装置、系统及介质 |
-
2019
- 2019-10-23 CN CN201911014570.5A patent/CN110738655B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140369583A1 (en) * | 2013-06-18 | 2014-12-18 | Konica Minolta, Inc. | Ultrasound diagnostic device, ultrasound diagnostic method, and computer-readable medium having recorded program therein |
| US20150078615A1 (en) * | 2013-09-18 | 2015-03-19 | Cerner Innovation, Inc. | Marking and tracking an area of interest during endoscopy |
| US20180068438A1 (en) * | 2016-09-07 | 2018-03-08 | International Business Machines Corporation | Integrated deep learning and clinical image viewing and reporting |
| CN106803247A (zh) * | 2016-12-13 | 2017-06-06 | 上海交通大学 | 一种基于多级筛选卷积神经网络的微血管瘤自动检测方法 |
| CN109583440A (zh) * | 2017-09-28 | 2019-04-05 | 北京西格码列顿信息技术有限公司 | 结合影像识别与报告编辑的医学影像辅助诊断方法及系统 |
| CN107730489A (zh) * | 2017-10-09 | 2018-02-23 | 杭州电子科技大学 | 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法 |
| CN109378043A (zh) * | 2017-10-13 | 2019-02-22 | 北京昆仑医云科技有限公司 | 基于患者的医学图像生成诊断报告的系统和方法及介质 |
| CN109035234A (zh) * | 2018-07-25 | 2018-12-18 | 腾讯科技（深圳）有限公司 | 一种结节检测方法、装置和存储介质 |
| CN109447973A (zh) * | 2018-10-31 | 2019-03-08 | 腾讯科技（深圳）有限公司 | 一种结肠息肉图像的处理方法和装置及系统 |
| CN110010219A (zh) * | 2019-03-13 | 2019-07-12 | 杭州电子科技大学 | 光学相干层析图像视网膜病变智能检测系统及检测方法 |
| CN110136829A (zh) * | 2019-05-16 | 2019-08-16 | 腾讯科技（深圳）有限公司 | 乳腺钼靶图像的辅助诊断方法、装置、系统及介质 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111640480A (zh) * | 2020-05-21 | 2020-09-08 | 上海联影智能医疗科技有限公司 | 医学报告生成方法、计算机设备和存储介质 |
| CN111640480B (zh) * | 2020-05-21 | 2023-09-26 | 上海联影智能医疗科技有限公司 | 医学报告生成方法、计算机设备和存储介质 |
| CN112085113A (zh) * | 2020-09-14 | 2020-12-15 | 四川大学华西医院 | 一种重症肿瘤影像识别系统及方法 |
| CN112085113B (zh) * | 2020-09-14 | 2021-05-04 | 四川大学华西医院 | 一种重症肿瘤影像识别系统及方法 |
| CN112837296A (zh) * | 2021-02-05 | 2021-05-25 | 深圳瀚维智能医疗科技有限公司 | 基于超声视频的病灶检测方法、装置、设备及存储介质 |
| CN112669942A (zh) * | 2021-03-17 | 2021-04-16 | 上海孚慈医疗科技有限公司 | 一种基于胃溃疡病理影像的智能标签存储方法及系统 |
| CN113012131A (zh) * | 2021-03-19 | 2021-06-22 | 重庆金山医疗器械有限公司 | 一种内镜图像处理方法、装置、设备和介质 |
| CN113409330A (zh) * | 2021-06-03 | 2021-09-17 | 青岛海尔科技有限公司 | 用于图像自动化测试的方法及装置、设备 |
| CN114305690A (zh) * | 2021-12-31 | 2022-04-12 | 杭州三坛医疗科技有限公司 | 一种手术导航定位方法及装置 |
| CN114305690B (zh) * | 2021-12-31 | 2023-12-26 | 杭州三坛医疗科技有限公司 | 一种手术导航定位方法及装置 |
| CN116884557A (zh) * | 2023-06-25 | 2023-10-13 | 深圳市梦网物联科技发展有限公司 | 基于数字孪生的体检报告生成方法、终端设备及介质 |
| CN116884557B (zh) * | 2023-06-25 | 2024-03-22 | 深圳市梦网物联科技发展有限公司 | 基于数字孪生的体检报告生成方法、终端设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110738655B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738655A (zh) | 影像报告生成方法、装置、终端及存储介质 | |
| CN111275041B (zh) | 内窥镜图像展示方法、装置、计算机设备及存储介质 | |
| JP5094036B2 (ja) | 内視鏡挿入方向検出装置 | |
| JP5113841B2 (ja) | 内視鏡からの映像を用いるコンピュータ支援解析 | |
| CN108830149B (zh) | 一种目标细菌的检测方法及终端设备 | |
| JP6949999B2 (ja) | 画像処理装置、内視鏡システム、画像処理方法、プログラム及び記録媒体 | |
| JP2011197902A (ja) | 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム | |
| CN110619318B (zh) | 基于人工智能的图像处理方法、显微镜、系统和介质 | |
| CN113491497B (zh) | 偏振光内窥镜装置 | |
| CN112884666B (zh) | 图像处理方法、装置及计算机存储介质 | |
| CN114693593A (zh) | 图像处理方法、装置、及计算机装置 | |
| CN111784686A (zh) | 一种内窥镜出血区域的动态智能检测方法、系统及可读存储介质 | |
| CN113920041A (zh) | 图像处理系统及胶囊内窥镜 | |
| CN113850299A (zh) | 一种自适应阈值的胃肠道胶囊内镜视频关键帧提取方法 | |
| US20080165247A1 (en) | Image processing apparatus and method | |
| CN113679327B (zh) | 内镜检查图像采集方法及装置 | |
| CN110321782B (zh) | 一种检测人体特征信号的系统 | |
| CN110321781B (zh) | 一种用于无接触式测量的信号处理方法及装置 | |
| US10194880B2 (en) | Body motion display device and body motion display method | |
| CN116138714A (zh) | 内窥镜摄像系统的图像显示方法及内窥镜摄像主机、系统 | |
| CN116071337A (zh) | 一种基于超像素分割的内镜图像质量评价方法 | |
| CN113744266B (zh) | 一种病灶检测框的显示方法、装置、电子设备及存储介质 | |
| CN112022067B (zh) | 图像处理方法、电子设备及可读存储介质 | |
| KR102212964B1 (ko) | 디블러링 영상 처리 방법 및 장치 | |
| JP2022121091A (ja) | 口腔粘膜疾患診断支援システム，方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40020853 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |