CN117012344A - 一种4cmos相机采集的图像分析方法 - Google Patents
一种4cmos相机采集的图像分析方法 Download PDFInfo
- Publication number
- CN117012344A CN117012344A CN202311128149.3A CN202311128149A CN117012344A CN 117012344 A CN117012344 A CN 117012344A CN 202311128149 A CN202311128149 A CN 202311128149A CN 117012344 A CN117012344 A CN 117012344A
- Authority
- CN
- China
- Prior art keywords
- image
- representing
- 4cmos
- noise
- vivo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003703 image analysis method Methods 0.000 title claims abstract description 10
- 238000001727 in vivo Methods 0.000 claims abstract description 45
- 206010061218 Inflammation Diseases 0.000 claims abstract description 29
- 230000004054 inflammatory process Effects 0.000 claims abstract description 29
- 238000003745 diagnosis Methods 0.000 claims abstract description 28
- 238000010191 image analysis Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 50
- 210000004204 blood vessel Anatomy 0.000 claims description 26
- 230000017531 blood circulation Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 12
- 230000002757 inflammatory effect Effects 0.000 claims description 11
- 210000000056 organ Anatomy 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 201000010099 disease Diseases 0.000 claims description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 7
- 230000000241 respiratory effect Effects 0.000 claims description 5
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 5
- 210000004369 blood Anatomy 0.000 claims description 4
- 239000008280 blood Substances 0.000 claims description 4
- 230000028327 secretion Effects 0.000 claims description 4
- 206010044565 Tremor Diseases 0.000 claims description 3
- 230000036772 blood pressure Effects 0.000 claims description 3
- 210000001124 body fluid Anatomy 0.000 claims description 3
- 239000010839 body fluid Substances 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 230000031700 light absorption Effects 0.000 claims description 3
- 239000007788 liquid Substances 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000008961 swelling Effects 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 2
- 230000004968 inflammatory condition Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000013139 quantization Methods 0.000 description 12
- 238000005070 sampling Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 208000009205 Tinnitus Diseases 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 206010020772 Hypertension Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 208000037656 Respiratory Sounds Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 206010003246 arthritis Diseases 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002496 gastric effect Effects 0.000 description 2
- 230000000968 intestinal effect Effects 0.000 description 2
- 150000002632 lipids Chemical class 0.000 description 2
- 210000003928 nasal cavity Anatomy 0.000 description 2
- 230000008855 peristalsis Effects 0.000 description 2
- 201000009890 sinusitis Diseases 0.000 description 2
- 231100000886 tinnitus Toxicity 0.000 description 2
- 206010015866 Extravasation Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036251 extravasation Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002432 robotic surgery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 230000024883 vasodilation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像分析技术领域，尤其涉及一种4CMOS相机采集的图像分析方法，当前对医疗图像的采集和分析仍存在精确度低、速度慢的问题，本发明提出如下方案，首先设置4个不同角度的CMOS传感器获取患者体内图像数据并融合，得到融合的体内图像，再对融合的体内图像进行预处理，标记并去除全身血管内壁的脂肪粒伪影、血流噪声、呼吸噪声，最后根据图像的形状特征分析出患者的炎症所在区域和具体位置。本发明通过对体内图像的预处理，增强了医疗图像的精确性，同时通过炎症区域的划定给出病灶范围和炎症的具体位置，提升了医疗诊断的效率。
Description
技术领域
本发明涉及图像分析技术领域，尤其涉及一种4CMOS相机采集的图像分析方法。
背景技术
4CMOS相机是一种高性能图像传感器技术，它使用四个独立的CMOS传感器来捕捉图像，每个CMOS传感器都有自己的颜色滤光阵列，并且可以单独采集红、绿、蓝、透明度等信息。通过将这四个传感器的图像数据进行融合和处理，可以得到更高质量、更精确的图像。
医学图像分析涉及多个学科领域，包括了医学成像，数字图像处理以及人工智能等，常见的医学放射成像检查方法包括数字X射线摄影检查、计算机断层扫描检查、磁共振检查等；医学图像的智能分析过程可以类比于专业医生对医学图像的分析过程：先获取医学成像，再经过计算机视觉系统，进行模式识别，最后进行评估和判断。在临床诊断中，医学图像的有效分析对患者的疾病诊断，预后评估以及治疗方案选择至关重要，但是医生对医学图像的准确解读需要长时间的专业知识和经验积累，经验丰富的医生培养周期通常较长。医学图像需要医生花费大量时间和精力进行阅片分析，且可能因医生的个人主管经验或疲劳产生错误的分析结果，导致错诊、漏诊、误诊的情况。
如申请公开号为CN115690057A的中国专利公开了一种基于图像分析的医疗图像分析处理系统，用于解决现有的医疗图像分析处理系统无法结合图像分析结果与历史诊断数据将推荐治疗方案进行直接输出的问题，该专利缺少对特定疾病病变部位特征的提取，且缺少去除图片中伪影噪声干扰的预处理操作。
如申请公开号为CN 111402252A的中国专利公开了一种精准医疗图像分析方法及机器人手术系统，。该专利着重分析了疾病对细胞之间的影响，没有将病灶的变化情况具体化，同时缺少类似于CMOS的高精度采集设备。
发明内容
本发明提出一种4CMOS相机采集的图像分析方法，首先设置4个CMOS传感器为不同的角度，获取4组患者体内图像数据，融合4组图像数据，得到融合的体内图像，再对融合的体内图像进行预处理，标记并去除全身血管内壁的脂肪粒伪影，去除血流噪声呼吸噪声，然后提取医疗图像的形状特征，分析出患者的炎症所在区域和具体位置，输入到训练好的神经网络中显示结果。利用4CMOS相机采集体内图像提高了图像的精度，在此基础上进行去伪影、去噪的预处理，降低了医生阅片的错诊、漏诊和误诊概率，然后通过对炎症部位的形状特征提取、炎症区域分割辅助诊断，提升了医疗图像解读的效率，助力新手医生的培养和成长，同时缓解医疗资源匮乏的偏远地区的基层医疗压力。
为实现上述目的，本发明提供如下技术方案：
一种4CMOS相机采集的图像分析方法，其包括：
S1：设置4个CMOS传感器为不同的角度，获取4组患者体内图像数据，融合4组图像数据，得到融合的体内图像；
S2：对融合的体内图像进行预处理，标记并去除全身血管内壁的脂肪粒伪影，去除血流噪声呼吸噪声；
S3：提取体内图像的形状特征，分析出患者的炎症所在区域和具体位置，输入到训练好的神经网络中显示结果。
具体的，S1所述的融合4组图像数据的步骤为：
A1：设置4个CMOS传感器为不同的角度，获取4组患者体内图像数据，分别对图像进行灰度化处理，公式为：
，
其中R、G、B分别表示红、绿、蓝通道的值，表示图像的灰度值；
A2：根据镜头偏离采集部位的角度计算融合的体内图像灰度值，公式如下：
，
其中表示融合的体内图像灰度值，/>表示镜头一偏离探测方向的角度，探测方向是4CMOS相机在体内的前进方向，/>表示镜头二偏离探测方向的角度，/>表示镜头三偏离探测方向的角度，/>表示镜头四偏离探测方向的角度，/>表示弧度制转化函数，/>表示镜头一获取的体内图像灰度值，/>表示镜头二获取的体内图像灰度值，/>表示镜头三获取的体内图像灰度值，/>表示镜头四获取的体内图像灰度值。
具体的，S2所述的对融合的体内图像进行预处理包括以下步骤：
B1：获取血管内壁脂肪附着的伪影区域，对血管内壁脂肪附着的形貌进行分析，以脂肪附着的曲面中心点为坐标原点，以原点的法线方向为Z轴，以绕Z轴逆时针旋转的角度为方位角，以血管的母线方向为/>轴，用过Z轴的平面截取脂肪液滴轮廓得到的曲线均为圆弧线，轮廓模型的公式如下：
，
其中为方位角为/>的圆弧半径，/>表示Z轴方向的液滴边界，/>表示/>轴方向上的液滴边界，根据出现的血管内壁脂肪附着的轮廓将伪影特征标记在图像中，并将血管内壁脂肪附着的伪影记为/>；
B2：正常的生理噪声包括：心脏和血液循环产生的心跳声和血液流动声、呼吸引起的呼吸声、肠道蠕动引起的胃肠噪声、关节活动导致的骨骼噪声、肌肉运动引起的肌肉声；异常或疾病引起的噪声包括：关节炎引起的关节摩擦声、鼻窦炎引起的鼻腔噪声、高血压引起的血液流动声、耳部问题引起的耳鸣或耳嗡声、肿瘤或息肉引起的异常质地声。
将含有噪声的体内图像进行分类，根据噪声类型分为两类：
（1）脉冲噪声：包括血压、呼吸和肌肉震颤，将脉冲噪声标记为；
（2）瑞利噪声：包括血液或体液对光的散射、吸收，将瑞利噪声标记为。
B3：选择有噪声标记的图像去噪，并保留原始图像的特征，去噪公式为：
，
其中表示含有噪声的图像，/>表示去噪后的图像，/>表示求函数的参数，表示求最小值，/>表示图像/>中任选一点的灰度值，/>表示图像/>中另一点的灰度值，/>表示图像空间，/>表示拉格朗日乘子，其取值取决于噪声水平，平衡正则项和保真项，/>表示图像/>中同一领域两点间的非局部相似程度，定义公式为：
，
其中表示滤波参数，/>对应的是标准差为 a 的高斯核函数，Ω表示图像空间，为积分变量，拉格朗日乘子/>的计算公式为：
，+
其中为大于 0 的常数，它是用来控制/>的取值范围，即限定/>∈(0, />)，表示图像/>中同一领域两点间的非局部相似程度，/>表示血管内壁脂肪附着的伪影，/>和/>分别表示图像中的脉冲噪声和瑞利噪声。
具体的，S3所述的医疗图像特征具体为形状特征，所述提取医疗图像的形状特征包括以下步骤：
C1：根据炎症部位的凸起特征进行分割，首先根据梯度把所有像素按照灰度值从小到大排序，设置灰度的最小值为阈值，改变阈值，划分任意大小的区域，图像梯度的计算公式如下：
，
表示梯度值，/>表示梯度函数，/>表示阈值，用/>表示/>，设定/>为该图像的灰度平均值，根据/>将区域分为两个像素集，则将该点归入normal集，/>则将该点归入target集，炎症部位最终被确定在target集的区域中，即：
，
C2：将得到的target集区域进行标定，选择target集中每一个具有相同邻域的点的区域，分析每个区域中的凸起特征，凸起中心点即为灰度值最大点，划定该点，确定区域内的形心，锁定炎症部位，形心计算公式为：
，
其中、/>为炎症凸起中心的横坐标和纵坐标，D为target区域，A为当前target集中同一邻域的点形成的区域面积。
具体的，上述梯度函数计算公式为：
，
，
其中、/>分别表示偏导数矩阵图像在x、y方向上的表达式，s表示卷积计算模板，利用/>、/>计算梯度幅值和梯度方向的公式为：
，
其中M(x,y)表示图像中每个像素点(x,y)处的梯度幅值，θ(x，y)表示图像中像素点(x,y)处的梯度方向；
具体的，炎症的形状特征包括以下情况：
1）红肿凸起：
炎症部位的血管扩张和通透性增加，导致局部充血和血管外渗，引起炎症区域红肿；
2）脓液分泌物：
炎症部位的黏膜、皮肤或其他组织上的腺体分泌增加，产生大量的粘液、脓液。
具体的，炎症凸起部位中心点的坐标和target集中的区域被输入到训练好的神经网络中，显示带有对应身体部位器官的诊断结果
一种4CMOS相机采集的图像分析系统，其基于上述任一项所述方法的步骤实现，包括：医疗图像获取模块、医疗图像预处理模块、医疗图像诊断模块；
所述医疗图像获取模块：用于对不同角度的镜头的拍摄图像进行融合处理；
所述医疗图像预处理模块：用于标记除伪影和噪声，同时进行去伪影去噪；
所述医疗图像诊断模块：用于计算图像形状的特征，同时与器官数据库匹配，分割炎症部位的区域，给出炎症的位置。
具体的，所述医疗图像获取模块包括灰度转化单元和融合单元。
具体的，所述医疗图像诊断模块包括器官匹配单元和炎症区域切割单元。
具体的，所述医疗图像诊断模块还包括疾病诊断结果的整合和推送单元。
一种存储介质，存储有指令，当计算机读取所述指令时，使所述计算机执行上述任一项所述方法的步骤。
一种电子设备，包括处理器和存储介质，所述处理器执行上述任一项所述方法的步骤。
与现有技术相比，本发明的有益效果是：
1、本发明在图像获取的阶段采用先进的CMOS传感器，设置4个不同的方向进行图像采集，所得图像的还原度、精确度更高，同时镜头在体内行进的过程中获取更大的视野范围，从图像来源上减少干扰，另一方面通过伪影和噪声的去除，使得图像信息更充分的保留。
2、本发明在图像形状的特征提取中利用炎症部位的凸起特征进行切割，根据灰度阈值划分两个集合，将高海拔同时高亮度的点放入目标集合，根据集合中相同邻域点的区域凸中心来确定炎症的位置，有效的降低了医生阅片的错诊、漏诊和误诊概率，提升了医疗图像解读的效率。
附图说明
图1为本发明一种4CMOS相机采集的图像分析方法的流程示意图；
图2为本发明一种4CMOS相机采集的图像分析系统的系统架构图；
图3为本发明中CMOS传感器的信号传化原理图；
图4为本发明实施例4提供的一种电子设备的结构示意图。
具体实施方式
下面通过附图以及具体实施例对本发明技术方案做详细地说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
实施例1
本实施例提供一种4CMOS相机采集的图像分析方法，通过设置4个不同角度的CMOS传感器获取患者体内图像数据并融合，得到融合的体内图像，再对融合的体内图像进行预处理，标记并去除全身血管内壁的脂肪粒伪影、血流噪声、呼吸噪声，最后根据图像的形状特征分析出患者的炎症所在区域和具体位置，增强了医疗图像的精确性，提升了医疗诊断的效率，如图1所示，技术方案如下：
S1：设置4个CMOS传感器为不同的角度，获取4组患者体内图像数据，融合4组图像数据，得到融合的体内图像；
S2：对融合的体内图像进行预处理，标记并去除全身血管内壁的脂肪粒伪影，去除血流噪声呼吸噪声；
S3：提取体内图像的形状特征，分析出患者的炎症所在区域和具体位置，输入到训练好的神经网络中显示结果。
具体的，S1所述的融合4组图像数据的步骤为：
S1.1：设置4个CMOS传感器为不同的角度，获取4组患者体内图像数据，分别对图像进行灰度化处理，公式为：
，
其中R、G、B分别表示红、绿、蓝通道的值，表示图像的灰度值；
S1.2：根据镜头偏离采集部位的角度计算融合的体内图像灰度值，公式如下：
，
其中表示融合的体内图像灰度值，/>表示镜头一偏离探测方向的角度，探测方向是4CMOS相机在体内的前进方向，/>表示镜头二偏离探测方向的角度，/>表示镜头三偏离探测方向的角度，/>表示镜头四偏离探测方向的角度，/>表示弧度制转化函数，/>表示镜头一获取的体内图像灰度值，/>表示镜头二获取的体内图像灰度值，/>表示镜头三获取的体内图像灰度值，/>表示镜头四获取的体内图像灰度值。
具体的，S2所述的对融合的体内图像进行预处理包括以下步骤：
S2.1：获取血管内壁脂肪附着的伪影区域，对血管内壁脂肪附着的形貌进行分析，当血液在管道中流动时，红血球等悬浊物具有向管道中心移动的趋势，留下边缘的血浆层，血管内的血液可以假设为定常层流，则接近血管壁附近的血液流速较慢；忽略剪切力对脂滴外观轮廓形貌的影响，可利用“血浆-脂滴-血管壁”三相接触模型研究脂滴在血管壁上的黏附形貌；通常在小液滴的情况下，重力对液滴外观形貌的影响很小，可以忽略重力对液滴的影响，忽略重力和流动剪切力的影响，以脂肪附着的曲面中心点为坐标原点，以原点的法线方向为Z轴，以绕Z轴逆时针旋转的角度为方位角，以血管的母线方向为/>轴，用过Z轴的平面截取脂肪液滴轮廓得到的曲线均为圆弧线，轮廓模型的公式如下：
，
其中为方位角为/>的圆弧半径，/>表示Z轴方向的液滴边界，/>表示/>轴方向上的液滴边界，根据出现的血管内壁脂肪附着的轮廓将伪影特征标记在图像中，并将血管内壁脂肪附着的伪影记为/>；
S2.2：正常的生理噪声包括：心脏和血液循环产生的心跳声和血液流动声、呼吸引起的呼吸声、肠道蠕动引起的胃肠噪声、关节活动导致的骨骼噪声、肌肉运动引起的肌肉声；异常或疾病引起的噪声包括：关节炎引起的关节摩擦声、鼻窦炎引起的鼻腔噪声、高血压引起的血液流动声、耳部问题引起的耳鸣或耳嗡声、肿瘤或息肉引起的异常质地声，将含有噪声的体内图像进行分类，根据噪声类型分为两类：
（1）脉冲噪声：包括血压、呼吸和肌肉震颤，将脉冲噪声标记为；
（2）瑞利噪声：包括血液或体液对光的散射、吸收，将瑞利噪声标记为。
S2.3：选择有噪声标记的图像去噪，并保留原始图像的特征，去噪公式为：
，
其中表示含有噪声的图像，/>表示去噪后的图像，/>表示求函数的参数，表示求最小值，/>表示图像/>中任选一点的灰度值，/>表示图像/>中另一点的灰度值，/>表示图像空间，/>表示拉格朗日乘子，/>表示图像/>中同一领域两点间的非局部相似程度，定义公式为：
，
其中表示滤波参数，Ga对应的是标准差为 a 的高斯核函数，Ω表示图像空间中的领域，/>为积分变量，拉格朗日乘子/>的计算公式为：
，+
其中为大于 0 的常数，它是用来控制/>的取值范围，即限定/>∈(0, />)，表示图像/>中同一领域两点间的非局部相似程度，/>表示血管内壁脂肪附着的伪影，/>和/>分别表示图像中的脉冲噪声和瑞利噪声。
具体的，S3所述的医疗图像特征具体为形状特征，所述提取医疗图像的形状特征包括以下步骤：
S3.1：根据炎症部位的凸起特征进行分割，首先根据梯度把所有像素按照灰度值从小到大排序，设置灰度的最小值为阈值，改变阈值，划分任意大小的区域，梯度值的计算公式如下：
，
表示梯度值，/>表示梯度函数，/>表示阈值，用/>表示/>，设定/>为该图像的灰度平均值，根据/>将区域分为两个像素集，则将该点归入normal集，/>则将该点归入target集，炎症部位最终被确定在target集的区域中，即：
，
S3.2：将得到的target集区域进行标定，选择target集中每一个具有相同邻域的点的区域，分析每个区域中的凸起特征，凸起中心点即为灰度值最大点，划定该点，确定区域内的形心，锁定炎症部位，形心计算公式为：
，
其中、/>为炎症凸起中心的横坐标和纵坐标，D为target区域，A为当前target集中同一邻域的点形成的区域面积。
5、进一步的，S3.1所述的梯度函数计算公式为：
，
，
其中、/>分别表示偏导数矩阵图像在x、y方向上的表达式，s表示卷积计算模板，利用/>、/>计算梯度幅值和梯度方向的公式为：
，
其中M(x,y)表示图像中每个像素点(x,y)处的梯度幅值，θ(x，y)表示图像中像素点(x，y)处的梯度方向；
具体的，上述炎症的特征，包括红肿凸起、脓液分泌物。
具体的，炎症凸起部位中心点的坐标和target集中的区域被输入到训练好的神经网络中，显示带有对应身体部位器官的诊断结果。
实施例2
本实施例介绍一种4CMOS相机采集的图像分析系统，如图2所示，包括：医疗图像获取模块、医疗图像预处理模块、医疗图像诊断模块；
所述医疗图像获取模块：用于对不同角度的镜头的拍摄图像进行融合处理；
所述医疗图像预处理模块：用于标记除伪影和噪声，同时进行去伪影去噪；
所述医疗图像诊断模块：用于计算图像形状的特征，同时与器官数据库匹配，分割炎症部位的区域，给出炎症的位置。
具体的，所述医疗图像获取模块包括灰度转化单元和融合单元。
具体的，所述医疗图像诊断模块包括器官匹配单元和炎症区域切割单元。
进一步的，所述医疗图像诊断模块还包括疾病诊断结果的整合和推送单元。
实施例3
一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述任一项所述方法的步骤。
实施例4
本发明实施例的一种电子设备，如图4所示，包括CMOS传感器410、处理器420、上述的存储器430和图像显示面板，其中，电子设备可以选用电脑、手机等；
具体的，CMOS传感器410用于获取CMOS传感器医疗图像，存储器430可以存储电子设备中包括的元件的操作相关联命令和数据，处理器420可以与电子设备中的原件电连接，并执行存储介质中的各项指令，图像显示面板440用于显示经过处理器420处理后的CMOS传感器图像。
进一步的，COMS传感器的原理如下：
一定数量的光子在曝光时间内撞击像素区域，产生一定数量的电子，形成电荷量，并被电容转变为电压，将电压放大、进行模数转换，
模数转换是指将模拟信号转换为数字信号的过程，也就是模拟到数字的转换，主要包括以下步骤：
1）采样：采样是指按照一定时间间隔对模拟信号进行离散抽样，形成一系列的样本点。采样的频率称为采样率，通常用赫兹表示。采样过程中要满足采样定理，即采样率要高于信号频率的两倍，以避免采样失真。
2）量化：量化是将采样得到的连续样本点转换为离散值的过程。通过将连续的采样值映射到一组离散的取值，将模拟信号的幅度近似为最接近的离散值。量化时，需要确定离散化的级别数，即量化位数。常用的量化方法包括线性量化和非线性量化，其中线性量化是最为常用的，CMOS传感器获取光子并转化为模拟信号的公式为：
，
其中表示光子经像素区转化输出的电压值，/>表示CMOS传感器对入射光子的转化效率，/>表示入射光子的光功率，/>表示曝光时间，/>表示一个电子所携带的电荷量，/>表示传感器的增益；
具体的，线性量化的过程可以用以下公式表示：
，
其中，Q表示量化后的值，V表示采样值，Δ表示量化间隔（量化步长）。量化间隔的大小决定了量化的精度，量化步长越小，精度越高，但文件大小也越大。模数转换的结果是得到了离散的数字信号，便于数字系统的处理和传输。在信号处理、通信系统和音频/视频编码等领域中，模数转换是一个非常重要的步骤。
进一步的，相对于传统的单个CMOS或CCD相机，4CMOS相机具有以下优势：
1）高分辨率：每个CMOS传感器都可以提供同样分辨率的图像，因此融合后的图像具有更高的分辨率；
2）更好的动态范围：由于每个CMOS传感器都可以单独处理不同曝光的图像，因此4CMOS相机可以提供更广泛的动态范围，从阴影到高光部分都能保留更多细节；
3）更好的低光性能：由于每个CMOS传感器都可以单独调整增益和曝光时间，4CMOS相机可以在低光条件下提供更好的图像质量。
4）色彩准确性：每个CMOS传感器都具有独立的颜色滤光阵列，因此4CMOS相机可以提供更准确的颜色表现；
因此，4CMOS相机在一些特定需求的应用领域，如机器视觉、面部识别等，可以提供更高质量和更精确的图像。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM),只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。
因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (13)
1.一种4CMOS相机采集的图像分析方法，其特征在于，包括以下步骤：
S1：设置4个CMOS传感器为不同的角度，获取4组患者体内图像数据，融合4组图像数据，得到融合的体内图像；
S2：对融合的体内图像进行预处理，标记并去除全身血管内壁的脂肪粒伪影，去除血流噪声、呼吸噪声；
S3：提取体内图像的形状特征，分析出患者的炎症所在区域和具体位置，输入到训练好的神经网络中显示结果。
2.根据权利要求1所述的一种4CMOS相机采集的图像分析方法，其特征在于，S1所述的融合4组图像数据的步骤为：
S1.1：设置4个CMOS传感器为不同的角度，获取4组患者体内图像数据，分别对图像进行灰度化处理，公式为：
，
其中R、G、B分别表示红、绿、蓝通道的值，表示图像的灰度值；
S1.2：根据镜头偏离采集部位的角度计算融合的体内图像灰度值，公式如下：
，
其中表示融合的体内图像灰度值，/>表示镜头一偏离探测方向的角度，探测方向是4CMOS相机在体内的前进方向，/>表示镜头二偏离探测方向的角度，/>表示镜头三偏离探测方向的角度，/>表示镜头四偏离探测方向的角度，/>表示弧度制转化函数，/>表示镜头一获取的体内图像灰度值，/>表示镜头二获取的体内图像灰度值，/>表示镜头三获取的体内图像灰度值，/>表示镜头四获取的体内图像灰度值。
3.根据权利要求2所述的一种4CMOS相机采集的图像分析方法，其特征在于，S2所述的对融合的体内图像进行预处理包括以下步骤：
S2.1：获取血管内壁脂肪附着的伪影区域，对血管内壁脂肪附着的形貌进行分析，以脂肪附着的曲面中心点为坐标原点，以原点的法线方向为Z轴，以绕Z轴逆时针旋转的角度为方位角，以血管的母线方向为/>轴，用过Z轴的平面截取脂肪液滴轮廓得到的曲线均为圆弧线，轮廓模型的公式如下：
，
其中为方位角为/>的圆弧半径，/>表示Z轴方向的液滴边界，/>表示/>轴方向上的液滴边界，根据出现的血管内壁脂肪附着的轮廓将伪影特征标记在图像中，并将血管内壁脂肪附着的伪影记为/>；
S2.2：将含有噪声的体内图像进行分类，根据噪声类型分为两类：
（1）脉冲噪声：包括血压、呼吸和肌肉震颤，将脉冲噪声标记为；
（2）瑞利噪声：包括血液或体液对光的散射、吸收，将瑞利噪声标记为；
S2.3：选择有噪声标记的图像去噪，并保留原始图像的特征，去噪公式为：
，
其中表示含有噪声的图像，/>表示去噪后的图像，/>表示求函数的参数，/>表示求最小值，/>表示图像/>中任选一点的灰度值，/>表示图像/>中另一点的灰度值，/>表示图像空间，/>表示拉格朗日乘子，/>表示图像/>中同一领域两点间的非局部相似程度，定义公式为：
，
其中表示滤波参数，/>对应的是标准差为 a 的高斯核函数，Ω表示图像空间，/>为积分变量，拉格朗日乘子/>的计算公式为：
，
其中为大于 0 的常数，它是用来控制/>的取值范围，即限定/>∈(0, />)，/>表示图像/>中同一领域两点间的非局部相似程度，/>表示血管内壁脂肪附着的伪影，/>和/>分别表示图像中的脉冲噪声和瑞利噪声。
4.根据权利要求1所述的一种4CMOS相机采集的图像分析方法，其特征在于，S3所述的医疗图像特征具体为形状特征，所述提取医疗图像的形状特征包括以下步骤：
S3.1：根据炎症部位的凸起特征进行分割，首先根据梯度把所有像素按照灰度值从小到大排序，设置灰度的最小值为阈值，改变阈值，划分任意大小的区域，图像梯度的计算公式如下：
，
其中表示梯度值，/>表示梯度函数，/>表示阈值，用/>表示/>，设定/>为该图像的灰度平均值，根据/>将区域分为两个像素集，则将该点归入normal集，/>则将该点归入target集，炎症部位最终被确定在target集的区域中，即：
，
S3.2：将得到的target集区域进行标定，选择target集中每一个具有相同邻域的点的区域，分析每个区域中的凸起特征，凸起中心点即为灰度值最大点，划定该点，确定区域内的形心，锁定炎症部位，形心计算公式为：
，
其中、/>为炎症凸起中心的横坐标和纵坐标，D为target区域，A为当前target集中同一邻域的点形成的区域面积。
5.根据权利要求4所述的一种4CMOS相机采集的图像分析方法，其特征在于，S3.1所述的梯度函数计算公式为：
，
，
其中、/>分别表示偏导数矩阵图像在x、y方向上的表达式，s表示卷积计算模板，利用/>、/>计算梯度幅值和梯度方向的公式为：
，
其中M(x,y)表示图像中每个像素点(x,y)处的梯度幅值，θ(x，y)表示图像中像素点(x，y)处的梯度方向。
6.根据权利要求4所述的一种4CMOS相机采集的图像分析方法，其特征在于，S3.1所述炎症的特征，包括红肿凸起、脓液分泌物。
7.根据权利要求4所述的一种4CMOS相机采集的图像分析方法，其特征在于，所述的炎症凸起中心点的坐标和target集中的区域输入到训练好的神经网络中，显示带有对应身体部位器官的诊断结果。
8.一种4CMOS相机采集的图像分析系统，其基于权利要求1-7中任一项所述的一种4CMOS相机采集的图像分析方法实现，其特征在于，包括：医疗图像获取模块、医疗图像预处理模块、医疗图像诊断模块；
所述医疗图像获取模块：用于对不同角度的镜头的拍摄图像进行融合处理；
所述医疗图像预处理模块：用于标记除伪影和噪声，同时进行去伪影去噪；
所述医疗图像诊断模块：用于计算图像形状的特征，同时与器官数据库匹配，分割炎症部位的区域，给出炎症的位置。
9.根据权利要求8所述的一种4CMOS相机采集的图像分析系统，其特征在于，所述医疗图像获取模块包括灰度转化单元和融合单元。
10.根据权利要求8所述的一种4CMOS相机采集的图像分析系统，其特征在于，所述医疗图像诊断模块包括器官匹配单元和炎症区域切割单元。
11.根据权利要求10所述的一种4CMOS相机采集的图像分析系统，其特征在于，所述医疗图像诊断模块还包括疾病诊断结果的整合和推送单元。
12.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1-7中任一项所述的一种4CMOS相机采集的图像分析方法。
13.一种电子设备，其特征在于，包括处理器和权利要求12所述的存储介质，所述处理器执行所述存储介质中如权利要求1-7中任一项所述的一种4CMOS相机采集的图像分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311128149.3A CN117012344B (zh) | 2023-09-04 | 2023-09-04 | 一种4cmos相机采集的图像分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311128149.3A CN117012344B (zh) | 2023-09-04 | 2023-09-04 | 一种4cmos相机采集的图像分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117012344A true CN117012344A (zh) | 2023-11-07 |
| CN117012344B CN117012344B (zh) | 2024-05-21 |
Family
ID=88571076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311128149.3A Active CN117012344B (zh) | 2023-09-04 | 2023-09-04 | 一种4cmos相机采集的图像分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117012344B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117577274A (zh) * | 2024-01-15 | 2024-02-20 | 之江实验室 | 基于空间频谱核函数的eit图像重建方法、装置及设备 |
| CN117831697A (zh) * | 2023-12-29 | 2024-04-05 | 重庆至道科技股份有限公司 | 针对患者体验数据安全监管方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104102899A (zh) * | 2014-05-23 | 2014-10-15 | 首都医科大学附属北京同仁医院 | 视网膜血管识别方法及装置 |
| US20200226749A1 (en) * | 2017-07-19 | 2020-07-16 | Koninklijke Philips N.V. | Inflammation estimation from x-ray image data |
| CN112883824A (zh) * | 2021-01-28 | 2021-06-01 | 重庆邮电大学 | 一种用于智能采血的手指静脉特征识别装置及其识别方法 |
| CN113902737A (zh) * | 2021-11-23 | 2022-01-07 | 西南医科大学附属医院 | 一种基于甲状腺ct图像异常的检测方法 |
| CN116542982A (zh) * | 2023-07-07 | 2023-08-04 | 山东中泳电子股份有限公司 | 一种基于机器视觉的出发判断器缺陷检测方法及装置 |
-
2023
- 2023-09-04 CN CN202311128149.3A patent/CN117012344B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104102899A (zh) * | 2014-05-23 | 2014-10-15 | 首都医科大学附属北京同仁医院 | 视网膜血管识别方法及装置 |
| US20200226749A1 (en) * | 2017-07-19 | 2020-07-16 | Koninklijke Philips N.V. | Inflammation estimation from x-ray image data |
| CN112883824A (zh) * | 2021-01-28 | 2021-06-01 | 重庆邮电大学 | 一种用于智能采血的手指静脉特征识别装置及其识别方法 |
| CN113902737A (zh) * | 2021-11-23 | 2022-01-07 | 西南医科大学附属医院 | 一种基于甲状腺ct图像异常的检测方法 |
| CN116542982A (zh) * | 2023-07-07 | 2023-08-04 | 山东中泳电子股份有限公司 | 一种基于机器视觉的出发判断器缺陷检测方法及装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117831697A (zh) * | 2023-12-29 | 2024-04-05 | 重庆至道科技股份有限公司 | 针对患者体验数据安全监管方法 |
| CN117577274A (zh) * | 2024-01-15 | 2024-02-20 | 之江实验室 | 基于空间频谱核函数的eit图像重建方法、装置及设备 |
| CN117577274B (zh) * | 2024-01-15 | 2024-05-10 | 之江实验室 | 基于空间频谱核函数的eit图像重建方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117012344B (zh) | 2024-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117012344B (zh) | 一种4cmos相机采集的图像分析方法 | |
| CN113573654B (zh) | 用于检测并测定病灶尺寸的ai系统、方法和存储介质 | |
| CN109859203B (zh) | 基于深度学习的缺陷牙齿图像识别方法 | |
| CN109035284B (zh) | 基于深度学习的心脏ct图像分割方法、装置、设备及介质 | |
| WO2014155778A1 (ja) | 画像処理装置、内視鏡装置、プログラム及び画像処理方法 | |
| CN108765392B (zh) | 一种基于滑动窗口的消化道内镜病变检测和识别方法 | |
| EP3998579B1 (en) | Medical image processing method, apparatus and device, medium and endoscope | |
| Kong et al. | Automated maxillofacial segmentation in panoramic dental x-ray images using an efficient encoder-decoder network | |
| CN111178369B (zh) | 一种医学影像的识别方法及系统、电子设备、存储介质 | |
| JP2005199057A (ja) | 肺画像データの位置合わせのための方法及び装置 | |
| EP3971830B1 (en) | Pneumonia sign segmentation method and apparatus, medium and electronic device | |
| KR20200070062A (ko) | 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법 | |
| CN108937905B (zh) | 一种基于信号拟合的非接触式心率检测方法 | |
| CN111415743A (zh) | 肺炎分类方法、装置、介质及电子设备 | |
| CN113781489A (zh) | 一种息肉影像语义分割方法及装置 | |
| CN109068035B (zh) | 一种智能微相机阵列内窥成像系统 | |
| CN114332910A (zh) | 一种面向远红外图像的相似特征计算的人体部位分割方法 | |
| CN116542952A (zh) | 一种基于三维重建的内镜检查覆盖率评估方法及系统 | |
| CN111466952A (zh) | 一种超声内镜与ct三维图像实时转化方法和系统 | |
| CN111640127A (zh) | 一种用于骨科的精准临床诊断导航方法 | |
| CN115994999A (zh) | 基于边界梯度注意力网络的杯状细胞语义分割方法及系统 | |
| Isinkaye et al. | Segmentation of medical X-ray bone image using different image processing techniques | |
| CN115222651A (zh) | 一种基于改进Mask R-CNN的肺结节检测系统 | |
| CN115444355A (zh) | 一种内窥镜病变尺寸信息确定方法、电子设备及存储介质 | |
| CN111640126B (zh) | 基于医学影像的人工智能诊断辅助方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |