CN115082529A - 一种大体组织多维信息采集和分析系统与方法 - Google Patents

一种大体组织多维信息采集和分析系统与方法 Download PDF

Info

Publication number
CN115082529A
CN115082529A CN202210756877.8A CN202210756877A CN115082529A CN 115082529 A CN115082529 A CN 115082529A CN 202210756877 A CN202210756877 A CN 202210756877A CN 115082529 A CN115082529 A CN 115082529A
Authority
CN
China
Prior art keywords
tissue
general
camera
dimensional
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210756877.8A
Other languages
English (en)
Other versions
CN115082529B (zh
Inventor
李庆利
梁乐华
王妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202210756877.8A priority Critical patent/CN115082529B/zh
Publication of CN115082529A publication Critical patent/CN115082529A/zh
Application granted granted Critical
Publication of CN115082529B publication Critical patent/CN115082529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种大体组织多维信息采集分析系统与方法，其中采集分析系统包括：采集设备端、嵌入式开发平台、移动用户端、PC用户端；采集设备端包括压力传感器、刻度尺、标准比色卡、可升降支架、电动相机滑轨、彩色相机及深度相机；嵌入式开发平台设置有硬件接口模块GPU处理器及显示器；采集分析方法包括：放置大体组织以及相应的编号二维码；识别手势信息，采集信号；采集重量和彩色图像，控制深度相机位置，获取深度图像和点云信息；对彩色图像中的二维码解码，获取组织编号；分析多维信息，生成大体报告，将彩色图像、三维模型以及大体报告传输至移动用户端或PC用户端，保存到指定位置。本发明可辅助医生进行大体诊断，减少人工投入。

Description

一种大体组织多维信息采集和分析系统与方法
技术领域
本发明属于临床医学领域，特别是涉及一种大体组织多维信息采集和分析系统与方法。
背景技术
大体检查是对离体组织或器官的宏观初步检查，其目的在于记录大体基本信息，如外形、大小、颜色、病变，了解疾病性质，进行初步诊断，并将必要的病变部位切片以待进一步显微镜观察和研究。大体检查要求医生具有优秀的专业水平和良好的文字表述能力，时间、人才成本较高。此外，文字形式的大体检查报告更多的是定性描述而非定量描述，描述准确性有待提升，而图像存档的缺失无疑使得后续的研究遗漏重要信息，造成不便。目前，计算机与医疗领域的结合日益紧密，计算机辅助医生诊断可以极大提升检查效率，在医疗领域有巨大的应用前景。
发明内容
本发明的目的是提供一种大体组织多维信息采集和分析系统与方法，以解决上述现有技术存在的问题。
一方面为实现上述目的，本发明提供了一种大体组织多维信息采集和分析系统，包括：
采集设备端、嵌入式开发平台、移动用户端、PC用户端；
所述采集设备端包括压力传感器、刻度尺、标准比色卡、可升降支架、电动相机滑轨、彩色相机及深度相机；所述压力传感器、电动相机滑轨、彩色相机及深度相机分别与所述嵌入式开发平台相连接；
所述嵌入式开发平台设置有硬件接口模块，所述硬件接口模块包括：若干个视频输入输出HDMI接口模块、网络RJ45接口模块、光纤SFP接口模块、数据总线RS485接口模块、USB3.0接口模块及TYPE-A接口模块；
所述嵌入式开发平台还设置有GPU处理器及显示器。
可选地，所述压力传感器用于采集大体组织重量信息；所述彩色相机用于采集彩色图像信息；所述深度相机用于采集三维深度信息和点云数据。
可选地，所述硬件接口模块与所述GPU处理器相连接，所述数据总线RS485接口模块与所述显示器相连接。
可选地，所述压力传感器、电动相机滑轨、彩色相机、深度相机、PC用户端分别与所述USB3.0接口模块相连接，所述移动用户端与所述网络接口模块无线连接。
另一方面为实现上述目的，本发明提供了一种大体组织多维信息采集和分析方法，包括：
步骤一：在压力传感器上方放置大体组织以及相应的编号二维码；
步骤二：利用可升降支架正前方的彩色相机识别手势信息，通过无接触的方式获取开始采集信号；
步骤三：采集重量和彩色图像，同时利用电动相机滑轨控制深度相机位置，使其在不同角度获取深度图像和点云信息；
步骤四：对彩色图像中的二维码解码，获取组织编号，并将所述组织编号作为基础文件名；
步骤五：分析步骤三中的多维信息，生成大体报告，将需要存档的彩色图像、三维模型以及大体报告传输至移动用户端或PC用户端，保存到指定位置。
可选地，所述步骤一包括：
选择蓝色、防水磨砂质地的面板放置于压力传感器正上方，使面板中心位置正对支架下方的彩色相机；
所述面板的两相邻侧边贴有刻度尺，并在靠近可升降支架一侧贴有标准比色卡，所述刻度尺与所述标准比色卡均为防水质地；
对所述可升降支架的位置进行调整，在标准比色卡全部纳入，保留至少一侧刻度尺的情况下，使大体组织占所述彩色相机视野的比例较高；对同一类别的大体组织，固定所述可升降支架的高度；
将所述大体组织放置于面板中心位置，打印组织编号二维码，并将所述组织编号二维码放置于彩色相机视野内。
可选地，所述步骤二包括：
在嵌入式开发平台中存入采集命令对应的手势指令，具体为五指张开的手势；
使用彩色相机获取当前采集人侧的视频流，判断是否有手势出现；
当人手进入彩色相机视野时，开始对视频序列进行识别；设置抽帧时间间隔t，时间间隔t内，仅有一帧进行手势识别；
基于手的21个骨骼点识别手势：设置骨骼点组合，所述骨骼点组合包括每个手指关节和两端的4个骨骼点和手掌根部的1个骨骼点；
计算所述骨骼点组合与手势指令骨骼点位置的相似程度并设置阈值，若相似度高于阈值，则手势识别成功；其中，所述阈值包括相似程度为0.5到1区间内表现较好的数值；
对手势识别采取防抖措施，所述防抖措施包括：成功识别到手势后，若在连续的视频序列中识别到同样的手势，则不做行动，直至无法识别到同样手势，即认作一次手势指令的完成，触发开始采集命令。
可选地，所述步骤三包括：
读取压力传感器的当前数值，根据压力与重量的对应关系，将所述当前数值转换为大体组织的重量信息；
对移动端或PC端显示彩色相机所捕获的视频流进行预览，将视频流设置为较低分辨率，使每秒能传输的帧数大于等于24；当触发开始采集信号时，将当前帧的高分辨率图像作为大体组织的彩色图像；
使用嵌入式开发板控制电动相机滑轨，设置滑轨总长为m、每次将深度相机移动的距离为m1，其中m是m1的整数倍；设置每次移动后停顿时间t1，在t1时间内完成对不同视角下深度图像和点云的立体信息采集；采集完毕后，将深度相机移动到初始位置。
可选地，所述步骤五中多维信息的分析过程包括：
基于标准比色卡，采用多项式回归的方式，对所述彩色图像进行颜色校正；
基于深度学习网络，对校正后的彩色图像进行大体组织识别，获取组织识别结果；
基于SAC-IA、ICP配准算法将不同视角的点云进行配准，对深度相机所采集到的立体信息进行三维重建，获取上半个组织的三维模型；
基于所述组织识别结果与所述三维模型，采用数学计算的方式获得医学指标；所述医学指标包括大体组织的长、宽、厚度、表面积。
可选地，采用数学计算的方式获得医学指标的过程包括：
大体组织识别后，获取组织不同部分的二值掩膜图像，基于OpenCV获取所述二值掩膜图像中组织的最小外接矩形框，所述最小外接矩形框的长边为组织的长，短边为组织的宽；
将所述二值掩膜图像中被判定为组织的部分进行像素个数求和，根据像素与实际尺寸的对应关系，计算组织表面积；
将所述三维模型的深度进行平均，获取大体组织的厚度。
本发明的技术效果为：
本发明使用无接触的方式控制大体组织的多维信息采集，所采集的信息包括重量、二维彩色图像和三维深度信息，并对原始数据进行算法处理，得到三维模型和医学指标，最后生成大体报告。本发明可以辅助医生进行大体检查，便于数据存档。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中的结构框图；
图2为本发明实施例中的嵌入式开发平台结构框图；
图3为本发明实施例中的信息采集的流程图；
附图标记：1-采集设备端、2-嵌入式开发平台、3-移动用户端、4-PC用户端、11-压力传感器、12-刻度尺、13-标准比色卡、14-可升降支架、15-电动相机滑轨、16-彩色相机、17-深度相机、21-视频输入输出HDMI接口模块、22-网络RJ45接口模块、23-光纤SFP接口模块、24-GPU处理器、25-数据总线RS485接口模块、26-显示器、27-USB3.0接口模块、28-TYPE-A接口模块。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
如图1-2所示，本实施例中提供一种大体组织多维信息采集和分析系统，包括：
采集设备端1、嵌入式开发平台2、移动用户端3及PC用户端4；采集设备端1与嵌入式开发平台2有线连接，嵌入式开发平台2与移动用户端3无线连接，嵌入式开发平台2与PC用户端4有线连接。
采集设备端1包括压力传感器11、刻度尺12、标准比色卡13、可升降支架14、电动相机滑轨15、彩色相机16及深度相机17；所述压力传感器11、电动相机滑轨15、彩色相机16及深度相机17各自连接嵌入式开发平台2。
如图2所示，嵌入式开发平台2设置有硬件接口模块，具体为：数个视频输入输出HDMI接口模块21、网络RJ45接口模块22、光纤SFP接口模块23、数据总线RS485接口模块25、USB3.0接口模块27及TYPE-A接口模块28；该嵌入式开发平台2还设置有GPU处理器24及显示器26；所述的各硬件接口模块分别与GPU处理器24有线连接，数据总线RS485接口模块25与显示器26有线连接。
压力传感器11、电动相机滑轨15、彩色相机16、深度相机17及PC用户端4与USB3.0接口模块27有线连接，移动用户端3与网络接口模块22无线连接。
实施例二
如图3所示，本实施例提供一种大体组织多维信息采集分析方法，具体包括以下步骤：
步骤一：在压力传感器上方面板合适位置放置大体组织以及相应的二维码编号；
该步骤具体过程为：
选择蓝色、防水磨砂质地的面板放置于压力传感器正上方，保证面板中心位置正对支架下方的彩色相机；
面板两相邻侧边贴有刻度尺，并在靠近可升降支架一侧贴有标准比色卡，所述刻度尺和标准比色卡均为防水质地；
不同类别的大体组织尺寸差异较大，将可升降支架调整到合适位置，在确保标准比色卡全部纳入，保留至少一侧刻度尺的情况下，大体组织占据彩色相机视野的比例较高；对同一类别的大体组织，固定可升降支架高度；
将大体组织放置于面板中心位置，把打印好的组织编号二维码放置于彩色相机视野内、与组织保持一定距离的任意位置。
步骤二：利用可升降支架正前方的彩色相机识别手势信息，通过无接触的方式获取开始采集信号；
在嵌入式开发平台中存入采集命令对应的手势指令，具体为五指张开；
使用彩色相机获取当前采集人侧的视频流，判断是否有手势出现；
当人手进入彩色相机视野，开始对视频序列进行识别。设置抽帧时间间隔t，即时间t内，仅有一帧进行手势识别；
通过手的21个骨骼点识别手势，主要包括每个手指关节和两端的4个骨骼点和手掌根部的1个骨骼点，计算这些骨骼点与手势指令骨骼点位置的相似程度，若相似度高于阈值，则手势识别成功；
对手势识别采取防抖措施，即成功识别到手势后，若在连续的视频序列中识别到同样的手势，则不做行动；直至无法识别到同样手势，才认作一次手势指令的完成，触发开始采集命令。
步骤三：采集重量和彩色图像，同时利用电动相机滑轨控制深度相机位置，使其在不同角度获取深度图像和点云信息；
该步骤具体过程为：
读取压力传感器的当前数值，根据压力与重量的对应关系，将其转换为大体组织的重量信息；
在采集终端，即移动端或PC端显示彩色相机所捕获的视频流进行预览，为保证预览流畅度，将视频流设置为较低分辨率，保证每秒能传输的帧数大于等于24；当触发开始采集信号，将当前帧的高分辨率图像作为大体组织的彩色图像，以保留图像细节；
使用嵌入式开发板控制电动相机滑轨，滑轨总长m，每次将深度相机移动距离m1，其中m是m1的整数倍；每次移动后停顿时间t1，确保t1时间内深度图像和点云信息采集完成。不同视角下的立体信息采集完毕后，将深度相机移动到初始位置。
步骤四：对彩色图像中的二维码解码，获取组织编号，并将其作为基础文件名；
步骤五：分析多维信息，生成大体报告，将需要存档的彩色图像、三维模型以及大体检查报告传输至移动用户端或PC用户端，保存到指定位置。
该步骤的分析方法具体为：
利用标准比色卡，用多项式回归的方式，对彩色图像进行颜色校正；
使用深度学习网络，对校正后的彩色图像进行大体组织识别，主要有UNet、DeepLab等分割模型、CenterNet、Yolo等检测模型；
使用SAC-IA、ICP等配准算法将不同视角的点云进行配准，对深度相机所采集到的立体信息进行三维重建，得到上半个组织模型；
根据组织识别结果和三维模型，使用数学计算的方式获得医学指标；通用指标有大体组织的长、宽、厚度、表面积等。
计算过程如下：
大体组织识别后，得到组织不同部分的二值掩膜图像，使用OpenCV得到掩膜图像中组织的最小外接矩形框，该框的长边为组织的长，短边为组织的宽；
将该掩膜图像中被判定为组织的部分进行像素个数求和，根据像素与实际尺寸的对应关系，求出组织表面积；
将三维模型的深度进行平均，得到大体组织的厚度。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种大体组织多维信息采集分析系统，其特征在于，包括：采集设备端(1)、嵌入式开发平台(2)、移动用户端(3)、PC用户端(4)；
所述采集设备端(1)包括压力传感器(11)、刻度尺(12)、标准比色卡(13)、可升降支架(14)、电动相机滑轨(15)、彩色相机(16)及深度相机(17)；所述压力传感器(11)、电动相机滑轨(15)、彩色相机(16)及深度相机(17)分别与所述嵌入式开发平台(2)相连接；
所述嵌入式开发平台(2)设置有硬件接口模块，所述硬件接口模块包括：若干个视频输入输出HDMI接口模块(21)、网络RJ45接口模块(22)、光纤SFP接口模块(23)、数据总线RS485接口模块(25)、USB3.0接口模块(27)及TYPE-A接口模块(28)；
所述嵌入式开发平台(2)还设置有GPU处理器(24)及显示器(26)。
2.根据权利要求1所述的大体组织多维信息采集分析系统，其特征在于，所述压力传感器(11)用于采集大体组织重量信息；所述彩色相机(16)用于采集彩色图像信息；所述深度相机(17)用于采集三维深度信息和点云数据。
3.根据权利要求1所述的大体组织多维信息采集分析系统，其特征在于，所述硬件接口模块与所述GPU处理器(24)相连接，所述数据总线RS485接口模块(25)与所述显示器(26)相连接。
4.根据权利要求1所述的大体组织多维信息采集分析系统，其特征在于，所述压力传感器(11)、电动相机滑轨(15)、彩色相机(16)、深度相机(17)、PC用户端(4)分别与所述USB3.0接口模块(27)相连接，所述移动用户端(3)与所述网络接口模块(22)无线连接。
5.一种基于权利要求1至4中任意一项所述的大体组织多维信息采集分析系统的采集分析方法，其特征在于，包括以下步骤：
步骤一：在压力传感器(11)上方放置大体组织以及相应的编号二维码；
步骤二：利用可升降支架(14)正前方的彩色相机(16)识别手势信息，通过无接触的方式获取开始采集信号；
步骤三：采集重量和彩色图像，同时利用电动相机滑轨(15)控制深度相机位置，使其在不同角度获取深度图像和点云信息；
步骤四：对彩色图像中的二维码解码，获取组织编号，并将所述组织编号作为基础文件名；
步骤五：分析步骤三中的多维信息，生成大体报告，将需要存档的彩色图像、三维模型以及大体报告传输至移动用户端(3)或PC用户端(4)，保存到指定位置。
6.根据权利要求5所述的大体组织多维信息采集分析系统的采集分析方法，其特征在于，所述步骤一包括：
选择蓝色、防水磨砂质地的面板放置于压力传感器(11)正上方，使面板中心位置正对支架下方的彩色相机(16)；
所述面板的两相邻侧边贴有刻度尺(12)，并在靠近可升降支架一侧贴有标准比色卡，所述刻度尺(12)与所述标准比色卡均为防水质地；
对所述可升降支架(14)的位置进行调整，在标准比色卡(13)全部纳入，保留至少一侧刻度尺的情况下，使大体组织占所述彩色相机(16)视野的比例较高；对同一类别的大体组织，固定所述可升降支架(14)的高度；
将所述大体组织放置于面板中心位置，打印组织编号二维码，并将所述组织编号二维码放置于彩色相机(16)视野内。
7.根据权利要求5所述的大体组织多维信息采集分析系统的采集分析方法，其特征在于，所述步骤二包括：
在嵌入式开发平台(2)中存入采集命令对应的手势指令，具体为五指张开的手势；
使用彩色相机(16)获取当前采集人侧的视频流，判断是否有手势出现；
当人手进入彩色相机(16)视野时，开始对视频序列进行识别；设置抽帧时间间隔t，时间间隔t内，仅有一帧进行手势识别；
基于手的21个骨骼点识别手势：设置骨骼点组合，所述骨骼点组合包括每个手指关节和两端的4个骨骼点和手掌根部的1个骨骼点；
计算所述骨骼点组合与手势指令骨骼点位置的相似程度并设置阈值，若相似度高于阈值，则手势识别成功；其中，所述阈值包括相似程度为0.5到1区间内表现较好的数值；
对手势识别采取防抖措施，所述防抖措施包括：成功识别到手势后，若在连续的视频序列中识别到同样的手势，则不做行动，直至无法识别到同样手势，即认作一次手势指令的完成，触发开始采集命令。
8.根据权利要求5所述的大体组织多维信息采集分析系统的采集分析方法，其特征在于，所述步骤三包括：
读取压力传感器(11)的当前数值，根据压力与重量的对应关系，将所述当前数值转换为大体组织的重量信息；
对移动端(3)或PC端(4)显示彩色相机(16)所捕获的视频流进行预览，将视频流设置为较低分辨率，使每秒能传输的帧数大于等于24；当触发开始采集信号时，将当前帧的高分辨率图像作为大体组织的彩色图像；
使用嵌入式开发板控制电动相机滑轨(15)，设置滑轨总长为m、每次将深度相机(16)移动的距离为m1，其中m是m1的整数倍；设置每次移动后停顿时间t1，在t1时间内完成对不同视角下深度图像和点云的立体信息采集；采集完毕后，将深度相机(16)移动到初始位置。
9.根据权利要求5所述的大体组织多维信息采集分析系统的采集分析方法，其特征在于，所述步骤五中多维信息的分析过程包括：
基于标准比色卡(13)，采用多项式回归的方式，对所述彩色图像进行颜色校正；
基于深度学习网络，对校正后的彩色图像进行大体组织识别，获取组织识别结果；
基于SAC-IA、ICP配准算法将不同视角的点云进行配准，对深度相机(17)所采集到的立体信息进行三维重建，获取上半个组织的三维模型；
基于所述组织识别结果与所述三维模型，采用数学计算的方式获得医学指标；所述医学指标包括大体组织的长、宽、厚度、表面积。
10.根据权利要求9所述的大体组织多维信息采集分析系统的采集分析方法，其特征在于，采用数学计算的方式获得医学指标的过程包括：
大体组织识别后，获取组织不同部分的二值掩膜图像，基于OpenCV获取所述二值掩膜图像中组织的最小外接矩形框，所述最小外接矩形框的长边为组织的长，短边为组织的宽；
将所述二值掩膜图像中被判定为组织的部分进行像素个数求和，根据像素与实际尺寸的对应关系，计算组织表面积；
将所述三维模型的深度进行平均，获取大体组织的厚度。
CN202210756877.8A 2022-06-30 2022-06-30 一种大体组织多维信息采集和分析系统与方法 Active CN115082529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210756877.8A CN115082529B (zh) 2022-06-30 2022-06-30 一种大体组织多维信息采集和分析系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210756877.8A CN115082529B (zh) 2022-06-30 2022-06-30 一种大体组织多维信息采集和分析系统与方法

Publications (2)

Publication Number Publication Date
CN115082529A true CN115082529A (zh) 2022-09-20
CN115082529B CN115082529B (zh) 2023-04-14

Family

ID=83254819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210756877.8A Active CN115082529B (zh) 2022-06-30 2022-06-30 一种大体组织多维信息采集和分析系统与方法

Country Status (1)

Country Link
CN (1) CN115082529B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116798583A (zh) * 2023-06-28 2023-09-22 华东师范大学 病理组织宏观信息采集分析系统及其分析方法

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070206275A1 (en) * 2006-02-17 2007-09-06 Paul Hemmer System for macroscopic and confocal imaging of tissue
CN102854983A (zh) * 2012-09-10 2013-01-02 中国电子科技集团公司第二十八研究所 一种基于手势识别的人机交互方法
US20130230230A1 (en) * 2010-07-30 2013-09-05 Fundação D. Anna Sommer Champalimaud e Dr. Carlos Montez Champalimaud Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions
CN104704416A (zh) * 2012-08-15 2015-06-10 卢西德股份有限公司 用于对组织进行成像的系统和方法
CN104705288A (zh) * 2015-02-16 2015-06-17 杭州电子科技大学 亚常温移植器官体外智能支持系统与方法
CN205786271U (zh) * 2016-06-02 2016-12-07 广州市明美光电技术有限公司 大体组织标本成像仪
CN106340137A (zh) * 2016-11-14 2017-01-18 贵州师范学院 一种基于深度学习的自动称重机及其程序控制方法
CN106651926A (zh) * 2016-12-28 2017-05-10 华东师范大学 一种基于区域配准的深度点云三维重建方法
CN106971131A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种基于中心位置的手势识别方法
CN206638174U (zh) * 2017-04-14 2017-11-14 中南大学湘雅三医院 外科手术标本信息采集仪
CN108470373A (zh) * 2018-02-14 2018-08-31 天目爱视（北京）科技有限公司 一种基于红外的3d四维数据采集方法及装置
CN208479755U (zh) * 2018-04-25 2019-02-05 广州雅莉卡科技有限公司 一种病理标本智能数字成像仪
CN209656538U (zh) * 2018-12-10 2019-11-19 广州市明美光电技术有限公司 大体组织标本成像仪
CN110830725A (zh) * 2019-12-07 2020-02-21 北京中宝元科技发展有限责任公司 大体标本拍摄仪及其控制方法
CN210694147U (zh) * 2019-12-07 2020-06-05 北京中宝元科技发展有限责任公司 大体标本拍摄仪
CN111887813A (zh) * 2020-08-11 2020-11-06 南通大学 一种鲜活离体组织脑区位置识别的方法及装置
CN112113937A (zh) * 2020-07-20 2020-12-22 浙江大学 一种基于连续切片、多色荧光和三维重建的组织器官立体成像与分析方法
CN112393962A (zh) * 2020-11-30 2021-02-23 四川养麝研究所 一种林麝香腺组织的三维重构方法
CN112686866A (zh) * 2020-12-31 2021-04-20 安徽科大讯飞医疗信息技术有限公司 基于医学影像的随访方法、装置及计算机可读存储介质
CN112926423A (zh) * 2021-02-07 2021-06-08 青岛小鸟看看科技有限公司 捏合手势检测识别方法、装置及系统
CN113238650A (zh) * 2021-04-15 2021-08-10 青岛小鸟看看科技有限公司 手势识别和控制的方法、装置及虚拟现实设备
CN113705378A (zh) * 2021-08-11 2021-11-26 广州虎牙科技有限公司 样本数据的生成方法、装置及电子设备
CN114503159A (zh) * 2019-08-14 2022-05-13 豪夫迈·罗氏有限公司 通过对象检测定位的医学图像的三维对象分割
CN114494217A (zh) * 2022-01-29 2022-05-13 杭州捷诺飞生物科技股份有限公司 一种人工组织和类器官的检测方法及其装置

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070206275A1 (en) * 2006-02-17 2007-09-06 Paul Hemmer System for macroscopic and confocal imaging of tissue
US20130230230A1 (en) * 2010-07-30 2013-09-05 Fundação D. Anna Sommer Champalimaud e Dr. Carlos Montez Champalimaud Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions
CN104704416A (zh) * 2012-08-15 2015-06-10 卢西德股份有限公司 用于对组织进行成像的系统和方法
CN102854983A (zh) * 2012-09-10 2013-01-02 中国电子科技集团公司第二十八研究所 一种基于手势识别的人机交互方法
CN104705288A (zh) * 2015-02-16 2015-06-17 杭州电子科技大学 亚常温移植器官体外智能支持系统与方法
CN106971131A (zh) * 2016-01-14 2017-07-21 芋头科技（杭州）有限公司 一种基于中心位置的手势识别方法
CN205786271U (zh) * 2016-06-02 2016-12-07 广州市明美光电技术有限公司 大体组织标本成像仪
CN106340137A (zh) * 2016-11-14 2017-01-18 贵州师范学院 一种基于深度学习的自动称重机及其程序控制方法
CN106651926A (zh) * 2016-12-28 2017-05-10 华东师范大学 一种基于区域配准的深度点云三维重建方法
CN206638174U (zh) * 2017-04-14 2017-11-14 中南大学湘雅三医院 外科手术标本信息采集仪
CN108470373A (zh) * 2018-02-14 2018-08-31 天目爱视（北京）科技有限公司 一种基于红外的3d四维数据采集方法及装置
CN208479755U (zh) * 2018-04-25 2019-02-05 广州雅莉卡科技有限公司 一种病理标本智能数字成像仪
CN209656538U (zh) * 2018-12-10 2019-11-19 广州市明美光电技术有限公司 大体组织标本成像仪
CN114503159A (zh) * 2019-08-14 2022-05-13 豪夫迈·罗氏有限公司 通过对象检测定位的医学图像的三维对象分割
CN110830725A (zh) * 2019-12-07 2020-02-21 北京中宝元科技发展有限责任公司 大体标本拍摄仪及其控制方法
CN210694147U (zh) * 2019-12-07 2020-06-05 北京中宝元科技发展有限责任公司 大体标本拍摄仪
CN112113937A (zh) * 2020-07-20 2020-12-22 浙江大学 一种基于连续切片、多色荧光和三维重建的组织器官立体成像与分析方法
CN111887813A (zh) * 2020-08-11 2020-11-06 南通大学 一种鲜活离体组织脑区位置识别的方法及装置
CN112393962A (zh) * 2020-11-30 2021-02-23 四川养麝研究所 一种林麝香腺组织的三维重构方法
CN112686866A (zh) * 2020-12-31 2021-04-20 安徽科大讯飞医疗信息技术有限公司 基于医学影像的随访方法、装置及计算机可读存储介质
CN112926423A (zh) * 2021-02-07 2021-06-08 青岛小鸟看看科技有限公司 捏合手势检测识别方法、装置及系统
CN113238650A (zh) * 2021-04-15 2021-08-10 青岛小鸟看看科技有限公司 手势识别和控制的方法、装置及虚拟现实设备
CN113705378A (zh) * 2021-08-11 2021-11-26 广州虎牙科技有限公司 样本数据的生成方法、装置及电子设备
CN114494217A (zh) * 2022-01-29 2022-05-13 杭州捷诺飞生物科技股份有限公司 一种人工组织和类器官的检测方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王军等: "大块骨组织体视学研究的图像采集与分析", 《中国体视学与图像分析》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116798583A (zh) * 2023-06-28 2023-09-22 华东师范大学 病理组织宏观信息采集分析系统及其分析方法

Also Published As

Publication number Publication date
CN115082529B (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
RU2435520C2 (ru) Способы терапии области раны и системы для осуществления этих способов
RU2436507C2 (ru) Способы терапии области раны и системы для осуществления этих способов
US20190066390A1 (en) Methods of Using an Imaging Apparatus in Augmented Reality, in Medical Imaging and Nonmedical Imaging
KR101492803B1 (ko) 촉각 영상 및 근적외선 영상의 정합을 이용한 유방촬영용 영상진단기기 및 유방조직 영상획득방법
CN110974306B (zh) 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统
CN108038875A (zh) 一种肺部超声图像识别方法和装置
CN115082529B (zh) 一种大体组织多维信息采集和分析系统与方法
CN106709920B (zh) 血管提取方法及其装置
CN110338759B (zh) 一种正面疼痛表情数据采集方法
CN112669959A (zh) 一种基于图像的白癜风病情自动评估方法
CN115601811A (zh) 面部痤疮的检测方法和装置
CN103300872A (zh) 一种分析骨龄的方法及检测装置
Voigt et al. Computer vision and digital imaging technology in melanoma detection
CN108399354A (zh) 计算机视觉识别肿瘤的方法和装置
Chang et al. AI HAM 10000 database to assist residents in learning differential diagnosis of skin cancer
CN112907571A (zh) 基于多光谱图像融合识别的目标判定方法
CN105869169A (zh) 一种肿瘤组织微排列图像的自动分割方法
CN111275754B (zh) 一种基于深度学习的脸部痘印比例计算方法
CN111523507A (zh) 人工智能伤口评估面积测算方法及装置
Sun et al. Liver tumor segmentation and subsequent risk prediction based on Deeplabv3+
CN116664592A (zh) 基于图像的动静脉血管分离方法、装置、电子设备及介质
CN114334128A (zh) 基于ct影像的肿瘤演进过程分析方法、系统及存储介质
CN115690207A (zh) 一种基于头部临床影像的自动定位方法及装置
CN115035086A (zh) 一种基于深度学习的结核皮试智能筛查分析方法和装置
CN113499099A (zh) 一种颈动脉超声自动扫查及斑块识别系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant