CN116884557B - 基于数字孪生的体检报告生成方法、终端设备及介质 - Google Patents

基于数字孪生的体检报告生成方法、终端设备及介质 Download PDF

Info

Publication number
CN116884557B
CN116884557B CN202310755672.2A CN202310755672A CN116884557B CN 116884557 B CN116884557 B CN 116884557B CN 202310755672 A CN202310755672 A CN 202310755672A CN 116884557 B CN116884557 B CN 116884557B
Authority
CN
China
Prior art keywords
image
human body
focus
body part
physical examination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310755672.2A
Other languages
English (en)
Other versions
CN116884557A (zh
Inventor
张少林
徐光智
林志焊
李倩莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mengwang Iot Technology Development Co ltd
Original Assignee
Shenzhen Mengwang Iot Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mengwang Iot Technology Development Co ltd filed Critical Shenzhen Mengwang Iot Technology Development Co ltd
Priority to CN202310755672.2A priority Critical patent/CN116884557B/zh
Publication of CN116884557A publication Critical patent/CN116884557A/zh
Application granted granted Critical
Publication of CN116884557B publication Critical patent/CN116884557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请适用于数字孪生的技术领域，提供了一种基于数字孪生的体检报告生成方法、终端设备及介质，所述基于数字孪生的体检报告生成方法包括：获取体检报告，提取所述体检报告中各个人体部位对应的体检数据；构建初始三层人体图像模型；将体检数据处于正常范围的人体部位对应的所述人体部位图像模型设置为第一颜色，将体检数据处于异常范围的人体部位对应的所述人体部位图像模型设置为第二颜色；获取每个人体部位对应的展示参数，基于所述展示参数构建每个人体部位对应的所述可交互标注信息、所述图像标注信息或所述病灶演示视频，得到目标三层人体图像模型。上述方案解决了传统体检报告操作繁琐，用户体验差的问题。

Description

基于数字孪生的体检报告生成方法、终端设备及介质
技术领域
本发明属于数字孪生的技术领域，尤其涉及一种基于数字孪生的体检报告生成方法、装置及终端设备。
背景技术
体检报告是指对身体进行检查，根据身体反应的数据而生成的具有一定格式的文档。一般来说，体检包括了常规体格检查(身高、体重、血压、内科、外科、眼耳鼻喉科、口腔、妇科)以及血液检查(临床检验、生化检验、免疫检验、化学发光和放免检验、血流变检验)、尿液和分泌物的检验、B超、x光、CT和MR等项目。在一次体检中，当检验数据高于或低于参考值时，有时有确诊价值，有时可能只是一个警讯。
传统的体检报告展示方式都是一张检测单或者图片的形式，文内使用图文的方式进行描述患者身体各项检测指标，当遇到异常指标时，则用红色箭头进行标识，对于用户来说，并不能直观的理解到自身体检的情况及异常指标出现的部位。传统的技术，用户需要通过多个页面不断切换操作来展示各种数据，数据关联性较差，操作繁琐，用户体验差，这是一个亟需解决的技术问题。
发明内容
有鉴于此，本申请实施例提供了一种基于数字孪生的体检报告生成方法、终端设备及介质，以解决传统技术操作繁琐，用户体验差的问题。
本申请实施例的第一方面提供了一种基于数字孪生的体检报告生成方法，所述方法包括：
获取体检报告，提取所述体检报告中各个人体部位对应的体检数据；
构建初始三层人体图像模型，所述初始三层人体图像模型包括三个相互独立的人体部位图像模型，所述人体部位图像模型包括皮外系统图像模型、皮内系统图像模型和内科系统图像模型；
获取所述体检数据类型；
若当前人体部位对应的体检数据为文本类数据，则将所述文本类数据转换为可交互标注信息；所述可交互标注信息与对应图层部位映射关联显示；
若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为正常，则将所述医学影像数据作为图像标注信息；所述图像标注信息用于在预设位置显示所述医学影像数据；
若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为异常，则根据所述医学影像数据对应的检测结果，生成所述检测结果对应的病灶演示视频；所述病灶演示视频用于向用户展示病灶从无到有的变化过程；
获取每个人体部位对应的展示参数，基于所述展示参数构建每个人体部位对应的所述可交互标注信息、所述图像标注信息或所述病灶演示视频，得到目标三层人体图像模型；所述展示参数包括预设位置以及展示框大小；所述目标三层人体图像模型中的皮外系统图像模型、皮内系统图像模型和内科系统图像模型为相互独立的图层，三个所述图层叠加形成所述目标三层人体图像模型。
进一步地，每一层所述人体图像模型中的所有人体部位均为反馈控件，所述反馈控件用于接收用户的触控操作或拖拽指令；
在所述获取每个人体部位对应的展示参数，基于所述展示参数构建每个人体部位对应的所述可交互标注信息、所述图像标注信息或所述病灶演示视频，得到目标三层人体图像模型的步骤之后，还包括：
采集由用户触发的触控指令，在所述预设位置显示所述触控指令对应的人体部位对应的所述可交互标注信息、所述图像标注信息或所述病灶演示视频；
采集由用户触发的拖拽指令，根据所述拖拽指令旋转所述目标三层人体图像模型，并重新计算每个人体部位对应的位置参数；所述位置参数用于匹配用户触发的触控指令，以显示所述可交互标注信息、所述图像标注信息或所述病灶演示视频。
进一步地，所述若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为异常，则根据所述医学影像数据对应的检测结果，生成所述检测结果对应的病灶演示视频的步骤，包括：
当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为异常，则将当前医学影像数据输入第一特征提取层，得到第一图像特征；
将历史医学影像数据输入第二特征提取层，得到第二图像特征；
将所述第一图像特征和所述第二图像特征融合，得到融合图像特征；
将所述融合图像特征进行反卷积处理，得到初始图像；
将所述当前医学影像数据和所述初始图像中相同像素位置的像素值相减，得到初始差异图像；
将所述初始差异图像进行二值化处理，得到目标差异图像；
统计所述目标差异图像中两种像素值各自对应的像素数量；
将最小像素数量对应像素值的像素点作为目标像素点；
遍历所述目标差异图像，将目标像素点数量超过阈值的目标图像区域作为病灶图层；
根据所述病灶图层，生成所述检测结果对应的病灶演示视频。
进一步地，所述遍历所述目标差异图像，将目标像素点数量超过阈值的目标图像区域作为病灶图层的步骤，包括：
分别采用两种尺度切块对所述当前医学影像数据进行切分处理，得到多个切分图像；
获取所述当前医学影像数据对应的诊断结果中的病灶信息，获取所述病灶信息对应的病灶识别模型；
分别将所述多个切分图像输入所述病灶识别模型，得到由所述病灶识别模型输出的多个识别结果；
若所述多个识别结果中存在病灶结果，则计算所述病灶结果对应的切分图像与所述目标图像区域之间的相似度；所述病灶结果是指所述切分图像中包含病灶图像；
若所述相似度大于预设数值，则将所述目标图像区域作为病灶图层。
进一步地，所述将所述第一图像特征和所述第二图像特征融合，得到融合图像特征的步骤，包括：
基于小波变换，分别将所述第一图像特征分解为多个尺度和方向上的第一小波系数，得到第一小波域；
基于小波变换，分别将所述第二图像特征分解为多个尺度和方向上的第二小波系数，得到第二小波域；
计算所述第一小波域中的第一小波熵，计算所述第二小波域中的第二小波熵，将所述第一小波熵和所述第二小波熵融合，得到特征描述符；
基于所述特征描述符，进行逆小波变换，得到融合图像。
进一步地，所述计算所述第一小波域中的第一小波熵的步骤，包括：
获取第一小波系数的中心位置和第一小波系数数量，并将所述第一小波系数的中心位置和第一小波系数数量代入如下公式，得到所述第一小波熵；
其中，H表示所述小波熵，x表示所述第一小波系数的中位数，n表示所述第一小波系数数量，h表示窗口函数大小，K()表示窗口函数，Xi表示第i个第一小波系数。
进一步地，所述根据所述病灶图层，生成所述检测结果对应的病灶演示视频的步骤，包括：
获取所述病灶图层在所述目标差异图像中的位置数据；
根据所述位置数据，将所述病灶图层叠加在历史医学影像数据中的对应位置，得到尾帧图像；
将所述检测图像区域按照多个预设梯度进行缩小，得到多个缩小图像；
根据所述坐标数据，分别将所述多个缩小图像依次叠加在多个历史医学影像数据中的对应位置，得到多个序列图像；
将所述检测图像区域作为首帧图像，并依次将所述多个序列图像和所述尾帧图像进行拼接，得到所述病变演示视频。
进一步地，所述基于所述特征描述符，进行逆小波变换，得到融合图像的步骤，包括：
将所述特征描述符进行离散余弦变换，得到多个第三小波系数；
基于多个所述第三小波系数，计算各个尺度上的逼近系数和细节系数；
将所述逼近系数和所述细节系数进行逆卷积操作，并加权叠加，得到所述融合图像。
本申请实施例的第二方面提供了一种基于数字孪生的体检报告生成装置，所述装置包括：
获取单元，用于获取体检报告，提取所述体检报告中各个人体部位对应的体检数据；
构建单元，用于构建初始三层人体图像模型，所述初始三层人体图像模型包括三个相互独立的人体部位图像模型，所述人体部位图像模型包括皮外系统图像模型、皮内系统图像模型和内科系统图像模型；
设置单元，用于将体检数据处于正常范围的人体部位对应的所述人体部位图像模型设置为第一颜色，将体检数据处于异常范围的人体部位对应的所述人体部位图像模型设置为第二颜色；
第一判断单元，用于若当前人体部位对应的体检数据为文本类数据，则将所述文本类数据转换为可交互标注信息；
第二判断单元，用于若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为正常，则将所述医学影像数据作为图像标注信息；所述图像标注信息用于在预设位置显示所述医学影像数据；
第三判断单元，用于若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为异常，则根据所述医学影像数据对应的检测结果，生成所述检测结果对应的病灶演示视频；所述病灶演示视频用于向用户展示病灶从无到有的变化过程；
构建单元，用于获取每个人体部位对应的展示参数，基于所述展示参数构建每个人体部位对应的所述可交互标注信息、所述图像标注信息或所述病灶演示视频，得到目标三层人体图像模型；所述展示参数包括预设位置以及展示框大小；所述目标三层人体图像模型中的皮外系统图像模型、皮内系统图像模型和内科系统图像模型为相互独立的图层，三个所述图层叠加形成所述目标三层人体图像模型。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：本申请通过获取体检报告，提取所述体检报告中各个人体部位对应的体检数据；构建初始三层人体图像模型，所述初始三层人体图像模型包括三个相互独立的人体部位图像模型；将体检数据处于正常范围的人体部位对应的所述人体部位图像模型设置为第一颜色，将体检数据处于异常范围的人体部位对应的所述人体部位图像模型设置为第二颜色；若当前人体部位对应的体检数据为文本类数据，则将所述文本类数据转换为可交互标注信息；若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为正常，则将所述医学影像数据作为图像标注信息；所述图像标注信息用于在预设位置显示所述医学影像数据；若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为异常，则根据所述医学影像数据对应的检测结果，生成所述检测结果对应的病灶演示视频；所述病灶演示视频用于向用户展示病灶从无到有的变化过程；获取每个人体部位对应的展示参数，基于所述展示参数构建每个人体部位对应的所述可交互标注信息、所述图像标注信息或所述病灶演示视频，得到目标三层人体图像模型。上述方案，将人体图像模型分为三层结构，以分层将不同人体部位的体检状态进行体现，且将正常体检数据和异常体检数据对应的人体部分采用不同的颜色进行区别。为了进一步提高数字孪生的可读性，故本申请不仅构建每个人体部位对应的可交互标注信息和图像标注信息，还构建了异常人体部位的病灶演示视频，提高了图像模型的可读性，实现了体检报告的数字孪生。采用上述数字孪生技术可以在一个界面展示出不同关联的数据，省去了用户繁杂的查阅操作步骤，提升了用户的体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了本申请提供的一种基于数字孪生的体检报告生成方法的流程图；
图2示出了本申请提供的一种基于数字孪生的体检报告生成装置的结构图；
图3示出了本申请一实施例提供的一种终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
有鉴于此，本申请实施例提供了一种基于数字孪生的体检报告生成方法、装置、终端设备及计算机可读存储介质，以解决传统技术操作繁琐，用户体验差的问题。
首先，本申请提供了一种基于数字孪生的体检报告生成方法。请参见图1，图1示出了本申请提供的一种基于数字孪生的体检报告生成方法的示意性流程图。如图1所示，该基于数字孪生的体检报告生成方法可以包括如下步骤：
步骤101：获取体检报告，提取所述体检报告中各个人体部位对应的体检数据；
值得注意的是，数字孪生(Digital Twin)是一种基于数字技术的仿真模型，它通过将现实世界中的物理对象或系统与虚拟世界中的数字模型相连接，可以实时地获取、分析和优化物理对象或系统的运行状态和性能。本申请中采用数字孪生技术构建了人体的三维图像模型，将体检报告中的数据映射到人体的三维图像模型，以三维图像模型的形式向用户展示体检报告。
客户在前往体检机构检测完毕后，体检记录将存储在医院数据库中。在需要建立某个客户的体检报告的数字孪生时，在数据库中获取某个客户的体检报告，并提取体检报告中各个人体部位对应的体检数据，进而构建体检报告的数字孪生。其中，体检数据包括但不限于身高、体重、四肢、皮肤、血压、眼耳鼻喉科、口腔、血液检查(临床检验、生化检验、免疫检验、化学发光和放免检验、血流变检验)、尿液和分泌物的检验、B超、x光、CT和MR等数据。
步骤102：构建初始三层人体图像模型，所述初始三层人体图像模型包括三个相互独立的人体部位图像模型，所述人体部位图像模型包括皮外系统图像模型、皮内系统图像模型和内科系统图像模型；其中，皮外系统图像模型包括皮肤模型、耳鼻喉模型、眼睛模型、肛门模型、手掌模型、手臂模型、脚掌模型和腿模型，皮内系统图像模型包括心血管系统模型、淋巴系统模型、感觉器模型和神经系统模型，内科系统图像模型包括大脑模型、泌尿系统模型、消化系统模型、生殖系统模型和呼吸系统模型。
由于人体构造较为复杂，故本申请将人体构造分为三层结构，即三层人体图像模型。每一层人体图像模型在界面中进行单独展示，例如：用户点击皮外系统图像模型，则仅显示皮外系统图像模型，不显示皮内系统图像模型和内科系统图像模型，以充分得展示人体构造对应的体检报告。
其中，初始三层人体图像模型是指空白的图像模型(无颜色无标注信息，其中，本申请中的体检报告通过标注信息的形式进行展示)，通过预设参数渲染而成。不同的性别匹配不同的初始三层人体图像模型。
本申请中的数字孪生改变了常规图文形式的体检报告，以更加立体的方式展现出来，以3D数字体检报告的形式立体化展现，在有限的屏幕边界内提供画面显示并提供触觉反馈。人体图像模型支持站立位旋转，点击不同系统按钮，能切换显示对应的图像模型，当前图像模型支持不透明显示，当前图像模型以外的模型支持透明显示。本模型能区分异常人体部位、正常人体部位及未体检人体部位。当用户检测数据没有任何异常数值时，则显示“系统良好”的提示语。未接受检查的系统则置灰显示。当有存在检测异常的数值时，在对应的系统切换按钮上用颜色进行区分标识，用户点击该系统进入查看，页面以透明的人体3D模型展示，根据对应的系统进行切换内在元素，用户检测异常的结果在对应的病灶部位则使用标红实体进行展示，点击标红部位则显示针对该部位异常检查项目的详情内容，让用户快速掌握自身健康状况，以数字孪生的技术将身体的各项系统可视化的展示出来，让用户更加明确并了解自己身体的问题部位，利用可视化展示检测报告，具有强的交互性，对于中老年人也容易操作，报告内容浅显易懂，对提升用户的满意度非常有帮助。
作为本申请的一个可选实施例，本申请中的三层人体图像模型可以在同一个页面展示新体检报告和旧体检报告各自对应的图像模型，以解决需要分开两本检测单切换看的痛点。
步骤103：获取所述体检数据类型。其中体检数据类型包括文本类数据类型及影像类数据类型。
步骤104：若当前人体部位对应的体检数据为文本类数据，则将所述文本类数据转换为可交互标注信息，所述可交互标注信息与对应图层部位映射关联显示。
文本类数据包括但不限于血常规、尿常规或常规体格检查等文本数据。可直接将文本类型数据按照预设顺序形成可交互标注信息。其中，为了提高可交互标注信息的可读性、可交互性，可交互标注信息与对应图层部位映射关联起来显示，例如尿常规可以与对应图层中肾部位映射关联显示。用户通过交互选择(如点击、长按等操作)对应的部位，可新建一个最上层显示图层，以不同的颜色详细展示各异常检测数据和正常检测数据。
将体检数据处于正常范围的人体部位对应的所述人体部位图像模型设置为第一颜色，将体检数据处于异常范围的人体部位对应的所述人体部位图像模型设置为第二颜色。
本申请为了提高图像模型的可读性，故将正常人体部位设置为第一颜色(例如：白色)，将异常人体部位设置为第二颜色(即红色)，以更好地区分异常部位。
步骤105：若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为正常，则将所述医学影像数据作为图像标注信息；所述图像标注信息用于在预设位置显示所述医学影像数据。
医学影像数据包括但不限于X射线、超声波、计算机断层扫描(CT)和磁共振成像(MRI)等影像数据。可直接将正常人体部位的医学影像数据作为图像标注信息。
为了保证数字孪生界面的简洁性，在用户未点击相应人体部位时，图像标注信息为隐藏状态。当用户点击相应人体部位时，预设位置显示对应的图像标注信息。其中，在每一次用户点击不同的人体部位时，仅显示一个人体部位对应的图像标注信息。
步骤106：若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为异常，则根据所述医学影像数据对应的检测结果，生成所述检测结果对应的病灶演示视频；所述病灶演示视频用于向用户展示病灶从无到有的变化过程。
本申请为了提升数字孪生的交互效果，故针对异常人体部位的医学影像数据进行动态演示。即根据医学影像数据对应的检测结果，生成检测结果对应的病灶演示视频(病灶包括但不限于肿瘤、钙化或结石等情况)，具体生成逻辑如下：
具体地，步骤106具体包括如下步骤1061至步骤10610：
步骤1061：当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为异常，则将当前医学影像数据输入第一特征提取层，得到第一图像特征；
由于需要演示病灶的变化过程，故需要在当前医学影像数据中分离出病灶对应的图像区域，故需提取当前医学影像数据的第一图像特征。值得注意是，由于病灶在医学影像数据中所占的区域较小，故提取当前医学影像数据的第一图像特征中，基本不含有病灶对应的图像特征，即第一图像特征是正常人体部位的图像特征。
步骤1062：将历史医学影像数据输入第二特征提取层，得到第二图像特征；
步骤1063：将所述第一图像特征和所述第二图像特征融合，得到融合图像特征；
由于演示病灶的变化过程，需要基于历史医学影像数据进行展示。而由于每一次体检时的医学影像数据可能存在一定的位置和角度偏差，故为了使得病灶的变化过程更加贴合历史医学影像数据。故需提取历史医学影像数据的第二图像特征，并将第一图像特征和第二图像特征融合，得到融合图像特征，使得历史医学影像数据和病灶的组合效果更加贴合。
其中，由于不同医学影像数据之间存在的位置和角度偏差，故直接将第一图像特征和所述第二图像特征融合，可能存在图像重影，故为了解决该问题，本申请提供了如下图像融合方法：
具体地，步骤1063具体包括步骤A1至步骤A4：
步骤A1：基于小波变换，分别将所述第一图像特征分解为多个尺度和方向上的第一小波系数，得到第一小波域；
步骤A2：基于小波变换，分别将所述第二图像特征分解为多个尺度和方向上的第二小波系数，得到第二小波域；
由于小波变换可以有效地抑制噪声和干扰信号，并能够更好地处理图像中的边缘和纹理等细节信息。且小波变换可以将图像分解为多个尺度和方向上的小波系数，同时保留了原始图像的信息，可以更好得到图像融合效果。故本申请通过小波变换，提取第一图像特征和第二图像特征对应的第一小波域和第二小波域。
步骤A3：计算所述第一小波域中的第一小波熵，计算所述第二小波域中的第二小波熵，将所述第一小波熵和所述第二小波熵融合，得到特征描述符；
小波熵衡量了小波系数的复杂度和不规则性，故本申请将第一图像特征和第二图像特征各自对应的小波熵融合作为特征描述符。
然而，小波变换通常会产生高度相关的小波系数，这可能会导致小波熵的低估或高估。为了解决这个问题，本申请基于窗口函数计算小波熵，具体计算逻辑如下：
具体地，计算第一小波域中的第一小波熵的具体逻辑如下：
获取第一小波系数的中心位置和第一小波系数数量，并将所述第一小波系数的中心位置和第一小波系数数量代入如下公式，得到所述第一小波熵；
其中，H表示所述小波熵，x表示所述第一小波系数的中位数，n表示所述第一小波系数数量，h表示窗口函数大小，K()表示窗口函数，Xi表示第i个第一小波系数。
本申请综合考虑多方面的因素影响，且由于第一小波系数的中心位置和第一小波系数数量对于小波熵的计算准确度均有一定的影响，故基于第一小波系数的中心位置和第一小波系数数量计算小波熵，以实现高精度计算。其中，上述公式是基于大量实验数据与验证而得，包括但不限于上述数学表达式。
步骤A4：基于所述特征描述符，进行逆小波变换，得到融合图像。
在本实施例中，基于小波变换中的小波熵将第一图像特征和所述第二图像特征融合，由于基于小波熵得到的特征描述符不受图像位置影响，故有效避免了可能存在的图像重影。且本申请基于上述公式计算小波熵，避免小波熵被低估或高估，提高了计算精度。
具体地，步骤A4具体包括如下步骤C1至步骤C3：
步骤C1：将所述特征描述符进行离散余弦变换，得到多个第三小波系数；
步骤C2：基于多个所述第三小波系数，计算各个尺度上的逼近系数和细节系数；
逼近系数是指在当前尺度上，能够较好地表示图像的低频信息的小波系数。逼近系数可以通过对当前尺度上的小波系数进行平均操作得到。细节系数则表示在当前尺度上，不能够被逼近系数所表示的高频信息。细节系数可以通过对当前尺度上的小波系数进行差分操作得到。
步骤C3：将所述逼近系数和所述细节系数进行逆卷积操作，并加权叠加，得到所述融合图像。
在本实施例中，通过逼近系数和细节系数进行逆小波变换，可以对图像进行多尺度分解和重构，从而更好地表示和保留图像的各种特征。
步骤1064：将所述融合图像特征进行反卷积处理，得到初始图像；
在融合了历史医学影像数据的图像特征之后，对融合图像进行反卷积处理，得到初始图像，初始图像为正常人体部位对应的图像信息。
步骤1065：将所述当前医学影像数据和所述初始图像中相同像素位置的像素值相减，得到初始差异图像；
由于初始图像为正常人体部位对应的图像信息。而病灶区域与正常人体部位存在较大区别，故可以基于初始图像与当前医学影像数据之间的像素值相减，定位像素值异常区域(即疑似病灶所处区域)。
步骤1066：将所述初始差异图像进行二值化处理，得到目标差异图像；
为了避免干扰，提高计算效率，故可针对初始差异图像进行二值化处理，得到目标差异图像。
步骤1067：统计所述目标差异图像中两种像素值各自对应的像素数量；
步骤1068：将最小像素数量对应像素值的像素点作为目标像素点；
由于病灶图像区域往往较小，故为了筛选病灶图像区域，可通过统计两种像素值各自对应的像素数量，并将最小像素数量对应像素值的像素点作为目标像素点(即病灶区域对应的像素点)。
步骤1069：遍历所述目标差异图像，将目标像素点数量超过阈值的目标图像区域作为病灶图层；
而图像在处理过程中，难免存在一定噪点，故为了排除这些噪点，本申请通过阈值在目标差异图像中筛选病灶图层。然而有些噪点通过阈值筛选的方式仍然不能很好地滤除，且在实际试验过程中，发现噪点对于整体的图像处理精度有着较大的影响，故为了提高病灶识别率，本申请还提供提供了如下筛选方式：
具体地，步骤1069具体包括步骤B1至步骤B5：
步骤B1：分别采用两种尺度切块对所述当前医学影像数据进行切分处理，得到多个切分图像；
本申请为了提高识别率，通过病灶识别模型对病灶区域进行联合识别。故将当前医学影像数据进行切分处理，以判断多个切分图像中是否包含病灶区域。其中，为了防止无法切分到完整的病灶区域，故本申请采用两种尺度切块分别对当前医学影像数据进行切分处理。
步骤B2：获取所述当前医学影像数据对应的诊断结果中的病灶信息，获取所述病灶信息对应的病灶识别模型；
由于同一个人体部位可能存在着不同的病灶类型(例如肿瘤或结石等)，故需要根据病灶信息获取对应的病灶识别模型，以提高识别精度。
步骤B3：分别将所述多个切分图像输入所述病灶识别模型，得到由所述病灶识别模型输出的多个识别结果；
步骤B4：若所述多个识别结果中存在病灶结果，则计算所述病灶结果对应的切分图像与所述目标图像区域之间的相似度；所述病灶结果是指所述切分图像中包含病灶图像；
本申请通过阈值与病灶识别模型联合识别病灶区域，仅当阈值与病灶识别模型两种识别方式的结果趋于一致(即切分图像与目标图像区域之间的相似度大于预设数值)，则将对应的图像区域作为病灶图像。
步骤B5：若所述相似度大于预设数值，则将所述目标图像区域作为病灶图层。
在本实施例中，通过阈值与病灶识别模型联合识别病灶区域，提高了对于病灶区域的识别准确度。
步骤10610：根据所述病灶图层，生成所述检测结果对应的病灶演示视频。
当在当前医学影像数据中分离出病灶图层后，可基于历史医学影像数据生产病灶演示视频，具体过程为：获取所述病灶图层在所述目标差异图像中的位置数据；根据所述位置数据，将所述病灶图层叠加在历史医学影像数据中的对应位置，得到尾帧图像；将所述检测图像区域按照多个预设梯度进行缩小(多个预设梯度可基于视频帧的帧率进行相应设置)，得到多个缩小图像；根据所述坐标数据，分别将所述多个缩小图像依次叠加在多个历史医学影像数据中的对应位置，得到多个序列图像；将所述检测图像区域作为首帧图像，并依次将所述多个序列图像和所述尾帧图像进行拼接，得到所述病变演示视频。
步骤107：获取每个人体部位对应的展示参数，基于所述展示参数构建每个人体部位对应的所述可交互标注信息、所述图像标注信息或所述病灶演示视频，得到目标三层人体图像模型；所述展示参数包括预设位置以及展示框大小；所述目标三层人体图像模型中的皮外系统图像模型、皮内系统图像模型和内科系统图像模型为相互独立的图层，三个所述图层叠加形成所述目标三层人体图像模型。
目标三层人体图像模型中的每个人体部位均能点击，每一层所述人体图像模型中的所有人体部位均为反馈控件，所述反馈控件用于接收用户的触控操作或拖拽指令，当用户点击相应的人体部位时，人体部位附近的预设位置将显示人体部位对应的可交互标注信息、图像标注信息或病灶演示视频，以实现更好地交互功能。
可选地，在步骤107之后，还包括：采集由用户触发的触控指令，在所述预设位置显示所述触控指令对应的人体部位对应的所述可交互标注信息、所述图像标注信息或所述病灶演示视频；采集由用户触发的拖拽指令，根据所述拖拽指令旋转所述目标三层人体图像模型，并重新计算每个人体部位对应的位置参数；所述位置参数用于匹配用户触发的触控指令，以显示所述可交互标注信息、所述图像标注信息或所述病灶演示视频。
在本实施例中，通过获取体检报告，提取所述体检报告中各个人体部位对应的体检数据；构建初始三层人体图像模型，所述初始三层人体图像模型包括三个相互独立的人体部位图像模型；将体检数据处于正常范围的人体部位对应的所述人体部位图像模型设置为第一颜色，将体检数据处于异常范围的人体部位对应的所述人体部位图像模型设置为第二颜色；若当前人体部位对应的体检数据为文本类数据，则将所述文本类数据转换为可交互标注信息；若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为正常，则将所述医学影像数据作为图像标注信息；所述图像标注信息用于在预设位置显示所述医学影像数据；若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为异常，则根据所述医学影像数据对应的检测结果，生成所述检测结果对应的病灶演示视频；所述病灶演示视频用于向用户展示病灶从无到有的变化过程；获取每个人体部位对应的展示参数，基于所述展示参数构建每个人体部位对应的所述可交互标注信息、所述图像标注信息或所述病灶演示视频，得到目标三层人体图像模型。上述方案，将人体图像模型分为三层结构，以分层将不同人体部位的体检状态进行体现，且将正常体检数据和异常体检数据对应的人体部分采用不同的颜色进行区别。为了进一步提高数字孪生的可读性，故本申请不仅构建每个人体部位对应的可交互标注信息和图像标注信息，还构建了异常人体部位的病灶演示视频，提高了图像模型的可读性，实现了体检报告的数字孪生。
如图2本申请提供了一种基于数字孪生的体检报告生成装置2，请参见图2，图2示出了本申请提供的一种基于数字孪生的体检报告生成装置的示意图，如图2所示一种基于数字孪生的体检报告生成装置包括：
获取单元21，用于获取体检报告，提取所述体检报告中各个人体部位对应的体检数据；
构建单元22，用于构建初始三层人体图像模型，所述初始三层人体图像模型包括三个相互独立的人体部位图像模型，所述人体部位图像模型包括皮外系统图像模型、皮内系统图像模型和内科系统图像模型；其中，皮外系统图像模型包括皮肤模型、耳鼻喉模型、眼睛模型、肛门模型、手掌模型、手臂模型、脚掌模型和腿模型，皮内系统图像模型包括心血管系统模型、淋巴系统模型、感觉器模型和神经系统模型，内科系统图像模型包括大脑模型、泌尿系统模型、消化系统模型、生殖系统模型和呼吸系统模型；
设置单元23，用于将体检数据处于正常范围的人体部位对应的所述人体部位图像模型设置为第一颜色，将体检数据处于异常范围的人体部位对应的所述人体部位图像模型设置为第二颜色；
第一判断单元24，用于若当前人体部位对应的体检数据为文本类数据，则将所述文本类数据转换为可交互标注信息；
第二判断单元25，用于若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为正常，则将所述医学影像数据作为图像标注信息；所述图像标注信息用于在预设位置显示所述医学影像数据；
第三判断单元26，用于若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为异常，则根据所述医学影像数据对应的检测结果，生成所述检测结果对应的病灶演示视频；所述病灶演示视频用于向用户展示病灶从无到有的变化过程；
构建单元27，用于获取每个人体部位对应的展示参数，基于所述展示参数构建每个人体部位对应的所述可交互标注信息、所述图像标注信息或所述病灶演示视频，得到目标三层人体图像模型；所述展示参数包括预设位置以及展示框大小；所述目标三层人体图像模型中的皮外系统图像模型、皮内系统图像模型和内科系统图像模型为相互独立的图层，三个所述图层叠加形成所述目标三层人体图像模型。
本申请提供的一种体检报告的数字孪生装置，通过获取体检报告，提取所述体检报告中各个人体部位对应的体检数据；构建初始三层人体图像模型，所述初始三层人体图像模型包括三个相互独立的人体部位图像模型；将体检数据处于正常范围的人体部位对应的所述人体部位图像模型设置为第一颜色，将体检数据处于异常范围的人体部位对应的所述人体部位图像模型设置为第二颜色；若当前人体部位对应的体检数据为文本类数据，则将所述文本类数据转换为可交互标注信息；若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为正常，则将所述医学影像数据作为图像标注信息；所述图像标注信息用于在预设位置显示所述医学影像数据；若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为异常，则根据所述医学影像数据对应的检测结果，生成所述检测结果对应的病灶演示视频；所述病灶演示视频用于向用户展示病灶从无到有的变化过程；获取每个人体部位对应的展示参数，基于所述展示参数构建每个人体部位对应的所述可交互标注信息、所述图像标注信息或所述病灶演示视频，得到目标三层人体图像模型。上述方案，将人体图像模型分为三层结构，以分层将不同人体部位的体检状态进行体现，且将正常体检数据和异常体检数据对应的人体部分采用不同的颜色进行区别。为了进一步提高数字孪生的可读性，故本申请不仅构建每个人体部位对应的可交互标注信息和图像标注信息，还构建了异常人体部位的病灶演示视频，提高了图像模型的可读性，实现了体检报告的数字孪生。
图3是本申请一实施例提供的一种终端设备的示意图。如图3所示，该实施例的一种终端设备3包括：处理器30、存储器31以及存储在所述存储器31中并可在所述处理器30上运行的计算机程序32，例如一种体检报告的数字孪生方法程序。所述处理器30执行所述计算机程序32时实现上述各个一种体检报告的数字孪生方法实施例中的步骤，例如图1所示的步骤101至步骤107。或者，所述处理器30执行所述计算机程序32时实现上述各装置实施例中各单元的功能，例如图2所示单元21至27的功能。
示例性的，所述计算机程序32可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器31中，并由所述处理器30执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序32在所述一种终端设备3中的执行过程。例如，所述计算机程序32可以被分割成各单元的具体功能如下：
获取单元，用于获取体检报告，提取所述体检报告中各个人体部位对应的体检数据；
构建单元，用于构建初始三层人体图像模型，所述初始三层人体图像模型包括三个相互独立的人体部位图像模型，所述人体部位图像模型包括皮外系统图像模型、皮内系统图像模型和内科系统图像模型；其中，皮外系统图像模型包括皮肤模型、耳鼻喉模型、眼睛模型、肛门模型、手掌模型、手臂模型、脚掌模型和腿模型，皮内系统图像模型包括心血管系统模型、淋巴系统模型、感觉器模型和神经系统模型，内科系统图像模型包括大脑模型、泌尿系统模型、消化系统模型、生殖系统模型和呼吸系统模型；
设置单元，用于将体检数据处于正常范围的人体部位对应的所述人体部位图像模型设置为第一颜色，将体检数据处于异常范围的人体部位对应的所述人体部位图像模型设置为第二颜色；
第一判断单元，用于若当前人体部位对应的体检数据为文本类数据，则将所述文本类数据转换为可交互标注信息；
第二判断单元，用于若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为正常，则将所述医学影像数据作为图像标注信息；所述图像标注信息用于在预设位置显示所述医学影像数据；
第三判断单元，用于若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为异常，则根据所述医学影像数据对应的检测结果，生成所述检测结果对应的病灶演示视频；所述病灶演示视频用于向用户展示病灶从无到有的变化过程；
构建单元，用于获取每个人体部位对应的展示参数，基于所述展示参数构建每个人体部位对应的所述可交互标注信息、所述图像标注信息或所述病灶演示视频，得到目标三层人体图像模型；所述展示参数包括预设位置以及展示框大小；所述目标三层人体图像模型中的皮外系统图像模型、皮内系统图像模型和内科系统图像模型为相互独立的图层，三个所述图层叠加形成所述目标三层人体图像模型。
所述终端设备中包括但不限于处理器30和存储器31。本领域技术人员可以理解，图3仅仅是一种终端设备3的示例，并不构成对一种终端设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种终端设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器31可以是所述一种终端设备3的内部存储单元，例如一种终端设备3的硬盘或内存。所述存储器31也可以是所述一种终端设备3的外部存储设备，例如所述一种终端设备3上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器31还可以既包括所述一种终端设备3的内部存储单元也包括外部存储设备。所述存储器31用于存储所述计算机程序以及所述一种漫游控制设备所需的其他程序和数据。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，既将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于监测到”。类似地，短语“如果确定”或“如果监测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦监测到[所描述条件或事件]”或“响应于监测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于数字孪生的体检报告生成方法，其特征在于，所述方法包括：
获取体检报告，提取所述体检报告中各个人体部位对应的体检数据；
构建初始三层人体图像模型，所述初始三层人体图像模型包括三个相互独立的人体部位图像模型，所述人体部位图像模型包括皮外系统图像模型、皮内系统图像模型和内科系统图像模型；
获取所述体检数据类型；
若当前人体部位对应的体检数据为文本类数据，则将所述文本类数据转换为可交互标注信息，所述可交互标注信息与对应图层部位映射关联显示；
若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为正常，则将所述医学影像数据作为图像标注信息；所述图像标注信息用于在预设位置显示所述医学影像数据；
若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为异常，则根据所述医学影像数据对应的检测结果，生成所述检测结果对应的病灶演示视频；所述病灶演示视频用于向用户展示病灶从无到有的变化过程；所述若当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为异常，则根据所述医学影像数据对应的检测结果，生成所述检测结果对应的病灶演示视频的步骤，包括：
当前人体部位对应的体检数据为医学影像数据，且所述医学影像数据对应的检测结果为异常，则将当前医学影像数据输入第一特征提取层，得到第一图像特征；
将历史医学影像数据输入第二特征提取层，得到第二图像特征；
将所述第一图像特征和所述第二图像特征融合，得到融合图像特征；
将所述融合图像特征进行反卷积处理，得到初始图像；
将所述当前医学影像数据和所述初始图像中相同像素位置的像素值相减，得到初始差异图像；
将所述初始差异图像进行二值化处理，得到目标差异图像；
统计所述目标差异图像中两种像素值各自对应的像素数量；
将最小像素数量对应像素值的像素点作为目标像素点；
遍历所述目标差异图像，将目标像素点数量超过阈值的目标图像区域作为病灶图层；
根据所述病灶图层，生成所述检测结果对应的病灶演示视频；
获取每个人体部位对应的展示参数，基于所述展示参数构建每个人体部位对应的所述可交互标注信息、所述图像标注信息或所述病灶演示视频，得到目标三层人体图像模型；所述展示参数包括预设位置以及展示框大小；所述目标三层人体图像模型中的皮外系统图像模型、皮内系统图像模型和内科系统图像模型为相互独立的图层，三个所述图层叠加形成所述目标三层人体图像模型。
2.如权利要求1所述的方法，其特征在于，每一层所述人体图像模型中的所有人体部位均为反馈控件，所述反馈控件用于接收用户的触控操作或拖拽指令；
在所述获取每个人体部位对应的展示参数，基于所述展示参数构建每个人体部位对应的所述可交互标注信息、所述图像标注信息或所述病灶演示视频，得到目标三层人体图像模型的步骤之后，还包括：
采集由用户触发的触控指令，在所述预设位置显示所述触控指令对应的人体部位对应的所述可交互标注信息、所述图像标注信息或所述病灶演示视频；
采集由用户触发的拖拽指令，根据所述拖拽指令旋转所述目标三层人体图像模型，并重新计算每个人体部位对应的位置参数；所述位置参数用于匹配用户触发的触控指令，以显示所述可交互标注信息、所述图像标注信息或所述病灶演示视频。
3.如权利要求1所述的方法，其特征在于，所述遍历所述目标差异图像，将目标像素点数量超过阈值的目标图像区域作为病灶图层的步骤，包括：
分别采用两种尺度切块对所述当前医学影像数据进行切分处理，得到多个切分图像；
获取所述当前医学影像数据对应的诊断结果中的病灶信息，获取所述病灶信息对应的病灶识别模型；
分别将所述多个切分图像输入所述病灶识别模型，得到由所述病灶识别模型输出的多个识别结果；
若所述多个识别结果中存在病灶结果，则计算所述病灶结果对应的切分图像与所述目标图像区域之间的相似度；所述病灶结果是指所述切分图像中包含病灶图像；
若所述相似度大于预设数值，则将所述目标图像区域作为病灶图层。
4.如权利要求1所述的方法，其特征在于，所述将所述第一图像特征和所述第二图像特征融合，得到融合图像特征的步骤，包括：
基于小波变换，分别将所述第一图像特征分解为多个尺度和方向上的第一小波系数，得到第一小波域；
基于小波变换，分别将所述第二图像特征分解为多个尺度和方向上的第二小波系数，得到第二小波域；
计算所述第一小波域中的第一小波熵，计算所述第二小波域中的第二小波熵，将所述第一小波熵和所述第二小波熵融合，得到特征描述符；
基于所述特征描述符，进行逆小波变换，得到融合图像。
5.如权利要求4所述的方法，其特征在于，所述计算所述第一小波域中的第一小波熵的步骤，包括：
获取第一小波系数的中心位置和第一小波系数数量，并将所述第一小波系数的中心位置和第一小波系数数量代入如下公式，得到所述第一小波熵；
其中，H表示所述小波熵，x表示所述第一小波系数的中位数，n表示所述第一小波系数数量，h表示窗口函数大小，K()表示窗口函数，表示第i个第一小波系数。
6.如权利要求1所述的方法，其特征在于，所述根据所述病灶图层，生成所述检测结果对应的病灶演示视频的步骤，包括：
获取所述病灶图层在所述目标差异图像中的位置数据；
根据所述位置数据，将所述病灶图层叠加在历史医学影像数据中的对应位置，得到尾帧图像；
将所述检测图像区域按照多个预设梯度进行缩小，得到多个缩小图像；
根据所述位置数据，分别将所述多个缩小图像依次叠加在多个历史医学影像数据中的对应位置，得到多个序列图像；
将所述检测图像区域作为首帧图像，并依次将所述多个序列图像和所述尾帧图像进行拼接，得到所述病灶演示视频。
7.如权利要求4所述的方法，其特征在于，所述基于所述特征描述符，进行逆小波变换，得到融合图像的步骤，包括：
将所述特征描述符进行离散余弦变换，得到多个第三小波系数；
基于多个所述第三小波系数，计算各个尺度上的逼近系数和细节系数；
将所述逼近系数和所述细节系数进行逆卷积操作，并加权叠加，得到所述融合图像。
8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202310755672.2A 2023-06-25 2023-06-25 基于数字孪生的体检报告生成方法、终端设备及介质 Active CN116884557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310755672.2A CN116884557B (zh) 2023-06-25 2023-06-25 基于数字孪生的体检报告生成方法、终端设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310755672.2A CN116884557B (zh) 2023-06-25 2023-06-25 基于数字孪生的体检报告生成方法、终端设备及介质

Publications (2)

Publication Number Publication Date
CN116884557A CN116884557A (zh) 2023-10-13
CN116884557B true CN116884557B (zh) 2024-03-22

Family

ID=88265310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310755672.2A Active CN116884557B (zh) 2023-06-25 2023-06-25 基于数字孪生的体检报告生成方法、终端设备及介质

Country Status (1)

Country Link
CN (1) CN116884557B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767820A (zh) * 2018-05-29 2019-05-17 深圳市智影医疗科技有限公司 一种基于影像的诊断/检测报告生成方法、装置及设备
CN110738655A (zh) * 2019-10-23 2020-01-31 腾讯科技（深圳）有限公司 影像报告生成方法、装置、终端及存储介质
CN112270993A (zh) * 2020-09-22 2021-01-26 深圳市人工智能与机器人研究院 一种以诊断结果为反馈的超声机器人在线决策方法及系统
WO2021036642A1 (zh) * 2019-08-31 2021-03-04 深圳市广宁股份有限公司 基于数字孪生模型的电子设备的智能健康预测方法及装置
CN113380367A (zh) * 2021-05-31 2021-09-10 深圳市梦网物联科技发展有限公司 一种基于5g消息传送检验或检查报告单的方法及系统
CN113724820A (zh) * 2021-08-31 2021-11-30 苏州复颖医疗科技有限公司 医学影像病灶模糊定位方法、系统、设备及存储介质
CN113870968A (zh) * 2021-09-13 2021-12-31 上海联影医疗科技股份有限公司 医疗影像报告的生成方法、装置、计算机设备和存储介质
CN114530224A (zh) * 2022-01-18 2022-05-24 深圳市智影医疗科技有限公司 基于医学影像的诊断报告辅助生成方法及系统
CN115761134A (zh) * 2022-11-22 2023-03-07 上海联影医疗科技股份有限公司 孪生模型的生成方法、系统、核磁共振装置和介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200303047A1 (en) * 2018-08-08 2020-09-24 Hc1.Com Inc. Methods and systems for a pharmacological tracking and representation of health attributes using digital twin
US20190005200A1 (en) * 2017-06-28 2019-01-03 General Electric Company Methods and systems for generating a patient digital twin
US20230051982A1 (en) * 2021-08-13 2023-02-16 GE Precision Healthcare LLC Methods and systems for longitudinal patient information presentation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767820A (zh) * 2018-05-29 2019-05-17 深圳市智影医疗科技有限公司 一种基于影像的诊断/检测报告生成方法、装置及设备
WO2021036642A1 (zh) * 2019-08-31 2021-03-04 深圳市广宁股份有限公司 基于数字孪生模型的电子设备的智能健康预测方法及装置
CN110738655A (zh) * 2019-10-23 2020-01-31 腾讯科技（深圳）有限公司 影像报告生成方法、装置、终端及存储介质
CN112270993A (zh) * 2020-09-22 2021-01-26 深圳市人工智能与机器人研究院 一种以诊断结果为反馈的超声机器人在线决策方法及系统
CN113380367A (zh) * 2021-05-31 2021-09-10 深圳市梦网物联科技发展有限公司 一种基于5g消息传送检验或检查报告单的方法及系统
CN113724820A (zh) * 2021-08-31 2021-11-30 苏州复颖医疗科技有限公司 医学影像病灶模糊定位方法、系统、设备及存储介质
CN113870968A (zh) * 2021-09-13 2021-12-31 上海联影医疗科技股份有限公司 医疗影像报告的生成方法、装置、计算机设备和存储介质
CN114530224A (zh) * 2022-01-18 2022-05-24 深圳市智影医疗科技有限公司 基于医学影像的诊断报告辅助生成方法及系统
CN115761134A (zh) * 2022-11-22 2023-03-07 上海联影医疗科技股份有限公司 孪生模型的生成方法、系统、核磁共振装置和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于数字孪生的工程机械产品健康检测方法研究;陈继文等;《中国工程机械学报》;20200831;第18卷(第4期);全文 *

Also Published As

Publication number Publication date
CN116884557A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
US8369585B2 (en) Automatic classification of information in images
KR101943011B1 (ko) 피검체의 의료 영상 판독을 지원하는 방법 및 이를 이용한 장치
US10497123B1 (en) Isolation of aneurysm and parent vessel in volumetric image data
CN103222876B (zh) 医用图像处理装置、图像诊断装置、计算机系统以及医用图像处理方法
US10867375B2 (en) Forecasting images for image processing
US20170262584A1 (en) Method for automatically generating representations of imaging data and interactive visual imaging reports (ivir)
JP5390080B2 (ja) 医用画像表示装置
US20090238422A1 (en) Communicative cad system for assisting breast imaging diagnosis
AU2019430369B2 (en) VRDS 4D medical image-based vein Ai endoscopic analysis method and product
KR102149369B1 (ko) 의료 영상을 시각화하는 방법 및 이를 이용한 장치
KR101898580B1 (ko) 영상의 열람을 지원하는 방법 및 이를 이용한 장치
WO2020106631A1 (en) Machine learning-based automated abnormality detection in medical images and presentation thereof
CN111563876B (zh) 一种医学影像的获取方法、显示方法
CN108399354A (zh) 计算机视觉识别肿瘤的方法和装置
CN108876783B (zh) 图像融合方法及系统、医疗设备和图像融合终端
CN112862752A (zh) 一种图像处理显示方法、系统电子设备及存储介质
CN112967254A (zh) 基于胸部ct影像肺部疾病识别和检测方法
CN116884557B (zh) 基于数字孪生的体检报告生成方法、终端设备及介质
CN110738639A (zh) 医学图像检测结果的展示方法、装置、设备及存储介质
CN116631584A (zh) 通用型医学影像报告生成方法与系统、电子设备及可读存储介质
KR102099350B1 (ko) 의료 영상에서 병변의 정량화를 보조하는 방법 및 이를 이용한 장치
CN114708283A (zh) 图像目标的分割方法、装置、电子设备及存储介质
CN113706644A (zh) 图像处理方法及其装置、存储介质
CN111563877A (zh) 一种医学影像的生成方法及装置、显示方法及存储介质
CN110415239B (zh) 图像处理方法、装置、设备、医疗电子设备以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant