CN112435740A - 信息处理设备、检查系统、信息处理方法和存储介质 - Google Patents

信息处理设备、检查系统、信息处理方法和存储介质 Download PDF

Info

Publication number
CN112435740A
CN112435740A CN202010869737.2A CN202010869737A CN112435740A CN 112435740 A CN112435740 A CN 112435740A CN 202010869737 A CN202010869737 A CN 202010869737A CN 112435740 A CN112435740 A CN 112435740A
Authority
CN
China
Prior art keywords
image
subject
prediction
information
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010869737.2A
Other languages
English (en)
Other versions
CN112435740B (zh
Inventor
古德雅史
小田切润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN112435740A publication Critical patent/CN112435740A/zh
Application granted granted Critical
Publication of CN112435740B publication Critical patent/CN112435740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/486—Diagnostic techniques involving arbitrary m-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)

Abstract

本发明涉及一种信息处理设备、检查系统、信息处理方法和存储介质。所述信息处理设备包括：一个或多个处理器；以及存储器，用于存储指令，所述指令使得所述信息处理设备：获取包括检查装置的至少一部分的第一图像和包括被检体的至少一部分的第二图像；基于所述第一图像来预测所述检查装置的位置，作为第一预测；基于所述第二图像来预测与所述被检体有关的位置/取向信息，作为第二预测。所述指令使得所述信息处理设备基于所述第一预测和所述第二预测来识别所述被检体的检查部位。基于使用多个图像而预先训练的学习模型，来进行所述第二预测，并且所述第二预测的结果是与所述被检体有关的位置/取向信息的输出。

Description

信息处理设备、检查系统、信息处理方法和存储介质
技术领域
本发明涉及在医学领域中基于医学图像的诊断中使用的信息处理设备、检查系统、信息处理方法和存储介质。
背景技术
在医学领域，医生使用各种医学影像设备(检查系统)所拍摄到的医学图像来进行诊断。这些医学影像设备的示例包括超声诊断设备和光声层析成像设备(以下称为“PAT设备”)。这些医学影像设备的示例还包括磁共振成像设备(以下称为“MRI设备”)和计算机断层成像设备(以下称为“X射线CT设备”)。
日本特开2018-175007论述了如下的系统，该系统基于检查系统和被检体之间的位置关系，来辨别(识别)拍摄被检体的哪个部位以获得在这些诊断中使用的医学图像。
具体地，基于通过拍摄检查中的被检体和探测器所获得的外观图像，通过与被检体和探测器的模板图像的模板匹配来识别被检体和探测器的位置，并且根据被检体和探测器之间的位置关系来计算检查部位。
然而，日本特开2018-175007中所论述的基于模板匹配的图像识别仅可以处理由如下的模板图像表示的受限的环境和条件，其中在这些模板图像中，存储了照相机的位置、以及患者和探测器的位置和取向。
发明内容
本发明是考虑到上述问题而做出的，并且实现了如下的一种信息处理设备、检查系统和信息处理方法，其使得能够在利用检查系统的检查中，以更高的精度识别被检体的检查部位。
为了解决上述问题，本发明的一方面提供一种信息处理设备，包括：一个或多个处理器；以及存储器，用于存储指令，所述指令在由所述一个或多个处理器执行时，使得所述信息处理设备：获取摄像设备所拍摄到的包括检查装置的至少一部分的第一图像和所述摄像设备所拍摄到的包括被检体的至少一部分的第二图像；基于所述第一图像来预测所述检查装置的位置，作为第一预测；基于所述第二图像来预测与所述被检体有关的位置/取向信息，作为第二预测；基于所述第一预测和所述第二预测来识别所述被检体的检查部位，其中，基于使用包括与所述被检体相似的被检体的多个训练数据图像而预先训练的学习模型，对所述第二图像进行所述第二预测，并且所述第二预测的结果是与所述被检体有关的位置/取向信息的输出。
本发明的另一方面提供一种检查系统，包括：一个或多个处理器；以及存储器，用于存储指令，所述指令在由所述一个或多个处理器执行时，使得所述检查系统：检查被检体；拍摄包括检查装置的至少一部分的第一图像和包括所述被检体的至少一部分的第二图像；基于所述第一图像来预测所述检查装置的位置，作为第一预测；基于所述第二图像来预测与所述被检体有关的位置/取向信息，作为第二预测；基于所述第一预测和所述第二预测来识别所述被检体的检查部位，其中，基于使用包括与所述被检体相似的被检体的多个训练数据图像而预先训练的学习模型，对所述第二图像进行所述第二预测，并且所述第二预测的结果是与所述被检体有关的位置/取向信息的输出。
本发明的又一方面提供一种信息处理方法，包括：获取摄像设备所拍摄到的包括检查装置的至少一部分的第一图像和所述摄像设备所拍摄到的包括被检体的至少一部分的第二图像；基于所述第一图像来预测所述检查装置的位置，作为第一预测；基于所述第二图像来预测与所述被检体有关的位置/取向信息，作为第二预测；基于所述第一预测和所述第二预测来识别所述被检体的检查部位，其中，基于使用包括与所述被检体相似的被检体的多个训练数据图像而预先训练的学习模型，对所述第二图像进行所述第二预测，并且所述第二预测的结果是与所述被检体有关的位置/取向信息的输出。
本发明的还一方面提供一种计算机可读存储介质，其包括用于进行信息处理方法的指令，所述信息处理方法包括：获取摄像设备所拍摄到的包括检查装置的至少一部分的第一图像和所述摄像设备所拍摄到的包括被检体的至少一部分的第二图像；基于所述第一图像来预测所述检查装置的位置，作为第一预测；基于所述第二图像来预测与所述被检体有关的位置/取向信息，作为第二预测；基于所述第一预测和所述第二预测来识别所述被检体的检查部位，其中，基于使用包括与所述被检体相似的被检体的多个训练数据图像而预先训练的学习模型，对所述第二图像进行所述第二预测，并且所述第二预测的结果是与所述被检体有关的位置/取向信息的输出。
根据本发明，可以在利用检查系统的检查中，以更高的精度识别被检体的检查部位。
通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。
附图说明
图1是示出根据第一实施例的检查系统的结构的示例的图。
图2是示出根据第一实施例的探测器的结构的示例的图。
图3是示出根据第一实施例的检查系统的结构的示例的框图。
图4是示出根据第一实施例的检查系统的整个流程的流程图。
图5是示出根据第一实施例的测量处理的处理流程的流程图。
图6是示出根据第一实施例的超声图像处理的处理流程的流程图。
图7是示出根据第一实施例的第一变形例的测量处理的处理流程的流程图。
图8是示出根据第一实施例的人体位置/取向预测处理的处理流程的流程图。
图9是示出根据第一实施例的检查部位识别A的处理流程的流程图。
图10是示出根据第一实施例的测量后处理的处理流程的流程图。
图11是示出根据第一实施例的第二变形例的测量处理的处理流程的流程图。
图12是示出根据第一实施例的检查部位识别B的处理流程的流程图。
图13是示出根据第一实施例的第三变形例的检查部位识别B的处理流程的流程图。
图14是根据第一实施例的使用检查系统的测量的图像图。
图15A～15D是根据第一实施例的在使用检查系统进行测量时获得的显示输出结果的图像图。
图16是示出根据第一实施例的外观图像和外观图像内的附接至探测器的标记的图像图。
图17是根据第一实施例的如下的图像图，其中在该图像图中，作为人体的位置和取向的预测结果的骨骼信息与作为探测器的位置和取向的预测结果的交叉线彼此叠加。
图18是根据第一实施例的在测量超声图像时在显示器上显示的画面的图像图。
图19是根据第一实施例的、在确定超声图像之后识别检查部位时在显示器上显示的画面的图像图。
图20是示出根据第一实施例的第四变形例的检查的状态的图像图。
图21A～21C是根据第一实施例的第四变形例的在使用检查系统进行测量时获得的显示输出结果的图像图。
具体实施方式
[第一实施例]
将参考附图来说明第一实施例。
图1是示出作为根据本实施例的检查系统的示例的超声诊断设备100的整体的图。根据本发明的信息处理设备适用于能够处理所拍摄到的图像的任何电子装置。电子装置的示例可以包括移动电话、平板终端、个人计算机、手表型信息终端和眼镜型信息终端。
超声诊断设备100包括超声诊断设备主体1、超声探测器2、照相机3、臂4、显示器5和控制面板6。超声诊断设备主体1被配置成使得作为信息处理设备的、包括各种控制单元、电源和通信接口(I/F)的计算机内置在壳体中。
作为根据本实施例的检查装置的示例的超声探测器2是如下的超声探测器，该超声探测器在该超声探测器的端部的表面与被检者的表面接触的状态下发送和接收超声波。超声探测器2内置有多个压电振子，这些压电振子在超声探测器2的端部的表面上一维地(成一行)排列。超声探测器2在使用压电振子透过被检者发送超声波的同时对扫描区域进行扫描，并且接收来自被检者的反射波作为回波信号。扫描技术的示例包括B模式扫描、多普勒模式扫描和各种其它扫描技术，并且可以使用这些技术中的任何技术。
图2示出超声探测器2的外观图。超声探测器2包括超声探测器主体201、连接器202、标记203、标记附件204、定格按钮6a和确定按钮6b。
照相机3安装在超声诊断设备主体1中所安装的臂4的端部，并且可用于拍摄超声诊断设备100周围的状态。在本实施例中，照相机3主要用于当使用超声探测器2检查被检者(被检体)时，获取用于识别检查部位的外观图像。具体地，当使用超声探测器2检查被检者时，照相机3拍摄包括被检者的检查部位以及超声探测器2的外观图像。
照相机3包括一般照相机的组件，诸如摄像光学系统、图像传感器、中央处理单元(CPU)、图像处理电路、只读存储器(ROM)、随机存取存储器(RAM)和至少一个通信I/F。照相机3如下拍摄图像。包括诸如透镜等的光学元件的摄像光学系统使来自被摄体的光束在包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器的图像传感器上成像。摄像光学系统包括透镜组，并且照相机3还包括用于沿光轴方向驱动透镜组以控制变焦和调焦的透镜驱动控制单元。模数转换器(A/D)将从图像传感器输出的电信号转换成数字图像数据。图像处理电路对该数字图像数据进行各种类型的图像处理，并将如此得到的数字图像数据输出至外部设备。图像处理电路所进行的图像处理的至少一部分可以由外部设备的处理单元如下进行。图像处理电路将该数字图像数据经由通信I/F输出至外部设备，然后外部设备的处理单元对该数字图像数据进行处理。
在本实施例中，照相机3主要使用用于接收可见范围中的光并拍摄图像的图像传感器。然而，照相机3的示例不限于此。可选地，照相机3可以是通过接收红外范围中的光来拍摄图像的照相机，或者可以是通过接收诸如可见光和红外光等的多个波长范围中的光来拍摄图像的照相机。还可选地，照相机3可以是除了能够拍摄外观图像之外还能够测量距离的立体照相机，或者可以是包括用以测量距离的飞行时间(TOF)传感器的照相机。在下文，照相机3所拍摄到的图像将被称为“照相机图像”。
臂4安装在超声诊断设备主体1中，并且用于将照相机3放置成处于照相机3可以拍摄包括被检者的检查部位和超声探测器2的外观图像的位置和取向。在本实施例中，臂4是具有包括五个关节的串联连杆机构的臂。臂4的端部的连接至照相机3的关节是允许容易地设置照相机3的取向的球关节。
显示器5包括诸如液晶显示器(LCD)等的显示装置，并且将从超声诊断设备主体1输入的图像、菜单画面和图形用户界面(GUI)显示在该显示装置上。显示器5将存储器8中所存储的图像和非易失性存储器9中所记录的图像显示在显示装置上。显示器5是用于基于CPU 7的控制来显示超声图像、照相机图像、身体标记图像、探测器标记图像和部位的识别结果的设备。身体标记图像是简单地表示身体的形状的图像，并且通常用在超声诊断设备中。探测器标记是以叠加方式显示在身体标记图像上的标记，并且为了立即识别超声探测器2接触身体的切平面的角度的目的而设置的。
控制面板6包括键盘、跟踪球、开关、拨盘和触摸面板。使用这些操作构件，控制面板6接收来自检查者的各种输入操作，诸如用以使用超声探测器2拍摄图像并且使用照相机3拍摄图像的摄像指示、以及用以显示各种图像、切换图像、指定模式和进行各种设置的指示等。在本说明书中，检查者是指医生、护士、或者经培训/授权以使用超声诊断设备100/检查系统的任何其它用户或人员。所接收到的输入操作信号被输入至超声诊断设备主体1，并被反映在CPU 7对组件的控制上。在控制面板6包括触摸面板的情况下，控制面板6可以是与显示器5一体的。在这种情况下，通过对显示器5上所显示的按钮进行触摸或拖动操作，检查者可以进行超声诊断设备主体1的各种设置，并对超声诊断设备主体1进行各种操作。
如果在通过从超声探测器2接收信号来更新存储器8中的超声图像的状态下、检查者操作定格按钮6a，则来自超声探测器2的信号停止，并且存储器8中的超声图像的更新被暂时停止。同时，来自照相机3的信号也停止，并且存储器8中的照相机图像的更新被暂时停止。如果在存储器8中的照相机图像的更新停止的状态下操作定格按钮6a，则再次从超声探测器2接收到信号，开始存储器8中的超声图像的更新，并且同样地，也开始更新照相机图像。当通过按下定格按钮6a确定了单个超声图像时，CPU 7在检查者操作确定按钮6b时，将超声图像存储在非易失性存储器9中。定格按钮6a和确定按钮6b可以不包括在控制面板6中，而是包括在超声探测器2中。
图3是示出超声诊断设备主体1的结构的框图。超声诊断设备主体1包括发送/接收单元12、信号处理单元13、图像生成单元14、照相机控制单元15、CPU 7、存储器8、非易失性存储器9、通信I/F 10和电源11，这些组件都连接至内部总线17。连接至内部总线17的组件被配置为经由内部总线17彼此交换数据。
存储器8例如由RAM(使用半导体器件的易失性存储器等)组成。例如，根据非易失性存储器9中所存储的程序，CPU 7使用存储器8作为工作存储器来控制超声诊断设备主体1的组件。非易失性存储器9存储图像数据、被检者(被检体)的数据、以及CPU 7的操作所用的各种程序。非易失性存储器9例如由硬盘(HD)或ROM组成。
发送/接收单元12包括至少一个通信I/F，以向超声探测器2供给电力，发送控制信号，并且接收回波信号。例如，基于来自CPU 7的控制信号，发送/接收单元12将用于发送超声束的信号供给至超声探测器2。此外，发送/接收单元12从超声探测器2接收反射信号(即，回波信号)，对所接收到的信号进行定相加法，并将通过定相加法所获取到的信号输出至信号处理单元13。
信号处理单元13包括B模式处理单元(或BC模式处理单元)、多普勒模式处理单元和彩色多普勒模式处理单元。B模式处理单元通过已知处理使与从发送/接收单元12供给的接收信号有关的振幅信息可视化，以生成B模式信号的数据。多普勒模式处理单元通过已知处理来在从发送/接收单元12供给的接收信号中提取多普勒频移分量，并且进一步进行快速傅立叶变换(FFT)处理，由此生成血流信息的多普勒信号的数据。彩色多普勒模式处理单元通过已知处理来基于从发送/接收单元12供给的接收信号使血流信息可视化，由此生成彩色多普勒模式信号的数据。信号处理单元13将所生成的各种类型的数据输出至图像生成单元14。
基于从信号处理单元13供给的数据，图像生成单元14通过已知处理来生成与扫描区域有关的二维或三维超声图像。例如，图像生成单元14根据所供给的数据来生成与扫描区域有关的体数据。图像生成单元14通过多平面重建(MPR)处理来根据所生成的体数据生成二维超声图像的数据，或者通过体绘制处理来根据所生成的体数据生成三维超声图像的数据。图像生成单元14将所生成的二维或三维超声图像输出至显示器5。超声图像的示例包括B模式图像、多普勒模式图像、彩色多普勒模式图像和M模式图像。
图3中的发送/接收单元12、信号处理单元13、图像生成单元14和照相机控制单元15各自可以由诸如专用集成电路(ASIC)或可编程逻辑阵列(PLA)等的硬件来实现。可选地，各单元可以通过诸如CPU或微处理器(MPU)等的可编程处理器执行软件来实现。还可选地，各单元也可以通过软件和硬件的组合来实现。
照相机控制单元15包括至少一个通信I/F，以向照相机3供给电力，发送和接收控制信号，并且发送和接收图像信号。可选地，照相机3可以不接收来自超声诊断设备主体1的电力的供给，并且可以包括用于单独驱动照相机3的电源。照相机控制单元15可以通过将控制信号经由通信I/F发送至照相机3来控制照相机3的诸如变焦、调焦和光圈值等的各种摄像参数。可以采用如下的结构：照相机3包括允许照相机3自动进行平摇和俯仰操作的云台(pan head)，照相机3可被配置为接收平摇/俯仰控制信号，使得通过平摇/俯仰驱动来控制照相机3的位置和取向。另外，可以在臂4的端部包括用于电控制照相机3的位置和取向的驱动单元和驱动控制单元，并且可以基于来自照相机控制单元15或CPU 7的控制信号来控制照相机3的位置和取向。
<处理流程>
图4是示出CPU 7的用于进行利用超声诊断设备100的检查处理整体的操作的处理流程的流程图。也就是说，以下步骤由CPU 7、或者根据来自CPU 7的指示由各组件来执行。
在步骤S401中，根据检查者的操作，CPU 7接通电源，加载非易失性存储器9中所存储的操作系统(OS)，并且启动该OS。然后，在步骤S402中，CPU7自动启动超声诊断应用。此时，CPU 7将启动画面的图像信号发送至显示器5，以使显示器5在其上显示启动画面。
在启动超声诊断应用之后，CPU 7在进行初始化处理之后，使显示器5的显示画面转变为被检者信息登记画面。在步骤S403中，根据检查者对控制面板6的操作，CPU 7接收用以登记被检者信息的登记指示。被检者信息表示与被检者的病状相对应的检查部位(例如，乳腺、心脏、动脉、腹部、颈动脉、甲状腺和静脉)、被检者标识(ID)、姓名、性别、出生日期、年龄、身高、体重、以及被检者是住院病人还是门诊病人。如果在输入被检者信息之后、通过检查者的操作按下了控制面板6中的(显示器5或操作面板上的)启动按钮，则CPU 7将被检者信息存储在存储器8或非易失性存储器9中。然后，CPU 7使显示器5的显示画面转变为基于超声诊断应用的测量画面。
在步骤S403中，CPU 7还接收用于手动设置检查部位的设置或用于自动设置检查部位的设置。以下将参考图5来说明在进行用于手动设置检查部位的设置的情况下要进行的处理的流程。以下将参考图7和图11来说明在进行用于自动设置检查部位的设置的情况下要进行的处理的流程(第一变形例和第二变形例)。
在显示画面转变为超声诊断应用的测量画面之后，然后在步骤S404中，进行基于检查者的操作的超声诊断中的测量处理。以下将说明测量处理的详情。
如果所有部位的检查都完成，则在步骤S405中，CPU 7将通过检查所获得的检查数据存储在非易失性存储器9或外部介质(未示出)中，或者将该检查数据经由通信I/F 10传送至外部设备(外部服务器)。
如果所有的处理都完成、并且检查者进行了断开电源的操作，则在步骤S406中，CPU 7进行用于结束超声检查应用和OS的结束处理。因而，一系列处理结束。
图5是示出在检查者进行用于手动设置检查部位的设置的情况下的、图4的步骤S404中的测量处理的流程的流程图。以下步骤由CPU 7、或者根据CPU7的指示由各组件来执行。
在步骤S501中，CPU 7对从超声探测器2接收到的回波信号进行信号处理和图像处理，由此生成超声图像。然后，CPU 7将该超声图像显示在显示器5上。以下将说明步骤S501中的超声图像处理的详情。
检查者确认显示器5上所显示的超声图像。然后，在可以获得期望的超声图像的状态下，CPU 7根据检查者的操作来确定超声图像。在步骤S502中，CPU 7将超声图像存储在存储器8中。
在步骤S503中，为了记录表示所检查的部位在何处的信息，根据检查者的操作使用身体标记或探测器标记来设置检查部位。此外，根据检查者的操作，可以将诸如注释或箭头等的标注输入至显示器5。
如果通过检查者的操作按下了确定按钮6b，则在步骤S504中，将与检查部位有关的信息存储在存储器8中。
如果用于测量特定检查部位的测量处理完成，则在步骤S505中，CPU 7判断是否测量了根据检查内容而预先确定的所有检查部位。如果任何部位仍未被检查(步骤S505中为“否”)，则处理返回到步骤S501的测量处理。根据检查者的操作来从预先根据检查部位或症状进行了分类并记录在非易失性存储器9中的信息中选择并设置与检查内容有关的信息。如果判断为用于测量所有检查部位的测量处理完成(步骤S505中为“是”)，则结束步骤S404的处理。
图6是示出步骤S501中的超声图像处理的详细流程的流程图。以下步骤由CPU 7、或者根据来自CPU 7的指示由信号处理单元13和图像生成单元14来执行。
如上所述，超声探测器2是检查装置的示例。超声探测器2在使用压电振子将超声波发送到被检者的内部的同时对扫描区域进行扫描，并且接收来自被检者的反射波作为回波信号(超声信号)。在本实施例中，超声探测器2可以通过检查者手持超声探测器2来操作。在步骤S601中，信号处理单元13和图像生成单元14对从超声探测器2发送来的超声信号进行信号处理和图像处理，由此生成超声图像。然后，CPU 7将该超声图像显示在显示器5上。为了获得期望的图像，检查者可以在确认显示器5上所显示的超声图像的同时，通过使用控制面板6调整各种处理参数来进一步校正超声图像。也就是说，在步骤S602中，根据控制面板6所接收到的操作信号来改变各种参数(例如，模式、增益、调焦和回波电平)，并且重新生成这些变化之后的超声图像并将该超声图像显示在显示器5上。
在步骤S603中，CPU 7判断是否按下超声探测器2中所设置的定格按钮6a。如果没有按下定格按钮6a(步骤S603中为“否”)，则重复步骤S601和S602。如果按下了定格按钮6a(步骤S603中为“是”)，则CPU 7在假定获取到了期望的超声图像的情况下，将此时拍摄到并生成的超声图像显示在显示器5上。然后，超声图像处理的处理流程结束。
(变形例1)
图7是示出在检查者进行用于自动设置检查部位的设置的情况下的、图4的步骤S404中的测量处理的详细流程的流程图。以下步骤由CPU 7、或者根据CPU 7的指示由各组件来执行。
在第一变形例中，图5的步骤S503中的、根据检查者的操作所进行的检查部位的设置是自动的。
在步骤S701中，CPU 7使照相机控制单元15启动并控制照相机3以拍摄包括被检者的图像。图14示出根据本实施例的使用检查系统的测量的图像图。此时，检查者移动臂4以将照相机3放置成处于被检者的一部分包括在照相机3的视角中的适当位置和取向。然后，检查者通过使用诸如控制面板6或照相机3中预先布置的快门按钮等的操作构件的操作使用照相机3来拍摄图像。本发明不限于此。可选地，用于控制照相机3的位置和取向以及控制图像的拍摄的步骤至少之一可以是自动的。也就是说，在具有包括平摇/俯仰机构的云台的照相机3附接至臂4的端部的实施例中，首先，照相机控制单元15控制照相机3的驱动，使得照相机3的位置和取向是适当的位置和取向。具体地，根据以照相机3的当前位置和取向获得的拍摄图像来通过图像分析检测被检者，并且通过平摇/俯仰控制来控制照相机3的位置和取向，使得被检者的一部分包括在照相机3的视角中。如果不能从以照相机3的当前位置和取向获得的拍摄图像中检测到被检者的一部分，则通过使照相机3平摇和俯仰到不同的视角来将照相机3的移动和图像的拍摄重复预定次数，直到检测到被检者的一部分为止。在照相机3被控制成处于适当的位置和取向之后，CPU 7使照相机3拍摄包括被检者的一部分的外观图像并获取该外观图像。此外，如果需要多个视角(多个视点以及多个位置和取向)的拍摄图像来进行用于预测被检者的位置和取向的预测处理，则可以控制照相机3的驱动，使得照相机3处于多个位置和取向，然后，可以使照相机3多次拍摄图像。
基于从照相机3获取到的外观图像，CPU 7预测躺在床上的被检者的位置和取向，并将预测结果显示在显示器5上。如果根据检查者对控制面板6的操作确定了被检者的位置和取向的预测结果，则CPU 7将此时的被检者的位置和取向存储在存储器8中。以下将说明用于预测包括在视角范围内的被检者的位置和取向的预测处理、用于预测超声探测器2的位置和取向的预测处理、以及用于基于这两个预测结果来识别检查部位的识别处理的详情。
然后，并行地处理步骤S702中的超声图像处理的流程和步骤S703中的检查部位识别A的流程。
步骤S702是与以上参考图6所述的步骤S501中的超声图像处理的流程等同的流程。
在步骤S703中，CPU 7使用从照相机3获取到的外观图像来自动预测检查部位，并将预测结果显示在显示器5上。以下将说明详情。
如果通过检查者的操作按下了超声探测器2中的定格按钮6a，则停止并确定基于来自超声探测器2的超声信号对显示器5上的超声图像的更新。与超声图像的确定同时或者在该确定之后，当按下定格按钮6a时，CPU 7将检查部位的预测结果显示在显示器5上。然后，结束步骤S702和S703的处理。
在步骤S704中，在如图18所示、将在步骤S701～S703中获得的超声图像、外观图像和检查部位识别(预测)信息显示在显示器5上的状态下，CPU 7接收用以确定超声图像的确定指示。超声图像1801和显示外观图像1803是在各个周期中顺次更新的，并且显示在显示器5上。作为检查部位识别信息1802，将在步骤S703中识别出的(或者所预测的但尚未被来自检查者的指示识别的)当前时刻的部位信息显示在显示器5上。CPU 7可以通过基于在步骤S403中预先接收到的大体检查部位信息或者所识别的部位信息对来自照相机3的外观图像的一部分进行裁剪、旋转或调整大小，来显示显示外观图像1803。如果超声图像是期望的超声图像，则通过检查者的操作按下确定按钮6b(步骤S704中为“是”)，并且处理进入步骤S705。在步骤S705中，CPU 7进行诸如记录和显示等的后处理。如果超声图像不是期望的超声图像，则检查者不按下确定按钮6b，或者进行其它预定操作(步骤S704中为“否”)，并且处理返回到步骤S702和S703的并行处理。
在步骤S706中，CPU 7判断是否测量了根据检查内容而预先确定的所有检查部位。如果存在仍未被检查的任何部位(步骤S706中为“否”)，则处理返回到步骤S702和S703的并行处理。在本实施例中，将用于检查多个检查部位的检查内容预先存储在非易失性存储器9中，并且在步骤S706中判断是否测量了根据检查内容而预先确定的所有检查部位。可选地，可以采用如下的形式：如果单个检查部位的拍摄和存储完成，则不进行上述判断，并且结束该流程。
图8是示出图7的步骤S701中的用于预测人体的位置和取向的预测处理的详细流程的流程图。以下步骤由CPU 7、或者根据CPU 7的指示由各组件来执行。
在步骤S801中，CPU 7使照相机控制单元15控制照相机3，以如图15A所示拍摄躺在床上的被检者。照相机3按预定帧频顺次拍摄图像，并且CPU 7经由照相机控制单元15的通信I/F接收外观图像，并将这些外观图像顺次显示在显示器5上。
在确认显示器5上所显示的外观图像的同时，检查者调整臂4的位置，使得作为被检者的至少一部分的关注检查部位包括在照相机3的视角内。显示器5可以显示如下的线，该线用于通过检查者调整照相机3的配置，来向检查者引导被检者的检查部位应位于所显示的外观图像中的哪个位置。此时，将用于引导检查者的线(即，要叠加在显示图像上的GUI数据)与同检查部位有关的信息相关联地预先存储在非易失性存储器9中。
在步骤S802中，基于作为外观图像所获取到的来自照相机3的图像，CPU7通过图像分析处理来预测人体的位置和取向。在本实施例中，作为与人体有关的位置/取向信息，输出包括诸如关节等的特征点的位置坐标的骨骼信息。关节是鼻子、颈部、右肩、右肘、右腕、左肩、左肘、左腕、髋部中心、髋部右部、右膝、右踝、髋部左部、左膝、左踝、右眼、左眼、右耳、左耳、左拇指、左小指、左足跟、右拇指、右小指和右足跟。作为用于从图像获得骨骼信息的方法，使用利用机器学习(深度学习)方法所训练的学习器。在本实施例中，使用如下的学习模型(学习器)，该学习模型(学习器)是使用包括作为被检体的人体的多个训练数据图像以及各训练数据图像中的骨骼信息(各关节的概率分布)的正解信息的集合来预先训练的。也就是说，预先使用包括被检体的多个训练数据图像以及正解信息的集合来训练学习模型。换句话说，用于训练的作为被检体的人体与被检体类似。在这种方法中，从照相机(包括立体照相机、红外照相机和TOF照相机)获得的信息可以是仅亮度图像、仅深度图像、或者亮度图像和深度图像这两者。在任何情况下，都可以基于二维(2D)坐标或三维(3D)坐标来获取骨骼信息。作为这样的学习器，例如，已知有卡内基梅隆大学(Carnegie MellonUniversity)的OpenPose(注册商标)。在本实施例中，将通过使用机器学习训练的学习器所预测的位置/取向信息(骨骼信息)以阵列或列表的形式存储在存储器中。具体地，输出表示诸如上述关节等的多个部位各自在图像中存在的概率的分布的信息作为预测位置/取向信息。如果在图像上部位n(n是整数)存在的可靠度的分布(概率分布)为Rn(x,y)，则将作为骨骼信息的输出R表示为R＝{Rn(x,y)|n＝1,2,...,N,N是整数}。可选地，Rn(x,y)可以不是图像的整个区域中的可靠度的分布，并且可以是仅可靠度大于阈值的区域中的可靠度的分布。还可选地，可以仅将可靠度的峰值作为Rn(x,y)与峰值的坐标相关联地存储(例如，部位3：右肩，可靠度：0.5，坐标：(x,y)＝(122,76))。
图15B示出通过在输出R中提取各部位的可靠度的峰值的位置(即，检测到各部位存在的概率最高的位置)、并且基于与所提取的位置有关的信息将骨骼信息可视化所获得的图像的示例。
在本实施例中，作为用于使用训练后的学习器从图像获得骨骼信息的预处理，进行诸如噪声去除、失真校正、颜色转换、亮度调整或颜色灰度校正等的图像质量的校正、以及图像的旋转或翻转。根据用于拍摄图像的照相机3的模型以及拍摄图像时的摄像条件来将校正所用的参数作为表存储在非易失性存储器9中。使用这些校正参数对所输入的外观图像进行校正处理，并且使外观图像接近训练中所使用的数据集中的图像的摄像条件，由此以更高的精度进行推断。例如，如下情况是可以的：在暗室拍摄到的图像中，当图像被校正为明亮时，发生高感光度噪声，并且图像的趋势不同于训练中所使用的数据集的趋势。在这种情况下，可以对所输入的外观图像进行去除高感光度噪声的处理。同样，在照相机3的镜头具有宽视角、并且所输入的外观图像的周边部大幅失真的情况下，可以校正失真。在数据集中所包括的所有图像中、头部都在上侧的情况下，可以在旋转或翻转图像使得头部在上侧之后输入这些图像。在使用通过某种处理对图像进行转换所获得的图像来训练学习器的情况下，也可同样地对输入图像进行转换，然后将该输入图像输入至学习器。
如图15B所示，在步骤S802中，也可能一起获取与检查者或被检者周围的人有关的骨骼信息。因而，在步骤S803中，CPU 7从在步骤S802中获得的骨骼信息的图像中识别与被检者有关的骨骼信息。
作为用于识别与被检者有关的骨骼信息的识别方法，例如，以下方法是可以的。这些方法其中之一是与面部认证处理组合的方法。CPU 7从外观图像对预先登记在非易失性存储器9中的检查者的面部进行认证。基于认证了并检测到检查者的面部的场所与在步骤S802中检测到的骨骼信息中作为面部的部位所检测到的部分(眼睛、鼻子和耳朵)之间的距离关系，来识别与检查者有关的骨骼信息和与被检者有关的骨骼信息。
作为另一方法，可以识别超声诊断设备100，并且可以基于超声诊断设备100与检查者和被检者之间的平面(图像中的XY方向)或三维(XYZ方向)距离关系来区分检查者和被检者。作为又一方法，基于骨骼信息中的关节点的位置之间的关系来识别取向的类型，并且区分检查者和被检者。作为又一方法，定义过程，使得当调整照相机3的视角时被检者出现在所确定的区域中，并且基于骨骼信息的位置来识别被检者。
在本实施例中，通过执行上述区分技术至少之一来识别检查者和被检者。然后，如图15C所示，使与所识别的被检者有关的位置/取向信息可视化。
在步骤S804中，CPU 7将通过将如此预测的与被检者有关的位置/取向信息叠加在来自照相机3的显示图像上所获得的图15D所示的图像显示在显示器5上。
作为CPU 7显示在显示器5上的图像，可以不直接使用照相机3所获取到的图像，而是可以通过考虑到隐私通过已知的图像处理用头像或动画代替该图像或者将该图像转换成3D模型，来显示该图像。
在步骤S805中，如果根据检查者的操作按下了定格按钮6a(步骤S805中为“是”)，则基于显示器5上顺次显示的外观图像对与被检者有关的骨骼信息(位置/取向信息)的预测结果的更新结束，并且处理进入步骤S806。如果没有按下定格按钮6a(步骤S805中为“否”)，则处理返回到步骤S801。在步骤S801中，CPU 7继续预测位置/取向信息。
在步骤S805中按下定格按钮6a之后，然后在步骤S806中，如果检查者确认显示器5上所显示的位置/取向信息的预测结果没有问题、并且操作确定按钮6b(步骤S806中为“是”)，则结束用于预测人体的位置和取向的预测处理。如果在步骤S806中位置和取向的预测结果不是期望结果(步骤S806中为“否”)，则处理返回到步骤S801。在步骤S801中，CPU 7重复地预测位置和取向。
在步骤S806中等待检查者的确认的原因是处理以下情况：被检者的取向不是期望取向的情况；照相机角度错误的情况；或者位置和取向的检测结果明显偏离人眼所看到的检测结果的情况。
在另一实施例中，可以省略(忽略)步骤S805和S806。也就是说，直到检查者判断为后续阶段的用于识别检查部位的识别处理是适当的、并且检查者进行确定操作为止，可以继续按预定时间间隔更新与人体有关的位置/取向信息。
在本实施例中，作为用于预测人体的位置和取向的方法，使用骨骼信息(关节信息)。可选地，可以基于网状信息来预测人的三维形状。这种技术也可以使用机器学习(机器学习器)来实现。也就是说，可以使用如下的学习器，该学习器是使用包括被检体的多个训练数据图像与各训练数据图像中的网状信息的正解(标签)信息的集合所预先训练的。
图9是示出图7的步骤S703中的检查部位识别A的详细操作的流程图。以下步骤由CPU 7、或者根据CPU 7的指示由各组件来执行。
在步骤S901中，CPU 7经由照相机控制单元15的通信I/F从照相机3获取包括超声探测器2的外观图像(图像数据)。由于在先前步骤中照相机3的视角被调整成包括被检者，因此可以在无需改变视角的情况下拍摄图像。然而，可以进行平摇控制、俯仰控制和变焦控制至少之一以获得使得能够更容易地进行超声探测器2的检测的视角。图16是示出在将视角从主要包括被检者的外观图像调整到主要包括超声探测器2的外观图像的情况下的照相机3的视角的变化、以及所拍摄到的图像的图像图。
在步骤S902中，CPU 7分析所获取到的外观图像以获得超声探测器2的位置和取向。具体地，CPU 7通过包括用于边缘检测的滤波处理、二值化处理、判断处理和形状识别处理的图像识别处理，来从外观图像中检测超声探测器2中所设置的多个增强现实(AR)标记(在各标记中设置有多个角)。为了以更高的精度进行图像识别，CPU 7可以进一步对从照相机3获取到的外观图像进行诸如锐度处理、增益处理和降噪处理等的图像处理。CPU 7检测超声探测器2中所设置的各个AR标记，并且基于所检测到的AR标记中存在的多个角之间的位置关系以及由这些角形成的图形的大小和失真状态，来计算超声探测器2的位置和取向。由于超声探测器2是刚性体，因此可以通过计算来获得AR标记与超声探测器2的检查面之间的关系。如图16和图21B所示，可以在标记附件204上放置多个(优选为三个或更多个)AR标记。将这些AR标记按预定间隔放置在超声探测器2的周围，使得无论超声探测器2的方向或连接器202的配置如何，都可以利用照相机3拍摄和获取到这些AR标记至少之一。在本实施例中，CPU 7输出以下作为与超声探测器2的位置和取向有关的输出。也就是说，CPU 7输出如下的位置/取向信息，该位置/取向信息包括外观图像中的位置信息(图像坐标信息(x,y))、基于照相机3的三维空间中的位置信息(x,y,z)、以及表示探测器2的方向的矢量信息(方向矢量d＝(x,y,z))。在步骤S903中识别检查部位的处理中使用位置信息(x,y)。使用位置/取向信息(x,y,z)或方向矢量d，以在步骤S904中将身体标记中的探测器2相对于检查部位的位置和取向显示在显示器5上所显示的画面上，使得可以从视觉上确认位置和取向。然而，本发明不限于此。可选地，可以将位置/取向信息用在用于识别检查部位的识别处理中。还可选地，在进行显示处理时，可以仅简单地显示位置信息。
不仅AR标记而且诸如LED或回射标记等的任何事物均可用作用于获得超声探测器2的位置和取向的基准(指标)，只要可以通过计算获得超声探测器2的位置和取向即可。
如上所述，通常，超声探测器2是刚性体，并且超声探测器2的位置和取向受到限制。因此，通过基于规则的处理(即，使用诸如AR标记等的预定图案的图像识别)来检测超声探测器2的位置和取向。这使得能够实现高检测精度，并且与使用利用机器学习所训练的学习器的技术相比，可以以更低的处理成本和更高的速度来获得位置和取向。
在步骤S903中，CPU 7基于在步骤S701中预先获得并存储在存储器8中的被检者的位置和取向的预测结果(R)与在步骤S902中获得的同超声探测器2有关的位置信息(x,y)之间的关系来识别检查部位。在本实施例中，在各骨骼信息中，按作为检查部位的部位的评价值的降序输出针对检查部位的多个后续作为识别结果。
作为用于在获取到骨骼信息R作为与被检者的位置和取向有关的信息的情况下识别检查部位的识别方法，以下的方法是可以的。
例如，提取各部位的可靠度分布Rn(x,y)中的可靠度的峰值的位置的坐标、即各部位的可靠度最高的位置的坐标(简称为“各部位的坐标”)。然后，基于各部位的坐标和与超声探测器2有关的位置信息之间的距离(欧几里得距离或马氏距离)来识别检查部位。也就是说，计算评价值，使得各部位的坐标和超声探测器2之间的距离越小，则该部位的评价值越大。此外，计算这些部位的评价值，使得与各部位的坐标相对应的可靠度越大，该部位的权重越大。然后，按多个部位的评价值的降序来提取出部位作为检查部位的候选。当计算评价值时，可以通过仅参考从超声探测器2的位置起的距离和各部位的可靠度分布中的任一个来获得评价值。
可选地，可以使用各部位的可靠度分布Rn(x,y)来在图像内的各区域中计算评价值。也就是说，可以在各部位中计算通过Rn(x,y)×(基于从超声探测器2起的距离的权重)所获得的评价值分布，并且可以将评价值最高的位置和与该位置相对应的部位识别为检查部位。
作为另一技术，可以基于连接上述各部位的位置的直线与同超声探测器2有关的位置信息(x,y)之间的距离、以及与这些直线相对应的点对处的部位的可靠度分布，来计算评价值，并且可以识别出检查部位。
作为另一技术，可以基于通过按特定比例对多个部位的位置之间的距离进行分割所获得的坐标与同超声探测器2有关的位置信息(x,y)之间的距离、以及分割部分中的点对处的部位的可靠度分布，来计算评价值，并且可以识别出检查部位。
作为另一技术，可以通过根据基于多个关节之间的关系按特定比例所获得的点创建2D或3D的封闭区域、并且判断与超声探测器2有关的位置信息(x,y)是在封闭区域内还是外，来计算评价值，并且可以识别出检查部位。
可选地，可以通过组合上述多个技术中的一部分或全部来计算评价值。
在步骤S903中，由于在步骤S701之后被检者移动，因此存储器8中所存储的被检者的位置和取向与被检者的当前位置和取向可能彼此不同。使用不同的位置和取向所识别的检查部位可能是错误的结果。因此，可以判断被检者是否正在移动。如果检测到被检者的移动，则处理可以返回到步骤S701。在步骤S701中，可以再次预测人体的位置和取向。
作为用于判断被检者是否正在移动的方法，例如，使用利用差分图像的方法或利用光流的方法。
在使用差分图像的情况下，例如，对检查者的手和探测器2的一部分进行掩蔽处理，并且在步骤S801和S901中所获取到的图像之间，对其余部分检查亮度值或色相是否改变了等于或大于阈值的量。此时，可以通过统计处理来检测该变化。
在使用光流的情况下，例如，将在预测人体的位置和取向时的步骤S801中获取到的照相机图像中的人体登记为图案，并且对步骤S901中的照相机图像进行模板匹配以检测移动。可选地，将在步骤S801中获取到的照相机图像暂时存储在存储器8中，并且在步骤S801中获取到的照相机图像和在步骤S901中获取到的图像之间计算通过尺度不变特征变换(SIFT)或加速的KAZE(AKAZE)所获得的特征点的移动量，以检测图像中的人体的移动。
可选地，可以使用诸如核相关滤波器(KCF)跟踪器等的已知跟踪技术。
在步骤S904中，CPU 7将在步骤S903中识别的检查部位显示在显示器5上。在步骤S905中，CPU 7确认是否在控制面板6上进行了与选择OK按钮相对应的操作、或者检查者是否进行了按下超声探测器2中的定格按钮6a的操作。图19示出在显示器5上显示的用以批准步骤S905中的检查部位的识别结果的画面的示例。将该画面显示在显示器5上，使得在与被检者的身体相对应的GUI身体标记1901上，与超声探测器2相对应的GUI探测器标记1902叠加在相应检查部位的位置处。此时，如果还识别出了检查部位的名称，则可以将该名称(图19中的“隔瓣”)连同身体标记1901和探测器标记1902一起显示。在该画面上显示用于确认检查结果的确认窗口1903，并且在确认窗口1903中显示OK和重做图标按钮。检查者使用控制面板6来选择并指定OK或重做按钮，或者按下超声探测器2中的定格按钮6a，以确定检查部位或者给出用以再次识别检查部位的指示。如果给出了用以选择OK按钮的指示、或者按下了定格按钮6a，则一系列处理结束。如果给出了用以选择重做按钮的指示、或者没有按下定格按钮6a，则重复步骤S901和用于识别检查部位的后续步骤的处理。在步骤S905中，在显示图19所示的用于提示检查者确认检查结果的窗口时，识别检查部位的处理可能中断。可选地，可以省略步骤S905的确定处理，并且可以在步骤S701～S704中的任何定时进行用于确定检查部位的确定处理。
图10是示出在图7的步骤S705中的测量处理之后的操作的流程图。以下步骤由CPU7、或者根据CPU 7的指示由各组件来执行。
在步骤S1001中，CPU 7将在步骤S704中确定的超声图像的数据存储在非易失性存储器9或外部介质中，或者将该数据传送至外部，并且还将在步骤S704中确定的超声图像显示在显示器5上。
在步骤S1002中，根据检查者的操作来确定通过步骤S703中的检查部位识别A的操作所识别的检查部位。此时，将在步骤S704中确定的超声图像以及在步骤S904中显示的身体标记和探测器标记同时地或可切换地显示在显示器5上。检查者再次确认显示器5上所显示的检查部位以及与探测器2有关的位置/取向信息。如果检查部位正确，则检查者按下控制面板6的预定操作构件或超声探测器2中的确定按钮6b。另一方面，如果检查部位不正确，则通过检查者对控制面板6的操作来将部位的第二候选和第三候选显示在显示器5上，并且通过检查者的操作来选择相应的检查部位。然后，通过如上所述的确定操作来确定该检查部位。
在步骤S1003中，CPU 7将与在步骤S1002中确定的检查部位有关的信息和与探测器2有关的位置/取向信息同在步骤S704中确定的超声图像相关联地存储在非易失性存储器9或外部介质中，或者将与检查部位有关的信息和与探测器2有关的位置/取向信息传送至外部。与检查部位有关的信息和与探测器2有关的位置/取向信息的示例包括检查部位的名称、与身体标记有关的位置/取向信息、以及与相对于身体标记的探测器标记有关的位置/取向信息。与探测器标记有关的位置/取向信息可以是二维图像上的角度，或者可以是三维取向信息。
(变形例2)
图11是在检查者进行用于自动设置检查部位的设置的情况下的、图4的步骤S404中的超声波诊断中的测量处理的另一形式的流程图。在该流程中，与图7的流程同样，图5的步骤S503中的根据检查者的操作所进行的检查部位的设置是自动的。以下步骤由CPU 7、或者根据CPU 7的指示由各组件来执行。
CPU 7并行地进行步骤S1101和S1102的处理。步骤S1101中的超声图像处理与(在图6中详细所述的)图5的步骤S501中的该处理相同。以下将说明步骤S1102中的检查部位识别B的处理。
在步骤S1103中，如果通过检查者的操作按下了控制面板6的预定操作构件或超声探测器2中的定格按钮6a(步骤S1103中为“是”)，则CPU 7停止显示器5上的超声图像的更新。与此同时或在此之后，CPU 7将按下定格按钮6a时的检查部位的识别结果显示在显示器5上，并且结束步骤S1101和S1102的处理。然后，处理进入步骤S1104。在步骤S1104中，进行测量后处理。
如果超声图像不是期望的超声图像(步骤S1103中为“否”)，则处理返回到步骤S1101和S1102的并行处理。
在用于测量特定检查部位的测量处理完成时，然后在步骤S1105中，CPU7判断是否测量了根据检查内容而预先确定的所有检查部位。如果存在仍未被检查的任何部位(步骤S1105中为“否”)，则处理返回到步骤S1101和S1102的并行处理。
图12是示出图11的步骤S1102中的检查部位识别B的操作的流程图。
不说明进行与图9的流程所示的处理中的操作基本上相同的操作的步骤。步骤S901对应于步骤S1201。步骤S902对应于步骤S1204。步骤S903对应于步骤S1205。步骤S904对应于步骤S1206。步骤S905对应于步骤S1207。
图12的流程与图9的流程的不同之处在于：在步骤S1202中，进行与图7的步骤S701相对应的、用于预测人体(被检者)的位置和取向的预测处理。在图7中，该处理在步骤S703的检查部位识别A的流程的外部进行。
在图12的处理中，不同于图7的处理，基于通过照相机3进行一次摄像所获得的单个照相机图像来进行用于预测人体的位置和取向的预测处理以及用于预测探测器2的位置和取向的预测处理，并且预测检查部位。因而，可以减少检查者按下定格按钮6a和按下确定按钮6b的操作。然而，如果不能同时拍摄到被检者的检查部位以及超声探测器2，可能难以识别检查部位。例如，检查部位隐藏在超声探测器2或检查者后面的情况是可能的。此外，部位识别的更新频率可能受到用于预测人体的位置和取向的预测处理所需的时间约束。相比之下，在图7的处理中，用于预测人体的位置和取向的照相机图像不同于用于预测探测器2的位置和取向的照相机图像。因而，容易避免上述问题。
(变形例3)
图13是示出图11的步骤S1102中的检查部位识别B的另一形式的详细流程的流程图。
不说明进行与图12的流程所示的处理中的操作基本上相同的操作的步骤。步骤S1201对应于步骤S1301和S1304。步骤S1202对应于步骤S1302。步骤S1203对应于步骤S1303。步骤S1204对应于步骤S1305。步骤S1205对应于步骤S1306。步骤S1206对应于步骤S1307。
图13与图12的不同之处在于：步骤S1301和S1302中的用于预测被检者的位置和取向的处理与步骤S1304～S1308中的用于预测超声探测器2的位置和取向以及检查部位的处理是并行地进行的。
在本实施例中，预测人体的位置和取向的处理的计算成本高于获得超声探测器2的位置和取向的处理的计算成本。这是因为进行包括滤波处理、二值化处理和形状识别处理的基于规则的处理以计算超声探测器2的位置和取向，并且在用于预测人体(被检者)的位置和取向的预测处理中使用利用使用深度学习所训练的学习器的识别处理。因而，在本实施例的步骤S1308中，直到用于预测人体的位置和取向的预测处理完成为止，仅更新超声探测器2的位置和取向的计算结果，并且识别检查部位。
(变形例4)
将说明在图7的步骤S703、图11的步骤S1102、或者图13的步骤S1302或S1304中进行的用于识别检查部位的识别处理的变形例。在上述实施例中，假定识别人体整体的检查部位而对各操作给出了说明。然而，这同样适用于诸如手等的局部检查对象。
例如，在用于检查风湿病的症状的超声检查中，检查被检者的手或脚的关节。因此，在本变形例的用于预测人体的位置和取向的经训练的学习器中，检查对象是局部的。作为学习器，通常，不同于针对人体整体的学习器，使用从所输入的图像输出与手或脚有关的骨骼(关节)信息的学习器。可选地，可以使用能够同时检测人体以及手或脚的骨骼的学习器。
作为局部检查对象的候选，如上所述，诸如手和脚等的多个候选是可以的。因而，与部位相对应地准备用于检测与这些部位有关的骨骼信息的多个经训练的学习器。然后，当进行检查部位识别处理时，所准备的多个学习器可以根据从照相机3获取到的外观图像来自动切换，或者可以通过利用检查者的操作预先选择并输入与相应部位有关的信息来切换。
手具有拇指和四个手指(食指、中指、无名指和小指)，各手指均具有第一关节到第四关节。本变形例中的经训练的学习器预测各关节的位置。
要输出的骨骼信息除了包括关节之外，还可以包括拇指和四个手指的指尖。作为第四关节，针对所有的拇指和四个手指设置相同的单个点。
图20是示出当检查对象是手的各部位中的任何部位时的检查的状态的图像图。配置照相机3并且控制照相机3的位置和取向，使得被检者的检查部位和超声探测器2落在照相机3的视角内。
图21A是如下的图像图：在本变形例所示的手的检查中，CPU 7预测与手有关的骨骼信息作为用于预测人体的位置和取向的预测处理，并且将骨骼信息以叠加在来自照相机3的外观图像上的方式显示在显示器5上。
图21B是如下的示例：在本变形例所示的手的检查中，将照相机3所获取到的图像以及探测器2的位置和取向的预测结果(交叉线)以叠加方式显示在显示器5上。
图21C是如下的示例：将人体的位置和取向的预测结果以及探测器2的位置和取向的预测结果一起显示在显示器5上。通过与步骤S903的处理同样的处理，可以识别检查部位，即哪个手指的哪个关节。
如上所述，在本实施例中，在检查时使用通过机器学习所获得的学习器来预测人体的位置和取向，并且通过将该预测结果与检查装置的位置的预测结果组合来识别检查部位，由此可以以更高的精度识别检查部位。
在本实施例中，为了预测检查装置的位置，通过处理负荷与人体的位置和取向的检测中的处理负荷相比更低的基于规则的处理来检测检查装置。因而，可以在跟踪移动量大且频繁移动的探测器的位置的同时，提供处理负荷更少的检查系统。
其它实施例
也可以如下实现本发明的目的。也就是说，将存储有描述用于实现上述实施例的功能的过程的软件的程序代码的存储介质供给至系统或设备。然后，该系统或设备的计算机(或者CPU或MPU)读取并执行存储介质中所存储的程序代码。
在这种情况下，从存储介质读取的程序代码自身实现了本发明的新颖功能，并且存储有该程序代码的存储介质以及程序构成了本发明。
用于供给程序代码的存储介质的示例包括软盘、硬盘、光盘和磁光盘。此外，还可以使用致密盘只读存储器(CD-ROM)、可记录致密盘(CD-R)、可重写致密盘(CD-RW)、数字多功能盘只读存储器(DVD-ROM)、数字多功能盘随机存取存储器(DVD-RAM)、可重写数字多功能盘(DVD-RW)、可记录数字多功能盘(DVD-R)、磁带、非易失性存储卡和ROM。
上述实施例的功能通过使计算机所读取的程序代码可执行来实现。此外，本发明还包括以下情况：基于来自程序代码的指示，在计算机上运行的OS进行实际处理的一部分或全部，并且通过该处理来实现上述实施例的功能。
此外，本发明还包括以下情况。首先，将从存储介质读取的程序代码写入插入到计算机的功能扩展板或连接至计算机的功能扩展单元内所包括的存储器。然后，基于来自程序代码的指示，功能扩展板或功能扩展单元中所包括的CPU进行实际处理的一部分或全部。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (16)

1.一种信息处理设备，包括：
一个或多个处理器；以及
存储器，用于存储指令，所述指令在由所述一个或多个处理器执行时，使得所述信息处理设备：
获取摄像设备所拍摄到的包括检查装置的至少一部分的第一图像和所述摄像设备所拍摄到的包括被检体的至少一部分的第二图像；
基于所述第一图像来预测所述检查装置的位置，作为第一预测；
基于所述第二图像来预测与所述被检体有关的位置/取向信息，作为第二预测；
基于所述第一预测和所述第二预测来识别所述被检体的检查部位，
其中，基于使用包括与所述被检体相似的被检体的多个训练数据图像而预先训练的学习模型，对所述第二图像进行所述第二预测，并且所述第二预测的结果是与所述被检体有关的位置/取向信息的输出。
2.根据权利要求1所述的信息处理设备，其中，所述第一预测通过滤波处理和形状识别处理来预测所述检查装置的位置。
3.根据权利要求1所述的信息处理设备，其中，所述第二预测的结果输出表示所述被检体的多个关节点和所述多个关节点的位置的骨骼信息，作为与所述被检体有关的位置/取向信息。
4.根据权利要求3所述的信息处理设备，其中，所述被检体的检查部位是基于所述第一预测所预测的所述检查装置的位置到所述多个关节点的距离来识别的。
5.根据权利要求4所述的信息处理设备，其中，所述指令的执行对所述一个或多个处理器进行配置，以计算评价值使得所述第一预测所预测的所述检查装置的位置到关节点的距离越小、该关节点被添加越大的权重，并且基于针对所述多个关节点中的各关节点所计算出的评价值来识别所述被检体的检查部位。
6.根据权利要求4所述的信息处理设备，
其中，所述第二预测的结果输出与所述被检体的所述多个关节点中的各关节点的可靠度有关的信息，以及
其中，所述被检体的检查部位是基于与所述可靠度有关的信息来识别的。
7.根据权利要求1所述的信息处理设备，
其中，所述第二预测的结果输出多个可靠度分布，所述多个可靠度分布表示多个部位存在于与所述第二图像相对应的区域中的概率的分布，以及
其中，所述被检体的检查部位是基于所述多个可靠度分布来识别的。
8.根据权利要求7所述的信息处理设备，其中，所述指令的执行进一步对所述一个或多个处理器进行配置，以将与所述多个部位相对应的可靠度分布中的可靠度的峰值的位置确定为所述被检体的表示所述多个部位的多个关节点。
9.根据权利要求7所述的信息处理设备，其中，所述指令的执行进一步对所述一个或多个处理器进行配置，以基于所述多个部位中的各部位与所述第一预测所预测的所述检查装置的位置之间的距离以及所述可靠度分布来计算该部位的评价值，并且基于所述评价值来识别所述被检体的检查部位。
10.根据权利要求1所述的信息处理设备，其中，在使用所述第一图像预测所述检查装置的位置时的与所述第一预测相关联的处理负荷小于在使用所述第二图像预测所述被检体的位置和取向时的所述第二预测的处理负荷。
11.根据权利要求1所述的信息处理设备，其中，所述第一图像和所述第二图像是从通过进行一次摄像所获得的图像获取到的。
12.根据权利要求1所述的信息处理设备，其中，在所述第一预测期间，通过从所述第一图像检测所述检查装置上所布置的标记来检测所述检查装置的位置。
13.根据权利要求1所述的信息处理设备，其中，在所述第一预测期间，通过从所述第一图像检测所述检查装置上所布置的标记来检测所述检查装置的位置和取向。
14.一种检查系统，包括：
一个或多个处理器；以及
存储器，用于存储指令，所述指令在由所述一个或多个处理器执行时，使得所述检查系统：
检查被检体；
拍摄包括检查装置的至少一部分的第一图像和包括所述被检体的至少一部分的第二图像；
基于所述第一图像来预测所述检查装置的位置，作为第一预测；
基于所述第二图像来预测与所述被检体有关的位置/取向信息，作为第二预测；
基于所述第一预测和所述第二预测来识别所述被检体的检查部位，
其中，基于使用包括与所述被检体相似的被检体的多个训练数据图像而预先训练的学习模型，对所述第二图像进行所述第二预测，并且所述第二预测的结果是与所述被检体有关的位置/取向信息的输出。
15.一种信息处理方法，包括：
获取摄像设备所拍摄到的包括检查装置的至少一部分的第一图像和所述摄像设备所拍摄到的包括被检体的至少一部分的第二图像；
基于所述第一图像来预测所述检查装置的位置，作为第一预测；
基于所述第二图像来预测与所述被检体有关的位置/取向信息，作为第二预测；
基于所述第一预测和所述第二预测来识别所述被检体的检查部位，
其中，基于使用包括与所述被检体相似的被检体的多个训练数据图像而预先训练的学习模型，对所述第二图像进行所述第二预测，并且所述第二预测的结果是与所述被检体有关的位置/取向信息的输出。
16.一种计算机可读存储介质，其包括用于进行信息处理方法的指令，所述信息处理方法包括：
获取摄像设备所拍摄到的包括检查装置的至少一部分的第一图像和所述摄像设备所拍摄到的包括被检体的至少一部分的第二图像；
基于所述第一图像来预测所述检查装置的位置，作为第一预测；
基于所述第二图像来预测与所述被检体有关的位置/取向信息，作为第二预测；
基于所述第一预测和所述第二预测来识别所述被检体的检查部位，
其中，基于使用包括与所述被检体相似的被检体的多个训练数据图像而预先训练的学习模型，对所述第二图像进行所述第二预测，并且所述第二预测的结果是与所述被检体有关的位置/取向信息的输出。
CN202010869737.2A 2019-08-26 2020-08-26 信息处理设备、检查系统、信息处理方法和存储介质 Active CN112435740B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019154069A JP7362354B2 (ja) 2019-08-26 2019-08-26 情報処理装置、検査システム及び情報処理方法
JP2019-154069 2019-08-26

Publications (2)

Publication Number Publication Date
CN112435740A true CN112435740A (zh) 2021-03-02
CN112435740B CN112435740B (zh) 2024-06-25

Family

ID=72139539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010869737.2A Active CN112435740B (zh) 2019-08-26 2020-08-26 信息处理设备、检查系统、信息处理方法和存储介质

Country Status (4)

Country Link
US (1) US20210065370A1 (zh)
EP (1) EP3786840A1 (zh)
JP (1) JP7362354B2 (zh)
CN (1) CN112435740B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3082136B1 (fr) * 2018-06-12 2020-09-04 Safran Aircraft Engines Robot mobile d'inspection d'une turbomachine
JP7321836B2 (ja) * 2019-08-26 2023-08-07 キヤノン株式会社 情報処理装置、検査システム及び情報処理方法
US11430564B2 (en) * 2019-11-27 2022-08-30 Shanghai United Imaging Intelligence Co., Ltd. Personalized patient positioning, verification and treatment
FR3126615A1 (fr) * 2021-09-09 2023-03-10 Supersonic Imagine Dispositif pivotant pour une sonde d’échographie
CN113855072B (zh) * 2021-09-28 2023-09-12 青岛海信医疗设备股份有限公司 超声设备及超声设备工作方法
IT202200001094A1 (it) * 2022-01-24 2023-07-24 Guido Giordano Sistema e metodo per l’acquisizione e la visualizzazione di immagini ecografiche in condizione di realtà aumentata
CN118334255B (zh) * 2024-06-14 2024-08-27 南京先维信息技术有限公司 基于深度学习的高分辨率图像三维重建方法、系统与介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008023464A1 (fr) * 2006-08-25 2008-02-28 The Nippon Dental University APPAREIL D'apprentissage médical
JP2015029791A (ja) * 2013-08-05 2015-02-16 株式会社東芝 医用機器操作支援装置及び超音波診断装置
CN105407811A (zh) * 2013-05-28 2016-03-16 伯尔尼大学 用于超声图像的3d获取的方法和系统
CN106923863A (zh) * 2015-10-09 2017-07-07 柯尼卡美能达株式会社 超声波图像诊断装置
US20180228460A1 (en) * 2017-02-16 2018-08-16 Siemens Healthcare Gmbh Estimating Patient Internal Anatomical Structures From Surface Data
JP2018175007A (ja) * 2017-04-04 2018-11-15 キヤノン株式会社 情報処理装置、検査システム及び情報処理方法
JP2019040592A (ja) * 2018-06-04 2019-03-14 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
US20190239850A1 (en) * 2018-02-06 2019-08-08 Steven Philip Dalvin Augmented/mixed reality system and method for the guidance of a medical exam

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5390215B2 (ja) * 2009-02-25 2014-01-15 株式会社日立ハイテクノロジーズ 欠陥観察方法および欠陥観察装置
WO2013134782A1 (en) * 2012-03-09 2013-09-12 The Johns Hopkins University Photoacoustic tracking and registration in interventional ultrasound
CN105611877A (zh) * 2013-09-18 2016-05-25 深圳迈瑞生物医疗电子股份有限公司 引导超声图像采集的方法和系统
KR101705120B1 (ko) * 2014-08-28 2017-02-09 삼성전자 주식회사 자가 진단 및 원격 진단을 위한 초음파 진단 장치 및 초음파 진단 장치의 동작 방법
EP3471623B1 (en) * 2016-06-20 2023-01-25 Butterfly Network, Inc. Automated image acquisition for assisting a user to operate an ultrasound device
US10573050B1 (en) * 2018-11-20 2020-02-25 Sony Corporation Marker-based pose estimation
JP6873186B2 (ja) * 2019-05-15 2021-05-19 日本テレビ放送網株式会社 情報処理装置、スイッチングシステム、プログラム及び方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008023464A1 (fr) * 2006-08-25 2008-02-28 The Nippon Dental University APPAREIL D'apprentissage médical
CN105407811A (zh) * 2013-05-28 2016-03-16 伯尔尼大学 用于超声图像的3d获取的方法和系统
JP2015029791A (ja) * 2013-08-05 2015-02-16 株式会社東芝 医用機器操作支援装置及び超音波診断装置
CN106923863A (zh) * 2015-10-09 2017-07-07 柯尼卡美能达株式会社 超声波图像诊断装置
US20180228460A1 (en) * 2017-02-16 2018-08-16 Siemens Healthcare Gmbh Estimating Patient Internal Anatomical Structures From Surface Data
JP2018175007A (ja) * 2017-04-04 2018-11-15 キヤノン株式会社 情報処理装置、検査システム及び情報処理方法
US20190239850A1 (en) * 2018-02-06 2019-08-08 Steven Philip Dalvin Augmented/mixed reality system and method for the guidance of a medical exam
JP2019040592A (ja) * 2018-06-04 2019-03-14 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHE CAO等: ""OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields"", 《IEEE》, pages 1 - 14 *

Also Published As

Publication number Publication date
JP7362354B2 (ja) 2023-10-17
JP2021029675A (ja) 2021-03-01
EP3786840A1 (en) 2021-03-03
CN112435740B (zh) 2024-06-25
US20210065370A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
CN112435740B (zh) 信息处理设备、检查系统、信息处理方法和存储介质
CN112508840B (zh) 信息处理设备、检查系统、信息处理方法和存储介质
KR101922180B1 (ko) 초음파 영상 처리 장치 및 초음파 영상 처리 방법
KR102144672B1 (ko) 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법
KR102442178B1 (ko) 초음파 진단장치 및 그에 따른 초음파 진단 방법
JP6824125B2 (ja) 医用撮像装置及び画像処理方法
KR102273020B1 (ko) 의료 영상 정합 방법 및 그 장치
CN103781424A (zh) 超声波诊断装置以及图像处理方法
KR20120072961A (ko) 의료 영상을 이용한 영상진단을 보조하는 방법 및 장치, 이를 수행하는 영상진단 시스템
KR20170007209A (ko) 의료 영상 장치 및 그 동작 방법
CN112386278A (zh) 用于相机辅助超声扫描设置和控制的方法和系统
US9357981B2 (en) Ultrasound diagnostic device for extracting organ contour in target ultrasound image based on manually corrected contour image in manual correction target ultrasound image, and method for same
JP6744141B2 (ja) 超音波診断装置及び画像処理装置
JP2023525742A (ja) リスク及び不確実性の定量化を介する医療超音波画像に対する機械学習予測のゲーティング
US11191526B2 (en) Ultrasound diagnosis apparatus and method of controlling the same
KR20190085342A (ko) 초음파 진단 장치의 제어 방법 및 초음파 진단 장치
JP7215053B2 (ja) 超音波画像評価装置、超音波画像評価方法および超音波画像評価プログラム
US7907764B2 (en) Apparatus, program and method for motion analysis in internal body
KR102695456B1 (ko) 대상체에 관한 횡파 탄성 데이터를 표시하는 초음파 진단 장치 그 동작 방법
US11766236B2 (en) Method and apparatus for displaying ultrasound image providing orientation of fetus and computer program product
KR20150026354A (ko) 의료영상들을 정합하는 방법 및 장치
JP7516172B2 (ja) 超音波診断装置およびプログラム
JP2023073109A (ja) 情報処理装置、医用画像診断装置、プログラム及び記憶媒体
EP3851051B1 (en) Ultrasound diagnosis apparatus and operating method thereof
JP6554596B2 (ja) 医用診断支援装置、方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant