CN112508840A - 信息处理设备、检查系统、信息处理方法和存储介质 - Google Patents

信息处理设备、检查系统、信息处理方法和存储介质 Download PDF

Info

Publication number
CN112508840A
CN112508840A CN202010870748.2A CN202010870748A CN112508840A CN 112508840 A CN112508840 A CN 112508840A CN 202010870748 A CN202010870748 A CN 202010870748A CN 112508840 A CN112508840 A CN 112508840A
Authority
CN
China
Prior art keywords
image
inspection
subject
information
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010870748.2A
Other languages
English (en)
Inventor
小田切润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN112508840A publication Critical patent/CN112508840A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/40—Positioning of patients, e.g. means for holding or immobilising parts of the patient's body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本发明涉及一种信息处理设备、检查系统、信息处理方法和存储介质。所述信息处理设备包括：获取包括检查装置的至少一部分的第一图像和包括被检者的至少一部分的第二图像；基于所述第一图像来估计所述检查装置的位置；基于所述第二图像来估计所述被检者的位置和取向信息；根据估计结果来识别所述被检者的检查区域；以及控制如下的确定指示的接收：用以基于从检查部件顺次获取到的检查结果来确定要记录或输出到外部的检查结果的确定指示、以及用以将检查区域信息与所述检查结果相关联地记录或输出到外部的确定指示，其中，在接收针对所述检查结果的确定指示之前，接收针对所述检查区域信息的确定指示。

Description

信息处理设备、检查系统、信息处理方法和存储介质
技术领域
本发明涉及用于医学领域中的基于医学图像的诊断的信息处理设备、检查系统、信息处理方法和计算机可读存储介质。
背景技术
在医学领域，医生通过使用利用各种医学影像设备(检查系统)拍摄到的医学图像来进行诊断。医学影像设备包括超声诊断设备、光声成像设备(以下称为光声层析成像(PAT)设备)、磁共振成像(MRI)设备和计算机断层成像设备(以下称为X射线计算断层成像(CT)设备)。日本特开2018-175007论述了如下的系统，该系统用于基于检查系统和被检者之间的位置关系，来判断(识别)在这些设备上对被检者的哪个部位进行摄像以得到要用于诊断的医学图像。
更具体地，该系统拍摄检查图像，然后获取拍摄到检查中的被检者和探测器的外观图像。然后，该系统基于所获取到的外观图像来识别被检者和探测器的位置，然后基于这两个位置之间的关系来自动计算检查区域。
然而，根据日本特开2018-175007中所论述的过程，根据同时拍摄到的照相机图像所计算出的区域的识别可能失败，或者尽管获取到了合适的超声图像，但可能产生错误的估计。在这种情况下，检查者需要尝试在适当地使超声探测器再次接触被检者的状态下重新获取超声图像和照相机图像，这导致对检查者和被检者这两者造成负担，从而成为问题。此外，在放弃使用照相机的自动数据输入的情况下，检查者需要手动操作控制面板以输入区域信息，这导致对检查者和被检者这两者造成负担，从而成为另一问题。
发明内容
本发明在其第一方面中提供一种信息处理设备，包括：获取部件，用于获取包括检查装置的至少一部分的第一图像和包括被检者的至少一部分的第二图像，所述第一图像和所述第二图像是利用摄像部件拍摄到的；第一估计部件，用于基于所述第一图像来估计所述检查装置的位置；第二估计部件，用于基于所述第二图像来估计所述被检者的位置和取向信息；区域识别部件，用于根据所述第一估计部件的估计结果和所述第二估计部件的估计结果来识别所述被检者的检查区域；以及控制部件，用于接收用以基于从用于检查所述被检者的检查部件顺次获取到的检查结果来确定要记录或输出到外部的检查结果的确定指示、以及用以将检查区域信息与所述检查结果相关联地记录或输出到外部的确定指示，其中，所述控制部件被配置为在接收针对所述检查结果的确定指示之前，接收针对所述检查区域信息的确定指示。
本发明在其第二方面中提供一种检查系统，包括：检查部件，用于检查被检者；摄像部件，用于拍摄包括检查装置的至少一部分的第一图像和包括被检者的至少一部分的第二图像；第一估计部件，用于基于所述第一图像来估计所述检查装置的位置；第二估计部件，用于基于所述第二图像来估计所述被检者的位置和取向信息；区域识别部件，用于根据所述第一估计部件的估计结果和所述第二估计部件的估计结果来识别所述被检者的检查区域；以及控制部件，用于接收用以基于从所述检查部件顺次获取到的检查结果来确定要记录或输出到外部的检查结果的确定指示、以及用以将检查区域信息与所述检查结果相关联地记录或输出到外部的确定指示，其中，所述控制部件被配置为在接收针对所述检查结果的确定指示之前，接收针对所述检查区域信息的确定指示。
本发明在其第三方面中提供一种信息处理方法，包括：获取包括检查装置的至少一部分的第一图像和包括被检者的至少一部分的第二图像，所述第一图像和所述第二图像是利用摄像部件拍摄到的；基于所述第一图像来估计所述检查装置的位置，作为第一估计；基于所述第二图像来估计所述被检者的位置和取向信息，作为第二估计；根据所述第一估计的结果和所述第二估计的结果来识别所述被检者的检查区域；以及控制如下的确定指示的接收：用以基于从用于检查所述被检者的检查部件顺次获取到的检查结果来确定要记录或输出到外部的检查结果的确定指示、以及用以将检查区域信息与所述检查结果相关联地记录或输出到外部的确定指示，其中，在该控制中，在接收针对所述检查结果的确定指示之前，接收针对所述检查区域信息的确定指示。
本发明在其第四方面中提供一种存储有程序的计算机可读存储介质，所述程序包括指令，所述指令在由计算机执行时，使得所述计算机用作上述的信息处理设备的各部件。
本发明在其第五方面中提供一种存储有程序的计算机可读存储介质，所述程序包括指令，所述指令在由计算机执行时，使得所述计算机进行上述的方法。
通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。以下所述的本发明的各个实施例可以单独实现，或者在需要的情况下或在将各个实施例中的元件或特征组合成一个实施例有益的情况下作为多个实施例或这些实施例的特征的组合来实现。
附图说明
图1示出根据第一典型实施例的检查系统的结构的示例。
图2示出根据第一典型实施例的探测器的结构的示例。
图3是示出根据第一典型实施例的检查系统的结构的示例的框图。
图4是示出根据第一典型实施例的检查系统的整体处理的流程图。
图5是示出根据第一典型实施例的测量处理的流程图。
图6是示出根据第一典型实施例的超声图像处理的流程图。
图7是示出根据第一典型实施例的第一变形例的测量处理的流程图。
图8是示出根据第一典型实施例的估计人体的位置和取向的处理的流程图。
图9是示出根据第一典型实施例的针对检查区域识别A的处理的流程图。
图10是示出根据第一典型实施例的测量后处理的流程图。
图11是示出根据第一典型实施例的第二变形例的测量处理的流程图。
图12是示出根据第一典型实施例的针对检查区域识别B的处理的流程图。
图13是示出根据第一典型实施例的针对检查区域识别B的处理的另一流程图。
图14示出根据第一典型实施例的使用检查系统的测量的图像。
图15A、15B、15C和15D示出根据第一典型实施例的在使用检查系统的测量时获得的输出结果的图像。
图16示出根据第一典型实施例的外观图像和在该外观图像中拍摄到的供给至探测器的标记的图像。
图17示出根据第一典型实施例的如下图像，在该图像中，作为估计人体的位置和取向的结果的骨骼信息与作为估计探测器的位置和取向的结果的交叉线叠加。
图18示出根据第一典型实施例的在超声图像测量时在显示器上显示的画面的图像。
图19A、19B和19C示出根据第一典型实施例的在超声图像确定之后识别检查区域时在显示器上显示的画面的图像。
图20示出根据第一典型实施例的第三变形例的检查状态的图像。
图21示出根据第一典型实施例的第三变形例的在使用检查系统的测量时获得的显示输出结果的图像。
具体实施方式
[第一典型实施例]
以下将参考附图来说明第一典型实施例。
图1是示出作为根据第一典型实施例的检查系统的示例的超声诊断设备100的总体图。根据本发明的信息处理设备也可应用于能够处理所拍摄到的图像的任何电子设备。这些电子设备可以包括便携式电话、平板终端、个人计算机、以及时钟型/手表型或眼镜型的信息终端。
超声诊断设备100包括超声诊断设备本体1、超声探测器2、照相机3、臂4、显示器5和控制面板6。超声诊断设备本体1的壳体在内部包括包含各种控制单元、电源和通信接口(I/F)的计算机，作为信息处理设备。
超声探测器2在其端面与被检者的表面接触的状态下发送和接收超声波。超声探测器2包括多个压电振子，这些压电振子在端面处一维地排列(排成一行)。超声探测器2在通过使用各压电振子将超声波发送到被检者身体中的同时对扫描区域进行扫描，并且接收来自被检者的反射波作为回波信号。可用的扫描方法包括B模式扫描、多普勒模式扫描和任何其它的扫描方法。
图2示出超声探测器2的外观。超声探测器2包括超声探测器本体201、连接器202、标记附件203、标记204、定格按钮6a和确定按钮6b。
超声诊断设备本体1上布置的臂4的端部处所安装的照相机3可用于拍摄超声诊断设备100周围的状态。根据本典型实施例，照相机3主要用于拍摄用于在使用超声探测器2对被检者进行检查时识别检查区域的外观图像。更具体地，在使用超声探测器2对被检者进行检查时，照相机3拍摄包括被检者的检查区域和超声探测器2的外观图像。
照相机3包括摄像光学系统、图像传感器、中央处理单元(CPU)、图像处理电路、只读存储器(ROM)、随机存取存储器(RAM)和至少一个通信I/F，作为普通照相机的结构。在来自被检者的光束经由包括透镜和其它光学元件的摄像光学系统在包括电荷耦合器件(CCD)传感器和互补金属氧化物(CMOS)传感器的图像传感器上成像时，拍摄到图像。摄像光学系统包括透镜组。照相机3包括用于通过沿着光轴驱动透镜组来控制变焦和调焦的透镜驱动控制单元。从图像传感器输出的电信号由模数(A/D)转换器转换成数字图像数据。该数字图像数据由图像处理电路进行各种图像处理，并且如此得到的结果被输出至外部设备。代替经过图像处理电路的图像处理，数字图像数据可以经由通信I/F被输出至外部设备，然后由外部设备的处理单元进行处理。
根据本典型实施例，照相机3使用主要接收可见光区域的光以拍摄图像的图像传感器。然而，照相机3的示例不限于此，而且可以是接收红外光区域的光以拍摄图像的照相机，或者接收诸如可见光和红外光等的多个波长区域的光以拍摄图像的照相机。另外，照相机3可以是不仅能够进行外观图像拍摄而且还能够进行测距的立体照相机、或者具有用于测距的飞行时间(ToF)传感器的照相机。在下文，将照相机3所拍摄到的图像称为照相机图像。
臂4安装在超声诊断设备本体1中，并且用于将照相机3布置于能够拍摄包括被检者的检查区域和超声探测器2的外观图像的位置和取向。根据本典型实施例，臂4是具有五个关节的串联连杆机构臂。臂4的端部的连接有照相机3的关节是使得能够容易地设置照相机3的取向的球关节。
包括诸如液晶显示器(LCD)等的显示装置的显示器5显示从超声诊断设备本体1输入的图像、菜单画面和图形用户界面(GUI)。显示器5将存储器8中所存储的图像和非易失性存储器中所记录的图像显示在显示装置上。显示器5是用于在CPU 7的控制下显示超声图像、照相机图像、身体标记图像、探测器标记图像和区域识别结果的设备。身体标记图像是简单地表示身体形状的图像，并且通常用于超声诊断设备。探测器标记是以叠加在身体标记图像上的状态显示的，并且是为了识别超声探测器2接触被检者身体上的接触面的角度的目的而应用的。
控制面板6包括键盘、跟踪球、开关、拨盘和触摸面板。控制面板6接收检查者通过使用这些操作构件所进行的各种输入操作。在本说明书中，检查者是指医生、护士、或者经培训/授权以使用超声诊断设备100/检查系统的任何其它用户或人员。各种输入操作包括用以进行使用超声探测器2的摄像和使用照相机3的摄像的摄像指示、用以显示各种图像的指示、以及用以进行图像切换、模式选择和各种设置的指示。所接收到的输入操作信号被输入至超声诊断设备本体1，然后被反映到CPU 7对各单元进行的控制。在采用触摸面板的情况下，触摸面板可以是与显示器5一体的。检查者可以通过对显示器5上所显示的按钮进行触摸和拖动操作来在超声诊断设备本体1上进行各种设置以及进行操作。
当在正从超声探测器2顺次获取信号并且正更新存储器8中的超声图像的状态下、检查者操作定格按钮6a时，来自超声探测器2的信号停止，并且存储器8中的超声图像的更新被暂停。同时，来自照相机3的信号也停止，并且存储器8中的照相机图像的更新被暂停。在检查者在更新停止的状态下操作定格按钮6a的情况下，再次从超声探测器2接收到信号，开始存储器8中的超声图像的更新，并且也以同样的方式开始照相机图像的更新。当检查者在通过按下定格按钮6a固定了一个超声图像的状态下操作确定按钮6b时，CPU 7将超声图像存储在非易失性存储器9中。定格按钮6a和确定按钮6b可以不是设置在控制面板6上，而是设置在超声探测器2上。
图3是示出超声诊断设备本体1的结构的框图。超声诊断设备本体1包括发送和接收单元12、信号处理单元13、图像生成单元14、照相机控制单元15、CPU 7、存储器8、非易失性存储器9和通信I/F 10，所有这些全部连接至内部总线17。连接至内部总线17的这些单元被配置为经由内部总线17彼此交换数据。
存储器8包括RAM(诸如使用半导体元件的易失性存储器等)。CPU 7根据例如非易失性存储器9中所存储的程序，通过使用存储器8作为工作存储器来控制超声诊断设备本体1的各单元。非易失性存储器9存储图像数据、被检者数据和用于操作CPU 7的各种程序。非易失性存储器9包括硬盘(HD)和ROM。
发送和接收单元12包括至少一个通信I/F，该至少一个通信I/F用于向超声探测器2供给电力，将控制信号发送至超声探测器2，并且从超声探测器2接收回波信号。发送和接收单元12例如基于来自CPU 7的控制信号来将用于指示超声探测器2发射超声波束的信号供给至超声探测器2。发送和接收单元12进一步从超声探测器2接收反射信号(即，回波信号)，对所接收到的信号进行定相加法，并将通过定相加法所获取到的信号输出至信号处理单元13。
信号处理单元13包括B模式处理单元(或Bc模式处理单元)、多普勒模式处理单元和彩色多普勒模式处理单元。B模式处理单元通过已知处理来对从发送和接收单元12供给的接收信号的振幅信息进行摄像，以生成B模式信号数据。多普勒模式处理单元通过已知处理来在从发送和接收单元12供给的接收信号中提取多普勒频移分量。然后，多普勒模式处理单元对接收信号进行快速傅立叶变换(FFT)处理以生成作为血流信息的多普勒信号数据。彩色多普勒模式处理单元通过已知处理来基于从发送和接收单元12供给的接收信号对血流信息进行摄像，以生成彩色多普勒模式信号数据。信号处理单元13将所生成的各种数据输出至图像生成单元14。
图像生成单元14基于从信号处理单元13供给的数据，通过已知处理来生成与扫描区域有关的二维和/或三维超声图像。例如，图像生成单元14基于所供给的数据来生成与扫描区域有关的体数据。基于所生成的体数据，图像生成单元14通过多平面重建(MPR)处理生成二维超声图像数据，以及/或者通过体绘制处理生成三维超声图像数据。图像生成单元14将所生成的二维超声图像和三维超声图像输出至显示器5。超声图像的示例包括B模式图像、多普勒模式图像、彩色多普勒模式图像和M模式图像。
发送和接收单元12、信号处理单元13、图像生成单元14、以及照相机控制单元15各自均可以由诸如专用集成电路(ASIC)和可编程逻辑阵列(PLA)等的硬件来实现。另外，这些单元可以通过诸如CPU和微处理器单元(MPU)等的可编程处理器执行软件来实现，或者通过软件和硬件的组合来实现。
照相机控制单元15包括至少一个通信I/F，该至少一个通信I/F用于向照相机3供给电力，并且相对于照相机3发送和接收控制信号和图像信号。照相机3在未被供给来自超声诊断设备本体1的电力的情况下，可以配备有供单个单元操作用的电源。照相机控制单元15可以通过经由通信I/F向照相机3发送控制信号来控制照相机3的各种摄像参数(例如，变焦值、调焦值和光阑值)。照相机3可以配备有可以自动平摇和俯仰的云台(tripod head)，并且被配置为接收平摇俯仰控制信号并经由平摇俯仰驱动进行位置和取向控制。另外，可以在臂4的端部布置有用于电控制照相机3的位置和取向的驱动单元和驱动控制单元。在这种情况下，可以基于来自照相机控制单元15或CPU 7的控制信号来控制照相机3的位置和取向。
<处理流程>
图4是示出CPU 7为了实现由超声诊断设备100进行的检查处理的整体操作所进行的处理流程的流程图。更具体地，以下步骤中的操作由CPU 7、或者在CPU 7的指示下由各单元来执行。
在步骤S401中，CPU 7响应于检查者的操作而接通(ON)电源，并且加载非易失性存储器9中所存储的操作系统(OS)。在步骤S402中，CPU 7自动启动超声诊断应用。此时，CPU 7将启动画面的图像信号发送至显示器5以显示启动画面。
在超声诊断应用启动、然后初始化处理完成之后，CPU 7将显示器5上的显示画面改变为被检者信息登记画面。在步骤S403中，CPU 7基于检查者对控制面板6的操作来接收用以登记被检者信息的指示。被检者信息包括与被检者的症状有关的检查区域信息(乳腺、心脏、动脉、腹部、颈动脉、甲状腺、静脉等)、被检者标识符(ID)、姓名、性别、出生日期、年龄、身高、体重、住院或门诊。在输入被检者信息之后，当检查者按下控制面板6的(显示器或操作面板上的)开始按钮时，CPU 7将被检者信息存储在存储器8或非易失性存储器9中。然后，CPU 7将显示器5上的显示画面改变为超声诊断应用的测量画面。
在步骤S403中，CPU 7还接收与是手动还是自动设置检查区域有关的设置。以下将参考图5来说明在进行用于手动设置检查区域的设置的情况下的流程图。以下将参考图7和图11来说明在进行用于自动设置检查区域的设置的情况下的流程图(第一变形例和第二变形例)。
在显示超声诊断应用的测量画面之后，在步骤S404中，CPU 7根据检查者的操作来进行超声诊断的测量处理。以下将详细说明该测量处理。
在完成了所有区域的检查时，然后在步骤S405中，CPU 7将在检查中获得的检查数据存储在非易失性存储器9或外部介质(未示出)中，或者将该检查数据经由通信I/F 10传送至外部设备(外部服务器)。
当整个处理完成并且检查者断开(OFF)电源时，然后在步骤S406中，CPU 7进行结束超声诊断应用和OS的处理以完成这一系列处理。
图5是示出在检查者进行用于手动设置检查区域的设置的情况下的、图4所示的步骤S404中的测量处理的处理流程的流程图。以下的各步骤由CPU 7、或者在CPU 7的指示下由各单元来执行。
在步骤S501中，CPU 7对从超声探测器2接收到的回波信号进行信号处理和图像处理以生成超声图像，并将该超声图像显示在显示器5上。以下将详细说明步骤S501中的超声图像处理。
当检查者确认显示器5上所显示的超声图像时，并且在可获得期望的超声图像的情况下，CPU 7基于检查者的操作来确定超声图像。在步骤S502中，CPU 7将超声图像存储在存储器8中。
在步骤S503中，为了记录与检查区域在何处有关的信息，根据检查者的操作来设置诸如身体标记和探测器标记等的检查区域。可以根据检查者的操作来将诸如注释和箭头等的标注输入到显示器5。
当检查者按下确定按钮6b时，然后在步骤S504中，CPU将与检查区域有关的信息存储在存储器8中。
在完成特定检查区域的测量处理时，然后在步骤S505中，CPU 7判断针对基于检查项而预先确定的所有检查区域是否都完成了测量。如果针对任何检查区域未完成检查(步骤S505中为“否”)，则处理返回到步骤S501。然后，CPU 7再次进行测量处理。预先基于检查区域和症状来对与检查项有关的信息进行分类并记录在非易失性存储器9中。然后，基于检查者的操作来从分类后并记录的信息中选择信息并设置该信息。如果针对所有检查区域都完成了测量处理(步骤S505中为“是”)，则CPU 7结束步骤S404的处理。
图6是示出步骤S501中的超声图像处理的详细流程的流程图。以下的各步骤由CPU7、或者在CPU 7的指示下由信号处理单元13和图像生成单元14来执行。
如上所述，作为检查装置的示例的超声探测器2在通过使用各压电振子将超声波发送到被检者身体中的同时对扫描区域进行扫描，并且接收来自被检者的反射波作为回声信号(超声信号)。根据本典型实施例，超声探测器2被配置为可由检查者以手持超声探测器2的方式操作。在步骤S601中，信号处理单元13和图像生成单元14分别对超声探测器2发送来的超声信号进行信号处理和图像处理，以生成超声图像。然后，CPU 7将该超声图像显示在显示器5上。为了获得期望的图像，检查者可以在监视显示器5上所显示的超声图像的同时，通过使用控制面板6来进一步调整并校正各种处理参数。更具体地，在步骤S602中，基于控制面板6所接受的操作信号来改变各种参数(模式、增益、调焦、回波电平等)，并且再生成该改变之后的超声图像并将该超声图像显示在显示器5上。
在步骤S603中，CPU 7判断是否按下超声探测器2上所设置的定格按钮6a。如果没有按下定格按钮6a(步骤S603中为“否”)，则CPU 7重复步骤S601和S602。如果按下了定格按钮6a(步骤S603中为“是”)，则CPU 7判断为获取到了期望的超声图像，并将此时拍摄到并生成的超声图像显示在显示器5上。然后，CPU 7结束超声图像处理。
图7是示出在检查者进行用于自动设置检查区域的设置的情况下的、图4所示的步骤S404中的测量处理的详细流程的另一形式的流程图。以下的各步骤由CPU 7、或者在CPU7的指示下由各单元来执行。
根据第一变形例，在图5所示的步骤S503中，CPU 7自动设置基于检查者的操作所进行的检查区域。
在步骤S701中，CPU 7基于照相机3所获取到的图像来估计躺在床上的被检者的位置和取向。当基于检查者的操作确定了估计被检者的位置和取向的结果时，CPU 7将该被检者的位置和取向存储在存储器8中。以下将详细说明该处理。在步骤S702中，CPU 7通过使用照相机3所获取到的图像来估计探测器2的位置和取向，基于步骤S701中针对被检者的估计结果来自动识别被检者的检查区域，并且将该检查区域显示在显示器5上。以下将详细说明该处理。
在步骤703中，当检查者按下控制面板6或超声探测器2上的定格按钮6a时，停止显示器5上的超声图像的更新。如果超声图像是期望的超声图像，则基于检查者对确定按钮6b的按下，处理进入步骤S704。在步骤S704中，CPU 7进行测量后处理。在完成针对特定检查区域的测量处理时，在步骤S705中，CPU 7判断针对基于检查项所预先确定的所有检查区域是否完成了测量。如果针对任何检查区域没有完成该检查(步骤S705中为“否”)，则处理返回到步骤S701。
根据如上所述的本典型实施例，如果在拍摄到步骤S703中的超声图像之前、在步骤S702中识别出检查区域，则在步骤S703中拍摄超声图像时，检查者可以集中于超声图像的判断。尽管在步骤S703中CPU 7获取照相机图像，但该照相机图像仅用于估计探测器2的位置和取向以及画面显示，而不用于检查区域识别。以下将参考图10来详细说明步骤S703的处理。
图8是示出图7所示的步骤S701中的估计被检者身体的位置和取向的处理的详细流程的流程图。以下步骤中的各操作由CPU 7、或者在CPU 7的指示下由各单元来执行。
在步骤S801中，CPU 7指示照相机控制单元15如图15A所示通过使用照相机3来拍摄躺在床上的被检者。照相机3按预定帧频顺次进行摄像，并且CPU 7经由照相机控制单元15的通信I/F接收外观图像，并将这些图像顺次显示在显示器5上。
检查者在确认显示器5上所显示的外观图像的同时，调整臂4的位置，使得作为被检者的一部分的至少关注检查区域容纳在照相机3的视角内。显示器5可以显示如下的线，该线用于引导检查者通过调整照相机3的位置，来使被检者的检查区域的位置到达所显示的外观图像中的何处。在这种情况下，将引导所用的线(即，要叠加在显示图像上的GUI数据)与同检查区域有关的信息相关联地预存储在非易失性存储器9中。
在步骤S802中，CPU 7基于作为外观图像所获取到的来自照相机3的图像通过图像分析处理来估计被检者身体(人体)的位置和取向。根据本典型实施例，CPU 7将包括各关节的特征点的位置坐标的骨骼信息作为被检者身体(人体)的位置和取向信息输出。关节的示例包括鼻子、颈部、右肩、右肘、右腕、左肩、左肘、左腕、中臀、右臀、右膝、右踝、左臀、左膝、左踝、右眼、左眼、右耳、左耳、左拇指、左小指、左足跟、右拇指、右小指和右足跟。CPU 7使用通过机器学习(深度学习)方法所训练的学习器作为用于基于图像来获得骨骼信息的手段。根据本典型实施例，CPU 7使用如下的学习模型(学习器)，该学习模型是利用包括作为被检者的人体的多个训练图像以及针对各训练图像的骨骼信息(关节的概率分布)的正解信息的集合来训练的。也就是说，预先使用包括被检者的训练数据的多个图像以及正解信息的集合来训练学习模型。换句话说，要用于训练的作为被检者的人体与要检查的被检者类似。该方法使得不论从照相机3(包括立体照相机、红外照相机和TOF照相机)获得的信息是仅亮度图像、仅深度图像还是这两个图像，都可以以二维(2D)或三维(3D)坐标获得骨骼信息。该类型的已知学习器的示例包括卡内基梅隆大学(Carnegie Mellon University)的Openpose(注册商标)。根据本典型实施例，将由通过机器学习所训练的学习器估计的位置和取向信息(骨骼信息)以阵列或列表形式存储在存储器中。更具体地，针对诸如上述关节等的多个区域，输出表示各区域在图像中存在的概率的分布的信息作为估计位置和取向信息。当在图像中区域n(n是整数)存在的可靠度的分布(概率分布)为Rn(x,y)时，作为骨骼信息的输出R由R＝{Rn(x,y)|n＝1,2,...,N(N是整数)}表示。Rn(x,y)无需是图像上的整个区域的可靠度分布，而可以是仅可靠度大于阈值的区域的可靠度分布。可选地，可以仅将可靠度的峰值与坐标相关联地存储Rn(x,y)(例如，区域3：右肩，可靠度：0.5，坐标：(x,y)＝(122,76))。
CPU 7通过使用输出R来提取各区域的可靠度的峰值的位置(即，以最高的存在概率检测各区域的位置)。图15B示出基于该信息而可视化的骨骼信息的示例。
作为通过使用利用图像训练的学习器来获得骨骼信息的预处理，本典型实施例进行诸如噪声抑制、畸变校正、颜色转换、以及亮度和颜色灰度校正等的图像质量校正，并且进行图像旋转和翻转。图像校正所用的参数例如基于照相机3的模型和摄像条件而被制成表，然后被预存储在非易失性存储器9中。通过使用这些校正参数来对所输入的外观图像进行校正处理，以使摄像条件接近训练中所使用的数据集的图像的摄像条件，使得可以以更高的精度进行估计。例如，当将在暗室中拍摄到的图像校正为更明亮的图像时，可能发生高感光度噪声，这样得到与学习中所使用的数据集不同的趋势。在这种情况下，期望对所输入的外观图像进行去除高感光度噪声的处理。同样，在照相机3的镜头是具有大的周边失真的广角镜头的情况下，期望对所输入的外观图像进行失真校正。另外，在数据集中的所有图像都在顶部包括头部的情况下，期望旋转或翻转图像，使得头部到达顶部并且如此得到的结果是输入。在通过使用通过特定处理转换得到的图像来进行训练的情况下，期望在向学习器进行输入之前对输入图像进行转换。
如图15B所示，在步骤S802中，也可以一起获取检查者和周围的人的骨骼信息。因而，在步骤S803中，CPU 7基于在步骤S802中获取到的骨骼信息的图像来识别被检者的骨骼信息。
用于识别与该被检者有关的骨骼信息的可想到的方法包括以下示例。一个方法是与面部识别处理组合。CPU 7从外观图像对预登记在非易失性存储器9中的检查者的面部进行认证。然后，根据认证了并检测到检查者的面部的位置与在步骤S802中检测到的骨骼信息中的作为面部区域所检测到的部位(诸如眼睛、鼻子和耳朵等)之间的距离关系，来识别与检查者有关的骨骼信息和与被检者有关的骨骼信息。
作为另一方法，CPU 7可以识别超声诊断设备本体1，并且基于来自超声诊断设备本体1的平面(X和Y方向)或三维(Z方向)距离关系来区分检查者和被检者。作为又一方法，CPU 7基于骨骼信息中的关节点之间的位置关系来识别取向类型，以区分检查者和被检者。作为又一方法，设置过程，使得在调整照相机3的视角时在预定区域中对被检者摄像，并且CPU 7基于骨骼信息中的位置来识别被检者。
根据本典型实施例，CPU 7通过上述识别方法至少之一进行处理，以识别检查者和被检者，并且如图15C所示可视化所识别的被检者的位置和取向信息。
在步骤S804中，CPU 7将如图15D所示的图像显示在显示器5上，在该图像中，如此估计出的被检者的位置和取向信息叠加在来自照相机3的显示图像上。
对于要在显示器5上显示的图像，CPU 7可能无法直接使用照相机3所拍摄到的图像。作为代替，考虑到隐私，CPU 7可以通过已知的图像处理用头像或动画代替该图像、或者将该图像转换成3D模型。
在步骤S805中，CPU 7判断是否按下了定格按钮6a。如果检查者按下了定格按钮6a(步骤S805中为“是”)，则CPU 7结束基于显示器5上顺次显示的外观图像对被检者的骨骼信息(位置和取向信息)的估计结果的更新。然后，处理进入步骤S806。如果未按下定格按钮6a(步骤S805中为“否”)，则处理返回步骤S801。CPU 7继续位置和取向信息的估计。
在按下定格按钮6a之后(步骤S805中为“是”)，然后在步骤S806中，如果检查者确保显示器5上所显示的位置和取向信息的估计结果没有问题、然后操作确定按钮6b，则CPU7结束用于估计被检者身体的位置和取向的处理。如果没有获取到位置和取向的期望结果(步骤S806中为“否”)，则处理返回到步骤S801。然后，CPU 7重复进行用于估计位置和取向的处理。
在步骤S806中，CPU 7等待检查者的确认，以应对以下的情况：被检者的取向不是期望的取向的情况、照相机角度不优选的情况、或者检测位置和取向的结果明显不同于从视觉上确认的位置和取向的情况。
在其它典型实施例中，可以省略(忽略)步骤S805和S806。更具体地，可以保持按预定时间间隔更新被检者身体(人体)的位置和取向信息，直到检查者判断为后续阶段的用于识别检查区域的处理是适当的、然后进行确定操作为止。
在本典型实施例中，尽管CPU 7使用骨骼信息(关节信息)作为用于估计被检者身体(人体)的位置和取向的方法，但CPU 7可以基于网状信息来估计被检者身体的3D形状。这样的技术可以通过使用机器学习(学习器)来实现。更具体地，该方法可以使用如下的学习器，该学习器是通过使用包括被检者的多个训练图像以及针对各训练图像的网状信息的正解信息的集合来训练的。
图9是示出图7所示的步骤S702中的检查区域识别A的详细操作的流程图。以下步骤中的各操作由CPU 7、或者在CPU 7的指示下由各单元来执行。
在步骤S901中，CPU 7经由照相机控制单元15的通信I/F从照相机3获取包括超声探测器2的外观图像(图像数据)。由于在前一步骤中照相机3的视角已被调整成包括被检者，因此可以无变化地拍摄到图像。然而，可以进行平摇控制、俯仰控制和变焦控制至少之一以实现更容易检测到超声探测器2的视角。图16示出在将视角从以被检者为中心的外观图像调整到以超声探测器2为中心的视角的情况下的照相机3的视角的变化、以及所拍摄到的图像。
在步骤S902中，CPU 7分析所获取到的外观图像以获得超声探测器2的位置和取向。更具体地，CPU 7基于外观图像，通过包括边缘检测所用的滤波处理、二值化处理、判断处理和形状识别处理的图像识别处理，来检测超声探测器2上所设置的多个增强现实(AR)标记(在各标记上设置有多个角)。CPU 7可以对照相机3所获取到的外观图像进行锐度调整、增益调整、降噪和其它图像处理，从而以更高的精度进行图像识别。CPU 7检测超声探测器2上所设置的AR标记，并且基于所检测到的AR标记上存在的多个角的位置关系、由这些角形成的图形的大小、以及失真状况，来计算超声探测器2的位置和取向。由于超声探测器2是刚性的，因此可以通过计算来获得各AR标记与超声探测器2的检查面之间的关系。如图16和图19B所示，期望在标记附件203上布置多个AR标记(期望为至少三个AR标记)。这些AR标记按预定间隔布置在超声探测器2的外周上，使得不论超声探测器2的取向和连接器202的位置如何，都可以获取到照相机3所拍摄到的AR标记至少之一。根据本典型实施例，CPU 7输出以下数据作为与超声探测器2的位置和取向有关的输出。CPU 7输出如下的位置和取向信息，该位置和取向信息包括外观图像中的位置信息(图像坐标信息(x,y))、以照相机3为基准的三维现实空间中的位置信息(x,y,z)、以及表示探测器2的取向的矢量信息(方向矢量d＝(x,y,z))。位置信息(x,y)用于步骤S903中的用于识别检查区域的处理。位置和取向信息(x,y,z)、d用于进行显示，使得从视觉上识别出在步骤S904中显示器5上所显示的画面中探测器2相对于身体标记中的检查区域的位置和取向。然而，位置和取向信息的使用不限于此。CPU 7可以将位置和取向信息用在用于识别检查区域的处理中，并且可以在显示处理中仅显示位置信息。
如果可以通过计算来获得超声探测器2的位置和取向，则代替使用AR标记，CPU 7可以使用发光二极管(LED)、回射标记和任何其它标记，作为用于获得超声探测器2的位置和取向的标准(指标)。
由于超声探测器本体201通常具有刚性体、因而其位置和取向受到限制，因此超声探测器本体201通过基于规则的处理(即，使用诸如AR标记等的预定图案的图像识别)来检测位置和取向。这使得可以容易地实现高检测精度，并且与使用通过机器学习所训练的学习器的技术相比，以更低的处理成本和更高的处理速度来获得位置和取向。
在步骤S903中，CPU 7基于在步骤S701中获得并存储在存储器8中的被检者的位置和取向的估计结果(R)与在步骤S902中获得的超声探测器2的位置信息(x,y)之间的关系来识别检查区域。根据本典型实施例，CPU 7从在各骨骼信息中针对检查区域的评价值最高的检查区域开始，输出多个检查区域候选作为识别结果。
以下方法适用于在获取到了骨骼信息R作为被检者的位置和取向信息的情况下识别检查区域的方法。
例如，CPU 7在各区域的可靠度分布Rn(x,y)中提取具有可靠度的峰值的位置，即各区域的可靠度最高的位置的坐标(简称为各区域的坐标)。然后，CPU 7基于各区域的坐标和从与超声探测器2有关的位置信息起的距离(欧几里得/马氏距离)来识别检查区域。更具体地，CPU 7计算评价值，使得随着各区域的坐标与超声探测器2之间的距离的减小，评价值增大。CPU 7还计算各区域的评估值，使得在与各区域的坐标相对应的可靠度增大时，应用更大的权重。然后，CPU 7从评价值相对最高的区域开始，从多个区域中顺次提取检查区域候选。在评价值计算中，CPU 7可以仅参考从超声探测器2的位置起的距离和各区域的可靠度分布中的任一个。
CPU 7可以通过使用各区域的可靠度分布Rn(x,y)来计算图像中的各区域中的评价值。更具体地，CPU 7可以针对各区域计算利用Rn(x,y)*(基于从超声探测器2起的距离的权重)所确定的评价值分布，然后将具有最高评价值的位置和该位置处的区域识别为检查区域。
用于识别检查区域的其它方法的示例包括：基于连接上述区域的位置的直线和与超声探测器2有关的位置信息(x,y)之间的距离、以及与该直线相对应的两个区域的可靠度分布，来计算评价值。
用于识别检查区域的又一方法的示例包括：基于通过按一定比例分割多个区域的位置所获得的坐标、从超声探测器2的位置信息(x,y)起的距离、以及分割源的两个点处的区域的可靠度分布，来计算评价值。
用于识别检查区域的又一方法的示例还包括：通过使用基于多个关节之间的关系按一定比例所获得的点来生成2D或3D的封闭域，然后通过对该封闭域进行与超声探测器2有关的位置信息(x,y)的内/外判断来计算评价值。
CPU 7可以通过组合上述多个方法中的一部分或全部来计算评价值。
在步骤903中，由于在执行步骤701之后被检者已移动，因此存储器8中所存储的被检者的位置和取向可能不同于被检者的当前位置和取向。通过使用不同的位置和取向所识别的检查区域可能是错误的结果。因而，CPU 7可以判断被检者是否正在移动，并且如果检测到移动，则处理返回到步骤701。CPU 7可以再次估计被检者身体的位置和取向。
用于判断被检者是否正在移动的方法的示例包括：使用差分图像或者使用光流。
在使用差分图像的情况下，例如，CPU 7对检查者的手和探测器2的一部分进行掩模处理。然后，在步骤S801和S901中获取到的图像中，CPU 7判断其余部分在亮度值和色相上是否改变了等于或大于阈值的量。在这种情况下，CPU 7可以通过统计处理来检测上述变化。
在使用光流的情况下，例如，CPU 7将在估计被检者身体的位置和取向时的步骤S801中获取到的照相机图像中的被检者身体(人体)登记为图案。然后，CPU 7对步骤S901中的照相机图像进行模板匹配以检测移动。可选地，CPU 7将在步骤S801中获取到的照相机图像暂时存储在存储器8中。然后，CPU 7计算在步骤S901中获取的图像中以及在两个图像之间、通过尺度不变特征变换(SIFT)和/或加速的KAZE(AKAZE)所确定的特征点的移动量，由此检测到图像中的人体的移动。另外，诸如核相关滤波器(KCF)跟踪器等的已知跟踪方法也是适用的。
在步骤S904中，CPU 7将在步骤S903中识别的检查区域显示在显示器5上。在步骤S905中，CPU 7判断检查者是否在控制面板6上进行了与OK相对应的操作、或者按下了超声探测器2上的定格按钮6a。
图21示出在步骤S905中检查者确认检查区域识别的结果时显示在显示器5上的画面的示例。CPU 7将与被检者身体相对应的GUI的身体标记2101和与超声探测器2相对应的GUI的探测器标记2102的叠加显示在相应检查区域的位置处。在这种情况下，如果识别出了检查区域的名称，则可以显示身体标记和探测器标记这两者(图21中的“隔瓣”)。该画面显示包括OK和重做图标按钮的检查结果确认窗口。检查者通过使用控制面板6来选择OK或重做按钮、或者按下超声探测器2上的定格按钮6a，以确定检查区域或发出重做指示。如果检查者选择OK按钮或按下定格按钮6a(步骤S905中为“是”)，则CPU 7结束这一系列处理。如果检查者选择重做按钮或未按下定格按钮6a(步骤S905中为“否”)，则处理返回到步骤S901。CPU 7重复用于识别检查区域的处理。
当正显示步骤S905中的图21所示的用于提示检查结果确认的窗口时，可以暂停用于估计检查区域的处理。可以省略步骤S905的确定处理，并且可以在步骤S701～S704中的任选定时进行用于确定检查区域的处理。
在步骤S906中，CPU 7响应于检查者的操作来确定在步骤S903中识别的检查区域。检查者确认显示器5上所显示的检查区域，并且如果获得了期望的检查区域，则操作控制面板6的预定操作构件或者按下超声探测器2上的确定按钮6b。如果所识别的检查区域错误，则检查者操作控制面板6以将第二区域候选和第三区域候选显示在显示器5上。然后，当检查者选择检查区域候选时，确定所选择的检查区域候选。
图10是详细示出图7所示的步骤S703中的超声图像拍摄的流程的流程图。
图10示出将图6所示的超声图像处理和图9所示的检查区域识别A的处理组合的处理。对于进行与图6和图9所示的流程图的处理基本上相同的操作的步骤，将省略其说明。步骤S1001对应于步骤S601，步骤S1002对应于步骤S602，步骤S1003对应于步骤S901，步骤S1004对应于步骤S902，步骤S1005对应于步骤S904，步骤S1006对应于步骤S603，并且步骤1007对应于步骤S604。
图11是详细示出图7所示的步骤S704中的测量后处理的流程的流程图。以下的各步骤由CPU 7、或者在CPU 7的指示下由各单元来执行。
在步骤S1101中，CPU 7将步骤S1007中确定的超声图像存储在非易失性存储器9或外部介质中，或者将数据发送到外部。
在步骤S1102中，CPU 7将与步骤S906中确定的检查区域有关的信息以及与探测器2有关的位置和取向信息(统称为检查区域信息)与步骤S1101中的超声图像相关联地存储在非易失性存储器9或外部介质中，或者将数据发送到外部。与检查区域有关的信息以及与探测器2的位置和取向有关的信息的示例包括检查区域的名称、身体标记、以及探测器标记相对于身体标记的位置和取向信息。探测器标记的位置和取向信息可以在二维图像上的某角度处停止，或者可以是三维取向信息。检查区域信息不一定需要包括探测器2的位置和取向信息。
(第二变形例)
图12是示出在检查者进行用于自动设置检查区域的设置的情况下的图4所示的步骤S404的另一形式的流程图。步骤S1203对应于步骤S703，步骤S1204对应于步骤S704，并且步骤S1205对应于步骤S705。对于进行与图7所示的流程图的处理基本上相同的操作的步骤，将省略其说明。
在该流程图中，与图7所示的流程图一样，CPU 7在图5所示的步骤S503中，自动设置基于检查者的操作所进行检查区域。
图13是图12所示的步骤S1202中的检查区域识别B的详细流程的流程图。对于进行与图8和图9所示的流程图的处理基本上相同的操作的步骤，将省略其说明。
图13示出将图8所示的用于估计被检者身体的位置和取向的处理与图9所示的检查区域识别A组合的处理。步骤S1301对应于步骤S901，步骤S1302对应于步骤S802，步骤S1303对应于步骤S803，步骤S1304对应于步骤S902，步骤S1305对应于步骤S903，步骤S1306对应于步骤S904，步骤S1307对应于步骤S905，并且步骤S1308对应于步骤S906。图13所示的流程图与图9所示的流程图的不同之处在于：添加了图8所示的与用于估计被检者身体的位置和取向的处理相对应的步骤S802和S803。参考图7所示的流程图，该处理是在流程图的外部进行的。
在图13所示的处理中，不同于图7所示的处理，CPU 7进行用于根据在单次摄像中获取到的单个外观图像来估计被检者身体的位置和取向并估计探测器2的位置和取向的处理，以估计检查区域。这使得能够减少检查者的用于按下定格按钮6a和按下确定按钮6b的操作的次数。然而，产生了如下的问题：在不能同时对被检者的检查区域和超声探测器2进行摄像的情况下，检查区域识别变得困难。例如，检查区域可能被超声探测器2或检查者隐藏。相比之下，在图7所示的处理中，用于估计被检者身体的位置和取向的照相机图像不同于用于估计探测器2的位置和取向的照相机图像，这样使得比较容易避免该问题。
(第三变形例)
以下将说明在图7所示的步骤S703、图11所示的步骤S1102、以及图13所示的步骤S1302和S1304中进行的用于识别检查区域的处理的变形例。根据上述典型实施例，CPU 7假定整个人体的检查区域识别来进行各操作。然而，这也适用于诸如手等的局部检查对象。
例如，对被检者的手和脚的关节进行以风湿病的症状为对象的超声显像检查。因而，根据本变形例的为了估计人体的位置和取向所训练的学习器以局部检查区域为对象。通常，使用用于从输入图像输出与手和脚的骨架(关节)有关的信息的学习器，其不同于以整个人体为对象的学习器。可选地，可以使用能够同时检测人体、手和脚的骨架的学习器。
如上所述，由于假定了局部检查对象的多个候选(例如，手和脚)，因此准备了各自与各个区域相对应的多个学习器以检测各区域的骨骼信息。在进行用于识别检查区域的处理中，期望：基于照相机3所获取到的外观图像来自动进行所准备的多个学习器的切换，或者通过检查者的操作来预先选择并输入与对象区域有关的信息并且进行所准备的多个学习器的切换。
手有五个手指(拇指、食指、中指、无名指和小指)，各手指均具有第一关节到第四关节。根据本变形例的所训练的学习器估计各关节的位置。
骨骼信息的输出除了包括关节以外，还可以包括指尖。第四关节被设置为代表所有的五个手指的同一单个点。
图18示出当检查对象区域是手的任一区域时的检查状态的图像。布置照相机3并且控制照相机3的位置和取向，使得被检者的检查区域和超声探测器2容纳在视角内。
图19A示出根据本变形例的在手检查中在显示器5上显示的图像的示例。该图像是通过CPU 7估计与手有关的骨骼信息作为用于估计被检者身体的位置和取向的处理、并将骨骼信息叠加在从照相机3获得的外观图像上而获得的。
图19B示出根据本变形例的在手检查状态下在显示器5上显示的图像的示例。该图像是通过CPU 7将估计探测器2的位置和取向的结果(交叉线)叠加在照相机3所获取到的图像上而获得的。
图19C示出如下图像的示例，在该图像中，将估计被检者身体的位置和取向的结果以及估计探测器2的位置和取向的结果一起显示在显示器5上。通过与步骤S903中的处理相似的处理，可以识别检查区域，即哪个手指的哪个关节。
如上所述，根据本典型实施例，CPU 7通过使用经由机器学习所获得的学习器来估计检查时的被检者身体(人体)的位置和取向的检测，并且基于该估计的结果以及估计检查装置的位置的结果来识别检查区域，从而以更高的精度实现检查区域识别。
根据本典型实施例，CPU 7在估计检查装置的位置时，基于规则来以与检测人体的位置和取向的处理相比更低的处理负荷来进行检测处理。这使得可以提供如下的检查系统，该检查系统在其跟踪移动量大且移动频率高的探测器2的位置的同时，具有低处理负荷。
本典型实施例还使得可以更顺利地识别检查区域。本典型实施例还使得检查者能够在不断掌握当前正检查的区域的同时进行操作，由此防止区域输入失败。
(其它典型实施例)
本发明的目的也可以通过以下结构来实现。将存储有描述用于实现上述典型实施例的功能的过程的软件的程序代码的存储介质供给至系统或设备。然后，该系统或设备的计算机(或者CPU或MPU)读取存储介质中所存储的程序代码，然后执行该程序代码。
在这种情况下，从存储介质读取的程序代码自身实现了本发明的新功能，并且存储该程序代码的存储介质以及程序也包括在本发明中。
用于供给程序代码的存储介质的示例包括软盘、硬盘、光盘和磁光(MO)盘。另外，致密盘只读存储器(CD-ROM)、可记录致密盘(CD-R)、可重写致密盘(CD-RW)、数字多功能盘只读存储器(DVD-ROM)、数字多功能盘随机存取存储器(DVD-RAM)、可重写数字多功能盘(DVD-RW)、可记录数字多功能盘(DVD-R)、磁带、非易失性存储卡和ROM也是适用的。
上述典型实施例的功能通过计算机使得所读取的程序代码可执行来实现。此外，如下情况也包括在本发明中：在计算机上运行的OS基于程序代码的指令来进行实际处理的一部分或全部，并且通过该处理来实现上述典型实施例的功能。
以下情况也包括在本发明中。首先，将从存储介质读取的程序写入插入到计算机的功能扩展板或连接至计算机的功能扩展单元内所包括的存储器中。随后，该功能扩展板或功能扩展单元中所包括的CPU基于程序代码的指令来进行实际处理的一部分或全部。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (17)

1.一种信息处理设备，包括：
获取部件，用于获取包括检查装置的至少一部分的第一图像和包括被检者的至少一部分的第二图像，所述第一图像和所述第二图像是利用摄像部件拍摄到的；
第一估计部件，用于基于所述第一图像来估计所述检查装置的位置；
第二估计部件，用于基于所述第二图像来估计所述被检者的位置和取向信息；
区域识别部件，用于根据所述第一估计部件的估计结果和所述第二估计部件的估计结果来识别所述被检者的检查区域；以及
控制部件，用于接收用以基于从用于检查所述被检者的检查部件顺次获取到的检查结果来确定要记录或输出到外部的检查结果的确定指示、以及用以将检查区域信息与所述检查结果相关联地记录或输出到外部的确定指示，
其中，所述控制部件被配置为在接收针对所述检查结果的确定指示之前，接收针对所述检查区域信息的确定指示。
2.根据权利要求1所述的信息处理设备，其中，所述控制部件被配置为在接收针对所述检查结果的确定指示之前，将从所述检查部件顺次获取到的检查结果以及基于所接收到的确定指示的检查区域信息显示在显示部件上。
3.根据权利要求1所述的信息处理设备，其中，所述第二估计部件被配置为基于通过使用包括与所述被检者相似的被检者的多个训练图像所训练的学习模型，以所述第二图像作为输入来输出所述被检者的位置和取向信息。
4.根据权利要求1所述的信息处理设备，其中，所述第一估计部件被配置为通过滤波处理和形状识别处理来估计所述检查装置的位置。
5.根据权利要求1所述的信息处理设备，其中，所述第二估计部件被配置为输出表示所述被检者的多个关节点及其位置的骨骼信息，作为所述被检者的位置和取向信息。
6.根据权利要求5所述的信息处理设备，其中，所述区域识别部件被配置为基于从所述第一估计部件所估计的所述检查装置的位置起直到所述多个关节点为止的距离，来识别所述被检者的检查区域。
7.根据权利要求6所述的信息处理设备，其中，所述区域识别部件被配置为通过向离所述第一估计部件所估计的所述检查装置的位置越近的关节点施加越大的权重来计算评价值，并且基于针对所述多个关节点中的各关节点所计算出的评价值来识别所述被检者的检查区域。
8.根据权利要求6所述的信息处理设备，
其中，所述第二估计部件被配置为针对所述被检者的所述多个关节点中的各关节点，输出与可靠度有关的信息，以及
其中，所述区域识别部件被配置为基于与所述可靠度有关的信息来识别所述被检者的检查区域。
9.根据权利要求1所述的信息处理设备，其中，用于利用所述第一估计部件来使用所述第一图像估计所述检查装置的位置的处理负荷小于用于利用所述第二估计部件来使用所述第二图像估计所述被检者的位置和取向的处理负荷。
10.根据权利要求1所述的信息处理设备，其中，所述获取部件被配置为从在单次摄像中获取到的图像获取所述第一图像和所述第二图像。
11.根据权利要求1所述的信息处理设备，其中，所述第一估计部件被配置为通过从所述第一图像检测所述检查装置上所布置的标记来检测所述检查装置的位置。
12.根据权利要求1所述的信息处理设备，其中，所述第一估计部件被配置为通过从所述第一图像检测所述检查装置上所布置的标记来检测所述检查装置的位置和取向。
13.根据权利要求1所述的信息处理设备，其中，所述检查装置是超声探测器。
14.一种检查系统，包括：
检查部件，用于检查被检者；
摄像部件，用于拍摄包括检查装置的至少一部分的第一图像和包括被检者的至少一部分的第二图像；
第一估计部件，用于基于所述第一图像来估计所述检查装置的位置；
第二估计部件，用于基于所述第二图像来估计所述被检者的位置和取向信息；
区域识别部件，用于根据所述第一估计部件的估计结果和所述第二估计部件的估计结果来识别所述被检者的检查区域；以及
控制部件，用于接收用以基于从所述检查部件顺次获取到的检查结果来确定要记录或输出到外部的检查结果的确定指示、以及用以将检查区域信息与所述检查结果相关联地记录或输出到外部的确定指示，
其中，所述控制部件被配置为在接收针对所述检查结果的确定指示之前，接收针对所述检查区域信息的确定指示。
15.一种信息处理方法，包括：
获取包括检查装置的至少一部分的第一图像和包括被检者的至少一部分的第二图像，所述第一图像和所述第二图像是利用摄像部件拍摄到的；
基于所述第一图像来估计所述检查装置的位置，作为第一估计；
基于所述第二图像来估计所述被检者的位置和取向信息，作为第二估计；
根据所述第一估计的结果和所述第二估计的结果来识别所述被检者的检查区域；以及
控制如下的确定指示的接收：用以基于从用于检查所述被检者的检查部件顺次获取到的检查结果来确定要记录或输出到外部的检查结果的确定指示、以及用以将检查区域信息与所述检查结果相关联地记录或输出到外部的确定指示，
其中，在该控制中，在接收针对所述检查结果的确定指示之前，接收针对所述检查区域信息的确定指示。
16.一种存储有程序的计算机可读存储介质，所述程序包括指令，所述指令在由计算机执行时，使得所述计算机用作根据权利要求1至13中任一项所述的信息处理设备的各部件。
17.一种存储有程序的计算机可读存储介质，所述程序包括指令，所述指令在由计算机执行时，使得所述计算机进行根据权利要求15所述的方法。
CN202010870748.2A 2019-08-26 2020-08-26 信息处理设备、检查系统、信息处理方法和存储介质 Pending CN112508840A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-154070 2019-08-26
JP2019154070A JP7321836B2 (ja) 2019-08-26 2019-08-26 情報処理装置、検査システム及び情報処理方法

Publications (1)

Publication Number Publication Date
CN112508840A true CN112508840A (zh) 2021-03-16

Family

ID=72139540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010870748.2A Pending CN112508840A (zh) 2019-08-26 2020-08-26 信息处理设备、检查系统、信息处理方法和存储介质

Country Status (4)

Country Link
US (1) US11461894B2 (zh)
EP (1) EP3786886A1 (zh)
JP (1) JP7321836B2 (zh)
CN (1) CN112508840A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113751332A (zh) * 2020-06-03 2021-12-07 泰连服务有限公司 视觉检查系统和检查零件的方法
WO2022202351A1 (ja) * 2021-03-22 2022-09-29 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
JP7300657B2 (ja) * 2021-11-05 2023-06-30 ビフレステック株式会社 超音波プローブの距離・傾き情報遠隔送信システム
WO2023171272A1 (ja) * 2022-03-09 2023-09-14 富士フイルム株式会社 超音波診断装置、超音波診断装置の制御方法および測距装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102499762A (zh) * 2011-11-23 2012-06-20 东南大学 医用超声探头相对于检查部位的三维空间定位系统及方法
JP2015029791A (ja) * 2013-08-05 2015-02-16 株式会社東芝 医用機器操作支援装置及び超音波診断装置
JP2015089454A (ja) * 2013-11-06 2015-05-11 株式会社東芝 超音波診断装置
CN105025799A (zh) * 2012-12-18 2015-11-04 米轨公司 用于诊断超声机器的三维映射显示系统
CN105411613A (zh) * 2014-09-16 2016-03-23 西门子公司 自动化地定位检查台的用户接口和方法
CN207168510U (zh) * 2016-12-28 2018-04-03 上海联影医疗科技有限公司 一种医学成像设备
JP2018079070A (ja) * 2016-11-16 2018-05-24 キヤノンメディカルシステムズ株式会社 超音波診断装置、及び走査支援プログラム
CN108289651A (zh) * 2015-11-25 2018-07-17 皇家飞利浦有限公司 用于跟踪身体部位中的超声探头的系统
CN108433700A (zh) * 2017-02-16 2018-08-24 西门子保健有限责任公司 从表面数据估计患者内部解剖结构
JP2018175007A (ja) * 2017-04-04 2018-11-15 キヤノン株式会社 情報処理装置、検査システム及び情報処理方法
JP2019040592A (ja) * 2018-06-04 2019-03-14 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
CN109770943A (zh) * 2019-01-28 2019-05-21 电子科技大学 一种利用计算机视觉定位的超声自动优化方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463552B1 (en) * 1998-12-07 2002-10-08 Lsi Logic Corporation Scripting method and apparatus for testing devices
KR20190021344A (ko) * 2016-06-20 2019-03-05 버터플라이 네트워크, 인크. 초음파 디바이스를 작동하는 사용자를 보조하기 위한 자동화된 영상 취득
JP7362354B2 (ja) * 2019-08-26 2023-10-17 キヤノン株式会社 情報処理装置、検査システム及び情報処理方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102499762A (zh) * 2011-11-23 2012-06-20 东南大学 医用超声探头相对于检查部位的三维空间定位系统及方法
CN105025799A (zh) * 2012-12-18 2015-11-04 米轨公司 用于诊断超声机器的三维映射显示系统
JP2015029791A (ja) * 2013-08-05 2015-02-16 株式会社東芝 医用機器操作支援装置及び超音波診断装置
JP2015089454A (ja) * 2013-11-06 2015-05-11 株式会社東芝 超音波診断装置
CN105411613A (zh) * 2014-09-16 2016-03-23 西门子公司 自动化地定位检查台的用户接口和方法
CN108289651A (zh) * 2015-11-25 2018-07-17 皇家飞利浦有限公司 用于跟踪身体部位中的超声探头的系统
JP2018079070A (ja) * 2016-11-16 2018-05-24 キヤノンメディカルシステムズ株式会社 超音波診断装置、及び走査支援プログラム
CN207168510U (zh) * 2016-12-28 2018-04-03 上海联影医疗科技有限公司 一种医学成像设备
CN108433700A (zh) * 2017-02-16 2018-08-24 西门子保健有限责任公司 从表面数据估计患者内部解剖结构
JP2018175007A (ja) * 2017-04-04 2018-11-15 キヤノン株式会社 情報処理装置、検査システム及び情報処理方法
JP2019040592A (ja) * 2018-06-04 2019-03-14 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
CN109770943A (zh) * 2019-01-28 2019-05-21 电子科技大学 一种利用计算机视觉定位的超声自动优化方法

Also Published As

Publication number Publication date
US11461894B2 (en) 2022-10-04
EP3786886A1 (en) 2021-03-03
JP2021029676A (ja) 2021-03-01
JP7321836B2 (ja) 2023-08-07
US20210065365A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
EP3786886A1 (en) Information processing apparatus, inspection system, information processing method, program, and storage medium
KR102144672B1 (ko) 시맨틱 분할을 이용한 인공지능형 초음파 의료 진단 장치 및 이를 이용한 원격 의료 진단 방법
US20190239850A1 (en) Augmented/mixed reality system and method for the guidance of a medical exam
JP7362354B2 (ja) 情報処理装置、検査システム及び情報処理方法
US9524551B2 (en) Ultrasound diagnosis apparatus and image processing method
KR102442178B1 (ko) 초음파 진단장치 및 그에 따른 초음파 진단 방법
US20150164479A1 (en) Ultrasound diagnostic apparatus, ultrasound image processing method, and non-transitory computer readable recording medium
US20170164923A1 (en) Image Processor, Ultrasound Diagnostic Device Including Same, And Image Processing Method
KR102545008B1 (ko) 초음파 영상 장치 및 그 제어 방법
KR20170007209A (ko) 의료 영상 장치 및 그 동작 방법
EP3195807B1 (en) Ultrasonic imaging apparatus
US20150173721A1 (en) Ultrasound diagnostic apparatus, medical image processing apparatus and image processing method
US20230062672A1 (en) Ultrasonic diagnostic apparatus and method for operating same
JP6744141B2 (ja) 超音波診断装置及び画像処理装置
KR102593439B1 (ko) 초음파 진단 장치의 제어 방법 및 초음파 진단 장치
US20230355089A1 (en) Image signal output device and method, and image data conversion device, method, and program
EP3040031B1 (en) Ultrasound diagnosis apparatus and method of operating the same
US7907764B2 (en) Apparatus, program and method for motion analysis in internal body
CN112515705A (zh) 用于投影轮廓启用的计算机辅助检测(cad)的方法和系统
JP2023073109A (ja) 情報処理装置、医用画像診断装置、プログラム及び記憶媒体
WO2022200142A9 (en) Deep learning-based real-time eye-gaze tracking for portable ultrasound method and apparatus
CN116783509A (zh) 具有基于解剖结构的声学设置的超声成像
CN115969414A (zh) 用于在超声成像期间使用分析辅助的方法和系统
JP2020142018A (ja) 動態画像解析システム及び動態画像処理装置
CN114098687A (zh) 用于超声运动模式的自动心率测量的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination