WO2021199962A1 - プログラム、情報処理方法および情報処理装置 - Google Patents

プログラム、情報処理方法および情報処理装置 Download PDF

Info

Publication number
WO2021199962A1
WO2021199962A1 PCT/JP2021/009305 JP2021009305W WO2021199962A1 WO 2021199962 A1 WO2021199962 A1 WO 2021199962A1 JP 2021009305 W JP2021009305 W JP 2021009305W WO 2021199962 A1 WO2021199962 A1 WO 2021199962A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
merkmal
control unit
diagnostic imaging
catheter
Prior art date
Application number
PCT/JP2021/009305
Other languages
English (en)
French (fr)
Inventor
雄紀 坂口
悠介 関
陽 井口
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to JP2022511730A priority Critical patent/JPWO2021199962A1/ja
Publication of WO2021199962A1 publication Critical patent/WO2021199962A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters

Definitions

  • the present invention relates to a program, an information processing method, and an information processing device.
  • a catheter system is used in which a catheter for diagnostic imaging is inserted into a luminal organ such as a blood vessel to display an image for diagnostic imaging (Patent Document 1).
  • the orientation of the image obtained by the diagnostic imaging catheter changes depending on the bending state of the diagnostic imaging catheter.
  • An operation may be performed to manually rotate the image in a predetermined orientation so that the doctor and the comedic staff can quickly grasp the condition of the luminal organ.
  • it is necessary to have the ability to correctly interpret the image being drawn, so that long-term training is required.
  • One aspect is to provide a program or the like that makes the catheter system easy to use.
  • the program acquires an image generated using a diagnostic imaging catheter inserted into a luminal organ, and displays the image in a rotated state so that the merkmal contained in the acquired image is oriented in a predetermined direction. do.
  • FIG. 1 is an explanatory diagram illustrating an outline of the catheter system 10.
  • the catheter system 10 includes a catheter 40 for diagnostic imaging, an MDU (Motor Driving Unit) 33, and an information processing device 20.
  • the diagnostic imaging catheter 40 is connected to the information processing device 20 via the MDU 33.
  • a display device 31 and an input device 32 are connected to the information processing device 20.
  • the input device 32 is an input device such as a keyboard, mouse, trackball or microphone.
  • the display device 31 and the input device 32 may be integrally laminated to form a touch panel.
  • the input device 32 and the information processing device 20 may be integrally configured.
  • FIG. 2 is an explanatory diagram illustrating an outline of the diagnostic imaging catheter 40.
  • FIG. 2 shows an example of a diagnostic imaging catheter 40 for IVUS (Intravascular Ultrasound), that is, for ultrasonic tomographic image generation, which is used when generating an ultrasonic tomographic image from the inside of a blood vessel.
  • IVUS Intravascular Ultrasound
  • the diagnostic imaging catheter 40 has a probe portion 41 and a connector portion 45 arranged at the end of the probe portion 41.
  • the probe portion 41 is connected to the MDU 33 via the connector portion 45.
  • the side of the diagnostic imaging catheter 40 far from the connector portion 45 will be referred to as the distal end side.
  • the shaft 43 is inserted inside the probe portion 41.
  • a sensor 42 is connected to the tip end side of the shaft 43. The shaft 43 and the sensor 42 can rotate and move forward and backward inside the probe portion 41.
  • the sensor 42 is an ultrasonic transducer that transmits and receives ultrasonic waves.
  • An annular tip marker 44 is fixed in the vicinity of the tip of the probe portion 41.
  • the material of the tip marker 44 is a material such as metal that does not allow X-rays to pass through.
  • the diagnostic imaging catheter 40 may be a catheter for optical tomography (Optical Coherence Tomography) or OFDI (Optical Frequency Domain Imaging) that generates an optical tomography using near-infrared light. good.
  • the sensor 42 of these diagnostic imaging catheters 40 is a transmission / reception unit that irradiates near-infrared light and receives reflected light.
  • the diagnostic imaging catheter 40 may have sensors 42 for both an ultrasonic transducer and a transmitter / receiver for OCT or OFDI.
  • the diagnostic imaging catheter 40 may have a total of three sensors 42, including an ultrasonic transducer, a transmission / reception unit for OCT, and a transmission / reception unit for OFDI.
  • the diagnostic imaging catheter 40 is not limited to the mechanical scanning method that mechanically rotates and moves forward and backward. It may be an electronic radial scanning type diagnostic imaging catheter 40 using a sensor 42 in which a plurality of ultrasonic transducers are arranged in an annular shape.
  • the diagnostic imaging catheter 40 may have a so-called linear scanning type sensor 42 in which a plurality of ultrasonic transducers are arranged in a row along the longitudinal direction.
  • the diagnostic imaging catheter 40 may have a so-called two-dimensional array type sensor 42 in which a plurality of ultrasonic transducers are arranged in a matrix.
  • the diagnostic imaging catheter 40 in addition to the luminal wall such as the blood vessel wall, the reflexes existing inside the luminal organ such as erythrocytes and the outside of the luminal organ such as the epicardium and the heart A tomographic image containing existing organs can be generated.
  • the diagnostic imaging catheter 40 may be a vascular endoscope used when optically observing the inner wall of a luminal organ.
  • the luminal organ into which the diagnostic imaging catheter 40 is inserted and used is, for example, a blood vessel, pancreatic duct, bile duct or bronchus.
  • the diagnostic imaging catheter 40 is the machine scanning type IVUS catheter shown in FIG. 2 as an example.
  • FIG. 3 is an explanatory diagram illustrating the configuration of the catheter system 10.
  • the catheter system 10 includes an information processing device 20, an MDU 33, and a diagnostic imaging catheter 40.
  • the information processing device 20 includes a control unit 21, a main storage device 22, an auxiliary storage device 23, a communication unit 24, a display unit 25, an input unit 26, a catheter control unit 271, and a bus.
  • the control unit 21 is an arithmetic control device that executes the program of the present embodiment.
  • One or more CPUs Central Processing Units
  • GPUs Graphics Processing Units
  • TPUs Torsor Processing Units
  • multi-core CPUs and the like are used for the control unit 21.
  • the control unit 21 is connected to each hardware unit constituting the information processing device 20 via a bus.
  • the main storage device 22 is a storage device such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), and flash memory.
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • flash memory temporary stores information necessary in the middle of processing performed by the control unit 21 and a program being executed by the control unit 21.
  • the auxiliary storage device 23 is a storage device such as a SRAM, a flash memory, a hard disk, or a magnetic tape.
  • the auxiliary storage device 23 stores a program to be executed by the control unit 21, a standard image DB (Database) 65, and various data necessary for executing the program.
  • the standard image DB 65 may be stored in an external large-capacity storage device or the like connected to the information processing device 20.
  • the communication unit 24 is an interface for communicating between the information processing device 20 and the network.
  • the display unit 25 is an interface that connects the display device 31 and the bus.
  • the input unit 26 is an interface that connects the input device 32 and the bus.
  • the catheter control unit 271 controls the MDU 33, controls the sensor 42, generates an image based on the signal received from the sensor 42, and the like.
  • the MDU 33 rotates the sensor 42 and the shaft 43 inside the probe unit 41.
  • the catheter control unit 271 generates one image for each rotation of the sensor 42.
  • the generated image is a cross-layer image centered on the probe portion 41 and substantially perpendicular to the probe portion 41.
  • the MDU 33 can move forward and backward while rotating the sensor 42 and the shaft 43 inside the probe unit 41.
  • the catheter control unit 271 continuously generates a plurality of transverse layer images substantially perpendicular to the probe unit 41 at predetermined intervals.
  • the control unit 21 may realize the function of the catheter control unit 271.
  • the information processing device 20 is an X-ray angiography device, an X-ray CT (Computed Tomography) device, an MRI (Magnetic Resonance Imaging) device, a PET (Positron Emission Tomography) device, or a supermarket via HIS (Hospital Information System) or the like. It is connected to various diagnostic imaging devices 37 such as a sound wave diagnostic device.
  • X-ray CT Computed Tomography
  • MRI Magnetic Resonance Imaging
  • PET Positron Emission Tomography
  • HIS Hospital Information System
  • the information processing device 20 of the present embodiment is a dedicated ultrasonic diagnostic device, a personal computer, a tablet, a smartphone, or the like having the function of the ultrasonic diagnostic device.
  • FIG. 4 is an explanatory diagram illustrating the record layout of the standard image DB65.
  • the standard image DB 65 is a database in which the observation target site and the standard image are recorded in association with each other.
  • the standard image DB 65 has a site field and a standard image field.
  • the part to be observed is recorded in the part field.
  • "LAD” in the first line indicates the left anterior descending artery (Left Anterior Descending Coronary Artery).
  • "LCX” and “RCA” also indicate the site of the coronary artery.
  • the site shown in FIG. 4 is an example and is not limited thereto.
  • the standard image DB 65 may record records corresponding to any site where the diagnostic imaging catheter 40 may be inserted, such as blood vessels in the lower extremities, bile ducts, or bronchial bifurcations.
  • the standard image field a standard image generated at the observation target site is recorded.
  • the standard image is a typical image used by a doctor for diagnosis using the diagnostic imaging catheter 40, and is rotated in a direction familiar to the doctor.
  • standard images contain merkmal, which doctors use to mark their decisions.
  • the merkmal is, for example, a side branch structure of a luminal organ into which a diagnostic imaging catheter 40 is inserted, an organ such as the heart adjacent to the luminal organ, or a luminal organ running parallel to the luminal organ.
  • a diagnostic imaging catheter 40 is inserted into a coronary artery
  • doctors and technicians as merkmal, use a blood vessel in the side branch that branches off the coronary artery to rotate the displayed image so that it is on the lower side.
  • the epicardium is used to rotate the image displayed so that it is on top.
  • the standard image may be an image artificially generated using a technique such as computer graphics.
  • the standard image may be an image generated by synthesizing a plurality of case images.
  • the standard image DB 65 has one record for one observation target site.
  • the standard image DB 65 may have a field for recording the subject's attributes such as the subject's age, gender or underlying disease.
  • the standard image DB 65 may have a field for recording lesions included in the observation target site, such as the presence or absence of dissociation or the presence or absence of calcification. In the standard image field, a standard image corresponding to each attribute or lesion is recorded.
  • FIG. 5 to 7 are examples of screens displayed by the catheter system 10.
  • FIG. 5 shows an example of a screen displayed on the display device 31 by the control unit 21 in a state where the association with the standard image is not detected.
  • the screen shown in FIG. 5 includes a first image field 51, a part selection button 591, a status notification field 571, and an automatic rotation button 581.
  • the part selection button 591 is a pull-down menu type button, and the part to be observed that the user is observing is selected.
  • control unit 21 acquires the observation target part from the electronic medical record system.
  • the control unit 21 may detect the position of the tip marker 44 from the image of the diagnostic imaging apparatus 37 and determine the observation target portion.
  • the control unit 21 may acquire the observation target portion determined by the diagnostic imaging apparatus 37.
  • the control unit 21 automatically sets the site selection button 591 in a state where the observation target site is selected.
  • the control unit 21 may wait for the user to operate the part selection button 591 without automatically setting the part selection button 591. Even when the control unit 21 automatically sets the part selection button 591, the user can operate the part selection button 591 to change the observation target part.
  • the control unit 21 may accept the operation of the part selection button 591 by the user by voice input.
  • the control unit 21 searches the standard image DB 65 using the observation target part set on the part selection button 591 as a key, and extracts the standard image.
  • the control unit 21 rotates the real-time image and detects an angle at which the image becomes similar to the standard image.
  • control unit 21 repeats the process of determining the similarity with the standard image after rotating the real-time image by an arbitrary angle such as 3 degrees or 5 degrees.
  • the control unit 21 may repeat the process of generating an image obtained by rotating one or a plurality of sound line data acquired from the sensor 42 and determining the similarity with the standard image.
  • the degree of similarity is, for example, the sum of the difference squares (SSD: Sum of Squared Difference), the sum of the absolute values of the differences (SAD: Sum of Absolute Difference), or the normalized cross-correlation (SSD) of the pixel values of the pixels at the same position in the two images. It can be evaluated by NCC: Normalized Cross-Correlation). All of the above methods are examples. The similarity evaluation method is not limited to these.
  • control unit 21 After repeating the process until the real-time image makes one rotation, the control unit 21 extracts the angle having the highest degree of similarity. The control unit 21 determines whether or not the similarity at the angle exceeds a predetermined threshold value.
  • the control unit 21 displays "not detected” in the status notification column 571 as shown in FIG. 5, and sets the automatic rotation button 581 to a non-selectable state.
  • the control unit 21 sets the automatic rotation button 581 in a selectable state as shown in FIG. In FIG. 6, the automatic rotation button 581 is set to the “OFF” state.
  • the control unit 21 displays a real-time image in a non-rotated state in the first image field 51.
  • FIG. 7 shows an example of an image displayed on the display device 31 by the control unit 21 when the user sets the automatic rotation button 581 to the “ON” state.
  • the control unit 21 displays a real-time image rotated in the direction most similar to the standard image in the first image field 51. The user can easily grasp the state of the luminal organ and its surroundings from the displayed real-time image.
  • control unit 21 may rotate the real-time image and set the automatic rotation button 581 to the "ON" state at the same time when the orientation similar to the standard image is detected.
  • the control unit 21 may accept the operation of the automatic rotation button 581 by voice input.
  • FIG. 8 is a modified example of the screen displayed by the catheter system 10.
  • the second image field 52 is displayed between the part selection button 591 and the automatic rotation button 581.
  • the control unit 21 displays the rotated real-time image in the first image field 51 and the non-rotated real-time image in the second image field 52.
  • the image described with reference to FIG. 8 is displayed on the display device 31 arranged in a place where it is easy for a doctor who mainly operates the diagnostic imaging catheter 40 to observe, and it is easy for other medical staff to observe.
  • the image described with reference to FIG. 7 may be displayed on the display device 31 arranged at the location.
  • FIG. 9 is a flowchart illustrating the flow of program processing.
  • the control unit 21 acquires the observation target portion (step S501).
  • the control unit 21 searches the standard image DB 65 using the observation target portion acquired in step S501 as a key, and acquires the extracted standard image (step S502).
  • the control unit 21 acquires a real-time image from the catheter control unit 271 (step S503).
  • the control unit 21 displays the image described with reference to FIG. 5 (step S504).
  • the control unit 21 activates a subroutine for calculating the rotation angle (step S505).
  • the rotation angle calculation subroutine is a subroutine that calculates the rotation angle at which the degree of similarity between the standard image and the real-time image becomes high. The processing flow of the rotation angle calculation subroutine will be described later.
  • the control unit 21 determines whether or not the similarity between the real-time image and the standard image at the rotation angle calculated by the rotation angle calculation subroutine exceeds a predetermined threshold value (step S506). When it is determined that the predetermined threshold value is not exceeded, that is, it is not sufficiently similar (NO in step S506), the control unit 21 returns to step S503.
  • control unit 21 sets the rotation angle for rotating the real-time image when the automatic rotation button 581 is selected to the angle calculated in step S505 (step). S507).
  • the control unit 21 displays the image described with reference to FIGS. 6 to 8 on the display device 31 (step S508).
  • control unit 21 updates the image displayed in the first image field 51 in real time.
  • the control unit 21 switches whether or not to rotate the real-time image displayed in the first image field 51 based on the operation of the automatic rotation button 581 by the user.
  • the control unit 21 ends the process when the diagnostic imaging catheter 40 is removed from the MDU 33.
  • step S503 the control unit 21 displays a real-time image at the same rotation angle as immediately before the user operates the part selection button 591.
  • the image displayed in the first image field 51 is rotated, and it is possible to prevent the user who is observing the real-time image from being confused.
  • FIG. 10 is a flowchart illustrating the processing flow of the rotation angle calculation subroutine.
  • the rotation angle calculation subroutine is a subroutine that calculates the rotation angle at which the degree of similarity between the standard image and the real-time image becomes high.
  • the control unit 21 calculates the degree of similarity between the standard image and the real-time image (step S511). As described above, the similarity can be evaluated by using an arbitrary method such as the sum of the difference squares of the pixel values of the pixels at the same position in the two images, the sum of the absolute values of the differences, or the normalized cross-correlation.
  • the control unit 21 may accept the selection of the method to be used by the user.
  • the control unit 21 stores the rotation angle and the degree of similarity in the auxiliary storage device 23 or the main storage device 22 (step S512).
  • the initial value of the rotation angle is zero.
  • the control unit 21 determines whether or not the real-time image has rotated once (step S513). When it is determined that the image has not rotated once (NO in step S513), the control unit 21 rotates the image being processed by a predetermined angle (step S514). The control unit 21 returns to step S511.
  • control unit 21 calculates a rotation angle having a high degree of similarity based on the relationship between the rotation angle recorded in step S512 and the degree of similarity (step S515). After that, the control unit 21 ends the process.
  • the control unit 21 may perform image processing for clearly extracting the merkmal, such as edge enhancement or contrast correction, on the standard image and the real-time image before calculating the similarity in step S511.
  • the control unit 21 may calculate the similarity by using an image obtained by averaging images of a plurality of adjacent frames instead of a real-time image. Since the reflectors such as red blood cells flowing inside the luminal organ are not depicted, the merkmal becomes clear. By using an image in which the merkmal is clearly extracted, it is possible to accurately calculate the rotation angle at which the degree of similarity between the two becomes high.
  • the control unit 21 may perform a process of reducing the standard image and the real-time image before calculating the similarity in step S511.
  • the standard image DB 65 may record a standard image for reduction processing. By using the reduced image, it is possible to speed up the arithmetic processing when calculating the similarity.
  • control unit 21 may activate step S505 once every two frames or three frames, for example.
  • the control unit 21 may determine that the frame to be processed in step S505 is synchronized with the electrocardiogram.
  • Part or all of the program may be executed on a large computer connected via a network, a virtual machine running on the large computer, or a cloud computing system.
  • a part or all of the program may be executed by a plurality of personal computers or the like that perform distributed processing.
  • a catheter system 10 that automatically rotates a real-time image in a direction similar to a standard image. For example, when multiple medical staff such as doctors and nurses work together to make a diagnosis and treatment, such as in a catheter room, the real-time images are displayed in the appropriate orientation so that each medical staff can quickly perform the diagnosis and treatment of the luminal organ. You can grasp the state. Therefore, catheter treatment can be performed promptly and appropriately.
  • a moving image or a still image stored in the auxiliary storage device 23 or the like may be used. It is possible to provide a catheter system 10 that can be used for recording medical records after the end of a case.
  • the information processing device 20 may be a personal computer, tablet, smartphone, or the like that does not have a function of connecting the MDU 33 and the diagnostic imaging catheter 40.
  • the present embodiment relates to a catheter system 10 that continuously calculates a rotation angle.
  • the description of the parts common to the first embodiment will be omitted.
  • FIG. 11 is a flowchart illustrating a processing flow of the program of the second embodiment. Since the processes from step S501 to step S508 are common to the processes of the program of the first embodiment described with reference to FIG. 9, the description thereof will be omitted.
  • the control unit 21 acquires a real-time image from the catheter control unit 271 (step S521).
  • the control unit 21 activates a subroutine for calculating the rotation angle (step S522).
  • the subroutine for calculating the rotation angle is the same subroutine as the subroutine described with reference to FIG.
  • the control unit 21 determines whether or not the real-time image has rotated (step S523). Specifically, the control unit 21 determines that the real-time image has rotated when the difference between the rotation angle set in step S507 and the rotation angle calculated in step S522 is larger than a predetermined threshold value.
  • the predetermined threshold value may be an angle for one sound line data, or may be an angle such as 30 degrees or 60 degrees that can be easily identified by the user.
  • the control unit 21 may accept the setting of the threshold value by the user.
  • step S523 When it is determined that the rotation has been performed (YES in step S523), the control unit 21 updates the rotation angle set in step S507 to the rotation angle newly calculated in step S522 (step S524). When it is determined that the rotation is not occurring (NO in step S523), or after the end of step S524, the control unit 21 determines whether or not to end the process (step S525).
  • control is performed when a termination instruction is received from the user, when the diagnostic imaging catheter 40 is removed from the MDU 33, or when the user operates the site selection button 591 to select another observation target site.
  • the unit 21 determines that the process is completed. When it is determined that the process is not completed (NO in step S525), the control unit 21 returns to step S508. If it is determined that the process is to be completed (YES in step S525), the control unit 21 ends the process.
  • the catheter system 10 that automatically follows the rotation of the real-time image due to the influence of the bending state of the luminal organ and continues to correct the orientation of the real-time image.
  • the present embodiment relates to a catheter system 10 that uses a schema that schematically represents the structure of a luminal organ and its surrounding organs as a standard image.
  • the real-time image is rotated in a direction in which the similarity with the schema becomes high.
  • the description of the parts common to the first embodiment will be omitted.
  • FIG. 12 is an explanatory diagram illustrating the configuration of the learning model 61.
  • the learning model 61 is a model that accepts a real-time image and outputs an object arrangement image 482 that maps the types of a plurality of objects included in the real-time image and the range of each object in association with each other.
  • the learning model 61 is generated by machine learning.
  • the hatch of the thin horizontal line is the "cross section of the diagnostic imaging catheter 40"
  • the hatch of the lower right is “inside the luminal organ”
  • the hatch of the thick left lower is “outside the heart”. "Membrane” is shown respectively.
  • FIG. 12 schematically shows that each object is painted in a different color.
  • Coloring objects is an example of how to display each object separately. It may be displayed so as to be distinguishable from other objects by any aspect such as surrounding the outer edge of each object.
  • a cross-layer image is displayed in a portion of the object arrangement image 482 other than the objects listed above.
  • the control unit 21 may classify the entire surface of the object arrangement image 482 into some object such as "luminal organ wall”, “plaque”, “calcification”, “guide wire”, etc., and display them separately. ..
  • the learning model 61 is, for example, a semantic segmentation model, and includes an input layer, a neural network, and an output layer.
  • the neural network has a U-Net structure that realizes semantic segmentation.
  • the U-Net structure is composed of a multi-layered encoder layer and a multi-layered decoder layer connected behind the multi-layered encoder layer. Semantic segmentation assigns a label to each pixel that makes up the input image, indicating the type of object.
  • the control unit 21 can generate an output image in which objects are mapped with different colors for each type, as shown in the object arrangement image 482 of FIG. 4, by determining the display method of each pixel according to the label.
  • a schema of the standard image which is painted in the same color as the object arrangement image, is recorded.
  • the learning model 61 shown in FIG. 12 is an example of a model that outputs information about the merkmal included in the image when the image is input.
  • the learning model 61 may be a model that detects merkmal or the like from an image using Mask R-CNN (Regions with Convolutional Neural Networks).
  • FIG. 13 is a flowchart illustrating a processing flow of the subroutine for calculating the rotation angle according to the third embodiment.
  • the subroutine of FIG. 13 is a subroutine used in place of the rotation angle calculation subroutine described with reference to FIG.
  • the control unit 21 inputs the real-time image acquired from the catheter control unit 271 into the learning model 61, and acquires an object arrangement image 482 in which the types of a plurality of objects included in the real-time image and the range of each object are associated with each other. (Step S531).
  • the control unit 21 calculates the degree of similarity between the standard image and the object arrangement image 482 (step S532).
  • the control unit 21 stores the rotation angle and the degree of similarity in the auxiliary storage device 23 or the main storage device 22 (step S533).
  • the initial value of the rotation angle is zero.
  • the control unit 21 determines whether or not the real-time image has rotated once (step S534). When it is determined that the object has not rotated once (NO in step S534), the control unit 21 rotates the object arrangement image acquired in step S531 by a predetermined angle (step S535). The control unit 21 returns to step S532.
  • control unit 21 calculates a rotation angle having a high degree of similarity based on the relationship between the rotation angle recorded in step S533 and the degree of similarity (step S536). After that, the control unit 21 ends the process.
  • a catheter system 10 that can use a schema for a standard image. For example, when using a new type of diagnostic imaging catheter 40, or when using a diagnostic imaging catheter 40 for a new application, a catheter that can be used even when an actual case image suitable for a standard image cannot be prepared. System 10 can be provided.
  • the present embodiment relates to a catheter system 10 that calculates a rotation angle based on a user-designated merkmal from a real-time image.
  • the description of the parts common to the third embodiment will be omitted.
  • FIG. 14 is an explanatory diagram illustrating the record layout of the Mercumal DB.
  • the merkmal DB is a DB that records an observation target site, a name of the merkmal, and a merkmal image indicating a position where the merkmal is displayed in association with each other.
  • the Mercumal DB has a site field, a Mercumal name field, and a Mercumal image field.
  • the part to be observed is recorded in the part field.
  • the name of the merkmal is recorded in the merkmal name field.
  • An image showing the range of the merkmal is recorded in the merkmal image field.
  • a plurality of merkmal names may be recorded for one observation target site.
  • One merkmal name may be associated with a plurality of observation target sites.
  • the Mercumal DB has one record for a combination of a set of observation sites and a Mercumal name.
  • a record is recorded when the observation target site is "LAD" and the merkmal name is "epicardium".
  • the standard range for displaying the merkmal "epicardium” that is, the standard position for displaying the "epicardium” while the diagnostic imaging catheter 40 is being inserted into the "LAD”.
  • a merkmal image showing a standard shape is recorded.
  • the hatched portion is a standard range for displaying the merkmal.
  • a record is recorded when the observation target site is "LAD” and the merkmal name is "D1 (First Diagonal Branch)".
  • D1 First Diagonal Branch
  • FIG. 15 is an example of a screen displayed by the catheter system 10 of the fourth embodiment.
  • FIG. 15 is an example of an image displayed on the display device 31 by the control unit 21 when the user manually specifies the merkmal.
  • the screen shown in FIG. 15 includes a first image field 51, a part selection button 591, a merkmal selection button 592, and an automatic rotation button 581.
  • a designated reception image for accepting the designation of the merkmal by the user is displayed.
  • the designated reception image is a real-time image obtained by using the diagnostic imaging catheter 40, or a pause image in which the update of the real-time image is paused based on an operation by the user.
  • the part selection button 591 is a pull-down menu type button, and the part to be observed that the user is observing is selected.
  • the merkmal selection button 592 is a pull-down menu type button, and the name of the merkmal specified by the user is selected.
  • control unit 21 acquires the observation target part from the electronic medical record system.
  • the control unit 21 may detect the position of the sensor 42 from the image being captured by the diagnostic imaging apparatus 37 and determine the observation target portion.
  • the control unit 21 may acquire the observation target portion determined by the diagnostic imaging apparatus 37.
  • the control unit 21 automatically sets the site selection button 591 in a state where the observation target site is selected.
  • the control unit 21 may wait for the user to operate the part selection button 591 without automatically setting the part selection button 591. Even when the control unit 21 automatically sets the part selection button 591, the user can operate the part selection button 591 to change the observation target part.
  • the control unit 21 may accept the operation of the part selection button 591 by the user by voice input.
  • the control unit 21 searches the merkmal DB using the observation target site as a key, and extracts the merkmal name associated with the site.
  • the control unit 21 sets the extracted merkmal name as an option when the pull-down menu of the merkmal selection button 592 is opened.
  • the control unit 21 accepts the operation of the merkmal selection button 592 by the user.
  • the control unit 21 displays the cursor 68 in the first image field 51.
  • the user operates the cursor 68 using an input device such as a mouse to input a designated frame 69 indicating the range of the merkmal.
  • the control unit 21 acquires the range of the merkmal specified by the user.
  • control unit 21 accepts the designation of the range of the merkmal through a user interface similar to that of so-called paint software.
  • the control unit 21 specifies the range of the merkmal in the first image field 51 based on the observation target part selected via the part selection button 591 and the part selection button 591 selected via the merkmal selection button 592.
  • a designated frame 69 having a shape suitable for the above may be displayed, and movement and deformation operations by the user may be accepted.
  • the user selects the automatic rotation button 581.
  • the control unit 21 searches the merkmal DB using the observation target part set on the part selection button 591 and the merkmal name set on the merkmal selection button 592 as keys, and extracts the merkmal image.
  • the control unit 21 detects an angle at which the range of the designated frame 69 designated by the user and the range of the merkmal included in the merkmal image are in a similar state.
  • a designated frame image is generated in which the range designated by the designated frame 69 is filled in the same manner as the merkmal image on a white background having the same dimensions as the control unit 21 designated reception image.
  • the control unit 21 repeatedly performs a process of determining the degree of similarity with the Mercumal image after rotating the designated frame image by an arbitrary angle. After repeating the process until the designated frame image makes one rotation, the control unit 21 extracts the angle having the highest degree of similarity. The control unit 21 rotates the designated reception image together with the designated frame 69.
  • FIG. 16 is a flowchart illustrating a processing flow of the program of the fourth embodiment.
  • the control unit 21 acquires the observation target portion (step S541).
  • the control unit 21 searches the merkmal DB using the observation target portion acquired in step S541 as a key, and extracts the merkmal name (step S542).
  • the control unit 21 sets the merkmal name extracted in step S542 as the option of the merkmal selection button 592.
  • the control unit 21 acquires the merkmal name selected by the user (step S543).
  • the control unit 21 searches the merkmal DB using the observation target portion acquired in step S541 and the merkmal name acquired in step S543 as keys, and extracts the merkmal image (step S544).
  • the control unit 21 prompts the user to input the merkmal.
  • the user operates the cursor 68 to input the designated frame 69 indicating the range of the merkmal drawn on the designated reception image.
  • the control unit 21 acquires the designated frame 69 input by the user (step S545).
  • the control unit 21 generates a designated frame image (step S546).
  • the control unit 21 activates a subroutine for calculating the rotation angle (step S547).
  • the subroutine for calculating the rotation angle is the same subroutine as the subroutine described with reference to FIG. 10, and is a subroutine for calculating the rotation angle at which the degree of similarity between the standard image and the real-time image becomes high.
  • the control unit 21 inputs the merkmal acquired in step S544 into the standard image instead of the standard image, and inputs the designated frame image generated in step S546 instead of the real-time image into the subroutine for calculating the rotation angle. do.
  • the control unit 21 sets the rotation angle for rotating the real-time image when the automatic rotation button 581 is selected to the angle calculated in step S547 (step S548).
  • the control unit 21 rotates the designated reception image displayed in the first image field 51 (step S549).
  • the control unit 21 updates the image displayed in the first image field 51 in real time.
  • the control unit 21 switches whether or not to rotate the real-time image displayed in the first image field 51 based on the operation of the automatic rotation button 581 by the user.
  • the control unit 21 ends the process.
  • the control unit 21 may deform the position and shape of the designated frame 69 so as to follow the real-time image. Since the method of following a designated area or point on a moving image has been conventionally used, the description thereof will be omitted.
  • the control unit 21 ends the process and re-executes the program.
  • the control unit 21 receives an instruction to display a real-time image during re-execution, the control unit 21 displays it at the same rotation angle as immediately before the user operates the part selection button 591.
  • the image displayed in the first image field 51 is rotated, and it is possible to prevent the user who is observing the real-time image from being confused.
  • a catheter system 10 that automatically rotates a real-time image in a direction similar to a standard image based on a merkmal that is read and specified by a user.
  • the user can specify the appropriate merkmal according to the planned treatment procedure.
  • control unit 21 supports the input of the designated frame 69 by using the learning model 61 described with reference to FIG.
  • the control unit 21 replaces step S545 of the program described with reference to FIG. 16 with the following processing and executes the program.
  • the control unit 21 inputs the designated reception image into the learning model 61 and acquires the object arrangement image.
  • the control unit 21 extracts the outline of the object corresponding to the merkmal name received via the merkmal selection button 592.
  • the control unit 21 uses the extracted contour line for the default designated frame 69 and displays it in the first image field 51.
  • the control unit 21 accepts the user to modify the designated frame 69.
  • Modification 2 In the modification-2, the rotation angle is automatically calculated without accepting the modification of the designated frame 69 by the user.
  • the control unit 21 replaces step S545 and step S546 of the program described with reference to FIG. 16 with the following processing and executes the program.
  • the control unit 21 inputs the designated reception image into the learning model 61 described with reference to FIG. 12 and acquires the object arrangement image.
  • the control unit 21 extracts the pixels corresponding to the object corresponding to the merkmal name received via the merkmal selection button 592.
  • the control unit 21 generates a designated frame image by setting a background color other than the extracted pixels to, for example, white.
  • the present embodiment relates to a catheter system 10 that extracts a merkmal and rotates an image during a pullback operation.
  • the description of the parts common to the first embodiment will be omitted.
  • the screen shown in FIG. 17 includes a first image field 51, a second image field 52, a part selection button 591, a merkmal selection button 592, and an automatic rotation button 581.
  • a real-time image is displayed in the first image column 51.
  • a vertical tomographic image is displayed in the second image column 52.
  • the right end of the vertical tomographic image corresponds to the real-time image, and as the sensor 42 moves to the MDU33 side by the pullback operation, the vertical tomographic image displayed in the second image field 52 extends to the right.
  • SFA Superficial Femoral Artery
  • DFA Deep Femoral Artery
  • FIG. 17 shows the state after the detection of merkmal.
  • the detection mark 572 displayed on the edge of the second image field 52 indicates the position where the merkmal is detected.
  • the control unit 21 sets the automatic rotation button 581 in a selectable state.
  • the automatic rotation button 581 is selected, and the rotated image is displayed in the first image field 51 and the second image field 52.
  • FIG. 19 is a flowchart illustrating a processing flow of the program of the fifth embodiment.
  • the control unit 21 acquires the observation target portion (step S551).
  • the control unit 21 searches the standard image DB 65 using the observation target portion acquired in step S551 as a key, and acquires the extracted standard image (step S552).
  • the control unit 21 receives an instruction from the user to start the pullback operation (step S553).
  • the control unit 21 acquires a real-time image from the catheter control unit 271 (step S554).
  • the control unit 21 displays the image described with reference to FIG. 17 (step S555).
  • the control unit 21 activates a subroutine for calculating the rotation angle (step S556).
  • the subroutine for calculating the rotation angle is the same subroutine as the subroutine described with reference to FIG.
  • the control unit 21 determines whether or not the similarity between the real-time image and the standard image at the rotation angle calculated by the rotation angle calculation subroutine exceeds a predetermined threshold value (step S557). When it is determined that the predetermined threshold value is not exceeded, that is, it is not sufficiently similar (NO in step S557), the control unit 21 determines whether or not the pullback operation is completed (step S558).
  • step S558 If it is determined that the process has not been completed (NO in step S558), the control unit 21 returns to step S554. When it is determined that the process is completed (YES in step S558), the control unit 21 ends the process.
  • control unit 21 determines the rotation angle for rotating the real-time image when the automatic rotation button 581 is selected.
  • the angle is set to the angle calculated in step S557 (step S559).
  • the control unit 21 displays the image described with reference to FIG. 18 on the display device 31 (step S560).
  • control unit 21 updates the images displayed in the first image field 51 and the second image field 52 in real time.
  • the control unit 21 switches whether or not to rotate the images displayed in the first image field 51 and the second image field 52 based on the operation of the automatic rotation button 581 by the user.
  • the control unit 21 ends the process.
  • control unit 21 may rotate the images to be displayed in the first image field 51 and the second image field 52 when the rotation angle is set in step S560.
  • a catheter system 10 that detects a merkmal during a pullback operation and rotates an image. It is possible to provide a catheter system 10 that automatically rotates an image in a predetermined direction even when the place where the merkmal is drawn is small.
  • the present embodiment relates to a program that generates a learning model 61.
  • the description of the parts common to the third embodiment will be omitted.
  • FIG. 20 is an explanatory diagram for explaining the record layout of the training DB.
  • the training DB is a database that records the input and the correct label in association with each other, and is used for training the model by machine learning.
  • the training DB has an input data feel and a color-coded data field.
  • an input image acquired by using the diagnostic imaging catheter 40 is recorded.
  • an image in which an input image is painted in a different color for each object by a specialist such as a doctor is recorded. That is, an object corresponding to each pixel constituting the input image is recorded in the coloring data field.
  • the training DB a large amount of combinations of an input image generated by using the diagnostic imaging catheter 40 and an image painted by an expert or the like are recorded.
  • FIG. 21 is a flowchart illustrating a processing flow of the program of the sixth embodiment. A case where machine learning of the learning model 61 is performed using the information processing device 20 will be described as an example.
  • the program of FIG. 21 may be executed by hardware different from the information processing device 20, and the learning model 61 for which machine learning has been completed may be copied to the auxiliary storage device 23 via the network.
  • the learning model 61 trained by one hardware can be used by a plurality of information processing devices 20.
  • an unlearned model such as a U-Net structure that realizes semantic segmentation is prepared.
  • the U-Net structure is composed of a multi-layered encoder layer and a multi-layered decoder layer connected behind the multilayer encoder layer.
  • the program of FIG. 19 adjusts each parameter of the prepared model to perform machine learning.
  • the control unit 21 acquires a training record used for training one epoch from the training DB (step S571).
  • the control unit 21 adjusts the model parameters so that the correct image label is output from the output layer when the input image is input to the input layer of the model (step S572).
  • the program may appropriately have a function of causing the control unit 21 to accept corrections by the user, present the basis for judgment, relearn, and the like.
  • the control unit 21 determines whether or not to end the process (step S573). For example, when the control unit 21 finishes learning a predetermined number of epochs, it determines that the process is finished.
  • the control unit 21 may acquire test data from the training DB, input it to the model being machine-learned, and determine that the process ends when an output with a predetermined accuracy is obtained.
  • step S573 If it is determined that the process is not completed (NO in step S573), the control unit 21 returns to step S571.
  • the control unit 21 records the parameters of the trained model in the auxiliary storage device 23 (step S574). After that, the control unit 21 ends the process.
  • a trained model is generated.
  • the learning model 61 can be generated by machine learning.
  • FIG. 22 is a functional block diagram of the information processing device 20 according to the seventh embodiment.
  • the information processing device 20 includes an acquisition unit 81 and a display unit 82.
  • the acquisition unit 81 acquires an image generated by using a diagnostic imaging catheter inserted into a luminal organ.
  • the display unit 82 displays the image in a rotated state so that the merkmal included in the image acquired by the acquisition unit 81 has a predetermined orientation.
  • FIG. 23 is an explanatory diagram illustrating the configuration of the catheter system 10 of the eighth embodiment.
  • the catheter system 10 of the present embodiment is realized by operating the catheter control device 27, the MDU 33, the diagnostic imaging catheter 40, the general-purpose computer 90, and the program 97 in combination.
  • the catheter control device 27 the MDU 33, the diagnostic imaging catheter 40, the general-purpose computer 90, and the program 97 in combination.
  • the program 97 the program 97 in combination.
  • morphology The description of the parts common to the first embodiment will be omitted.
  • the catheter control device 27 is an ultrasonic diagnostic device for IVUS that controls the MDU 33, controls the sensor 42, and generates a transverse layer image and a longitudinal tomographic image based on the signal received from the sensor 42. Since the function and configuration of the catheter control device 27 are the same as those of the conventionally used ultrasonic diagnostic device, the description thereof will be omitted.
  • the catheter system 10 of this embodiment includes a computer 90.
  • the computer 90 includes a control unit 21, a main storage device 22, an auxiliary storage device 23, a communication unit 24, a display unit 25, an input unit 26, a reading unit 29, and a bus.
  • the computer 90 is an information device such as a general-purpose personal computer, a tablet, a smartphone, or a server computer.
  • Program 97 is recorded on the portable recording medium 96.
  • the control unit 21 reads the program 97 via the reading unit 29 and stores it in the auxiliary storage device 23. Further, the control unit 21 may read the program 97 stored in the semiconductor memory 98 such as the flash memory mounted in the computer 90. Further, the control unit 21 may download the program 97 from the communication unit 24 and another server computer (not shown) connected via a network (not shown) and store the program 97 in the auxiliary storage device 23.
  • the program 97 is installed as a control program of the computer 90, loaded into the main storage device 22, and executed. As a result, the computer 90 functions as the information processing device 20 described above.
  • the computer 90 is a general-purpose personal computer, tablet, smartphone, large computer, virtual machine running on the large computer, cloud computing system, or quantum computer.
  • the computer 90 may be a plurality of personal computers or the like that perform distributed processing.
  • Catheter system 20 Information processing device 21 Control unit 22 Main storage device 23 Auxiliary storage device 24 Communication unit 25 Display unit 26 Input unit 27 Catheter control device 271 Catheter control unit 29 Reading unit 31 Display device 32 Input device 33 MDU 37 Diagnostic imaging device 40 Diagnostic imaging catheter 41 Probe part 42 Sensor 43 Shaft 44 Tip marker 45 Connector part 482 Object placement image 51 1st image field 52 2nd image field 571 Status notification field 571 Detection mark 581 Automatic rotation button 591 Site selection Button 592 Mercumal selection button 61 Learning model 65 Standard image DB 68 Cursor 69 Designated frame 81 Acquisition unit 82 Display unit 90 Computer 96 Portable recording medium 97 Program 98 Semiconductor memory

Abstract

カテーテルシステムを容易に使用できるようにするプログラム等を提供すること。　プログラムは、管腔器官に挿入された画像診断用カテーテルを用いて生成された画像を取得し、取得した前記画像に含まれるメルクマールが所定の向きになるように前記画像を回転させた状態で表示する処理をコンピュータに実行させる。前記メルクマールは、前記画像に対して画像処理を行なうことにより抽出される。画像を入力した場合に前記画像に含まれるメルクマールに関する情報を出力する学習モデルに、取得した前記画像を入力して、前記学習モデルから出力された情報に基づいてメルクマールを抽出する。

Description

プログラム、情報処理方法および情報処理装置
　本発明は、プログラム、情報処理方法および情報処理装置に関する。
　血管等の管腔器官に画像診断用カテーテルを挿入して、画像診断用の画像を表示するカテーテルシステムが使用されている（特許文献１）。
国際公開第２０１７／１６４０７１号
　画像診断用カテーテルにより得られる画像の向きは、画像診断用カテーテルの屈曲状態等により変化する。医師およびコメディカルスタッフが管腔器官の状態を速やかに把握できるように、所定の向きに手動で画像を回転させる操作が行われる場合がある。しかしながら画像を所定の向きに回転させるには、描出されている画像を正しく読影する能力が必要であるため、長時間のトレーニングが必要である。
　一つの側面では、カテーテルシステムを容易に使用できるようにするプログラム等を提供することを目的とする。
　プログラムは、管腔器官に挿入された画像診断用カテーテルを用いて生成された画像を取得し、取得した前記画像に含まれるメルクマールが所定の向きになるように前記画像を回転させた状態で表示する。
　一つの側面では、カテーテルシステムを容易に使用できるようにするプログラム等を提供できる。
カテーテルシステムの概要を説明する説明図である。 画像診断用カテーテルの概要を説明する説明図である。 カテーテルシステムの構成を説明する説明図である。 標準画像ＤＢのレコードレイアウトを説明する説明図である。 カテーテルシステムが表示する画面の例である。 カテーテルシステムが表示する画面の例である。 カテーテルシステムが表示する画面の例である。 カテーテルシステムが表示する画面の変形例である。 プログラムの処理の流れを説明するフローチャートである。 回転角度算出のサブルーチンの処理の流れを説明するフローチャートである。 実施の形態２のプログラムの処理の流れを説明するフローチャートである。 学習モデルの構成を説明する説明図である。 実施の形態３の回転角度算出のサブルーチンの処理の流れを説明するフローチャートである。 メルクマールＤＢのレコードレイアウトを説明する説明図である。 実施の形態４のカテーテルシステムが表示する画面の例である。 実施の形態４のプログラムの処理の流れを説明するフローチャートである。 実施の形態５のカテーテルシステムが表示する画面の例である。 実施の形態５のカテーテルシステムが表示する画面の例である。 実施の形態５のプログラムの処理の流れを説明するフローチャートである。 訓練ＤＢのレコードレイアウトを説明する説明図である。 実施の形態６のプログラムの処理の流れを説明するフローチャートである。 実施の形態７の情報処理装置の機能ブロック図である。 実施の形態８のカテーテルシステムの構成を説明する説明図である。
［実施の形態１］
　図１は、カテーテルシステム１０の概要を説明する説明図である。カテーテルシステム１０は、画像診断用カテーテル４０と、ＭＤＵ（Motor Driving Unit）３３と、情報処理装置２０とを備える。画像診断用カテーテル４０は、ＭＤＵ３３を介して情報処理装置２０に接続されている。情報処理装置２０には、表示装置３１および入力装置３２が接続されている。入力装置３２は、たとえばキーボード、マウス、トラックボールまたはマイク等の入力デバイスである。表示装置３１と入力装置３２とは、一体に積層されて、タッチパネルを構成していてもよい。入力装置３２と情報処理装置２０とは、一体に構成されていてもよい。
　図２は、画像診断用カテーテル４０の概要を説明する説明図である。図２は、血管の内側から超音波断層像を生成する際に用いられるＩＶＵＳ（Intravascular Ultrasound）用、すなわち超音波断層像生成用の画像診断用カテーテル４０の例を示す。
　画像診断用カテーテル４０は、プローブ部４１と、プローブ部４１の端部に配置されたコネクタ部４５とを有する。プローブ部４１は、コネクタ部４５を介してＭＤＵ３３に接続される。以下の説明では画像診断用カテーテル４０のコネクタ部４５から遠い側を先端側と記載する。
　プローブ部４１の内部に、シャフト４３が挿通されている。シャフト４３の先端側に、センサ４２が接続されている。シャフト４３およびセンサ４２は、プローブ部４１の内部で回転および進退可能である。
　センサ４２は、超音波の送受信を行なう超音波トランスデューサである。プローブ部４１の先端部近傍に、環状の先端マーカ４４が固定されている。先端マーカ４４の素材は、金属等のＸ線が透過しない材料である。
　画像診断用カテーテル４０は、近赤外光を用いて光断層像を生成するＯＣＴ（Optical Coherence Tomography）用またはＯＦＤＩ（Optical Frequency Domain Imaging）用等の、光断層像生成用のカテーテルであってもよい。これらの画像診断用カテーテル４０のセンサ４２は、近赤外光の照射と反射光の受信を行なう送受信部である。
　画像診断用カテーテル４０は、超音波トランスデューサと、ＯＣＴまたはＯＦＤＩ用の送受信部との両方のセンサ４２を有してもよい。画像診断用カテーテル４０は、超音波トランスデューサと、ＯＣＴ用の送受信部と、ＯＦＤＩ用の送受信部との合計３個のセンサ４２を有してもよい。
　画像診断用カテーテル４０は機械的に回転および進退を行なう機械走査方式に限定しない。複数の超音波トランスデューサを環状に配置したセンサ４２を用いた、電子ラジアル走査型の画像診断用カテーテル４０であってもよい。
　画像診断用カテーテル４０は、長手方向に沿って複数の超音波トランスデューサを一列に配置した、いわゆるリニア走査型のセンサ４２を有してもよい。画像診断用カテーテル４０は、複数の超音波トランスデューサをマトリクス状に配置した、いわゆる２次元アレイ型のセンサ４２を有してもよい。
　画像診断用カテーテル４０を用いて、血管壁等の管腔壁に加えて、たとえば赤血球等の管腔器官の内部に存在する反射体、および、心外膜、心臓等の管腔器官の外側に存在する臓器を含む断層像を生成できる。
　画像診断用カテーテル４０は、管腔器官の内壁を光学的に観察する際に用いられる、血管用内視鏡であってもよい。
画像診断用カテーテル４０が挿入されて、使用される管腔器官は、たとえば血管、膵管、胆管または気管支等である。以下の説明では、画像診断用カテーテル４０は図２に示す機械走査方式のＩＶＵＳ用カテーテルである場合を例にして説明する。
　図３は、カテーテルシステム１０の構成を説明する説明図である。前述の通りカテーテルシステム１０は、情報処理装置２０、ＭＤＵ３３および画像診断用カテーテル４０を有する。情報処理装置２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６、カテーテル制御部２７１およびバスを備える。
　制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）またはマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して情報処理装置２０を構成するハードウェア各部と接続されている。
　主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。
　補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置２３には、制御部２１に実行させるプログラム、標準画像ＤＢ（Database）６５およびプログラムの実行に必要な各種データが保存される。標準画像ＤＢ６５は、情報処理装置２０に接続された外部の大容量記憶装置等に保存されていても良い。通信部２４は、情報処理装置２０とネットワークとの間の通信を行なうインターフェイスである。
　表示部２５は、表示装置３１とバスとを接続するインターフェイスである。入力部２６は、入力装置３２とバスとを接続するインターフェイスである。カテーテル制御部２７１は、ＭＤＵ３３の制御、センサ４２の制御、および、センサ４２から受信した信号に基づく画像の生成等を行なう。
　ＭＤＵ３３は、プローブ部４１の内部でセンサ４２およびシャフト４３を回転させる。カテーテル制御部２７１は、センサ４２の１回転ごとに１枚の画像を生成する。生成される画像は、プローブ部４１を中心とし、プローブ部４１に略垂直な横断層像である。
　ＭＤＵ３３は、プローブ部４１の内部でセンサ４２およびシャフト４３を回転させながら進退させることも可能である。センサ４２を一定の速度でＭＤＵ３３側に向けて引っ張りながら回転させるプルバック操作により、カテーテル制御部２７１はプローブ部４１に略垂直な複数枚の横断層像を、所定の間隔で連続的に生成する。
　カテーテル制御部２７１の機能および構成は、従来から使用されている超音波診断装置と同様であるため、詳細については説明を省略する。なお、制御部２１が、カテーテル制御部２７１の機能を実現してもよい。
　情報処理装置２０は、ＨＩＳ（Hospital Information System）等を介して、Ｘ線血管撮影装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、または超音波診断装置等の様々な画像診断装置３７と接続されている。
　本実施の形態の情報処理装置２０は、専用の超音波診断装置、または、超音波診断装置の機能を有するパソコン、タブレット、または、スマートフォン等である。
　図４は、標準画像ＤＢ６５のレコードレイアウトを説明する説明図である。標準画像ＤＢ６５は、観察対象部位と、標準画像とを関連づけて記録したデータベースである。標準画像ＤＢ６５は、部位フィールドおよび標準画像フィールドを有する。
　部位フィールドには、観察対象部位が記録されている。１行目の「ＬＡＤ」は、左冠動脈前下行枝（Left Anterior Descending Coronary Artery）を示す。「ＬＣＸ」および「ＲＣＡ」も同様に冠動脈の部位を示す。図４に示す部位は例示であり、これに限定するものではない。標準画像ＤＢ６５には、たとえば下肢の血管、胆管、または気管支の分岐等、画像診断用カテーテル４０を挿入する可能性のある任意の部位に対応するレコードが記録されていてもよい。
　標準画像フィールドには、観察対象部位で生成される標準的な画像が記録されている。標準画像は、医師が画像診断用カテーテル４０を使用した診断に使用する典型的な画像であり、医師が慣れた向きに回転させてある。一般的に、標準画像には医師が判断の目印に使用するメルクマールが含まれている。
　メルクマールは、たとえば画像診断用カテーテル４０が挿入されている管腔器官の側枝構造、当該管腔器官に近接する心臓等の臓器または当該管腔器官と並走する管腔器官等である。たとえば画像診断用カテーテル４０を冠動脈に挿入した場合には、医師、および技師は、メルクマールとして、冠動脈から分岐した側枝の血管を使用して、それが下側になるように表示された画像を回転させたり、心外膜を使用して、それが上側になるように表示された画像を回転させたりする場合が多い。
　標準画像は、コンピュータグラフィックス等の技術を用いて人工的に生成された画像であってもよい。標準画像は、複数の症例画像を合成して生成された画像であってもよい。標準画像ＤＢ６５は、１つの観察対象部位について、１つのレコードを有する。
　標準画像ＤＢ６５は、被験者の年齢、性別または基礎疾患等の、被験者の属性を記録するフィールドを有してもよい。標準画像ＤＢ６５は、解離の有無、または、石灰化の有無等の、観察対象部位に含まれる病変を記録するフィールドを有してもよい。標準画像フィールドには、それぞれの属性または病変に対応する標準画像が記録される。
　図５から図７は、カテーテルシステム１０が表示する画面の例である。図５は、標準画像との対応付けが検出されていない状態で、制御部２１が表示装置３１に表示する画面の例を示す。図５に示す画面は、第１画像欄５１、部位選択ボタン５９１、状態通知欄５７１および自動回転ボタン５８１を含む。
　第１画像欄５１には、画像診断用カテーテル４０を使用して得た画像がリアルタイムで表示されている。以下の説明では、リアルタイムで表示される画像をリアルタイム画像と記載する。部位選択ボタン５９１はプルダウンメニュー形式のボタンであり、ユーザが観察中の観察対象部位が選択されている。
　たとえば、制御部２１は電子カルテシステムから観察対象部位を取得する。制御部２１は画像診断装置３７の画像から、先端マーカ４４の位置を検出して、観察対象部位を判定してもよい。制御部２１は、画像診断装置３７が判定した観察対象部位を取得してもよい。制御部２１は、当該観察対象部位が選択された状態に部位選択ボタン５９１を自動的に設定する。
　制御部２１は、部位選択ボタン５９１を自動的に設定せずに、ユーザによる部位選択ボタン５９１の操作を待ってもよい。制御部２１が部位選択ボタン５９１を自動的に設定した場合であっても、ユーザは部位選択ボタン５９１を操作して観察対象部位を変更できる。制御部２１は、音声入力によりユーザによる部位選択ボタン５９１の操作を受け付けてもよい。
　制御部２１は、部位選択ボタン５９１に設定された観察対象部位をキーとして標準画像ＤＢ６５を検索し、標準画像を抽出する。制御部２１は、リアルタイム画像を回転させて、標準画像と類似した画像になる角度を検出する。
　具体的には、制御部２１はリアルタイム画像をたとえば３度または５度等の任意の角度回転させた後に、標準画像との類似度を判定する処理を繰り返して行なう。制御部２１は、センサ４２から取得した音線データ１本分、または複数本分の回転を行なった画像を生成して、標準画像との類似度を判定する処理を繰り返してもよい。
　類似度は、たとえば二つの画像中の同一位置の画素の画素値の差分二乗和（SSD：Sum of Squared Difference）、差分絶対値和（SAD : Sum of Absolute Difference）、または、正規化相互相関（NCC: Normalized Cross-Correlation）等により評価できる。なお、上記の手法はいずれも例示である。類似度の評価手法はこれらに限定するものではない。
　リアルタイム画像が１回転するまで処理を繰り返した後、制御部２１は最も類似度の高い角度を抽出する。制御部２１は、当該角度での類似度が所定の閾値を超えるか否かを判定する。
　類似度が閾値を超えない場合、制御部２１は図５に示すように状態通知欄５７１に「未検出」である旨を表示し、自動回転ボタン５８１を選択不能な状態に設定する。類似度が閾値を超えた場合、制御部２１は図６に示すように自動回転ボタン５８１を選択可能な状態に設定する。図６においては、自動回転ボタン５８１は「ＯＦＦ」の状態に設定されている。制御部２１は、回転させない状態のリアルタイム画像を第１画像欄５１に表示する。
　図７は、ユーザが自動回転ボタン５８１を「ＯＮ」の状態に設定した場合に、制御部２１が表示装置３１に表示する画像の例を示す。制御部２１は、標準画像と最も類似する向きに回転させたリアルタイム画像を第１画像欄５１に表示する。ユーザは、表示されているリアルタイム画像から、管腔器官およびその周囲の状態を容易に把握できる。
　なお、制御部２１は標準画像と類似する向きが検出されると同時に、リアルタイム画像を回転させて、自動回転ボタン５８１を「ＯＮ」の状態に設定してもよい。制御部２１は、音声入力により自動回転ボタン５８１の操作を受け付けてもよい。
　図８は、カテーテルシステム１０が表示する画面の変形例である。図８においては、部位選択ボタン５９１と自動回転ボタン５８１との間に第２画像欄５２が表示されている。制御部２１は、回転させたリアルタイム画像を第１画像欄５１に、回転させないリアルタイム画像を第２画像欄５２に表示する。
　回転させたリアルタイム画像と、回転させないリアルタイム画像との両方を表示することにより、画像を回転させた際に、ユーザが画像中の注目していた部分を見失うことを防止できる。
　たとえば、主に画像診断用カテーテル４０の操作を行なう医師が観察しやすい場所に配置された表示装置３１には、図８を使用して説明した画像が表示され、そのほかの医療スタッフが観察しやすい場所に配置された表示装置３１には図７を使用して説明した画像が表示されてもよい。
　図９は、プログラムの処理の流れを説明するフローチャートである。制御部２１は、観察対象部位を取得する（ステップＳ５０１）。制御部２１は、ステップＳ５０１で取得した観察対象部位をキーとして標準画像ＤＢ６５を検索し、抽出した標準画像を取得する（ステップＳ５０２）。
　制御部２１は、カテーテル制御部２７１からリアルタイム画像を取得する（ステップＳ５０３）。制御部２１は、図５を使用して説明した画像を表示する（ステップＳ５０４）。制御部２１は、回転角度算出のサブルーチンを起動する（ステップＳ５０５）。回転角度算出のサブルーチンは、標準画像と、リアルタイム画像との類似度が高くなる回転角度を算出するサブルーチンである。回転角度算出のサブルーチンの処理の流れは後述する。
　制御部２１は、回転角度算出のサブルーチンが算出した回転角度におけるリアルタイム画像と標準画像との類似度が、所定の閾値を超えるか否かを判定する（ステップＳ５０６）。所定の閾値を超えない、すなわち十分に類似していないと判定した場合（ステップＳ５０６でＮＯ）、制御部２１はステップＳ５０３に戻る。
　閾値を超えたと判定した場合（ステップＳ５０６でＹＥＳ）、制御部２１は、自動回転ボタン５８１が選択された場合にリアルタイム画像を回転させる回転角度を、ステップＳ５０５で算出された角度に設定する（ステップＳ５０７）。制御部２１は、図６から図８を使用して説明した画像を表示装置３１に表示する（ステップＳ５０８）。
　その後、制御部２１は第１画像欄５１に表示する画像をリアルタイムで更新する。制御部２１は、ユーザによる自動回転ボタン５８１の操作に基づいて、第１画像欄５１に表示するリアルタイム画像の回転有無を切り替える。ユーザから終了の指示を受け付けた場合、画像診断用カテーテル４０がＭＤＵ３３から取り外された場合、制御部２１は処理を終了する。
　ユーザが部位選択ボタン５９１を操作して、別の観察対象部位を選択した場合、制御部２１は処理を終了した後に、プログラムを再度実行する。制御部２１は、再実行時のステップＳ５０３においては、ユーザが部位選択ボタン５９１を操作する直前と同一の回転角度でリアルタイム画像を表示する。ユーザが部位選択ボタン５９１を操作した場合に、第１画像欄５１に表示される画像が回転してしまい、リアルタイム画像を観察中のユーザが戸惑うことを防止できる。
　図１０は、回転角度算出のサブルーチンの処理の流れを説明するフローチャートである。回転角度算出のサブルーチンは、標準画像と、リアルタイム画像との類似度が高くなる回転角度を算出するサブルーチンである。
　制御部２１は、標準画像と、リアルタイム画像との類似度を算出する（ステップＳ５１１）。前述のとおり類似度は、たとえば二つの画像中の同一位置の画素の画素値の差分二乗和、差分絶対値和、または、正規化相互相関等の任意の手法を用いて評価できる。制御部２１は、ユーザによる使用する手法の選択を受け付けてもよい。
　制御部２１は、回転角度と類似度とを関連づけて補助記憶装置２３または主記憶装置２２に記憶する（ステップＳ５１２）。なお、回転角度の初期値はゼロである。制御部２１は、リアルタイム画像が一回転したか否かを判定する（ステップＳ５１３）。一回転していないと判定した場合（ステップＳ５１３でＮＯ）、制御部２１は処理中の画像を所定の角度回転させる（ステップＳ５１４）。制御部２１は、ステップＳ５１１に戻る。
　１回転したと判定した場合（ステップＳ５１３でＹＥＳ）、制御部２１はステップＳ５１２で記録した回転角度と類似度との関連に基づいて類似度が高い回転角度を算出する（ステップＳ５１５）。その後、制御部２１は処理を終了する。
　制御部２１は、ステップＳ５１１で類似度を算出する前に、標準画像およびリアルタイム画像に対してたとえばエッジ強調またはコントラスト補正等の、メルクマールを明瞭に抽出する画像処理を行なってもよい。
　制御部２１は、近接する複数フレームの画像を平均化した画像をリアルタイム画像の代わりに用いて類似度を算出してもよい。管腔器官の内部を流れる赤血球等の反射体が描写されなくなるため、メルクマールが明瞭になる。メルクマールが明瞭に抽出された画像を用いることで、両者の類似度が高くなる回転角度を精度よく算出できる。
　制御部２１は、ステップＳ５１１で類似度を算出する前に、標準画像およびリアルタイム画像を縮小する処理を行なってもよい。または、標準画像ＤＢ６５には縮小処理御の標準画像が記録されていてもよい。縮小画像を使用することにより、類似度を算出する際の演算処理を高速化できる。
　リアルタイム画像のフレームレートが高く、ステップＳ５０５の処理が間に合わない場合、制御部２１はたとえば２フレームまたは３フレームに１回ステップＳ５０５を起動してもよい。制御部２１は、ステップＳ５０５の処理を行なうフレームを心電図に同期させるように定めてもよい。
　プログラムの一部または全部は、ネットワークを介して接続された大型計算機、大型計算機上で動作する仮想マシン、またはクラウドコンピューティングシステムで実行されてもよい。プログラムの一部または全部は、分散処理を行なう複数のパソコン等で実行されてもよい。
　本実施の形態によると、リアルタイム画像を標準画像と類似した向きに自動的に回転させるカテーテルシステム１０を提供できる。たとえば、カテーテル室のように複数の医師および看護師等の医療スタッフが協力して診断および治療にあたる場合、リアルタイム画像が適切な向きに表示されていることにより各医療スタッフが速やかに管腔器官の状態を把握できる。したがって、カテーテル治療を速やかに、かつ適切に行なえる。
　本実施の形態によると、リアルタイム画像を正確に読影できる熟練したスタッフがリアルタイム画像の回転操作作業を手動で行なう必要のないカテーテルシステム１０を提供できる。
　リアルタイム画像の代わりに、補助記憶装置２３等に保存された動画または静止画を使用してもよい。症例終了後のカルテ記録等に使用できるカテーテルシステム１０を提供できる。そのようにする場合には、情報処理装置２０はＭＤＵ３３および画像診断用カテーテル４０を接続する機能を備えないパソコン、タブレットまたはスマートフォン等であってもよい。
［実施の形態２］
　本実施の形態は、回転角度の算出を継続的に実行するカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。
　図１１は、実施の形態２のプログラムの処理の流れを説明するフローチャートである。ステップＳ５０１からステップＳ５０８までの処理は、図９を使用して説明した実施の形態１のプログラムの処理と共通であるため、説明を省略する。
　制御部２１は、カテーテル制御部２７１からリアルタイム画像を取得する（ステップＳ５２１）。制御部２１は、回転角度算出のサブルーチンを起動する（ステップＳ５２２）。回転角度算出のサブルーチンは、図１０を使用して説明したサブルーチンと同一のサブルーチンである。
　制御部２１は、リアルタイム画像が回転したか否かを判定する（ステップＳ５２３）。具体的には制御部２１は、ステップＳ５０７で設定した回転角度と、ステップＳ５２２で算出した回転角度との差が所定の閾値よりも大きい場合に、リアルタイム画像が回転したと判定する。所定の閾値は、音線データ１本分の角度であっても、たとえば３０度、または６０度等、ユーザが視認して容易に識別できる程度の角度であってもよい。制御部２１は、ユーザによる閾値の設定を受け付けてもよい。
　回転したと判定した場合（ステップＳ５２３でＹＥＳ）、制御部２１はステップＳ５０７で設定した回転角度をステップＳ５２２で新たに算出した回転角度に更新する（ステップＳ５２４）。回転していないと判定した場合（ステップＳ５２３でＮＯ）、またはステップＳ５２４の終了後、制御部２１は処理を終了するか否かを判定する（ステップＳ５２５）。
　たとえば、ユーザから終了の指示を受け付けた場合、画像診断用カテーテル４０がＭＤＵ３３から取り外された場合、または、ユーザが部位選択ボタン５９１を操作して、別の観察対象部位を選択した場合に、制御部２１は処理を終了すると判定する。処理を終了しないと判定した場合（ステップＳ５２５でＮＯ）、制御部２１はステップＳ５０８に戻る。処理を終了すると判定した場合（ステップＳ５２５でＹＥＳ）、制御部２１は処理を終了する。
　本実施の形態によると、管腔器官の屈曲状態等の影響によるリアルタイム画像の回転に自動的に追従してリアルタイム画像の向きを修正し続けるカテーテルシステム１０を提供できる。
［実施の形態３］
　本実施の形態は、管腔器官およびその周囲の臓器等の構造を模式的に表したシェーマを標準画像に使用するカテーテルシステム１０に関する。本実施の形態においては、リアルタイム画像をオブジェクト配置像に変換した後に、シェーマとの類似度が高くなる向きに回転させる。実施の形態１と共通する部分については、説明を省略する。
　図１２は、学習モデル６１の構成を説明する説明図である。学習モデル６１は、リアルタイム画像を受け付けて、リアルタイム画像に含まれる複数のオブジェクトの種類と、それぞれのオブジェクトの範囲とを関連づけてマッピングしたオブジェクト配置像４８２を出力するモデルである。学習モデル６１は、機械学習により生成されている。
　図１２に示すオブジェクト配置像４８２において、細い横線のハッチングは、「画像診断用カテーテル４０の断面」を、右下がりのハッチングは「管腔器官の内部」を、太い左下がりのハッチングは「心外膜」をそれぞれ示す。
　図１２中のハッチングは、それぞれのオブジェクトを異なる色で塗り分けていることを模式的に示す。オブジェクトの塗り分けは、それぞれのオブジェクトを区別して表示する方法の一例である。それぞれのオブジェクトの外縁を囲む等の任意の態様により、他のオブジェクトと識別可能に表示してもよい。
　図１２においてはオブジェクト配置像４８２のうち上記に列挙したオブジェクト以外の部分には、横断層像を表示している。制御部２１は、オブジェクト配置像４８２の全面をたとえば「管腔器官壁」、「プラーク」、「石灰化」、「ガイドワイヤ」等、なんらかのオブジェクトに分類して、塗り分けて表示してもよい。
　学習モデル６１は、たとえばセマンテックセグメンテーションモデルであり、入力層と、ニューラルネットワークと、出力層とを備える。ニューラルネットワークは、セマンテックセグメンテーションを実現するＵ－Ｎｅｔ構造を有する。Ｕ－Ｎｅｔ構造は、多層のエンコーダ層と、その後ろに接続された多層のデコーダ層とにより構成される。セマンテックセグメンテーションにより、入力された画像を構成するそれぞれの画素に対して、オブジェクトの種類を示すラベルが付与される。
　制御部２１は、ラベルにしたがってそれぞれの画素の表示方法を定めることにより図４のオブジェクト配置像４８２に示すように、オブジェクトをその種類ごとに異なる色によりマッピングした出力画像を生成できる。本実施の形態の標準画像ＤＢ６５の標準画像フィールドには、オブジェクト配置像と同様の色で塗分けた、標準画像のシェーマが記録されている。
　図１２に示す学習モデル６１は、画像を入力した際に当該画像に含まれるメルクマールに関する情報を出力するモデルの一例である。学習モデル６１は、Ｍａｓｋ　Ｒ－ＣＮＮ（Regions with Convolutional Neural Networks）を用いて、画像からメルクマール等を検出するモデルであってもよい。
　図１３は、実施の形態３の回転角度算出のサブルーチンの処理の流れを説明するフローチャートである。図１３のサブルーチンは、図１０を使用して説明した回転角度算出のサブルーチンの代わりに使用されるサブルーチンである。
　制御部２１は、カテーテル制御部２７１から取得したリアルタイム画像を学習モデル６１に入力して、リアルタイム画像に含まれる複数のオブジェクトの種類と、それぞれのオブジェクトの範囲とを関連づけたオブジェクト配置像４８２を取得する（ステップＳ５３１）。
　制御部２１は、標準画像と、オブジェクト配置像４８２との類似度を算出する（ステップＳ５３２）。制御部２１は、回転角度と類似度とを関連づけて補助記憶装置２３または主記憶装置２２に記憶する（ステップＳ５３３）。なお、回転角度の初期値はゼロである。
　制御部２１は、リアルタイム画像が一回転したか否かを判定する（ステップＳ５３４）。一回転していないと判定した場合（ステップＳ５３４でＮＯ）、制御部２１はステップＳ５３１で取得したオブジェクト配置像を所定の角度回転させる（ステップＳ５３５）。制御部２１は、ステップＳ５３２に戻る。
　１回転したと判定した場合（ステップＳ５３４でＹＥＳ）、制御部２１はステップＳ５３３で記録した回転角度と類似度との関連に基づいて類似度が高い回転角度を算出する（ステップＳ５３６）。その後、制御部２１は処理を終了する。
　本実施の形態によると、標準画像にシェーマを使用できるカテーテルシステム１０を提供できる。たとえば、新しいタイプの画像診断用カテーテル４０を使用する場合、または新しい用途に画像診断用カテーテル４０を使用する場合等、標準画像に適した実際の症例画像を用意できない場合であっても使用できるカテーテルシステム１０を提供できる。
［実施の形態４］
　本実施の形態は、リアルタイム画像からユーザが指定したメルクマールに基づいて、回転角度を算出するカテーテルシステム１０に関する。実施の形態３と共通する部分については、説明を省略する。
　図１４は、メルクマールＤＢのレコードレイアウトを説明する説明図である。メルクマールＤＢは、観察対象部位と、メルクマールの名称と、メルクマールを表示する位置を示すメルクマール画像とを関連づけて記録するＤＢである。メルクマールＤＢは、部位フィールド、メルクマール名フィールドおよびメルクマール画像フィールドを有する。
　部位フィールドには、観察対象部位が記録されている。メルクマール名フィールドには、メルクマールの名称が記録されている。メルクマール画像フィールドには、メルクマールの範囲を示す画像が記録されている。
　メルクマールＤＢには、一つの観察対象部位に対して複数のメルクマール名が記録されていてもよい。一つのメルクマール名が複数の観察対象部位に関連づけられていてもよい。メルクマールＤＢは、１組の観察対象部位とメルクマール名との組み合わせについて、１つのレコードを有する。
　具体例を挙げて説明する。図１４の１行目には、観察対象部位が「ＬＡＤ」であり、メルクマール名が「心外膜」である場合のレコードが記録されている。メルクマール画像フィールドには、画像診断用カテーテル４０を「ＬＡＤ」に挿入中に、メルクマールである「心外膜」を表示する標準的な範囲、すなわち「心外膜」が表示される標準的な位置および標準的な形状を図示したメルクマール画像が記録されている。図１４においては、ハッチングで示す部分がメルクマールを表示する標準的な範囲状である。
　図１４の２行目には、観察対象部位が「ＬＡＤ」であり、メルクマール名が「Ｄ１（第１対角枝：First Diagonal Branch）」である場合のレコードが記録されている。メルクマール画像フィールドには、画像診断用カテーテル４０を「ＬＡＤ」に挿入中に、メルクマールである「Ｄ１」を表示する標準的な範囲を図示したメルクマール画像が記録されている。
　図１５は、実施の形態４のカテーテルシステム１０が表示する画面の例である。図１５は、ユーザがメルクマールを手動で指定する際に、制御部２１が表示装置３１に表示する画像の例である。図１５に示す画面は、第１画像欄５１、部位選択ボタン５９１、メルクマール選択ボタン５９２および自動回転ボタン５８１を含む。
　第１画像欄５１には、ユーザによるメルクマールの指定を受け付ける指定受付画像が表示されている。指定受付画像は、画像診断用カテーテル４０を使用して得たリアルタイム画像、または、ユーザによる操作に基づいてリアルタイム画像の更新を一時停止した一時停止画像である。
　部位選択ボタン５９１はプルダウンメニュー形式のボタンであり、ユーザが観察中の観察対象部位が選択されている。メルクマール選択ボタン５９２はプルダウンメニュー形式のボタンであり、ユーザが指定するメルクマールの名称が選択されている。
　たとえば、制御部２１は電子カルテシステムから観察対象部位を取得する。制御部２１は画像診断装置３７が撮影中の画像から、センサ４２の位置を検出して、観察対象部位を判定してもよい。制御部２１は、画像診断装置３７が判定した観察対象部位を取得してもよい。制御部２１は、当該観察対象部位が選択された状態に部位選択ボタン５９１を自動的に設定する。
　制御部２１は、部位選択ボタン５９１を自動的に設定せずに、ユーザによる部位選択ボタン５９１の操作を待ってもよい。制御部２１が部位選択ボタン５９１を自動的に設定した場合であっても、ユーザは部位選択ボタン５９１を操作して観察対象部位を変更できる。制御部２１は、音声入力によりユーザによる部位選択ボタン５９１の操作を受け付けてもよい。
　制御部２１は、観察対象部位をキーにしてメルクマールＤＢを検索し、当該部位に関連づけられたメルクマール名を抽出する。制御部２１は、メルクマール選択ボタン５９２のプルダウンメニューを開いた場合の選択肢に、抽出したメルクマール名を設定する。制御部２１は、ユーザによるメルクマール選択ボタン５９２の操作を受け付ける。
　制御部２１は、第１画像欄５１にカーソル６８を表示する。ユーザはマウス等の入力装置を用いてカーソル６８を操作して、メルクマールの範囲を示す指定枠６９を入力する。制御部２１は、ユーザにより指定されたメルクマールの範囲を取得する。
　たとえば制御部２１は、いわゆるペイントソフトと同様のユーザインターフェイスを介して、メルクマールの範囲の指定を受け付ける。制御部２１は、部位選択ボタン５９１を介して選択された観察対象部位と、メルクマール選択ボタン５９２を介して選択された部位選択ボタン５９１とに基づいて、第１画像欄５１にメルクマールの範囲の指定に適した形状の指定枠６９を表示し、ユーザによる移動および変形の操作を受け付けてもよい。メルクマールの範囲の指定を完了した後、ユーザは自動回転ボタン５８１を選択する。
　制御部２１は、部位選択ボタン５９１に設定された観察対象部位、および、メルクマール選択ボタン５９２に設定されたメルクマール名をキーとしてメルクマールＤＢを検索し、メルクマール画像を抽出する。制御部２１は、ユーザにより指定された指定枠６９の範囲と、メルクマール画像に含まれるメルクマールの範囲とが類似した状態になる角度を検出する。
　具体的には、制御部２１指定受付画像と同一寸法の白地に、指定枠６９で指定された範囲がメルクマール画像と同様の態様で塗りつぶした指定枠画像を生成する。制御部２１は、指定枠画像を任意の角度回転させた後に、メルクマール画像との類似度を判定する処理を繰り返して行なう。指定枠画像が１回転するまで処理を繰り返した後、制御部２１は最も類似度の高い角度を抽出する。制御部２１は、指定受付画像を指定枠６９とともに回転させる。
　図１６は、実施の形態４のプログラムの処理の流れを説明するフローチャートである。制御部２１は、観察対象部位を取得する（ステップＳ５４１）。制御部２１は、ステップＳ５４１で取得した観察対象部位をキーとしてメルクマールＤＢを検索し、メルクマール名を抽出する（ステップＳ５４２）。
　制御部２１は、メルクマール選択ボタン５９２の選択肢に、ステップＳ５４２で抽出したメルクマール名を設定する。制御部２１は、ユーザが選択したメルクマール名を取得する（ステップＳ５４３）。制御部２１は、ステップＳ５４１で取得した観察対象部位、および、ステップＳ５４３で取得したメルクマール名をキーとしてメルクマールＤＢを検索し、メルクマール画像を抽出する（ステップＳ５４４）。
　制御部２１は、ユーザに対してメルクマールの入力を促す。ユーザは、カーソル６８を操作して指定受付画像に描出されているメルクマールの範囲を示す指定枠６９を入力する。制御部２１は、ユーザが入力した指定枠６９を取得する（ステップＳ５４５）。制御部２１は、指定枠画像を生成する（ステップＳ５４６）。
　制御部２１は、回転角度算出のサブルーチンを起動する（ステップＳ５４７）。回転角度算出のサブルーチンは、図１０を使用して説明したサブルーチンと同一のサブルーチンであり、標準画像と、リアルタイム画像との類似度が高くなる回転角度を算出するサブルーチンである。制御部２１は、本実施の形態においては、標準画像の代わりにステップＳ５４４で取得したメルクマールを標準画像に、リアルタイム画像の代わりにステップＳ５４６で生成した指定枠画像をそれぞれ回転角度算出のサブルーチンに入力する。
　制御部２１は、自動回転ボタン５８１が選択された場合にリアルタイム画像を回転させる回転角度を、ステップＳ５４７で算出された角度に設定する（ステップＳ５４８）。制御部２１は、第１画像欄５１に表示中の指定受付画像を回転させる（ステップＳ５４９）。
　ユーザが第１画像欄５１にリアルタイム画像を表示するように指示した場合、制御部２１は第１画像欄５１に表示する画像をリアルタイムで更新する。制御部２１は、ユーザによる自動回転ボタン５８１の操作に基づいて、第１画像欄５１に表示するリアルタイム画像の回転有無を切り替える。ユーザから終了の指示を受け付けた場合、または画像診断用カテーテル４０がＭＤＵ３３から取り外された場合、制御部２１は処理を終了する。
　制御部２１は指定枠６９の位置および形状をリアルタイム画像に追従するように変形させてもよい。動画上で、指定された領域または点を追従させる方法については、従来から使用されているため、説明を省略する。
　ユーザが部位選択ボタン５９１を操作して、別の観察対象部位を選択した場合、制御部２１は処理を終了するとともに、プログラムを再実行する。制御部２１は、再実行中にリアルタイム画像を表示する指示を受け付けた場合には、ユーザが部位選択ボタン５９１を操作する直前と同一の回転角度で表示する。ユーザが部位選択ボタン５９１を操作した場合に、第１画像欄５１に表示される画像が回転してしまい、リアルタイム画像を観察中のユーザが戸惑うことを防止できる。
　本実施の形態によると、ユーザが読影して指定したメルクマールに基づいて、リアルタイム画像を標準画像と類似した向きに自動的に回転させるカテーテルシステム１０を提供できる。ユーザは、予定している治療手技に応じて適切なメルクマールを指定できる。
［変形例－１］
　変形例－１においては、制御部２１は図１２を使用して説明した学習モデル６１を使用して、指定枠６９の入力を支援する。制御部２１は、図１６を使用して説明したプログラムのステップＳ５４５を、以下の処理に置き換えて実行する。
　制御部２１は、指定受付画像を学習モデル６１に入力して、オブジェクト配置像を取得する。制御部２１は、メルクマール選択ボタン５９２を介して受け付けたメルクマール名に対応するオブジェクトの輪郭線を抽出する。制御部２１は、抽出した輪郭線をデフォルトの指定枠６９に使用して、第１画像欄５１に表示する。制御部２１は、ユーザによる指定枠６９の修正を受け付ける。
　本変形例によると、ユーザが短時間で容易に指定枠６９を指定できるカテーテルシステム１０を提供できる。
［変形例－２］
　変形例－２においては、ユーザによる指定枠６９の修正を受け付けず、自動的に回転角度を算出する。制御部２１は、図１６を使用して説明したプログラムのステップＳ５４５およびステップＳ５４６を、以下の処理に置き換えて実行する。
　制御部２１は、図１２を使用して説明した学習モデル６１に指定受付画像を入力して、オブジェクト配置像を取得する。制御部２１は、メルクマール選択ボタン５９２を介して受け付けたメルクマール名に対応するオブジェクトに対応する画素を抽出する。制御部２１は、抽出した画素以外をたとえば白色等の背景色に設定することにより、指定枠画像を生成する。
　本変形例によると、ユーザが指定枠６９を指定する必要のないカテーテルシステム１０を提供できる。
［実施の形態５］
　本実施の形態は、プルバック操作中にメルクマールを抽出して、画像を回転させるカテーテルシステム１０に関する。実施の形態１と共通する部分については、説明を省略する。
　図１７および図１８は、実施の形態５のカテーテルシステムが表示する画面の例である。図１７に示す画面は、第１画像欄５１、第２画像欄５２、部位選択ボタン５９１、メルクマール選択ボタン５９２および自動回転ボタン５８１を含む。
　第１画像欄５１には、リアルタイム画像が表示されている。第２画像欄５２には、縦断層像が表示されている。縦断層像の右端がリアルタイム画像に対応し、プルバック操作によりセンサ４２がＭＤＵ３３側に移動するにつれて第２画像欄５２に表示される縦断層像が右向きに延びていく。
　図１７および図１８においては、観察対象部位は「ＳＦＡ（浅大腿動脈：Superficial Femoral Artrery）」、メルクマールとして「ＤＦＡ（深大腿動脈：Deep Femoral Artery）」を選定している。
　図１７に示す状態では、メルクマールは未検出であり、自動回転ボタン５８１は選択不可能な状態に設定されている。図１８は、メルクマールが検出された後の状態を示す。第２画像欄５２の縁に表示された検出マーク５７２は、メルクマールが検出された位置を示す。メルクマールが検出されて回転角度が算出された後、制御部２１は自動回転ボタン５８１を選択可能な状態に設定する。図１８においては自動回転ボタン５８１が選択されており、第１画像欄５１および第２画像欄５２には回転済の画像が表示されている。
　図１９は、実施の形態５のプログラムの処理の流れを説明するフローチャートである。制御部２１は、観察対象部位を取得する（ステップＳ５５１）。制御部２１は、ステップＳ５５１で取得した観察対象部位をキーとして標準画像ＤＢ６５を検索し、抽出した標準画像を取得する（ステップＳ５５２）。制御部２１は、ユーザによるプルバック操作開始の指示を受け付ける（ステップＳ５５３）。
　制御部２１は、カテーテル制御部２７１からリアルタイム画像を取得する（ステップＳ５５４）。制御部２１は、図１７を使用して説明した画像を表示する（ステップＳ５５５）。制御部２１は、回転角度算出のサブルーチンを起動する（ステップＳ５５６）。回転角度算出のサブルーチンは、図１０を使用して説明したサブルーチンと同一のサブルーチンである。
制御部２１は、回転角度算出のサブルーチンが算出した回転角度におけるリアルタイム画像と標準画像との類似度が、所定の閾値を超えるか否かを判定する（ステップＳ５５７）。所定の閾値を超えない、すなわち十分に類似していないと判定した場合（ステップＳ５５７でＮＯ）、制御部２１はプルバック操作が終了したか否かを判定する（ステップＳ５５８）。
　終了していないと判定した場合（ステップＳ５５８でＮＯ）、制御部２１はステップＳ５５４に戻る。終了したと判定した場合（ステップＳ５５８でＹＥＳ）、制御部２１は処理を終了する。
　所定の閾値を超えた場合、すなわち十分に類似していると判定した場合（ステップＳ５５７でＹＥＳ）、制御部２１は、自動回転ボタン５８１が選択された場合にリアルタイム画像を回転させる回転角度を、ステップＳ５５７で算出された角度に設定する（ステップＳ５５９）。制御部２１は、図１８を使用して説明した画像を表示装置３１に表示する（ステップＳ５６０）。
　その後、制御部２１は第１画像欄５１および第２画像欄５２に表示する画像をリアルタイムで更新する。制御部２１は、ユーザによる自動回転ボタン５８１の操作に基づいて、第１画像欄５１および第２画像欄５２に表示する画像の回転有無を切り替える。プルバック操作が終了した場合、制御部２１は処理を終了する。
　なお、制御部２１は、ステップＳ５６０で回転角度を設定した際に、第１画像欄５１および第２画像欄５２に表示する画像を回転させてもよい。
　本実施の形態によると、プルバック操作の途中でメルクマールを検出して、画像を回転させるカテーテルシステム１０を提供できる。メルクマールが描出される場所が少ない場合であっても、自動的に所定の向きに画像を回転させるカテーテルシステム１０を提供できる。
［実施の形態６］
　本実施の形態は、学習モデル６１を生成するプログラムに関する。実施の形態３と共通する部分については、説明を省略する。
　図２０は、訓練ＤＢのレコードレイアウトを説明する説明図である。訓練ＤＢは、入力と正解ラベルとを関連づけて記録したデータベースであり、機械学習によるモデルの訓練に使用される。訓練ＤＢは、入力データフィールおよび塗分けデータフィールドを有する。
　入力データフィールドには、画像診断用カテーテル４０を用いて取得された入力画像が記録されている。塗分けデータフィールドには、入力画像を医師等の専門家がそれぞれのオブジェクトごとに異なる色で塗分けた画像が記録されている。すなわち、塗分けデータフィールドには、入力画像を構成するそれぞれの画素が対応するオブジェクトが記録されている。訓練ＤＢには、画像診断用カテーテル４０を用いて生成した入力画像と、専門家等が塗分けた画像との組み合わせが大量に記録されている。
　図２１は、実施の形態６のプログラムの処理の流れを説明するフローチャートである。情報処理装置２０を用いて学習モデル６１の機械学習を行なう場合を例にして説明する。
　図２１のプログラムは情報処理装置２０とは別のハードウェアで実行され、機械学習が完了した学習モデル６１がネットワークを介して補助記憶装置２３に複写されてもよい。一つのハードウェアで学習させた学習モデル６１を、複数の情報処理装置２０で使用できる。
　図２１のプログラムの実行に先立ち、たとえばセマンテックセグメンテーションを実現するＵ－Ｎｅｔ構造等の未学習のモデルが準備されている。前述のとおり、Ｕ－Ｎｅｔ構造は、多層のエンコーダ層と、その後ろに接続された多層のデコーダ層とにより構成される。図１９のプログラムにより、準備されたモデルの各パラメータが調整されて、機械学習が行なわれる。
　制御部２１は、訓練ＤＢから１エポックの訓練に使用する訓練レコードを取得する（ステップＳ５７１）。制御部２１は、モデルの入力層に入力画像が入力された場合に、出力層から正解画像ラベルが出力されるように、モデルのパラメータを調整する（ステップＳ５７２）。訓練レコードの取得、およびモデルのパラメータ調整においては、プログラムは、ユーザによる修正の受付、判断の根拠の提示、再学習等を制御部２１に実行させる機能を適宜有していても良い。
　制御部２１は、処理を終了するか否かを判定する（ステップＳ５７３）。たとえば、制御部２１は所定のエポック数の学習を終了した場合に、処理を終了すると判定する。制御部２１は、訓練ＤＢからテストデータを取得して機械学習中のモデルに入力し、所定の精度の出力が得られた場合に処理を終了すると判定してもよい。
　処理を終了しないと判定した場合（ステップＳ５７３でＮＯ）、制御部２１はステップＳ５７１に戻る。処理を終了すると判定した場合（ステップＳ５７３でＹＥＳ）、制御部２１は学習済のモデルのパラメータを補助記憶装置２３に記録する（ステップＳ５７４）。その後、制御部２１は処理を終了する。以上の処理により、学習済のモデルが生成される。
　本実施の形態によると、機械学習により学習モデル６１を生成できる。
［実施の形態７］
　図２２は、実施の形態７の情報処理装置２０の機能ブロック図である。情報処理装置２０は、取得部８１および表示部８２を備える。取得部８１は、管腔器官に挿入された画像診断用カテーテルを用いて生成された画像を取得する。表示部８２は、取得部８１が取得した画像に含まれる前記メルクマールが所定の向きになるように前記画像を回転させた状態で表示する。
［実施の形態８］
　図２３は、実施の形態８のカテーテルシステム１０の構成を説明する説明図である。本実施の形態は、カテーテル制御装置２７と、ＭＤＵ３３と、画像診断用カテーテル４０と、汎用のコンピュータ９０と、プログラム９７とを組み合わせて動作させることにより、本実施の形態のカテーテルシステム１０を実現する形態に関する。実施の形態１と共通する部分については、説明を省略する。
　カテーテル制御装置２７は、ＭＤＵ３３の制御、センサ４２の制御、および、センサ４２から受信した信号に基づく横断層像および縦断層像の生成等を行なう、ＩＶＵＳ用の超音波診断装置である。カテーテル制御装置２７の機能および構成は、従来から使用されている超音波診断装置と同様であるため、説明を省略する。
　本実施の形態のカテーテルシステム１０は、コンピュータ９０を含む。コンピュータ９０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６、読取部２９およびバスを備える。コンピュータ９０は、汎用のパーソナルコンピュータ、タブレット、スマートフォンまたはサーバコンピュータ等の情報機器である。
　プログラム９７は、可搬型記録媒体９６に記録されている。制御部２１は、読取部２９を介してプログラム９７を読み込み、補助記憶装置２３に保存する。また制御部２１は、コンピュータ９０内に実装されたフラッシュメモリ等の半導体メモリ９８に記憶されたプログラム９７を読出してもよい。さらに、制御部２１は、通信部２４および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム９７をダウンロードして補助記憶装置２３に保存してもよい。
　プログラム９７は、コンピュータ９０の制御プログラムとしてインストールされ、主記憶装置２２にロードして実行される。これにより、コンピュータ９０は上述した情報処理装置２０として機能する。
　コンピュータ９０は、汎用のパソコン、タブレット、スマートフォン、大型計算機、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、または、量子コンピュータである。コンピュータ９０は、分散処理を行なう複数のパソコン等であってもよい。
　各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
　今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　１０　　カテーテルシステム
　２０　　情報処理装置
　２１　　制御部
　２２　　主記憶装置
　２３　　補助記憶装置
　２４　　通信部
　２５　　表示部
　２６　　入力部
　２７　　カテーテル制御装置
　２７１　カテーテル制御部
　２９　　読取部
　３１　　表示装置
　３２　　入力装置
　３３　　ＭＤＵ
　３７　　画像診断装置
　４０　　画像診断用カテーテル
　４１　　プローブ部
　４２　　センサ
　４３　　シャフト
　４４　　先端マーカ
　４５　　コネクタ部
　４８２　オブジェクト配置像
　５１　　第１画像欄
　５２　　第２画像欄
　５７１　状態通知欄
　５７２　検出マーク
　５８１　自動回転ボタン
　５９１　部位選択ボタン
　５９２　メルクマール選択ボタン
　６１　　学習モデル
　６５　　標準画像ＤＢ
　６８　　カーソル
　６９　　指定枠
　８１　　取得部
　８２　　表示部
　９０　　コンピュータ
　９６　　可搬型記録媒体
　９７　　プログラム
　９８　　半導体メモリ
 

Claims (13)

  1. 　管腔器官に挿入された画像診断用カテーテルを用いて生成された画像を取得し、
    　取得した前記画像に含まれるメルクマールが所定の向きになるように前記画像を回転させた状態で表示する
    　処理をコンピュータに実行させるプログラム。
  2. 　前記メルクマールは、前記画像に対して画像処理を行なうことにより抽出される
    　請求項１に記載のプログラム。
  3. 　画像を入力した場合に前記画像に含まれるメルクマールに関する情報を出力する学習モデルに、取得した前記画像を入力して、前記学習モデルから出力された情報に基づいてメルクマールを抽出する
    　請求項１に記載のプログラム。
  4. 　入力デバイスを通じて前記メルクマールの入力を受け付ける
    　請求項１に記載のプログラム。
  5. 　前記画像診断用カテーテルを用いて生成された画像を取得するごとに、
    　取得した前記画像に含まれるメルクマールが所定の向きになるように前記画像を回転させた状態で表示する
    　請求項１から請求項４のいずれか一つに記載のプログラム。
  6. 　前記画像診断用カテーテルを用いて生成された画像を取得するごとに、
    　　取得した前記画像に含まれるメルクマールが所定の向きになるまでの回転角度を算出し、
    　　算出した回転角度が所定の閾値を超える場合に、抽出した前記メルクマールが所定の向きになるように前記画像を回転させる
    　請求項１から請求項４のいずれか一つに記載のプログラム。
  7. 　前記画像診断用カテーテルは、超音波断層像生成用のカテーテルである
    　請求項１から請求項６のいずれか一つに記載のプログラム。
  8. 　前記画像診断用カテーテルは、光断層像生成用のカテーテルである
    　請求項１から請求項６のいずれか一つに記載のプログラム。
  9. 　前記画像診断用カテーテルは、超音波断層像生成用のセンサと、光断層像生成用のセンサとを備えるカテーテルである
    　請求項１から請求項６のいずれか一つに記載のプログラム。
  10. 　前記メルクマールは、心外膜を含む
    　請求項７から請求項９のいずれか一つに記載のプログラム。
  11. 　前記メルクマールは、前記管腔器官の側枝構造を含む
    　請求項１から請求項１０のいずれか一つに記載のプログラム。
  12. 　管腔器官に挿入された画像診断用カテーテルを用いて生成された画像を取得し、
    　取得した前記画像に含まれるメルクマールが所定の向きになるように前記画像を回転させた状態で表示する
    　処理をコンピュータに実行させる情報処理方法。
  13. 　管腔器官に挿入された画像診断用カテーテルを用いて生成された画像を取得する取得部と、
    　前記取得部が取得した前記画像に含まれるメルクマールが所定の向きになるように前記画像を回転させた状態で表示する表示部と
    　を備える情報処理装置。
     
PCT/JP2021/009305 2020-03-30 2021-03-09 プログラム、情報処理方法および情報処理装置 WO2021199962A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022511730A JPWO2021199962A1 (ja) 2020-03-30 2021-03-09

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020061514 2020-03-30
JP2020-061514 2020-03-30

Publications (1)

Publication Number Publication Date
WO2021199962A1 true WO2021199962A1 (ja) 2021-10-07

Family

ID=77929101

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009305 WO2021199962A1 (ja) 2020-03-30 2021-03-09 プログラム、情報処理方法および情報処理装置

Country Status (2)

Country Link
JP (1) JPWO2021199962A1 (ja)
WO (1) WO2021199962A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011000462A (ja) * 2003-11-19 2011-01-06 Siemens Medical Solutions Usa Inc 画像内の候補対象の変形可能な形状の検出および追跡方法、および、画像内の候補対象の変形可能な形状の検出および追跡システム
WO2014136137A1 (ja) * 2013-03-04 2014-09-12 テルモ株式会社 画像診断装置及び情報処理装置及びそれらの制御方法、プログラム及びコンピュータ可読記憶媒体
JP2015534841A (ja) * 2012-10-12 2015-12-07 マフィン・インコーポレイテッドＭｕｆｆｉｎ Ｉｎｃｏｒｐｏｒａｔｅｄ 三次元内部超音波使用のための装置および方法
JP2018507738A (ja) * 2015-03-10 2018-03-22 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 単一自由度の心腔セグメント化による心臓性能の超音波診断

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011000462A (ja) * 2003-11-19 2011-01-06 Siemens Medical Solutions Usa Inc 画像内の候補対象の変形可能な形状の検出および追跡方法、および、画像内の候補対象の変形可能な形状の検出および追跡システム
JP2015534841A (ja) * 2012-10-12 2015-12-07 マフィン・インコーポレイテッドＭｕｆｆｉｎ Ｉｎｃｏｒｐｏｒａｔｅｄ 三次元内部超音波使用のための装置および方法
WO2014136137A1 (ja) * 2013-03-04 2014-09-12 テルモ株式会社 画像診断装置及び情報処理装置及びそれらの制御方法、プログラム及びコンピュータ可読記憶媒体
JP2018507738A (ja) * 2015-03-10 2018-03-22 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 単一自由度の心腔セグメント化による心臓性能の超音波診断

Also Published As

Publication number Publication date
JPWO2021199962A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
US7912270B2 (en) Method and system for creating and using an impact atlas
JP2019111359A (ja) 物体の識別
JP7436548B2 (ja) プロセッサ装置の作動方法
US20220346756A1 (en) Co-registration of intravascular and extravascular imaging for extravascular image with intravascular tissue morphology
DE112020001809T5 (de) Bildbasierte Sondenpositionierung
US20240013514A1 (en) Information processing device, information processing method, and program
WO2021199968A1 (ja) コンピュータプログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2021193019A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
JP2022055170A (ja) コンピュータプログラム、画像処理方法及び画像処理装置
WO2021199962A1 (ja) プログラム、情報処理方法および情報処理装置
US20230133103A1 (en) Learning model generation method, image processing apparatus, program, and training data generation method
WO2022071326A1 (ja) 情報処理装置、学習済モデルの生成方法および訓練データ生成方法
WO2021193024A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2021199967A1 (ja) プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム
WO2021200985A1 (ja) プログラム、情報処理方法、情報処理システムおよび学習モデルの生成方法
WO2023100838A1 (ja) コンピュータプログラム、情報処理装置、情報処理方法及び学習モデル生成方法
WO2022071328A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2022071325A1 (ja) 情報処理装置、情報処理方法、プログラムおよび学習済モデルの生成方法
WO2022202323A1 (ja) プログラム、情報処理方法及び情報処理装置
WO2021199966A1 (ja) プログラム、情報処理方法、学習モデルの生成方法、学習モデルの再学習方法、および、情報処理システム
WO2023054442A1 (ja) コンピュータプログラム、情報処理装置及び情報処理方法
JP2018192287A (ja) プロセッサ装置の作動方法
WO2021199960A1 (ja) プログラム、情報処理方法、および情報処理システム
JP7421548B2 (ja) 診断支援装置及び診断支援システム
WO2023189261A1 (ja) コンピュータプログラム、情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21778776

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511730

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21778776

Country of ref document: EP

Kind code of ref document: A1