WO2019013070A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2019013070A1
WO2019013070A1 PCT/JP2018/025380 JP2018025380W WO2019013070A1 WO 2019013070 A1 WO2019013070 A1 WO 2019013070A1 JP 2018025380 W JP2018025380 W JP 2018025380W WO 2019013070 A1 WO2019013070 A1 WO 2019013070A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
wall
heart
image processing
processing apparatus
Prior art date
Application number
PCT/JP2018/025380
Other languages
English (en)
French (fr)
Inventor
康之 本間
Original Assignee
テルモ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テルモ株式会社 filed Critical テルモ株式会社
Priority to JP2019529083A priority Critical patent/JP7079247B2/ja
Publication of WO2019013070A1 publication Critical patent/WO2019013070A1/ja
Priority to US16/738,568 priority patent/US10891710B2/en

Links

Images

Classifications

    • G06T3/06—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/28—Bioelectric electrodes therefor specially adapted for particular uses for electrocardiography [ECG]
    • A61B5/283—Invasive
    • A61B5/287—Holders for multiple electrodes, e.g. electrode catheters for electrophysiological study [EPS]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/339—Displays specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6867—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive specially adapted to be attached or implanted in a specific body part
    • A61B5/6869—Heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A61B5/7485—Automatic selection of region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/023—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and a program.
  • tissue around the atrioventricular chamber for example, using a catheter or the like in which a substance to be administered such as cells or biological material or biomaterial is inserted into the atrioventricular chamber of the heart via the femoral artery or the like
  • a substance to be administered such as cells or biological material or biomaterial is inserted into the atrioventricular chamber of the heart via the femoral artery or the like
  • Infused into the myocardium surrounding the left ventricle and treatments that are expected to have therapeutic effects are being considered.
  • an ablation treatment for cauterizing a site causing the arrhythmia by a catheter inserted into the atrioventricular chamber of the heart for example, using a catheter or the like in which a substance to be administered such as cells or biological material or biomaterial is inserted into the atrioventricular chamber of the heart via the femoral artery or the like
  • Patent Document 1 discloses a technique for two-dimensionally mapping three-dimensional cardiac function information indicating local motion information of the myocardium and a three-dimensional shape of a coronary artery on a bull's eye map.
  • Patent Document 2 the entire surface of the heart wall is developed in two dimensions by the Gued projection method, and a technique for forming a two-dimensional surface image of the heart wall in which a tear is inserted by avoiding the coronary arteries of the heart Is disclosed.
  • the bull's eye map projects three-dimensional data in a plurality of uniaxial sections perpendicular to the long axis direction from the base of the heart to the apex, to a circle whose center corresponds to the apex and whose edge corresponds to the base of the heart Image. Bull's eye maps can not accurately represent length and area. Therefore, in the technique disclosed in Patent Document 1, since the length and the area are not accurately represented, it is difficult to intuitively and accurately grasp the state of the heart.
  • Patent Document 2 since a developed view in which the entire surface of the heart wall is developed in two dimensions by Guddy projection is torn apart from the coronary artery, the shape after the tear and the entire surface of the heart wall Relationship is complicated, and intuitive grasp is difficult. Further, the technique disclosed in Patent Document 2 expresses the entire surface of the heart wall in a two-dimensional manner, and how to grasp the state of the inner wall of the atrioventricular chamber of the heart intuitively and accurately Is not considered.
  • An object of the present disclosure is to provide an image processing device, an image processing method, and a program that solve the above-mentioned problems and can intuitively and more accurately grasp the condition of the inner wall of the heart.
  • An image processing apparatus includes an information input unit that receives an input of three-dimensional structure information indicating a three-dimensional structure of a heart, and an inner wall of the atrioventricular chamber of the heart indicated by the three-dimensional structure information.
  • An image generation unit for developing a two-dimensional image based on a uniform area method, and dividing the two-dimensional image into a front wall, a rear wall, a left side wall and a right wall of the inner wall to generate a torn image;
  • the image generation unit maps the three-dimensional structure in the atrioventricular chamber of the heart indicated by the three-dimensional structure information on the unfolded image by a projection that expresses the three-dimensional structure by saturation and lightness.
  • the image generation unit can switch the presence / absence of mapping of a three-dimensional structure corresponding to a papillary muscle on the developed image.
  • the image generation unit can switch the presence or absence of mapping of a three-dimensional structure corresponding to a chorda on the developed image.
  • the information input unit receives input of time-sequential three-dimensional structure information including diastole and systole of the heart
  • the image generation unit receives the time-sequential third-order information
  • the developed image is generated for each of the diastole and the systole based on the original structure information.
  • the image generation unit maps a region of interest in the heart on the expanded image, and based on the expanded image of the diastole and the expanded image of the systole, Correcting the position, the site of interest is the infarct site of the heart.
  • the image generation unit obtains the wall thickness of the inner wall based on the three-dimensional structure information, and maps the obtained wall thickness on the developed image.
  • the information input unit further receives input of cardiac potential information indicating cardiac potential of the inner wall, and the image generation unit generates cardiac potential of the inner wall based on the cardiac potential information. Map on the developed image.
  • the image generation unit acquires the state of wall motion of the inner wall based on the three-dimensional structure information, and maps the acquired state of wall motion on the unfolded image.
  • the information input unit further receives an input of cardiac potential information indicating a cardiac potential of the inner wall
  • the image generation unit determines a state of wall motion of the inner wall and a cardiac potential of the inner wall. Identifies a site that satisfies a predetermined condition, and maps the identified site on the developed image.
  • the image processing apparatus further includes an operation input unit that receives an operation input, the image generation unit displays the generated expanded image on a display unit, and the operation input unit is displayed on the display unit.
  • an operation input specifying a position on the developed image is received, a marker indicating the position instructed by the operation input is superimposed and displayed on the developed image.
  • the apparatus further includes an operation input unit that receives an operation input, the image generation unit displays the generated expanded image on a display unit, and the wall of the inner wall based on the three-dimensional structure information.
  • the operation input unit receives an operation input instructing a position on the developed image displayed on the display unit, the wall thickness at the position instructed by the operation input is displayed on the display unit.
  • An image processing method is an image processing method executed using an image processing apparatus, comprising the steps of: receiving an input of three-dimensional structure information indicating a three-dimensional structure of a heart;
  • the inner wall of the atrioventricular chamber of the heart indicated by structural information was developed into a two-dimensional image based on isometric projection, and the two-dimensional image was split into an anterior wall, a posterior wall, a left wall and a right wall of the inner wall
  • a program according to a third aspect of the present invention causes a computer to function as any of the image processing devices described above.
  • the appearance of the inner wall of the heart can be intuitively and more accurately grasped.
  • FIG. 4 It is a figure showing an example of composition of an image processing device concerning one embodiment of the present invention. It is a figure for demonstrating the production
  • FIG. 1 is a view showing an example of the arrangement of an image processing apparatus 10 according to an embodiment of the present invention.
  • the image processing apparatus 10 according to the present embodiment generates and displays an image in which the inner wall of the heart of a subject is expanded in two dimensions.
  • the image processing apparatus 10 illustrated in FIG. 1 is located outside the subject's body and is configured by an information processing apparatus such as a computer.
  • the image processing apparatus 10 includes an information input unit 11, an operation input unit 13, a display unit 14, a storage unit 15, and a control unit 16.
  • the control unit 16 is an example of an image generation unit.
  • the information input unit 11 receives an input of three-dimensional structure information indicating the three-dimensional structure of the heart of the subject.
  • the information input unit 11 includes, for example, a computed tomography (CT) apparatus, a magnetic resonance imaging (MRI) apparatus, a three-dimensional ultrasound (3D-US: Three-Dimension Ultrasonography) apparatus, etc.
  • An input is received as three-dimensional structure information, which indicates information on the obtained three-dimensional structure of the heart.
  • the information input unit 11 includes an interface that receives information from these devices by, for example, wired communication or wireless communication.
  • the information input unit 11 outputs the input information to the control unit 16.
  • the operation input unit 13 receives an operation input from the user.
  • the operation input unit 13 includes, for example, a keyboard, a mouse, a touch panel, and the like.
  • the touch panel may be provided integrally with the display unit 14.
  • the operation input unit 13 outputs a signal corresponding to the input operation to the control unit 16.
  • the display unit 14 displays an image or the like generated by the control unit 16 under the control of the control unit 16.
  • the display unit 14 includes, for example, a display device such as a liquid crystal display or an organic EL (Electro Luminescence) display.
  • the storage unit 15 stores various information and programs for causing the control unit 16 to execute a specific function. In addition, the storage unit 15 stores, for example, an image generated by the control unit 16 described later.
  • the storage unit 15 includes, for example, a storage device such as a random access memory (RAM) or a read only memory (ROM).
  • the control unit 16 controls the operation of each component configuring the image processing apparatus 10.
  • the control unit 16 executes a specific function by reading a specific program. Specifically, the control unit 16 determines the inner wall of the atrioventricular chamber (left atrium, right atrium, left ventricle, right ventricle) of the heart indicated by the three-dimensional structural information acquired by the information input unit 11 based on A two-dimensional image is developed into a two-dimensional image, and the two-dimensional image is divided into the front wall, the rear wall, the left side wall, and the right side wall of the inner wall to generate a torn image.
  • the control unit 16 causes the display unit 14 to display the generated expanded image and causes the storage unit 15 to store the generated expanded image.
  • the control unit 16 includes, for example, a processor.
  • control unit 16 Next, generation of a developed image by the control unit 16 will be described in more detail.
  • the control unit 16 develops the inner wall of the atrioventricular chamber of the subject's heart indicated by the three-dimensional structure information into a two-dimensional image based on the iso-graphic method.
  • the equal area projection is a projection in which the ratio (area scale) of the area on the earth and the area on the corresponding map is equal.
  • various projections such as Morwide projection, Sanson projection, Lambert's area projection, etc. can be used as the surface area projection, in the following, an example using the Gud's projection (homoro sine projection) will be particularly described.
  • the Gud projection is a projection that divides the earth into a high latitude region and a low latitude region, expresses the high latitude region by the Morwide projection, expresses the low latitude region by the Sanson projection, and combines these.
  • the boundary between the high latitude region and the low latitude region is a predetermined latitude of 40 degrees 44 minutes at which parallel line lengths match when the area scale is the same between the Morwide projection and the Sanson projection. Since the Morwide projection and the Sanson projection are isometric, the Goode projection is also a isometric.
  • the control unit 16 when generating a developed image of the inner wall of the left ventricle of the heart, the control unit 16 sets the entire inner wall of the left ventricle as the ground surface of the earth, and generates two-dimensional position data of the inner wall of the left ventricle based on the Gud projection method. Generate a two-dimensional image mapped to dimensional position data. Specifically, as shown in FIG. 3, for example, the control unit 16 causes the apex of the heart to correspond to the south pole of the earth, and based on the Guddo method, a region corresponding to 40 degrees 44 minutes north of the south pole Deploy the inner wall of the left ventricle.
  • control unit 16 sets the four regions whose lower end corresponds to the south pole point to the front wall, the rear wall (lower back wall), the left wall (side wall), and the right wall (septum) Correspond to).
  • the rear wall, the left wall, the front wall, and the right wall are made to correspond in order from the left region.
  • the control unit 16 develops the inner wall of the atrioventricular chamber of the heart (left ventricle in the example of FIG. 3) indicated by the three-dimensional structural information into a two-dimensional image based on the Gued projection method which is an equal area method.
  • a two-dimensional image is divided into the anterior wall, the posterior wall, the left wall, and the right wall of the atrioventricular chamber to generate a torn deployment image.
  • the size of the site of interest (such as the infarct site) and the site of treatment (such as the injection site of the substance to be administered) It can be grasped.
  • each part on the developed image after rupture and the anterior wall, posterior wall, left side of the atrioventricular chamber The relationship between the wall and the right wall can be intuitively grasped.
  • the positions of the site of interest and the treatment site in the atrioventricular chamber can be intuitively and more accurately grasped.
  • the control unit 16 maps the three-dimensional structure in the atrioventricular chamber of the heart indicated by the three-dimensional structure information on the unfolded image by the projection method that expresses the three-dimensional structure by saturation and lightness.
  • the chamber interior surface can be displayed three-dimensionally while being a developed image.
  • the control unit 16 may map a three-dimensional structure such as a papillary muscle D on the developed image.
  • control unit 16 can prevent the specific uneven structure, for example, the uneven structure corresponding to the papillary muscle from being mapped on the developed image. That is, the control unit 16 as the image generation unit can switch the presence or absence of the mapping of the three-dimensional structure corresponding to the papillary muscle on the developed image.
  • control unit 16 may or may not map the concavo-convex structure corresponding to the chordae cord onto the developed image. That is, the control unit 16 as the image generation unit may be configured to be able to switch the presence / absence of the mapping of the three-dimensional structure corresponding to the chordae on the developed image.
  • a method of creating a red three-dimensional map in which a three-dimensional structure of the ground surface is expressed by saturation and lightness can be used.
  • the degree of swelling and sinking in a local area for example, the height of the ridge valley of the topographical map
  • the slope distribution of the surface connecting the coordinate point sequence mapping the vector field (set of terrain data representing the ground surface) in the three-dimensional coordinate space is preferably saturated (in red color). Display by color tone.
  • control unit 16 may make the aspect (for example, the color) of the site of interest different from the aspect of the other site on the developed image.
  • the control unit 16 can set the color of the infarct site as the site of interest to a color complementary to the color of the normal site as another site. By doing this, the site of interest can be distinguished from other sites and easily grasped.
  • the site of interest is not limited to the above-mentioned infarct site, but it includes a hibernating myocardium whose exercise amount has been reduced due to chronic ischemia, and a stunned myocardium whose exercise amount has been reduced due to acute ischemia.
  • the control unit 16 may express only one of these as a site of interest in a mode different from other sites, or all of them as a site of interest in a mode different from other sites. Good.
  • the region of interest may be specified by the control unit 16 based on the three-dimensional structure information, or may be specified by, for example, a care worker based on the three-dimensional structure information.
  • the infarct site Q, and the target site R corresponding to the hibernating myocardium and the stumped myocardium, which is the site to be treated are the sites of interest.
  • the target site R is a site obtained by removing the infarct site Q from the low exercise site P as the abnormal site R ′. Furthermore, in FIG.
  • control unit 16 may specify the position of the heart valve based on the three-dimensional structure information, and map the specified heart valve to the corresponding position on the developed image.
  • mapping the heart valve that controls the inflow and outflow of blood into the atrioventricular chamber to the corresponding position on the developed image it is possible to intuitively and more accurately grasp the site of interest, the treatment site, and the like.
  • mapping the heart valve to the corresponding position on the developed image it is possible to anatomically analyze the disease in which the heart has dilated (dilated cardiomyopathy) and the disease in which the heart is dilated (hypertrophic cardiomyopathy). The positional relationship can be accurately grasped.
  • control unit 16 When the control unit 16 generates, for example, a developed image of the inner wall of the left ventricle of the heart, as illustrated in FIG. 3, at least one of the aortic valve and the mitral valve as a heart valve B It is preferable to map to the position.
  • the control unit 16 may also display the open / close state of the heart valve on the developed image. By displaying the open / close state of the heart valve on the developed image, it is possible to accurately grasp whether the heart is diastole or systole, or the timing of diastole and systole of the heart.
  • the information input unit 11 may also receive input of time-series three-dimensional structure information including diastole and systole of the heart.
  • the control unit 16 generates the expanded image of diastole and the expanded image of systole, and based on these expanded images, for example, the position of the infarct region Q (see FIG. 3) as a part of the region of interest It may be corrected.
  • the infarct site Q does not change significantly during diastole or systole of the heart.
  • the location of the site of interest may be corrected, such as excluding the region from the site of interest. By doing this, the position of the site of interest can be identified more accurately.
  • the control unit 16 may also obtain the wall thickness of the inner wall facing the atrioventricular chamber of the heart based on the three-dimensional structure information.
  • the information input unit 11 may input scale information such as thickness information of the heart wall acquired by a device such as a computed tomography apparatus, a magnetic resonance imaging apparatus, or a three-dimensional ultrasonic diagnostic apparatus, to another cubic heart. It may be accepted together with the original structure information.
  • shape information such as the chest circumference of the subject measured in advance and acquired through the information input unit 11 or the operation input unit 13 It can be used.
  • control unit 16 may calculate, for each predetermined region of the inner wall facing the atrioventricular chamber of the heart, an average value, a minimum value, or a maximum value of wall thicknesses in the predetermined region.
  • control unit 16 may calculate the wall thickness only at, for example, a plurality of locations on the inner wall facing the atrioventricular chamber of the heart.
  • the plurality of locations on the inner wall facing the atrioventricular chamber of the heart can be, for example, a plurality of locations set at equal intervals in the circumferential direction along the outer shape of the heart in one cross-sectional image in which the heart is sectioned.
  • the wall thickness may be calculated at a plurality of points set so that the central angle is a predetermined angle.
  • the control unit 16 may map the calculated or acquired wall thickness of the inner wall facing the atrioventricular chamber on the developed image. That is, the control unit 16 may express the wall thickness obtained for each position of the inner wall at a corresponding position on the developed image using a gradation or the like according to the wall thickness. Further, the control unit 16 displays the generated expanded image on the display unit 14, and when the operation input unit 13 receives an operation input for specifying a position on the displayed expanded image, as shown in FIG. The wall thickness may be displayed (eg, pop-up display) along with an arrow indicating the position.
  • the control unit 16 displays, for example, at least one of the average value, the minimum value, and the maximum value of the wall thickness as the wall thickness information in the predetermined area for each predetermined area of the inner wall facing the atrioventricular chamber of the heart. Good. Further, the control unit 16 may display the wall thickness only at a plurality of locations on the inner wall facing the atrioventricular chamber of the heart, for example.
  • the information input unit 11 may acquire cardiac potential information indicating cardiac potential of the inner wall of the heart.
  • cardiac potential information can be acquired, for example, by bringing a catheter having an electrode at its tip into contact with the inner wall of the heart.
  • the control unit 16 may map the cardiac potential of each portion of the inner wall of the heart indicated in the cardiac potential information acquired by the information input unit 11 on the developed image.
  • the control unit 16 may express the cardiac potential of each part of the inner wall indicated by the cardiac potential information at a corresponding position on the unfolded image using a gray level or the like according to the cardiac potential.
  • control unit 16 when the operation input unit 13 receives an operation input instructing a position on the developed image displayed on the display unit 14, the control unit 16 also displays an arrow indicating the instructed position, as shown in FIG. 3.
  • the cardiac potential at the position may be displayed (for example, pop-up display).
  • cardiac potential is less than 7.0 mV
  • cardiac potential is known to be 7.0 mV or higher. Therefore, on the inner wall of the heart, the position where the cardiac potential is less than a predetermined threshold (for example, less than 7.0 mV) may be mapped, for example, by expressing it in a color different from other positions.
  • a predetermined threshold for example, less than 7.0 mV
  • control unit 16 may obtain the state (displacement amount, displacement direction, displacement speed, and the like) of the wall motion of the inner wall of the atrioventricular chamber of the heart based on time-sequential three-dimensional structure information.
  • the control unit 16 extends, for example, a straight line from the center point C of the heart to the outside of the heart, and sets one point where the straight line intersects the inner wall as a point N (t). Assuming that one intersecting point is a point N (t + 1), the distance from the central point C to the point N (t) from the central point C to the point N (t + 1) (segment CN (t)) The displacement of the inner wall is calculated by subtracting t + 1)).
  • the control unit 16 may calculate the average value, the minimum value, or the maximum value of the state of the wall motion in the region.
  • the control unit 16 may calculate the state of wall motion only at a plurality of locations on the inner wall facing the atrioventricular chamber of the heart, for example.
  • the plurality of locations on the inner wall facing the atrioventricular chamber of the heart can be, for example, a plurality of locations set at equal intervals in the circumferential direction along the outer shape of the heart in one cross-sectional image in which the heart is sectioned.
  • the state of wall motion may be calculated at a plurality of points set so that the central angle is a predetermined angle.
  • the control unit 16 may map the calculated state of the wall motion of the inner wall of the atrioventricular chamber on the developed image. For example, when the operation input unit 13 receives an operation input instructing a position on the developed image displayed on the display unit 14, the control unit 16, as shown in FIG.
  • the position of the wall movement may be displayed (for example, pop-up display).
  • FIG. 3 shows an example in which the rate of change of the distance between two points of the heart during diastole and systole of the heart is shown as a state of wall motion.
  • control unit 16 may identify a region where the state of the wall motion of the inner wall and the cardiac potential of the inner wall satisfy predetermined conditions, and map the specified region on the developed image.
  • wall motion is reduced at the abnormal site.
  • the reduction in wall motion at the infarct site is irreversible.
  • the decrease in wall motion in the stunning and hibernating myocardium is reversible.
  • the cardiac potential is less than 7.0 mV at the infarct site, and the cardiac potential is 7.0 mV or more at the normal site, the faint myocardial and the hibernating myocardium.
  • a site where cardiac potential and wall motion in the inner wall of the heart satisfy a predetermined condition that is, cardiac potential is higher than a predetermined threshold (eg, 7.0 mV or higher) and wall motion is lower than the predetermined threshold.
  • a predetermined threshold eg, 7.0 mV or higher
  • the sites are stunning myocardium and hibernating myocardium. Note that an example of a specific guidance method for a low motion site where the wall motion is equal to or less than a predetermined threshold will be described later (see FIGS. 7A to 7C).
  • the control unit 16 also displays the generated expanded image on the display unit 14, and when the operation input unit 13 receives an operation input instructing the position of the treatment site on the displayed expanded image, as shown in FIG. 3.
  • a marker A indicating the position (the position of the treatment site) instructed by the operation input may be superimposed on the developed image. In this way, the treatment site can be displayed on the developed image, and the treatment site on the inner wall of the heart can be accurately stored.
  • control unit 16 extracts the three-dimensional position of the coronary artery located on the outer wall of the heart so as to surround the heart based on the three-dimensional structure information, and as shown in FIG. And may be mapped on the developed image.
  • the coronary artery C is indicated by a two-dot chain line.
  • the developed image is an image in which the inner wall of the atrioventricular chamber of the heart is developed in two dimensions.
  • the control unit 16 maps the coronary artery at the position of the inner wall on the developed image corresponding to the coronary artery as if it were seen through the heart wall.
  • mapping the coronary artery on the developed image By mapping the coronary artery on the developed image, the positional relationship between each location on the developed image and the coronary artery can be intuitively and accurately grasped.
  • control unit 16 may calculate the blood flow rate of the coronary artery based on the three-dimensional structure information, and map the obtained blood flow rate to the coronary artery on the developed image, for example, texture mapping.
  • the blood flow rate of the coronary artery can be determined, for example, from the short-axis cross section of the coronary artery shown in three-dimensional structural information.
  • control unit 16 may generate a developed image at predetermined timings, for example, based on time-series three-dimensional structure information, and sequentially display and store the generated developed images in time-series order.
  • control unit 16 may set various information as described above on the developed image (the position of the heart valve, the wall thickness of the inner wall, the cardiac potential, the state of wall motion, cardiac potential and the state of wall motion satisfy predetermined conditions)
  • the three-dimensional structure or the like may be displayed in combination as appropriate.
  • control unit 16 may appropriately switch and display the various information described above.
  • FIG. 4 is a block diagram showing a schematic configuration of an image processing system 1 including the image processing apparatus 10 according to the present embodiment.
  • the image processing system 1 includes an image processing apparatus 10, an ultrasound image generation apparatus 20 as a first imaging apparatus, a radiation image generation apparatus 30 as a second imaging apparatus, and a heartbeat acquisition apparatus 40.
  • symbol is attached
  • the ultrasound image generation device 20 as a first imaging device is located outside the subject's body, and captures an ultrasound image as a first tomographic image of the heart from outside the subject's body.
  • the ultrasonic image generation device 20 generates a first tomographic image based on the ultrasonic wave received by the ultrasonic wave transmission unit 21 that transmits ultrasonic waves, the ultrasonic wave reception unit 22 that receives ultrasonic waves, and the ultrasonic wave reception unit 22. And an image forming unit 23 to be formed.
  • the ultrasonic image generation device 20 directs ultrasonic waves from the ultrasonic wave transmission unit 21 to the heart of the subject while the ultrasonic wave transmission unit 21 and the ultrasonic wave reception unit 22 are in contact with the body surface of the subject.
  • the ultrasonic wave is transmitted and the ultrasonic wave reflected by the subject's heart is received by the ultrasonic wave receiving unit 22.
  • the ultrasonic image generation apparatus 20 processes the ultrasonic waves received by the ultrasonic wave receiving unit 22 in the image forming unit 23 to obtain a tomographic image along the traveling plane of the ultrasonic waves as a first tomographic image.
  • the ultrasound image generation apparatus 20 outputs three-dimensional structure information of the heart including the captured first tomographic image to the information input unit 11 of the image processing apparatus 10.
  • the ultrasonic image generation apparatus 20 changes the positions or orientations of the ultrasonic wave transmission unit 21 and the ultrasonic wave reception unit 22 to generate a first tomographic image of a three-dimensional image based on a plurality of tomographic images captured along different planes. It may be generated as That is, the first tomographic image may be a tomographic image taken along one plane, or a three-dimensional image generated based on a plurality of tomographic images taken along a plurality of planes.
  • the radiation image generating apparatus 30 as a second imaging device is located outside the subject's body, and captures a radiation image as a second tomographic image of the heart from outside the subject's body.
  • the radiation image generating apparatus 30 is, for example, a computed tomography apparatus.
  • the radiation image generating apparatus 30 includes a radiation emitting unit 31 for emitting radiation, a radiation detecting unit 32 for detecting radiation, and an image forming unit 33 for forming a second tomographic image based on the radiation detected by the radiation detecting unit 32. And.
  • the radiation image generating apparatus 30 includes a radiation emitting unit 31 and a radiation detecting unit 32 at positions facing each other around the subject, and rotates the radiation emitting unit 31 and the radiation detecting unit 32 around the subject.
  • Radiation such as X-rays is emitted from the radiation emission unit 31 toward the subject's heart, and the radiation detection unit 32 detects the radiation that has passed through the subject's heart.
  • the radiation image generating apparatus 30 processes the radiation detected by the radiation detection unit 32 by the image forming unit 33 to obtain a radiation image which is a three-dimensional image of the heart as a second tomographic image.
  • the radiation image generating apparatus 30 outputs three-dimensional structure information of the heart including the captured second tomographic image to the information input unit 11 of the image processing apparatus 10.
  • the second imaging device may be a magnetic resonance imaging (MRI) device instead of the radiation image generating device 30.
  • the magnetic resonance imaging apparatus is located outside the subject's body and captures a magnetic resonance image as the second tomographic image of the heart from outside the subject's body.
  • the magnetic resonance imaging apparatus comprises: a magnetic field generation unit generating a magnetic field; a signal receiving unit receiving a nuclear magnetic resonance signal; and a magnetic resonance image which is a three-dimensional image based on the nuclear magnetic resonance signal received by the signal receiving unit. And an image forming unit formed as a second tomographic image.
  • the contrast agent is administered to the subject's heart a predetermined time before the second tomographic image is imaged by the radiation imaging device 30 or the magnetic resonance imaging device as the second imaging device.
  • the second tomographic image captured by the second imaging device includes a delayed contrast image.
  • the second imaging apparatus is a nuclear medicine examination apparatus that performs scintigraphy examination, SPECT (Single Photon Emission Computed Tomography) examination, PET (Positron Emission Tomography) examination, etc., instead of the radiation imaging apparatus 30 or the magnetic resonance imaging apparatus. It may be.
  • the nuclear medicine examination apparatus is located outside the subject's body, and acquires a radioisotope (RI: radio isotope) distribution image as a second tomographic image of the heart from outside the subject's body.
  • the nuclear medicine examination apparatus acquires a second tomographic image by imaging the distribution of the radioisotope-labeled drug which has been administered to the subject in advance.
  • the heart rate acquisition device 40 acquires heartbeat information of the subject's heart.
  • the heart beat information includes information on time change of the heart beat.
  • the heartbeat acquisition device 40 may acquire pulsation information simultaneously with the imaging of the first tomographic image or the second tomographic image, and may be associated with the image.
  • the heart rate acquiring device 40 is, for example, an electrocardiogram monitor that measures a time change of a cardiac action potential via an electrode attached to a chest or a limb of a subject and continuously displays an electrocardiogram waveform.
  • the image processing apparatus 10 is located outside the subject's body and is configured by an information processing apparatus such as a computer.
  • the image processing apparatus 10 shown in FIG. 4 includes a heartbeat input unit 12 in addition to the information input unit 11, the operation input unit 13, the display unit 14, the storage unit 15, and the control unit 16 that the image processing apparatus 10 shown in FIG. Further equipped.
  • the information input unit 11 receives an input of the first tomographic image from the ultrasound image generating device 20 as the first imaging device and the second tomographic image from the radiation image generating device 30 as the second imaging device, Accept as input of three-dimensional structure information.
  • the heartbeat input unit 12 receives input of heartbeat information of the heart from the heartbeat acquisition device 40.
  • the heartbeat input unit 12 includes an interface that receives information from the heartbeat acquisition device 40 by, for example, wired communication or wireless communication.
  • the heartbeat input unit 12 outputs the input heartbeat information of the heart to the control unit 16.
  • the display unit 14 displays a developed image of the inner wall of the heart and the like generated by the control unit 16 based on the three-dimensional structure information of the heart such as the first tomographic image and the second tomographic image under the control of the control unit 16.
  • the storage unit 15 stores various information and programs for causing the control unit 16 to execute a specific function.
  • the storage unit 15 stores, for example, a three-dimensional image of the heart as three-dimensional structure information of the heart.
  • the three-dimensional image of the heart is a first tomographic image and a second tomographic image.
  • the storage unit 15 also stores a developed image of the heart generated by the control unit 16.
  • the expanded image of the heart includes the infarct site Q and the target site R as the site of interest.
  • the target region R of the heart (see FIG. 7C) as a part of the region of interest of the heart is, as described above, the infarct region Q (see FIG. 7B) from the low exercise site P (see FIG. 7A) as the abnormal region R ′.
  • the region of interest is not limited to the infarct region Q and the target region R, and can be set as appropriate.
  • the infarct site Q see FIG. 7B
  • only the target site R may be set as the site of interest.
  • the storage unit 15 stores, for example, a plurality of expanded images based on a plurality of tomographic images captured at different times.
  • the storage unit 15 stores, for example, the dose and physical property information of the substance to be injected injected into the abnormal site R 'by treatment using an injection member described later.
  • the storage unit 15 stores, for example, shape information of the injection member.
  • the control unit 16 controls the operation of each component configuring the image processing apparatus 10.
  • the control unit 16 executes a specific function by reading a specific program.
  • the control unit 16 generates a developed image based on three-dimensional structure information of the heart such as the first tomographic image and the second tomographic image.
  • the three-dimensional structure information of the heart used when the control unit 16 generates a developed image is not limited to the first tomographic image and the second tomographic image described above, and the control unit 16 may be used to generate other three-dimensional structure information of the heart. It can also be used to generate expanded images.
  • the control unit 16 causes the display unit 14 to display the generated expanded image.
  • the control unit 16 may output the generated developed image to an external display device.
  • the control unit 16 includes, for example, a processor.
  • the control unit 16 may correct the first tomographic image based on the second tomographic image, when the second tomographic image is captured by the radiation image generating device 30 or the magnetic resonance image generating device. For example, the control unit 16 detects a feature point in the first tomographic image and a feature point in the second tomographic image by pattern recognition or the like, and sets a feature point corresponding to a region including the feature point in the first tomographic image.
  • the first tomographic image can be corrected on the basis of the second tomographic image by replacing the area in the second tomographic image that includes the second tomographic image. As a result, the first tomographic image can be corrected with a higher resolution second tomographic image, so that information on the structure and shape of the heart can be more accurately shown.
  • FIG. 5 is a flowchart showing an example of the operation of the image processing apparatus 10.
  • part R (refer FIG. 7C) based on the 1st tomographic image and 2nd tomographic image as three-dimensional structure information of a heart is demonstrated.
  • the image processing apparatus 10 injects a substance to be administered at a predetermined position on the inner wall of the heart, a process for estimating a penetration area through which the substance to be injected penetrates, and a target for injecting the substance to be administered.
  • An example of performing the process of determining the injection point will be described. However, in the present embodiment, it is not essential for the image processing apparatus 10 to perform these processes.
  • the identification of the target site, the estimation of the penetration area, the determination of the target injection point, and the like may be performed in advance by a medical worker or the like based on the three-dimensional structure information of the heart obtained in advance.
  • the image processing apparatus 10 first performs a target part specifying process for specifying a target part R (step S10). Next, the image processing apparatus 10 performs a penetration area estimation process for estimating a penetration area through which the substance to be administered penetrates, when the substance to be administered is injected at a predetermined position on the inner wall of the heart (step S20). Finally, the image processing apparatus 10 performs a target injection point determination process of determining a target injection point for injecting a substance to be administered (step S30).
  • FIG. 6 is a flowchart showing the details of the target part specifying process performed by the image processing apparatus 10.
  • 7A to 7C are diagrams for explaining the target part specifying process performed by the image processing apparatus 10, and showing the cross section of the left ventricle LV of the heart.
  • the control part 16 reads the 1st tomographic image input via the information input part 11, and estimates the low motion site
  • the information input unit 11 receives an input of a plurality of first tomographic images captured at predetermined time intervals. Then, the control unit 16 estimates the low motion site P based on the time change of the plurality of first tomographic images.
  • control unit 16 first extracts, as feature points, a plurality of points whose luminance is equal to or greater than a predetermined value in the first tomographic image.
  • the control unit 16 extracts a plurality of feature points for each of a plurality of first tomographic images captured at different times including the diastole in which the myocardium is most expanded and the systole in which the myocardium is most contracted.
  • the control unit 16 calculates a change rate obtained by measuring the distance between an arbitrary feature point and another adjacent feature point in each of the first tomographic image in diastole and the first tomographic image in systole.
  • the control unit 16 estimates that the region of the heart corresponding to the region where the rate of change is equal to or less than the predetermined threshold value is the low motion region P.
  • the predetermined threshold of the change rate is, for example, 12%, but may be changed as appropriate depending on the setting.
  • the control part 16 reads the 2nd tomographic image input through the information input part 11, and estimates the infarct site
  • the infarct site Q is a site where the myocardium has become ischemic and has become necrotic.
  • the infarct site Q is included in the low exercise site P, with the aforementioned change rate being less than or equal to a predetermined threshold.
  • the control unit 16 estimates the infarct site Q based on the delayed contrast image of the second tomographic image.
  • control unit 16 estimates that the site where the delayed contrast image is reflected is the infarct site Q.
  • the control unit 16 estimates the infarct site Q based on the radioisotope distribution.
  • the control unit 16 estimates that the accumulation defect site where the radioactive isotope is not accumulated is the infarct site Q.
  • the control unit 16 may execute the infarct region estimation step (step S12) prior to the low motion region estimation step (step S11) described above.
  • the control unit 16 sets a site other than the infarcted area Q estimated in the infarcted area estimation process (step S12) among the low exercised areas P estimated in the low exercise area estimation process (step S11). It specifies as a target part R (Step S13: target part identification process).
  • the target site R is a site where the above-mentioned rate of change is equal to or less than a predetermined threshold but is not necrotic, and is a hibernating myocardium and a fainting myocardium.
  • the control unit 16 maps the identified target site R on the unfolded image as a part of the site of interest.
  • the control unit 16 maps the infarct region Q as a part of the region of interest on the developed image (see FIG. 3).
  • the target sites R include hibernating and stunning myocardium, but exist independently of one another.
  • the hibernating myocardium is a chronic ischemic condition.
  • Stumped myocardium is an acute ischemic condition. Stumped myocardium is caused by overload due to resumption of blood flow. Therefore, by causing an overload condition and eliminating it, it is possible to identify the site of a faint myocardium. Thereby, it is possible to select a stunning myocardium and a hibernating myocardium.
  • the control unit 16 selects a first tomographic image corresponding to the expansion and contraction state of the heart in the second tomographic image from the plurality of first tomographic images, and uses the selected first tomographic image to select the target region R. Identify.
  • the expansion and contraction state of the heart in the first tomographic image may be estimated based on position information of the feature points by detecting the feature points from the first tomographic image by pattern recognition or the like.
  • the expansion / contraction state of the heart in the second tomographic image may be estimated based on position information of the feature points by detecting the feature points from the second tomographic image by pattern recognition or the like.
  • the feature points include, for example, the apex AP or the aortic valve AV.
  • the stretching state of the heart in the first tomographic image and the second tomographic image may be determined based on the heart beat information input via the heart rate input unit 12.
  • the first tomogram image and the second tomogram image correspond to beating information of the heart at the time of imaging, and the stretching state of the heart on the first tomogram image and the second tomogram image is It is determined by the associated beat information.
  • the image processing apparatus 10 can identify the hibernating myocardium and the stunned myocardium having relatively high therapeutic effects as the target site R, it can contribute to the improvement of the therapeutic effects.
  • FIG. 8 is a schematic view showing an example of the penetration area S estimated by the penetration area estimation process performed by the image processing apparatus 10.
  • FIG. 8 is a view showing a cross section of the left ventricle LV of the heart, and shows the range of the penetration area S located in the abnormal region R '.
  • the control unit 16 estimates the permeation region S through which the administration object penetrates, assuming that the administration object is injected at any injection point T of the abnormal region R ′ included in the developed image of the heart ( Penetration area estimation process).
  • the control unit 16 may superimpose the estimated penetration area S on the developed image.
  • the penetration area S of the present embodiment is included in the target site R (see FIG.
  • the substance to be administered is, for example, a substance such as a biological substance such as a cell or a biomaterial.
  • the permeation area S is an area after a predetermined time has passed in the time when the effect of the administered substance is obtained since the injected substance is injected.
  • the control unit 16 estimates the position of the blood vessel BV in the heart based on, for example, a three-dimensional image, and estimates the penetration area S based on the position of the injection point T with respect to the position of the blood vessel BV. It is considered that the substance injected into the target site R is likely to penetrate in the direction of the blood vessel BV due to the influence of blood flow near the blood vessel BV. Therefore, as shown in FIG. 8, the control unit 16 estimates that the permeation region S extends in the direction of the blood vessel BV as the injection point T is closer to the blood vessel BV. The control unit 16 estimates, for example, the position of the infarct site Q (see FIG.
  • the control unit 16 estimates that the penetration area S is prevented from extending in the direction of the infarct site Q as the injection point T is closer to the infarct site Q.
  • the control unit 16 may estimate the penetration area S based on the dose of the substance to be administered and the physical property information stored in the storage unit 15. Specifically, the control unit 16 estimates that the permeation region S becomes larger as the dose of the substance to be administered is larger. The control unit 16 may estimate the penetration area S based on the wall thickness of the heart wall calculated by the control unit 16 or the wall thickness of the heart wall acquired from a device such as a computed tomography apparatus. In detail, the control unit 16 estimates that the permeation region S becomes wider along the heart wall as the wall thickness near the injection point T becomes thinner. The control unit 16 may estimate the penetration area S based on time changes of the plurality of three-dimensional images stored in the storage unit 15.
  • the control unit 16 detects a temporal change in the position of the feature point in the plurality of three-dimensional images, and based on the temporal change in the position of the feature point, moves the movement due to pulsation or the like for each portion of the heart wall. presume. Then, it is estimated that the penetration area S becomes larger as the portion with the larger movement. Conversely, it is estimated that the penetration area S becomes smaller at the infarcted site Q where movement hardly occurs.
  • the control unit 16 may estimate the penetration area S based on the shape information of the injection member stored in the storage unit 15.
  • the injection member is formed of, for example, a needle-like member, and a side hole for discharging the substance to be administered is formed around the injection member. Examples of the shape information of the injection member include the outer shape (linear shape, curved shape, spiral shape, etc.) of the injection member, the size of the diameter, the position of the side hole, the size of the side hole, and the like.
  • the image processing apparatus 10 can estimate in advance the penetration area S to which the administered substance injected into any injection point T of the abnormal site R ′ penetrates, the treatment is performed before the treatment. Simulation can be performed.
  • FIG. 9 is a flowchart showing the details of the target injection point determination process performed by the image processing apparatus 10.
  • 10A and 10B are schematic diagrams showing an example of the target injection point U determined in the target injection point determination process performed by the image processing apparatus 10.
  • FIGS. 10A and 10B are cross-sectional views of the left ventricle LV of the heart from the aortic valve AV (see FIGS. 7A to 7C) to the apex AP (see FIGS. 7A to 7C).
  • the control unit 16 reads the expanded image stored in the storage unit 15 and causes the display unit 14 to display the expanded image (step S31: expanded image display step).
  • the control unit 16 determines the positions of a plurality of target injection points U to which the substance to be injected should be injected into the abnormal region R ′ based on the three-dimensional structure information of the heart (step S32: target injection point determination step).
  • the control unit 16 causes the display unit 14 to display the determined plurality of target injection points U superimposed on the developed image (step S33: target injection point display step).
  • the position of the target injection point U includes information on the depth from the inner surface of the heart wall along the wall thickness direction. In other words, the target injection point U indicates at what position and at what depth the substance to be injected should be injected from the inner surface of the heart wall.
  • the position of the target injection point U is determined based on, for example, the penetration area S estimated by the above-described penetration area estimation process. Specifically, the control unit 16 estimates the penetration area S for the plurality of injection points T, and based on the estimated plurality of penetration areas S, the injection point T to which the substance to be injected should be the target injection point Decide to U. The control unit 16 specifies, for example, an injection point T corresponding to the penetration area S included in the plurality of other penetration areas S. Then, the injection point T other than the specified injection point T is determined as the target injection point U.
  • the site to which the substance to be administered is injected may be a low exercise site P (see FIG. 7A) which is the entire abnormal site R ′ including the infarct site Q (see FIG. 7B). Only the target site R (see FIG. 7C) may be excluded. However, as described above, if the spread of the penetration area S is taken into consideration, the target region R (see FIG. 7C) in the low motion region P (see FIG. 7A) which is the entire abnormal region R ′ is more than the infarct region Q. It is preferable to determine the target injection point U centering on.
  • the control unit 16 determines the order of the plurality of target injection points U.
  • the control unit 16 creates a developed image including the abnormal region R ′ and the target injection point U and causes the display unit 14 to display the developed image. Then, the control unit 16 causes the display unit 14 to display the plurality of target injection points U in a mode based on the determined order. For example, as shown in FIGS. 10A and 10B, the control unit 16 causes the target injection point U to write the determined order.
  • the control unit 16 displays, for example, only the target injection points U in the next order.
  • the control unit 16 estimates the movement path V along which the tip of the injection member for injecting the substance to be administered moves via the plurality of target injection points U, and determines the order of the target injection points U based on the movement path V Do.
  • the control unit 16 determines the order of the target injection points U, for example, such that the movement path V is shortest. In detail, the control unit 16 determines that the closest target injection points U are in order.
  • the control unit 16 may cause the display unit 14 to display the estimated movement path V superimposed on the developed image. Thereby, an operator such as a medical worker can grasp how to move the optimal injection member according to the order of the target injection point U.
  • the control unit 16 has a long axis in which the movement path V is from the aortic valve AV (see FIGS. 7A to 7C) to the apex AP (see FIGS. 7A to 7C) in the left ventricle LV of the heart.
  • the order of the target injection points U may be determined so as to draw a spiral around O.
  • the movement path V is a path that does not return halfway along the circumferential direction M from the aortic valve AV side to the apical AP side of the back along the circumferential direction M. The operation can be facilitated.
  • the control unit 16 orders the target injection point U so that the movement path V reciprocates along the long axis O from the aortic valve AV toward the apex AP in the left ventricle LV of the heart. You may decide. Thereby, the movement path V is along the long axis O, so that the possibility of the movement of the injection member being impeded by the papillary muscles located along the long axis O in the left ventricle LV can be reduced. It is possible to reduce the sticking to the accompanying chorda tendon.
  • FIG. 11 is a view showing a state of treatment by the injection member.
  • FIG. 11 shows a state where the catheter 50 extends from the femoral artery FA through the aorta AO to the aortic valve AV, which is the entrance of the left ventricle LV of the heart lumen.
  • the injection member is delivered through catheter 50 to the left ventricle LV.
  • the catheter 50 is not limited to the femoral artery FA, but may extend from, for example, the radial artery of the wrist to the aortic valve AV.
  • the ultrasound image generation device 20 is located on the body surface of the subject, captures a first tomographic image as needed, and transmits the first tomographic image to the image processing device 10.
  • the ultrasonic image generation device 20 acquires position information of the tip of the injection member as needed, and transmits the position information to the image processing device 10.
  • the control unit 16 of the image processing apparatus 10 can cause the display unit 14 to display, for example, a developed image that follows the position of the distal end portion of the injection member.
  • the ultrasound image generation apparatus 20 may capture not only from the body surface but also from the esophagus, blood vessels, and heart lumen (atria, ventricles). However, it is preferable that the ultrasound image generating apparatus 20 perform imaging from the body surface in that non-invasive treatment can be performed.
  • the control unit 16 displays, among the plurality of target injection points U, the target injection point U for which the injection treatment of the substance to be administered by the injection member has been performed, in a manner different from the unprocessed target injection point U It may be displayed on the screen.
  • the control unit 16 determines that the target injection point U has been treated, for example, based on the input of a signal indicating that the treatment has been done via the operation input unit 13.
  • the control unit 16 may determine the processed target injection point U based on the newly input first tomographic image.
  • the image processing apparatus 10 can determine the positions of the plurality of target injection points U to which the substance to be injected should be injected to the abnormal site R ′, simulation of a more specific treatment before the treatment is performed It can be performed.
  • the image processing apparatus 10 displays the target injection points U in a mode based on the order in which the treatment should be performed, it is possible to guide the treatment in the predetermined order to the operator.
  • the position of the target site R is mainly determined as the target injection point U Can improve the therapeutic effect.
  • FIGS. Although an example in which acquisition of three-dimensional structural information of the heart and injection of a substance to be administered into the heart wall are performed in parallel has been described with reference to FIGS. It is not always easy to display and store various structures. For example, in intraoperative fluoroscopy, it is difficult to comprehend a complicated uneven structure such as papillary muscles (carpal) inside the ventricle. In addition, although it is conceivable to acquire three-dimensional structure information of the heart by a three-dimensional ultrasonic diagnostic apparatus, it is difficult to accurately grasp the complex uneven structure as described above.
  • intraoperative intracardiac monitoring can be performed by conventional fluoroscopic imaging. That is, the medical worker obtains the detailed information such as the position and size of the abnormal region R ′ in the heart, the position of the target injection point U, and the like from the developed image displayed on the display unit 14 while the conventional X-ray The procedure can be performed while confirming the fluoroscopic image.
  • the control unit 16 displays the expanded image reflecting the treatment site on the display unit 14 .
  • the intracardiac monitoring during operation is not limited to the above-described X-ray fluoroscopic image, and may be performed by, for example, a three-dimensional ultrasonic diagnostic apparatus.
  • the three-dimensional structure information acquired by the image processing apparatus 10 may be obtained in real time during surgery or may be obtained before surgery.
  • the image processing apparatus 10 receives the input of the three-dimensional structure information indicating the three-dimensional structure of the heart, and the atrioventricular chamber of the heart indicated by the three-dimensional structure information.
  • Control as an image generation unit that develops the inner wall of the image into a two-dimensional image based on isometric projection, divides the two-dimensional image into the front wall, back wall, left wall and right wall of the inner wall and generates a ruptured image A unit 16;
  • the control unit 16 maps the three-dimensional structure in the atrioventricular chamber of the heart, which is indicated by the three-dimensional structure information, on the unfolded image, by means of a projection representing the three-dimensional structure in saturation and lightness.
  • the inner wall of the atrioventricular chamber of the heart By developing the inner wall of the atrioventricular chamber of the heart into a two-dimensional image based on isometric projection, it is possible to accurately grasp the size of the region of interest, the ratio to the inner wall, and the like. Moreover, in order to divide and divide into the anterior wall, the posterior wall, the left side wall and the right side wall of the atrioventricular chamber of the heart, each part on the developed image after tearing and the anterior wall, the posterior wall, the left side of the atrioventricular chamber The relationship between the wall and the right wall can be intuitively grasped. As a result, the positions of the site of interest and the treatment site in the atrioventricular chamber can be intuitively grasped.
  • the condition of the inner wall of the heart can be intuitively and more accurately grasped.
  • mapping the three-dimensional structure in the atrioventricular chamber of the heart indicated on the three-dimensional structure information on the unfolded image by a projection that expresses the three-dimensional structure in saturation and lightness the appearance of the inner wall of the heart is intuitive and more accurate Can be grasped.
  • the image processing apparatus 10 can also be realized by a computer and a program.
  • the program may be recorded on a computer readable medium.
  • Computer readable media are available to be installed on a computer.
  • the computer readable medium having the program recorded thereon may be a non-transitory recording medium.
  • the non-transitory recording medium is not particularly limited, but may be, for example, a recording medium such as a CD-ROM or a DVD-ROM.
  • the program can be provided through a network.
  • each component, each function, etc. included in each step can be rearranged so as not to contradict logically, and it is possible to combine or divide a plurality of components or steps into one. It is.

Abstract

本発明に係る画像処理装置は、心臓の立体構造を示す三次元構造情報の入力を受け付ける情報入力部と、三次元構造情報で示される心臓の房室の内壁を、正積図法に基づいて二次元画像に展開し、該二次元画像を前壁、後壁、左側壁および右側壁に分けて断裂した展開画像を生成する画像生成部と、を備え、画像生成部は、立体構造を彩度および明度で表現する図法により、三次元構造情報に示される心臓の房室内の立体構造を展開画像上にマッピングする。

Description

画像処理装置、画像処理方法およびプログラム
　本開示は、画像処理装置、画像処理方法およびプログラムに関する。
　心不全などの治療において、細胞などの生体物質またはバイオマテリアルなどの被投与物を、大腿動脈などを介して心臓の房室内に挿入したカテーテルなどの器具を用いて、房室の周囲の組織（例えば、左心室の周囲の心筋）に注入し、治療効果を期待する治療が検討されている。また、不整脈などの治療として、心臓の房室内に挿入したカテーテルにより、不整脈の原因となる部位を焼灼するアブレーション治療がある。
　上述したような治療においては、Ｘ線断層撮影装置、磁気共鳴撮影装置などにより得られるデータに基づき、冠動脈の閉塞あるいは狭窄により心筋が壊死した梗塞部位などの関心部位の位置が特定される。そして、特定した部位を含む心臓の二次元あるいは三次元画像が生成、表示される。例えば、特許文献１には、心筋の局所的な運動情報を示す三次元心機能情報と冠動脈の三次元形状とをブルズアイマップ上に二次元的にマッピングする技術が開示されている。また、特許文献２には、心臓壁の表面全体をグード図法により二次元に展開し、その展開図に対して心臓の冠動脈を避けて断裂を入れた心臓壁の二次元表面画像を形成する技術が開示されている。
特開２０１５－１１９７６８号公報 特開２００８－１６７８０２号公報
　上述したような治療においては、梗塞部位などの関心部位および治療部位（被投与物の注入部位など）を正確に特定するために、心臓の内壁の様子を直感的かつ正確に把握する必要がある。ここで、ブルズアイマップは、心基部から心尖部までの長軸方向に垂直な複数の単軸断面における三次元データを、中心が心尖部に相当し、辺縁が心基部に相当する円に投影した画像である。ブルズアイマップでは、長さおよび面積を正確に表現することができない。そのため、特許文献１に開示されている技術においては、長さおよび面積が正確に表現されないので、心臓の様子を直観的かつ正確に把握することが困難である。また、特許文献２に開示されている技術では、心臓壁の表面全体をグード図法により二次元に展開した展開図を、冠動脈を避けて断裂するため、断裂後の形状と心臓壁の表面全体との関係が複雑になり、直観的な把握が困難である。また、特許文献２に開示されている技術は、心臓壁の表面全体を二次元的に表現するものであり、心臓の房室の内壁の様子を如何にして直感的かつ正確に把握するかについては考慮されていない。
　本開示の目的は、上述した課題を解決し、心臓の内壁の様子を直感的かつより正確に把握することができる画像処理装置、画像処理方法およびプログラムを提供することにある。
　本発明の第１の態様としての画像処理装置は、心臓の立体構造を示す三次元構造情報の入力を受け付ける情報入力部と、前記三次元構造情報で示される前記心臓の房室の内壁を、正積図法に基づいて二次元画像に展開し、該二次元画像を前記内壁の前壁、後壁、左側壁および右側壁に分けて断裂した展開画像を生成する画像生成部と、を備え、前記画像生成部は、立体構造を彩度および明度で表現する図法により、前記三次元構造情報に示される心臓の房室内の立体構造を前記展開画像上にマッピングする。
　本発明の１つの実施形態として、前記画像生成部は、前記展開画像上で、乳頭筋に相当する立体構造のマッピングの有無を切り替え可能である。
　本発明の１つの実施形態として、前記画像生成部は、前記展開画像上で、腱索に相当する立体構造のマッピングの有無を切り替え可能である。
　本発明の１つの実施形態として、前記情報入力部は、前記心臓の拡張期および収縮期を含む時系列的な三次元構造情報の入力を受け付け、前記画像生成部は、前記時系列的な三次元構造情報に基づき、前記拡張期および前記収縮期それぞれについて前記展開画像を生成する。
　本発明の１つの実施形態として、前記画像生成部は、前記心臓における関心部位を前記展開画像上にマッピングし、前記拡張期の展開画像と前記収縮期の展開画像とに基づき、前記関心部位の位置を補正し、前記関心部位は、前記心臓の梗塞部位である。
　本発明の１つの実施形態として、前記画像生成部は、前記三次元構造情報に基づき、前記内壁の壁厚を求め、該求めた壁厚を前記展開画像上にマッピングする。
　本発明の１つの実施形態として、前記情報入力部は、前記内壁の心電位を示す心電位情報の入力をさらに受け付け、前記画像生成部は、前記心電位情報に基づき、前記内壁の心電位を前記展開画像上にマッピングする。
　本発明の１つの実施形態として、前記画像生成部は、前記三次元構造情報に基づき、前記内壁の壁運動の状態を取得し、該取得した壁運動の状態を前記展開画像上にマッピングする。
　本発明の１つの実施形態として、前記情報入力部は、前記内壁の心電位を示す心電位情報の入力をさらに受け付け、前記画像生成部は、前記内壁の壁運動の状態および前記内壁の心電位が所定の条件を満たす部位を特定し、該特定した部位を前記展開画像上にマッピングする。
　本発明の１つの実施形態として、操作入力を受け付ける操作入力部をさらに備え、前記画像生成部は、前記生成した展開画像を表示部に表示し、前記操作入力部が前記表示部に表示された展開画像上の位置を指示する操作入力を受け付けると、該操作入力により指示された位置を示すマーカーを前記展開画像に重畳して表示する。
　本発明の１つの実施形態として、操作入力を受け付ける操作入力部をさらに備え、前記画像生成部は、前記生成した展開画像を表示部に表示し、前記三次元構造情報に基づき、前記内壁の壁厚を求め、前記操作入力部が前記表示部に表示された展開画像上の位置を指示する操作入力を受け付けると、該操作入力により指示された位置での壁厚を前記表示部に表示する。
　本発明の第２の態様としての画像処理方法は、画像処理装置を用いて実行される画像処理方法であって、心臓の立体構造を示す三次元構造情報の入力を受け付ける工程と、前記三次元構造情報で示される前記心臓の房室の内壁を、正積図法に基づいて二次元画像に展開し、該二次元画像を前記内壁の前壁、後壁、左側壁および右側壁に分けて断裂した展開画像を生成する工程と、立体構造を彩度および明度で表現する図法により、前記三次元構造情報に示される心臓の房室内の立体構造を前記展開画像上にマッピングする工程と、を含む。
　本発明の第３の態様としてのプログラムは、コンピュータを上記のいずれかの画像処理装置として機能させる。
　本発明に係る画像処理装置、画像処理方法およびプログラムによれば、心臓の内壁の様子を直感的かつより正確に把握することができる。
本発明の一実施形態に係る画像処理装置の構成例を示す図である。 図１に示す制御部による展開画像の生成について説明するための図である。 図１に示す制御部が生成する展開画像の一例を示す図である。 図１に示す画像処理装置を適用した画像処理システムの概略構成を示すブロック図である。 図４に示す画像処理装置の動作の一例を示すフローチャートである。 図４に示す画像処理装置が行う目標部位特定処理の詳細を示すフローチャートである。 図４に示す画像処理装置が行う目標部位特定処理について説明するための図である。 図４に示す画像処理装置が行う目標部位特定処理について説明するための図である。 図４に示す画像処理装置が行う目標部位特定処理について説明するための図である。 図４に示す画像処理装置が行う浸透領域推定処理で推定される浸透領域Ｓの一例を示す模式図である。 図４に示す画像処理装置が行う目標注入点決定処理の詳細を示すフローチャートである。 図４に示す画像処理装置が行う目標注入点決定処理で決定される目標注入点の一例を示す模式図である。 図４に示す画像処理装置が行う目標注入点決定処理で決定される目標注入点の一例を示す模式図である。 注入部材による治療の様子を示す図である。
　以下、本発明の実施の形態について図面を参照して説明する。
　図１は、本発明の一実施形態に係る画像処理装置１０の構成例を示す図である。本実施形態に係る画像処理装置１０は、被検者の心臓の内壁を二次元に展開した画像を生成し、表示するものである。
　図１に示す画像処理装置１０は、被検者の体外に位置し、コンピュータなどの情報処理装置によって構成される。画像処理装置１０は、情報入力部１１と、操作入力部１３と、表示部１４と、記憶部１５と、制御部１６とを備える。制御部１６は、画像生成部の一例である。
　情報入力部１１は、被検者の心臓の立体構造を示す三次元構造情報の入力を受け付ける。情報入力部１１は、例えば、コンピュータ断層撮影（ＣＴ：Computed Tomography）装置、磁気共鳴画像生成（ＭＲＩ：Magnetic Resonance Imaging）装置、三次元超音波診断（３Ｄ－ＵＳ：Three-Dimension Ultrasonography）装置などにより得られる心臓の立体構造を示す情報を三次元構造情報として入力を受け付ける。情報入力部１１は、例えば、有線通信または無線通信により、これらの装置から情報を受信するインターフェースを含む。情報入力部１１は、入力された情報を制御部１６に出力する。
　操作入力部１３は、使用者からの操作入力を受け付ける。操作入力部１３は、例えば、キーボード、マウス、タッチパネルなどを含む。操作入力部１３がタッチパネルを含む場合、タッチパネルは表示部１４と一体に設けられていてもよい。操作入力部１３は、入力された操作に応じた信号を制御部１６に出力する。
　表示部１４は、制御部１６の制御に従い、制御部１６が生成する画像などを表示する。表示部１４は、例えば、液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイなどの表示デバイスを含む。
　記憶部１５は、制御部１６に特定の機能を実行させるための種々の情報およびプログラムを記憶する。また、記憶部１５は、例えば、後述する制御部１６が生成した画像を記憶する。記憶部１５は、例えば、ＲＡＭ（Random Access Memory）またはＲＯＭ（Read Only Memory）などの記憶装置を含む。
　制御部１６は、画像処理装置１０を構成する各構成部の動作を制御する。制御部１６は、特定のプログラムを読み込むことにより特定の機能を実行する。具体的には、制御部１６は、情報入力部１１が取得した三次元構造情報に示される心臓の房室（左心房、右心房、左心室、右心室）の内壁を正積図法に基づいて二次元画像に展開し、その二次元画像を内壁の前壁、後壁、左側壁および右側壁に分けて断裂した展開画像を生成する。制御部１６は、生成した展開画像を表示部１４に表示させ、また、記憶部１５に記憶させる。制御部１６は、例えばプロセッサを含む。
　次に、制御部１６による展開画像の生成についてより詳細に説明する。
　制御部１６は、三次元構造情報で示される被検者の心臓の房室の内壁を、正積図法に基づいて二次元画像に展開する。正積図法は、地球上の面積と対応する地図上の面積との比（面積縮尺）が等しい図法である。正積図法としては、モルワイデ図法、サンソン図法、ランベルト正積図法など種々の図法を用いることができるが、以下では、特に、グード図法（ホモロサイン図法）を用いる例について説明する。
　グード図法とは、図２に示すように、地球を高緯度地方と低緯度地方とに分け、高緯度地方をモルワイデ図法で表現し、低緯度地方をサンソン図法で表現し、これらを結合する図法である。高緯度地方と低緯度地方との境界は、モルワイデ図法とサンソン図法とで面積縮尺が同じである場合に緯線長が一致する所定の緯度４０度４４分である。モルワイデ図法およびサンソン図法が正積図法であるため、グード図法も正積図法となる。
　制御部１６は、例えば、心臓の左心室の内壁の展開画像を生成する場合、左心室の内壁全体を地球の地表面とし、三次元の左心室の内壁の位置データをグード図法に基づき、二次元の位置データにマッピングした二次元画像を生成する。具体的には、制御部１６は、図３に示すように、例えば、心臓の心尖部を地球の南極点に対応させ、グード図法に基づき、南極点から北緯４０度４４分までに相当する領域に左心室の内壁を展開する。ここで、制御部１６は、南極点に対応する心尖部を下端とする４つの領域をそれぞれ、左心室の前壁、後壁（下後壁）、左側壁（側壁）、右側壁（中隔）に対応させる。図３では、左側の領域から順に、後壁、左側壁、前壁、右側壁に対応させている。このように、制御部１６は、三次元構造情報に示される心臓の房室（図３の例では左心室）の内壁を、正積図法であるグード図法に基づき二次元画像に展開し、その二次元画像を房室の前壁、後壁、左側壁および右側壁に分けて断裂した展開画像を生成する。
　心臓の房室の内壁を正積図法に基づき二次元画像に展開することで、関心部位（梗塞部位など）および治療部位（被投与物の注入部位など）のサイズ、内壁に占める割合などを正確に把握することができる。また、心臓の房室の前壁、後壁、左側壁および右側壁に分けて（断裂して）展開するため、断裂後の展開画像上の各部と、房室の前壁、後壁、左側壁および右側壁それぞれとの関係を直感的に把握することができる。その結果、関心部位および治療部位の房室内での位置などを直感的かつより正確に把握することができる。
　さらに、本実施形態においては、制御部１６は、立体構造を彩度および明度で表現する図法により、三次元構造情報に示される心臓の房室内の立体構造を展開画像上にマッピングする。このようにすることで、図３に示すように、房室内面を、展開画像でありながら立体的に表示することができる。心臓の心室内には筋状に延びる乳頭筋（肉柱）が存在しており、心室内は複雑な立体構造（凹凸構造）を有している。制御部１６は、例えば、図３に示すように、乳頭筋Ｄなどの立体構造を展開画像上にマッピングしてもよい。こうすることで、心臓の房室の内壁の様子をさらに直感的かつ正確に把握することができる。また、制御部１６は、特定の凹凸構造、例えば、乳頭筋に相当する凹凸構造については、展開画像上にマッピングしないようにすることもできる。すなわち、画像生成部としての制御部１６は、展開画像上で、乳頭筋に相当する立体構造のマッピングの有無を切り替え可能である。また、制御部１６は、腱索に相当する凹凸構造を展開画像上にマッピングする、あるいは、しないようにしてもよい。つまり、画像生成部としての制御部１６は、展開画像上で、腱索に相当する立体構造のマッピングの有無を切り替え可能な構成であってもよい。
　立体構造を彩度および明度で表現する図法としては、地表面の立体構造を彩度および明度で表現した赤色立体地図を作成する図法を用いることができる。この図法では、局所領域での盛り上がりおよび沈み込みの度合い（例えば、地形図の尾根谷度）を、二次元面上の対応する領域に、明度に関する階調により表示する。また、この図法では、ベクトル場（地表面を表わす地形データの集合）を三次元座標空間に写像した座標点列を連結する面の斜度分布を、（好ましくは赤色系の色で）彩度に関する色調により表示する。このような図法により、方向依存性が無く、すべての方向の地形（立体構造）が同時に観察可能な画像を得ることができる。なお、上述した図法については、例えば、特許第３６７０２７４号などに記載されているため、ここでは詳細な説明を省略する。
　また、制御部１６は、展開画像上で、関心部位の態様（例えば、色）を、他の部位の態様と異ならせてもよい。例えば、制御部１６は、関心部位としての梗塞部位の色を、他の部位としての正常な部位の色と補色関係にある色とすることができる。こうすることで、関心部位を他の部位と区別して容易に把握することができる。関心部位としては、上述の梗塞部位に限らず、慢性虚血により運動量が低下した冬眠心筋、および急性虚血により運動量が低下した気絶心筋などが挙げられる。制御部１６は、これらのうちいずれかのみを関心部位として、他の部位とは異なる態様で表現してもよいし、これらを全て関心部位として、他の部位とは異なる態様で表現してもよい。なお、関心部位は、三次元構造情報に基づき、制御部１６が特定してもよいし、三次元構造情報に基づき、例えば、治療従事者が特定してもよい。図３においては、梗塞部位Ｑと、冬眠心筋および気絶心筋に相当し、治療の対象の部位である目標部位Ｒと、を関心部位としている。なお、目標部位Ｒとは、異常部位Ｒ’としての低運動部位Ｐから、梗塞部位Ｑを除いた部位である。さらに、図３においては、被投与物を注入する目標位置である目標注入点Ｕ、および、実際に被投与物が注入された位置である、治療部位としての注入点Ｔ、を示すマーカーＡを示している。制御部１６による関心部位の特定の詳細について後述する。
　また、制御部１６は、三次元構造情報に基づき、心臓弁の位置を特定し、特定した心臓弁を展開画像上の対応する位置にマッピングしてもよい。房室への血液の入出を制御する心臓弁を、展開画像上の対応する位置にマッピングすることで、関心部位および治療部位などを直感的かつより正確に把握することができる。また、心臓弁を展開画像上の対応する位置にマッピングすることで、心臓が拡張した疾患（拡張型心筋症）および心臓が肥大した疾患（肥大型心筋症）であっても、解剖学的な位置関係を正確に把握することができる。制御部１６は、例えば、心臓の左心室の内壁の展開画像を生成する場合、図３に示すように、心臓弁Ｂとして、大動脈弁及び僧帽弁の少なくとも一方、を展開画像状の対応する位置にマッピングすることが好ましい。また、制御部１６は、心臓弁の開閉状態を展開画像上で表示してもよい。心臓弁の開閉状態を展開画像上で表示することで、心臓が拡張期であるか、収縮期であるか、あるいは、心臓の拡張期および収縮期のタイミングを正確に把握することができる。
　また、情報入力部１１は、心臓の拡張期および収縮期を含む時系列的な三次元構造情報の入力を受け付けてもよい。この場合、制御部１６は、拡張期の展開画像と収縮期の展開画像とを生成し、これらの展開画像に基づき、例えば関心部位の一部としての梗塞部位Ｑ（図３参照）の位置を補正してもよい。梗塞部位Ｑは、心臓の拡張期でも収縮期でも位置が大きく変化しない。そのため、制御部１６は、例えば、拡張期の展開画像と収縮期の展開画像とで、位置が大きく変化する領域がある場合には、その領域は梗塞部位Ｑではない可能性が高いため、その領域を関心部位から除外するなどして、関心部位の位置を補正してもよい。こうすることで、関心部位の位置をより正確に特定することができる。
　また、制御部１６は、三次元構造情報に基づき、心臓の房室に面する内壁の壁厚を求めてもよい。但し、情報入力部１１が、コンピュータ断層撮影装置、磁気共鳴画像生成装置、三次元超音波診断装置などの装置が取得した心臓壁の厚さ情報などのスケール情報の入力を、その他の心臓の三次元構造情報と共に受け付けるようにしてもよい。制御部１６が心臓の房室に面する内壁の壁厚を求める場合には、例えば、予め測定され、情報入力部１１又は操作入力部１３を通じて取得された被検者の胸囲などの体形情報を利用することができる。制御部１６は、例えば、心臓の房室に面する内壁の所定領域ごとに、その所定領域における壁厚の平均値、最小値、又は最大値を算出してもよい。また、制御部１６は、例えば、心臓の房室に面する内壁の複数箇所についてのみ壁厚を算出してもよい。心臓の房室に面する内壁の複数箇所については、例えば、心臓を輪切りにした一断面画像において、心臓の外形に沿う周方向に等間隔で設定された複数の箇所とすることができる。換言すれば、心臓の一断面画像において、中心角が所定の角度となるように設定された複数箇所で壁厚を算出してもよい。
　制御部１６は、算出した又は取得した、心臓の房室に面する内壁の壁厚を展開画像上にマッピングしてもよい。すなわち、制御部１６は、内壁のそれぞれの位置について求めた壁厚を、展開画像上の対応する位置に、壁厚に応じた階調などを用いて表現してもよい。また、制御部１６は、生成した展開画像を表示部１４に表示し、表示された展開画像上の位置を指示する操作入力を操作入力部１３が受け付けると、図３に示すように、指示された位置を示す矢印とともに、その位置の壁厚を表示（例えば、ポップアップ表示）してもよい。制御部１６は、例えば、心臓の房室に面する内壁の所定領域ごとに、その所定領域における壁厚情報として、壁厚の平均値、最小値及び最大値の少なくとも１つを表示してもよい。また、制御部１６は、例えば、心臓の房室に面する内壁の複数箇所についてのみ壁厚を表示してもよい。
　このように、展開画像上で内壁の壁厚をマッピングすることで、内壁から心筋内への被投与物の注入の際に、被投与物を注入すべき深さなどを事前に把握することができる。また、被投与物を注入する際に利用する針状の注入部材が心臓壁を貫通することを抑制できる。
　また、情報入力部１１は、心臓の内壁の心電位を示す心電位情報を取得してもよい。このような心電位情報は、例えば、先端に電極が設けられたカテーテルを心臓の内壁に接触させることで取得することができる。制御部１６は、情報入力部１１が取得した心電位情報に示される心臓の内壁の各部の心電位を、展開画像上にマッピングしてもよい。例えば、制御部１６は、心電位情報に示される内壁の各部の心電位を、展開画像上の対応する位置に、心電位に応じた階調などを用いて表現してもよい。また、制御部１６は、表示部１４に表示された展開画像上の位置を指示する操作入力を操作入力部１３が受け付けると、図３に示すように、指示された位置を示す矢印とともに、その位置の心電位を表示（例えば、ポップアップ表示）してもよい。
　一般に、梗塞部位では、心電位が７．０ｍＶ未満であり、正常部位では、心電位が７．０ｍＶ以上であることが知られている。そのため、心臓の内壁のうち、心電位が所定の閾値未満（例えば７．０ｍＶ未満）の位置を、例えばその他の位置とは異なる色で表現する等して、マッピングしてもよい。このように、展開画像上で内壁の心電位をマッピングすることで、心臓の内壁における梗塞部位Ｑ（図３参照）の把握が容易になる。
　また、制御部１６は、時系列的な三次元構造情報に基づき、心臓の房室の内壁の壁運動の状態（変位量、変位方向、変位速度など）を求めてもよい。制御部１６は、例えば、心臓の中心点Ｃから心臓の外側に向けて直線を延ばし、その直線が内壁と交わる１点を点Ｎ（ｔ）とし、その直線が数秒後に位置が変化した内壁と交わる１点を点Ｎ（ｔ＋１）とし、中心点Ｃから点Ｎ（ｔ）までの距離（線分ＣＮ（ｔ））から、中心点Ｃから点Ｎ（ｔ＋１）までの距離（線分ＣＮ（ｔ＋１））を引くことにより、内壁の変位量を算出する。制御部１６は、例えば、心臓の房室に面する内壁の領域ごとに、その領域における壁運動の状態の平均値、最小値、又は最大値を算出してもよい。また、制御部１６は、例えば、心臓の房室に面する内壁の複数箇所についてのみ壁運動の状態を算出してもよい。心臓の房室に面する内壁の複数箇所については、例えば、心臓を輪切りにした一断面画像において、心臓の外形に沿う周方向に等間隔で設定された複数の箇所とすることができる。換言すれば、心臓の一断面画像において、中心角が所定の角度となるように設定された複数箇所で壁運動の状態を算出してもよい。
　制御部１６は、算出した心臓の房室の内壁の壁運動の状態を展開画像上にマッピングしてもよい。例えば、制御部１６は、表示部１４に表示された展開画像上の位置を指示する操作入力を操作入力部１３が受け付けると、図３に示すように、指示された位置を示す矢印とともに、その位置の壁運動の状態を表示（例えば、ポップアップ表示）してもよい。図３においては、心臓の拡張期と収縮期とにおける、心臓の二点間の距離の変化率を、壁運動の状態として示す例を示している。異常部位（梗塞部位、慢性虚血により運動量が低下した冬眠心筋および急性虚血により運動量が低下した気絶心筋など）では、正常な心筋と比べて壁運動が低下することが知られている。したがって、展開画像上で内壁の壁運動の状態をマッピングすることで、心臓の内壁における異常部位の把握が容易になる。なお、壁運動が低下している低運動部位の具体的な導定手法の例については後述する（図７Ａ～図７Ｃ参照）。
　また、制御部１６は、内壁の壁運動の状態および内壁の心電位が所定の条件を満たす部位を特定し、特定した部位を展開画像上にマッピングしてもよい。
　上述したように、異常部位では、壁運動が低下する。ここで、梗塞部位での壁運動の低下は不可逆的である。一方、気絶心筋および冬眠心筋での壁運動の低下は可逆的である。また、上述したように、梗塞部位では、心電位が７．０ｍＶ未満であり、正常部位、気絶心筋および冬眠心筋では、心電位が７．０ｍＶ以上であることが知られている。
　したがって、心臓の内壁における心電位および壁運動が所定の条件を満たす部位、すなわち、心電位が所定の閾値以上（例えば、７．０ｍＶ以上）であり、かつ、壁運動が所定の閾値以下である部位は、気絶心筋および冬眠心筋である。なお、壁運動が所定の閾値以下である低運動部位の具体的な導定手法の例については後述する（図７Ａ～図７Ｃ参照）。
　また、制御部１６は、生成した展開画像を表示部１４に表示し、表示された展開画像上において治療部位の位置を指示する操作入力を操作入力部１３が受け付けると、図３に示すように、操作入力により指示された位置（治療部位の位置）を示すマーカーＡを展開画像に重畳してもよい。こうすることで、治療部位を展開画像上に表示し、また、心臓の内壁における治療部位を正確に記憶することができる。
　また、制御部１６は、三次元構造情報に基づき、心臓を取り囲むように心臓外壁上に位置する冠動脈の三次元的な位置を抽出し、図３に示すように、冠動脈Ｃの位置を二次元に展開して展開画像上にマッピングしてもよい。なお、図３においては、冠動脈Ｃを二点鎖線で示している。上述したように、展開画像は、心臓の房室の内壁を二次元に展開した画像である。制御部１６は、あたかも心臓壁を透過して見たかのように、冠動脈に対応する展開画像上の内壁の位置に、その冠動脈をマッピングする。
　冠動脈を展開画像上にマッピングすることで、展開画像上の各所と冠動脈との位置関係を直感的かつ正確に把握することができる。
　また、制御部１６は、三次元構造情報に基づき、冠動脈の血流量を求め、求めた血流量を展開画像上の冠動脈にマッピング、例えば、テクスチャマッピングしてもよい。冠動脈の血流量は、例えば、三次元構造情報に示される冠動脈の短軸断面から求めることができる。
　また、制御部１６は、時系列な三次元構造情報に基づき、例えば、所定のタイミング毎に展開画像を生成し、生成した展開画像を時系列順に順次、表示および記憶してもよい。また、制御部１６は、展開画像上に上述した各種の情報（心臓弁の位置、内壁の壁厚、心電位、壁運動の状態、心電位および壁運動の状態が所定の条件を満たす部位、立体構造など）を、適宜組み合わせて表示してもよい。また、制御部１６は、上述した各種の情報を
適宜、切り替えて表示してもよい。
　図４は、本実施形態に係る画像処理装置１０を含む画像処理システム１の概略構成を示すブロック図である。図４に示すように、画像処理システム１は、画像処理装置１０と、第１撮像装置としての超音波画像生成装置２０と、第２撮像装置としての放射線画像生成装置３０と、心拍取得装置４０と、を備える。なお、図４において、図１と同様の構成には同じ符号を付し、説明を省略する。
　第１撮像装置としての超音波画像生成装置２０は、被検者の体外に位置し、被検者の体外から心臓の第１断層画像としての超音波画像を撮像する。超音波画像生成装置２０は、超音波を発信する超音波発信部２１と、超音波を受信する超音波受信部２２と、超音波受信部２２が受信した超音波に基づいて第１断層画像を形成する画像形成部２３と、を備える。超音波画像生成装置２０は、超音波発信部２１および超音波受信部２２を被検者の体表面に接触させた状態で、超音波発信部２１から被検者の心臓に向けて超音波を発信し、被検者の心臓から反射した超音波を超音波受信部２２で受信する。超音波画像生成装置２０は、超音波受信部２２で受信した超音波を画像形成部２３で処理することで、超音波の進行面に沿った断層画像を第１断層画像として得る。超音波画像生成装置２０は、撮像した第１断層画像を含む心臓の三次元構造情報を、画像処理装置１０の情報入力部１１に出力する。
　超音波画像生成装置２０は、超音波発信部２１および超音波受信部２２の位置または向きを変更させて異なる面に沿って撮像した複数の断層画像に基づいて、三次元画像を第１断層画像として生成してもよい。すなわち、第１断層画像は、１つの面に沿って撮像された断層画像でもよいし、複数の面に沿って撮像された複数の断層画像に基づいて生成された三次元画像でもよい。
　第２撮像装置としての放射線画像生成装置３０は、被検者の体外に位置し、被検者の体外から心臓の第２断層画像としての放射線画像を撮像する。放射線画像生成装置３０は、例えば、コンピュータ断層撮影装置である。放射線画像生成装置３０は、放射線を射出する放射線射出部３１と、放射線を検出する放射線検出部３２と、放射線検出部３２が検出した放射線に基づいて第２断層画像を形成する画像形成部３３と、を備える。放射線画像生成装置３０は、被検者の周囲で互いに対向する位置に放射線射出部３１および放射線検出部３２を備え、放射線射出部３１および放射線検出部３２を被検者の周囲で回転させながら、放射線射出部３１から被検者の心臓に向けてＸ線などの放射線を射出し、被検者の心臓を通過した放射線を放射線検出部３２で検出する。放射線画像生成装置３０は、放射線検出部３２で検出した放射線を画像形成部３３で処理することで、心臓の三次元画像である放射線画像を第２断層画像として得る。放射線画像生成装置３０は、撮像した第２断層画像を含む心臓の三次元構造情報を、画像処理装置１０の情報入力部１１に出力する。
　第２撮像装置は、放射線画像生成装置３０に代えて、磁気共鳴画像生成（ＭＲＩ：Magnetic Resonance Imaging）装置であってもよい。磁気共鳴画像生成装置は、被検者の体外に位置し、被検者の体外から心臓の第２断層画像としての磁気共鳴画像を撮像する。磁気共鳴画像生成装置は、磁場を発生させる磁場発生部と、核磁気共鳴信号を受信する信号受信部と、信号受信部が受信した核磁気共鳴信号に基づいて三次元画像である磁気共鳴画像を第２断層画像として形成する画像形成部と、を備える。
　第２断層画像が第２撮像装置としての放射線画像生成装置３０または磁気共鳴画像生成装置によって撮像されるより所定時間前に、造影剤が被検者の心臓に投与される。これにより、第２撮像装置によって撮像される第２断層画像は、遅延造影像を含む。
　第２撮像装置は、放射線画像生成装置３０または磁気共鳴画像生成装置に代えて、シンチグラフィ検査、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）検査、ＰＥＴ（Positron Emission Tomography）検査などを行う核医学検査装置であってもよい。核医学検査装置は、被検者の体外に位置し、被検者の体外から心臓の第２断層画像としての放射性同位元素（ＲＩ：ラジオアイソトープ）分布画像を取得する。核医学検査装置は、予め被検者に投与された放射性同位元素で標識された薬剤の分布を画像化することで、第２断層画像を取得する。
　心拍取得装置４０は、被検者の心臓の拍動情報を取得する。心臓の拍動情報は、心臓の拍動の時間変化の情報を含む。心拍取得装置４０は、第１断層画像または第２断層画像の撮像と同時に拍動情報を取得し、当該画像と対応付けてもよい。心拍取得装置４０は、例えば、被検者の胸部または手足に装着した電極を介して心臓活動電位の時間変化を計測し、心電図波形を連続して表示する心電図モニタである。
　画像処理装置１０は、上述したように、被検者の体外に位置し、コンピュータなどの情報処理装置によって構成される。図４に示す画像処理装置１０は、図１に示す画像処理装置１０が備える情報入力部１１、操作入力部１３、表示部１４、記憶部１５および制御部１６に加えて、心拍入力部１２をさらに備える。
　情報入力部１１は、第１撮像装置としての超音波画像生成装置２０からの第１断層画像、および、第２撮像装置としての放射線画像生成装置３０からの第２断層画像の入力を、心臓の三次元構造情報の入力として受け付ける。
　心拍入力部１２は、心拍取得装置４０から心臓の拍動情報の入力を受け付ける。心拍入力部１２は、例えば、有線通信または無線通信により、心拍取得装置４０から情報を受信するインターフェースを含む。心拍入力部１２は、入力された心臓の拍動情報を、制御部１６に出力する。
　表示部１４は、制御部１６の制御に従い、第１断層画像および第２断層画像などの心臓の三次元構造情報に基づいて制御部１６が生成する、心臓の内壁の展開画像などを表示する。
　記憶部１５は、制御部１６に特定の機能を実行させるための種々の情報およびプログラムを記憶する。記憶部１５は、例えば、心臓の三次元構造情報としての心臓の三次元画像を記憶する。心臓の三次元画像は、第１断層画像、第２断層画像である。また、記憶部１５は、制御部１６が生成する心臓の展開画像を記憶する。心臓の展開画像は、関心部位としての、梗塞部位Ｑ及び目標部位Ｒ、を含む。心臓の関心部位の一部としての心臓の目標部位Ｒ（図７Ｃ参照）は、上述したように、異常部位Ｒ’としての低運動部位Ｐ（図７Ａ参照）から梗塞部位Ｑ（図７Ｂ参照）を除いた部位であり、慢性虚血により運動量が低下した冬眠心筋、および、急性虚血により運動量が低下した気絶心筋、である。但し、関心部位は、梗塞部位Ｑ及び目標部位Ｒに限らず適宜設定可能である。例えば、梗塞部位Ｑ（図７Ｂ参照）のみ、又は、目標部位Ｒのみ、を関心部位として設定してもよい。記憶部１５は、例えば、異なる時刻に撮像された複数の断層画像に基づく複数の展開画像を記憶する。記憶部１５は、例えば、後述する注入部材を用いた治療で異常部位Ｒ’に注入される被投与物の投与量および物性情報を記憶する。記憶部１５は、例えば注入部材の形状情報を記憶する。
　制御部１６は、画像処理装置１０を構成する各構成部の動作を制御する。制御部１６は、特定のプログラムを読み込むことにより特定の機能を実行する。例えば、制御部１６は、第１断層画像および第２断層画像などの心臓の三次元構造情報に基づいて展開画像を生成する。制御部１６が展開画像を生成する際に利用する心臓の三次元構造情報は、上述の第１断層画像および第２断層画像に限らず、制御部１６は、他の心臓の三次元構造情報を利用して展開画像を生成することもできる。制御部１６は、生成した展開画像を表示部１４に表示させる。制御部１６は、生成した展開画像を外部の表示装置に出力してもよい。制御部１６は、例えばプロセッサを含む。
　制御部１６は、第２断層画像が放射線画像生成装置３０または磁気共鳴画像生成装置によって撮像される場合、第１断層画像を第２断層画像に基づいて補正してもよい。例えば、制御部１６は、第１断層画像中の特徴点および第２断層画像中の特徴点をそれぞれパターン認識などで検出し、第１断層画像中の特徴点を含む領域を対応する特徴点を含む第２断層画像中の領域で置換することで、第１断層画像を第２断層画像に基づいて補正することができる。これにより、第１断層画像をより高精細な第２断層画像で補正することができるため、心臓の構造や形状の情報をより正確に示すことができる。
　図５は、画像処理装置１０の動作の一例示すフローチャートである。なお、以下では、画像処理装置１０が、心臓の三次元構造情報としての第１断層画像および第２断層画像に基づき、目標部位Ｒ（図７Ｃ参照）を特定する処理を行う例について説明する。また、以下では、画像処理装置１０が、心臓の内壁の所定の位置に被投与物を注入した場合に、被投与物が浸透する浸透領域を推定する処理、および、被投与物を注入する目標注入点を決定する処理を行う例を説明する。ただし、本実施形態においては、画像処理装置１０がこれらの処理を行うことは必須ではない。目標部位の特定、浸透領域の推定、目標注入点の決定などは、事前に得られた心臓の三次元構造情報に基づき、医療従事者などにより予め行われてもよい。
　図５に示すように、画像処理装置１０は、まず、目標部位Ｒを特定する目標部位特定処理を行う（ステップＳ１０）。画像処理装置１０は、次に、心臓の内壁の所定の位置に被投与物を注入した場合に、被投与物が浸透する浸透領域を推定する浸透領域推定処理を行う（ステップＳ２０）。画像処理装置１０は、最後に、被投与物を注入する目標注入点を決定する目標注入点決定処理を行う（ステップＳ３０）。
　図６は、画像処理装置１０が行う目標部位特定処理の詳細を示すフローチャートである。図７Ａ～７Ｃは、画像処理装置１０が行う目標部位特定処理を説明するための図であり、心臓の左心室ＬＶの断面を示す図である。図７Ａに示すように、制御部１６は、情報入力部１１を介して入力された第１断層画像を読み出し、第１断層画像に基づいて心臓の低運動部位Ｐを推定する（ステップＳ１１：低運動部位推定工程）。具体的には、情報入力部１１は、所定時間ごとに撮像された複数の第１断層画像の入力を受け付ける。そして、制御部１６は、複数の第１断層画像の時間変化に基づいて低運動部位Ｐを推定する。更に詳細には、制御部１６は、まず、第１断層画像中で輝度が所定値以上である複数の点を特徴点として抽出する。制御部１６は、心筋が最も拡張した拡張期と、最も収縮した収縮期とを含む異なる時刻に撮像された複数の第１断層画像について、それぞれ複数の特徴点を抽出する。制御部１６は、ある任意の特徴点と、隣接する他の特徴点との距離を、拡張期の第１断層画像および収縮期の第１断層画像でそれぞれ測定した変化率を算出する。制御部１６は、変化率が所定の閾値以下である領域に対応する心臓の部位を低運動部位Ｐであると推定する。変化率の所定の閾値は、例えば１２％であるが、設定によって適宜変更することが可能であってよい。
　図７Ｂに示すように、制御部１６は、情報入力部１１を介して入力された第２断層画像を読み出し、第２断層画像に基づいて心臓の梗塞部位Ｑを推定する（ステップＳ１２：梗塞部位推定工程）。梗塞部位Ｑは、心筋が虚血状態になり壊死した部位である。梗塞部位Ｑは、上述の変化率が所定の閾値以下であり、低運動部位Ｐに含まれる。具体的に、制御部１６は、第２断層画像が遅延造影像を含む場合、第２断層画像の遅延造影像に基づいて梗塞部位Ｑを推定する。詳細には、制御部１６は、遅延造影像が写り込んだ部位を梗塞部位Ｑであると推定する。制御部１６は、第２断層画像が放射性同位元素分布画像である場合、放射性同位元素の分布に基づいて梗塞部位Ｑを推定する。詳細には、制御部１６は、放射性同位元素が集積していない集積欠損部位を梗塞部位Ｑであると推定する。制御部１６は、梗塞部位推定工程（ステップＳ１２）を、上述の低運動部位推定工程（ステップＳ１１）よりも先に実行してもよい。
　図７Ｃに示すように、制御部１６は、低運動部位推定工程（ステップＳ１１）で推定した低運動部位Ｐのうち、梗塞部位推定工程（ステップＳ１２）で推定した梗塞部位Ｑ以外の部位を、目標部位Ｒとして特定する（ステップＳ１３：目標部位特定工程）。目標部位Ｒは、上述の変化率が所定の閾値以下であるが、壊死してはいない部位であり、冬眠心筋および気絶心筋である。制御部１６は、特定した目標部位Ｒを関心部位の一部として展開画像上にマッピングする。なお、制御部１６は、目標部位Ｒに加えて、関心部位の一部として梗塞部位Ｑを展開画像上にマッピングする（図３参照）。なお、関心部位として、梗塞部位Ｑ及び目標部位Ｒを区別することなく、異常部位Ｒ’である低運動部位Ｐを、展開画像上にマッピングしてもよい。目標部位Ｒは、冬眠心筋と気絶心筋とを含むが、互いに独立して存在する。冬眠心筋は慢性的な虚血状態である。気絶心筋は急性的な虚血状態である。気絶心筋は血流再開による過負荷により生じる。そのため、過負荷の状態を生じさせて、それを解消させることによって、気絶心筋の部位を特定することができる。それにより、気絶心筋と冬眠心筋とを選定することができる。
　心臓は拍動に伴って収縮と拡張とを繰り返す。そのため、低運動部位推定工程（ステップＳ１１）で用いる第１断層画像での心臓の伸縮状態、および、梗塞部位推定工程（ステップＳ１２）で用いる第２断層画像での心臓の伸縮状態は、同じまたは近い状態であることが好ましい。そこで、制御部１６は、第２断層画像での心臓の伸縮状態に対応する第１断層画像を、複数の第１断層画像から選択し、選択された第１断層画像を用いて目標部位Ｒを特定する。第１断層画像における心臓の伸縮状態は、第１断層画像から特徴点をパターン認識などで検出し、当該特徴点の位置情報に基づいて推定してもよい。同様に、第２断層画像における心臓の伸縮状態は、第２断層画像から特徴点をパターン認識などで検出し、当該特徴点の位置情報に基づいて推定してもよい。特徴点は、例えば心尖部ＡＰまたは大動脈弁ＡＶなどを含む。第１断層画像および第２断層画像における心臓の伸縮状態は、心拍入力部１２を介して入力された心臓の拍動情報に基づいて決定してもよい。詳細には、第１断層画像および第２断層画像には、撮像された時点での心臓の拍動情報が対応付けられており、第１断層画像および第２断層画像における心臓の伸縮状態は、それぞれ対応付けられた拍動情報によって決定される。
　上記のように、画像処理装置１０は、目標部位Ｒとして、治療効果の比較的高い冬眠心筋および気絶心筋を特定することができるので、治療効果の向上に寄与することができる。
　図８は、画像処理装置１０が行う浸透領域推定処理で推定される浸透領域Ｓの一例を示す模式図である。図８は、心臓の左心室ＬＶの心臓壁断面を示す図であり、異常部位Ｒ’内に位置する浸透領域Ｓの範囲を示している。制御部１６は、心臓の展開画像に含まれる異常部位Ｒ’の任意の注入点Ｔに被投与物が注入されると仮定した場合に、当該被投与物が浸透する浸透領域Ｓを推定する（浸透領域推定工程）。制御部１６は、推定した浸透領域Ｓを展開画像に重畳してもよい。本実施形態の浸透領域Ｓは、心臓の異常部位Ｒ’（図７Ａ参照）のうち上述の目標部位特定処理で特定された目標部位Ｒ（図７Ｃ参照）内に含まれる。被投与物は、例えば、細胞などの生体物質またはバイオマテリアルなどの物質である。浸透領域Ｓは、被投与物が注入されてから被投与物の効果が得られる時間内で所定時間経過した後の領域である。
　制御部１６は、例えば、三次元画像に基づいて心臓内の血管ＢＶの位置を推定し、血管ＢＶの位置に対する注入点Ｔの位置に基づいて浸透領域Ｓを推定する。目標部位Ｒに注入される被投与物は、血管ＢＶの近くでは血流の影響により、血管ＢＶの方向に浸透しやすいと考えられる。従って、図８に示すように、制御部１６は、注入点Ｔが血管ＢＶに近いほど、浸透領域Ｓが血管ＢＶの方向に延在するように推定する。制御部１６は、例えば、三次元構造情報に基づいて梗塞部位Ｑ（図７Ｂ参照）の位置を推定し、梗塞部位Ｑの位置に対する注入点Ｔの位置に基づいて、浸透領域Ｓを推定する。目標部位Ｒに注入される被投与物は、梗塞部位Ｑの近くでは例えば血流または拍動などの心臓の活動が低下しているため、梗塞部位Ｑの方向に浸透しにくいと考えられる。従って、図８に示すように、制御部１６は、注入点Ｔが梗塞部位Ｑに近いほど、浸透領域Ｓが梗塞部位Ｑの方向への延在が妨げられると推定する。
　制御部１６は、記憶部１５に記憶された被投与物の投与量および物性情報に基づいて、浸透領域Ｓを推定してもよい。詳細には、制御部１６は、被投与物の投与量が多いほど、浸透領域Ｓが大きくなると推定する。制御部１６は、制御部１６が算出した心臓壁の壁厚、又は、コンピュータ断層撮影装置等の装置から取得した心臓壁の壁厚、に基づいて、浸透領域Ｓを推定してもよい。詳細には、制御部１６は、注入点Ｔ付近の壁厚が薄いほど、浸透領域Ｓが心臓壁に沿って広くなると推定する。制御部１６は、記憶部１５に記憶された複数の三次元画像の時間変化に基づいて、浸透領域Ｓを推定してもよい。詳細には、制御部１６は、複数の三次元画像における特徴点の位置の時間変化を検出し、当該特徴点の位置の時間変化に基づいて、心臓壁の部位ごとの拍動などによる動きを推定する。そして、動きの大きい部位ほど、浸透領域Ｓが大きくなると推定する。逆に、ほとんど動かない梗塞部位Ｑでは浸透領域Ｓが小さくなると推定する。制御部１６は、記憶部１５に記憶された注入部材の形状情報に基づいて、浸透領域Ｓを推定してもよい。注入部材は、例えば針状の部材で構成され、周囲に被投与物を排出するための側孔が形成されている。注入部材の形状情報としては、例えば、注入部材の外形（直線形状、湾曲形状、らせん形状など）、径の大きさ、側孔の位置、側孔の大きさなどが挙げられる。
　上記のように、画像処理装置１０は、異常部位Ｒ’の任意の注入点Ｔに注入された被投与物が浸透する浸透領域Ｓを事前に推定することができるので、治療を行う前に治療のシミュレーションを行うことができる。
　図９は、画像処理装置１０が行う目標注入点決定処理の詳細を示すフローチャートである。図１０Ａ、１０Ｂは、画像処理装置１０が行う目標注入点決定処理で決定される目標注入点Ｕの一例を示す模式図である。図１０Ａ、１０Ｂは、心臓の左心室ＬＶを、大動脈弁ＡＶ（図７Ａ～図７Ｃ参照）から心尖部ＡＰ（図７Ａ～図７Ｃ参照）の方向に見た断面図である。制御部１６は、記憶部１５に記憶された展開画像を読み出して、表示部１４に表示させる（ステップＳ３１：展開画像表示工程）。制御部１６は、心臓の三次元構造情報に基づき、異常部位Ｒ’に被投与物を注入すべき複数の目標注入点Ｕの位置を決定する（ステップＳ３２：目標注入点決定工程）。制御部１６は、決定した複数の目標注入点Ｕを、展開画像に重畳して表示部１４に表示させる（ステップＳ３３：目標注入点表示工程）。目標注入点Ｕの位置は、心臓壁の内面から壁厚方向に沿う深さの情報を含む。換言すると、目標注入点Ｕは、心臓壁の内面からどの位置にどれくらいの深さで被投与物を注入すべきかを示す。目標注入点Ｕの位置は、例えば、上述の浸透領域推定処理で推定された浸透領域Ｓに基づいて決定される。詳細には、制御部１６は、複数の注入点Ｔについての浸透領域Ｓをそれぞれ推定し、推定された複数の浸透領域Ｓに基づいて、被投与物を注入すべき注入点Ｔを目標注入点Ｕに決定する。制御部１６は、例えば、他の複数の浸透領域Ｓに内包される浸透領域Ｓに対応する注入点Ｔを特定する。そして、特定された注入点Ｔ以外の注入点Ｔを、目標注入点Ｕに決定する。これにより、目標注入点Ｕに被投与物を注入することで、目標注入点Ｕに注入された被投与物による浸透領域Ｓが異常部位Ｒ’をより効率的に埋め尽くすことになる。なお、被投与物を注入する部位は、梗塞部位Ｑ（図７Ｂ参照）を含む異常部位Ｒ’全体である低運動部位Ｐ（図７Ａ参照）としてもよく、低運動部位Ｐから梗塞部位Ｑを除く目標部位Ｒ（図７Ｃ参照）のみとしてもよい。但し、上述したように、浸透領域Ｓの拡がりを考慮すれば、異常部位Ｒ’全体である低運動部位Ｐ（図７Ａ参照）の中で、梗塞部位Ｑよりも、目標部位Ｒ（図７Ｃ参照）を中心に目標注入点Ｕを決定することが好ましい。
　制御部１６は、複数の目標注入点Ｕの順番を決定する。制御部１６は、異常部位Ｒ’および目標注入点Ｕを含む展開画像を作成し、表示部１４に表示させる。そして、制御部１６は、決定された順番に基づく態様で複数の目標注入点Ｕを表示部１４に表示させる。制御部１６は、例えば、図１０Ａ、１０Ｂに示すように、決定された順番を目標注入点Ｕに併記させる。制御部１６は、例えば、次の順番の目標注入点Ｕのみを表示させる。制御部１６は、被投与物を注入する注入部材の先端部が複数の目標注入点Ｕを経由して移動する移動経路Ｖを推定し、移動経路Ｖに基づいて目標注入点Ｕの順番を決定する。制御部１６は、例えば、移動経路Ｖが最短となるように、目標注入点Ｕの順番を決定する。詳細には、制御部１６は、互いに最も近い目標注入点Ｕが順番となるように決定する。制御部１６は、推定した移動経路Ｖを展開画像に重畳して表示部１４に表示させてもよい。これにより、医療従事者などの操作者は、目標注入点Ｕの順番に従った最適な注入部材の動かし方を把握することができる。
　図１０Ａに示すように、制御部１６は、移動経路Ｖが心臓の左心室ＬＶ内で大動脈弁ＡＶ（図７Ａ～図７Ｃ参照）から心尖部ＡＰ（図７Ａ～図７Ｃ参照）に向かう長軸Ｏの周囲で螺旋を描くように、目標注入点Ｕの順番を決定してもよい。これにより、移動経路Ｖは、左心室ＬＶ内で、周方向Ｍに沿って手前の大動脈弁ＡＶ側から奥の心尖部ＡＰ側に向かって途中で引き返すことなく進む経路となるので、注入部材の操作を行いやすくすることができる。
　図１０Ｂに示すように、制御部１６は、移動経路Ｖが心臓の左心室ＬＶ内で大動脈弁ＡＶから心尖部ＡＰに向かう長軸Ｏに沿って往復するように、目標注入点Ｕの順番を決定してもよい。これにより、移動経路Ｖは、長軸Ｏに沿うため、左心室ＬＶ内に長軸Ｏに沿って位置する乳頭筋によって注入部材の移動が妨げられるおそれを低減することができ、僧帽弁に付随する腱索への引っ掛かりを低減することができる。
　図１１は、注入部材による治療の様子を示す図である。図１１では、カテーテル５０が大腿動脈ＦＡから大動脈ＡＯを通じて、心臓内腔の左心室ＬＶの入口である大動脈弁ＡＶまで延在した状態を示している。注入部材は、カテーテル５０を通じて左心室ＬＶまでデリバリーされる。なお、カテーテル５０は、大腿動脈ＦＡからに限らず、例えば手首の橈骨動脈などから大動脈弁ＡＶまで延在していてもよい。
　図１１に示すように、超音波画像生成装置２０は、被検者の体表面に位置し、第１断層画像を随時撮影し、画像処理装置１０に送信する。また、超音波画像生成装置２０は、注入部材の先端部の位置情報を随時取得し、画像処理装置１０に送信する。これにより、画像処理装置１０の制御部１６は、例えば注入部材の先端部の位置に追従した展開画像を表示部１４に表示させることができる。また、超音波画像生成装置２０は、体表面に限らず、食道、血管、心臓内腔（心房、心室）から撮影してもよい。ただし、超音波画像生成装置２０は、非侵襲な処置が行える点で、体表面から撮影することが好ましい。
　制御部１６は、複数の目標注入点Ｕのうち、注入部材による被投与物の注入処置が済んだ目標注入点Ｕを、未処置の目標注入点Ｕとは異なる態様で表示部１４の展開画像に表示させてもよい。制御部１６は、目標注入点Ｕが処置済であることを、例えば操作入力部１３を介して処置済であることを示す信号が入力されたことに基づいて決定する。制御部１６は、新たに入力された第１断層画像に基づいて、処置済の目標注入点Ｕを判別してもよい。
　上記のように、画像処理装置１０は、異常部位Ｒ’に被投与物を注入すべき複数の目標注入点Ｕの位置を決定することができるので、治療を行う前により具体的な治療のシミュレーションを行うことができる。また、画像処理装置１０は、処置を行うべき順番に基づく態様で目標注入点Ｕを表示するので、所定の順番での処置を操作者に誘導することができる。更に、異常部位Ｒ’の中で、治療効果の比較的高い冬眠心筋および気絶心筋で構成される目標部位Ｒを予め特定することで、目標注入点Ｕとして目標部位Ｒの位置を中心に決定することができ、治療効果を向上させることができる。
　なお、図４から図１１においては、心臓の三次元構造情報の取得と、被投与物の心臓の壁内への注入とを並行して行う例を説明したが、術中に、心臓の立体的な構造を表示、記憶することは必ずしも容易ではない。例えば、術中のＸ線透視では、心室内部の乳頭筋（肉柱）のような複雑な凹凸構造まで把握することは困難である。また、三次元超音波診断装置により心臓の三次元構造情報を取得することも考えられるが、上述したような複雑な凹凸構造まで正確に把握することは困難である。そこで、例えばコンピュータ断層撮影装置や磁気共鳴画像生成装置により、術前に心臓の三次元構造情報を取得し、その三次元構造情報に基づき展開画像を生成しておき、術中はその展開画像を表示部１４に表示しながら、治療部位の入力を医療従事者から受け付けるといった利用態様も考えられる。この利用態様において、術中の心臓内のモニタリングは、従来のＸ線透視画像により行うことができる。つまり、医療従事者は、表示部１４に表示される展開画像から、心臓内の異常部位Ｒ’の位置や大きさ、目標注入点Ｕの位置などの詳細情報を取得しつつ、従来のＸ線透視画像を確認しながら手技を実行することができる。そして、操作入力部１３（図１等参照）が、被投与物を注入した治療部位の入力を受け付けた場合に、制御部１６は、治療部位を反映させた展開画像を表示部１４に表示する。なお、術中の心臓内のモニタリングは、上述のＸ線透視画像に限らず、例えば、三次元超音波診断装置により行ってもよい。このように、画像処理装置１０が取得する三次元構造情報は、術中にリアルタイムに得られたものであってもよいし、術前に得られたものであってもよい。
　以上のとおり、このように本実施形態においては、画像処理装置１０は、心臓の立体構造を示す三次元構造情報の入力を受け付ける情報入力部１１と、三次元構造情報で示される心臓の房室の内壁を、正積図法に基づいて二次元画像に展開し、その二次元画像を内壁の前壁、後壁、左側壁および右側壁に分けて断裂した展開画像を生成する画像生成部としての制御部１６と、を備える。制御部１６は、立体構造を彩度および明度で表現する図法により、三次元構造情報に示される心臓の房室内の立体構造を展開画像上にマッピングする。
　心臓の房室の内壁を正積図法に基づき二次元画像に展開することで、関心部位のサイズ、内壁に占める割合などを正確に把握することができる。また、心臓の房室の前壁、後壁、左側壁および右側壁に分けて（分断して）展開するため、断裂後の展開画像上の各部と、房室の前壁、後壁、左側壁および右側壁それぞれとの関係を直感的に把握することができる。その結果、関心部位および治療部位の房室内での位置などを直感的に把握することができる。したがって、心臓の内壁の様子を直感的かつより正確に把握することができる。また、立体構造を彩度および明度で表現する図法により、三次元構造情報に示される心臓の房室内の立体構造を展開画像上にマッピングすることで、心臓の内壁の様子を直感的かつより正確に把握することができる。
　なお、実施形態では特に触れていないが、画像処理装置１０は、コンピュータとプログラムとによっても実現することができる。また、当該プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記録媒体であってもよい。また、当該プログラムは、ネットワークを通して提供することも可能である。
　本発明は、上述した各実施形態で特定された構成に限定されず、特許請求の範囲に記載した発明の要旨を逸脱しない範囲内で種々の変形が可能である。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部またはステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。
　１　　画像処理システム
　１０　　画像処理装置
　１１　　情報入力部
　１２　　心拍入力部
　１３　　操作入力部
　１４　　表示部
　１５　　記憶部
　１６　　制御部（画像生成部）
　２０　　超音波画像生成装置
　２１　　超音波発信部
　２２　　超音波受信部
　２３　　画像形成部
　３０　　放射線画像生成装置
　３１　　放射線射出部
　３２　　放射線検出部
　３３　　画像形成部
　４０　　心拍取得装置
　５０　　カテーテル
　ＡＯ　　大動脈
　ＡＰ　　心尖部
　ＡＶ　　大動脈弁
　ＢＶ　　血管
　ＦＡ　　大腿動脈
　ＬＶ　　左心室
　Ａ　　マーカー
　Ｂ　　心臓弁
　Ｃ　　冠動脈
　Ｄ　　乳頭筋
　Ｍ　　周方向
　Ｏ　　長軸
　Ｐ　　低運動部位
　Ｑ　　梗塞部位
　Ｒ　　目標部位
　Ｒ’　　異常部位
　Ｓ　　浸透領域
　Ｔ　　注入点
　Ｕ　　目標注入点
　Ｖ　　移動経路

Claims (13)

  1. 　心臓の立体構造を示す三次元構造情報の入力を受け付ける情報入力部と、
    　前記三次元構造情報で示される前記心臓の房室の内壁を、正積図法に基づいて二次元画像に展開し、該二次元画像を前記内壁の前壁、後壁、左側壁および右側壁に分けて断裂した展開画像を生成する画像生成部と、を備え、
    　前記画像生成部は、立体構造を彩度および明度で表現する図法により、前記三次元構造情報に示される心臓の房室内の立体構造を前記展開画像上にマッピングすることを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記画像生成部は、前記展開画像上で、乳頭筋に相当する立体構造のマッピングの有無を切り替え可能であることを特徴とする画像処理装置。
  3. 　請求項１または２に記載の画像処理装置において、
    　前記画像生成部は、前記展開画像上で、腱索に相当する立体構造のマッピングの有無を切り替え可能であることを特徴とする画像処理装置。
  4. 　請求項１から３のいずれか一項に記載の画像処理装置において、
    　前記情報入力部は、前記心臓の拡張期および収縮期を含む時系列的な三次元構造情報の入力を受け付け、
    　前記画像生成部は、前記時系列的な三次元構造情報に基づき、前記拡張期および前記収縮期それぞれについて前記展開画像を生成することを特徴とする画像処理装置。
  5. 　請求項４に記載の画像処理装置において、
    　前記画像生成部は、前記心臓における関心部位を前記展開画像上にマッピングし、前記拡張期の展開画像と前記収縮期の展開画像とに基づき、前記関心部位の位置を補正し、
    　前記関心部位は、前記心臓の梗塞部位であることを特徴とする画像処理装置。
  6. 　請求項１から５のいずれか一項に記載の画像処理装置において、
    　前記画像生成部は、前記三次元構造情報に基づき、前記内壁の壁厚を求め、該求めた壁厚を前記展開画像上にマッピングすることを特徴とする画像処理装置。
  7. 　請求項１から６のいずれか一項に記載の画像処理装置において、
    　前記情報入力部は、前記内壁の心電位を示す心電位情報の入力をさらに受け付け、
    　前記画像生成部は、前記心電位情報に基づき、前記内壁の心電位を前記展開画像上にマッピングすることを特徴とする画像処理装置。
  8. 　請求項１から６のいずれか一項に記載の画像処理装置において、
    　前記画像生成部は、前記三次元構造情報に基づき、前記内壁の壁運動の状態を取得し、該取得した壁運動の状態を前記展開画像上にマッピングすることを特徴とする画像処理装置。
  9. 　請求項８に記載の画像処理装置において、
    　前記情報入力部は、前記内壁の心電位を示す心電位情報の入力をさらに受け付け、
    　前記画像生成部は、前記内壁の壁運動の状態および前記内壁の心電位が所定の条件を満たす部位を特定し、該特定した部位を前記展開画像上にマッピングすることを特徴とする画像処理装置。
  10. 　請求項１から９のいずれか一項に記載の画像処理装置において、
    　操作入力を受け付ける操作入力部をさらに備え、
    　前記画像生成部は、前記生成した展開画像を表示部に表示し、前記操作入力部が前記表示部に表示された展開画像上の位置を指示する操作入力を受け付けると、該操作入力により指示された位置を示すマーカーを前記展開画像に重畳して表示することを特徴とする画像処理装置。
  11. 　請求項１から９のいずれか一項に記載の画像処理装置において、
    　操作入力を受け付ける操作入力部をさらに備え、
    　前記画像生成部は、前記生成した展開画像を表示部に表示し、前記三次元構造情報に基づき、前記内壁の壁厚を求め、前記操作入力部が前記表示部に表示された展開画像上の位置を指示する操作入力を受け付けると、該操作入力により指示された位置での壁厚を前記表示部に表示することを特徴とする画像処理装置。
  12. 　画像処理装置を用いて実行される画像処理方法であって、
    　心臓の立体構造を示す三次元構造情報の入力を受け付ける工程と、
    　前記三次元構造情報で示される前記心臓の房室の内壁を、正積図法に基づいて二次元画像に展開し、該二次元画像を前記内壁の前壁、後壁、左側壁および右側壁に分けて断裂した展開画像を生成する工程と、
    　立体構造を彩度および明度で表現する図法により、前記三次元構造情報に示される心臓の房室内の立体構造を前記展開画像上にマッピングする工程と、を含む画像処理方法。
  13. 　コンピュータを請求項１から１１のいずれか一項に記載の画像処理装置として機能させるプログラム。
PCT/JP2018/025380 2017-07-12 2018-07-04 画像処理装置、画像処理方法およびプログラム WO2019013070A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019529083A JP7079247B2 (ja) 2017-07-12 2018-07-04 画像処理装置、画像処理方法およびプログラム
US16/738,568 US10891710B2 (en) 2017-07-12 2020-01-09 Image processing device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017136540 2017-07-12
JP2017-136540 2017-07-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/738,568 Continuation US10891710B2 (en) 2017-07-12 2020-01-09 Image processing device, method, and program

Publications (1)

Publication Number Publication Date
WO2019013070A1 true WO2019013070A1 (ja) 2019-01-17

Family

ID=65002466

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/025380 WO2019013070A1 (ja) 2017-07-12 2018-07-04 画像処理装置、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US10891710B2 (ja)
JP (1) JP7079247B2 (ja)
WO (1) WO2019013070A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019013071A1 (ja) 2017-07-12 2019-01-17 テルモ株式会社 画像処理装置、画像処理方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005058535A (ja) * 2003-08-14 2005-03-10 Aloka Co Ltd 画像処理装置
JP2008167802A (ja) * 2007-01-09 2008-07-24 Toshiba Corp 心臓壁表示装置
JP2011123045A (ja) * 2009-11-12 2011-06-23 Nippon Medical School 画像表示装置および画像表示プログラム並びに画像診断装置
JP2015119768A (ja) * 2013-12-20 2015-07-02 株式会社東芝 画像処理装置、超音波診断装置及び画像処理プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160924A (en) * 1998-08-12 2000-12-12 Northrop Grumman Corporation Method for forming a map of a three-dimensional object
US20090177089A1 (en) * 2008-01-04 2009-07-09 Assaf Govari Three-dimensional image reconstruction using doppler ultrasound
US20170209059A1 (en) * 2014-04-23 2017-07-27 St. Jude Medical International Holding S.A.R.L. System and method for displaying cardiac mechanical activation patterns
TWI594206B (zh) * 2016-01-08 2017-08-01 Nat Yang-Ming Univ Cardiac medical imaging single chamber mapping system and method
US10896538B2 (en) * 2016-11-07 2021-01-19 Koninklijke Philips N.V. Systems and methods for simulated light source positioning in rendered images
WO2019013071A1 (ja) 2017-07-12 2019-01-17 テルモ株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005058535A (ja) * 2003-08-14 2005-03-10 Aloka Co Ltd 画像処理装置
JP2008167802A (ja) * 2007-01-09 2008-07-24 Toshiba Corp 心臓壁表示装置
JP2011123045A (ja) * 2009-11-12 2011-06-23 Nippon Medical School 画像表示装置および画像表示プログラム並びに画像診断装置
JP2015119768A (ja) * 2013-12-20 2015-07-02 株式会社東芝 画像処理装置、超音波診断装置及び画像処理プログラム

Also Published As

Publication number Publication date
US20200151850A1 (en) 2020-05-14
JP7079247B2 (ja) 2022-06-01
US10891710B2 (en) 2021-01-12
JPWO2019013070A1 (ja) 2020-05-07

Similar Documents

Publication Publication Date Title
US10646183B2 (en) Detection of scar and fibrous cardiac zones
US8428220B2 (en) Dynamical visualization of coronary vessels and myocardial perfusion information
US10163204B2 (en) Tracking-based 3D model enhancement
US8861830B2 (en) Method and system for detecting and analyzing heart mechanics
JP4524284B2 (ja) 外科手術を計画するための心臓撮像システム及び方法
JP5661240B2 (ja) ドップラー超音波法を用いる三次元画像の再構成
JP6174034B2 (ja) 心臓内モーションを用いる動的イメージングモダリティーからの局所的心機能および同期不全の評価方法
JP2006305359A (ja) 超音波輪郭再構築を用いた３次元心臓イメージングのためのソフトウエア製品
JP2006312037A (ja) 超音波を用いた電気解剖学的地図と事前取得イメージの重ね合わせ
JP2006305360A (ja) ２次元扇形超音波イメージの表示
JP2006305358A (ja) 超音波輪郭再構築を用いた３次元心臓イメージング
JP2006305357A (ja) 超音波データと事前取得イメージの重ね合わせ
JP2006305361A (ja) 超音波システム用のビーム方向を用いたカテーテル先端部の表示
JP2014509895A (ja) 血管インターベンションプロシージャにおいてインターベンション装置の正確な誘導を支援する画像表示を提供する画像診断システム及び方法
JP2017217474A (ja) 医用画像診断装置及び医用画像処理装置
US11628014B2 (en) Navigation platform for a medical device, particularly an intracardiac catheter
US10888302B2 (en) Image processing device, method, and program
US10891710B2 (en) Image processing device, method, and program
US10098604B2 (en) Medical image processing device, medical imaging device, medical image processing method and medical imaging method
JP7062004B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
WO2008121578A2 (en) Intervention applications of real time x-ray computed tomography
WO2018115200A1 (en) Navigation platform for a medical device, particularly an intracardiac catheter
WO2018212231A1 (ja) 画像処理装置、画像処理システム及び画像処理方法
JP7245226B2 (ja) 画像処理装置、画像処理方法、計算方法およびプログラム
CN116894865A (zh) 结果数据集的提供

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18831775

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019529083

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18831775

Country of ref document: EP

Kind code of ref document: A1