JP2017124035A - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP2017124035A
JP2017124035A JP2016005142A JP2016005142A JP2017124035A JP 2017124035 A JP2017124035 A JP 2017124035A JP 2016005142 A JP2016005142 A JP 2016005142A JP 2016005142 A JP2016005142 A JP 2016005142A JP 2017124035 A JP2017124035 A JP 2017124035A
Authority
JP
Japan
Prior art keywords
subject
light source
image
fluorescent
administered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016005142A
Other languages
Japanese (ja)
Other versions
JP6432533B2 (en
Inventor
石川 亮宏
Akihiro Ishikawa
亮宏 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2016005142A priority Critical patent/JP6432533B2/en
Publication of JP2017124035A publication Critical patent/JP2017124035A/en
Application granted granted Critical
Publication of JP6432533B2 publication Critical patent/JP6432533B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an imaging device capable of easily determining a timing at which a fluorescent dye is administered when a stored image is reproduced.SOLUTION: When indocyanine green is administered, a signal indicating that indocyanine green is administered to a subject is transmitted from an input part 66 to a control part 60 by an operator's operation of the input part 66. When the control part 60 receives the signal indicating that indocyanine green is administered to the subject, a light source control part 62 turns on a fluorescent light source 24, and turns off the fluorescent light source 24 after a lapse of a predetermined time.SELECTED DRAWING: Figure 7

Description

この発明は、被検者の体内に投与された蛍光色素に対して励起光を照射し、この蛍光色素から発生する蛍光を撮影するイメージング装置に関する。   The present invention relates to an imaging apparatus that irradiates a fluorescent dye administered into the body of a subject with excitation light and images fluorescence generated from the fluorescent dye.

近赤外蛍光イメージングと呼称される手法が、外科手術における血管造影に利用されている。この近赤外蛍光イメージングにおいては、蛍光色素であるインドシアニングリーン(ICG)をインジェクタ等により注入することで患部に投与する。そして、このインドシアニングリーンにその波長が600〜850nm(ナノメータ)程度の近赤外光を励起光として照射すると、インドシアニングリーンは750〜900nm程度の波長の近赤外蛍光を発する。この蛍光を、近赤外光を検出可能な撮像素子で撮影し、その画像を液晶表示パネル等の表示部に表示する。この近赤外蛍光イメージングによれば、体表から20mm程度までの深さに存在する血管やリンパ管等の観察が可能となる。   A technique called near-infrared fluorescence imaging is used for angiography in surgery. In this near-infrared fluorescence imaging, indocyanine green (ICG), which is a fluorescent dye, is injected into an affected area by injecting it with an injector or the like. When indocyanine green is irradiated with near infrared light having a wavelength of about 600 to 850 nm (nanometer) as excitation light, indocyanine green emits near infrared fluorescence having a wavelength of about 750 to 900 nm. This fluorescence is photographed by an imaging device capable of detecting near infrared light, and the image is displayed on a display unit such as a liquid crystal display panel. According to this near-infrared fluorescence imaging, it is possible to observe blood vessels, lymph vessels, and the like existing at a depth of about 20 mm from the body surface.

また、近年、腫瘍を蛍光標識して手術ナビゲーションに利用する手法が注目されている。腫瘍を蛍光標識するための蛍光標識剤としては、5−アミノレブリン酸(5−ALA/5−Aminolevulinic Acid)が使用される。この5−アミノレブリン酸(以下、これを略称するときは「5−ALA」という)を被検者に投与した場合、5−ALAは蛍光色素であるPpIX(protoporphyrinIX/プロトポルフィリンナイン)に代謝される。なお、このPpIXは癌細胞に特異的に蓄積する。そして、5−ALAの代謝物であるPpIXに向けて410nm程度の波長の可視光を照射すると、PpIXからおよそ630nm程度の波長の赤色の可視光が蛍光として発光される。このPpIXからの蛍光を観察することにより、癌細胞を確認することが可能となる。   In recent years, attention has been focused on a technique in which a tumor is fluorescently labeled and used for surgical navigation. As a fluorescent labeling agent for fluorescently labeling the tumor, 5-aminolevulinic acid (5-ALA / 5-Aminolevulinic Acid) is used. When this 5-aminolevulinic acid (hereinafter abbreviated as “5-ALA”) is administered to a subject, 5-ALA is metabolized to a fluorescent dye, PpIX (protoporphyrinIX / protoporphyrinine). . This PpIX accumulates specifically in cancer cells. When PpIX, which is a metabolite of 5-ALA, is irradiated with visible light having a wavelength of about 410 nm, red visible light having a wavelength of about 630 nm is emitted as fluorescence from PpIX. By observing the fluorescence from this PpIX, cancer cells can be confirmed.

特許文献1には、インドシアニングリーンが投与された生体の被検臓器に対して、インドシアニングリーンの励起光を照射して得られた近赤外蛍光の強度分布イメージと、インドシアニングリーン投与前の被検臓器に対して、X線、核磁気共鳴または超音波を作用させて得られた癌病巣分布イメージとを比較し、近赤外蛍光の強度分布イメージで検出されるが癌病巣分布イメージでは検出されない領域のデータを、癌の副病巣領域データとして収集するデータ収集方法が開示されている。   Patent Document 1 discloses an intensity distribution image of near-infrared fluorescence obtained by irradiating an indocyanine green excitation light to a living organ to which indocyanine green is administered, and before indocyanine green administration. Compared with the cancer lesion distribution image obtained by applying X-ray, nuclear magnetic resonance or ultrasound to the subject's organs, it is detected by the intensity distribution image of near-infrared fluorescence, but the cancer lesion distribution image Discloses a data collection method for collecting data of a region that is not detected as secondary lesion region data of cancer.

国際公開第2009/139466号International Publication No. 2009/139466

このような体内に侵入させた蛍光色素からの蛍光を撮影するイメージング装置では、被検者からの蛍光と、被検者の可視画像とを同時に動画として記憶し、ビデオレコーダで記録した撮影画像を動画再生する構成となっている。このように、従来のイメージング装置は、所定のフレームレートで撮影した画像を動画として録画・再生することで、明るい外部照明環境下での、ICG等の蛍光色素投与後の血管・リンパ管の走行の観察や癌病巣領域の確認ができるものである。   In such an imaging device that captures fluorescence from a fluorescent dye that has entered the body, the fluorescence from the subject and the visible image of the subject are simultaneously stored as a moving image, and the captured image recorded by the video recorder is stored. It is configured to play video. As described above, the conventional imaging apparatus records and reproduces an image captured at a predetermined frame rate as a moving image, so that a blood vessel / lymph vessel travels after administration of a fluorescent dye such as ICG in a bright external illumination environment. Observation and confirmation of cancer lesion area.

このような録画データは、参照用に使用し得るだけではなく、解析に利用することにより新しい知見を得ることができる。例えば、ROI(Region Of Interest:関心領域)の時間方向の信号変化曲線を描画するTIC(Time Intensity Curve)解析においては、ROIの画素値がピークとなるまでの時間を求めることにより、インドシアニングリーン等の蛍光色素の造影時間を定量的に評価することが可能となる。   Such recorded data can be used not only for reference but also for obtaining new knowledge by using it for analysis. For example, in TIC (Time Intensity Curve) analysis that draws a signal change curve in the time direction of ROI (Region Of Interest), indocyanine green is obtained by obtaining the time until the pixel value of ROI reaches a peak. It is possible to quantitatively evaluate the contrast time of a fluorescent dye such as.

ところで、このような動画を再生し、画像処理する場合において、従来はどのようなタイミングでインドシアニングリーン等の蛍光色素の投与が開始されたのかについては、目視による確認しかなされていなかった。このため、蛍光色素を投与する様子が撮影視野に含まれていなかった場合には、再生された動画のみでは投与のタイミングを判別することが不可能であった。   By the way, in the case of reproducing such a moving image and performing image processing, conventionally, only the visual confirmation has been made as to when the administration of a fluorescent dye such as indocyanine green has started. For this reason, when the state of administering the fluorescent dye is not included in the field of view, it is impossible to determine the timing of administration only with the reproduced moving image.

この発明は上記課題を解決するためになされたものであり、記憶された画像を再生したときに、蛍光色素が投与されるタイミングを容易に判別することが可能なイメージング装置を提供することを目的とする。   The present invention has been made to solve the above-described problem, and an object of the present invention is to provide an imaging apparatus capable of easily discriminating the timing at which a fluorescent dye is administered when a stored image is reproduced. And

請求項1に記載の発明は、被検者に投与された蛍光色素を励起させるための励起光を、前記被検者に向けて照射する励起用光源と、励起光が照射されることにより前記蛍光色素から発生した蛍光を撮影することにより、蛍光画像を取得する撮影部と、前記蛍光画像を動画として記憶する画像記憶部と、を備えたイメージング装置において、前記被検者に向けて、前記蛍光に相当する波長の光を照射する蛍光光源と、前記被検者に前記蛍光色素が投与されたことを表す信号を受信後、一定の時間だけ、前記蛍光光源を点灯させる光源制御部と、を備えたことを特徴とする。   According to the first aspect of the present invention, the excitation light for irradiating the subject with excitation light for exciting the fluorescent dye administered to the subject, and the excitation light irradiates the excitation light. In an imaging apparatus including an imaging unit that acquires a fluorescent image by imaging fluorescence generated from a fluorescent dye, and an image storage unit that stores the fluorescent image as a moving image, toward the subject, the A light source that irradiates light having a wavelength corresponding to fluorescence, and a light source controller that turns on the fluorescent light source for a certain period of time after receiving a signal indicating that the fluorescent dye has been administered to the subject; and It is provided with.

請求項2に記載の発明は、被検者に投与された蛍光色素を励起させるための励起光を、前記被検者に向けて照射する励起用光源と、前記被検者に向けて可視光を照射する可視光源と、励起光が照射されることにより前記蛍光色素から発生した蛍光と、前記被検者の表面で反射した可視光とを撮影することにより、蛍光画像と可視画像とを取得する撮影部と、前記蛍光画像および前記可視画像を動画として記憶する画像記憶部と、を備えたイメージング装置において、前記被検者に前記蛍光色素が投与されたことを表す信号を受信後、一定の時間だけ、前記可視光源の照射強度を変化させる光源制御部を備えたことを特徴とする。   According to a second aspect of the present invention, there is provided an excitation light source that irradiates the subject with excitation light for exciting the fluorescent dye administered to the subject, and visible light toward the subject. A fluorescent image and a visible image are obtained by photographing a visible light source that irradiates the fluorescent light, fluorescence generated from the fluorescent dye when irradiated with excitation light, and visible light reflected on the surface of the subject. In an imaging device comprising: an imaging unit that performs imaging, and an image storage unit that stores the fluorescent image and the visible image as a moving image, after receiving a signal indicating that the fluorescent dye has been administered to the subject, And a light source control unit that changes the irradiation intensity of the visible light source only for the period of time.

請求項3に記載の発明は、請求項1または請求項2に記載の発明において、前記被検者に前記蛍光色素が投与されたことを表す信号をオペレータの操作により送信する入力部を備える。   According to a third aspect of the present invention, there is provided the input unit according to the first or second aspect of the present invention, wherein the input unit transmits a signal indicating that the fluorescent dye has been administered to the subject by an operator's operation.

請求項4に記載の発明は、請求項1または請求項2に記載の発明において、前記被検者に前記蛍光色素を注入するインジェクタから、前記被検者に前記蛍光色素が投与されたことを表す信号を受信する。   The invention according to claim 4 is the invention according to claim 1 or 2, wherein the fluorescent dye is administered to the subject from an injector that injects the fluorescent dye into the subject. Receive a signal that represents.

請求項1に記載の発明によれば、被検体に蛍光色素が投与された後、一定の時間だけ蛍光光源が点灯することから、蛍光画像を観察することで蛍光色素が投与されたことを認識することができる。このため、記憶された動画を再生する場合においても、蛍光色素の投与のタイミングを容易に認識することが可能となる。   According to the first aspect of the present invention, since the fluorescent light source is turned on for a predetermined time after the fluorescent dye is administered to the subject, it is recognized that the fluorescent dye is administered by observing the fluorescent image. can do. For this reason, even when the stored moving image is reproduced, the timing of administration of the fluorescent dye can be easily recognized.

請求項2に記載の発明によれば、被検体に蛍光色素が投与された後、一定の時間だけ可視光源の照射強度が変化することから、可視画像を観察することで蛍光色素が投与されたことを認識することができる。このため、記憶された動画を再生する場合においても、蛍光色素の投与のタイミングを容易に認識することが可能となる。   According to the invention described in claim 2, after the fluorescent dye is administered to the subject, the irradiation intensity of the visible light source changes for a certain period of time. Therefore, the fluorescent dye is administered by observing the visible image. I can recognize that. For this reason, even when the stored moving image is reproduced, the timing of administration of the fluorescent dye can be easily recognized.

請求項3に記載の発明によれば、オペレータの操作により、被検体に蛍光色素が投与されたことを表す信号を入力部から送信することが可能となる。   According to the third aspect of the present invention, a signal indicating that the fluorescent dye has been administered to the subject can be transmitted from the input unit by the operation of the operator.

請求項4に記載の発明によれば、被検者に蛍光色素を注入するインジェクタから、被検体に蛍光色素が投与されたことを表す信号を送信することが可能となる。   According to the fourth aspect of the present invention, it is possible to transmit a signal indicating that the fluorescent dye has been administered to the subject from the injector that injects the fluorescent dye into the subject.

この発明に係るイメージング装置の斜視図である。1 is a perspective view of an imaging apparatus according to the present invention. この発明に係るイメージング装置の側面図である。1 is a side view of an imaging apparatus according to the present invention. この発明に係るイメージング装置の平面図である。1 is a plan view of an imaging apparatus according to the present invention. 照明・撮影部12の斜視図である。2 is a perspective view of an illumination / photographing unit 12. FIG. 照明・撮影部12の正面概要図である。FIG. 3 is a schematic front view of the illumination / photographing unit 12. 照明・撮影部12におけるカメラ21の概要図である。2 is a schematic diagram of a camera 21 in an illumination / photographing unit 12. この発明に係るイメージング装置の主要な制御系を示すブロック図である。It is a block diagram which shows the main control systems of the imaging device which concerns on this invention. モニター15に表示される動画の表示態様の一例を示す模式図である。4 is a schematic diagram illustrating an example of a display mode of a moving image displayed on a monitor 15. FIG. モニター15に表示されるTICを示すグラフである。4 is a graph showing TIC displayed on a monitor 15. モニター15に表示されるTICを示すグラフである。4 is a graph showing TIC displayed on a monitor 15.

以下、この発明の実施の形態を図面に基づいて説明する。図1は、この発明に係るイメージング装置の斜視図である。図2は、この発明に係るイメージング装置の側面図である。図3は、この発明に係るイメージング装置の平面図である。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a perspective view of an imaging apparatus according to the present invention. FIG. 2 is a side view of the imaging apparatus according to the present invention. FIG. 3 is a plan view of the imaging apparatus according to the present invention.

この発明に係るイメージング装置は、被検者の体内に注入された蛍光色素としてのインドシアニングリーンに対し励起光を照射し、このインドシアニングリーンから放射される蛍光を撮影するためのものであり、4個の車輪13を備えた台車11と、この台車11の上面における台車11の進行方向の前方(図2および図3における左方向)付近に配設されたアーム機構30と、このアーム機構30にサブアーム41を介して配設された照明・撮影部12と、モニター15とを備える。台車11の進行方向の後方には、台車11を移動するときに使用されるハンドル14が付設されている。また、台車11の上面には、このイメージング装置を遠隔操作するためのリモコンを装着するための凹部16が形成されている。   The imaging apparatus according to the present invention is for irradiating excitation light to indocyanine green as a fluorescent dye injected into the body of a subject and photographing fluorescence emitted from this indocyanine green, A carriage 11 having four wheels 13, an arm mechanism 30 disposed near the front of the carriage 11 in the traveling direction on the upper surface of the carriage 11 (left direction in FIGS. 2 and 3), and the arm mechanism 30 Are provided with an illumination / photographing unit 12 and a monitor 15 arranged via a sub arm 41. A handle 14 used when moving the carriage 11 is attached to the rear of the carriage 11 in the traveling direction. A recess 16 for mounting a remote control for remotely operating the imaging apparatus is formed on the top surface of the carriage 11.

上述したアーム機構30は、台車11の進行方向の前方側に配設されている。このアーム機構30は、台車11の進行方向の前方側に立設された支柱36上に配設された支持部37に対して、ヒンジ部33により連結された第1アーム部材31を備える。この第1アーム部材31は、ヒンジ部33の作用により、支柱36および支持部37を介して、台車11に対して揺動可能となっている。なお、上述したモニター15は、支柱36に付設されている。   The arm mechanism 30 described above is disposed on the front side in the traveling direction of the carriage 11. The arm mechanism 30 includes a first arm member 31 connected to a support portion 37 disposed on a support column 36 erected on the front side in the traveling direction of the carriage 11 by a hinge portion 33. The first arm member 31 can swing with respect to the carriage 11 through the support column 36 and the support portion 37 by the action of the hinge portion 33. The monitor 15 described above is attached to the support column 36.

この第1アーム部材31の上端には、第2アーム部材32がヒンジ部34により連結されている。この第2アーム部材32は、ヒンジ部34の作用により、第1アーム部材31に対して揺動可能となっている。このため、第1アーム部材31と第2アーム部材32とは、図2において符合Cを付した仮想線で示すように、第1アーム部材31と第2アーム部材32とが第1アーム部材31と第2アーム部材32との連結部であるヒンジ部34を中心として所定の角度開いた撮影姿勢と、図1から図3において符合Aを付した実線で示すように、第1アーム部材31と第2アーム部材32とが近接する待機姿勢とをとることが可能となっている。   A second arm member 32 is connected to the upper end of the first arm member 31 by a hinge portion 34. The second arm member 32 can swing with respect to the first arm member 31 by the action of the hinge portion 34. For this reason, the first arm member 31 and the second arm member 32 are the first arm member 31 and the second arm member 32, as indicated by the phantom line with the reference C in FIG. 1 and 3 and a solid line marked with a reference A in FIG. 1 to FIG. 3, and a first arm member 31 It is possible to take a standby posture in which the second arm member 32 approaches.

第2アーム部材32の下端には、支持部43がヒンジ部35により連結されている。この支持部43は、ヒンジ部35の作用により、第2アーム部材32に対して揺動可能となっている。この支持部43には、回転軸42が支持されている。そして、照明・撮影部12を支持したサブアーム41は、第2アーム部材32の先端に配設された回転軸42を中心に回動する。このため、照明・撮影部12は、このサブアーム41の回動により、図1から図3において符合Aを付した実線で、あるいは、図2において符合Cを付した仮想線で示すように、撮影姿勢または待機姿勢をとるためのアーム機構30に対して台車11の進行方向の前方側の位置と、図2および図3において符合Bを付した仮想線で示すように、台車11を移動させる時の姿勢であるアーム機構30に対して台車11の進行方向の後方側の位置との間を移動する。   A support portion 43 is connected to the lower end of the second arm member 32 by a hinge portion 35. The support portion 43 can swing with respect to the second arm member 32 by the action of the hinge portion 35. A rotating shaft 42 is supported on the support portion 43. Then, the sub arm 41 that supports the illumination / photographing unit 12 rotates around the rotation shaft 42 disposed at the tip of the second arm member 32. For this reason, the illumination / photographing unit 12 shoots by rotating the sub arm 41 as shown by a solid line with a symbol A in FIGS. 1 to 3 or as a virtual line with a symbol C in FIG. When the carriage 11 is moved as shown by the position in front of the carriage 11 in the traveling direction with respect to the arm mechanism 30 for taking the attitude or the standby attitude, and the phantom line marked with the symbol B in FIGS. It moves between the position of the rear side in the advancing direction of the carriage 11 with respect to the arm mechanism 30 that is in the above posture.

図4は、上述した照明・撮影部12の斜視図である。また、図5は、照明・撮影部12の正面概要図である。   FIG. 4 is a perspective view of the illumination / imaging unit 12 described above. FIG. 5 is a schematic front view of the illumination / photographing unit 12.

この照明・撮影部12は、近赤外線および可視光を検出可能なカメラ21と、このカメラ21の外周部に配設された複数のLEDよりなる可視光源22と、この可視光源22の外周部に配設された複数のLEDよりなる励起用光源23と、可視光源22を構成する複数のLED内に配設された複数のLEDよりなる蛍光光源24とを備える。可視光源22は、可視光を照射する。励起用光源23は、インドシアニングリーンを励起させるための励起光であるその波長が760nmの近赤外光を照射する。また、蛍光光源24は、インドシアニングリーンから発生する蛍光の波長に相当するその波長が810nmの近赤外光を照射する。なお、図5においては、可視光源22を構成する多数のLEDと、励起用光源23を構成する多数のLEDのうちの、一部の図示を省略している。励起用光源23の波長は、760nmに限定されず、インドシアニングリーンを励起できる波長であればよい。蛍光光源24の波長は、810nmに限定されず、インドシアニングリーンが発する蛍光の波長に近く、後述する蛍光用撮像素子52で撮像可能なものであればよい。この明細書における蛍光に相当する波長とは、蛍光の波長に近似し、蛍光用撮像素子52により撮像可能な波長を意味する。   The illumination / photographing unit 12 includes a camera 21 capable of detecting near-infrared rays and visible light, a visible light source 22 including a plurality of LEDs disposed on the outer peripheral portion of the camera 21, and an outer peripheral portion of the visible light source 22. The light source 23 for excitation which consists of several LED arrange | positioned, and the fluorescence light source 24 which consists of several LED arrange | positioned in several LED which comprises the visible light source 22 are provided. The visible light source 22 emits visible light. The excitation light source 23 irradiates near infrared light having a wavelength of 760 nm, which is excitation light for exciting indocyanine green. The fluorescent light source 24 emits near-infrared light having a wavelength corresponding to 810 nm corresponding to the wavelength of fluorescence generated from indocyanine green. In FIG. 5, some of the many LEDs constituting the visible light source 22 and the many LEDs constituting the excitation light source 23 are not shown. The wavelength of the excitation light source 23 is not limited to 760 nm, and may be any wavelength that can excite indocyanine green. The wavelength of the fluorescent light source 24 is not limited to 810 nm, and may be any wavelength as long as it is close to the wavelength of fluorescence emitted by indocyanine green and can be imaged by the fluorescent imaging element 52 described later. The wavelength corresponding to fluorescence in this specification means a wavelength that approximates the wavelength of fluorescence and can be imaged by the fluorescence imaging element 52.

なお、この実施形態においては、カメラ21と、可視光源22と、励起用光源23と、蛍光光源24とを一体化した照明・撮影部12を使用しているが、カメラ21と、可視光源22と、励起用光源23と、蛍光光源24との一部、または全部を、個別に配設してもよい。   In this embodiment, the illumination / photographing unit 12 in which the camera 21, the visible light source 22, the excitation light source 23, and the fluorescent light source 24 are integrated is used. However, the camera 21 and the visible light source 22 are used. In addition, a part or all of the excitation light source 23 and the fluorescence light source 24 may be individually disposed.

図6は、照明・撮影部12におけるカメラ21の概要図である。   FIG. 6 is a schematic diagram of the camera 21 in the illumination / photographing unit 12.

このカメラ21は、焦点合わせのために往復移動する可動レンズ54と、波長選択フィルター53と、可視光用撮像素子51と、蛍光用撮像素子52とを備える。可視光用撮像素子51と蛍光用撮像素子52とは、CMOSやCCDから構成される。カメラ21に対して、その光軸Lに沿って同軸で入射した可視光および蛍光は、焦点合わせ機構を構成する可動レンズ54を通過した後、波長選択フィルター53に到達する。同軸状に入射した可視光および蛍光のうち、可視光は、波長選択フィルター53により反射され、可視光用撮像素子51に入射する。また、同軸状の可視光および蛍光のうち、蛍光は、波長選択フィルター53を通過して蛍光用撮像素子52に入射する。このとき、可動レンズ54を含む焦点合わせ機構の作用により、可視光は可視光用撮像素子51に対して焦点合わせされ、蛍光は蛍光用撮像素子52に対して焦点合わせされる。   The camera 21 includes a movable lens 54 that reciprocates for focusing, a wavelength selection filter 53, a visible light image sensor 51, and a fluorescence image sensor 52. The visible light image sensor 51 and the fluorescence image sensor 52 are composed of a CMOS or a CCD. Visible light and fluorescence incident on the camera 21 coaxially along the optical axis L pass through the movable lens 54 constituting the focusing mechanism, and then reach the wavelength selection filter 53. Of visible light and fluorescence incident coaxially, visible light is reflected by the wavelength selection filter 53 and enters the visible light image sensor 51. Of the coaxial visible light and fluorescence, the fluorescence passes through the wavelength selection filter 53 and enters the fluorescence imaging device 52. At this time, the visible light is focused on the visible light imaging element 51 and the fluorescence is focused on the fluorescent imaging element 52 by the action of the focusing mechanism including the movable lens 54.

図7は、この発明に係るイメージング装置の主要な制御系を示すブロック図である。   FIG. 7 is a block diagram showing a main control system of the imaging apparatus according to the present invention.

このイメージング装置は、論理演算を実行するCPU、装置の制御に必要な動作プログラムが格納されたROM、制御時にデータ等が一時的にストアされるRAM等から構成され、装置全体を制御する制御部60を備える。この制御部60は、蛍光画像と可視画像に対して各種の画像処理を実行する画像処理部61を備える。また、この制御部60は、可視光源22、励起用光源23および蛍光光源24の点灯および消灯と、その照射強度の制御とが可能な光源制御部62を備える。   This imaging apparatus is composed of a CPU that performs logical operations, a ROM that stores operation programs necessary for controlling the apparatus, a RAM that temporarily stores data during control, and the like, and a control unit that controls the entire apparatus 60. The control unit 60 includes an image processing unit 61 that executes various types of image processing on the fluorescent image and the visible image. The control unit 60 includes a light source control unit 62 that can turn on / off the visible light source 22, the excitation light source 23, and the fluorescent light source 24 and control the irradiation intensity thereof.

また、制御部60は、オペレータにより後述する被検者にインドシアニングリーンが投与されたことを含む各種の情報を入力する入力部66と接続されている。また、この制御部60は、上述したモニター15と接続されている。なお、入力部66は、このイメージング装置を遠隔操作するためのリモコンに配設されていてもよく、モニター15がタッチパネル式のものである場合にはこのモニター15の画面に配設されてもよく、台車11に配設されてもよい。   The control unit 60 is connected to an input unit 66 for inputting various types of information including that indocyanine green has been administered to a subject to be described later by an operator. The control unit 60 is connected to the monitor 15 described above. The input unit 66 may be disposed on a remote controller for remotely operating the imaging apparatus, or may be disposed on the screen of the monitor 15 when the monitor 15 is a touch panel type. It may be disposed on the carriage 11.

また、制御部60は、カメラ21、可視光源22、励起用光源23および蛍光光源24を備えた照明・撮影部12と接続されている。また、この制御部60は、カメラ21により撮影された画像を記憶する画像記憶部63とも接続されている。この画像記憶部63は、蛍光画像を記憶する蛍光画像記憶部64と、可視画像を記憶する可視画像記憶部65とから構成される。なお、蛍光画像記憶部64および可視画像記憶部65を備える代わりに、可視画像と蛍光画像とを合成(フュージョン)した画像を記憶する合成画像記憶部を備えていても良い。   The control unit 60 is connected to the illumination / photographing unit 12 including the camera 21, the visible light source 22, the excitation light source 23, and the fluorescent light source 24. The control unit 60 is also connected to an image storage unit 63 that stores images taken by the camera 21. The image storage unit 63 includes a fluorescent image storage unit 64 that stores a fluorescent image and a visible image storage unit 65 that stores a visible image. Instead of including the fluorescent image storage unit 64 and the visible image storage unit 65, a combined image storage unit that stores an image obtained by combining (merging) the visible image and the fluorescent image may be provided.

さらに、この制御部60は、被検者にインドシアニングリーンを注入するためのインジェクタ100とも接続されている。   Further, the control unit 60 is also connected to an injector 100 for injecting indocyanine green into the subject.

次に、以上のような構成を有するイメージング装置を使用して被検者に対する手術等を実行する場合の第1実施形態に係るイメージング動作について説明する。   Next, an imaging operation according to the first embodiment when performing an operation or the like on a subject using the imaging apparatus having the above configuration will be described.

被検者に対して手術等を実行するときには、オペレータはハンドル14を操作して台車11を移動させ、イメージング装置を、手術等を行う場所に移動させる。イメージング装置のセッティングが完了すれば、被検者の患部にむけて、可視光源22から可視光を照射するとともに、励起用光源23からインドシアニングリーンを励起させるための励起光であるその波長が760nmの近赤外光を照射する。そして、被検者の患部付近を、照明・撮影部12におけるカメラ21により撮影する。このときには、可視光と励起光とを同時に照射してもよく、また、可視光と励起光とを異なるタイミングでパルス状に照射するとともに、図6に示す可視光用撮像素子51および蛍光用撮像素子52により、可視光と励起光の照射タイミングに合わせて画像を取り込むようにしてもよい。   When performing surgery or the like on the subject, the operator operates the handle 14 to move the carriage 11 and moves the imaging apparatus to a place where surgery or the like is performed. When the setting of the imaging device is completed, the visible light source 22 emits visible light toward the affected area of the subject, and the wavelength, which is excitation light for exciting indocyanine green from the excitation light source 23, is 760 nm. Of near infrared light. Then, the vicinity of the affected part of the subject is imaged by the camera 21 in the illumination / imaging unit 12. At this time, the visible light and the excitation light may be irradiated simultaneously, and the visible light and the excitation light are irradiated in pulses at different timings, and the visible light imaging element 51 and the fluorescence imaging shown in FIG. An image may be captured by the element 52 in accordance with the irradiation timing of visible light and excitation light.

そして、図7に示すインジェクタ100により、被検者に対してインドシアニングリーンを注射により投与する。このときに、1つの実施形態においては、インドシアニングリーンが投与されたときに、オペレータが入力部66を操作することにより、被検者にインドシアニングリーンが投与されたことを表す信号を入力部66から制御部60に送信する。また、他の実施形態においては、被検者にインドシアニングリーンが投与されたことを表す信号が、インジェクタ100から制御部60に送信される。   Then, indocyanine green is administered to the subject by injection with the injector 100 shown in FIG. At this time, in one embodiment, when indocyanine green is administered, the operator operates the input unit 66 to send a signal indicating that indocyanine green has been administered to the subject. 66 to the control unit 60. In another embodiment, a signal indicating that indocyanine green has been administered to the subject is transmitted from the injector 100 to the control unit 60.

制御部60が、インドシアニングリーンが被検者に投与されたことを表す信号を受信したときには、図7に示す光源制御部62が、蛍光光源24を点灯させるとともに、一定の時間が経過した後に蛍光光源24を消灯させる。   When the control unit 60 receives a signal indicating that indocyanine green has been administered to the subject, the light source control unit 62 shown in FIG. 7 turns on the fluorescent light source 24 and after a certain period of time has elapsed. The fluorescent light source 24 is turned off.

被検者に照射された可視光の反射画像は、可視画像としてカメラ21における可視光用撮像素子51により撮影される。また、被検者の体内に投与されたインドシアニングリーンは、励起用光源23から励起光としての波長が760nmの近赤外光を照射されて、おおよそ810nmをピークとする赤外領域の蛍光を発生させる。この蛍光は、カメラ21における蛍光用撮像素子52により蛍光画像として撮影される。これらの可視画像および蛍光画像は、動画としてモニター15に表示されるとともに、画像記憶部63における蛍光画像記憶部64および可視画像記憶部65に動画として記憶される。なお、可視画像および蛍光画像は、表示用の非可逆圧縮形式の動画ファイル、および、TIC等の解析用の非可逆圧縮形式あるいは無圧縮形式の動画ファイルとして記憶される。   The reflected image of visible light irradiated to the subject is photographed by the visible light imaging element 51 in the camera 21 as a visible image. Indocyanine green administered into the body of the subject is irradiated with near-infrared light having a wavelength of 760 nm as excitation light from the excitation light source 23 and emits fluorescence in the infrared region having a peak at about 810 nm. generate. This fluorescence is photographed as a fluorescence image by the fluorescence imaging element 52 in the camera 21. These visible images and fluorescent images are displayed as moving images on the monitor 15 and are stored as moving images in the fluorescent image storage unit 64 and the visible image storage unit 65 in the image storage unit 63. The visible image and the fluorescent image are stored as an irreversible compressed moving image file for display and an irreversible compressed or uncompressed moving image file for analysis such as TIC.

図8は、モニター15に表示される動画の表示態様の一例を示す模式図である。   FIG. 8 is a schematic diagram illustrating an example of a display mode of a moving image displayed on the monitor 15.

モニター15には、可視画像と、蛍光画像と、これらの可視画像と蛍光画像とを合成した合成画像とが表示される。そして、合成画像の一部の領域には、ROIの時間方向の信号変化曲線(画素値の変化)を示すTICが表示される。これらの可視画像、蛍光画像、合成画像およびTICは、モニター15のみではなく、イメージング装置とは別に設置した大型の表示部にも表示される。   The monitor 15 displays a visible image, a fluorescent image, and a composite image obtained by combining the visible image and the fluorescent image. A TIC indicating a signal change curve (change in pixel value) in the ROI time direction is displayed in a partial area of the composite image. These visible image, fluorescent image, composite image, and TIC are displayed not only on the monitor 15 but also on a large display unit installed separately from the imaging apparatus.

図9および図10は、モニター15に表示されるTICを示すグラフである。これらの図において、縦軸はROIにおける蛍光画像の画素値を示し、横軸は時間を示している。また、符合Aと符合Bとは、ROIにおける互いに異なる部位の画素値の変化を示している。   FIG. 9 and FIG. 10 are graphs showing the TIC displayed on the monitor 15. In these figures, the vertical axis indicates the pixel value of the fluorescent image in the ROI, and the horizontal axis indicates time. Symbols A and B indicate changes in pixel values at different portions in the ROI.

TIC解析においては、ROIの画素値がピークとなるまでの時間を求めることにより、インドシアニングリーンの造影時間を定量的に評価することが可能となる。蛍光画像記憶部64に記憶された蛍光画像を解析してTICを表示する場合、図9に示すように、ROIの時間方向の信号変化曲線が表示される。この場合においては、従来、どのようなタイミングでインドシアニングリーンの投与が開始されたのかについて認識することは不可能であった。   In the TIC analysis, it is possible to quantitatively evaluate the contrast time of indocyanine green by obtaining the time until the ROI pixel value reaches a peak. When the TIC is displayed by analyzing the fluorescence image stored in the fluorescence image storage unit 64, a signal change curve in the ROI time direction is displayed as shown in FIG. In this case, conventionally, it was impossible to recognize at what timing the administration of indocyanine green was started.

これに対して、この発明に係るイメージング装置においては、制御部60が、インドシアニングリーンが被検者に投与されたことを表す信号を受信したときに、光源制御部62が、蛍光光源24を点灯させるとともに、一定の時間が経過した後に蛍光光源24を消灯させている。このため、図10に示すように、蛍光光源24が点灯している間は、蛍光画像の画素値が一時的に急激に上昇することから、インドシアニングリーンの投与のタイミングを容易に認識することが可能となる。このため、各部位において、インドシアニングリーンが投与されてからインドシアニングリーンから発生する蛍光がピークとなるまでの時間PA、PBを容易に認識することが可能となる。   In contrast, in the imaging apparatus according to the present invention, when the control unit 60 receives a signal indicating that indocyanine green has been administered to the subject, the light source control unit 62 causes the fluorescent light source 24 to be turned on. The fluorescent light source 24 is turned off after a certain time has elapsed. For this reason, as shown in FIG. 10, while the fluorescent light source 24 is lit, the pixel value of the fluorescent image temporarily rises rapidly, so that the timing of administration of indocyanine green can be easily recognized. Is possible. For this reason, at each site, it is possible to easily recognize the times PA and PB from when indocyanine green is administered to when the fluorescence generated from indocyanine green peaks.

次に、この発明の第2実施形態について説明する。   Next explained is the second embodiment of the invention.

上述した第1実施形態に係るイメージング装置において、光源制御部62は、被検者にインドシアニングリーンが投与されたことを表す信号を受信後、一定の時間だけ、蛍光光源24を点灯させる構成を採用している。これに対して、この第2実施形態に係るイメージング装置においては、被検者にインドシアニングリーンが投与されたことを表す信号を受信後、一定の時間だけ、可視光源22からの可視光の照射強度を変化させる構成を採用している。   In the imaging apparatus according to the first embodiment described above, the light source control unit 62 is configured to turn on the fluorescent light source 24 for a certain time after receiving a signal indicating that indocyanine green has been administered to the subject. Adopted. In contrast, in the imaging apparatus according to the second embodiment, visible light irradiation from the visible light source 22 is performed for a certain period of time after receiving a signal indicating that indocyanine green has been administered to the subject. A configuration that changes the strength is adopted.

すなわち、この第2実施形態においては、制御部60が、インドシアニングリーンが被検者に投与されたことを表す信号を受信したときには、図7に示す光源制御部62が、可視光源22からの可視光の照射強度を高くするとともに、一定の時間が経過した後に、その照射強度を元の強度に復帰させる。これにより、図8に示すモニター15における可視画像の表示部に表示される可視画像が一時的に明るく表示されることになる。これを認識することにより、インドシアニングリーンの投与のタイミングを容易に認識することが可能となる。   That is, in the second embodiment, when the control unit 60 receives a signal indicating that indocyanine green has been administered to the subject, the light source control unit 62 shown in FIG. The irradiation intensity of visible light is increased, and the irradiation intensity is returned to the original intensity after a certain time has elapsed. Thereby, the visible image displayed on the display unit of the visible image in the monitor 15 shown in FIG. 8 is temporarily displayed brightly. By recognizing this, it becomes possible to easily recognize the timing of administration of indocyanine green.

なお、この第2実施形態においても、可視画像について図10に示すようなTICを求めることにより、インドシアニングリーンの投与のタイミングを認識するようにしてもよい。また、インドシアニングリーンが被検者に投与されたことを表す信号を受信したときには、光源制御部62が可視光源22からの可視光の照射強度を高くするかわりに、照射強度を低くするようにしてもよい。   In the second embodiment, the timing of indocyanine green administration may be recognized by obtaining a TIC as shown in FIG. 10 for the visible image. In addition, when receiving a signal indicating that indocyanine green has been administered to the subject, the light source control unit 62 reduces the irradiation intensity instead of increasing the irradiation intensity of the visible light from the visible light source 22. May be.

なお、上述した実施形態においては、蛍光色素を含む材料としてインドシアニングリーンを使用し、このインドシアニングリーンに対して600nm〜850nm程度の近赤外光を励起光として照射することにより、インドシアニングリーンからおおよそ810nmをピークとする近赤外領域の蛍光を発光させる場合について説明したが、近赤外線以外の光を使用してもよい。   In the above-described embodiment, indocyanine green is used as a material containing a fluorescent dye, and the indocyanine green is irradiated with near-infrared light of about 600 nm to 850 nm as excitation light. The case of emitting fluorescence in the near-infrared region having a peak at approximately 810 nm from the above has been described, but light other than near-infrared light may be used.

また、蛍光色素として、インドシアニングリーンを使用するかわりに、上述した5−ALA等の、その他の蛍光色素を使用してもよい。   Further, instead of using indocyanine green as the fluorescent dye, other fluorescent dyes such as the above-mentioned 5-ALA may be used.

11 台車
12 照明・撮影部
15 モニター
21 カメラ
22 可視光源
23 励起用光源
24 蛍光光源
30 アーム機構
51 可視光用撮像措置
52 蛍光用撮像措置
60 制御部
61 画像処理部
52 光源制御部
63 画像記憶部
64 蛍光画像記憶部
65 可視画像記憶部
66 入力部
100 インジェクタ
DESCRIPTION OF SYMBOLS 11 Carriage 12 Illumination and imaging | photography part 15 Monitor 21 Camera 22 Visible light source 23 Excitation light source 24 Fluorescent light source 30 Arm mechanism 51 Imaging means for visible light 52 Imaging means for fluorescence 60 Control part 61 Image processing part 52 Light source control part 63 Image storage part 64 Fluorescent image storage unit 65 Visible image storage unit 66 Input unit 100 Injector

Claims (4)

被検者に投与された蛍光色素を励起させるための励起光を、前記被検者に向けて照射する励起用光源と、
励起光が照射されることにより前記蛍光色素から発生した蛍光を撮影することにより、蛍光画像を取得する撮影部と、
前記蛍光画像を動画として記憶する画像記憶部と、
を備えたイメージング装置において、
前記被検者に向けて、前記蛍光に相当する波長の光を照射する蛍光光源と、
前記被検者に前記蛍光色素が投与されたことを表す信号を受信後、一定の時間だけ、前記蛍光光源を点灯させる光源制御部と、
を備えたことを特徴とするイメージング装置。
An excitation light source for irradiating the subject with excitation light for exciting the fluorescent dye administered to the subject;
An imaging unit that acquires a fluorescence image by imaging fluorescence generated from the fluorescent dye by being irradiated with excitation light; and
An image storage unit for storing the fluorescent image as a moving image;
In an imaging apparatus comprising:
A fluorescent light source for irradiating light of a wavelength corresponding to the fluorescence toward the subject;
A light source controller that turns on the fluorescent light source for a certain time after receiving a signal indicating that the fluorescent dye has been administered to the subject; and
An imaging apparatus comprising:
被検者に投与された蛍光色素を励起させるための励起光を、前記被検者に向けて照射する励起用光源と、
前記被検者に向けて可視光を照射する可視光源と、
励起光が照射されることにより前記蛍光色素から発生した蛍光と、前記被検者の表面で反射した可視光とを撮影することにより、蛍光画像と可視画像とを取得する撮影部と、
前記蛍光画像および前記可視画像を動画として記憶する画像記憶部と、
を備えたイメージング装置において、
前記被検者に前記蛍光色素が投与されたことを表す信号を受信後、一定の時間だけ、前記可視光源の照射強度を変化させる光源制御部を備えたことを特徴とするイメージング装置。
An excitation light source for irradiating the subject with excitation light for exciting the fluorescent dye administered to the subject;
A visible light source that emits visible light toward the subject; and
An imaging unit that acquires a fluorescence image and a visible image by imaging fluorescence generated from the fluorescent dye by irradiation of excitation light and visible light reflected on the surface of the subject,
An image storage unit for storing the fluorescent image and the visible image as a moving image;
In an imaging apparatus comprising:
An imaging apparatus, comprising: a light source control unit that changes an irradiation intensity of the visible light source for a predetermined time after receiving a signal indicating that the fluorescent dye has been administered to the subject.
請求項1または請求項2に記載のイメージング装置において、
前記被検者に前記蛍光色素が投与されたことを表す信号をオペレータの操作により送信する入力部を備えるイメージング装置。
The imaging apparatus according to claim 1 or 2,
An imaging apparatus comprising an input unit for transmitting a signal indicating that the fluorescent dye has been administered to the subject by an operator's operation.
請求項1または請求項2に記載のイメージング装置において、
前記被検者に前記蛍光色素を注入するインジェクタから、前記被検者に前記蛍光色素が投与されたことを表す信号を受信するイメージング装置。
The imaging apparatus according to claim 1 or 2,
An imaging apparatus that receives a signal indicating that the fluorescent dye has been administered to the subject from an injector that injects the fluorescent dye into the subject.
JP2016005142A 2016-01-14 2016-01-14 Imaging device Active JP6432533B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016005142A JP6432533B2 (en) 2016-01-14 2016-01-14 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016005142A JP6432533B2 (en) 2016-01-14 2016-01-14 Imaging device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018209685A Division JP2019048111A (en) 2018-11-07 2018-11-07 Imaging method

Publications (2)

Publication Number Publication Date
JP2017124035A true JP2017124035A (en) 2017-07-20
JP6432533B2 JP6432533B2 (en) 2018-12-05

Family

ID=59363540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016005142A Active JP6432533B2 (en) 2016-01-14 2016-01-14 Imaging device

Country Status (1)

Country Link
JP (1) JP6432533B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11246488B2 (en) * 2018-11-27 2022-02-15 Shimadzu Corporation Medical imaging device
CN114286709A (en) * 2019-08-27 2022-04-05 株式会社岛津制作所 Treatment support device and treatment light control method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0280036A (en) * 1988-09-14 1990-03-20 Sumitomo Electric Ind Ltd Hepatic function inspection device
JP2005111165A (en) * 2003-10-10 2005-04-28 Hamamatsu Photonics Kk Instrument and method for measuring scattering absorbing medium
JP2012050633A (en) * 2010-08-31 2012-03-15 Fujifilm Corp Image pickup device
US20140276034A1 (en) * 2013-03-15 2014-09-18 Cardiox Corporation Apparatus Detection of Circulatory Anomalies
WO2015030424A1 (en) * 2013-08-28 2015-03-05 주식회사 뷰웍스 Biological tissue diagnosis apparatus and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0280036A (en) * 1988-09-14 1990-03-20 Sumitomo Electric Ind Ltd Hepatic function inspection device
JP2005111165A (en) * 2003-10-10 2005-04-28 Hamamatsu Photonics Kk Instrument and method for measuring scattering absorbing medium
JP2012050633A (en) * 2010-08-31 2012-03-15 Fujifilm Corp Image pickup device
US20140276034A1 (en) * 2013-03-15 2014-09-18 Cardiox Corporation Apparatus Detection of Circulatory Anomalies
WO2015030424A1 (en) * 2013-08-28 2015-03-05 주식회사 뷰웍스 Biological tissue diagnosis apparatus and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11246488B2 (en) * 2018-11-27 2022-02-15 Shimadzu Corporation Medical imaging device
CN114286709A (en) * 2019-08-27 2022-04-05 株式会社岛津制作所 Treatment support device and treatment light control method

Also Published As

Publication number Publication date
JP6432533B2 (en) 2018-12-05

Similar Documents

Publication Publication Date Title
US20140187931A1 (en) System for Detecting Fluorescence and Projecting a Representative Image
JP6319448B2 (en) Imaging device
US20210183150A1 (en) Methods and systems for alignment of a subject for medical imaging
JP6299770B2 (en) Infrared imaging device
CN110177505B (en) Fluorescence imaging apparatus and fluorescence imaging system
JP6485275B2 (en) Imaging device
JP6432533B2 (en) Imaging device
US20190239749A1 (en) Imaging apparatus
JP2019048111A (en) Imaging method
JP6547908B2 (en) Imaging device
JP2009257967A (en) Fluorescence observation apparatus and fluorescence observation method
JP7435272B2 (en) Treatment support device and method of operating the treatment support device
US11116454B2 (en) Imaging device and method
JP6747576B2 (en) Imaging equipment
JP2018061708A (en) Imaging device
JP2019066398A (en) Imaging device
US20200022580A1 (en) Imaging device
JP6569539B2 (en) Imaging device
JP6613903B2 (en) Imaging device
JP7576906B2 (en) Imaging device and method of operating an imaging device - Patents.com
JP6485284B2 (en) Imaging device
JP7200755B2 (en) IMAGING DEVICE AND METHOD OF OPERATION OF IMAGING DEVICE
US11419500B2 (en) Imaging apparatus
WO2016039002A1 (en) Imaging device and imaging method
US20230075943A1 (en) Imaging apparatus and imaging method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181022

R151 Written notification of patent or utility model registration

Ref document number: 6432533

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151