JP2023120845A - Capillary imaging system, server device for capillary imaging system and capillary imaging program - Google Patents
Capillary imaging system, server device for capillary imaging system and capillary imaging program Download PDFInfo
- Publication number
- JP2023120845A JP2023120845A JP2022023939A JP2022023939A JP2023120845A JP 2023120845 A JP2023120845 A JP 2023120845A JP 2022023939 A JP2022023939 A JP 2022023939A JP 2022023939 A JP2022023939 A JP 2022023939A JP 2023120845 A JP2023120845 A JP 2023120845A
- Authority
- JP
- Japan
- Prior art keywords
- focus
- image
- evaluation value
- images
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 117
- 238000011156 evaluation Methods 0.000 claims abstract description 268
- 230000036541 health Effects 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 10
- 230000002349 favourable effect Effects 0.000 claims 2
- 238000012545 processing Methods 0.000 description 28
- 238000004891 communication Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 241000282412 Homo Species 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Microscoopes, Condenser (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本発明は、毛細血管を撮像する毛細血管撮像システム、毛細血管撮像システム用サーバ装置、及び毛細血管撮像プログラムに関する。 The present invention relates to a capillary imaging system for imaging capillaries, a server device for the capillary imaging system, and a capillary imaging program.
人体の毛細血管は、一般に、生活環境や外的要因により変化する。そのため、指先等の皮下毛細血管や眼底等の毛細血管の状態を観察、あるいは毛細血管画像を画像処理して数値化等による分析を行う事により、被験者の健康状態等を把握する事が出来る。毛細血管は極めて微小(太さ十数μm、長さ百数十μm、等)であり、肉眼では見る事はできないが、光学顕微鏡、又はデジタル型顕微鏡を用いて、これを観察する事ができる。 The capillaries of the human body generally change according to the living environment and external factors. Therefore, by observing the state of subcutaneous capillaries such as fingertips and capillaries such as the fundus, or by performing image processing of capillary blood vessels and performing analysis such as quantification, it is possible to grasp the health condition of the subject. Capillaries are extremely small (ten and several μm in diameter, one hundred and several ten μm in length, etc.) and cannot be seen with the naked eye, but can be observed using an optical or digital microscope. .
そこで、指先の毛細血管を撮影した画像から健康状態を診断する指先血管観測装置が知られている(例えば、特許文献1参照。)。 Therefore, there is known a fingertip blood vessel observation device for diagnosing a health condition from an image of capillaries in a fingertip (see, for example, Japanese Unexamined Patent Application Publication No. 2002-100003).
ところで、人や動物を含む生物の毛細血管を撮影する場合、撮影対象は生きているため、撮影対象の指等を完全に静止させることが困難である。そのため、撮影対象のわずかな動きを避けることができない。一方、顕微鏡は拡大倍率が高く、ピントが合う範囲が狭いため、撮影対象がわずかに動いただけでピンボケになってしまう。ピンボケになった品質の低い画像に基づき健康状態を診断した場合、診断精度が低下する。 By the way, when photographing the capillaries of living organisms including humans and animals, it is difficult to keep the finger or the like of the photographed object completely still because the photographed object is alive. Therefore, it is impossible to avoid slight movements of the object to be photographed. On the other hand, microscopes have a high magnification and a narrow focus range, so even the slightest movement of the subject can cause it to be out of focus. If a health condition is diagnosed based on an out-of-focus, low-quality image, the accuracy of the diagnosis decreases.
本発明の目的は、合焦の程度が良好な毛細血管の画像を得ることが容易な毛細血管撮像システム、毛細血管撮像システム用サーバ装置、及び毛細血管撮像プログラムを提供することである。 An object of the present invention is to provide a capillary vessel imaging system, a server device for the capillary vessel imaging system, and a capillary vessel imaging program, which facilitate obtaining a well-focused capillary image.
本発明に係る毛細血管撮像システムは、生物の毛細血管の画像を複数撮像する撮像部から、前記複数の画像を取得する画像取得部と、前記複数の画像について、合焦の程度を数値化して示す合焦評価値をそれぞれ算出する合焦評価値算出部と、前記合焦の程度が良好か否かを判定するための判定閾値と前記各合焦評価値とを比較することによって、前記複数の画像のうち、合焦の程度が良好な画像を合焦画像として選択する合焦画像選択部とを備える。 A capillary vessel imaging system according to the present invention includes an image acquisition unit that acquires a plurality of images of capillaries of a living organism from an imaging unit that acquires the plurality of images, and a degree of focus of the plurality of images that is digitized. and a focus evaluation value calculating unit for calculating each of the focus evaluation values shown in the above-mentioned plurality of focus evaluation values. and a focused image selection unit that selects an image with a good degree of focus from the images of (1) as a focused image.
この構成によれば、生物の毛細血管を複数回撮像することにより得られた複数の画像のうち、合焦の程度が良好な画像を合焦画像として選択することができるので、生きている測定対象が動いた場合であっても、合焦の程度が良好な毛細血管の画像を得ることが容易となる。 According to this configuration, an image with a good degree of focus can be selected as the focused image from among the plurality of images obtained by imaging the capillaries of the organism a plurality of times. Even when the object moves, it becomes easy to obtain a well-focused capillary image.
また、前記合焦評価値算出部によって算出された複数の前記合焦評価値のうち最も良好な合焦を示す合焦評価値を、前記判定閾値として設定する判定閾値設定処理を実行する判定閾値設定部をさらに備え、前記合焦画像選択部は、前記判定閾値設定処理の後、前記画像取得部によって新たに取得された複数の画像のうちから、前記合焦の程度が良好な画像を前記合焦画像として選択することが好ましい。 Further, a determination threshold for executing a determination threshold setting process of setting, as the determination threshold, a focus evaluation value indicating the best focus among the plurality of focus evaluation values calculated by the focus evaluation value calculation unit. A setting unit is further provided, and the focused image selection unit selects an image with a good degree of focus from among a plurality of images newly acquired by the image acquisition unit after the determination threshold setting process. It is preferably selected as the in-focus image.
毛細血管の画像を診断に用いる場合、毛細血管の特徴的な形状を把握可能なある程度の広さの領域内で、全体的に良好な画質の毛細血管画像が求められる。そのため、合焦の程度をある程度の広さの領域内で全体的に判定する必要があるが、毛細血管の形状や本数等は、個人個人や個々の動物毎に異なる。そのため、判定閾値を固定的に設定すると、合焦の程度が良好か否かを適切に判定できない場合がある。そこで、撮像対象の個体について撮像された複数の画像から得られた複数の合焦評価値のうち最も良好な合焦を示す合焦評価値を、判定閾値として設定し、その後に同一の個体から撮像された複数の画像から、その個体に対して設定された判定閾値に基づいて合焦画像を選択することによって、合焦の程度が良好な画像を合焦画像として選択する精度が向上する。 When an image of capillaries is used for diagnosis, an image of capillaries with good image quality as a whole is required within a region of a certain extent in which the characteristic shape of the capillaries can be grasped. Therefore, it is necessary to determine the degree of focusing as a whole within a region of a certain extent, but the shape and number of capillaries differ from person to person and from animal to animal. Therefore, if the determination threshold is fixed, it may not be possible to appropriately determine whether or not the degree of focusing is satisfactory. Therefore, a focus evaluation value indicating the best focus among a plurality of focus evaluation values obtained from a plurality of images taken of an individual to be imaged is set as a determination threshold, and then from the same individual By selecting a focused image from a plurality of captured images based on a determination threshold value set for the individual, the accuracy of selecting a well-focused image as the focused image is improved.
また、前記合焦画像選択部は、前記判定閾値設定処理において前記最も良好な合焦を示す合焦評価値が得られた画像を、前記合焦画像としてさらに選択することが好ましい。 In addition, it is preferable that the focused image selection section further selects an image for which a focus evaluation value indicating the best focus is obtained in the determination threshold value setting process, as the focused image.
判定閾値設定処理において最も良好な合焦を示す合焦評価値が得られた画像は、合焦の程度が良好な画像であると考えられる。従って、この画像を合焦画像として追加することによって、合焦画像の数を増やすことができる。 An image for which a focus evaluation value indicating the best focus is obtained in the determination threshold setting process is considered to be an image with a good degree of focus. Therefore, by adding this image as a focused image, the number of focused images can be increased.
また、前記撮像部の撮像範囲のうち任意の領域範囲の指定を、評価対象領域として受け付ける評価対象領域受付部をさらに備え、前記合焦評価値算出部は、前記複数の画像における前記評価対象領域に対して、前記各合焦評価値を算出することが好ましい。 An evaluation target area reception unit that receives designation of an arbitrary area range in the imaging range of the imaging unit as an evaluation target area, and the focus evaluation value calculation unit receives the evaluation target area in the plurality of images. Preferably, each focus evaluation value is calculated for each of the above.
この構成によれば、ユーザが評価対象領域を設定することができるので、例えば毛細血管の先端部近傍等の、健康状態の評価のために重要な部分を評価対象領域として設定することによって、健康状態の評価のために重要な部分のピントが良好な画像を合焦画像として選択することが可能となる。 According to this configuration, the user can set the evaluation target area. Therefore, by setting a portion important for evaluating the health condition, such as the vicinity of the tip of the capillary, as the evaluation target area, it is possible to determine the health condition. It is possible to select an image in which an important portion is well-focused as a focused image for evaluating the state.
また、前記撮像部は、ユーザがピントを調節可能であり、前記撮像部による撮像期間中に、前記合焦評価値算出部によって算出された前記合焦評価値をリアルタイムで表示する合焦評価値表示部をさらに備えることが好ましい。 Further, the imaging unit can adjust the focus by a user, and a focus evaluation value that displays the focus evaluation value calculated by the focus evaluation value calculation unit in real time during an imaging period of the imaging unit. It is preferable to further include a display section.
この構成によれば、ユーザがピントを合わすべく調節する際に、リアルタイムで表示された合焦評価値を確認しながらピントを合わすことができるので、より良好なピント合わせ操作をすることが容易となる。 According to this configuration, when the user adjusts the focus, the user can focus while confirming the focus evaluation value displayed in real time, which facilitates a better focusing operation. Become.
また、前記撮像部は、ユーザがピントを調節可能であり、前記ユーザに対し、前記ピントの調節を促す操作案内を報知する操作案内報知部をさらに備え、前記撮像部は、前記操作案内が報知されている期間中に前記画像を繰り返し撮像することが好ましい。 Further, the imaging unit is capable of allowing a user to adjust the focus, and further includes an operation guidance notification unit that notifies the user of operation guidance prompting the user to adjust the focus. Preferably, the images are taken repeatedly during a period of time.
この構成によれば、操作案内に応じてユーザがピントを合わすべく調節している期間中に、複数の画像が撮像されるので、より合焦の程度が良好な画像が撮像される可能性が高まる。 According to this configuration, since a plurality of images are captured while the user is adjusting the focus according to the operation guidance, there is a possibility that an image with a better degree of focus will be captured. increase.
また、前記撮像部により撮像された画像をリアルタイムで表示する表示部をさらに備え、前記合焦評価値算出部は、前記撮像部により撮像された画像の各画素の合焦の程度をリアルタイムで判定し、前記合焦の程度が予め設定された基準レベルを超える画素である合焦画素を、前記表示部にハイライトで表示させることが好ましい。 A display unit for displaying an image captured by the imaging unit in real time is further provided, and the focus evaluation value calculation unit determines in real time the degree of focus of each pixel of the image captured by the imaging unit. In addition, it is preferable to cause the display section to highlight a focused pixel, which is a pixel whose degree of focus exceeds a preset reference level.
この構成によれば、ユーザが、ピントが合っている箇所を知ることができる。 According to this configuration, the user can know the in-focus point.
また、複数の前記合焦画像のうち一つを、前記各合焦画像の合焦評価値に基づき最良画像としてさらに選択する最良画像選択部をさらに備えることが好ましい。 Moreover, it is preferable to further include a best image selection unit that further selects one of the plurality of focused images as the best image based on the focus evaluation value of each of the focused images.
この構成によれば、複数の合焦画像のうちから、さらに合焦評価値に基づき最良画像が選択されるので、より合焦の程度が良好な画像を得ることが可能となる。 According to this configuration, the best image is selected from the plurality of in-focus images based on the in-focus evaluation value, so it is possible to obtain an image with a better degree of focus.
また、前記各合焦画像のブレの程度を表すブレ評価値を算出するブレ評価値算出部と、 a blur evaluation value calculation unit that calculates a blur evaluation value representing the degree of blur of each focused image;
前記複数の前記合焦画像のうち一つを、前記各合焦画像のブレ評価値に基づき最良画像としてさらに選択する最良画像選択部とをさらに備えることが好ましい。 It is preferable to further include a best image selection unit that further selects one of the plurality of focused images as the best image based on the blur evaluation value of each of the focused images.
この構成によれば、複数の合焦画像のうちから、さらにブレ評価値に基づき最良画像が選択されるので、よりブレの少ない良好な画像を得ることが可能となる。 According to this configuration, the best image is selected from among the plurality of in-focus images based on the blur evaluation value, so it is possible to obtain a good image with less blur.
また、前記各合焦画像における光源の映り込みの程度を表す映込評価値を算出する映込評価値算出部と、前記複数の前記合焦画像のうち一つを、前記各合焦画像の映込評価値に基づき最良画像としてさらに選択する最良画像選択部とをさらに備えることが好ましい。 a reflection evaluation value calculation unit for calculating a reflection evaluation value representing the degree of reflection of a light source in each of the focused images; It is preferable to further include a best image selection unit that further selects the image as the best image based on the projection evaluation value.
この構成によれば、複数の合焦画像のうちから、さらに映込評価値に基づき最良画像が選択されるので、より光源の映り込みの少ない良好な画像を得ることが可能となる。 According to this configuration, the best image is selected from among the plurality of in-focus images based on the reflection evaluation value, so it is possible to obtain a good image with less reflection of the light source.
また、複数の前記合焦画像のうち一つを、前記各合焦画像の合焦評価値、前記各合焦画像のブレの程度を表すブレ評価値、及び前記各合焦画像における光源の映り込みの程度を表す映込評価値のうち少なくとも一つに基づき最良画像として選択する最良画像選択部をさらに備えることが好ましい。 Also, one of the plurality of focused images may be selected from a focus evaluation value of each of the focused images, a blur evaluation value representing a degree of blurring of each of the focused images, and a reflection of a light source in each of the focused images. It is preferable to further include a best image selection unit that selects the best image based on at least one of the reflection evaluation values representing the degree of inclusion.
この構成によれば、複数の合焦画像のうちから、さらに合焦評価値、ブレ評価値、及び映込評価値のうち少なくとも一つに基づき最良画像が選択されるので、より良好な画像を得ることが可能となる。 According to this configuration, the best image is selected from among the plurality of in-focus images based on at least one of the focus evaluation value, the blur evaluation value, and the reflection evaluation value, so that a better image can be obtained. can be obtained.
また、前記合焦画像に基づいて、前記生物の健康状態を評価する健康状態評価部をさらに備えることが好ましい。 Moreover, it is preferable to further include a health condition evaluation unit that evaluates the health condition of the organism based on the focused image.
この構成によれば、合焦の程度が良好な毛細血管の画像に基づいて生物の健康状態を評価することができるので、健康状態の評価精度が向上する。 According to this configuration, the health condition of the organism can be evaluated based on the well-focused capillary image, so the health condition evaluation accuracy is improved.
また、前記最良画像に基づいて、前記生物の健康状態を評価する健康状態評価部をさらに備えることが好ましい。 Moreover, it is preferable to further include a health condition evaluation unit that evaluates the health condition of the organism based on the best image.
この構成によれば、合焦の程度がより良好な毛細血管の画像に基づいて生物の健康状態を評価することができるので、健康状態の評価精度が向上する。 According to this configuration, the health condition of the organism can be evaluated based on an image of capillaries with a better degree of focus, so the health condition evaluation accuracy is improved.
また、前記撮像部は、前記複数の画像を動画の各フレームとして撮像することが好ましい。 Moreover, it is preferable that the imaging unit captures the plurality of images as each frame of a moving image.
この構成によれば、生物の毛細血管を動画で撮像することによって、複数の画像を撮像することができる。 According to this configuration, a plurality of images can be captured by capturing moving images of the capillaries of the organism.
また、前記合焦評価値算出部は、前記撮像部によって前記画像が撮像される都度、前記合焦評価値を算出し、前記合焦画像選択部は、前記合焦評価値が算出される都度、前記画像の選択を実行することが好ましい。 Further, the focus evaluation value calculation unit calculates the focus evaluation value each time the image is captured by the imaging unit, and the focused image selection unit calculates the focus evaluation value each time the image is captured. , preferably performing said image selection.
この構成によれば、撮像部による複数の画像の撮像期間中に、リアルタイムに合焦画像の選択が行われるので、画像が撮像されてから合焦画像が選択されるまでの時間が短縮される。 According to this configuration, since the focused image is selected in real time while the imaging unit is capturing a plurality of images, the time from when the image is captured to when the focused image is selected is shortened. .
また、前記撮像部をさらに備えることが好ましい。 Moreover, it is preferable to further include the imaging unit.
この構成によれば、撮像部が毛細血管撮像システムに含まれる。 According to this configuration, the imaging unit is included in the capillary imaging system.
また、本発明に係る毛細血管撮像システム用サーバ装置は、生物の毛細血管の画像である複数の合焦画像の入力を受け付ける合焦画像受付部と、前記複数の合焦画像のうち一つを、前記各合焦画像の合焦の程度を数値化して示す合焦評価値、前記各合焦画像のブレの程度を表すブレ評価値、及び前記各合焦画像における光源の映り込みの程度を表す映込評価値のうち少なくとも一つに基づき最良画像として選択する最良画像選択部とを備える。 In addition, a server device for a capillary vessel imaging system according to the present invention includes a focused image reception unit that receives input of a plurality of focused images that are images of capillaries of a living organism, and one of the plurality of focused images. , a focus evaluation value indicating the degree of focus of each of the focused images in a numerical form, a blur evaluation value indicating the degree of blurring of each of the focused images, and a degree of reflection of the light source in each of the focused images; a best image selection unit that selects a best image based on at least one of the represented reflection evaluation values.
この構成によれば、複数の合焦画像のうちから、さらに合焦評価値、ブレ評価値、及び映込評価値のうち少なくとも一つに基づき最良画像が選択されるので、より良好な画像を得ることが可能となる。 According to this configuration, the best image is selected from among the plurality of in-focus images based on at least one of the focus evaluation value, the blur evaluation value, and the reflection evaluation value, so that a better image can be obtained. can be obtained.
また、本発明に係る毛細血管撮像プログラムは、コンピュータを、上述の毛細血管撮像システムとして機能させる。 Further, a capillary imaging program according to the present invention causes a computer to function as the capillary imaging system described above.
この毛細血管撮像プログラムによれば、コンピュータを、上述の毛細血管撮像システムとして機能させることができる。 According to this capillary imaging program, a computer can function as the capillary imaging system described above.
また、本発明に係る毛細血管撮像プログラムは、コンピュータを、上述の毛細血管撮像システム用サーバ装置として機能させる。 Further, a capillary imaging program according to the present invention causes a computer to function as the aforementioned server device for the capillary imaging system.
この毛細血管撮像プログラムによれば、コンピュータを、上述の毛細血管撮像システム用サーバ装置として機能させることができる。 According to this capillary imaging program, it is possible to cause a computer to function as the aforementioned server device for the capillary imaging system.
このような構成の毛細血管撮像システム、毛細血管撮像システム用サーバ装置、及び毛細血管撮像プログラムは、合焦の程度が良好な毛細血管の画像を得ることが容易となる。 With the capillary vessel imaging system, the server device for the capillary vessel imaging system, and the capillary vessel imaging program configured as described above, it is easy to obtain a well-focused capillary vessel image.
以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。図1は、本発明の一実施形態に係る毛細血管撮像システムの構成の一例を示すブロック図である。 BEST MODE FOR CARRYING OUT THE INVENTION An embodiment according to the present invention will be described below with reference to the drawings. It should be noted that the same reference numerals in each figure indicate the same configuration, and the description thereof will be omitted. FIG. 1 is a block diagram showing an example configuration of a capillary imaging system according to an embodiment of the present invention.
図1に示す毛細血管撮像システム1は、顕微鏡カメラ2(撮像部)、撮像処理装置3、及びサーバ装置4(毛細血管撮像システム用サーバ装置)を備えている。撮像処理装置3とサーバ装置4とは、ネットワーク5を介してデータ送受信可能に通信接続されている。
A capillary
顕微鏡カメラ2は、人体の毛細血管を顕微鏡で撮像するカメラである。図2は、図1に示す顕微鏡カメラ2の一例を示す外観斜視図である。図2に示す顕微鏡カメラ2は、大略的に、略円柱状の顕微鏡本体21、略板状の基台22、顕微鏡本体21と基台22とを連結する連結部23、及び顕微鏡本体21の角度を調節する調節ハンドル24を備えている。
The
基台22には、人の指先をガイドするガイド部28が設けられている。ガイド部28には、指先の形状に沿うように窪んだ凹部281が形成されている。被験者が、凹部281に指先を置くことによって、指先がおおよそ位置決めされるようになっている。
The
顕微鏡本体21の下端には対物レンズ25が設けられ、凹部281に置かれた被験者の指先が撮像されるようになっている。対物レンズ25の周囲には、被験者の指先を照明する照明部26が取り付けられている。
An
顕微鏡本体21の内部には、顕微鏡の光学系と、顕微鏡で得られた像を撮像するCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等の撮像素子が内蔵されている。顕微鏡本体21は、被験者の指先の画像、より詳しくは指先の毛細血管の画像を撮像する。顕微鏡本体21は、毛細血管の画像を、静止画像で複数枚連続撮像してもよく、各画像をフレームとして含む動画として撮像してもよい。顕微鏡本体21は、撮像素子によって撮像された画像を表す画像データを、ケーブル29を介して撮像処理装置3へ送信する。
The microscope
顕微鏡カメラ2としては、例えば、あっと(株)製毛細血管スコープSC-10を好適に用いることができる。なお、顕微鏡カメラ2は、毛細血管の画像を撮像可能であればよく、指先の画像を撮像するものに限らない。また、顕微鏡カメラ2は、人の毛細血管を撮像するものに限られず、動物等の生物の毛細血管を撮像するものであってもよい。
As the
撮像処理装置3へ送信する画像データの形式としては、種々の方式を用いることができ、例えばNTSC(National Television System Committee)方式を用いることができる。また、画像データを無線信号により撮像処理装置3へ送信してもよい。
Various formats can be used as the format of the image data to be transmitted to the
顕微鏡本体21には、ピント調節ハンドル27が設けられている。ユーザは、ピント調節ハンドル27を操作することによって、ピントを調節可能となっている。
A focus adjustment handle 27 is provided on the microscope
なお、ピントとは、レンズ等の光学系からの映像が鮮明に見える距離の事で、焦点あるいはフォーカスとも呼ぶ。また、ピントが合う事を「合焦」と呼ぶ。また、ピントが合っていない状態を、ピンボケまたはアウトフォーカスと呼ぶ。また、レンズでのピントが合う距離範囲を被写界深度と呼び、被写界深度は撮影距離が短い場合や、光学系の倍率が高い(焦点距離が長い等)に、特に浅く(狭く)なり、一般的にこの被写界深度の値は、100μm程度でしかない。この為、顕微鏡等では撮影対象が僅かに(撮影距離に対して)動いてしまうとピンボケになってしまう。 Note that focus is the distance at which an image from an optical system such as a lens can be seen clearly, and is also called focus or focus. Also, focusing is called "in-focus". The out-of-focus state is called out-of-focus or out-of-focus. Also, the distance range in which the lens can focus is called the depth of field, and the depth of field is particularly shallow (narrow) when the shooting distance is short or when the magnification of the optical system is high (such as when the focal length is long). Therefore, the value of this depth of field is generally only about 100 μm. For this reason, with a microscope or the like, if the object to be photographed moves slightly (with respect to the photographing distance), the image becomes out of focus.
また、ブレには、被写体ブレ、機器ブレ、及び手ブレ等が含まれる。被写体ブレは、レンズ光学系等で撮影を行う平面(撮像面)上での被写体の位置が、時間軸に応じて二次元的に移動(縦、横、斜め等)にズレて移動してしまう事をいう。機器ブレは、顕微鏡等の撮像機器側での振動等の発生により被写体の位置が時間軸に応じて移動してしまう事をいう。手ブレは、顕微鏡等の撮像機器を撮影者が(手持ち等で)保持する場合に、撮影者の身体的な動きによって被写体の位置が移動することをいう。撮影者が完全に撮像機器を保持していない場合でも、機器に触れたり操作をして振動を与えることによって、手ブレが生じることもある。 In addition, blur includes subject blur, device blur, camera shake, and the like. Subject blur occurs when the position of the subject on the plane (imaging surface) where the lens optical system is used for shooting shifts two-dimensionally (vertically, horizontally, diagonally, etc.) according to the time axis. Say things. Equipment blur means that the position of the subject moves according to the time axis due to the occurrence of vibration or the like on the side of imaging equipment such as a microscope. Camera shake refers to movement of an object due to the photographer's physical movement when the photographer holds an imaging device such as a microscope (by hand or the like). Even if the photographer does not completely hold the image pickup device, camera shake may occur when the device is touched or operated to give vibration.
撮像(撮影は)、ある一定の時間(シャッター速度)の期間中(例:数十分の1秒~数百分の1秒)において行われる為、上記のブレが発生していると、そのシャッター速度での短い時間内においても、被写体が動いている事となり、撮影画像の鮮明度が低下する。このような状態が、ブレが発生している状態となる。 Imaging (shooting) takes place within a certain period of time (shutter speed) (e.g. several tenths of a second to several hundredths of a second). Even within a short period of time at the shutter speed, the subject is moving, and the sharpness of the captured image is reduced. Such a state is a state in which blurring occurs.
図1を参照して、撮像処理装置3は、例えばパーソナルコンピュータ等の情報処理装置を用いて構成されている。撮像処理装置3は、演算部30、外部I/F回路31(画像取得部)、ディスプレイ32(表示部)、キーボード33、マウス34、及び通信I/F回路35を備える。
Referring to FIG. 1,
外部I/F回路31は、顕微鏡カメラ2から、複数の画像を示す画像データを受信可能なインターフェイス回路である。通信I/F回路35は、ネットワーク5を介してサーバ装置4と通信可能な通信インターフェイス回路である。通信I/F回路35は、有線通信回路であってもよく、無線通信回路であってもよい。ディスプレイ32は、顕微鏡カメラ2により撮像された画像をリアルタイムで表示する。
The external I/
演算部30は、例えば所定の演算処理を実行するCPU(Central Processing Unit)、データを一時的に記憶するRAM(Random Access Memory)、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の不揮発性の記憶装置、タイマ回路、及びこれらの周辺回路等を備えて構成されている。そして、演算部30は、例えば上述の記憶装置に記憶された第一毛細血管撮像プログラムを実行することによって、評価対象領域受付部301、合焦評価値算出部302、判定閾値設定部303、合焦評価値表示部304、操作案内報知部305、合焦画像選択部306、及びブレ評価値算出部307として機能する。
The
評価対象領域受付部301は、顕微鏡カメラ2の撮像範囲のうち任意の領域範囲の指定を、評価対象領域として受け付ける。
The evaluation target
合焦評価値算出部302は、外部I/F回路31で取得された複数の画像について、合焦の程度を数値化して示す合焦評価値Fvをそれぞれ算出する。判定閾値設定部303は、合焦評価値算出部302によって算出された複数の合焦評価値Fvのうち最も良好な合焦を示す合焦評価値Fvを、判定閾値Jvとして設定する判定閾値設定処理を実行する。
The focus evaluation
合焦評価値表示部304は、顕微鏡カメラ2による撮像期間中に、合焦評価値算出部302によって算出された合焦評価値Fvを、ディスプレイ32にリアルタイムで表示する。操作案内報知部305は、ユーザに対し、顕微鏡カメラ2の調節を促す操作案内を報知する。操作案内は、ディスプレイ32に表示されてもよく、音声により顕微鏡カメラ2の調節を促すものであってもよい。
The focus evaluation
合焦画像選択部306は、合焦の程度が良好か否かを判定するための判定閾値Jvと各合焦評価値Fvとを比較することによって、複数の画像のうち、合焦の程度が良好な画像を合焦画像FPとして選択する。
The focused
ブレ評価値算出部307は、各合焦画像FPのブレの程度を表すブレ評価値Bvを算出する。合焦画像選択部306は、各合焦画像FPと、各合焦画像FPの合焦評価値Fvと、各合焦画像FPのブレ評価値Bvとを、ネットワーク5を介してサーバ装置4へ送信する。
A blur evaluation
サーバ装置4は、演算部40と、通信I/F回路44(合焦画像受付部)とを備える。通信I/F回路44は、ネットワーク5を介して通信I/F回路35と通信可能な通信インターフェイス回路である。通信I/F回路44は、有線通信回路であってもよく、無線通信回路であってもよい。通信I/F回路44は、撮像処理装置3から送信された複数の合焦画像FPの、サーバ装置4への入力を受け付ける。
The
演算部40は、例えば所定の演算処理を実行するCPU、データを一時的に記憶するRAM、HDDやSSD等の不揮発性の記憶装置、タイマ回路、及びこれらの周辺回路等を備えて構成されている。そして、演算部40は、例えば上述の記憶装置に記憶された第二毛細血管撮像プログラムを実行することによって、映込評価値算出部41、最良画像選択部42、及び健康状態評価部43として機能する。
The
映込評価値算出部41は、撮像処理装置3から送信された各合焦画像FPにおける光源の映り込みの程度を表す映込評価値Rvを算出する。
The reflection evaluation
最良画像選択部42は、撮像処理装置3から送信された複数の合焦画像FPのうち一つを、各合焦画像FPの合焦評価値Fv、各合焦画像FPのブレの程度を表すブレ評価値Bv、及び各合焦画像FPにおける光源の映り込みの程度を表す映込評価値Rvのうち少なくとも一つに基づき最良画像BPとして選択する。
The best
健康状態評価部43は、最良画像BPに基づいて、被験者の健康状態を評価する。健康状態評価部43による健康状態の評価方法としては、公知の種々の方法を用いることができ、例えば特許第6186663号公報や、特許第6906188号公報等に記載の方法を用いることができる。
The health
次に、上述のように構成された毛細血管撮像システム1の動作について説明する。図3、図4は、図1に示す撮像処理装置3の動作の一例を示すフローチャートであり、第一毛細血管撮像プログラムの処理の一例に相当する。
Next, the operation of the capillary
まず、顕微鏡カメラ2のガイド部28に被験者が指先を載せた状態で、顕微鏡カメラ2が毛細血管の動画での撮像を開始し(ステップS1)、その撮像画像がディスプレイ32に表示される。次に、評価対象領域受付部301は、顕微鏡カメラ2の撮像範囲のうち任意の領域範囲の指定を、評価対象領域として受け付ける(ステップS2)。
First, with the subject's fingertip placed on the
図6は、図1に示すディスプレイ32に表示される撮像画像Gの一例を示す説明図である。図6に示す撮像画像Gには、六本の毛細血管Kが写っている。評価対象領域受付部301は、例えば図6に示す評価対象領域Aのように、ユーザがマウス34を操作して選択した矩形状の領域を、評価対象領域Aとして受け付ける。
FIG. 6 is an explanatory diagram showing an example of the captured image G displayed on the
次に、操作案内報知部305は、ユーザのピント調節を促す操作案内をディスプレイ32に表示することによって報知する(ステップS3)。図7は、図1に示すディスプレイ32の表示画面DPの一例を示す画面図である。表示画面DPには、撮像画像Gの横に、ピント調節を促す操作案内Mとして、例えば「ピントを合わせてください」というメッセージが表示されている。なお、表示により報知する方法に限られず、音によってピント調節を促す操作案内を報知してもよい。
Next, the operation
次に、判定閾値設定部303は、経過時間t1の計時を開始する(ステップS4)。次に、合焦評価値算出部302は、顕微鏡カメラ2によって撮像された動画画像における各フレームの画像であるフレーム画像の合焦評価値Fvを、評価対象領域Aに対してリアルタイムで、すなわちフレーム画像が得られる都度算出する(ステップS5)。
Next, the determination
具体的には、合焦評価値算出部302は、各フレーム画像に対して、下記(1)~(4)を実行することによって、各フレーム画像の合焦評価値Fvを算出する。
Specifically, the focus evaluation
(1)フレーム画像をグレースケール化、(2)グレースケール化したフレーム画像の輪郭を抽出、(3)評価対象領域A内において、輪郭として抽出された画素と、その画素に対して輪郭の外側に隣接する画素の輝度値の差を、輝度差Lsとして算出、(4)算出された各輝度差Lsのうち、予め設定された基準値refを超える輝度差Lsの合計を、合焦評価値Fvとして算出。 (1) converting the frame image to grayscale, (2) extracting the contour of the grayscaled frame image, and (3) pixels extracted as the contour in the evaluation target region A and the pixels outside the contour (4) Among the calculated luminance differences Ls, the sum of the luminance differences Ls exceeding a preset reference value ref is used as the focus evaluation value Calculated as Fv.
上記(2)の輪郭抽出方法としては、例えばラプラシアンフィルタ等の、公知の輪郭抽出方法を用いることができる。上記(3)の輝度差Lsが大きければ、輪郭が明瞭であることを意味し、ピントが良好であると判断できる。 As the contour extraction method (2), a known contour extraction method such as a Laplacian filter can be used. If the luminance difference Ls in (3) above is large, it means that the outline is clear, and it can be determined that the focus is good.
上記(4)によれば、基準値refによって設定された合焦の程度を超える、ピントが良好な評価対象領域A内の画素について輝度差Lsが合計された値が合焦評価値Fvとして算出される。その結果、合焦評価値Fvは、毛細血管画像の合焦の程度を、評価対象領域Aの全域に渡って全体的に評価する指標となる。 According to the above (4), the focus evaluation value Fv is calculated as the sum of the luminance differences Ls of the pixels in the evaluation target area A that are well focused and exceed the degree of focus set by the reference value ref. be done. As a result, the focus evaluation value Fv serves as an index for evaluating the degree of focus of the capillary vessel image over the entire evaluation target region A as a whole.
上記(4)において、基準値refを超える輝度差Lsが得られた画素である合焦画素Pの座標を、後述するブレ評価値Bvのために記憶しておく。 In (4) above, the coordinates of the in-focus pixel P, which is the pixel with the luminance difference Ls exceeding the reference value ref, is stored for the blur evaluation value Bv, which will be described later.
なお、合焦評価値Fvは、合焦の程度を数値化して示すものであればよく、上記(1)~(4)によって算出されたものに限らない。また、上記(1)~(4)によって算出された合焦評価値Fvは、値が大きいほど合焦の程度が良好であることを示しているが、合焦評価値Fvとして、値が小さいほど合焦の程度が良好な指標を用いてもよい。合焦評価値Fvの算出方法としては、ピントを評価する種々の公知技術を用いることができる。 It should be noted that the focus evaluation value Fv is not limited to those calculated by the above (1) to (4) as long as it indicates the degree of focus in numerical form. The focus evaluation value Fv calculated by the above (1) to (4) indicates that the higher the value, the better the degree of focus. An index indicating a better degree of focusing may be used. Various known techniques for evaluating focus can be used as a method for calculating the focus evaluation value Fv.
基準値refは、画素の合焦の程度について予め設定された基準レベルの一例に相当うし、合焦画素Pは、合焦の程度が予め設定された基準レベルを超える画素の一例に相当する。合焦評価値算出部302は、例えば図6に示すように、合焦画素Pを、ハイライトで明るく表示するなどしてリアルタイムでディスプレイ32に表示してもよい。これにより、ピント操作を行っているユーザが、ピントが合っている箇所を知ることができる。
The reference value ref corresponds to an example of a preset reference level for the degree of focus of a pixel, and the in-focus pixel P corresponds to an example of a pixel whose degree of focus exceeds the preset reference level. For example, as shown in FIG. 6, the focus evaluation
毛細血管の形状は曲がりくねっており、顕微鏡カメラ2のガイド部28に指先を載せたとしても、顕微鏡カメラ2の撮像範囲内で毛細血管全体を顕微鏡カメラ2の対物レンズから等距離に配置することはできない。そのため、毛細血管全体にピントを合わすことは困難である。
The capillaries have a meandering shape, and even if a fingertip is placed on the
そこで、評価対象領域受付部301を備えて評価対象領域Aを設定可能とすることによって、合焦評価値Fvを、例えば毛細血管の先端部近傍等の、健康状態の評価のために重要な部分の合焦の程度を表す指標とすることができる。その結果、後述する合焦画像選択部306及び最良画像選択部42は、健康状態の評価のために重要な部分のピントが良好な画像を選択することが可能となる。
Therefore, by providing the evaluation target
ステップS5では、処理対象のフレーム画像の直前のフレーム画像を、後述する直前画像を取得可能とするために記憶しておく。 In step S5, the frame image immediately preceding the frame image to be processed is stored so that the immediately preceding image, which will be described later, can be acquired.
次に、合焦評価値表示部304は、合焦評価値算出部302によって算出された合焦評価値Fvをリアルタイムでディスプレイ32に表示する(ステップS6)。合焦評価値表示部304は、例えば図7に示すように、合焦評価値Fvを、バーの本数でグラフ化して示してもよく、合焦評価値Fvをそのまま数値で表示してもよい。顕微鏡カメラ2による撮像期間中にユーザがピント操作を行っている最中に、リアルタイムで合焦評価値Fvを表示することによって、ユーザによるピント合わせ精度を向上させることができる。
Next, the focus evaluation
次に、判定閾値設定部303は、合焦評価値Fvの算出された一つのフレーム画像をその合焦評価値Fvと紐付けて合焦画像候補として記憶し、より値の大きな合焦評価値Fvが算出される都度、合焦画像候補を、その合焦評価値Fvと共にその合焦評価値Fvが大きな画像に入れ替える(ステップS7)。その結果、合焦評価値Fvが最大のフレーム画像が、最大の合焦評価値Fvと紐付られて合焦画像候補として記憶される。
Next, the determination threshold
次に、ブレ評価値算出部307は、合焦画像候補の直前のフレーム、すなわち合焦画像候補の直前に撮像された直前画像と、合焦画像候補とに基づいて、合焦画像候補のブレ評価値Bvを算出し、そのブレ評価値Bvを合焦画像候補と紐づけて記憶する(ステップS8)。
Next, the blur evaluation
具体的には、例えば、上記(4)において記憶しておいた、基準値refを超える輝度差Lsが得られた合焦画素Pの座標に基づいて、ブレ評価値Bvを算出する。すなわち、直前画像における合焦画素Pの座標と、合焦画像候補における合焦画素Pの座標との位置を比較し、両画像間における互いに対応する画素間での座標の差の合計値を、合焦画像候補のブレ評価値Bvとして算出する。これにより、ブレ評価値Bvがゼロのとき合焦画像候補はブレが無く、ブレ評価値Bvが大きいほど、合焦画像候補のブレが大きいことを示すことになる。 Specifically, for example, the blur evaluation value Bv is calculated based on the coordinates of the in-focus pixel P for which the luminance difference Ls exceeding the reference value ref is obtained, which is stored in (4) above. That is, the positions of the coordinates of the in-focus pixel P in the previous image and the coordinates of the in-focus pixel P in the candidate in-focus image are compared, and the total value of the difference in the coordinates between the pixels corresponding to each other between the two images is It is calculated as the blur evaluation value Bv of the in-focus image candidate. Thus, when the blur evaluation value Bv is zero, the focused image candidate is free from blur, and the larger the blur evaluation value Bv, the greater the blur in the focused image candidate.
なお、顕微鏡カメラ2が、NTSC等のインターレース方式で撮像する場合、奇数ラインの画像と偶数ラインの画像とが交互に取得される。この場合、前後の奇数ラインの画像と偶数ラインの画像とに基づいてブレ評価値Bvを算出すればよい。ブレ評価値Bvを算出する際、奇数ラインと偶数ラインの座標位置のずれを補正した上で上述の座標の差を算出してもよい。
Note that when the
なお、ブレ評価値Bvは、画像のブレの程度を表していればよく、ブレが大きいほどブレ評価値Bvが大きくなる例に限られず、ブレが小さいほどブレ評価値Bvが大きくなってもよい。 Note that the blur evaluation value Bv only needs to represent the degree of blurring of the image, and is not limited to the example in which the blur evaluation value Bv increases as the blur increases, and the blur evaluation value Bv may increase as the blur decreases. .
また、直前画像における合焦画素Pの座標と、合焦画像候補における合焦画素Pの座標との位置を比較することによってブレ評価値Bvを算出する例に限らない。ブレ評価値Bvの算出方法としては、二つの画像(直前画像と合焦画像候補)間の相関、いわゆるパターンマッチングを行うための種々の公知の手法を用いることができ、例えばピアソンの積関率相関係数、SAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)、NCC(Normalized Cross-Correlation)、及びZNCC(Zero-mean Normalized Cross-Correlation)等を用いることができる。 Further, the method is not limited to the example of calculating the blur evaluation value Bv by comparing the positions of the coordinates of the focused pixel P in the previous image and the coordinates of the focused pixel P in the focused image candidate. As a method for calculating the blurring evaluation value Bv, various known methods for performing correlation between two images (immediately preceding image and in-focus image candidate), so-called pattern matching, can be used. Correlation coefficient, SAD (Sum of Absolute Difference), SSD (Sum of Squared Difference), NCC (Normalized Cross-Correlation), ZNCC (Zero-mean Normalized Cross-Correlation), and the like can be used.
次に、判定閾値設定部303は、経過時間t1と、予め設定された予備時間ts1とを比較する(ステップS9)。予備時間ts1としては、例えば10秒程度の時間を固定的に設定してもよく、任意の時間を設定可能としてもよい。経過時間t1が予備時間ts1以下(ステップS9でNO)であれば再びステップS5~S9を繰り返し、経過時間t1が予備時間ts1を超えていれば(ステップS9でYES)、判定閾値設定部303は、合焦画像候補の合焦評価値Fvを判定閾値Jvとして設定する(ステップS11)。
Next, the determination threshold
これにより、予備時間ts1の間に撮像されたすべての画像の中で、最も良好な合焦を示す合焦評価値Fvが、判定閾値Jvとして設定される。ステップS7,S11は、判定閾値設定処理の一例に相当する。 As a result, the focus evaluation value Fv indicating the best focus among all the images captured during the preliminary time ts1 is set as the determination threshold value Jv. Steps S7 and S11 correspond to an example of determination threshold value setting processing.
次に、合焦画像選択部306は、合焦画像候補として記憶されている画像を合焦画像FPとして選択する(ステップS12)。これにより、予備時間ts1の間に撮像されたすべての画像の中で、最もピントが良好な画像が、合焦画像FPとして選択される。
Next, the focused
次に、合焦画像選択部306は、経過時間t2の計時を開始する(ステップS13)。
Next, the focused
次に、合焦評価値算出部302は、ステップS5と同様、顕微鏡カメラ2によって撮像された動画画像における各フレームの画像であるフレーム画像の合焦評価値Fvを、評価対象領域Aに対してリアルタイムで、すなわちフレーム画像が得られる都度算出する(ステップS14)。
Next, as in step S5, the focus evaluation
次に、合焦評価値表示部304は、ステップS6と同様、合焦評価値算出部302によって算出された合焦評価値Fvをリアルタイムでディスプレイ32に表示する(ステップS15)。
Next, the focus evaluation
次に、合焦画像選択部306は、判定閾値Jv以上の合焦評価値Fvが算出される都度、その合焦評価値Fvが算出された画像を合焦画像FPとして選択し、記憶する(ステップS16)。
Next, each time a focus evaluation value Fv equal to or greater than the determination threshold value Jv is calculated, the focused
人の毛細血管は、個人個人でその本数、形状、太さ等の状態が異なる。人以外の動物等の生物の毛細血管も同様である。そのため、上述の(1)~(4)によって合焦評価値Fvを算出する際に、被験者の毛細血管の状態によって輪郭として抽出される画素数が異なる。その結果、合焦の程度が同等の画像であっても被験者によって、異なった合焦評価値Fvが算出される。そのため、判定閾値Jvを固定的に設定すると、被験者によっては適切にピントが合った画像を選択できないおそれがある。 The number, shape, thickness, and other conditions of human capillaries vary from person to person. The same applies to the capillaries of living organisms such as animals other than humans. Therefore, when calculating the focus evaluation value Fv according to the above (1) to (4), the number of pixels extracted as the outline differs depending on the condition of the subject's capillaries. As a result, different focus evaluation values Fv are calculated depending on subjects even for images with the same degree of focus. Therefore, if the determination threshold value Jv is fixed, there is a possibility that an appropriately focused image cannot be selected depending on the subject.
しかしながら、ステップS4~S11によれば、被験者毎の毛細血管の状態に応じた判定閾値Jvを設定することができる。その結果、ステップS16において、合焦の程度が良好な、ピントの合った毛細血管の画像が、合焦画像FPとして選択される確実性が向上する。 However, according to steps S4 to S11, it is possible to set the determination threshold value Jv according to the state of capillaries for each subject. As a result, in step S16, it is more likely that a well-focused image of capillaries will be selected as the focused image FP.
次に、ブレ評価値算出部307は、合焦画像FPの直前のフレーム、すなわち合焦画像FPの直前に撮像された直前画像と、合焦画像FPとに基づいて、合焦画像FPのブレ評価値Bvを算出し、そのブレ評価値Bvを合焦画像FPと紐づけて記憶する(ステップS17)。ステップS17の処理は、ステップS8の合焦画像候補の代わりに合焦画像FPを用いる点を除いてステップS8と同様である。
Next, the blur evaluation
次に、合焦画像選択部306は、経過時間t2と、予め設定された本撮影時間ts2とを比較する(ステップS18)。本撮影時間ts2としては、例えば20~40秒程度の時間を固定的に設定してもよく、任意の時間を設定可能としてもよい。
Next, the focused
経過時間t2が本撮影時間ts2以下(ステップS18でNO)であれば再びステップS14~S18を繰り返し、経過時間t2が本撮影時間ts2を超えていれば(ステップS18でYES)、合焦画像選択部306は、すべての合焦画像FPと、各合焦画像FPの合焦評価値Fv及びブレ評価値Bvとを、通信I/F回路35を介してサーバ装置4へ送信する(ステップS19)。
If the elapsed time t2 is equal to or less than the main shooting time ts2 (NO in step S18), steps S14 to S18 are repeated again. If the elapsed time t2 exceeds the main shooting time ts2 (YES in step S18), the focused image is selected The
これにより、合焦画像FPが判定閾値Jv以上の、合焦の程度が良好と判定されたすべての画像と、その各合焦画像FPの合焦評価値Fv及びブレ評価値Bvとが、サーバ装置4へ送信される。
As a result, all images for which the degree of focus is determined to be good, and the focus evaluation value Fv and blur evaluation value Bv of each of the focused images FP are sent to the server. It is sent to
以上、ステップS1~S19によれば、判定閾値Jv以上の合焦評価値Fvを有する合焦の程度が良好な合焦画像FPが得られるから、合焦の程度が良好な毛細血管の画像を得ることが容易となる。 As described above, according to steps S1 to S19, a well-focused focused image FP having a focus evaluation value Fv equal to or greater than the determination threshold value Jv can be obtained. easier to obtain.
次に、サーバ装置4の動作について説明する。図5は、図1に示すサーバ装置4の動作の一例を示すフローチャートであり、第二毛細血管撮像プログラムの処理の一例に相当する。まず、通信I/F回路44は、撮像処理装置3から送信された、複数の合焦画像FPと、各合焦画像FPの合焦評価値Fv及びブレ評価値Bvとを受信することにより取得する(ステップS21)。
Next, operation of the
次に、映込評価値算出部41は、通信I/F回路44で受信された各合焦画像FPの映込評価値Rvを算出する(ステップS22)。図2に示すように、顕微鏡カメラ2は、照明部26によって被験者の指先を照明して撮像する。その際、照明部26の照明光が、例えば図6に示す映り込みRのように、撮像画像Gに映り込む場合がある。映り込みRは、画像品質を低下させ、撮像画像Gに基づく健康状態の評価精度を低下させる。
Next, the reflection
そこで、映込評価値算出部41は、各合焦画像FPの画像品質を評価するための評価指標の一つとして、映込評価値Rvを算出する。
Therefore, the reflection evaluation
例えば、映込評価値算出部41は、各合焦画像FPに対して、下記(A)~(D)を実行することによって、各合焦画像FPの映込評価値Rvを算出する。
For example, the reflection evaluation
(A)合焦画像FPをグレースケール化、(B)グレースケール化した合焦画像FPのの各画素の平均輝度値Laveを算出、(C)平均輝度値Laveよりも、予め設定した映込判定値Rref以上輝度の高い画素を、映込画素とする、(D)映込画素の輝度値の合計を、その合焦画像FPの映込評価値Rvとする。 (A) grayscale the focused image FP, (B) calculate the average luminance value Lave of each pixel of the grayscaled focused image FP, (C) calculate the preset projection from the average luminance value Lave (D) The sum of the luminance values of the projected pixels is defined as the projected evaluation value Rv of the focused image FP.
(A)~(D)によれば、映込評価値Rvが大きいほど、合焦画像FPへの映り込みが多いことを示すことになる。映込判定値Rrefは、例えば実験結果や標準偏差等に基づいて適宜設定すればよい。 According to (A) to (D), the larger the reflection evaluation value Rv, the more the reflection in the focused image FP. The projection judgment value Rref may be appropriately set based on, for example, experimental results and standard deviation.
なお、映込評価値Rvは、合焦画像FPにおける光源の映り込みの程度を表す指標であればよく、映込評価値Rvが大きいほど合焦画像FPへの映り込みが多いことを示す例に限られず、映込評価値Rvが小さいほど合焦画像FPへの映り込みが多いことを示すものであってもよい。 Note that the reflection evaluation value Rv may be an index representing the degree of reflection of the light source in the focused image FP. However, the smaller the reflection evaluation value Rv, the greater the amount of reflection in the focused image FP.
次に、最良画像選択部42は、通信I/F回路44で受信された、複数の合焦画像FP、各合焦画像FPの合焦評価値Fv、及び各合焦画像FPのブレ評価値Bvと、映込評価値算出部41で算出された各合焦画像FPの映込評価値Rvとに基づいて、複数の合焦画像FPのうち一つを最良画像BPとして選択する(ステップS23)。
Next, the best
合焦評価値Fv、ブレ評価値Bv、及び映込評価値Rvに基づいて最良画像BPを選択する方法としては、例えば、各合焦画像FPについて、下記の画像評価値Gvを算出し、最も画像評価値Gvが大きな合焦画像FPを最良画像BPとして選択してもよい。 As a method for selecting the best image BP based on the focus evaluation value Fv, blur evaluation value Bv, and reflection evaluation value Rv, for example, the following image evaluation value Gv is calculated for each focused image FP, A focused image FP having a large image evaluation value Gv may be selected as the best image BP.
画像評価値Gv=Fv-Bv-Rv ・・・(1) Image evaluation value Gv=Fv-Bv-Rv (1)
上記式(1)は、値が大きいほど良好であることを示す合焦評価値Fvについては加算、値が小さいほど良好であることを示すブレ評価値Bv及び映込評価値Rvについては、減算することによって、値が大きいほど画像品質が高いことを示す画像評価値Gvを算出する。 In the above equation (1), the focus evaluation value Fv indicating that the larger the value is better, is added, and the blur evaluation value Bv and the reflection evaluation value Rv, which indicate that the smaller the value is better, are subtracted. By doing so, an image evaluation value Gv is calculated which indicates that the larger the value, the higher the image quality.
また、画像評価値Gvの別の算出方法としては、例えば、下記の式(2)を用いることができる。 As another method of calculating the image evaluation value Gv, for example, the following formula (2) can be used.
画像評価値Gv=aFv-bBv-cRv ・・・(2) Image evaluation value Gv=aFv-bBv-cRv (2)
a,b,cは係数である。 a, b, c are coefficients.
式(2)によれば、合焦評価値Fv、ブレ評価値Bv、及び映込評価値Rvの重要度に応じて、重みづけをすることができる。例えば、a=0.7、b=0.2、c=0.1とすることができる。 According to formula (2), weighting can be performed according to the degree of importance of the focus evaluation value Fv, the blurring evaluation value Bv, and the reflection evaluation value Rv. For example, a=0.7, b=0.2, and c=0.1.
なお、画像評価値Gvは、値が小さいほど画像品質が高いことを示すものであってもよく、その場合、最も画像評価値Gvが小さな合焦画像FPを最良画像BPとして選択すればよい。 Note that the image evaluation value Gv may indicate that the smaller the value, the higher the image quality. In this case, the focused image FP with the smallest image evaluation value Gv may be selected as the best image BP.
以上、ステップS21~S23によれば、合焦の程度が良好な合焦画像FPのうち、さらに、ピント、ブレ、及び照明光の映り込みの観点から、画質の良好な最良画像BPを得ることができるから、合焦の程度のみならず、総合的に画質の良好な毛細血管の画像を得ることが容易となる。 As described above, according to steps S21 to S23, of the focused image FP with a good degree of focus, the best image BP with good image quality from the viewpoint of focus, blurring, and reflection of illumination light can be obtained. Therefore, it becomes easy to obtain an image of capillaries with not only a good degree of focus but also good image quality overall.
次に、健康状態評価部43は、最良画像BPに基づき被験者の健康状態を評価して(ステップS24)、処理を終了する。健康状態評価部43は、その評価結果を図略のディスプレイに表示してもよく、通信I/F回路44を介して撮像処理装置3等へ送信してもよい。ステップS24によれば、画質の良好な最良画像BPに基づき被験者の健康状態を評価することができるので、健康状態の評価精度が向上する。
Next, the health
なお、顕微鏡カメラ2が、ユーザがピント調節ハンドル27を操作してピントを合わせる例を示したが、顕微鏡カメラ2は、公知のオートフォーカス機構によって、ピントを合わせる構成であってもよい。そして、オートフォーカス機構によるピント調節が行われている期間中に、顕微鏡カメラ2が、動画又は複数の静止画像を撮像する構成であってもよい。また、毛細血管撮像システム1は、顕微鏡カメラ2を備えていなくてもよい。
Although the
また、毛細血管撮像システム1は、健康状態評価部43を備えず、ステップS24を実行しなくてもよい。また、毛細血管撮像システム1は、評価対象領域受付部301を備えず、ステップS2を実行しなくてもよい。この場合、合焦評価値算出部302は、画像全域を対象に合焦評価値Fvを算出してもよく、予め設定された評価対象領域Aに対して合焦評価値Fvを算出してもよい。
Also, the
また、毛細血管撮像システム1は、合焦評価値表示部304を備えず、ステップS15を実行しなくてもよく、操作案内報知部305を備えず、ステップS3を実行しなくてもよい。
Also, the capillary
また、毛細血管撮像システム1は、映込評価値算出部41を備えず、ステップS22を実行しなくてもよい。この場合、最良画像選択部42は、合焦評価値Fv、及びブレ評価値Bvに基づいて最良画像BPを選択すればよい。
Further, the capillary
また、毛細血管撮像システム1は、ブレ評価値算出部307を備えず、ステップS17を実行しなくてもよい。この場合、最良画像選択部42は、合焦評価値Fv、及び映込評価値Rvに基づいて最良画像BPを選択すればよい。あるいは、最良画像選択部42は、合焦評価値Fvのみに基づいて、合焦評価値Fvが最大の合焦画像FPを最良画像BPとして選択してもよい。
Also, the capillary
また、最良画像選択部42は、合焦評価値Fvを用いることなく、ブレ評価値Bv及び映込評価値Rvのうち少なくとも一つに基づき最良画像BPを選択してもよい。
Alternatively, the best
また、毛細血管撮像システム1は、最良画像選択部42、映込評価値算出部41、及びブレ評価値算出部307を備えず、ステップS23,S22,S17を実行しなくてもよい。最良画像BPを選択しなくても、合焦画像FP自体、合焦の程度が良好な毛細血管の画像である。この場合、健康状態評価部43は、合焦画像FPに基づいて、被験者等の健康状態を評価すればよい。
Also, the capillary
また、合焦画像選択部306は、ステップS12を実行しなくてもよい。また、毛細血管撮像システム1は、判定閾値設定部303を備えず、ステップS5~S12を実行しなくてもよい。この場合、合焦画像選択部306は、予め設定された判定閾値Jvに基づいて合焦画像FPを選択すればよい。
Also, the focused
また、毛細血管撮像システム1は、サーバ装置4を備えていなくてもよく、撮像処理装置3のみで毛細血管撮像システム1を構成してもよい。また、撮像処理装置3が、映込評価値算出部41、最良画像選択部42、及び健康状態評価部43のうち少なくとも一つを備えてもよい。この場合、第一毛細血管撮像プログラムと第二毛細血管撮像プログラムとを、一つの毛細血管撮像プログラムとして構成してもよい。
Further, the capillary
また、サーバ装置4が、評価対象領域受付部301、合焦評価値算出部302、判定閾値設定部303、合焦評価値表示部304、操作案内報知部305、合焦画像選択部306、及びブレ評価値算出部307を備え、毛細血管撮像システム1は、撮像処理装置3を備えていなくてもよい。そして、顕微鏡カメラ2を、ネットワーク5を介してサーバ装置4の通信I/F回路44に接続してもよい。この場合、通信I/F回路44は、画像取得部の一例に相当する。
In addition, the
また、合焦評価値算出部302が、顕微鏡カメラ2によってフレーム画像が撮像される都度、合焦評価値Fvを算出し、合焦画像選択部306が、合焦評価値Fvが算出される都度、画像の選択を実行し、すなわちリアルタイムで処理を行う例を示したが、毛細血管撮像システム1は、リアルタイムで処理を行う例に限らない。毛細血管撮像システム1は、顕微鏡カメラ2によって、動画、又は複数の静止画像が撮像された後、事後的にその動画、又は複数の静止画像から、合焦画像FP、及び最良画像BPを選択してもよい。
Further, the focus evaluation
1 毛細血管撮像システム
2 顕微鏡カメラ(撮像部)
3 撮像処理装置
4 サーバ装置(毛細血管撮像システム用サーバ装置)
5 ネットワーク
21 顕微鏡本体
22 基台
23 連結部
24 調節ハンドル
25 対物レンズ
26 照明部
27 ピント調節ハンドル
28 ガイド部
29 ケーブル
30 演算部
31 外部I/F回路(画像取得部)
32 ディスプレイ(表示部)
33 キーボード
34 マウス
35 通信I/F回路
40 演算部
41 映込評価値算出部
42 最良画像選択部
43 健康状態評価部
44 通信I/F回路(合焦画像受付部)
281 凹部
301 評価対象領域受付部
302 合焦評価値算出部
303 判定閾値設定部
304 合焦評価値表示部
305 操作案内報知部
306 合焦画像選択部
307 ブレ評価値算出部
A 評価対象領域
BP 最良画像
Bv ブレ評価値
DP 表示画面
FP 合焦画像
Fv 合焦評価値
G 撮像画像
Gv 画像評価値
Jv 判定閾値
K 毛細血管
Lave 平均輝度値
Ls 輝度差
M 操作案内
P 合焦画素
R 映り込み
Rref 映込判定値
Rv 映込評価値
ref 基準値
t1,t2 経過時間
ts1 予備時間
ts2 本撮影時間
1
3
5
32 display (display unit)
33
281
Claims (19)
前記複数の画像について、合焦の程度を数値化して示す合焦評価値をそれぞれ算出する合焦評価値算出部と、
前記合焦の程度が良好か否かを判定するための判定閾値と前記各合焦評価値とを比較することによって、前記複数の画像のうち、合焦の程度が良好な画像を合焦画像として選択する合焦画像選択部とを備える毛細血管撮像システム。 an image acquisition unit that acquires the plurality of images from an imaging unit that captures a plurality of images of capillaries of a living organism;
a focus evaluation value calculation unit that calculates a focus evaluation value indicating a degree of focus in numerical form for each of the plurality of images;
By comparing each of the focus evaluation values with a determination threshold for determining whether or not the degree of focus is favorable, an image with a favorable degree of focus is selected as a focused image from among the plurality of images. and a focused image selector that selects as a capillary vessel imaging system.
前記合焦画像選択部は、前記判定閾値設定処理の後、前記画像取得部によって新たに取得された複数の画像のうちから、前記合焦の程度が良好な画像を前記合焦画像として選択する請求項1記載の毛細血管撮像システム。 A determination threshold value setting unit that performs a determination threshold setting process of setting, as the determination threshold, a focus evaluation value indicating the best focus among the plurality of focus evaluation values calculated by the focus evaluation value calculation unit. further comprising
The focused image selection unit selects, as the focused image, an image with a good degree of focus from among the plurality of images newly acquired by the image acquiring unit after the determination threshold setting process. The capillary imaging system according to claim 1.
前記合焦評価値算出部は、前記複数の画像における前記評価対象領域に対して、前記各合焦評価値を算出する請求項1~3のいずれか1項に記載の毛細血管撮像システム。 further comprising an evaluation target region reception unit that receives designation of an arbitrary region range in the imaging range of the imaging unit as an evaluation target region,
4. The capillary vessel imaging system according to any one of claims 1 to 3, wherein the focus evaluation value calculation unit calculates each of the focus evaluation values for the evaluation target areas in the plurality of images.
前記撮像部による撮像期間中に、前記合焦評価値算出部によって算出された前記合焦評価値をリアルタイムで表示する合焦評価値表示部をさらに備える請求項1~4のいずれか1項に記載の毛細血管撮像システム。 The imaging unit is adjustable in focus by the user,
5. The method according to any one of claims 1 to 4, further comprising a focus evaluation value display unit that displays in real time the focus evaluation value calculated by the focus evaluation value calculation unit during an imaging period of the imaging unit. The described capillary imaging system.
前記ユーザに対し、前記ピントの調節を促す操作案内を報知する操作案内報知部をさらに備え、
前記撮像部は、前記操作案内が報知されている期間中に前記画像を繰り返し撮像する請求項1~5のいずれか1項に記載の毛細血管撮像システム。 The imaging unit is adjustable in focus by the user,
An operation guidance notification unit that notifies the user of an operation guidance prompting the user to adjust the focus,
The capillary vessel imaging system according to any one of claims 1 to 5, wherein the imaging unit repeatedly captures the image during a period in which the operation guidance is notified.
前記合焦評価値算出部は、前記撮像部により撮像された画像の各画素の合焦の程度をリアルタイムで判定し、前記合焦の程度が予め設定された基準レベルを超える画素である合焦画素を、前記表示部にハイライトで表示させる請求項1~6のいずれか1項に記載の毛細血管撮像システム。 Further comprising a display unit for displaying the image captured by the imaging unit in real time,
The focus evaluation value calculation unit determines in real time the degree of focus of each pixel of the image captured by the imaging unit, and determines the degree of focus of a pixel exceeding a preset reference level. 7. The capillary imaging system according to any one of claims 1 to 6, wherein pixels are highlighted on the display unit.
前記複数の前記合焦画像のうち一つを、前記各合焦画像のブレ評価値に基づき最良画像としてさらに選択する最良画像選択部とをさらに備える請求項1~8のいずれか1項に記載の毛細血管撮像システム。 a blurring evaluation value calculation unit that calculates a blurring evaluation value representing the degree of blurring of each focused image;
9. The best image selection unit that further selects one of the plurality of in-focus images as the best image based on the blur evaluation value of each of the in-focus images. capillary imaging system.
前記複数の前記合焦画像のうち一つを、前記各合焦画像の映込評価値に基づき最良画像としてさらに選択する最良画像選択部とをさらに備える請求項1~9のいずれか1項に記載の毛細血管撮像システム。 a reflection evaluation value calculation unit that calculates a reflection evaluation value representing the degree of reflection of a light source in each focused image;
10. The method according to any one of claims 1 to 9, further comprising a best image selection unit that further selects one of the plurality of focused images as the best image based on the projection evaluation value of each of the focused images. The described capillary imaging system.
前記合焦画像選択部は、前記合焦評価値が算出される都度、前記画像の選択を実行する請求項1~14のいずれか1項に記載の毛細血管撮像システム。 The focus evaluation value calculation unit calculates the focus evaluation value each time the image is captured by the imaging unit,
The capillary vessel imaging system according to any one of claims 1 to 14, wherein the focused image selection section selects the image each time the focused evaluation value is calculated.
前記複数の合焦画像のうち一つを、前記各合焦画像の合焦の程度を数値化して示す合焦評価値、前記各合焦画像のブレの程度を表すブレ評価値、及び前記各合焦画像における光源の映り込みの程度を表す映込評価値のうち少なくとも一つに基づき最良画像として選択する最良画像選択部とを備える毛細血管撮像システム用サーバ装置。 a focused image reception unit that receives input of a plurality of focused images that are images of capillaries of a living organism;
one of the plurality of in-focus images, a focus evaluation value indicating the degree of focus of each of the in-focus images numerically, a blurring evaluation value indicating the degree of blurring of each of the in-focus images, and each of the above-mentioned in-focus images A server device for a capillary imaging system, comprising: a best image selection unit that selects a best image based on at least one of reflection evaluation values representing the degree of reflection of a light source in a focused image.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022023939A JP2023120845A (en) | 2022-02-18 | 2022-02-18 | Capillary imaging system, server device for capillary imaging system and capillary imaging program |
PCT/JP2023/001871 WO2023157567A1 (en) | 2022-02-18 | 2023-01-23 | Capillary imaging system, server device for capillary imaging system, and capillary imaging program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022023939A JP2023120845A (en) | 2022-02-18 | 2022-02-18 | Capillary imaging system, server device for capillary imaging system and capillary imaging program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023120845A true JP2023120845A (en) | 2023-08-30 |
Family
ID=87578272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022023939A Pending JP2023120845A (en) | 2022-02-18 | 2022-02-18 | Capillary imaging system, server device for capillary imaging system and capillary imaging program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023120845A (en) |
WO (1) | WO2023157567A1 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4853018B2 (en) * | 2005-12-26 | 2012-01-11 | カシオ計算機株式会社 | Imaging apparatus and program |
JP2008276115A (en) * | 2007-05-07 | 2008-11-13 | Olympus Imaging Corp | Digital camera and focus control program |
JP4972579B2 (en) * | 2007-09-11 | 2012-07-11 | 株式会社リコー | Electronic equipment and playback device |
JP2012099888A (en) * | 2010-10-29 | 2012-05-24 | Canon Inc | Imaging device capable of focus display control |
JP6379374B1 (en) * | 2017-05-08 | 2018-08-29 | あっと株式会社 | Composite server device for remote evaluation of capillaries and capillary evaluation program |
JP2020086152A (en) * | 2018-11-27 | 2020-06-04 | オムロン株式会社 | Inspection system, inspection method, and program |
-
2022
- 2022-02-18 JP JP2022023939A patent/JP2023120845A/en active Pending
-
2023
- 2023-01-23 WO PCT/JP2023/001871 patent/WO2023157567A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023157567A1 (en) | 2023-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4582423B2 (en) | Imaging apparatus, image processing apparatus, imaging method, and image processing method | |
KR100875939B1 (en) | Imaging Device and Control Method | |
JP4678603B2 (en) | Imaging apparatus and imaging method | |
JP5789091B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
US20120120305A1 (en) | Imaging apparatus, program, and focus control method | |
JP6137921B2 (en) | Image processing apparatus, image processing method, and program | |
JP5953187B2 (en) | Focus control device, endoscope system, and focus control method | |
JP5043595B2 (en) | Imaging apparatus and endoscope system | |
JP6453905B2 (en) | FOCUS CONTROL DEVICE, ENDOSCOPE DEVICE, AND FOCUS CONTROL DEVICE CONTROL METHOD | |
JP2004181233A (en) | Method of deciding major area of image and program thereof | |
JP5171468B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2010068128A (en) | Image capturing apparatus, existence or nonexistence decision method of image area, and program | |
JP6900161B2 (en) | Focus adjustment device and imaging device | |
US8558942B2 (en) | Focusing measurement device, focusing measurement method, and program | |
JP5144724B2 (en) | Imaging apparatus, image processing apparatus, imaging method, and image processing method | |
JP5063480B2 (en) | Imaging system with autofocus mechanism and adjustment method thereof | |
JP2009284056A (en) | Image processing apparatus, method, and program | |
JP2010154306A (en) | Device, program and method for imaging control | |
WO2023157567A1 (en) | Capillary imaging system, server device for capillary imaging system, and capillary imaging program | |
JP6501536B2 (en) | Imaging device, control method therefor, program, storage medium | |
JP5125774B2 (en) | camera | |
JP5978620B2 (en) | Imaging device | |
WO2013061939A1 (en) | Endoscopic device and focus control method | |
JP2010066728A (en) | Imaging apparatus, and control method for imaging apparatus | |
JP2021105850A (en) | Image processing device and method, and imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20221221 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240806 |