JP2018063309A - Microscope device - Google Patents
Microscope device Download PDFInfo
- Publication number
- JP2018063309A JP2018063309A JP2016200399A JP2016200399A JP2018063309A JP 2018063309 A JP2018063309 A JP 2018063309A JP 2016200399 A JP2016200399 A JP 2016200399A JP 2016200399 A JP2016200399 A JP 2016200399A JP 2018063309 A JP2018063309 A JP 2018063309A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- microscope
- captured image
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は顕微鏡装置に関する。詳しくは、8Kの技術を利用した顕微鏡装置に関する。 The present invention relates to a microscope apparatus. Specifically, the present invention relates to a microscope apparatus using 8K technology.
従来の顕微鏡は主として、対物レンズで拡大した虚像をさらに接眼レンズで拡大し、対物レンズの倍率×接眼レンズの倍率=顕微鏡の倍率としていた。そして、高倍率化による画像歪をなくすために、鏡筒内のレンズ系は複雑な構造になっていた。
他方、顕微鏡の画像を撮像素子で受光する先行技術例としては、スタンドに着脱可能な顕微鏡で、スタンドに装着して使用する時は比較的大きいモニタ画面、スタンドから切り離して移動可能な顕微鏡として使用する時は小さなモニタ画面を用いる例がある(特許文献1参照)。しかしながら、スタンドへの着脱が目的なので、対物レンズ系とズーム光学系で拡大した虚像を結像させる方式を用いており、また、モニタが画面も8Kレベルの大画面を用いていない。
Conventional microscopes mainly have a virtual image magnified by an objective lens further magnified by an eyepiece, and the magnification of the objective lens × the magnification of the eyepiece = the magnification of the microscope. In order to eliminate image distortion due to high magnification, the lens system in the lens barrel has a complicated structure.
On the other hand, as a prior art example that receives an image of a microscope with an image sensor, a microscope that can be attached to and detached from a stand is used as a relatively large monitor screen when mounted on a stand and a microscope that can be moved away from the stand. When doing this, there is an example using a small monitor screen (see Patent Document 1). However, since it is intended to be attached to and detached from the stand, a method of forming a virtual image enlarged by the objective lens system and the zoom optical system is used, and the monitor does not use a large screen of 8K level.
しかるに、8K画像技術において、高分解画像をデジタルズームで拡大縮小できるので、接眼レンズを用いて肉眼で観察する代わりに撮像素子で高分解画像を受光し、デジタルズームで倍率調整すれば、必ずしも両眼の顕微鏡を用いる必要がなくなる。また、顕微鏡の構造すなわち鏡筒内のレンズ系の構造も簡素化可能になる。特に、検眼器のような低倍率顕微鏡では、より簡素化が効果的である。 However, in the 8K image technology, since the high resolution image can be enlarged / reduced by digital zoom, instead of observing with the naked eye using an eyepiece, the high resolution image is received by the image sensor and the magnification is adjusted by the digital zoom. There is no need to use a microscope. Further, the structure of the microscope, that is, the structure of the lens system in the lens barrel can be simplified. In particular, simplification is more effective in a low-magnification microscope such as an optometer.
本発明は、顕微鏡のレンズ系の構成を簡素化し、8Kの大画面モニタとデジタルズームを利用して、高倍率の映像を鮮明に観測可能にする顕微鏡装置を提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a microscope apparatus that simplifies the configuration of a lens system of a microscope and makes it possible to clearly observe a high-magnification image using an 8K large screen monitor and a digital zoom.
上記目的を達成するために、本発明の第1の態様に係る顕微鏡装置1は、例えば図1に示すように、被写体101からの反射光又は透過光を撮像素子131に導く対物レンズ112を含むレンズ系を内包する鏡筒110と、反射光又は透過光を受光して被写体101の撮影画像を取得する撮像素子131を搭載する撮影装置130と、被写体101の撮影画像を8Kレベルの解像度で記憶する記憶部143と、記憶部143に記憶された撮影画像をデジタルズームを用いて拡大縮小する画像処理部142と、画像処理部142で倍率調整され撮影画像を表示装置150にデジタル送信する送信部134と、送信部134からデジタル送信された撮影画像を8Kレベルの解像度で大画面に表示する表示装置150とを備え、対物レンズ112から撮像素子131までに形成される像は実像のみである。
In order to achieve the above object, the microscope apparatus 1 according to the first aspect of the present invention includes an
ここにおいて、撮像素子として、CMOS,CCDを使用可能である。
また「8Kレベル」又は「8K相当」とは8K(7680×4320画素)技術で実現できる高精細解像度画像と同等な解像度の程度をいう。しかるに、実社会では、4K解像度(3840×2160画素)の解像度を上回る解像度についても使用されることがある。したがって、ここでは6K解像度(具体的には1フレームの画素数が約2000万以上)を上回る場合をいうものとする。「8Kレベル以上」であるから、8K解像度(7680×4320画素)以上の画素数を用いても良い。
Here, a CMOS or CCD can be used as the image sensor.
“8K level” or “equivalent to 8K” refers to the degree of resolution equivalent to a high-definition resolution image that can be realized by 8K (7680 × 4320 pixels) technology. However, in the real world, a resolution exceeding 4K resolution (3840 × 2160 pixels) may be used. Therefore, here, it is assumed that the resolution exceeds 6K resolution (specifically, the number of pixels in one frame is about 20 million or more). Since it is “8K level or higher”, a pixel number of 8K resolution (7680 × 4320 pixels) or higher may be used.
また、デジタルズーム(電子ズーム)とは、撮影画像の一部を切り出して拡大縮小するものである。8Kでは細部でも高解像度が得られるので、拡大縮小しても鮮明度が劣化しない。なお、縦横の倍率を変えることも可能である。ズームイン・ズームアウトにより、微小領域と広い範囲を切り替えて又は同時に表示することも可能である。
また、「大画面」とは、30インチ以上のモニタ画面をいうものとする。
Digital zoom (electronic zoom) is to cut out a part of a photographed image and enlarge or reduce it. At 8K, high resolution can be obtained even in details, so that the sharpness does not deteriorate even if the image is enlarged or reduced. It is also possible to change the vertical and horizontal magnifications. By zooming in and zooming out, it is possible to switch between a minute region and a wide range or display them simultaneously.
The “large screen” means a monitor screen of 30 inches or more.
このように構成すると、顕微鏡のレンズ系の構成を簡素化し、8Kの大画面モニタとデジタルズームを利用して、高倍率の映像を鮮明に観測可能にする顕微鏡装置を提供できる。 With this configuration, it is possible to provide a microscope apparatus that simplifies the configuration of the lens system of the microscope and enables high-magnification images to be clearly observed using an 8K large screen monitor and digital zoom.
また、本発明の第2の態様に係る顕微鏡装置100は、第1の態様に係る顕微鏡装置において、撮像素子131の単位領域は3素子で構成された約27μm2の領域又は4素子で構成された約36μm2の領域であり、被写体の観察目標の最小エリアが、撮像素子131の単位領域に撮影されるように、鏡筒110のレンズ系が構成されている。
Further, the
ここにおいて、撮像素子131の単位領域として、典型的には、R(赤)G(緑)B(青)を受光する3素子で構成された領域、R(赤)G(緑)G(緑)B(青)を受光する4素子で構成された領域が挙げられる。その他、R(赤)G(緑)B(青)W(白)を受光する4素子で構成された領域等が挙げられる。撮像素子131のピッチが約3ミクロンであれば、単位領域は3素子で3×約3ミクロン×3ミクロン=27μm2、4素子で約6ミクロン×6ミクロン=36μm2となる。
また、観察目標の最小エリアとは、1ミクロンの分解能を要求するなら、1ミクロン×1ミクロンを最小エリアとして撮像する必要がある。最小エリアからの光が単位領域に受光されることになる。
また、「鏡筒110のレンズ系が構成されている」とは、レンズ系の設計時に顕微鏡の倍率を定めるので、そのような倍率になるように、顕微鏡の鏡筒におけるレンズ系を定めることをいう。
このように構成すると、観察目標の最小エリアが確実に撮像素子に撮影されるので、所要の分解能の撮影画像を取得できる。
Here, as a unit area of the
Further, if the minimum area of the observation target requires a resolution of 1 micron, it is necessary to take an image with 1 micron × 1 micron as the minimum area. Light from the minimum area is received by the unit area.
Further, “the lens system of the
If comprised in this way, since the minimum area of an observation target will be image | photographed reliably by an image pick-up element, the picked-up image of required resolution can be acquired.
また、本発明の第3の態様に係る顕微鏡装置100A(図示しない)は、例えば図7に示すように、第1又は第2の態様に係る顕微鏡装置において、画像処理部142は、撮像素子131に撮影された被写体101の撮影画像について面内又は焦点に係る歪を補正して記憶部143に再記憶させる。
In addition, a microscope apparatus 100A (not shown) according to the third aspect of the present invention is the microscope apparatus according to the first or second aspect, for example, as shown in FIG. For the captured image of the
ここにおいて、歪補正は面内と焦点に係る歪(面に垂直方向)の2種類あるが、少なくとも面内の補正を行なうことが好ましい。
このように構成すると、撮影画像に歪が生じる場合には、補正を行なうことにより歪のない撮影画像を得ることができる。
Here, there are two types of distortion correction, in-plane and focal distortion (in the direction perpendicular to the plane), but it is preferable to perform at least in-plane correction.
With this configuration, when distortion occurs in the captured image, a corrected captured image can be obtained by performing correction.
また、本発明の第4の態様に係る顕微鏡装置100B(図示しない)は、例えば図8に示すように、第1ないし第4のいずれか1態様に係る顕微鏡装置において、被写体101を搭載する試料載置台163の傾斜を調整可能である載置台傾斜調整部164と、左眼と右眼で異なる画像を観察する立体視用ゴーグル161とを備え、送信部134は、ステージの傾斜を変えて撮影した左眼用撮影画像と右眼用の撮影画像を表示装置150に交互に送信すると共に、表示装置150に右眼用の撮影画像を送信するときは、立体視用ゴーグル161の左眼に視野を遮る遮視画像を送信し、表示装置150に左眼用の撮影画像を送信するときは、立体視用ゴーグル161の右眼に遮視画像を送信する。
Further, a microscope apparatus 100B (not shown) according to the fourth aspect of the present invention is a sample in which the
ここにおいて、試料載置台163の傾斜を変えて3以上の撮影画像を撮影し、そのうちから2つの撮影画像を選択する場合も「試料載置台163の傾斜を変えて撮影した撮影画像」に含まれるものとする。
このように構成すると、傾斜を変えて撮影した2つの撮影画像を用い、例えば三角法を用いて撮影画像を立体化することができる。
Here, a case where three or more photographed images are photographed by changing the inclination of the sample mounting table 163 and two of the photographed images are selected is also included in the “photographed image photographed by changing the inclination of the sample placing table 163”. Shall.
If comprised in this way, a picked-up image can be three-dimensionalized, for example using a trigonometric method using the two picked-up images imaged with changing inclination.
また、本発明の第5の態様に係る顕微鏡装置100C(図示しない)は、第1ないし第4のいずれか1態様に係る顕微鏡装置において、制御装置140は、被写体101に関連する撮影画像を収録したデータベースから関連する撮影画像を取得し、表示装置150は、制御装置140がデータベースから取得した撮影画像を当該顕微鏡装置100Cで撮影した撮影画像と同画面に表示可能である。
A microscope apparatus 100C (not shown) according to the fifth aspect of the present invention is the microscope apparatus according to any one of the first to fourth aspects, and the
ここにおいて、被写体101に関連する撮影画像を収録したデータベースとは、使用分野において異なるが、例えば肌表面の画像データベースや医療用の画像データベースを挙げられる。
このように構成すると、例えば撮影画像に近いデータベース画像を参照・比較しながら、撮影画像の健康状態や病状を検査できる。
Here, although it differs in the field of use from the database which recorded the picked-up image relevant to the to-be-photographed
If comprised in this way, the health state and medical condition of a picked-up image can be test | inspected, referring and comparing the database image close | similar to a picked-up image, for example.
また、本発明の第6の態様に係る顕微鏡装置100D(図示しない)は、第1ないし第5のいずれか1態様に係る顕微鏡装置100において、対物レンズ系による倍率が0.1ないし100である。
A microscope apparatus 100D (not shown) according to the sixth aspect of the present invention is the
ここにおいて、0.1倍は例えば全体像を参照するときに使用される。
このように構成すると、低倍率ほど、鏡筒110の構成を簡易にでき、小型化でき、かつ撮影画像の歪も小さいので、低倍率の顕微鏡ほど効果が大きい。
Here, for example, 0.1 times is used when referring to the entire image.
With this configuration, the lower the magnification, the simpler the configuration of the
本発明によれば、顕微鏡のレンズ系の構成を簡素化し、8Kの大画面モニタとデジタルズームを利用して、高倍率の映像を鮮明に観測可能にする顕微鏡装置を提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the microscope apparatus which simplifies the structure of the lens system of a microscope, and can observe a high magnification image clearly using an 8K large screen monitor and a digital zoom can be provided.
以下、図面を参照して本発明の実施の形態について説明する。なお、各図において互いに同一又は相当する部材には同一あるいは類似の符号を付し、重複した説明は省略する。 Embodiments of the present invention will be described below with reference to the drawings. In the drawings, the same or similar members are denoted by the same or similar reference numerals, and redundant description is omitted.
実施例1では8Kの大画面モニタとデジタルズームを利用して、映像を鮮明に観測可能にする顕微鏡装置の例について説明する。
図1は実施例1に係る顕微鏡装置100の主要部の構成例を示す模式図である。
In the first embodiment, an example of a microscope apparatus that enables an image to be clearly observed using an 8K large-screen monitor and a digital zoom will be described.
FIG. 1 is a schematic diagram illustrating a configuration example of a main part of the
顕微鏡装置100は、鏡筒110、照明装置120、撮像装置130、制御装置140及び表示装置150で構成される。
The
鏡筒110は対物レンズ112を介して、被写体101の実像を撮像装置150の撮像素子131に結像させる。本実施例に係る顕微鏡装置100は接眼レンズを介して被写体101を肉眼で観察する構成ではないので、被写体101の虚像を形成する必要性はなく、いたって簡易な構成になり、撮影画像の歪も小さくなる。レンズ系としては、対物レンズ112があれば良く、撮影画像の歪を修正するためのレンズや鏡筒110の長さに合わせて撮像素子131に結像するためのリレーレンズを 追加しても良い。
The
図2A、図2B、及び、図2Cは実施例1に係る顕微鏡装置の各部の構成例を示す図である。図2Aは照明装置の構成例、図2Bは撮像装置の構成例、図2Cは制御装置の構成例を示す図である。
図2Aを参照して、照明装置120は、光源としてのLED(Light Emitting Diode)素子125と、LED素子125を駆動するための第1のドライバ回路126とを有する。
LED素子125は、内部に赤(R)、緑(G)、青(B)3色を発光する素子を内蔵し、混色による白色光を被写体101に照射する。照明装置120光源として大きなエネルギーが得られるLED素子125を使用するので、明るい照明光を得ることができ、ひいては、明るい画像を得ることができる。
第1のドライバ回路126は、制御装置140の制御に従って、LED素子125を駆動する。PWM制御等により、LED素子125を調光制御する。
2A, 2 </ b> B, and 2 </ b> C are diagrams illustrating a configuration example of each unit of the microscope apparatus according to the first embodiment. 2A is a configuration example of the illumination device, FIG. 2B is a configuration example of the imaging device, and FIG. 2C is a diagram illustrating a configuration example of the control device.
Referring to FIG. 2A,
The
The
図2Bを参照して、撮像装置130は、鏡筒110の基端に着脱可能に装着され、対物レンズ112を通過して入射した光により、被写体101の画像を撮像し、制御装置140に撮像した画像を供給する。撮像装置130は、被写体101の撮影画像を受光する撮像素子131と、撮像素子131を駆動する第2のドライバ回路132と、撮像素子131に受光された光量をアナログ/デジタル変換して画像データにするA/D変換部133と、デジタル変換された画像データを表示装置150に送信する送信部134とを有する。第2のドライバ回路132は、撮像素子131から各画素の画素電圧を順次読み出し、A/D変換部133に供給する。
With reference to FIG. 2B, the
撮像素子131は、8K相当以上のピクセルを備えてもよい。また、実社会では、8K以下の素子数でも、4Kに比して鮮明な画像が得られることから、8Kと称して販売等される場合がある。このため、画素数6K以上(約2万画素以上)を8K相当ということとする。
The
図2Cを参照して、制御装置140は制御部141、画像処理部142、記憶部143、入出力IF(インタフェース)144及び入力装置145を有する。
制御部141は、顕微鏡装置100全体及び各部を制御して、顕微鏡装置100としての機能を発揮させる。制御部141は、撮像装置130から送信された画像データを順次受信し、記憶部143に順次格納する。入出力IF144は、制御部141と外部装置との間のデータの送受信のインタフェースとして機能する。入力装置145は、キーボード、マウス、ボタン、タッチパネルなどから構成され、ユーザの指示を入出力IF144を介して制御部141に供給する。
画像処理部142は記憶部に格納された画像データを拡大縮小(倍率調整)、ノイズ除去、鮮明化、画像変換等の加工処理を行う。フレームデータの倍率調整にはデジタルズームを使用する。また、画像処理部142は画像歪の補正を行なっても良い。実施例2では、撮像素子131に撮影された被写体101の撮影画像について面内又は焦点に係る歪を補正して記憶部143に再記憶させる例について説明する。
Referring to FIG. 2C, the
The
The
記憶部143は、制御部141の動作プログラム、画像処理部142の動作プログラム、送信部134から受信した画像データ、画像処理部142が再生したフレームデータ、処理したフレームデータ等を記憶する。記憶部143は8Kレベルの解像度の高い画像、すなわち空間分解能の優れた画像を記憶できるので、表示装置150として、例えば30インチ以上の大画面モニタを使用する。大画面モニタでも、自然に見える。このため、関係者全員で大画面の画像を共有でき、スムーズなコミュニケーションが図れる。
The
図1に戻り、表示装置150は制御装置140から送信された画像データを8Kレベルの大画面に表示する。8Kでは観察すべき最小寸法(最大倍率)の像を撮像素子に鮮明に記憶し、大画面全体に表示するので、それ以上拡大することはあまりなく、縮小しても鮮明度が劣化しない。表示装置150は制御装置140から送信された画像データを8Kレベルの大画面に表示する。8Kでは細部でも高解像度が得られるので、拡大しても鮮明度が劣化しない。なお、縦横の倍率を変えることも可能である。ズームイン・ズームアウトにより、微小領域と広い範囲を切り替えて又は同時に表示することも可能である。
Returning to FIG. 1, the
図3は鏡筒について説明するための図である。鏡筒110の端部に位置する対物レンズ112の作用により、被写体101の倒立実像102が撮像素子131の面に形成される。すなわち、かかるレンズ系では、一般的な顕微鏡のように、一旦拡大虚像を作成し、その虚像を再度拡大して肉眼で観察するのではなく、倒立実像を撮像素子を介して大画面モニタの表示画面に写して観察する。したがって、鏡筒110内のレンズ系の構成はいたって簡素になる。
FIG. 3 is a diagram for explaining the lens barrel. An inverted
図4は大画面モニタについて説明するための図である。8Kモニタ302の画素数(3,300万)は2Kモニタ301の画素数(200万)の16倍である。画素数=視野(モニタ面積)×画素密度 なので、視野が2Kの4倍であれば、画素密度は4Kの4倍である。すなわち、2Kに比して広視野かつ高精細な画像を提供できる。撮像素子に、R(赤)G(緑)G(緑)B(青)の4画素を単位領域とし、そこに1μm□の像を撮影するなら、被写体101の3.8mm×2.15mmの領域を8Kの記憶素子に記憶し、8Kの画面全体に表示できることになる。これを縮小して表示することも、一部を切り出して表示することも可能である。8Kの記憶素子の画面が鮮明であれば、縮小しても鮮明である。なお、R(赤)G(緑)B(青)の3画素を単位領域としても良い。
例えば、顕微鏡の倍率を0.1〜100倍とする場合には、100倍に時の撮影画像として、8Kレベルの解像度の高い画像を使用すれば、10倍、1倍、0.1倍の画像として、8Kレベルの解像度の高い画像を1/10,1/100,1/1000に縮小した画像を使用するので、観察時に解像度が劣ったと感じられることはない。
FIG. 4 is a diagram for explaining a large screen monitor. The number of pixels of the 8K monitor 302 (33 million) is 16 times the number of pixels of the 2K monitor 301 (2 million). Since the number of pixels = field of view (monitor area) × pixel density, if the field of view is four times 2K, the pixel density is four times 4K. That is, it is possible to provide an image with a wider field of view and higher definition than 2K. If the image sensor has 4 pixels of R (red), G (green), G (green), and B (blue) as a unit area and a 1 μm square image is taken there, the
For example, when the magnification of the microscope is 0.1 to 100 times, if an image with a high resolution of 8K level is used as a photographed image at 100 times, 10 times, 1 time, and 0.1 times As an image, an image obtained by reducing an 8K level high-resolution image to 1/10, 1/100, or 1/1000 is used, so that it is not felt that the resolution is inferior at the time of observation.
図5はデジタルズームについて説明するための図である。拡大・縮小(倍率調整)にはデジタルズームを使用する。8Kでは観察すべき最小寸法(最大倍率)の像を撮像素子に鮮明に記憶し、大画面全体に表示するので、それ以上拡大することはあまりなく、縮小しても鮮明度が劣化しない。つまり、記憶部143には鮮明な画像が蓄積されているので、デジタルズームで拡大縮小しても画像がぼやけることはない。記憶部143の画像データ401をそのまま用いると8Kモニタ402の大画面表示になる。一部を切り出して表示することも可能である。また、画像を縮小表示して、4Kモニタ403、2Kモニタ404対応の画面表示も可能である。8K対応の画面自体が鮮明なので、縮小しても鮮明である。このように、広視野の範囲の画像を鮮明に表示できる。また、デジタルズームを画像処理(鮮明化処理)と併用すると、例えば特徴部分又は異常部分と他の部分とのコントラストを強調して表現する等により、一層鮮明な画像を得ることができる。
FIG. 5 is a diagram for explaining the digital zoom. Digital zoom is used for enlargement / reduction (magnification adjustment). In 8K, an image of the minimum size (maximum magnification) to be observed is clearly stored in the image sensor and displayed on the entire large screen, so that the image is not enlarged further, and the sharpness does not deteriorate even if the image is reduced. That is, since a clear image is stored in the
図6は撮像素子131について説明するための図である。撮像素子131は半導体基板上に、集積回路を形成する微細加工技術を用いて形成される。撮像素子131としてCCD回路素子又はCMOS回路素子を使用できる。撮像素子131は、いわゆる8K、即ち、7680×4320ピクセル(画素)のカラーイメージセンサから構成される。したがって、8Kの内視鏡装置100によれば、高精細な撮像画像を得ることができる。
FIG. 6 is a diagram for explaining the
しかしながら、イメージセンサの画素数を、単純に8K(7680×4320ピクセル)にするだけでは、表示装置(ディスプレイ)150上で8Kの真の解像度(画像の緻密さ)を実現できるとは限らない。
真に8Kの解像度を実現するためには、「画素のサイズが大きいこと」が必要である。イメージセンサの画素のサイズが小さすぎると、光の回折限界のために解像できず、ぼやけた画像になってしまう。内視鏡に適用する場合、体腔に挿入できるという制限から、内視鏡の内蔵レンズの径が非常に小さいため、そのままでは、大型のイメージセンサを使用することは困難である。
However, if the number of pixels of the image sensor is simply set to 8K (7680 × 4320 pixels), it is not always possible to achieve a true resolution (image density) of 8K on the display device (display) 150.
In order to realize a truly 8K resolution, it is necessary that “the pixel size is large”. If the pixel size of the image sensor is too small, the image cannot be resolved due to the light diffraction limit, resulting in a blurred image. When applied to an endoscope, because the diameter of the built-in lens of the endoscope is very small due to the restriction that it can be inserted into a body cavity, it is difficult to use a large image sensor as it is.
また、内視鏡内を導かれてきた光の径を、拡大レンズによりイメージセンサいっぱいに広げることが考えられる。しかし、倍率を上げれば上げるほど(焦点距離を遠くとるほど)、画面上のイメージサークルの面積は増えるが、反射光を得る術野範囲が狭くなる。このため、イメージセンサで受ける光(光子)の量が減り、画像が暗くなってしまうという問題があった。この問題は、8Kではイメージセンサの感度が4倍になった、液晶モニタが明るくなったことで解決できた。 In addition, it is conceivable that the diameter of the light guided through the endoscope is expanded to the full extent of the image sensor using a magnifying lens. However, the higher the magnification (the longer the focal length), the larger the image circle area on the screen, but the smaller the surgical field range to obtain reflected light. For this reason, there has been a problem that the amount of light (photons) received by the image sensor is reduced and the image becomes dark. This problem was solved by the fact that the sensitivity of the image sensor was quadrupled at 8K and the liquid crystal monitor became brighter.
8Kの解像度を実現するために、撮像素子131のピクセルのピッチPは、被写体101の照明に使用される主要光の回折限界以上の大きさにする。具体的には、ピッチPは、拡散層122から出射される照明光の波長、即ち、LED素子125の発光光の波長に相当する基準波長λより大きい値に設定される。なお、照明光が複数の波長の光を含む場合、基準波長λは、照明光を構成する三原色の光のうちの波長が最も長い光、即ち、赤い光の主成分の波長を意味する。即ち、赤色に対応するスペクトル領域でエネルギーの最も大きい波長を意味する。
In order to achieve 8K resolution, the pixel pitch P of the
また、レンズ系の開口度(f値)を大きくすると、明るくなるが、解像度が落ちる。開口度を小さくすると、解像度が上がるが、暗くなる。このため、8Kでは開口度(f値)が10〜16で、ピクセルのピッチ(画素ピッチ)Pは、2.8〜3.8μmが適切であることがわかった。ピッチが小さすぎると干渉が生じて画像がぼけてくる。大きすぎると基板が大きくなり、体積・重さ、スピード等で不利になる。3.0〜3.5μmがさらに適切である。ピクセルのピッチPを、2.8〜3.8μmとすると、撮像素子131の寸法は、約20〜30mm×12〜18mmとなる。
Also, if the aperture (f value) of the lens system is increased, the lens system becomes brighter, but the resolution decreases. Decreasing the aperture increases the resolution but darkens. For this reason, it was found that an aperture (f value) of 10 to 16 and a pixel pitch (pixel pitch) P of 2.8 to 3.8 μm are appropriate at 8K. If the pitch is too small, interference occurs and the image is blurred. If it is too large, the substrate becomes large, which is disadvantageous in terms of volume, weight and speed. 3.0 to 3.5 μm is more suitable. When the pixel pitch P is 2.8 to 3.8 μm, the size of the
画素数が多いので、1画素には微細領域の色彩を記録できる。例えば8Kでは20μmの細糸を識別可能である。(2Kでは肉眼で画素が見えるが、8Kでは見えない。)
8Kの画素数(約3,300万)は2K(約200万)の16倍である。表示装置150(図1参照)において、画素数=視野(モニタ面積)×画素密度 で表される。例えば、視野が2Kの4倍になると、画素密度も2Kの4倍になる。モニタ画面を見る視野角は、2Kで30度、4Kで60度、8Kで100度とすると、臨場感は100度でほぼ飽和するので、臨場感を求めるなら、8Kで十分である。
Since there are many pixels, the color of a fine area can be recorded in one pixel. For example, at 8K, a fine thread of 20 μm can be identified. (Pixels can be seen with the naked eye at 2K, but not at 8K.)
The number of 8K pixels (about 33 million) is 16 times 2K (about 2 million). In the display device 150 (see FIG. 1), the number of pixels = field of view (monitor area) × pixel density. For example, when the field of view becomes 4 times 2K, the pixel density also becomes 4 times 2K. Assuming that the viewing angle for viewing the monitor screen is 30 degrees at 2K, 60 degrees at 4K, and 100 degrees at 8K, the realistic sensation is almost saturated at 100 degrees, so 8K is sufficient to obtain a realistic sensation.
以上により、本実施例によれば、顕微鏡のレンズ系の構成を簡素化し、8Kの大画面モニタとデジタルズームを利用して、高倍率の映像を鮮明に観測可能にする顕微鏡装置を提供できる。 As described above, according to the present embodiment, it is possible to provide a microscope apparatus that simplifies the configuration of the lens system of the microscope and makes it possible to clearly observe a high-magnification image using an 8K large screen monitor and a digital zoom.
実施例2は、実施例1に撮影画像の歪補正を追加する例である。
図7は、実施例2に係る顕微鏡装置100A(図示しない)について説明するための図である。
xy平面内(撮像素子面内)の歪については、単位スケール指標(例えば100μm×100μm格子パターン)を撮影しておけば、撮影画像の歪の大きさと方向が解るので、補正に使用できる。実際の格子パターンの撮影画像上での格子予測パターンL0が実際の撮影画像上では格子映像パターンL1になったとする。格子予測パターンL0の頂点P0(x0,y0),格子映像パターンL1の頂点P1(x1,y1)とする。頂点P1(x1,y1)のずれは、Δx1=x1−x0、Δy1=y1−y0である。このずれを全ての格子点について求め、格子予測パターンL0の位置と格子映像パターンL1の位置との対応関係を記憶しておけば、映像上の任意の点における座標を補正可能である。
The second embodiment is an example in which distortion correction of a captured image is added to the first embodiment.
FIG. 7 is a diagram for explaining a microscope apparatus 100A (not shown) according to the second embodiment.
As for the distortion in the xy plane (in the imaging element plane), if the unit scale index (for example, 100 μm × 100 μm lattice pattern) is photographed, the magnitude and direction of the distortion of the photographed image can be understood and used for correction. Assume that the lattice prediction pattern L0 on the actual captured image of the lattice pattern becomes the lattice image pattern L1 on the actual captured image. It is assumed that the vertex P0 (x0, y0) of the lattice prediction pattern L0 and the vertex P1 (x1, y1) of the lattice image pattern L1. Deviations of the vertex P1 (x1, y1) are Δx1 = x1−x0 and Δy1 = y1−y0. If this shift is obtained for all grid points and the correspondence between the position of the predicted grid pattern L0 and the position of the grid video pattern L1 is stored, the coordinates at any point on the video can be corrected.
焦点の補正については、焦点距離を変えた複数の画像から補正可能、すなわち、焦点ボケのない画像を合成可能といわれており、補正が可能となる。色収差については、波長ごと(RGB)に焦点距離があった画像を求めて、これらを合成して求めれば良い。 Regarding the focus correction, it is said that correction can be performed from a plurality of images with different focal lengths, that is, it is possible to synthesize an image with no focal blur, and correction is possible. The chromatic aberration may be obtained by obtaining an image having a focal length for each wavelength (RGB) and combining them.
その他の構成については、実施例1と同様であり、実施例1と同様に、顕微鏡のレンズ系の構成を簡素化し、8Kの大画面モニタとデジタルズームを利用して、高倍率の映像を鮮明に観測可能にする顕微鏡装置を提供できる。 The other configuration is the same as that of the first embodiment. As in the first embodiment, the configuration of the lens system of the microscope is simplified, and an 8K large screen monitor and a digital zoom are used to clearly display a high-magnification image. A microscope apparatus that enables observation can be provided.
実施例3では、撮影画像の立体表示1について説明する。
図8は、実施例3に係る顕微鏡装置100B(図示しない)について説明するための図である。例えば、傾斜を変えて撮影した2以上の撮影画像を用いて、右眼から見た(右眼視野)画像とび左眼から見た(左眼視野)画像を別々に作成する。表示装置150には右眼視野画像と左眼視野画像を交互に送信し、表示装置150への送信と同期をとって、右眼視野画像を観察者の立体視用ゴーグル161の右眼に、左眼視野画像を観察者の立体視用ゴーグル161の左眼に送信すれば、立体画像を表示できる。なお、図8では、試料載置台163の傾斜を変えて、右眼視野で観察する態様と右眼視野で観察する態様と2つの態様が1つの図中に描かれているが、実際は、1つの試料載置台163上の試料に対して載置台傾斜調整部164により傾斜を調整して右眼視野と左目視野で観察することを示すものである。なお、162は鏡筒である。
その他の構成については、実施例1と同様であり、実施例1と同様に、顕微鏡のレンズ系の構成を簡素化し、8Kの大画面モニタとデジタルズームを利用して、高倍率の映像を鮮明に観測可能にする顕微鏡装置を提供できる。
In the third embodiment, a stereoscopic display 1 of a captured image will be described.
FIG. 8 is a diagram for explaining a microscope apparatus 100B (not shown) according to the third embodiment. For example, two or more photographed images photographed with different inclinations are used to separately create an image viewed from the right eye (right eye visual field) and an image viewed from the left eye (left eye visual field). The right eye field image and the left eye field image are alternately transmitted to the
The other configuration is the same as that of the first embodiment. As in the first embodiment, the configuration of the lens system of the microscope is simplified, and an 8K large screen monitor and a digital zoom are used to clearly display a high-magnification image. A microscope apparatus that enables observation can be provided.
実施例4は、実施例1に画像表示にこれまで蓄積されたDBデータの利用を追加する例である。
図9は、実施例4に係る顕微鏡装置100C(図示しない)について説明するための図である。
例えば、皮膚のしみ、肌荒れ等の肌表面のデータベースについても、多数の人の画像データを有し、また同一人についても時系列的な画像データを有していれば、被験者について現在撮影された画像と過去のデータを比較したり、他の患者や健常者の画像データを同一画面上で比較できる。これにより、症状を正しく判断するのに役立てられる。
The fourth embodiment is an example in which the use of the DB data accumulated so far is added to the image display in the first embodiment.
FIG. 9 is a diagram for explaining a microscope apparatus 100C (not shown) according to the fourth embodiment.
For example, a database of skin surfaces such as skin spots, rough skin, etc. also contains a large number of people's image data, and if the same person also has time-series image data, the subject was currently photographed. Images can be compared with past data, and image data of other patients and healthy persons can be compared on the same screen. This helps to correctly determine the symptoms.
図9の例では、左から検索対象画像データ、第1位の類似度で検索された画像データ、第2位の類似度で検索された画像データ、第3位の類似度で検索された画像データとする。また、上から正常な画像データ、中間の画像データ、異常な画像データ(1)、異常な画像データ(2)を、等しい倍率で配列した。このように検索画像データを利用すると、検索対象画像データの現状を把握しやすくなる。
その他の構成については、実施例1と同様であり、実施例1と同様に、顕微鏡のレンズ系の構成を簡素化し、8Kの大画面モニタとデジタルズームを利用して、高倍率の映像を鮮明に観測可能にする顕微鏡装置を提供できる。
In the example of FIG. 9, the search target image data from the left, the image data searched with the first similarity, the image data searched with the second similarity, and the image searched with the third similarity Data. Further, normal image data, intermediate image data, abnormal image data (1), and abnormal image data (2) are arranged at an equal magnification from the top. By using the search image data in this way, it becomes easy to grasp the current state of the search target image data.
The other configuration is the same as that of the first embodiment. As in the first embodiment, the configuration of the lens system of the microscope is simplified, and an 8K large screen monitor and a digital zoom are used to clearly display a high-magnification image. A microscope apparatus that enables observation can be provided.
実施例5は、実施例1に顕微鏡の倍率が低倍率、又は等倍の例について説明する。以上の実施例では、比較的倍率が高い又は中間領域を想定したが、例えば検眼装置では1〜100倍程度の低倍率の顕微鏡機能を有する装置が実用されている。
本実施例5における構成の顕微鏡装置100D(図示しない)はこれらの低倍率の顕微鏡装置にも適用可能である。低倍率ほど、鏡筒110の構成を簡易にでき、小型化でき、かつ撮影画像の歪も小さいので、むしろ低倍率の顕微鏡に適しているといえる。0.1倍は例えば全体像を参照するときに使用される。
その他の構成については、実施例1と同様であり、実施例1と同様に、顕微鏡のレンズ系の構成を簡素化し、8Kの大画面モニタとデジタルズームを利用して、高倍率の映像を鮮明に観測可能にする顕微鏡装置を提供できる。
Example 5 describes an example in which the magnification of the microscope in Example 1 is low or equal. In the above embodiments, a relatively high magnification or an intermediate region is assumed. For example, in an optometry apparatus, an apparatus having a microscope function with a low magnification of about 1 to 100 times is practically used.
The microscope apparatus 100D (not shown) having the configuration according to the fifth embodiment can be applied to these low-magnification microscope apparatuses. The lower the magnification, the simpler the structure of the
The other configuration is the same as that of the first embodiment. As in the first embodiment, the configuration of the lens system of the microscope is simplified, and an 8K large screen monitor and a digital zoom are used to clearly display a high-magnification image. A microscope apparatus that enables observation can be provided.
以上、本実施の形態について説明したが、本発明は以上の実施の形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、実施の形態に種々の変更を加えられることは明白である。 Although the present embodiment has been described above, the present invention is not limited to the above embodiment, and it is obvious that various modifications can be made to the embodiment without departing from the spirit of the present invention. is there.
例えば、以上の実施例では、光反射型顕微鏡の例について説明したが、光透過型顕微鏡にも適用可能である。また、以上の実施例では、冷却装置を使用しない例について説明しているが、冷却装置を使用しても良い。また、以上の実施例では、R(赤)G(緑)G(緑)B(青)の4画素を単位領域とする例について説明したが、例えばR(赤)G(緑)B(青)にIR(近赤外線)をいれて4画素にしても良く、4画素に限られず、例えばR(赤)G(緑)B(青)3画素を単位領域としてもよく、5画素を単位領域としてもよく、モノクロに限定すれば1画素であっても良い。また、実施例4では皮膚のしみ、肌荒れの画像データベースを用いる例について説明したが、医療用の画像データベースでも良く、微生物の画像データベースを用いても良い。その他、顕微鏡の倍率、寸法、重量、撮像素子のパターン寸法、モニタ画面の性能等は適宜変更可能である。 For example, in the above embodiment, an example of a light reflection microscope has been described, but the present invention can also be applied to a light transmission microscope. Moreover, although the above Example demonstrated the example which does not use a cooling device, you may use a cooling device. In the above embodiment, an example in which four pixels of R (red), G (green), G (green), and B (blue) are used as unit regions has been described. For example, R (red), G (green), B (blue) ) IR (near-infrared) may be added to form 4 pixels, not limited to 4 pixels. For example, R (red) G (green) B (blue) 3 pixels may be used as a unit area, and 5 pixels may be used as a unit area. If it is limited to monochrome, it may be one pixel. In the fourth embodiment, an example of using an image database of skin blemishes and rough skin has been described. However, a medical image database or a microbial image database may be used. In addition, the magnification, dimensions, and weight of the microscope, the pattern size of the image sensor, the performance of the monitor screen, and the like can be changed as appropriate.
本発明は、顕微鏡装置に利用可能である。 The present invention is applicable to a microscope apparatus.
100,100A〜100D 顕微鏡装置
101 被写体
110 鏡筒
112 対物レンズ
120 照明装置
125 LED素子
126 第1のドライバ回路
130 撮像装置
131 撮像素子
132 第2のドライバ回路
133 A/D変換部
134 送信部
140 制御装置
141 制御部
142 画像処理部
143 記憶部
144 入出力IF
145 入力装置
150 表示装置
161 立体視用ゴーグル
162 鏡筒
163 試料載置台
164 載置台傾斜調整部
301 8Kモニタ
302 2Kモニタ
401 記憶部の画像データ
402 8Kモニタ
403 4Kモニタ
404 2Kモニタ
100, 100A to 100D
145
Claims (6)
前記反射光又は透過光を受光して前記被写体の撮影画像を取得する前記撮像素子を搭載する撮影装置と;
前記被写体の撮影画像を8Kレベルの解像度で記憶する記憶部と;
前記記憶部に記憶された前記撮影画像をデジタルズームを用いて拡大縮小する画像処理部と;
前記画像処理部で倍率調整された撮影画像を表示部にデジタル送信する送信部と;
前記送信部からデジタル送信された撮影画像を8Kレベルの解像度で大画面に表示する表示装置とを備え;
前記対物レンズから前記撮像素子までに形成される像は実像のみである;
顕微鏡装置。 A lens barrel containing a lens system including an objective lens that guides reflected light or transmitted light from the subject to the imaging device;
An imaging device equipped with the imaging element that receives the reflected light or transmitted light to acquire a captured image of the subject;
A storage unit for storing the photographed image of the subject at a resolution of 8K level;
An image processing unit that enlarges / reduces the captured image stored in the storage unit using a digital zoom;
A transmission unit for digitally transmitting a captured image whose magnification has been adjusted by the image processing unit to a display unit;
A display device that displays a captured image digitally transmitted from the transmission unit on a large screen with a resolution of 8K level;
The image formed from the objective lens to the image sensor is only a real image;
Microscope device.
請求項1に記載の顕微鏡装置。 The unit region of the image sensor is an area of about 36 .mu.m 2 comprised of regions or four elements of about 27 [mu] m 2 consisting of three elements, the minimum area of the observation target of the subject, the unit region of the image sensor The lens system of the barrel is configured to be photographed
The microscope apparatus according to claim 1.
請求項1又は請求項2に記載の顕微鏡装置。 The image processing unit corrects in-plane or focal distortion for the photographed image of the subject photographed by the image sensor and re-stores it in the storage unit;
The microscope apparatus according to claim 1 or 2.
左眼と右眼で異なる画像を観察する立体視用ゴーグルとを備え;
前記送信部は、前記ステージの傾斜を変えて撮影した左眼用の撮影画像と右眼用の撮影画像を前記表示装置に交互に送信すると共に、前記表示装置に右眼用の撮影画像を送信するときは、前記立体視用ゴーグルの左眼に視野を遮る遮視画像を送信し、前記表示装置に左眼用の撮影画像を送信するときは、前記立体視用ゴーグルの右眼に前記遮視画像を送信する;
請求項1ないし請求項3のいずれか1項に記載の顕微鏡装置。 A mounting table tilt adjustment unit capable of adjusting the tilt of the sample mounting table on which the subject is mounted;
Stereoscopic goggles for observing different images with the left and right eyes;
The transmission unit alternately transmits a captured image for the left eye and a captured image for the right eye, which are captured while changing the tilt of the stage, to the display device, and transmits a captured image for the right eye to the display device. When transmitting, a blocking image that blocks the visual field is transmitted to the left eye of the stereoscopic goggles, and when transmitting a captured image for the left eye to the display device, the blocking eye is applied to the right eye of the stereoscopic goggles. Send visual images;
The microscope apparatus according to any one of claims 1 to 3.
前記表示装置は、前記制御装置が前記データベースから取得した撮影画像を当該顕微鏡装置で撮影した撮影画像と同画面に表示可能である;
請求項1ないし請求項4のいずれか1項に記載の顕微鏡装置。 The control device acquires the related captured image from a database of captured images related to the subject;
The display device can display a captured image acquired from the database by the control device on the same screen as a captured image captured by the microscope device;
The microscope apparatus according to any one of claims 1 to 4.
請求項1ないし請求項5のいずれか1項に記載の顕微鏡装置。
The magnification by the objective lens system is 0.1 to 100;
The microscope apparatus according to any one of claims 1 to 5.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016200399A JP2018063309A (en) | 2016-10-11 | 2016-10-11 | Microscope device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016200399A JP2018063309A (en) | 2016-10-11 | 2016-10-11 | Microscope device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018063309A true JP2018063309A (en) | 2018-04-19 |
Family
ID=61966686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016200399A Pending JP2018063309A (en) | 2016-10-11 | 2016-10-11 | Microscope device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018063309A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019198189A1 (en) * | 2018-04-11 | 2019-10-17 | カイロス株式会社 | Microscope device |
WO2020230729A1 (en) * | 2019-05-14 | 2020-11-19 | エア・ウォーター・バイオデザイン株式会社 | Medical microscope apparatus |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030053202A1 (en) * | 2001-09-17 | 2003-03-20 | Iekado Sibata Yoshikatsu Seiki | Surgical microscope system |
JP2007135135A (en) * | 2005-11-14 | 2007-05-31 | Olympus Corp | Moving image imaging apparatus |
JP2012005557A (en) * | 2010-06-23 | 2012-01-12 | Terumo Corp | Medical robot system |
JP2012142885A (en) * | 2011-01-06 | 2012-07-26 | Panasonic Corp | Camera, distortion correction device, and distortion correction method |
JP2015502768A (en) * | 2011-09-30 | 2015-01-29 | エシコン・エンド−サージェリィ・インコーポレイテッドEthicon Endo−Surgery,Inc. | Robotic operating table |
WO2015029318A1 (en) * | 2013-08-26 | 2015-03-05 | パナソニックIpマネジメント株式会社 | 3d display device and 3d display method |
WO2016152987A1 (en) * | 2015-03-25 | 2016-09-29 | ソニー・オリンパスメディカルソリューションズ株式会社 | Medical observation device, surgical observation device, and medical observation system |
-
2016
- 2016-10-11 JP JP2016200399A patent/JP2018063309A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030053202A1 (en) * | 2001-09-17 | 2003-03-20 | Iekado Sibata Yoshikatsu Seiki | Surgical microscope system |
JP2007135135A (en) * | 2005-11-14 | 2007-05-31 | Olympus Corp | Moving image imaging apparatus |
JP2012005557A (en) * | 2010-06-23 | 2012-01-12 | Terumo Corp | Medical robot system |
JP2012142885A (en) * | 2011-01-06 | 2012-07-26 | Panasonic Corp | Camera, distortion correction device, and distortion correction method |
JP2015502768A (en) * | 2011-09-30 | 2015-01-29 | エシコン・エンド−サージェリィ・インコーポレイテッドEthicon Endo−Surgery,Inc. | Robotic operating table |
WO2015029318A1 (en) * | 2013-08-26 | 2015-03-05 | パナソニックIpマネジメント株式会社 | 3d display device and 3d display method |
WO2016152987A1 (en) * | 2015-03-25 | 2016-09-29 | ソニー・オリンパスメディカルソリューションズ株式会社 | Medical observation device, surgical observation device, and medical observation system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019198189A1 (en) * | 2018-04-11 | 2019-10-17 | カイロス株式会社 | Microscope device |
WO2020230729A1 (en) * | 2019-05-14 | 2020-11-19 | エア・ウォーター・バイオデザイン株式会社 | Medical microscope apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10129520B2 (en) | Apparatus and method for a dynamic “region of interest” in a display system | |
US9301682B2 (en) | Eye examination apparatus with digital image output | |
CN104918572B (en) | For the video capture of surgical operation and the digital display circuit of display | |
CN106255912B (en) | Objective lens optical system | |
US20020055669A1 (en) | Endoscope system | |
JP6893896B2 (en) | Medicine-How to activate an optical display system | |
US20090059364A1 (en) | Systems and methods for electronic and virtual ocular devices | |
US20120002084A1 (en) | Systems, apparatus, and methods for digital image capture with variable density display and high resolution electronic zoom | |
CN109031642A (en) | A kind of display methods and system and device of general stereoscopic micro- Glassless | |
JP2018063309A (en) | Microscope device | |
US20240061273A1 (en) | Electronic loupe | |
JPH11318936A (en) | Microscopic device for operation | |
JP2018108174A (en) | Endoscope apparatus | |
US20190142254A1 (en) | Endoscope device | |
WO2019198189A1 (en) | Microscope device | |
US11778325B2 (en) | Image processing apparatus, image processing method, and image processing program | |
TWI667494B (en) | Microscope device | |
US11036040B2 (en) | Digital microscope and digital microscopy method | |
JP2012238088A (en) | Method and device for selecting and displaying image | |
US10897580B2 (en) | Observation device that controls numerical aperture in accordance with specified observation scope | |
WO2019198293A1 (en) | Microscope system and medical light source device | |
JP3047831U (en) | Digital optical microscope and telescope | |
JP2002272760A (en) | Microscope system for operation | |
JPH105179A (en) | Ophthalmologic photographing device | |
US20240022680A1 (en) | Electronic loupe |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190913 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200804 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210316 |