JP2014232222A - Endoscope device and photographing method of endoscope image - Google Patents
Endoscope device and photographing method of endoscope image Download PDFInfo
- Publication number
- JP2014232222A JP2014232222A JP2013113229A JP2013113229A JP2014232222A JP 2014232222 A JP2014232222 A JP 2014232222A JP 2013113229 A JP2013113229 A JP 2013113229A JP 2013113229 A JP2013113229 A JP 2013113229A JP 2014232222 A JP2014232222 A JP 2014232222A
- Authority
- JP
- Japan
- Prior art keywords
- bending
- operation instruction
- amount
- distal end
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Image Input (AREA)
Abstract
Description
本発明は、内視鏡装置及び内視鏡画像の撮影方法に関する。 The present invention relates to an endoscope apparatus and an endoscopic image capturing method.
従来より、内視鏡装置は、工業分野及び医療分野において広く利用されている。内視鏡装置は、観察対象物内に挿入する挿入部と、対象物内を撮像して得られた観察画像である内視鏡画像を表示する表示部を有する本体部とを備えて構成されたものが一般的である。内視鏡装置は、工業分野においては、その細長の挿入部をボイラ、タービン、エンジン等の内部に挿入して、内部の傷や腐食を観察、検査するために使用される。 Conventionally, endoscope apparatuses have been widely used in the industrial field and the medical field. An endoscope apparatus includes an insertion unit that is inserted into an observation object and a main body unit that includes a display unit that displays an endoscopic image that is an observation image obtained by imaging the inside of the object. Is common. In an industrial field, an endoscope apparatus is used for inserting and inserting an elongated insertion portion into a boiler, a turbine, an engine, or the like to observe and inspect internal scratches and corrosion.
このような内視鏡装置として、挿入部の先端に湾曲機構を有し、視野方向が可変な内視鏡装置が一般的に広く用いられている。内視鏡装置は、この湾曲機構を有することにより、例えば魚眼レンズ等の特殊な光学系を用いなくても、一般的に用いられる狭視野角のレンズで被検体内部の空間を広く観察することが可能となる。また、内視鏡装置は、狭視野角のレンズで被検体内部の空間を広く観察することにより、特に注視したい観察エリアでの撮像解像度を高く維持することも可能である。 As such an endoscope apparatus, an endoscope apparatus having a bending mechanism at the distal end of an insertion portion and having a variable visual field direction is generally widely used. The endoscope apparatus has this bending mechanism, so that it is possible to widely observe the space inside the subject with a generally used lens with a narrow viewing angle without using a special optical system such as a fish-eye lens. It becomes possible. In addition, the endoscope apparatus can maintain a high imaging resolution particularly in an observation area to be watched by observing a wide space inside a subject with a lens having a narrow viewing angle.
この湾曲操作を実現する方法として、挿入部の先端の湾曲部に接続された複数のワイヤを挿入部の根元部から牽引する方法が一般的に知られている。本体部、あるいは、挿入部の根元に設けられた操作部の湾曲量操作手段の出力指示に応じて、複数のワイヤのそれぞれの牽引量を変更することにより、挿入部の先端を任意の方向に湾曲させることが可能となる。 As a method for realizing this bending operation, a method is generally known in which a plurality of wires connected to the bending portion at the distal end of the insertion portion are pulled from the root portion of the insertion portion. By changing the pulling amount of each of the plurality of wires in accordance with the output instruction of the bending amount operation means of the operation part provided at the base of the main body part or the insertion part, the distal end of the insertion part can be moved in an arbitrary direction. It can be curved.
一般的に、ワイヤの牽引力量は、挿入部が長尺になるにしたがい大きくなるため、操作者の指の力では牽引しきれないことがある。このような場合、ワイヤの牽引力量を発生させる手段として、電動モータの力を利用した方法が有効となる。 In general, the amount of traction force of the wire increases as the insertion portion becomes longer, so that the wire may not be pulled by the operator's finger force. In such a case, a method using the force of the electric motor is effective as means for generating the amount of traction force of the wire.
例えば、特開2002−315719号公報には、湾曲量調整用のジョイスティックの出力と、ワイヤを牽引するモータに取り付けられたポテンショメータの出力との差に応じて、モータ駆動回路の出力を変更する、所謂、サーボ制御動作を行う電動湾曲内視鏡が開示されている。これにより、モータの力を利用してワイヤの牽引を行いつつ、ジョイスティックの指示に応じた先端湾曲動作が可能となっている。 For example, JP 2002-315719 A discloses changing the output of a motor drive circuit according to the difference between the output of a joystick for adjusting the amount of bending and the output of a potentiometer attached to a motor that pulls the wire. An electric bending endoscope that performs a so-called servo control operation is disclosed. Thereby, the tip bending operation according to the instruction of the joystick can be performed while the wire is pulled using the force of the motor.
一方、特許第4624802号公報には、挿入部の先端を湾曲させながら繰り返し撮影を行い、パノラマ画像を生成する内視鏡装置が開示されている。この内視鏡装置は、そのようなパノラマ画像を生成した上で、観察視野内で生じる動きのある像を検知することにより、動体の動きに合わせてスコープ先端部の湾曲追跡の制御が可能になるとしている。 On the other hand, Japanese Patent No. 4624802 discloses an endoscope apparatus that repeatedly captures images while bending the distal end of an insertion portion to generate a panoramic image. This endoscopic device generates such a panoramic image and then detects the moving image that occurs within the observation field of view, enabling control of the curvature tracking of the scope tip in accordance with the movement of the moving object. It is going to be.
しかしながら、特開2002−315719号公報の電動湾曲内視鏡は、基本的に検査者が操作部を手動操作しながら撮影を行うことを前提としている。そのため、例えば、被検体内部の状態を網羅的に撮像及び記録したい場合において、検査者は、観察画像を確認しつつ、少しずつ湾曲量を調整しながら撮像及び記録を繰り返し行う作業が必要となり、大変な労力が必要であった。また、この作業を正確に行わないと、撮像画像の記録の漏れが発生する可能性があり、被検体の重大な欠陥を見落とす可能性もある。 However, the electric bending endoscope disclosed in Japanese Patent Application Laid-Open No. 2002-315719 is basically based on the premise that an examiner performs photographing while manually operating the operation unit. Therefore, for example, when it is desired to comprehensively capture and record the state of the inside of the subject, the examiner needs to repeat the imaging and recording while confirming the observation image and adjusting the curvature amount little by little. A lot of effort was required. In addition, if this operation is not performed accurately, there is a possibility that recording of captured images may occur and a serious defect of the subject may be overlooked.
一方、特許第4624802号公報の内視鏡装置では、自動的に湾曲制御を行うとの開示はされているが、パノラマ画像を作成するための重なり部を持たせるための湾曲指示値を決定する具体的な方法については開示されていない。 On the other hand, in the endoscope apparatus disclosed in Japanese Patent No. 4624802, it is disclosed that bending control is automatically performed, but a bending instruction value for providing an overlapping portion for creating a panoramic image is determined. No specific method is disclosed.
そこで、本発明は、被検体内部の状態を網羅的に把握するための内視鏡観察作業を簡単に行うことができ、かつ、撮像画像の記録漏れの発生を防ぐことができる内視鏡装置及び内視鏡画像の撮影方法を提供することを目的とする。 Accordingly, the present invention provides an endoscope apparatus that can easily perform an endoscope observation work for comprehensively grasping the state inside a subject and can prevent occurrence of recording omission of a captured image. And it aims at providing the imaging | photography method of an endoscopic image.
本発明の一態様の内視鏡装置は、先端部に撮像部を有する挿入部と、前記挿入部の先端部の基端側に設けられ、前記先端部を所望の方向に湾曲させる湾曲部と、前記先端部に取り付けられる光学アダプタの光学特性、ズーム倍率、及び、湾曲操作指示量と前記先端部の湾曲量との対応関係に基づいて、所定の湾曲角度の間隔で前記湾曲部を湾曲させるための前記湾曲操作指示量のピッチを算出する湾曲操作指示量算出部と、前記湾曲操作指示量算出部で算出された前記湾曲操作指示量のピッチ毎に前記撮像部で撮像された撮像画像を自動的に記録するように制御する画像信号処理部と、を有する。 An endoscope apparatus according to an aspect of the present invention includes an insertion portion having an imaging portion at a distal end portion, a bending portion that is provided on a proximal end side of the distal end portion of the insertion portion and curves the distal end portion in a desired direction. The bending portion is bent at an interval of a predetermined bending angle based on an optical characteristic of an optical adapter attached to the tip portion, a zoom magnification, and a correspondence relationship between a bending operation instruction amount and a bending amount of the tip portion. A bending operation instruction amount calculation unit for calculating a pitch of the bending operation instruction amount for the imaging operation, and a captured image captured by the imaging unit for each pitch of the bending operation instruction amount calculated by the bending operation instruction amount calculation unit. And an image signal processing unit that controls to automatically record.
本発明の一態様の内視鏡画像の撮影方法は、撮像部を有する挿入部の先端部に取り付けられる光学アダプタの光学特性、ズーム倍率、及び、湾曲操作指示量と前記先端部の湾曲量との対応関係に基づいて、所定の湾曲角度の間隔で、前記先端部を所望の方向に湾曲させる、前記挿入部の先端部の基端側に設けられた湾曲部を湾曲させるための前記湾曲操作指示量のピッチを算出すること、算出された前記湾曲操作指示量のピッチ毎に前記撮像部で撮像された撮像画像を自動的に記録するように制御すること、を含む。 An endoscopic image capturing method according to an aspect of the present invention includes an optical characteristic of an optical adapter attached to a distal end portion of an insertion portion having an imaging portion, a zoom magnification, a bending operation instruction amount, and a bending amount of the distal end portion. The bending operation for bending the bending portion provided on the proximal end side of the distal end portion of the insertion portion, which bends the distal end portion in a desired direction at intervals of a predetermined bending angle based on the correspondence relationship of Calculating the pitch of the command amount, and controlling to automatically record a captured image captured by the imaging unit for each calculated pitch of the bending operation command amount.
本発明によれば、被検体内部の状態を網羅的に把握するための内視鏡観察作業を簡単に行うことができ、かつ、撮像画像の記録漏れの発生を防ぐことができる内視鏡装置及び内視鏡画像の撮影方法を提供することができる。 According to the present invention, an endoscope apparatus that can easily perform an endoscopic observation operation for comprehensively grasping the state of the inside of a subject and can prevent occurrence of a recording omission of a captured image. In addition, an endoscopic image capturing method can be provided.
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施の形態)
Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
図1は、第1の実施の形態に係わる内視鏡装置の構成を示す図である。 FIG. 1 is a diagram illustrating a configuration of an endoscope apparatus according to the first embodiment.
図1に示すように、内視鏡装置1は、可撓性を有する細長の挿入部2と、挿入部2が接続される本体部3とを有して構成されている。挿入部2の先端部4には、撮像部としてのCCD5と、CCD5の撮像面側に配置された対物レンズ6とが設けられている。また、挿入部2の先端部4の基端側には、先端部4を所望の方向に湾曲させる湾曲部7が設けられている。
As shown in FIG. 1, the endoscope apparatus 1 includes an
また、挿入部2の先端部4には、視野方向や視野角特性等の光学特性を変換する光学アダプタ8が取り付け可能になっている。検査者は、検査の箇所や状況に合わせて、視野方向や視野角特性が異なる光学アダプタ8を選択し、先端部4に取り付けことができる。光学アダプタ8には、光学アダプタ8の種別等を識別するためのID情報9と、被検体を照明するためのLED10と、対物レンズ11とが設けられている。ID情報9は、例えば、抵抗であり、後述する光学アダプタ識別部18によりその抵抗値が検出されることで、光学アダプタ8の種別等が識別される。
Further, an
本体部3は、内視鏡画像や操作メニュー等が表示される表示部としての液晶パネル(以下、LCDと略す)12を有する。なお、LCD12にタッチパネルが設けられてもよい。また、本体部3は、各種操作を行うための操作部13を有する。操作部13は、後述する手動湾曲モード及び自動湾曲モードを選択するためのモード切替部としてのモード選択スイッチ13aと、湾曲部7を湾曲させる湾曲ジョイスティック13bとを含んで構成されている。
The main body 3 includes a liquid crystal panel (hereinafter abbreviated as LCD) 12 as a display unit on which an endoscopic image, an operation menu, and the like are displayed. The
さらに、本体部3は、光源駆動部14と、CCD信号処理部15と、画像信号処理部16と、画像記録部17と、光学アダプタ識別部18と、湾曲制御処理部19と、中央処理装置(以下、CPUという)20と、メモリ21と、操作部処理部22と、バス23と、バッテリ24とを有して構成されている。なお、光源駆動部14、CCD信号処理部15、画像信号処理部16、光学アダプタ識別部18、湾曲制御処理部19、CPU20及び操作部処理部22は、互いにバス23を介して接続されている。
Further, the main body 3 includes a light
光源駆動部14は、光源としてのLED10を駆動するための駆動信号をLED10に出力する。CCD信号処理部15は、CCD5に駆動信号を出力するとともに、CCD5で撮像された撮像信号に所定の信号処理を行い、画像信号処理部16に出力する。
The light
画像信号処理部16は、CCD信号処理部15からの撮像信号に所定の画像信号処理を施し、LCD12に表示するための信号及び/または画像記録部17に記録するための信号を生成し、LCD12及び/または画像記録部17に出力する。また、画像信号処理部16は、撮像画像のサイズを変更するズーム処理が含まれており、操作部13からの設定に基づいて撮像画像データを拡大または縮小することができる。さらに、画像信号処理部16は、撮像画像に含まれる特異な画像パターンを検知するマッチング処理や撮像画像の動き量を検知する動き量検知処理等も含まれる。
The image
LCD12は、画像信号処理部16からの撮像画像を表示する。また、画像記録部17は、画像信号処理部16からの撮像画像を記録する。なお、画像記録部17は、本体部3に設けられたメモリでもよいし、本体部3に着脱可能なメモリカード等でもよい。
The
光学アダプタ識別部18は、先端部4に取り付けられた光学アダプタ8のID情報9を読み出す。上述したように、ID情報9は例えば抵抗であり、光学アダプタ識別部18は、その抵抗値から先端部4に取り付けられた光学アダプタ8の種別や光学特性を識別する。光学アダプタ識別部18は、識別した光学アダプタ8の種別や光学特性をバス23を介して操作部処理部22に出力する。
The optical
湾曲制御処理部19は、後述する操作部処理部22からの湾曲制御信号に応じて、湾曲部7を湾曲制御する。なお、湾曲制御処理部19の詳細は図2を用いて説明するが、操作部処理部22からの湾曲指示量と、ポテンショメータを介して出力されるギアの回転角度が一致するようなサーボ制御が行われる。
The bending
CPU20は、本体部3の全体の制御を行う。メモリ21は、CPU20が本体部3の全体の制御を行う際に実行するプログラムが記憶されている。また、メモリ21は、CPU20がそのプログラムを実行する際のデータ、演算結果等を一時的に記憶する。
The
操作部処理部22は、操作部13のモード選択スイッチ13a、湾曲ジョイスティック13bからの操作信号に応じて、湾曲制御信号を湾曲制御処理部19に出力する。バッテリ24は、本体部3の各種回路へ電源を供給する。
The operation
次に、本実施の形態の湾曲制御に関係する詳細な回路構成について図2を用いて説明する。図2は、湾曲制御に関係する詳細な回路構成について説明するための図である。 Next, a detailed circuit configuration related to the bending control of the present embodiment will be described with reference to FIG. FIG. 2 is a diagram for explaining a detailed circuit configuration related to bending control.
図2に示すように、操作部処理部22は、手動湾曲処理部31と、自動湾曲処理部32と、切替部33とを有して構成されている。また、湾曲制御処理部19は、減算部34と、フィルタ処理部35と、駆動回路36と、モータ37と、ギア38と、ポテンショメータ39と、ADコンバータ40とを有して構成されている。また、上述したように、操作部13は、モード選択スイッチ13aと、湾曲ジョイスティック13bとを含んでいる。
As illustrated in FIG. 2, the operation
検査者は、モード選択スイッチ13aを操作することで、手動湾曲モードまたは自動湾曲モードを選択する。モード選択スイッチ13aからのモード選択信号は、操作部処理部22の切替部33に入力される。
The inspector selects the manual bending mode or the automatic bending mode by operating the
切替部33は、モード選択スイッチ13aからのモード選択信号に応じて、手動湾曲処理部31及び自動湾曲処理部32の接続先を切り替える。具体的には、モード選択スイッチ13aにより手動湾曲モードが選択された場合、手動湾曲処理部31が湾曲制御処理部19に接続され、モード選択スイッチ13aにより自動湾曲モードが選択された場合、自動湾曲処理部32が湾曲制御処理部19に接続される。
The switching
モード選択スイッチ13aにより手動湾曲モードが選択された場合、検査者は、湾曲ジョイスティック13bを用いて湾曲部7を手動で湾曲操作することができる。湾曲ジョイスティック13bからの湾曲操作量は、手動湾曲処理部31に入力される。手動湾曲処理部31は、湾曲ジョイスティック13bからの湾曲操作量に応じて、適切な湾曲量の指示(湾曲操作指示量)を湾曲制御処理部19に出力する。
When the manual bending mode is selected by the
また、自動湾曲処理部32には、画像信号処理部16からのズーム倍率及び光学アダプタ識別部18からの光学アダプタ8の画角(光学特性)の情報が入力される。湾曲操作指示量算出部としての自動湾曲処理部32は、モード選択スイッチ13aにより自動湾曲モードが選択された場合、光学アダプタ8の画角、ズーム倍率、及び、湾曲操作指示量と先端部4の湾曲量との対応関係に基づいて、適切な湾曲量の指示のピッチ(湾曲操作指示量のピッチ)を算出し、湾曲制御処理部19に出力する。また、自動湾曲処理部32は、湾曲量に応じた適切なタイミングで撮像画像を記録するためのタイミングの指示を画像信号処理部16に出力する。このタイミングは、自動湾曲処理部32で算出された湾曲操作指示量のピッチ毎である。画像信号処理部16は、自動湾曲処理部32で算出された湾曲操作指示量のピッチ毎に、CCD5で撮像された撮像画像を自動的に画像記録部17に記録するように制御する。
In addition, information about the zoom magnification from the image
減算部34には、操作部処理部22からの湾曲指示量と、ギア38の回転角度とが入力される。ギア38の回転角度は、ポテンショメータ39で検出される。ポテンショメータ39で検出されたギア38の回転角度は、ADコンバータ40でアナログ信号からデジタル信号に変換され、減算部34に入力される。減算部34は、入力された操作部処理部22からの湾曲指示量と、ギア38の回転角度とを減算し、その減算結果をフィルタ処理部35に出力する。
The bending instruction amount from the operation
フィルタ処理部35は、減算部34からの減算結果に、例えばPID制御等の所定のフィルタ処理を施し、駆動回路36に出力する。駆動回路36は、フィルタ処理部35から入力された信号を電流値に変換し、モータ37を駆動する。モータ37の駆動力は、ギア38を介して、ギア38と湾曲部7とを接続する湾曲ワイヤに伝達され、湾曲部7を所望の方向に湾曲させる。すなわち、操作部処理部22からの湾曲指示量と、ギア38の回転角度とが同じ場合、減算部34からの出力は0となり、湾曲部7の湾曲角度は維持されることになる。
The
図3は、光学アダプタ8の画角と湾曲部7の湾曲角度との関係を説明するための図である。
FIG. 3 is a diagram for explaining the relationship between the angle of view of the
挿入部2がトグロを巻いていない略ストレートの形状において、操作部処理部22から湾曲制御処理部19に入力される湾曲操作指示量と、先端部4の湾曲量との対応関係は、設計、製造の段階、すなわち、工場出荷時に予め判っている。そのため、検査時の挿入部2の形状が略ストレートの場合には、この対応関係を用いて先端部4の湾曲量の制御が可能である。この対応関係は、例えば、メモリ21に記憶されている。
In a substantially straight shape in which the
1回の撮像で記録可能な視野範囲は、光学アダプタ8の画角θ1、及び、ズーム倍率αで決定される。操作部処理部22は、あるタイミングで撮像画像を記録した後、撮像画像の記録の漏れが発生しないような湾曲操作指示量を湾曲制御処理部19に出力する。これにより、先端部4が湾曲操作指示量に応じた湾曲量、すなわち、湾曲角度θ2で湾曲する。
The visual field range that can be recorded by one imaging is determined by the angle of view θ1 of the
ここで、撮像画像の記録の漏れが発生しないような先端部4の湾曲角度θ2は、先端部4から被写体までの対物距離をd、先端部4の先端硬質部長をlとし、d>>lが成立する場合、θ2=θ1×1/αにより算出することができる。
Here, the bending angle θ2 of the
すなわち、光学アダプタ8の画角θ1が120°でズーム倍率αが1倍の場合、湾曲角度θ2は120°と算出される。また、光学アダプタ8の画角θ1が120°でズーム倍率αが2倍の場合、湾曲角度θ2は60°と算出される。
That is, when the angle of view θ1 of the
なお、撮像画像の記録の漏れを防ぐために、撮像範囲が少し重なるような先端部4の湾曲角度θ2を算出する場合、θ2=θ1×1/α×βにより算出する。ただし、βは1未満の係数である。
In order to prevent omission of recording of captured images, when calculating the bending angle θ2 of the
操作部処理部22の自動湾曲処理部32は、このように撮像画像の記録の漏れが発生しないような先端部4の湾曲角度θ2を算出すると、その湾曲角度θ2に対応する湾曲操作指示量を湾曲制御処理部19に出力する。そして、自動湾曲処理部32は、先端部4が湾曲角度θ2で湾曲したタイミングで撮像画像を記録するように画像信号処理部16に指示する。
When the automatic
図4は、撮像画像の記録のタイミングについて説明するための図である。 FIG. 4 is a diagram for explaining the recording timing of the captured image.
上述したように、湾曲操作指示量と、先端部4の湾曲量、すなわち、先端部4の湾曲角度θ2との対応関係は、工場出荷時に判っている。そのため、自動湾曲処理部32は、先端部4の湾曲角度θ2上述したように算出された値になる湾曲操作指示量のタイミングで撮像画像を記録するように画像信号処理部16に指示する。画像信号処理部16は、の自動湾曲処理部32から指示されたタイミングで撮像画像を画像記録部17に記録する。このような記録をUD方向及びRL方向の2軸に対して行うことで、被検体内部を漏れなく、かつ、自動的に撮像画像の記録を行うことができる。
As described above, the correspondence relationship between the bending operation instruction amount and the bending amount of the
次に、このように記録された撮像画像をLCD12に表示する処理について説明する。図5は、撮像画像をLCD12に表示した場合の例を説明するための図である。
Next, a process for displaying the captured image recorded in this way on the
画像信号処理部16は、画像記録部17に記録されている撮像画像を読み出し、図5に示すように、LCD12に撮像画像50a〜50iをサムネイル表示する。このとき、画像信号処理部16は、撮像時のUD、RL方向の湾曲角度を考慮した配置でサムネイル表示する。
The image
具体的には、先端部4を湾曲させず、すなわち、UD方向に0°、RL方向に0°で撮像した撮像画像50eをLCD12の中央に配置する。そして、先端部4をUD方向に+90°、RL方向に−90°に湾曲させて撮像した撮像画像50aをLCD12の左上に配置し、先端部4をUD方向に−90°、RL方向に+90°に湾曲させて撮像した撮像画像50iをLCD12の右下に配置する。
Specifically, the captured
また、正確な被検体内部の状態を把握するためには、撮像時の先端部4の湾曲角度や湾曲方向に関する情報が撮像画像と共に記録されることが本来は望ましい。そのため、画像信号処理部16は、撮像画像50a〜50iに付加的な情報、例えば、撮像時の先端部4の湾曲角度を付加してLCD12に表示する。このような表示を行うことで、検査者は網羅的に被検体内部の状態を把握することが可能となる。このような撮像時の先端部4の湾曲角度等の付加的な情報は、操作部処理部22から画像信号処理部16に入力され、画像信号処理部16が撮像画像を画像記録部17に記録する際に撮像画像に付加して記録する。
In addition, in order to grasp an accurate state inside the subject, it is originally desirable that information regarding the bending angle and the bending direction of the
また、検査者が被検体内部の状態をより効果的に把握できるように、画像信号処理部16は、撮像画像50a〜50iを貼り合わせてパノラマ画像を生成してLCD12に表示したり、先端部4の湾曲量に応じて撮像画像50a〜50iのLCD12上における座標位置を変更して表示するようにしてもよい。
Further, the image
次に、こうように構成された内視鏡装置の動作について説明する。 Next, the operation of the endoscope apparatus configured as described above will be described.
図6は、第1の実施の形態に係る内視鏡装置1による内視鏡検査時の処理の流れの例を示すフローチャートである。 FIG. 6 is a flowchart illustrating an example of a processing flow at the time of endoscopy by the endoscope apparatus 1 according to the first embodiment.
まず、内視鏡検査が開始されると、光学特性の変更が確認される(ステップS1)。光学特性の変更の確認では、光学アダプタ8の画角、ズーム倍率等の変更が確認される。次に、手動湾曲操作観察(手動湾曲モード)が実行され(ステップS2)、モード選択スイッチ13aが押下されたか否かが判定される(ステップS3)。モード選択スイッチ13aが押下されていないと判定された場合、NOとなり、ステップS1に戻り、同様の処理を繰り返す。一方。モード選択スイッチ13aが押下されたと判定された場合、YESとなり、自動湾曲操作観察(自動湾曲モード)が実行され、ステップS1に戻り、同様の処理を繰り返す。
First, when an endoscopic examination is started, a change in optical characteristics is confirmed (step S1). In the confirmation of the change of the optical characteristics, the change of the angle of view, the zoom magnification, etc. of the
ここで、ステップS4の自動湾曲操作観察の処理について図7を用いて説明する。図7は、ステップS4の自動湾曲操作観察の処理の流れの例を示すフローチャートである。 Here, the processing of the automatic bending operation observation in step S4 will be described with reference to FIG. FIG. 7 is a flowchart illustrating an example of the flow of the automatic bending operation observation process in step S4.
まず、自動湾曲操作が開示されると、湾曲操作指示量のピッチが算出される(ステップS11)。なお、このステップS11の処理については、後述する。次に、算出された湾曲操作指示量のピッチに基づいて、先端部4の湾曲角度が変更され(ステップS12)、静止画像が画像記録部17に記録される(ステップS13)。最後に、全範囲の記録が完了したか否かが判定される(ステップS14)。全範囲の記録が完了していないと判定された場合、NOとなり、ステップS12に戻り、同様の処理を繰り返す。一方、全範囲の記録が完了したと判定された場合、YESとなり、処理を終了する。
First, when the automatic bending operation is disclosed, the pitch of the bending operation instruction amount is calculated (step S11). The process of step S11 will be described later. Next, based on the calculated pitch of the bending operation instruction amount, the bending angle of the
次に、ステップS11の湾曲操作指示量のピッチの算出処理について説明する。図8は、ステップS11の湾曲操作指示量のピッチの算出処理の流れの例を示すフローチャートである。 Next, the process of calculating the pitch of the bending operation instruction amount in step S11 will be described. FIG. 8 is a flowchart illustrating an example of a flow of a process of calculating the pitch of the bending operation instruction amount in step S11.
ステップS11の湾曲操作指示量のピッチの算出処理では、湾曲操作指示量と先端湾曲量との対応関係(工場出荷値)、及び、光学特性(ユーザ設定値)に基づき、湾曲操作指示量のピッチが算出され(ステップS21)、処理を終了する。このステップS21の処理では、先端部4が湾曲角度θ2で湾曲するような湾曲操作指示量が算出されることになる。
In the calculation process of the pitch of the bending operation instruction amount in step S11, the pitch of the bending operation instruction amount based on the correspondence relationship (factory shipment value) between the bending operation instruction amount and the tip bending amount and the optical characteristics (user setting value). Is calculated (step S21), and the process is terminated. In the process of step S21, a bending operation instruction amount that causes the
以上のように、内視鏡装置1は、モード選択スイッチ13aにより自動湾曲モードが選択されると、光学アダプタ8の画角、撮像画像のズーム倍率、及び、湾曲操作指示量と湾曲量との対応関係から、撮像画像の記録の漏れが発生しないような湾曲操作指示量のピッチを算出し、そのピッチ毎に撮像画像を記録するようにした。これにより、記録の漏れが発生しないような撮像画像を自動的に記録することができる。
As described above, when the automatic bending mode is selected by the
よって、本実施の形態の内視鏡装置によれば、被検体内部の状態を網羅的に把握するための内視鏡観察作業を簡単に行うことができ、かつ、撮像画像の記録漏れの発生を防ぐことができる。
(変形例)
Therefore, according to the endoscope apparatus of the present embodiment, it is possible to easily perform the endoscope observation work for comprehensively grasping the state of the inside of the subject, and occurrence of recording omission of the captured image Can be prevented.
(Modification)
第1の実施の形態では、先端部4から被写体までの対物距離をd、先端部4の先端硬質部長をlとし、d>>lが成立する場合について説明したが、変形例では、d>>lが成立しない場合について説明する。なお、本変形例は、後述する第2の実施の形態においても適用可能である。
In the first embodiment, the objective distance from the
d>>lが成立しない場合、撮像画像の記録の漏れが発生しないような先端部4の湾曲角度θ2は、θ2=2×tan−1((d/l+d)tan(θ1/2))により算出することができる。ここで、先端部4から被写体までの対物距離dは、例えばステレオ計測や測距センサを用いて、画像信号処理部16に含まれる計測処理部16aにより計測される。
When d >> l does not hold, the bending angle θ2 of the
自動湾曲処理部32は、このように算出された撮像画像の記録の漏れが発生しないような先端部4の湾曲角度θ2から湾曲操作指示量のピッチを算出し、湾曲制御処理部19に出力する。これにより、対物距離dが短い場合でも、第1の実施の形態と同様に、記録の漏れが発生しないような撮像画像を自動的に記録することができる。
(第2の実施の形態)
The automatic
(Second Embodiment)
次に、第2の実施の形態について説明する。 Next, a second embodiment will be described.
実際の検査の場面において、挿入部2の形状が略ストレートとなっていないことも想定される。この場合、第1の実施の形態で説明したように、設計、製造段階で決定される湾曲操作指示量と先端部4の湾曲量との対応関係では不十分なことが想定される。そこで、第2の実施の形態では、内視鏡装置1を起動した際あるいは内視鏡検査を開始した際に、湾曲操作指示量と先端部4の湾曲量との対応関係を学習し、その学習した対応関係に基づいて、自動湾曲操作観察を行う内視鏡装置1について説明する。
In the actual inspection scene, it is also assumed that the shape of the
図9は、湾曲操作指示量と先端部4の湾曲量との対応関係を学習する処理の例を説明するための図である。
FIG. 9 is a diagram for explaining an example of processing for learning the correspondence relationship between the bending operation instruction amount and the bending amount of the
図9に示すように、ある湾曲状態で画面の右端部に例えば特徴パターンである「A」という文字が表示されているものとする。この状態で、「A」という文字が画面の左端部に移動するまで湾曲操作を行い、左端部に移動したときの湾曲指示量と、先端部4の湾曲量、すなわち先端部4の湾曲角度θ2と対応付ける。このとき、「A」という文字の認識は、画像信号処理部16がパターンマッチング等の画像処理を行うことで実現することができる。この作業を湾曲操作指示量が最大となるまで行い、全操作範囲における湾曲操作指示量と実際の先端部4の湾曲量との対応関係(学習値)を得る。これをUD/RLの2軸方向で行い、以降の検査時では、この対応関係(学習値)を用いて、第1の実施の形態と同様の方法で検査を行う。
As shown in FIG. 9, it is assumed that, for example, a character “A”, which is a feature pattern, is displayed at the right end of the screen in a certain curved state. In this state, the bending operation is performed until the letter “A” moves to the left end portion of the screen, the bending instruction amount when moving to the left end portion, the bending amount of the
なお、湾曲操作指示量と先端部4の湾曲量との対応関係は、数箇所の測定点から線形での補間を行ってもよいし、より精度を高めるために、測定点の数を増やして別の近似補間を行ってもよい。また、さらに精度を高めるため、上記のような特徴パターン(例えば「A」)の移動をトレースするものではなく、表示画像全体に対する動きベクトルや動き量の検出を行い、湾曲操作指示量と先端部4の湾曲量とのより微細な対応付けを行ってもよい。
Note that the correspondence between the bending operation instruction amount and the bending amount of the
次に、このように構成された内視鏡装置1の動作について説明する。 Next, the operation of the endoscope apparatus 1 configured as described above will be described.
図10は、第2の実施の形態に係る内視鏡装置1による内視鏡検査時の処理の流れの例を示すフローチャートである。なお、図10において、図6と同様の処理については、同一の符号を付して説明を省略する。 FIG. 10 is a flowchart illustrating an example of a flow of processing at the time of endoscopy by the endoscope apparatus 1 according to the second embodiment. In FIG. 10, the same processes as those in FIG. 6 are denoted by the same reference numerals and description thereof is omitted.
まず、内視鏡検査が開始されると、先端湾曲量が学習される(ステップS31)。このステップS31の処理では、上述した湾曲操作指示量と先端部4の湾曲量との対応関係が学習されることになる。その後、第1の実施の形態と同様にステップS1〜S4の処理が実行される。
First, when the endoscopy is started, the tip bending amount is learned (step S31). In the process of step S31, the correspondence relationship between the bending operation instruction amount and the bending amount of the
ここで、ステップS31の、先端湾曲量の学習処理について説明する。図11は、先端湾曲量の学習処理の流れの例を示すフローチャートである。 Here, the tip bending amount learning process in step S31 will be described. FIG. 11 is a flowchart illustrating an example of the flow of learning processing for the tip bending amount.
まず、湾曲操作指示量が初期値に設定され(ステップS41)、画面右端部の特徴パターンが検出される(ステップS42)。次に、湾曲操作指示量の値が変更され(ステップS43)、特徴パターンの画面位置が検出される(ステップS44)。そして、特徴パターンが画面左端部に到達したか否かが判定される(ステップS45)。特徴パターンが画面左端部に到達していないと判定された場合、NOとなり、ステップS43に戻り、同様の処理を繰り返す。一方、特徴パターンが画面左端部に到達したと判定された場合、YESとなり、光学特性(初期設定値)に基づき、先端部4の湾曲量が計算される(ステップS46)。次に、湾曲操作指示と先端湾曲量とを対応付けを行うことで、先端操作指示量と先端部4の湾曲量との対応関係(学習値)が得られる(ステップS47)。最後に、全範囲の操作が完了したか否かが判定される(ステップS48)。全範囲の操作が完了していないと判定された場合、NOとなり、ステップS42に戻り、同様の処理を繰り返す。一方、全範囲の操作が完了したと判定された場合、YESとなり、処理を終了する。
First, the bending operation instruction amount is set to an initial value (step S41), and a feature pattern at the right end of the screen is detected (step S42). Next, the value of the bending operation instruction amount is changed (step S43), and the screen position of the feature pattern is detected (step S44). Then, it is determined whether or not the feature pattern has reached the left end of the screen (step S45). If it is determined that the feature pattern has not reached the left edge of the screen, the determination is NO, the process returns to step S43, and the same processing is repeated. On the other hand, if it is determined that the feature pattern has reached the left end of the screen, the determination is YES, and the amount of bending of the
なお、本実施の形態において、ステップS4の自動湾曲操作観察の処理は、第1の実施の形態の図7と同様であるが、ステップS11の湾曲操作指示量のピッチの算出処理が第1の実施の形態とは異なる。 In the present embodiment, the automatic bending operation observation process in step S4 is the same as that in FIG. 7 of the first embodiment, but the bending operation instruction amount pitch calculation process in step S11 is the first. Different from the embodiment.
図12は、第2の実施の形態に係る湾曲操作指示量のピッチの算出処理の流れの例を示すフローチャートである。 FIG. 12 is a flowchart illustrating an example of a flow of a bending calculation instruction pitch calculation process according to the second embodiment.
ステップS11の湾曲操作指示量のピッチの算出処理では、湾曲操作指示量と先端湾曲量との対応関係(学習値)、及び、光学特性(ユーザ設定値)に基づき、湾曲操作指示量のピッチが算出され(ステップS51)、処理を終了する。 In the calculation processing of the pitch of the bending operation instruction amount in step S11, the pitch of the bending operation instruction amount is determined based on the correspondence (learning value) between the bending operation instruction amount and the tip bending amount, and the optical characteristic (user setting value). It is calculated (step S51), and the process ends.
以上のように、内視鏡装置1は、内視鏡検査を開始すると、湾曲操作指示量と先端部4の湾曲量との対応関係を学習し、光学アダプタ8の画角、撮像画像のズーム倍率、及び、学習した湾曲操作指示量と湾曲量との対応関係から、撮像画像の記録の漏れが発生しないような湾曲操作指示量のピッチを算出し、そのピッチ毎に撮像画像を記録するようにした。これにより、挿入部2がトグルを巻いている状態においても、記録の漏れが発生しないような撮像画像を自動的に記録することができる。
As described above, when the endoscopic examination is started, the endoscope apparatus 1 learns the correspondence relationship between the bending operation instruction amount and the bending amount of the
よって、本実施の形態の内視鏡装置によれば、どのような実使用の状況でも撮像画像の記録漏れの発生を防ぐことができる。 Therefore, according to the endoscope apparatus of the present embodiment, it is possible to prevent occurrence of recording omission of captured images in any actual use situation.
なお、本実施の形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。 It should be noted that each step of each procedure in the present embodiment may be executed in a different order for each execution by changing the execution order and executing a plurality of steps at the same time, as long as it does not contradict its nature.
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。 The present invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the scope of the present invention.
1…内視鏡装置、2…挿入部、3…本体部、4…先端部、5…CCD、6,11…対物レンズ、7…湾曲部、8…光学アダプタ、9…ID情報、10…LED、12…LCD、13…操作部、13a…モード選択スイッチ、13b…湾曲ジョイスティック、14…光源駆動部、15…CCD信号処理部、16…画像信号処理部、17…画像記録部、18…光学アダプタ識別部、19…湾曲制御処理部、20…CPU、21…メモリ、22…操作部処理部、23…バス、24…バッテリ、31…手動湾曲処理部、32…自動湾曲処理部、33…切替部、34…減算部、35…フィルタ処理部、36…駆動回路、37…モータ、38…ギア、39…ポテンショメータ、40…ADコンバータ。 DESCRIPTION OF SYMBOLS 1 ... Endoscope apparatus, 2 ... Insertion part, 3 ... Main-body part, 4 ... Tip part, 5 ... CCD, 6,11 ... Objective lens, 7 ... Curved part, 8 ... Optical adapter, 9 ... ID information, 10 ... LED, 12 ... LCD, 13 ... operation unit, 13a ... mode selection switch, 13b ... curved joystick, 14 ... light source drive unit, 15 ... CCD signal processing unit, 16 ... image signal processing unit, 17 ... image recording unit, 18 ... Optical adapter identification unit, 19: bending control processing unit, 20 ... CPU, 21 ... memory, 22 ... operation unit processing unit, 23 ... bus, 24 ... battery, 31 ... manual bending processing unit, 32 ... automatic bending processing unit, 33 ... switching unit, 34 ... subtraction unit, 35 ... filter processing unit, 36 ... drive circuit, 37 ... motor, 38 ... gear, 39 ... potentiometer, 40 ... AD converter.
Claims (6)
前記挿入部の先端部の基端側に設けられ、前記先端部を所望の方向に湾曲させる湾曲部と、
前記先端部に取り付けられる光学アダプタの光学特性、ズーム倍率、及び、湾曲操作指示量と前記先端部の湾曲量との対応関係に基づいて、所定の湾曲角度の間隔で前記湾曲部を湾曲させるための前記湾曲操作指示量のピッチを算出する湾曲操作指示量算出部と、
前記湾曲操作指示量算出部で算出された前記湾曲操作指示量のピッチ毎に前記撮像部で撮像された撮像画像を自動的に記録するように制御する画像信号処理部と、
を有することを特徴とする内視鏡装置。 An insertion part having an imaging part at the tip part;
A bending portion that is provided on the proximal end side of the distal end portion of the insertion portion and that bends the distal end portion in a desired direction;
To bend the bending portion at a predetermined bending angle interval based on the optical characteristics of the optical adapter attached to the tip portion, the zoom magnification, and the correspondence relationship between the bending operation instruction amount and the bending amount of the tip portion. A bending operation instruction amount calculation unit that calculates a pitch of the bending operation instruction amount of
An image signal processing unit that controls to automatically record a captured image captured by the imaging unit for each pitch of the bending operation instruction amount calculated by the bending operation instruction amount calculation unit;
An endoscope apparatus characterized by comprising:
前記画像信号処理部は、前記撮像画像を記録した時の前記先端部の湾曲角度に応じて、前記表示部に複数の撮像画像をサムネイル表示する際の画像配置を決定することを特徴とする請求項1に記載の内視鏡装置。 A display unit for displaying the captured image;
The image signal processing unit determines an image arrangement for displaying a plurality of captured images as thumbnails on the display unit according to a bending angle of the tip when the captured image is recorded. The endoscope apparatus according to Item 1.
算出された前記湾曲操作指示量のピッチ毎に前記撮像部で撮像された撮像画像を自動的に記録するように制御すること、
を含む内視鏡画像の撮影方法。 Based on the optical characteristics of the optical adapter attached to the distal end portion of the insertion portion having the imaging unit, the zoom magnification, and the correspondence relationship between the bending operation instruction amount and the bending amount of the distal end portion, at a predetermined bending angle interval, Calculating the pitch of the bending operation instruction amount for bending the bending portion provided on the proximal end side of the distal end portion of the insertion portion, bending the distal end portion in a desired direction;
Control to automatically record a captured image captured by the imaging unit for each calculated pitch of the bending operation instruction amount;
For taking endoscopic images including
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013113229A JP6168849B2 (en) | 2013-05-29 | 2013-05-29 | Endoscope apparatus and endoscopic image capturing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013113229A JP6168849B2 (en) | 2013-05-29 | 2013-05-29 | Endoscope apparatus and endoscopic image capturing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014232222A true JP2014232222A (en) | 2014-12-11 |
JP6168849B2 JP6168849B2 (en) | 2017-07-26 |
Family
ID=52125645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013113229A Active JP6168849B2 (en) | 2013-05-29 | 2013-05-29 | Endoscope apparatus and endoscopic image capturing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6168849B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016209460A (en) * | 2015-05-13 | 2016-12-15 | オリンパス株式会社 | Endoscope system |
WO2020012576A1 (en) * | 2018-07-11 | 2020-01-16 | オリンパス株式会社 | Endoscope system, method of calibrating endoscope, and device for controlling endoscope |
JP2020034743A (en) * | 2018-08-30 | 2020-03-05 | オリンパス株式会社 | Image acquisition device and method for operating image acquisition device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003324723A (en) * | 2002-05-02 | 2003-11-14 | Sony Corp | Monitoring system and method, program, and recording medium |
JP2006129391A (en) * | 2004-11-01 | 2006-05-18 | Sony Corp | Imaging apparatus |
JP2006187386A (en) * | 2005-01-04 | 2006-07-20 | Olympus Corp | Endoscope device, moving body detection method and its program |
JP2007319622A (en) * | 2006-06-05 | 2007-12-13 | Olympus Corp | Endoscope system |
-
2013
- 2013-05-29 JP JP2013113229A patent/JP6168849B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003324723A (en) * | 2002-05-02 | 2003-11-14 | Sony Corp | Monitoring system and method, program, and recording medium |
JP2006129391A (en) * | 2004-11-01 | 2006-05-18 | Sony Corp | Imaging apparatus |
JP2006187386A (en) * | 2005-01-04 | 2006-07-20 | Olympus Corp | Endoscope device, moving body detection method and its program |
JP2007319622A (en) * | 2006-06-05 | 2007-12-13 | Olympus Corp | Endoscope system |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016209460A (en) * | 2015-05-13 | 2016-12-15 | オリンパス株式会社 | Endoscope system |
WO2020012576A1 (en) * | 2018-07-11 | 2020-01-16 | オリンパス株式会社 | Endoscope system, method of calibrating endoscope, and device for controlling endoscope |
CN112351722A (en) * | 2018-07-11 | 2021-02-09 | 奥林巴斯株式会社 | Endoscope system, endoscope calibration method, and endoscope control device |
JP2020034743A (en) * | 2018-08-30 | 2020-03-05 | オリンパス株式会社 | Image acquisition device and method for operating image acquisition device |
CN110873717A (en) * | 2018-08-30 | 2020-03-10 | 奥林巴斯株式会社 | Image acquisition device and method for operating image acquisition device |
US11055865B2 (en) | 2018-08-30 | 2021-07-06 | Olympus Corporation | Image acquisition device and method of operating image acquisition device |
JP7049220B2 (en) | 2018-08-30 | 2022-04-06 | オリンパス株式会社 | How to operate the image acquisition device and the image acquisition device |
Also Published As
Publication number | Publication date |
---|---|
JP6168849B2 (en) | 2017-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4656988B2 (en) | Endoscope insertion shape analysis apparatus and endoscope insertion shape analysis method | |
JP5073564B2 (en) | Endoscope device for measurement and program | |
JP5555014B2 (en) | Virtual slide creation device | |
JP4689291B2 (en) | Endoscope apparatus and program for endoscope apparatus | |
JP5570769B2 (en) | Endoscope apparatus, measurement method, and program | |
JP5996319B2 (en) | Stereo measurement device and method of operating stereo measurement device | |
JP2007319622A (en) | Endoscope system | |
JP6168849B2 (en) | Endoscope apparatus and endoscopic image capturing method | |
JP2011027997A (en) | Endoscope apparatus, measuring method, and program | |
JP3302092B2 (en) | Endoscope insertion aid | |
JPWO2020194472A1 (en) | Controls, trained models, and mobility assistance methods | |
JP5186286B2 (en) | Endoscope device for measurement and program | |
US8531479B2 (en) | Endoscope apparatus and program | |
JP2006223850A (en) | Electronic endoscope system | |
JP5556552B2 (en) | Robot control device, robot, and teaching method of robot control device | |
JP7146735B2 (en) | Control device, external equipment, medical observation system, control method, display method and program | |
JP5307407B2 (en) | Endoscope apparatus and program | |
JP2011062291A (en) | Shape detector | |
JP4447080B2 (en) | Endoscope device | |
JP5959331B2 (en) | Endoscope device | |
JP5253109B2 (en) | Endoscope apparatus and endoscopic image program | |
JP5602449B2 (en) | Endoscope device | |
JP2962528B2 (en) | Endoscope device | |
JP2008119025A (en) | Endoscope apparatus and observation device capable of magnifying display | |
JP2005173336A (en) | Industrial endoscope device and shape dimension measuring method using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170627 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6168849 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |