JP2014094140A - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
JP2014094140A
JP2014094140A JP2012247315A JP2012247315A JP2014094140A JP 2014094140 A JP2014094140 A JP 2014094140A JP 2012247315 A JP2012247315 A JP 2012247315A JP 2012247315 A JP2012247315 A JP 2012247315A JP 2014094140 A JP2014094140 A JP 2014094140A
Authority
JP
Japan
Prior art keywords
input operation
image
priority
control unit
observation image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012247315A
Other languages
English (en)
Other versions
JP6209325B2 (ja
Inventor
Hiroki Iseri
洋輝 井芹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2012247315A priority Critical patent/JP6209325B2/ja
Publication of JP2014094140A publication Critical patent/JP2014094140A/ja
Application granted granted Critical
Publication of JP6209325B2 publication Critical patent/JP6209325B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Endoscopes (AREA)

Abstract

【課題】複数の入力操作が同時に行われても、内視鏡作業に支障をきたさないようにする。
【解決手段】第1観察画像、第2観察画像を、第1画像処理回路、第2画像処理回路において生成し、2つのモニタにそれぞれ表示する。フットスイッチ、フロントパネルボタン、キーボードなどの入力部材に対し、ある1つの入力操作が第1観察画像、第2観察画像両方に適用され、2つの処理を同時もしくは順番に行うことができない場合、優先度の高い映像、入力操作に対する処理を優先的に行う。
【選択図】図3

Description

本発明は、器官内壁などの被写体を撮像する内視鏡装置に関し、特に、複数の観察画像を同時に表示可能な内視鏡装置に関する。
内視鏡装置では、スコープ(内視鏡)によって撮影された画像をモニタに表示し、スコープを操作する医師は、モニタに表示された観察画像を見ながら検査、処置等を行う。特定の部位をより詳細に診断する場合、通常の観察画像とは異なる画像を生成し、表示することが可能である。例えば、血管を強調した観察画像を生成し、診断しやすい画像を表示する(特許文献1参照)。
また、通常の白色光と特定波長域の光を交互に照射することによって、通常観察画像とともに、自家蛍光に基づく蛍光観察画像、スペクトル光に基いた分光画像を同時に表示することとができる(特許文献2参照)。あるいは、異なる画像処理によって2つの観察画像を別々に生成し、表示することもできる(特許文献3参照)。
このように複数の観察画像の表示設定、表示切り替えを行う場合、スコープに設けられたボタン、プロセッサのフロントパネルスイッチ、キーボードなどが操作される。スコープを操作する医師、医師の内視鏡作業を支援するオペレータ等が、入力操作を行う。
特開2012−152279号公報 特開2011−10998号公報 特開2003−10113号公報
スコープを操作している医師は、スコープに設けられたフリーズボタン、フットスイッチなどを操作して画像処理、表示画像の切替等を行うことができる。一方、オペレータも、内視鏡画像を同じモニタあるいは専用モニタで観察し、キーボードなどを操作することによって、表示メニュー設定、輪郭強調などの画像編集、画像ファイリング処理を行っている。
そのため、医師とオペレータが異なる操作、相反する操作を同じタイミングで行った場合、システム上入力操作に応じた処理を実行することが不可能となる事態が生じ、また、意図しない観察画像が表示される恐れがある。
したがって、複数の入力操作が同時に行われても、内視鏡作業の障害とならないように制御することが求められる。
本発明の内視鏡装置は、スコープ内に設けられる撮像素子から読み出される画素信号に基づき、観察画像を生成する画像処理部と、観察画像に関する設定事項をそれぞれ入力可能な複数の入力操作部と、前記複数の入力操作部材からの入力操作信号に基づき、観察画像に関する処理を実行する制御部とを備える。
ここで「略同時」とは、操作タイミングが完全一致、あるいは、短期間であってシステム上等の理由により同時処理が実行できなくなるタイミング、もしくは短い期間を表す。
観察画像生成の構成としては、1つの画像処理回路から1つの観察画像を生成して異なる表示装置へ同時表示する構成、あるいは、2つの画像処理回路を設けて第1、第2観察画像を別々に生成し、同時出力する構成を適用することが可能である。
入力操作としては、観察画像に関する処理を行うための入力操作が対象となる。2つの観察画像両方に適用される入力操作や、観察画像ごとに異なる入力操作がある。
本発明では、前記制御部が、前記複数の入力操作部のうち少なくともいずれか2つにおいて入力操作が略同時に行われた場合、あらかじめ定められた優先度に応じて、1つの入力操作に応じた観察画像に関する処理を優先的に実行させる。
例えば、制御部は、あらかじめ設定された前記複数の入力部材の優先度に応じて、優先度の高い入力操作部材に対する操作に応じた処理を優先的に実行させることが可能である。あるいは、制御部は、あらかじめ定められた一連の入力操作者の優先度に応じて、優先度の高い入力操作者の入力操作に応じた処理を優先的に実行させることが可能である。
さらに、制御部が、あらかじめ定められた第1、第2観察画像の優先度に応じて、優先度の高い観察画像に対する処理を優先的に実行させるようにしてもよい。
例えば、制御部は、優先度の低い処理を実行させないようにすることができる。また、制御部は、優先度の高い順に処理を実行させることが可能である。特に、制御部は、優先度の高い処理を実行した後、先に処理された観察画像に障害が生じないようなあらかじめ定められた期間経過後、優先度の低い処理を実行させることができる。
このように本発明によれば、複数の入力操作が同時に行われても、内視鏡作業に支障をきたさない。
本実施形態である電子内視鏡装置のブロック図である。 優先順位を決める設定画面を示した図である。 同時タイミングで入力操作があったときの制御処理を示したフローチャートである。 第2の実施形態における制御処理のフローチャートを示した図である。 第3の実施形態における制御処理を示したフローチャートである。 第4の実施形態における制御処理を示したフローチャートである。
以下では、図面を参照して本実施形態である電子内視鏡装置について説明する。
図1は、本実施形態である電子内視鏡装置のブロック図である。
電子内視鏡装置は、その挿入部分が体内へ挿入されるビデオスコープ10と、プロセッサ20とを備え、ビデオスコープ10はプロセッサ20に着脱自在に接続される。プロセッサ20には、モニタ40A、40Bが接続されおり、また、遠隔地に設置されたコンピュータシステム200もネットワークで接続されている。
プロセッサ20は、白色光および特定の狭帯域の光を放射する光源システム22を備え、光源システム22から放射された光は、集光レンズ(図示せず)を介してビデオスコープ10内に設けられたライトガイド11に入射する。ライトガイド11に入射した光は、スコープ先端部から射出し、配光光学系(図示せず)を通じて被写体(観察部位)に照射される。
被写体で反射した光は、スコープ先端部に設けられた対物レンズ(図示せず)によって結像し、これにより被写体像がイメージセンサ(撮像素子)12(CCD、CMOSなど)の受光面に形成される。イメージセンサ12の受光面上には、Cy、Ye、G、Mgから成る色フィルタ要素をモザイク状に配列させた補色フィルタ(図示せず)が配設されている。
イメージセンサ12では、駆動回路14から送られてくる駆動信号に従い、1フィールド分の画素信号が所定の時間間隔で読み出される。NTSC方式の場合、1/60秒間隔で読み出され、PAL方式の場合、1/50秒間隔で読み出される。順次読み出される1フィールド分の画素信号は、初期画像処理回路17へ送られる。
初期画像処理回路17では、画素信号に対するデジタル化処理、さらには、ホワイトバランス処理(ゲイン処理)、ガンマ補正処理などの様々な信号処理が施される。これにより、1フィールド分のR、G、B画像信号が生成される。生成されたR、G、B画像信号は、プロセッサ20の第1画像処理回路24、第2画像処理回路26へ送られる。
第1画像処理回路24、第2画像処理回路26では、輪郭強調処理、血管強調処理、擬似色素散布画像処理、ノイズリダクション処理など、一連の画像処理を施すことが可能である。第1画像処理回路24で生成された画像信号は、映像信号として第1モニタ40Aへ出力される。第2画像処理回路26で生成された画像信号は、映像信号として第2モニタ40B、およびコンピュータシステム200へ送られる。
CPU、ROM等を含むシステムコントロール回路(制御部)30は、駆動回路14、タイミングコントローラ(図示せず)、第1、第2画像処理回路24、26などへ制御信号を出力し、プロセッサ20全体の動作を制御する。プロセッサ20の動作制御に関するプログラムはROM(図示せず)にあらかじめ格納されている。タイミングコントローラは、駆動回路14、第1、第2画像処理回路24、26などへ同期信号を出力する。
ビデオスコープ10のスコープコントローラ15は、スコープ動作を制御し、システムコントロール回路30との間で相互通信可能である。また、ビデオスコープ10に設けられたフリーズボタン13を操作することにより、静止画像の記録処理等を実行することができる。
キーボード70は、医師の作業を支援するオペレータが主に操作する入力部材であり、OSDメッセージなど画面表示の設定、切り替えや、画像記録処理、画像編集等が行われる。画面表示設定としては、患者情報、観察画像処理設定値、機器使用状態、過去の記録した画像などを観察画像と合わせて表示することができる。
プロセッサ20のフロントパネル31には、通常観察モードと特殊観察モードを切り替えるためのモード変更ボタン20Pが設けられている。通常のカラー観察画像表示に加え、光源システム22内に設けられた帯域制限色回転フィルタ(図示せず)を光路上に配置することで、特定波長域の光に基づく分光画像を表示することが可能である。
色回転フィルタは、異なる狭帯域の光を透過する複数の色要素から構成される。オペレータがキーボード70操作によって所望するスペクトル光を選択すると、光源システム22はその光に応じた色要素が光路上に配置されるように色回転フィルタが駆動される。このような観察モード切替は、医師がフットスイッチ32を操作することによっても行うことができる。
さらにフロントパネル31には、自動調光用の参照輝度レベル設定ボタン20Q、輪郭強調処理ボタン20Tが設けられている。参照輝度レベル設定ボタン20Qによって基準となる明るさレベルを段階的に設定することが可能であり、設定値に合わせてイメージセンサ12の電子シャッタスピード(露光時間)が調整される。
第1、第2画像処理回路24、26は、ともにCCD12から読み出される画素信号に基いて観察画像を生成する。第1画像処理回路24によって生成される観察画像(以下、第1観察画像という)は、スコープを操作する医師用のモニタ40Aに表示され、第2画像処理回路26によって生成される観察画像(以下、第2観察画像という)は、主にオペレータ観察用のモニタ40Bに表示される。
医師とオペレータは、それぞれ第1、第2観察画像を見ながら、上述したフリーズボタン13、キーボード70などの入力部材を操作し、作業を行う。このとき、何からの入力部材に対する操作タイミングが同時、あるいは略同時になると、一度に処理が実行できず、内視鏡作業に障害が生じてしまう場合がある。そのため、あらかじめ優先度を設定し、その優先度合いの高い操作に応じた処理を優先的に実行する。
図2は、優先順位を決める設定画面を示した図である。ここでは、第1観察画像を「映像1」、第2観察画像を「映像2」と示している。
図2に示す優先順位設定画面は、キーボード70に対する操作により表示される。映像1、映像2には、それぞれその映像の観察者を設定できるようになっている。モニタ40Aに表示される映像1、モニタ40Bに表示される映像2には、それぞれ医師、オペレータが割り当てられている。画面上位に表示されている映像1の方が、優先順位が高い。
このように設定されると、映像1を見ながら作業する医師用の入力操作部材、すなわちフリーズボタン13、フットスイッチ32が、映像2を見ながら作業するオペレータの入力操作部材、すなわち、キーボード70、フロントパネル31の一連のボタンよりも、優先順位の高い入力操作部材として設定される。
なお、操作者としては、医師、オペレータ以外にも、コンピュータシステム200のモニタ40Cを見ている外部観察者などを設定するようにしてもよい。また、映像1、映像2の代わりに、入力操作部材の種類それぞれに対して、医師、オペレータ等を設定することも可能である。例えば、キーボード70、フリーズボタン13、フットスイッチ32に対して優先順位を設定する。また、映像方式(R、G、B映像、VGA映像)に対して優先順位を設定してもよい。
こうして優先順位を設定することにより、略同じタイミングで入力操作が行われた場合、優先順位の高い処理を実行し、優先順位の低い処理を実行しない。以下、制御処理について説明する。
図3は、同時タイミングで入力操作があったときの制御処理を示したフローチャートである。
システムコントロール回路30はmms単位の時間間隔で入力操作信号を検知しており、ここではそれの整数倍となる期間を、同時に入力操作された期間とみなす。例えば、90/1000秒間(約0.1秒間)を、同じ操作タイミングの期間とみなし、その期間内に2つ以上の入力操作が検知されると、優先度を踏まえた処理を行う。
例えば、観察モードを通常観察から特殊観察モードの切り替えるため、医師によるフットスイッチ32の入力操作(図3では操作A)と、オペレータによるフロントパネル31の入力操作(操作B)が、同じタイミング、すなわち上記期間内に行われた場合、優先度の高い映像1に応じた入力操作に対する処理が実行される(S101〜S102)。
2つの特殊光を同時に照射することはシステム上不可能であり、優先度の低い映像2に対する入力操作による処理は実行されない。優先度が低いため処理されなかった内容については、その入力操作者、すなわちオペレータが使用するモニタ40Bにその旨を表示するようにしてもよい。
このように本実施形態によれば、ある1つの入力操作が第1観察画像、第2観察画像両方に適用され、2つの処理を同時もしくは順番に行うことができない場合、優先度の高い映像、入力操作に対する処理のみが行われる。
次に、図4を用いて第2の実施形態である電子内視鏡装置について説明する。第2の実施形態では、同時に行われる入力操作が第1観察画像、第2観察画像別々に対する操作である一方、同時に行うことがシステム上不可能である場合、優先度に応じた制御を行う。
図4は、第2の実施形態における制御処理のフローチャートを示した図である。
ここでは、フリーズ操作による静止画像記録動作が例示されている。システムコントロール回路30は、静止画像処理において一時的に画像データを格納するバッファリング回路を1つしかもっていない。そのため、医師とオペレータが同時に静止画像記録のための入力操作を行うと、一方の処理しか実行することができない。
そこで、静止画像記録のための入力操作が同時に行われた場合、優先度の高い入力操作に対する処理を先に実行し、静止画像記録処理が実行された後、優先度の低い処理が実行される(S201〜S205)。このような制御処理としては、動画記録用の入力操作が行われた場合も同じである。
次に、図5を用いて第3の実施形態である電子内視鏡装置について説明する。第3の実施形態では、相反する結果を生じさせるような入力操作が同時に行われた場合、所定期間おいて順番に処理を行う。
図5は、第3の実施形態における制御処理を示したフローチャートである。ここでは、第1の実施形態と同様、1つの入力操作が第1観察画像、第2観察画像両方に適用される。
オペレータがほぼ同時に2つの入力操作を行うと観察に支障がきたす事例として、観察画像に対する明るさ調整するための入力操作と、画像処理を行うための入力操作がある。例えば、擬似色素散布画像を表示させるために入力操作を行った直後に、像ブレ防止などの理由によって自動調光における明るさレベルを低下させた場合、輝度低下が重なる。その結果、観察に支障をきたす。
そこで、優先順位の高い処理を先に実行し、次の処理を行っても観察に支障がきたさない状態に回復するまでの期間待機し、その期間が終了した後、次の処理を実行させる(S301〜S307)。
優先順位は、最初の処理と次の処理との間の待機期間が短くなるように設定することが可能であり、処理実行によって次の処理へ移行するまでの期間が短いほうを先に実行させる。ここでは、先に擬似色色素散布画像処理を実行し、その後明るさレベルを調整する。
なお、第2実施形態のように画像ごとに別々の入力操作が行われる静止画像記録処理、あるいは動画像記録処理においても、優先順位を適宜設け、最初の処理から一定期間経過後、次の処理を実行させるようにしてもよい。
次に、図6を用いて、第4の実施形態である電子内視鏡装置について説明する。第4の実施形態では、入力操作が同時に行われると意図に反する結果になる場合、意図したとおりに処理を実行させる。
図6は、第4の実施形態における制御処理を示したフローチャートである。
例えば、医師、オペレーがともに通常観察モードから特殊観察モードへ移行させる入力操作を略同時に行った場合、入力操作に時間差があるため、一時的に特殊観察モードへ移行してからタイミング的に後の入力操作によって再び通常観察モードへ戻ってしまう。
そのため、意図しない結果を生むか否かを判断し、意図した結果を出力させるように制御する(S401、S403)。一方、意図した結果を生む場合、そのまま続けて2つの処理を実行させる(S402)。
なお、第1、第2観察画像は同一モニタに同時表示しても良い。医師とオペレータ以外にも、手術観察者などの入力操作者を加え、優先順位を設定してもよい。また、1つの画像処理回路において生成される観察画像を、別々のモニタに出力させるようにしてもよい。
10 ビデオスコープ
13 フリーズボタン
20 プロセッサ
24 第1画像処理回路
26 第2画像処理回路
30 システムコントロール回路(制御部)
31 フロントパネル
32 フットスイッチ
70 キーボード

Claims (7)

  1. スコープ内に設けられる撮像素子から読み出される画素信号に基づき、観察画像を生成する画像処理部と、
    観察画像に関する設定事項をそれぞれ入力可能な複数の入力操作部と、
    前記複数の入力操作部材からの入力操作信号に基づき、観察画像に関する処理を実行する制御部とを備え、
    前記制御部が、前記複数の入力操作部のうち少なくともいずれか2つにおいて入力操作が略同時に行われた場合、あらかじめ定められた優先度に応じて、1つの入力操作に応じた観察画像に関する処理を優先的に実行させることを特徴とする内視鏡装置。
  2. 前記制御部が、あらかじめ設定された前記複数の入力部材の優先度に応じて、優先度の高い入力操作部材に対する操作に応じた処理を優先的に実行させることを特徴とする請求項1に記載の内視鏡装置。
  3. 前記制御部が、あらかじめ定められた一連の入力操作者の優先度に応じて、優先度の高い入力操作者の入力操作に応じた処理を優先的に実行させることを特徴とする請求項1に記載の内視鏡装置。
  4. 前記画像処理部が、第1観察画像と第2観察画像とを生成し、
    前記制御部が、あらかじめ定められた第1、第2観察画像の優先度に応じて、優先度の高い観察画像に対する処理を優先的に実行させることを特徴とする請求項1に記載の内視鏡装置。
  5. 前記制御部が、優先度の低い処理を実行させないことを特徴とする請求項1乃至4のいずれかに記載の内視鏡装置。
  6. 前記制御部が、優先度の高い順に処理を実行させることを特徴とする請求項1乃至4のいずれかに記載の内視鏡装置。
  7. 前記制御部が、優先度の高い処理を実行した後、あらかじめ定められた時間経過後、優先度の低い処理を実行させることを特徴とする請求項6に記載の内視鏡装置。
JP2012247315A 2012-11-09 2012-11-09 内視鏡装置 Active JP6209325B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012247315A JP6209325B2 (ja) 2012-11-09 2012-11-09 内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012247315A JP6209325B2 (ja) 2012-11-09 2012-11-09 内視鏡装置

Publications (2)

Publication Number Publication Date
JP2014094140A true JP2014094140A (ja) 2014-05-22
JP6209325B2 JP6209325B2 (ja) 2017-10-04

Family

ID=50937779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012247315A Active JP6209325B2 (ja) 2012-11-09 2012-11-09 内視鏡装置

Country Status (1)

Country Link
JP (1) JP6209325B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019000352A (ja) * 2017-06-15 2019-01-10 オリンパス株式会社 内視鏡制御装置、内視鏡システム及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07231896A (ja) * 1993-12-27 1995-09-05 Olympus Optical Co Ltd システム制御装置
JPH10283204A (ja) * 1997-04-04 1998-10-23 Konica Corp マルチタスク処理方法、マルチタスク処理装置、および、タスクを記録した記録媒体
JP2003116838A (ja) * 2001-10-17 2003-04-22 Toshiba Corp 医用画像診断装置及び医用画像診断システム
JP2007007040A (ja) * 2005-06-29 2007-01-18 Hitachi Medical Corp 手術支援システム
JP2010131194A (ja) * 2008-12-04 2010-06-17 Olympus Medical Systems Corp 医療機器システム
JP2010157184A (ja) * 2009-01-05 2010-07-15 Toshiba Corp 医用画像処理装置及び医用画像処理装置制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07231896A (ja) * 1993-12-27 1995-09-05 Olympus Optical Co Ltd システム制御装置
JPH10283204A (ja) * 1997-04-04 1998-10-23 Konica Corp マルチタスク処理方法、マルチタスク処理装置、および、タスクを記録した記録媒体
JP2003116838A (ja) * 2001-10-17 2003-04-22 Toshiba Corp 医用画像診断装置及び医用画像診断システム
JP2007007040A (ja) * 2005-06-29 2007-01-18 Hitachi Medical Corp 手術支援システム
JP2010131194A (ja) * 2008-12-04 2010-06-17 Olympus Medical Systems Corp 医療機器システム
JP2010157184A (ja) * 2009-01-05 2010-07-15 Toshiba Corp 医用画像処理装置及び医用画像処理装置制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019000352A (ja) * 2017-06-15 2019-01-10 オリンパス株式会社 内視鏡制御装置、内視鏡システム及びプログラム
JP7007116B2 (ja) 2017-06-15 2022-01-24 オリンパス株式会社 内視鏡制御装置、内視鏡システム及びプログラム

Also Published As

Publication number Publication date
JP6209325B2 (ja) 2017-10-04

Similar Documents

Publication Publication Date Title
CN108135457B (zh) 内窥镜图像处理装置
WO2018221033A1 (ja) 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
US20200337540A1 (en) Endoscope system
US10517472B2 (en) Endoscope system
EP2671498A1 (en) Endoscope device
JP2004147924A (ja) 内視鏡用自動調光装置および電子内視鏡装置
JP6203452B1 (ja) 撮像システム
JP2011255038A (ja) 電子内視鏡装置
US20180184881A1 (en) Endoscope processor
JP6209325B2 (ja) 内視鏡装置
JP2006192058A (ja) 画像処理装置
JP5289176B2 (ja) 医療用ビデオプロセッサ
JP2010000185A (ja) 電子内視鏡システム
JP6045794B2 (ja) 電子内視鏡システム
WO2022014235A1 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
CN112656352B (zh) 内窥镜摄像主机及其控制方法、内窥镜成像系统及存储介质
JP2011152300A (ja) 電子内視鏡システム
JP5976342B2 (ja) 電子内視鏡システム
JP7033423B2 (ja) 内視鏡装置
JP2011152301A (ja) 電子内視鏡システム
JP2011224185A (ja) 電子内視鏡用画像処理装置
JP2008229210A (ja) 電子内視鏡システムの画像処理プロセッサ
JP2015042193A (ja) 電子内視鏡システム
JP2016209444A (ja) 内視鏡システム
JP5863435B2 (ja) 画像信号処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170911

R150 Certificate of patent or registration of utility model

Ref document number: 6209325

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250