JP2011087699A - 内視鏡スコープおよび無線内視鏡システム - Google Patents

内視鏡スコープおよび無線内視鏡システム Download PDF

Info

Publication number
JP2011087699A
JP2011087699A JP2009242383A JP2009242383A JP2011087699A JP 2011087699 A JP2011087699 A JP 2011087699A JP 2009242383 A JP2009242383 A JP 2009242383A JP 2009242383 A JP2009242383 A JP 2009242383A JP 2011087699 A JP2011087699 A JP 2011087699A
Authority
JP
Japan
Prior art keywords
image data
still image
transmission
instruction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009242383A
Other languages
English (en)
Other versions
JP2011087699A5 (ja
JP5378147B2 (ja
Inventor
Masaya Kawasaki
真也 川崎
Takemichi Honda
武道 本多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Olympus Medical Systems Corp
Original Assignee
Olympus Corp
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, Olympus Medical Systems Corp filed Critical Olympus Corp
Priority to JP2009242383A priority Critical patent/JP5378147B2/ja
Priority to PCT/JP2010/067420 priority patent/WO2011048940A1/ja
Priority to EP10824789.1A priority patent/EP2478824B1/en
Priority to CN201080046372.8A priority patent/CN102573606B/zh
Publication of JP2011087699A publication Critical patent/JP2011087699A/ja
Priority to US13/452,366 priority patent/US20120200685A1/en
Publication of JP2011087699A5 publication Critical patent/JP2011087699A5/ja
Application granted granted Critical
Publication of JP5378147B2 publication Critical patent/JP5378147B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00025Operational features of endoscopes characterised by power management
    • A61B1/00036Means for power saving, e.g. sleeping mode
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7232Signal processing specially adapted for physiological signals or for diagnostic purposes involving compression of the physiological signal, e.g. to extend the signal recording period

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】内視鏡スコープにおけるバッテリー容量の低下を低減し、静止画データを送信することができる内視鏡スコープおよび無線内視鏡システムを提供する。
【解決手段】操作指示部111は、静止画データの送信指示を受け付ける。制御部105は、静止画データの送信指示を受け付けた場合、他の無線装置による無線送信の禁止を指示する指示情報を送信させた後に静止画データを送信させる。
【選択図】図1

Description

本発明は、被写体を撮像して生成される動画データおよび静止画データを無線で送信する内視鏡スコープに関する。また、本発明は、内視鏡スコープと、内視鏡スコープから動画データおよび静止画データを受信して動画および静止画を表示するプロセッサとを有する無線内視鏡システムにも関する。
内視鏡スコープ(以下、スコープと記載する)とプロセッサとが有線接続されている内視鏡システムにおいて、ユーザが注目箇所でスコープからフリーズ指示(またはレリーズ指示)を出すことで、プロセッサ側で静止画が生成され、保存される。例えば特許文献1の図1に示されているように、スコープで生成された撮像データはアナログ信号でプロセッサに送られ、プロセッサのA/D変換部以降のデジタル処理で静止画が生成され、生成された静止画が保存されている。
一方、スコープ側とプロセッサ側とを無線接続して、スコープ側で撮像した動画像をプロセッサ側にリアルタイムで送信する無線内視鏡システムにおいても、ユーザは動画像を見ながらフリーズ指示を行うことがある。フリーズ指示によって静止画がスコープ側に一時保存される場合、ユーザが詳細な診断等を行うため、その保存された静止画が破棄されずにプロセッサ側に送信されることが望ましい。
特開2008−264313号公報
上記の無線内視鏡システムのような、動画データを連続送信しながら静止画データも送信するシステムにおいて、スコープはバッテリーで駆動されるため、データパケットをできるだけ短時間で送信することが望まれる。動画データにはリアルタイム性が要求されるためパケットの再送回数は少なく、所定時間内に送信できなかった動画データパケットは破棄され、新しいパケットが送信される。一方、静止画データにはリアルタイム性が要求されないため、パケットの破棄までの時間が長く、静止画データパケットの再送回数は多く設定される。IEEE802.11b等の無線規格に準拠した周辺の無線装置による干渉が発生すると、データ再送によって送信時間が長くなり、消費電流が増加することでバッテリー残容量が低下する。
本発明は、上述した課題に鑑みてなされたものであって、内視鏡スコープにおける静止画再送によるバッテリー容量の低下を低減し、静止画データを送信することができる内視鏡スコープおよび無線内視鏡システムを提供することを目的とする。
本発明は、上記の課題を解決するためになされたもので、被写体を撮像して動画データおよび静止画データを生成する生成部と、前記静止画データの送信指示を受け付ける受付部と、前記静止画データ、前記動画データ、および他の無線装置による無線送信の禁止を指示する指示情報を無線で送信する送信部と、前記送信指示を受け付けた場合、前記指示情報を送信させた後に前記静止画データを送信させる送信制御部と、を有することを特徴とする内視鏡スコープである。
また、本発明の内視鏡スコープは、バッテリー電圧を検出する電圧検出部をさらに有し、前記送信制御部は、前記送信指示を受け付け、かつ前記電圧検出部が検出したバッテリー電圧が所定値より低い場合、前記指示情報を送信させた後に前記静止画データを送信させることを特徴とする。
また、本発明の内視鏡スコープにおいて、前記受付部はさらに、電源の切断指示を受け付け、前記送信制御部は、前記送信指示および前記切断指示を受け付け、かつ前記内視鏡スコープに前記静止画データが残っている場合、前記指示情報を送信させた後に前記静止画データを送信させることを特徴とする。
また、本発明の内視鏡スコープは、他の無線装置を検知する装置検知部をさらに有し、前記送信制御部は、前記送信指示を受け付け、かつ他の無線装置が検知された場合、前記指示情報を送信させた後に前記静止画データを送信させることを特徴とする。
また、本発明の内視鏡スコープは、バッテリー電圧を検出する電圧検出部と、前記電圧検出部が検出したバッテリー電圧が所定値より低くなった場合、プロセッサに前記バッテリー電圧の低下を通知する通知部とをさらに有し、前記送信制御部は、前記通知部によって前記バッテリー電圧の低下が通知された後に前記送信指示を受け付けた場合、前記指示情報を送信させた後に前記静止画データを送信させることを特徴とする。
また、本発明の内視鏡スコープにおいて、前記送信制御部はさらに、前記動画データの送信期間中に前記静止画データを送信させることを特徴とする。
また、本発明の内視鏡スコープにおいて、前記送信制御部はさらに、前記動画データの送信を抑制する、または一時停止して前記静止画データを送信することを特徴とする。
また、本発明の内視鏡スコープにおいて、前記指示情報は、同一周波数を利用する他の無線装置に対して、静止画データの2パケット分以上の送出に必要な時間、他の無線装置による無線送信の禁止を指示することを特徴とする。
また、本発明は、被写体を撮像して生成される動画データおよび静止画データを無線で送信する内視鏡スコープと、前記動画データおよび前記静止画データを受信して動画および静止画を表示するプロセッサとを有する無線内視鏡システムにおいて、前記内視鏡スコープは、前記動画データおよび前記静止画データを生成する生成部と、前記静止画データの送信指示を受け付ける受付部と、前記静止画データ、前記動画データ、および他の無線装置による無線送信の禁止を指示する指示情報を無線で送信する送信部と、前記送信指示を受け付けた場合、前記指示情報を送信させた後に前記静止画データを送信させる送信制御部と、を有することを特徴とする無線内視鏡システムである。
本発明によれば、内視鏡スコープが静止画データの送信指示を受け付けた場合、他の無線装置による無線送信の禁止を指示する指示情報を送信した後に静止画データを送信する。この指示情報を受信した他の無線装置が無線送信を停止することによって、干渉の発生による静止画データの再送が抑制される。このため、静止画再送による内視鏡スコープのバッテリー容量の低下を低減し、静止画データを送信することができる。
本発明の第1の実施形態による内視鏡スコープの構成を示すブロック図である。 本発明の第1の実施形態によるプロセッサの構成を示すブロック図である。 本発明の第1の実施形態における動画データの送信の様子を示す参考図である。 本発明の第1の実施形態における動画データおよび静止画データの送信の様子を示す参考図である。 本発明の第1の実施形態におけるバッテリー容量とバッテリー電圧との関係を示すグラフである。 本発明の第1の実施形態における動画データおよび静止画データの送信の様子を示す参考図である。 本発明の第1の実施形態におけるバッテリー電圧と設定値を示す参考図である。 本発明の第1の実施形態による内視鏡スコープの動作の手順を示すフローチャートである。 本発明の第1の実施形態における動画データおよび静止画データの送信の様子を示す参考図である。 本発明の第1の実施形態における動画データおよび静止画データの送信の様子を示す参考図である。 本発明の第1の実施形態における動画データおよび静止画データの送信の様子を示す参考図である。 本発明の第2の実施形態による内視鏡スコープの動作の手順を示すフローチャートである。 本発明の第3の実施形態による内視鏡スコープの動作の手順を示すフローチャートである。 本発明の第4の実施形態による内視鏡スコープの動作の手順を示すフローチャートである。
以下、図面を参照し、本発明の実施形態を説明する。
(第1の実施形態)
まず、本発明の第1の実施形態を説明する。本実施形態による無線内視鏡システムは、画像データを送信する内視鏡スコープ(以下、スコープと記載する)と、画像データを受信するプロセッサとから構成され、スコープとプロセッサとは、無線で接続される。図1はスコープの構成を示し、図2はプロセッサの構成を示している。
図1に示すようにスコープは、撮像部101と、画像信号処理部102と、画像出力部103,104と、制御部105と、発光部106と、光源部107と、調光部108と、画像記憶部109と、記憶部110と、操作指示部111と、電源部112と、電圧検出部113と、通信部114と、アンテナ115とから構成される。
撮像部101は、被写体を撮像するCCDや、CCDから出力されるアナログ信号をデジタル信号に変換するA/D変換器から構成される。画像信号処理部102は、撮像部101から出力されたデジタル信号から画像データを生成する。この画像データは動画または静止画のデータである。画像出力部103は、画像信号処理部102で処理された画像データを非可逆圧縮して出力する。画像出力部104は、画像信号処理部102で処理された画像データを、画像出力部103が圧縮を行うときの圧縮率よりも低い圧縮率で圧縮して出力するか、非圧縮で出力する。制御部105は、各種制御を行う。
発光部106は、体腔内に光を照射する。光源部107は、発光部106に光を供給するLED等で構成される。調光部108は、体腔内での光量を調整する。画像記憶部109は、各画像出力部から出力された画像データを記憶する。記憶部110は、各種プログラムやパラメータを格納する。操作指示部111は、スコープの制御レバーや各種スイッチ(電源ボタン、チャネルボタン等)から構成され、ユーザからフリーズ指示や電源OFF指示等を受け付ける。電源部112は、電源を供給するバッテリーを含む。電圧検出部113は、バッテリー電圧を検出して制御部105に制御信号を出力する。通信部114は、アンテナ115を介して無線でプロセッサとデータ通信を行う。アンテナ115は、プロセッサと無線の送受信を行う。
プロセッサは、アンテナ201と、通信部202と、伸張部203と、制御部204と、外部機器I/F部205と、記憶部206と、操作指示部207と、画像保持部208と、画像処理部209と、表示部210と、電源部211と、から構成される。
アンテナ201は、スコープと無線の送受信を行う。通信部202は、スコープとデータ通信を行う。伸張部203は、通信部202で受信された圧縮データを伸張して画像データを生成する。通信部202で非圧縮の画像データが受信された場合、伸張部203は伸張を行わない。制御部204は、各種制御を行う。外部機器I/F部205は、外部媒体および外部機器と接続可能なインタフェースである。
記憶部206は、各種プログラムやパラメータを格納する。操作指示部207は、各種スイッチで構成される。画像保持部208は、伸張部203で伸張された画像データまたは非圧縮の画像データを保持する。画像処理部209は、画像保持部208に保持されている画像データを処理する。表示部210は、画像処理部209で処理された画像データに基づいて画像を表示する。電源部211は、電源を供給する。
次に、動画送信および静止画送信について説明する。スコープにおいて、撮像された動画データを送信する場合、通信部114は動画データをパケット化し、所定の変調処理を施す。続いて、通信部114はパケットの送信前にキャリアセンスを行い、他機器(IEEE802.11bなどを使用する機器)からのキャリアがなければデータ送信を行い、他機器からのキャリアを検出すれば、コンテンションウィンドウで規定された範囲内で乱数を発生させ、その発生した数値に単位時間(スロットタイム)を乗じた時間待って再送処理を行う。
プロセッサでは、スコープから放射された電波をアンテナ201が受信し、通信部202がデータを再生する。この結果、エラーが生じていなければ、プロセッサはACKをスコープに返す。動画データは、フレーム周期に合わせて送信される。もしパケットにエラーが発生すると、プロセッサ側からACKがないため、スコープは送信が失敗したと判断し、再送処理を行う。動画データの再送は、動画フレーム周期内に行われる。動画フレーム周期内に再送が完了しなければ、その動画データを破棄し、新たに撮像された動画データを送信することになる。
図3は、動画データが送信される様子を示している。動画フレーム周期内で圧縮データのパケットがスコープからプロセッサに繰り返し送信される。各パケットがプロセッサで受信されると、プロセッサからスコープにACKが送信される。1フレーム分の圧縮データの送信が完了すると、次のフレームの圧縮データの送信が開始されるまでは送信ブランキング期間となり、圧縮データの送信が停止される。
動画データの送信中(動画フレーム周期中)に、スコープの操作指示部111がユーザからフリーズ指示を受け付けた場合、操作指示部111はフリーズ指示を示す信号を出力する。この信号を検出した制御部105は、高画質の静止画データを生成するため、画像信号処理部102に対して、画像出力部104への出力を指示する。これによって、画像信号処理部102で処理された画像データは画像出力部104へ出力され、画像出力部104で処理された静止画データは画像記憶部109に記憶される。
静止画データの送信時には、通信部114が動画データの送信を停止するとともに、キャリアセンス後に、アンテナ115を介して静止画データパケットをプロセッサへ送信する。プロセッサは、受信した静止画データを画像保持部208に記憶する。これにより、静止画データがプロセッサに保存される。
図4は、静止画データが送信される様子を示している。動画データの送信中にフリーズ指示が発生すると、そのフリーズ指示が発生した動画フレーム周期における圧縮データの送信が完了した後、圧縮データの送信は停止される。続いて、静止画データが生成され、静止画データのパケットがスコープからプロセッサに繰り返し送信される。各パケットがプロセッサで受信されると、プロセッサからスコープにACKが送信される。静止画データの送信が完了すると、動画データの送信が再開される。
スコープはバッテリー電源で駆動される。図5はバッテリー容量とバッテリー電圧の関係を示している。図5に示すように、スコープの消費電流が増加すると、同じバッテリー容量であってもバッテリー電圧は低くなる。IEEE802.11b等の無線装置による干渉で静止画データパケットが壊れてしまうと、プロセッサはパケットを正常に受信できないためにACKを返すことができず、スコープは静止画データを再送する。静止画データはリアルタイム性を求められていないため、干渉が発生している間、スコープは何度も再送を試みることになる。再送が繰り返されると、単位時間当たりの消費電流が増加する。このため、図5に示す放電曲線を例にとると、バッテリー容量が少なくなっている場合、バッテリー電圧が、スコープを動作させるために必要な電圧より低くなってしまう。これにより、スコープの制御部105は電池切れと判断してスコープをシャットダウンさせるため、スコープは静止画データを送信できなくなってしまう。
図6は、バッテリー電圧が低下しているときに静止画データが送信される様子を示している。スコープが静止画データのパケットを送信する際に、周辺にあるIEEE802.11b等の無線装置による干渉が発生すると、プロセッサはパケットを受信できず、ACKが返信されない。このため、スコープは静止画データのパケットを再送する。パケットの再送により、バッテリー電圧が、スコープを動作させるために必要な電圧より低くなると、スコープがシャットダウンし、静止画データを送信できなくなる。
上記のように静止画データを送信できなくなることを抑制するため、本実施形態では、静止画データを送信するために十分なバッテリー電圧があるか否かを送信時に検知する電圧検出部113を設けるとともに、電圧検出部113が検知した電圧値が所定値より低い場合、静止画データパケットを送信する前にCTSパケット(指示情報)を送信するという解決手段をとる。
CTSパケットには、静止画データパケットの一つまたはそれを超える分の送信時間を、無線内視鏡システムが使用する周波数と同一周波数を利用する他の無線装置に通知する役割がある。言い換えると、CTSパケットには、他の無線装置による無線送信の禁止を指示する役割がある。このCTSパケットを受信した無線装置は、CTSパケットにより設定された送信時間分だけデータ送信を控える。この設定された時間はNAV期間と呼ばれる。このNAV期間内にスコープが静止画データを送信することで、再送を抑制した通信が可能となり、バッテリー容量が少なくなった場合でも、短時間で静止画データを送信できるため、単位時間当たりの消費電流を抑制でき、静止画データをプロセッサに保存することができる。干渉による静止画データの再送を抑えて静止画データをできるだけ短時間で送信するためには、CTSパケットにより、静止画データの2パケット分以上の送信時間を他の無線装置に通知することが望ましい。
無線内視鏡システムのデータ通信にIEEE802.11gを適用する場合、そのデータはOFDMフレームであり、IEEE802.11bの無線装置はOFDMフレームを認識できない。この場合、IEEE802.11bの無線装置はOFDMフレームを他システムからの干渉波と解釈し、IEEE802.11gの無線装置が送信中であっても、送信を開始してしまう可能性がある。その結果、フレーム衝突が発生し、再送の多発を招く。この問題を回避するために、IEEE802.11gの無線装置がOFDMフレームを送信する前に自局宛てのCTSフレーム(受信準備完了フレーム)を送信してIEEE802.11bの無線装置の送信を抑制する手順が規定されている。
しかし、全ての送信データの前にCTSパケットを送信すると、自システムの通信品質は確保できるが、周囲のIEEE802.11bの無線装置のデータ送信が抑制されてしまうため、他の無線システムに大きな影響を与えてしまうことがある。本実施形態では、バッテリー容量が不足している時のみスコープがCTSパケットを付けて静止画データを送信するため、バッテリー容量が十分ある場合は、他の無線装置と共存可能である。
次に、図7および図8を用いてスコープの動作を説明する。図8のステップS801〜S809は通常の動画データ送信の流れである。スコープの電源がONとなる(ステップS801)と、スコープはプロセッサと接続するための処理を行う(ステップS802)。続いて、撮像部101はデジタル信号を生成し、画像信号処理部102はデジタル信号から画像データを生成する(ステップS803)。続いて、制御部105は、操作指示部111からの信号に基づいて、フリーズ指示があったか否かを判定する(ステップS804)。
フリーズ指示がなかった場合、制御部105は、画像信号処理部102に対して、画像出力部103への出力を指示する。これによって、画像信号処理部102で処理された画像データは画像出力部103へ出力される。画像出力部103は、入力された画像データに対して圧縮処理を行う(ステップS805)。圧縮された画像データ(圧縮データ)は画像記憶部109に記憶された後、通信部114へ出力される。通信部114は圧縮データのパケットを生成し、アンテナ115を介してパケットをプロセッサへ送信する(ステップS806)。
パケットの送信後、通信部114はプロセッサからのACKを適宜受信し、ACKを受信したことを制御部105に通知する。1パケットの送信が終了すると、制御部105は、各パケットに対するACKの有無を確認し、データを再送するか否かを判定する(ステップS807)。全てのパケットに対してACKが受信され、データを再送する必要がない場合、次のフレームにおいて、ステップS803からの処理が再度行われる。一方、ACKが受信されなかったパケットがあった場合、制御部105は再送回数を判定する(ステップS808)。
再送回数が所定回数以内であった場合、ステップS806において、再度パケットがプロセッサへ送信される。一方、再送回数が所定回数を超えた場合、現在のフレームの圧縮データは破棄される(ステップS809)。続いて、次のフレームにおいて、ステップS803からの処理が再度行われる。
ステップS804においてフリーズ指示があった場合、制御部105は、画像信号処理部102に対して、画像出力部104への出力を指示する。これによって、画像信号処理部102で処理された画像データ(静止画データ)は画像出力部104へ出力される。画像出力部104は、入力された静止画データに対して圧縮処理を行って出力する、または入力された静止画データを非圧縮で出力する。画像出力部104から出力された静止画データは画像記憶部109に記憶される(ステップS810)。
電圧検出部113は、電源部112におけるバッテリー電圧を繰り返し検出し、制御部105にバッテリー電圧を通知している。制御部105は、図7に示した設定値とバッテリー電圧とを比較し、バッテリー電圧が所定値以上であるか否かを判定する(ステップS811)。バッテリー電圧が所定値以上であった場合(例えばバッテリー電圧が図7の(1)の領域にある場合)、制御部105は、画像記憶部109に記憶されている静止画データを通信部114へ出力する。通信部114は静止画データのパケットを生成し、アンテナ115を介してパケットをプロセッサへ送信する(ステップS812)。なお、静止画データの送信時にもACKが受信され、ACKが受信されなかった場合には静止画データが再送されるが、図8ではその動作を省略している。
続いて、制御部105は、静止画データの送信が完了したか否かを判定する(ステップS813)。静止画データの送信が完了していない場合、ステップS811からの処理が再度行われる。一方、静止画データの送信が完了した場合、制御部105は、画像記憶部109に記憶されている静止画データを破棄する(ステップS817)。続いて、ステップS803からの処理が再度行われる。
また、ステップS811において、バッテリー電圧が所定値未満であった場合(例えばバッテリー電圧が図7の(2)の領域にある場合)、制御部105は、CTSパケットの送信を通信部114に指示する。通信部114は、周囲の無線装置(802.11b機器)に対するCTSパケットを送信する(ステップS814)。これによって、周囲の無線装置に対して、スコープが送信を行うためのNAV期間が通知される。続いて、制御部105は、画像記憶部109に記憶されている静止画データを通信部114へ出力する。通信部114は静止画データのパケットを生成し、アンテナ115を介してパケットをプロセッサへ送信する(ステップS815)。
続いて、制御部105は、静止画データの送信が完了したか否かを判定する(ステップS816)。静止画データの送信が完了していない場合、ステップS815からの処理が再度行われる。一方、静止画データの送信が完了した場合、制御部105は、画像記憶部109に記憶されている静止画データを破棄する(ステップS817)。続いて、ステップS803からの処理が再度行われる。
上記のように、CTSパケットの送信後、他の無線装置が送信を控えているNAV期間中に静止画データを送信することで、他の無線装置による干渉を抑制した状態で静止画データを送信することができる。
図9は、バッテリー電圧が低下しているときに静止画データが送信される様子を示している。スコープは、静止画データのパケットを送信する際にバッテリー電圧を確認し、バッテリー電圧が所定値未満であった場合、CTSパケットを送信した後、CTSパケットで指定したNAV期間中に静止画データのパケットを送信する。周囲の無線装置はCTSパケットの受信により、NAV期間中のデータ送信を停止する。
なお、上記では動画データを一時停止して静止画データを送信しているが、動画データを送信しながら静止画データを送信してもよい。その際、静止画データは、図3に示す送信ブランキング期間中に送信される。
図10と図11は、動画データの送信ブランキング期間中に静止画データが送信される様子を示している。図10では、通常1秒あたり30フレームである動画データのフレーム数を間引きして、静止画データを送信する。1フレームあたりの動画データ量は変わらないが、動画送信のブランキング期間が長くなるため、静止画データの送信時間を多くすることができる。これにより、動画データを送信しつつ静止画データを効率的に送信することができる。
図11では、動画データのフレーム数を変えずに1フレームあたりのデータ量を削減(データ間引き)し、動画データの送信時間を削減することで、動画送信のブランキング期間を長くする。これにより、静止画データの送信可能時間を多くすることができ、静止画データを効率的に送信することができる。データ量を削減するには、圧縮率を高くする、撮像データの分解能を下げる、などといった一般的な方法もある。
上述したように、本実施形態によるスコープは、ユーザからフリーズ指示による静止画データの送信指示を受け付け、かつバッテリー電圧が規定値未満である場合、CTSパケットを送信した後に静止画データを送信する。このCTSパケットを受信した他の無線装置が無線送信を停止することによって、干渉の発生による静止画データの再送が抑制される。このため、スコープにおける再送によるバッテリー容量の低下を低減し、静止画データを送信することができる。
(第2の実施形態)
次に、本発明の第2の実施形態を説明する。本実施形態による無線内視鏡システムの構成は第1の実施形態と同じである。第1の実施形態では、動画データの送信中にフリーズ指示があった場合、動画データの送信を止めて静止画データを送信するようにしたが、本実施形態では、フリーズ指示があった場合でも動画データの送信を止めず、処置後(動画データ送信の必要がなくなった後)に静止画データを送信する。
以下、図12を用いて本実施形態のスコープの動作を説明する。ステップS1201〜S1203は図8のステップS801〜S803と同じである。ステップS1203の後、制御部105は、操作指示部111からの信号に基づいて、電源をOFFする指示があったか否かを判定する(ステップS1204)。
電源をOFFする指示がなかった場合、制御部105は、操作指示部111からの信号に基づいて、フリーズ指示があったか否かを判定する(ステップS1205)。フリーズ指示がなかった場合、処理はステップS1207に進む。一方、フリーズ指示があった場合、制御部105は、画像信号処理部102に対して、画像出力部104への出力を指示する。これによって、画像信号処理部102で処理された画像データ(静止画データ)は画像出力部104へ出力される。画像出力部104は、入力された静止画データに対して圧縮処理を行って出力する、または入力された静止画データを非圧縮で出力する。画像出力部104から出力された静止画データは画像記憶部109に記憶される(ステップS1206)。ステップS1206の後、処理はステップS1207に進む。ステップS1207〜S1211は図8のステップS805〜S809と同じである。
ステップS1204において電源をOFFする指示があった場合、制御部105は、画像記憶部109に静止画データが格納されているか否かを判定する(ステップS1212)。画像記憶部109に静止画データが格納されていた場合、処理はステップS1213に進む。ステップS1213〜S1218は図8のステップS811〜S816と同じである。ステップS1212において画像記憶部109に静止画データが格納されていなかった場合、およびステップS1215,S1218において静止画データの送信が完了した場合、電源がOFFとなる(ステップS1219)。
上述したように、本実施形態によるスコープは、フリーズ指示による静止画データの送信指示および電源の切断(OFF)指示を受け付け、バッテリー電圧が規定値未満であり、かつスコープに静止画データが残っている場合、CTSパケットを送信した後に静止画データを送信する。これにより、バッテリー電圧の低下時でもフリーズ指示の後に動画が止まることなく、ユーザが観察を続けることができるとともに、スコープが静止画データを送信することができる。
(第3の実施形態)
次に、本発明の第3の実施形態を説明する。本実施形態による無線内視鏡システムの構成は第1の実施形態と同じである。第1、第2の実施形態では、バッテリー電圧の低下を検出したときにCTSパケットを送信してから静止画データパケットを送信しているが、本実施形態では、バッテリー電圧の低下時において、さらに効率よく静止画データを送信する。
以下、図13を用いて本実施形態のスコープの動作を説明する。スコープの電源がONとなる(ステップS1301)と、スコープはプロセッサと接続するための処理を行う(ステップS1302)。続いて、制御部105は、前回プローブリクエスト(Probe Request)を送信してから所定時間が経過したか否かを判定する(ステップS1303)。
所定時間が経過していない場合、処理はステップS1306に進む。一方、所定時間が経過した場合、制御部105は、プローブリクエストの送信を通信部114に指示する。通信部114は、周囲の無線装置に対するプローブリクエストを送信する(ステップS1304)。なお、電源がONとなった後の初回動作時にも、処理はステップS1304に進む。続いて、スコープは、プローブリクエストに対する応答であるプローブレスポンス(Probe Response)の待機動作を行う(ステップS1305)。この待機動作中に通信部114がプローブレスポンスを受信した場合、通信部114は制御部105にプローブレスポンスの受信を通知する。プローブレスポンスの受信により、周囲の他の無線装置(端末)の存在が分かる。
続いて、処理はステップS1306に進む。ステップS1306〜S1312は図8のステップS803〜S809と同じである。また、ステップS1307においてフリーズ指示があった場合、処理はステップS1313に進む。ステップS1313〜S1316は図8のステップS810〜S813と同じである。
ステップS1314において、バッテリー電圧が所定値未満であった場合、制御部105は、ステップS1305におけるプローブレスポンスの受信結果に基づいて、他の無線装置が存在するか否かを判定する(ステップS1317)。プローブレスポンスが受信された場合、他の無線装置が存在しており、処理はステップS1320に進む。ステップS1320〜S1322は図8のステップS814〜S816と同じである。一方、プローブレスポンスが受信されない場合、他の無線装置は存在しないと判断し、ステップS1321と同様にスコープは静止画データをプロセッサへ送信する(ステップS1318)。続いて、制御部105は、静止画データの送信が完了したか否かを判定する(ステップS1319)。静止画データの送信が完了していない場合、ステップS1317からの処理が再度行われる。
ステップS1316,S1319,S1322において、静止画データの送信が完了した場合、制御部105は、画像記憶部109に記憶されている静止画データを破棄する(ステップS1323)。続いて、ステップS1303からの処理が再度行われる。
上述したように、本実施形態によるスコープは、フリーズ指示による静止画データの送信指示を受け付け、バッテリー電圧が規定値未満であり、かつ他の無線装置が検知された場合、CTSパケットを送信する。これにより、必要以上にCTSパケットを送信する必要がなくなり、効率的に静止画データを送信することができる。
(第4の実施形態)
次に、本発明の第4の実施形態を説明する。本実施形態による無線内視鏡システムの構成は第1の実施形態と同じである。本実施形態では、静止画データを送信する際、ユーザの意思を反映させた送信方法をとる。
以下、図14を用いて本実施形態のスコープの動作を説明する。ステップS1401〜S1413は図8のステップS801〜S813と同じである。ステップS1411において、バッテリー電圧が所定値未満であった場合、制御部105は、バッテリー電圧が低電圧であることをプロセッサに報知する報知情報の送信を通信部114に指示する。通信部114は、報知情報をプロセッサへ送信する(ステップS1414)。
プロセッサは、受信した報知情報に基づいて、スコープのバッテリー電圧が低電圧であることを示す情報をモニタに表示する。ユーザは、モニタに表示された情報によって、静止画データを送信するか否かを判断し、静止画データを送信すると判断した場合、スコープの操作指示部111にある送信スイッチを所定時間内に押下することで送信指示を与える。
ステップS1414に続いて、制御部105は、操作指示部111からの信号に基づいて、送信指示があったか否かを判定する(ステップS1415)。送信指示があった場合、処理はステップS1417に進む。ステップS1417〜S1420は図8のステップS814〜S817と同じである。一方、送信指示がなかった場合、画像記憶部109に格納されている静止画データが不揮発性メモリに保存される(ステップS1416)。不揮発性メモリは画像記憶部109の一部でもよい。不揮発性メモリに保存された静止画データは、第2の実施形態で記載しているように、電源のOFFが指示されたときに不揮発性メモリから読み出されてプロセッサへ送信されてもよい。ステップS1416の後、ステップS1403からの処理が再度行われる。
上述したように、本実施形態によるスコープは、フリーズ指示による静止画データの送信指示を受け付け、かつバッテリー電圧が規定値未満である場合、プロセッサにバッテリー電圧の低下を報知する。この報知を受けたプロセッサは、バッテリー電圧の低下をユーザに報知する。これにより、バッテリー電圧が低くなっていることをユーザに報知できるとともに、ユーザの意思を反映した静止画データの送信を行うことができる。
バッテリー容量が少なく、静止画データが多い場合は、CTSパケットを送信してから静止画データを送信しても、途中で静止画データを送信できなくなる可能性がある。その場合、スコープは、静止画データを送信しないことをプロセッサに報知するとともに、静止画データを不揮発性メモリ等に記憶しておく。プロセッサは、静止画データを送信しないことをユーザに報知するとともにバッテリー充電を促す。次にユーザが電源を入れた際、十分なバッテリー容量があれば、静止画データを送信するようにしてもよい。
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
101・・・撮像部(生成部)、102・・・画像信号処理部(生成部)、103,104・・・画像出力部、105・・・制御部(送信制御部)、106・・・発光部、107・・・光源部、108・・・調光部、109・・・画像記憶部、110・・・記憶部、111・・・操作指示部(受付部)、112・・・電源部、113・・・電圧検出部、114・・・通信部(送信部、装置検知部、通知部)、115・・・アンテナ、201・・・アンテナ、202・・・通信部、203・・・伸張部、204・・・制御部、205・・・外部機器I/F部、206・・・記憶部、207・・・操作指示部、208・・・画像保持部、209・・・画像処理部、210・・・表示部、211・・・電源部

Claims (9)

  1. 被写体を撮像して動画データおよび静止画データを生成する生成部と、
    前記静止画データの送信指示を受け付ける受付部と、
    前記静止画データ、前記動画データ、および他の無線装置による無線送信の禁止を指示する指示情報を無線で送信する送信部と、
    前記送信指示を受け付けた場合、前記指示情報を送信させた後に前記静止画データを送信させる送信制御部と、
    を有することを特徴とする内視鏡スコープ。
  2. バッテリー電圧を検出する電圧検出部をさらに有し、
    前記送信制御部は、前記送信指示を受け付け、かつ前記電圧検出部が検出したバッテリー電圧が所定値より低い場合、前記指示情報を送信させた後に前記静止画データを送信させる
    ことを特徴とする請求項1に記載の内視鏡スコープ。
  3. 前記受付部はさらに、電源の切断指示を受け付け、
    前記送信制御部は、前記送信指示および前記切断指示を受け付け、かつ前記内視鏡スコープに前記静止画データが残っている場合、前記指示情報を送信させた後に前記静止画データを送信させる
    ことを特徴とする請求項1に記載の内視鏡スコープ。
  4. 他の無線装置を検知する装置検知部をさらに有し、
    前記送信制御部は、前記送信指示を受け付け、かつ他の無線装置が検知された場合、前記指示情報を送信させた後に前記静止画データを送信させる
    ことを特徴とする請求項1に記載の内視鏡スコープ。
  5. バッテリー電圧を検出する電圧検出部と、
    前記電圧検出部が検出したバッテリー電圧が所定値より低くなった場合、プロセッサに前記バッテリー電圧の低下を通知する通知部とをさらに有し、
    前記送信制御部は、前記通知部によって前記バッテリー電圧の低下が通知された後に前記送信指示を受け付けた場合、前記指示情報を送信させた後に前記静止画データを送信させる
    ことを特徴とする請求項1に記載の内視鏡スコープ。
  6. 前記送信制御部はさらに、前記動画データの送信期間中に前記静止画データを送信させる
    ことを特徴とする請求項1に記載の内視鏡スコープ。
  7. 前記送信制御部はさらに、前記動画データの送信を抑制する、または一時停止して前記静止画データを送信する
    ことを特徴とする請求項1に記載の内視鏡スコープ。
  8. 前記指示情報は、同一周波数を利用する他の無線装置に対して、静止画データの2パケット分以上の送出に必要な時間、他の無線装置による無線送信の禁止を指示する
    ことを特徴とする請求項1〜請求項7のいずれかに記載の内視鏡スコープ。
  9. 被写体を撮像して生成される動画データおよび静止画データを無線で送信する内視鏡スコープと、前記動画データおよび前記静止画データを受信して動画および静止画を表示するプロセッサとを有する無線内視鏡システムにおいて、
    前記内視鏡スコープは、
    前記動画データおよび前記静止画データを生成する生成部と、
    前記静止画データの送信指示を受け付ける受付部と、
    前記静止画データ、前記動画データ、および他の無線装置による無線送信の禁止を指示する指示情報を無線で送信する送信部と、
    前記送信指示を受け付けた場合、前記指示情報を送信させた後に前記静止画データを送信させる送信制御部と、
    を有することを特徴とする無線内視鏡システム。
JP2009242383A 2009-10-21 2009-10-21 内視鏡スコープおよび無線内視鏡システム Active JP5378147B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009242383A JP5378147B2 (ja) 2009-10-21 2009-10-21 内視鏡スコープおよび無線内視鏡システム
PCT/JP2010/067420 WO2011048940A1 (ja) 2009-10-21 2010-10-05 内視鏡スコープおよび無線内視鏡システム
EP10824789.1A EP2478824B1 (en) 2009-10-21 2010-10-05 Endoscope and wireless endoscope system
CN201080046372.8A CN102573606B (zh) 2009-10-21 2010-10-05 内窥镜镜体和无线内窥镜系统
US13/452,366 US20120200685A1 (en) 2009-10-21 2012-04-20 Endoscope scope and wireless endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009242383A JP5378147B2 (ja) 2009-10-21 2009-10-21 内視鏡スコープおよび無線内視鏡システム

Publications (3)

Publication Number Publication Date
JP2011087699A true JP2011087699A (ja) 2011-05-06
JP2011087699A5 JP2011087699A5 (ja) 2012-11-01
JP5378147B2 JP5378147B2 (ja) 2013-12-25

Family

ID=43900172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009242383A Active JP5378147B2 (ja) 2009-10-21 2009-10-21 内視鏡スコープおよび無線内視鏡システム

Country Status (5)

Country Link
US (1) US20120200685A1 (ja)
EP (1) EP2478824B1 (ja)
JP (1) JP5378147B2 (ja)
CN (1) CN102573606B (ja)
WO (1) WO2011048940A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5489516B2 (ja) 2009-04-13 2014-05-14 オリンパス株式会社 画像送信端末、画像送信方法、およびプログラム
CN104486986B (zh) * 2012-07-26 2018-06-01 德普伊辛迪斯制品公司 光不足环境中的连续视频
IN2015MN00022A (ja) 2012-07-26 2015-10-16 Olive Medical Corp
EP3459431A1 (en) 2013-03-15 2019-03-27 DePuy Synthes Products, Inc. Controlling the integral light energy of a laser pulse
AU2014233464B2 (en) 2013-03-15 2018-11-01 DePuy Synthes Products, Inc. Scope sensing in a light controlled environment
US9641815B2 (en) 2013-03-15 2017-05-02 DePuy Synthes Products, Inc. Super resolution and color motion artifact correction in a pulsed color imaging system
US9326661B2 (en) 2013-11-18 2016-05-03 Gyrus Acmi, Inc. Line of sight wireless endoscopy
US10084944B2 (en) 2014-03-21 2018-09-25 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
JP6395445B2 (ja) * 2014-05-28 2018-09-26 オリンパス株式会社 内視鏡、受信装置、無線内視鏡システム、画像受信装置の作動方法、およびプログラム
JP6348854B2 (ja) * 2015-02-03 2018-06-27 富士フイルム株式会社 内視鏡用プロセッサ装置、内視鏡システム及び内視鏡システムの非接触給電方法
US11081274B2 (en) 2017-02-24 2021-08-03 Greatbatch Ltd. Wirelessly powered devices for minimally invasive surgery
CN110049286B (zh) * 2019-03-26 2021-03-09 合肥工业大学 提高无线内窥镜系统图传可靠性的方法及装置
US20220192467A1 (en) * 2020-12-20 2022-06-23 CapsoVision, Inc. Method and Apparatus for Extending Battery Life of Capsule Endoscope

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005334082A (ja) * 2004-05-24 2005-12-08 Olympus Corp 被検体内導入装置
JP2006295564A (ja) * 2005-04-11 2006-10-26 Sony Corp 無線通信システム,無線通信装置,無線通信方法,およびコンピュータプログラム。
JP2008085505A (ja) * 2006-09-26 2008-04-10 Oki Electric Ind Co Ltd 無線ネットワークにおける通信方法、無線ネットワークにおける通信プログラム、及び無線通信システム
JP2009077875A (ja) * 2007-09-26 2009-04-16 Fujinon Corp 電子内視鏡及び内視鏡システム
JP2009189663A (ja) * 2008-02-15 2009-08-27 Olympus Corp 内視鏡装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5055686B2 (ja) * 2004-05-13 2012-10-24 ソニー株式会社 撮像システム、撮像装置、撮像方法
US7729285B2 (en) * 2005-03-22 2010-06-01 Itt Manufacturing Enterprises, Inc. Energy-efficient network protocol and node device for sensor networks
JP2006352661A (ja) * 2005-06-17 2006-12-28 Fujitsu Ltd テレビ電話端末、撮影方法および撮影プログラム
US20070156016A1 (en) * 2005-12-29 2007-07-05 Ido Betesh Method and system for communication with an ingestible imaging device
JP4868905B2 (ja) * 2006-03-24 2012-02-01 オリンパス株式会社 受信装置
JP2008264313A (ja) 2007-04-23 2008-11-06 Olympus Medical Systems Corp 内視鏡システム
JP5426195B2 (ja) 2008-03-10 2014-02-26 第一三共ヘルスケア株式会社 イブプロフェン含有安定化内服液
US8364031B2 (en) * 2008-09-10 2013-01-29 Endolab Holding B.V. Lighting assembly for an image capturing system comprising LED elements
EP2359598A1 (en) * 2008-11-21 2011-08-24 Stryker Corporation Wireless operating room communication system including video output device and video display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005334082A (ja) * 2004-05-24 2005-12-08 Olympus Corp 被検体内導入装置
JP2006295564A (ja) * 2005-04-11 2006-10-26 Sony Corp 無線通信システム,無線通信装置,無線通信方法,およびコンピュータプログラム。
JP2008085505A (ja) * 2006-09-26 2008-04-10 Oki Electric Ind Co Ltd 無線ネットワークにおける通信方法、無線ネットワークにおける通信プログラム、及び無線通信システム
JP2009077875A (ja) * 2007-09-26 2009-04-16 Fujinon Corp 電子内視鏡及び内視鏡システム
JP2009189663A (ja) * 2008-02-15 2009-08-27 Olympus Corp 内視鏡装置

Also Published As

Publication number Publication date
EP2478824B1 (en) 2018-12-26
EP2478824A1 (en) 2012-07-25
CN102573606A (zh) 2012-07-11
WO2011048940A1 (ja) 2011-04-28
CN102573606B (zh) 2016-03-09
EP2478824A4 (en) 2017-02-22
JP5378147B2 (ja) 2013-12-25
US20120200685A1 (en) 2012-08-09

Similar Documents

Publication Publication Date Title
JP5378147B2 (ja) 内視鏡スコープおよび無線内視鏡システム
US8908756B2 (en) Image transmission apparatus and image reception apparatus
US8121078B2 (en) Wireless network camera systems
US20180027420A1 (en) Image communication system, image transmission apparatus, image transmission method, and recording medium
EP1492352A3 (en) Device, method and system for reduced transmission imaging
US9871561B2 (en) Communication apparatus, control method of communication apparatus, and program
JP2011087699A5 (ja)
US8553996B2 (en) Image transmission terminal
US20100283582A1 (en) Wireless Communication Apparatus
US10477408B2 (en) Image communication system, image reception apparatus, image transmission apparatus, image reception method, image transmission method, and recording medium
US8692923B2 (en) Digital camera
JP5838852B2 (ja) 撮像システム、撮像装置、撮像方法及びプログラム
JP5063866B2 (ja) 画像表示装置
JP2013115551A (ja) 電子機器およびプログラム
US10587803B2 (en) Imaging apparatus, imaging mode control method and storage medium
US10542522B2 (en) Image communication system, image reception apparatus, image transmission apparatus, image reception method, image transmission method, and recording medium
US20140254765A1 (en) Display control apparatus, display control method, and computer-readable storage medium storing program
JP4732107B2 (ja) 撮影装置及び撮影システム
US10057495B2 (en) Display device, image display method and storage medium
WO2017081794A1 (ja) サーバ、クライアント、通信システム、通信方法、およびプログラム
US10390017B2 (en) Compressed image data transmitting device, compressed image data transmitting and receiving system, compressed image data transmitting method, and non-transitory medium saving program
US8204464B2 (en) Wireless communication apparatus, its control method, and recording medium
JP2009077123A (ja) 撮影装置、監視装置、及び画像通信システム
JP2009141547A (ja) 無線lan基地局、無線lan端末、及び無線lan通信システム
JP6419265B2 (ja) 画像処理装置、制御方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120914

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130925

R150 Certificate of patent or registration of utility model

Ref document number: 5378147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250