JP2016087141A - 内視鏡システム、画像処理装置、画像処理方法、およびプログラム - Google Patents

内視鏡システム、画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP2016087141A
JP2016087141A JP2014226055A JP2014226055A JP2016087141A JP 2016087141 A JP2016087141 A JP 2016087141A JP 2014226055 A JP2014226055 A JP 2014226055A JP 2014226055 A JP2014226055 A JP 2014226055A JP 2016087141 A JP2016087141 A JP 2016087141A
Authority
JP
Japan
Prior art keywords
image
objective lens
endoscope
angular velocity
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014226055A
Other languages
English (en)
Other versions
JP6519144B2 (ja
JP2016087141A5 (ja
Inventor
丈士 上森
Takeshi Uemori
丈士 上森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014226055A priority Critical patent/JP6519144B2/ja
Priority to PCT/JP2015/005379 priority patent/WO2016072059A1/en
Priority to CN201580057264.3A priority patent/CN107079097B/zh
Priority to EP15794320.0A priority patent/EP3179897B1/en
Priority to US15/327,062 priority patent/US10368725B2/en
Publication of JP2016087141A publication Critical patent/JP2016087141A/ja
Publication of JP2016087141A5 publication Critical patent/JP2016087141A5/ja
Application granted granted Critical
Publication of JP6519144B2 publication Critical patent/JP6519144B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00179—Optical arrangements characterised by the viewing angles for off-axis viewing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】斜視鏡からなる内視鏡装置においても手ぶれ補正できるようにする。【解決手段】内視鏡装置における鏡筒部の軸方向と、対物レンズの光軸方向とが所定の角度からなる斜視角を有する場合、水平方向の手ぶれ補正のシフト量ｕは、焦点距離ｆ、斜視角φｙ、撮像部の中心と光源とを結ぶ直線と鏡筒軸とのなす角αｙにより、ｕ＝ｆｔａｎθ（φｙ＋αｙ）として定義することができ、このようにして算出されるシフト量ｕにより、手ぶれを補正することができる。本技術は、内視鏡装置に適用することができる。【選択図】図１０

Description

本技術は、内視鏡システム、画像処理装置、画像処理方法、およびプログラムに関し、特に、内視鏡手術などで使用される内視鏡装置のうち、いわゆる斜視鏡を利用した場合においても手ぶれ補正を実現できるようにした内視鏡システム、画像処理装置、画像処理方法、およびプログラムに関する。
手ぶれ量を検知できるジャイロスコープが搭載されたビデオカメラなどの撮像装置において、映像の手ぶれを補正する技術が開示されている（特許文献１参照）。
この特許文献１の技術によれば、ジャイロスコープなどのセンサで検出されたぶれ量を用いて、画像データを光軸に直行する方向へｆｔａｎθ、またはｆθだけシフトすることで、手ぶれ補正が可能なことが記載されている。
ここで、ｆは撮像光学系の焦点距離であり、θはジャイロスコープなどのセンサで検出、算出された光軸に直行する軸周りの撮像装置の回転角度である。
特開２０１３−１１３９６２号公報
ところで、一般的に、ビデオカメラでは数メートルから数十メートル離れたところにある対象物体を映すため、撮像装置の光学系から対象物体までの距離（以下、被写体距離と呼ぶ）が、手ぶれにより発生した回転の回転中心と撮像装置の光学系までの距離（以下、回転半径と呼ぶ）に比べて十分に大きい。
このため、特許文献１などで記載されている方法では、回転半径が被写体距離に比べて無視できるくらい十分に小さいという仮定のもと、手ぶれ補正シフト量の算出を行っている。
一方、硬性内視鏡装置では、数ミリメートルから数センチメートル離れたところにある対象物体を映す。また、腹腔鏡手術の場合、硬性鏡はトロッカと呼ばれる筒を介して腹腔内に挿入される。
このとき、硬性鏡はトロッカを支点として回転することになる。硬性内視鏡装置の場合、回転半径が被写体距離に対して無視できるほど小さくないため、特許文献１などで記載されている手ぶれ補正方法では効果が得られない。
また、硬性内視鏡の種類には、通常の直視鏡の他に、硬性鏡の光軸が、鏡筒の軸に対して傾いた斜視鏡と呼ばれるものがある。斜視鏡の場合、被写体距離と回転半径に加え、斜視鏡の鏡筒軸と光学系の光軸とがなす角度、および鏡筒の基準位置からの回転角度を考慮して手ぶれ補正のシフト量を算出しなければ手ぶれ補正効果が得られない。
本技術は、このような状況に鑑みてなされたものであり、被写体距離、回転半径、斜視鏡の鏡筒軸と光学系の光軸とがなす角度、および斜視鏡の基準位置からの回転角度を考慮した手ぶれ補正を実現するものである。
本開示の一側面の内視鏡システムは、体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置と、検出された前記角速度に基づいて、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部とが設けられている画像処理装置とを含む。
前記内視鏡装置は、前記挿入部の軸方向に対して、その光軸が所定の角度からなる斜視角をなす対物レンズを有する斜視鏡とすることができる。
前記斜視角には、３０度、および７０度を含ませるようにすることができる。
前記画像処理装置には、前記画像信号に基づいて、前記斜視角を測定させるようにすることができる。
前記画像処理装置には、検出された前記角速度を時間方向に平準化する角速度平準化部をさらに設けるようにさせることができる。
前記画像処理装置には、手振れ補正済みの前記画像信号のローリングシャッタ歪を除去する歪除去部をさらに設けるようにさせることができる。
本開示の一側面の画像処理装置は、体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置により検出された前記角速度に基づいて、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部を含む。
本開示の一側面の画像処理方法は、体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号を処理する画像処理装置に画像処理方法において、検出された前記角速度に基づいて、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正するステップを含む。
本開示の一側面のプログラムは、体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号を処理する画像処理装置を制御するコンピュータを、検出された前記角速度に基づいて、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部として機能させる。
本開示の一側面においては、内視鏡装置において、体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられ、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号が処理され、検出された前記角速度に基づいて、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアが切り出されることにより、前記画像信号の手振れが補正される。
本技術の一側面の内視鏡システム、および画像処理装置は、それぞれ独立した装置であっても良いし、内視鏡システム、および画像処理装置のそれぞれとして機能するブロックであっても良い。
本技術の一側面によれば、被写体距離、回転半径、斜視鏡の鏡筒軸と光学系の光軸とがなす角度、および斜視鏡の基準位置からの回転角度を考慮した手ぶれ補正を実現することが可能となる。
腹腔鏡下手術の概要を示す図である。 本開示を適用した内視鏡システムの構成例を示すブロック図である。 図２の内視鏡装置の他の構成例を示すブロック図である。 図画像補正装置による補正処理の概要を説明する図である。 画像補正装置の構成例を示すブロック図である。 ビデオカメラと内視鏡装置との手ぶれ補正の違いを説明する図である。 ピンホールカメラモデルによる斜視鏡の構成を説明する図である。 直視鏡による手ぶれ補正を説明する図である。 斜視鏡における手ぶれの方向を説明する図である。 斜視鏡による手ぶれ補正を説明する図である。 画像補正処理を説明するフローチャートである。 手振れ補正後の画像を用いたスティッチング合成を説明する図である。 コンピュータの構成例を示すブロック図である。
以下、本技術を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
＜内視鏡システムの概要＞
図１は、本技術を適用した内視鏡システムの概要を説明する図である。
この内視鏡システムは、近年、医療現場において従来の開腹手術に代わって行われる腹腔鏡下手術において利用される。
すなわち、図１で示されるように、腹腔鏡下手術では、例えば腹部の手術を行う場合、従来行われていた腹壁１を切って開腹する代わりに、トロッカ２と称される開孔器具が腹壁に数か所取り付けられ、トロッカ２に設けられている孔から腹腔鏡（以下、内視鏡装置または内視鏡とも称する）２１と処置具３が体内に挿入される。そして、内視鏡装置１１によってビデオ撮像された患部（腫瘍等）４の画像をリアルタイムに見ながら、処置具４によって患部５を切除するなどの処置が行われる。
なお、内視鏡装置１１によりビデオ撮像される画像には画像振れが生じ得るので、それを補正する仕組みが必要となる。
図１に示されるような直線棒状の内視鏡装置１１では、ヘッド部２４を術者、助手、スコピスト、またはロボットなどが保持しているが、ヘッド部２４を保持する手などが振れた場合、その振れの動きが、トロッカ２を支点（回転センタ）として対物レンズ２２に伝わるので、ヘッド部２４を保持する手の振れに起因する画像振れが発生し得る。
本技術の内視鏡システムは、この画像振れに基づく画像の乱れを補正する、いわゆる手ぶれ補正を実現するものである。
＜内視鏡システムの構成例＞
ここで、図２を参照して、本技術の実施の形態である内視鏡システムの構成例について説明する。この内視鏡システム１０は、内視鏡装置１１、画像補正装置（画像処理装置）１２、および表示装置１３から構成される。
内視鏡装置１１と画像補正装置１２は、ケーブルを介して接続する他、無線で接続してもよい。また、画像補正装置１２を手術室から離れた場所に配置し、構内LANやインターネットなどのネットワークを介して接続するようにしてもよい。画像補正装置１２と表示装置１３の接続についても同様とする。
内視鏡装置１１は、直線棒状の鏡筒部２１とヘッド部２４から構成される。鏡筒部２１は、光学視管または硬性管とも称され、その長さが数１０センチ程度であり、体内の挿入される側の一端には対物レンズ２２が設けられており、他端はヘッド部２４に接続されている。鏡筒部２１の内部にはリレー光学系の光学レンズ部２３が設けられている。なお、鏡筒部２１の形状は、直線棒状に限定されるものではない。
鏡筒部２１には、大きく分類して、図２の鏡筒軸Ａと光軸Ｂが等しい直視鏡と、鏡筒軸Ａと光軸Ｂとが所定の角度をなす斜視鏡がある。図２の鏡筒部２１は、このうち斜視鏡を例にしたものである。斜視鏡において、鏡筒軸Ａと光軸Ｂとの所定のなす角は、斜視角とも称され、一般に、３０度、および７０度などとされるものが多いが、それ以外の角度のものも存在し、自由に設定することができる。
ヘッド部２４には、撮像部２５およびジャイロ部２６が内蔵されている。撮像部２５は、CMOS（Complementary Metal Oxide Semiconductor）などの撮像素子を有し、鏡筒部２１から入力される患部の光学像を所定のフレームレートで画像信号に変換する。また、ヘッド部２４には、光源装置１４が接続されており、撮像に必要とされる光源の供給を受けて、光学レンズ部２３を介して患部４を照射する。この際、光源装置１４は、さまざまな波長の光を切り替えて発することができ、通常光に加えて、患部４を特に識別できるような特殊光を発することもできる。したがって、撮像部２５により撮像される画像は、通常光による画像信号の他、特殊光による画像信号を撮像することも可能である。
ジャイロ部２６は、ヘッド部２４が動かされる時の角速度を検出して後段の画像補正装置１２に出力する。
内視鏡装置１１においては、対物レンズ２２により集光される患部の光学像が光学レンズ部２３を介してヘッド部２４の撮像部２５に入射され、撮像部２５によって所定のフレームレートの画像信号に変換されて後段の画像補正装置１２に出力される。また、内視鏡装置１１においては、ジャイロ部２６により、ヘッド部２４の動きの角速度が検出されて後段の画像補正装置１２に出力される。
図３は、内視鏡装置１１の他の構成例を示している。同図に示されるように、対物レンズ２２の直後に撮像部２５を配置し、鏡筒部２１の内部の光学レンズ部２３を省略するようにしてもよい。
＜補正処理の概要＞
次に、図４を参照して、画像補正装置１２による補正処理の概要を説明する。画像補正装置１２は、内視鏡装置１１の撮像部２５から所定のフレームレートで入力される画像信号の全領域（有効画素エリア）から、有効画素エリアよりも小さなサイズの切り出しエリアを切り出すことにより得られる画像信号を後段の表示装置１３に出力する。この時、切り出しエリアの位置を手振れに応じたシフト量だけ移動させることによって手振れを補正することができる。また、内視鏡装置１１の撮像部２５のシャッタ機構がローリングシャッタである場合、それに起因したローリングシャッタ歪を除去することができる。
＜画像補正処理装置の構成例＞
次に、図５を参照して、画像補正装置１２の構成例について説明する。画像補正装置１２は、角速度平準化部３１、シフト量決定部３２、画像切り出し部３３、歪除去部３４、および画像出力部３５から構成される。
角速度平準化部３１は、内視鏡装置１１のジャイロ部２６によって検出されたヘッド部２４の角速度を時間方向に積分することによって平準化し、瞬時エラーを除去した角速度をシフト量決定部３２および歪除去部３４に出力する。
シフト量決定部３２は、平準化された角速度に基づいて、対物レンズ２２の移動量を算出し、算出した対物レンズ２２の移動量から画像切り出しエリアのシフト量を決定して画像切り出し部３３に通知する。なお、対物レンズ２２の移動量に対応する画像切り出しエリアのシフト量は、対物レンズ２２の倍率に応じて変化する。そこで、シフト量決定部３２には、対物レンズ２２の倍率と移動量からシフト量を算出する関数を保持させておくか、これらの対応を表すテーブルを予め保持させるようにする。
画像切り出し部３３は、内視鏡装置１１の撮像部２５から順次入力される所定のフレームレートの画像信号から、シフト量決定部３２からのシフト量に応じてその位置を調整した切り出しエリアの画素を切り出し、その結果得られた手振れ補正画像信号を歪除去部３４に出力する。
歪除去部３４は、画像切り出し部３３からの手振れ補正画像信号にローリングシャッタ歪（撮像部２５のシャッタ機構がローリングシャッタである場合に生じ得る）が生じている場合、それを除去して画像出力部３５に出力する。なお、ローリングシャッタ歪の除去については既存の任意の方法を適用すればよい。
画像出力部３５は、歪除去部３４を介して入力される手振れ補正画像信号を後段（今の場合、表示装置１３）に出力する。
＜シフト量の決定方法＞
ここで、シフト量の決定方法について説明する。
一般的に、ビデオカメラでは、図６の左部で示されるように、数メートルから数十メートル離れたところにある対象物体が撮像されるため、撮像装置１０１の光学系から対象物体までの距離（以下、被写体距離と呼ぶ）ｄ２が、手ぶれにより発生した回転の回転中心ｃ２と撮像装置１０１の光学系までの距離（以下、回転半径と呼ぶ）に比べて十分に大きい。このため、特許文献１などに記載されている方法では、回転半径ｒ２は被写体距離ｄ２に比べて無視できる程度に十分に小さいという仮定のもと、手ぶれ補正のシフト量の算出を行っている。尚、図６の左部においては、撮像装置１０１’が、回転中心ｃ２を中心としてずれ角θ２だけ手ぶれした場合の位置が、撮像装置１０１として示されている。
一方、内視鏡装置では、図６の右部で示されるように、被写体距離ｄ１が数ミリメートルから数センチメートルの対象物体が撮像される。また、腹腔鏡下手術の場合、内視鏡装置１１はトロッカ２と呼ばれる筒を介して腹腔内に挿入される。このとき、内視鏡装置１１はトロッカ２を支点ｃ１として回転することになる。内視鏡装置１１の場合、回転半径ｒ１が被写体距離ｄ１に対して無視できるほど小さくないため、特許文献１などで記載されている手ぶれ補正方法では効果が得られない。尚、図６の右部においては、内視鏡装置１１が、回転中心ｃ１を中心として、ヘッド部２４がずれ角θ１だけ、手ぶれした場合の位置が、ヘッド部２４’として示されている。
また、本実施の形態で示される内視鏡装置１１のように、斜視鏡の場合、被写体距離と回転半径に加え、斜視鏡の鏡筒軸と光学系の光軸とがなす角度、および鏡筒の基準位置からの回転角度を考慮してシフト量を算出しなければ手ぶれ補正効果が得られない。
そこで、以降においては、斜視鏡の内視鏡装置１１におけるシフト量を説明するにあたって、まず、ピンホールカメラモデルを用いて斜視鏡である場合のシフト量について説明する。
例えば、図７で示されるピンホールカメラモデルにおいて、点Ｏは、光が集光する光学中心（ピンホール）であり、画像面Ｓに像（画像）が形成される。実際は、内視鏡装置１１では、ヘッド部２４に撮像部２５があるが、説明を簡単にするため、図７では画像面Ｓを光学中心Ｏの前面に配置して考える。また、光学中心Ｏと画像面Ｓの距離を焦点距離ｆとする。
次に、図８を参照して、鏡筒軸Ａと光軸Ｂとが同一となる直視鏡を用いた場合における、被写体距離と回転半径を考慮した手ぶれ補正のシフト量の導出方法について説明する。
時刻ｔ−１において、ヘッド部２４の撮像部２５における画像面中心に被写体である点光源Ｐが映っているものとする。時刻ｔ−１から時刻ｔの間に、中心点Ｃを中心にヘッド部２４がθ［ラジアン］だけ回転（手ぶれ）したヘッド部２４’に移動したものとする。このとき、時刻ｔにおけるヘッド部２４’の画像面のどこに点光源Ｐが映るのかを考える。すなわち、時刻ｔのヘッド部２４’で得られる画像上における点光源の位置と画像中心との距離ｕが、求めたい手ぶれ補正のシフト量となる。手ぶれ補正のシフト量ｕは、図８に示す幾何学的な関係により以下の式（１）のように定義される。
Figure 2016087141
ここで、ｄは被写体距離、ｒは回転半径、ｆは焦点距離である。一般的に、微小時間（１フレーム間）における手ぶれ量（回転角θ）は微小であり、ｓｉｎθ≒ｔａｎθ≒θ、ｃｏｓθ≒１と近似できるので、式（１）は、以下の式（２）のように近似できる。
Figure 2016087141
さらに、式（２）において、回転半径ｒが被写体距離ｄに対して無視できる程度に十分小さい場合（ｄ＞＞ｒ）、ｄ＋ｒ≒ｄと近似できるので、式（２）は、以下の式（３）のように近似できる。
Figure 2016087141
これは特許文献１などで示されている一般的なビデオカメラなどの撮像装置における手ぶれ補正シフト量と同じである。
内視鏡装置１１の場合、図６で示されるように、回転半径ｒが被写体距離ｄに対して無視できないので、これらを考慮した式（２）を用いることで、従来の方法よりも効果的に手ぶれ補正を行うことができる。
次に、硬性鏡の光軸Ａが、鏡筒の軸Ｂに対して傾いた斜視鏡の場合を考える。
まず、図９を参照して、以下の説明で用いるパラメータについて説明する。図９においては、斜視鏡が基準位置(θｚ＝０)にあるときの、斜視鏡の光軸Ｂと鏡筒軸（Ｚ軸（＝Ａ））とのなす角度をφ［ラジアン］とする。斜視鏡が基準位置からθｚだけ回転したときの光軸Ｂ’のＸ−Ｚ平面に投影した線と、鏡筒軸Ｚとのなす角度をφｙとする。斜視鏡が基準位置からθｚだけ回転したときの光軸のＸ−Ｚ平面に投影した線と、光軸とのなす角度をφｘとする。また、内視鏡装置１１のＸ軸周りの回転をθｘとし、Ｙ軸周りの回転をθｙとする。
このとき、φのＸ軸とＹ軸の角度成分であるφｘ，φｙは、φとθｚを用いて以下の式（４），式（５）のように表される。
Figure 2016087141
Figure 2016087141
次に、図１０を参照して、ヘッド部２４における撮像部２５の水平方向の手ぶれ補正のシフト量ｕについて説明する。
図１０においては、ヘッド部２４が基準位置からθｚだけ回転しているものとし、光軸ＢのＸ−Ｚ平面に投影した線と、鏡筒軸Ｚ（＝Ａ）とのなす角度φｙは式（５）で示した通りである。ここで、時刻ｔ−１のヘッド部２４における撮像部２５の画像面中心に被写体である点光源Ｐが映っているとする。そして、時刻ｔ−１から時刻ｔの間に、回転中心Ｃを中心にＹ軸周りにヘッド部２４がθｙ［ラジアン］だけ回転（手ぶれ）したとする。このとき、時刻ｔにおける撮像部２５の画像面のどこに点光源Ｐが映るのかを考える。すなわち、時刻ｔの撮像部２５で得られる画像上における点光源Ｐの位置と画像中心との距離ｕが、手ぶれ補正のシフト量となる。図１０におけるｒは回転半径、ｄは時刻ｔ−１におけるカメラの光学中心と点光源Ｐまでの被写体距離、ｆは焦点距離にである。
図１０の幾何関係から明らかなように、手ぶれ補正のシフト量ｕは、以下の式（６）となる。
Figure 2016087141
ここで、αｙは点光源Ｐと時刻ｔにおけるヘッド部２４の光学中心を結ぶ線分と鏡筒軸Ｚのなす角度であり、以下の式（７）により定義される。
Figure 2016087141
ここで、ｈは点光源Ｐと回転中心Ｃを結ぶ線分であり、その長さは、以下の式（８）で定義される。
Figure 2016087141
また、式（７）中のωｙは線分ｈと時刻ｔにおける鏡筒軸Ｚとのなす角度のことであり、以下の式（９）により定義される。
Figure 2016087141
以上より、斜視鏡の光軸方向を考慮した手ぶれ補正のシフト量は、上述した式（６）により定義することができる。
なお、撮像部２５の垂直方向の手ぶれ補正シフト量ｖについてもまったく同様に定義することが可能である。
また、直視鏡の場合は、光軸と鏡筒軸とのなす角度φが０となるので、式（５）においてφｙ＝０となる。よって、式（６）にφｙ＝０を代入すると、直視鏡の場合における手ぶれ補正シフト量である式（３）と等価になる。
さらに、式（６）において、手ぶれによって発生した回転中心Ｃを中心にＹ軸周りに回転した角度θｙは、ジャイロ部２６により検出される。
また、式（６）において、被写体距離ｄは、手動で与えてもよいし、例えば、撮像部２５に、Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ法により距離を検出する距離センサとしての機能を付加させ、画像解析により取得してもよい。
さらに、式（６）において、回転半径ｒは、手動で与えてもよいし、例えば、撮像部２５やトロッカ２に取り付けられたセンサ（圧力センサなど）や、画像解析により取得するようにしてもよい。
また、式（６）において、硬性鏡の光軸と鏡筒軸がなす角度（斜視角）φは、手動で与えてもよいし、例えば、画像解析により取得してもよい。
さらに、式（６）において、内視鏡装置１１の基準値からの回転角度θｚは、手動で与えてもよいし、例えば、角度検出センサ、または画像解析により取得するようにしてもよい。
＜動作説明＞
次に、図１１のフローチャートを参照して、画像補正装置１２による画像補正処理を説明する。尚、ここでは、被写体距離ｄ、回転半径ｒ、および角度φについては、キャリブレーション等の処理により、それぞれが手動入力、または画像解析等により事前に設定されているものとする。また、回転角度θｚは、ジャイロ部２６により測定された値が用いられる。
ステップＳ１において、内視鏡装置１１から画像補正装置１２に対して、所定のフレームレートの画像信号の入力と、ヘッド部２４の動きを表す角速度信号の入力が開始される。画像信号は画像切り出し部３３に、角速度信号は、角速度平準化部３１に入力される。
ステップＳ２において、角速度平準化部３１では、内視鏡装置１１のジャイロ部２６によって検出されたヘッド部２４の角速度を時間方向に積分することによって平準化してシフト量決定部３２および歪除去部３４に出力する。
ステップＳ３において、シフト量決定部３２は、上述した式（６）を利用して、平準化された角速度に基づいて、対物レンズ２２の移動量を算出し、さらに、算出した対物レンズ２２の移動量から画像切り出しエリアのシフト量を決定して画像切り出し部３３に通知する。
ステップＳ４において、画像切り出し部３３は、内視鏡装置１１から順次入力される所定のフレームレートの画像信号から、シフト量決定部３２からのシフト量に応じてその位置を調整した切り出しエリアの画素を切り出し、その結果得られた手振れ補正画像信号を歪除去部３４に出力する。
ステップＳ５において、歪除去部３４は、画像切り出し部３３からの手振れ補正画像信号にローリングシャッタ歪が生じている場合、それを除去して画像出力部３５に出力する。画像出力部３５は、歪除去部３４を介して入力される手振れ補正画像信号を表示装置１３に出力する。
以上に説明したように、本実施の形態である内視鏡システム１０は、内視鏡装置１１によって撮像したビデオ画像に生じ得る手振れを補正することができる。
尚、例えば、トロッカを回転中心として内視鏡装置１１を大きく動かして撮像を行い、その結果得られる複数の画像を、図１２に示されるように、回転センタの位置と角速度に基づいてスティッチング合成すれば、比較的少ない処理量で高精度の高視野角画像を得ることができる。
また、上述した手法は、手ぶれにより位置が変化する連続した画像を、位置を揃えて表示することで手ぶれ補正を実現するものであったが、同様の手法により、複数の画像を同一位置で重ね合わせて１枚の画像を生成することもできるので、これによりノイズ除去を実現することも可能となる。
さらに、手ぶれを補正するにあたって、シフト量が求められることになるが、このシフト量は、手ぶれの程度を示す指標となる。従って、シフト量が増えるほどに手ぶれが大きくなっていることを認識することができるので、例えば、シフト量の大きさをユーザの疲労の程度を示す指標とみなすことで、ユーザの疲労度を測定することも可能となる。
ところで、上述した画像補正装置１２の一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ１００（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
尚、本技術は、以下のような構成も取ることができる。
（１） 体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置と、
検出された前記角速度に基づいて、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部とが設けられている画像処理装置と
を含む内視鏡システム。
（２） 前記内視鏡装置は、前記挿入部の軸方向に対して、その光軸が所定の角度からなる斜視角をなす対物レンズを有する斜視鏡である
（１）に記載の内視鏡システム。
（３） 前記斜視角は、３０度、および７０度を含む
（２）に記載の内視鏡システム。
（４） 前記画像処理装置は、
前記画像信号に基づいて、前記斜視角を測定する
（１）乃至（３）のいずれかに記載の内視鏡システム。
（５） 前記画像処理装置は、
検出された前記角速度を時間方向に平準化する角速度平準化部をさらに備える
（１）乃至（４）のいずれかに記載の内視鏡システム。
（６） 前記画像処理装置は、
手振れ補正済みの前記画像信号のローリングシャッタ歪を除去する歪除去部をさらに備える
（１）乃至（５）のいずれかに記載の内視鏡システム。
（７） 体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置により検出された前記角速度に基づいて、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部を含む
画像処理装置。
（８） 体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号を処理する画像処理装置に画像処理方法において、
検出された前記角速度に基づいて、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する
ステップを含む画像処理方法。
（９） 体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号を処理する画像処理装置を制御するコンピュータを、
検出された前記角速度に基づいて、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部
として機能させるプログラム。
２ トロッカ， １０ 内視鏡システム， １１ 内視鏡装置， １２ 画像補正装置， １３ 表示装置， １４ 光源装置， ２１ 鏡筒部， ２２ 対物レンズ， ２３ 光学レンズ部， ２４ ヘッド部， ２５ 撮像部， ２６ ジャイロ部， ３１ 角速度平準化部， ３２ シフト量決定部， ３３ 画像切り出し部， ３４ 歪除去部， ３５ 画像出力部， １００ コンピュータ， １０１ CPU

Claims (9)

  1. 体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置と、
    検出された前記角速度に基づいて、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部とが設けられている画像処理装置と
    を含む内視鏡システム。
  2. 前記内視鏡装置は、前記挿入部の軸方向に対して、その光軸が所定の角度からなる斜視角をなす対物レンズを有する斜視鏡である
    請求項１に記載の内視鏡システム。
  3. 前記斜視角は、３０度、および７０度を含む
    請求項２に記載の内視鏡システム。
  4. 前記画像処理装置は、
    前記画像信号に基づいて、前記斜視角を測定する
    請求項１に記載の内視鏡システム。
  5. 前記画像処理装置は、
    検出された前記角速度を時間方向に平準化する角速度平準化部をさらに備える
    請求項１に記載の内視鏡システム。
  6. 前記画像処理装置は、
    手振れ補正済みの前記画像信号のローリングシャッタ歪を除去する歪除去部をさらに備える
    請求項１に記載の内視鏡システム。
  7. 体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置により検出された前記角速度に基づいて、前記内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部を含む
    画像処理装置。
  8. 体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号を処理する画像処理装置に画像処理方法において、
    検出された前記角速度に基づいて、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する
    ステップを含む画像処理方法。
  9. 体腔に挿入される硬性の挿入部の先端に、前記挿入部の軸方向に対して、その光軸が所定の角度をなす対物レンズが設けられ、基端にヘッド部が設けられ、前記ヘッド部の動きの角速度を検出するジャイロ部が前記ヘッド部に設けられている内視鏡装置から入力される、前記対物レンズによって集光された光学像に対応する画像信号を処理する画像処理装置を制御するコンピュータを、
    検出された前記角速度に基づいて、前記対物レンズによって集光された光学像に対応する画像信号の有効画素エリアから切り出しエリアを切り出すことにより、前記画像信号の手振れを補正する補正部
    として機能させるプログラム。
JP2014226055A 2014-11-06 2014-11-06 内視鏡システム、画像処理装置、画像処理方法、およびプログラム Expired - Fee Related JP6519144B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014226055A JP6519144B2 (ja) 2014-11-06 2014-11-06 内視鏡システム、画像処理装置、画像処理方法、およびプログラム
PCT/JP2015/005379 WO2016072059A1 (en) 2014-11-06 2015-10-27 Endoscope system, image processing device, image processing method, and program
CN201580057264.3A CN107079097B (zh) 2014-11-06 2015-10-27 内窥镜系统、图像处理装置、图像处理方法以及程序
EP15794320.0A EP3179897B1 (en) 2014-11-06 2015-10-27 Endoscope system, image processing device, image processing method, and program
US15/327,062 US10368725B2 (en) 2014-11-06 2015-10-27 Endoscope system, image processing device, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014226055A JP6519144B2 (ja) 2014-11-06 2014-11-06 内視鏡システム、画像処理装置、画像処理方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2016087141A true JP2016087141A (ja) 2016-05-23
JP2016087141A5 JP2016087141A5 (ja) 2017-03-23
JP6519144B2 JP6519144B2 (ja) 2019-05-29

Family

ID=54541139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014226055A Expired - Fee Related JP6519144B2 (ja) 2014-11-06 2014-11-06 内視鏡システム、画像処理装置、画像処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US10368725B2 (ja)
EP (1) EP3179897B1 (ja)
JP (1) JP6519144B2 (ja)
CN (1) CN107079097B (ja)
WO (1) WO2016072059A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018093976A (ja) * 2016-12-09 2018-06-21 ソニー株式会社 画像処理装置、画像処理方法、及び光学部材
WO2018159155A1 (ja) 2017-02-28 2018-09-07 ソニー株式会社 医療用観察システム、制御装置及び制御方法
WO2019181242A1 (ja) * 2018-03-20 2019-09-26 ソニー株式会社 内視鏡及びアームシステム
WO2021075235A1 (ja) * 2019-10-18 2021-04-22 Hoya株式会社 内視鏡システム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017169650A1 (ja) * 2016-03-31 2019-02-14 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、映像移動補正方法及び医療用観察システム
US10620424B1 (en) * 2016-09-16 2020-04-14 Precision Optics Corporation, Inc. Lens for use with imaging sensors
EP3339714A1 (en) * 2016-12-20 2018-06-27 Nokia Technologies Oy An apparatus and associated methods for virtual reality image capture
WO2019087904A1 (ja) * 2017-11-01 2019-05-09 ソニー株式会社 手術アームシステム及び手術アーム制御システム
JP7151109B2 (ja) * 2018-03-19 2022-10-12 ソニーグループ株式会社 医療用撮像装置及び医療用観察システム
JP2021531120A (ja) * 2018-07-24 2021-11-18 ソニーグループ株式会社 手術室でのビデオルーティング
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
JP2020162633A (ja) * 2019-03-28 2020-10-08 ソニー株式会社 撮影制御装置、撮影制御方法、プログラム、及び、撮影システム
CN112104817B (zh) * 2019-05-29 2023-02-10 惠州拓邦电气技术有限公司 内窥镜及内窥镜采集图像旋转方法
CN110584573A (zh) * 2019-09-12 2019-12-20 济南科众医疗科技有限公司 一种具有图像稳定功能的微型内窥镜及器械
CN117796755A (zh) * 2024-03-01 2024-04-02 科弛医疗科技(北京)有限公司 无线腹腔镜系统和由其执行的方法以及无线腹腔镜

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549599A (ja) * 1991-08-23 1993-03-02 Olympus Optical Co Ltd 電子内視鏡装置
US20050154260A1 (en) * 2004-01-09 2005-07-14 Schara Nathan J. Gravity referenced endoscopic image orientation
JP2006218129A (ja) * 2005-02-10 2006-08-24 Olympus Corp 手術支援システム
US20080159653A1 (en) * 2006-12-28 2008-07-03 Microvision Rotation compensation and image stabilization system
JP2009254736A (ja) * 2008-04-21 2009-11-05 Hoya Corp 内視鏡制御ユニットおよび内視鏡システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8723936B2 (en) * 2002-03-12 2014-05-13 Karl Storz Imaging, Inc. Wireless camera coupling with rotatable coupling
WO2004103167A1 (ja) * 2003-05-22 2004-12-02 Olympus Corporation 画像記録装置
DE102004023024B4 (de) * 2004-05-06 2007-03-01 Olympus Winter & Ibe Gmbh Endoskopoptik mit seitlichem Lichtleitfaserteilbündel
JP5226195B2 (ja) * 2006-07-28 2013-07-03 オリンパスメディカルシステムズ株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2010082383A1 (ja) * 2009-01-15 2010-07-22 オリンパスメディカルシステムズ株式会社 内視鏡システム
US9463081B2 (en) 2011-01-11 2016-10-11 Kabushiki Kaisya Advance Intraoral video camera and display system
JP5864880B2 (ja) * 2011-04-07 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
CN103827917B (zh) * 2011-07-25 2017-06-09 科英布拉大学 用于使用棋盘图案的一幅或多幅图像的自动相机校准的方法和装置
JP2013113962A (ja) * 2011-11-28 2013-06-10 Nidec Sankyo Corp 振れ補正機能付き撮像装置
JP2013153813A (ja) * 2012-01-27 2013-08-15 Olympus Corp 内視鏡装置、画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549599A (ja) * 1991-08-23 1993-03-02 Olympus Optical Co Ltd 電子内視鏡装置
US20050154260A1 (en) * 2004-01-09 2005-07-14 Schara Nathan J. Gravity referenced endoscopic image orientation
JP2006218129A (ja) * 2005-02-10 2006-08-24 Olympus Corp 手術支援システム
US20080159653A1 (en) * 2006-12-28 2008-07-03 Microvision Rotation compensation and image stabilization system
JP2009254736A (ja) * 2008-04-21 2009-11-05 Hoya Corp 内視鏡制御ユニットおよび内視鏡システム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018093976A (ja) * 2016-12-09 2018-06-21 ソニー株式会社 画像処理装置、画像処理方法、及び光学部材
JP7031118B2 (ja) 2016-12-09 2022-03-08 ソニーグループ株式会社 画像処理装置、及び、画像処理方法
WO2018159155A1 (ja) 2017-02-28 2018-09-07 ソニー株式会社 医療用観察システム、制御装置及び制御方法
JPWO2018159155A1 (ja) * 2017-02-28 2019-12-19 ソニー株式会社 医療用観察システム、制御装置及び制御方法
JP7081584B2 (ja) 2017-02-28 2022-06-07 ソニーグループ株式会社 医療用観察システム、制御装置及び制御方法
US11478133B2 (en) 2017-02-28 2022-10-25 Sony Corporation Medical observation system, apparatus for controlling the same, and method for controlling the same
WO2019181242A1 (ja) * 2018-03-20 2019-09-26 ソニー株式会社 内視鏡及びアームシステム
US11553838B2 (en) 2018-03-20 2023-01-17 Sony Corporation Endoscope and arm system
WO2021075235A1 (ja) * 2019-10-18 2021-04-22 Hoya株式会社 内視鏡システム
JP7455547B2 (ja) 2019-10-18 2024-03-26 Hoya株式会社 内視鏡システム

Also Published As

Publication number Publication date
JP6519144B2 (ja) 2019-05-29
CN107079097A (zh) 2017-08-18
CN107079097B (zh) 2019-11-29
WO2016072059A1 (en) 2016-05-12
EP3179897B1 (en) 2021-01-13
US20170135563A1 (en) 2017-05-18
EP3179897A1 (en) 2017-06-21
US10368725B2 (en) 2019-08-06

Similar Documents

Publication Publication Date Title
JP2016087141A (ja) 内視鏡システム、画像処理装置、画像処理方法、およびプログラム
JP6150130B2 (ja) 内視鏡システム、内視鏡画像処理装置、画像処理方法、およびプログラム
JP6332524B2 (ja) 内視鏡システム、内視鏡画像処理装置、および画像処理方法
US10799088B2 (en) Image processing device, image processing method and recording medium
US9357945B2 (en) Endoscope system having a position and posture calculating portion
JP2015139646A5 (ja) 内視鏡システム、内視鏡画像処理装置、画像処理方法、およびプログラム
JP7392654B2 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
JP7092382B2 (ja) 自己配向型画像化装置およびその使用方法
JP2016087141A5 (ja)
US8764635B2 (en) Endoscope apparatus
JP2015156938A (ja) 画像処理装置、画像処理方法
JPWO2016117107A1 (ja) 内視鏡装置及び内視鏡装置のフォーカス制御方法
EP1844696B1 (en) Endoscopic imaging with indication of gravity direction
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
WO2016194179A1 (ja) 撮像装置、内視鏡装置及び撮像方法
WO2016194178A1 (ja) 撮像装置、内視鏡装置及び撮像方法
JP6806633B2 (ja) 計測装置および計測装置の作動方法
JP2020062243A (ja) 内視鏡装置および内視鏡装置の撮像方法
JP6646133B2 (ja) 画像処理装置および内視鏡
US10663715B2 (en) Endoscopic apparatus, control method of endoscopic apparatus, and non-transitory computer-readable recording medium storing program
JP2010286645A (ja) 立体撮像装置と立体撮像方法
WO2022230563A1 (ja) 内視鏡システム及びその作動方法
WO2020084784A1 (ja) 画像処理装置および内視鏡システム
CN114782434A (zh) 一种内窥镜合作目标定位方法及系统
JP2004173973A (ja) 斜視内視鏡用投影モデルのパラメータ推定方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190408

R151 Written notification of patent or utility model registration

Ref document number: 6519144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees