JP2019165270A - 映像出力システム、映像出力方法および制御装置 - Google Patents

映像出力システム、映像出力方法および制御装置 Download PDF

Info

Publication number
JP2019165270A
JP2019165270A JP2016152502A JP2016152502A JP2019165270A JP 2019165270 A JP2019165270 A JP 2019165270A JP 2016152502 A JP2016152502 A JP 2016152502A JP 2016152502 A JP2016152502 A JP 2016152502A JP 2019165270 A JP2019165270 A JP 2019165270A
Authority
JP
Japan
Prior art keywords
camera
display
image
control device
surgeon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016152502A
Other languages
English (en)
Inventor
寺沼　修
Osamu Teranuma
修 寺沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2016152502A priority Critical patent/JP2019165270A/ja
Priority to US16/322,941 priority patent/US20190183321A1/en
Priority to PCT/JP2017/020211 priority patent/WO2018025483A1/ja
Publication of JP2019165270A publication Critical patent/JP2019165270A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position

Abstract

【課題】従来よりも治療者が利用しやすい映像出力システム、映像出力方法および制御装置を提供する。【解決手段】カメラ２００Ａと、ディスプレイ３００と、カメラ２００Ａとディスプレイ３００と通信可能な制御装置１００とを備える映像出力システム１が提供される。制御装置１００は、カメラ２００Ａの向きと所定の対象物の向きとに基づいて、カメラ２００Ａの撮影画像を回転させてディスプレイ３００に映像を出力させる。【選択図】図６

Description

本発明は、内視鏡手術などに利用できる映像出力システム、映像出力方法、および制御装置の技術に関する。
従来から、内視鏡手術などに利用できる映像出力システム、映像出力方法、および制御装置に関する技術が知られている。たとえば、特許第４８６０６２９号明細書（特許文献１）には、腹腔鏡手術用モニター装置及びそのディスプレイ方法が開示されている。特許文献１によると、腹腔鏡手術用モニター装置は、一つの腹腔鏡部により撮影された映像画面がそれぞれ印加されて表示され、天井または床面からアームによりそれぞれ位置、高さ及び左右の傾斜角度を調整可能に支持される複数台のフラットパネル型の腹腔鏡用モニターと、これら腹腔鏡用モニターごとに設けられた画面回転操作部と、腹腔鏡用モニターごとに、その裏面に装着され、腹腔鏡用モニターを時計回り方向及び反時計回り方向に回転させる駆動モータと、駆動モータをそれぞれ回転駆動するモータ駆動部と、画面回転操作部からの回転要求に基づいてモータ駆動部を駆動制御することで、画面回転操作部を通じた施術者からの回転要求にしたがい、各腹腔鏡用モニターを、要求された回転角度だけ回転させる制御部と、アームの先端部から該先端部に対し回転不能に支持され、かつ、該アームに支持された腹腔鏡用モニターを収納しており、また、前面に円形状の開口窓が備えられて、該開口窓の周りで、該腹腔鏡用モニターの映像画面を覆う保護箱とを備えることを特徴とする。
特許第４８６０６２９号明細書
本発明の目的は、従来よりも治療者が利用しやすい映像出力システム、映像出力方法および制御装置を提供することにある。
この発明のある態様に従うと、カメラと、ディスプレイと、前記カメラと前記ディスプレイと通信可能な制御装置とを備える映像出力システムが提供される。前記制御装置は、前記カメラの向きと所定の対象物の向きとに基づいて、前記カメラの撮影画像を回転させて前記ディスプレイに映像を出力させる。
この発明の別の局面に従うと、カメラと、ディスプレイと、前記カメラと前記ディスプレイと通信可能な制御装置とを備える映像出力システムが提供される。前記制御装置は、前記カメラの向きと所定の対象物の向きとに基づいて、前記カメラを回転させて撮影した画像を前記ディスプレイに出力させる。
好ましくは、前記制御装置は、前記カメラの向きと前記所定の対象物の向きとの平面上の角度に基づいて、前記回転の角度を調整する。
好ましくは、前記制御装置は、ユーザ毎に、前記所定の対象物の指定を受付ける。
この発明の別の局面に従うと、カメラの向きを取得するステップと、所定の対象物の向きを取得するステップと、前記カメラの向きと前記いずれかの向きとに基づいて、前記カメラの撮影画像を回転させてディスプレイに映像を出力させるステップと、を備える映像出力方法が提供される。
この発明の別の局面に従うと、カメラの向きを取得するステップと、所定の対象物の向きを取得するステップと、前記カメラの向きと前記いずれかの向きとに基づいて、前記カメラを回転させて撮影した画像をディスプレイに出力させるステップと、を備える映像出力方法が提供される。
この発明の別の局面に従うと、カメラおよびディスプレイと通信するための通信インターフェイスと、プロセッサとを備える制御装置が提供される。前記プロセッサは、前記通信インターフェイスを介して、前記カメラの向きと、所定の対象物の向きと、に基づいて、前記カメラの撮影画像を回転させて前記ディスプレイに映像を出力させる。
この発明の別の局面に従うと、カメラおよびディスプレイと通信するための通信インターフェイスと、プロセッサとを備える制御装置が提供される。前記プロセッサは、前記通信インターフェイスを介して、前記カメラの向きと、所定の対象物の向きと、に基づいて、前記カメラを回転させて撮影した画像を前記ディスプレイに出力させる。
以上のように、この発明によれば、従来よりも治療者が利用しやすい映像出力システム、映像出力方法および制御装置が提供される。
第１の実施の形態にかかる映像出力システム１の全体構成と動作概要とを示すイメージ図である。 第１の実施の形態にかかる映像出力システム１のハードウェア構成を表わすブロック図である。 第１の実施の形態にかかる制御装置１００のハードウェア構成を表わすブロック図である。 第１の実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。 第１の実施の形態にかかるカメラ２００Ａと執刀医の体と執刀医の頭部とディスプレイ３００の向きの関係と位置関係とを示す平面図である。 第１の実施の形態にかかるカメラ２００Ａの撮影方向と執刀医の体の向きと執刀医の視線方向とディスプレイ３００の向きとの関係を示すイメージ図である。 第１の実施の形態にかかる制御装置１００における第２の情報処理を示すフローチャートである。 第１の実施の形態にかかる映像出力システム１の実際の動作を示すイメージ図である。 第１の実施の形態にかかる映像出力システム１のディスプレイ３００における実際の動作結果を示すイメージ図である。 第２の実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。 第２の実施の形態にかかるカメラ２００Ａの撮影方向と執刀医の体の向きと執刀医の視線方向とディスプレイ３００の向きとの関係を示すイメージ図である。 第３の実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。 第３の実施の形態にかかるカメラ２００Ａと執刀医の体と執刀医の頭部とディスプレイ３００と治療器具４００との向きの関係と位置関係とを示す平面図である。 第３の実施の形態にかかるカメラ２００Ａの撮影方向と治療器具４００の向きと執刀医の視線方向とディスプレイ３００の向きとの関係を示すイメージ図である。 第４の実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。 第４の実施の形態にかかるカメラ２００Ａの撮影方向と執刀医の体の向きと執刀医の視線方向とディスプレイ３００の向きとの関係を示すイメージ図である。 第５の実施の形態にかかるカメラ２００Ａと執刀医の体と執刀医の頭部とディスプレイ３００との向きの関係と位置関係とを示す平面図である。 第５の実施の形態にかかる制御装置１００における第２の情報処理を示すフローチャートである。 第６の実施の形態にかかるカメラ２００Ａの構成を示すイメージ図である。 第７の実施の形態にかかる映像出力システム１の全体構成と動作概要とを示すイメージ図である。 第７の実施の形態にかかる映像出力システム１のハードウェア構成を表わすブロック図である。 第８の実施の形態にかかるカメラ２００Ａのハードウェア構成を示すイメージ図である。 第８の実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。 第９の実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
＜第１の実施の形態＞
＜映像出力システムの全体構成と動作概要＞
まず、図１を参照して、本実施の形態にかかる映像出力システム１の全体構成と動作概要について説明する。図１は、本実施の形態にかかる映像出力システム１の全体構成と動作概要とを示すイメージ図である。
まず、本実施の形態にかかる映像出力システム１の全体構成について説明する。本実施の形態にかかる映像出力システム１は、主に、内視鏡などのカメラ２００Ａと、ディスプレイ３００と、カメラ２００Ａおよびディスプレイ３００を制御するための制御装置１００とを含む。以下では、本実施の形態にかかる映像出力システム１の動作概要について説明する。
制御装置１００は、カメラ２００Ａで撮影した動画像を、ディスプレイ３００に表示させる。特に、本実施の形態においては、制御装置１００は、治療者としての執刀医が見やすい、あるいは執刀医が表示されている臓器や治療器具４００などの位置関係が把握しやすい、あるいは執刀医が手術をしやすい、ようにカメラ２００Ａの撮影方向と執刀医の体の向きとに応じて、撮影された画像を回転してディスプレイ３００に表示させる。
以下、このような機能を実現するための映像出力システム１の具体的な構成について詳述する。
＜映像出力システム１のハードウェア構成＞
まず、本実施の形態にかかる映像出力システム１のハードウェア構成の一態様について説明する。なお、図２は、本実施の形態にかかる映像出力システム１のハードウェア構成を表わすブロック図である。
図２を参照して、本実施の形態にかかる映像出力システム１は、治療対象の部位などを撮影するためのカメラ２００Ａと、当該カメラ２００Ａを制御するためのカメラ制御部２００Ｂと、治療対象の部位などの映像を出力するためのディスプレイ３００と、それらの装置を制御するための制御装置１００と、執刀医や患者やそれらの装置の位置や姿勢を計測するための各種のセンサユニット５０１，５０２，５０３，５０４，５０５などを含む。
本実施の形態にかかる第１のセンサユニット５０１は、カメラ２００Ａに取り付けられ、内部の電子コンパスまたは磁石を利用してカメラ２００Ａの撮影方向や姿勢やカメラ２００Ａの撮影画像の垂直上方からの傾きを示す角度を制御装置１００に提供する。なお、第１のセンサユニット５０１は、カメラ２００Ａの位置も取得して、カメラ２００Ａの位置を制御装置１００に送信するものであってもよい。そして、第１のセンサユニット５０１は、カメラ２００Ａに内包されたり、カメラ２００Ａと一体化されたりしているものであってもよい。
本実施の形態にかかる第２のセンサユニット５０２は、執刀医の体または衣服に取り付けられ、内部の電子コンパスまたは磁石を利用して執刀医の体の向きを制御装置１００に提供する。なお、第２のセンサユニット５０２は、執刀医の体の位置も取得して、執刀医の体の位置を制御装置１００に送信するものであってもよい。
本実施の形態にかかる第３のセンサユニット５０３は、執刀医の頭部に取り付けられ、内部の電子コンパスまたは磁石を利用して執刀医の視線方向または顔の向きを制御装置１００に提供する。なお、第３のセンサユニット５０３は、執刀医の頭部の位置も取得して、執刀医の頭部の位置を制御装置１００に送信するものであってもよい。
本実施の形態にかかる第４のセンサユニット５０４は、ディスプレイ３００に取り付けられ、内部の電子コンパスまたは磁石を利用してディスプレイ３００の向きを制御装置１００に提供する。なお、第４のセンサユニット５０４は、ディスプレイ３００の位置も取得して、ディスプレイ３００の位置を制御装置１００に送信するものであってもよい。そして、第４のセンサユニット５０４は、ディスプレイ３００に内包されたり、ディスプレイ３００と一体化されたりしているものであってもよい。
本実施の形態にかかる第５のセンサユニット５０５は、治療器具４００に取り付けられ、内部の電子コンパスまたは磁石を利用して治療器具４００の向きを制御装置１００に提供する。なお、第５のセンサユニット５０５は、治療器具４００の位置も取得して、治療器具４００の位置を制御装置１００に送信するものであってもよい。なお、第５のセンサユニット５０５は、治療器具４００に内包されたり、一体化されたりしているものであってもよい。
なお、第１〜第５のセンサユニット５０１〜５０５が、カメラ２００Ａの方向・姿勢・位置、執刀医の体の方向・姿勢・位置、執刀医の頭部の方向・姿勢・位置、ディスプレイ３００の方向・姿勢・位置、治療器具４００の方向・姿勢・位置を正確に検知するために、手術室の４隅などに屋内ＧＰＳ用アンテナやＷｉＦｉ（登録商標）ルータや超音波発振器などを設置してもよい。
次に、本実施の形態にかかる制御装置１００のハードウェア構成の一態様について説明する。なお、図３は、本実施の形態にかかる制御装置１００のハードウェア構成を表わすブロック図である。
図３を参照して、制御装置１００は、主たる構成要素として、ＣＰＵ（Central Processing Unit）１１０と、メモリ１２０と、操作部１４０と、通信インターフェイス１６０とを含む。
ＣＰＵ１１０は、メモリ１２０に記憶されているプログラムを実行することによって、制御装置１００の各部を制御する。より詳細には、ＣＰＵ１１０は、メモリ１２０に格納されているプログラムを実行し、各種のデータを参照することによって、後述する各種の処理を実行する。
メモリ１２０は、各種のＲＡＭ（Random Access Memory）、各種のＲＯＭ（Read-Only Memory）などによって実現される。メモリ１２０は、ＣＰＵ１１０によって実行されるプログラムや、ＣＰＵ１１０によるプログラムの実行により生成されたデータ、入力されたデータ、その他のデータベースなどを記憶する。
操作部１４０は、ユーザからの命令を受け付けて、当該命令をＣＰＵ１１０に入力する。なお、操作部１４０とは、ディスプレイを含むタッチパネルであってもよい。
通信インターフェイス１６０は、カメラ制御部２００Ｂやディスプレイ３００などの装置からのデータを受信してＣＰＵ１１０に受け渡したり、ＣＰＵ１１０からのデータをカメラ制御部２００Ｂやディスプレイ３００などの装置に送信したりする。なお、通信インターフェイス１６０は、インターネット、ルータなどを介して、サーバなどの他の外部の機器とデータをやり取りしてもよい。
＜制御装置１００における情報処理＞
次に、本実施の形態にかかる制御装置１００における第１の情報処理について説明する。なお、図４は、本実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。図５は、本実施の形態にかかるカメラ２００Ａと執刀医の体と執刀医の頭部とディスプレイ３００の向きの関係と位置関係とを示す平面図である。図６は、本実施の形態にかかるカメラ２００Ａの撮影方向と執刀医の体の向きと執刀医の視線方向とディスプレイ３００の向きとの関係を示すイメージ図である。
図４〜図６を参照して、制御装置１００のＣＰＵ１１０は、定期的に、通信インターフェイス１６０を介して第１のセンサユニット５０１から、カメラ２００Ａの撮影方向（ｚ）を示すベクトルデータやカメラ２００Ａの傾きを示す角度などを取得する（ステップＳ１０２）。
ＣＰＵ１１０は、通信インターフェイス１６０を介して、定期的に、第３のセンサユニット５０３から、執刀医の視線方向（ｙ）を示すベクトルデータを取得する（ステップＳ１０４）。
ＣＰＵ１１０は、画像を回転して補正するための表示補正角度Ｙとしての、平面上におけるカメラの向き（ｚ）に対応する執刀医の視線方向（ｙ）の角度を取得する（ステップＳ１０６）。本実施の形態においては、ＣＰＵ１１０は、下記の式に基づいて、表示補正角度Ｙを計算する。なお、平面視において、カメラの向き（ｚ）と視線方向（ｙ）は、時計方向に角度を決定するものとする。
Ｙ＝ｙ−ｚ・・・（１）
次に、本実施の形態にかかる制御装置１００における第２の情報処理について説明する。なお、図７は、本実施の形態にかかる制御装置１００における第２の情報処理を示すフローチャートである。
図６および図７を参照して、制御装置１００のＣＰＵ１１０は、通信インターフェイス１６０を介してカメラ２００Ａからの画像データを取得する（ステップＳ１５２）。
ＣＰＵ１１０は、第１のセンサユニット５０１からのカメラ２００Ａの姿勢すなわち撮影画面の傾きの角度に基づいて、撮影された画像の上方向が実際の垂直上方向にもっとも近くなるように、画像を回転する（ステップＳ１５４）。
ＣＰＵ１１０は、表示補正角度Ｙに基づいて、時計方向に−Ｙ°、すなわち反時計方向にＹ°、さらに画像を回転する（ステップＳ１５６）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、回転後の画像をディスプレイ３００に表示させる。
図８は、本実施の形態にかかる映像出力システム１の実際の動作を示すイメージ図である。図９は、本実施の形態にかかる映像出力システム１のディスプレイ３００における実際の動作結果を示すイメージ図である。
図８および図９を参照して、本実施の形態においては、執刀医の視線の方向とカメラ２００の撮影方向とに基づいて、画像が回転されて表示されるため、執刀医からディスプレイ３００への方向が変化するにつれて、表示される画像の回転角度が調整される。これによって、従来よりも執刀医が各部の位置関係を把握しやすくなり、その結果手術がしやすくなる。
より詳細には、図９のディスプレイ３００の画面には、図８の４本の治療器具４００の内の、執刀医側の２本の治療器具４００が表示されている。
そして、図９のカメラ２００の向きを０°とした場合の執刀医の体の向きｘ＝１３５°および執刀医の視線の向きｙ＝１３５°の場合においては、補正角度Ｙ＝ｙ−ｚ＝１３５°となるため、ＣＰＵ１１０は、画像を反時計周りに１３５°回転させた画面をディスプレイ３００に表示する。
そして、図９のカメラ２００の向きを０°とした場合の執刀医の体の向きｘ＝１３５°および執刀医の視線の向きｙ＝９０°の場合においては、補正角度Ｙ＝ｙ−ｚ＝９０°となるため、ＣＰＵ１１０は、画像を反時計周りに９０°回転させた画面をディスプレイ３００に表示する。
そして、図９のカメラ２００の向きを０°とした場合の執刀医の体の向きｘ＝１３５°および執刀医の視線の向きｙ＝４５°の場合においては、補正角度Ｙ＝ｙ−ｚ＝４５°となるため、ＣＰＵ１１０は、画像を反時計周りに４５°回転させた画面をディスプレイ３００に表示する。このように、所定のルールに基づいて、撮影画像を回転させて表示することによって、執刀医が臓器や治療器具４００などの位置関係が解りやすくなる。
なお、執刀医などのユーザは、制御装置１００の操作部１４０を介して、画像の回転角度の微調整をできることが好ましい。
また、画面回転の情報更新はリアルタイムで行なってもよい。その頻度は調整可能（例えば６０秒、１０秒、１秒、あるいはマニュアル操作で執刀医が判断したタイミング)であってもよい。あるいは、手術前に各装置の位置関係や画像の回転角度を『確定』させ、術中は画像の回転角度を変更しない設定を選択することができてもよい。
＜第２の実施の形態＞
第１の実施の形態においては、医師の視線の方向に基づいて、画像を回転させてディスプレイ３００に表示するものであった。しかしながら、そのような形態には限られない。本実施の形態においては、医師の体の向きに基づいて、画像を回転させてディスプレイ３００に表示するものである。なお、以下では、制御装置における第１の情報処理について説明するものし、映像出力システム１のハードウェア構成などについては同様であるため、ここでは説明を繰り返さない。
図１０は、本実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。図１１は、本実施の形態にかかるカメラ２００Ａの撮影方向と執刀医の体の向きと執刀医の視線方向とディスプレイ３００の向きとの関係を示すイメージ図である。
図１０および図１１を参照して、制御装置１００のＣＰＵ１１０は、定期的に、通信インターフェイス１６０を介して第１のセンサユニット５０１から、カメラ２００Ａの撮影方向（ｚ）を示すベクトルデータを取得する（ステップＳ１０２）。
ＣＰＵ１１０は、通信インターフェイス１６０を介して、第２のセンサユニット５０２から、執刀医の体の向き（ｘ）を示すベクトルデータを取得する（ステップＳ２０４）。
ＣＰＵ１１０は、画像を回転して補正するための表示補正角度Ｙとしての、平面上におけるカメラの向き（ｚ）に対応する執刀医の体の向き（ｘ）の角度を取得する（ステップＳ１０６）。本実施の形態においては、ＣＰＵ１１０は、下記の式に基づいて、表示補正角度Ｙを計算する。
Ｙ＝ｘ−ｚ・・・（２）
これによって、図１１に示すように、ＣＰＵ１１０は、表示補正角度Ｙに基づいて、−Ｙ°だけ画像を回転する（図７のステップＳ１５６）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、回転後の画像をディスプレイ３００に表示させる。
＜第３の実施の形態＞
第１の実施の形態においては、医師の視線の方向に基づいて、画像を回転させてディスプレイ３００に表示するものであった。しかしながら、そのような形態には限られない。本実施の形態においては、治療器具４００の向きに基づいて、画像を回転させてディスプレイ３００に表示するものである。なお、以下では、制御装置における第１の情報処理について説明するものし、映像出力システム１のハードウェア構成などについては同様であるため、ここでは説明を繰り返さない。
図１２は、本実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。図１３は、本実施の形態にかかるカメラ２００Ａと執刀医の体と執刀医の頭部とディスプレイ３００と治療器具４００との向きの関係と位置関係とを示す平面図である。図１４は、本実施の形態にかかるカメラ２００Ａの撮影方向と治療器具４００の向きと執刀医の視線方向とディスプレイ３００の向きとの関係を示すイメージ図である。
図１２〜図１４を参照して、制御装置１００のＣＰＵ１１０は、定期的に、通信インターフェイス１６０を介して第１のセンサユニット５０１から、カメラ２００Ａの撮影方向（ｚ）を示すベクトルデータを取得する（ステップＳ１０２）。
ＣＰＵ１１０は、通信インターフェイス１６０を介して、第５のセンサユニット５０５から、治療器具４００の向き（ｖ）を示すベクトルデータを取得する（ステップＳ３０４）。
ＣＰＵ１１０は、画像を回転して補正するための表示補正角度Ｙとしての、平面上におけるカメラの向き（ｚ）に対応する治療器具の向き（ｖ）の角度を取得する（ステップＳ１０６）。本実施の形態においては、ＣＰＵ１１０は、下記の式に基づいて、表示補正角度Ｙを計算する。
Ｙ＝ｖ−ｚ・・・（３）
これによって、ＣＰＵ１１０は、表示補正角度Ｙに基づいて、−Ｙ°だけ画像を回転する（ステップＳ１５６）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、回転後の画像をディスプレイ３００に表示させる。
なお、治療器具４００の方向に関しては、使用中の複数の治療器具または執刀医が握っている複数の治療器具の方向や位置などに基づいて、平均的な方向を利用するものであってもよい。
＜第４の実施の形態＞
第１の実施の形態においては、医師の視線の方向に基づいて、画像を回転させて表示するものであった。しかしながら、そのような形態には限られない。本実施の形態においては、ディスプレイ３００の向きに基づいて、画像を回転させて表示するものである。なお、以下では、制御装置における第１の情報処理について説明するものし、映像出力システム１のハードウェア構成などについては同様であるため、ここでは説明を繰り返さない。
図１５は、本実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。図１６は、本実施の形態にかかるカメラ２００Ａの撮影方向と執刀医の体の向きと執刀医の視線方向とディスプレイ３００の向きとの関係を示すイメージ図である。
図１５および図１６を参照して、制御装置１００のＣＰＵ１１０は、定期的に、通信インターフェイス１６０を介して第１のセンサユニット５０１から、カメラ２００Ａの向き（ｚ）を示すベクトルデータを取得する（ステップＳ１０２）。
ＣＰＵ１１０は、通信インターフェイス１６０を介して、第２のセンサユニット５０２から、ディスプレイの向き（ｘ）を示すベクトルデータを取得する（ステップＳ４０４）。
ＣＰＵ１１０は、画像を回転して補正するための表示補正角度Ｙとしての、平面上におけるカメラの向き（ｚ）に対応するディスプレイ（ｗ）の角度を取得する（ステップＳ１０６）。本実施の形態においては、ＣＰＵ１１０は、下記の式に基づいて、表示補正角度Ｙを計算する。
Ｙ＝ｚ−ｗ・・・（４）
これによって、図１６に示すように、ＣＰＵ１１０は、表示補正角度Ｙに基づいて、−Ｙ°だけ画像を回転する（図７のステップＳ１５６）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、回転後の画像をディスプレイ３００に表示させる。
＜第５の実施の形態＞
第１の実施の形態においては、医師の視線の方向に基づいて、画像を回転させて表示するものであった。しかしながら、そのような形態には限られない。本実施の形態においては、医師の視線方向と体の向きとに基づいて、画像を回転させて表示するものである。なお、以下では、制御装置における第１の情報処理について説明するものし、映像出力システム１のハードウェア構成などについては同様であるため、ここでは説明を繰り返さない。
図１７は、本実施の形態にかかるカメラ２００Ａと執刀医の体と執刀医の頭部とディスプレイ３００との向きの関係と位置関係とを示す平面図である。
図４と図１７を参照して、制御装置１００のＣＰＵ１１０は、定期的に、通信インターフェイス１６０を介して第１のセンサユニット５０１から、カメラ２００Ａの向き（ｚ）を示すベクトルデータを取得する（ステップＳ１０２）。
ＣＰＵ１１０は、通信インターフェイス１６０を介して、第２のセンサユニット５０２から、医師の視線方向（ｙ）を示すベクトルデータを取得する（ステップＳ１０４）。
ＣＰＵ１１０は、画像を回転して補正するための表示補正角度Ｙとしての、平面上におけるカメラの向き（ｚ）に対応する医師の視線方向（ｙ）の角度を取得する（ステップＳ１０６）。本実施の形態においては、ＣＰＵ１１０は、下記の式に基づいて、表示補正角度Ｙを計算する。
Ｙ＝ｙ−ｚ・・・（１）
次に、本実施の形態にかかる制御装置１００における第２の情報処理について説明する。なお、図１８は、本実施の形態にかかる制御装置１００における第２の情報処理を示すフローチャートである。
図１８を参照して、制御装置１００のＣＰＵ１１０は、通信インターフェイス１６０を介してカメラ２００Ａからの画像データを取得する（ステップＳ１５２）。
ＣＰＵ１１０は、第１のセンサユニット５０１からのカメラ２００Ａの姿勢に基づいて、実際の垂直上方向が、画像の上方向となるように、画像を回転する（ステップＳ１５４）。
ＣＰＵ１１０は、通信インターフェイス１６０を介して、第３のセンサユニット５０３から、医師の体の向き（ｘ）を示すベクトルデータを取得する（ステップＳ１５５）。
ＣＰＵ１１０は、以下の式（５）に基づいて、表示補正角度Ｙと医師の体の向きとに基づいて、さらに画像を回転する（ステップＳ１５６）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、回転後の画像をディスプレイ３００に表示させる。
画像回転角＝−Ｙ＋α（ｙ−ｘ）・・・（５）
ただし、−１＜α＜１である。
あるいは、ＣＰＵ１１０は、以下の式（６）に基づいて、表示補正角度Ｙと医師の体の向きとに基づいて、さらに画像を回転する（ステップＳ１５６）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、回転後の画像をディスプレイ３００に表示させる。
画像回転角＝−Ｙ＋β（ｘ−ｘ０）・・・（６）
ただし、−１＜β＜１であって、ｘ０は医師の視線方向と医師の体の向きとが一致している場合のｘである。
＜第６の実施の形態＞
第１の実施の形態においては、制御装置１００が、カメラ２００Ａが取得した画像を回転させてディスプレイ３００に表示するものであった。しかしながら、そのような形態には限られない。本実施の形態においては、撮影画像の上方が実際の垂直上方に向くように、カメラ２００Ａ自身が回転するものである。
図１９は、本実施の形態にかかるカメラ２００Ａの構成を示すイメージ図である。図１９に示すように、本実施の形態にかかるカメラ２００Ａは、自身が磁石を有することによって、あるいは第１のセンサユニット５０１からのデータを参照することによって、撮影画像の上方が実際の垂直上方にもっとも近づくように画像センサを回転する。なお、カメラ２００Ａ自身で、回転を制御してもよいし、カメラ２００Ａの傾きや姿勢を示すデータに基づいて、制御装置１００が撮影画像の上方が実際の垂直情報に向くようにカメラ２００Ａの画像センサを回転させてもよい。
この場合は、図６に示す制御装置１００における第２の情報処理のステップＳ１５４が不要になる。
さらには、カメラ２００Ａが、表示補正角度Ｙだけ時計周りに回転するものであってもよい。この場合は、図６に示す制御装置１００における第２の情報処理のステップＳ１５４とステップＳ１５６とが不要になる。
＜第７の実施の形態＞
第１の実施の形態においては、制御装置１００が、１つのディスプレイ３００に画像を表示するものであった。しかしながら、そのような形態には限られない。本実施の形態においては、制御装置１００が、複数のディスプレイ３００Ａ，３００Ｂ・・・を制御するものである。
＜映像出力システムの全体構成と動作概要＞
まず、図２０を参照して、本実施の形態にかかる映像出力システム１の全体構成と動作概要について説明する。図２０は、本実施の形態にかかる映像出力システム１の全体構成と動作概要とを示すイメージ図である。
まず、本実施の形態にかかる映像出力システム１の全体構成について説明する。本実施の形態にかかる映像出力システム１は、主に、内視鏡などのカメラ２００Ａと、ディスプレイ３００Ａと、ディスプレイ３００Ｂと、カメラ２００Ａおよびディスプレイ３００Ａ，３００Ｂを制御するための制御装置１００とを含む。以下では、本実施の形態にかかる映像出力システム１の動作概要について説明する。
制御装置１００は、カメラ２００Ａで撮影した画像を、ディスプレイ３００Ａ，３００Ｂに表示させる。特に、制御装置１００は、執刀医が見やすい、あるいは執刀医が表示されている臓器や治療器具などの位置関係が把握しやすい、あるいは執刀医が手術をしやすい、ようにカメラ２００Ａの撮影方向と執刀医の体の向きとに応じて、撮影された画像を回転してディスプレイ３００Ａに表示させる。
そして、制御装置１００は、助手などが見やすい、あるいは助手などが表示されている臓器や治療器具などの位置関係が把握しやすい、あるいは助手などが手術をサポートしやすい、ようにカメラ２００Ａの撮影方向と執刀医または助手の体の向きとに応じて、撮影された画像を回転してディスプレイ３００Ｂに表示させる。
＜映像出力システム１のハードウェア構成＞
次に、本実施の形態にかかる映像出力システム１のハードウェア構成の一態様について説明する。なお、図２１は、本実施の形態にかかる映像出力システム１のハードウェア構成を表わすブロック図である。
図２１を参照して、本実施の形態にかかる映像出力システム１は、治療部位などを撮影するためのカメラ２００Ａと、当該カメラ２００Ａを制御するためのカメラ制御部２００Ｂと、治療部位などの映像を出力するためのディスプレイ３００Ａおよびディスプレイ３００Ｂと、それらの装置を制御するための制御装置１００と、執刀医や患者やそれらの装置の位置や姿勢を計測するためのセンサユニット５０１，５０２，５０３，５０４，５０５，５０６などを含む。
第１〜第５のセンサユニット５０１〜５０５は、第１の実施の形態のそれらと同様であるため、ここでは説明を繰り返さない。
本実施の形態にかかる第６のセンサユニット５０６は、ディスプレイ３００Ｂに取り付けられ、内部の電子コンパスまたは磁石を利用してディスプレイ３００Ｂの向きを制御装置１００に提供する。なお、第６のセンサユニット５０６は、ディスプレイ３００Ｂの位置も取得して、ディスプレイ３００Ｂの位置を制御装置１００に送信するものであってもよい。そして、第６のセンサユニット５０６は、ディスプレイ３００Ｂに内包されたり、ディスプレイ３００Ｂと一体化されたりしているものであってもよい。
そして、さらに、助手の視線の方向を取得するための第７のセンサユニットや、助手の体の向きを取得するための第８のセンサユニットを備えてもよい。
これによって、制御装置１００は、第１のディスプレイ３００Ａに、医師の視線方向や医師の体の向きや医師が使用している治療器具４００の向きなどに応じて、カメラ２００Ａが撮影した画像を回転して表示するとともに、第２のディスプレイ３００Ｂに、執刀医または助手などの視線方向や、執刀医または助手などの体の向きや、執刀医または助手などが使用している治療器具４００の向きなどに応じて、カメラ２００Ａが撮影した画像を回転して表示する。なお、制御装置１００が、それぞれのディスプレイ３００Ａ，３００Ｂに画像を回転して表示させるための構成は、第１〜第６のそれらと同様であるため、ここでは説明を繰り返さない。
＜第８の実施の形態＞
第１〜第７の実施の形態においては、カメラ２００Ａが取得した画像を回転させてディスプレイ３００に表示するものであった。しかしながら、そのような形態には限られない。本実施の形態においては、カメラ２００Ａが、医師の視線方向や医師の体の向きや医師が使用中の治療器具４００の向きやディスプレイ３００の向きに合わせて、撮影方向自体を変更するものである。
図２２は、本実施の形態にかかるカメラ２００Ａのハードウェア構成を示すイメージ図である。本実施の形態においては、カメラ２００Ａは、主に、画像センサ２１０と、センサ水平方向変更部２２０と、センサ垂直方向変更部２３０と、センサ回転部２４０と、ライト２５０と、通信インターフェイス２６０とを含む。
画像センサ２１０は、光を検知して画像を表すための信号を出力する。より詳細には、カメラ２００Ａは、ライト２５０から光を照射して、その反射光を画像センサ２１０が検知する。
通信インターフェイス２６０は、画像センサ２１０で撮影された画像データを、カメラ制御部２００Ｂや制御装置１００に送信する。
センサ水平方向変更部２２０は、モータやアクチュエータから構成され、通信インターフェイス２６０を介して入力される制御装置１００からの指令に基づいて、画像センサ２１０で撮影される水平成分の方向を変更する。
センサ垂直方向変更部２３０と、モータやアクチュエータから構成され、通信インターフェイス２６０を介して入力される制御装置１００からの指令に基づいて、画像センサ２１０で撮影される垂直成分の方向を変更する。
センサ回転部２４０は、モータやアクチュエータから構成され、通信インターフェイス２６０を介して入力される制御装置１００からの指令に基づいて、画像センサ２１０を、画像センサ２１０の撮影方向を軸にして、回転させる。
図２３は、本実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。
図２３を参照して、制御装置１００のＣＰＵ１１０は、定期的に、通信インターフェイス１６０を介して第１のセンサユニット５０１から、カメラ２００Ａの向き（ｚ）を示すベクトルデータを取得する（ステップＳ１０２）。
ＣＰＵ１１０は、通信インターフェイス１６０を介して、第２のセンサユニット５０２などから、医師の視線方向（ｙ）などを示すベクトルデータを取得する（ステップＳ１０４）。
ＣＰＵ１１０は、カメラ２００Ａの撮影方向を医師の視線方向に向けさせる（ステップＳ１０５）。より詳細には、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａのセンサ水平方向変更部２２０と、センサ垂直方向変更部２３０と、を制御するための指令をカメラ２００Ａに送信することによって、カメラ２００Ａの撮影方向を医師の視線方向に向けさせる。
そして、ＣＰＵ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａのセンサ回転部２４０を制御するための指令をカメラ２００Ａに送信することによって、カメラ２００Ａの撮影画像の天頂が、実際の垂直上方に最も近づくように、画像センサ２１０が回転される。
そして、ＣＰＵ１１０は、カメラ２００Ａを完全に医師の視線方向に向けられない場合は、画像を回転して補正するための表示補正角度Ｙとしての、平面上におけるステップＳ１０５の方向制御後のカメラの向き（ｚ）に対応する医師の視線方向（ｙ）の角度を取得する（ステップＳ１０６）。
これによって、図６に示すように、ＣＰＵ１１０は、表示補正角度Ｙに基づいて、−Ｙ°だけ画像を回転する（図７のステップＳ１５６）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、回転後の画像をディスプレイ３００に表示させる。
＜第９の実施の形態＞
さらに、本実施の形態においては、制御装置１００が、医師や助手などのユーザ毎に、画像を回転するためのもとになるファクターの指定を受け付けて登録する。
たとえば、ユーザは、制御装置１００の操作部１４０を介して、画像を回転するためのもとになるファクター、たとえば医師の視線方向、医師の体の向き、治療器具の向き、ディスプレイ３００の向きなど、の指定を受け付ける。制御装置１００のＣＰＵ１１０は、ユーザを特定するための情報と、画像を回転するためのもとになるファクターを特定するための情報との対応関係をメモリ１２０に格納する。ただし、対応関係は、制御装置１００がアクセス可能な他の装置に格納されてもよい。
図２４は、本実施の形態にかかる制御装置１００における第１の情報処理を示すフローチャートである。なお、あらかじめ、制御装置１００のＣＰＵ１１０は、操作部１４０を介して、ユーザＩＤなどを受け付ける。
図２４を参照して、制御装置１００のＣＰＵ１１０は、定期的に、通信インターフェイス１６０を介して第１のセンサユニット５０１から、カメラ２００Ａの向き（ｚ）を示すベクトルデータを取得する（ステップＳ１０２）。
ＣＰＵ１１０は、現在システムを使用中のユーザを特定するための情報に基づいて、画像を回転するためのファクターを特定する（ステップＳ１０３）。
ＣＰＵ１１０は、通信インターフェイス１６０を介して、いずれかのセンサユニット５０１〜５０５から、指定された方向を示すベクトルデータを取得する（ステップＳ１０４）。
これによって、図６に示すように、ＣＰＵ１１０は、表示補正角度Ｙに基づいて、−Ｙ°だけ画像を回転する（図７のステップＳ１５６）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、回転後の画像をディスプレイ３００に表示させる。
さらには、制御装置１００が、執刀医や助手などのユーザ毎に、ステップＳ１５６において画像を回転するためのもとになるαの登録を受け付けてもよい。この場合は、ＣＰＵ１１０は、現在使用中のユーザを特定するための情報に基づいて、画像を回転するためのファクターと回転割合αとを読み出す（図２４のステップＳ１０３）。
ＣＰＵ１１０は、通信インターフェイス１６０を介して、いずれかのセンサユニット５０１〜５０５から、指定された方向を示すベクトルデータを取得する（図２４のステップＳ１０４）。
図６または図１７に示すように、ＣＰＵ１１０は、表示補正角度Ｙに基づいて、時計方向に−αＹ°またはαＹ°（０＜α＜１）だけ画像を回転させる（図７または図１８のステップＳ１５６）。ＣＰＵ１１０は、通信インターフェイス１６０を介して、回転後の画像をディスプレイ３００に表示させる。
＜第１０の実施の形態＞
なお、治療者としての執刀医が見やすい、あるいは執刀医が表示されている臓器や治療器具４００などの位置関係が把握しやすい、あるいは執刀医が手術をしやすい、ように調整できるファクターであればよく、第１〜第９の実施の形態のような、執刀医の視線方向、執刀医の体の向き、治療器具４００の向き、ディスプレイ３００の向きなどのファクターを利用する形態には限られない。
なお、センサ等から取得したデータを蓄積することで、より最適な位置（回転角度）の関係を学習、導出することが可能である。また施術者の特徴（癖）をデータとして抽出することで施術者のスキルの向上にも寄与しうる。
＜その他の応用例＞
本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体（あるいはメモリ）を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わる他の記憶媒体に書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
また、上記の実施の形態で説明した映像出力システム、制御装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記の実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記の実施の形態に係る映像出力システム、制御装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記の実施の形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
＜まとめ＞
上記の第１〜１０の実施の形態においては、カメラ２００Ａと、ディスプレイ３００と、カメラ２００Ａとディスプレイ３００と通信可能な制御装置１００とを備える映像出力システム１が提供される。制御装置１００は、カメラ２００Ａの向きと所定の対象物の向きとに基づいて、カメラ２００Ａの撮影画像を回転させてディスプレイ３００に映像を出力させる。
この発明の別の局面に従うと、カメラ２００Ａと、ディスプレイ３００と、カメラ２００Ａとディスプレイ３００と通信可能な制御装置１００とを備える映像出力システム１が提供される。制御装置１００は、カメラ２００Ａの向きと所定の対象物の向きとに基づいて、カメラ２００Ａを回転させて撮影した画像をディスプレイ３００に出力させる。
好ましくは、制御装置１００は、カメラ２００Ａの向きと所定の対象物の向きとの平面上の角度に基づいて、回転の角度を調整する。
好ましくは、制御装置１００は、ユーザ毎に、所定の対象物の指定を受付ける。
この発明の別の局面に従うと、カメラ２００Ａの向きを取得するステップと、所定の対象物の向きを取得するステップと、カメラ２００Ａの向きといずれかの向きとに基づいて、カメラ２００Ａの撮影画像を回転させてディスプレイ３００に映像を出力させるステップと、を備える映像出力方法が提供される。
この発明の別の局面に従うと、カメラ２００Ａの向きを取得するステップと、所定の対象物の向きを取得するステップと、カメラ２００Ａの向きといずれかの向きとに基づいて、カメラ２００Ａを回転させて撮影した画像をディスプレイ３００に出力させるステップと、を備える映像出力方法が提供される。
この発明の別の局面に従うと、カメラ２００Ａおよびディスプレイ３００と通信するための通信インターフェイス１６０と、プロセッサ１１０とを備える制御装置１００が提供される。プロセッサ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａの向きと、所定の対象物の向きと、に基づいて、カメラ２００Ａの撮影画像を回転させてディスプレイ３００に映像を出力させる。
この発明の別の局面に従うと、カメラ２００Ａおよびディスプレイ３００と通信するための通信インターフェイス１６０と、プロセッサ１１０とを備える制御装置１００が提供される。プロセッサ１１０は、通信インターフェイス１６０を介して、カメラ２００Ａの向きと、所定の対象物の向きと、に基づいて、カメラ２００Ａを回転させて撮影した画像をディスプレイ３００に出力させる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
１ ：映像出力システム
１００ ：制御装置
１１０ ：プロセッサ（ＣＰＵ）
１２０ ：メモリ
１４０ ：操作部
１６０ ：通信インターフェイス
２００ ：カメラ
２００Ａ ：カメラ
２００Ｂ ：カメラ制御部
２１０ ：画像センサ
２２０ ：センサ水平方向変更部
２３０ ：センサ垂直方向変更部
２４０ ：センサ回転部
２６０ ：通信インターフェイス
３００ ：ディスプレイ
３００Ａ ：第１のディスプレイ
３００Ｂ ：第２のディスプレイ
４００ ：治療器具
５０１〜５０６ ：センサユニット

Claims (6)

  1. カメラと、
    ディスプレイと、
    前記カメラと前記ディスプレイと通信可能な制御装置とを備え、
    前記制御装置は、前記カメラの向きと所定の対象物の向きとに基づいて、前記カメラの撮影画像を回転させて前記ディスプレイに映像を出力させる、映像出力システム。
  2. カメラと、
    ディスプレイと、
    前記カメラと前記ディスプレイと通信可能な制御装置とを備え、
    前記制御装置は、前記カメラの向きと所定の対象物の向きとに基づいて、前記カメラを回転させて撮影した画像を前記ディスプレイに出力させる、映像出力システム。
  3. 前記制御装置は、前記カメラの向きと前記所定の対象物の向きとの平面上の角度に基づいて、前記回転の角度を調整する、請求項１または２に記載の映像出力システム。
  4. 前記制御装置は、ユーザ毎に、前記所定の対象物の指定を受付ける、請求項１から３のいずれか１項に記載の映像出力システム。
  5. カメラの向きを取得するステップと、
    所定の対象物の向きを取得するステップと、
    前記カメラの向きと前記いずれかの向きとに基づいて、前記カメラの撮影画像を回転させてディスプレイに映像を出力させるステップと、を備える映像出力方法。
  6. カメラおよびディスプレイと通信するための通信インターフェイスと、
    プロセッサとを備え、前記プロセッサは、前記通信インターフェイスを介して、前記カメラの向きと、所定の対象物の向きと、に基づいて、前記カメラの撮影画像を回転させて前記ディスプレイに映像を出力させる、制御装置。
JP2016152502A 2016-08-03 2016-08-03 映像出力システム、映像出力方法および制御装置 Pending JP2019165270A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016152502A JP2019165270A (ja) 2016-08-03 2016-08-03 映像出力システム、映像出力方法および制御装置
US16/322,941 US20190183321A1 (en) 2016-08-03 2017-05-31 Image output system, image output method and control device
PCT/JP2017/020211 WO2018025483A1 (ja) 2016-08-03 2017-05-31 映像出力システム、映像出力方法および制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016152502A JP2019165270A (ja) 2016-08-03 2016-08-03 映像出力システム、映像出力方法および制御装置

Publications (1)

Publication Number Publication Date
JP2019165270A true JP2019165270A (ja) 2019-09-26

Family

ID=61073664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016152502A Pending JP2019165270A (ja) 2016-08-03 2016-08-03 映像出力システム、映像出力方法および制御装置

Country Status (3)

Country Link
US (1) US20190183321A1 (ja)
JP (1) JP2019165270A (ja)
WO (1) WO2018025483A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021145413A1 (ja) * 2020-01-16 2021-07-22 オリンパス株式会社 手術支援システムおよびプロセッサ
WO2023053334A1 (ja) * 2021-09-30 2023-04-06 オリンパス株式会社 処理システム及び情報処理方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11576578B2 (en) 2015-03-02 2023-02-14 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for scanning a patient in an imaging system
US11576645B2 (en) 2015-03-02 2023-02-14 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for scanning a patient in an imaging system
CN104644205A (zh) * 2015-03-02 2015-05-27 上海联影医疗科技有限公司 用于影像诊断的患者定位方法及系统
EP3592276B1 (en) * 2017-03-07 2024-05-01 Intuitive Surgical Operations, Inc. Systems for controlling tool with articulatable distal portion
JP2019154883A (ja) * 2018-03-15 2019-09-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、および画像処理方法
WO2020049993A1 (ja) * 2018-09-05 2020-03-12 ソニー株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3431983B2 (ja) * 1994-04-01 2003-07-28 オリンパス光学工業株式会社 画像処理装置
JPH07246183A (ja) * 1994-03-11 1995-09-26 Olympus Optical Co Ltd 電子内視鏡システム
JP2000287921A (ja) * 1999-04-08 2000-10-17 Olympus Optical Co Ltd 内視鏡装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021145413A1 (ja) * 2020-01-16 2021-07-22 オリンパス株式会社 手術支援システムおよびプロセッサ
JPWO2021145413A1 (ja) * 2020-01-16 2021-07-22
JP7311636B2 (ja) 2020-01-16 2023-07-19 オリンパス株式会社 手術支援システム、制御装置、および情報処理方法
WO2023053334A1 (ja) * 2021-09-30 2023-04-06 オリンパス株式会社 処理システム及び情報処理方法

Also Published As

Publication number Publication date
US20190183321A1 (en) 2019-06-20
WO2018025483A1 (ja) 2018-02-08

Similar Documents

Publication Publication Date Title
WO2018025483A1 (ja) 映像出力システム、映像出力方法および制御装置
JP6751456B2 (ja) ロボット外科手術システムで使用するための拡張現実ナビゲーションシステムおよびその使用方法
JP2020018877A (ja) イメージング器具の向きの制御のためのシステム及び方法
US7845851B2 (en) Low-dose iso-centering
JP2008517703A (ja) 腹腔鏡手術用モニター装置及びそのディスプレイ方法
JP2016503676A (ja) ３次元トラッキングセンサを使用した位置決めおよびナビゲーション
JPH08542A (ja) 内視鏡位置検出装置
Breedveld et al. Theoretical background and conceptual solution for depth perception and eye-hand coordination problems in laparoscopic surgery
EP2867864A1 (en) Overlay and registration of preoperative data on live video using a portable device
JP2020156800A (ja) 医療用アームシステム、制御装置、及び制御方法
US20110026787A1 (en) Method for dealing with singularities in gravity referenced endoscopic imaging
US20230180998A1 (en) Endoscope system, controller, control method, and recording medium
CN109152519A (zh) 医疗观察装置、图像移动校正方法、及医疗观察系统
US20200093545A1 (en) Control apparatus, control method, and medical observation system
US20220096164A1 (en) Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system
US11147647B2 (en) Medical stereoscopic observation device, medical stereoscopic observation method, and program
TW201206387A (en) Robotic control of an oblique endoscope for fov images
JP6461024B2 (ja) 画像位置合せ装置、方法およびプログラム
JP6392192B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
WO2018025484A1 (ja) 撮影システム、撮影方法および制御装置
JP2008017348A (ja) 映像表示装置、映像信号の歪み補正処理方法
JP3951592B2 (ja) 医用画像表示方法および医用画像表示装置ならびに医用診断システム
JP2008017347A (ja) 映像表示装置、映像信号の歪み補正処理方法
US11510631B2 (en) Joint test data visualization
JP2008017346A (ja) 映像表示装置、映像信号の歪み補正処理方法