JP2020167512A - 医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法 - Google Patents

医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法 Download PDF

Info

Publication number
JP2020167512A
JP2020167512A JP2019065974A JP2019065974A JP2020167512A JP 2020167512 A JP2020167512 A JP 2020167512A JP 2019065974 A JP2019065974 A JP 2019065974A JP 2019065974 A JP2019065974 A JP 2019065974A JP 2020167512 A JP2020167512 A JP 2020167512A
Authority
JP
Japan
Prior art keywords
image
medical
medical image
transmission system
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019065974A
Other languages
English (en)
Inventor
浅井 淳
Atsushi Asai
淳 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2019065974A priority Critical patent/JP2020167512A/ja
Priority to EP20781857.6A priority patent/EP3934242A4/en
Priority to US17/435,039 priority patent/US11818464B2/en
Priority to CN202080023395.0A priority patent/CN113632460A/zh
Priority to PCT/JP2020/012817 priority patent/WO2020203428A1/ja
Publication of JP2020167512A publication Critical patent/JP2020167512A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal

Abstract

【課題】モダリティによって生成された医療画像に対して付加情報の視認性を低下させることなく、画像処理を施すことが可能な医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法を提供することを提供すること。【解決手段】本技術に係る医療用画像伝送システムは、画像取得部と、画像処理部と、重畳部と、提示部とを具備する。上記画像取得部は、医療用観察装置によって生成された医療画像を取得する。上記画像処理部は、上記医療画像に対して所定の画像処理を加える。上記重畳部は、上記医療画像の所定領域に重畳画像を重畳する。上記提示部は、上記所定の画像処理を行う前に上記所定領域に表示されていた付加情報に基づいてユーザに情報を提示する。【選択図】図10

Description

本技術は、医療用観察装置によって生成された医療画像の画像処理に係る医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法に関する。
内視鏡や顕微鏡等のモダリティ(医療用観察装置)において、手振れや床振動等の揺れが生じると画像ブレが発生する。特に近年、モダリティが高精細化するに伴い、画像ブレによる視認性への影響が大きくなっている。
これに対し、例えば特許文献1には、カメラヘッドにジャイロを設け、ジャイロにより手振れを検知して出力画像に手振れ補正を行う内視鏡が提案されている。
特開2017−185254号公報
しかしながら、特許文献1に記載のようにモダリティに手振れ補正機能が搭載されていればよいが、このような手振れ補正機能が搭載されていない場合、モダリティ側で手振れ補正を行うことができない。
この場合、モダリティから出力された画像に対して後から手振れ補正等の画像処理を行う必要がある。ここで、モダリティから出力される画像には、モダリティの設定やアラートを示す文字情報といった付加情報が重畳されることが多い。このため、このような画像に手振れ補正等の画像処理を施すと、付加情報も画像処理が施されてしまい、付加情報の視認性が低下するという問題があった。
以上のような事情に鑑み、本技術の目的は、モダリティによって生成された医療画像に対して付加情報の視認性を低下させることなく、画像処理を施すことが可能な医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法を提供することにある。
上記目的を達成するため、本技術に係る医療用画像伝送システムは、画像取得部と、画像処理部と、重畳部と、提示部とを具備する。
上記画像取得部は、医療用観察装置によって生成された医療画像を取得する。
上記画像処理部は、上記医療画像に対して所定の画像処理を加える。
上記重畳部は、上記医療画像の所定領域に重畳画像を重畳する。
上記提示部は、上記所定の画像処理を行う前に上記所定領域に表示されていた付加情報に基づいてユーザに情報を提示する。
上記目的を達成するため、本技術に係る医療用画像処理装置は、画像取得部と、画像処理部と、重畳部と、提示部とを具備する。
上記画像取得部は、医療用観察装置によって生成された医療画像を取得する。
上記画像処理部は、上記医療画像に対して所定の画像処理を加える。
上記重畳部は、上記医療画像の所定領域に重畳画像を重畳する。
上記提示部は、上記重畳部によって重畳画像が重畳された医療画像と、上記所定の画像処理を行う前に上記所定領域に表示されていた付加情報を含む提示用画像を生成する。
上記目的を達成するため、本技術に係る医療用画像伝送方法は、画像取得部が、医療用観察装置によって生成された医療画像を取得する。
画像処理部が、上記医療画像に対して所定の画像処理を加える。
重畳部が、上記医療画像の所定領域に重畳画像を重畳する。
提示部が、上記所定の画像処理を行う前に上記所定領域に表示されていた付加情報に基づいてユーザに情報を提示する。
この構成によれば、ユーザは画像処理を受けた医療画像と付加情報を共に参照することが可能となる。
本技術の第1の実施形態に係る医療用画像伝送システムの構成を示すブロック図である。 同医療用画像伝送システムの具体例を示す模式図である。 同医療用画像伝送システムにおいて医療用観察装置が生成する医療画像(撮像時)の例である。 同医療用画像伝送システムにおいて医療用観察装置が生成する医療画像(付加情報含む)の例である。 同医療用画像伝送システムにおける画像処理結果の例である。 同医療用画像伝送システムにおける重畳画像の重畳の様子を示す模式図である。 同医療用画像伝送システムにおける画像処理結果の例である。 同医療用画像伝送システムにおける画像処理結果の例である。 同医療用画像伝送システムが備える画像処理装置の構成を示すブロック図である。 同医療用画像伝送システムが備える画像処理装置の提示部による提示用画像の生成方法を示す模式図である。 同医療用画像伝送システムが備える画像処理装置の提示部によって生成される提示用画像の例である。 同医療用画像伝送システムが備える画像処理装置の提示部によって生成される提示用画像の例である。 同医療用画像伝送システムが備える画像処理装置の提示部によって生成される提示用画像の例である。 同医療用画像伝送システムが備える画像処理装置の提示部によって生成される提示用画像の例である。 同医療用画像伝送システムが備える画像処理装置の提示部によって生成される提示用画像の例である。 同医療用画像伝送システムが備える画像処理装置のハードウェア構成を示すブロック図である。 本技術の第2の実施形態に係る医療用画像伝送システムの構成を示すブロック図である。 同医療用画像伝送システムが備える画像処理装置の構成を示すブロック図である。 同医療用画像伝送システムが備える画像処理装置の提示部による付加情報の抽出の様子を示す模式図である。 同医療用画像伝送システムが備える画像処理装置の提示部によって生成される提示用画像の例である。 本技術の第3の実施形態に係る医療用画像伝送システムの構成を示すブロック図である。 同医療用画像伝送システムが備える画像処理装置の構成を示すブロック図である。 同医療用画像伝送システムが備える制御装置の構成を示すブロック図である。
(第1の実施形態)
本技術の第1の実施形態に係る医療用画像伝送システムについて説明する。
[医療用画像伝送システムの構成]
図1は、本実施形態に係る医療用画像伝送システム100(以下、伝送システム100)の構成を示すブロック図である。同図に示すように、伝送システム100は、医療用観察装置110、画像処理装置120及び画像受信装置130を備える。
医療用観察装置110と画像処理装置120の間、及び画像処理装置120と画像受信装置130の間はそれぞれ有線又は無線によって接続されている。
医療用観察装置110は撮像対象を撮像し、医療画像を生成する。撮像対象は特に限定されず、例えば生体組織である。医療用観察装置110は、内視鏡又は顕微鏡等の画像を撮像する機能を有する装置であればよく、その構成は特に限定されない。医療用観察装置110はモダリティとも呼ばれる。
画像処理装置120は、医療用観察装置110から出力された医療画像に対して後述する画像処理を施し、提示用画像を生成する。さらに画像処理装置120は生成した提示用画像を画像受信装置130に出力する。
画像処理装置120は、医療画像に対して手振れ補正等の画像処理を施すことが可能な装置であればよく、例えば画像の電気信号を光信号に変換するIP(Interlace Protocol)コンバータとすることができる。また、画像処理装置120は情報処理装置であってもよい。
画像受信装置130は、画像処理装置120から出力された提示用画像を受信する。画像受信装置130は、提示用画像を表示するディスプレイや提示用画像を記録するレコーダ、画像管理サーバ等とすることができる。
[医療用画像伝送システムの具体例]
図2は、伝送システム100の具体例として医療用画像伝送システム150(以下、伝送システム150)の構成を示す模式図である。同図に示すように、伝送システム150は、術野カメラ151、内視鏡152、顕微鏡153、IPコンバータ154、光スイッチャ155、サーバ156、IPコンバータ157、モニタ158、レコーダ159及びプロジェクタ160から構成されている。
術野カメラ151、内視鏡152及び顕微鏡153でそれぞれ撮像された医療画像の電気信号はIPコンバータ154によって光信号に変換され、光スイッチャ155によって任意のIPコンバータ157に出力される。
IPコンバータ157は光スイッチャから供給された光信号を電気信号に変換し、モニタ158、レコーダ159及びプロジェクタ160にそれぞれ供給する。サーバ156は光スイッチャ155にいずれのIPコンバータ154といずれのIPコンバータ157を接続するかを指示する。
図1に示す医療用観察装置110は、術野カメラ151、内視鏡152及び顕微鏡153に相当し、画像受信装置130はモニタ158、レコーダ159及びプロジェクタ160に相当する。また、画像受信装置130はサーバ156であってもよい。
画像処理装置120は、IPコンバータ154、IPコンバータ157及びサーバ156の少なくともいずれか一つに相当する。なお、図2においてサーバ156は設けられなくてもよく、その場合、画像処理装置120はIPコンバータ154及びIPコンバータ157の少なくともいずれか一つに相当する。
なお、図2に示す伝送システム150の具体的構成は伝送システム100の一例であって、伝送システム100は図1に示す構成が実現されているものであればよい。
[医療画像について]
医療用観察装置110は、撮像対象を撮像して撮像画像を生成し、撮像画像に基づいて医療画像を生成する。なお、本開示における「画像」は静止画像であってもよく、動画像であってもよい。
図3は、医療用観察装置110が生成する撮像画像G1の例である。撮像画像G1は撮像対象の撮像によって生成された無加工の画像である。同図に示すように、撮像画像には撮像対象の像171、光学マスク境界172及び光学マスク領域173が含まれている。
光学マスク境界172は、内視鏡等の光学的視野の周縁である。光学マスク境界172の外周領域である光学マスク領域173は例えば内視鏡の内周が撮像された領域であり、黒色等で塗り潰された領域となる。なお、撮像画像G1には必ずしも光学マスク境界172及び光学マスク領域173が含まれなくてもよい。
医療用観察装置110は、この撮像画像G1に付加情報を付加して医療画像を生成する。図4は医療用観察装置110が生成する医療画像G2の例である。同図に示すように、医療画像G2には付加情報174が付加されている。
付加情報174は、例えば内視鏡の拡大倍率、エラー表示又はアラート等の文字情報であり、撮像画像G1上に重畳された文字列とすることができる。また、付加情報は文字列に限定されず、アイコン等であってもよい。医療用観察装置110は、像171の視認を妨げないように、主に光学マスク領域173上に付加情報174を配置する。
仮に医療用観察装置110によって手振れ補正を施す場合、ジャイロ等によって撮像機構の揺れを検出し、画像処理によってそれを打ち消す補正をすればよい。医療用観察装置110は手振れ補正を施した後で撮像画像G1に付加情報を配置することができる。
一方、医療用観察装置110とは別のIPコンバータ等の装置によって、医療用観察装置110から出力された医療画像G2に手振れ補正を行う場合、ジャイロ等による手振れの検出結果が利用できない。この場合、医療画像G2に対して動きベクトルの抽出処理を実行し、抽出した動きベクトルに対して逆位相に医療画像G2を動かすことにより、手振れを補正することができる。
しかしながらこの場合、次のような問題が生じる。図5は動きベクトルの抽出処理に基づいて手振れ補正を施した医療画像G3の例である。
同図に示すように、像171の揺れは解消されるものの、像171の揺れを抑制するために医療画像G2を移動・回転等させることによって、光学マスク境界172や付加情報174、医療画像G2の周縁175が揺れ動いてしまい、医療画像G3の視認性が低下してしまう。これにより、医療画像G3を参照して施術等を行う場合に、ユーザの集中が削がれるおそれがある。
これに対し、医療画像G3にデジタルマスクを重畳させることも可能である。図6は、医療画像G3にデジタルマスクを重畳させる様子を示す模式図である。図6(a)に示すように、像171以外の領域を被覆するデジタルマスク176を医療画像G3に重畳させることにより、図6(b)に示すように、光学マスク境界172や付加情報174、周縁175をデジタルマスク176によって被覆し、医療画像G4とすることができる。
これにより、光学マスク境界172等の揺れ動きによる視認性低下を防止することができる。しかしながら、付加情報174もデジタルマスク176によって被覆されるため、付加情報174がアラートやエラー提示といった重要な情報の場合、それがユーザに提示されず、ユーザが重要な情報を把握できなくなる。
これに対し、本実施形態に係る伝送システム100ではこれらの問題を解消することが可能である。なお、上記説明では手振れ補正を例として説明したが、手振れ補正に限られず、デジタルズームで画像を拡大する場合や画像に回転補正を施す場合も同様である。
図7は、医療画像G2にデジタルズームを施した医療画像G3を示す模式図であり、図8は、医療画像G2に回転補正を施した医療画像G3を示す模式図である。いずれの場合も、付加情報174が描画されない、あるいは回転することによって付加情報174の視認性が低下する。
[画像処理装置の構成について]
画像処理装置120の構成について説明する。図9は、画像処理装置120の機能的構成を示す模式図である。
同図に示すように、画像処理装置120は、画像取得部121、画像処理部122、重畳部123及び提示部124を備える。これらはソフトウェアとハードウェアの協働によって実現される機能的構成である。
画像取得部121は、医療用観察装置110から医療画像G2(図4参照)を取得し、画像処理部122及び提示部124に供給する。
画像処理部122は、医療画像G2に対して画像処理を加える。画像処理は例えば手振れ補正である。画像処理部122は、医療画像G2に対して動きベクトル抽出処理を行い、抽出した動きベクトルに対して逆位相に医療画像G2を動かし、手振れ補正を行うことができる。画像処理部122は医療画像G2に対して手振れ補正を施した医療画像G3(図5参照)を重畳部123に供給する。
重畳部123は、医療画像G3の所定領域に重畳画像を重畳する。重畳画像は、医療画像G3における像171以外の領域を被覆するデジタルマスクとすることができる。図6に示すように、重畳部123は医療画像G3に領域にデジタルマスク176を重畳させ医療画像G4を生成する。
医療画像G4においては、医療画像G3において視認性を低下させる領域、即ち画像処理によって揺れ動きを生じる光学マスク境界172、付加情報174及び周縁175がデジタルマスク176によって被覆されている。重畳部123は、生成した医療画像G4を提示部124に供給する。
提示部124は、画像処理部122による画像処理を行う前に光学マスク領域173に表示されていた付加情報174に基づいてユーザに情報を提示する。具体的には提示部124は、医療画像G4を主画像、医療画像G2副画像として両画像をピクチャーインピクチャー(Picture in Picture)で配置した提示用画像を生成する。
図10は、提示用画像G5の生成方法を示す模式図である。図10(a)に示すように、提示部124は、医療画像G4(医療画像G3及びデジタルマスク176)に医療画像G2を縮小して重畳させる。
これにより、図10(b)に示すように、医療画像G4を主画像G5a、医療画像G2を副画像G5bとしてピクチャーインピクチャーにより配置した提示用画像G5が生成される。医療画像G2は画像処理部122による画像処理が施される前の画像であるため、医療用観察装置110によって付された付加情報174がそのまま含まれている。提示部124は、生成した提示用画像G5を画像受信装置130に出力する。
[医療用画像伝送システムによる効果]
上記のように伝送システム100では、医療用観察装置110から出力された医療画像G2(図4参照)に対して画像処理装置120が各種の処理を行い、提示用画像G5(図10参照)を生成して画像受信装置130に出力する。
提示用画像G5において、主画像G5aに含まれる像171は、手振れ補正等の画像処理が施されており、かつ像171の周囲にはデジタルマスク176が重畳されている。このため、光学マスク境界172や付加情報174、周縁175はデジタルマスク176によって被覆され、これらの揺れ動きによる視認性の低下が防止されている。
さらに、提示用画像G5には画像処理前の医療画像G2が副画像G5bとしてピクチャーインピクチャーで配置されており、付加情報の174の確認が可能である。医療画像G2における付加情報174は手振れ補正に伴う揺れ動きが生じていないため、視認性に優れている。これにより、ユーザは画像処理が施された医療画像と、画像処理による影響を受けていない付加情報を共に参照することが可能となる。
また、提示用画像G5を表示するためには一つのモニタがあればよく、医療画像G2と医療画像G3を複数のモニタでそれぞれ表示する場合に比べ、コストや設置場所の増加が抑えられ、設定の手間もかからないものとなっている。
[画像処理装置の他の構成について]
画像処理装置120の構成は上述のものに限られず、以下の構成を有するものであってもよい。
例えば、画像処理装置120は、デジタルマスク176の表示・非表示とピクチャーインピクチャーによる副画像G5bの表示・非表示を連動させてもよい。
重畳部123は、所定の操作入力を受けてデジタルマスク176を医療画像G3に重畳させ、提示部124は、当該操作入力を受けて副画像G5bを配置し、提示用画像G5を生成することができる。
これにより、提示部124は、当該操作入力を受けるまでは医療画像G3を画像受信装置130に出力し、当該操作入力を受けると、提示用画像G5を画像受信装置130に出力するものとすることができる。即ちユーザは一回の操作入力で、デジタルマスク176の表示・非表示とピクチャーインピクチャーによる副画像G5bの表示・非表示を連動させることができる。
また、画像処理装置120は、デジタルマスク176のサイズに応じて提示用画像G5における副画像G5bの画像サイズを調整してもよい。図11は副画像G5bのサイズ調整を示す模式図である。
図11(a)に示すように、提示部124は、デジタルマスク176のサイズ(画像周縁からの幅)が大きい場合には副画像G5bのサイズを大きくする。また、図11(b)に示すようにデジタルマスク176のサイズが小さい場合には副画像G5bのサイズを小さくする。これにより、像171が存在するデジタルマスク176の内部に副画像G5bが配置されることを防止することができる。
また、画像処理装置120は、医療用観察装置110から出力された医療画像G2に対して画像処理を施した医療画像G3をオフセットさせてもよい。図12は、オフセットされた医療画像G3に基づく提示用画像G5を示す模式図である。
画像処理部122は医療画像G2に画像処理を施すと共に、医療画像G2を右又は左にオフセットすることができる。これにより、提示部124は、デジタルマスク176上において副画像G5bをより大きなサイズとすることが可能である。
また、画像処理装置120は、副画像G5bにデジタルマスク176の範囲を示す表示物を配置してもよい。図13は、デジタルマスク176の範囲を示す輪郭線177を配置した提示用画像G5を示す模式図である。
同図に示すように提示部124は、デジタルマスク176の範囲を示す輪郭線177を副画像G5bに配置することができ、ユーザは所定の操作入力によって輪郭線177の位置や大きさを調整することができる。
重畳部123は、輪郭線177で指定された範囲がデジタルマスク176の境界となるように、デジタルマスク176を配置する。デジタルマスク176は、光学マスク境界172が隠れるように配置する必要があるが、ユーザがマニュアルでこの設定を行う際、デジタルマスク176が光学マスク領域173を覆ってしまうため、デジタルマスク176のサイズを適切なものとすることが難しい。
このため、画像処理装置120が副画像G5bに輪郭線177を配置することにより、ユーザがデジタルマスク176と光学マスク領域173の位置関係を把握しやすく、デジタルマスク176の位置や大きさを調整しやすくなる。
なお、デジタルマスク176の範囲を示す表示物は輪郭線177の他にも、デジタルマスク176に覆われる領域の色を変える等、デジタルマスク176の範囲が把握できるものであればよい。
また、画像処理装置120は、副画像G5bにおいて付加情報174を強調する処理を行ってもよい。図14は、副画像G5bにおいて付加情報174を強調した状態を示す模式図である。
提示部124は、副画像G5bに対して画像認識を実行し、付加情報174を抽出する。さらに提示部124は、図14に示すように副画像G5bにおいて抽出した付加情報174を囲む枠178を配置する。
副画像G5bでは医療画像G2が縮小されるため、付加情報174の大きさも小さくなるが、枠178によって強調することにより、視認性を向上させることが可能である。なお、提示部124は、枠178の他にも抽出した付加情報174を拡大する、あるいは色彩を変更する等の処理によって付加情報174を強調してもよい。
また、画像処理装置120は、提示用画像G5において主画像G5aと副画像G5bとを切り替え可能としてもよい。図15は、主画像G5aと副画像G5bの切り替えの様子を示す模式図である。
上述のように提示部124は、図15(a)に示すように、医療画像G4を主画像G5aとし、医療画像G2を副画像G5bとしてピクチャーインピクチャーにより配置された提示用画像G5を生成する。以下、この状態を「第1の状態」とする。
さらに提示部124は、図15(b)に示すように、医療画像G2を主画像G6aとし、医療画像G4を副画像G6bとしてピクチャーインピクチャーにより配置された提示用画像G6を生成する。以下、この状態を「第2の状態」とする。
提示部124は、ユーザによる操作入力を受けて第1の状態と第2の状態を切り替えることができる。例えば施術中において、ユーザが一時的に手振れ補正を停止し、付加情報174の内容を大きな画像で確認したい場合がある。
このような場合に、図15に示すように、一度の操作入力により医療画像G2と医療画像G4の主画像と副画像の関係を切り替え可能とすることにより、第1の状態から第2の状態に切り替え、付加情報174の内容を大きな画像で確認することが容易となる。
なお、第2の状態では、副画像G6bが主画像G6aの付加情報174を隠してしまうことを防止するため、副画像G6bの位置を任意に切り替えられるようにすると好適である。図15では提示用画像G6の右下に配置されているが、提示用画像G6の四隅等、付加情報174の位置に応じて配置することができる。
[画像処理について]
上記画像処理部122による画像処理では、医療画像G2に対して手振れ補正を実施し、そのために付加情報174等に揺れ動きが生じる(図5参照)ため、副画像による付加情報の提示を行うものとして説明した。
ここで、画像処理部122が行う画像処理は、手振れ補正に限られず、図7に示すようなズームや図8に示すような回転であってもよい。これらの場合も画像処理によって医療画像G3での付加情報174の視認性が影響を受けるが、提示用画像G5を生成することによって付加情報174の視認性を向上させることが可能である。
[ハードウェア構成]
画像処理装置120のハードウェア構成について説明する。図16は画像処理装置120のハードウェア構成を示す模式図である。
同図に示すように、画像処理装置120は、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタフェース1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている
入出力インタフェース1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリなどのリムーバブル記憶媒体1011に対してデータを読み書きするドライブ1010が接続されている。
CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体1011ら読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成される画像処理装置120では、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
画像処理装置120が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
画像処理装置120では、プログラムは、リムーバブル記憶媒体1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
なお、画像処理装置120が実行するプログラムは、本開示で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、画像処理装置120のハードウェア構成はすべてが一つの装置に搭載されていなくてもよく、複数の装置によって画像処理装置120が構成されていてもよい。また画像処理装置120のハードウェア構成の一部又はネットワークを介して接続されている複数の装置に搭載されていてもよい。また、画像処理装置120の機能を実現する回路はFPGA(field-programmable gate array)などの論理回路でもよい。
(第2の実施形態)
本技術の第2の実施形態に係る医療用画像伝送システムについて説明する。
[医療用画像伝送システムの構成]
図17は、本実施形態に係る医療用画像伝送システム200(以下、伝送システム200)の構成を示すブロック図である。同図に示すように、伝送システム200は、医療用観察装置210、画像処理装置220及び画像受信装置230を備える。
医療用観察装置210と画像処理装置220の間、及び画像処理装置220と画像受信装置230の間はそれぞれ有線又は無線によって接続されている。
医療用観察装置210は撮像対象を撮像し、医療画像を生成する。医療用観察装置210は内視鏡又は顕微鏡等の画像を撮像する機能を有する装置であり、第1の実施形態に係る医療用観察装置110と同様の構成とすることができる。
画像処理装置220は、医療用観察装置210から出力された医療画像に対して後述する画像処理を施し、提示用画像を生成する。さらに画像処理装置220は生成した提示用画像を画像受信装置230に出力する。
画像処理装置220は、医療画像に対して手振れ補正等の画像処理を施すことが可能な装置であればよく、IPコンバータやサーバ(図2参照)とすることができる。
画像受信装置230は、画像処理装置220から出力された提示用画像を受信する。画像受信装置230は、提示用画像を表示するディスプレイや提示用画像を記録するレコーダ、画像管理サーバ等であり、第1の実施形態に係る画像受信装置130と同様の構成とすることができる。
[画像処理装置の構成について]
画像処理装置220の構成について説明する。図18は、画像処理装置220の機能的構成を示す模式図である。
同図に示すように、画像処理装置220は、画像取得部221、画像処理部222、重畳部223及び提示部224を備える。これらはソフトウェアとハードウェアの協働によって実現される機能的構成である。
画像取得部221、画像処理部222及び重畳部223の構成は、第1の実施形態に係る画像取得部121、画像処理部122及び重畳部123とそれぞれ同一である。
即ち、画像取得部221は、医療用観察装置210から医療画像G2(図4参照)を取得し、画像処理部222及び提示部224に供給する。
画像処理部222は、医療画像G2に対して手振れ補正等の画像処理を加え、医療画像G3(図5参照)を生成する。画像処理部222は、生成した医療画像G3を重畳部223に供給する。
重畳部223は、医療画像G3の所定領域にデジタルマスク等の重畳画像を重畳させ、医療画像G4(図6参照)を生成する。重畳部223は、生成した医療画像G4を提示部224に供給する。
提示部224は、画像処理部222による画像処理を行う前に光学マスク領域173に表示されていた付加情報174に基づいてユーザに情報を提示する。具体的には提示部224は、医療画像G2において付加情報174を含む領域を抽出する。
図19は、付加情報174を含む領域(以下、付加情報領域)179を示す模式図である。同図に示すように、提示部224は、医療画像G2において付加情報174が存在する領域を付加情報領域179として抽出する。
提示部224は、画像認識によって付加情報領域179を抽出することができる。なお、付加情報領域179の形状は矩形や楕円形等、付加情報174の形状に応じて適宜設定することができる。
さらに提示部224は、抽出した付加情報領域179を医療画像G2から抜き出し、医療画像G4(図6参照)に重畳させ、提示用画像を生成する。図20は、付加情報領域179を医療画像G4に重畳した提示用画像G7を示す図である。
提示部224は、図20に示すように、医療画像G4に付加情報領域179を配置して提示用画像G7を生成する。提示部224は、医療画像G4において、医療画像G2における付加情報領域179の位置座標と同一の位置座標となるように付加情報領域179を配置することができる。
なお、提示部224が付加情報174のみを医療画像G2から切り出す場合、計算負荷が大きいが、付加情報174を含む一定領域を付加情報領域179として切り出すことにより、計算負荷を抑えることが可能である。
これにより、図20に示すように提示用画像G7が生成される。提示部124は、生成した提示用画像G7を画像受信装置230に出力する。
[医療用画像伝送システムによる効果]
上記のように伝送システム200では、医療用観察装置210から出力された医療画像G2(図4参照)に対して画像処理装置220が各種の処理を行い、提示用画像G7を生成して画像受信装置230に出力する。
提示用画像G7において像171は、手振れ補正等の画像処理が施されており、かつ像171の周囲にはデジタルマスク176が重畳されている。このため、光学マスク境界172や付加情報174、周縁175はデジタルマスク176によって被覆され、これらの揺れ動きによる視認性の低下が防止されている。
さらに、提示用画像G7には画像処理前の医療画像G2から抽出された付加情報領域179が重畳されており、付加情報174の確認が可能である。医療画像G2における付加情報174は手振れ補正に伴う揺れ動きが生じていないため、視認性に優れている。これにより、ユーザは画像処理が施された医療画像と、画像処理による影響を受けていない付加情報を共に参照することが可能となる。
また、提示用画像G7を表示するためには一つのモニタがあればよく、医療画像G2と医療画像G3を複数のモニタでそれぞれ表示する場合に比べ、コストや設置場所の増加が抑えられ、設定の手間もかからないものとなっている。
なお、本実施形態においても、画像処理部222が行う画像処理は、手振れ補正に限られず、図7に示すようなズームや図8に示すような回転であってもよい。これらの場合も画像処理によって医療画像G3での付加情報174の視認性が影響を受けるが、提示用画像G7を生成することによって付加情報174の視認性を向上させることが可能である。
画像処理装置220のハードウェア構成は第1の実施形態において説明したもの(図16参照)と同様とすることができる。
(第3の実施形態)
本技術の第3の実施形態に係る医療用画像伝送システムについて説明する。
[医療用画像伝送システムの構成]
図21は、本実施形態に係る医療用画像伝送システム300(以下、伝送システム300)の構成を示すブロック図である。同図に示すように、伝送システム300は、医療用観察装置310、画像処理装置320、画像受信装置群330、出力切り替え装置340及び制御装置350を備える。各装置の間はそれぞれ有線又は無線によって接続されている。
医療用観察装置310は撮像対象を撮像し、医療画像を生成する。医療用観察装置310は内視鏡又は顕微鏡等の画像を撮像する機能を有する装置であり、第1の実施形態に係る医療用観察装置310と同様の構成とすることができる。
画像処理装置320は、医療用観察装置310から出力された医療画像に対して後述する画像処理を施す。画像処理装置320は画像処理を施した医療画像を画像受信装置群330のうち第1画像受信装置331に出力する。
画像処理装置320は、医療画像に対して手振れ補正等の画像処理を施すことが可能な装置であればよく、IPコンバータやサーバ(図2参照)とすることができる。
画像受信装置群330は、複数の画像受信装置を含む。画像受信装置は、画像を表示するモニタ等とすることができる。本実施形態において画像受信装置群330は第1画像受信装置331、第2画像受信装置332、第3画像受信装置333及び第4画像受信装置334を備えるものとするが、画像受信装置群330は3台以上の画像受信装置を含むものであればよい。
出力切り替え装置340は、医療用観察装置310から出力される医療画像を取得し、医療画像を出力する画像受信装置を切り替える。出力切り替え装置340は医療画像の出力先を切り替えることが可能なものであればよく、構成は特に限定されない。
制御装置350は、医療用観察装置310、画像処理装置320及び出力切り替え装置340に接続され、各装置を制御する。特に制御装置350は、出力切り替え装置340に対して医療画像を出力する画像受信装置を指定する。制御装置350は、各装置を制御可能な装置であればよく、例えばシステム管理サーバ等の情報処理装置である。
[画像処理装置の構成について]
画像処理装置320の構成について説明する。図22は、画像処理装置320の機能的構成を示す模式図である。
同図に示すように、画像処理装置320は、画像取得部321、画像処理部322、重畳部323及び出力部324を備える。これらはソフトウェアとハードウェアの協働によって実現される機能的構成である。
画像取得部321、画像処理部322及び重畳部323の構成は、第1の実施形態に係る画像取得部321、画像処理部322及び重畳部323とそれぞれ同一である。
即ち、画像取得部321は、医療用観察装置310から医療画像G2(図4参照)を取得し、画像処理部322に供給する。
画像処理部322は、医療画像G2に対して手振れ補正等の画像処理を加え、医療画像G3(図5参照)を生成する。画像処理部322は、生成した医療画像G3を重畳部323に供給する。
重畳部323は、医療画像G3の所定領域にデジタルマスク等の重畳画像を重畳させ、医療画像G4(図6参照)を生成する。重畳部323は、生成した医療画像G4を出力部324に供給する。
出力部324は、医療画像G4を第1画像受信装置331に出力する。これにより、医療画像G4は第1画像受信装置331において表示される。
[制御装置の構成について]
制御装置350の構成について説明する。図23は、制御装置350の機能的構成を示す模式図である。
同図に示すように制御装置350は、提示部351を備える。提示部351は、画像処理部322による画像処理を行う前に光学マスク領域173に表示されていた付加情報174に基づいてユーザに情報を提示する。
具体的には提示部351は、医療画像G4を第1画像受信装置331に出力するように画像処理装置320を制御する。
さらに提示部351は、第2画像受信装置332、第3画像受信装置333及び第4画像受信装置341のうちいずれかの画像受信装置を選択し、その画像受信装置に医療画像G2を出力するように出力切り替え装置340を制御する。
この際、提示部351は、第2画像受信装置332、第3画像受信装置333及び第4画像受信装置341のうち第1画像受信装置331に隣接する画像受信装置を選択するものとすることができる。
[医療用画像伝送システムの動作]
上記構成を有する伝送システム300は次のように動作する。
まず、制御装置350は、医療用観察装置310に対して画像処理装置320に医療画像G2を送出するように制御する。
さらに制御装置350は、画像処理装置320に対して手振れ補正等の画像処理を実行するように制御する。これにより、画像処理装置320により画像処理が実行され、医療画像G4(図6参照)が生成される。医療画像G4は、画像処理装置320から第1画像受信装置331に出力される。
続いて制御装置350は、第2画像受信装置332、第3画像受信装置333及び第4画像受信装置341のうち、第1画像受信装置331に隣接する画像受信装置を選択する。
制御装置350は、選択した画像受信装置を出力切り替え装置340に通知する。出力切り替え装置340は、医療用観察装置310から出力された医療画像G2を、制御装置350から通知された画像受信装置に出力する。
これにより、画像処理が施された医療画像G4が第1画像受信装置331に表示され、医療用観察装置310から出力された医療画像G2が第1画像受信装置331に隣接する画像受信装置に表示される。
なお、制御装置350は、第1画像受信装置311に隣接する画像受信装置が存在しない場合、第1画像受信装置311に文字やアイコンでアラートを表示する、あるいはアラート音を再生するように画像処理装置320を制御してもよい。
[医療用画像伝送システムによる効果]
上記のように伝送システム300では、医療用観察装置310から出力された医療画像G2(図4参照)に対して画像処理装置320が各種の処理を行い、医療画像G4を生成して第1画像受信装置331に出力する。
医療画像G4において像171は、手振れ補正等の画像処理が施されており、かつ像171の周囲にはデジタルマスク176が重畳されている。このため、光学マスク境界172や付加情報174、周縁175はデジタルマスク176によって被覆され、これらの揺れ動きによる視認性の低下が防止されている。
さらに、伝送システム300では医療用観察装置310から出力された医療画像G2が第1画像受信装置331に隣接する画像受信装置に出力される。医療画像G2における付加情報174は手振れ補正に伴う揺れ動きが生じていないため、視認性に優れている。これにより、ユーザは画像処理が施された医療画像と、画像処理による影響を受けていない付加情報を共に参照することが可能となる。
なお、本実施形態においても、画像処理部322が行う画像処理は、手振れ補正に限られず、図7に示すようなズームや図8に示すような回転であってもよい。これらの場合も画像処理によって医療画像G3での付加情報174の視認性が影響を受けるが、別の画像受信装置において医療画像G2を表示することによって付加情報174の視認性を向上させることが可能である。
画像処理装置320のハードウェア構成は第1の実施形態において説明したもの(図16参照)と同様とすることができる。また、制御装置350のハードウェア構成も第1の実施形態において説明したもの(図16参照)と同様とすることができる。
なお、上記に示した第1〜第3の実施形態では、重畳部はデジタルマスクを重畳したが、所定領域に表示されていた付加情報がユーザに視認できなくなる、または視認しづらくなる画像が重畳されていればよい。例えば、医療画像に対して電子ズームを行い、ズーム画像を医療画像に重畳して表示した上で、もともとの医療画像に表示されていた付加情報に基づいてユーザに情報を提示する構成としてもよい。このとき、ズーム画像を医療画像に重畳するとは、医療画像を表示する代わりにズーム画像を表示する構成としてもよい。
なお、本技術は以下のような構成もとることができる。
(1)
医療用観察装置によって生成された医療画像を取得する画像取得部と、
上記医療画像に対して所定の画像処理を加える画像処理部と、
上記医療画像の所定領域に重畳画像を重畳する重畳部と、
上記所定の画像処理を行う前に上記所定領域に表示されていた付加情報に基づいてユーザに情報を提示する提示部と
を具備する医療用画像伝送システム。
(2)
上記(1)に記載の医療用画像伝送システムであって、
上記重畳画像は、上記所定の画像処理が施された医療画像の一部を被覆するデジタルマスクである
医療用画像伝送システム。
(3)
上記(1)又は(2)に記載の医療用画像伝送システムであって、
上記提示部は、上記重畳画像が重畳された医療画像を主画像、上記医療用観察装置によって生成された医療画像を副画像としてピクチャーインピクチャーによって配置した提示用画像を生成する
医療用画像伝送システム。
(4)
上記(3)に記載の医療用画像伝送システムであって、
上記重畳部は、所定の操作入力を受けて上記所定領域に重畳画像を重畳させ、
上記提示部は、上記操作入力を受けて上記副画像を配置する
医療用画像伝送システム。
(5)
上記(3)又は(4)に記載の医療用画像伝送システムであって、
上記提示部は、上記デジタルマスクのサイズに応じて上記副画像の画像サイズを調整する
医療用画像伝送システム。
(6)
上記(3)から(5)のうちいずれか一つに記載の医療用画像伝送システムであって、
上記画像処理部は、上記医療用観察装置によって生成された医療画像に対して上記所定の画像処理が施された医療画像をオフセットする
医療用画像伝送システム。
(7)
上記(3)から(6)のうちいずれか一つに記載の医療用画像伝送システムであって、
上記提示部は、上記副画像に上記デジタルマスクの範囲を示す表示物を配置する
医療用画像伝送システム。
(8)
上記(3)から(7)のうちいずれか一つに記載の医療用画像伝送システムであって、
上記提示部は、上記副画像から上記付加情報を抽出し、上記副画像において上記付加情報を強調する処理を施す
医療用画像伝送システム。
(9)
上記(2)から(8)に一つに記載の医療用画像伝送システムであって、
上記提示部は、上記重畳画像が重畳された医療画像を主画像、上記医療用観察装置によって生成された医療画像を副画像としてピクチャーインピクチャーによって配置した提示用画像を生成する第1の状態と、上記医療用観察装置によって生成された医療画像を主画像、上記重畳画像が重畳された医療画像を副画像としてピクチャーインピクチャーによって配置した提示用画像を生成する第2の状態とを切り替え可能である
医療用画像伝送システム。
(10)
上記(1)から(9)に一つに記載の医療用画像伝送システムであって、
上記所定の画像処理は、手振れ補正である
医療用画像伝送システム。
(11)
上記(1)から(9)に一つに記載の医療用画像伝送システムであって、
上記所定の画像処理は、上記医療画像のズームである
医療用画像伝送システム。
(12)
上記(1)から(9)に一つに記載の医療用画像伝送システムであって、
上記所定の画像処理は、上記医療画像の回転である
医療用画像伝送システム。
(13)
上記(1)に記載の医療用画像伝送システムであって、
上記提示部は、上記医療用観察装置によって生成された医療画像から、上記付加情報が存在する領域である付加情報領域を切り出し、上記重畳画像が重畳された医療画像上に上記付加情報領域を配置する
医療用画像伝送システム。
(14)
上記(1)に記載の医療用画像伝送システムであって、
上記画像取得部、上記画像処理部及び上記重畳部を備える画像処理装置と、
複数の画像受信装置のうち、上記医療用観察装置によって生成された医療画像を出力する画像受信装置を切り替える出力切り替え装置と、
上記提示部を備える制御装置と
を具備し、
上記提示部は、上記画像処理装置に、上記重畳部によって上記重畳画像が重畳された医療画像を第1の画像受信装置に出力させ、上記出力切り替え装置に、上記医療用観察装置によって生成された医療画像を上記第1の画像受信装置に隣接する第2の画像受信装置に出力させる
医療用画像伝送システム。
(15)
医療用観察装置によって生成された医療画像を取得する画像取得部と、
上記医療画像に対して所定の画像処理を加える画像処理部と、
上記医療画像の所定領域に重畳画像を重畳する重畳部と、
上記重畳部によって重畳画像が重畳された医療画像と、上記所定の画像処理を行う前に上記所定領域に表示されていた付加情報を含む提示用画像を生成する提示部と
を具備する医療用画像処理装置。
(16)
画像取得部が、医療用観察装置によって生成された医療画像を取得し、
画像処理部が、上記医療画像に対して所定の画像処理を加え、
重畳部が、上記医療画像の所定領域に重畳画像を重畳し、
提示部が、上記所定の画像処理を行う前に上記所定領域に表示されていた付加情報に基づいてユーザに情報を提示する
医療用画像伝送方法。
100、200、300…医療用画像伝送システム
110、210、310…医療用観察装置
120、220、320…画像処理装置
121、221、321…画像取得部
122、222、322…画像処理部
123、223、323…重畳部
124、224、351…提示部
130、230…画像受信装置
330…画像受信装置群
340…出力切り替え装置
350…制御装置

Claims (16)

  1. 医療用観察装置によって生成された医療画像を取得する画像取得部と、
    前記医療画像に対して所定の画像処理を加える画像処理部と、
    前記医療画像の所定領域に重畳画像を重畳する重畳部と、
    前記所定の画像処理を行う前に前記所定領域に表示されていた付加情報に基づいてユーザに情報を提示する提示部と
    を具備する医療用画像伝送システム。
  2. 請求項1に記載の医療用画像伝送システムであって、
    前記重畳画像は、前記所定の画像処理が施された医療画像の一部を被覆するデジタルマスクである
    医療用画像伝送システム。
  3. 請求項2に記載の医療用画像伝送システムであって、
    前記提示部は、前記重畳画像が重畳された医療画像を主画像、前記医療用観察装置によって生成された医療画像を副画像としてピクチャーインピクチャーによって配置した提示用画像を生成する
    医療用画像伝送システム。
  4. 請求項3に記載の医療用画像伝送システムであって、
    前記重畳部は、所定の操作入力を受けて前記所定領域に重畳画像を重畳させ、
    前記提示部は、前記操作入力を受けて前記副画像を配置する
    医療用画像伝送システム。
  5. 請求項3に記載の医療用画像伝送システムであって、
    前記提示部は、前記デジタルマスクのサイズに応じて前記副画像の画像サイズを調整する
    医療用画像伝送システム。
  6. 請求項3に記載の医療用画像伝送システムであって、
    前記画像処理部は、前記医療用観察装置によって生成された医療画像に対して前記所定の画像処理が施された医療画像をオフセットする
    医療用画像伝送システム。
  7. 請求項3に記載の医療用画像伝送システムであって、
    前記提示部は、前記副画像に前記デジタルマスクの範囲を示す表示物を配置する
    医療用画像伝送システム。
  8. 請求項3に記載の医療用画像伝送システムであって、
    前記提示部は、前記副画像から前記付加情報を抽出し、前記副画像において前記付加情報を強調する処理を施す
    医療用画像伝送システム。
  9. 請求項2に記載の医療用画像伝送システムであって、
    前記提示部は、前記重畳画像が重畳された医療画像を主画像、前記医療用観察装置によって生成された医療画像を副画像としてピクチャーインピクチャーによって配置した提示用画像を生成する第1の状態と、前記医療用観察装置によって生成された医療画像を主画像、前記重畳画像が重畳された医療画像を副画像としてピクチャーインピクチャーによって配置した提示用画像を生成する第2の状態とを切り替え可能である
    医療用画像伝送システム。
  10. 請求項1に記載の医療用画像伝送システムであって、
    前記所定の画像処理は、手振れ補正である
    医療用画像伝送システム。
  11. 請求項1に記載の医療用画像伝送システムであって、
    前記所定の画像処理は、前記医療画像のズームである
    医療用画像伝送システム。
  12. 請求項1に記載の医療用画像伝送システムであって、
    前記所定の画像処理は、前記医療画像の回転である
    医療用画像伝送システム。
  13. 請求項1に記載の医療用画像伝送システムであって、
    前記提示部は、前記医療用観察装置によって生成された医療画像から、前記付加情報が存在する領域である付加情報領域を切り出し、前記重畳画像が重畳された医療画像上に前記付加情報領域を配置する
    医療用画像伝送システム。
  14. 請求項1に記載の医療用画像伝送システムであって、
    前記画像取得部、前記画像処理部及び前記重畳部を備える画像処理装置と、
    複数の画像受信装置のうち、前記医療用観察装置によって生成された医療画像を出力する画像受信装置を切り替える出力切り替え装置と、
    前記提示部を備える制御装置と
    を具備し、
    前記提示部は、前記画像処理装置に、前記重畳部によって前記重畳画像が重畳された医療画像を第1の画像受信装置に出力させ、前記出力切り替え装置に、前記医療用観察装置によって生成された医療画像を前記第1の画像受信装置に隣接する第2の画像受信装置に出力させる
    医療用画像伝送システム。
  15. 医療用観察装置によって生成された医療画像を取得する画像取得部と、
    前記医療画像に対して所定の画像処理を加える画像処理部と、
    前記医療画像の所定領域に重畳画像を重畳する重畳部と、
    前記重畳部によって重畳画像が重畳された医療画像と、前記所定の画像処理を行う前に前記所定領域に表示されていた付加情報を含む提示用画像を生成する提示部と
    を具備する医療用画像処理装置。
  16. 画像取得部が、医療用観察装置によって生成された医療画像を取得し、
    画像処理部が、前記医療画像に対して所定の画像処理を加え、
    重畳部が、前記医療画像の所定領域に重畳画像を重畳し、
    提示部が、前記所定の画像処理を行う前に前記所定領域に表示されていた付加情報に基づいてユーザに情報を提示する
    医療用画像伝送方法。
JP2019065974A 2019-03-29 2019-03-29 医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法 Pending JP2020167512A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019065974A JP2020167512A (ja) 2019-03-29 2019-03-29 医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法
EP20781857.6A EP3934242A4 (en) 2019-03-29 2020-03-24 MEDICAL IMAGE TRANSMISSION SYSTEM, MEDICAL IMAGE PROCESSING APPARATUS, AND MEDICAL IMAGE TRANSMISSION METHOD
US17/435,039 US11818464B2 (en) 2019-03-29 2020-03-24 Medical image transmission system, medical image processing apparatus, and medical image transmission method
CN202080023395.0A CN113632460A (zh) 2019-03-29 2020-03-24 医疗图像传输系统、医疗图像处理设备和医疗图像传输方法
PCT/JP2020/012817 WO2020203428A1 (ja) 2019-03-29 2020-03-24 医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019065974A JP2020167512A (ja) 2019-03-29 2019-03-29 医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法

Publications (1)

Publication Number Publication Date
JP2020167512A true JP2020167512A (ja) 2020-10-08

Family

ID=72667997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019065974A Pending JP2020167512A (ja) 2019-03-29 2019-03-29 医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法

Country Status (5)

Country Link
US (1) US11818464B2 (ja)
EP (1) EP3934242A4 (ja)
JP (1) JP2020167512A (ja)
CN (1) CN113632460A (ja)
WO (1) WO2020203428A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11507259B2 (en) * 2020-09-08 2022-11-22 UiPath, Inc. Graphical element detection using a combined series and delayed parallel execution unified target technique, a default graphical element detection technique, or both

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3650142B2 (ja) * 1994-05-13 2005-05-18 オリンパス株式会社 画像処理装置
JP2000287202A (ja) * 1999-03-30 2000-10-13 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2001292303A (ja) * 2000-04-10 2001-10-19 Minolta Co Ltd 画像データ処理装置
JP3884226B2 (ja) 2000-10-10 2007-02-21 オリンパス株式会社 撮像システム
JP2004000335A (ja) 2002-05-31 2004-01-08 Olympus Corp 電子内視鏡装置
JP4035717B2 (ja) * 2002-08-23 2008-01-23 富士ゼロックス株式会社 画像処理装置及び画像処理方法
JP4813178B2 (ja) * 2005-12-28 2011-11-09 オリンパスメディカルシステムズ株式会社 内視鏡装置
WO2010041457A1 (ja) * 2008-10-10 2010-04-15 パナソニック株式会社 映像出力装置及び映像出力方法
US10517688B2 (en) * 2009-05-29 2019-12-31 Jack Wade Method for enhanced data analysis with specialized video enabled software tools for medical environments
JP5388886B2 (ja) * 2010-02-03 2014-01-15 Hoya株式会社 電子スコープ
JP5495930B2 (ja) * 2010-05-10 2014-05-21 キヤノン株式会社 画像処理装置、方法、およびプログラム
JP5005080B2 (ja) * 2010-09-06 2012-08-22 キヤノン株式会社 パノラマ画像の生成方法
JP5708419B2 (ja) * 2011-09-29 2015-04-30 フリュー株式会社 画像表示システム、学習システム、画像表示方法、および制御プログラム
JP6264949B2 (ja) * 2014-03-05 2018-01-24 富士ゼロックス株式会社 画像処理装置及びプログラム
JP6485899B2 (ja) * 2014-12-08 2019-03-20 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
CN108135458B (zh) * 2015-10-19 2020-03-06 奥林巴斯株式会社 医疗信息记录装置
JP6834184B2 (ja) * 2016-06-16 2021-02-24 ソニー株式会社 情報処理装置、情報処理装置の作動方法、プログラム及び医療用観察システム
JP2018038503A (ja) * 2016-09-06 2018-03-15 ソニー株式会社 医療用画像処理装置、画像処理方法、及びプログラム
JP6918924B2 (ja) * 2017-03-27 2021-08-11 ソニー・オリンパスメディカルソリューションズ株式会社 医療用表示制御装置、医療用観察装置、表示制御方法、および医療用観察システム
JP6310598B2 (ja) * 2017-04-28 2018-04-11 富士フイルム株式会社 内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法
JP6332524B2 (ja) 2017-05-23 2018-05-30 ソニー株式会社 内視鏡システム、内視鏡画像処理装置、および画像処理方法

Also Published As

Publication number Publication date
US20220141386A1 (en) 2022-05-05
CN113632460A (zh) 2021-11-09
EP3934242A4 (en) 2022-04-27
WO2020203428A1 (ja) 2020-10-08
US11818464B2 (en) 2023-11-14
EP3934242A1 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
JP6587113B2 (ja) 画像処理装置及び画像処理方法
JP5875463B2 (ja) 撮像装置、マスク画像設定方法、および、プログラム
US20120056977A1 (en) Method for generating panoramic image
JP2019004229A (ja) 情報処理装置及び画像生成装置及びそれら制御方法、並びにプログラム及び画像処理システム
JP2013255262A (ja) 超解像度デジタルズーム
JP2006043207A (ja) 内視鏡用信号処理装置
WO2013175980A1 (ja) 撮像装置、撮像装置の制御方法、および、記録媒体
EP2043359B1 (en) System and method for image processing
WO2020203428A1 (ja) 医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法
JP2008216343A (ja) 画像表示装置、プログラム、及び、記憶媒体
WO2021095659A1 (ja) 医療イメージングシステム、医療イメージング方法及び画像処理装置
US9451161B2 (en) System and methods for video image processing
JP2004056488A (ja) 画像処理方法、画像処理装置および画像通信装置
JP6777141B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
JP5950755B2 (ja) 画像処理装置、制御方法、プログラム及び記憶媒体
JP6980450B2 (ja) 制御装置、制御方法、及びプログラム
JP2008236679A (ja) テレビ会議装置、制御方法、およびプログラム
JP5072103B2 (ja) 画角制御装置及び画角制御方法
JPH10276973A (ja) 電子内視鏡装置
JP2005051612A (ja) 撮像装置及び撮像方法
JP2008301191A (ja) 映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラム
JP2006352216A (ja) ネットワーク型録画システム
WO2021075306A1 (ja) 手術用情報処理装置、手術用情報処理方法及び手術用情報処理プログラム
JP7038935B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7370769B2 (ja) 画像処理装置、画像処理方法およびプログラム