JP2017099616A - 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム - Google Patents

手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム Download PDF

Info

Publication number
JP2017099616A
JP2017099616A JP2015234744A JP2015234744A JP2017099616A JP 2017099616 A JP2017099616 A JP 2017099616A JP 2015234744 A JP2015234744 A JP 2015234744A JP 2015234744 A JP2015234744 A JP 2015234744A JP 2017099616 A JP2017099616 A JP 2017099616A
Authority
JP
Japan
Prior art keywords
images
surgical
image
resolution
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015234744A
Other languages
English (en)
Other versions
JP2017099616A5 (ja
Inventor
高橋 健治
Kenji Takahashi
健治 高橋
健太郎 深沢
Kentaro Fukazawa
健太郎 深沢
白木 寿一
Juichi Shiraki
寿一 白木
真人 山根
Masato Yamane
真人 山根
丈士 上森
Takeshi Uemori
丈士 上森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015234744A priority Critical patent/JP2017099616A/ja
Priority to PCT/JP2016/084380 priority patent/WO2017094535A1/en
Priority to US15/761,344 priority patent/US11127116B2/en
Priority to CN201680069348.3A priority patent/CN108292427A/zh
Priority to EP16820369.3A priority patent/EP3384460B1/en
Publication of JP2017099616A publication Critical patent/JP2017099616A/ja
Publication of JP2017099616A5 publication Critical patent/JP2017099616A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4069Super resolution, i.e. output image resolution higher than sensor resolution by subpixel displacement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/015Control of fluid supply or evacuation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination

Abstract

【課題】画素ずらしにより生成される高解像度の画像の画質を十分に向上させることができるようにする。【解決手段】生成部は、内視鏡により撮像された位相の異なる赤色画像、緑色画像、および青色画像に対し、複数の種類の戻し処理を実行することで、赤色画像、緑色画像、および青色画像より高い解像度を有する、複数の高解像度画像を生成する。選択部は、生成部により生成された複数の高解像度画像に基づいて、複数の種類の戻し処理のうちの1つを選択する。本開示は、例えば、CCU等に適用することができる。【選択図】図7

Description

本開示は、手術用制御装置、手術用制御方法、およびプログラム、並びに手術システムに関し、特に、画素ずらしにより生成される高解像度の画像の画質を十分に向上させることができるようにした手術用制御装置、手術用制御方法、およびプログラム、並びに手術システムに関する。
近年、医療現場において、従来の開腹手術に代えて、内視鏡で術野を撮像しながら手術を行う内視鏡下手術が行われている。
一方、位相の異なる複数の画像を撮像する画素ずらし技術を用いて高解像度の画像を生成する戻し処理を行うことが考案されている。しかしながら、各画像の位相は、経年変化等により理想値からずれる場合があり、この場合、生成される高解像度の画像の画質が劣化する。
そこで、位相の理想値からのずれ量を検出し、検出されたずれ量を考慮して高解像度の画像を生成することにより、高解像度の画像の画質を向上させることが考案されている(例えば、特許文献1および2参照)。
国際公開第2006/064751号パンフレット 特開2013−88676号公報
しかしながら、特許文献1および2の発明では、位相の理想値からのずれ量の検出精度が悪い場合、高解像度の画像の画質が十分に向上されない。
本開示は、このような状況に鑑みてなされたものであり、画素ずらしにより生成される高解像度の画像の画質を十分に向上させることができるようにするものである。
本開示の第1の側面の手術用制御装置は、手術用撮像装置により撮像された位相の異なる複数の画像に対し、複数の種類の処理を実行することで、前記複数の画像より高い解像度を有する、複数の高解像度画像を生成する生成部と、前記生成部により生成された前記複数の高解像度画像に基づいて、前記複数の種類の処理のうちの1つを選択する選択部とを備える手術用制御装置である。
本開示の第1の側面の手術用制御方法およびプログラムは、本開示の第1の側面の手術用制御装置に対応する。
本開示の第1の側面においては、手術用撮像装置により撮像された位相の異なる複数の画像に対し、複数の種類の処理が実行されることで、前記複数の画像より高い解像度を有する、複数の高解像度画像が生成され、生成された前記複数の高解像度画像に基づいて、前記複数の種類の処理のうちの1つが選択される。
本開示の第2の側面の手術システムは、位相の異なる複数の画像を撮像する手術用撮像装置と、前記手術用撮像装置により撮像された前記複数の画像を用いて、前記複数の画像より高い解像度を有する高解像度画像を生成する処理を選択する際に、前記手術用撮像装置により撮像されるチャートと、前記手術用撮像装置と前記チャートとの位置関係を固定する治具とを備える手術システムである。
本開示の第2の側面においては、位相の異なる複数の画像を撮像する手術用撮像装置と、前記手術用撮像装置により撮像された前記複数の画像を用いて、前記複数の画像より高い解像度を有する高解像度画像を生成する処理を選択する際に、前記手術用撮像装置により撮像されるチャートと、前記手術用撮像装置と前記チャートとの位置関係を固定する治具とが備えられる。
本開示の第1の側面によれば、画像処理を行うことができる。また、本開示の第1および第2の側面によれば、画素ずらしにより生成される高解像度の画像の画質を十分に向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した内視鏡手術システムの第1実施の形態の構成例を示す図である。 最適化システムの構成例を示す図である。 チャートの図柄の例を示す図である。 チャートの図柄の例を示す図である。 チャートの図柄の例を示す図である。 CCUのハードウエアの構成例を示すブロック図である。 戻し制御処理部の機能的構成例を示すブロック図である。 赤色撮像面、緑色撮像面、および青色撮像面の位相を説明する図である。 高解像度画像の赤色成分の戻し処理を説明する図である。 最適な戻し処理の選択を説明する図である。 戻し制御処理を説明するフローチャートである。 第2実施の形態における赤色撮像面、緑色撮像面、および青色撮像面の位相を説明する図である。 第3実施の形態における画素ずらしを説明する図である。
以下、本開示を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1実施の形態:内視鏡手術システム(図1乃至図11)
2.第2実施の形態:内視鏡手術システム(図12)
3.第3実施の形態:内視鏡手術システム(図13)
<第1実施の形態>
(内視鏡手術システムの第1実施の形態の構成例)
図1は、本開示を適用した内視鏡手術システムの第1実施の形態の構成例を示す図である。
内視鏡手術システム10は、表示装置11、CCU(カメラコントロールユニット)12、光源装置13、処置具用装置14、気腹装置15、レコーダ16、およびプリンタ17が搭載されたカート18を備える。また、内視鏡手術システム10は、内視鏡(腹腔鏡)19、エネルギ処置具20、鉗子21、トロッカ22乃至25、フットスイッチ26、および患者ベッド27を有する。内視鏡手術システム10は、例えば手術室に配置され、患者ベッド27に横たわった患者の腹部31に含まれる患部に対して腹腔鏡下手術を行う術者を支援する。
具体的には、内視鏡手術システム10の表示装置11は、据え置き型の2Dディスプレイやヘッドマウントディスプレイなどにより構成される。表示装置11は、CCU12から供給される画像等を表示する。
CCU12は、カメラケーブルを介して内視鏡19と接続する。なお、CCU12は、内視鏡19と無線で接続していてもよい。CCU12は、フットスイッチ26から供給される操作信号に基づいて、各種の処理を行う。
また、CCU12は、内視鏡19が画素ずらしを行った結果得られる位相の異なる3枚のHD(High Definition)の画像を、カメラケーブルを介して受信する。CCU12は、図示せぬ操作ボタンを有する。術者等は、内視鏡手術システム10においてCCU12を用いる場合、CCU12が有する図示せぬ操作ボタンを操作し、CCU12の動作モードを通常モードに設定する。
CCU12は、動作モードが通常モードである場合、所定の戻し処理により、受信されたHDの画像を用いて4k解像度の画像を生成する。そして、CCU12は、生成された4k解像度の画像(以下、高解像度画像という)を表示装置11に供給する。4k解像度とは、3860または4096などの約4000の水平解像度を有するものである。CCU12は、必要に応じて、高解像度画像をレコーダ16やプリンタ17に供給する。
光源装置13は、ライトガイドケーブルを介して内視鏡19と接続する。光源装置13は、各種の波長の光を切り換えて内視鏡19に出射する。
処置具用装置14は、高周波出力装置であり、ケーブルを介してエネルギ処置具20およびフットスイッチ26と接続する。処置具用装置14は、フットスイッチ26から供給される操作信号に応じて、エネルギ処置具20に高周波電流を出力する。
気腹装置15は、送気手段および吸気手段を備え、腹部31の腹壁に取り付けられた開孔器具であるトロッカ24の孔から、腹部31の内部に空気を送気したり吸気したりする。
レコーダ16は、CCU12から供給される画像を記録する。プリンタ17は、CCUから供給される画像を印刷する。
内視鏡19(手術用撮像装置)は、撮像部と照明レンズなどの光学系とにより構成される。内視鏡19は、腹部31の腹壁に取り付けられたトロッカ22の孔から、手術対象としての腹部31の内部に挿入される。内視鏡19の照明レンズは、光源装置13から出射された光を腹部31の内部に照射する。
撮像部は、赤色、緑色、および青色の光に対して感度を有する3つの撮像面を有する3板式の撮像部である。なお、以下では、赤色、緑色、青色の光に対して感度を有する撮像面を、それぞれ、赤色撮像面、緑色撮像面、青色撮像面という。緑色撮像面の位相と、赤色撮像面および青色撮像面の位相とは、異なっている。
撮像部は、緑色撮像面、赤色撮像面、および青色撮像面で同時に撮像を行うことにより、画素ずらしを行う。これにより、撮像部は、腹部31の内部の緑色のHDの画像と、その画像とは異なる位相の赤色および青色のHDの画像を取得する。内視鏡19は、取得された3枚のHDの画像を、カメラケーブルを介してCCU12に供給する。
エネルギ処置具20は、電気メスなどにより構成される。エネルギ処置具20は、腹部31の腹壁に取り付けられたトロッカ23の孔から、腹部31の内部に挿入される。エネルギ処置具20は、処置具用装置14から供給される高周波電流により発生される電気熱を用いて、腹部31の内部を変性させたり、切断したりする。
鉗子21は、腹部31の腹壁に取り付けられたトロッカ25の孔から、腹部31の内部に挿入される。鉗子21は、腹部31の内部を把持する。内視鏡19、エネルギ処置具20、および鉗子21は、術者、助手、スコピスト、ロボット等により把持される。
フットスイッチ26は、術者や助手等の足による操作を受け付ける。フットスイッチ26は、受け付けた操作を表す操作信号を、CCU12や処置具用装置14に供給する。
術者は、以上のように構成される内視鏡手術システム10を用いることにより、腹壁を切って開腹する開腹手術を行わずに、腹部31内の患部を切除することができる。
このような内視鏡手術システム10では、経年変化や滅菌処理時の熱等により、画素ずらしにより取得される各画像の位相が理想値からずれる場合がある。この場合、位相が理想値であるときに最適な戻し処理では、高画質の高解像度画像を生成することができないことがある。従って、術者等は、定期的に、戻し処理を最適化する必要がある。
(最適化システムの構成例)
図2は、図1のCCU12における戻し処理の最適化に用いられる最適化システムの構成例を示す図である。
図2の最適化システム40(手術システム)は、CCU12、内視鏡19、治具41、およびチャート42により構成される。
術者等は、戻し処理の最適化を行う場合、CCU12が接続された内視鏡19に、チャート42を保持する治具41を取り付ける。そして、術者等は、CCU12の図示せぬ操作ボタンを操作することにより、動作モードを最適化モードに設定する。
治具41は、内視鏡19とチャート42との位置関係を固定する。
内視鏡19は、チャート42を被写体として画素ずらしを行う。具体的には、チャート42からの光は、内視鏡19の光学系のうちのレンズ51を通り、プリズム52により赤色成分、緑色成分、および青色成分に分離される。分離された赤色成分は、撮像部の赤色撮像面53に集光され、赤色撮像面53はHDの赤色の画像(以下、赤色画像という)を取得する。同様に、緑色成分は緑色撮像面54に集光され、緑色撮像面54は、赤色画像とは位相の異なるHDの緑色の画像(以下、緑色画像という)を取得する。また、青色成分は青色撮像面55に集光され、青色撮像面55は、赤色画像と同一の位相のHDの青色の画像(以下、青色画像という)を取得する。内視鏡19は、赤色画像、緑色画像、および青色画像を、カメラケーブル等を介してCCU12に送信する。
CCU12は、動作モードが最適化モードである場合、内視鏡19から送信されてくる赤色画像、緑色画像、および青色画像を用いて、複数の種類の戻し処理で高解像度画像を生成する。CCU12は、複数の種類の戻し処理で生成された高解像度画像と、チャート42の理想的な高解像度画像である基準画像とに基づいて、複数の種類の戻し処理のうちの1つを最適な戻し処理として選択する。選択された最適な戻し処理は、通常モード時に行われる。
(チャートの図柄の例)
図3乃至図5は、チャート42の図柄の例を示す図である。
図3に示すように、チャート42の図柄は、格子状の線61であってもよいし、図4に示すように、間隔の異なる縦線62であってもよい。また、図5に示すように、チャート42の図柄は、赤色撮像面、緑色撮像面、および青色撮像面の少なくとも1つの画素のサイズ71の水平方向の長さより間隔の大きい縦線72と、垂直方向の長さより間隔の大きい横線73であってもよい。
チャート42の図柄が図5の図柄である場合、治具41により、例えば、赤色撮像面53の4×4の各画素の撮像領域81が、チャート42上の縦線72と横線73の境界を含むように、チャート42と内視鏡19が固定される。
なお、チャート42の図柄は、図3乃至図5の図柄に限定されず、CCU12により生成される高解像度画像が、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量の影響を受ける図柄であれば、どのようなものであってもよい。また、術者等は、複数のチャート42を治具41に順番に保持させてもよい。
(CCUのハードウエアの構成例)
図6は、CCU12のハードウエアの構成例を示すブロック図である。
CCU12において、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、及びドライブ210が接続されている。
入力部206は、操作ボタン、キーボード、マウス、マイクロフォンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記憶部208は、ハードディスクや不揮発性のメモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。通信部209は、表示装置11、内視鏡19、レコーダ16、プリンタ17、およびフットスイッチ26との通信を行う。ドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア211を駆動する。
以上のように構成されるCCU12では、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205及びバス204を介して、RAM203にロードして実行することにより、戻し制御処理等が行われる。戻し制御処理とは、動作モードに応じて戻し処理の最適化または戻し処理を行う処理である。
CCU12(CPU201)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア211に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
CCU12では、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
なお、CCU12が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
(CCUの機能的構成例)
図7は、図6のCCU12により実現される戻し制御処理を行う戻し制御処理部の機能的構成例を示すブロック図である。
図7の戻し制御処理部230は、設定部231、受信部232、生成部233、選択部234、保持部235、警告部236、および送信部237により構成される。設定部231、生成部233、および選択部234は、例えば、図6のCPU201により実現され、受信部232と送信部237は、例えば、通信部209により実現される。また、保持部235は、例えば、記憶部208により実現され、警告部236は、例えば、出力部207により実現される。
戻し制御処理部230の設定部231は、術者等の入力部206の操作に応じて、動作モードを通常モードまたは最適化モードに設定する。具体的には、術者等は、CCU12を内視鏡手術システム10で用いる場合、入力部206を操作して通常モードの設定を指示し、設定部231は、この指示に応じて、動作モードを通常モードに設定する。
一方、術者等は、CCU12を最適化システム40で用いる場合、入力部206を操作して最適化モードの設定を指示し、設定部231は、この指示に応じて、動作モードを最適化モードに設定する。設定部231は、設定された動作モードを生成部233に供給する。
受信部232は、内視鏡19から送信されてくる赤色画像、緑色画像、および青色画像を受信し、生成部233に供給する。
生成部233は、設定部231から供給される動作モードが通常モードである場合、保持部235から戻し処理を特定する処理特定情報を読み出す。そして、生成部233は、読み出された処理特定情報により特定される戻し処理で、受信部232から供給される赤色画像、緑色画像、および青色画像を用いて高解像度画像を生成する。生成部233は、生成された高解像度画像を送信部237に供給する。
一方、設定部231から供給される動作モードが最適化モードである場合、生成部233は、戻し処理の候補となる複数の種類の戻し処理のそれぞれで、受信部232から供給される赤色画像、緑色画像、および青色画像を用いて、高解像度画像を生成する。戻し処理の候補は、例えば、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量が所定の各値である場合に最適な戻し処理である。生成部233は、生成された複数の高解像度画像と、その高解像度画像の生成時の戻し処理の候補の処理特定情報とを対応付けて選択部234に供給する。
選択部234は、保持部235から基準画像を読み出す。選択部234は、生成部233から供給される複数の高解像度画像のそれぞれと、基準画像との差分を求める。選択部234は、戻し処理の候補のうちの、基準画像との差が最も小さい高解像度画像に対応する1つを、最適な戻し処理として選択する。選択部234は、最適な戻し処理の処理特定情報を保持部235に供給する。
また、選択部234は、最適な戻し処理に対応する、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量を認識する。選択部234は、認識されたずれ量が閾値を超える場合、内視鏡19の交換が必要であると判断し、警告部236に警告を指示する。
保持部235は、選択部234から供給される処理特定情報を保持する。また、保持部235は、基準画像を保持する。警告部236は、選択部234からの指示に応じて、内視鏡19の交換を促す警告を出力する。具体的には、警告部236は、選択部234からの指示に応じて、例えば、出力部207のディスプレイ(表示部)を制御し、内視鏡19の交換を促す警告画面をディスプレイに表示させる。なお、警告の出力方法は、警告画面の表示に限定されず、出力部207の警告ランプの点灯、出力部207のスピーカからの警告音などの出力などであってもよい。
送信部237は、設定部231から供給される高解像度画像を表示装置11に送信する。また、送信部237は、必要に応じて、高解像度画像をレコーダ16やプリンタ17に送信する。
(内視鏡の撮像面の位相の説明)
図8は、内視鏡19の赤色撮像面53、緑色撮像面54、および青色撮像面55の位相を説明する図である。
図8Aに示すように、内視鏡19の撮像部は、赤色撮像面53、緑色撮像面54、および青色撮像面55を有する。
また、図8Bに示すように、緑色撮像面54の位相と、赤色撮像面53の位相とは、水平方向と垂直方向にそれぞれ1/2画素だけずれている。赤色撮像面53と青色撮像面55の位相は同一である。これにより、HDの赤色画像、緑色画像、および青色画像から、水平方向および垂直方向の解像度がそれぞれHDの2倍である4kの高解像度画像を生成することができる。
(高解像度画像の赤色成分の戻し処理の説明)
図9は、高解像度画像の赤色成分の戻し処理を説明する図である。
図9において、斜線が付されていない実線の丸は、高解像度画像のうちの赤色画像(青色画像)の画素と同一の位置の画素を表し、斜線が付された実線の丸は緑色画像の画素と同一の位置の画素を表す。また、点線の丸は、高解像度画像のうちの、赤色画像、緑色画像、および青色画像の画素のいずれとも異なる位置の画素(以下、新画素という)を表す。
高解像度画像のうちの緑色画像の画素と同一の位置の画素の赤色成分R´は、例えば、その画素の周囲の赤色画像の画素を用いて、その画素と赤色成分R´の画素の位置関係から、以下の式(1)により求めることができる。
Figure 2017099616
式(1)のR11,R12,R21,R22は、それぞれ、赤色成分R´に対応する画素の左上、右上、左下、右下の赤色画像の画素である。αとβは、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量に応じて変化する、0以上1以下の値のパラメータである。αとβは、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量が0である場合、即ち赤色画像、緑色画像、および青色画像の位相が理想値である場合、両方とも0.5である。
従って、αとβの異なる式(1)により赤色成分R´を求める処理が、高解像度画像の赤色成分R´の戻し処理の候補とされる。高解像度画像の赤色成分R´の戻し処理の候補に対応するαとβの値の組み合わせ(α,β)としては、例えば、(0.5,0.5),(0.4,0.5),(0.5,0.4),(0.6,0.5)などがある。
なお、詳細な説明は省略するが、点線の丸で表す新画素の赤色成分も、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量に応じて変化するパラメータを有する式により求めることができる。従って、そのパラメータの異なる式により赤色成分を求める処理が、高解像度画像の新画素の赤色成分の戻し処理の候補とされる。青色画像の位相は赤色画像の位相と同一であるので、高解像度画像の全画素の青色成分の戻し処理の候補は、赤色成分の戻し処理の候補と同一である。
また、高解像度画像の全画素の緑色成分も、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量に応じて変化するパラメータを有する式により求めることができる。従って、そのパラメータの異なる式により緑色成分を求める処理が、高解像度画像の全画素の緑色成分の戻し処理の候補とされる。
高解像度画像の赤色成分、緑色成分、および青色成分の戻し処理の候補は、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量ごとにまとめられて、戻し処理の候補とされる。
(最適な戻し処理の選択の説明)
図10は、図7の選択部234による最適な戻し処理の選択を説明する図である。
図10に示すように、選択部234には、基準画像と高解像度画像が供給される。選択部234は、以下の式(2)により、戻し処理の候補ごとに、基準画像と高解像度画像の赤色成分の差分を求める。
Figure 2017099616
式(2)において、Errnは、n番目(n=1,2,...,N)の戻し処理の候補により生成された高解像度画像と基準画像の赤色成分の差分を表す。また、R(i,j)は、基準画像の位置(i,j)の画素の赤色成分を表し、Rn´(i,j)は、n番目の戻し処理の候補により生成された高解像度画像の位置(i,j)の画素の赤色成分を表す。
式(2)によれば、差分Errnは、高解像度画像と基準画像の各画素の赤色成分の差分の絶対値和である。
選択部234は、基準画像と高解像度画像の赤色成分の差分と同様に、緑色成分および青色成分の差分も求める。選択部234は、戻し処理の候補ごとに、赤色成分、緑色成分および青色成分の差分を加算し、加算値を基準画像と高解像度画像の差分とする。
選択部234は、基準画像と高解像度画像の差分が最小となる戻し処理の候補を最適な戻し処理として選択する。
(CCUの処理の説明)
図11は、図7の戻し制御処理部230の戻し制御処理を説明するフローチャートである。この戻し制御処理は、例えば、内視鏡19からCCU12に画像が送信されてきたとき、開始される。
図11のステップS11において、戻し制御処理部230の受信部232は、内視鏡19から送信されてくる赤色画像、緑色画像、および青色画像を受信し、受信部232に供給する。
ステップS12において、生成部233は、設定部231から供給される動作モードが最適化モードであるかどうかを判定する。
ステップS12で動作モードが最適化モードであると判定された場合、ステップS13において、生成部233は、戻し処理の候補のそれぞれにより、受信部232から供給される赤色画像、緑色画像、および青色画像を用いて、高解像度画像を生成する。生成部233は、生成された複数の高解像度画像と、その高解像度画像の生成時の戻し処理の候補の処理特定情報とを対応付けて選択部234に供給する。
ステップS14において、選択部234は、保持部235から基準画像を読み出す。ステップS15において、選択部234は、生成部233から供給される複数の高解像度画像のそれぞれと、基準画像との差分を求める。ステップS16において、選択部234は、戻し処理の候補のうちの、基準画像との差が最も小さい高解像度画像に対応する1つを、最適な戻し処理として選択する。
ステップS17において、選択部234は、最適な戻し処理の処理特定情報を保持部235に供給して保持(更新)させる。これにより、次回のステップS17の処理まで、後述するステップS22の処理において、この処理特定情報で特定される戻し処理が行われる。
ステップS18において、選択部234は、最適な戻し処理に対応する、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量を認識する。ステップS19において、選択部234は、認識されたずれ量が閾値を超えるかどうかを判定する。ステップS19でずれ量が閾値を超えたと判定された場合、選択部234は、内視鏡19の交換が必要であると判断し、警告部236に警告を指示する。
そして、ステップS20において、警告部236は、内視鏡19の交換を促す警告を出力し、処理をステップS24に進める。
一方、ステップS12で動作モードが最適化モードではないと判定された場合、即ち動作モードが通常モードである場合、処理はステップS21に進む。ステップS21において、生成部233は、保持部235から処理特定情報を読み出す。
ステップS22において、生成部233は、読み出された処理特定情報により特定される戻し処理により、受信部232から供給される赤色画像、緑色画像、および青色画像を用いて高解像度画像を生成する。生成部233は、生成された高解像度画像を送信部237に供給する。
ステップS23において、送信部237は、設定部231から供給される高解像度画像を表示装置11等に送信し、処理をステップS24に進める。
ステップS24において、戻し制御処理部230は、戻し制御処理を終了するかどうかを判定する。例えば、戻し制御処理部230は、内視鏡19による撮像が終了した場合や、CCU12の電源が切断された場合、戻し制御処理を終了すると判定する。
ステップS24で戻し制御処理を終了しないと判定された場合、処理はステップS11に戻り、戻し制御処理が終了すると判定されるまで、処理が繰り返される。
一方、ステップS24で戻し制御処理を終了すると判定された場合、処理は終了する。
以上のように、CCU12は、赤色画像、緑色画像、および青色画像を用いて、複数の種類の戻し処理の候補により高解像度画像を生成し、その高解像度画像に基づいて、複数の種類の戻し処理のうちの最適な1つを選択する。従って、CCU12は、選択された最適な戻し処理で高解像度画像を生成することにより、赤色撮像面53、緑色撮像面54、および青色撮像面55の位相が理想値からずれた場合であっても、高解像度画像の画質を十分に向上させることができる。
また、戻し処理の候補は、赤色撮像面53、緑色撮像面54、および青色撮像面55の位相の理想値からのずれ量に応じたパラメータを用いた式により高解像度画像を生成する処理である。従って、CCU12は、最適な戻し処理からずれ量を認識することができる。その結果、ずれ量が閾値を超えた場合に、術者等に内視鏡19の交換を促す警告を発することができる。
さらに、戻し処理の最適化時に、治具41により、チャート42と内視鏡19の位置関係が固定されるので、最適化の精度を向上させることができる。
<第2実施の形態>
(第2実施の形態における内視鏡の撮像面の位相の説明)
本開示を適用した内視鏡手術システムおよび最適化システムの第2実施の形態の構成は、主に、内視鏡19の赤色撮像面53と青色撮像面55の位相が異なる点が、図1および図2の構成と異なっている。従って、以下では、内視鏡19の赤色撮像面53、緑色撮像面54、および青色撮像面55の位相についてのみ説明する。
図12は、第2実施の形態における内視鏡19の赤色撮像面53、緑色撮像面54、および青色撮像面55の位相を説明する図である。
図12に示す構成のうち、図8の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図12に示すように、第2実施の形態では、緑色撮像面54の位相と、赤色撮像面53の位相は、垂直方向に1/2画素だけずれている。また、緑色撮像面54と青色撮像面55の位相は、水平方向に1/2画素だけずれている。これにより、HDの赤色画像、緑色画像、および青色画像から、水平方向および垂直方向の解像度がそれぞれHDの2倍である4kの高解像度画像を生成することができる。
第2実施の形態における戻し処理の候補は、第1実施の形態とは異なるが、第1実施の形態と同様に、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量に応じて変化するパラメータを有する式により高解像度画像を生成する処理である。
<第3実施の形態>
(第3実施の形態における画素ずらしの説明)
本開示を適用した内視鏡手術システムおよび最適化システムの第3実施の形態の構成は、主に、内視鏡19の撮像面が1つである点、および、撮像面の位置を変化させて複数回撮像を行うことにより画素ずらしが行われる点が、図1および図2の構成と異なっている。従って、以下では、画素ずらしについてのみ説明する。
図13は、第3実施の形態における画素ずらしを説明する図である。
図13では、内視鏡19の撮像面が有する画素のうちの2×2の画素における画素ずらしについて説明する。図13において、丸は、内視鏡19の撮像面の2×2の画素の位置を表し、丸の中の「R」、「G」、「B」は、それぞれ、その画素が、赤色、緑色、青色の光に対して感度を有することを表している。また、丸の中の数字は、何回目の撮像時の位置であるかを表している。図13の例では、4回撮像が行われ、撮像面のカラー配列はベイヤ配列である。
図13Aの例では、模様が付されている丸で表される位置で、2×2の画素が1回目の撮像を行う。次に、内視鏡19の撮像面が、図中の右方向(行方向)に1画素分移動され、2が付されている丸で表される位置で、2×2の画素が2回目の撮像を行う。
そして、内視鏡19の撮像面が、図中の左斜め下方向に1画素分移動され、3が付されている丸で表される位置で、2×2の画素が3回目の撮像を行う。最後に、内視鏡19の撮像面が、図中の右方向に1画素分移動され、4が付されている丸で表される位置で、2×2の画素が4回目の撮像を行う。以上のようにして、位相の異なる4つのHDの画像を撮像する画素ずらしが行われる。
一方、図13Bの例では、模様が付されている丸で表される位置で、2×2の画素が1回目の撮像を行う。次に、内視鏡19の撮像面が、図中の右方向に2画素分移動され、2が付されている丸で表される位置で、2×2の画素が2回目の撮像を行う。
そして、内視鏡19の撮像面が、図中の左斜め下方向に2画素分移動され、3が付されている丸で表される位置で、2×2の画素が3回目の撮像を行う。最後に、内視鏡19の撮像面が、図中の右方向に2画素分移動され、4が付されている丸で表される位置で、2×2の画素が4回目の撮像を行う。以上のようにして、位相の異なる4つのHD画像を撮像する画素ずらしが行われる。
第3実施の形態における戻し処理の候補は、第1実施の形態とは異なるが、第1実施の形態と同様に、赤色画像、緑色画像、および青色画像の位相の理想値からのずれ量に応じて変化するパラメータを有する式により高解像度画像を生成する処理である。
なお、第3実施の形態における画素ずらしは、図13の例には限定されず、例えば、撮像回数は4回以外であってもよい。
上述した一連の処理は、ハードウエアにより実行することもできる。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、内視鏡19により撮像される画像の解像度はHDに限定されず、高解像度画像の解像度は4kに限定されない。例えば、高解像度画像の解像度は、8k解像度などの4k解像度より高い解像度にすることもできる。
また、高解像度画像と基準画像の赤色成分、緑色成分、および青色成分の全ての差分の合計ではなく、1つの成分の差分に基づいて最適な戻し処理を選択するようにしてもよい。また、色ごとに、最適な戻し処理の選択を行ってもよい。
さらに、第1および第2実施の形態における内視鏡19の撮像面の数は3つに限定されない。例えば、内視鏡19は、1枚の赤色撮像面、2枚の緑色撮像面、および1枚の青色撮像面からなる4板式の撮像部を有するようにすることもできる。
本開示は、内視鏡のほか、画素ずらしを行うビデオ顕微鏡などの撮像装置により取得された画像を用いて戻し処理を行う画像処理装置に適用することができる。
なお、本開示は、以下のような構成もとることができる。
(1)
手術用撮像装置により撮像された位相の異なる複数の画像に対し、複数の種類の処理を実行することで、前記複数の画像より高い解像度を有する、複数の高解像度画像を生成する生成部と、
前記生成部により生成された前記複数の高解像度画像に基づいて、前記複数の種類の処理のうちの1つを選択する選択部と
を備える手術用制御装置。
(2)
前記生成部は、前記複数の画像に対し、前記選択部により選択された前記処理を実行することで前記複数の画像より高い解像度を有する高解像度画像を生成する
ように構成された
前記(1)に記載の手術用制御装置。
(3)
前記選択部は、前記生成部により生成された前記複数の高解像度画像のそれぞれと基準画像との差分に基づいて、前記複数の種類の処理のうちの1つを選択する
ように構成された
前記(1)または(2)に記載の手術用制御装置。
(4)
前記手術用撮像装置は、チャートを被写体として含むように撮像を行うことにより、前記複数の画像を撮像する
ように構成された
前記(1)に記載の手術用制御装置。
(5)
前記選択部は、前記チャートを被写体として含む前記複数の高解像度画像のぞれぞれと前記チャートの理想的な高解像度画像との差分に基づいて、前記複数の種類の処理のうちの1つを選択する
ように構成された
前記(4)に記載の手術用制御装置。
(6)
前記手術用撮像装置は、前記チャートと前記手術用撮像装置の位置関係が治具により固定された状態で撮像を行うことにより、前記複数の画像を撮像する
ように構成された
前記(4)または(5)に記載の手術用制御装置。
(7)
前記チャートの図柄は、格子状の線を含む
ように構成された
前記(4)乃至(6)のいずれかに記載の手術用制御装置。
(8)
前記チャートの図柄は、間隔の異なる縦線を含む
ように構成された
前記(4)乃至(6)のいずれかに記載の手術用制御装置。
(9)
前記チャートの図柄は、前記手術用撮像装置の少なくとも1つの撮像面の画素の水平方向の長さより間隔の大きい縦線と、前記画素の垂直方向の長さより間隔の大きい横線とを含む
ように構成された
前記(4)乃至(6)のいずれかに記載の手術用制御装置。
(10)
前記選択部により選択された前記処理に対応する、前記位相の理想値とのずれ量に基づいて、警告を出力させる警告部
をさらに備える
前記(1)乃至(9)のいずれかに記載の手術用制御装置。
(11)
前記警告部は、前記ずれ量に基づいて、前記手術用撮像装置の交換を促す警告が表示部に表示されるように、前記表示部を制御する
前記(10)に記載の手術用制御装置。
(12)
前記手術用撮像装置は、互いに異なる色の光に対して感度を有する、位相の異なる複数の撮像面を有し、前記複数の撮像面で同時に撮像を行うことにより、前記複数の画像を撮像する
ように構成された
前記(1)乃至(11)のいずれかに記載の手術用制御装置。
(13)
前記手術用撮像装置は、1つの撮像面を有し、前記撮像面の位置を変化させて複数回撮像を行うことにより、前記複数の画像を撮像する
ように構成された
前記(1)乃至(11)のいずれかに記載の手術用制御装置。
(14)
前記高解像度画像は、少なくとも4k解像度以上の解像度を有する画像である
ように構成された
前記(1)乃至(13)のいずれかに記載の手術用制御装置。
(15)
手術用制御装置が、
手術用撮像装置により撮像された位相の異なる複数の画像に対し、複数の種類の処理を実行することで、前記複数の画像より高い解像度を有する、複数の高解像度画像を生成する生成ステップと、
前記生成ステップの処理により生成された前記複数の高解像度画像に基づいて、前記複数の種類の処理のうちの1つを選択する選択ステップと
を含む手術用制御方法。
(16)
コンピュータを、
手術用撮像装置により撮像された位相の異なる複数の画像に対し、複数の種類の処理を実行することで、前記複数の画像より高い解像度を有する、複数の高解像度画像を生成する生成部と、
前記生成部により生成された前記複数の高解像度画像に基づいて、前記複数の種類の処理のうちの1つを選択する選択部と
して機能させるためのプログラム。
(17)
位相の異なる複数の画像を撮像する手術用撮像装置と、
前記手術用撮像装置により撮像された前記複数の画像を用いて、前記複数の画像より高い解像度を有する高解像度画像を生成する処理を選択する際に、前記手術用撮像装置により撮像されるチャートと、
前記手術用撮像装置と前記チャートとの位置関係を固定する治具と
を備える手術システム。
12 CCU, 19 内視鏡, 40 最適化システム, 41 治具, 42 チャート, 53 赤色撮像面, 54 緑色撮像面, 55 青色撮像面, 61 線, 62,72 縦線, 73 横線, 207 出力部, 233 生成部, 234 選択部, 236 警告部

Claims (17)

  1. 手術用撮像装置により撮像された位相の異なる複数の画像に対し、複数の種類の処理を実行することで、前記複数の画像より高い解像度を有する、複数の高解像度画像を生成する生成部と、
    前記生成部により生成された前記複数の高解像度画像に基づいて、前記複数の種類の処理のうちの1つを選択する選択部と
    を備える手術用制御装置。
  2. 前記生成部は、前記複数の画像に対し、前記選択部により選択された前記処理を実行することで前記複数の画像より高い解像度を有する高解像度画像を生成する
    ように構成された
    請求項1に記載の手術用制御装置。
  3. 前記選択部は、前記生成部により生成された前記複数の高解像度画像のそれぞれと基準画像との差分に基づいて、前記複数の種類の処理のうちの1つを選択する
    ように構成された
    請求項1に記載の手術用制御装置。
  4. 前記手術用撮像装置は、チャートを被写体として含むように撮像を行うことにより、前記複数の画像を撮像する
    ように構成された
    請求項1に記載の手術用制御装置。
  5. 前記選択部は、前記チャートを被写体として含む前記複数の高解像度画像のぞれぞれと前記チャートの理想的な高解像度画像との差分に基づいて、前記複数の種類の処理のうちの1つを選択する
    ように構成された
    請求項4に記載の手術用制御装置。
  6. 前記手術用撮像装置は、前記チャートと前記手術用撮像装置の位置関係が治具により固定された状態で撮像を行うことにより、前記複数の画像を撮像する
    ように構成された
    請求項4に記載の手術用制御装置。
  7. 前記チャートの図柄は、格子状の線を含む
    ように構成された
    請求項4に記載の手術用制御装置。
  8. 前記チャートの図柄は、間隔の異なる縦線を含む
    ように構成された
    請求項4に記載の手術用制御装置。
  9. 前記チャートの図柄は、前記手術用撮像装置の少なくとも1つの撮像面の画素の水平方向の長さより間隔の大きい縦線と、前記画素の垂直方向の長さより間隔の大きい横線とを含む
    ように構成された
    請求項4に記載の手術用制御装置。
  10. 前記選択部により選択された前記処理に対応する、前記位相の理想値とのずれ量に基づいて、警告を出力させる警告部
    をさらに備える
    請求項1に記載の手術用制御装置。
  11. 前記警告部は、前記ずれ量に基づいて、前記手術用撮像装置の交換を促す警告が表示部に表示されるように、前記表示部を制御する
    請求項10に記載の手術用制御装置。
  12. 前記手術用撮像装置は、互いに異なる色の光に対して感度を有する、位相の異なる複数の撮像面を有し、前記複数の撮像面で同時に撮像を行うことにより、前記複数の画像を撮像する
    ように構成された
    請求項1に記載の手術用制御装置。
  13. 前記手術用撮像装置は、1つの撮像面を有し、前記撮像面の位置を変化させて複数回撮像を行うことにより、前記複数の画像を撮像する
    ように構成された
    請求項1に記載の手術用制御装置。
  14. 前記高解像度画像は、少なくとも4k解像度以上の解像度を有する画像である
    ように構成された
    請求項1に記載の手術用制御装置。
  15. 手術用制御装置が、
    手術用撮像装置により撮像された位相の異なる複数の画像に対し、複数の種類の処理を実行することで、前記複数の画像より高い解像度を有する、複数の高解像度画像を生成する生成ステップと、
    前記生成ステップの処理により生成された前記複数の高解像度画像に基づいて、前記複数の種類の処理のうちの1つを選択する選択ステップと
    を含む手術用制御方法。
  16. コンピュータを、
    手術用撮像装置により撮像された位相の異なる複数の画像に対し、複数の種類の処理を実行することで、前記複数の画像より高い解像度を有する、複数の高解像度画像を生成する生成部と、
    前記生成部により生成された前記複数の高解像度画像に基づいて、前記複数の種類の処理のうちの1つを選択する選択部と
    して機能させるためのプログラム。
  17. 位相の異なる複数の画像を撮像する手術用撮像装置と、
    前記手術用撮像装置により撮像された前記複数の画像を用いて、前記複数の画像より高い解像度を有する高解像度画像を生成する処理を選択する際に、前記手術用撮像装置により撮像されるチャートと、
    前記手術用撮像装置と前記チャートとの位置関係を固定する治具と
    を備える手術システム。
JP2015234744A 2015-12-01 2015-12-01 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム Pending JP2017099616A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015234744A JP2017099616A (ja) 2015-12-01 2015-12-01 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
PCT/JP2016/084380 WO2017094535A1 (en) 2015-12-01 2016-11-21 Surgery control apparatus, surgery control method, program, and surgery system
US15/761,344 US11127116B2 (en) 2015-12-01 2016-11-21 Surgery control apparatus, surgery control method, program, and surgery system
CN201680069348.3A CN108292427A (zh) 2015-12-01 2016-11-21 手术控制设备、手术控制方法、程序和手术系统
EP16820369.3A EP3384460B1 (en) 2015-12-01 2016-11-21 Surgery control apparatus, surgery control method, program, and surgery system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015234744A JP2017099616A (ja) 2015-12-01 2015-12-01 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム

Publications (2)

Publication Number Publication Date
JP2017099616A true JP2017099616A (ja) 2017-06-08
JP2017099616A5 JP2017099616A5 (ja) 2018-12-27

Family

ID=57708695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015234744A Pending JP2017099616A (ja) 2015-12-01 2015-12-01 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム

Country Status (5)

Country Link
US (1) US11127116B2 (ja)
EP (1) EP3384460B1 (ja)
JP (1) JP2017099616A (ja)
CN (1) CN108292427A (ja)
WO (1) WO2017094535A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080450A1 (ja) * 2018-10-18 2020-04-23 カイロス株式会社 内視鏡装置および内視鏡システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019222684A1 (en) * 2018-05-18 2019-11-21 The Charles Stark Draper Laboratory, Inc. Convolved augmented range lidar nominal area

Family Cites Families (429)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54102826A (en) * 1978-01-30 1979-08-13 Sony Corp Color camera
US4357624A (en) * 1979-05-15 1982-11-02 Combined Logic Company Interactive video production system
JPH03139084A (ja) * 1989-10-24 1991-06-13 Victor Co Of Japan Ltd 固体カラー撮像装置
US6002518A (en) * 1990-06-11 1999-12-14 Reveo, Inc. Phase-retardation based system for stereoscopic viewing micropolarized spatially-multiplexed images substantially free of visual-channel cross-talk and asymmetric image distortion
JPH0724422B2 (ja) * 1990-09-12 1995-03-15 池上通信機株式会社 カラーテレビカメラの輝度信号作成回路
JP2936760B2 (ja) * 1991-02-25 1999-08-23 ソニー株式会社 カラーテレビジョンカメラ装置
JPH04284087A (ja) * 1991-03-13 1992-10-08 Canon Inc 電子スチルカメラ
JP3271070B2 (ja) * 1991-06-28 2002-04-02 ソニー株式会社 固体イメージセンサ
US6205259B1 (en) * 1992-04-09 2001-03-20 Olympus Optical Co., Ltd. Image processing apparatus
US5343311A (en) * 1992-04-14 1994-08-30 Electronics For Imaging, Inc. Indexed processing of color image data
US5418564A (en) * 1992-09-04 1995-05-23 Asashi Kogaku Kogyo Kabushiki Kaisha Dual-type imaging device having multiple light sensitive elements
US5398066A (en) * 1993-07-27 1995-03-14 Sri International Method and apparatus for compression and decompression of digital color images
US5541653A (en) * 1993-07-27 1996-07-30 Sri International Method and appartus for increasing resolution of digital color images using correlated decoding
US5640206A (en) * 1994-05-31 1997-06-17 Victor Company Of Japan, Ltd. Imaging apparatus including offset pixels for generating vertical high frequency component
JPH0851635A (ja) * 1994-08-05 1996-02-20 Sony Corp 撮像装置
JPH09233483A (ja) * 1996-02-22 1997-09-05 Sony Corp ディジタルカラー映像信号の伝送方法及び装置
JP3609525B2 (ja) * 1996-03-18 2005-01-12 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
JP2000514548A (ja) * 1996-05-10 2000-10-31 アプライド、サイエンス、フィクション、インコーポレーテッド 輝度優先色センサ
JP3778229B2 (ja) * 1996-05-13 2006-05-24 富士ゼロックス株式会社 画像処理装置、画像処理方法、および画像処理システム
US6956973B1 (en) * 1997-09-30 2005-10-18 Texas Instruments Incorporated Image compression
US6126599A (en) * 1998-10-01 2000-10-03 Atl Ultrasound, Inc. Ultrasonic diagnostic imaging system with real time spatial compounding processor
US6048316A (en) * 1998-10-16 2000-04-11 Acuson Corporation Medical diagnostic ultrasonic imaging system and method for displaying composite fundamental and harmonic images
US7837624B1 (en) * 1998-11-20 2010-11-23 Siemens Medical Solutions Usa, Inc. Medical diagnostic ultrasound imaging methods for extended field of view
US6101238A (en) * 1998-11-25 2000-08-08 Siemens Corporate Research, Inc. System for generating a compound x-ray image for diagnosis
US8944070B2 (en) * 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US9572519B2 (en) * 1999-05-18 2017-02-21 Mediguide Ltd. Method and apparatus for invasive device tracking using organ timing signal generated from MPS sensors
US6442289B1 (en) * 1999-06-30 2002-08-27 Koninklijke Philips Electronics N.V. Extended field of view ultrasonic diagnostic imaging
US6795585B1 (en) * 1999-07-16 2004-09-21 Eastman Kodak Company Representing digital images in a plurality of image processing states
US6466618B1 (en) * 1999-11-19 2002-10-15 Sharp Laboratories Of America, Inc. Resolution improvement for multiple images
US7340676B2 (en) * 2000-12-29 2008-03-04 Eastman Kodak Company System and method for automatic layout of images in digital albums
JP3985679B2 (ja) * 2001-01-25 2007-10-03 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置
JP2002247593A (ja) * 2001-02-16 2002-08-30 Olympus Optical Co Ltd 画像処理装置
US7533336B2 (en) * 2001-03-01 2009-05-12 International Business Machines Corporation Method and apparatus for facilitating construction of e-commerce web pages having featured products and the like
KR100446235B1 (ko) * 2001-05-07 2004-08-30 엘지전자 주식회사 다중 후보를 이용한 움직임 벡터 병합 탐색 방법
US7020352B2 (en) * 2001-05-25 2006-03-28 Seiko Epson Corporation Photo extraction techniques
JP2003032538A (ja) 2001-07-16 2003-01-31 Canon Inc 撮像装置
JP3882585B2 (ja) * 2001-11-07 2007-02-21 富士ゼロックス株式会社 画像処理装置およびプログラム
US7127125B2 (en) * 2002-01-04 2006-10-24 Warner Bros. Entertainment Inc. Registration of separations
US6747648B2 (en) * 2002-01-18 2004-06-08 Eastman Kodak Company Website on the internet for automated interactive display of images
US7120297B2 (en) * 2002-04-25 2006-10-10 Microsoft Corporation Segmented layered image system
US6983080B2 (en) * 2002-07-19 2006-01-03 Agilent Technologies, Inc. Resolution and image quality improvements for small image sensors
US7619638B2 (en) * 2002-11-06 2009-11-17 Vista Print Technologies Limited Custom composite image system and method
US7454069B2 (en) * 2002-11-20 2008-11-18 Ricoh Company, Ltd. Image processing apparatus, image compressing apparatus, image decompressing apparatus, image processing method, image compressing method, image decompressing method, information processing apparatus, information processing method, program and recording medium
US7097311B2 (en) * 2003-04-19 2006-08-29 University Of Kentucky Research Foundation Super-resolution overlay in multi-projector displays
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US20050007468A1 (en) * 2003-07-10 2005-01-13 Stavely Donald J. Templates for guiding user in use of digital camera
JP4461937B2 (ja) * 2003-09-30 2010-05-12 セイコーエプソン株式会社 低解像度の複数の画像に基づく高解像度の画像の生成
JP4362700B2 (ja) 2003-10-09 2009-11-11 日本電気株式会社 画像読取り装置、及び、画像読取り方法
US7924327B2 (en) * 2003-10-22 2011-04-12 Panasonic Corporation Imaging apparatus and method for producing the same, portable equipment, and imaging sensor and method for producing the same
US7689909B1 (en) * 2003-11-26 2010-03-30 Szuszczewicz Edward P System and method for generating photo collages and photo album pages
JP4235539B2 (ja) * 2003-12-01 2009-03-11 独立行政法人科学技術振興機構 画像構成装置及び画像構成方法
GB2411532B (en) * 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
US7617449B2 (en) * 2004-05-28 2009-11-10 Microsoft Corporation Method and system for mapping content between a starting template and a target template
JP4810807B2 (ja) * 2004-07-30 2011-11-09 ソニー株式会社 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
CN1775171B (zh) * 2004-08-30 2011-12-14 株式会社东芝 医用图像显示装置
EP1800260B1 (en) * 2004-09-29 2013-04-10 Warner Bros. Entertainment Inc. Correction of blotches in component images
KR20070052357A (ko) * 2004-10-13 2007-05-21 마쯔시다덴기산교 가부시키가이샤 촬상장치
KR100680471B1 (ko) * 2004-11-24 2007-02-08 매그나칩 반도체 유한회사 보색 컬러 필터를 채택한 SoC 카메라 시스템
US20060114479A1 (en) * 2004-11-26 2006-06-01 Sozotek, Inc. Accelerated image enhancement
JP4699995B2 (ja) 2004-12-16 2011-06-15 パナソニック株式会社 複眼撮像装置及び撮像方法
US7412107B2 (en) * 2004-12-17 2008-08-12 The Regents Of The University Of California, Santa Cruz System and method for robust multi-frame demosaicing and color super-resolution
US7856154B2 (en) * 2005-01-19 2010-12-21 The United States Of America As Represented By The Secretary Of The Army System and method of super-resolution imaging from a sequence of translated and rotated low-resolution images
US8577184B2 (en) * 2005-01-19 2013-11-05 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US8666196B2 (en) * 2005-01-19 2014-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US7602997B2 (en) * 2005-01-19 2009-10-13 The United States Of America As Represented By The Secretary Of The Army Method of super-resolving images
EP1874192B1 (en) * 2005-04-14 2017-06-07 Verasonics, Inc. Ultrasound imaging system with pixel oriented processing
JP2006311314A (ja) * 2005-04-28 2006-11-09 Matsushita Electric Ind Co Ltd 色分離処理方法および色分離処理回路
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
US7770799B2 (en) * 2005-06-03 2010-08-10 Hand Held Products, Inc. Optical reader having reduced specular reflection read failures
US10341558B2 (en) * 2005-06-03 2019-07-02 Craig P. Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
JP4800104B2 (ja) * 2005-06-13 2011-10-26 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
US7710458B2 (en) * 2005-06-17 2010-05-04 Casio Computer Co., Ltd. Image pick-up apparatus with a shake reducing function
JP4267598B2 (ja) * 2005-07-11 2009-05-27 ザイオソフト株式会社 画像融合処理方法、画像融合処理プログラム、画像融合処理装置
GB0514715D0 (en) * 2005-07-18 2005-08-24 Isis Innovation Combination of images
CN100579185C (zh) * 2005-07-26 2010-01-06 松下电器产业株式会社 复眼方式的摄像装置
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US20070047834A1 (en) * 2005-08-31 2007-03-01 International Business Machines Corporation Method and apparatus for visual background subtraction with one or more preprocessing modules
GB2445688A (en) * 2005-09-01 2008-07-16 Zvi Haim Lev System and method for reliable content access using a cellular/wireless device with imaging capabilities
WO2007028799A1 (en) * 2005-09-05 2007-03-15 Alpvision S.A. Means for using microstructure of materials surface as a unique identifier
WO2007029443A1 (ja) * 2005-09-09 2007-03-15 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット
WO2007059117A2 (en) * 2005-11-10 2007-05-24 Rosetta Inpharmatics Llc Discover biological features using composite images
US8303505B2 (en) * 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
US20090208115A1 (en) * 2005-12-21 2009-08-20 Nikon Corporation Image Combining Method, Image Combining Program, Image Combining Apparatus, Template Extraction Method and Template Extraction Program
JP4657934B2 (ja) * 2006-01-23 2011-03-23 富士フイルム株式会社 顔検出方法および装置並びにプログラム
US7822288B2 (en) * 2006-01-25 2010-10-26 Shell & Slate Software Corporation Method and system for improved processing of image data
US7979790B2 (en) * 2006-02-28 2011-07-12 Microsoft Corporation Combining and displaying multimedia content
JP4600315B2 (ja) * 2006-03-01 2010-12-15 ソニー株式会社 カメラ装置の制御方法及びこれを用いたカメラ装置
DE102006043894B3 (de) * 2006-09-19 2007-10-04 Siemens Ag Detailtiefenstufen-Einstellung mehrdimensionaler Bilddaten mit einem Client/Server-basierten Bildrenderingsystem
JP4864632B2 (ja) * 2006-10-12 2012-02-01 株式会社リコー 画像入力装置、画像入力方法、個人認証装置及び電子機器
GB2444533B (en) * 2006-12-06 2011-05-04 Sony Uk Ltd A method and an apparatus for generating image content
US20080165843A1 (en) * 2007-01-03 2008-07-10 Human Monitoring Ltd. Architecture for image compression in a video hardware
JP2008242658A (ja) * 2007-03-26 2008-10-09 Funai Electric Co Ltd 立体物体の撮像装置
JP4915859B2 (ja) * 2007-03-26 2012-04-11 船井電機株式会社 物体の距離導出装置
US8237830B2 (en) * 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
CN101689357B (zh) * 2007-04-11 2015-03-04 Red.Com公司 摄像机
JP2008268557A (ja) * 2007-04-20 2008-11-06 Sony Corp 画像生成装置及び方法、プログラム、並びに記録媒体
US7609060B2 (en) * 2007-04-20 2009-10-27 Albert Einstein College Of Medicine Of Yeshiva University Non iterative shimming in magnetic resonance imaging in the presence of high LIPID levels
US8068700B2 (en) * 2007-05-28 2011-11-29 Sanyo Electric Co., Ltd. Image processing apparatus, image processing method, and electronic appliance
US9576302B2 (en) * 2007-05-31 2017-02-21 Aditall Llc. System and method for dynamic generation of video content
DE102007026595A1 (de) * 2007-06-08 2008-12-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Kompensation von Farbverschiebungen in faseroptischen Abbildungssystemen
JP5000395B2 (ja) * 2007-06-26 2012-08-15 オリンパス株式会社 撮像表示方法および撮像表示装置
EP2171681A1 (en) * 2007-06-27 2010-04-07 i-Optics B.V. Ophthalmic apparatus and method for increasing the resolution of aliased ophthalmic images
US8976242B2 (en) * 2007-10-03 2015-03-10 Kabushiki Kaisha Toshiba Visual inspection apparatus and visual inspection method
JP2009111691A (ja) * 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
JP2009110391A (ja) * 2007-10-31 2009-05-21 Canon Inc 情報処理装置および制御方法および制御プログラム
EP2063392A1 (en) * 2007-11-24 2009-05-27 Barco NV Image processing of medical images
JP4551486B2 (ja) * 2007-12-04 2010-09-29 パナソニック株式会社 画像生成装置
JP2009147730A (ja) * 2007-12-14 2009-07-02 Fujifilm Corp 動画生成装置、動画撮影装置、動画生成方法及びプログラム
US8315480B2 (en) * 2007-12-28 2012-11-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program to execute the image processing method
JP5173536B2 (ja) * 2008-04-02 2013-04-03 シャープ株式会社 撮像装置及び光軸制御方法
US8055101B2 (en) * 2008-04-29 2011-11-08 Adobe Systems Incorporated Subpixel registration
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2009146388A1 (en) * 2008-05-28 2009-12-03 The Trustees Of Columbia University In The City Of New York Voxel-based methods for assessing subjects using positron emission tomography
US9117133B2 (en) * 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US8531650B2 (en) * 2008-07-08 2013-09-10 Chiaro Technologies LLC Multiple channel locating
US10373174B2 (en) * 2008-08-08 2019-08-06 LocalScene LLC System and method for online content delivery
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
BRPI0905360A2 (pt) * 2008-09-08 2015-06-30 Sony Corp Aparelho e método de processamento de imagem, programa, e, aparelo de captura de imagem
US8553093B2 (en) * 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
KR101531709B1 (ko) * 2008-10-17 2015-07-06 삼성전자 주식회사 고감도 컬러 영상을 제공하기 위한 영상 처리 장치 및 방법
US8436909B2 (en) * 2008-10-21 2013-05-07 Stmicroelectronics S.R.L. Compound camera sensor and related method of processing digital images
US8601385B2 (en) * 2008-11-25 2013-12-03 General Electric Company Zero pixel travel systems and methods of use
JP4650560B2 (ja) * 2008-11-27 2011-03-16 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
US8200023B2 (en) * 2008-12-12 2012-06-12 Xerox Corporation Method and system for processing photo product templates
US20100157352A1 (en) * 2008-12-19 2010-06-24 Morales Javier A Method and system for creating visual representation of wysiwyg finishing instructions for specialty photo media
CN101754028B (zh) * 2008-12-22 2012-01-04 华晶科技股份有限公司 提高影像分辨率的方法
US20100165088A1 (en) * 2008-12-29 2010-07-01 Intromedic Apparatus and Method for Displaying Capsule Endoscope Image, and Record Media Storing Program for Carrying out that Method
US8626322B2 (en) * 2008-12-30 2014-01-07 Apple Inc. Multimedia display based on audio and visual complexity
US8832555B2 (en) * 2008-12-30 2014-09-09 Apple Inc. Framework for slideshow object
US8495074B2 (en) * 2008-12-30 2013-07-23 Apple Inc. Effects application based on object clustering
US8621357B2 (en) * 2008-12-30 2013-12-31 Apple Inc. Light table for editing digital media
US20100169784A1 (en) * 2008-12-30 2010-07-01 Apple Inc. Slide Show Effects Style
US9152292B2 (en) * 2009-02-05 2015-10-06 Hewlett-Packard Development Company, L.P. Image collage authoring
US20120035963A1 (en) * 2009-03-26 2012-02-09 Koninklijke Philips Electronics N.V. System that automatically retrieves report templates based on diagnostic information
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP5405187B2 (ja) * 2009-05-08 2014-02-05 株式会社東芝 X線コンピュータ断層撮影装置
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
EP2441052B1 (en) * 2009-06-10 2013-01-23 Koninklijke Philips Electronics N.V. Visualization apparatus for visualizing an image data set
US8406515B2 (en) * 2009-06-24 2013-03-26 Hewlett-Packard Development Company, L.P. Method for automatically cropping digital images
JP5589585B2 (ja) * 2009-07-07 2014-09-17 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5515507B2 (ja) * 2009-08-18 2014-06-11 ソニー株式会社 表示装置及び表示方法
US8699565B2 (en) * 2009-08-27 2014-04-15 Hewlett-Packard Development Company, L.P. Method and system for mixed-resolution low-complexity information coding and a corresponding method and system for decoding coded information
JP5486364B2 (ja) * 2009-09-17 2014-05-07 富士フイルム株式会社 読影レポート作成装置および方法並びにプログラム
US8712120B1 (en) * 2009-09-28 2014-04-29 Dr Systems, Inc. Rules-based approach to transferring and/or viewing medical images
US8330827B2 (en) * 2009-11-19 2012-12-11 Eastman Kodak Company Increasing image resolution using combined differential image
JP5561027B2 (ja) * 2009-11-30 2014-07-30 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP5556164B2 (ja) * 2009-12-17 2014-07-23 株式会社島津製作所 測定データ分析処理装置及びプログラム
EP2518995B1 (en) * 2009-12-24 2018-08-22 Sharp Kabushiki Kaisha Multocular image pickup apparatus and multocular image pickup method
US20110157609A1 (en) * 2009-12-31 2011-06-30 David Brady Systems and methods for processing online and print material
US8565554B2 (en) * 2010-01-09 2013-10-22 Microsoft Corporation Resizing of digital images
JP5366855B2 (ja) * 2010-02-16 2013-12-11 富士フイルム株式会社 画像処理方法及び装置並びにプログラム
US20110221764A1 (en) * 2010-03-12 2011-09-15 Microsoft Corporation Laying out and cropping images in pre-defined layouts
CN102844783A (zh) * 2010-03-31 2012-12-26 株式会社日立医疗器械 检查信息显示装置及方法
JP6158509B2 (ja) * 2010-03-31 2017-07-05 株式会社日立製作所 検査情報表示装置及び方法
US8861822B2 (en) * 2010-04-07 2014-10-14 Fujifilm Sonosite, Inc. Systems and methods for enhanced imaging of objects within an image
EP2386998B1 (en) * 2010-05-14 2018-07-11 Honda Research Institute Europe GmbH A Two-Stage Correlation Method for Correspondence Search
US20110292258A1 (en) * 2010-05-28 2011-12-01 C2Cure, Inc. Two sensor imaging systems
JP6039156B2 (ja) * 2010-06-08 2016-12-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US8526691B2 (en) * 2010-06-09 2013-09-03 Siemens Aktiengesellschaft System and method for passive medical device navigation under real-time MRI guidance
US8786755B2 (en) * 2010-06-29 2014-07-22 National University Corporation Kyoto Institute Of Technology Method and apparatus for polarization imaging
WO2012001982A1 (ja) * 2010-06-30 2012-01-05 パナソニック株式会社 ステレオ画像処理装置およびステレオ画像処理方法
JP5686673B2 (ja) * 2010-07-22 2015-03-18 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
US8345132B2 (en) * 2010-07-23 2013-01-01 Omnivision Technologies, Inc. Image sensor with dual element color filter array and three channel color output
US8749694B2 (en) * 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
WO2012051216A1 (en) * 2010-10-11 2012-04-19 The Regents Of The University Of Colorado, A Body Corporate Direct echo particle image velocimetry flow vector mapping on ultrasound dicom images
US9569664B2 (en) * 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
US9643184B2 (en) * 2010-10-26 2017-05-09 California Institute Of Technology e-Petri dishes, devices, and systems having a light detector for sampling a sequence of sub-pixel shifted projection images
WO2012057804A1 (en) * 2010-10-30 2012-05-03 Hewlett-Packard Development Company, L.P. Optimizing hyper parameters of probabilistic model for mixed text-and-graphics layout template
US8462221B2 (en) * 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
US9137503B2 (en) * 2010-11-03 2015-09-15 Sony Corporation Lens and color filter arrangement, super-resolution camera system and method
US9262444B2 (en) * 2010-11-24 2016-02-16 General Electric Company Systems and methods for applying series level operations and comparing images using a thumbnail navigator
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
AU2010257231B2 (en) * 2010-12-15 2014-03-06 Canon Kabushiki Kaisha Collaborative image capture
JP2012142827A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
US8693750B2 (en) * 2011-01-14 2014-04-08 Siemens Aktiengesellschaft Method and system for automatic detection of spinal bone lesions in 3D medical image data
KR101125765B1 (ko) * 2011-01-24 2012-03-27 중앙대학교 산학협력단 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법
US20120198384A1 (en) * 2011-01-28 2012-08-02 Konica Minolta Laboratory U.S.A., Inc. Graphical user interface presenting a unified view of a main document image and thumbnail images
US8698885B2 (en) * 2011-02-14 2014-04-15 Intuitive Surgical Operations, Inc. Methods and apparatus for demosaicing images with highly correlated color channels
US8839110B2 (en) * 2011-02-16 2014-09-16 Apple Inc. Rate conform operation for a media-editing application
US9412414B2 (en) * 2011-02-16 2016-08-09 Apple Inc. Spatial conform operation for a media-editing application
JP2012185808A (ja) * 2011-02-17 2012-09-27 Panasonic Corp 画像処理装置、画像処理方法、及びコンピュータプログラム、並びに撮像装置
US10359361B2 (en) * 2011-02-18 2019-07-23 The General Hospital Corporation Laser speckle micro-rheology in characterization of biomechanical properties of tissues
JP2012186593A (ja) * 2011-03-04 2012-09-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9058611B2 (en) * 2011-03-17 2015-06-16 Xerox Corporation System and method for advertising using image search and classification
US20120281126A1 (en) * 2011-04-11 2012-11-08 Fossum Eric R Digital integration sensor
JP5687553B2 (ja) * 2011-04-25 2015-03-18 オリンパス株式会社 画像合成装置、画像合成方法及び画像合成プログラム
US20120294514A1 (en) * 2011-05-19 2012-11-22 Xerox Corporation Techniques to enable automated workflows for the creation of user-customized photobooks
WO2012171185A1 (en) * 2011-06-15 2012-12-20 Microsoft Corporation High resolution multispectral image capture
CN103650486B (zh) * 2011-07-08 2016-03-02 奥林巴斯株式会社 摄像装置和图像生成方法
JP5932035B2 (ja) * 2011-08-04 2016-06-08 グーグル インコーポレイテッド 検索結果を伴う知識パネルを提供すること
US8542933B2 (en) * 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
JP5865667B2 (ja) 2011-10-19 2016-02-17 株式会社キーエンス 拡大観察装置
US20130145241A1 (en) * 2011-12-04 2013-06-06 Ahmed Salama Automated augmentation of text, web and physical environments using multimedia content
CN104012085B (zh) * 2011-12-27 2016-06-29 富士胶片株式会社 彩色摄像元件
WO2013116577A1 (en) * 2012-01-31 2013-08-08 Newblue, Inc. Systems and methods for media personalization using templates
EP2812880A1 (en) * 2012-02-10 2014-12-17 Koninklijke Philips N.V. Clinically driven image fusion
US9500485B2 (en) * 2012-02-16 2016-11-22 Furuno Electric Co., Ltd. Device and method for displaying information
JP6214887B2 (ja) * 2012-03-12 2017-10-18 東芝メディカルシステムズ株式会社 レポート作成支援装置及びレポート閲覧装置
JP5844187B2 (ja) * 2012-03-23 2016-01-13 富士フイルム株式会社 画像解析装置および方法並びにプログラム
WO2013157308A1 (ja) * 2012-04-20 2013-10-24 ソニー株式会社 画像処理装置及び画像処理方法
MX341203B (es) * 2012-05-14 2016-08-11 Rossato Luca Descomposicion de datos residuales durante la codificacion, decodificacion y reconstruccion de señal en jerarquia escalonada.
US20130326333A1 (en) * 2012-06-01 2013-12-05 Atiq Hashmi Mobile Content Management System
US9083935B2 (en) * 2012-06-15 2015-07-14 Microsoft Technology Licensing, Llc Combining multiple images in bracketed photography
EP2677734A3 (en) * 2012-06-18 2016-01-13 Sony Mobile Communications AB Array camera imaging system and method
JP2014028124A (ja) * 2012-06-27 2014-02-13 Toshiba Corp 医用画像処理装置及びx線診断装置
WO2014004870A1 (en) * 2012-06-28 2014-01-03 Duke University Multi-shot scan protocols for high-resolution mri incorporating multiplexed sensitivity-encoding (muse)
US9341859B2 (en) * 2012-07-06 2016-05-17 Innolux Corporation 3D image based alignment method
JP2014027526A (ja) * 2012-07-27 2014-02-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9087289B2 (en) * 2012-08-21 2015-07-21 Canon Kabushiki Kaisha Image processing method and apparatus for printing monochrome or color images on a medium
CA2881131A1 (en) * 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US9183475B2 (en) * 2012-08-21 2015-11-10 Canon Kabushiki Kaisha Image processing method and apparatus configured for printing a plurality of monochrome images having different parameters
CN104685513B (zh) * 2012-08-23 2018-04-27 派力肯影像公司 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
JPWO2014064864A1 (ja) * 2012-10-24 2016-09-08 三菱電機株式会社 画像描画装置、画像描画方法、及びナビゲーション装置
CA2889495A1 (en) * 2012-10-30 2014-05-08 California Institute Of Technology Fourier ptychographic imaging systems, devices, and methods
US20140136962A1 (en) * 2012-11-12 2014-05-15 Vistaprint Technologies Limited Method and System for Detecting and Removing Printer Control Marks from Rasterized Image for Placement in Image Container of Document Template
TWI525382B (zh) * 2012-11-21 2016-03-11 豪威科技股份有限公司 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法
JP2014106289A (ja) * 2012-11-26 2014-06-09 Sony Corp 表示装置、電子機器及び表示装置の駆動方法
EP2929508A1 (en) * 2012-12-07 2015-10-14 Canon Kabushiki Kaisha Image generating apparatus and image generating method
CN104583982B (zh) * 2012-12-11 2017-03-22 威尔森信息通信株式会社 医疗支援系统及其方法
US20150178786A1 (en) * 2012-12-25 2015-06-25 Catharina A.J. Claessens Pictollage: Image-Based Contextual Advertising Through Programmatically Composed Collages
US9364191B2 (en) * 2013-02-11 2016-06-14 University Of Rochester Method and apparatus of spectral differential phase-contrast cone-beam CT and hybrid cone-beam CT
US9215433B2 (en) * 2014-02-11 2015-12-15 Duelight Llc Systems and methods for digital photography
KR102048793B1 (ko) * 2013-02-12 2019-11-26 지고 코포레이션 표면 컬러를 이용한 표면 토포그래피 간섭측정계
US9521384B2 (en) * 2013-02-14 2016-12-13 Red.Com, Inc. Green average subtraction in image data
WO2014127535A1 (en) * 2013-02-22 2014-08-28 Google Inc. Systems and methods for automated content generation
EP2975444B1 (en) * 2013-03-13 2023-04-26 Sony Group Corporation Information processing device, information processing method, and information processing program
WO2014159779A1 (en) * 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9224362B2 (en) * 2013-03-14 2015-12-29 Microsoft Technology Licensing, Llc Monochromatic edge geometry reconstruction through achromatic guidance
US9497429B2 (en) * 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
TWI620445B (zh) * 2013-03-25 2018-04-01 Sony Corp 攝像元件及電子機器
US9135292B1 (en) * 2013-04-08 2015-09-15 Google Inc. Selecting a template for a content item
JP6173751B2 (ja) * 2013-04-09 2017-08-02 東芝メディカルシステムズ株式会社 医用画像処理装置、x線診断装置及び医用画像処理プログラム
JP6155785B2 (ja) 2013-04-15 2017-07-05 オムロン株式会社 画像処理装置、画像処理装置の制御方法、画像処理プログラムおよびその記録媒体
US20140331124A1 (en) * 2013-05-02 2014-11-06 Locu, Inc. Method for maintaining common data across multiple platforms
US10282075B2 (en) * 2013-06-24 2019-05-07 Microsoft Technology Licensing, Llc Automatic presentation of slide design suggestions
KR20160031989A (ko) * 2013-07-12 2016-03-23 소니 주식회사 이미지 처리 장치 및 이미지 처리 방법
GB201313680D0 (en) * 2013-07-31 2014-01-08 Mbda Uk Ltd Image processing
GB201313681D0 (en) * 2013-07-31 2014-01-08 Mbda Uk Ltd Image processing
GB201313682D0 (en) * 2013-07-31 2013-12-18 Mbda Uk Ltd Method and apparatus for tracking an object
US9223773B2 (en) * 2013-08-08 2015-12-29 Palatir Technologies Inc. Template system for custom document generation
US9247136B2 (en) * 2013-08-21 2016-01-26 Xerox Corporation Automatic mobile photo capture using video analysis
US9013611B1 (en) * 2013-09-06 2015-04-21 Xilinx, Inc. Method and device for generating a digital image based upon a selected set of chrominance groups
US20160212455A1 (en) * 2013-09-25 2016-07-21 Intel Corporation Dynamic product placement in media content
US10423713B1 (en) * 2013-10-15 2019-09-24 Google Llc System and method for updating a master slide of a presentation
US9544562B2 (en) * 2013-10-17 2017-01-10 Northrop Grumman Systems Corporation Converting an image from a dual-band sensor to a visible color image
JP6049202B2 (ja) * 2013-10-25 2016-12-21 富士フイルム株式会社 画像処理装置、方法、及びプログラム
JP6654434B2 (ja) * 2013-11-01 2020-02-26 ソニー株式会社 画像処理装置および方法
JPWO2015064403A1 (ja) * 2013-11-01 2017-03-09 ソニー株式会社 画像処理装置および方法
JP6160448B2 (ja) * 2013-11-05 2017-07-12 ソニー株式会社 撮像装置および撮像装置の制御方法
US9264592B2 (en) * 2013-11-07 2016-02-16 Pelican Imaging Corporation Array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) * 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9147095B2 (en) * 2013-11-22 2015-09-29 Ncr Corporation Optical code scanner optimized for reading 2D optical codes
GB2523531A (en) * 2013-11-29 2015-09-02 Siemens Medical Solutions Arrangements for viewing clinical images
JP2016539707A (ja) * 2013-12-09 2016-12-22 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像情報に基づく画像合成
WO2015091299A1 (en) * 2013-12-17 2015-06-25 Koninklijke Philips N.V. Model-based segmentation of an anatomical structure
US20150169207A1 (en) * 2013-12-18 2015-06-18 Dropbox, Inc. Systems and methods for generating personalized account reconfiguration interfaces
CN103745439B (zh) * 2013-12-31 2018-10-02 华为技术有限公司 图像放大方法以及装置
US20150206169A1 (en) * 2014-01-17 2015-07-23 Google Inc. Systems and methods for extracting and generating images for display content
US20150206300A1 (en) * 2014-01-21 2015-07-23 Agency For Science, Technology And Research Method and apparatus for extraction and quantification of hematoma from a brain scan such as computed tomography data
WO2015111278A1 (ja) * 2014-01-24 2015-07-30 オリンパス株式会社 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム
WO2015124772A1 (en) * 2014-02-21 2015-08-27 Ventana Medical Systems, Inc. Group sparsity model for image unmixing
CN103810685B (zh) * 2014-02-25 2016-05-25 清华大学深圳研究生院 一种深度图的超分辨率处理方法
US20150242374A1 (en) * 2014-02-27 2015-08-27 Styla GmbH Automatic layout technology
US10503948B2 (en) * 2014-03-06 2019-12-10 Qualcomm Incorporated Multi-spectral ultrasonic imaging
US20150260509A1 (en) * 2014-03-11 2015-09-17 Jonathan Kofman Three dimensional (3d) imaging by a mobile communication device
JP5788551B1 (ja) * 2014-03-27 2015-09-30 オリンパス株式会社 画像処理装置および画像処理方法
JP6324155B2 (ja) * 2014-03-27 2018-05-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2015192238A (ja) * 2014-03-27 2015-11-02 キヤノン株式会社 画像データ生成装置および画像データ生成方法
KR20160138502A (ko) * 2014-03-28 2016-12-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 정량적인 3차원 모델의 3차원 영상과의 정렬
US10350009B2 (en) * 2014-03-28 2019-07-16 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and printing of surgical implants
KR102397254B1 (ko) * 2014-03-28 2022-05-12 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 장면의 정량적인 3차원 영상
CN110897590B (zh) * 2014-03-28 2021-11-16 直观外科手术操作公司 带有基于定量三维成像的触觉反馈的手术系统
KR102373714B1 (ko) * 2014-03-28 2022-03-15 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 멀티포트 투시에 의한 수술 장면의 정량적 3차원 영상화
JP6042031B2 (ja) * 2014-03-31 2016-12-14 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP5810251B1 (ja) * 2014-04-09 2015-11-11 パナソニック株式会社 情報端末の制御方法及びプログラム
AU2015261891A1 (en) * 2014-05-23 2016-10-13 Ventana Medical Systems, Inc. Systems and methods for detection of biological structures and/or patterns in images
EP3149700B1 (en) * 2014-05-30 2018-12-12 Providence Health & Services - Oregon D/B/A An image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains
WO2015189845A1 (en) * 2014-06-10 2015-12-17 Ramot At Tel-Aviv University Ltd. Method and system for processing an image
JP6362094B2 (ja) * 2014-06-17 2018-07-25 キヤノン株式会社 印刷検品装置、印刷検品方法及びプログラム
AU2015277218B2 (en) * 2014-06-18 2021-02-25 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays
JP2016015430A (ja) * 2014-07-03 2016-01-28 ソニー株式会社 固体撮像素子および電子機器
WO2016019324A2 (en) * 2014-08-01 2016-02-04 The Regents Of The University Of California Device and method for iterative phase recovery based on pixel super-resolved on-chip holography
EP2982415A1 (en) * 2014-08-04 2016-02-10 Université de Strasbourg Method for estimating the spatial distribution of the hazardousness of radiation doses
US9344639B2 (en) * 2014-08-12 2016-05-17 Google Technology Holdings LLC High dynamic range array camera
US9779491B2 (en) * 2014-08-15 2017-10-03 Nikon Corporation Algorithm and device for image processing
EP3195191B1 (en) * 2014-09-03 2020-10-21 Ventana Medical Systems, Inc. Systems and methods for calculating immune scores
US10254928B1 (en) * 2014-09-08 2019-04-09 Amazon Technologies, Inc. Contextual card generation and delivery
JP6033821B2 (ja) * 2014-09-12 2016-11-30 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US9654700B2 (en) * 2014-09-16 2017-05-16 Google Technology Holdings LLC Computational camera using fusion of image sensors
WO2016042811A1 (ja) * 2014-09-19 2016-03-24 オリンパス株式会社 医療用観察システム
KR20170063827A (ko) * 2014-09-29 2017-06-08 포토네이션 케이맨 리미티드 어레이 카메라들의 동적 교정을 위한 시스템들 및 방법들
KR102310976B1 (ko) * 2014-10-27 2021-10-12 삼성메디슨 주식회사 초음파 진단 장치, 그에 따른 초음파 진단 방법 및 그에 따른 컴퓨터 판독 가능한 저장매체
US9626760B2 (en) * 2014-10-30 2017-04-18 PathPartner Technology Consulting Pvt. Ltd. System and method to align and merge differently exposed digital images to create a HDR (High Dynamic Range) image
AU2015357091A1 (en) * 2014-12-03 2017-04-27 Ventana Medical Systems, Inc. Systems and methods for early-stage cancer prognosis
JP6394338B2 (ja) * 2014-12-04 2018-09-26 ソニー株式会社 画像処理装置、画像処理方法、及び撮像システム
CN104484659B (zh) * 2014-12-30 2018-08-07 南京巨鲨显示科技有限公司 一种对医学彩色和灰阶图像自动识别及校准的方法
AU2015373423A1 (en) * 2014-12-30 2017-05-18 Ventana Medical Systems, Inc. Systems and methods for co-expression analysis in immunoscore computation
WO2016109585A1 (en) * 2014-12-31 2016-07-07 Flir Systems, Inc. Image enhancement with fusion
US10818073B2 (en) * 2015-03-10 2020-10-27 Wisconsin Alumni Research Foundation System and method for time-resolved, three-dimensional angiography with flow information
US9536045B1 (en) * 2015-03-16 2017-01-03 D.R. Systems, Inc. Dynamic digital image compression based on digital image characteristics
US10614285B2 (en) * 2015-03-18 2020-04-07 Proscia Inc. Computing technologies for image operations
CN107431839B (zh) * 2015-04-13 2020-12-04 株式会社半导体能源研究所 译码器、接收器及电子设备
JP6746359B2 (ja) * 2015-05-08 2020-08-26 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
KR102302674B1 (ko) * 2015-05-13 2021-09-16 삼성전자주식회사 영상신호 제공장치 및 영상신호 제공방법
JP6099849B1 (ja) * 2015-05-22 2017-03-22 オリンパス株式会社 医療システム
JP6673941B2 (ja) * 2015-05-26 2020-04-01 ベンタナ メディカル システムズ, インコーポレイテッド イン・サイチュー・ハイブリダイゼーションおよび免疫組織化学のための染色品質評価方法およびシステム
WO2016194177A1 (ja) * 2015-06-03 2016-12-08 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理方法
JP6503907B2 (ja) * 2015-06-12 2019-04-24 リコーイメージング株式会社 撮影装置、撮影制御装置、撮影制御方法、及び撮影制御プログラム
JP6545013B2 (ja) * 2015-06-17 2019-07-17 キヤノン株式会社 画像形成方法、画像形成装置、および画像形成プログラム
WO2016207990A1 (ja) * 2015-06-24 2016-12-29 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
US20170032527A1 (en) * 2015-07-31 2017-02-02 Iwk Health Centre Method and system for head digitization and co-registration of medical imaging data
JP6461742B2 (ja) * 2015-07-31 2019-01-30 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP2017034656A (ja) * 2015-08-04 2017-02-09 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置、医療用画像取得システム及び内視鏡装置
US10699476B2 (en) * 2015-08-06 2020-06-30 Ams Sensors Singapore Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
US10169374B2 (en) * 2015-08-21 2019-01-01 Adobe Systems Incorporated Image searches using image frame context
WO2017035505A1 (en) * 2015-08-27 2017-03-02 The Regents Of The University Of Colorado, A Body Corporate Data driven methods for deriving amplitude-based motion characterizations in pet imaging
CN108140249B (zh) * 2015-09-02 2022-04-19 文塔纳医疗系统公司 用于显示生物标本的多个图像的图像处理系统和方法
US10073861B2 (en) * 2015-09-03 2018-09-11 Disney Enterprises, Inc. Story albums
US9743133B2 (en) * 2015-09-15 2017-08-22 Echostar Technologies L.L.C. Apparatus, systems and methods for satellite system fast channel change
US9654711B2 (en) * 2015-09-17 2017-05-16 Sony Semiconductor Solutions Corporation Power reduction for image sensor with raw image scaler
JP6758747B2 (ja) * 2015-09-18 2020-09-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
US10419788B2 (en) * 2015-09-30 2019-09-17 Nathan Dhilan Arimilli Creation of virtual cameras for viewing real-time events
CN108141509B (zh) * 2015-10-16 2020-07-17 奥林巴斯株式会社 图像处理装置、摄像装置、图像处理方法和存储介质
JP6045767B1 (ja) * 2015-10-20 2016-12-14 オリンパス株式会社 撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体
KR102084378B1 (ko) * 2015-10-23 2020-03-03 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치 및 전자 기기
WO2017073361A1 (ja) * 2015-10-30 2017-05-04 ソニー株式会社 情報処理装置、情報処理方法、及び、内視鏡システム
JP6640530B2 (ja) * 2015-10-30 2020-02-05 キヤノンメディカルシステムズ株式会社 磁気共鳴イメージング装置、医用画像処理装置及び画像処理方法
EP3376759B1 (en) * 2015-11-10 2021-04-14 Sony Corporation Image processing device and image processing method
US20170140250A1 (en) * 2015-11-13 2017-05-18 Microsoft Technology Licensing, Llc Content file image analysis
CN108353122B (zh) * 2015-11-17 2021-03-05 索尼公司 多相机系统、控制多相机系统的方法和相机
EP3378034B1 (en) * 2015-11-17 2019-10-30 Koninklijke Philips N.V. Data and scanner spec guided smart filtering for low dose and/or high resolution pet imaging
JP2017097645A (ja) * 2015-11-25 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2017108211A (ja) * 2015-12-07 2017-06-15 ソニー株式会社 撮像装置、撮像制御方法、および、プログラム
US20170178395A1 (en) * 2015-12-16 2017-06-22 Google Inc. Light field rendering of an image using variable computational complexity
JP6566865B2 (ja) * 2015-12-28 2019-08-28 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
KR102617041B1 (ko) * 2015-12-28 2023-12-26 가부시키가이샤 한도오따이 에네루기 켄큐쇼 장치, 텔레비전 시스템, 및 전자 기기
JP6688088B2 (ja) * 2016-01-19 2020-04-28 キヤノン株式会社 情報処理装置およびその制御方法
KR20170086977A (ko) * 2016-01-19 2017-07-27 삼성전자주식회사 영상 데이터 처리 방법 및 장치
JP6533991B2 (ja) * 2016-02-16 2019-06-26 東芝エネルギーシステムズ株式会社 医用画像処理装置、方法、プログラム及び放射線治療装置
JP6296365B2 (ja) * 2016-02-29 2018-03-20 パナソニックIpマネジメント株式会社 手術内視鏡用カメラコントロールユニット
US9928575B2 (en) * 2016-03-01 2018-03-27 Sony Corporation Method and system for processing a multi-channel image
US11244478B2 (en) * 2016-03-03 2022-02-08 Sony Corporation Medical image processing device, system, method, and program
JP6865395B2 (ja) * 2016-03-10 2021-04-28 パナソニックIpマネジメント株式会社 撮像装置
EP3429194B1 (en) * 2016-03-11 2021-03-31 Sony Corporation Image processing device and method
WO2017158466A1 (en) * 2016-03-18 2017-09-21 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and system using the same
US10417749B2 (en) * 2016-03-22 2019-09-17 Algolux Inc. Method and system for edge denoising of a digital image
US10228434B2 (en) * 2016-05-03 2019-03-12 The General Hospital Corporation Multi-shot echo planar imaging using reordered segments and RF excitation pulse phase and slice profiles matched across interleaves
US10838192B2 (en) * 2016-05-10 2020-11-17 The Regents Of The University Of California Method and device for high-resolution color imaging using merged images from holographic and lens-based devices
DE102016208647A1 (de) * 2016-05-19 2017-11-23 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur Überwachung einer Brustuntersuchung
EP3246812A1 (en) * 2016-05-20 2017-11-22 OCE Holding B.V. Roll to roll printing method
US11137462B2 (en) * 2016-06-10 2021-10-05 Board Of Trustees Of Michigan State University System and method for quantifying cell numbers in magnetic resonance imaging (MRI)
WO2017218263A1 (en) * 2016-06-15 2017-12-21 Kopin Corporation Hands-free headset for use with mobile communication device
CN109475278A (zh) * 2016-07-25 2019-03-15 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
CN107647880B (zh) * 2016-07-26 2021-01-19 东芝医疗系统株式会社 医用图像处理装置以及医用图像处理方法
US9875552B1 (en) * 2016-07-26 2018-01-23 Teradici Corporation Content independent method of motion determination using sparse matrices
KR101865126B1 (ko) * 2016-08-04 2018-06-08 광주과학기술원 촬상장치, 촬상방법, 거리측정장치, 및 거리측정방법
JP6697680B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
US10121513B2 (en) * 2016-08-30 2018-11-06 International Business Machines Corporation Dynamic image content overlaying
WO2018044314A1 (en) * 2016-09-01 2018-03-08 Duelight Llc Systems and methods for adjusting focus based on focus target information
JP6743604B2 (ja) * 2016-09-12 2020-08-19 ソニー株式会社 マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法
JP6662745B2 (ja) * 2016-10-04 2020-03-11 株式会社ソニー・インタラクティブエンタテインメント 撮影装置、情報処理システム、および偏光画像処理方法
JP6704828B2 (ja) * 2016-10-07 2020-06-03 キヤノン株式会社 制御装置、制御方法、制御システム及びプログラム
WO2018069785A1 (en) * 2016-10-12 2018-04-19 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and system using the same
US10558029B2 (en) * 2016-10-27 2020-02-11 Scopio Labs Ltd. System for image reconstruction using a known pattern
JP6780447B2 (ja) * 2016-11-02 2020-11-04 コニカミノルタ株式会社 超音波診断装置及び画像形成方法
WO2018085694A1 (en) * 2016-11-04 2018-05-11 Intuitive Surgical Operations, Inc. Reconfigurable display in computer-assisted tele-operated surgery
TWI624804B (zh) * 2016-11-07 2018-05-21 盾心科技股份有限公司 利用超解析重建法生成高解析度影像的方法與系統
US20180137602A1 (en) * 2016-11-14 2018-05-17 Google Inc. Low resolution rgb rendering for efficient transmission
US10262387B2 (en) * 2016-11-14 2019-04-16 Google Llc Early sub-pixel rendering
WO2018092379A1 (ja) * 2016-11-17 2018-05-24 ソニー株式会社 画像処理装置と画像処理方法
AU2016266019A1 (en) * 2016-11-30 2018-06-14 Canon Kabushiki Kaisha Image registration method
JP2018098641A (ja) * 2016-12-13 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、プログラム、および電子機器
US10692259B2 (en) * 2016-12-15 2020-06-23 Adobe Inc. Automatic creation of media collages
JP6789810B2 (ja) * 2016-12-28 2020-11-25 キヤノン株式会社 画像処理方法、画像処理装置、および、撮像装置
US10713801B2 (en) * 2017-01-06 2020-07-14 Accuray Incorporated Image registration of treatment planning image, intrafraction 3D image, and intrafraction 2D x-ray image
US10057538B2 (en) * 2017-01-16 2018-08-21 Gopro, Inc. Apparatus and methods for the selection of one or more frame interpolation techniques
EP3352454B1 (en) * 2017-01-19 2019-01-02 Axis AB Method for fixed pattern noise reduction and use of such method
US20180206820A1 (en) * 2017-01-26 2018-07-26 Carestream Health, Inc. Ultrasound apparatus and method
JP6890991B2 (ja) * 2017-01-31 2021-06-18 キヤノン株式会社 画像処理装置、制御方法及びプログラム
CN108419061B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
CN108419062B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 图像融合设备和图像融合方法
US10282630B2 (en) * 2017-03-08 2019-05-07 Raytheon Company Multi-channel compressive sensing-based object recognition
JP6732214B2 (ja) * 2017-03-10 2020-07-29 オムロン株式会社 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム
US10489887B2 (en) * 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
JP6467455B2 (ja) * 2017-04-18 2019-02-13 キヤノン株式会社 撮像装置、その制御方法、プログラム及び記録媒体
US10776904B2 (en) * 2017-05-03 2020-09-15 Samsung Electronics Co., Ltd. Method and apparatus for processing image
US10453193B2 (en) * 2017-05-05 2019-10-22 General Electric Company Methods and system for shading a two-dimensional ultrasound image
US10596391B2 (en) * 2017-05-11 2020-03-24 Elekta, Inc. Systems and methods of accounting for shape change during radiotherapy
US10275130B2 (en) * 2017-05-12 2019-04-30 General Electric Company Facilitating transitioning between viewing native 2D and reconstructed 3D medical images
CN110651297B (zh) * 2017-05-16 2022-11-11 苹果公司 使用引导图像对合成的长曝光图像进行可选增强
CN109005392B (zh) * 2017-06-07 2021-01-12 联发科技股份有限公司 一种去马赛克方法及其电路
US11154196B2 (en) * 2017-06-20 2021-10-26 Siemens Healthcare Gmbh Deep-learnt tissue deformation for medical imaging
US11087466B2 (en) * 2017-06-22 2021-08-10 Koninklijke Philips N.V. Methods and system for compound ultrasound image generation
WO2019008693A1 (ja) * 2017-07-05 2019-01-10 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
WO2019008692A1 (ja) * 2017-07-05 2019-01-10 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
US10650505B2 (en) * 2017-07-12 2020-05-12 Tata Consultancy Services Limited Method and system for generating high resolution image by fusing low resolution images
CN107292291B (zh) * 2017-07-19 2020-04-03 北京智芯原动科技有限公司 一种车辆识别方法和系统
EP3662439A1 (en) * 2017-07-31 2020-06-10 Institut Pasteur Method, device, and computer program for improving the reconstruction of dense super-resolution images from diffraction-limited images acquired by single molecule localization microscopy
US10535119B2 (en) * 2017-08-11 2020-01-14 Intermap Technologies Inc. Method and apparatus for enhancing 3D model resolution
AU2017225023A1 (en) * 2017-09-05 2019-03-21 Canon Kabushiki Kaisha System and method for determining a camera pose
US10514335B2 (en) * 2017-09-08 2019-12-24 Arizona Board Of Regents On Behalf Of The University Of Arizona Systems and methods for optical spectrometer calibration
US10839577B2 (en) * 2017-09-08 2020-11-17 Apple Inc. Creating augmented reality self-portraits using machine learning
JP6975004B2 (ja) * 2017-10-03 2021-12-01 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置、および医療用観察システム
JP7102121B2 (ja) * 2017-10-06 2022-07-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN109712691B (zh) * 2017-10-25 2021-07-23 商之器科技股份有限公司 转换行动装置显示器成医疗影像显示用系统及方法
US10452920B2 (en) * 2017-10-31 2019-10-22 Google Llc Systems and methods for generating a summary storyboard from a plurality of image frames
KR20190049197A (ko) * 2017-11-01 2019-05-09 한국전자통신연구원 고해상도 영상을 이용한 업샘플링 및 rgb 합성 방법, 및 이를 수행하는 장치
JP7051373B2 (ja) * 2017-11-02 2022-04-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
CN107783304B (zh) * 2017-11-08 2020-04-28 京东方科技集团股份有限公司 显示装置和显示装置的驱动方法
WO2019092844A1 (ja) * 2017-11-10 2019-05-16 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP7051408B2 (ja) * 2017-12-07 2022-04-11 ソニー・オリンパスメディカルソリューションズ株式会社 医療用内視鏡装置、および医療用観察システム
US10764495B2 (en) * 2017-12-14 2020-09-01 Ricoh Company, Ltd. Image processing apparatus, image processing method, storage medium, system, and electronic apparatus
US10748247B2 (en) * 2017-12-26 2020-08-18 Facebook, Inc. Computing high-resolution depth images using machine learning techniques
EP3731724A4 (en) * 2017-12-27 2021-10-13 Ethicon LLC FLUORESCENT IMAGING IN A LIGHT ENVIRONMENT
US10830855B2 (en) * 2018-03-28 2020-11-10 University Of Virginia Patent Foundation Free-breathing cine DENSE imaging
WO2019186999A1 (ja) * 2018-03-30 2019-10-03 株式会社島津製作所 イメージングデータ処理装置及びイメージングデータ処理プログラム
KR102077215B1 (ko) * 2018-04-06 2020-02-13 경희대학교 산학협력단 국부 이진 패턴 분류 및 선형 매핑을 이용한 초해상화 방법
WO2019208767A1 (ja) * 2018-04-27 2019-10-31 富士フイルム株式会社 超音波システムおよび超音波システムの制御方法
US10841488B2 (en) * 2018-08-03 2020-11-17 Qualcomm Incorporated Combined monochrome and chromatic camera sensor
JP6981940B2 (ja) * 2018-08-29 2021-12-17 富士フイルム株式会社 画像診断支援装置、方法及びプログラム
US10685230B2 (en) * 2018-09-06 2020-06-16 National Central University Method of top-of-atmosphere reflectance-based spatiotemporal image fusion using aerosol optical depth
US10902254B2 (en) * 2018-09-26 2021-01-26 Salesforce.Com, Inc. Converting a captured image of a layout to a structured document template
JP2020061080A (ja) * 2018-10-12 2020-04-16 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
JP6943830B2 (ja) * 2018-10-19 2021-10-06 ファナック株式会社 制御装置、通信端末、及び制御システム
JP7249766B2 (ja) * 2018-12-14 2023-03-31 キヤノン株式会社 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
US20210059644A1 (en) * 2019-04-16 2021-03-04 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Retrospective multimodal high frame rate imaging
US11398011B2 (en) * 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US11720999B2 (en) * 2019-10-11 2023-08-08 Kayrros Method, device and non-transitory computer-readable storage medium for increasing the resolution and dynamic range of a sequence of respective top view images of a same terrestrial location

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020080450A1 (ja) * 2018-10-18 2020-04-23 カイロス株式会社 内視鏡装置および内視鏡システム

Also Published As

Publication number Publication date
CN108292427A (zh) 2018-07-17
US11127116B2 (en) 2021-09-21
EP3384460B1 (en) 2020-09-09
WO2017094535A1 (en) 2017-06-08
US20180268523A1 (en) 2018-09-20
EP3384460A1 (en) 2018-10-10

Similar Documents

Publication Publication Date Title
US11744440B2 (en) Information processing apparatus, information processing method, and endoscope system for processing images based on surgical scenes
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
US11672516B2 (en) Control apparatus, control method, and control system
WO2017057039A1 (ja) 画像処理装置、画像処理方法、手術システム、及び、手術糸
CN107847107B (zh) 医疗用观察装置与医疗用观察方法
JPWO2016079831A1 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡装置
US20210019921A1 (en) Image processing device, image processing method, and program
US11729519B2 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
JP2017099616A (ja) 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
JP2019004978A (ja) 手術システムおよび手術用撮像装置
JPWO2020178962A1 (ja) 内視鏡システム、画像処理装置、総処理時間検出方法および処理装置
JP2009039243A (ja) 内視鏡観察装置
JPWO2018180573A1 (ja) 手術用画像処理装置、画像処理方法、及び、手術システム
JP2017176318A (ja) 医療用立体観察装置、医療用立体観察方法、プログラム、及び医療用立体観察システム
WO2017082091A1 (ja) 手術システム、手術用制御方法、およびプログラム
JP2016002188A (ja) 内視鏡装置
JP6937902B2 (ja) 内視鏡システム
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11394759B2 (en) Communication system and control apparatus

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200107