JP2023030681A - 内視鏡画像の処置具の先端検出装置、内視鏡画像の処置具の先端検出方法、及び内視鏡画像の処置具の先端検出プログラム - Google Patents

Abstract

【課題】複雑な環境下においても迅速、適切に処置具の先端点の位置を検出する内視鏡画像の処置具の先端検出装置、先端検出方法、及び先端検出プログラムを提供する。【解決手段】内視鏡画像の処置具の先端検出装置であって、手術画像を取得する画像取得部と、予め学習された深層学習モデルを用いて、手術画像の画像認識を行う画像認識部と、手術画像内において当該手術画像内の処置具のセグメンテーションマスクとバウンディングボックスとを生成する処置具抽出部と、処置具の先端を検出する先端検出部とを備え、先端検出部は、処置具の根部を特定する根部特定部と、処置具の端部位を検出する端部位検出部と、処置具の角度を検出する角度検出部と、処置具の先端点を検出する先端点検出部とを備える。【選択図】図１８

Description

本発明は、内視鏡画像の処置具の先端検出装置、内視鏡画像の処置具の先端検出方法、及び内視鏡画像の処置具の先端検出プログラムに関する。

内視鏡下手術において、内視鏡画像内での処置具の先端の正確な位置を把握することにより、例えば手術支援ロボットシステムを使用した際に、より正確な操作が可能になる等、様々な応用が可能となる。内視鏡画像内の処置具を把握するための技術開発が進められている（特許文献１、２参照）。

特許文献１に開示されている方法は、処置具の先端にマーカを取り付け、処置具を検出する方法である。しかしながら、既成の処置具にマーカを後付けするには滅菌対応や脱落リスクを考慮する必要があり、マーカ付き、又はマーカ対応の処置具を普及させるには、処置具メーカの対応力が要求されること等の問題がある。さらに、この方法は、処置具の操作に支障をきたす恐れがある等、多くの課題を抱えている。

特許文献２に開示されている方法は、機械学習の一種であるサポートベクターマシン（ＳＶＭ）及び数理モデルを組み合わせ、内視鏡画像内の処置具を検出する方法である。

特開２０１７－１６４００７号公報 特表２０１６－５０６２６０号公報

特許文献２に開示されている方法において使用されている機械学習はサポートベクターマシンであり、あらかじめ定義した特徴のみを認識するため、手術中の処置具のテクスチャの経時的な変化や処置具の一部が隠れている、学習に用いる特徴と同種の特徴を持った異なる処置具の存在等、１つの処置具を認識するために非常に多くの特徴量の学習を必要とする。又、内視鏡画像内に同種の処置具が複数含まれ、これらが互いに近接している場合、これらの同種の処置具を個別の処置具であると認識することが困難である。更に、手術下での三次元的な処置具の先端の位置を正確に追従するためには、より詳細に先端点を抽出する必要がある。

上記問題点を鑑み、本発明は、複雑な環境下においても迅速、かつ適切に処置具の先端点の位置を検出する内視鏡画像の処置具の先端検出装置、内視鏡画像の処置具の先端検出方法、及び内視鏡画像の処置具の先端検出プログラムを提供することを目的とする。

本発明の第１の態様は、内視鏡画像の処置具の先端検出装置であって、手術画像を取得する画像取得部と、予め学習された深層学習モデルを用いて、手術画像の画像認識を行う画像認識部と、手術画像内において当該手術画像内の処置具のセグメンテーションマスクとバウンディングボックスとを生成する処置具抽出部と、生成されたセグメンテーションマスクと、生成されたバウンディングボックスとを用いて、処置具の先端を検出する先端検出部と、を備え、先端検出部は、手術画像内に存在する画像縁部領域の４辺のそれぞれと、セグメンテーションマスクとの被覆面積が最大となる画像縁部領域の辺を根部として特定する根部特定部と、処置具の端部位を検出する端部位検出部と、処置具の角度を検出する角度検出部と、処置具の先端点を検出する先端点検出部とを備えることを要旨とする。

本発明の第１の態様において、端部位検出部は、端部位として後端点を検出し、端部位検出部は、画像縁部領域と、セグメンテーションマスクの被覆領域における座標の平均点を後端点として特定してもよい。

本発明の第１の態様において、端部位検出部は、端部位としてバウンディングボックスの先端角と後端角とを検出し、端部位検出部は、根部から最も離れたセグメンテーションマスクに含まれる点のうち、根部に対して最遠点を検出し、検出された最遠点から最も近く、且つ根部上ではない、バウンディングボックスの角を先端角として検出し、検出された先端角と対角にあるバウンディングボックスの角を後端角として検出してもよい。

本発明の第１の態様において、端部位検出部は、端部位としてバウンディングボックスの先端角と後端角とを検出し、端位部検出部は、根部に接しているセグメンテーションマスクの平均座標を取得し、端部位検出部は、根部に接しているバウンディングボックスの２つの角のうち、平均座標に近い角を後端角として検出し、検出された後端角と対角にあるバウンディングボックスの角を先端角として検出してもよい。

本発明の第１の態様において、角度検出部は、セグメンテーションマスクを囲う最小の長方形を算出し、長方形の４辺のそれぞれに直交する４つの直線のそれぞれの角度を算出し、セグメンテーションマスクの重心と後端点とを結ぶ直線の角度を取得し、４つの直線のそれぞれの角度のうち、前記長方形の４辺のそれぞれに直交する直線のそれぞれの角度に最も近い角度を処置具の角度として検出してもよい。

本発明の第１の態様において、角度検出部は、先端角と後端角とを結ぶ直線の角度を処置具の角度として検出してもよい。

本発明の第１の態様において、角度検出部は、セグメンテーションマスクの主成分分析から、第一主成分方向を処置具の角度として検出してもよい。

本発明の第１の態様において、先端点検出部は、後端点から最も離れた位置にあるセグメンテーションマスク上の点を先端点として検出してもよい。

本発明の第１の態様において、先端点検出部は、先端角に最も近い位置にあるセグメンテーションマスク上の点を先端点として検出してもよい。

本発明の第１の態様において、先端点検出部は、セグメンテーションマスクの重心を通る直線と、バウンディングボックスとの交点を先端点としてもよい。

本発明の第１の態様において、先端点は、第１先端点と、第２先端点とから構成され、先端点検出部は、先端角に最も近い位置にあるセグメンテーションマスク上の点を第１先端点とし、セグメンテーションマスクの凸部であって、凸部と第１先端点との間にセグメンテーションマスクの凹部があり、根部から所定距離以上離れている凸部を抽出し、所定の半径を有し、処置具の角度の後端点方向が開いた扇形形状の円を判定円として生成し、判定円とセグメンテーションマスクとの被覆面積が最小となる凸部上の点を第２先端点としてもよい。

本発明の第２の態様は、内視鏡画像の処置具の先端検出方法であって、コンピュータが、手術画像を取得する取得ステップと、予め学習された深層学習モデルを用いて、手術画像の画像認識を行う画像認識ステップと、手術画像内の処置具のセグメンテーションマスクとバウンディングボックスとを生成する生成ステップと、生成されたセグメンテーションマスクと、生成されたバウンディングボックスとを用いて、処置具の先端を検出する先端検出ステップと、を備え、先端検出ステップは、画像縁部領域の４辺のそれぞれと、セグメンテーションマスクとの被覆領域が最大となる画像縁部領域の辺を根部として特定する根部特定ステップと、処置具の端部位を検出する端部位検出ステップと、処置具の角度を検出する角度ステップと、処置具の先端点を検出する先端点検出ステップとを実行することを要旨とする。

本発明の第３の態様は、内視鏡画像の処置具の先端検出プログラムであって、コンピュータに、手術画像を取得する画像取得機能と、予め学習された深層学習モデルを用いて、手術画像の画像認識を行う画像認識機能と、手術画像内の処置具のセグメンテーションマスクとバウンディングボックスとを生成する処置具抽出機能と、生成されたセグメンテーションマスクと、生成されたバウンディングボックスとを用いて、処置具の先端を検出する先端検出機能とを備え、先端検出機能は、画像縁部領域の４辺のそれぞれと、セグメンテーションマスクとの被覆領域が最大となる画像縁部領域の辺を根部として特定する根部特定機能と、処置具の端部位を検出する端部位検出機能と、処置具の角度を検出する角度検出機能と、処置具の先端点を検出する先端点検出機能とを実現させることを要旨とする。

本発明の内視鏡画像の処置具の先端検出装置によれば、手術画像を取得する画像取得部と、予め学習された深層学習モデルを用いて、手術画像の画像認識を行う画像認識部と、手術画像内において当該手術画像内の処置具のセグメンテーションマスクとバウンディングボックスとを生成する処置具抽出部と、生成されたセグメンテーションマスクと、生成されたバウンディングボックスとを用いて、処置具の先端を検出する先端検出部と、を備え、先端検出部は、手術画像内に存在する画像縁部領域の４辺のそれぞれと、セグメンテーションマスクとの被覆面積が最大となる画像縁部領域の辺を根部として特定する根部特定部と、処置具の端部位を検出する端部位検出部と、処置具の角度を検出する角度検出部と、処置具の先端点を検出する先端点検出部とを備えるため、複雑な環境下においても迅速、かつ正確に処置具の先端点の位置を検出することができる。そして、内視鏡画像の処置具の処置具先端検出方法、及び内視鏡画像の処置具の処置具先端検出プログラムにおいても、同様に、複雑な環境下においても迅速、かつ適切に処置具の先端点の位置を検出することができる。

本発明の実施形態に係る処置具先端検出装置の全体構成の一例を示す概要図である。 図１に示す内視鏡用ディスプレイに表示された画像を説明する図である。 図１に示す処理装置の構成の一例を示すブロック図である。 処置具抽出部によって行われるインスタンスセグメンテーションにより生成されるセグメンテーションマスクとバウンディングボックスを説明する図である。 図３に示す先端検出部の構成の一例を示すブロック図である。 根部算出部が処置具の出現する辺を判定する方法を説明する図であり、内視鏡画像全体の図である。 根部算出部が処置具の出現する辺を判定する方法を説明する図であり、処置具の根部を拡大した図である。 端部位検出部が後端点を検出する方法を説明する図であり、図６（ａ）の処置具の根部を拡大した図である。 処置具の先端が１つである場合に、端部位検出部が先端角と後端角とを検出する方法を説明する図である。 処置具の先端が１つ又は２つである場合に、端部位検出部が後端点を用いて先端角と後端角とを検出する方法を説明する図である。 角度検出部が後端点を用いて角度を検出する方法を説明する図である。 角度検出部が先端角と後端角とを用いて角度を検出する方法を説明する図である。 角度検出部が後端点、先端角、後端角のいずれも使用せず角度を検出する方法を説明する図である。 処置具の先端が１つである場合、先端点検出部が後端点を用いて先端を検出する方法を説明する図である。 処置具の先端が１つである場合、先端点検出部が先端角を用いて先端を検出する方法を説明する図である。 処置具の先端が２つである場合、先端点検出部が角度を用いて先端を検出する方法を説明する図である。 処置具の先端が２つである場合、先端点検出部が判定円を用いて先端を検出する方法を説明する図であり、一つ目の先端点を示す図である。 処置具の先端が２つである場合、先端点検出部が判定円を用いて先端を検出する方法を説明する図であり、二つ目の先端点である可能性のある点を示す図である。 処置具の先端が２つである場合、先端点検出部が判定円を用いて先端を検出する方法を説明する図であり、判定円を説明する図である。 処置具の先端が２つである場合、先端点検出部が判定円を用いて先端を検出する方法を説明する図であり、図１６（ｃ）の拡大図である。 本実施形態に係る、処置具の先端点を検出する際の、図５に示す先端検出部の構成要素の組み合わせを示す表である。 本実施形態に係る処置具先端検出方法を説明するフローチャートである。

次に、図面を参照して、本発明の実施形態を説明する。実施形態に係る図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、図面は模式的なものであり、厚みと平面寸法との関係、各部材の厚みの比率等は現実のものとは異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。

又、実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、各構成要素の構成や配置、レイアウト等を下記のものに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

（実施形態）
図１に、実施形態に係る処置具先端検出装置１０の全体構成の一例を示す。図１に示す処置具先端検出装置１０は、内視鏡１０３、処置具１０１及び１０２、処理装置１０５、内視鏡用ディスプレイ１０６から構成される。図１において、内視鏡１０３、処置具１０１及び１０２は、患者１０７の腹腔内に挿入される。患者１０７の腹腔内に挿入された内視鏡１０３によって患部１０４が撮影され、撮影によって得られた画像は処理装置１０５に送信される。内視鏡１０３から処理装置１０５に送信された画像は、内視鏡用ディスプレイ１０６に表示される。

処置具１０１及び１０２は、例えば把持鉗子、高周波ナイフ、止血クリップ等である。内視鏡１０３は、図示しない撮像素子及び光源を有し、内視鏡１０３の光源によって患者１０７の腹腔内に光が照射され、撮像素子によって患部１０４が撮影され、画像データが生成される。処理装置１０５は、内視鏡システムであって、パーソナルコンピュータ（ＰＣ）、メインフレーム、ワークステーション、クラウドコンピューティングシステム等、種々の電子計算機（計算リソース）を備える。

図２に、図１に示す内視鏡１０３によって撮影され、内視鏡用ディスプレイ１０６に表示されている画像を示す。図２に示す画像には、処置具１０１及び１０２、患部１０４が含まれている。図２に示す処置具１０１及び１０２は、一例として、互いに同種の把持鉗子であるとする。処置具１０１は把持鉗子の先端が開いた状態、処置具１０２は把持鉗子の先端が閉じた状態を表している。

実施形態に係る処置具先端検出装置は、内視鏡によって撮影された内視鏡画像において、処置具を認識し、認識した処置具の先端を検出する。例えば、高周波ナイフは先端が１つであるため、高周波ナイフに対して実施形態に係る処置具先端検出装置によって検出される先端は１つである。一方、例えば、把持鉗子は、先端の把持部が閉じた状態のとき、先端は１つである。先端の把持部が開いた状態のとき、実際の先端は２つであるが、先端の把持部が開いた状態であっても、内視鏡に対する把持鉗子の向きによって、内視鏡画像において先端が２つにみえる場合と、１つにみえる場合とがある。実施形態に係る処置具先端検出装置は、処置具の種類、先端の数、状態、向きにかかわらず、内視鏡画像内の処置具の先端を検出することが出来る。

図３に、図１に示す処理装置１０５の構成の一例を示す。図３に示す処理装置１０５には、各種の演算実行のためのＣＰＵ３０１、処理用のプログラムを記憶するＲＯＭ３０２、データ等の記憶のためのＲＡＭ３０３、各種のデータ及び観測結果等の記憶のための記憶部３０４、Ｉ／Ｏ（インプット・アウトプットインターフェース）３０５、画像認識の処理を実行するためのＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０６等が備えられる。Ｉ／Ｏ３０５は通信（送受信）用のインターフェース、バッファ等である。Ｉ／Ｏ３０５は、内視鏡１０３との画像データの送受信、内視鏡用ディスプレイ１０６との画像データの送受信等に用いられＣＰＵ３０１と連携する。ＲＡＭ３０３は、処理用のプログラム、Ｉ／Ｏ３０５から取り込まれた画像データ等の一時的な展開等に使用される。

記憶部３０４は、後述するように、画像認識部３１３が画像認識を行う際に用いる深層学習モデルを記憶する。

図３のＣＰＵ３０１内に、機能部の一部を示す。ＣＰＵ３０１の各機能部をソフトウェアにより実現する場合、ＣＰＵ３０１は各機能を実現するソフトウェアであるプログラムの命令を実行することで実現する。詳細には、画像取得部３０７、画像処理部３０８、処置具抽出部３０９、先端検出部３１０、出力部３１１、制御部３１２等を備える。

図３のＧＰＵ３０６は、画像認識部３１３を備える。ＧＰＵ３０６は、画像認識部３１３による画像認識機能を実現するソフトウェアであるプログラムの命令を実行することにより、画像認識部３１３による画像認識機能を実現する。

画像取得部３０７は、内視鏡１０３による撮影によって得られた画像データを取得する。

画像処理部３０８は、画像取得部３０７が取得した画像データに対して、ノイズ抑制処理、アナログ―デジタル変換器によるデジタルデータ変換、ホワイトバランス処理等の処理が実行される。

画像認識部３１３は、画像処理部３０８によって処理された画像データに対して、予め学習された深層学習モデルを用いて、画像認識を行う。

処置具抽出部３０９は、画像認識部３１３の認識結果から処置具のセグメンテーションマスクとバウンディングボックスとを抽出する。

先端検出部３１０は、抽出されたセグメンテーションマスクとバウンディングボックスとから、処置具の先端を算出する。

出力部３１１は、画像処理部３０８によって処置が施された画像データ及び先端検出部３０８によって得られた処置具の先端をディスプレイ等に画像として出力する。

制御部３１２は、Ｉ／Ｏ３０５を介して、内視鏡１０３へ、内視鏡１０３が有する撮像素子による撮影及び光源のオン／オフを制御する。

深層学習モデルを用いて画像認識を行う際、一般的に、ＣＰＵと比較してＧＰＵのほうが高速に処理できる。したがって、本実施形態において、処理装置１０５はＧＰＵ３０６を備え、画像認識部３１３による画像認識機能はＧＰＵ３０６によって実現される。

本実施形態に係る処置具先端検出装置１０の画像認識部３１３が画像認識を行う際に用いられる深層学習モデルは、予め学習されたモデルであり、記憶部３０４に記憶されている。この深層学習モデルは、予め撮影された画像データに対してアノテーションを付与し、アノテーションを付与された画像データを用いて構築された畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）である。本実施形態において、深層学習モデルは、予め撮影された画像データ内の、少なくとも、処置具に対してアノテーションを付与された画像データを用いて構築される。

インスタンスセグメンテーションは、近接した同種の物体を互いに区別することが出来る。従って、内視鏡画像内に含まれた同種の処置具が互いに近接している場合、これらの同種の処置具を区別して認識することが可能である。図４に示すように、処置具抽出部３０９は、画像処理部３０８によって処理された画像データに対してインスタンスセグメンテーションを行い、画像データ内に含まれる処置具４０１のセグメンテーションマスク４０２とバウンディングボックス４０３とを抽出する。ここで、インスタンスセグメンテーションとは、画像データから、対象物の位置するピクセル単位の領域、対象物領域のピクセル単位のｘｙの座標、ｘの最小値、ｙの最小値、ｘの最大値、ｙの最大値を検出する手法である。処置具のセグメンテーションマスクとは、内視鏡画像内の処置具のピクセル単位の領域であって、図４において斜線で表されている領域である。バウンディングボックスは、処置具のセグメンテーションマスクのｘの最小値、ｙの最小値、ｘの最大値、ｙの最大値に囲まれた矩形のデータであって、図４において破線で表されている矩形であり、バウンディングボックスの４つの辺は、内視鏡画像の４つの辺とそれぞれ平行である。

図５に、図３に示す先端検出部３１０の構成の一例を示す。先端検出部３１０は、根部特定部５０１と、端部位検出部５０２と、角度検出部５０３と、先端点検出部５０４とから構成される。

根部特定部５０１は、内視鏡画像内の処置具が、内視鏡画像の周囲の４辺のいずれの辺から内視鏡画像内の処置具の先端点へ向けて延びているかを判定する。根部特定部５０１が処置具の出現する辺を判定する方法を図６（ａ）及び図６（ｂ）を参照しながら説明する。図６（ａ）及び図６（ｂ）に、処置具６０１を含む内視鏡画像６０を示す。簡単のために、図６（ａ）には、１本の処置具のみを表示する。内視鏡画像６０の４つの辺ＡＢＣＤから距離ｒだけ離れた内側に、画像縁部線６０２を引き、画像縁部線６０２と内視鏡画像６０の外枠線との間の領域を画像縁部６０３とする。内視鏡画像６０の４つの辺ＡＢＣＤのうち、画像縁部６０３と、処置具６０１との被覆する面積が最大となる辺を、処置具６０１の出現する辺とする。

図６（ｂ）に、図６（ａ）の処置具６０１の根部を拡大した図を示す。画像縁部線６０２の辺Ｃに最近接する角から辺Ｃに垂直線Ｌ１を引き、同様に、画像縁部線６０２の辺Ｄに最近接する角から辺Ｄに垂直線Ｌ２を引く。処置具６０１の、画像縁部線６０２及び垂直線Ｌ１に囲まれた領域６０４の面積と、画像縁部線６０２及び垂直線Ｌ２に囲まれた領域６０５の面積とを比較する。領域６０４の面積と比較して、領域６０５の面積の方が大きく、従って、処置具６０１は辺Ｄから出現しているものと判定する。

端部位検出部５０２は、処置具の端の部分、即ち端部位を検出する。図５に示すように、端部位検出部５０２は、第１端部位検出部５０２１と、第２端部位検出部５０２２と、第３端部位検出部５０２３とから構成される。第１端部位検出部５０２１は、根部から内視鏡画像内の処置具の先端点へ向けて延びる処置具の最後方の点、即ち後端点を端部位として検出する。第２端部位検出部５０２２、及び、第３端部位検出部５０２３は、バウンディングボックスの４つの角のうち、処置具の先端に最も近い角、即ち先端角と、最も遠い角、即ち後端角とを端部位として検出する。第２端部位検出部５０２２は、処置具の先端が１つである場合に、先端角と、後端角とを検出する。第３端部位検出部５０２３は、処置具の先端が２つである場合に、先端角と、後端角とを検出する。

第１端部検出部５０２１が後端点を検出する方法について図７を参照しながら説明する。図７に、図６（ｂ）と同様、図６（ａ）の処置具６０１の根部を拡大した図を示す。処置具６０１と画像縁部６０３との被覆領域７０１の重心点７０２が後端点として検出される。

第２端部位検出部５０２２が、処置具の先端が１つである場合に、先端角と、後端角とを検出する方法を、図８を参照しながら説明する。まず、第２端部位検出部５０２２は、根部特定部５０１によって判定された、内視鏡画像内に処置具８０１が出現する辺から最遠となる、処置具のセグメンテーションマスク上の点８０２を検出する。次に、検出したセグメンテーションマスク上の点に最近接し、かつ、処置具が出現する辺上にはない、バウンディングボックス８０３の角を先端角８０４とする。先端角と対角にあるバウンディングボックスの角を後端角８０５とする。

第３端部位検出部５０２３が、処置具の先端が２つである場合に、先端角と、後端角とを検出する方法を、図９を参照しながら説明する。まず、第３端部位検出部５０２３は、根部特定部５０１によって判定された、内視鏡画像内に処置具９０１が出現する辺に接している処置具のセグメンテーションマスクの平均座標９０５、即ち、処置具のセグメンテーションマスクの、内視鏡画像内に処置具９０１が出現する辺との接線の平均座標９０５を取得する。次に、内視鏡画像内に処置具９０１が出現する辺に接しているバウンディングボックス９０２の角のうち、平均座標９０５に最近接している角を後端角９０３とする。後端角９０３と対角にあるバウンディングボックス９０２の角を先端角９０４とする。

角度検出部５０３は、内視鏡画像内の処置具が内視鏡画像の周囲の４辺のうちの一つとなす角度を、処置具の角度として検出する。本実施形態において、角度検出部５０３は、図６（ａ）に示す内視鏡画像の周囲の４辺のうちの辺Ｃと処置具のなす角度を検出するものとする。角度検出部５０３が処置具の角度を検出する方法として、第１端部位検出部５０２１によって検出された後端点を用いて検出する方法と、第２端部位検出部５０２２、又は、第３端部位検出部５０２３によって検出された先端角と後端角を用いて検出する方法と、後端点、先端角、後端角のいずれも使用せず検出する方法とがある。なお、本実施形態において、処置具の先端の数に関わらず、これらの方法を適用できる。

図５に示すように、角度検出部５０３は、第１角度検出部５０３１と、第２角度検出部５０３２と、第３角度検出部５０３３とから構成される。第１角度検出部５０３１は、第１端部位検出部５０２１によって検出された後端点を用いて処置具の角度を検出する。第２角度検出部５０３２は、第２端部位検出部５０２２、又は、第３端部位検出部５０２３によって検出された先端角と、後端角を用いて処置具の角度を検出する。第３角度検出部５０３３は、後端点、先端角、後端角のいずれも使用せず処置具の角度を検出する。

第１角度検出部５０３１が、第１端部位検出部５０２１によって検出された後端点を用いて処置具の角度を検出する方法を、図１０を参照しながら説明する。図１０に示すように、処置具１００１のセグメンテーションマスクを囲う最小の長方形１００２を算出する。長方形１００２の各辺に直交する直線１００３～１００６の、図６（ａ）及び図１０に示す辺Ｃとなす角のうちのいずれかが、第１角度検出部５０３１が検出する角度となる。図１０に示すように、処置具１００１の後端点Ｆから、処置具１００１のセグメンテーションマスクの重心Ｅへ向かう直線１００７が、辺Ｃとなす角θ_１を取得する。直線１００３～１００６が辺Ｃとなす角のうち、角θ_１に最も近い値をとる角度を、処置具１００１の角度として検出する。図１０においては、直線１００６が辺Ｃとなす角を、処置具１００１の角度として検出する。

第２角度検出部５０３２が、第２端部位検出部５０２２、又は、第３端部位検出部５０２３によって検出された先端角と、後端角を用いて角度を検出する方法を、図１１を参照しながら説明する。図１１に示すように、第２端部位検出部５０２２、又は、第３端部位検出部５０２３によって検出された処置具１１０１の先端角１１０３と後端角１１０２とを結ぶ線１１０４と、辺Ｃとなす角θ_２を、処置具１１０１の角度として検出する。

第３角度検出部５０３３が、後端点、先端角、後端角のいずれも使用せず処置具の角度を検出する方法を、図１２を参照しながら説明する。図１２に示すように、処置具１２０１のセグメンテーションマスクの分布の主成分分析から、第一主成分方向１２０２を、処置具の角度として検出する。

先端点検出部５０４は、内視鏡画像内の処置具の先端点を検出する。先端点検出部５０４が先端点を検出する方法は、処置具の先端が１つである場合と、処置具の先端が２つである場合とで互いに異なる。先端点検出部５０４が先端点を検出する方法は、処置具の先端が１つである場合、処置具の後端点を用いて検出する方法と、先端角を用いて検出する方法とがある。処置具の先端が２つである場合、処置具の角度を用いて検出する方法と、判定円を用いて検出する方法とがある。

図５に示すように、先端点検出部５０４は、第１先端点検出部５０４１と、第２先端点検出部５０４２と、第３先端点検出部５０４３と、第４先端点検出部５０４４とから構成される。第１先端点検出部５０４１は、処置具の先端が１つである場合、処置具の後端点を用いて先端点を検出する。第２先端点検出部５０４２は、処置具の先端が１つである場合、先端角を用いて先端点を検出する。第３先端点検出部５０４３は、処置具の先端が２つである場合、処置具の角度を用いて先端点を検出する。第４先端点検出部５０４４は、処置具の先端が２つである場合、判定円を用いて先端点を検出する。

第１先端点検出部５０４１が、処置具の後端点を用いて先端点を検出する方法を、図１３を参照して説明する。処置具１３０１の後端点１３０２から最遠の、処置具１３０１のセグメンテーションマスク上の点を処置具１３０１の先端点として検出する。この方法は、処置具の先端が１つである場合に限定される。

第２先端点検出部５０４２が、処置具の先端角を用いて先端点を検出する方法を、図１４を参照して説明する。処置具１４０１の先端角１４０２に最近接する、処置具１４０１のセグメンテーションマスク上の点を処置具１４０１の先端点１４０３として検出する。この方法は、処置具の先端が１つである場合に限定される。

第３先端点検出部５０４３が、処置具の角度を用いて先端点を検出する方法を、図１５を参照して説明する。処置具１５０１のセグメンテーションマスクの重心Ｆを通り、処置具の角度を傾きとする直線１５０２と、処置具１５０１のバウンディングボックス１５０３との交点を処置具１５０１の先端点１５０４として検出する。この方法は、処置具の先端が２つである場合に限定される。

第４先端点検出部４０４４が、判定円を用いて先端点を検出する方法を、図１６を参照して説明する。この方法は、処置具の、先端方向に延びる最も鋭利な凸部を先端点として検出する方法である。この方法は、処置具の先端が２つである場合に限定される。まず、処置具１６０１の先端角１６０２に最近接する処置具１６０１のセグメンテーションマスク上の点１６０３を、処置具１６０１の２つの先端点のうちの一つであるとする（図１６（ａ））。

次に、処置具１６０１のセグメンテーションマスクの、凸部形状をなす外周上にあり、一つ目の先端である点１６０３から一定距離離れており、点１６０３との間に、処置具１６０１のセグメンテーションマスクの、凹部形状をなす外周部があり、処置具１６０１の出現する辺から一定距離離れている点１６０４を、二つ目の先端点である可能性のある点であるとする（図１６（ｂ））。二つ目の先端点である可能性のある点は１つのみであるとは限らず、図１６（ｂ）に示すように、複数あってもよい。

次に、二つ目の先端点である可能性のある点のうち、二つ目の先端点を検出するための判定円を生成する（図１６（ｃ）、及び図１６（ｄ））。図１６（ｄ）は図１６（ｃ）の拡大図である。図１６（ｃ）及び図１６（ｄ）に示すように、判定円１６０５は、二つ目の先端点である可能性のある点を中心とする一定の半径を有する円であり、処置具の角度の後端点方向が開いた扇形状の円である。

判定円と、処置具１６０１のセグメンテーションマスクとの被覆された面積が最小となる点１６０６が、二つ目の先端である。

実施形態に係る処置具先端検出装置は、図５に示す先端検出部３１０の構成要素を組み合わせて処置具の先端点を検出する。図１７に、本実施形態に係る、処置具の先端点を検出する際の、図５に示す先端検出部３１０の構成要素の組み合わせを表で示す。図１７に示すように、処置具の先端点の数が１つの場合、２つの場合のいずれの場合においても、図５に示す先端検出部３１０の構成要素の組み合わせのうち、複数の組み合わせによって先端点を検出することが出来る。

図１８のフローチャートを参照しながら、本実施形態に係る処置具先端検出方法を説明する。ステップＳ１８０１において、画像取得部３０７が、手術画像を取得する。

ステップＳ１８０２において、画像処理部３０８が、画像取得部３０７が取得した画像データに対して、画像処理を実行する。

ステップＳ１８０３において、画像認識部３１３が、予め学習された深層学習モデルを用いて、取得された手術画像の画像認識を行う。

ステップＳ１８０４において、処置具抽出部３０９が、取得された手術画像内の処置具のセグメンテーションマスクとバウンディングボックスとを生成する。

ステップＳ１８０５において、根部特定部５０１が、縁部領域の４辺のそれぞれと、セグメンテーションマスクとの被覆領域が最も大きくなる画像縁部領域の辺を根部として特定する。

ステップＳ１８０６において、端部位検出部５０２が、処置具の端部位を検出する。

ステップＳ１８０７において、角度検出部５０３が、処置具の角度を検出する。

ステップＳ１８０８において、先端点検出部５０４が、処置具の先端点を検出する。

以上、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１０ 処置具先端検出装置
１０１、１０２、４０１、６０１、８０１、９０１、１００１、１１０１、１２０１、１４０１、１５０１、１６０１ 処置具
１０３ 内視鏡
１０４ 患部
１０５ 処理装置
１０６ 内視鏡用ディスプレイ
１０７ 患者
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ 記憶部
３０５ Ｉ／Ｏ
３０６ ＧＰＵ
３０７ 画像取得部
３０８ 画像処理部
３０９ 処置具抽出部
３１０ 先端検出部
３１１ 出力部
３１２ 制御部
３１３ 画像認識部
４０２ セグメンテーションマスク
４０３ バウンディングボックス
５０１ 根部判定部
５０２ 端部位検出部
５０２１ 第１端部位検出部
５０２２ 第２端部位検出部
５０２３ 第３端部位検出部
５０３ 角度検出部
５０３１ 第１角度検出部
５０３２ 第２角度検出部
５０３３ 第３角度検出部
５０４ 先端点検出部
５０４１ 第１先端点検出部
５０４２ 第２先端点検出部
５０４３ 第３先端点検出部
５０４４ 第４先端点検出部
６０ 内視鏡画像
６０２ 画像縁部線
６０３ 画像縁部
６０４、６０５ 領域
７０１ 被覆領域
７０２ 重心点
８０２、１６０４ 点
８０３ バウンディングボックス
８０４、９０４、１１０２、１４０２、１６０２ 先端角
８０５、９０３、１１０３ 後端角
９０２ バウンディングボックス
９０５ 平均座標
１００２ 長方形
１００３～１００７、１５０２ 直線
１１０４ 線
１２０２ 第一主成分方向
１４０３、１５０４、１６０３、１６０６ 先端点
１５０３ バウンディングボックス
１６０５ 判定円

Claims (13)

1. 手術画像を取得する画像取得部と、
   予め学習された深層学習モデルを用いて、前記手術画像の画像認識を行う画像認識部と、
   前記手術画像内において当該手術画像内の処置具のセグメンテーションマスクとバウンディングボックスとを生成する処置具抽出部と、
   生成された前記セグメンテーションマスクと、生成された前記バウンディングボックスとを用いて、前記処置具の先端を検出する先端検出部と、を備え、
   前記先端検出部は、
   前記手術画像内に存在する画像縁部領域の４辺のそれぞれと、前記セグメンテーションマスクとの被覆面積が最大となる前記画像縁部領域の辺を根部として特定する根部特定部と、
   前記処置具の端部位を検出する端部位検出部と、
   前記処置具の角度を検出する角度検出部と、
   前記処置具の先端点を検出する先端点検出部と
   を備えることを特徴とする内視鏡画像の処置具の先端検出装置。
2. 前記端部位検出部は、前記端部位として後端点を検出し、
   前記端部位検出部は、前記画像縁部領域と、前記セグメンテーションマスクの被覆領域における座標の平均点を前記後端点として特定することを特徴とする請求項１に記載の内視鏡画像の処置具の先端検出装置。
3. 前記端部位検出部は、前記端部位として前記バウンディングボックスの先端角と後端角とを検出し、
   前記端部位検出部は、前記根部から最も離れた前記セグメンテーションマスクに含まれる点のうち、前記根部に対して最遠点を検出し、検出された前記最遠点から最も近く、且つ前記根部上ではない、前記バウンディングボックスの角を前記先端角として検出し、前記検出された先端角と対角にある前記バウンディングボックスの角を前記後端角として検出することを特徴とする請求項１に記載の内視鏡画像の処置具の先端検出装置。
4. 前記端部位検出部は、前記端部位として前記バウンディングボックスの先端角と後端角とを検出し、
   前記端部位検出部は、前記根部に接している前記セグメンテーションマスクの平均座標を取得し、前記根部に接している前記バウンディングボックスの２つの角のうち、前記平均座標に近い角を前記後端角として検出し、前記検出された後端角と対角にある前記バウンディングボックスの角を前記先端角として検出することを特徴とする請求項１に記載の内視鏡画像の処置具の先端検出装置。
5. 前記角度検出部は、前記セグメンテーションマスクを囲う最小の長方形を算出し、前記長方形の４辺のそれぞれに直交する４つの直線のそれぞれの角度を算出し、前記セグメンテーションマスクの重心と前記後端点とを結ぶ直線の角度を取得し、前記４つの直線のそれぞれの角度のうち、前記前記長方形の４辺のそれぞれに直交する直線のそれぞれの角度に最も近い角度を前記処置具の角度として検出することを特徴とする請求項１に記載の内視鏡画像の処置具の先端検出装置。
6. 前記角度検出部は、前記先端角と前記後端角とを結ぶ直線の角度を前記処置具の角度として検出することを特徴とする請求項４に記載の内視鏡画像の処置具の先端検出装置。
7. 前記角度検出部は、前記セグメンテーションマスクの主成分分析から、第一主成分方向を前記処置具の角度として検出することを特徴とする請求項１に記載の内視鏡画像の処置具の先端検出装置。
8. 前記先端点検出部は、前記後端点から最も離れた位置にある前記セグメンテーションマスク上の点を前記先端点として検出することを特徴とする請求項１に記載の内視鏡画像の処置具の先端検出装置。
9. 前記先端点検出部は、前記先端角に最も近い位置にある前記セグメンテーションマスク上の点を前記先端点として検出することを特徴とする請求項４又は６に記載の内視鏡画像の処置具の先端検出装置。
10. 前記先端点検出部は、前記セグメンテーションマスクの重心を通る直線と、前記バウンディングボックスとの交点を先端点とすることを特徴とする請求項１に記載の内視鏡画像の処置具の先端検出装置。
11. 前記先端点は、第１先端点と、第２先端点とから構成され、
    前記先端点検出部は、
    前記先端角に最も近い位置にある前記セグメンテーションマスク上の点を前記第１先端点とし、
    前記セグメンテーションマスクの凸部であって、前記凸部と前記第１先端点との間に前記セグメンテーションマスクの凹部があり、前記根部から所定距離以上離れている前記凸部を抽出し、
    所定の半径を有し、前記処置具の角度の前記後端点方向が開いた扇形形状の円を判定円として生成し、前記判定円と前記セグメンテーションマスクとの被覆面積が最小となる前記凸部上の点を第２先端点とする
    ことを特徴とする請求項１に記載の内視鏡画像の処置具の先端検出装置。
12. コンピュータが、
    手術画像を取得する取得ステップと、
    予め学習された深層学習モデルを用いて、前記手術画像の画像認識を行う画像認識ステップと、
    前記手術画像内の処置具のセグメンテーションマスクとバウンディングボックスとを生成する生成ステップと、
    生成された前記セグメンテーションマスクと、生成された前記バウンディングボックスとを用いて、前記処置具の先端を検出する先端検出ステップと、を備え、
    前記先端検出ステップは、
    画像縁部領域の４辺のそれぞれと、前記セグメンテーションマスクとの被覆領域が最大となる前記画像縁部領域の辺を根部として特定する根部特定ステップと、
    前記処置具の端部位を検出する端部位検出ステップと、
    前記処置具の角度を検出する角度ステップと、
    前記処置具の先端点を検出する先端点検出ステップと
    を実行することを特徴とする内視鏡画像の処置具の先端検出方法。
13. コンピュータに、
    手術画像を取得する画像取得機能と、
    予め学習された深層学習モデルを用いて、前記手術画像の画像認識を行う画像認識機能と、
    前記手術画像内の処置具のセグメンテーションマスクとバウンディングボックスとを生成する処置具抽出機能と、
    生成された前記セグメンテーションマスクと、生成された前記バウンディングボックスとを用いて、前記処置具の先端を検出する先端検出機能と
    を備え、
    前記先端検出機能は、
    画像縁部領域の４辺のそれぞれと、前記セグメンテーションマスクとの被覆領域が最大となる前記画像縁部領域の辺を根部として特定する根部特定機能と、
    前記処置具の端部位を検出する端部位検出機能と、
    前記処置具の角度を検出する角度検出機能と、
    前記処置具の先端点を検出する先端点検出機能と
    を実現させる内視鏡画像の処置具の先端検出プログラム。

Images