JP2021149801A - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】透明性が高いモデルの学習に適した学習用情報を生成すること、又は、モデルの透明性を高くすることが可能な情報処理装置及び情報処理方法を提供する。【解決手段】情報処理装置は、画像加工部と、学習用情報生成部を具備する。上記画像加工部は、事前に収集された複数の画像に対してユーザにより行われた加工操作に従って前記画像を加工する。上記学習用情報生成部は、前記画像と、前記画像加工部によって加工された加工画像に対して前記ユーザにより行われた前記加工画像内に含まれる認識対象物のラベリング情報と、前記加工操作に応じた画像加工度とを互いに対応づけた学習用情報を生成する。【選択図】図１

Description

本技術は、情報処理装置及び情報処理方法に関する。

近年、医療現場においては、例えば内視鏡手術を行うために、患部などの観察対象を拡大観察することが可能な撮像デバイスを備える医療用観察装置が用いられる場合がある。術者は、撮像デバイスにより撮像された画像をディスプレイで確認しながら患部の処置等を行う。この際、術者に対して患部の処置を支援するため、例えば画像に術具の先端位置を示す印を重畳表示させて画像表示する場合がある。

画像における術具の先端等の認識対象物の推測は、予め学習されたモデルを用いて行われる。機械学習の手法を用いて何らかの予測を行う場合、教師あり学習の手法によってモデルの学習が行われる。教師あり学習では、画像に対応した正解ラベルデータが必要となる。正解ラベルデータは、画像を確認しながら人手で作成される場合がある。正解ラベルデータを作成することをラベリングといい、正解ラベルデータを作成するユーザをラベラーという。

特許文献１には、大量のデータから教師データ（正解ラベルデータ）を得る際のラベル付与について記載されている。ラベル付与において、正確な判断が可能な対象分野のエキスパートがラベル付与を行うことが望ましいが、現実的には非エキスパートがラベル付与を行った教師データが比較的大量に獲得される傾向がある。特許文献１に記載される発明では、ラベルデータを、エキスパートがつけたエキスパートデータと、非エキスパートがつけた非エキスパートデータとに事前に分類し、非エキスパートデータの信頼度を、ラベルデータの距離に基づいて算出している。そして、信頼度情報が付与された非エキスパートデータと、エキスパートデータを用いて学習することで、精度の高い分類器を得ている。

特開２００９−２８２６８６号公報

人口知能技術、特に機械学習の発展に伴い、機械学習モデルに対する透明性が望まれている。

本開示では、透明性が高いモデルの学習に適した学習用情報を生成すること、又は、モデルの透明性を高くすることが可能な情報処理装置及び情報処理方法を提供する。

本技術の一形態に係る情報処理装置は、画像加工部と、学習用情報生成部を具備する。
上記画像加工部は、事前に収集された複数の画像に対してユーザにより行われた加工操作に従って前記画像を加工する。
上記学習用情報生成部は、前記画像と、前記画像加工部によって加工された加工画像に対して前記ユーザにより行われた前記加工画像内に含まれる認識対象物のラベリング情報と、前記加工操作に応じた画像加工度とを互いに対応づけた学習用情報を生成する。

このような構成によれば、画像加工度を含む学習用情報を生成するので、透明性が高いモデルの学習に適した学習用情報を生成することができる。

本技術の一形態に係る情報処理方法は、
事前に収集された複数の画像に対してユーザにより行われた加工操作に従って前記画像を加工し、
前記画像と、前記加工操作に従って加工された加工画像に対して前記ユーザにより行われた前記加工画像内に含まれる認識対象物のラベリング情報と、前記加工操作に応じた画像加工度とを互いに対応づけた学習用情報を生成する。

本技術の一形態に係る情報処理装置は、処理部を具備する。
上記処理部は、互いに対応づけられた、画像と、前記画像の加工画像内に含まれる認識対象物に対して行われたラベリング情報と、前記加工画像の画像加工度とを互いに対応づけた学習用情報を用いて事前に学習することによって得られるモデルを用いて、取得画像から、前記取得画像に含まれる認識対象物の認識結果と画像加工度を取得する。

このような構成によれば、画像加工度を含む学習用情報を用いて学習されたモデルを用いて、画像内の認識対象物の認識結果と画像加工度を取得することができるので、画像加工度を用いてモデルの透明性を高くすることが可能となる。

本技術の一形態に係る情報処理方法は、
互いに対応づけられた、画像と、前記画像の加工画像内に含まれる認識対象物に対して行われたラベリング情報と、前記加工画像の画像加工度とを互いに対応づけた学習用情報を用いて事前に学習することによって得られるモデルを用いて、取得画像から、前記取得画像に含まれる認識対象物の認識結果と画像加工度を取得する。

本技術のラベリング装置の機能ブロック図である。 画像の加工例を説明する図である。 ラベリング装置により作成されるアノテーション用ユーザインターフェース例を説明する図であり、ラベラーによる画像加工度変更及びラベル付与を説明する図である。 画像に対するアノテーション方法を説明する図である。 学習装置の機能ブロック図である。 上記学習装置におけるモデル学習のイメージ図である。 本技術の推論装置の機能ブロック図を含む情報処理システムの概略図である。 上記推論装置における学習済みモデルを用いた推論のイメージ図である。 上記推論装置により生成される表示画像例である。 上記ラベリング装置における情報処理フローである。 上記学習装置における情報処理フローである。 上記推論装置における情報処理フローである。 上記推論装置により生成される表示画像例である。 上記推論装置により生成される他の表示画像例である。 術具としての鉗子の図である。 他の情報処理装置の機能ブロック図を含む情報処理システムの概略図である。

［概略］
本技術では、後述するラベリング装置１を用いて、ラベラーにより事前に用意された画像に対してラベル付与（以下、ラベリングというときがある。）作業が行われる。ラベラーは、ラベリング作業を行うラベリング装置１のユーザである。
ラベリング装置１は、ラベラーの入力操作によって画像を加工可能に構成される。ラベラーは、加工画像又は未加工画像に対して画像内の認識対象物のラベリングを行う。ラベリング装置１では、未加工の画像と、当該画像内の認識対象物のラベリング情報と、ラベリング時に用いた画像の画像加工度とが互いに対応づけられた学習用情報が生成される。

本実施形態においては、画像が医療画像（以下、単に画像ということがある。）であり、画像内の認識対象物が鉗子等の術具の先端である例をあげて説明する。
図１５は、術具の一例である内視鏡用の把持鉗子の概略図である。図１５に示すように、術具５０は、ハンドル５３と、シャフト５２と、把持部５４と、を有する。棒状に延びるシャフト５２の一端に把持部５４が位置し、他端にハンドル５３が位置する。把持部５４は、使用中、体腔内組織に触れる部分である。把持部５４は一対の先端５１を有するハサミ形状を有している。術者がハンドル５３を操作することにより、把持部５４が開閉し、気管や組織等をつかんで牽引したり圧迫したりする。

本実施形態では、ラベラーは、画像内の術具５０の先端に位置する把持部５４を規定する箇所に対して、ラベルを付与する（アノテーション）。当該箇所の座標値がラベリング情報となる。本実施形態では、把持部５４を規定する箇所は、具体的には、図１５に示すように、把持部５４を構成する、一対の先端５１と、一対の先端５１の開閉の基点となる連結部５５と、シャフト５２上の一点５６の計４つの箇所である。

後述する学習装置２は、ラベリング装置１で生成された学習用情報を用いて生成された学習用データベース（以下、学習用ＤＢという。）２０を用いてモデルの学習を行う。

後述する情報処理装置としての推論装置３は、学習装置２により学習されたモデルを用いて、撮像される患部の画像（取得画像）から、推論結果として、認識対象物である術具５０の先端５１の認識結果と、画像加工度と、を取得する。当該画像加工度は、取得画像から術具５０を認識するためにモデルが学習した時に参考とした画像がどの程度加工された状態でラベリングされたものであるかを示す。推論装置３は、推論結果が反映された表示画像を術者等のユーザに対して提示する画像を生成する。
以下、ラベリング装置１、学習装置２、推論装置３について詳細に説明する。

［ラベリング装置］
（ラベリング装置の構成）
図１は、情報処理装置としてのラベリング装置１の機能ブロック図である。
ラベリング装置１は、学習用情報を生成するための情報源となる医療画像を端末４の表示部４１に表示させる。複数の医療画像は、事前に収集され、例えば医療画像ＤＢ１０に格納されている。医療画像は、例えば、内視鏡手術中の体腔内の画像であり、術野に術具の先端が写しだされている画像である。端末４のユーザであるラベラーは、端末４の表示部４１に表示される画像をみながら、画像内の術具の把持部を規定する上述した４つの箇所に対しラベルを付与する。ラベラーにより指定された４つの箇所の座標から取得した座標間の距離等により術具の把持部の特徴量が定義される。

端末４は、表示部４１と、操作受付部４２と、を有する。
表示部４１は、ラベリング装置１から送信されたアノテーション用ユーザインターフェース（以下、アノテーション用ＵＩという。）情報に基づいてアノテーション用ＵＩを表示する。表示部４１は、例えば液晶ディスプレイ、有機ＥＬディスプレイ（Organic Electro-Luminescence Display）等の画像表示手段により構成される。
操作受付部４２は、ラベラーからの入力操作を受け付けるものであり、具体的には、タッチパッド、キーボード、マウス等である。操作受付部４２は、ラベラーにより指定された表示部４１に表示されるアノテーション用ＵＩ上の位置が検出可能に構成されていればよい。

図１に示すように、ラベリング装置１は、送受信部１１と、処理部１２と、記憶部１７とを有する。
送受信部１１は、端末４との情報の送受信が可能に構成され、また、医療画像ＤＢ１０からの情報を受信可能に構成される。
具体的には、送受信部１１は、医療画像ＤＢ１０に格納されている医療画像を受信する。当該医療画像は未加工の医療画像（元画像ということがある。）である。元画像は、後述する処理部１２のアノテーション用ユーザインターフェース作成部（以下、アノテーション用ＵＩ作成部という。）１４へ出力される。
送受信部１１は、処理部１２のアノテーション用ＵＩ作成部１４で生成されたアノテーション用ＵＩを端末４へ送信する。
送受信部１１は、端末４から、端末４にてラベラーによって行われた入力操作情報を受信する。

処理部１２は、アノテーション用ＵＩ作成部１４と、画像加工部１５と、学習用情報生成部１６と、を有する。

アノテーション用ＵＩ作成部１４は、端末４の表示部４１に表示されるアノテーション用ＵＩを作成する。当該アノテーション用ＵＩは、元画像、又は、画像加工部１５により加工された加工画像と、元画像の画像加工度をラベラーの操作により調整可能とする操作機能、又は、画像上の任意の箇所にラベラーの操作によりラベルを付与させるアノテーションを実行可能とするアノテーション操作機能と、を含む。

画像加工部１５は、ラベラーにより行われた画像加工に係る入力操作情報に基づいて元画像を加工する。加工された加工画像は、アノテーション用ＵＩ作成部１４へ出力される。以下、画像加工に係る入力操作を加工操作と称する。
加工例としては、フィルタ処理によるぼかし加工、フィルタ処理により輪郭強調加工、画像全体の色を調整する彩度調整加工や色相調整加工等がある。

図２（Ａ）はフィルタ処理によるぼかし加工の例、図２（Ｂ）はフィルタ処理による輪郭強調加工の例を示す。ぼかし加工や輪郭強調加工を行うことにより、出血箇所や組織等がうつしだされた刺激的な画像を、見やすいものとすることができる。
図２（Ａ）及び（Ｂ）において、図上横に延びる直線６０は、画像加工度を表す。本実施形態では、画像加工度を０〜１の数値範囲で示す。画像加工度０は画像加工の最小値であり、画像加工度０の画像は未加工の元画像である。画像加工度１は画像加工の最大値を示す。
図２（Ａ）及び（Ｂ）それぞれにおいて、左側にある画像７０は未加工の画像、すなわち元画像を示す。右側にある画像７２及び７４は、それぞれ、画像加工度１の画像を示す。真ん中にある画像７１及び７３は、それぞれ、画像加工度０．５の画像を示す。画像７０〜７４は、術野６３に術具５０が位置する画像である。

ラベラーは、画像加工度を０〜１の数値範囲内で任意に設定することができ、精神的な負担が少ない画像に調整して、ラベリング作業を行うことができる。画像加工度は、段階的又は連続的に調整することができる。尚、ここでは、０が未加工を示す画像加工度の数値であり、画像加工度を０〜１の数値範囲で設定する例をあげるが、これに限定されない。例えば、１が未加工を示す画像加工度の数値であり、１〜１０の１０段階で画像加工度を設定するなどしてもよく、未加工を示す画像加工度及び最大画像加工度を示す数値は任意に設定することができる。ラベラーにより設定可能な画像加工度は、未加工を示す最小画像加工度と最大画像加工度の他、これらの間に少なくとも１つ設けられ、少なくとも画像加工度は３段階以上で変更可能となっている。

フィルタ処理には、例えば、膨張・収縮処理や、平均化フィルタやメディアンフィルタ等がある。膨張・収縮処理により、例えば画像上の細い線である毛細血管部分がぼけた画像となり、刺激の少ない画像となる。本実施形態では、毛細血管部分は、認識対象物ではなく、認識対象物のラベリングには関係のない部分である。画像において、膨張・収縮処理によって毛細血管等のラベリングに関係のない細かな特徴がぼやかされる。
画像加工度は、膨張・収縮を行う回数によって調整することができる。
例えば、元画像である未加工画像の画像加工度を０とし、膨張・収縮それぞれを１０回行ってフィルタ処理した加工画像の画像加工度を１とする。そして、膨張・収縮それぞれを３回行ってフィルタ処理した加工画像の画像加工度を０．３とする。膨張・収縮それぞれを５回行ってフィルタ処理した加工画像の画像加工度を０．５とする。膨張・収縮それぞれを７回行ってフィルタ処理した加工画像の画像加工度を０．７とする。膨張・収縮の回数と加工度の関係は画像のスケールに応じて調整される。また、平均化フィルタやメディアンフィルタ等によって画像をぼかしてもよい。
例えば図２（Ａ）に示すように、画像加工度をあげていくことにより、術野６３の毛細血管部分をよりぼかした画像とすることができ、組織のリアルさが軽減された画像となる。このように、ラベラーは、精神的な負担の少ない自身が見やすい画像に加工することができ、刺激的な画像を見ることなく、術具５０の把持部５４の領域を規定する４つの箇所にラベルを付与することができる。

また、画像をフィルタ処理することによって輪郭画像を得ることができる。輪郭画像とすることにより、刺激の少ない画像となる。輪郭画像加工では、元画像である未加工画像の画像加工度を０とし、輪郭画像の画像加工度を１とする。そして、未加工画像と輪郭画像との合成画像において、未加工画像と輪郭画像との合成比率を変化させることにより、画像加工度を設定することができる。
例えば、未加工画像と輪郭画像を１０：０の割合で合成した合成画像の画像加工度を０とする。未加工画像と輪郭画像を７：３の割合で合成した合成画像の画像加工度を０．３とする。未加工画像と輪郭画像を５：５の割合で合成した合成画像の画像加工度を０．５とする。未加工画像と輪郭画像を３：７の割合で合成した合成画像の画像加工度を０．７とする。未加工画像と輪郭画像を０：１０の割合で合成した合成画像の画像加工度を１０とする。
例えば図２（Ｂ）に示すように、画像加工度をあげていくことにより、術野６３の組織の色味が薄くなるとともに、術具５０の輪郭や毛細血管部分が線状に表される画像となり、組織のリアルさが軽減された画像となる。このように、ラベラーは、精神的な負担の少ない自身が見やすい画像に加工することができ、刺激的な画像を見ることなくラベリング作業を行うことができる。

また、画像全体の色を調整する加工例として、彩度調整加工や色相調整加工等がある。
彩度調整加工では、画像の彩度の上限値を、画像加工度を用いて調整することができる。彩度の上限値をさげていくことにより、画像全体がくすんだ色味となっていく画像となって血液部分が目立たなくなり、組織のリアルさが軽減された画像となる。このように、ラベラーは、精神的な負担の少ない自身が見やすい画像に加工することができ、刺激的な画像を見ることなくラベリング作業を行うことができる。加工画像の彩度は例えば以下の式で求めることができる。
加工画像の彩度＝ｍｉｎ（ａ＋（１−画像加工度）・（ｂ−ａ））
式中、ａは元画像の彩度の最小値を示す。ｂは元画像の彩度の最大値を示す。画像加工度は０以上１以下の値を示す。

色相調整加工では、画像の色相を変換する。画像加工度は、元画像の色相を基準、すなわち画像加工度を０とし、その補色になる位置を画像加工度１とすることができる。
例えば、画像加工度が０のときに画像が赤色の場合、その補色となる青色の画像の画像加工度を１とすることができる。この場合、画像加工度が０．３の画像は、黄色味を帯びた色、又は、青味がかった赤色となる。画像加工度が０．７の画像は、緑色味を帯びた色、又は、紫色となる。このように色相を変換することによって、組織のリアルさが軽減された画像となる。このように、ラベラーは、精神的な負担の少ない自身が見やすい画像に加工することができ、刺激的な画像を見ることなくラベリング作業を行うことができる。
また、色覚障害のあるラベラーにおいては、色相を変換させることによって、ラベリングしやすい、自身が見やすい画像となるように調整することが可能となるので、ラベリング作業効率を向上させることができる。

上記ぼかし加工、輪郭強調加工、彩度調整加工や色相調整加工等は、それぞれ単独で行われてもよいし、併用されてもよい。また、併用される場合、互いに異なる種類の加工毎に独立して画像加工度は調整が可能である。

学習用情報生成部１６は、元画像と、ラベリング情報と、ラベリング時に参考とした加工画像の画像加工度と、を互いに対応づけた学習用情報を生成する。生成された学習用情報は、学習用ＤＢ２０に格納される。
ラベリング情報は、元画像の加工画像内に含まれる認識対象物に対してラベラーにより付与されたラベルの情報である。
上記画像加工度は、ラベラーによる加工操作に応じた画像加工度である。上記画像加工度には、互いに異なる種類の画像加工毎の画像加工度の情報が含まれてよい。また、画像加工度として、複数種類の画像加工を用いて加工が行われる場合、画像加工の種類毎の重要度を加味した平均、すなわち重み付き平均値が含まれていてもよい。
学習用ＤＢ２０は、後述する学習装置２において、術具の先端を認識するためのモデルの学習に用いられる。

記憶部１７は、ＲＡＭ等のメモリデバイス、及びハードディスクドライブ等の不揮発性の記録媒体を含み、処理部１２で行われる学習用情報を生成するための一連の処理を、ラベリング装置１に実行させるためのプログラムを記憶する。

（ラベリング装置における情報処理方法）
図３（Ａ）及び（Ｂ）は、端末４の表示部４１に表示されるアノテーション用ＵＩ例である。
図１０は、ラベリング装置１で行われる情報処理方法を説明するフローである。
以下、図１０のフローに従って、図３を用いて説明する。

ラベラーによるラベリングに係る処理が開始すると、送受信部１１により、医療画像ＤＢ１０から医療画像が受信される（Ｓ１）。当該医療画像は、アノテーション用ＵＩ作成部１４へ出力される。

次に、アノテーション用ＵＩ作成部１４により、受信した医療画像を用いてアノテーション用ＵＩが作成される（Ｓ２）。当該アノテーション用ＵＩ情報は端末４へ送信され、表示部４１に表示される。図３（Ａ）は、その表示例である。

図３（Ａ）に示すように、アノテーション用ＵＩ９０は、元画像２６と、スライダーバー６１と、元画像２６の画像加工度をスライダーバー６１によって調整可能とする操作機能と、を有する。スライダーバー６１は、元画像２６に対する加工に関する情報を含む。加工に関する情報とは、加工の種類や加工の度合い等である。
図３（Ａ）に示す例では、１種類の加工の度合いを調整するスライダーバー６１が表示される例をあげる。ここでは、加工の種類はぼかし加工とする。尚、複数種類の画像加工における画像加工度をそれぞれ調整することが可能なスライダーバーが複数設けられたＵＩとしてもよい。例えば、ぼかし加工、輪郭強調加工、彩度調整加工、色相調整加工から選択される１つ以上の加工それぞれの画像加工度を調整することが可能なＵＩとしてよい。これにより、ラベラーは、自身にとってラベリングに適した画像に加工することができる。
本実施形態では、スライダーバー６１の調整範囲は０〜１である。尚、スライダーバーの代わりに、ドロップダウンリストやチェックボックス等を用いて画像加工度値を入力するようなＵＩであってもよい。

ラベラーは、図３（Ａ）に示す表示部４１に表示されたアノテーション用ＵＩ９０の画像をみながら、スライダーバー６１のスライダー６２を図上、左右に移動させて画像加工度を任意に調整することができる。スライダー６２を動かすことにより変化する画像加工度に応じて画像は加工されて表示される。ラベラーの入力操作情報である、ラベラーによって設定された画像加工度情報（加工操作情報）は、ラベリング装置１へ送信される。

ラベリング装置１では、ラベラーによる加工操作を受信したか否かが判定される（Ｓ３）。具体的には、ラベラーによって設定された画像加工度が０の場合、加工操作を受信していないと判定され（ＮＯ）、Ｓ６に進む。一方、ラベラーによって設定された画像加工度が０でない場合、加工操作を受信したと判定され（ＹＥＳ）、Ｓ４に進む。

Ｓ４では、画像加工部１５により、受信された加工操作情報に基づいて元画像が加工される。加工された加工画像は、アノテーション用ＵＩ作成部１４へ出力される。アノテーション用ＵＩ作成部１４により、アノテーション用ＵＩが作成される（Ｓ５）。当該アノテーション用ＵＩは端末４へ送信され、表示部４１に表示される。図３（Ｂ）は、その表示例である。ここでは、ラベラーによって画像加工度が０．３に設定されたものとする。

図３（Ｂ）に示すように、アノテーション用ＵＩ９８は、画像加工度０．３でぼかし加工された加工画像２７と、スライダーバー６１と、画像上の任意の箇所にラベラーの操作によりラベルを付与させるアノテーションを実行可能とするアノテーション操作機能と、を有する。
尚、加工画像には、加工処理が行われなかった未加工の画像（元画像）も含まれる。例えば、ラベラーによる加工操作において、画像加工度０が選択された場合は、加工画像は元画像と同一の画像となる。
図３（Ｂ）に示す例では、ぼかし加工が行われることにより出血箇所１８がぼかされた加工画像２７が表示される。これにより、刺激の少ない加工画像２７を用いてラベリング作業を行うことができる。図３（Ｂ）に示すように、ラベラーは、表示部４１に表示された加工画像２７に基づいて、例えばマウスを操作してポインタ８を移動させて、ラベリングを行うことができる。図３（Ｂ）は、ポインタ８を移動させて、術具５０の一方の先端５１にラベル８１を付与する様子を示す。

このように、ラベラーは、加工画像２７内に含まれる認識対象物である術具５０の把持部５４に対してラベリングを行う。当該ラベリング情報は、ラベリング装置１へ送信される。ラベリング情報は、術具５０の把持部５４を規定する４つの箇所の座標情報である。なお、ここでは、４つの座標情報としたが、座標情報の数はこれに限定されない。また、ラベリング情報は、術具５０の全体を覆う矩形の左上の角を示す点と右下の角を示す点それぞれの座標で表してもよい。また、ラベリング情報は、術具５０の全体を塗りつぶすマスク画像であってもよく、様々な形態を採用することができる。

送受信部１１により、ラベラーによる入力操作情報であるラベリング情報が受信される（Ｓ６）。ラベリング情報は、学習用情報生成部１６へ出力される。
次に、学習用情報生成部１６により、元画像と、加工画像度と、ラベリング情報と、が互いに対応づけられた学習用情報が生成される（Ｓ７）。生成された学習用情報は、学習用ＤＢ２０に格納される。
次に、ラベリングされるべき画像が残っているかどうかが判定され（Ｓ８）、残っている場合（ＹＥＳ）はＳ１に戻って、ラベリング未処理の画像が受信され、処理が繰り返される。残っていない場合（ＮＯ）は処理が終了する。

図４は、画像に対するアノテーション方法を説明する図である。
図４（Ａ）に示す元画像７０は未加工の画像である。画像７０は、例えば、毛細血管等が鮮明な画像となっており、刺激的な画像となっている。
図４（Ｂ）に示す加工画像７５はぼかし加工が施された画像である。加工画像７５は、ぼかし加工により、毛細血管等が不鮮明となって、刺激の少ない画像となっている。
図４（Ｃ）に示す画像７６は、図４（Ｂ）で示した加工画像７５に対して、ラベラーによって把持部５４を規定する４つの箇所にラベル８１〜８４が付与された画像である。ラベル８１及び８２は、２つの先端５１それぞれに付与される。ラベル８３は、連結部５５に付与される。ラベル８４は、シャフト５２上の１点に付与される。図中、符号８５は、４つのラベル８１〜８４を含むラベリング情報を示す。当該ラベリング情報がラベル済み教師データ（正解ラベルデータ）となる。
図４（Ｄ）に示す画像７７は、図４（Ａ）で示した元画像７０に図４（Ｃ）で示したラベリング情報８５が反映された画像である。

ここで、医療画像を用いた学習用情報生成において、出血箇所や組織等がうつしだされた刺激的な画像を用いてラベリングを行うことがある。例えば医療の分野では、刺激的な画像を扱うことが多い傾向にあるため、ラベラーが集まりにくく、モデル学習のための十分な学習用情報が得にくい。

これに対し、本実施形態のラベリング装置１では、ラベラーが任意に画像の加工を行うことができ、そして、加工画像を用いてラベリング作業を行うことができる。これにより、医療画像等のような刺激的な画像のラベリング作業を行うラベラーを集めやすく、結果的に大量の教師データを得ることが可能となる。
更に、本実施形態のラベリング装置１では、ラベリング時に参考にした画像の画像加工度の情報を含む学習用情報が生成されるので、透明性が高いモデルの学習に適した学習用情報を得ることができる。

［学習装置］
（学習装置の構成）
図５は、学習装置２の機能ブロック図である。
図５に示すように、学習装置２は、ラベリング装置１で生成された学習用情報が格納された学習用ＤＢ２０を用いて、画像内の認識対象物となる術具の先端を認識するモデル３０の学習を行う。

学習用ＤＢ２０は、ラベリング装置１で生成された学習用情報を用いて構成される。学習用ＤＢ２０は、画像と、ラベル済み教師データと、画像加工度と、が互いに紐づけられてなる学習用情報を格納する。
ラベル済み教師データは、紐づけられた画像内の術具５０の把持部５４を規定する４つの箇所の座標値の情報を含むラベリング情報である。ラベル済み教師データを、単に、教師データということがある。
画像加工度は、取得画像から術具５０を認識するためにモデルが学習時に参考とした画像がどの程度加工された状態でラベリングされたものであるかを示す。画像加工度は、ラベラーによる加工操作に応じた画像加工度である。上記画像加工度には、互いに異なる種類の画像加工毎の画像加工度の情報が含まれてよい。また、画像加工度として、複数種類の画像加工を用いて加工が行われる場合、画像加工の種類毎の重要度を加味した平均、すなわち重み付き平均値が含まれていてもよい。
モデル学習において、画像は入力データ（学習データ）であり、教師データ及び画像加工度は出力データである。学習用ＤＢ２０には、このような入力データと出力データとの組が大量に格納されている。

学習装置２は、学習処理部２１を有する。
学習処理部２１は、モデル３０の入力層へ、学習用ＤＢ２０から取得した学習用情報に含まれる入力データを入力し、モデル３０の出力層からの取得データが学習用情報に含まれる出力データに等しくなるように、モデル３０を更新する。
図６は、モデル３０の機能を説明するイメージ図である。図６に示すように、モデル３０に入力データである画像６が入力されると、モデル３０は、推論結果として、画像６内の術具の先端の認識結果と、画像加工度と、を出力する。

（学習装置における情報処理方法）
図１１は、学習装置２で行われる情報処理方法を説明するフローである。
図１１に示すように、まず、モデル３０のディープニューラルネットワーク（ＤＮＮ）パラメータが初期化される（Ｓ１１）。
次に、学習処理部２１により、学習回数が所定の上限の回数値より小さいか否かが判定される（Ｓ１２）。Ｓ１２で小さいと判定されるとＳ１３に進む。Ｓ１２で小さくないと判定されると処理が終了する。
Ｓ１３では、学習処理部２１により、ラベル済み教師データが取得される。
次に、学習処理部２１により、画像がモデル３０に入力され順伝播される（Ｓ１４）。
次に、学習処理部２１により、順伝播を経たモデル３０の出力と、ラベル済み教師データ（正解ラベルデータ）との誤差が算出され、これをもとに逆伝播が行なわれ（Ｓ１５）、モデル３０のＤＮＮパラメータが更新される（Ｓ１６）。
次に、学習回数がカウントされ（Ｓ１７）、Ｓ１１に戻り、学習回数が所定の回数に達するまで処理が繰り返される。これにより、学習済みモデル３０が得られる。

［推論装置］
（推論装置の構成）
推論装置は、医療用観察装置を備える医療用観察システムにおける、術者に対して提示される表示画像の生成に用いることができる。医療用観察装置は、例えば内視鏡手術を行うために患部等の観察対象を拡大観察することが可能に構成される。医療用観察システムで提示される表示画像には、例えば、術者の患部の処置を支援するために、術具の先端位置が可視化されて表示される。
推論装置３は、学習装置２により学習されたモデルを用いて、患部処置中にリアルタイムで撮像される患部の画像（取得画像）から、推論結果として、取得画像内の認識対象物である術具５０の先端５１の認識結果と、画像加工度と、を取得する。推論装置３は、推論結果が反映された表示画像を術者等のユーザに対して提示する画像を生成する。
以下、詳細について説明する。

図７は、推論装置３の機能ブロック図を含む情報処理システムとしての医療用観察システム９の概略図である。
医療用観察システム９は、撮像部５と、情報処理装置としての推論装置３と、ディスプレイ３８と、を有する。

撮像部５は、患部等の観察対象を拡大観察することが可能な医療用観察装置に設けられている。撮像部５で取得された画像は、推論装置３へ送信される。

推論装置３では、上記学習装置２により事前に学習された学習済みモデル３０を用いて、撮像部５から受信した取得画像内の術具の先端が認識されるとともに画像加工度が取得される。推論装置３では、取得した画像加工度に基づいて信頼度が算出される。当該信頼度は、画像加工度に係る情報である。画像、術具の先端の認識結果、及び、信頼度の情報はディスプレイ３８へ送信される。推論装置３については後述する。

ディスプレイ３８は、表示部３９を有する。表示部３９は、例えば液晶ディスプレイ、有機ＥＬディスプレイ（Organic Electro-Luminescence Display）等の画像表示手段により構成される。表示部３９は、推論装置３から送信された、術具の先端の認識結果及び画像加工度に関する情報を含む表示画像を表示する。医療用観察装置を用いる術者は、ディスプレイ３８の表示部３９に表示される可視化されて表示される信頼度を参考にして、表示画像内の術具の先端の認識結果の妥当性を加味しながら、処置を行うことができる。

図７に示すように、推論装置３は、学習済みモデル３０と、送受信部３１と、記憶部３２と、処理部３４と、を有する。
学習済みモデル３０は、上記の学習装置２を用いて学習させた機械学習モデルである。
送受信部３１は、撮像部５で撮像された画像を受信する。送受信部３１は、処理部３４で生成された表示画像をディスプレイ３８へ送信する。
記憶部３２は、ＲＡＭ等のメモリデバイス、及びハードディスクドライブ等の不揮発性の記録媒体を含み、処理部３４で行われる表示画像を生成するための一連の処理を、推論装置３に実行させるためのプログラムを記憶する。

処理部３４は、推論部３５と、信頼度算出部３６と、画像生成部３７と、を有する。
推論部３５は、学習済みモデル３０を用いて、送受信部３１を介して取得した撮像部５で撮像された画像（取得画像）から、取得画像内の認識対象物である術具５０の先端５１の認識結果と、画像加工度を、推論結果として取得する。
信頼度算出部３６は、取得した画像加工度に基づいて、信頼度を算出する。信頼度の算出は、例えば次式の変換式を用いて算出することができるが、これに限定されない。
信頼度＝１−画像加工度

画像生成部３７は、ディスプレイ３８の表示部３９に表示する表示画像を生成する。例えば、画像生成部３７は、取得画像に、認識結果と画像加工度に係る情報とが可視化された表示が重畳された重畳画像を生成する。認識結果は術部５０の先端５１箇所であり、当該箇所を円で囲んで表示することにより、認識結果が可視化される。画像加工度に係る情報は、取得した画像加工度に基づいて算出した信頼度であり、信頼度を文字表示することにより、画像加工度に係る情報が可視化される。
画像生成部３７で生成された表示画像は、ディスプレイ３８へ送信される。

図８は、推論装置３の機能を説明するイメージ図である。図８に示すように、撮像部５で取得された取得画像７がモデル３０に入力されると、モデル３０は、推論結果として、取得画像７内の術具の先端の認識結果と画像加工度を出力する。

図９は、ディスプレイ３８の表示部３９に表示される表示画像例である。図９に示すように、表示画像９１は、画像８８に、術具５０の先端５１位置を示す円８６と、信頼度を可視化した文字表示８７が重畳した重畳画像である。画像８８は、撮像部５で撮像された画像であり、術野６３に術具５０が位置した画像である。図９に示す例では、信頼度（Confidence）は０．９２となっている。術者はこの信頼度の数値を参考にして、表示画像９１に表示されている術具５０の先端５１位置を示す円８６を確認しながら、患部の処置等を行うことができる。

ここで、加工された画像を用いたラベリングは、未加工画像を用いたラベリングよりも信頼度が低い傾向となる。
しかしながら、本実施形態では、取得画像から術具を認識するためにモデルが学習した時に参考とした画像がどの程度加工された状態でラベリングされたものであるかを示す画像加工度に係る情報が可視化されて術者に提示されるので、モデルの透明性が高くなる。

（推論装置における情報処理方法）
図１２は、推論装置３で行われる情報処理方法を説明するフローである。
図１２に示すように、送受信部３１により、撮像部５で撮像された画像（取得画像）が受信される（Ｓ２１）。
推論部３５により、学習済みモデル３０を用いて、取得画像から、画像内の術具の先端の認識結果と画像加工度が取得される（Ｓ２２）。術具の先端の認識結果と画像加工度は、推論結果である。
次に、信頼度算出部３６により、取得された画像加工度に基づいて信頼度が算出される（Ｓ２３）。信頼度は画像加工度に係る情報である。
次に、画像生成部３７により、取得画像に、術具の先端の認識結果の表示と信頼度の文字表示が重畳された重畳画像が生成される。生成された重畳画像は、送受信部３１を介して、ディスプレイ３８に送信される。
ディスプレイ３８では、例えば図９に示すように、表示画像９１である重畳画像が表示部３９に表示される。術者はこの信頼度の文字表示８７の数値を参考にして、表示画像９１に表示されている術具５０の先端５１位置を示す円８６を確認しながら、患部の処置等を行うことができる。

以上のように、推論装置３では、上記ラベリング装置１を用いて得られた学習用情報を用いて学習させたモデルを用いて、患部処置中にリアルタイムで撮像される患部の画像（取得画像）から、推論結果として、術具５０の先端５１の認識結果と画像加工度とを取得することができる。そして、認識結果が術者に対して可視化して提示されることにより、術者は術具の先端位置を確認しながら患部の処置を行うことができ、術者への処置に対する支援が可能となる。更に、画像加工度に係る情報が術者に対して可視化して提示されることにより、認識結果の信頼度を把握することができる。術者は認識結果の信頼度を参考にしつつ、患部の処置を行うことができる。
このように、画像加工度に係る情報が提示されることにより、モデルに対する透明性が向上する。

本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、上述の実施形態においては、医療用観察システム９におけるディスプレイ３８の表示部３９に、画像加工度に係る情報としての信頼度を数値化して文字表示する例をあげたが、画像加工度に係る情報の可視化の方法は、これに限定されない。
図１３は、他の表示例である。図１３（Ａ）は信頼度が０．８６というように信頼度が高い場合の表示例であり、図１３（Ｂ）は信頼度が０．２６というように信頼度が低い場合の表示例である。
画像加工度に係る情報を可視化して提示する方法としては、図１３（Ａ）及び（Ｂ）それぞれで示す文字表示８７のように信頼度を数値で文字表示する方法の他、画像が表示されるウィンドウの枠９５等の画像の一部の色を画像加工度に応じて変化させる方法がある。また、認識結果表示、すなわち、術具５０の先端５１を示す円８６の色を画像加工度に応じて変化させる方法もある。これらは、単独で用いられてもよいし、図１３に示すように併用されて用いられてもよい。
図１３（Ｂ）において、図１３（Ａ）との色の違いを、斜線を用いて表現している。図１３（Ａ）に示す表示画像９２及び図１３（Ｂ）に示す表示画像９３のように、枠９５の色や認識結果表示である円８６の色を変化させて、画像加工度に係る情報を可視化してもよく、術者は直感的に信頼度の度合いを把握することができる。
また、図１４に示す表示画像９４のように、術野の画像９６と、画像加工度の文字表示９７と、が表示されてもよい。図１４に示す例では、互いに異なる種類の画像加工毎の画像加工度が棒グラフで示される。このように、画像加工度そのものが提示されてもよい。また、複数種類の画像加工毎に画像加工度が提示されることにより、術者等はより詳細な情報を得ることができ、モデルの透明性がより高まる。

また、例えば、上述の実施形態では、推論装置３で推論された推論結果が反映された表示画像が術者に対して提示される例をあげたが、医療用観察システム等を開発する医療機器開発者に提示されてもよい。
例えば、医療機器開発者は、図１４に示される表示画像９４をみて、４種類の加工方法のうち最も画像加工度の高い輪郭強調加工が信頼度の低下を招くと判断し、ラベリング装置１を用いたラベリング作業時に輪郭強調加工が実行されないようにラベリング装置１を制御する等、推論装置３での推論結果をフィードバックすることができる。このように、画像加工度に係る情報が提示されることによりモデルの透明性が提示されることとなるので、当該提示結果を用いて、モデル生成時に用いる教師データの取得時における画像加工が制御され、モデルの透明性を示す信頼度がより高い認識結果が術者に対して提示され得る。

また、例えば、上述の実施形態においては、ラベリング装置、学習装置及び推論装置それぞれについて説明したが、例えば図１６に示すように各装置の機能が統合されていてもよい。図１６は、情報処理装置１００の機能ブロック図を含む情報処理システムとしての医療用観察システム１１０の概略図である。上述の構成と同様の構成については同様の符号を付し、説明を省略することがある。

図１６に示すように、医療用観察システム１１０は、情報処理装置１００と、医療画像ＤＢ１０と、端末４と、撮像部５と、ディスプレイ３８と、学習用ＤＢ２０と、を有する。
情報処理装置１００は、送受信部１０５と、制御部１０６と、記憶部１０７と、ラベリング部１０１と、学習部１０２と、モデル３０と、推論部１０３と、を有する。
送受信部１０５は、各種情報を送受信する。
制御部１０６は、ラベリング部１０１、学習部１０２、推論部１０３での処理を制御する。
ラベリング部１０１は、アノテーション用ＵＩ作成部１４と、画像加工部１５と、学習用情報生成部１６とを有する。ラベリング部１０１は、医療画像ＤＢ１０に格納されている医療画像を用いたラベラーによるラベリング作業結果を用いて学習用情報を生成する。生成された学習用情報は、学習用ＤＢ２０に格納される。
学習部１０２は、学習処理部２１を有する。学習処理部２１は、学習用ＤＢ２０を用いてモデル３０の学習を行う。
推論部１０３は、処理部３４を有する。処理部３４は、学習部１０２によって学習させたモデル３０を用いて、撮像部５で撮像された画像（取得画像）から、取得画像内の術具の先端の認識結果と画像加工度を取得する。また、処理部３４は、画像加工度に基づいて信頼度を算出する。更に、処理部３４は、ディスプレイ３８の表示部３９に表示する表示画像を生成する。当該表示画像は、例えば、取得画像と、術具の先端の認識結果と、信頼度に係る情報とを含む。

また、上述の説明においては、医療画像を例にあげて説明したが、医療用に限定されない。画像を加工してラベリング作業を行ってモデル生成のための学習用データを作成する場合、本技術は有効であり、モデルの透明性を高めることができる。

なお、本技術は以下のような構成もとることができる。

（１）
事前に収集された複数の画像に対してユーザにより行われた加工操作に従って前記画像を加工する画像加工部と、
前記画像と、前記画像加工部によって加工された加工画像に対して前記ユーザにより行われた前記加工画像内に含まれる認識対象物のラベリング情報と、前記加工操作に応じた画像加工度とを互いに対応づけた学習用情報を生成する学習用情報生成部
を具備する情報処理装置。

（２）
上記（１）に記載の情報処理装置であって、
前記画像加工部は、ぼかし加工、輪郭強調加工、彩度調整加工、色相調整加工のうち少なくとも１つを用いて前記画像を加工する
情報処理装置。

（３）
上記（１）又は（２）に記載の情報処理装置であって、
前記画像加工度は、未加工を示す数値を含む所定の数値範囲内で表される
情報処理装置。

（４）
上記（１）〜（３）のいずれか１つに記載の情報処理装置であって、
前記ユーザからの入力操作を受け付けるアノテーション用ユーザインターフェースを作成するアノテーション用ユーザインターフェース作成部と、を更に具備する
情報処理装置。

（５）
上記（１）〜（４）のいずれか１つに記載の情報処理装置であって、
前記画像は医療画像である
情報処理装置。

（６）
事前に収集された複数の画像に対してユーザにより行われた加工操作に従って前記画像を加工し、
前記画像と、前記加工操作に従って加工された加工画像に対して前記ユーザにより行われた前記加工画像内に含まれる認識対象物のラベリング情報と、前記加工操作に応じた画像加工度とを互いに対応づけた学習用情報を生成する
情報処理方法。

（７）
互いに対応づけられた、画像と、前記画像の加工画像内に含まれる認識対象物に対して行われたラベリング情報と、前記加工画像の画像加工度とを互いに対応づけた学習用情報を用いて事前に学習することによって得られるモデルを用いて、取得画像から、前記取得画像に含まれる認識対象物の認識結果と画像加工度を取得する処理部
を具備する情報処理装置。

（８）
上記（７）に記載の情報処理装置であって、
前記処理部は、取得した前記認識結果及び前記画像加工度に係る情報を可視化した画像を生成する
情報処理装置。

（９）
上記（８）に記載の情報処理装置であって、
前記画像加工度に係る情報の可視化は、前記画像加工度の文字表示、前記画像加工度に基づいて算出した信頼度の文字表示、前記画像加工度に応じた前記画像の一部の色の変化、前記認識結果の表示部分の色の変化のうち少なくとも１つを用いて行われる
情報処理装置。

（１０）
上記（７）〜（９）のいずれか１つに記載の情報処理装置であって、
前記学習用情報に含まれるラベリング情報は、ぼかし加工、輪郭強調加工、彩度調整加工及び色相調整加工のうち少なくとも１つを用いて加工されている加工画像、又は、未加工の画像に対して行われたラベリング情報である
情報処理装置。

（１１）
互いに対応づけられた、画像と、前記画像の加工画像内に含まれる認識対象物に対して行われたラベリング情報と、前記加工画像の画像加工度とを互いに対応づけた学習用情報を用いて事前に学習することによって得られるモデルを用いて、取得画像から、前記取得画像に含まれる認識対象物の認識結果と画像加工度を取得する
情報処理方法。

１…ラベリング装置（情報処理装置）
２…学習装置
３…推論装置（情報処理装置）
１４…アノテーション用ユーザインターフェース作成部
１５…画像加工部
１６…学習用情報生成部
２７、７１〜７５…加工画像
３０…モデル
３４…処理部
５１…術具の先端（認識対象物）
８６…円（認識結果の表示部分）
８７…信頼度の文字表示
９０、９８…アノテーション用ＵＩ
９５…枠（画像の一部）
９７…画像加工度の文字表示
１００…情報処理装置

Claims (11)

1. 事前に収集された複数の画像に対してユーザにより行われた加工操作に従って前記画像を加工する画像加工部と、
   前記画像と、前記画像加工部によって加工された加工画像に対して前記ユーザにより行われた前記加工画像内に含まれる認識対象物のラベリング情報と、前記加工操作に応じた画像加工度とを互いに対応づけた学習用情報を生成する学習用情報生成部
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記画像加工部は、ぼかし加工、輪郭強調加工、彩度調整加工、色相調整加工のうち少なくとも１つを用いて前記画像を加工する
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記画像加工度は、未加工を示す数値を含む所定の数値範囲内で表される
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記ユーザからの入力操作を受け付けるアノテーション用ユーザインターフェースを作成するアノテーション用ユーザインターフェース作成部と、を更に具備する
   情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   前記画像は医療画像である
   情報処理装置。
6. 事前に収集された複数の画像に対してユーザにより行われた加工操作に従って前記画像を加工し、
   前記画像と、前記加工操作に従って加工された加工画像に対して前記ユーザにより行われた前記加工画像内に含まれる認識対象物のラベリング情報と、前記加工操作に応じた画像加工度とを互いに対応づけた学習用情報を生成する
   情報処理方法。
7. 互いに対応づけられた、画像と、前記画像の加工画像内に含まれる認識対象物に対して行われたラベリング情報と、前記加工画像の画像加工度とを互いに対応づけた学習用情報を用いて事前に学習することによって得られるモデルを用いて、取得画像から、前記取得画像に含まれる認識対象物の認識結果と画像加工度を取得する処理部
   を具備する情報処理装置。
8. 請求項７に記載の情報処理装置であって、
   前記処理部は、取得した前記認識結果及び前記画像加工度に係る情報を可視化した画像を生成する
   情報処理装置。
9. 請求項８に記載の情報処理装置であって、
   前記画像加工度に係る情報の可視化は、前記画像加工度の文字表示、前記画像加工度に基づいて算出した信頼度の文字表示、前記画像加工度に応じた前記画像の一部の色の変化、前記認識結果の表示部分の色の変化のうち少なくとも１つを用いて行われる
   情報処理装置。
10. 請求項８に記載の情報処理装置であって、
    前記学習用情報に含まれるラベリング情報は、ぼかし加工、輪郭強調加工、彩度調整加工及び色相調整加工のうち少なくとも１つを用いて加工されている加工画像、又は、未加工の画像に対して行われたラベリング情報である
    情報処理装置。
11. 互いに対応づけられた、画像と、前記画像の加工画像内に含まれる認識対象物に対して行われたラベリング情報と、前記加工画像の画像加工度とを互いに対応づけた学習用情報を用いて事前に学習することによって得られるモデルを用いて、取得画像から、前記取得画像に含まれる認識対象物の認識結果と画像加工度を取得する
    情報処理方法。

Images