JP2021051573A - 画像処理装置、および画像処理装置の制御方法 - Google Patents

Abstract

【課題】被写体の画像から抽出される関心領域を、ユーザが視覚的に確認しながら調整可能とする。【解決手段】画像処理システムは、画像データを取得する取得手段と、前記画像データの各単位領域に対して、単位領域が抽出対象である信頼度を算出する算出手段と、関心領域を抽出するために用いる前記信頼度の基準値を変更する変更手段と、前記算出された単位領域の信頼度、および前記変更された基準値に基づいて、前記関心領域を抽出する抽出手段と、前記抽出された前記関心領域を表示する表示手段と、を有することを特徴とする。【選択図】図１

Description

本発明は、被写体の画像に基づいて被写体の領域を抽出する画像処理装置、および画像処理装置の制御方法に関するものである。

医療現場や介護現場において褥瘡を発症した患者に対し、定期的に褥瘡の評価をすることが求められており、そのうち褥瘡のサイズを計測することは褥瘡の進行具合を把握するための１つの指標となっている。褥瘡評価のツールとして、日本褥瘡学会学術教育委員会が開発した褥瘡状態判定スケール、“ＤＥＳＩＧＮ−Ｒ（登録商標）”が提案されている。“ＤＥＳＩＧＮ−Ｒ（登録商標）”は褥瘡をはじめとする傷の治癒過程を評価するためのツールである。この名称は、以下の各評価指標の頭文字をとったものである。即ち、深さ（Ｄｅｐｔｈ）、滲出液（Ｅｘｕｄａｔｅ）、大きさ（Ｓｉｚｅ）、炎症・感染（Ｉｎｆｌａｍｍａｔｉｏｎ／Ｉｎｆｅｃｔｉｏｎ）、肉芽組織（Ｇｒａｎｕｌａｔｉｏｎ）、壊死組織（Ｎｅｃｒｏｔｉｃ ｔｉｓｓｕｅ）の頭文字をとったものである。“ＤＥＳＩＧＮ−Ｒ（登録商標）”の採点は、褥瘡の治癒経過を評価し、適切なケア選択を行うために、定期的に採点し、病状を評価し管理していくことが開示されている。

“ＤＥＳＩＧＮ−Ｒ（登録商標）”の「大きさ」の評価は、皮膚損傷範囲の長径と短径（長径と直交する最大径）を（ｃｍ単位で）測定し、各々を掛け合わせた数値から、大きさを７段階に分類するものである。

褥瘡の患部領域の内、どの２点間を長径及び短径として計測したかによって、取得されるサイズは変わることになる。しがたって、褥瘡の治癒経過等を正しく評価するために、医療関係者は、褥瘡の患部領域に対するメジャー等の当て方を毎回適切に調整する必要がある。

領域の自動認識について、特許文献１には、基板の配線や電極等を含めた画像を撮影し、選択した色域に基づいて領域を自動認識する技術が開示されている。特許文献２には、自動認識した領域を、他の構造物領域に基づいて補正する技術が開示されている。

特開２０１０−９７４３３号公報 特開２０１９−５５２３０号公報

被写体の表層に生じた損傷等の特定の領域を画像処理によって自動認識する場合であっても、以下のような問題が生ずる可能性がある。特定の領域として、前述した褥瘡等の患部領域を例に挙げた場合、撮影時にどこまでを患部とするかは撮像装置の判断によるが、評価の際に必要となる患部の画像の範囲は、医療関係者による評価の目的に応じて異なることが多い。例えば、医療関係者は、患部の内で最も損傷が大きい範囲のみについて評価を行うこともあれば、患部の中心から外縁の正常な皮膚の部分までをも含む広い範囲について評価を行う場合もある。

さらに、深層学習等の機械学習手法を用いて得られた分類器を用いて患部領域を抽出する場合、学習に用いた教師データの量が不十分であったり、不正確なデータであったりし
た場合に、医療関係者の判断と撮像装置の判断とが異なる可能性がある。特許文献１に開示されている技術では、ユーザの判断と異なる患部領域が抽出された場合、ユーザは、患部領域の抽出のために用いる色域を選択し直すことによって、患部領域を再抽出することは可能である。しかしながら、患部領域と同じ色域を持つが患部領域でない領域を、患部領域から外して再抽出することは困難である。

特許文献２に開示されている技術では、患部領域以外の構造物領域に基づいて患部領域が補正されるが、患部領域を補正するために参照可能な構造物が患部領域の周囲に存在しない場合、患部領域は補正されない。また、ユーザとの対話的な補正手段がなく、領域の微調整をすることは難しい。

本発明は、上述の課題に鑑みてなされたものであり、被写体の画像から抽出される関心領域を、ユーザが視覚的に確認しながら調整可能とすることを目的とする。

本発明の画像処理装置は、画像データを取得する取得手段と、前記画像データの各単位領域に対して、単位領域が抽出対象である信頼度を算出する算出手段と、関心領域を抽出するために用いる前記信頼度の基準値を変更する変更手段と、前記算出された単位領域の信頼度、および前記変更された基準値に基づいて、前記関心領域を抽出する抽出手段と、前記抽出された前記関心領域を表示する表示手段と、を有することを特徴とする。

本発明によれば、被写体の画像から抽出される関心領域を、ユーザが視覚的に確認しながら調整可能とすることができる。

第１実施形態の画像処理システムの機能構成を例示する図である。 被写体の一例を示す図である。 撮像装置のハードウェア構成を例示する図である。 第１実施形態の画像処理装置のハードウェア構成を例示する図である。 第１実施形態の画像処理システムの動作例を説明する図である。 患部領域の面積を計算する方法の一例を説明する図である。 患部領域を重畳する前の画像の第１の例を示す図である。 患部領域が重畳された画像の例を示す図である。 調整前の患部領域を表示する画像の第１の例を示す図である。 調整後の患部領域を表示する画像の第１の例を示す図である。 第２実施形態の画像処理システムの機能構成を例示する図である。 第２実施形態の画像処理システムの動作例を説明する図である。 調整前の患部領域を表示する画像の第２の例を示す図である。 調整後の患部領域を表示する画像の第２の例を示す図である。 調整前の患部領域を表示する画像の第３の例を示す図である。 調整後の患部領域を表示する画像の第３の例を示す図である。 第３実施形態の画像処理システムの機能構成を例示する図である。 第３実施形態の画像処理システムの動作例を説明する図である。 第４実施形態の画像処理システムの機能構成を例示する図である。 第４実施形態の画像処理装置のハードウェア構成を例示する図である。 第４実施形態の画像処理システムの動作例を説明する図である。 患部領域を重畳する前の画像の第２の例を示す図である。 調整前の患部領域を表示する画像の第４の例を示す図である。 調整後の患部領域を表示する画像の第４の例を示す図である。

以下、図面を参照しながら、本発明の好適な実施形態を説明する。

［第１実施形態］
まず、図１〜図４を参照して、第１実施形態に係る画像処理システムについて説明する。図１は、第１実施形態に係る画像処理システムの機能構成を例示する図である。画像処理システム１００は、撮像装置１２０と、画像処理装置１３０とを有する。図２は、画像処理システム１００により計測される被写体の一例を示す図である。本実施形態では、被写体２０１の臀部に生じた患部領域２０２の病態の一例を褥瘡として説明する。

画像処理システム１００は、被写体２０１の患部領域２０２を含む画像を撮影し、被写体までの距離を取得する。画像処理システム１００は、撮影した画像データ中の各画素に対して、抽出対象である褥瘡に分類される信頼度（褥瘡である信頼度）を算出する。ここでの画素は、画像データの単位領域に相当する。

ここで、信頼度について説明する。信頼度とは、分類の確からしさを表す数値である。信頼度を算出して画像を分類する機械学習アルゴリズムの例として、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）や、深層学習がある。ＳＶＭの多クラスの識別器（ｃｌａｓｓｉｆｉｅｒ）は、入力された画像に対して、分類候補のクラスのそれぞれに分類される確からしさを、入力された画像の特徴量ベクトルと識別器の分離超平面との距離に基づいて算出する。識別器は、算出した値を信頼度として出力する。識別機は、信頼度の最も高かったクラスに、入力された画像を分類する。分類候補のクラスは、抽出対象に相当し、以下、分類クラスとも称される。

一方、深層学習には分類や意味的領域分割といったタスクが存在する。深層学習による分類のタスクでは、分類対象の画像をニューラルネットワークに入力すると、ニューラルネットワークの中間層で画像の特徴量が抽出され、出力層で分類クラスそれぞれについての分類の確からしさを算出することができる。さらに、画像処理システム１００は、算出した各クラスに対する分類の確からしさをソフトマックス関数によって０以上１以下の実数の範囲に、全クラスの和が１になるように正規化したものを信頼度として出力する。したがって、算出された信頼度はそれぞれのクラスに分類されるかどうかの確率として解釈することができる。そして、画像処理システム１００は、信頼度の最も高かったクラスに、画像を分類する。

また、深層学習による意味的領域分割のタスクでは、画像処理システム１００は、入力画像全体に対しての信頼度を算出するのではなく、入力画像の各画素に対しての信頼度を算出する。即ち、深層学習による意味的領域分割では、出力層は（入力画像の画素数）×（分類クラス数）分の信頼度マップを出力する。これらの信頼度は、入力画像の各画素について分類クラスに分類されるかどうかの信頼度を表している。分類のタスクの場合と同様に、各画素についての信頼度は、ソフトマックス関数によって０以上１以下の実数の範囲に正規化されている。このため、各画素についての信頼度は、各画素に対してそれぞれのクラスに分類されるかどうかの確率を表していると解釈することができる。画像処理システム１００は、信頼度の最も高かったクラスに、各画素を分類することで、クラスごとに領域を分割することができる。

本実施形態は、深層学習による意味的領域分割のタスクを用いて、画像中の各画素に対して褥瘡である信頼度を算出する例を説明する。画像処理システム１００は、算出された各画素の信頼度に基づいて、患部領域２０２を抽出または領域分割する。以下の説明において、患部領域２０２は、画像処理システム１００によって抽出または領域分割された抽
出結果であって、関心領域に相当する。

画像処理システム１００は、患部領域２０２の抽出結果（領域分割結果）を、撮像装置１２０の表示手段によって表示する。ユーザは、表示された領域分割結果が過大であるか否か、または過小であるか否かを確認する。過大または過小であった場合、ユーザは、各画素の信頼度の基準値、すなわち信頼度が特定の数値以上の領域を抽出するための基準値を設定する操作を行う。画像処理システム１００は、設定された信頼度の基準値および各画素の信頼度に基づいて、患部領域２０２の抽出または領域分割をやり直す。

例えば、ユーザが信頼度の基準値を９０に設定した場合、抽出された患部領域２０２よりもう少し広い範囲まで褥瘡として含めたい場合がある。この場合、ユーザは、信頼度を８５や８０まで下げることで、所望の範囲の患部領域２０２が抽出されるように調整することができる。ユーザは、適切な患部領域２０２が抽出されたと判断するまで、視覚的に確認しながら対話的に調整を繰り返すことで、適切に補正された領域分割結果を得ることができる。

画像処理システム１００は、被写体までの距離およびカメラの画角に基づいて１画素あたりの面積を計測する。画像処理システム１００は、調整後の領域および１画素あたりの面積から患部領域２０２の面積を算出することができる。尚、抽出対象は、褥瘡に限定されるものではなく、やけど、裂傷、等であってもよい。抽出対象は患部に限定されるものではなく、電子データにおける画像中のオブジェクトであってもよい。尚、対象となる患部の症状が変わると、深層学習における意味的領域が異なるので、対象となる患部の症状が異なる場合には、症状に応じたシステムを使用する。

（撮像装置の機能構成）
図１に例示する撮像装置１２０の機能構成について説明する。撮像装置１２０は、例えば、ユーザが手持ち可能なポータブルデバイスである。撮像装置１２０は、基準値変更手段１２１、ＡＦ手段１２２（ＡｕｔｏＦｏｃｕｓ手段）、撮像手段１２３、画像処理手段１２４、情報生成手段１２５、表示手段１２６、出力手段１２７、第２取得手段１２８、および保存手段１２９、を有する。尚、撮像装置１２０は、デジタルスチルカメラやデジタルムービーカメラに限定されず、例えば、携帯電話やタブレット等であってもよい。また、撮像装置１２０は、ユーザが手持ち可能なポータブルデバイスであることが好ましいが、これに限られない。撮像装置１２０は、医療用カメラなどであってもよい。

基準値変更手段１２１は、患部領域２０２を抽出するために用いる信頼度の基準値を変更する。基準値変更手段１２１は、例えば、ユーザの操作に基づいて信頼度の基準値を変更することができる。尚、基準値変更手段１２１は、撮像装置１２０には含まれず、画像処理装置１３０が有するものであってもよい。

ＡＦ手段１２２は、被写体２０１に自動的に焦点を合わせる自動焦点調節機能を有する。また、ＡＦ手段１２２は、焦点の調節量またはフォーカスレンズの移動量から、被写体２０１までの距離（被写体距離）を出力する。

撮像手段１２３は、被写体２０１を撮像し、画像データを生成する。画像処理手段１２４は、撮像手段１２３が取得した画像に対し、現像を含む画像処理を行い、リサイズを行う。

情報生成手段１２５は、被写体２０１までの距離に関する距離情報を生成する。例えば、情報生成手段１２５は、ＡＦ手段１２２が出力する被写体距離に基づいて距離情報を生成してもよい。

表示手段１２６は、各種の表示制御を行う。表示手段１２６は、撮像手段１２３が撮像した画像、患部領域２０２を示す情報、患部領域２０２のサイズに関する情報、患部領域２０２を抽出するために用いた信頼度の基準値に関する情報、の少なくとも何れか１つに基づく表示を行う。表示手段１２６は、上記情報の少なくとも何れか１つを、撮像手段１２３が撮像した画像に重畳して表示してもよい。

出力手段１２７は、画像データと、被写体２０１までの距離に関する距離情報と、基準値変更手段１２１によって設定された信頼度の基準値に関する情報とを、画像処理装置１３０または外部装置に出力する。

第２取得手段１２８は、以下の情報を外部装置または画像処理装置１３０から取得する。即ち、第２取得手段１２８は、画像処理装置１３０によって生成された画像データと、抽出された患部領域を示す情報と、患部領域２０２のサイズに関する情報と、を取得する。

（画像処理装置の機能構成）
次に、図１に例示する画像処理装置１３０の機能構成について説明する。画像処理装置１３０は、撮像装置１２０に対する外部装置の一例であり、取得手段１３１と、信頼度算出手段１３２と、抽出手段１３３と、サイズ評価手段１３４と、重畳手段１３５と、第２出力手段１３６と、を有する。

取得手段１３１は、撮像装置１２０が出力した画像データと、被写体２０１までの距離に関する距離情報と、基準値変更手段１２１によって設定された信頼度の基準値に関する情報を取得する。信頼度算出手段１３２は、画像データから、画像データの各画素について褥瘡である信頼度を算出する。

抽出手段１３３は、信頼度算出手段１３２によって算出された画像データの各画素についての信頼度と、取得手段１３１によって取得された信頼度の基準値に基づいて、患部領域２０２を抽出する。ここで、画像データから領域を抽出することは領域分割ともいう。

サイズ評価手段１３４は、抽出手段１３３によって抽出された患部領域２０２のサイズについての評価値を、取得手段１３１が取得した被写体２０１までの距離に関する距離情報に基づいて算出する。

重畳手段１３５は、患部領域２０２の抽出を行う際に用いた画像データに対して、抽出された患部領域２０２を示す情報と、患部領域２０２のサイズに関する情報と、患部領域を抽出するために用いた信頼度の基準値に関する情報と、を重畳する。

第２出力手段１３６は、重畳手段１３５によって生成された画像データと、抽出手段１３３によって抽出された患部領域についての情報と、サイズ評価手段１３４によって算出された患部領域２０２のサイズに関する情報と、を出力する。

（撮像装置のハードウェア構成）
図３を参照して、撮像装置１２０のハードウェア構成について説明する。図３は、撮像装置１２０のハードウェア構成を例示する図である。撮像装置１２０は、ＡＦ制御回路３０１、撮像ユニット３０２、ズーム制御回路３０６、測距システム３０７、画像処理回路３０８、通信装置３０９、およびシステム制御回路３１０を有する。撮像装置１２０は、更に、内部メモリ３１１、外部メモリＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３１２、表示装置３１３、操作部材３１４、および共通バス３１５を有する。

ＡＦ制御回路３０１は、撮像信号（映像信号）の高周波成分を抽出し、抽出した高周波成分が最大になるフォーカスレンズの位置を探索して、フォーカスレンズを制御し、自動的に焦点を調節する。フォーカスレンズは、レンズ３０３に含まれる。このフォーカス制御方式は、ＴＶ−ＡＦまたはコントラストＡＦとも称され、高精度な合焦が得られる特徴がある。また、ＡＦ制御回路３０１は、焦点の調節量またはフォーカスレンズの移動量に基づいて被写体２０１までの距離を出力する。

フォーカス制御方式はコントラストＡＦに限ったものではなく、位相差ＡＦや、その他のＡＦ方式でもよい。また、ＡＦ制御回路３０１は、焦点の調節量、またはフォーカスレンズの位置を検出し、フォーカスレンズの位置に基づいて被写体２０１までの距離を取得することができる。撮像装置１２０におけるＡＦ手段１２２は、ＡＦ制御回路３０１が動作することで実現される。

撮像ユニット３０２は、レンズ３０３、シャッタ３０４、イメージセンサ３０５を有する。撮像装置１２０における撮像手段１２３は、撮像ユニット３０２が動作することで実現される。

レンズ３０３は、イメージセンサ３０５に被写体２０１の光学像を結像する。レンズ３０３には、露出量を調節するための絞り値を決定する絞りが含まれる。イメージセンサ３０５は、光学像を電気信号に変換するＣＣＤや、ＣＭＯＳ素子等の電荷蓄積型の固体イメージセンサを有する。

シャッタ３０４は、開閉動作によりイメージセンサ３０５への露出や遮光を行い、シャッタ速度を制御する。尚、シャッタ３０４は、機械シャッタに限ったものではなく電子シャッタを用いてもよい。ＣＭＯＳセンサを用いた撮像素子では、電子シャッタは、画素ごと、または、複数画素からなる領域ごと（例えば、ラインごと）に、まず、画素の蓄積電荷量をゼロにするリセット走査を行う。その後、撮像ユニット３０２は、リセット走査を行った画素ごと、或いは、複数画素からなる領域ごとに、それぞれ所定の時間を経過してから信号を読み出す走査を行う。

ズーム制御回路３０６は、レンズ３０３に含まれるズームレンズの駆動を制御する。ズーム制御回路３０６は、３１０からの指示に従ってズームモータ（不図示）を介してズームレンズを駆動する。これにより変倍が行われる。

測距システム３０７は、画面を複数の画素からなる所定のブロックに分割し、画面内のブロックごとに、被写体２０１までの距離を検出する機能を有する。このように測距システム３０７は、被写体２０１までの距離を検出するユニットである。測距システム３０７は、ＡＦ制御回路３０１の出力に基づいて、被写体２０１までの距離を検出してもよい。画面内のブロックが複数ある場合、測距システム３０７は、ＡＦをブロックごとに繰り返し動作させることでブロックごとに、被写体２０１までの距離を検出する。

尚、測距システム３０７の一例としてＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサを用いたシステムを用いてもよい。ＴＯＦセンサは、照射波の送信タイミングと、当該照射波が物体で反射された波である反射波の受信タイミングとの時間差（または位相差）に基づいて、当該物体までの距離を測定するセンサである。更に、測距システム３０７として、受光素子にＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｖｉｃｅ）を用いたＰＳＤ方式のシステム等を用いてもよい。情報生成手段１２５は、測距システム３０７により検出された距離を、距離情報として生成する。

画像処理回路３０８は、イメージセンサ３０５から出力されたＲＡＷ画像データに画像処理を施す。画像処理回路３０８は、撮像ユニット３０２から出力された画像データ（ＲＡＷ画像データ）、または後述する内部メモリ３１１に記憶されている画像信号のデータに対して、種々の画像処理を行う。画像処理には、例えば、ホワイトバランス調整、ガンマ補正、色補間、デモザイキング、またはフィルタリングの少なくとも１つが含まれる。また、画像処理回路３０８は、撮像ユニット３０２が撮像した画像信号のデータに対して、ＪＰＥＧ等の規格で、圧縮処理を行う。

通信装置３０９は、撮像装置１２０内の各構成が、無線のネットワーク（不図示）を介して、画像処理装置１３０等の外部装置と通信を行うための通信インターフェースである。出力手段１２７および第２取得手段１２８は、通信装置３０９が動作することで実現される。ネットワークの具体的な一例としては、Ｗｉ−Ｆｉ（登録商標）規格に基づくネットワークが挙げられる。尚、Ｗｉ−Ｆｉ（登録商標）を用いた通信はルーターを介して実現されてもよい。また、通信装置３０９は、ＵＳＢやＬＡＮ等、有線の通信インターフェースにより実現されてもよい。

システム制御回路３１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有する。システム制御回路３１０は、内部メモリ３１１に記憶されているプログラムに従って、撮像装置１２０の各部を制御することにより全体制御を行う。また、システム制御回路３１０は、ＡＦ制御回路３０１、撮像ユニット３０２、ズーム制御回路３０６、測距システム３０７、画像処理回路３０８等の全体制御を行う。

内部メモリ３１１は、プログラムを記録するＲＯＭ等の不揮発性メモリ、およびシステム制御回路３１０が作業用のワークメモリとして使用するＲＡＭ等のシステムメモリを含む。内部メモリ３１１は、撮像装置１２０の動作に必要な画像撮像時のピント位置の情報等の各種設定情報や、撮像ユニット３０２が撮像した画像や、画像処理回路３０８の処理を得た画像を一時的に記憶する。また、内部メモリ３１１は、通信装置３０９が画像処理装置１３０と通信して受信した画像データや、患部領域２０２のサイズに関する情報等の解析データや、患部領域２０２の抽出に用いる信頼度の基準値等を一時的に記憶してもよい。内部メモリ３１１は、例えば、フラッシュメモリ、ＳＤＲＡＭ等の書き換え可能な不揮発性のメモリ等によって構成される。

外部メモリＩ／Ｆ３１２は、撮像装置１２０本体に装着可能な不揮発性の記憶媒体、または、撮像装置３の内部に固定された不揮発性の記憶媒体とのインターフェースである。外部メモリは、例えば、ＳＤカードやＣＦカード等である。外部メモリＩ／Ｆ３１２は、画像処理回路３０８で処理された画像データや、通信装置３０９が画像処理装置１３０と通信して受信した画像データや解析データ等を、撮像装置１２０本体に装着可能な記憶媒体に記憶する。また、外部メモリＩ／Ｆ３１２は、画像データの再生時には、撮像装置１２０本体に装着可能な記憶媒体に記憶された画像データを読み出す。外部メモリＩ／Ｆ３１２は、読みだした画像データを、表示装置３１３に表示したり、撮像装置１２０の外部に出力したりすることが可能である。

表示装置３１３は、内部メモリ３１１に一時的に記憶されている画像、外部メモリＩ／Ｆ３１２に記憶されている画像やデータ、或いは、撮像装置１２０の設定画面等を表示する。表示装置３１３は、例えば、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイ、有機ＥＬディスプレイ、またはＥＶＦ（電子ビューファインダ）等によって構成される。表示手段１２６は、表示装置３１３に対応する。

操作部材３１４は、例えば、撮像装置１２０に設けられた、ボタン、スイッチ、キー、およびモードダイアルである。また、撮像装置１２０は、例えば、表示装置３１３と一体
的に構成され、表示面への接触を検知可能なタッチパネルを有する。モード設定、レリーズ等の撮影動作、患部領域２０２の抽出に用いる信頼度の基準値の設定等のユーザからの指令は、操作部材３１４を経由して、システム制御回路３１０に送信される。

共通バス３１５には、ＡＦ制御回路３０１、撮像ユニット３０２、ズーム制御回路３０６、測距システム３０７、および画像処理回路３０８が接続される。また、共通バス３１５には、通信装置３０９、システム制御回路３１０、内部メモリ３１１、外部メモリＩ／Ｆ３１２、表示装置３１３、および操作部材３１４も接続される。共通バス３１５は、各ブロック間で信号の送受信を行うための信号線である。

尚、撮像装置１２０は、撮像装置本体と着脱可能なレンズユニットであって、撮像素子を備えるレンズユニットを用いて構成されても良い。この場合、撮像装置本体は、撮像素子を有さない。

（画像処理装置のハードウェア構成）
次に、図４を参照して、画像処理装置１３０のハードウェア構成について説明する。図４は、画像処理装置１３０のハードウェア構成を例示する図である。図４の例では、画像処理装置１３０は、中央演算処理装置４１０と、記憶装置４２０と、入力装置４３０と、出力装置４４０と、補助演算装置４５０と、を有する。以下、中央演算処理装置４１０をＣＰＵ４１０と称する。

ＣＰＵ４１０は、演算装置４１１を有する。記憶装置４２０は、主記憶装置４２１と補助記憶装置４２２とを有する。主記憶装置４２１は、プログラムを記録するＲＯＭ等の不揮発性メモリ、およびＣＰＵ４１０が作業用のワークメモリとして使用するＲＡＭ等のシステムメモリを含む。補助記憶装置４２２は、例えば、磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。

入力装置４３０は、例えば、マウスまたはキーボード等である。尚、画像処理装置１３０は、タッチパネルが出力装置４４０と一体的に構成されるタッチパネルディスプレイ等を、入力装置４３０として有してもよい。出力装置４４０は、例えば、コンピュータディスプレイである。入力装置４３０および出力装置４４０の一部はＷｉ−Ｆｉ（登録商標）を用いた通信を行うための無線通信モジュールとして構成されてもよい。

補助演算装置４５０は、ＣＰＵ４１０の制御の下で用いられる補助演算用ＩＣである。補助演算装置４５０には、一例としてＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いることができる。ＧＰＵは、元々は画像処理用のプロセッサであるが、複数の積和演算器を有し、行列計算を得意としているため、信号学習用の処理を行うプロセッサとしても用いられる。深層学習を行う処理においても、ＧＰＵが用いられることが一般的である。尚、補助演算装置４５０として、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ等を用いてもよい。

演算装置４１１は、記憶装置４２０に記憶されているプログラムを実行することで、画像処理装置１３０の取得手段１３１、信頼度算出手段１３２、抽出手段１３３、サイズ評価手段１３４、重畳手段１３５、および第２出力手段１３６として機能する。更に、演算装置４１１は、取得手段１３１、信頼度算出手段１３２、抽出手段１３３、サイズ評価手段１３４、重畳手段１３５、および第２出力手段１３６を実行する順番を制御する。

尚、画像処理装置１３０が備えるＣＰＵ４１０および記憶装置４２０は１つであってもよいし複数であってもよい。即ち、少なくとも１以上の処理装置（ＣＰＵ）と少なくとも１以上の記憶装置とが接続されており、少なくとも１以上の処理装置が少なくとも１以上
の記憶装置に記憶されたプログラムを実行した場合に、画像処理装置１３０は上記の各手段として機能する。尚、処理装置はＣＰＵに限定されるものではなく、ＦＰＧＡやＡＳＩＣ等であってもよい。

（画像処理システムの動作）
図５を参照して、本実施形態に係る画像処理システムの動作について説明する。図５は、第１実施形態に係る画像処理システム１００の動作例（フローチャートによる処理の例）を説明する図である。

以下、画像処理システム１００の動作を示す各フローチャートにおいて、撮像装置１２０が実行する処理は“ＳＡ”、画像処理装置１３０が実行する処理は“ＳＢ”で始まる符号によって示される。撮像装置１２０が実行する各処理は、システム制御回路３１０が不揮発性の内部メモリ３１１に格納されたプログラムをシステムメモリに展開して実行することにより実現される。画像処理装置１３０が実行する処理は、ＣＰＵ４１０が主記憶装置４２１のＲＯＭに格納されたプログラムをシステムメモリ（ＲＡＭ）に展開して実行することにより実現される。なお、図５の処理は、撮像装置１２０に電源が入り、画像処理装置１３０からの探索処理に対して撮像装置１２０が応答すると開始する。

ＳＡ５０１の応答処理およびＳＢ５０１の探索処理において、撮像装置１２０と画像処理装置１３０とは、例えば、無線ＬＡＮ規格であるＷｉｆｉ規格のネットワーク（不図示）にそれぞれ接続することで相互に認識する。ＳＢ５０１において、画像処理装置１３０は、画像処理装置１３０に接続される撮像装置１２０を探索する。ＳＡ５０１において、撮像装置１２０は、画像処理装置１３０の探索処理に対して応答する。画像処理装置１３０による探索は、ネットワークを介した各種の機器探索技術が用いられる。機器探索技術は、例えば、ＵＰｎＰ（Ｕｎｉｖｅｒｓａｌ Ｐｌｕｇ ａｎｄ Ｐｌａｙ）である。ＵＰｎＰにおいて個々の装置はＵＵＩＤ（Ｕｎｉｖｅｒｓａｌｌｙ Ｕｎｉｑｕｅ ＩＤｅｎｔｉｆｉｅｒ）によって識別される。尚、通信の形態は、各装置が無線ＬＡＮのアクセスポイントを介して通信をするインフラストラクチャー・モードに限られない。撮像装置１２０と画像処理装置１３０とは、アドホック・モードを用いてＰ２Ｐ（Ｐｅｅｒ ｔｏ
Ｐｅｅｒ）通信を行ってもよい。

Ｓ５００：ライブビュー処理
次に、ライブビュー処理Ｓ５００について説明する。ライブビュー処理Ｓ５００は、撮像装置１２０の表示装置３１３（表示手段１２６）にライブ映像を表示する処理である。ライブビュー処理Ｓ５００は、撮像装置１２０のＳＡ５０２〜ＳＡ５０９の処理、および画像処理装置１３０のＳＢ５０２〜ＳＢ５０７の処理を含む。

ＳＡ５０２において、ＡＦ手段１２２は、ＡＦ処理を行う。ＡＦ処理は、患部領域２０２に焦点を合わせるように焦点が自動的に調節される。ＡＦ手段１２２は、画面を複数のブロックに分割し、所定のブロックでＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）を行う。本実施形態では、画面の中央に患部領域２０２が配置されるように撮像装置１２０を構えるものとする。よって、ＡＦ手段１２２は、画面の中央に位置するブロックでＡＦを行う。また、ＡＦ手段１２２は、焦点の調節量またはフォーカスレンズの移動量から、被写体２０１のＡＦエリアまでの距離を出力する。

ＳＡ５０３において、撮像手段１２３は、被写体２０１の患部領域２０２が含まれるように、被写体２０１の画像を撮像する。尚、ＳＡ５０１の後、ＳＡ５０９でレリーズの指示がされるまでの間、ＳＡ５０２からＳＡ５０９までの処理が繰り返される。

ＳＡ５０４において、画像処理手段１２４は、ＳＡ５０３で撮像された画像を現像し、
現像後の画像に対しＪＰＥＧ等の規格で画像圧縮を行う。そして、画像処理手段１２４は、得られた画像のリサイズを実施する。ＳＡ５０４で生成された画像は、後述するＳＡ５０６で画像処理装置１３０に無線通信により送信される。

ここで、画像のリサイズについて説明する。画像処理装置１３０に送信される画像のサイズが大きいほど、無線通信による画像の送信には時間がかかる。このため、撮像装置１２０と画像処理装置１３０との間で許容される通信時間を考慮してリサイズ後の画像のサイズが選択される。

また、後述するＳＢ５０４において、画像中の各画素について、褥瘡である信頼度を算出する処理がなされる。算出処理の時間および算出精度は、画像サイズに依存する。このため、これらの要件も考慮して、リサイズ後の画像のサイズが選択される。

更に、ＳＡ５０４の処理は、ライブビュー処理中の処理であるため、処理の時間が長いとライブ映像のフレームレートが低くなる可能性がある。画像処理手段１２４は、ライブビュー処理Ｓ５００では、本撮影処理の画像処理（後述するＳ５１０のＳＡ５１３）でリサイズするサイズ以下に画像をリサイズすることで、フレームレートの低下を抑制することができる。例えば、ＳＡ５０４において、画像処理手段１２４は、例えば、７２０画素×５４０画素で８ビットＲＧＢカラーとして、サイズがおよそ１．１メガバイトとなるように画像をリサイズすることができる。リサイズ後の画像のサイズはこれに限られず、所定のフレームレートでライブビュー表示ができるサイズであればよい。

ＳＡ５０５において、情報生成手段１２５は、被写体２０１までの距離に関する距離情報を生成する。具体的には、情報生成手段１２５は、ＳＡ５０２のＡＦ処理で得られた、被写体２０１のＡＦエリアまでの距離に基づいて距離情報を生成する。また、ＳＡ５０２において、画面を分割処理した複数のブロックのそれぞれについて、ＡＦ処理をする場合、情報生成手段１２５は、当該複数のブロックのそれぞれについて、被写体２０１までの距離を取得してもよい。尚、情報生成手段１２５は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサ等、他のデバイスを用いて、距離情報を生成してもよい。

ＳＡ５０６において、出力手段１２７は、ＳＡ５０４で生成された画像データと、ＳＡ５０５で生成された被写体２０１までの距離に関する距離情報とを、画像処理装置１３０に送信（出力）する。

画像処理装置１３０は、ＳＢ５０２からＳＢ５０７までの処理を実行する。ＳＢ５０２において、取得手段１３１は、撮像装置１２０から出力された画像データと、撮像された被写体２０１までの距離に関する距離情報とを受信（取得）する。

ＳＢ５０３において、信頼度算出手段１３２は、ＳＢ５０２で取得された画像データの各画素について褥瘡である信頼度を算出する。この場合、信頼度算出手段１３２は、画像データの全領域について信頼度の算出を行わなくてもよい。例えば、撮像した画像には患者の着衣や撮影者の手元などが映りこむ可能性があるため、信頼度算出手段１３２は、ユーザに指定された範囲において信頼度を算出するようにしてもよい。

各画素の信頼度の算出方法としては、深層学習による意味的領域分割が例示される。意味的領域分割では、学習用のコンピュータ（不図示）は、患部領域が既知である複数の実際の褥瘡患部の画像を教師データとしてニューラルネットワークのモデルを学習させて学習済モデルを生成する。信頼度算出手段１３２は、生成された学習済モデルに基づいて、入力画像の各画素が褥瘡である信頼度を算出する。

算出する信頼度は、褥瘡である信頼度に限られない。信頼度算出手段１３２は、例えば、正常な皮膚領域に分類される信頼度（正常な皮膚領域である信頼度）、皮膚以外の背景領域に分類される信頼度（背景領域である信頼度）を算出してもよい。各画素が分類される「褥瘡」、「正常な皮膚領域」、「背景領域」は、分類クラスの例である。

本実施形態では、ニューラルネットワークのモデルの一例として、深層学習を用いたセグメンテーション・モデルである完全畳み込みネットワーク ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）が適用される。ＦＣＮでは、各画素が分類クラスそれぞれに分類されるかの信頼度（ＦＣＮにおいて、ｃｏｎｆｉｄｅｎｃｅと呼ばれる）を、各クラスに対する信頼度の和が１になるように出力する。

以下、ＦＣＮのネットワークにおける演算内容の一例を説明する。まず、畳み込み層では、入力された画像に対して、畳み込み演算を行った後に活性化関数を通して値が出力される。プーリング層では、複数の画素から代表値を取り出すプーリング操作が行われる。畳み込み層とプーリング層の重複を許す複数個の組み合わせを用いた演算によってダウンサンプリングが行われ、３次元の特徴量マップが得られる。その後、得られた３次元の特徴量マップに対して、デコンボリューション層を用いたアップサンプリング後の特徴量マップとダウンサンプリング前の特徴量マップとの和を複数回計算することで、（入力画像の画素数）×（分類クラス数）の特徴量が得られる。これらの特徴量は、入力画像の各画素について分類クラスに分類されるかどうかのスコアを表している。その後、各画素における分類クラスに分類されるかどうかのスコアをソフトマックス関数によって０以上１以下の実数の範囲に、全クラスの和が１になるように正規化する。ＦＣＮは、これらの値を、各画素が分類クラスそれぞれについて分類されるか否かの信頼度として出力する。

ここで、深層学習の推論は、積和演算の並列実行を得意とする補助演算装置４５０に含まれるＧＰＵにより処理される。推論処理は、ＦＰＧＡやＡＳＩＣなどにより実行されてもよい。また、他の深層学習のモデルを用いて各画素の信頼度を算出してもよい。尚、信頼度の算出方法は深層学習に限られない。例えば、ある注目画素について、注目画素の周辺領域（例えば、注目画素を中心とした矩形領域）に対してＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量等の特徴量を抽出する。そして、抽出した特徴量を、ＳＶＭ等の識別器に入力し、その出力の値を注目画素についての信頼度として算出してもよい。尚、信頼度の算出は各画素単位に対してのみ行うとは限られない。例えば、入力画像を縦ｍ画素、横ｎ画素（ｍ、ｎは任意の自然数）の長方形のセル単位で区切り、各セルに対して信頼度を算出してもよい。さらに、区切る形状は長方形のセルに限らず、任意の形状のセグメントであってもよい。

ＳＢ５０４において、抽出手段１３３は、ＳＢ５０２で取得された画像データから、ＳＢ５０３で算出した各画素についての信頼度に基づいて、被写体２０１の患部領域２０２を抽出または領域分割する。患部領域２０２として、抽出または領域分割された領域は、「推定エリア」または「抽出された領域」とも称される。

本実施形態では、初期値の一例として、信頼度が５０（％）以上の画素の集合を患部領域２０２として抽出する。尚、ＳＢ５０４において信頼度の基準値は５０（％）に限られず、５０（％）よりも大きい値としてもよい。また、患部領域１０２は、褥瘡である信頼度に基づいて抽出される場合に限られず、褥瘡以外の分類クラスに対する信頼度との組み合わせに基づいて抽出されてもよい。例えば、各分類クラスに対する信頼度の値のうち、褥瘡に対する信頼度の値が最も大きい画素の集合を患部領域２０２として抽出してもよい。また、例えば、褥瘡である信頼度が５０（％）以上、かつ、正常な皮膚領域である信頼度が３０（％）以下である画素の集合を患部領域２０２として抽出してもよい。

ＳＢ５０５において、サイズ評価手段１３４は、ＳＢ５０４で抽出された患部領域２０２の画像データ上のサイズを、画像データの画角もしくは画素サイズに関する情報、および、ＳＡ５０５で生成された距離情報に基づいて算出する。本実施形態では、サイズ評価手段１３４は、患部領域のサイズに関する情報の一例として、患部領域２０２の面積を算出する。

図６は、患部領域２０２の面積を算出する方法の一例を説明する図である。撮像装置１２０は、図６に示すようなピンホールモデルとして扱うことができる。入射光６０１は、レンズ３０３のレンズ主点を通り、イメージセンサ３０５の撮像面で受光する。撮像面からレンズ主点までの距離が焦点距離Ｆである。ここで、薄レンズ近似を用いる場合、前側主点および後側主点の２つの主点は一致するとみなせる。また、ピンホールモデルでは見かけ上、レンズ３０３が厚みのない単一のレンズであるが、実際のレンズは、フォーカスレンズを含む複数の厚みのあるレンズ、またはズームレンズで構成されていてもよい。

イメージセンサ３０５の平面に像が結像するようにレンズ３０３のフォーカスレンズを調整することで、撮像装置１２０は、被写体２０１に焦点を調節する。ズームレンズにより焦点距離Ｆを可変することで画角θが変化する。このとき、撮像装置１２０の画角θと被写体距離Ｄとの関係から幾何学的に合焦面における被写体２０１の幅Ｗが決定される。被写体２０１の幅Ｗは、三角関数を用いて計算される。即ち、被写体２０１の幅Ｗは、フォーカス位置とズーム量とをパラメタとする画角θと、被写体距離Ｄとの関係によって決定される。被写体２０１の幅Ｗの値を、当該幅Ｗに対応するイメージセンサ３０５のライン上の画素数で除算することにより、画像上の１画素に対応する合焦面上の長さが得られる。

患部領域２０２の面積は、ＳＢ５０４による領域分割の結果から得られる患部領域２０２の画素数と、画像上の１画素に対応する合焦面上の長さから得られる１画素の面積との積として算出される。尚、被写体２０１の幅Ｗもしくは画像上の１画素に対応する合焦面上の長さは、幅Ｗが既知の被写体を、被写体距離Ｄを変化させて撮像することにより、被写体のデータを取得し回帰的に求めてもよい。また、被写体距離Ｄが単一の場合は、正しく面積を求めるためには被写体が平面であることが前提となる。

患部領域２０２の面積は、次のように算出してもよい。ＳＡ５０５において、情報生成手段１２５は、画面の複数の位置で距離情報を生成する。ＳＢ５０５において、サイズ評価手段１３４は、情報生成手段１２５が生成した距離情報を用いて、被写体２０１の奥行方向の傾きや変化を検出し、検出した傾きや変化に基づいて、患部領域２０２の面積を算出してもよい。

さらに、サイズ評価手段１３４は、ＳＢ５０４による領域分割の結果から得られる患部領域２０２の長径と短径の長さ、および矩形面積を算出して患部領域２０２の面積としてもよい。患部領域２０２の長径と短径の長さ、および矩形面積は、画像データの画角または画素サイズに関する情報、および、ＳＡ５０５で生成された距離情報に基づいて算出することができる。

褥瘡の評価指標の“ＤＥＳＩＧＮ−Ｒ（登録商標）”の中で、褥瘡のサイズは長径と短径の積の値を計測することが定められている。本実施形態における画像処理システムでは長径と短径の解析を行うことで、今まで“ＤＥＳＩＧＮ−Ｒ（登録商標）”で計測されていたデータとの互換性を確保することができる。“ＤＥＳＩＧＮ−Ｒ（登録商標）”は、数学的には複数の長径、短径の算出方法が考えられる。一例として、サイズ評価手段１３４は、患部領域２０２に外接する矩形のうち、面積が最小となる矩形（Ｍｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅ）の長辺の長さを長径とし、短辺の長さを短径と
して算出することができる。

また、長径と短径の別の算出方法として、長径として最大のキャリパー長である最大フェレ径を、短径として最小フェレ径を選択してもよい。さらに、長径と短径の別の算出方法として、長径として最大のキャリパー長である最大フェレ径を、短径として、最大フェレ径の軸に直交する方向で計測した長さを選択してもよい。長径と短径の計算方法は、従来の計測結果との互換性に基づいて任意の方法を選択することができる。

ＳＢ５０６において、重畳手段１３５は、患部領域２０２の抽出を行う際に用いた画像データに対して、抽出された患部領域２０２を示す情報および患部領域２０２のサイズに関する情報を重畳する。図７および図８を参照して、抽出された患部領域２０２を示す情報および患部領域２０２のサイズに関する情報を画像データに重畳する方法について説明する。

図７は、患部領域を重畳する前の画像の第１の例を示す図である。画像７００は、重畳処理前の画像である。被写体２０１、患部領域２０２が画像７００に表示されている。

図８は、患部領域が重畳された画像の例を示す図である。画像８００は、重畳処理後の画像である。画像８００は、上部に患部領域２０２のサイズに関する情報を重畳して表示する。即ち、患部領域２０２の面積値８０１と、患部領域２０２の長径の長さ８０２と、患部領域２０２の短径の長さ８０３と、“ＤＥＳＩＧＮ−Ｒ（登録商標）”の「大きさ」の評価結果８０４とが画像８００に重畳して表示される。尚、８０１〜８０４の文字列および背景色の色は、見やすいものであれば白、黒に限らなくてもよい。また、透過量を設定してαブレンドすることで、文字列を重畳した部分の画像が確認できるようにしてもよい。

画像８００は、ＳＢ５０４で抽出（領域分割）した患部領域２０２の推定エリア８０５として、αブレンドして重畳表示する。ユーザは、推定エリア８０５が重畳表示されることで、患部領域２０２として抽出された推定エリア８０５が妥当か否かを確認することができる。推定エリア８０５の色は、被写体２０１の色と重ならないようにすることが望ましい。αブレンドの透過率は、ユーザが推定エリア８０５を認識し、患部領域２０２を確認できる範囲が望ましい。尚、推定エリア８０５の重畳方法はαブレンドに限られない。例えば、推定エリア８０５は、全体を点滅させながら重畳して表示されてもよく、推定エリア８０５の外縁の線が重畳して表示されてもよい。尚、重畳手段１３５は、ＳＢ５０６において重畳前の画像と、推定エリア８０５の領域を示す画像とを重畳せず、撮像装置１２０が、受信した推定エリア８０５の領域を示す画像を重畳して表示してもよい。

ＳＢ５０７において、第２出力手段１３６は、ＳＢ５０４で抽出された患部領域２０２を示す情報を撮像装置１２０に送信（出力）する。また、第２出力手段１３６は、ＳＢ５０５で算出された患部領域２０２のサイズに関する情報を撮像装置１２０に出力する。本実施形態では、ＳＢ５０６で重畳処理が行われた画像８００を撮像装置１２０に無線通信により出力する。

ＳＡ５０７において、第２取得手段１２８は、画像処理装置１３０から、抽出された患部領域２０２に関連する情報または患部領域２０２のサイズに関する情報のうち少なくとも何れかを取得する。本実施形態では、第２取得手段１２８は、画像処理装置１３０がＳＢ５０７で出力した重畳処理済みの画像８００を取得する。

ＳＡ５０８において、表示手段１２６は、ＳＡ５０７で受信した重畳処理済みの画像８００を表示装置３１３に表示する。撮像装置１２０は、撮像手段１２３が生成したライブ
ビュー画像（画像７００）に対して、抽出された患部領域２０２を示す情報または患部領域２０２のサイズに関する情報のうち少なくとも何れかを重畳して表示する。撮像装置１２０のユーザは、レリーズの前に患部領域２０２のサイズに関する情報と、患部領域２０２として推定された推定エリア８０５が妥当であるかを確認したうえで本撮影処理Ｓ５１０に進むことができる。

ＳＡ５０９において、システム制御回路３１０は、操作部材３１４のレリーズが押されたか否かを判定する。レリーズが押されていない場合、処理はＳＡ５０２に戻る。レリーズが押された場合、ライブビュー処理Ｓ５００を終了し、処理はＳＡ５１１に進む。ＳＡ５１１より前のライブビュー処理Ｓ５００は、ライブビュー表示のための処理であるのに対し、ＳＡ５１１以降の処理は、最終的に患部領域２０２のサイズに関する情報を計測し、画像を記録する本撮影処理Ｓ５１０である。

Ｓ５１０：本撮影処理
次に、本撮影処理Ｓ５１０について説明する。本撮影処理Ｓ５１０は、患部領域２０２を抽出するための本撮影の処理である。本撮影処理Ｓ５１０は、撮像装置１２０のＳＡ５１１〜ＳＡ５１６の処理、および画像処理装置１３０のＳＢ５１１〜ＳＢ５１６の処理を含む。

ＳＡ５１１において、ＡＦ手段１２２は、ＳＡ５０２と同様に、ＡＦ処理を行い、被写体２０１に合焦する。また、ＡＦ手段１２２は、焦点の調節量またはフォーカスレンズの移動量から、被写体２０１までの距離を出力する。ＳＡ５１２において、撮像手段１２３は、ＳＡ５０３と同様に、被写体２０１の患部領域２０２が含まれるように、被写体２０１の画像を撮像する。

ＳＡ５１３において、画像処理手段１２４は、ＳＡ５０４と同様に、現像処理およびリサイズ処理を行う。本撮影処理Ｓ５１０のＳＡ５１３では、ライブビュー処理Ｓ５００の画像処理であるＳＡ５０４と比較すると、処理時間よりも、画像のサイズおよび患部領域２０２のサイズの計測精度が優先される。従って、画像処理手段１２４は、ＳＡ５０４で生成される画像のサイズ以上にリサイズした画像を生成する。例えば、ＳＡ５１３において、画像処理手段１２４は、１４４０画素×１０８０画素で４ビットＲＧＢカラーとして、サイズがおよそ４．４５メガバイトとなるように画像をリサイズすることができる。尚、リサイズ後の画像のサイズはこれに限られず、ライブビュー表示でのサイズよりも大きくなるようにリサイズされればよい。

ＳＡ５１４において、情報生成手段１２５は、ＳＡ５０５と同様に、被写体２０１までの距離に関する距離情報を取得（生成）する。ＳＡ５１５において、出力手段１２７は、ＳＡ５０６と同様に、ＳＡ５１３で生成された画像データと、ＳＡ５１４で生成された被写体２０１までの距離に関する距離情報を、画像処理装置１３０に送信（出力）する。

ＳＢ５１１において、取得手段１３１は、ＳＢ５０２と同様に、撮像装置１２０から出力された画像データと、撮像された被写体２０１までの距離に関する距離情報とを受信（取得）する。

ＳＢ５１２において、信頼度算出手段１３２は、ＳＢ５０３と同様に、ＳＢ５１１で取得された画像データに基づいて、画像データの各画素について褥瘡である信頼度を算出する。信頼度を算出する処理の詳細は、ＳＢ５０３の処理と同様であるため省略する。

ＳＢ５１３において、抽出手段１３３は、ＳＢ５０４と同様に、ＳＢ５１１で取得された画像データから、ＳＢ５１２で算出した各画素についての信頼度に基づいて、被写体２
０１の患部領域２０２を抽出または領域分割する。患部領域２０２を抽出または領域分割する処理の詳細は、ＳＢ５０４の処理と同様であるため省略する。

ＳＢ５１４において、サイズ評価手段１３４は、ＳＢ５０５と同様に、ＳＢ５１３で抽出された患部領域２０２のサイズに関する情報を、ＳＡ５１４で生成された距離情報に基づいて算出する。患部領域２０２のサイズを評価する処理の詳細は、ＳＢ５０５の処理と同様であるため省略する。

ＳＢ５１５において、重畳手段１３５は、ＳＢ５０６と同様に、患部領域２０２の抽出を行う際に用いた画像データに対して、抽出された患部領域２０２を示す情報および患部領域２０２のサイズに関する情報を重畳する。重畳処理の詳細は、図７および図８を用いて説明したＳＢ５０６の処理と同様であるため省略する。

ここで、図９を参照して、褥瘡である信頼度の基準値を、ユーザが変更するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）について説明する。図９は、調整前の患部領域を表示する画像の第１の例を示す図である。尚、図８と同じ表示要素については同じ符号を付して、説明は省略する。

ＳＢ５１５において、重畳手段１３５は、図９に示すように、褥瘡である信頼度の基準値を変更するためのスライダー９０１を重畳する。スライダー９０１は、後述する領域調整処理Ｓ５２０において、ユーザが表示されている患部領域２０２とは異なるサイズや形の範囲を見たいと判断した場合に、基準値を変更するための操作に用いられる。

図９の例では、スライダー９０１の両端に、基準値の下限値“０”（％）、および上限値“１００”（％）が記載されている。尚、基準値の下限値および上限値は、０および１００に限られず、ユーザに基準値の変更を許容する範囲に限定してもよい。スライダー９０１中の白い縦長の長方形は現在の信頼度の基準値の設定値の位置を表す。スライダー９０１の設定値を選択するための選択部材９０２の上部には、現在の基準値である“５０”（％）が記載されている。

尚、図９の例では、重畳手段１３５は、褥瘡の分類クラスに対する信頼度の基準値を変更するスライダー９０１を重畳するが、褥瘡以外の分類クラスに対する信頼度の基準値を変更するスライダーをさらに重畳してもよい。例えば、抽出手段１３３が、褥瘡以外の分類クラスに対する信頼度との組み合わせに基づいて患部領域２０２を抽出する場合には、重畳手段１３５は、他の分類クラスの信頼度の基準値を設定するためのスライダーも重畳する。他の分類クラスは、例えば、正常な皮膚領域、背景領域である。基準値の変更を行うためのＧＵＩは、スライダーに限られず、ノブ等でもよい。

また、ＳＢ５１５では、重畳手段１３５は、画像９００に、“Ｓａｖｅ”と書かれたボタンアイコン９０３を重畳する。ボタンアイコン９０３は、後述するＳＡ５２２において、表示されている患部領域１０２を調整する操作がされた場合に、ＳＡ５２６に移行して、調整後の画像を保存する操作を行うために用いられる。尚、ボタンアイコン９０３の文字列は“Ｓａｖｅ”に限られず、画像を保存することを意味する文字列であればよい。また、ボタンアイコン９０３の形状は、長方形に限られず、丸型などであってもよい。

図５の説明に戻り、ＳＢ５１６において、第２出力手段１３６は、ＳＢ５０７と同様に、ＳＢ５１３で抽出された患部領域２０２を示す情報を撮像装置１２０に送信（出力）する。また、第２出力手段１３６は、ＳＢ５１４で算出された患部領域２０２のサイズに関する情報を撮像装置１２０に出力する。本実施形態では、ＳＢ５１５で重畳処理が行われた画像９００を撮像装置１２０に無線通信により出力する。

ＳＡ５１６において、第２取得手段１２８は、ＳＡ５０７と同様に、画像処理装置１３０から、抽出された患部領域２０２に関連する情報を受信（取得）する。本実施形態では、第２取得手段１２８は、画像処理装置１３０がＳＢ５１６で出力した重畳処理済みの画像９００を取得する。

Ｓ５２０：領域調整処理
次に、領域調整処理Ｓ５２０について説明する。領域調整処理Ｓ５２０は、撮像装置１２０の表示装置３１３（表示手段１２６）に表示された画像中の患部領域２０２を、ユーザの操作に基づいて調整する処理である。画像処理装置１３０は、調整後の患部領域２０２を面積の計測対象とすることができる。

領域調整処理Ｓ５２０は、撮像装置１２０のＳＡ５２１〜ＳＡ５２５の処理、および画像処理装置１３０のＳＢ５２１〜ＳＢ５２５の処理を含む。領域調整処理Ｓ５２０の各処理は、適宜、図９および図１０を参照して説明される。図９は、調整前の患部領域を表示する画像の第１の例を示す図である。図１０は、調整後の患部領域を表示する画像の第１の例を示す図である。尚、図１０において、図８および図９と同じ表示要素については同じ符号を付して参照する。

ＳＡ５２１において、表示手段１２６は、ＳＡ５０８と同様に、ＳＡ５１６またはＳＡ５２５で取得された重畳処理済みの画像９００（図９）を表示装置３１３に表示する。ＳＡ５２１では、ＳＡ５０８と異なり、表示手段１２６は、画像９００に表示された患部領域２０２の推定エリア８０５（面積の計測対象とする領域）の範囲を、ユーザの操作に基づいて調整する。ユーザは、操作部材３１４を用いて、患部領域２０２の推定エリア８０５の範囲を調整することができる。

本実施形態において、面積の計測対象とする領域を調整するための操作手段は、表示装置３１３のタッチパネルディスプレイであるものとする。ユーザは、表示装置３１３の画面をタッチ操作することで、領域を調整することができる。尚、領域を調整するための操作手段は、タッチパネルディスプレイに限られず、撮像装置１２０が備えるボタンまたはレバー等であってもよい。

ＳＡ５２２において、基準値変更手段１２１は、ＳＡ５２１で表示した画像９００に対し、ユーザの操作によって、基準値が変更されたか否かを判定する。基準値が変更された場合は、ＳＡ５２３へ進み、そうでない場合は、ＳＡ５２６ヘ進む。

ここで、図９を参照して、領域を調整する方法の一例を説明する。褥瘡である信頼度の基準値は、初期値として５０（％）に設定されているものとする。ＳＡ５２１において、画像９００には、基準値が５０（％）以上である患部領域２０２の推定エリア９０４が、重畳して表示される。

推定エリア９０４がユーザの想定する褥瘡の領域に近い場合、ユーザは、領域を調整せずに、ボタンアイコン９０３をタップする。基準値は変更されていないため、処理はＳＡ５２６に進む。

一方、推定エリア９０４がユーザの想定する褥瘡の領域よりも小さいかまたは大きい場合、ユーザは、推定エリア９０４を調整するためにスライダー９０１を操作する。ユーザは、スライダー９０１の選択部材９０２を左右のどちらかに移動することで推定エリア９０４を調整する。スライダー９０１が操作された場合、基準値が変更されるため、処理はＳＡ５２３に進む。

ＳＡ５２３において、基準値変更手段１２１は、ＳＡ５２２でユーザが操作したスライダー９０１の選択部材９０２の位置に応じて、褥瘡である信頼度の基準値を変更する。例えば、図１０では、スライダー９０１の選択部材９０２は、ユーザの操作により１０（％）の位置に移動されている。したがって、褥瘡である信頼度の基準値は、１０（％）に変更される。この場合、画像１０００において、患部領域２０２の推定エリア１００１は、基準値の低下により、図９の推定エリア９０４よりも広い範囲に拡大される。

尚、基準値が変更される分類クラスは、褥瘡に限られない。例えば、「正常な皮膚領域」、褥瘡以外の「あざ」、「傷」といった皮膚の疾患または状態に応じた複数の分類クラスに対して、それぞれの信頼度の基準値が変更できるようにしてもよい。また、複数の分類クラスに対する信頼度を組み合わせる場合、例えば、正常な皮膚領域である信頼度に対する褥瘡である信頼度の割合について、基準値を設定してもよい。

ＳＡ５２４において、出力手段１２７は、ＳＡ５２３で変更された信頼度の基準値に関する情報を、画像処理装置１３０に送信（出力）する。

ＳＢ５２１において、取得手段１３１は、撮像装置１２０から出力された、変更後の信頼度の基準値に関する情報を取得する。

次に、ＳＢ５２２において、抽出手段１３３は、ＳＢ５１１で取得された画像データから、変更された基準値に基づく患部領域２０２（調整後の推定エリア１００１）を抽出または領域分割する。抽出手段１３３は、ＳＢ５１２で算出した各画素についての信頼度、およびＳＡ５２３で変更された信頼度の基準値に関する情報に基づいて、患部領域２０２を抽出または領域分割することができる。基準値がより高い値に変更された場合、患部領域２０２は小さくなり、基準値がより低い値に変更された場合、患部領域２０２は大きくなる。

尚、患部領域２０２は、褥瘡である信頼度に基づいて抽出される場合に限られない。例えば、抽出手段１３３は、正常な皮膚領域であるかの信頼度が基準値以上である領域以外を、患部領域２０２として抽出してもよい。また、正常な皮膚領域である信頼度の基準値が３０以下で、褥瘡であるかの信頼度の基準値が８０以上というように複数の分類クラスに対する基準値を組み合わせて、患部領域２０２が調整されてもよい。

ＳＢ５２３において、サイズ評価手段１３４は、ＳＢ５０５と同様に、ＳＢ５２２で抽出された患部領域２０２のサイズに関する情報を、ＳＡ５１４で生成された距離情報に基づいて算出する。患部領域２０２のサイズに関する情報を算出する処理の詳細は、ＳＢ５０５の処理と同様であるため省略する。

ＳＢ５２４において、重畳手段１３５は、ＳＢ５１５と同様に、患部領域２０２の抽出を行う際に用いた画像データに対して、抽出された患部領域２０２を示す情報および患部領域２０２のサイズに関する情報を重畳する。重畳手段１３５は、さらにボタンアイコン９０３およびスライダー９０１を画像データに重畳する。重畳処理の詳細は、図７および図８を用いて説明したＳＢ５０６およびＳＢ５１５の処理と同様であるため省略する。

ただし、ＳＢ５２４では、重畳手段１３５は、図１０に示す画像１０００のように、スライダー９０１の選択部材９０２の位置をＳＡ５２３で変更された基準値の値に対応する位置に変更して重畳する。図１０は、ＳＡ５２３で信頼度の基準値が５０（％）から１０（％）に変更された場合を例示する。

ＳＢ５２５において、第２出力手段１３６は、ＳＢ５０７と同様に、ＳＢ５２２で抽出された患部領域２０２を示す情報を撮像装置１２０に送信（出力）する。また、第２出力手段１３６は、ＳＢ５２３で算出された患部領域２０２のサイズに関する情報を撮像装置１２０に出力する。本実施形態では、ＳＢ５２４で重畳処理が行われた画像１０００を撮像装置１２０に無線通信により出力する。

ＳＡ５２５において、第２取得手段１２８は、ＳＡ５０７と同様に、画像処理装置１３０から、抽出された患部領域２０２に関連する情報を受信（取得）する。本実施形態では、第２取得手段１２８は、画像処理装置１３０がＳＢ５２５で出力した重畳処理済みの画像１０００を取得する。処理はＳＡ５２１に戻り、表示手段１２６は、ＳＡ５２５で取得した患部領域２０２に関連する情報を表示装置３１３に表示する。

ＳＡ５２６において、保存手段１２９は、ＳＡ５２１で表示した患部領域２０２に関連する情報を、撮像装置１２０の外部メモリＩ／Ｆ３１２に記憶させ、図５に示す処理は終了する。

（第１実施形態の作用効果）
以上のように本実施形態によれば、撮像装置１２０は、被写体を撮影し、ユーザの操作に基づいて、褥瘡である信頼度の基準値を変更する。そして、画像処理装置１３０は、撮像された画像を解析し、ユーザが変更した信頼度の基準値を超えた画素の集合を患部領域２０２として抽出し、抽出した領域を、撮像された画像に重畳する。撮像装置１２０は、患部領域２０２を重畳した画像を表示装置３１３に表示する。ユーザ（医師などの医療従事者）は、例えば、褥瘡のサイズ評価の際に、画像処理システム１００によって褥瘡である信頼度の基準値に基づいて抽出された患部領域２０２に対し、基準値を変更して面積を算出するための領域を微調整することができる。褥瘡である信頼度の変化が少ない境界部分は、視覚的に境界が曖昧であることや特殊な形状部分であることが多く、ユーザは、そのような境界部分を患部領域２０２として抽出するか否かを重点的に調整することができる。また、ユーザは、操作部材３１４の操作に基づいて、抽出される患部領域２０２の境界を確認しながら、対話的に患部領域２０２の調整をすることができる。

また、褥瘡のサイズは、現状では褥瘡の長径と短径を掛けた値として取得されるが、本実施形態に係る画像処理装置１３０によって褥瘡の患部領域の面積を算出することで、より的確に褥瘡の重症度を評価することができる。

［第２実施形態］
次に、第２実施形態について説明する。第１実施形態では、撮像装置１２０は基準値変更手段１２１を有し、褥瘡である信頼度の基準値は、ユーザ操作によって変更可能である。これに対し、本実施形態では、ユーザが選択した画素の信頼度の値を取得し、その値を信頼度の基準値として患部領域２０２が抽出される。即ち、ユーザの選択した画素と同じ信頼度である画素が境界となるように、患部領域２０２が抽出される。

以上のように本実施形態は、基準値を設定する処理、およびユーザが選択した画素の信頼度に基づいて患部領域２０２を抽出する処理が、主として第１実施形態と異なる。本実施形態の説明において、第１実施形態と同一の構成および処理については、図１〜図１０に付した符号と同一の符号を付すことにより詳細な説明を省略する。

（機能構成およびハードウェア構成）
図１１は、第２実施形態に係る画像処理システムの機能構成を例示する図である。本実施形態の画像処理システム１１００は、第１実施形態の画像処理システム１００と以下の点で異なる。本実施形態の画像処理システム１１００では、撮像装置１１２０は、基準値
変更手段１２１に代えて、画素選択手段１１２１を含む。画像処理装置１１３０は、信頼度取得手段１１３７を含む。また、画像処理装置１１３０の抽出手段１１３３および重畳手段１１３５は、第１実施形態の抽出手段１３３および重畳手段１３５とは処理内容が異なる。撮像装置１１２０および画像処理装置１１３０は、第１実施形態の撮像装置１２０および画像処理装置１３０と同じハードウェア構成（図３および図４を参照）により、本実施形態の処理を実現することができる。

撮像装置１１２０の画素選択手段１１２１は、ユーザが選択した画素の位置を取得する。選択された画素が褥瘡である信頼度は、患部領域２０２を抽出するための信頼度の基準値として用いられる。

画像処理装置１１３０の信頼度取得手段１１３７は、画素選択手段１１２１で選択された画素が褥瘡である信頼度を取得する。抽出手段１１３３は、画素選択手段１１２１で選択された画素の位置と、信頼度取得手段１１３７で取得された信頼度の値に基づいて、患部領域２０２を抽出する。重畳手段１１３５は、患部領域２０２の抽出を行う際に用いた画像データに対して、抽出された患部領域２０２を示す情報と、患部領域２０２のサイズに関する情報とを重畳する。

その他の画像処理システム１１００（撮像装置１１２０および画像処理装置１１３０）の機能構成は、第１実施形態の画像処理システム１００の機能構成に準ずる。

（画像処理システムの動作）
図１２〜図１６を参照して、本実施形態に係る画像処理システム１１００の動作について説明する。図１２は、第２実施形態に係る画像処理システム１１００の動作例（フローチャートによる処理の例）を説明する図である。図１２に示すフローチャートでは、領域調整処理１２２０の一部が、第１実施形態（図５）の領域調整処理５２０と異なる。図１３および図１４は、調整前後の患部領域を表示する画像の第２の例を示す図である。図１５および図１６は、調整前後の患部領域を表示する画像の第３の例を示す図である。

本実施形態の撮像装置１１２０のフローチャートでは、第１実施形態の撮像装置１２０のフローチャートに対し、ＳＡ５２２およびＳＡ５２３の処理に代えて、ＳＡ１２２２およびＳＡ１２２３の処理が追加される。

撮像装置１１２０が実行する各処理は、システム制御回路３１０が不揮発性の内部メモリ３１１に格納されたプログラムをシステムメモリ（ＲＡＭ）に展開して実行することにより実現される。画像処理装置１１３０が実行する処理は、ＣＰＵ４１０が主記憶装置４２１のＲＯＭに格納されたプログラムをシステムメモリに展開して実行することにより実現される。なお、図１２の処理は、撮像装置１１２０に電源が入り、画像処理装置１１３０からの探索処理に対して撮像装置１１２０が応答すると開始する。

ＳＡ５２１では、表示手段１２６によって、ＳＡ５１６またはＳＡ５２５で取得された重畳処理済みの画像１３００（図１３）が表示されている。ＳＡ１２２２において、画素選択手段１１２１は、操作部材３１４を用いてユーザが画素を選択する操作をしたか否かを判定する。ユーザが画素を選択する操作をした場合、処理はＳＡ１２２３に進む。ユーザが画素を選択する操作をしていない場合、処理はＳＡ５２６に進む。

ＳＡ１２２３では、画素選択手段１１２１は、画像１３００においてユーザが操作部材３１４を用いて選択した特定の画素の位置を取得する。ユーザは、操作部材３１４として、例えば表示装置３１３のタッチパネルディスプレイを用いて、画像１３００中の特定の画素を選択することができる。即ち、ユーザは、表示装置３１３の画面をタップすること
で、画像１３００中の特定の画素を選択する。以下の説明において、ユーザが選択した画素は、「ユーザ選択画素」とも称される。

図１３の例では、ユーザが患部領域２０２の境界であると判断する部分を、手１３０１でタップすることで、画素選択手段１１２１は、患部領域２０２の境界とされる画素の位置を取得することができる。尚、画像１３００中の画素を選択するための操作手段は、タッチパネルディスプレイに限られず、撮像装置１２０が備えるボタン等であってもよい。

本実施形態の画像処理装置１１３０のフローチャートでは、ＳＢ１２２１〜ＳＢ１２２４の処理の内容が、第１実施形態での画像処理装置１３０のＳＢ５２２〜ＳＢ５２４の処理の内容と異なる。

ＳＢ１２２１において、信頼度取得手段１１３７は、ＳＡ１２２３で選択された画素について、ＳＢ５１２で算出された褥瘡である信頼度を取得する。取得された信頼度は、患部領域２０２を抽出するための基準値として用いられる。

ＳＢ１２２２において、抽出手段１１３３は、ＳＢ５２１で取得された画像データから、被写体２０１の患部領域２０２を抽出または領域分割する。患部領域２０２は、ＳＢ５１２で算出した各画素についての信頼度と、ＳＡ１２２３で取得したユーザ選択画素の位置と、ＳＢ１２２１で取得したユーザ選択画素の信頼度に基づいて抽出される。

抽出手段１１３３は、ＳＡ１２２３で取得したユーザ選択画素の位置を中心とした半径ｒ（ｒは定数）の円内の領域を、ユーザ選択画素の信頼度を基準値として患部領域２０２を抽出する。また、抽出手段１１３３は、円外の領域については、ＳＢ５１３で使用した基準値により患部領域２０２を再抽出する。即ち、抽出手段１１３３は、半径ｒの円内の画素に対して、ＳＢ５１２で算出した各画素の信頼度が、ＳＢ１２２１で取得したユーザ選択画素の信頼度以上である画素の集合を患部領域２０２として抽出する。また、抽出手段１１３３は、半径ｒの円外の画素に対して、ＳＢ５１２で算出した各画素の信頼度が５０（％）以上である画素の集合を患部領域２０２として再抽出する。

図１４に示す画像１４００の例では、領域１４０１は、画像１３００においてユーザにより選択された画素の信頼度を基準値として再抽出を行った部分領域を表している。図１４に示す破線１４０２は、図１３のユーザの手１３０１でタッチされた（選択された）画素の位置を中心とした半径ｒの円の周を表している。部分領域は、患部領域２０２の一部と重なる領域である。

患部領域２０２の再抽出は、図１４のように、ユーザ選択画素の位置を中心とした半径ｒの円内の画素のうち、ユーザ選択画素の信頼度以上である画素を再抽出する方法に限られない。例えば、抽出手段１１３３は、半径ｒの円内の画素のうち、ユーザ選択画素により近い部分領域（例えば、半径ｒ／２の円内）については基準値をユーザ選択画素の信頼度として再抽出する。部分領域以外の領域では基準値を変更前の５０（％）のままとしてもよい。

抽出手段１１３３は、再抽出の対象とする範囲を半径ｒの円内に限定せず、画像１３００内の画素のうち、ユーザ選択画素よりも信頼度が大きい画素を再抽出してもよい。また、抽出手段１１３３は、ユーザが選択した画素を中心とした正方形の部分領域に対して再抽出をしてもよい。

図１５に示す画像１５００の例では、患部領域２０２が２つの領域に分かれている。この場合、抽出手段１１３３は、ユーザの手１５０１で選択された画素に近い方の部分領域
に対して再抽出を行ってもよい。例えば、抽出手段１１３３は、ユーザ選択画素の信頼度の前後３０（％）の信頼度である画素を含む閉じられた部分領域に対して、信頼度がユーザ選択画素の信頼度（基準値）以上であるか否かを判定する。

図１６に示す画像１６００の例では、領域１６０１は、画像１５００においてユーザの手１５０１によって選択された画素に近い推定エリアに対し、ユーザ選択画素の信頼度に基づいて再抽出された患部領域２０２を示している。ユーザが選択しなかった部分領域以外の領域は、再抽出前の信頼度に基づいて再抽出されてもよい。

図１２のＳＢ１２２４において、重畳手段１１３５は、まず、ＳＢ５０６と同様に、抽出された患部領域２０２を示す情報および患部領域２０２のサイズに関する情報を重畳する。重畳処理の詳細は、ＳＢ５０６の処理と同様であるため省略する。

ＳＢ１２２４では、重畳手段１１３５は、さらに、図１４のアイコン１４０３および図１６のアイコン１６０２を、それぞれ画面１４００および画面１６００に重畳する。アイコン１４０３およびアイコン１６０２は、ユーザがタッチすることにより、ＳＡ５２１で表示された再抽出後の患部領域２０２を、再抽出前の患部領域２０２の表示に戻す。

（第２実施形態の作用効果）
以上のように本実施形態によれば、画像処理装置１１３０は、ユーザが選択した画素における褥瘡である信頼度の値を取得し、取得した値を信頼度の基準値とする。画像処理装置１１３０は、ユーザが選択した画素の周辺の領域について、患部領域２０２を再抽出する。従って、本実施形態では、第１実施形態で説明した効果に加えて以下の効果を有する。ユーザは、褥瘡のサイズ評価の際に、初期値として例えば基準値５０（％）で抽出された患部領域２０２に対し、抽出された領域を部分的に変更することができる。即ち、ユーザが目視をした結果、抽出された領域以外にも褥瘡と判断される領域があった場合、ユーザが褥瘡と判断した位置（画素）を選択することで、選択した位置の周辺の領域において、ユーザが褥瘡と考える部分を患部領域２０２として追加できる。

このように、ユーザは、抽出された領域を直感的に調整することが可能である。さらに、ユーザの判断と異なる境界部分の周辺において患部領域２０２を再抽出することができるため、ユーザの判断と合致している境界部分は、修正の影響を受けないようにすることができる。

［第３実施形態］
次に、第３実施形態について説明する。本実施形態では、被写体の画像と、ユーザによって領域が適切であると判断された患部領域に関連する情報とが、画像処理装置のデータベースに登録される。画像処理装置は、データベースの情報に基づいて学習モデルを再学習させることで、信頼度算出手段の精度を向上させることができる。また、画像処理装置は、データベースの情報に基づいて抽出に用いる信頼度の基準値を変更することで、抽出手段の精度を向上させることができる。

本実施形態は、第１、第２実施形態の構成に加えて、ユーザによって適切であると判断された患部領域の情報をデータベースに保存し、次回の領域分割の精度を向上させるための構成および処理を有する。本実施形態の説明において、第１、第２実施形態と同一の構成および処理については、図１〜図１６に付した符号と同一の符号を付すことにより詳細な説明を省略する。

（機能構成およびハードウェア構成）
図１７は、第３実施形態に係る画像処理システムの機能構成を例示する図である。本実
施形態の画像処理システム１７００は、第１実施形態の画像処理システム１００と以下の点で異なる。本実施形態の画像処理システム１７００では、画像処理装置１７３０は、データベース登録手段１７３１、データベース１７３２、再学習手段１７３３、基準値変更手段１７３４を含む。画像処理装置１７３０は、第１実施形態の画像処理装置１３０と同じハードウェア構成（図４を参照）により、本実施形態の処理を実現することができる。

データベース登録手段１７３１は、以下の情報を含むレコードを生成し、画像処理装置１７３０に含まれるデータベース１７３２に登録する。
・患部画像７００
・抽出手段１３３によって抽出された患部領域２０２
・サイズ評価手段１３４によって算出されたサイズに関する情報
・基準値変更手段１２１によって変更された信頼度の基準値
（変更されていない場合は抽出手段１３３がＳＢ５０４およびＳＢ５１３で用いた信頼度の基準値）

データベース１７３２は、データベース登録手段１７３１が生成したレコードを登録するためのデータベースである。再学習手段１７３３は、データベース１７３２に登録されているレコードに基づいて、信頼度算出手段１３２が用いる分類モデルを再学習する。基準値変更手段１７３４は、データベース１７３２に登録されているレコードに基づいて、抽出手段１３３が用いる信頼度の基準値を変更する。

（画像処理システムの動作）
図１８を参照して、本実施形態に係る画像処理システム１８００の動作について説明する。図１８は、第３実施形態に係る画像処理システム１８００の動作例（フローチャートによる処理の例）を説明する図である。画像処理システム１８００のライブビュー処理Ｓ５００（詳細図示は省略）、本撮影処理Ｓ５１０（詳細図示は省略）、および領域調整処理Ｓ５２０は、図５に示す第１実施形態の処理と同じであるため説明は省略する。

本実施形態の撮像装置１２０のフローチャートでは、図５に示す第１実施形態の撮像装置１２０のフローチャートに対し、ＳＡ１８３１の処理が追加される。ＳＡ１８３１において、出力手段１２７は、ＳＡ５２１で表示された患部領域２０２が適切であると判断されたことを表す情報を、画像処理装置１７３０に送信（出力）する。

本実施形態の画像処理装置１７３０のフローチャートでは、図５に示す第１実施形態の画像処理装置１３０のワークフローに対し、ＳＢ１８３１〜ＳＢ１８３４の処理が追加されている。ＳＢ１８３１において、取得手段１３１は、ＳＡ１８３１で撮像装置１２０から出力された情報を取得する。

撮像装置１２０が実行する各処理は、システム制御回路３１０が不揮発性の内部メモリ３１１に格納されたプログラムをシステムメモリ（ＲＡＭ）に展開して実行することにより実現される。画像処理装置１７３０が実行する処理は、ＣＰＵ４１０が主記憶装置４２１のＲＯＭに格納されたプログラムをシステムメモリに展開して実行することにより実現される。なお、図１８の処理は、撮像装置１２０に電源が入り、画像処理装置１７３０からの探索処理に対して撮像装置１２０が応答すると開始する。

ＳＢ１８３２において、データベース登録手段１７３１は、以下の情報を含むレコードを生成し、画像処理装置１９３０に含まれるデータベース１７３２に登録する。
・ＳＡ５１２で撮像された患部画像７００
・ＳＢ５１３もしくはＳＢ５２２で抽出手段１３３によって最後に抽出された患部領域２０２
・ＳＢ５１４もしくはＳＢ５２３でサイズ評価手段１３４によって最後に算出されたサイズに関する情報
・ＳＡ５２３で基準値変更手段１２１によって変更された信頼度の基準値
（ＳＡ５２３が実行されず、基準値が変更されていない場合は抽出手段１３３がＳＢ５０４およびＳＢ５１３で用いた信頼度の基準値）

データベース登録手段１７３１は、ＳＡ５２３で基準値が一度も変更されていない場合には、レコードをデータベース１７３２に登録しないようにしてもよい。尚、ＳＡ５２３で基準値が一度も変更されていない場合、撮像装置１２０のＳＡ１８３１において、ＳＡ５２１で表示された患部領域２０２が適切であると判断されたことを表す情報を、画像処理装置１７３０に送信しないようにしてもよい。

ＳＢ１８３３において、再学習手段１７３３は、データベース１７３２に登録されているレコードに基づいて、ＳＢ５０３およびＳＢ５１２で信頼度算出手段１３２が用いる分類モデルを再学習させる。即ち、再学習手段１７３３は、データベース１７３２に登録されている画像と、抽出手段１３３によって抽出された調整後の患部領域２０２とを教師データとして、ニューラルネットワークのモデルを学習させて学習済モデルを生成する。

学習に用いる教師データは、ＳＢ１８３２でデータベース１７３２に登録されたレコードに限られない。例えば、学習に用いる教師データは、ＳＢ１８３２でデータベース１７３２に登録されたレコードに加えて、再学習前の学習済みモデルを生成するために用いた教師データセットを含んでもよい。また、データベース１７３２に登録されたレコードのうち、学習に用いるレコードは、少なくとも一度ＳＡ５２３で基準値が変更されたレコードに限ってもよい。

深層学習の学習方法は、画像処理システム１７００でデータベース１７３２登録されたデータからフルスクラッチで学習する場合に限られない。再学習手段１７３３は、例えば、信頼度算出手段１３２が用いていた学習済みモデルに対して、患部領域２０２を評価する既存の学習モデルを転移学習をさせることで再学習させてもよい。深層学習の学習処理は、例えば、積和演算の並列実行を得意とする補助演算装置４５０に含まれるＧＰＵにより実行される。深層学習の学習処理は、ＦＰＧＡやＡＳＩＣなどにより実行されてもよく、外部装置によって実行されてもよい。

ＳＢ１８３４において、基準値変更手段１７３４は、データベース１７３２に登録されているレコードに基づいて、ＳＢ５０４およびＳＢ５１３で抽出手段１３３が用いる信頼度の基準値を変更する。即ち、データベース１７３２に登録されているすべての画像についてのＳＡ５２３で変更した変更後の信頼度の基準値に対する平均値を算出し、この平均値が、次回のＳＢ５０４およびＳＢ５１３で抽出手段１３３が用いる信頼度の基準値として保存される。平均値を算出する際、ＳＡ５２３を実行せずに登録されたレコードにおける信頼度の基準値は、ＳＢ５０４およびＳＢ５１３で抽出手段１３３が用いた信頼度の基準値とすればよい。

尚、次回のＳＢ５０４およびＳＢ５１３で抽出手段１３３が用いる信頼度の基準値は、データベース１７３２の各レコードにおける信頼度の基準値の平均値に限られず、例えば中央値や最頻値に変更されてもよい。

（第３実施形態の作用効果）
以上のように本実施形態では、画像処理装置１７３０は、被写体２０１の画像と、ユーザによって領域が適切であると判断された患部領域２０２に関連する情報とをデータベース１７３２に登録する。画像処理装置１７３０は、登録されたデータベース１７３２の情
報に基づいて、信頼度算出手段１３２が用いる学習モデルを再学習させ、抽出手段１３３が用いる信頼度の基準値を変更することができる。

従って、本実施形態では、第１実施形態で説明した効果に加え、以下の効果を有する。即ち、ユーザ（医師）が褥瘡のサイズ評価をする場合に、画像処理装置１７３０は、ユーザの操作によって調整された適切な患部領域２０２の情報に基づいて、学習モデルを再学習させることができる。これにより、次回以降の撮像画像に対し、褥瘡の患部領域２０２の抽出精度を向上させることができる。

また、画像処理装置１７３０は、ユーザ（医師）が患部領域２０２を調整した場合に、信頼度の基準値の変更の傾向（例えば、現在の基準値との差分の平均値）をデータベース１７３２に記憶しておくことができる。画像処理装置１７３０は、次回以降の撮像画像に対し、ユーザによる変更の傾向に応じて基準値を調整することで、患部領域２０２の抽出精度をさらに向上させることができる。本実施形態は、第２実施形態に適用してもよい。

［第４の実施形態］
次に、第４実施形態について説明する。本実施形態の画像処理システムは、撮像装置に代えてＣＴスキャナを有することにより、画像処理装置はＣＴスキャナによって生成されたＣＴ画像を取得し、ＣＴ画像中の患部領域を抽出し、ユーザの操作によって患部領域を微調整することができる。本実施形態は、患部領域の写っている画像を取得するための構成および処理が第１〜第３実施形態と異なる。本実施形態の説明において、第１〜第３実施形態と同一の構成および処理については、図１〜図１８に付した符号と同一の符号を付すことにより詳細な説明を省略する。

（機能構成およびハードウェア構成）
図１９および図２０を参照して、画像処理システム１９００の機能構成およびハードウェア構成について説明する。図１９は、第４実施形態に係る画像処理システムの機能構成を例示する図である。

本実施形態の画像処理システム１９００は、画像処理装置１９３０から構成される。画像処理装置１９３０は、第１実施形態の撮像装置１２０に代えて、ＣＴ画像取得手段１９３１を有する。また、画像処理装置１９３０は、第１実施形態の画像処理装置１３０と同様に、信頼度算出手段１３２、抽出手段１３３、および重畳手段１３５を有する。また、画像処理装置１９３０は、第３実施形態の画像処理装置１７３０と同様に、データベース登録手段１７３１およびデータベース１７３２を有する。さらに、画像処理装置１９３０は、撮像装置１２０の基準値変更手段１２１および表示手段１２６と同様の、基準値変更手段１９３２および表示手段１９３３を有する。

ＣＴ画像取得手段１９３１は、後述するＣＴスキャナ２０００から出力されるＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ ＣＯｍｍｕｎｉｃａｔｉｏｎ ｉｎ Ｍｅｄｉｃｉｎｅ）形式の画像データを取得する。ＤＩＣＯＭは、医用画像機器の通信プロトコル及び画像フォーマットを定義する標準規格である。

データベース登録手段１７３１は、第３実施形態と同様に、以下の情報を含むレコードを生成し、画像処理装置１７３０に含まれるデータベース１７３２に登録する。
・ＣＴ画像取得手段１９３１によって取得した画像
・抽出手段１３３によって抽出された患部領域２０２に関する情報
・基準値変更手段１９３２によって変更された信頼度の基準値
（変更されていない場合は抽出手段１３３がＳＢ５０４およびＳＢ５１３で用いた信頼度の基準値）

データベース１７３２は、第３実施形態と同様に、データベース登録手段１７３１が生成したレコードを登録するためのデータベースである。

基準値変更手段１９３２は、ユーザ操作に基づいて、患部領域２０２を抽出するために用いる信頼度の基準値を変更する。

表示手段１９３３は、各種の表示制御を行う。表示手段１９３３は、ＣＴ画像取得手段１９３１が取得した画像を出力装置４４０に表示する。また、表示手段１９３３は、抽出手段１３３が抽出した患部領域２０２を示す情報と、抽出手段１３３が患部領域２０２を抽出するために用いた信頼度の基準値に関する情報と、の少なくとも何れか１つに基づく表示を出力装置４４０に対して行う。尚、表示手段１９３３は、抽出手段１３３が抽出した患部領域を示す情報、抽出手段１３３が患部領域を抽出するために用いた信頼度の基準値に関する情報、の少なくとも１つを、ＣＴ画像取得手段１９３１が取得した画像に重畳して表示してもよい。

図２０は、第４実施形態に係る画像処理装置のハードウェア構成を例示する図である。本実施形態に係る画像処理装置１９３０は、第１実施形態の画像処理装置１３０と同じ構成を有し、さらにＣＴスキャナ２０００に接続される。画像処理装置１９３０は、ＣＴ画像取得手段１９３１によって、ＣＴスキャナ２０００から出力された画像データを取得することができる。

ＣＴスキャナ２０００は、医用画像データを取得するように構成されたＣＴスキャナである。ＣＴスキャナ２０００は、他の医用画像モダリティにおけるスキャナ、例えば、ＭＲＩスキャナ、Ｘ線スキャナ、ＰＥＴスキャナなどによって置換または補完されてもよい。

（画像処理システムの動作）
図２１〜図２４を参照して、本実施形態に係る画像処理システムの動作について説明する。図２１は、第４実施形態に係る画像処理システムの動作例（フローチャートによる処理の例）を説明する図である。図２２は、患部領域を重畳する前の画像の第２の例を示す図である。図２３および図２４は、調整前後の患部領域を表示する画像の第４の例を示す図である。

画像処理装置１９３０が実行する処理は、ＣＰＵ４１０が主記憶装置４２１のＲＯＭに格納されたプログラムをシステムメモリに展開して実行することにより実現される。なお、図２１の処理は、画像処理装置１９３０に電源が入り、画像処理装置１１３０が、ＣＴスキャナ２０００からＣＴ画像を取得すると開始する。

ＳＢ２１１１において、ＣＴ画像取得手段１９３１は、ＣＴスキャナ２０００から出力された画像を取得する。図２２は、ＣＴスキャナ２０００から出力された画像２２００を例示する。本実施形態において、ＣＴスキャナ２０００は被験者の腹部をスキャンし、ＤＩＣＯＭ形式で画像２２００を出力する。画像２２００中の領域２２０１は、肝臓の断面を表す。本実施形態において、画像処理装置１９３０は、図２３に示すように、この肝臓の領域を患部領域の推定エリア２３０１として抽出し、抽出された推定エリア２３０１をユーザの操作に基づいて微調整する。

ＣＴ画像取得手段１９３１が取得する画像は、ＣＴスキャナ２０００から出力された画像データに限られない。例えば、ＣＴ画像取得手段１９３１は、ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）の一部
を形成しうるリモートデータストア（非図示）から画像データを取得してもよい。また、ＣＴ画像取得手段１９３１は、あらかじめ記憶装置４２０に記憶されていた画像を取得してもよい。

ＳＢ５１２において、信頼度算出手段１３２は、第１実施形態と同様に、ＳＢ２１１１で取得された画像データに基づいて、画像データの各画素について肝臓である信頼度を算出する。各画素の信頼度を算出する処理の詳細は、ＳＢ５０３の処理と同様であるため省略する。

次に、ＳＢ５１３において、抽出手段１３３は、第１実施形態と同様に、ＳＢ２１１１で取得された画像データから、ＳＢ５１２で算出した各画素についての信頼度に基づいて、推定エリア２３０１を抽出または領域分割する。推定エリア２３０１を抽出または領域分割する処理の詳細は、ＳＢ５０４の処理と同様であるため省略する。

ＳＢ５１５において、重畳手段１３５は、第１実施形態と同様に、肝臓の領域２２０１の抽出した画像２２００に対して、図２３で抽出された推定エリア２３０１を示す情報、ボタンアイコン９０３およびスライダー９０１を重畳する。抽出された推定エリア２３０１は、画像２３００において白線で境界が示される。抽出された推定エリア２３０１は、αブレンドして重畳表示される。重畳処理の詳細は、図７および図８を用いて説明したＳＢ５０６の処理と同様であるため省略する。

図２３の画像２３００および図２４の画像２４００を参照して、図２１に示す領域調整処理Ｓ２１２０の一例について説明する。領域調整処理Ｓ２１２０は、画像処理装置１９３０の出力装置４４０（表示手段１９３３）に表示された画像２３００中の推定エリア２３０１について、ユーザ操作に基づいて調整する処理である。図２３の推定エリア２３０１は、領域調整処理Ｓ２１２０により、図２４に示すようにユーザの判断に近い患部領域２４０１に調整する処理である。

ＳＢ２１２１において、表示手段１９３３は、ＳＢ５１５で重畳処理済みの画像２３００またはＳＢ５２４で重畳処理済みの画像２３００を出力装置４４０に表示する。画像２３００は、ユーザによる調整前の推定エリア２３０１が重畳表示される。ユーザは、入力装置４３０を用いて、患部領域２３０１の範囲を調整することができる。

本実施形態において、表示画面を遷移させるための操作手段は、入力装置４３０に含まれるマウスであるものとする。ユーザは、入力装置４３０のマウスを操作することで、推定エリア２３０１（面積の計測対象とする領域）を調整することができる。尚、領域を調整するための操作手段はマウスに限らず、表示装置３１３のタッチパネルディスプレイや、入力装置４３０に含まれるキーボードなどであってもよい。

ＳＢ２１２２において、基準値変更手段１９３２は、第１実施形態のＳＡ５２２と同様に、ＳＢ２１２１で表示した画像２３００に対し、ユーザの操作によって、基準値が変更されたか否かを判定する。基準値が変更された場合は、ＳＢ２１２３へ進み、そうでない場合は、ＳＢ１８３２ヘ進む。基準値の変更によって領域を調整する処理詳細は、図９および図１０を用いて説明したＳＡ５２２の処理と同様であるため省略する。

ＳＢ２１２３において、基準値変更手段１９３２は、第１実施形態のＳＡ５２３と同様に、ＳＢ２１２２でユーザにドラッグされたスライダー９０１の選択部材９０２の位置に応じて、肝臓である信頼度の基準値を変更する。例えば、図２４では、スライダー９０１の選択部材９０２は、ユーザの操作により９０（％）の位置に移動されている。したがって、肝臓である信頼度の基準値は、９０（％）に変更される。この場合、画像２４００に
おける患部領域２４０１は、基準値の上昇により、図２３の推定エリア２３０１よりも狭い範囲となる。

ＳＢ５２２において、抽出手段１３３は、第１実施形態と同様に、ＳＢ２１１１で取得された画像データから、変更された信頼度の基準値にに基づいて、患部領域２４０１を抽出または領域分割する。抽出手段１３３は、ＳＢ５１２で算出した各画素についての信頼度、およびＳＢ２１２３で変更された信頼度の基準値に関する情報に基づいて、患部領域２４０１を抽出または領域分割することができる。抽出または領域分割処理の詳細は、第１実施形態と同様であるため省略する。

ＳＢ５２４において、重畳手段１３５は、ＳＢ５１５と同様に、推定エリア２３０１の抽出を行う際に用いた画像データに対して、調整後の患部領域２４０１を示す情報およびボタンアイコン９０３およびスライダー９０１を重畳する。重畳処理の詳細は、図７および図８を用いて説明したＳＢ５０６およびＳＢ５１５の処理と同様であるため省略する。

ただし、ＳＢ５２４では、重畳手段１３５は、図２４に示す画像２４００のように、スライダー９０１の選択部材９０２の位置をＳＢ２１２３で変更された基準値の値に対応する位置に変更して重畳する。図２４は、ＳＢ２１２３で信頼度の基準値が５０（％）から９０（％）に変更された場合を例示する。

ＳＢ１８３２において、データベース登録手段１７３１は、第３実施形態と同様に、以下の情報を含むレコードを生成し、画像処理装置１７３０に含まれるデータベース１７３２に登録する。
・ＳＢ２１１１で取得されたＣＴ画像２２００
・ＳＢ５１３またはＳＢ５２２で抽出手段１３３によって最後に抽出された患部領域２４０１
・ＳＢ２１２３で基準値変更手段１９３２によって変更された信頼度の基準値（ＳＢ２１２３が実行されず、基準値が変更されていない場合は抽出手段１３３がＳＢ５１３で用いた信頼度の基準値）

（第４実施形態の作用効果）
以上のように本実施形態によれば、画像処理装置１９３０は、ユーザ操作に基づいて、肝臓である信頼度の基準値の変更する。画像処理装置１９３０は、ＣＴスキャナ２０００から取得した画像を解析し、ユーザが変更した信頼度の基準値を超えた画素の集合を、調整後の患部領域２４０１として抽出する。画像処理装置１９３０の表示手段１９３３は、出力装置４４０に、ユーザが変更した信頼度の基準値に対応して抽出した患部領域２４０１を画像２２００に重畳して表示する。ユーザ（医師などの医療従事者）は、例えば、肝移植の際に、肝臓の提供者（ドナー）の腹部ＣＴ画像から抽出された肝臓の領域に対して、適切に抽出されているか否かを確認することができる。ユーザの判断と異なる領域が抽出されている場合、ユーザは、肝臓の領域と判断されるかどうかの信頼度の基準値を変更することができる。ユーザは、抽出される患部領域の変化を視覚的に確認しながら、対話的に微調整することが可能である。ユーザは、腹部のＣＴ画像に限られず、他の症例の患部が写っている画像を画像処理装置１９３０に入力することで、他の症例の患部領域についても同様に、抽出された患部領域を対話的に微調整することができる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

例えば、上述の各実施形態は、褥瘡が発症した患部領域の評価に適用する例を挙げているが、褥瘡だけでなく火傷や裂傷等の患部の領域、他の医療に掛かる患部の領域等の計測及び評価にも適用可能である。例えば、Ｘ線コンピュータ断層撮影（ＣＴ：Ｃｏｍｐｕｔｅｒ Ｔｏｍｏｇｒａｐｈｙ）装置や核磁気共鳴撮影（ＭＲＩ：Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置による計測及び評価にも適用し得る。また、陽電子放射断層撮影（ＰＥＴ：Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）装置等の医用画像診断装置で取得して再構成した二次元の断層画像や三次元画像から、肝臓等の臓器の領域を計測する場合にも適用可能である。例えば、肝臓について、肝移植を行う際に提供者（ドナー）の肝臓が、移植先の患者に対して適切な大きさであるかどうかを確かめるために、ＣＴ画像から肝臓領域を推定する場合に適用することができる。

なお、撮像装置のシステム制御回路３１０または画像処理装置のＣＰＵ４１０が行うものとして説明した上述の各種制御は、それぞれ１つのハードウェアが行ってもよい。また、上述の各種制御は、複数のハードウェアが処理を分担することで、撮像装置、画像処理装置、または画像処理システムの制御を行ってもよい。また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものに過ぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明を撮像装置および画像処理装置に適用した場合を例にして説明したが、これはこの例に限定されず、撮像された画像を表示できる画像処理装置であれば適用可能である。すなわち、本発明は、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置に適用可能である。さらに、本発明は、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、タブレット端末、スマートフォン、投影装置、ディスプレイを備える家電装置や車載装置などに適用可能である。

（その他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１３０：画像処理装置、ＣＰＵ：４１０

Claims (19)

1. 画像データを取得する取得手段と、
   前記画像データの各単位領域に対して、単位領域が抽出対象である信頼度を算出する算出手段と、
   関心領域を抽出するために用いる前記信頼度の基準値を変更する変更手段と、
   前記算出された単位領域の信頼度、および前記変更された基準値に基づいて、前記関心領域を抽出する抽出手段と、
   前記抽出された前記関心領域を表示する表示手段と、
   を有することを特徴とする画像処理装置。
2. 前記算出手段は、既知の抽出対象または前記関心領域の画像を教師データとして学習させたニューラルネットワークの学習済モデルに前記画像データを入力することで、前記画像データの各単位領域に対して前記抽出対象である信頼度を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記変更手段は、前記信頼度の基準値をユーザの操作に基づいて変更する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記変更手段は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）に対するユーザの操作に基づいて、前記信頼度の基準値を変更する
   ことを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記変更手段は、ユーザから選択された単位領域に対する前記信頼度に基づいて、前記信頼度の基準値を変更する
   ことを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記抽出手段は、前記算出された単位領域の信頼度が、前記変更された前記信頼度の基準値以上である単位領域の集合を、前記関心領域として抽出する
   ことを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記算出手段は、前記画像データの各単位領域に対して、前記抽出対象である信頼度、および他の抽出対象である信頼度をそれぞれ算出し、
   前記変更手段は、前記抽出対象である信頼度の基準値、または前記他の抽出対象である信頼度の基準値の少なくとも何れかを変更し、
   前記抽出手段は、前記抽出対象である信頼度、前記他の抽出対象である信頼度、および前記変更された基準値に基づいて前記関心領域を抽出する
   ことを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記抽出手段は、ユーザから選択された単位領域に対する前記信頼度に基づいて、前記関心領域の一部と重なる部分領域に対して再抽出をする
   ことを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
9. 前記抽出手段は、前記関心領域が複数の領域に分割されている場合、ユーザから選択された単位領域に対する前記信頼度に基づいて、前記複数の領域の内の少なくともいずれかと重なる部分領域に対して再抽出をする
   ことを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
10. 前記部分領域は、ユーザから選択された単位領域を含む領域である
    ことを特徴とする請求項８または９に記載の画像処理装置。
11. 前記抽出手段は、前記部分領域以外の領域に対して、前記再抽出をする前の基準値に基づいて再抽出をする
    ことを特徴とする請求項８から１０のいずれか１項に記載の画像処理装置。
12. 前記変更手段によって、前記信頼度の基準値が変更された場合、変更後の基準値に基づいて前記抽出手段によって再抽出された前記関心領域に関連する情報を保存する保存手段を更に有し、
    前記算出手段は、前記保存された前記関心領域に関連する情報に基づいて、前記信頼度の基準値を変更する
    ことを特徴とする請求項１〜１１の何れか１項に記載の画像処理装置。
13. 前記保存手段は、前記信頼度の基準値が変更された場合、変更後の基準値を保存し、
    前記抽出手段は、前記保存された前記信頼度の基準値に基づいて、前記関心領域を抽出する
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記関心領域の面積を算出する評価手段を、さらに有する
    ことを特徴とする請求項１〜１３の何れか１項に記載の画像処理装置。
15. 前記評価手段は、前記画像データの被写体までの距離に基づいて前記単位領域の面積を算出し、前記単位領域の面積および前記関心領域の画素数に基づいて前記関心領域の面積を算出する
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 前記評価手段は、前記画像データから検出した被写体の奥行方向の傾きおよび変化に基づいて、前記関心領域の面積を算出する
    ことを特徴とする請求項１４に記載の画像処理装置。
17. 画像データを取得する取得ステップと、
    前記画像データの各単位領域に対して、単位領域が抽出対象である信頼度を算出する算出ステップと、
    関心領域を抽出するために用いる前記信頼度の基準値を変更する変更ステップと、
    前記算出された単位領域の信頼度、および前記変更された基準値に基づいて、前記関心領域を抽出する抽出ステップと、
    前記抽出された前記関心領域を表示する表示ステップと、
    を有することを特徴とする画像処理装置の制御方法。
18. コンピュータを、請求項１から１６の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
19. コンピュータを、請求項１から１６の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images