JP2022147595A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】多様な状態を取り得る創傷を定量的に評価可能にする。【解決手段】画像処理装置は、撮像装置から被写体までの距離に関する距離情報を取得する。また画像処理装置は、撮像装置が被写体を撮像した画像データから被写体の患部領域を抽出し、さらに患部領域の色情報を抽出する。そして画像処理装置は、距離情報および色情報を基に、患部領域の状態を判定する。【選択図】 図１

Description

本発明は、撮影した被写体の患部領域に対して評価を行う技術に関する。

人や動物が横になっている状態では、体重により、体の下にある床、マットレス、あるいは敷布団等と体との接触部位が圧迫される。そして、同じ姿勢が継続すると、接触部位が血行不全となり周辺組織が壊死を起こすことがある。組織が壊死した状態は、褥瘡または床ずれと呼ばれている。褥瘡になると、その後、定期的に褥瘡の状態を評価し管理していく必要がある。褥瘡の評価指標としては、非特許文献１に記載があるように、日本褥瘡学会学術教育委員会が開発した評価指標である、ＤＥＳＩＧＮ－Ｒ（登録商標）が知られている。このＤＥＳＩＧＮ－Ｒは、褥瘡をはじめとする傷の治癒過程を評価するためのツールである。現状では、褥瘡の評価は、患部を目視し、評価指標の状態が確認されたか否かで決定されることが多い。しかし、手作業および目視による評価手法は測定者による個人差があることから、正確性が求められている。また作業中に患部に触れた場合には患者に痛みを与えてしまい、さらに感染のリスクも伴うことから、非接触で各評価指標を計測および評価することが求められている。
一方で、特許文献１の診断装置では、撮影画像の病変の色から、その病変の対応する深さ領域を判定する方法が開示されている。

特開２０１６－１１２２７０号公報

照林社 褥瘡ガイドブック 第２版 褥瘡予防・管理ガイドライン（第４版）準拠 編集 日本褥瘡学会 ＩＳＢＮ１３ ９７８－４７９６５２３６０８ ２３、２４ページ

しかしながら、褥瘡のような創傷は、深さや色が多様な状態を取り得る。特許文献１に開示された従来技術では、褥瘡のような多様な状態を取り得る創傷を誤って評価および計測してしまうことがある。すなわち特許文献１の技術では、多様な状態を取り得る創傷を定量的に評価することができないことが多い。

そこで、本発明は、多様な状態を取り得る創傷を定量的に評価可能にすることを目的とする。

本発明の画像処理装置は、撮像装置から被写体までの距離に関する距離情報を取得する取得手段と、前記撮像装置が前記被写体を撮像した画像データから前記被写体の患部領域を抽出し、さらに前記患部領域の色情報を抽出する抽出手段と、前記距離情報および前記色情報を基に、前記患部領域の状態を判定する判定手段と、を有することを特徴とする。

本発明によれば、多様な状態を取り得る創傷を定量的に評価可能となる。

実施形態に係る画像処理システムの概要を示す図である。 撮像装置のハードウェア構成の一例を示す図である。 画像処理装置のハードウェア構成の一例を示す図である。 実施形態に係る画像処理システムの動作のフローチャートである。 領域の面積の計算方法を説明するための図である。 患部領域の抽出結果と大きさを示す情報の重畳表示例を示す図である。 患部領域の抽出結果と長径、短径を含む情報の重畳表示例を示す図である。 患部領域の深さ取得処理のフローチャートである。 患部領域の抽出結果と深さの測定基準を設定する例の説明図である。 曲率部位における患部領域の深さ取得処理のフローチャートである。 曲率部位の患部領域の抽出結果と深さ測定基準設定方法の説明図である。 患部領域の五つの状態の解析処理のフローチャートである。 肉芽組織、エスカー、スラフ、滲出液、骨露出を示す模式図である。 ポケット有無判定とポケット深さ測定処理のフローチャートである。 患部領域にポケットが存在する一例の説明図である。 断面の演算値抽出方法の説明図である。 傾き算出方法の説明図である。 断面におけるポケットの深さ測定方法の一例の説明図である。 撮像装置の回動によるポケット深さ測定方法の一例の説明図である。 ユーザ補助機能の一例を示す図である。 患部領域情報をユーザに入力させる方法の説明図である。 治癒過程の前後の比較結果を表示する処理のフローチャートである。 比較箇所ポイントの説明図である。 患部領域における距離マップの一例を示す図である。 患部領域内の改善部分や悪化部分の重畳表示例を示す図である。

以下、実施形態について、図面を参照して説明する。なお以下の実施形態は本発明を限定するものではない。また以下の説明において、同一の構成や処理等については、同じ符号を付して説明する。

本実施形態の画像処理装置の構成及び処理について述べる前に、褥瘡等の創傷の状態と治癒過程を評価する評価項目等について説明する。褥瘡等の創傷に関する評価指標としては、日本褥瘡学会学術教育委員会が開発した評価指標である、ＤＥＳＩＧＮ－Ｒ（登録商標）が知られている。ＤＥＳＩＧＮ－Ｒは、Ｄｅｐｔｈ、Ｅｘｕｄａｔｅ、Ｓｉｚｅ、Ｉｎｆｌａｍｍａｔｉｏｎ／Ｉｎｆｅｃｔｉｏｎ、Ｇｒａｎｕｌａｔｉｏｎ、Ｎｅｃｒｏｔｉｃ ｔｉｓｓｕｅの各評価項目の各頭文字から命名されている。以下、深さ（Ｄｅｐｔｈ）、滲出液（Ｅｘｕｄａｔｅ）、大きさ（Ｓｉｚｅ）、炎症・感染（Ｉｎｆｌａｍｍａｔｉｏｎ／Ｉｎｆｅｃｔｉｏｎ）、肉芽組織（Ｇｒａｎｕｌａｔｉｏｎ）、壊死組織（Ｎｅｃｒｏｔｉｃ ｔｉｓｓｕｅ）を用いて説明する。なおＤＥＳＩＧＮ－Ｒの評価項目には、ポケット（Ｐｏｃｋｅｔ）も含まれている。

深さ（Ｄｅｐｔｈ）は、創縁に対して創内の一番深い部分である創底で評価し、創底が表皮、真皮、皮下組織、骨部に深達するほど重症度が高いと判定される。
大きさ（Ｓｉｚｅ）は、皮膚損傷範囲の長径と短径を測定し、各々を掛け合わせた値で評価し、値が大きいほど重症度が高いと判定される。
ポケット（Ｐｏｃｋｅｔ）は、ポケットを内包する皮膚損傷範囲の長径と短径を測定し、各々を掛け合わせた値から皮膚損傷範囲の大きさを差し引いた値で評価し、値が大きいほど重症度が高いと判定される。
一般的には、褥瘡の深さ、大きさ、ポケットの評価は、患部にメジャーを当てて手作業で計測された値に基づいて決定されることが多い。
滲出液（Ｅｘｕｄａｔｅ）は、創面から滲み出る黄色の体液であり、これを除去するドレッシング剤の交換頻度で評価し、交換頻度が多いほど重症度が高いと判定される。
炎症・感染（Ｉｎｆｌａｍｍａｔｉｏｎ／Ｉｎｆｅｃｔｉｏｎ）は、創周囲の発赤、腫脹、熱感といった炎症、感染によって表れる兆候の有無で評価され、局所に明らかな感染兆候がある、または発熱などの全身的影響がある場合は重症度が高いと判定される。
肉芽組織（Ｇｒａｎｕｌａｔｉｏｎ）は、鮮紅色で適度に湿潤した状態の良性肉芽とピンク色で過度に湿潤した不良肉芽の２種類があり、創内を良性肉芽が占める割合で評価され、良性肉芽が占める割合が少ないほど重症度が高いと判定される。
壊死組織（Ｎｅｃｒｏｔｉｃ ｔｉｓｓｕｅ）は、柔らかい黄白色の壊死組織であるスラフと、硬く密着した黒色の壊死組織であるエスカーの２種類があり、これらの有無によって評価され、エスカー、スラフ、壊死組織無の順に重症度が高いと判定される。
現状では、褥瘡の滲出液、炎症、感染、肉芽組織、壊死組織の評価は、患部を目視し、各評価指標の状態が確認されたか否かで決定されることが多い。

しかしながら、褥瘡は、前述したように滲出液、肉芽組織、壊死組織など多様な状態を取り得るため、創傷を正確に評価することが難しい場合が多々ある。例えば、良性肉芽が創縁と創底の２か所に存在するような場合、良性肉芽は深さによらず鮮紅色を呈するため、特許文献１に開示された従来技術のような色と深さ領域の対応表では、両者を同じ深さ領域にあると誤判定してしまう虞がある。また、創内の同じ深さに、黒色のエスカーと黄色の滲出液の両方があるような場合、特許文献１の従来技術では、両者を異なる深さ領域にあると誤判定してしまう虞がある。

そこで、本実施形態の画像処理装置では、以下に説明するように、幹部領域を撮影した画像を用い、さらに色情報と距離情報とに基づく解析処理を行うことによって、褥瘡のように多様な状態を取り得る創傷の定量的な評価を可能とする。
以下、本実施形態に係る画像処理装置の一適用例としての画像処理システムについて説明する。
図１は、実施形態に係る画像処理システム１の概要を示す図である。
撮像システム１は、手持ち可能なポータブルデバイスである撮像装置２００と、画像処理装置３００とから構成される。なお、本実施形態では、撮像装置２００と画像処理装置３００とが別構成となされている例を挙げているが、撮像装置と画像処理装置の機能が一体となされた一つの装置であってもよい。撮像装置と画像処理装置の機能が一体となされた一つの装置としては、オートフォーカス機能付きのカメラを備えると共に高性能のＣＰＵ等を備えたスマートフォンやタブレット端末のようなモバイル情報端末などを例に挙げることができる。

本実施形態に係る画像処理システム１では、撮像装置２００が、被写体１０１である患者の患部領域１０２を撮影して画像データを取得する。また撮像装置２００は、幹部領域１０２を撮像した際の、当該撮像装置２００から被写体１０１および患部領域１０２までの距離である被写体距離情報を取得する。そして、撮像装置２００は、それら画像データおよび被写体距離情報を、画像処理装置３００に送信する。
画像処理装置３００は、受信した画像データから患部領域１０２を抽出し、その幹部領域の色情報および被写体距離に基づいて、当該患部領域の創面状態（本実施形態では褥瘡の状態）を解析する。本実施形態において、画像処理装置３００が解析する褥瘡の状態は、褥瘡の評価指標であるＤＥＳＩＧＮ－Ｒに倣い、大きさ、深さ、肉芽組織、壊死組織、滲出液、ポケットの六つであるとする。
なお本実施形態では、患部領域１０２が褥瘡である場合を例に挙げて説明を行うが、これに限定されるものではなく、裂傷や切創といった傷口が開く創傷であってもよい。また本実施形態では、被写体１０１の患部領域１０２の病態の一例として、主に、臀部に生じた褥瘡を挙げて説明する。

図２は、画像処理システム１に含まれる撮像装置２００のハードウェア構成の一例を示す図である。
撮像装置２００は、一般的な一眼カメラ、コンパクトデジタルカメラであるとする。あるいは、撮像装置２００は、オートフォーカス機能付きのカメラを備えたスマートフォンやタブレット端末などであってもよい。
撮像ユニット２１１は、レンズ群２１２、シャッタ２１３、イメージセンサ２１４を有する。撮像ユニット２１１は、レンズ群２１２に含まれる複数のレンズの位置を変更することで、フォーカス位置とズーム倍率を変更することができる。レンズ群２１２は、露出量を調節するための絞りも備える。

イメージセンサ２１４は、光学像を画像データに変換するＣＣＤやＣＭＯＳセンサ等の電荷蓄積型の固体イメージセンサで構成される。レンズ群２１２およびシャッタ２１３を通過した被写体からの反射光はイメージセンサ２１４の撮像面上に結像され、イメージセンサ２１４は、被写体像に応じた電気信号を生成し、その電気信号に基づく画像データを出力する。

シャッタ２１３は、シャッタ羽根部材の開閉動作を行うことによって、イメージセンサ２１４への露出や遮光を行い、イメージセンサ２１４の露光時間を制御する。なお、シャッタ２１３の代わりに、イメージセンサ２１４の駆動によって露光時間を制御する電子シャッタが用いられてもよい。ＣＭＯＳセンサで電子シャッタを行う場合、イメージセンサ２１４は、画素ごと、あるいは複数画素からなる領域ごと（例えばラインごと）に、画素の蓄積電荷量をゼロにするリセット走査を行う。その後、イメージセンサ２１４は、リセット走査を行った画素あるいは領域ごとに、それぞれ所定の時間を経過してから、電荷の蓄積量に応じた信号を読み出す走査を行う。

ズーム制御回路２１５は、レンズ群２１２に含まれるズームレンズを駆動するための不図示のモータを制御することで、レンズ群２１２の光学倍率を制御する。なお、レンズ群２１２は、ズーム機能のない単焦点のレンズ群であってもよく、その場合、ズーム制御回路２１５は不要である。

測距システム２１６は、被写体までの距離情報を算出する。測距システム２１６としては、一眼カメラに搭載された一般的な位相差方式の測距センサが用いられてもよいし、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサを用いたシステムが用いられてもよい。ＴＯＦセンサは、照射波の送信タイミングと、当該照射波が物体により反射された反射波の受信タイミングとの時間差（または位相差）に基づいて、当該物体までの距離を測定するセンサである。また測距システム２１６には、受光素子にＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｖｉｃｅ）を用いたＰＳＤ方式などが用いられてもよい。

またイメージセンサ２１４は、画素ごとに複数の光電変換領域を有し、共通の画素内に含まれる複数の光電変換領域に対応する瞳位置を異ならせる構成となされていてもよい。このような構成とすることで、測距システム２１６は、イメージセンサ２１４から出力された、それぞれの瞳領域に対応する光電変換領域から得られた画像間の位相差から、画素あるいは領域の位置ごとに距離情報を求めることができる。

また、測距システム２１６は、画像内の予め定められた所定の一つの測距エリア、あるいは複数の測距エリアにおける距離情報を求める構成でもよいし、画像内の多数の画素あるいは領域の距離情報の分布を示す距離マップを求める構成であってもよい。
その他にも、測距システム２１６は、画像データの高周波成分を抽出して積分し、積分値が最大となるフォーカスレンズの位置を決定する、ＴＶ－ＡＦまたはコントラストＡＦを行い、そのフォーカスレンズの位置から距離情報を得るものであってもよい。
本実施形態では、測距システム２１６は、画像内の多数の画素あるいは領域の距離情報の分布を示す距離マップを求める構成であるとして説明する。

画像処理回路２１７は、イメージセンサ２１４から出力された画像データに対して、所定の画像処理を施す。画像処理回路２１７は、撮像ユニット２１１から出力された画像データ、あるいは内部メモリ２２１に記録されている画像データに対して、ホワイトバランス調整、ガンマ補正、色補間またはデモザイキング、フィルタリングなど、様々な画像処理を行う。また、画像処理回路２１７は、画像処理を行った画像データに対して、ＪＰＥＧなどの規格で圧縮処理を行う。

ＡＦ制御回路２１８は、測距システム２１６で得られた距離情報に基づいて、レンズ群２０２に含まれるフォーカスレンズの位置を決定し、フォーカスレンズを駆動するモータを制御する。
通信装置２１９は、無線の通信ネットワーク（不図示）を介して、画像処理装置３００などの外部機器と通信を行うための無線通信モジュールである。ネットワークの具体的な一例としては、Ｗｉ－Ｆｉ（登録商標）規格に基づくネットワークが挙げられる。なお、Ｗｉ－Ｆｉを用いた通信はルーターを介して実現されてもよい。また、通信装置２１９は、ＵＳＢやＬＡＮなど有線の通信インターフェースにより通信を実現するものであってもよい。通信装置２１９は、撮像装置２００に内蔵されているとするが、撮像装置２００に接続された外部装置であってもよい。

システム制御回路２２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、内部メモリ２２１に記憶されたプログラムに従って、撮像装置２００の各部を制御することにより全体制御を行う。また、システム制御回路２２０は、撮像ユニット２１１、ズーム制御回路２１５、測距システム２１６、画像処理回路２１７、およびＡＦ制御回路２１８などの全体の制御を行う。なお、システム制御回路２２０は、ＣＰＵの代わりに、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）やＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）などを用いてもよい。

内部メモリ２２１は、フラッシュメモリやＳＤＲＡＭ等の書き換え可能なメモリで構成される。内部メモリ２２１は、撮像装置２００の動作に必要な撮像時のピント位置の情報やズーム倍率などの各種の設定情報、撮像ユニット２１１が撮像した画像データや画像処理回路２１７による画像処理が行われた画像データ等を一時的に記憶する。また、内部メモリ２１１は、通信装置２１９が画像処理装置３００と通信して受信した、画像データや被写体の大きさを示す情報などの解析データなどを一時的に記憶してもよい。

外部メモリＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２２２は、撮像装置２００に装填可能なＳＤカードやＣＦカード（コンパクトフラッシュは登録商標）等の不揮発性の記憶媒体とのインターフェースである。外部メモリＩ／Ｆ２２２は、画像処理回路２１７で処理された画像データや、通信装置２１９が画像処理装置３００と通信して受信した画像データや解析データなどを、装填可能な記憶媒体に記録する。また、外部メモリＩ／Ｆ２２２は、装填可能な記憶媒体に記録された画像データを読み出し、撮像装置２００の外部に出力することも可能である。

表示装置２２３は、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶や有機ＥＬディスプレイ、ＥＶＦ（電子ビューファインダ）などで構成された装置である。表示装置２２３は、内部メモリ２２１に一時的に保存されている画像データに基づく画像、装填可能な記憶媒体に保存されている画像データに基づく画像、および、撮像装置２００の設定画面などを表示する。

操作部２２４は、例えば、撮像装置２００に設けられたボタン、スイッチ、キー、モードダイアル、あるいは、表示装置２２３に併設されたタッチパネルなどで構成されている。ユーザによるモード設定や撮影指示などの指令は、操作部２２４を経由して、システム制御回路２２０に送られる。

共通バス２２５は、撮像ユニット２１１、ズーム制御回路２１５、測距システム２１６、画像処理回路２１７、ＡＦ制御回路２１８、通信装置２１９、システム制御回路２２０、内部メモリ２２１、外部メモリＩ／Ｆ２２２、表示装置２２３、および操作部２２４が接続されている。共通バス２２５は、それら接続された各ブロック間で信号の送受信を行うための信号線である。

図３は、画像処理システム１に含まれる画像処理装置３００のハードウェア構成の一例を示す図である。
画像処理装置３００は、演算装置３１１、記憶装置３１２、通信装置３１３、出力装置３１４、および補助演算装置３１７を備える。
記憶装置３１２は、主記憶装置３１５（ＲＯＭやＲＡＭ等）と補助記憶装置３１６（磁気ディスク装置やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等）から構成される。
通信装置３１３は、通信ネットワークを介して外部機器と通信を行うための無線通信モジュールとして構成される。
出力装置３１４は、画像処理装置３００に接続されたディスプレイ、プリンタ、あるいは外部ネットワークに、演算装置３１１にて処理されたデータや生成されたデータ、記憶装置３１２に記憶されたデータを出力する。

補助演算装置３１７は、演算装置３１１による制御の下で用いられる補助演算用ＩＣである。補助演算装置３１７は、一例としてＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成されている。ＧＰＵは、元々は画像処理用のプロセッサであるが、複数の積和演算器を有し、行列計算を得意としているため、信号学習用の処理を行うプロセッサとしても用いられることが多い。そして、深層学習を行う処理においても、ＧＰＵが用いられることが一般的である。例えば、補助演算装置３１７としては、ＮＶＩＤＩＡ社のＪｅｔｓｏｎ ＴＸ２ ｍｏｄｕｌｅを用いることができる。なお、補助演算装置３１７として、ＦＰＧＡやＡＳＩＣなどが用いられてもよい。
本実施形態の画像処理装置３００の場合、補助演算装置３１７は、画像データから被写体１０１の患部領域１０２およびその患部領域の色情報を抽出する処理等を行う。

演算装置３１１は、ＣＰＵにより構成され、記憶装置３１２に記憶されたプログラムを実行することで、補助演算装置３１７にて抽出された患部領域１０２の大きさや長さを求めるための演算処理を含む、各種機能を実現する。また、演算装置３１１は、撮像装置２００の表示装置２２３に表示するためのデータの生成や、出力装置３１４を介して出力されるデータの生成、各機能を実行する順番の制御等も行う。

なお、画像処理装置３００が備える演算装置３１１および記憶装置３１２は、一つであってもよいし、複数であってもよい。すなわち、少なくとも１以上の処理装置（ＣＰＵ）と少なくとも一つの記憶装置とが接続されており、少なくとも１以上の処理装置が少なくとも１以上の記憶装置に記憶されたプログラムを実行した場合に、画像処理装置３００は後述する各機能を実行する。なお、演算装置３１１は、ＣＰＵの代わりに、ＦＰＧＡやＡＳＩＣなどで実現されてもよい。

図４は、実施形態に係る画像処理システム１の撮像装置２００と画像処理装置３００の動作を示すフローチャートである。なお、以下の説明では、フローチャートにおける各処理ステップを、Ｓに参照番号を付与して表すものとする。すなわち例えば、処理ステップ４０１はＳ４０１として表す。後述する他のフローチャートにおいても同様に表すとする。

図４において、Ｓ４０１からＳ４２０までは撮像装置２００による処理であり、Ｓ４３１、Ｓ４４１からＳ４４５まで、およびＳ４５１からＳ４５６までは画像処理装置３００による処理である。
初めに、撮像装置２００と画像処理装置３００とが、無線ＬＡＮ規格であるＷｉ－Ｆｉ規格のネットワーク（不図示）にそれぞれ接続する。
画像処理装置３００は、Ｓ４３１においてネットワークを介して接続する撮像装置２００の探索処理を行い、撮像装置２００は、Ｓ４０１において画像処理装置３００に対する応答処理を行う。ネットワークを介して機器を探索する技術としては、例えば、ＵＰｎＰ（Ｕｎｉｖｅｒｓａｌ Ｐｌｕｇ ａｎｄ Ｐｌａｙ）が用いられる。ＵＰｎＰにおいて個々の装置の識別は、ＵＵＩＤ（Ｕｎｉｖｅｒｓａｌｌｙ Ｕｎｉｑｕｅ ＩＤｅｎｔｉｆｉｅｒ）によって行われる。

撮像装置２００は、画像処理装置３００との接続がなされると、Ｓ４０２において、ライブビュー処理を開始する。すなわち撮像ユニット２１１は撮像によって画像データを生成し、この画像データに対し、画像処理回路２１７が、ライブビュー表示用の画像データを生成するために必要な現像処理を適用する。撮像装置２００は、これらの処理をフレームごとに繰り返し行うことで、表示装置２２３の画面には所定のフレームレートのライブビュー映像が表示される。

Ｓ４０３において、測距システム２１６は前述したいずれかの方法によって被写体の距離情報を求め、ＡＦ制御回路２１８が被写体にピントが合うようにレンズ群２１２の駆動制御を行うＡＦ処理を開始する。前述したＴＶ－ＡＦまたはコントラストＡＦでピント位置の調整が行われる場合、測距システム２１６は、ピントを合わせた状態のフォーカスレンズの位置から、ピントを合わせた対象の被写体１０１までの距離情報を求める。ピントを合わせる位置は、画面中央に位置する被写体でもよいし、撮像装置２００に対して最も至近側の位置に存在する被写体でもよい。また、前述した被写体の距離マップが得られている場合、測距システム２１６は、距離マップから注目すべき領域を推定し、ＡＦ制御回路２１８がその位置に対してピントを合わせるようにしてもよい。あるいは、既に画像処理装置３００によってライブビュー画像内で褥瘡１０２の位置が特定されているならば、測距システム２１６はその位置に対する距離情報を求め、ＡＦ制御回路２１８がその位置に対してピントを合わせるようにしてもよい。撮像装置２００は、後述するＳ４１０でレリーズボタンが押されたことを検知するまで、ライブビュー映像の表示とともにＡＦ処理を繰り返し行う。

Ｓ４０４において、画像処理回路２１７は、ライブビューのために撮像された画像のいずれかの画像データに対して、その画像データの現像および圧縮処理を行い、例えばＪＰＥＧ規格の画像データを生成する。そして、画像処理回路２１７は、圧縮処理された画像データに対してリサイズ処理を行い、画像データのサイズを小さくする。

Ｓ４０５において、通信装置２１９は、Ｓ４０４で生成されてリサイズ処理がなされた画像データと、Ｓ４０３で求められた距離情報とを取得する。さらに通信装置２１９は、ズーム倍率の情報と、リサイズ処理された画像データのサイズ（ピクセル数）の情報をも取得する。なお撮像ユニット２１１が単焦点でズーム機能が無いのであれば、ズーム倍率の情報は不要である。

Ｓ４０６において、通信装置２１９は、Ｓ４０５で取得した画像データと距離情報、およびズーム倍率やサイズ情報などの１以上の情報を、無線通信により画像処理装置３００に送信する。
なお、送信する画像データのサイズが大きいほど無線通信に時間がかかるため、Ｓ４０５におけるリサイズ後の画像データのサイズは、許容される通信時間を考慮して決定される。ただし、画像データを小さくし過ぎると、画像処理装置３００が後述するＳ４４２において行う患部領域の抽出処理の精度に影響が出るため、通信時間に加えて、患部領域の抽出処理の精度をも考慮する必要がある。
また、Ｓ４０４からＳ４０６の処理は、フレームごとに行ってもよいし、数フレームに１回の割合で行うようにしてもよい。

ここで、画像処理装置３００による処理の説明に移る。
Ｓ４４１において、画像処理装置３００の通信装置３１３は、撮像装置２００の通信装置２１９から出力された画像データ、および距離情報を含む１以上の情報を受信する。
次にＳ４４２において、補助演算装置３１７は、Ｓ４４１で受信した画像データから、被写体１０１の患部領域１０２を抽出する。本実施形態では、患部領域を抽出する手法としては、深層学習による意味的領域分割を行う手法を用いるとする。すなわち、予め不図示の機械学習用の高性能コンピュータが、複数の実際の褥瘡の画像を教師データとして用いてニューラルネットワークのモデルを学習して、学習済モデルを生成する。補助演算装置３１７は、高性能コンピュータから学習済モデルを受け取り、その学習済モデルに基づいて、画像データから患部領域である褥瘡のエリアを推定する。本実施形態では、ニューラルネットワークのモデルの一例として、深層学習を用いたセグメンテーション・モデルである完全畳み込みネットワーク（ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ））を適用する。ここで、深層学習の推論は、積和演算の並列実行を得意とする補助演算装置３１７により処理される。なお、推論処理は、ＦＰＧＡやＡＳＩＣなどにより実行されてもよい。また、他の深層学習のモデルを用いて領域分割が実現されてもよい。また、セグメンテーション手法は、深層学習に限らず、例えばグラフカットや領域成長、エッジ検出、統治分割法等が用いられてもよい。さらに補助演算装置３１７は、褥瘡の画像を教師データとしたニューラルネットワークのモデルの学習を行ってもよい。

Ｓ４４３において、演算装置３１１は、補助演算装置３１７によって抽出された患部領域１０２の大きさを示す情報として、当該患部領域の面積を計算する。
図５は、患部領域の面積の計算方法を説明するための図である。
一般的なカメラである撮像装置２００は、図５のようなピンホールモデルとして扱うことができる。入射光５０１は、レンズ２１２ａの主点を通り、イメージセンサ２１４の撮像面で受光される。レンズ群２１２を厚みのない単一のレンズ２１２ａに近似して考えた場合、前側主点と後側主点の２つの主点は一致するとみなせる。イメージセンサ２１４の撮像面に被写体像が結像するようにレンズ２１２ａのピント位置を調整することで、撮像装置２００は被写体５０４に焦点を合わせることができる。

また、撮像面からレンズ主点までの距離である焦点距離５０２を変更することで、画角θ５０３が変更され、ズーム倍率が変わる。このとき、撮像装置２００の画角θ５０３と被写体距離５０５との関係から、幾何学的に合焦面における被写体の幅５０６が決定される。この被写体の幅５０６は、三角関数を用いて計算される。すなわち、被写体の幅５０６は、焦点距離５０２に応じて変化する画角θ５０３と被写体距離５０５との関係によって決定することができる。そして、被写体の幅５０６の値を画像のライン上のピクセル数で除算することにより、画像上の１ピクセルに対応する合焦面上の長さが得られる。

よって、演算装置３１１は、Ｓ４４２による患部領域の抽出結果から得られる抽出領域のピクセル数と、画像上の１ピクセルに対応する合焦面上の長さとから得られる１ピクセルの面積の積として、患部領域の面積を計算する。なお、焦点距離５０２と被写体距離５０５の組合せに応じた画像上の１ピクセルに対応する合焦面上の長さは、予め求めておいてテーブルデータとして予め用意されていてもよい。この場合、画像処理装置３００が、撮像装置２００に応じたテーブルデータを予め記憶しておくことも可能である。

なお、上記の方法で正しく患部領域の面積を求めるためには、被写体５０４が平面であり、且つ、この平面が光軸に対して垂直であることが前提となる。Ｓ４４１で取得した距離情報が画像データ内の複数の位置における距離情報や距離マップであれば、演算装置３１１は、被写体の奥行き方向の傾きや変化を検出し、それら検出した傾きや変化に基づいて面積を算出するようにしてもよい。

Ｓ４４４において、演算装置３１１は、患部領域の抽出に用いた画像データに対して、患部領域の抽出結果を示す情報と、その患部領域の大きさを示す情報とを重畳した画像データを生成する。
図６は、患部領域の抽出結果を示す情報、および、患部領域の大きさを示す情報を、画像データに重畳する方法を説明するための図である。図６は、患部領域１０２が臀部の近傍にある場合の例を示している。

図６（ａ）の画像６０１は、重畳処理前の画像データを用いて表示された画像であって、被写体１０１及び患部領域１０２を含む。図６（ｂ）の重畳画像６０２は、重畳処理後の画像データに基づく画像である。
演算装置３１１は、図６（ｂ）に示すように、重畳画像６０２の左上隅に、患部領域の大きさを示す情報として、患部領域の面積値を表す文字列６１２を表示するためにラベル６１１を重畳する。なお、ラベル６１１の背景色と文字列の色は見やすいものであれば図示の例に限らなくてもよい。また、演算装置３１１は、透過量を設定してαブレンドすることにより、ラベルが重なった部分の画像が確認できるようにしてもよい。

さらに、演算装置３１１は、重畳画像６０２について、Ｓ４４２にて抽出された、患部領域の推定エリアを示す指標６１３を重畳する。すなわち演算装置３１１は、推定エリアが存在する位置において、推定エリアを示す指標６１３と、画像６０１の元になる画像データとをαブレンドして重畳表示するためのデータを生成する。この表示がなされることで、ユーザは、患部領域の面積の元となる推定エリアが妥当かどうかを確認することができるようになる。推定エリアを示す指標６１３の色は、被写体の色と重ならないようにすることが望ましい。αブレンドの透過率は、推定エリアが認識できて、元の患部領域１０２も確認できる範囲にする。なお、患部領域の推定エリアを示す指標６１３が重畳表示されていれば、ラベル６１１の表示がなくとも、ユーザは推定エリアが妥当かどうかを確認することはできるため、Ｓ４４３は省略しても構わない。

次にＳ４４５において、画像処理装置３００の通信装置３１３は、前述のようにして抽出された患部領域の抽出結果を示す情報と、患部領域の大きさを示す情報とを、撮像装置２００の表示装置２２３に表示するためのデータとして撮像装置２００に送信する。すなわち本実施形態では、通信装置３１３は、Ｓ４４４で生成された、患部領域の大きさを示す情報を含む画像データを、撮像装置２００に無線通信により送信する。

ここで、撮像装置２００による処理の説明に戻る。
Ｓ４０７において、撮像装置２００の通信装置２１９は、画像処理装置３００にて患部領域の大きさを示す情報を含む画像データが新たに生成されていれば、これを受信する。
Ｓ４０８において、システム制御回路２２０は、Ｓ４０７で患部領域の大きさを示す情報を含む画像データを受信できていればＳ４０９に進み、受信できていなければＳ４１０に進む。

Ｓ４０９に進むと、表示装置２２３は、Ｓ４０７で受信された患部領域の大きさを示す情報を含む画像データに基づく画像を所定時間表示する。ここで、表示装置２２３は、図６（ｂ）に示した重畳画像６０２を表示する。
このように、ライブビュー画像に対して、患部領域の抽出結果を示す情報を重畳表示することで、ユーザは、患部領域の面積および推定エリアが妥当であるかを確認したうえで、本撮影に臨むことができる。なお、本実施形態では、患部領域の推定エリアを示す指標６１３と、患部領域の大きさの情報の両方を表示する例を挙げて説明を行ったが、いずれか一方だけでもよい。

Ｓ４１０に進むと、システム制御回路２２０は、操作部２２４に含まれるレリーズボタンが押されたかどうかを検知する。レリーズボタンが押されていなければ、撮像装置の処理はＳ４０４に戻り、レリーズボタンが押されていれば、撮像装置の処理はＳ４１１に進む。
Ｓ４１１に進むと、Ｓ４０３と同様の方法によって、測距システム２１６が被写体の距離情報を求め、ＡＦ制御回路２１８が被写体にピントが合うようにレンズ群２１２の駆動制御を行うＡＦ処理を行う。なお、ライブビュー画像から患部領域を抽出することができているならば、測距システム２１６は患部領域が存在する位置における被写体の距離情報を求めればよい。

次にＳ４１２に進むと、撮像装置２００では静止画の撮影が行われる。
そしてＳ４１３において、画像処理回路２１７は、Ｓ４１２での撮像で生成された画像データに対して現像および圧縮処理を行い、例えばＪＰＥＧ規格の画像データを生成する。さらに、画像処理回路２１７は、圧縮処理された画像データに対してリサイズ処理を行い、画像データのサイズを小さくする。

ここで、Ｓ４１３にてリサイズ処理が行われた画像データのサイズは、Ｓ４０４にてリサイズ処理が行われた画像データと同じ大きさか、あるいは、それよりも大きい。これは、患部領域を計測する際の精度を優先するためである。本実施形態では、１４４０ピクセル×１０８０ピクセルで４ビットＲＧＢカラーとして、画像データのサイズがおよそ４．４５メガバイトとなるようにリサイズしたとする。なお、リサイズの大きさはこれに限られるものではない。あるいは、画像処理回路２１７は、リサイズ処理をせずに、撮像されて生成したＪＰＥＧ規格の画像データを用いて、次のＳ４１４の処理に進んでもよい。

Ｓ４１４に進むと、通信装置２１９は、Ｓ４１３で生成されてリサイズ処理がなされた（あるいは、リサイズ処理がなされていない）画像データと、Ｓ４１１で求められた距離情報とを取得する。さらに、通信装置２１９は、ズーム倍率の情報や、リサイズ処理された画像データのサイズ（ピクセル数）の情報をも取得する。なお、撮像ユニット２１１が単焦点レンズのみを有していてズーム機能が無いのであれば、ズーム倍率の情報は不要である。また、画像処理装置３００が予め画像データのサイズの情報を有しているのであれば、画像データのサイズ情報は不要である。
次にＳ４１５において、通信装置２１９は、Ｓ４１４で取得した画像データと、距離情報を含む１以上の情報とを、無線通信により画像処理装置３００に送信する。

ここで、再び画像処理装置３００による処理の説明に移る。
Ｓ４５１において、画像処理装置３００の通信装置３１３は、撮像装置２００の通信装置２１９から出力された画像データと、距離情報を含む１以上の情報を受信する。
Ｓ４５２において、画像処理装置３００の補助演算装置３１７は、Ｓ４４１で受信された画像データから、被写体１０１の患部領域１０２を抽出する。処理の詳細はＳ４４２と同じであるため、その説明を省略する。

Ｓ４５３において、演算装置３１１は、補助演算装置３１７によって抽出された患部領域の大きさを示す情報の一例として、患部領域の面積を計算する。処理の詳細はＳ４４３と同じであるため、その説明を省略する。
Ｓ４５４において、演算装置３１１は、患部領域における褥瘡の状態を評価するための画像解析を行う。
画像解析の方法の詳細は後述する。

次にＳ４５５において、演算装置３１１は、患部領域の抽出対象とされた画像データに対して、患部領域の抽出結果を示す情報と、患部領域の大きさを示す情報とを重畳した画像データ、つまり撮像装置２００の表示装置２２３に表示するためのデータを生成する。
図７は、患部領域の抽出結果を示す情報、および患部領域の長径と短径を含む患部領域の大きさを示す情報を画像データに重畳する方法を説明するための図である。患部領域の大きさを示す情報は、複数得られることが考えられるため、図７（ａ）の重畳画像７０１、図７（ｂ）の重畳画像７０２、および図７（ｃ）の重畳画像７０３に分けて説明する。これらの画像は、画像処理装置３００から撮像装置２００に送られて表示装置２２３に表示される。

図７（ａ）の重畳画像７０１は、患部領域の長径、短径の算出方法として、Ｍｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅを用いた例を示している。演算装置３１１は、重畳画像７０１の左上隅に、患部領域の大きさを示す情報として、図６の例と同様に、患部領域の面積値の文字列６１２を表示するためのラベル６１１を重畳した画像を生成する。さらに演算装置３１１は、重畳画像７０１の右上隅に、患部領域の大きさを示す情報として、Ｍｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅに基づいて算出した長径および短径を表示するためのラベル７１２を重畳した画像を生成する。文字列７１３は長径の長さ（単位はｃｍ）を表し、文字列７１４は短径の長さ（単位はｃｍ）を表す。またさらに、演算装置３１１は、重畳画像７０１に、患部領域１０２を囲うように、Ｍｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅを表す矩形の枠７１５を重畳する。これにより、矩形の枠７１５が長径および短径の長さと一緒に重畳表示されることになるため、ユーザは、画像中のどの箇所の長さが計測されているのかを確認することができる。

また、演算装置３１１は、重畳画像７０１の右下隅にはスケールバー７１６を重畳させる。スケールバー７１６は、患部領域の大きさを測定するためのものであり、距離情報に応じて、画像データに対するスケールバーのサイズが変更される。具体的には、スケールバー７１６は、Ｓ４５３で得られた画像上の１ピクセルに対応する合焦面上の長さに基づいて、１ｃｍ単位で５ｃｍまでの目盛りを刻んだバーであり、撮像装置の合焦面上すなわち被写体上のサイズに対応したものである。ユーザは、スケールバーを参照することにより、被写体もしくは患部領域の大きさをおよそ把握することができる。

さらに、演算装置３１１は、前述したＤＥＳＩＧＮ－Ｒのサイズ（Ｓｉｚｅ）の評価値を表すラベル７１７を、重畳画像７０１の左下隅に重畳させる。ＤＥＳＩＧＮ－ＲのＳｉｚｅの評価値では、皮膚損傷範囲の、長径と短径（長径と直交する最大径）が測定（単位はｃｍ）され、各々を掛け合わせた数値から上述した７段階に分類されている。本実施形態では、長径と短径をそれぞれの算出方法によって出力された値に置き換えて得られる評価値が重畳されている。

図７（ｂ）の重畳画像７０２は、長径として最大フェレ径を、短径として最小フェレ径を用いたものである。演算装置３１１は、重畳画像７０２の右上隅に、長径の文字列７２３および短径の文字列７２４を表したラベル７２２を重畳させる。さらに、演算装置３１１は、重畳画像７０２の患部領域１０２に、最大フェレ径の計測位置に相当する補助線７２５と、最小フェレ径に相当する補助線７２６とを重畳させる。補助線を長径および短径の長さと一緒に重畳することで、ユーザは、画像中のどの箇所の長さが計測されているのかを確認することができる。

図７（ｃ）の重畳画像７０３は、長径は重畳画像７０２と同じであるが、短径が最小フェレ径ではなく最大フェレ径の軸に直交する方向で計測した長さとして計測したものである。このため、重畳画像７０２の右上隅には、長径の文字列７２３および短径の文字列７３４を表示するためのラベル７３２が重畳されている。さらに、重畳画像７０３には、患部領域１０２に、最大フェレ径の計測位置に相当する補助線７２５と、最大フェレ径の軸に直交する方向で計測した長さに相当する補助線７３６とが重畳されている。

なお、図７（ａ）から図７（ｃ）のそれぞれに示した画像データに重畳する各種情報は、いずれか一つ、または、複数の組合せとしてもよく、ユーザが表示する情報を選択できるようにしてもよい。また、図６および図７に示した重畳画像は一つの例であって、患部領域１０２およびその患部領域の大きさを示す情報の表示形態、表示位置、フォントの種類、フォントサイズ、フォントの色、あるいは位置関係などは様々な条件に応じて変更できる。

次にＳ４５６において、画像処理装置３００の通信装置３１３は、患部領域における褥瘡の状態を画像解析した結果を示す情報を、撮像装置２００に出力する。本実施形態の場合、通信装置３１３は、Ｓ４５５で生成された患部領域の大きさ等を示す各情報を含む画像データを、撮像装置２００に無線通信により出力する。

ここで、再び撮像装置２００による処理の説明に戻る。
Ｓ４１６において、撮像装置２００の通信装置２１９は、画像処理装置３００にて生成された患部領域の大きさ等を示す各情報を含む画像データを受信する。
Ｓ４１７において、表示装置２２３は、Ｓ４１６で受信された患部領域の大きさ等を示す各情報を含む画像データを、所定時間表示する。本実施形態の場合、表示装置２２３は、図７（ａ）から図７（ｃ）に示したような、重畳画像７０１から重畳画像７０３のいずれかを所定時間表示し、そして所定時間経後、撮像装置２００の処理はＳ４１８に移行する。

Ｓ４１８に進むと、システム制御回路２２０は、入力されていない患部領域の情報の有無を判定する。ここで患部領域の情報とは、患部の部位を示す情報、および、前述したＤＥＳＩＧＮ－Ｒの各評価項目の評価値を指す。大きさ（Ｓｉｚｅ）に関する評価項目の評価値については、Ｓ４１６で受信した大きさを示す情報に基づいて、自動的に入力される。

次にＳ４１８において値が入力されていない患部領域情報があると判定された場合、システム制御回路２２０は、Ｓ４１９に移行し、全ての患部領域情報が入力されていれば、Ｓ４０２に戻りライブビューを再開させる。
Ｓ４１９において、システム制御回路２２０は、表示装置２２３に患部領域情報の入力を促すユーザインターフェースを表示させる。
その後、Ｓ４２０において、ユーザから操作部２２４を介して患部領域情報が入力されると、撮像装置２００の処理は、Ｓ４１８に戻る。

次に、本実施形態に係る画像処理装置３００が患部領域の創面状態を画像解析する方法について説明する。
前述したように、図６と図７は、患部領域の大きさを解析する方法を説明するための図である。
褥瘡の評価指標のＤＥＳＩＧＮ－Ｒの中で、褥瘡の大きさは長径と短径の積の値を計測することが定められている。本実施形態の画像処理装置３００では、長径と短径の解析を行うことで、以前のＤＥＳＩＧＮ－Ｒで計測されたデータとの互換性を確保することができる。

ここで、ＤＥＳＩＧＮ－Ｒは厳密な定義がないため、数学的には複数の長径、短径の算出方法が考えられる。
長径、短径の算出方法の一例として、まず、演算装置３１１は、患部領域１０２に外接する矩形のうち、面積が最小となる矩形（Ｍｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅ）を算出する。そして、演算装置３１１は、この矩形の長辺と短辺の長さを算出し、長辺の長さを長径とし、短辺の長さを短径として算出する。そして、演算装置３１１は、Ｓ４５３で求めた画像上の１ピクセルに対応する合焦面上の長さに基づいて、この矩形の面積を算出する。

また、長径と短径の算出方法の別の一例として、長径として最大のキャリパー長である最大フェレ径を選択し、短径として最小フェレ径を選択してもよい。あるいは、長径として最大のキャリパー長である最大フェレ径を選択し、短径として最大フェレ径の軸に直交する方向で計測した長さを選択してもよい。長径と短径の計算方法は、それ以前に計測を行った時の計測結果との互換性に基づいて任意の方法を選択することができる。

なお、この患部領域の長径および短径の長さと矩形面積の算出は、Ｓ４４１で受け取った画像データに対しては実行しない処理である。ライブビュー中は、患部領域の抽出結果をユーザが確認できるようにすることを目的としているため、Ｓ４５４の画像解析の処理ステップを省くことで、処理時間を削減している。
また、ＤＥＳＩＧＮ－Ｒに基づく大きさの評価を行わずに、褥瘡の実際の面積の情報を得ることが目的である場合には、Ｓ４５４の処理は省略することができる。その場合、以降の処理において、ＤＥＳＩＧＮ－Ｒにおける評価項目としての大きさの情報が無いものとして処理することになる。

次に、患部領域の深さを測定する方法について説明する。
図８は、画像処理装置３００において患部領域の深さ情報を取得する処理のフローチャートである。
図９（ａ）および図９（ｂ）は、患部領域の抽出結果を示す情報、およびその患部領域の深さ情報を取得するための測定基準を設定する方法を説明するための図である。図９（ｂ）は、図９（ａ）の断面Ａ－Ａ'を表した図である。
まずＳ９０１において、補助演算装置３１７は、画像データから被写体１０１の患部外領域９２１の抽出処理を行う。
患部外領域９２１は、図９（ａ）に示すように患部領域１０２を除く略円環形状の領域、すなわち患部領域１０２の近傍で且つ当該患部領域を含まない所定領域として設定される領域である。なお、本実施形態では患部外領域９２１が円環形状である場合を例に挙げて説明するが、これに限定させるものではなく、患部領域１０２を囲む領域形状であれば矩形形状であってもよい。

次にＳ９０２に移行して、補助演算装置３１７は、患部外領域９２１内に、基準点９２２を設定する。
図９（ａ）に示すように、基準点９２２は、患部外領域９２１内に少なくとも３点設定される。そして、演算装置３１１は、それら３点の基準点９２２ａ、９２２ｂ、９２２ｃを含む平面を導出する。基準点９２２ａ、９２２ｂ、９２２ｃを含む平面は、図９（ｂ）に示す基準点９２２ａ、９２２ｂ、９２２ｃに対応する距離情報Ｌ１、Ｌ２、Ｌ３をパラメータとして、基準点９２２ａ、９２２ｂ、９２２ｃを通る平面の方程式から導出できる。

次にＳ９０３に移行して、演算装置３１１は、基準点９２２ａ、９２２ｂ、９２２ｃを含む平面を、患部領域１０２の深さ情報の基準面９２３として設定し、以降、患部領域１０２の深さ情報を演算するための基準とする。なお、これら基準点や基準面、深さ情報や位置情報等は、適宜、記憶装置３１２に記憶される。
次にＳ９０４に移行し、演算装置３１１は、基準面９２３からの患部領域１０２の深さ情報ｄ１を演算する。深さ情報ｄ１は、基準面９２３を零（ゼロ）として、基準面９２３までの距離情報と患部領域１０２内の創面までの距離情報との差を取ることで導出される。

次にＳ９０５に移行し、演算装置３１１は、基準面９２３がイメージセンサ２１４の撮像面９２４に対して傾いているか否かを判定する。
前述したように、ＤＥＳＩＧＮ－Ｒにおいて、褥瘡の深さは、創縁を基準として表皮、真皮、皮下組織、骨部などの体組織に対する深達度で評価される。そのため、深さの値は体組織の積層方向と同一方向の値とすることが望ましく、体組織の積層方向は図９（ｂ）に示す基準面９２３の法線ベクトルｖ２の方向に等しい。法線ベクトルｖ２の傾きの有無は、撮像面９２４の法線ベクトルｖ１に対して傾いているか否か、すなわち基準面９２３が撮像面９２４に対して正対しているか否かで判定可能である。

そこで、演算装置３１１は、Ｓ９０５において、基準面９２３がイメージセンサ２１４の撮像面９２４に対して傾いているか否かを判定する。基準面９２３が撮像面９４２に対して傾いている場合、演算装置３１１は、Ｓ９０６に移行し、深さ情報ｄ１を、撮像面９２４に正対した深さ情報ｄ１'に補正処理する。補正処理の演算は、撮像面９２４の法線ベクトルｖ１に対する基準面９２３の法線ベクトルｖ２の傾き角θを導出して、深さ情報ｄ１に対して三角関数ｃｏｓθを乗算すればよい。

次にＳ９０７に移行し、演算装置３１１は、測距システム２１６が取得した患部領域１０２における距離情報の分布を示す距離マップを基に、患部領域全域に対して深さ情報ｄ１'を演算し、患部領域１０２の深さマップを生成する。
画像処理装置３００は、以上説明したフローチャートの処理により、患部領域１０２の深さマップを取得することができ、この深さマップを用いることで、ＤＥＳＩＧＮ－Ｒの定義によらず、患部領域１０２の深さを定量的に評価することができる。

本実施形態では、補助演算装置３１７が基準点９２２を患部外領域９２１の任意の点に設定したが、ホクロなどの身体的特徴を基準点に設定してもよい。
患部外領域９２１内の任意の点を基準点に設定すると、撮影時の患者の体勢が異なる場合、撮影毎に同一の点を設定することが困難であり、傾き量θの演算結果にばらつきが生じて深さ情報の演算精度が低下してしまう可能性がある。これに対し、ホクロなどの身体的特徴であれば、患者の体勢によらず被写体１０１の同じ位置にあるため、撮影毎に同一の点を基準点に設定することができ、深さ情報の演算精度の低下をなくすことができる。そのため、身体的特徴が患部領域１０２の近傍にある場合は、補助演算装置３１７は、その身体的特徴を基準点９２２として設定する。

または、演算装置３１１は、補助演算装置３１７が設定した基準点９２２を、表示装置２２３を介してリアルタイムに表示させるようにしてもよい。この場合、表示装置２２３の表示を見ながら、撮影者が、被写体１０１にトレースするように、水性フェルトペンなどでマーキングしてもよい。マーキングは、消えない限り、患者の体勢によらず同じ位置にあるため、身体的特徴と同じく撮影毎に同一の基準点として用いることができる。

本実施形態では、図９（ａ）、図９（ｂ）に示した代表的な褥瘡の状態に対する解析方法について説明したが、実際の褥瘡は複雑且つ多様な状態を取り得る。
例えば、後述する図１１（ａ）の例に示す踵のように曲率がある部位に発症した褥瘡は、後述する図１１（ｂ）に示すように、患部領域１０２の縁部に対して創面が突出した状態となる。この場合、図８に示したフローチャートの処理では、患部領域１０２の縁部は当該患部領域内の創面よりも浅いと判定される可能性がある。

しかしながら、前述したように、ＤＥＳＩＧＮ－Ｒにおいて、褥瘡の深さは、創縁を基準として表皮、真皮、皮下組織、骨部などの体組織に対する深達度で評価される。そのため、創縁が創面よりも浅いという判定結果は、ＤＥＳＩＧＮ－Ｒの定義に照らし合わせると誤判定となってしまう。
そこで、踵のように曲率がある部位に発症した褥瘡の深さマップを生成する場合には、深さ情報の演算方法を工夫する必要がある。

以下、患部領域が踵である場合を例に挙げて、曲率がある部位に発症した褥瘡に対する深さの測定方法について説明する。
図１０は、画像処理装置３００において、踵のように曲率がある部位に発症した褥瘡の患部領域の深さ情報を取得する処理のフローチャートである。
図１１（ａ）および図１１（ｂ）は、患部領域の抽出結果を示す情報、および患部領域の深さ情報を取得するための測定基準を設定する方法を説明するための図である。図１１（ｂ）は、図１１（ａ）の断面Ｂ－Ｂ'を示した図である。

図１０に示すフローチャートの処理は、Ｓ４２０においてユーザによって曲率のある部位が選択され、その情報が画像処理装置３００に受信された場合に開始される。ユーザによる患部領域の部位の入力方法については、図１１において詳細に説明する。本実施形態では、患部領域の部位としてＨＥＥＬ（踵）が選択されたことが、曲率のある部位が選択された場合に該当する。Ｓ９１１からＳ９１２までは、前述の図８のＳ９０１からＳ９０２までと同じ処理が実行されため、その説明は省略する。

Ｓ９１３では、演算装置３１１が、患部領域に対して、図１１（ａ）に示す褥瘡が発症する前の正常な皮膚表面形状を近似した仮想球面９３３を演算する。仮想球面９３３は、患部外領域９３１内の４点の基準点９３２ａ、９３２ｂ、９３２ｃ、９３２ｄを通る球面の方程式を導出することで導出可能である。すなわち仮想球面９３３は、図１１（ｂ）に示す基準点９３２ａ、９３２ｂ、９３２ｃ、９３２ｄに対応する距離情報Ｌ１'、Ｌ２'、Ｌ３'、Ｌ４'をパラメータとして、基準点９３２ａ、９３２ｂ、９３２ｃ、９３２ｄを通る球面の方程式から導出できる。
そして、演算装置３１１は、この仮想球面９３３を患部領域の深さの基準面とし、以降、患部領域の深さ情報を演算する際の基準とする。

次にＳ９１４において、演算装置３１１は、仮想球面９３３からの患部領域の深さ情報ｄ２を演算し、その後、Ｓ９１５に進む。深さ情報ｄ２は、仮想球面９３３を零（ゼロ）として、仮想球面９３３までの距離情報と患部領域の創面までの距離情報の差を取ることで導出される。
次にＳ９１５において、演算装置３１１は、Ｓ９１４で導出した患部領域の深さ情報ｄ２を、仮想球面９３３に正対した深さ情報ｄ２'に補正する。
ここで、前述したように、ＤＥＳＩＧＮ－Ｒにおいて、褥瘡の深さは、創縁を基準として表皮、真皮、皮下組織、骨部などの体組織に対する深達度で評価される。
そのため、深さの値は、体組織の積層方向と同一方向の値とすることが望ましく、体組織の積層方向は、図１１（ｂ）に示す仮想球面９３３の法線ベクトルｖ２'の方向に等しい。

そこで、演算装置３１１は、Ｓ９１４で導出した患部領域深さ情報ｄ２を、法線ベクトルｖ２'の方向に補正した深さ情報ｄ２'を導出する。この深さ情報の補正処理演算は、撮像面９２４の法線ベクトルｖ１'に対する仮想球面９３３の法線ベクトルｖ２'の傾き角θを導出して、深さ情報ｄ２に対して三角関数ｃｏｓθを乗算する演算である。
次にＳ９１６に移行し、演算装置３１１は、測距システム２１６が取得した患部領域における距離情報の分布を示す距離マップを基に、患部領域全域に対して深さ情報ｄ２'を演算して、患部領域の深さマップを生成する。
以上説明したフローチャートの処理により、画像処理装置３００は、踵のように曲率がある部位に発症した褥瘡においても、深さ情報を取得することができる。

次に、患部領域の肉芽組織、エスカー、スラフ、滲出液、骨露出の五つの状態を解析する方法について説明する。
骨露出は、ＤＥＳＩＧＮ－Ｒの深さ評価において最も重症度が高い状態である。
図１２は、画像処理装置３００において、患部領域の肉芽組織、エスカー、スラフ、滲出液、骨露出の５つ状態を解析する処理のフローチャートである。
図１３（ａ）、図１３（ｂ）は、患部領域１０２に発症した肉芽組織、エスカー、スラフ、滲出液、骨露出の模式図である。図１３（ｂ）は、図１３（ａ）の断面Ｃ－Ｃ'を示す図である。

図１２のフローチャートでは、初めに、Ｓ１００１において、演算装置３１１は、患部領域１０２内に黒色の領域があるか否かを判定する。黒色の領域がある場合、その領域１０２１はエスカーの特徴と一致していることから、演算装置３１１は、Ｓ１００２に移行し、当該領域１０２１はエスカーであると判定する。

次にＳ１００３に移行して、演算装置３１１は、患部領域１０２内に未確認領域つまり未判定の領域があるか否かを判定する。未判定の領域がある場合、演算装置３１１は、Ｓ１００１に戻って未判定領域に対して解析を繰り返して、患部領域全域の状態を判定する。一方、未判定の領域がない場合、演算装置３１１は、患部領域全域を解析し終えたと判断し、画像処理装置３００は図１２のフローチャートの処理を終了する。

ここで、Ｓ１００１に戻り、黒色の領域がないと判定された場合の処理の流れについて説明する。
演算装置３１１は、黒色の領域がない場合にはＳ１００４に移行し、Ｓ１００４において患部領域１０２内に黄色の領域があるか否かを判定する。そして、演算装置３１１は、黄色の領域がある場合にはＳ１００５に移行する。患部領域１０２内の黄色の領域１０２２は滲出液の特徴と一致していることから、演算装置３１１は、Ｓ１００５においてその領域１０２２は滲出液であると判定する。Ｓ１００５の後、演算装置３１１は、Ｓ１００３に移行する。
一方、演算装置３１１は、Ｓ１００４において黄色の領域がないと判定した場合にはＳ１００６に移行し、Ｓ１００６において患部領域１０２内に白色の領域があるか否かを判定する。そして、白色の領域があると判定した場合、演算装置３１１は、Ｓ１００７に移行し、図８のフローチャートの実行で生成した患部領域の深さマップを取得した後、Ｓ１００８に移行する。

ここで、骨とスラフは、どちらも白色の特徴を有しており、褥瘡が深達して患部領域１０２内で骨が露出した場合、色情報だけでは両者を判別することができない。
このため、本実施形態の画像処理装置３００は、色情報と距離情報の両方を用いて患部領域１０２の創面状態を解析する。
Ｓ１００８に移行すると、演算装置３１１は、白色が抽出された領域１０２３が患部領域１０２内で最も深い領域、すなわち創底であるか否かを判定する。

図１３（ｂ）の例では、領域１０２３に対応する深さ情報ｄ３が、患部領域１０２内で最も深い領域である。
この場合、領域１０２３は前述の褥瘡が深達して骨が露出した状態と一致しており、演算装置３１１は、Ｓ１００９に移行し、領域１０２３では骨が露出していると判定する。
一方で、創底でなく、且つ白色である領域１０２４は、スラフの特徴と一致しているため、演算装置３１１は、Ｓ１０１０に移行し、領域１０２４はスラフであると判定する。Ｓ１００９またはＳ１０１０の後、演算装置３１１は、Ｓ１００３に移行する。

また、Ｓ１００６において、白色の領域がない場合、演算装置３１１は、Ｓ１０１１に移行する。
ここで、本実施形態の画像処理装置３００が解析した状態の内、後述するポケットを除いて、エスカー、スラフ、滲出液、および骨露出はそれぞれ領域１０２１から領域１０２４において、判定済である。そして、後述するポケットを除いた場合、判定済みになっていない残った状態は、肉芽組織である。

そこで、演算装置３１１は、患部領域１０２内で未判定の領域である領域１０２５は、肉芽組織であると推測し、Ｓ１０１１において当該領域１０２５は肉芽組織であると判定する。Ｓ１０１１の後、演算装置３１１は、Ｓ１００３に移行する。
すなわち本実施形態の演算装置３１１は、色情報に基づく黒色や黄色の領域については第１の状態としてのエスカーや滲出液を判定し、この第１の状態を判定した後には色情報と距離情報に基づき第２の状態として骨やスラフ、肉芽組織を判定する。
以上のフローチャートの処理により、本実施形態の画像処理装置３００は、患部領域内の創面状態を判定することができる。

前述したように、Ｓ１００１からＳ１００５において、演算装置３１１は、患部領域に対する距離情報を用いず、色情報のみから褥瘡の状態を判定している。
ここで、本実施形態の測距システム２１６において例示した一眼カメラに搭載された位相差方式の測距センサ、またはＴＯＦセンサを用いたシステムは、いずれも被写体からの反射光を利用する測距デバイスである。
そのため、被写体の反射率が測距精度に影響して誤判定する可能性がある。
そこで、本実施形態の画像処理装置３００は、色情報のみから判定可能なエスカー、滲出液を始めに解析するようにしている。
そして、画像処理装置３００は、Ｓ１００６からＳ１０１０において、エスカー、滲出液と判定された各領域１０２１、領域１０２２を除く領域に対して、色情報と併せて距離情報を用いて、創面状態の解析を行うことで判定精度を向上させている。

次に、画像処理装置３００によるポケット有無の判定処理、およびポケットの深さを測定する方法について説明する。
図１４は、ポケット有無の判定からポケット深さを測定するまでの処理のフローチャートである。
まず、Ｓ１２０１において、演算装置３１１は、図８のフローチャートの処理で取得した距離情報を用いて、患部領域１０２にポケットが存在するかどうかを判定する。患部領域にポケットが無い場合、演算装置３１１は、ポケット深さを測定するフローチャートの処理を終了する。

図１５は、患部領域にポケットが存在する一例を示した図である。
図１５（ａ）は、患部領域１０２における断面Ｄ－Ｄ'の位置を示した図である。断面Ｄ－Ｄ'は、演算装置３１１によって任意の位置に設定される。演算装置３１１は、断面Ｄ－Ｄ'を任意のステップで平行移動させてポケット有無判定を行うことを繰り返すことにより患部領域全域に対するポケット有無判定を行う。図１５（ａ）では、断面Ｄ－Ｄ'が患部領域１０２の中心を通過するように記載してあるが、必ずしも患部領域１０２の中心を通過しなくてもよい。断面Ｄ－Ｄ'の設定について、詳細は後述する。

図１５（ｂ）は、図１５（ａ）の断面Ｄ－Ｄ'における患部領域１０２の形状を示した図である。ここでは、撮像装置２００との位置関係を簡略化して示している。図１５（ｂ）では、右側にポケット１１００が存在している例を示している。患部領域１０２の一端にポケット１１００が存在する例を示しているが、複数のポケット１１００が存在する場合もある。

図１５（ｃ）は、図１５（ｂ）に示した患部領域１０２の断面Ｄ－Ｄ'と深さ情報との関係を示した図である。横軸は、患部領域１０２の断面Ｄ－Ｄ'における位置、縦軸は、患部領域１０２の深さ情報を示している。患部領域１０２の深さ情報は、基準面９２３を零（ゼロ）とし、患部領域１０２内の中心に向かって大きな値となるように記載している。
図１５（ｃ）では、一例として左側にポケット無の傾き１１０１を示し、右側にポケット有の傾き１１０２を示している。ポケット無の傾き１１０１は、基準面９２３から創底１０２３までの傾きが小さく、ポケット有の傾き１１０２は、基準面９２３から創底１０２３までの傾きが大きいことが特徴である。

次に、上述した傾きの算出方法について説明する。
演算装置３１１は、患部領域１０２の断面Ｄ－Ｄ'における位置と測定した深さ情報により、傾きを算出する。算出する傾きは、任意の範囲を二乗平均した値を使用するか、最大値を使用してもよい。
ここで、演算装置３１１は、算出した傾きが閾値以上となるかを算出して、ポケットの有無を判定する。傾きの閾値は、絶対値であり、撮像装置２００に対する初期設定値として設定される。傾きの閾値はユーザが任意に設定することも可能であり、一度設定することで次回以降は設定する必要はない。また、患部領域は大きな深さを有する場合があるため、傾きの閾値は、深さ情報に対して可変させることも可能である。例えば、患部領域が大きな深さを有する場合は、ポケット無の傾き１１０１が大きい値となるため、傾きの閾値も大きくし、ポケット無だと判定する必要がある。

ポケットの有無の判定結果は、表示装置２２３によって表示される。ポケットの有無は、上述のように自動で判定してもよいが、算出した傾きを表示装置２２３により表示して、ユーザが任意に判定してもよい。

また本実施形態では、ポケットの有無の判定の手法として、深層学習を行う。すなわち、不図示の機械学習用の高性能コンピュータに、算出した傾きに対するポケット有無の判定を教師データとして用いてニューラルネットワークのモデルを学習させて、学習済モデルを生成する。補助演算装置３１７は、高性能コンピュータから学習済モデルを受け取り、この学習済モデルに基づいて画像データから、ポケット有無に必要な傾きの閾値を推定する。また、深層学習に限らず、他の手法が用いられてもよい。さらに、補助演算装置３１７の内部で、算出した傾きに対するポケット有無の判定を教師データとしたニューラルネットワークのモデルの学習を行ってもよい。なお、ポケット有無判定は、深さ情報ではなく、受光信号強度で判定すること、つまり任意の断面における受光信号強度との傾きに基づいて行われてもよい。

次に、断面Ｄ－Ｄ'の設定について説明する。
図１６は、断面Ｄ－Ｄ'の演算値抽出（以下、読み出しとする）方法について説明した図である。
図１６（ａ）は、患部領域１０２の中心から３６０°放射状に読み出す方式を示している。患部領域１０２の中心１１１０は、画像処理装置３００の演算装置３１１が算出する。患部領域１０２の中心１１１０を通る断面は中心断面１１１１とする。中心断面１１１１は、任意に設定した読み出し間隔で、中心１１１０を軸に３６０°回転することで、患部領域全体を読み出すようにする。なお、中心１１１０は、基準面９２３設定のための複数の基準点９２２を利用し設定してもよい。

一方、図１６（ｂ）は、患部領域１０２を、水平方向と、当該水平方向に９０°直交する垂直方向とで、それぞれ読み出す方式を示している。以下の説明では、表示装置２２３の画面に対して、水平方向の断面を水平断面１１１２とし、水平断面１１１２に対して９０°直交する垂直方向の断面を垂直断面１１１３とする。水平断面１１１２と垂直断面１１１３を、任意に設定した読み出し間隔で平行移動させることにより、患部領域全体を読み出すようにする。ここでは、表示装置２２３の画面に対する、水平方向と垂直方向とを設定した例を挙げたが、設定する２方向の断面同士が９０°ずれた関係となっていればこの例に限定されない。

上述したようにして患部領域全体を読み出すことにより、ポケットが存在する方向（位置）の特定が可能となる。また複数のポケットが存在する場合、画像処理装置３００は、それらポケットの個数及び位置を、表示装置２２３に表示させる。

図１７は、患部領域１０２の中央付近を省いて傾きを算出する方法について説明する図である。
患部領域１０２は、創底１０２３も含めて凹凸形状や鋭角な形状等の複雑な形状となる場合がある。ポケットの有無を判定する場合には、患部領域１０２の中央付近を省いて傾きを算出することで誤検知を防止する。

図１７（ａ）は、患部領域１０２における中央付近を省いた一例を示した図である。省いた範囲を中央抜き範囲１１２０と示し、断面Ｄ－Ｄ'は中央抜き範囲１１２０を通過するように設定する。演算装置３１１は、患部領域１０２全体から中央抜き範囲１１２０を減算した範囲を算出し、この範囲に対して傾きを算出する。ここで、中央抜き範囲１１２０は、患部領域１０２と相似関係のまま縮小した形状とする。例えば、縮小率が大きいほど誤検知率は上昇し易くなるため、中央抜き範囲１１２０は、患部領域１０２の２／３サイズとする。

図１７（ｂ）は、図１７（ａ）の断面Ｄ－Ｄ'における患部領域１０２の形状を示した図である。
図１７（ｃ）は、図１７（ｂ）で示した患部領域１０２の断面Ｄ－Ｄ'と深さ情報との関係を示した図である。
このように、中央抜き範囲１１２０を省くことで、基準面９２３から創底１０２３までの傾き部分のみを抽出することができる。このため、中央抜き範囲１１２０に凹凸形状があり、ポケット有と判定される傾きがあった場合でも、誤検知することなく判定することができる。

続いてポケットの深さを測定する方法について説明する。
図１８は、図１５（ａ）の断面Ｄ－Ｄ'におけるポケット１１００の深さ測定方法の一例を示した図である。
図１４のＳ１２０２からＳ１２０４では、演算装置３１１は、基準面９２２に対して正対した位置１２１２から断面Ｄ－Ｄ'におけるポケット１１００の最深部を測定可能な位置１２１３まで撮像装置２００を煽るように、ユーザに要求する。ユーザに対する要求は、Ｓ１２０２において、例えば演算装置３１１が、撮像装置２００に対する煽り操作を行うことをユーザに要求する表示情報を生成し、その表示情報を撮像装置２００の表示装置２２３に表示させることなどにより実現される。そして、ユーザが要求通りに撮像装置２００を煽った時、撮像装置２００では、Ｓ１２０３において測距システム２１６による測距が行われ、これによって演算装置３１１はポケット最深部１２２２の距離情報を取得する。

またこのとき、演算装置３１１は、患部領域１０２と創縁１２１１の位置関係及び距離情報を用いた演算を行うことで位置１２１３を予想し、その予想した位置を基に撮像装置２００における煽り方向及び煽り角度を限定してもよい。
以下に、演算装置３１１による演算を基に位置１２１３を予想して、ポケット最深部１２２２の距離情報を取得する方法の一例を示す。

まず、演算装置３１１は、創縁１２１１と創縁近傍の創底１２２０とを繋ぐ直線の中点の位置を算出し、この中点の位置を撮像装置２００の煽り中心１２１８とする。煽り中心１２１８と創縁１２１１とを繋ぐ直線上の任意の位置は、基準面９２２に対して正対した位置１２１２に等しい。
また、演算装置３１１は、患部領域１０２の断面Ｄ－Ｄ'上の、創縁１２１１と異なる創縁１２１９の位置を算出し、煽り中心１２１８と創縁１２１９とを繋ぐ直線上の任意の位置を測定限界位置とする。さらに、演算装置３１１は、位置１２１２から測定限界位置まで撮像装置２００を煽る角度１２１５内に位置１２１３が含まれると予想し、ポケットの深さを測定する際の撮像装置２００の煽る角度を、角度１２１５に限定する。そして、角度１２１５内で撮像装置２００が煽られて測距システム２１６が複数回の測距を行うことで、ポケット１１００内の距離情報が取得される。さらに、演算装置３１１は、それらポケット１１００内の距離情報の中から、断面Ｄ－Ｄ'内で煽り中心１２１８から最も遠い点を算出し、その点をポケット最深部１２２２とする。

なおこのときの撮像装置２００の回動方向は一軸方向に限定されていなくてもよい。
図１９は、創縁１２１１を通り基準面に対して垂直な直線を軸に撮像装置２００を回動させてポケット１１００の深さを測定する方法の一例を示す図である。
このとき、撮像装置２００の初期位置は、位置１２１３とする。そして、演算装置３１１は、撮像装置を、位置１２１３から創縁１２１１を通り基準面に対して垂直な直線を軸の中心として回動させながら、ポケット１１００の最深部を測定可能な位置１２２４まで回動させることを、撮像装置２００を介してユーザに要求する。ユーザがその要求通りに撮像装置２００を回動させ、測距システム２１６で測距が行われた後、演算装置３１１は、その測距情報からポケット最深部１２２５の距離情報を取得する。

またこのとき、演算装置３１１は、患部領域１０２と創縁１２１１の位置関係及び距離情報を用いた演算によって位置１２２４を予想して、撮像装置２００の回動方向及び回動角度を限定してもよい。
以下に、演算装置３１１が演算によって位置１２２４を予想し、ポケット最深部１２２５の距離情報を取得する方法の一例を示す。

まず、演算装置３１１は、患部領域１０２を囲うことができ、断面Ｄ－Ｄ'に水平な直線を含み、基準面９２２内に作られる最小の長方形形状１２２６を、算出する。また、演算装置３１１は、創縁１２１１と長方形形状１２２６の頂点とを結ぶ直線のうち、患部領域１０２の基準面９２２に対する投影面内を通過する直線を抽出する。さらに、演算装置３１１は、抽出した直線の内の二直線、例えば直線１２２７及び直線１２２８を選んで作られる角度であって、位置１２１３を含む角度のうち最大の角度１２２３の範囲内に位置１２２４が存在すると予想する。そして、演算装置３１１は、ポケットの深さを測定する際の撮像装置２００の回動角度を角度１２２３に限定する。

次に角度１２２３内で撮像装置２００が回動されて測距システム２１６で複数回測距が行われると、演算装置３１１は、それら複数回の測距情報からポケット１１００内の距離情報を取得する。そして、演算装置３１１は、取得したポケット１１００内の距離情報の中から、基準面９２２内で創縁１２１１から最も遠い点を算出し、その点をポケット最深部１２２５とする。

また、煽りや回動を加えながら測距システム２１６を用いて測距を行う際、最適な煽りや回動方向をユーザが認識可能となるようなユーザ補助機能を、撮像装置２００および演算装置３１１によって実現することもできる。ユーザ補助機能は、撮像装置２００が備えていてもよいし、演算装置３１１からの指示に応じて撮像装置２００が実現してもよい。ここでは、演算装置３１１が撮像装置２００にユーザ補助機能を実現させる例を説明する。

図２０は、ユーザ補助機能の一例を示した図である。
例えば、ポケット１１００の位置が創縁１２１１周辺であることをユーザに認識させる場合には、演算装置３１１は、撮像装置２００のライブビュー映像上の創縁１２１１の表示部分に、点線で示す長方形形状のポケット判定マーク１２１６を表示させる。また、演算装置３１１は、前述した角度１２１５や角度１２２３内で撮像装置２００を煽りや回動させるための方向をユーザに指示する方向指示１２１７を、ライブビュー映像上に表示させてもよい。このとき、撮像装置２００の煽り角度量情報や併進移動量情報を取得するため、撮像装置２００は加速度センサおよび角速度センサを搭載していてもよい。この場合の画像処理装置３００は、撮像装置２００の加速度センサにより取得された加速度情報と、角速度センサにより取得された角速度情報とにより、当該撮像装置２００の位置及び姿勢情報を取得する位置姿勢取得機能を有する。そして、演算装置３１１は、それら加速度情報、角速度情報を基に、撮像装置２００の位置姿勢の変化量を演算し、それに基づいて煽り角度量情報や併進移動量情報を演算する。

Ｓ１２０４において、演算装置３１１は、前述のような撮像装置２００の煽りや回動とそれに伴う測距が終了したかを判断し、終了していない場合にはＳ１２０２に戻り、一方、終了した場合にはＳ１２０５に処理を進める。
Ｓ１２０５に進むと、演算装置３１１は、ポケット深さ演算を行う。すなわちＳ１２０５において、演算装置３１１は、取得したポケット最深部１２２２又はポケット最深部１２２５の距離情報から、創縁１２１１とポケット最深部１２２２又はポケット最深部１２２５の基準面９２２に対する投影距離を算出する。そして、演算装置３１１は、その算出した投影距離を、ポケット深さ１２１４とする。
その後、Ｓ１２０５において、演算装置３１１は、ポケット深さの演算が終了したことを確認次第、本フローチャートの処理を終了する。

図２１は、Ｓ４１９およびＳ４２０において、患部領域情報をユーザに入力させる方法を説明するための図であり、図２１（ａ）は患部領域情報のうち、患部領域の部位の入力を促す表示例を示している。なお、これらの表示情報は、画像処理装置３００の演算装置３１１が生成して、撮像装置２００の表示装置２２３に表示させてもよいし、撮像装置２００のシステム制御回路２２０が生成して表示装置２２３に表示させてもよい。

表示装置２２３は、患部領域の部位、Ｈｅａｄ（頭）、Ｓｈｏｕｌｄｅｒ（肩）、Ａｒｍ（腕）、Ｂａｃｋ（背）、Ｗａｉｓｔ（腰）、Ｈｉｐ（尻）、Ｌｅｇ（脚）を指定するための部位選択項目８０１を表示する。また、この部位選択項目８０１の一番下には、患部領域情報の入力を完了するための項目があり、ユーザは、操作部２２４の操作を介してこれを選択することで、患部領域情報の一部が未入力であっても、患部領域情報の入力作業を終了することができる。また、ユーザは、操作部２２４を操作することで、撮影した患部領域が存在する部位を指定することができる。そして、表示装置２２３は、ユーザによって選択された項目を、枠線８０２で囲まれた項目として表示する。図２１（ａ）ではＨｉｐ（尻）が選択された様子を示している。なお、部位選択項目８０１が示す一つの部位には、二つ以上の患部領域が存在することもあるため、さらに、Ｈｉｐ１、Ｈｉｐ２、Ｈｉｐ３と、さらに複数の項目の選択ができるようにしてもよい。

また、一つの部位を分割、例えばＬｅｇ（脚）をさらに分割して、ＨＥＥＬ（踵）とＫＮＥＥ（膝）など複数の項目の選択ができるようになされていてもよい。
図２１（ｂ）は、図２１（ａ）で患部領域が存在する部位が選択された後、その選択された部位でよいかどうかをユーザに確認するため項目８０３の表示例を示している。項目８０３に対するユーザ操作によって、その選択された部位でよいことが確認されると、表示装置２２３は、図２１（ｃ）に示す画面の表示を行う。

図２１（ｃ）は、患部領域情報のうち、ＤＥＳＩＧＮ－Ｒの各評価項目の評価値の入力を促す表示例を示した図である。
図２１（ｃ）に示すように、画面左側には評価項目選択部８０４が表示される。図２１（ｃ）において、Ｄは深さ（Ｄｅｐｔｈ）、Ｅは滲出液（Ｅｘｕｄａｔｅ）、Ｓは大きさ（Ｓｉｚｅ）、Ｉは炎症・感染（Ｉｎｆｌａｍｍａｔｉｏｎ／Ｉｎｆｅｃｔｉｏｎ）、Ｇは肉芽組織（Ｇｒａｎｕｌａｔｉｏｎ）の各項目を表している。さらに、Ｎは壊死組織（Ｎｅｃｒｏｔｉｃ ｔｉｓｓｕｅ）、Ｐはポケット（Ｐｏｃｋｅｔ）の各項目を表している。表示装置２２３には、これらの各項目と、それぞれの項目が入力されたかどうかを示す情報が、患部領域の画像とともに表示される。

図２１（ｃ）では、画像から解析済みであるＳ（大きさ）については評価値「ｓ９」が表示され、それ以外の評価項目については未確認であることを示す「ｎｏｎ」が表示されている。Ｓ（大きさ）の項目が網掛け表示となっているのは、この項目が入力済であることを示している。

ユーザは、操作部２２４を操作することで評価項目を指定することができ、表示装置２２３は、選択された評価項目（ここではＤ（深さ））を枠線８０５で囲むようにして表示する。またこのとき、表示装置２２３は、画面下部に、重症度選択部８０６として画面左側で選択された評価項目の重症度の評価値を重畳表示する。図２１（ｃ）では、Ｄ（深さ：Ｄｅｐｔｈ）の重症度を示す評価値であるｄ０、ｄ１、ｄ２、Ｄ３、Ｄ４、Ｄ５、ＤＵが表示されている。
またユーザは、操作部２２４を操作することで、いずれかの評価値を選択することができる。このとき表示装置２２３は、選択された評価値を枠線８０７で囲んで表示するとともに、その評価値の説明文８０８（評価項目Ｄｅｐｔｈ、重症度ｄ２の説明：真皮までの損傷）を表示する。なお、ユーザが文字列を入力することで、評価値の入力が行われるようにしてもよい。

このとき、重症度は、前述の評価値に加えて、補助評価値を付与することでさらに細分化して表示されてもよい。深さの補助評価値としては、演算装置３１１および補助演算装置３１７が算出した創縁から患部領域内までの距離情報や、その距離情報に基づいて定義された任意の記号などが採用可能である。

例えば、補助評価値として創縁から患部領域内までの距離情報を付与する場合、表示装置２２３は、評価値に創縁から患部領域内までの距離情報（例えば、３ｍｍ）を付与し、ｄ２（３ｍｍ）などのように表示する。また、補助評価値として創縁から患部領域内までの距離情報に基づいて定義された任意の記号を付与する場合、表示装置２２３は、例えば、評価値がｄ１寄りのｄ２のときは、評価値ｄ２に補助評価値＋を付与しｄ２＋と表示する。逆に評価値がＤ３寄りのｄ２のとき、表示装置２２３は、評価値ｄ２に補助評価値－を付与してｄ２－と表示する。なお、評価値に補助評価値を付与し重症度を表示する方法は、上記の例に限定されるものではなく任意に設定可能である。

このように重症度を細分化して表示することによって、例えば初療時から完治までの治癒過程において複数回患部を撮影する場合などにおいて、より詳細に患部を評価することが可能になる。つまり、ＤＥＳＩＧＮ－Ｒとしての結果が同じ評価値であっても、患部が改善傾向にあるのか悪化傾向にあるのかの評価ができるようになる。また、患部領域内の複数個所について、評価値と補助評価値を用いて重症度を示しておくと、患部領域内において改善傾向にある部分と悪化傾向にある部分を評価できるようになる。これにより、ＤＥＳＩＧＮ－Ｒの定義のみではなく、患部状態の実情に合わせて、患部の改善具合の評価ができるようになる。

なお、補助評価値は、患部領域の部位、患部領域が到達している組織、被写体１０１の属性に応じて適宜設定されることが望ましい。例えば、患部領域の部位が臀部で、患部領域が到達している組織が皮下組織であり、被写体１０１の属性が肥満体系であった場合、皮膚の厚みは厚くなる傾向があるため、補助評価値をより細分化して示すとよい。なお、上述した評価値の選択や補助評価値の付与は、ユーザによって入力されてもよいし、自動解析により判定され入力されてもよい。

図２１（ｄ）は、図２１（ｃ）で評価値が選択された後、その選択された評価値でよいかどうかを、ユーザに問い合わせるための確認通知８０９の表示例を示している。選択された評価値で問題ないことを、ユーザが操作部２２４を介して選択すると、表示装置２２３は、図２１（ｅ）に示す表示に画面を遷移させる。
図２１（ｅ）は、評価値が入力されたことによって、Ｄ（深さ）の評価項目８１０の表示が「ｎｏｎ」から「ｄ２」に変わるとともに、評価項目８１０が網掛け表示となった例を示している。
同様にして、未入力の評価項目がなくなるまで、Ｅ（滲出液）、Ｉ（炎症・感染）、Ｇ（肉芽組織）、Ｎ（壊死組織）、Ｐ（ポケット）について、ユーザに評価値の入力を促す表示がされる。
そして、全ての評価項目の評価値が入力されると、表示装置２２３には患部領域情報の入力が完了した旨をユーザに通知する表示が行われ、その後、撮像装置２００は、Ｓ４０２に戻り、ライブビュー処理を開始する。

このように、実施形態のシステムでは、Ｓ４１８からＳ４２０までの処理において、患部撮領域の撮影後、自動解析されなかった評価項目の評価値や患部領域の部位の情報の入力を促す表示を行い、ユーザに患部領域情報を入力させる機能を備える。このようにすることで、従来、別の媒体で入力していた患部領域情報を撮像装置のみで入力することが可能となる。
また本実施形態のシステムでは、次の患部を撮影する前に患部領域情報が全て入力されたかどうか判定し、未入力の評価項目の入力を順次促すことで、患部領域情報の入力漏れを防ぐことが可能となる。

なお、本実施形態に係る操作部２２４は、音声認識による入力装置が用いられてもよい。
また、図２１（ａ）では患部部位入力時、部位を「Ｈｅａｄ」「Ｓｈｏｕｌｄｅｒ」などの文字で項目表示し、選択可能とした。これに対し、図２１（ｆ）に示すように、表示装置２２３は人体モデル８１１を表示し、表示装置２２３に設けられたタッチセンサ等で、ユーザに患部領域の部位を指定させるように構成されていてもよい。
またその際、図２１（ｇ）に示すように、人体モデル８１１を拡大、縮小、あるいは、回転させることにより、より患部領域の部位を選択しやすくするように構成されていてもよい。

また、図２１（ｅ）では、評価値の入力が完了した評価項目であることを示す手段として網掛け表示を用いたが、文字の輝度を落としたり、反転表示したりしてもよく、ユーザに明示できるのであれば、これらの表示方法に制限されるものではない。
また、本実施形態では、入力可能な褥瘡の評価指標としてＤＥＳＩＧＮ－Ｒを用いていたが、これに限定されるものではない。例えばＢａｔｅｓ－Ｊｅｎｓｅｎ ＷｏｕｎｄＡｓｓｅｓｓｍｅｎｔ Ｔｏｏｌ（ＢＷＡＴ）、Ｐｒｅｓｓｕｒｅ Ｕｌｃｅｒ Ｓｃａｌｅ ｆｏｒ Ｈｅａｌｉｎｇ（ＰＵＳＨ）、Ｐｒｅｓｓｕｒｅ Ｓｏｒｅ Ｓｔａｔｕｓ Ｔｏｏｌ（ＰＳＳＴ）などの他の評価指数が用いられてもよい。すなわち、褥瘡の領域の抽出結果と、抽出した領域の大きさの情報が得られたことに応じて、これらＢＷＡＴ、ＰＵＳＨ、ＰＳＳＴなどにおける評価項目を入力するためのユーザインターフェースを表示するようにしてもよい。

また、本実施形態では褥瘡の評価項目の評価値の入力を目的とした構成の例を挙げて説明を行っているが、視覚的な評価項目であれば、他の皮膚疾患における評価項目の評価値でもよい。例えば、アトピー性皮膚炎におけるＳｅｖｅｒｉｔｙ Ｓｃｏｒｉｎｇ ｏｆ Ａｔｏｐｉｃ Ｄｅｒｍａｔｉｔｉｓ（ＳＣＯＲＡＤ）、や乾癬におけるＢｏｄｙ Ｓｕｒｆａｃｅ Ａｒｅａ、Ｐｓｏｒｉａｓｉｓ Ａｒｅａ ａｎｄ Ｓｅｖｅｒｉｔｙ Ｉｎｄｅｘ（ＰＡＳＩ）等がある。

次に、患部の治癒過程において被写体１０１の患部領域１０２の患部領域情報が複数回取得された場合、治癒過程における患部領域１０２の深さの重症度を比較表示する方法について説明する。
図２２は、患部領域１０２の評価項目の内、深さの重症度について治癒過程における前後の結果を比較し、撮像装置２００の表示装置２２３にその比較結果を表示する処理のフローチャートである。すなわちこのフローチャートでは、患部領域の所定部分において過去に得られた過去評価値と新たに得られた新規評価値とを比較し、過去評価値と新規評価値とが同一である場合に、所定部分に対応して取得された距離情報に基づいた差分情報を表示する。なお、図２２のフローチャートの処理は、図４に示したフローチャートのＳ４１９からＳ４２０の処理内のいずれかに包括されていてもよく、Ｓ４２０の後にＳ１３００以降の深さ前後比較の処理が組み込まれてもよい。

Ｓ１３０１において、画像処理装置３００の演算装置３１１は、患部領域１０２がどの組織まで到達しているかを比較する。演算装置３１１は、Ｓ４１９で入力された評価値や補助評価値の患部領域情報、患部領域１０２を撮像して解析された創縁から当該患部領域内までの距離情報を基に算出した評価値や補助評価値から、患部領域がどこまで到達しているかを比較する。すなわちここでは、距離情報に基づいて患部領域の所定部分が到達している到達組織の判定が行われ、過去評価値と新規評価値とは到達組織に基づく評価値のことである。

演算装置３１１は、Ｓ１３０１で患部領域が到達している組織を比較した結果、過去評価値である前回結果と新規評価値である今回結果とで到達している組織が異なればＳ１３０２に進む。そして演算装置３１１は、ＤＥＳＩＧＮ－Ｒの定義に沿った評価結果を、撮像装置２００の表示装置２２３に表示させる。例えば演算装置３１１は、図２３の比較箇所ポイントＰ１に示す様に、前回結果がＤ４（皮下組織を超える損傷）で今回結果がＤ３（皮下組織までの損傷）であれば、重症度として補助評価値を付与せずに評価値のみの結果を表示させる。一方で、患部領域が到達している組織が同じであれば、演算装置３１１は、Ｓ１３０３に進む。

Ｓ１３０３に進むと、演算装置３１１は、前述したように算出した創縁から患部領域内までの距離情報に基づいて、深さを比較する。Ｓ１３０３で深さを比較した結果、前回結果と今回結果で創縁から患部領域内までの距離情報が異なれば、演算装置３１１は、Ｓ１３０４に進む。ここで、深さの比較に用いる判定基準としての閾値は、任意に設定可能である。

Ｓ１３０４に進むと、演算装置３１１は、患部の重症度を評価値と補助評価値を用いて詳細な表示を行わせる。例えば、図２３の比較箇所ポイントＰ２に示す様に、前回結果と今回結果共に評価値はｄ２（真皮までの損傷）であるが、さらに補助評価値を付与して結果を表示させる。ここでは、今回結果にｄ１寄りのｄ２を意味する＋が付与されて表示させる。これにより、前回と今回で患部領域が同じ組織内に到達していながらも、改善傾向にあるのか悪化傾向にあるのかが判別できる表示となる。この場合、ｄ１寄りのｄ２を意味する＋が付与されているので、改善傾向にあることが見て取れる。

また、図２３の比較箇所ポイントＰ３に示す様に、前回結果と今回結果共に評価値はＤ３（皮下組織まで損傷）であるが、演算装置３１１は、さらに補助評価値を付与して結果を表示させる。ここでは、創縁から患部領域内までの距離情報が付与されて表示されている。これにより、前回と今回で患部領域が同じ組織内に到達していながらも、同じ組織内で改善傾向にあるのか悪化傾向にあるのかが判別できる表示となる。この場合、前回結果の創縁から患部領域内までの距離情報が５ｍｍに対して、今回結果の創縁から患部領域内までの距離情報が４ｍｍになっており、改善傾向にあることが見て取れる。

一方で、Ｓ１３０３で深さを比較した結果、前回結果と今回結果で創縁から患部領域内までの距離情報が同じであれば、演算装置３１１は、Ｓ１３０５に進み、例えば図２３の比較箇所ポイントＰ４に示すように前回結果と同じ評価結果を表示させる。

また、図２３に示したように患部領域のサイズによっては、ＤＥＳＩＧＮ－Ｒで定義される創縁から創底までの深さだけでなく、より詳細に患部を評価することが可能になる。すなわち患部領域内における複数箇所（例えば比較箇所ポイントＰ１からＰ４）の重症度を評価値や補助評価値を用いて示しておくことで、より詳細に患部を評価することが可能になる。
さらに、図２４に示した距離マップのように、例えば図２３の患部領域における任意の断面（例えば、断面Ａ－Ａ'）における創縁から患部領域内までの距離情報を表示することで、患部領域の治癒過程を視覚的に評価することができる。

ここで、図２４の距離マップでは、患部領域１０２の断面Ａ－Ａ'と距離情報との関係が示されている。横軸は、患部領域１０２の断面Ａ－Ａ'における位置、縦軸は、患部領域１０２の深さすなわち距離情報を示している。距離情報は、基準面を零（ゼロ）とし、縦軸方向に向かって大きな値となるように記載している。図２４に示したように、縦軸に距離情報ではなく、Ｄ（深さ）の重症度を示す評価値のｄ０からＤＵを表示してもよい。ここでは、ｄ１からＤ４を表示している。なお、断面Ａ－Ａ'は、患部領域１０２が表示装置２２３に表示されている状態で、ユーザによる操作部２２４もしくはタッチパネル等での操作で選択できるようにするとよい。また、患部領域内における複数箇所の重症度が評価値や補助評価値を用いて入力されているので、図２５に示したように、患部領域内の改善している部分や悪化している部分を、例えば、画像レイヤーして表示することも可能である。

このように、本実施形態によれば、ユーザが撮像装置２００で患部領域を撮像することにより、撮像装置２００の表示装置２２３に患部領域の大きさを示す情報が表示される画像処理システムを提供することができる。そのため、褥瘡の患部領域の大きさの評価を医療関係者の負荷、および、評価をされる患者側の負荷を軽減することができる。また、患部領域の大きさの算出をプログラムに基づいて実行することで、医療関係者が手動で計測する場合に比べて個人差を抑制することができ、褥瘡の大きさの評価の正確性を向上することができる。また、褥瘡の規模をより的確に表すため評価値としての患部面積を算出して表示することができる。
なお、ライブビュー表示の際に、ユーザが患部領域の推定エリアが妥当であるかを確認する機能は必須ではないため、Ｓ４０６、Ｓ４０７、および、Ｓ４４１からＳ４４５の各処理ステップは省略することも可能である。

また、画像処理装置３００は、患部領域の抽出結果を示す情報、患部領域の大きさを示す情報、および、これらの情報を重畳した重畳画像の画像データを記憶装置３１２に記憶するようにしてもよい。そして、出力装置３１４は、接続されたディスプレイなどの出力機器に、記憶装置３１２に記憶したいずれか一つ以上の情報、あるいは、画像データを出力することができる。ディスプレイに重畳画像を表示することで、患部領域を撮影するユーザとは別のユーザが、リアルタイムで、あるいは過去に得られた過去評価値としての、患部領域の画像と大きさを示す情報を得ることができるようになる。

また画像処理装置３００の演算装置３１１は、出力装置３１４からディスプレイに送信する画像データに対して、任意に位置および角度を変更するスケールバーなどを表示する機能を備えていてもよい。このようなスケールバーを表示することで、ディスプレイを見ているユーザが、患部領域の任意の箇所の長さを計測することが可能となる。このスケールバーのメモリの幅は、Ｓ４５１で受信した距離情報、ズーム倍率の情報、およびリサイズ処理された画像データのサイズ（ピクセル数）の情報などに基づいて自動調整されることが望ましい。

また画像処理装置３００を、据え置き側で常時電源が供給された状態で用いれば、バッテリー切れになる心配がなく、いつでも任意のタイミングで患部領域の画像と大きさを示す情報を得ることができる。また、一般的に据え置き型デバイスである画像処理装置３００は記憶容量が多いため、多数の画像データを保存することができる。

また、本実施形態によれば、ユーザが撮像装置２００で患部領域を撮像した際に、画像を画像解析することよって得られる情報とは別の、患部領域に関する情報を、ユーザが入力して、記録することもできる。これによれば、後ほど、撮影された画像データを見ながら、電子カルテや紙媒体に患部領域の評価を入力する手間が不要となる。さらに、未入力の項目がわかるようにユーザに提示することによって、ユーザが患部領域を撮影した際に、これらの情報の入力を忘れてしまうことを抑制することが可能になる。

＜他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

２００：撮像装置、２１６：測距システム、２１７：画像処理回路、２１９：通信装置、２２０：システム制御回路、２２１：撮像ユニット、３００：画像処理装置、３１１：演算装置、３１４：出力装置、３１７：補助演算装置

Claims (20)

1. 撮像装置から被写体までの距離に関する距離情報を取得する取得手段と、
   前記撮像装置が前記被写体を撮像した画像データから前記被写体の患部領域を抽出し、さらに前記患部領域の色情報を抽出する抽出手段と、
   前記距離情報および前記色情報を基に、前記患部領域の状態を判定する判定手段と、
   を有することを特徴とする画像処理装置。
2. 前記判定手段は、前記色情報を基に前記患部領域に存在する第１の状態を判定し、前記第１の状態を判定した後に、前記色情報および前記距離情報を基に前記患部領域に存在する第２の状態を判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記患部領域は創傷の領域であって、前記判定手段が判定する前記第１の状態は黒色の壊死組織または滲出液であり、前記第２の状態は黄色の壊死組織または骨部であることを特徴とする請求項２に記載の画像処理装置。
4. 前記距離情報を基に前記患部領域に対応する深さ情報を生成する演算手段をさらに有し、
   前記抽出手段は、前記画像データから前記患部領域の近傍に設定され且つ前記患部領域を含まない所定領域を抽出して、前記所定領域に少なくとも３点の基準点を設定し、
   前記演算手段は、前記基準点を含む基準面を設定し、前記基準面を基準として、前記患部領域に対応する深さ情報を生成することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記基準面が前記撮像装置の撮像面に対して正対していない場合、前記基準面が前記撮像装置の撮像面に対して正対するように、前記演算手段が前記深さ情報を補正処理することを特徴とする請求項４に記載の画像処理装置。
6. 前記演算手段は、前記被写体の形状に対応するように前記基準面を平面または球面に設定することを特徴とする請求項４または請求項５に記載の画像処理装置。
7. 前記基準点における前記距離情報と前記基準点の前記基準面における位置の情報とを記憶する記憶手段と、
   前記画像データに基づく画像を表示するためのデータを生成する生成手段と、をさらに有し、
   前記生成手段は、前記患部領域を表示するためのデータとともに、前記記憶手段に記憶した前記基準点の前記距離情報および前記位置を表示するためのデータを生成することを特徴とする請求項４から請求項６のいずれか１項に記載の画像処理装置。
8. 前記所定領域における任意の断面を設定する設定手段と、
   前記断面における前記距離情報との傾きを取得する傾き取得手段と、をさらに有し、
   前記判定手段は、前記傾きが所定の閾値以上となるかを判定することを特徴とする請求項４から請求項７のいずれか１項に記載の画像処理装置。
9. 前記所定領域における任意の断面を設定する設定手段と、
   前記断面における受光信号強度との傾きを取得する傾き取得手段と、をさらに有し、
   前記判定手段は、前記傾きが所定の閾値以上となるかを判定することを特徴とする請求項４から請求項７のいずれか１項に記載の画像処理装置。
10. 前記判定手段は、前記所定の閾値を前記断面における前記距離情報に応じて可変することを特徴とする請求項８または請求項９に記載の画像処理装置。
11. 前記判定手段は、前記所定領域に対して前記傾きが前記所定の閾値以上となる位置を取得し、
    前記傾きが前記所定の閾値以上となる前記位置を表示するためのデータを生成する生成手段を有することを特徴とする請求項８から請求項１０のいずれか１項に記載の画像処理装置。
12. 前記所定領域における前記傾きを記憶し、前記傾きを用いて機械学習を行う手段を有することを特徴とする請求項８から請求項１１のいずれか１項に記載の画像処理装置。
13. 前記取得手段は、
    前記被写体に対して測定基準に正対した第１の位置に前記撮像装置が位置する状態における当該撮像装置から前記被写体までの距離に関する第１の距離情報と、
    前記被写体に対して前記第１の位置とは異なる第２の位置に前記撮像装置が位置する状態における当該撮像装置から前記被写体までの距離に関する第２の距離情報と、を取得し、
    前記抽出手段は、
    前記第１の位置に前記撮像装置が位置する状態で撮像された第１の画像データから所定の第１の領域を抽出し、
    前記第１の画像データと、前記第２の位置に前記撮像装置が位置する状態で撮像された第２の画像データと、前記第１の距離情報と、前記第２の距離情報とを基に、前記第１の領域を含む第２の領域を抽出する
    ことを特徴とする請求項１に記載の画像処理装置。
14. 前記第２の位置は、前記第１の画像データと前記第１の距離情報とに基づいて設定されることを特徴とする請求項１３に記載の画像処理装置。
15. 前記第１の位置から前記第２の位置へ前記撮像装置を移行するためのユーザ補助手段を有することを特徴とする請求項１３または請求項１４に記載の画像処理装置。
16. 前記撮像装置が備えている加速度センサからの加速度情報と、前記撮像装置が備えている角速度センサからの角速度情報とを基に、前記撮像装置の位置及び姿勢情報を取得する位置姿勢取得手段をさらに有することを特徴とする請求項１３から請求項１５のいずれか１項に記載の画像処理装置。
17. 前記生成手段は、前記患部領域の所定部分における過去に得られた過去評価値と新たに得られた新規評価値とを比較し、前記過去評価値と前記新規評価値とが同一であると判定した場合に、前記所定部分に対応して取得された前記距離情報に基づいた差分情報を表示するためのデータを生成することを特徴とする請求項７から請求項１２のいずれか１項に記載の画像処理装置。
18. 前記生成手段は、前記差分情報が取得された前記所定部分を前記患部領域に重畳して表示するためのデータを生成することを特徴とする請求項１７に記載の画像処理装置。
19. 画像処理装置が実行する画像処理方法であって、
    撮像装置から被写体までの距離に関する距離情報を取得する取得工程と、
    前記撮像装置が前記被写体を撮像した画像データから前記被写体の患部領域を抽出し、さらに前記患部領域の色情報を抽出する抽出工程と、
    前記距離情報および前記色情報を基に、前記患部領域の状態を判定する判定工程と、
    を有することを特徴とする画像処理方法。
20. コンピュータを、請求項１から請求項１８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images