JP2020123304A - 画像処理システム、撮像装置、画像処理装置、電子機器、これらの制御方法、および、プログラム - Google Patents

Abstract

【課題】 被写体の所定の領域を評価する際の利便性を向上させる画像処理システムを提供する。【解決手段】 被写体からの光を受光して画像データを生成し、生成した画像データを通信ネットワークに出力する撮像装置と、通信ネットワークを介して画像データを取得し、取得した画像データから被写体の所定の領域を抽出し、抽出した所定の領域の抽出結果を示す情報を通信ネットワークに出力する画像処理装置を有し、撮像装置の表示手段が、通信ネットワークを介して取得した所定の領域の抽出結果を示す情報に基づく表示を行う画像処理システムを提供する。【選択図】 図４

Description

本発明は、画像から被写体の所定の領域の評価を行う技術に関するものである。

人や動物が横になっている状態では、体重により、体の下にある床、マットレス、あるいは、敷布団と体の接触部位が圧迫される。

同じ姿勢が継続すると、床と体の接触部位が血行不全となり周辺組織が壊死を起こす。この組織が壊死した状態を、褥瘡または床ずれと呼んでいる。この褥瘡を発症した患者には、体圧分散ケアやスキンケアなどの褥瘡ケアを施し、定期的に褥瘡を評価および管理していく必要がある。

褥瘡を評価するための方法の１つとして、褥瘡の大きさを測定することが知られている。

例えば、褥瘡の大きさを評価として用いる例としては、非特許文献１に記載があるように、日本褥瘡学会学術教育委員会が開発した褥瘡の評価指標である、ＤＥＳＩＧＮ−Ｒ（登録商標）が知られている。

このＤＥＳＩＧＮ−Ｒ（登録商標）は、褥瘡をはじめとする傷の治癒過程を評価するためのツールである。このツールの命名は、深さ（Ｄｅｐｔｈ）、滲出液（Ｅｘｕｄａｔｅ）、大きさ（Ｓｉｚｅ）、炎症・感染（Ｉｎｆｌａｍｍａｔｉｏｎ／Ｉｎｆｅｃｔｉｏｎ）、肉芽組織（Ｇｒａｎｕｌａｔｉｏｎ）、壊死組織（Ｎｅｃｒｏｔｉｃ ｔｉｓｓｕｅ）の各評価項目の頭文字をとっている。また、頭文字の対象とはなっていないが、評価項目には、上記以外にポケット（Ｐｏｃｋｅｔ）が含まれている。

ＤＥＳＩＧＮ−Ｒ（登録商標）は、日常の簡便な評価のための重症度分類用、および詳細に治癒過程の流れが示される経過評価用の２つがある。重症度分類用のＤＥＳＩＧＮ−Ｒ（登録商標）は、６つの評価項目を軽度と重度の２つに区分して、軽度はアルファベットの小文字を用いて表し、重度は大文字を用いて表す。

初療時に重症度分類用を用いて評価することで、褥瘡の大まかな状態を把握することができる。どの項目が問題であるかがわかるため、治療方針を容易に決定できる。

一方、経過評価用として、経過評価に加え患者間の重症度比較もできるＤＥＳＩＧＮ−Ｒ（登録商標）も定められている。Ｒはｒａｔｉｎｇ（評価・評点）を表す。各項目に異なる重み付けをしており、深さ以外の６項目の合計点（０〜６６点）がその褥瘡の重症度を表す。治療開始後に治療経過を詳細かつ客観的に評価でき、個人の経過評価だけでなく、患者間の重症度比較もできる。

ここで、ＤＥＳＩＧＮ−Ｒ（登録商標）の大きさの評価は、皮膚損傷範囲の長径と短径（長径と直交する最大径）を測定し（ｃｍ）、各々を掛け合わせた数値である大きさを７段階に分類するものである。この７段階とは、ｓ０：皮膚損傷なし、ｓ３：４未満、ｓ６：４以上１６未満、ｓ８：１６以上３６未満、ｓ９：３６以上６４未満、ｓ１２：６４以上１００未満、Ｓ１５：１００以上、である。

現状では、褥瘡の大きさの評価は、患部にメジャーをあてて手作業で計測された値に基づいて決定されることが多い。具体的にはまず、皮膚の損傷範囲のうち一番長い直線距離の２点を測定し、それを長径とする。さらに長径と直行する長さを短径とし、長径と短径を掛けた値を褥瘡の大きさとしている。

照林社 褥瘡ガイドブック 第２版 褥瘡予防・管理ガイドライン（第４版）準拠 編集 日本褥瘡学会 ＩＳＢＮ１３ ９７８−４７９６５２３６０８ ２３ページ

しかしながら、手作業による褥瘡の大きさの評価は、褥瘡の形が複雑である場合が多く、メジャーをどのように当てるかを調整する必要がある。この作業を長径と短径を測定するために最低２回行う必要があり、時間が掛かってしまうため、作業負荷が大きい。さらに褥瘡を評価される患者にとっても、作業中は同じ姿勢を保持しなければならないため、負担が大きいと考えられる。

ＤＥＳＩＧＮ−Ｒ（登録商標）は、１週間から２週間に１回採点することが推奨されており、繰り返し計測する必要がある。加えて、手作業による計測では、個人によって褥瘡の長径と判断する位置が異なる可能性が高く、測定の精度を担保することが難しい。

なお、ここではＤＥＳＩＧＮ−Ｒ（登録商標）に基づいて褥瘡の評価を行うことを例にあげて説明を行ったが、ＤＥＳＩＧＮ−Ｒ（登録商標）のケースに限られるものではなく、褥瘡の大きさを測定しようとすれば、同様の課題は生じる。褥瘡の面積を求めようとするのであれば、複数の箇所について手作業による測定が必要となり、作業負荷が生じることになる。

また、別の課題として、褥瘡の評価項目としては、大きさのように測定するもの以外にも、目視によって判断したほうが望ましいものもある。目視によって判断すべき評価項目については、評価者が、撮影された画像データを見ながら、電子カルテや紙媒体に後ほど入力することになる。この場合、大きさを示す情報とそのほかの情報とで入力デバイスが異なるため、入力作業が煩雑になり、記入漏れも生じやすくなってしまう。

そして、これらの課題は褥瘡に限った話ではなく、火傷や裂傷などの体表における患部領域においても、同様の課題が生じる。

本発明は、これらの課題を解決するもので、被写体の所定の領域を評価する際の利便性を向上させる装置を提供することを目的とするものである。

上記課題を解決するため、本願請求項１に記載の画像処理システムは、撮像装置と画像処理装置を有し、前記撮像装置は、被写体からの光を受光して画像データを生成する撮像手段と、前記画像データを通信ネットワークに出力する第１の通信手段と、前記撮像手段で生成された画像データに基づく画像を表示する表示手段を有し、前記画像処理装置は、前記通信ネットワークを介して、前記画像データを取得する第２の通信手段と、前記画像データから前記被写体の所定の領域を抽出する演算手段を有し、前記第２の通信手段は、前記演算手段で抽出した前記所定の領域の抽出結果を示す情報を、前記通信ネットワークに出力し、前記第１の通信手段は、前記通信ネットワークを介して、前記所定の領域の抽出結果を示す情報を取得し、前記表示手段は、前記所定の領域の抽出結果を示す情報に基づく表示を行うことを特徴とするものである。

同様に、上記課題を解決するため、本願請求項１８に記載の撮像装置は、被写体からの光を受光して画像データを生成する撮像手段と、前記画像データを、通信ネットワークを介して、外部装置に出力する通信手段と、前記撮像手段で生成された画像データに基づく画像を表示する表示手段を有し、前記通信手段は、前記外部装置から、前記通信ネットワークを介して、前記画像データにおける前記被写体の所定の領域の抽出結果を示す情報を取得し、前記表示手段は、前記所定の領域の抽出結果を示す情報に基づく表示を行うことを特徴とするものである。

同様に、上記課題を解決するため、本願請求項２８に記載の画像処理装置は、撮像装置から、通信ネットワークを介して、画像データと、前記画像データに含まれる被写体に対応する距離情報を取得する通信手段と、前記画像データから前記被写体の所定の領域を抽出し、前記距離情報に基づいて、前記所定の領域の大きさを求める演算手段を有し、前記通信手段は、前記演算手段で抽出した前記所定の領域の抽出結果を示す情報と、前記大きさを示す情報を、前記通信ネットワークを介して、前記撮像装置に出力することを特徴とするものである。

同様に、上記課題を解決するため、本願請求項４２に記載の撮像装置は、撮像装置被写体からの光を受光して画像データを生成する撮像手段と、前記画像データにおける、前記被写体の所定の領域の抽出結果を取得する制御手段と、前記被写体の所定の領域における、予め定められた複数の評価項目の評価値を、ユーザに入力させるインターフェース手段と、を有し、前記制御手段は、前記入力された複数の評価項目の評価値と、前記画像データを関連付けることを特徴とするものである。

同様に、上記課題を解決するため、本願請求項５７に記載の電子機器は、通信ネットワークを介して、撮像装置にて生成された画像データ、および、前記撮像装置において、ユーザによって入力された、前記画像データにおける被写体の患部領域に対する複数の評価項目の評価値を示す情報を取得する通信手段と、表示手段に、前記画像データに基づく画像と前記複数の評価項目の評価値を表示させる制御手段と、を有することを特徴とする。

本発明によれば、被写体の所定の領域を評価する際の利便性を向上させる装置またはシステムを提供することができる。

第１の実施形態に係る画像処理システムの概要を示す図である。 画像処理システムに含まれる撮像装置のハードウェア構成の一例を示す図である。 画像処理システムに含まれる画像処理装置のハードウェア構成の一例を示す図である。 第１実施形態に係る画像処理システムの動作を示すワークフロー図である。 領域の面積の計算方法を説明するための図である。 患部領域の抽出結果を示す情報、および、患部領域の大きさを示す情報を画像データに重畳する方法を説明するための図である。 患部領域の抽出結果を示す情報、および、患部領域の長径と短径を含む患部領域の大きさを示す情報を画像データに重畳する方法を説明するための図である。 患部領域情報をユーザに入力させる方法を説明するための図である。 第２の実施形態に係る画像処理システムの動作を示すワークフロー図である。 第３の実施形態に係る画像処理システムの概要を示す図である。 第３の実施形態に係る画像処理システムの動作を示すワークフロー図である。 過去に取得した患部領域情報を表示する方法を説明するための図である。 端末装置のブラウザに表示されるデータ選択画面の一例を説明するための図である。 端末装置のブラウザに表示されるデータ一覧画面の一例を説明するための図である。 第３の実施形態に係る画像処理システムの動作の変形例を示すワークフロー図である。

以下、本発明を実施するための例示的な実施形態を、図面を参照して詳細に説明する。

（第１の実施形態）
以下、図１乃至図３を参照して、本発明の実施形態に係る画像処理システムについて説明する。図１は、第１の実施形態に係る画像処理システム１の概要を示す図である。撮像システム１は、手持ち可能なポータブルデバイスの撮像装置２００と、画像処理装置３００から構成される。本実施形態では、被写体１０１の患部領域１０２の病態の一例を、臀部に生じた褥瘡として説明している。

本発明の実施形態に係る画像処理システム１では、撮像装置２００が被写体１０１の患部領域１０２を撮影するとともに、被写体距離を取得し、それらのデータを画像処理装置３００に送信する。画像処理装置３００は、受信した画像データから患部領域を抽出し、被写体距離などの情報に基づいて画像データの１ピクセルあたりの面積を計測し、患部領域１０２の抽出結果と１ピクセルあたりの面積から、患部領域１０２の面積を計測する。なお、本実施形態では、患部領域１０２が褥瘡である場合を例に挙げて説明を行うが、これに限定されるものではなく、患部領域１０２は火傷や裂傷であってもよい。

図２は、画像処理システム１に含まれる撮像装置２００のハードウェア構成の一例を示す図である。撮像装置２００は、一般的な一眼カメラ、コンパクトデジタルカメラ、あるいは、オートフォーカス機能付きのカメラを備えたスマートフォンやタブレット端末などを利用することも可能である。

撮像ユニット２１１は、レンズ群２１２、シャッタ２１３、イメージセンサ２１４を有する。レンズ群２１２に含まれる複数のレンズの位置を変更することで、フォーカス位置とズーム倍率を変更することができる。レンズ群２１２は、露出量を調節するための絞りも備える。

イメージセンサ２１４は、光学像を画像データに変換するＣＣＤやＣＭＯＳセンサ等の電荷蓄積型の固体イメージセンサで構成される。レンズ群２１２およびシャッタ２１３を通過した被写体からの反射光はイメージセンサ２１４に結像され、イメージセンサ２１４は被写体像に応じた電気信号を生成し、この電気信号に基づく画像データを出力する。

シャッタ２１３は、シャッタ羽根部材の開閉動作を行うことによって、イメージセンサ２１４への露出や遮光を行い、イメージセンサ２１４の露光時間を制御する。なお、シャッタ２１３の代わりに、イメージセンサ２１４の駆動によって露光時間を制御する電子シャッタを用いてもよい。ＣＭＯＳセンサで電子シャッタを行う場合には、画素ごと、或いは、複数画素からなる領域ごと（例えばラインごと）に、画素の蓄積電荷量をゼロにするリセット走査を行う。その後、リセット走査を行った画素あるいは領域ごとに、それぞれ所定の時間を経過してから電荷の蓄積量に応じた信号を読み出す走査を行う。

ズーム制御回路２１５は、レンズ群２１２に含まれるズームレンズを駆動するための不図示のモータを制御し、レンズ群２１２の光学倍率を制御する。なお、レンズ群２１２はズーム機能のない単焦点のレンズ群であってもよく、その場合は、ズーム制御回路２１５は不要である。

測距システム２１６は、被写体までの距離情報を算出する。測距システム２１６として、一眼レフカメラに搭載された一般的な位相差方式の測距センサを用いても良いし、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサを用いたシステムを用いてもよい。ＴＯＦセンサは、照射波の送信タイミングと、当該照射波が物体で反射された波である反射波の受信タイミングとの時間差（または位相差）に基づいて、当該物体までの距離を測定するセンサである。さらに、測距システムには受光素子にＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｖｉｃｅ）を用いたＰＳＤ方式などを用いてもよい。

あるいは、イメージセンサ２１４を、画素ごとに複数の光電変換領域を有し、共通の画素内に含まれる複数の光電変換領域に対応する瞳位置を異ならせる構成とする。このような構成とすることで、測距システム２１６は、イメージセンサ２１４から出力された、それぞれの瞳領域に対応する光電変換領域から得られた画像間の位相差から、画素あるいは領域の位置ごとに距離情報を求めることができる。

測距システム２１６は、画像内の予め定められた所定の１つ、あるいは、複数の測距エリアにおける距離情報を求める構成としてもよいし、画像内の多数の画素あるいは領域の距離情報の分布を示す距離マップを求める構成としてもよい。

あるいは、測距システム２１６は、画像データの高周波成分を抽出して積分し、積分値が最大となるフォーカスレンズの位置を決定するＴＶ−ＡＦまたはコントラストＡＦを行い、このフォーカスレンズの位置から距離情報を得るようにしてもよい。

画像処理回路２１７は、イメージセンサ２１４から出力された画像データに対して、所定の画像処理を施す。画像処理回路２１７は、撮像ユニット２１１から出力された画像データ、あるいは内部メモリ２２１に記録されている画像データに対して、ホワイトバランス調整、ガンマ補正、色補間またはデモザイキング、フィルタリング、など、様々な画像処理を行う。また、画像処理を行った画像データに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

ＡＦ制御回路２１８は、測距システム２１６で得られた距離情報に基づいて、レンズ群２０２に含まれるフォーカスレンズの位置を決定し、フォーカスレンズを駆動するモータを制御する。

通信装置２１９は、撮像装置２００が無線の通信ネットワーク（不図示）を介して、画像処理装置３００などの外部機器と通信を行うための無線通信モジュールである。ネットワークの具体的な一例としては、Ｗｉ−Ｆｉ規格に基づくネットワークが挙げられる。なお、Ｗｉ−Ｆｉを用いた通信はルーターを介して実現されてもよい。また、通信装置２１９はＵＳＢやＬＡＮなど有線の通信インターフェースにより実現されてもよい。

システム制御回路２２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、内部メモリ２２１に記憶されたプログラムに従って、撮像装置２００の各部を制御することにより全体制御を行う。また、システム制御回路２２０は、撮像ユニット２１１、ズーム制御回路２１５、測距システム２１６、画像処理回路２１７、および、ＡＦ制御回路２１８などの全体の制御を行う。なお、システム制御回路２２０は、ＣＰＵの代わりに、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）やＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）などを用いてもよい。

なお、内部メモリ２２１は、フラッシュメモリやＳＤＲＡＭ等の書き換え可能なメモリで構成される。内部メモリ２２１は、撮像装置２００の動作に必要な撮像時のピント位置の情報やズーム倍率などの各種の設定情報や、撮像ユニット２１１が撮像した画像データや画像処理回路２１７による画像処理が行われた画像データを一時的に記憶する。また、通信装置２１９が画像処理装置３００と通信して受信した、画像データや被写体の大きさを示す情報などの解析データなどを一時的に記録してもよい。

外部メモリＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２２２は、撮像装置２００に装填可能なＳＤカードやＣＦカード等の不揮発性の記憶媒体とのインターフェースである。外部メモリＩ／Ｆ２２２は、画像処理回路２１７で処理された画像データや、通信装置２１９が画像処理装置３００と通信して受信した画像データや解析データなどを装填可能な記憶媒体に記録する。また、外部メモリＩ／Ｆ２２２は、再生時には、装填可能な記憶媒体に記録された画像データを読み出し、撮像装置の外部に出力することも可能である。

表示装置２２３は、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶や有機ＥＬディスプレイや、ＥＶＦ（電子ビューファインダ）などで構成されたディスプレイ装置である。表示装置２２３は、内部メモリ２２１に一時的に保存されている画像データに基づく画像、装填可能な記憶媒体に保存されている画像データに基づく画像、および、撮像装置１０の設定画面などを表示する。

操作部材２２４は、たとえば、撮像装置２００に設けられたボタン、スイッチ、キー、モードダイアル、あるいは、表示装置２２３と兼用されるタッチパネルなどで構成されている。ユーザによるモード設定や撮影指示などの指令は、操作部材２２４を経由して、システム制御回路２２０に到達する。

共通バス２２５は、撮像ユニット２１１、ズーム制御回路２１５、測距システム２１６、画像処理回路２１７、ＡＦ制御回路２１８、通信装置２１９、システム制御回路２２０、内部メモリ２２１、外部メモリＩ／Ｆ２２２、表示装置２２３、および、操作部材２２４が接続されている。共通バス２２５は、各ブロック間で信号の送受信を行うための信号線である。

図３は、画像処理システム１に含まれる画像処理装置３００のハードウェア構成の一例を示す図である。画像処理装置３００は、ＣＰＵで構成された演算装置３１１、記憶装置３１２、通信装置３１３、出力装置３１４、および、補助演算装置３１７を備える。記憶装置３１２は主記憶装置３１５（ＲＯＭやＲＡＭ等）と補助記憶装置３１６（磁気ディスク装置やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等）から構成される。

通信装置３１３は、通信ネットワークを介して外部機器と通信を行うための無線通信モジュールとして構成される。出力装置３１４は、画像処理装置３００に接続されたディスプレイ、プリンタ、あるいは外部ネットワークに、演算装置３１１にて加工されたデータや、記憶装置３１２に記憶されたデータを出力する。

補助演算装置３１７は演算装置３１１の制御の下で用いられる補助演算用ＩＣであり、補助演算装置の一例としてＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いることができる。ＧＰＵは、元々は画像処理用のプロセッサであるが、複数の積和演算器を有し、行列計算を得意としているため、信号学習用の処理を行うプロセッサとしても用いられることが多い。そして、深層学習を行う処理においても、ＧＰＵが用いられることが一般的である。例えば、補助演算装置３１７として、ＮＶＩＤＩＡ社のＪｅｔｓｏｎ ＴＸ２ ｍｏｄｕｌｅを用いることができる。なお、補助演算装置３１７として、ＦＰＧＡやＡＳＩＣなどを用いてもよい。補助演算装置３１７は、画像データから被写体１０１の患部領域１０２の抽出処理を行う。

演算装置３１１は、記憶装置３１２に記憶されたプログラムを実行することで、補助演算装置３１７によって抽出された患部領域１０２の大きさや長さを求めるための演算処理を含む、各種機能を実現することができる。さらに、演算装置３１１は各機能を実行する順番を制御する。

なお、画像処理装置３００が備える演算装置３１１および記憶装置３１２は１つであっても複数であってもよい。すなわち、少なくとも１以上の処理装置（ＣＰＵ）と少なくとも１つの記憶装置とが接続されており、少なくとも１以上の処理装置が少なくとも１以上の記憶装置に記憶されたプログラムを実行した場合に、画像処理装置３００は後述する各機能を実行する。なお、演算装置３１１はＣＰＵの代わりに、ＦＰＧＡやＡＳＩＣなどを用いてもよい。

図４は、第１実施形態に係る画像処理システム１の動作を示すワークフロー図である。図４において、ステップをＳと示す。すなわち、ステップ４０１をＳ４０１と示す。後述する図９、図１１および図１５も同様である。

図４において、ステップ４０１乃至ステップ４２０が撮像装置２００による処理であり、ステップ４３１、ステップ４４１乃至ステップ４４５、およびステップ４５１乃至ステップ４５６が画像処理装置３００による処理である。

初めに、撮像装置２００と画像処理装置３００が、無線ＬＡＮ規格であるＷｉ−Ｆｉ規格のネットワーク（不図示）にそれぞれ接続する。画像処理装置３００は、ステップ４３１において、接続する撮像装置２００の探索処理を行い、撮像装置２００は、ステップ４０１において、これに対する応答処理を行う。ネットワークを介して機器を探索する技術としては、例えば、ＵＰｎＰ（Ｕｎｉｖｅｒｓａｌ Ｐｌｕｇ ａｎｄ Ｐｌａｙ）が用いられる。ここでＵＰｎＰにおいて個々の装置の識別はＵＵＩＤ（Ｕｎｉｖｅｒｓａｌｌｙ Ｕｎｉｑｕｅ ＩＤｅｎｔｉｆｉｅｒ）によって行われる。

撮像装置２００は、画像処理装置３００との接続がなされると、ステップ４０２においてライブビュー処理を開始する。撮像ユニット２１１が画像データを生成し、この画像データに画像処理回路２１７がライブビュー表示用の画像データを生成するために必要な現像処理を適用する。これらの処理を繰り返し行うことで、所定のフレームレートのライブビュー映像が表示装置２２３に表示される。

ステップ４０３において、測距システム２１６が上述したいずれかの方法によって被写体の距離情報を求め、ＡＦ制御回路２１８が被写体にピントが合うようにレンズ群２１２の駆動制御を行うＡＦ処理を開始する。ＴＶ−ＡＦまたはコントラストＡＦでピント位置の調整を行った場合には、ピントを合わせた状態のフォーカスレンズの位置から、ピントを合わせた対象の被写体１０１までの距離情報を求める。ピントを合わせる位置は、画像データの中央に位置する被写体でもよいし、撮像装置２００に対して最も至近側の位置に存在する被写体でもよい。被写体の距離マップが得られている場合には、距離マップから注目すべき領域を推定し、その位置に対してピントを合わせるようにしてもよい。あるいは、すでに画像処理装置３００によってライブビュー画像における褥瘡１０２の位置が特定されているならば、その位置に対してピントを合わせるようにしてもよい。撮像装置２００は、後述するステップ４１０でレリーズボタンが押されたことを検知するまで、ライブビュー映像の表示とともにＡＦ処理を繰り返し行う。

ステップ４０４において、画像処理回路２１７は、ライブビューのために撮像された画像データのいずれかの画像データに対して、画像データの現像および圧縮処理を行い、例えばＪＰＥＧ規格の画像データを生成する。そして、圧縮処理された画像データに対してリサイズ処理を行い、画像データのサイズを小さくする。

ステップ４０５において、通信装置２１９が、ステップ４０４で生成されたリサイズ処理がなされた画像データと、ステップ４０３で求めた距離情報を取得する。さらに、ズーム倍率の情報と、リサイズ処理された画像データのサイズ（ピクセル数）の情報も取得する。撮像ユニット２１１が単焦点でズーム機能が無いのであれば、ズーム倍率の情報は不要である。

ステップ４０６において、通信装置２１９がステップ４０５で取得した画像データと、距離情報を含む１以上の情報を、無線通信により画像処理装置３００に送信する。

ここで、送信する画像データのサイズが大きいほど無線通信に時間がかかるため、ステップ４０５におけるリサイズ後の画像データのサイズは、許容される通信時間を考慮して決定される。ただし、画像データを小さくし過ぎると、画像処理装置３００が後述するステップ４３３において行う患部領域の抽出処理の精度に影響が出るため、通信時間に加えて、患部領域の抽出処理の精度も考慮する必要がある。

なお、ステップ４０４乃至ステップ４０６の処理は、フレームごとに行ってもよいし、数フレームに１回の割合で行うようにしてもよい。

ここで、画像処理装置３００による処理の説明に移る。

ステップ４４１において、画像処理装置３００の通信装置３１３が、撮像装置２００の通信装置２１９から出力された画像データ、および、距離情報を含む１以上の情報を受信する。

ステップ４４２において、画像処理装置３００の演算装置３１１および補助演算装置３１７が、ステップ４４１で受信した画像データから被写体１０１の患部領域１０２を抽出する。患部領域１０２を抽出する手法として、深層学習による意味的領域分割を行う。すなわち、あらかじめ不図示の学習用の高性能コンピュータに、複数の実際の褥瘡の画像を教師データとして用いてニューラルネットワークのモデルを学習させて、学習済モデルを生成する。補助演算装置３１７は、高性能コンピュータから生成された学習済モデルを受け取り、この学習済モデルに基づいて画像データから、患部領域１０２である褥瘡のエリアを推定する。ニューラルネットワークのモデルの一例として、深層学習を用いたセグメンテーション・モデルである完全畳み込みネットワーク（ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ））を適用した。ここで、深層学習の推論は積和演算の並列実行を得意とする補助演算装置３１７により処理される。なお、推論処理はＦＰＧＡやＡＳＩＣなどにより実行されてもよい。なお、他の深層学習のモデルを用いて領域分割を実現してもよい。また、セグメンテーション手法は深層学習に限らず、例えば、グラフカットや領域成長、エッジ検出、統治分割法等を用いてもよい。さらに、補助演算装置３１７の内部で、褥瘡の画像を教師データとしたニューラルネットワークのモデルの学習を行ってもよい。

ステップ４４３において、演算装置３１１が、補助演算装置３１７によって抽出された患部領域１０２の大きさを示す情報として、患部領域１０２の面積を計算する。

図５は、患部領域１０２の面積の計算方法を説明するための図である。一般的なカメラである撮像装置２００は、図５のようなピンホールモデルとして扱うことができる。入射光５０１はレンズ２１２ａの主点を通り、イメージセンサ２１４の撮像面で受光する。ここで、レンズ群２１２を厚みのない単一のレンズ２１２ａに近似して考えた場合には、前側主点と後側主点の２つの主点は一致するとみなせる。イメージセンサ２１４の平面に像が結像するようにレンズ２１２のピント位置を調整することで、撮像装置は被写体５０４に焦点を合わせることができる。撮像面からレンズ主点までの距離である焦点距離５０２を変更することで、画角θ５０３が変更され、ズーム倍率が変わる。このとき、撮像装置の画角θ５０３と被写体距離５０５の関係から、幾何学的に合焦面における被写体の幅５０６が決定される。この被写体の幅５０６は、三角関数を用いて計算される。すなわち、被写体の幅５０６は、焦点距離５０２に応じて変化する画角θ５０３と、被写体距離５０５との関係によって決定する。そして、被写体の幅５０６の値を画像データのライン上のピクセル数で除算することにより、画像データ上の１ピクセルに対応する合焦面上の長さが得られる。

よって、演算装置３１１は、ステップ４４２の患部領域の抽出結果から得られる抽出領域のピクセル数と、画像上の１ピクセルに対応する合焦面上の長さから得られる１ピクセルの面積の積として、患部領域１０２の面積を計算する。なお、焦点距離５０２と被写体距離５０５の組合せに応じた画像上の１ピクセルに対応する合焦面上の長さを予め求めておいて、テーブルデータとして予め用意しておいてもよい。画像処理装置３００が、撮像装置２００に応じたテーブルデータを予め記憶しておくことも可能である。

なお、上記の方法で正しく患部領域１０２の面積を求めるためには、被写体５０４が平面であり、かつ、この平面が光軸に対して垂直であることが前提となる。ステップ４４１で取得した距離情報が、画像データ内の複数の位置における距離情報や、距離マップであれば、被写体の奥行き方向の傾きや変化を検出し、検出した傾きや変化に基づいて面積を算出するようにしてもよい。

ステップ４４４において、演算装置３１１が、患部領域１０２の抽出に用いた画像データに対して、患部領域１０２の抽出結果を示す情報と、患部領域１０２の大きさを示す情報を重畳した画像データを生成する。

図６は、患部領域１０２の抽出結果を示す情報、および、患部領域１０２の大きさを示す情報を画像データに重畳する方法を説明するための図である。図６（ａ）の画像６０１は、重畳処理前の画像データを用いて表示された画像であって、被写体１０１及び患部領域１０２を含む。図６（ｂ）の重畳画像６０２は、重畳処理後の画像データに基づく画像である。図６は、患部領域１０２が臀部の近傍にあることを示す。

演算装置３１１は、重畳画像６０２の左上隅に、患部領域１０２の大きさを示す情報として、黒地の背景に白色の文字で、患部領域１０２の面積値を表す文字列６１２を表示したラベル６１１を重畳する。

なお、ラベル６１１の背景色と文字列の色は見やすいものであれば黒、白に限らなくてもよい。また、透過量を設定してαブレンドすることで、ラベルが重なった部分の画像が確認できるようにしてもよい。

さらに、重畳画像６０２には、ステップ４４２において抽出された、患部領域１０２の推定エリアを示す指標６１３が重畳表示されている。推定エリアが存在する位置において、推定エリアを示す指標６１３と、画像６０１の元となる画像データをαブレンドして重畳表示することで、患部領域の面積の元となる推定エリアが妥当かどうかをユーザが確認することができる。推定エリアを示す指標６１３の色は、被写体の色と重ならないようにすることが望ましい。αブレンドの透過率は推定エリアが認識できて、元の患部領域１０２も確認できる範囲がよい。なお、患部領域１０２の推定エリアを示す指標６１３が重畳表示されていれば、ラベル６１１の表示はなくとも、ユーザは推定エリアが妥当かどうかを確認することはできるため、ステップ４４３は省略しても構わない。

ステップ４４５において、画像処理装置３００の通信装置３１３が、抽出した患部領域１０２の抽出結果を示す情報と、患部領域１０２の大きさを示す情報を撮像装置２００に送信する。本実施形態では、通信装置３１３は、ステップステップ４４４で生成した、患部領域１０２の大きさを示す情報を含む画像データを、撮像装置２００に無線通信により送信する。

ここで、撮像装置２００による処理の説明に戻る。

ステップ４０７で、撮像装置２００の通信装置２１９は、画像処理装置３００にて患部領域１０２の大きさを示す情報を含む画像データが新たに生成されていれば、これを受信する。

ステップ４０８で、システム制御回路２２０は、ステップ４０７で患部領域１０２の大きさを示す情報を含む画像データを受信できていればステップ４０９に進み、受信できていなければステップ４１０に進む。

ステップ４０９において、表示装置２２３がステップ４０７で受信した患部領域１０２の大きさを示す情報を含む画像データを所定時間表示する。ここでは、表示装置２２３は図６に示す重畳画像６０２を表示する。このように、ライブビュー画像に対して、患部領域１０２の抽出結果を示す情報を重畳表示することで、ユーザは患部領域の面積および推定エリアが妥当であるかを確認したうえで、本撮影に臨むことができる。なお、本実施形態では、患部領域１０２の推定エリアを示す指標６１３と、患部領域１０２の大きさの情報の両方を表示する例をあげて説明を行ったが、いずれか一方だけでもよい。

ステップ４１０において、システム制御回路２２０は操作部材２２４に含まれるレリーズボタンが押されたかどうかを検知する。レリーズボタンが押されていなければ、撮像装置２００はステップ４０４の処理に戻り、レリーズボタンが押されていれば、撮像装置はステップ４１１の処理に進む。

ステップ４１１において、ステップ４０３と同様の方法によって、測距システム２１６が被写体の距離情報を求め、ＡＦ制御回路２１８が被写体にピントが合うようにレンズ群２１２の駆動制御を行うＡＦ処理を行う。ライブビュー画像から患部領域１０２を抽出することができているならば、患部領域１０２が存在する位置における被写体の距離情報を求めればよい。

ステップ４１２において、撮像装置２００は静止画の撮影を行う。

ステップ４１３において、画像処理回路２１７がステップ４１２で生成された画像データに対して現像および圧縮処理を行い、例えばＪＰＥＧ規格の画像データを生成する。そして、圧縮処理された画像データに対してリサイズ処理を行い、画像データのサイズを小さくする。ステップ４１３にてリサイズ処理が行われた画像データのサイズは、ステップ４０４にてリサイズ処理が行われた画像データと同じ大きさか、あるいは、それよりも大きい。これは、患部領域１０２を計測する際の精度を優先するためである。ここでは、１４４０ピクセル×１０８０ピクセルで４ビットＲＧＢカラーとして、画像データのサイズがおよそ４．４５メガバイトとなるようにリサイズした。なお、リサイズの大きさはこれに限られるものではない。あるいは、リサイズ処理をせずに、生成したＪＰＥＧ規格の画像データを用いて次のステップに進んでもよい。

ステップ４１４において、通信装置２１９が、ステップ４１３で生成されたリサイズ処理がなされた（あるいは、リサイズ処理がなされていない）画像データと、ステップ４１１で求めた距離情報を取得する。さらに、ズーム倍率の情報や、リサイズ処理された画像データのサイズ（ピクセル数）の情報も取得する。なお、撮像ユニット２１１が単焦点でズーム機能が無いのであれば、ズーム倍率の情報は不要であり、画像処理装置３００が予め画像データのサイズの情報を有しているのであれば、画像データの情報は不要である。

ステップ４１５では、通信装置２１９がステップ４１４で取得した画像データと、距離情報を含む１以上の情報を、無線通信により画像処理装置３００に送信する。

ここで、再び画像処理装置３００による処理の説明に移る。

ステップ４５１において、画像処理装置３００の通信装置３１３が、撮像装置２００の通信装置２１９から出力された画像データと、距離情報を含む１以上の情報を受信する。

ステップ４５２において、画像処理装置３００の演算装置３１１および補助演算装置３１７が、ステップステップ４４１で受信した画像データから被写体１０１の患部領域１０２を抽出する。処理の詳細はステップ４４２と同じであるため、説明を省略する。

ステップ４５３において、演算装置３１１が、補助演算装置３１７によって抽出された患部領域１０２の大きさを示す情報の一例として、患部領域１０２の面積を計算する。処理の詳細はステップ４４３と同じであるため、説明を省略する。

ステップ４５４において、演算装置３１１は、ステップ４５３で求めた画像上の１ピクセルに対応する合焦面上の長さに基づいて、抽出した患部領域の長径と短径の長さ、および患部領域に外接する矩形の面積を算出する画像解析を行う。褥瘡の評価指標のＤＥＳＩＧＮ−Ｒ（登録商標）の中で、褥瘡の大きさは長径と短径の積の値を計測することが定められている。本発明の画像処理システムでは長径と短径の解析を行うことで、今までＤＥＳＩＧＮ−Ｒ（登録商標）で計測されたデータとの互換性を確保することができる。ＤＥＳＩＧＮ−Ｒ（登録商標）は厳密な定義がないため、数学的には複数の長径、短径の算出方法が考えられる。

長径、短径の算出方法の１例としては、まず、演算装置３１１が、患部領域１０２に外接する矩形のうち、面積が最小となる矩形（Ｍｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅ）を算出する。そして、この矩形の長辺と短辺の長さを算出し、長辺の長さを長径とし、短辺の長さを短径として算出する。そして、ステップ４５３で求めた画像上の１ピクセルに対応する合焦面上の長さに基づいて、この矩形の面積を算出する。

また、長径と短径の算出方法の別の１例としては、長径として最大のキャリパー長である最大フェレ径を、短径として最小フェレ径を選択してもよい。あるいは、長径として最大のキャリパー長である最大フェレ径を、短径として、最大フェレ径の軸に直交する方向で計測した長さを選択してもよい。長径と短径の計算方法は、従来の計測結果との互換性に基づいて任意の方法を選択することができる。

なお、この患部領域１０２の長径および短径の長さと矩形面積の算出は、ステップ４４１で受け取った画像データに対しては実行しない処理である。ライブビュー中は、患部領域１０２の抽出結果をユーザが確認できるようにすることを目的としているため、ステップ４５４の画像解析のステップを省くことで、処理時間を削減している。

また、ＤＥＳＩＧＮ−Ｒ（登録商標）に基づく大きさの評価を行わずに、褥瘡の実際の面積の情報を得ることが目的である場合には、ステップ４５４の処理を省略することができる。その場合、以降の処理において、ＤＥＳＩＧＮ−Ｒ（登録商標）における評価項目としての大きさの情報が無いものと処理することになる。

ステップ４５５において、演算装置３１１が、患部領域１０２の抽出の対象とした画像データに対して、患部領域１０２の抽出結果を示す情報と、患部領域１０２の大きさを示す情報を重畳した画像データを生成する。

図７は、患部領域１０２の抽出結果を示す情報、および、患部領域１０２の長径と短径を含む患部領域の大きさを示す情報を画像データに重畳する方法を説明するための図である。患部領域１０２の大きさを示す情報が複数考えられるため、図７（ａ）の重畳画像７０１、図７（ｂ）の重畳画像７０２、および、図７（ｃ）の重畳画像７０３に分けて説明する。

図７（ａ）の重畳画像７０１は、長径、短径の算出方法としてＭｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅを用いたものである。重畳画像７０１の左上隅に、患部領域１０２の大きさを示す情報として、図６と同様に、黒地の背景に白色の文字で患部領域１０２の面積値の文字列６１２を表示したラベル６１１を重畳する。さらに、重畳画像７０１の右上隅に、患部領域１０２の大きさを示す情報として、Ｍｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅに基づいて算出した長径および短径を表示したラベル７１２を重畳する。文字列７１３は長径の長さ（単位はｃｍ）を表し、文字列７１４は短径の長さ（単位はｃｍ）を表す。それから、重畳画像７０１には、患部領域１０２に、Ｍｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅを表す矩形の枠７１５を表示する。矩形の枠７１５を長径および短径の長さと一緒に重畳することで、ユーザは画像中のどの箇所の長さが計測されているのかを確認することができる。

また、重畳画像７０１の右下隅にはスケールバー７１６が重畳されている。スケールバー７１６は患部領域１０２の大きさを測定するためのものであり、距離情報に応じて、画像データに対する前記スケールバーのサイズが変更される。具体的には、スケールバー７１６は、ステップステップ４５３で得られた画像上の１ピクセルに対応する合焦面上の長さに基づいて、１ｃｍ単位で５ｃｍまでの目盛りを刻んだバーであり、撮像装置の合焦面上すなわち被写体上のサイズに対応したものである。ユーザはスケールバーを参照することにより、被写体もしくは患部領域の大きさをおよそ把握することができる。

さらに、前述したＤＥＳＩＧＮ−Ｒ（登録商標）のＳｉｚｅの評価値を重畳画像７０１の左下隅に重畳する。ＤＥＳＩＧＮ−Ｒ（登録商標）のＳｉｚｅの評価値では、皮膚損傷範囲の、長径と短径（長径と直交する最大径）を測定し（単位はｃｍ）、各々を掛け合わせた数値から上述した７段階に分類されている。本実施形態では長径と短径をそれぞれの算出方法によって出力された値に置き換えて得られる評価値を重畳する。

図７（ｂ）の重畳画像７０２は、長径として最大フェレ径５２１を、短径として最小フェレ径５２２を用いたものである。重畳画像７０２の右上隅に長径の文字列７２３および短径の文字列７２４を表示したラベル７２２を重畳する。さらに、重畳画像７０２には、患部領域１０２に、最大フェレ径５２１の計測位置に相当する補助線７２５と、最小フェレ径５２２に相当する補助線７２６を表示する。補助線を長径および短径の長さと一緒に重畳することで、ユーザは画像中のどの箇所の長さが計測されているのかを確認することができる。

図７（ｃ）の重畳画像７０３は、長径は重畳画像７０２と同じであるが、短径を最小フェレ径ではなく最大フェレ径の軸に直交する方向で計測した長さとして計測したものである。重畳画像７０２の右上隅に長径の文字列７２３および短径の文字列７３４を表示したラベル７３２を重畳する。さらに、重畳画像７０２には、患部領域１０２に、最大フェレ径５２１の計測位置に相当する補助線７２５と、最大フェレ径の軸に直交する方向で計測した長さに相当する補助線７３６を表示する。

なお、図７（ａ）〜（ｃ）のそれぞれに示した、画像データに重畳する各種情報は、いずれか１つ、または、複数の組合せとしてもよく、ユーザが表示する情報を選択できるようにしてもよい。また、図６および図７に示した重畳画像は１つの例であって、患部領域１０２および患部領域１０２の大きさを示す情報の表示形態、表示位置、フォントの種類、フォントサイズ、フォントの色、あるいは、位置関係などは様々な条件に応じて変更できる。

ステップ４５６において、画像処理装置３００の通信装置３１３が、抽出した患部領域１０２の抽出結果を示す情報と、患部領域１０２の大きさを示す情報を撮像装置２００に出力する。本実施形態では、通信装置３１３は、ステップ４５５で生成した、患部領域１０２の大きさを示す情報を含む画像データを、撮像装置２００に無線通信により出力する。

ここで、再び撮像装置２００による処理の説明に戻る。

ステップ４１６で、撮像装置２００の通信装置２１９は、画像処理装置３００にて生成された患部領域１０２の大きさを示す情報を含む画像データを受信する。

ステップ４１７において、表示装置２２３がステップ４１６で受信した患部領域１０２の大きさを示す情報を含む画像データを所定時間表示する。ここでは、表示装置２２３は図７に示す重畳画像７０１乃至７０３のいずれかを表示し、所定時間経後にステップ４１８の処理に移行する。

ステップ４１８において、値が入力されていない患部領域情報の有無を判定する。ここで患部領域情報とは、患部の部位を示す情報、および、前述したＤＥＳＩＧＮ−Ｒ（登録商標）の各評価項目の評価値を指す。Ｓｉｚｅに関する評価項目の評価値については、ステップ４１６で受信した大きさを示す情報に基づいて、自動的に入力される。

ステップ４１８において値が入力されていない患部領域情報がある場合はステップ４１９に移行し、全ての患部領域情報が入力されていれば、ステップ４０２に戻りライブビューを再開する。

ステップ４１９において、システム制御回路２２０は、表示装置２２３に患部領域情報の入力を促すユーザインターフェースを表示する。

ステップ４２０において、ユーザによって患部領域情報が入力されると、ステップ４１８に戻る。

図８はステップ４１９およびステップ４２０において、患部領域情報をユーザに入力させる方法を説明するための図である。

図８（ａ）は患部領域情報のうち、患部領域の部位の入力を促す表示である。

表示装置２２３に患部領域の部位、Ｈｅａｄ（頭）、Ｓｈｏｕｌｄｅｒ（肩）、Ａｒｍ（腕）、Ｂａｃｋ（背）、Ｗａｉｓｔ（腰）、Ｈｉｐ（尻）、Ｌｅｇ（脚）を指定するための部位選択項目８０１が表示される。なお、この部位選択項目８０１の一番下には、患部領域情報の入力を完了するための項目があり、これを選択することで、患部領域情報の一部が未入力であっても、患部領域情報の入力作業を終了することができる。

ユーザは操作部材２２４を操作することで、撮影した患部領域が存在する部位を指定することができる。ユーザによって選択された項目は枠線８０２で囲まれて表示される。図８（ａ）ではＨｉｐ（尻）が選択された様子を示している。部位選択項目８０１が示す１つの部位に、２つ以上の患部領域が存在することもあるため、さらに、Ｈｉｐ１、Ｈｉｐ２、Ｈｉｐ３と、さらに複数の項目を選択できるようにしてもよい。

図８（ｂ）は図８（ａ）で患部領域が存在する部位を選択した後、選択した部位でよいかどうかをユーザに確認するための表示である。ユーザ操作によって選択した部位でよいことが確認されると、表示装置２２３は図８（ｃ）に示す画面の表示を行う。

図８（ｃ）は患部領域情報のうち、ＤＥＳＩＧＮ−Ｒ（登録商標）の各評価項目の評価値の入力を促す表示である。

画面左側には評価項目選択部８０４が表示される。Ｄ（深さ：Ｄｅｐｔｈ）、Ｅ（滲出液：Ｅｘｕｄａｔｅ）、Ｓ（大きさ：Ｓｉｚｅ）、Ｉ（炎症・感染：Ｉｎｆｌａｍｍａｔｉｏｎ／Ｉｎｆｅｃｔｉｏｎ）、Ｇ（肉芽組織：Ｇｒａｎｕｌａｔｉｏｎ）、Ｎ（壊死組織：Ｎｅｃｒｏｔｉｃ ｔｉｓｓｕｅ）、Ｐ（ポケット：Ｐｏｃｋｅｔ）の各項目と、各々の項目が入力されたかどうかを示す情報が、患部領域の画像とともに表示される。図８（ｃ）では、画像から解析済みであるＳ（大きさ：Ｓｉｚｅ）については評価値「ｓ９」が表示され、それ以外の評価項目については未確認であることを示す「ｎｏｎ」が表示されている。Ｓ（大きさ：Ｓｉｚｅ）の項目が網掛け表示となっているのは、この項目が入力済であることを示している。

ユーザは操作部材２２４を操作することで評価項目を指定することができ、選択された評価項目（ここではＤ（深さ：Ｄｅｐｔｈ））は枠線８０５で囲まれて表示される。

このとき、画面下部には重症度選択部８０６として画面左側で選択された評価項目の重症度の評価値が重畳表示される。図８（ｃ）では、Ｄ（深さ：Ｄｅｐｔｈ）の重症度を示す評価値であるｄ０、ｄ１、ｄ２、Ｄ３、Ｄ４、Ｄ５、ＤＵが表示されている。

ユーザは操作部材２２４を操作していずれかの評価値を選択することができ、選択された評価値は枠線８０７で囲まれて表示されるとともに、その評価値の説明文８０８（評価項目Ｄｅｐｔｈ、重症度ｄ２の説明：真皮までの損傷）が表示される。なお、ユーザが文字列を入力することで、評価値の入力を行うようにしてもよい。

図８（ｄ）は、図８（ｃ）で評価値を選択した後、選択した評価値でよいかどうか、ユーザに問い合わせるための確認通知８０９を示す。

ユーザが操作部材２２４で、選択した評価値で問題ないことを選択すると、図８（ｅ）に示す表示に画面が遷移する。

図８（ｅ）は、評価値が入力されたことによって、Ｄ（深さ：Ｄｅｐｔｈ）の評価項目８１０の表示が「ｎｏｎ」から「ｄ２」に変わるとともに、評価項目８１０が網掛け表示となる。

同様に未入力の評価項目がなくなるまで、Ｅ（滲出液：Ｅｘｕｄａｔｅ）、Ｉ（炎症・感染：Ｉｎｆｌａｍｍａｔｉｏｎ／Ｉｎｆｅｃｔｉｏｎ）、Ｇ（肉芽組織：Ｇｒａｎｕｌａｔｉｏｎ）、Ｎ（壊死組織：Ｎｅｃｒｏｔｉｃ ｔｉｓｓｕｅ）、Ｐ（ポケット：Ｐｏｃｋｅｔ）について、ユーザに評価値の入力を促す表示がされる。

全ての評価項目の評価値が入力されると、患部領域情報の入力が完了した旨をユーザに通知した後、ステップ４０２に戻り、ライブビュー処理を開始する。

このように、第１の実施形態ではステップ４１８〜ステップ４２０の処理において、患部撮領域の影後、自動解析されなかった評価項目の評価値や患部領域の部位の情報の入力を促す表示を行い、ユーザに患部領域情報を入力させる機能を備える。このようにすることで、従来、別の媒体で入力していた患部領域情報を撮像装置のみで入力することが可能となる。

また次の患部を撮影する前に患部領域情報が全て入力したかどうか判定し、未入力の評価項目の入力を順次促すことで、患部領域情報の入力漏れを防ぐことが可能となる。

なお、第１の実施形態に係る操作部材２２４は、音声認識による入力手段を用いてもよい。

また、図８（ａ）では患部部位入力時、部位を「Ｈｅａｄ」「Ｓｈｏｕｌｄｅｒ」などの文字で項目表示し、選択した。これに対し、図８（ｆ）に示すように、表示装置２２３に人体モデル８１１を表示し、表示装置２２３に設けられたタッチセンサで、ユーザに患部領域の部位を指定させるように構成してもよい。

また、その際、図８（ｇ）に示すように、人体モデル８１１を拡大、縮小、あるいは、回転させることにより、より患部領域の部位を選択しやすくするように構成してもよい。

また、図８（ｅ）では、評価値の入力が完了した評価項目であることを示す手段として網掛け表示を用いたが、文字の輝度を落としても、反転表示してもよく、ユーザに明示できるのであれば、これらの表示方法に制限されるものではない。

また、本実施例では入力可能な褥瘡の評価指標としてＤＥＳＩＧＮ−Ｒ（登録商標）を用いているが、これに限定されるものではない。Ｂａｔｅｓ−Ｊｅｎｓｅｎ Ｗｏｕｎｄ Ａｓｓｅｓｓｍｅｎｔ Ｔｏｏｌ（ＢＷＡＴ）、Ｐｒｅｓｓｕｒｅ Ｕｌｃｅｒ Ｓｃａｌｅ ｆｏｒ Ｈｅａｌｉｎｇ（ＰＵＳＨ）、Ｐｒｅｓｓｕｒｅ Ｓｏｒｅ Ｓｔａｔｕｓ Ｔｏｏｌ（ＰＳＳＴ）などの、他の評価指標を用いてもよい。すなわち、褥瘡の領域の抽出結果と、抽出した領域の大きさの情報が得られたことに応じて、これらＢＷＡＴ、ＰＵＳＨ、ＰＳＳＴなどにおける評価項目を入力するためのユーザインターフェースを表示するようにしてもよい。

また、本実施例では褥瘡の評価項目の評価値の入力を目的とした構成の例を挙げて説明を行っているが、視覚的な評価項目であれば、他の皮膚疾患における評価項目の評価値でもよい。例えばアトピー性皮膚炎におけるＳｅｖｅｒｉｔｙ Ｓｃｏｒｉｎｇ ｏｆ Ａｔｏｐｉｃ Ｄｅｒｍａｔｉｔｉｓ（ＳＣＯＲＡＤ）、や乾癬におけるＢｏｄｙ Ｓｕｒｆａｃｅ Ａｒｅａ、Ｐｓｏｒｉａｓｉｓ Ａｒｅａ ａｎｄ Ｓｅｖｅｒｉｔｙ Ｉｎｄｅｘ（ＰＡＳＩ）等がある。

このように、本実施形態によれば、ユーザが撮像装置２００で患部領域１０２を撮像することにより、撮像装置２００の表示装置２２３に患部領域の大きさを示す情報が表示される画像処理システムを提供することができる。そのため、褥瘡の患部領域の大きさの評価を医療関係者の負荷、および、評価をされる患者側の負荷を軽減することができる。また、患部領域の大きさの算出をプログラムに基づいて実行することで、医療関係者が手動で計測する場合に比べて個人差を抑制することができ、褥瘡の大きさの評価の正確性を向上することができる。また、褥瘡の規模をより的確に表すため評価値としての患部面積を算出して表示することができる。

なお、ライブビュー表示の際に、ユーザが患部領域の推定エリアが妥当であるかを確認する機能は必須ではないため、ステップ４０６、ステップ４０７、および、ステップ４４１乃至ステップ４４５を省略する構成とすることも可能である。

また、画像処理装置３００は、患部領域１０２の抽出結果を示す情報、患部領域１０２の大きさを示す情報、および、これらの情報を重畳した重畳画像の画像データを記憶装置３１２に記憶するようにしてもよい。そして、出力装置３１４は、接続されたディスプレイなどの出力機器に、記憶装置３１２に記憶したいずれか１つ以上の情報、あるいは、画像データを出力することができる。ディスプレイに重畳画像を表示することで、患部領域１０２を撮影するユーザとは別のユーザが、リアルタイムで、あるいは、過去に得られた患部領域１０２の画像と大きさを示す情報を得ることができるようになる。画像処理装置３００の演算装置３１１は、出力装置３１４からディスプレイに送信する画像データに対して、任意に位置および角度を変更するスケールバーなどを表示する機能を設けてもよい。このようなスケールバーを表示することで、ディスプレイを見ているユーザが患部領域１０２の任意の箇所の長さを計測することが可能となる。このスケールバーのメモリの幅は、ステップ４５１で受信した距離情報、ズーム倍率の情報、およびリサイズ処理された画像データのサイズ（ピクセル数）の情報などに基づいて自動調整されることが望ましい。

画像処理装置３００を、据え置き側で常時電源が供給された状態で用いれば、バッテリー切れになる心配がなく、いつでも任意のタイミングで患部領域１０２の画像と大きさを示す情報を得ることができる。また、一般的に据え置き型デバイスである画像処理装置３００は記憶容量が多いため、多数の画像データを保存することができる。

また、本実施形態によれば、ユーザが撮像装置２００で患部領域１０２を撮像した際に、画像を画像解析することよって得られる情報とは別の、患部領域１０２に関する情報を、ユーザが入力し、記録することができる。そのため、後ほど、撮影された画像データを見ながら、電子カルテや紙媒体に患部領域の評価を入力する手間が不要となる。さらに、未入力の項目がわかるようにユーザに提示することによって、ユーザが患部領域を撮影した際に、これらの情報の入力を忘れてしまうことを抑制することが可能になる。

（第２の実施形態）
第１の実施形態に係る画像処理システムでは、画像処理装置３００が、患部領域の抽出結果を示す情報および患部領域の大きさを示す情報を、画像データに重畳する処理を行った。これに対し、第２の実施形態に係る画像処理システムでは、撮像装置２００の画像処理回路２１７が、患部領域の抽出結果を示す情報および患部領域の大きさを示す情報を画像データに重畳する処理を行う。

図９は、第２の実施形態に係る画像処理システム１の動作を示すワークフロー図である。

図９には、図４に示すワークフローのうち、画像処理装置３００によるステップ４４４およびステップ４５５の重畳処理が無く、代わりに、撮像装置２００によるステップ９０１およびステップ９０２の重畳処理が追加されている。なお、図９に記載されたステップのうち、図４に示すステップと同じ番号が付与されたステップは、図４の対応するステップと同様の処理を行う。

本実施形態では、撮像装置２００が重畳画像を生成するため、ステップ４４５およびステップ４５６において、画像処理装置３００から撮像装置２００へ送るデータはカラースケールの画像データである必要はない。画像処理装置３００は、画像データは送信せずに、推定された患部領域の大きさを示すメタデータおよび患部領域の位置を表すデータを送信することになるので、通信トラフィックを軽減し、通信を高速化することができる。推定された患部領域の位置を表すデータはよりサイズの軽いベクター形式のデータである。なお、２値のラスター形式のデータであってもよい。

また、撮像装置２００は、ステップ４０７あるいはステップ４１６で画像処理装置３００から推定された患部領域の大きさを示すメタデータおよび患部領域の位置を表すデータを受信すると、ステップ９０１またはステップ９０２において、重畳画像を生成する。

具体的には、ステップ９０１において、撮像装置２００の画像処理回路２１７は、図４のステップ４４４で説明した方法で、重畳画像を生成する。推定された患部領域の大きさおよび位置を表す情報を重畳する画像データは、ステップ４０６で撮像装置２００から画像処理装置３００に送信した画像データでもよいし、ライブビュー用の画像として表示に用いられている最新のフレームの画像データでもよい。

また、ステップ９０２において、撮像装置２００の画像処理回路２１７は、図４のステップ４５５で説明した方法で、重畳画像を生成する。推定された患部領域の大きさおよび位置を表す情報を重畳する画像データは、ステップ４１５で撮像装置２００から画像処理装置３００に送信した画像データである。

このように、本実施形態によれば、第１の実施形態に比べて、画像処理装置３００から撮像装置２００へ送るデータを軽減することができるため、撮像装置２００と画像処理装置３００の間の通信トラフィックを軽減し、通信を高速化することができる。

（第３の実施形態）
図１０は、第３の実施形態に係る画像処理システム１１の概要を示す図である。図１０に示す画像処理システム１１は、第１および第２の実施形態で説明した撮像装置２００および画像処理装置３００に加えて、Ｗｅｂアクセスが可能な電子機器である端末装置１０００を有している。端末装置１０００は、例えばタブレット端末で構成され、Ｗｅｂブラウザの機能を有し、Ｗｅｂサーバーへのアクセスと取得したＨＴＭＬファイルの表示をすることができる。なお、端末装置１０００はタブレット端末に限らず、Ｗｅｂブラウザ、あるいは、専用のアプリケーションソフトにて画像を表示できるデバイスならばよく、例えばスマートフォンやパーソナルコンピュータであってもよい。ここで、撮像装置２００と端末装置１０００が別の装置であるものとして説明を行うが、これらを単一の装置としてもよい。端末装置１０００がカメラ機能付きのスマートフォンやタブレット端末であれば、端末装置１０００が撮像装置２００の役割を果たすことも可能である。

画像処理装置３００の演算装置３１１は、第１および第２の実施形態で説明した処理に加え、画像データから被写体を識別する処理を行う。さらに、この演算装置３１１は、推定された患部領域の大きさおよび位置に関する情報と、患部領域の画像データを、識別した被写体ごとに記憶装置３１２に記憶させる処理を実行する。端末装置１０００は、画像処理装置３００の記憶装置３１２に記憶された、被写体に紐づいた推定された患部領域の大きさを示す情報と患部領域の画像データを、Ｗｅｂブラウザ、あるいは、専用のアプリケーションソフトを用いることでユーザに確認させることができる。ここでは、Ｗｅｂブラウザを用いてユーザに画像データを確認させるものとして説明を行う。

なお、画像データから被写体を識別する機能、識別した被写体ごとに患部領域の情報あるいは画像データを記憶する機能、あるいは、Ｗｅｂサービスの処理を行う機能は、本実施形態では画像処理装置３００が実施するものとするが、これに限られない。これらの機能の一部または全ては、画像処理装置３００とは別のネットワーク上のコンピュータによって実現されてもよい。

図１０において、被写体１０１には被写体を識別する情報としてバーコードタグ１０３が付帯しており、撮影した患部領域１０２の画像データと、バーコードタグ１０３が示す被写体のＩＤとを紐づけることができる。なお、被写体を識別するタグはバーコードタグに限ったものではなく、ＱＲコード（登録商標）などの２次元コードや数値であってもよい。あるいは、被写体を識別するタグとしてテキストを記載してタグを用いて、画像処理装置３００に搭載されたＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ／Ｒｅａｄｅｒ）機能で読み取るようにしてもよい。

画像処理装置３００の演算装置３１１は、撮影された画像データに含まれるバーコードタグを解析して得られたＩＤと、予め記憶装置３１２に登録されている被写体ＩＤを照合し、被写体１０１の名前を取得する。なお、ＩＤの解析を撮像装置２００が行い、得られたＩＤを画像処理装置３００に送信する構成としてもよい。

演算装置３１１は、患部領域１０２の画像データ、被写体の患部領域１０２の大きさを示す情報、被写体ＩＤと、取得した被写体の名前、および、撮影日時などに基づくレコードを生成し、記憶装置３１２のデータベースに登録する。

さらに、演算装置３１１は、端末装置１０００からのリクエストに反応して、記憶装置３１２のデータベースに登録された情報を返送する。

図１１は、第３の実施形態に係る画像処理システム１１の動作を示すワークフロー図である。図１１に記載されたステップのうち、図４に示すステップと同じ番号が付与されたステップは、図４の対応するステップと同様の処理を行う。

図１１において、撮像装置２００は、画像処理装置３００との接続がなされると、ステップ１１０１において、表示装置２２３にユーザにバーコードタグ１０３の撮影を行わせる旨の指示を表示し、ユーザのレリーズ操作に応じてバーコードタグ１０３の撮影を行う。それからステップ４０２に進む。バーコートタグ１０３には患者を識別する患者ＩＤの情報が含まれる。バーコードタグ１０３を撮影した後に患部領域１０２の撮影をすることで、撮影日時などで撮影順序を管理し、１つのバーコードタグの画像から次のバーコードタグの画像の手前までが、同一被写体の画像として被写体ＩＤにより識別される。勿論、患部領域１０２を撮影した後に、バーコードタグ１０３を撮影する順序とすることも可能である。

ステップ４１０において、システム制御回路２２０が、レリーズボタンが押されたことを検知し、ステップ４１１乃至ステップ４１４を経て、ステップ４１５において通信装置２１９が画像データと、距離情報を含む１以上の情報を、無線通信により画像処理装置３００に送信する。このステップ４１５で送信される画像データには、患部領域１０２を撮影した画像データに加えて、Ｓ１００１でバーコードタグ１０３を撮影した画像データが含まれる。

画像処理装置３００は、ステップ４５５において重畳画像の画像データを生成し、ステップ１１１１に進む。

ステップ１１１１において、演算装置３１１は、Ｓ１００１で撮影したバーコードタグ１０３の画像データに含まれる１次元バーコード（不図示）を読み取り、被写体を識別する被写体ＩＤを読み取る処理を行う。

ステップ１１１２において、読み取った被写体ＩＤと、記憶装置３１２に登録されている被写体ＩＤの照合を行う。

ステップ１１１３において、被写体ＩＤの照合に成功した場合は、記憶装置３１２のデータベースに登録された患者の名前、および、過去の患部領域情報を取得する。ここでは、直近に記憶された患部領域情報を取得するものとする。

ステップ４５６において、画像処理装置３００の通信装置３１３が、抽出した患部領域１０２の抽出結果を示す情報、患部領域１０２の大きさを示す情報、および、記憶装置３１２から取得した過去の患部領域情報を撮像装置２００に出力する。

ステップ４１６で、撮像装置２００の通信装置２１９は、画像処理装置３００から送信されてきた画像データおよび患部領域情報を受信する。

ステップ４１７において、表示装置２２３がステップ４１６で受信した患部領域１０２の大きさを示す情報を含む画像データを所定時間表示する。

ステップ４１８において、値が入力されていない患部領域情報の有無を判定する。

ステップ４１８において値が入力されていない患部領域情報がある場合はステップ１１０２に移行し、全ての患部領域情報が入力されていれば、ステップ１１０４に進む。

ステップ１１０２において、システム制御回路２２０は、過去の患部領域情報も用いて、表示装置２２３に患部領域情報の入力を促すユーザインターフェースを表示する。

図１２は、過去に取得した患部領域情報を表示する方法を説明するための図である。図１２（ａ）では、過去に評価項目の評価値が入力された部位については、画面左側の部位選択項目１１０１に表示される項目１１０２の文字サイズが大きく表示される。図１２（ａ）では、Ｂａｃｋ（背）とＨｉｐ（尻）において、過去に患部領域の評価項目の評価値が入力されたことを示している。

ステップ４２０においてユーザによって患部領域の情報が入力されると、ステップ１１０３において、過去の評価項目の評価値と比較し、症状が良化したか、悪化したかを判別できる表示を行う。

図１２（ｂ）では、評価項目選択部１１０３が３列表記となり、左から、評価項目名、過去の評価値、現在の評価値の順で表示される。

また、ここでは、現在と過去の評価値を比較して、症状が良化したと判定できる項目は緑色の評価値が表示され、悪化したと判定できる項目は赤色の評価値が表示される。

全ての評価項目の評価値が入力されると、患部領域情報の入力が完了した旨をユーザに通知した後、ステップ１１０４に進む。

ステップ１１０４において、一連の各評価項目の評価値が入力された患部領域情報や画像データを画像処理装置３００に無線通信により出力し、ステップ４０２に戻る。

ステップ１１１４において、画像処理装置３００は、撮像装置２００から送信された患部領域情報や画像データを受信する。

ステップ１１１５において、演算装置３１１は、患部領域を撮影した画像データ、患部領域１０２の部位の情報、患部領域１０２の各評価項目の評価値、被写体ＩＤ、取得した被写体の名前、および、撮影日時になどに基づくレコードを作成する。さらに、演算装置３１１は、作成したレコードを記憶装置３１２のデータベースに登録する。

ステップ１１１６において、演算装置３１１は、端末装置１０００からの要求に反応し、記憶装置３１２のデータベースに登録された情報を端末装置１０００に送信する。

ここで、端末装置１０００のブラウザの表示の一例を、図１３と図１４を用いて説明する。

図１３は、端末装置１０００のブラウザに表示されるデータ選択画面の一例を説明するための図である。データ選択画面１３０１は、日付１３０２ごとに仕切り線１３０３で仕切られ、それぞれの日付の領域には撮像時間１３０４ごとにアイコン１３０５が表示されている。アイコン１３０５には、被写体ＩＤと被写体の名前が表示されており、アイコン１３０５は同じ時間帯に撮影された同一の被写体のデータセットを表している。また、データ選択画面１３０１には検索窓１３０６が設けられ、検索窓１３０６に日付、被写体ＩＤ、または被写体の名前を入力することで、データセットを検索することができる。さらに、スクロールバー１３０７を操作することで、限られた表示領域において複数のデータを拡張して表示することができる。端末装置１０００のブラウザのユーザは、アイコン１３０５を選択してクリックすることで、ブラウザがデータ閲覧画面に遷移し、そのデータセットの画像、および、被写体の大きさを示す情報を閲覧することができる。すなわち、画像処理装置３００には、端末装置１０００において指定された被写体および日時を示す要求が端末装置１０００から送信される。そして、画像処理装置３００は、この要求に対応する画像データ、および、被写体の大きさを示す情報を端末装置１０００に送信する。

図１４は、端末装置１０００のブラウザに表示されるデータ一覧画面の一例を説明するための図である。データ閲覧画面１４０１には、データ選択画面１３０１で選択したデータセットの被写体ＩＤおよび被写体の名前１４０２と、撮影日時および時間１４０３が表示されている。さらに、１回の撮影ごとに画像データに基づく画像１４０４と、この画像１４０４における患部領域情報に基づくデータ１４０５が表示される。さらに、同一の被写体の患部領域を連続して複数撮影した場合の、撮影番号が番号１４０６に示されている。画面右端のスライダ１４０７を移動させることで、同一の被写体ＩＤの、他の撮影日時の画像データおよび患部領域情報に基づくデータを表示させることができる。また、設定を変更することで、複数の撮影日時のおよび患部領域情報に基づくデータを表示させることもでき、こうすることで、患部領域の症状の変化を比べることが容易となる。

なお、図１４では、患部領域の撮像を行ってから、被写体ＩＤの照合や、患部領域が存在する部位の選択をユーザに行わせる処理を行ったが、これらを先に行うようにしてもよい。

図１５は、第３の実施形態に係る画像処理システム１１の動作の変形例を示すワークフロー図である。図１５に記載されたステップのうち、図１１に示すステップと同じ番号が付与されたステップは、図１１の対応するステップと同様の処理を行う。

ステップ１１０１において、バーコードタグ１０３の撮影を行うと、ステップ１５０１において、通信装置２１９がバーコードタグ１０３を撮影した画像データを画像処理装置３００に送信する。

ステップ１５１１において、画像処理装置の通信装置３１３が、撮像装置２００から送信されたバーコードタグ１０３を撮影した画像データを受信する。

ステップ１５１２において、演算装置３１１は、受信したバーコードタグ１０３の画像データに含まれる１次元バーコードを読み取り、被写体を識別する被写体ＩＤを読み取る処理を行う。

ステップ１５１３において、読み取った被写体ＩＤと、記憶装置３１２に登録されている被写体ＩＤの照合を行う。

ステップ１５１４において、被写体ＩＤの照合に成功した場合は、記憶装置３１２のデータベースに登録された患者の名前を取得する。もし、照合に失敗した場合には、その旨を患者の名前の代わりに取得する。

ステップ１５１５において、画像処理装置の通信装置３１３が、患者の名前、もしくは、被写体ＩＤの照合に失敗した旨を示す情報を撮像装置２００に送信する。

ステップ１５０２において、撮像装置２００の通信装置２１９が、画像処理装置３００から送信された患者の名前を受信する。

ステップ１５０３において、システム制御回路２２０は、表示装置２２３に患者の名前を表示する。

ステップ１５０４において、システム制御回路２２０は、表示装置２２３に患者の名前を表示する。ここで、ユーザに患者の名前が正しいかを確認するための入力を行わせても良く、もし患者の名前が正しくない場合、あるいは、患者の名前の照合に失敗していた場合には、ステップ１１０１に戻るようにしてもよい。患部領域の画像を撮影する前に、患者の名前を表示することで、後で取得する患部領域の画像データや患部領域情報と、被写体ＩＤとが、誤って関連付けられることを予防することができる。

ステップ１５０５において、システム制御回路２２０は、表示装置２２３に患部領域情報のうち、患部領域が存在する部位の情報の入力を促すユーザインターフェースを表示する。これは、第１の実施形態における図８（ａ）および図８（ｂ）と同様に、患部領域の部位、Ｈｅａｄ（頭）、Ｓｈｏｕｌｄｅｒ（肩）、Ａｒｍ（腕）、Ｂａｃｋ（背）、Ｗａｉｓｔ（腰）、Ｈｉｐ（尻）、Ｌｅｇ（脚）を指定するための部位選択項目８０１を表示し、ユーザに選択させる。

ステップ１５０６において、ユーザによって患部領域の情報が入力されると、ステップ４０２に進む。このように、これから撮影しようとする患部領域の部位の情報を選択させてから、患部領域の撮影を行う処理に進むことで、患部領域の部位の情報を誤って選択することを予防することができる。

なお、ステップ１５１３にて被写体ＩＤの照合を行っているため、画像処理装置３００は、患部領域を含む画像データを取得した後に被写体ＩＤの照合を行う必要はない。また、ステップ１５０６にて患部領域の部位の情報を入力しているため、患部領域を含む画像データを取得した後のステップ１５０７およびステップ１５０８では、患部領域の部位の情報の入力は不要であり、各評価項目の評価値の入力のみを行えばよい。

このように本実施形態に係る画像処理システム１１では、患部領域１０２の画像データとその解析結果を、被写体ごとに識別して記憶することができ、かつ、各評価項目が良化したか、悪化したかがユーザの手元にある撮像装置のみで確認することが可能となる。そのため、過去に登録された患部の管理情報を手元の撮像装置のみで患部撮影直後に確認することが可能となる。また、現時点で確認した重症度を直近の管理情報と比較して表示することで、症状が良化しているか、悪化しているかが一目で確認可能となる。

また、ユーザはタブレット端末などの端末装置１０００から、Ｗｅｂブラウザや専用のアプリケーションを用いて、被写体ＩＤや被写体の名前と関連付けて、患部領域１０２の画像データの解析結果を確認することができる。

なお、上述したいずれの実施形態においても、撮像装置２００に補助演算装置３１７に相当する回路を搭載することにより、図４、図９および図１１に示すワークフローと同様の効果を得るための処理を、撮像装置２００単体で行うようにすることが可能となる。この場合、撮像装置２００のみで、上述した撮像装置２００と画像処理装置３００からなる画像処理システムと同様の効果を得ることが可能となる。外部のコンピュータにて生成された新たな学習済モデルを受け取ることで、患部領域の推論処理の精度を向上させたり、新たな種類の患部領域の抽出をしたりすることが可能となる。

（他の実施形態）
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１、１１ 画像処理システム
２００ 撮像装置
２１１ 撮像ユニット
２１６ 測距システム
２１７ 画像処理回路
２１８ ＡＦ制御回路
２１９ 通信装置
２２３ 表示装置
３００ 画像処理装置
３１１ 演算装置
３１２ 記憶装置
３１３ 通信装置
３１４ 出力装置
３１７ 補助演算装置
１０００ 端末装置

Claims (60)

1. 撮像装置と画像処理装置からなる画像処理システムであって、
   前記撮像装置は、
   被写体からの光を受光して画像データを生成する撮像手段と、
   前記画像データを通信ネットワークに出力する第１の通信手段と、
   前記撮像手段で生成された画像データに基づく画像を表示する表示手段を有し、
   前記画像処理装置は、
   前記通信ネットワークを介して、前記画像データを取得する第２の通信手段と、
   前記画像データから前記被写体の所定の領域を抽出する演算手段を有し、
   前記第２の通信手段は、前記演算手段で抽出した前記所定の領域の抽出結果を示す情報を、前記通信ネットワークに出力し、
   前記第１の通信手段は、前記通信ネットワークを介して、前記所定の領域の抽出結果を示す情報を取得し、
   前記表示手段は、前記所定の領域の抽出結果を示す情報に基づく表示を行うことを特徴とする画像処理システム。
2. 前記表示手段は、前記所定の領域の抽出結果が重畳された、前記演算手段が前記所定の領域の抽出を行う際に用いた画像データに基づく画像を表示することを特徴とする請求項１に記載の画像処理システム。
3. 前記表示手段は、前記所定の領域の抽出結果が重畳された、前記撮像手段にて生成されたライブビュー画像を表示することを特徴とする請求項１に記載の画像処理システム。
4. 前記演算手段は、前記画像データから抽出した前記所定の領域の大きさを示す情報を生成し、
   前記第２の通信手段は、前記演算手段が生成した前記大きさを示す情報を、前記通信ネットワークに出力することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。
5. 前記撮像装置は、前記撮像装置から前記被写体までの距離に関する距離情報を生成する生成手段を有し、
   前記第１の通信手段は、前記距離情報を前記通信ネットワークに出力し、
   前記第２の通信手段は、前記通信ネットワークを介して、前記距離情報を取得し、
   前記演算手段は、前記距離情報に基づいて、前記所定の領域の大きさを示す情報を生成することを特徴とする請求項４に記載の画像処理システム。
6. 前記表示手段は、前記所定の領域の抽出結果を示す情報と前記大きさを示す情報に基づく表示を行うことを特徴とする請求項４または５に記載の画像処理システム。
7. 前記所定の領域の大きさを示す情報は、前記所定の領域の少なくとも２つの方向における長さ、前記所定の領域の面積、前記所定の領域に外接する矩形の領域の面積、および、前記所定の領域の大きさを測定するためのスケールバーの、少なくとも１つであることを特徴とする請求項４乃至６のいずれか１項に記載の画像処理システム。
8. 前記演算手段は、前記所定の領域の前記画像データ上のサイズを、前記画像データの画角もしくは画素の大きさを示す情報、および、前記距離情報に基づいて変換することで、前記所定の領域の大きさを示す情報を生成することを特徴とする請求項７に記載の画像処理システム。
9. 前記演算手段は、前記所定の領域の大きさを示す情報を、前記所定の領域を有する被写体ごとに識別して記憶手段に記憶させることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理システム。
10. 前記演算手段は、前記所定の領域の大きさを示す情報を、前記所定の領域を有する被写体、および、前記所定の領域の抽出を行う際に用いた前記画像データが生成された日時に基づいて識別して、前記記憶手段に記憶させることを特徴とする請求項９に記載の画像処理システム。
11. 前記演算手段は、外部の端末装置からのリクエストに対し、前記リクエストにおいて指定された被写体に対応する前記所定の領域の大きさを示す情報を、前記端末装置に送信することを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記第２の通信手段は、さらに、前記通信ネットワークを介して、前記第１の通信手段から出力された、前記被写体を識別するためのコードを含む画像データを取得し、
    前記演算手段は、前記被写体を識別するためのコードを含む画像データから、前記所定の領域を有する被写体を識別する情報を抽出することを特徴とする請求項９乃至１１のいずれか１項に記載の画像処理システム。
13. 前記演算手段は、前記所定の領域の抽出結果を示す情報を、前記表示手段とは別の第２の表示手段に表示させることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理システム。
14. 前記演算手段は、前記第２の表示手段に、前記所定の領域の抽出結果を重畳した画像データに基づく画像と、前記第２の通信手段が取得した前記画像データに基づく画像を、並べて表示させることを特徴とする請求項１３に記載の画像処理システム。
15. 前記表示手段は、前記所定の領域における、予め定められた複数の評価項目の評価値を、ユーザに入力させるための表示を行うことを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理システム。
16. 前記表示手段は、前記所定の領域の抽出結果を取得したことに応じて、前記複数の評価項目の評価値をユーザに入力させることを特徴とする請求項１５に記載の画像処理システム。
17. 前記所定の領域は患部領域であることを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理システム。
18. 被写体からの光を受光して画像データを生成する撮像手段と、
    前記画像データを、通信ネットワークを介して、外部装置に出力する通信手段と、
    前記撮像手段で生成された画像データに基づく画像を表示する表示手段を有し、
    前記通信手段は、前記外部装置から、前記通信ネットワークを介して、前記画像データにおける前記被写体の所定の領域の抽出結果を示す情報を取得し、
    前記表示手段は、前記所定の領域の抽出結果を示す情報に基づく表示を行うことを特徴とする撮像装置。
19. 前記表示手段は、前記所定の領域の抽出結果が重畳された、前記外部装置に出力した画像データに基づく画像を表示することを特徴とする請求項１８に記載の撮像装置。
20. 前記表示手段は、前記所定の領域の抽出結果が重畳された、前記撮像手段にて生成されたライブビュー画像を表示することを特徴とする請求項１８に記載の撮像装置。
21. 前記通信手段は、前記外部装置から、前記通信ネットワークを介して、前記画像データにおける前記所定の領域の大きさを示す情報を取得し、
    前記表示手段は、前記所定の領域の抽出結果を示す情報と、前記大きさを示す情報に基づく表示を行うことを特徴とする請求項１８乃至２０のいずれか１項に記載の撮像装置。
22. 前記撮像装置は、前記撮像装置から前記被写体までの距離に関する距離情報を生成する生成手段を有し、
    前記通信手段は、前記距離情報を、前記通信ネットワークを介して、前記外部装置に出力することを特徴とする請求項２１に記載の撮像装置。
23. 前記所定の領域の大きさを示す情報は、前記所定の領域の少なくとも２つの方向における長さ、前記所定の領域の面積、前記所定の領域に外接する矩形の領域の面積、および、前記所定の領域の大きさを測定するためのスケールバーの、少なくとも１つであることを特徴とする請求項２１または２２に記載の撮像装置。
24. 前記通信手段は、前記所定の領域を有する被写体を識別するための情報を、前記通信ネットワークを介して、前記外部装置に出力することを特徴とする請求項１８乃至２３のいずれか１項に記載の撮像装置。
25. 前記表示手段は、前記所定の領域における、予め定められた複数の評価項目の評価値を、ユーザに入力させるための表示を行うことを特徴とする請求項１８乃至２４のいずれか１項に記載の撮像装置。
26. 前記表示手段は、前記所定の領域の抽出結果を取得したことに応じて、前記複数の評価項目の評価値をユーザに入力させることを特徴とする請求項２５に記載の撮像装置。
27. 前記所定の領域は患部領域であることを特徴とする請求項１８乃至２６のいずれか１項に記載の撮像装置。
28. 撮像装置から、通信ネットワークを介して、画像データと、前記画像データに含まれる被写体に対応する距離情報を取得する通信手段と、
    前記画像データから前記被写体の所定の領域を抽出し、前記距離情報に基づいて、前記所定の領域の大きさを求める演算手段を有し、
    前記通信手段は、前記演算手段で抽出した前記所定の領域の抽出結果を示す情報と、前記大きさを示す情報を、前記通信ネットワークを介して、前記撮像装置に出力することを特徴とする画像処理装置。
29. 前記距離情報は、前記撮像装置から前記被写体までの距離情報であることを特徴とする請求項２８に記載の画像処理装置。
30. 前記演算手段は、表示手段に、前記所定の領域の抽出結果を示す情報、および、前記所定の領域の大きさを示す情報の、少なくともいずれかを重畳した画像データに基づく画像と、前記取得手段が取得した前記画像データに基づく画像を、並べて表示させることを特徴とする請求項２８または２９に記載の画像処理装置。
31. 前記演算手段は、前記所定の領域の前記画像データ上のサイズを、前記画像データの画角もしくは画素の大きさを示す情報、および、前記距離情報に基づいて変換することで、前記所定の領域の大きさを求めることを特徴とする請求項２８乃至３０のいずれか１項に記載の画像処理装置。
32. 前記演算手段は、前記所定の領域の大きさを示す情報を、前記所定の領域を有する被写体ごとに識別して記憶手段に記憶させることを特徴とする請求項２８乃至３１のいずれか１項に記載の画像処理装置。
33. 前記演算手段は、前記所定の領域の大きさを示す情報を、前記所定の領域を有する被写体、および、前記所定の領域の抽出を行う際に用いた前記画像データが生成された日時に基づいて識別して、前記記憶手段に記憶させることを特徴とする請求項３２に記載の画像処理装置。
34. 前記演算手段は、外部の端末装置からのリクエストに対し、前記リクエストにおいて指定された被写体に対応する前記所定の領域の大きさを示す情報を、前記端末装置に送信することを特徴とする請求項３２または３３に記載の画像処理装置。
35. 前記通信手段は、さらに、前記通信ネットワークを介して、前記被写体を識別するためのコードを含む画像データを取得し、
    前記演算手段は、前記被写体を識別するためのコードを含む画像データから、前記所定の領域を有する被写体を識別する情報を抽出することを特徴とする請求項３２乃至３４のいずれか１項に記載の画像処理装置。
36. 前記所定の領域は患部領域であることを特徴とする請求項２８乃至３５のいずれか１項に記載の画像処理装置。
37. 撮像手段、表示手段、および、第１の通信手段を有する撮像装置と、演算手段および第２の通信手段を有する画像処理装置からなる画像処理システムの制御方法であって、
    前記撮像手段が、被写体からの光を受光して画像データを生成する工程と、
    前記第１の通信手段が、前記画像データを通信ネットワークに出力する工程と、
    前記第２の通信手段が、前記通信ネットワークを介して、前記画像データを取得する工程と、
    前記演算手段が、前記画像データから前記被写体の所定の領域を抽出する工程と、
    前記第２の通信手段が、前記所定の領域の抽出結果を示す情報を、前記通信ネットワークに出力する工程と、
    前記第１の通信手段が、前記通信ネットワークを介して、前記所定の領域の抽出結果を示す情報を取得する工程と、
    前記表示手段が、前記所定の領域の抽出結果を示す情報に基づく表示を行う工程と、
    を有することを特徴とする画像処理システムの制御方法。
38. 撮像装置の制御方法において、
    被写体からの光を受光して画像データを生成する工程と、
    前記画像データを、通信ネットワークを介して、外部装置に出力する工程と、
    前記外部装置から、前記通信ネットワークを介して、前記画像データにおける前記被写体の所定の領域の抽出結果を示す情報を取得する工程と、
    表示手段に、前記所定の領域の抽出結果を示す情報に基づく表示を行わせる工程と、
    を有することを特徴とする撮像装置の制御方法。
39. 画像処理装置の制御方法において、
    撮像装置から、通信ネットワークを介して、画像データと、前記画像データに含まれる被写体に対応する距離情報を取得する工程と、
    前記画像データから前記被写体の所定の領域を抽出し、前記距離情報に基づいて、前記所定の領域の大きさを求める工程と、
    前記所定の領域の抽出結果を示す情報と、前記大きさを示す情報を、前記通信ネットワークを介して、前記撮像装置に出力する工程と、
    を有することを特徴とする画像処理装置の制御方法。
40. コンピュータに、請求項３８に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
41. コンピュータに、請求項３９に記載の画像処理装置の制御方法の各工程を実行させるためのプログラム。
42. 被写体からの光を受光して画像データを生成する撮像手段と、
    前記画像データにおける、前記被写体の所定の領域の抽出結果を取得する制御手段と、
    前記被写体の所定の領域における、予め定められた複数の評価項目の評価値を、ユーザに入力させるインターフェース手段と、を有し、
    前記制御手段は、前記入力された複数の評価項目の評価値と、前記画像データを関連付けることを特徴とする撮像装置。
43. 前記インターフェース手段は、前記被写体の所定の領域の抽出結果を取得したことに応じて、前記複数の評価項目の評価値をユーザに入力させることを特徴とする請求項４２に記載の撮像装置。
44. 前記被写体の所定の領域の抽出結果は、前記所定の領域の大きさを示す情報を含むことを特徴とする請求項４２または４３に記載の撮像装置。
45. 前記インターフェース手段は、前記所定の領域が存在する前記被写体の部位の情報をユーザに入力させることを特徴とする請求項４２乃至４４のいずれか１項に記載の撮像装置。
46. 前記インターフェース手段は、前記所定の領域の抽出結果を取得する前に、前記所定の領域が存在する部位の情報をユーザに入力させることを特徴とする請求項４５に記載の撮像装置。
47. 前記インターフェース手段は、前記複数の評価項目のうち、評価値が入力された評価項目と評価値が入力されていない評価項目とを、異なる形態で表示することを特徴とする請求項４２乃至４６に記載の撮像装置。
48. 前記制御手段は、前記所定の領域を有する被写体を識別するための情報を取得し、前記所定の領域が抽出された画像データと、前記複数の評価項目の評価値を、被写体ごとに関連付けることを特徴とする請求項４２乃至４６のいずれか１項に記載の撮像装置。
49. 前記制御手段は、過去に、同一の被写体について関連付けられた前記複数の評価項目の評価値を取得することを特徴とする請求項４８に記載の撮像装置。
50. 前記インターフェース手段は、新たに得られた前記複数の評価項目の評価値と、過去に得られた前記複数の評価項目の評価値を表示することを特徴とする請求項４９に記載の撮像装置。
51. 前記インターフェース手段は、前記所定の領域を有する被写体を識別した結果を表示することを特徴とする請求項４８乃至５０のいずれか１項に記載の撮像装置。
52. 前記撮像手段にて生成された画像データを、通信ネットワークを介して、外部装置である画像処理装置に送り、前記画像処理装置から、前記通信ネットワークを介して、前記画像データから前記所定の領域の抽出結果に関する情報を受け取る通信手段を有することを特徴とする請求項４２乃至５１のいずれか１項に記載の撮像装置。
53. 前記通信手段は、前記通信ネットワークを介して、前記画像データと、前記撮像装置から前記被写体までの距離情報を前記画像処理装置に送信し、前記画像処理装置から、前記通信ネットワークを介して、前記所定の領域の大きさを示す情報を含む前記所定の領域の抽出結果に関する情報を受け取ることを特徴とする請求項５２に記載の撮像装置。
54. 前記所定の領域は患部領域であることを特徴とする請求項４２乃至５３のいずれか１項に記載の撮像装置。
55. 撮像装置の制御方法において、
    被写体からの光を受光して画像データを生成する工程と、
    前記画像データにおける、前記被写体の所定の領域の抽出結果を取得する工程と、
    前記被写体の所定の領域における、予め定められた複数の評価項目の評価値を、ユーザに入力させる工程と、
    前記入力された複数の評価項目の評価値と、前記画像データを関連付ける工程、
    を有することを特徴とする撮像装置の制御方法。
56. コンピュータに、請求項５５に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
57. 通信ネットワークを介して、撮像装置にて生成された画像データ、および、ユーザが前記撮像装置を用いて入力した、前記画像データにおける被写体の患部領域に対する複数の評価項目の評価値を示す情報を取得する通信手段と、
    表示手段に、前記画像データに基づく画像と前記複数の評価項目の評価値を表示させる制御手段と、を有することを特徴とする電子機器。
58. 前記制御手段は、前記表示手段に、前記画像データに基づく画像と前記複数の評価項目の評価値を、前記所定の領域を有する被写体、および、前記所定の領域の抽出を行う際に用いた前記画像データが生成された日時に基づいて識別して表示させることを特徴とする請求項５７に記載の電子機器。
59. 通信ネットワークを介して、撮像装置にて生成された画像データ、および、ユーザが前記撮像装置を用いて入力した、前記画像データにおける被写体の患部領域に対する複数の評価項目の評価値を示す情報を取得する工程と、
    表示手段に、前記画像データに基づく画像と前記複数の評価項目の評価値を表示させる工程と、を有することを特徴とする電子機器の制御方法。
60. コンピュータに、請求項５９に記載の電子機器の制御方法の各工程を実行させるためのプログラム。

Images