JP2019531788A - 自己色調補正による創傷評価のための画像撮影方法及びシステム - Google Patents

Abstract

自己色調補正を用いて撮影画像の色一致性と色に基づく創傷検出の信頼性を向上させる創傷画像撮影方法。本方法は、色較正及び色調補正のために患者自身の身体の複数部分の肌の色合いを用いる。データ登録処理の際に、新たな患者の身体の複数部分を基準画像として撮像し、基準画像の色データを基準色データとしてシステムに登録する。その後の創傷画像撮影及び創傷評価処理の間に患者身体の同じ部分を基準画像として再び撮像し、創傷及びその周囲領域も撮像する。新たに撮影された基準画像の色データを登録基準色データと比較して創傷画像の色調補正を行うために用いる。

Description

本発明は、傷評価の装置及び方法に関し、より具体的には目に見える外傷又は創傷を撮影する方法及びシステムに関する。

多くの種類の創傷、例えば褥瘡では、回復には長い時間がかかる場合がある。創傷の進行を追跡し、適切な処置を行うための最初の段階は、創傷の画像を適切に撮影することである。創傷の色は、創傷評価に有用な情報となる。しかし、問題になるのは、環境光、撮影装置、シャッター速度やアパーチャーの直径などの撮影条件が異なるために、被写体の色が異なるものと感じられたり撮影されたりすることである。上記の要因で生じる色の変動を補正する１つの方法は、分光放射照度計又は分光計を用いることであり、これらは高い精度の結果を提供するが、高価である。別の方法は、色較正用の標準色チェッカー（既知の色見本を持つ板）又は特注の色見本を用いること、つまり創傷の横に置いた色チェッカーと共に創傷画像を撮影することである。この方法はあまり高価ではないが、追加の装置又は色チェッカーを用いるのは、多くの外来診療所環境で、特に、決められた、又は日常的な処置では非常に不便である。

したがって、本発明は、従来技術の限界及び欠点による問題のうちの１つ以上を実質的に防止する創傷画像撮影方法を対象とする。

本発明の目的は、追加の分光測定装置又は色チェッカーを用いることなく、決められた手順又は日常的な手順で撮影された創傷画像の色調補正を提供することである。

本発明のさらなる特徴及び利点を以下の明細書に記載するが、特徴及び利点は部分的には本明細書から明らかとなり、あるいは本発明の実施から分かる場合もある。本発明の目的及び他の利点は、本明細書及び特許請求の範囲、並びに添付の図面で具体的に指摘する構造から理解及び実現される。

具体化され、広範囲にわたって記載されるように、これら及び／又は他の目的を達成するために、本発明は、色画像を用いて患者の創傷を評価する画像撮影装置を含むシステムで実行される方法を提供する。本方法は、初期登録段階中に（ａ）患者の身体の一部である１つ以上の基準領域の１つ以上の第１の画像を撮影する工程、（ｂ）データベース中に１つ以上の第１の画像及び／又は１つ以上の第１の画像の色データを保存する工程、創傷評価段階中に（ｃ）データベースから１つ以上の第１の画像及び／又は１つ以上の第１の画像の色データを読み出す工程、（ｄ）１つ以上の基準領域の１つ以上の第２の画像を撮影する工程、（ｅ）創傷及びその周囲領域を含む第３の画像を撮影する工程、（ｆ）第２の画像の色データを第１の画像の対応する色データと比較して色調補正データを計算し、計算された色調補正データに基づいて第３の画像の色値を補正する工程、及び（ｇ）創傷及びその周囲領域を含む補正された第３の画像を用いて創傷を評価する工程を含む。

好ましくは、工程（ａ）で撮影された１つ以上の第１の画像のそれぞれは、基準領域とともに撮像された色チェッカーを含み、色チェッカーは、既知の色値を持つ複数の色見本を含む物理的対象である。このカラーチェッカーを用いて撮影画像の予備色調補正を行うことができる。

好ましくは、本方法は、初期登録段階中に創傷及びその周辺領域を含む第４の画像を撮影する工程、第４の画像の周囲領域の１つ以上の領域を補助基準領域として指定する工程、及びデータベース内に第４の画像及び第４の画像の指定された補助基準領域の位置を保存する工程をさらに含む。

別の側面では、本発明は、画像撮影装置を制御するために、画像処理装置に上記の方法を実行させるようになっているコンピューター可読プログラムコードを組み込んだコンピューターで使用可能な非一時媒体（例えばメモリー又は記憶装置）を含むコンピュータープログラム製品を提供する。

なお当然のことであるが、上記の一般的記載及び以下の詳細な記載の両方は、例示かつ説明のためのものであり、特許請求される本発明のさらなる説明を提供することを意図している。

例示的な実施形態によるグラフィカル・ユーザー・インターフェースを用いる創傷評価用の撮像装置を示す。 図１の撮像装置の構造を示すハードウェア概略ブロック図である。 本発明の実施形態による創傷画像撮影・色調補正処理を概略的に示す。 図３の処理の様々な工程の詳細を概略的に示す。 図３の処理の様々な工程の詳細を概略的に示す。 図３の処理の様々な工程の詳細を概略的に示す。 図３の処理の様々な工程の詳細を概略的に示す。 図３の処理の様々な工程の詳細を概略的に示す。 図３の処理の様々な工程の詳細を概略的に示す。 図３の処理の様々な工程における撮像装置の例示的な画面を概略的に示す。 図３の処理の様々な工程における撮像装置の例示的な画面を概略的に示す。 図３の処理の様々な工程における撮像装置の例示的な画面を概略的に示す。 図３の処理の様々な工程における撮像装置の例示的な画面を概略的に示す。 図３の処理の様々な工程における撮像装置の例示的な画面を概略的に示す。 図３の処理の様々な工程における撮像装置の例示的な画面を概略的に示す。

図１に、本発明の実施形態によるグラフィカル・ユーザー・インターフェースを用いる創傷評価用の撮像装置１を示す。図２は、撮像装置１の構造を示すハードウェアブロック図である。図１に示すように、装置１は、グラフィカル・ユーザー・インターフェース又は画面１５を含む。グラフィカル・ユーザー・インターフェース１５は、タッチ画面又はパネル１６を前面に含むのが好ましい。装置１は、背面に１つ以上のカメラ１３及び１４も含む。カメラ１３は、二次元カメラの形態であり、カメラ１４は、三次元カメラの形態であるのが好ましい。例えば、撮像装置１は、タブレットコンピューター、例えば三次元画像の撮影及び生成機能を持つ１つ以上のカメラを含むiPhone（登録商標）、iPad（登録商標）、Android使用可能装置、及び／又は他の様々な手持ち式携帯装置であってもよい。図１に示すように、装置１は、ユーザー・インターフェース又は画面１５と外部筐体３０を含むタブレット又はタブレット様装置であってもよい。

筐体内に電気部品が配置されている。電気部品は、装置１の具体的な機能に応じて変わってもよい。しかし、例示の電気部品は、通信インターフェース１７、処理部１１、及びコンピューター実行可能プログラムを保存する記憶部１２を含んでもよい。撮像装置１は、ネットワーク１９経由でデータ処理・記憶サーバー２と通信してもよい。以下に記載する方法は、撮像装置１及び／又はサーバー２に保存され、撮像装置及び／又はサーバーで実行されるコンピューター実行可能プログラムで実装してもよい。

本発明の実施形態は、自己色調補正を用いて撮影した画像の色一致性と色に基づく創傷検出の信頼性を向上させる創傷画像撮影方法を提供する。本方法は、色較正及び色調補正のために患者自身の身体の複数部分の肌の色合いを用いる。新たな患者の肌の色合いをデータ登録処理の際にシステムに登録し、その後の創傷画像撮影及び創傷評価の間に色調補正の基準として用いる。より具体的には、データ登録処理の際に新たな患者の身体の複数部分を基準画像として撮像し、基準画像の色データを基準色データとしてシステム内に登録する。その後の創傷画像撮影及び創傷評価処理の間に患者身体の同じ部分を基準画像として再び撮像し、創傷とその周囲領域も撮像する。新たに撮影した基準画像の色データを登録基準色データと比較して創傷画像の色調補正を行うために用いる。

図３に、本発明の実施形態による創傷画像撮影・色調補正処理を概略的に示す。図４〜図９は、図３の処理の様々な工程の詳細を概略的に示す。

図３に示すように、方法全体としては２つの段階を含む。１回目に行われる創傷を評価のために撮像する（工程Ｓ１０１で“ｙｅｓ”）第１の段階（登録段階。工程Ｓ１０２〜Ｓ１０６）では、患者自身の身体から基準色が取得されてシステム内に登録される。この登録段階は１回だけ行われる。創傷画像が日常的又は決められた処置で撮影される（工程Ｓ１０１で“ｎｏ”）第２の段階（創傷評価段階。工程Ｓ１０７〜Ｓ１１６）は、２回目及びそれ以降に行われ、色調補正には、登録されている基準色が用いられる。

図３に示すように、第１の段階（基準色登録）は、以下の工程を含む。まず、患者の身体の様々な部分で複数の基準画像が標準色チェッカーとともに撮影され、画像中の適切な領域が基準領域として指定される（工程Ｓ１０２）。

基準領域は、（１）日光に直接かつ頻繁に露出しない、（２）健康状態、気分又は身体行動により変化しない肌の色合いを持つ、及び（３）比較的平坦である、複数の身体部分にあることが好ましい。いくつかの例では、基準領域は、腹部、背中、前腕又は上腕の内側等にあってもよい。色チェッカーは、既知の色値を持つ印刷色の色見本配列を持つ板である。基準画像が撮影される際には、色チェッカーは身体面又は身体近くに配置される。画像を撮影するときには、撮像装置のライト（例えば電灯又はフラッシュ）を点けるのが好ましい。

図４に、一実施形態による工程Ｓ１０２の詳細を示す。まず、撮像装置は、基準領域として用いるべき患者身体の１つ以上の部分のユーザー選択を受信する（工程Ｓ２０１）。これは、例えば図１０に示すものなど基準領域として用いるのに典型的に適している身体部分を示す表示を含む身体概略図を撮像装置表面に表示することで行ってもよい。ユーザーは、画像撮影のためにタッチ画面を用いてこれらの部分のうちの１つ以上を選択することができる。

次に、撮像装置はメッセージを表示し、ユーザーは選択した基準領域のうちの１つに対してカメラを動かし、当該領域近くに色チェッカーを配置する（工程Ｓ２０２）。ユーザーは撮影命令を送信し（工程Ｓ２０３）、撮像装置は画像（二次元画像）を撮影する（工程Ｓ２０４）。図１１に、基準領域、ここでは患者の腕１０１の一部にわたって色チェッカー板１０２を配置して撮影した画像を表示する例示画面を概略的に示す。次に、撮像装置は、ユーザー入力を受信し、画像の特定領域を色基準に用いるべき基準領域として指定する（工程Ｓ２０５）。この指定は、タッチ画面を用いてユーザーが行ってもよい。例えば、撮像装置は、ボックスを表示してユーザーがボックスを所望の位置にドラッグできるようにしてもよい。工程Ｓ２０２〜Ｓ２０５は、選択したすべての基準領域の画像を撮影するまで繰り返される（工程Ｓ２０６で“ｎｏ”）。

図８に、別の実施形態による工程Ｓ１０２の詳細を示す。工程Ｓ６０１、Ｓ６０２、Ｓ６０３、及びＳ６０７は、工程Ｓ２０１、Ｓ２０２、Ｓ２０３、及びＳ２０６と同じである。撮像装置は、撮影命令に応答して立体画像を撮影し（工程Ｓ６０４）、立体画像から三次元画像を形成する（工程Ｓ６０５）。次に、撮像装置は、撮影画像中で基準領域として用いるべき領域を選択する（工程Ｓ６０６）。例えば、この工程で撮像装置は、三次元画像を用いて基準領域に適している平坦な領域を検出してもよい。撮像装置は、画像全体で色の均一性も測定して選択した基準領域が均一な色を確実に持つようにしてもよい。

再び図３を参照すると、工程Ｓ１０２の後、評価すべき創傷及び周囲領域の１つ以上の画像が撮影され、周囲領域内の１つ以上のより小さい領域が補助基準領域として指定される（工程Ｓ１０３）。

図５に、一実施形態による工程Ｓ１０３の詳細を示す。まず、撮像装置はメッセージを表示し、ユーザーはカメラを創傷とその周囲領域に対して動かす（工程Ｓ３０１）。撮像装置は、ビューファインダーに映っている被写体の二次元画像を撮影（工程Ｓ３０２）・表示し（工程Ｓ３０３）、ユーザーからの撮影命令を待つ（工程Ｓ３０４）。撮像装置は、撮影命令に応答して創傷及び周囲領域の立体画像を撮影し（工程Ｓ３０５）、三次元画像を形成する（工程Ｓ３０６）。画像の撮影には、撮像装置のライト（例えば電灯又はフラッシュ）を点けるのが好ましい。

次に、撮像装置は、撮影画像中の補助色基準領域として用いるべき周囲領域の１つ以上のより小さい領域を決定する（工程Ｓ３０７）。補助基準領域は平坦であり、創傷の中央部と同一平面上にあるか、当該平面の近くにあるのが好ましい。撮像装置は、三次元画像を用いて周囲領域が創傷と同一平面上にあるか、あるいは当該平面に近いかを判断する。撮像装置は、周辺領域の均一性も測定して選択した各補助基準領域が均一な色を確実に持つようにしてもよい。あるいは、補助基準領域の選択をユーザーが手動で、例えばタッチ画面を用いて（すなわち表示されたボックスをドラッグすることで）行ってもよい（図示せず）。典型的には、身体の頭部からつま先への方向が画像の上から下への方向になるように画像が撮影される。そのような画像の向きで、補助基準領域は創傷の上方又は下方、創傷の左側又は右側、あるいは任意の方向にあってもよい。

図１２に、創傷１０３及び指定した補助基準領域１０４を表示する、工程Ｓ３０７の後の撮像装置の例示画面を概略的に示す。必要であれば、身体の頭部からつま先への方向を示す概略表示１１０を画像上に重ねる。

工程Ｓ１０３では、同じ画像又は別々の画像で創傷とその周囲領域が撮影されてもよい。１つの撮影画像が十分な詳細及び明暗差で創傷及び周囲領域を含むことができる場合には、同じ画像の創傷及び周囲領域を撮影するのが好ましい。さらに、可能であれば３つの領域、すなわち基準領域のうちの１つ、創傷、及びその周囲領域をすべて１つの画像に撮影するのがより好ましい。例えば、患者は腕を創傷に隣接するように動かして、その結果腕の内側を創傷及びその周囲領域ととともに同じ画像に撮影することができる。

再び図３を参照すると、工程Ｓ１０３の後に、撮像装置は、色チェッカーの画像に基づいてすべての撮影画像（基準及び創傷）に対して予備色調補正を行う（工程Ｓ１０４）。より具体的には、カラーバランス（色順応とも呼ばれる）演算を色チェッカーを含む各基準画像に適用して、画像中の色チェッカーの色見本の色値が色チェッカーの対応する色見本の既知の色値にほぼ等しくなるまで、画像の色を調整する。次に、同じカラーバランス（又は複数の基準画像の平均）を他の撮影画像に適用して、色を調整する。フォン・クリース法、ブラッドフォードXYZスケーリング、RGBスケーリングなどを含むがこれらに限定されない任意の好適なカラーバランスアルゴリズムを用いてもよい。

撮像装置は、基準領域及び創傷とその周囲領域の予備色調補正済み画像を色データとともにシステム（サーバー及び／又は撮像装置）に登録する（工程Ｓ１０５）。これは、データベースに（撮像装置内又はサーバーに）上記の予備色調補正済み画像、患者身体の基準領域の位置、補助基準領域の位置、各基準領域と各補助基準領域の平均色値（例えばＲＧＢ。必要に応じて。）、及び工程Ｓ１０４で色チェッカーに基づいて計算されたカラーバランスを保存することを含む。補助基準領域の位置を創傷の中央部及び身体の所定の方向（例えば頭部からつま先への方向）に対する位置として特定することができ、各肢の所定の区域の数などを用いて基準領域の位置を特定してもよい。必要であれば、元の（未補正の）撮影画像も保存することができる。あるいは、基準画像すべてではなくこれらの画像中の基準領域のみの部分画像を保存する。

創傷の撮影画像を用いて創傷評価を行ってもよく、結果をサーバー及び／又は撮像装置に保存してもよい（工程Ｓ１０６。登録段階で必要に応じて）。創傷評価手順は例えば、色及び／又は組織に基づいて創傷を検出すること、創傷の幅、高さ、及び奥行きと、創傷の色を測定することなどを含んでもよい。

日常的又は決められた手順として行われる第２の段階（創傷評価）では、撮像装置は、基準領域の登録基準色データと補助基準領域をシステム（サーバー及び／又は撮像装置）から読み出す（工程Ｓ１０７）。次に、撮像装置はメッセージを表示し、ユーザーはカメラを動かして基準領域に１つずつ狙いを定めて基準領域の画像を撮影する（工程Ｓ１０８）。これらの基準画像で色チェックは必要とされない。

図６に、一実施形態による工程Ｓ１０８の詳細を示す。まず、撮像装置はメッセージを表示し、ユーザーは基準領域のうちの１つに対してカメラを動かす（工程Ｓ４０１）。図１３にこの工程の例示画面を概略的に示す。この例に見るように、画面は基準領域として以前に撮影された身体部分を示す表示を含む身体の概略図（図１０の概略図に類似する）を含んでもよい。次に、撮像装置は、撮影命令に応答して（工程Ｓ４０２）基準領域の二次元画像を撮影する（工程Ｓ４０３）。次に、撮像装置は、登録段階中の工程Ｓ２０５と同様に、ユーザー入力を受信し、画像の特定の領域を色基準に用いるべき基準領域として指定する（工程Ｓ４０４）。工程Ｓ４０１〜Ｓ４０４は、すべての基準領域の画像を撮影するまで繰り返される（工程Ｓ４０５で“ｎｏ”）。次に、撮像装置は、保存したカラーバランス、例えば工程Ｓ１０４で色チェッカーに基づいて計算されたカラーバランスを用いて、新たに撮影された基準画像に対して予備色調補正を行う（工程Ｓ４０６）。

図９に、別の実施形態による工程Ｓ１０８の詳細を示す。工程Ｓ７０１及びＳ７０２は、工程Ｓ４０１及びＳ４０２と同じである。撮像装置は立体画像を撮影し（工程Ｓ７０３）、三次元画像を形成する（工程Ｓ７０４）。次に、撮像装置は、撮影した画像中の基準領域として用いるべき領域を選択する（工程Ｓ７０５）。この工程は、図８の登録段階中の工程Ｓ６０６と同様である。次に、撮像装置は、保存したカラーバランス、例えば工程Ｓ１０４で色チェッカーに基づいて計算されたカラーバランスを用いて、新たに撮影された基準画像に対して予備色調補正を行う（工程Ｓ７０８）。

図３を再び参照すると、基準領域を撮影した後（予備色調補正を含む）、撮像装置は、各基準領域の平均色値を計算して、予備色調補正が行われた、登録された基準色データと比較する（工程Ｓ１０９）。この工程は、新たに撮影された基準領域毎に、新たに撮影された基準領域と、対応する登録基準領域との間の色差値を計算すること、及び計算された色差値を所定の第１の閾値と比較することを含む。

１つの実施例では、色差値は次式を用いて計算される。

式中、Ｒ、Ｇ、及びＢは、新たに撮影された基準領域の赤、緑、及び青の平均値であり、Ｒ０、Ｇ０、Ｂ０は、対応する登録基準領域の赤、緑、及び青の平均値である。上記の計算で、好適なフィルター技術を用いて平均値から離れている色を取り除いてもよい。所定の閾値は、例えばｄＥ＝１０であってもよい（ＲＧＢ値０〜２５５の範囲の場合）。他の色空間、例えばＸＹＺ座標も用いて色差を計算してもよい。

複数の基準領域を処理し、かつ基準領域のすべて又は（閾値を超える）多くの基準領域が第１の閾値を超える色差値を持つ場合、又は基準領域が１つのみ存在し、かつその色差値が第１の閾値を超える場合（工程Ｓ１１０で“ｙｅｓ”）、撮像装置は警告メッセージを表示し、ユーザーは撮像条件、例えば周囲照明、身体部分の位置、撮影装置の設定などを確認する（工程Ｓ１１１）。処理は、工程Ｓ１０８に戻って基準画像を再び撮影する。例えば、この工程で表示されるメッセージに「多くの基準領域の登録基準と撮影した基準の間の色差が高すぎます。周囲照明、装置設定、及び撮影位置を確認し、基準画像を再度撮影してください」と記載してもよい。十分な数の基準領域が第１の閾値以下の色差値を持つまでこの処理を繰り返してもよい。

十分な数の新たに撮影された基準領域が第１の閾値以下の色差値を持っている場合（工程Ｓ１１０で“ｎｏ”）、新たに撮影された基準画像が承認され、創傷及びその周囲領域の１つ以上の画像が撮影される（工程Ｓ１１２）。

図７に、一実施形態による工程Ｓ１１２の詳細を示す。まず、撮像装置はメッセージを表示し、ユーザーはカメラを創傷とその周囲領域に動かす（工程Ｓ５０１）。例えば、この工程で表示されるメッセージに「基準の確認に成功しました。創傷領域に移動して画像を撮影してください」と記載してもよい。工程Ｓ５０２〜Ｓ５０６（図５の登録段階中の工程Ｓ３０２〜Ｓ３０６と同じ）で、立体画像が撮影され、創傷及び周囲領域から三次元画像が形成される。

さらに（必要があれば）、工程Ｓ５０３で二次元画像をビューファインダーに表示する際に、撮像装置は、読み出したデータを用いてビューファインダーに、創傷中央部及び／又は境界の表示と、登録段階に指定された補助基準領域の表示とを重ねて表示してもよい。図１４に、この工程の例示画面を示す。画面に以前に撮影された創傷境界の表示１０５、以前に指定された補助基準領域の表示１０６、以前に撮影された創傷境界に対する頭部からつま先への方向の表示１１１、及びビューファインダーに現在映っている創傷の画像１０７を示す。ユーザーは、視野角を頭部からつま先への方向の表示１１１の位置に合わせるように、又は現在の創傷画像１０７を創傷境界の表示１０５の位置に合わせるように、カメラを動かすか回すことができる。これにより、ユーザーが登録画像と同じ位置及び向きで創傷画像を撮影するように導く一助となる。

画像を撮影した後、撮像装置は、新たに撮影された画像中の創傷を予備的に検出し、登録創傷画像中の創傷境界を新たに撮影された画像中の創傷の位置に合わせるように創傷境界を回転及び変位させる。この位置合わせに基づいて、登録創傷画像の指定された補助基準領域に対応する新たに撮影された創傷画像中の領域が補助基準領域として特定される（工程Ｓ５０７）。さらに、図１５に例示するように（回転及び変位後の）登録創傷１０５Ａと登録補助基準領域１０６Ａとの境界が、撮影された創傷画像中に頭部からつま先への方向の表示１１１Ａとともに重ねられて表示されてもよい。この例示では、創傷が変わったので、新たに撮影された創傷１０７が登録創傷１０５Ａよりもやや小さく示されている。

撮像装置は、保存されたカラーバランス、すなわち工程Ｓ１０４の色チェッカーに基づいて計算されたカラーバランスを用いて創傷画像に対する予備色調補正も行う（工程Ｓ５０８）。

図３を再び参照すると、（予備色調補正を含む）創傷とその周囲領域の画像の撮影及び補助基準領域の特定の後、新たに撮影された（予備色調補正を行った）創傷画像中の各補助基準領域及び対応する登録済みの（予備色調補正が行われた）補助基準領域の間の色差値を計算して平均し、補助基準領域の平均色差を取得する（工程Ｓ１１３）。例えば、上記の式（１）を用いて補助基準領域毎に色差を計算してもよい。他の色空間、例えばＸＹＺ座標も用いて色差を計算してもよい。補助基準領域の平均色差が所定の第２の閾値を超える（工程Ｓ１１３で“ｙｅｓ”）場合（例えば、ＲＧＢ値が０〜２５５の場合、ｄＥ≧３である。）、撮像装置は警告メッセージを表示し、ユーザーは撮像条件、例えば周囲照明、創傷位置、撮影装置の設定などを確認する（工程Ｓ１１４）。処理は工程Ｓ１１２に戻って創傷画像が再度撮影される。

補助基準領域の平均色差が所定の第２の閾値以下である場合（工程Ｓ１１３で“ｎｏ”）、新たに撮影された創傷画像が承認され、撮像装置は、新たに撮影された画像及び登録基準画像の色データを用いて新たに撮影された創傷画像に対する第２の色調補正を行う（工程Ｓ１１５）。この工程では、どの画像も工程Ｓ１０４、Ｓ４０６、Ｓ５０８、又はＳ７０８の予備色調補正済み版を指す。

具体的には、撮像装置は、新たに撮影された基準領域（工程Ｓ１０８）と登録基準領域の色値を用いて現在のホワイトバランスＲｗ、Ｇｗ、及びＢｗのＲＧＢ値を推定する。例えば、次式を各基準領域に用いてもよい。
Rw=R0/R*255
Gw=G0/G*255
Bw=B0/B*255 （式２）
式中、Ｒ、Ｇ、及びＢは新たに撮影された基準領域の平均色値であり、Ｒ０、Ｇ０、及びＢ０は対応する登録基準領域の平均色値である。複数の基準領域を用いてホワイトバランス値Ｒｗａ、Ｇｗａ、及びＢｗａの平均値が計算される。第１の閾値未満の色差値を持つ新たに撮影された基準領域（工程Ｓ１０９参照）のみをここでは用いて平均ホワイトバランス値を計算するのが好ましい。

次に、平均ホワイトバランス値Ｒｗａ、Ｇｗａ、及びＢｗａを用い、平均ホワイトバランス値で各画像ピクセルの色値を調節して創傷画像の色値を補正する。
Rc(i)=R(i)*Rwa/255
Gc(i)=G(i)*Gwa/255
Bc(i)=B(i)*Bwa/255 （式３）
式中、Ｒ（ｉ）、Ｇ（ｉ）、及びＢ（ｉ）は新たに撮影した創傷画像のｉ番目のピクセルの色値であり、Ｒｃ（ｉ）、Ｇｃ（ｉ）、及びＢｃ（ｉ）は創傷画像のｉ番目の補正色値である。結果として、色調補正した創傷画像が生成される。

次に、色調補正された創傷画像を用いて創傷評価を行い、結果がサーバー及び／又は撮像装置に保存される（工程Ｓ１１６）。結果を互いに比較できるように登録段階中（工程Ｓ１０６）及び日常的又は決められた各処置中（工程Ｓ１１６）に（撮像装置又はサーバーで実行される）同じ創傷評価手順又はアルゴリズムを用いるのが好ましい。

なお、上記の方法では登録段階中（工程Ｓ１０４）に色チェッカーを用いて計算される同じカラーバランスを用いて登録段階及び創傷評価段階の両方で撮影されたすべての画像に予備色調補正を行う（工程Ｓ１０４、Ｓ４０６、Ｓ５０８、及びＳ７０８参照）。これは、同じ撮像装置を用いてこれらすべての画像が撮影されるという予想に基づく。創傷評価段階中に、予備色調補正が行われた画像を用いて（基準領域に対する）色比較工程Ｓ１０９及び（補助基準領域に対する）色比較工程Ｓ１１３を行い、予備色調補正が行われた画像を用いて第２の色調補正工程Ｓ１１５を行う。

あるいは、創傷の絶対色が重要ではない特定の限られた状況では、予備色調補正工程Ｓ１０４、Ｓ４０６、Ｓ５０８、及びＳ７０８、すなわち色チェッカーに基づくすべての画像に対する色調補正を省いてもよい。未補正の基準と創傷画像に基づいて色比較工程Ｓ１０９及びＳ１１３を実行してもよい。そのような場合、すべての画像の色は、撮像装置のホワイトバランス設定の影響を受ける。しかし、患者の身体の一部を色基準用の基準領域として用いて色調補正を行う色調補正工程Ｓ１１５は、例えば照明条件、身体の位置などで色の変動が生じることがある場合に、異なる時間に撮像された異なる創傷画像間で色の変動を補正できる。

本発明の趣旨又は範囲を逸脱することなく本発明の創傷画像の撮影・自己色調補正方法及び画像撮影装置に様々な変更や変形が可能であることが当業者には明らかである。したがって、本発明は、添付の特許請求の範囲に包含される変更形態及び変形形態並びにそれらの均等物を含むことを意図する。

別の側面では、本発明は、画像撮影装置を制御するために、コンピューターに上記の方法を実行させるようになっているプログラムを提供する。

図１に、本発明の実施形態によるグラフィカル・ユーザー・インターフェースを用いる創傷評価用の撮像装置１を示す。図２は、撮像装置１の構造を示すハードウェアブロック図である。図１に示すように、装置１は、グラフィカル・ユーザー・インターフェース又は画面１５を含む。グラフィカル・ユーザー・インターフェース１５は、タッチ画面又はパネル１６を前面に含むのが好ましい。装置１は、背面に１つ以上のカメラ１３及び１４も含む。カメラ１３は、二次元カメラの形態であり、カメラ１４は、三次元カメラの形態であるのが好ましい。例えば、撮像装置１は、タブレットコンピューター、例えば三次元画像の撮影及び生成機能を持つ１つ以上のカメラを含むiPhone（登録商標）、iPad（登録商標）、Android（登録商標）使用可能装置、及び／又は他の様々な手持ち式携帯装置であってもよい。図１に示すように、装置１は、ユーザー・インターフェース又は画面１５と外部筐体３０を含むタブレット又はタブレット様装置であってもよい。

Claims (20)

1. 色画像を用いて患者の創傷を評価する画像撮影装置を含むシステムで実行される方法であって、
   初期登録段階中に
   （ａ）前記患者の身体の一部である１つ以上の基準領域の１つ以上の第１の画像を撮影する工程、
   （ｂ）データベース中に前記１つ以上の第１の画像及び／又は前記１つ以上の第１の画像の色データを保存する工程、
   創傷評価段階中に
   （ｃ）前記データベースから前記１つ以上の第１の画像及び／又は前記１つ以上の第１の画像の色データを読み出す工程、
   （ｄ）前記１つ以上の基準領域の１つ以上の第２の画像を撮影する工程、
   （ｅ）前記創傷及びその周囲領域を含む第３の画像を撮影する工程、
   （ｆ）前記第２の画像の色データを前記第１の画像の対応する色データと比較して色調補正データを計算し、前記計算された色調補正データに基づいて前記第３の画像の色値を補正する工程、及び
   （ｇ）前記創傷及びその周囲領域を含む前記補正された第３の画像を用いて前記創傷を評価する工程を含む、方法。
2. 工程（ｆ）は、
   前記読み出された１つ以上の第１の画像を用いて前記１つ以上の基準領域の第１の平均色値を計算し、又は前記１つ以上の基準領域の第１の平均色値を前記データベースから読み出す工程、
   前記１つ以上の基準領域の第２の平均色値を前記１つ以上の第２の画像から計算する工程、
   前記第１の平均色値及び前記第２の平均色値を用いて平均ホワイトバランス値を計算する工程、及び
   前記平均ホワイトバランス値を用いて前記第３の画像の色値を補正する工程を含む、請求項１に記載の方法。
3. 工程（ａ）で撮影された前記１つ以上の第１の画像のそれぞれは、前記基準領域とともに撮像した色チェッカーを含み、前記色チェッカーは、既知の色値を持つ複数の色見本を含む物理的対象であり、
   前記方法はさらに、
   前記初期登録段階中の工程（ａ）の後、
   前記１つ以上の第１の画像中の前記色チェッカーの前記色見本の色値を前記色チェッカーの対応する前記色見本の前記既知の色値に調整するカラーバランスを計算する工程、
   前記計算されたカラーバランスを用いて前記１つ以上の第１の画像の色値を補正する工程、
   前記カラーバランスを前記データベースに保存する工程、
   前記創傷評価段階中の工程（ｆ）の後、
   前記カラーバランスを前記データベースから読み出す工程、
   前記読み出されたカラーバランスを用いて前記１つ以上の第２の画像の色値を補正する工程、及び
   前記読み出されたカラーバランスを用いて前記第３の画像の色値を補正する工程を含む、請求項１に記載の方法。
4. 工程（ａ）は、第１の画像毎に、前記第１の画像における領域を前記基準領域として指定する工程を含み、当該工程は、前記領域を指定するユーザー入力を受信すること、又は前記第１の画像から生成された三次元画像を用いて前記領域を自動的に選択することにより行われ、前記選択される領域は、前記三次元画像を用いて決定された前記第１の画像の平坦な領域であり、
   工程（ｂ）は、前記データベース内に前記第４の画像における前記指定された補助基準領域の位置を保存する工程を含み、
   工程（ｄ）は、第２の画像毎に、前記第２の画像における領域を前記基準領域として指定する工程を含み、当該工程は、前記領域を指定するユーザー入力を受信すること、又は前記第２の画像から生成された三次元画像を用いて前記領域を自動的に選択することにより行われ、前記選択される領域は、前記三次元画像を用いて決定された前記第２の画像の平坦な領域である、請求項１に記載の方法。
5. 前記創傷評価段階中の工程（ｄ）の後かつ工程（ｅ）の前に、
   前記１つ以上の第１の画像中の各基準領域と、前記１つ以上の第２の画像中の対応する前記基準領域との間の色差値を計算する工程、及び
   前記計算された色差値に基づいて、１つ以上の第２の画像を承認するか、又は工程（ｄ）を繰り返して前記１つ以上の第２の画像を再度撮影するように命令を表示するかを決定する工程をさらに含む、請求項１に記載の方法。
6. 前記初期登録段階中に
   前記創傷及びその周辺領域を含む第４の画像を撮影する工程、
   前記第４の画像の前記周囲領域の１つ以上の領域を補助基準領域として指定する工程、及び
   前記データベース内に前記第４の画像及び前記第４の画像の前記指定された補助基準領域の位置を保存する工程をさらに含む、請求項１に記載の方法。
7. 前記創傷評価段階中の工程（ｆ）の前に、
   前記データベースから前記第４の画像及び前記第４の画像の前記指定された補助基準領域の前記位置を読み出す工程、
   前記第３の画像及び前記第４の画像の比較と、前記第４の画像の前記指定された補助基準領域の前記位置に基づいて、前記第３の画像の前記周囲領域の１つ以上の領域を前記第４の画像の前記補助基準領域に対応する補助基準領域として決定する工程、
   前記第３の画像の各補助基準領域と、前記第４の画像の前記対応する補助基準領域との間の色差値を計算する工程、及び
   前記計算された色差値に基づいて、前記第３の画像を承認するか、又は工程（ｅ）を繰り返して前記第３の画像を再度撮影するように命令を表示するかを決定する工程をさらに含む、請求項６に記載の方法。
8. 前記第４の画像を撮影する前記工程は、前記創傷及びその周囲領域を含む三次元画像を生成する工程を含み、
   前記指定する工程は、前記三次元画像に基づいて、前記第４の画像中の１つ以上の領域を前記補助基準領域として自動的に選択する工程を含み、前記選択される領域は、前記三次元画像を用いて決定された前記創傷と同一平面にある、請求項６に記載の方法。
9. 工程（ｅ）は、前記画像撮影装置のビューファインダーに前記第４の画像中の前記創傷の境界の表示と、前記第４の画像中の前記補助基準領域の前記位置の表示とを重ね合わせる工程を含む、請求項６に記載の方法。
10. 工程（ａ）は、撮影すべき前記患者の身体の前記一部を前記１つ以上の第１の画像に示すようにユーザーにメッセージを表示する工程を含み、工程（ｄ）は、撮影すべき前記患者の身体の前記一部を前記１つ以上の第２の画像に示すように前記ユーザーにメッセージを表示する工程を含む、請求項１に記載の方法。
11. 画像撮影装置を制御するために、前記画像撮影装置に色画像を用いて患者の創傷を評価する処理を実行させるようになっているコンピューター可読プログラムコードを組み込んだコンピューターで使用可能な非一時媒体を含むコンピュータープログラム製品であって、前記処理は
    初期登録段階中に
    （ａ）前記患者の身体の一部である１つ以上の基準領域の１つ以上の第１の画像を撮影する工程、
    （ｂ）データベース中に前記１つ以上の第１の画像及び／又は前記１つ以上の第１の画像の色データを保存する工程、
    創傷評価段階中に
    （ｃ）前記データベースから前記１つ以上の第１の画像及び／又は前記１つ以上の第１の画像の色データを読み出す工程、
    （ｄ）前記１つ以上の基準領域の１つ以上の第２の画像を撮影する工程、
    （ｅ）前記創傷及びその周囲領域を含む第３の画像を撮影する工程、
    （ｆ）前記第２の画像の色データを前記第１の画像の対応する色データと比較して色調補正データを計算し、前記計算された色調補正データに基づいて前記第３の画像の色値を補正する工程、及び
    （ｇ）前記創傷及びその周囲領域を含む前記補正された第３の画像を用いて前記創傷を評価する工程を含む、コンピュータープログラム製品。
12. 工程（ｆ）は、
    前記読み出された１つ以上の第１の画像を用いて前記１つ以上の基準領域の第１の平均色値を計算し、又は前記１つ以上の基準領域の第１の平均色値を前記データベースから読み出す工程、
    前記１つ以上の基準領域の第２の平均色値を前記１つ以上の第２の画像から計算する工程、
    前記第１の平均色値及び前記第２の平均色値を用いて平均ホワイトバランス値を計算する工程、及び
    前記平均ホワイトバランス値を用いて前記第３の画像の色値を補正する工程を含む、請求項１１に記載のコンピュータープログラム製品。
13. 工程（ａ）で撮影された前記１つ以上の第１の画像のそれぞれは、前記基準領域とともに撮像した色チェッカーを含み、前記色チェッカーは、既知の色値を持つ複数の色見本を含む物理的対象であり、
    前記処理は
    前記初期登録段階中の工程（ａ）の後、
    前記１つ以上の第１の画像中の前記色チェッカーの前記色見本の色値を前記色チェッカーの対応する前記色見本の前記既知の色値に調整するカラーバランスを計算する工程、
    前記計算されたカラーバランスを用いて前記１つ以上の第１の画像の色値を補正する工程、
    前記カラーバランスを前記データベースに保存する工程、
    前記創傷評価段階中の工程（ｆ）の後、
    前記カラーバランスを前記データベースから読み出す工程、
    前記読み出されたカラーバランスを用いて前記１つ以上の第２の画像の色値を補正する工程、及び
    前記読み出されたカラーバランスを用いて前記第３の画像の色値を補正する工程をさらに含む、請求項１１に記載のコンピュータープログラム製品。
14. 工程（ａ）は、第１の画像毎に、前記第１の画像における領域を前記基準領域として指定する工程を含み、当該工程は、前記領域を指定するユーザー入力を受信すること、又は前記第１の画像から生成された三次元画像を用いて前記領域を自動的に選択することにより行われ、前記選択される領域は、前記三次元画像を用いて決定された前記第１の画像の平坦な領域であり、
    工程（ｂ）は、前記データベース内に前記第４の画像における前記指定された補助基準領域の位置を保存する工程を含み、
    工程（ｄ）は、第２の画像毎に、前記第２の画像における領域を前記基準領域として指定する工程を含み、当該工程は、前記領域を指定するユーザー入力を受信すること、又は前記第２の画像から生成された三次元画像を用いて前記領域を自動的に選択することにより行われ、前記選択される領域は、前記三次元画像を用いて決定された前記第２の画像の平坦な領域である、請求項１１に記載のコンピュータープログラム製品。
15. 前記処理は、前記創傷評価段階中の工程（ｄ）の後かつ工程（ｅ）の前に、
    前記１つ以上の第１の画像中の各基準領域と、前記１つ以上の第２の画像中の対応する前記基準領域との間の色差値を計算する工程、及び
    前記計算された色差値に基づいて、１つ以上の第２の画像を承認するか、又は工程（ｄ）を繰り返して前記１つ以上の第２の画像を再度撮影するように命令を表示するかを決定する工程をさらに含む、請求項１１に記載のコンピュータープログラム製品。
16. 前記処理は、
    前記初期登録段階中に
    前記創傷及びその周辺領域を含む第４の画像を撮影する工程、
    前記第４の画像の前記周囲領域の１つ以上の領域を補助基準領域として指定する工程、及び
    前記データベース内に前記第４の画像及び前記第４の画像の前記指定された補助基準領域の位置を保存する工程をさらに含む、請求項１１に記載のコンピュータープログラム製品。
17. 前記処理は、
    前記創傷評価段階中の工程（ｆ）の前に、
    前記データベースから前記第４の画像及び前記第４の画像の前記指定された補助基準領域の前記位置を読み出す工程、
    前記第３の画像及び前記第４の画像の比較と、前記第４の画像の前記指定された補助基準領域の前記位置に基づいて、前記第３の画像の前記周囲領域の１つ以上の領域を前記第４の画像の前記補助基準領域に対応する補助基準領域として決定する工程、
    前記第３の画像の各補助基準領域と、前記第４の画像の前記対応する補助基準領域との間の色差値を計算する工程、及び
    前記計算された色差値に基づいて、前記第３の画像を承認するか、又は工程（ｅ）を繰り返して前記第３の画像を再度撮影するように命令を表示するかを決定する工程をさらに含む、請求項１６に記載のコンピュータープログラム製品。
18. 前記第４の画像を撮影する前記工程は、前記創傷及びその周囲領域を含む三次元画像を生成する工程を含み、
    前記指定する工程は、前記三次元画像に基づいて、前記第４の画像中の１つ以上の領域を前記補助基準領域として自動的に選択する工程を含み、前記選択される領域は、前記三次元画像を用いて決定された前記創傷と同一平面にある、請求項１６に記載のコンピュータープログラム製品。
19. 工程（ｅ）は、前記画像撮影装置のビューファインダーに前記第４の画像中の前記創傷の境界の表示と、前記第４の画像中の前記補助基準領域の前記位置の表示とを重ね合わせる工程を含む、請求項１６に記載のコンピュータープログラム製品。
20. 工程（ａ）は、撮影すべき前記患者の身体の前記一部を前記１つ以上の第１の画像に示すようにユーザーにメッセージを表示する工程を含み、工程（ｄ）は、撮影すべき前記患者の身体の前記一部を前記１つ以上の第２の画像に示すように前記ユーザーにメッセージを表示する工程を含む、請求項１１に記載のコンピュータープログラム製品。

Images