JP2020064464A - Image processing device, image processing method, and program - Google Patents
Image processing device, image processing method, and program Download PDFInfo
- Publication number
- JP2020064464A JP2020064464A JP2018196071A JP2018196071A JP2020064464A JP 2020064464 A JP2020064464 A JP 2020064464A JP 2018196071 A JP2018196071 A JP 2018196071A JP 2018196071 A JP2018196071 A JP 2018196071A JP 2020064464 A JP2020064464 A JP 2020064464A
- Authority
- JP
- Japan
- Prior art keywords
- estimation target
- image processing
- estimated
- region
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置および画像処理方法ならびにプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program.
機械学習の手法を用いて、画像内に含まれる被写体などの特定の領域と他の領域とを区別する領域分割技術が知られている（非特許文献１、特許文献１）。非特許文献１は、事前に対象の領域をラベルとして与えた画像（教師付データ）を機械学習の一手法であるディープニューラルネットワークに学習させ、その結果得られる学習済モデルを用いて画像内の意味的領域分割を行う技術を開示している。また、特許文献１は、複数のディープニューラルネットワークを用いて画像の中の顕著領域（重要な領域或いは人間が注目すると予測される領域）を検出する技術を開示している。この技術は、画像内の各ピクセルの顕著度を周囲の局所領域から計算した後に、ピクセル単位の顕著度とヒストグラム或いは領域の形状等の特徴量とを用いて複数の候補領域の顕著度を計算し、局所及び全体の特徴を考慮した入力画像の顕著性情報を生成する。 There is known a region division technique that distinguishes a specific region such as a subject included in an image from other regions by using a machine learning method (Non-Patent Document 1 and Patent Document 1). In Non-Patent Document 1, an image (supervised data) in which a target region is given as a label in advance is trained by a deep neural network which is a method of machine learning, and a trained model obtained as a result is used to A technique for performing semantic region division is disclosed. Further, Patent Document 1 discloses a technique of detecting a salient region (an important region or a region predicted to be noticed by humans) in an image using a plurality of deep neural networks. In this technique, after calculating the saliency of each pixel in an image from the surrounding local area, the saliency of a plurality of candidate areas is calculated using the saliency of each pixel and the feature amount such as a histogram or the shape of the area. Then, the saliency information of the input image is generated in consideration of local and overall characteristics.
ところで、画像の領域分割技術は、画像内の人や動物、移動体などの一般的な物体を検出する場合のほか、例えば人体の患部周辺を撮影した画像から例えば褥瘡のような患部の領域を検出する用途にも適用可能な場合がある。従来、褥瘡など人体の患部の大きさの評価は、人間の手作業により行われてきたが、領域分割技術を用いて患部領域を検出し、検出した領域の大きさに基づいて患部の大きさを自動的に特定することができれば、患部の評価の人的負荷が軽減される。 By the way, the image area division technique is used to detect a general object such as a person, an animal, or a moving object in the image, and also to detect an area of an affected area such as a pressure ulcer from an image of the area around the affected area of the human body. It may also be applicable to detection applications. Conventionally, the evaluation of the size of the affected part of the human body such as pressure ulcer has been performed manually by a human, but the size of the affected part is detected based on the size of the detected region by detecting the affected part region using a region segmentation technique. If it can be automatically specified, the human load for evaluating the affected area can be reduced.
非特許文献１に開示される意味的領域分割では、検出精度を高めるためには、十分な数の教師付データと十分な学習のイテレーション回数によって学習済モデルを生成することが必要である。人や動物等の一般的な物体の認識は、十分な数の教師付データで事前に作成した学習済モデルを共用することができるため、一度高精度な学習済モデルを作ってしまえば、その後の学習負荷を小さくすることができる場合がある。しかしながら、特定の対象、例えば褥瘡などの患部を領域分割するモデルを作成するためには、その褥瘡などの対象を追加的に学習させる必要がある。特定の対象に対して十分な精度を得るためには、一般に数千にも及ぶ数の教師付データが必要とされ、教師付データの収集や学習時間が大きな負荷になる。また、特許文献１に開示される技術では、複数の候補領域の顕著度を各候補領域の推定結果の信頼性に応じて重み付け加算するため、推定結果の信頼性に左右されて正確に領域分割することができない場合がある。 In the semantic region segmentation disclosed in Non-Patent Document 1, in order to improve detection accuracy, it is necessary to generate a trained model with a sufficient number of supervised data and a sufficient number of learning iterations. For recognition of general objects such as humans and animals, it is possible to share a trained model created in advance with a sufficient number of supervised data, so once a highly accurate trained model is created, It may be possible to reduce the learning load of. However, in order to create a model for segmenting a specific target, for example, an affected area such as a pressure sore, the target such as a pressure sore needs to be additionally learned. In order to obtain sufficient accuracy for a particular object, generally, thousands of supervised data are required, and collection of supervised data and learning time become a heavy load. Further, in the technique disclosed in Patent Document 1, since the saliency of a plurality of candidate regions is weighted and added according to the reliability of the estimation result of each candidate region, the region division is accurately performed depending on the reliability of the estimation result. Sometimes you can't.
本発明は、上記課題に鑑みてなされ、その目的は、機械学習において学習させる教師付データが少ない場合であっても特定の対象について精度のよい領域分割を行うことが可能な技術を実現することである。 The present invention has been made in view of the above problems, and an object thereof is to realize a technique capable of performing accurate region segmentation for a specific target even when there is a small amount of supervised data to be learned in machine learning. Is.
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、機械学習における学習済モデルを用いて、入力画像内における推定対象の領域を推定する推定手段と、前記入力画像におけるエッジを抽出するエッジ抽出手段と、前記推定された推定対象の領域を、前記抽出されたエッジ上の位置に基づいて補正する補正手段とを有することを特徴とする。 In order to solve this problem, for example, the image processing apparatus of the present invention has the following configuration. That is, using a learned model in machine learning, an estimation means for estimating an estimation target area in the input image, an edge extraction means for extracting an edge in the input image, and the estimated estimation target area, And a correction unit that corrects based on the extracted position on the edge.
本発明によれば、機械学習において学習させる教師付データが少ない場合であっても特定の対象について精度のよい領域分割を行うことが可能になる。 According to the present invention, it is possible to perform accurate region segmentation for a specific target even when there is a small amount of supervised data to be learned in machine learning.
本発明の例示的な実施形態について、図面を参照して詳細に説明する。但し、以下の実施形態で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更され得る。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。 Exemplary embodiments of the present invention will be described in detail with reference to the drawings. However, dimensions, materials, shapes, relative positions of constituent elements, and the like described in the following embodiments are arbitrary, and may be changed according to the configuration of the apparatus to which the present invention is applied or various conditions. Also, in the drawings, the same reference numbers are used in the drawings to denote the same or functionally similar elements.
（計測システム１の構成）
まず、図１を参照して、実施形態に係る画像処理を用いて被験者８の患部９の面積を計測する患部面積計測システム（単に計測システムともいう）について説明する。計測システム１は、患部９の画像を撮影して被写体距離を測定し、次に画像内の患部の領域を領域分割する。そして、被写体距離とカメラの画角に基づき１ピクセルあたりの面積を計測したうえで、領域分割の結果と１ピクセルあたりの面積に基づいて、患部９の面積を計測する。
(Structure of measurement system 1)
First, with reference to FIG. 1, a diseased part area measurement system (also simply referred to as a measurement system) for measuring an area of a diseased part 9 of a subject 8 using image processing according to the embodiment will be described. The measurement system 1 takes an image of the affected area 9 to measure the subject distance, and then divides the affected area in the image into areas. Then, the area per pixel is measured based on the subject distance and the angle of view of the camera, and then the area of the affected part 9 is measured based on the result of the region division and the area per pixel.
本実施形態では、被験者８の臀部（背中の下部の膨らんだ部分をいう）に生じた患部９の病態の一例を褥瘡（所謂床ずれ）として説明する。褥瘡は、患者が寝たきりによって、体の特定の箇所に圧迫が続き、その結果として血行不全を生じて組織が壊死し、皮膚組織が欠損することによって生じる。ひとたび褥瘡になると、その後定期的に病状を評価、管理する必要がある。褥瘡の評価指標の一つとして褥瘡の大きさが用いられている。褥瘡の病状の変化を確かめるために評価には正確性が要求され、褥瘡の大きさを容易に精度よく計測するためのシステムが求められている。本実施形態では、患部の例として褥瘡を例に説明するが、患部の対象は褥瘡に限定されるものではなく、やけど、裂傷、などであってもよい。また、計測対象は患部に限定されるものではなく、画像中のオブジェクトであってもよい。 In the present embodiment, an example of the pathological condition of the affected part 9 that occurs in the buttocks of the subject 8 (referred to as the bulging part of the lower part of the back) will be described as pressure ulcer (so-called bed sore). Pressure ulcers occur when a patient is bedridden and continues to exert pressure on certain parts of the body, resulting in insufficiency of blood circulation and necrosis of tissue and loss of skin tissue. Once a pressure ulcer occurs, it is necessary to regularly evaluate and manage the condition. The size of the pressure ulcer is used as one of the evaluation indexes of the pressure ulcer. The evaluation is required to be accurate in order to confirm the change of the condition of the pressure ulcer, and a system for easily and accurately measuring the size of the pressure ulcer is required. In the present embodiment, a pressure ulcer will be described as an example of the affected part, but the target of the affected part is not limited to the pressure ulcer, and may be a burn, a laceration, or the like. Further, the measurement target is not limited to the affected area, and may be an object in the image.
図１を参照して、本実施形態による計測システム１の機能構成例について説明する。計測システム１は、例えば、計測モジュール２と、画像処理装置３と、表示装置４とを含む。計測モジュール２は、測距モジュール５と、カメラモジュール６と、通信インターフェース７とを含む。測距モジュール５は、ＴＯＦセンサ（不図示）とＴＯＦセンサを駆動するドライバボード（不図示）から構成され、不図示の撮像レンズの焦点から被検体などの被写体までの距離（以後、被写体距離という）を取得することができる。なお、測距モジュール５は、ＴＯＦ方式を用いたものに限らず、超音波測距方式、三角測量の原理を応用した光学式センサを用いた方法などの他の方法を用いたものであってもよい。 A functional configuration example of the measurement system 1 according to the present embodiment will be described with reference to FIG. 1. The measurement system 1 includes, for example, a measurement module 2, an image processing device 3, and a display device 4. The measurement module 2 includes a distance measurement module 5, a camera module 6, and a communication interface 7. The distance measuring module 5 is composed of a TOF sensor (not shown) and a driver board (not shown) that drives the TOF sensor, and is a distance from a focus of an imaging lens (not shown) to a subject such as a subject (hereinafter referred to as a subject distance). ) Can be obtained. The distance measuring module 5 is not limited to the one using the TOF method, but may be another method using an ultrasonic distance measuring method or a method using an optical sensor to which the principle of triangulation is applied. Good.
カメラモジュール６は、被写界深度の深い画像を得ることができる固定焦点方式を用いており、フォーカス範囲は例えば１ｍから無限遠である。Ｘ方向の画像サイズをＸｐｉｘ、Ｙ方向の画像サイズをＹｐｉｘとすると、撮影される画像サイズは、例えばＸｐｉｘが６４０、Ｙｐｉｘが４８０である。カメラモジュール６は被検体をカラーで撮影し、カラーの画像を出力する。視野角は５４×４１度であり、画像の歪みは無視できるほど小さい。なお、画像の歪みが小さいものであれば、画像サイズ、視野角はこの例に限定されない。 The camera module 6 uses a fixed focus method capable of obtaining an image with a deep depth of field, and the focus range is, for example, 1 m to infinity. Assuming that the image size in the X direction is Xpix and the image size in the Y direction is Ypix, the captured image sizes are, for example, 640 for Xpix and 480 for Ypix. The camera module 6 images the subject in color and outputs a color image. The viewing angle is 54 × 41 degrees, and the image distortion is so small that it can be ignored. Note that the image size and viewing angle are not limited to this example as long as the image distortion is small.
通信インターフェース７は、測距モジュール５より取得した被写体距離のデータとカメラモジュール６が取得した画像データとを、例えばＵＳＢ通信インターフェース７を介して画像処理装置３に転送する。なお、通信インターフェース７は、ＵＳＢに限らず、ＬＡＮなど他の有線インターフェースであってもよいし、例えばＷｉ−Ｆｉなどの無線通信用のインターフェースであってもよい。 The communication interface 7 transfers the object distance data acquired from the distance measuring module 5 and the image data acquired by the camera module 6 to the image processing device 3 via the USB communication interface 7, for example. The communication interface 7 is not limited to the USB, and may be another wired interface such as a LAN or an interface for wireless communication such as Wi-Fi.
画像処理装置３は、画像データと被写体距離のデータとを計測モジュール２から取得して、画像データにおける患部の領域を領域分割し、画像データに対して患部領域を示す情報を重畳した画像（以下、患部領域オーバーレイ画像という）を生成する。更に、画像処理装置３は、被写体距離とカメラの画角から１ピクセルあたりの面積を計測し、領域分割結果と１ピクセルあたりの面積とに基づいて患部の面積を算出する。 The image processing device 3 acquires the image data and the subject distance data from the measurement module 2, divides the affected part region in the image data into regions, and superimposes information indicating the affected part region on the image data (hereinafter referred to as an image). , An affected area overlay image). Further, the image processing device 3 measures the area per pixel from the subject distance and the angle of view of the camera, and calculates the area of the affected part based on the area division result and the area per pixel.
表示装置４は、ＯＬＥＤ又はＬＣＤ表示パネルを含み、画像処理装置３が生成した患部領域オーバーレイ画像と距離データを表示する。表示装置４は、患部オーバーレイ画像と距離データを表示するものであれば、他の表示パネルを用いてもよい。なお、本実施形態の例では、表示装置４は測定モジュール２と別体である場合を例に説明するが、表示装置４が測定モジュール２の一部として構成されていてもよい。 The display device 4 includes an OLED or LCD display panel, and displays the affected area overlay image and distance data generated by the image processing device 3. The display device 4 may use another display panel as long as it displays the affected area overlay image and the distance data. In addition, in the example of the present embodiment, the case where the display device 4 is separate from the measurement module 2 will be described as an example, but the display device 4 may be configured as a part of the measurement module 2.
（画像処理装置の構成）
次に、図２を参照して、画像処理装置３の機能構成について説明する。画像処理装置３は、ＣＰＵ、ＭＰＵ或いはＧＰＵで構成される演算回路と、ＲＡＭとＲＯＭとを含む制御部１０を有する。制御部１０は、ＲＯＭに記録されたプログラムを、ＲＡＭに展開、実行することにより、画像処理装置３を構成する後述の各部の機能を実現する。なお、画像処理装置３の機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイなどのハードウェアによって実現されてもよいし、上述のＣＰＵやＧＰＵなどのハードウェアがソフトウェアを実行することによって実現されてもよい。また、ＰＣなどの電子機器によって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。また、ＲＯＭの代わりに制御部１０の外部に設けられた不図示の不揮発性の記録媒体を使用したり、ＲＡＭの代わりに制御部１０の外部に設けられた不図示の揮発性メモリを使用したりしてもよい。
(Structure of image processing device)
Next, the functional configuration of the image processing apparatus 3 will be described with reference to FIG. The image processing device 3 has an arithmetic circuit including a CPU, an MPU, or a GPU, and a control unit 10 including a RAM and a ROM. The control unit 10 realizes the function of each unit described later that configures the image processing apparatus 3 by expanding and executing the program recorded in the ROM in the RAM. It should be noted that one or more of the functional blocks of the image processing device 3 may be realized by hardware such as an ASIC or a programmable logic array, or may be realized by hardware such as the CPU or GPU described above executing software. May be. It may also be realized by an electronic device such as a PC. Therefore, in the following description, even when different functional blocks are described as the operation subject, the same hardware can be mainly implemented. Further, a nonvolatile recording medium (not shown) provided outside the control unit 10 is used instead of the ROM, and a volatile memory (not shown) provided outside the control unit 10 is used instead of the RAM. You may.
画像処理装置３は、通信部１１、領域推定部１２、エッジ抽出部１３、制御点配置部１４、選択部１５、閉曲線再構成部１６、面積算出部１７、画像形成部１８、及び表示制御部１９を含む。また、画像処理装置３は、機械学習の推論演算等の数学的或いは統計的な演算装置として機能する。 The image processing device 3 includes a communication unit 11, a region estimation unit 12, an edge extraction unit 13, a control point arrangement unit 14, a selection unit 15, a closed curve reconstruction unit 16, an area calculation unit 17, an image formation unit 18, and a display control unit. Including 19. Further, the image processing device 3 functions as a mathematical or statistical arithmetic device such as a machine learning inference operation.
通信部１１は、計測モジュール２と通信インターフェース７を介して通信し、被写体距離データと計測モジュールにおいて撮像された入力画像データとを、計測モジュール２から受信する。 The communication unit 11 communicates with the measurement module 2 via the communication interface 7, and receives subject distance data and input image data captured by the measurement module from the measurement module 2.
領域推定部１２は、機械学習を用いた推論処理を行う。すなわち、褥瘡の画像を教師付データとする教師あり学習によって学習させた学習済モデルに基づき、入力画像から褥瘡の領域を推定する。このとき、本実施形態では、画像内の褥瘡の領域をピクセル単位で推定する。領域推定部１２は、閉曲線で表され、褥瘡の領域を粗く推定した領域推定結果を出力する。領域推定部１２で推定された褥瘡の領域に対し、後の手順においてより高精度な領域分割処理が施される。 The area estimation unit 12 performs inference processing using machine learning. That is, the area of pressure ulcer is estimated from the input image based on the learned model learned by supervised learning using the image of pressure ulcer as supervised data. At this time, in this embodiment, the pressure ulcer region in the image is estimated in pixel units. The region estimation unit 12 outputs a region estimation result which is represented by a closed curve and is a rough estimation of the pressure ulcer region. The pressure ulcer area estimated by the area estimation unit 12 is subjected to more accurate area division processing in a later procedure.
なお、領域推定部１２で行う推論処理には公知の手法を用いることができる。本実施形態では、例えば、非特許文献１に記載のＦＣＮ（Ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）を適用することができる。さらに、ＦＣＮを適用するニューラルネットワークには、２０１４年のＩｍａｇｅＮｅｔ Ｌａｒｇｅ Ｓｃａｌｅ Ｖｉｓｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｃｈａｌｌｅｎｇｅで提案されたＶＧＧ１６を用いることができる。このＶＧＧ１６は、計１６層から成る畳み込みニューラルネットワーク（所謂ＣＮＮ）である。また、本実施形態では、ＰＡＳＣＡＬ ＶＯＣ ２０１１ の領域分割トレーニングデータセットを予め学習させたＦＣＮ−ＶＧＧ１６の学習済モデルに例えば２００の褥瘡画像を追加学習させる、所謂ＦｉｎｅＴｕｎｉｎｇを行ったモデルを用いる。 A known method can be used for the inference process performed by the area estimation unit 12. In the present embodiment, for example, FCN (Fully convolutional networks for semantic segmentation) described in Non-Patent Document 1 can be applied. Furthermore, VGG16 proposed in 2014 ImageNet Large Scale Visual Recognition Challenge can be used for the neural network to which FCN is applied. The VGG 16 is a convolutional neural network (so-called CNN) having a total of 16 layers. In addition, in the present embodiment, a so-called FineTuning model is used in which, for example, 200 pressure ulcer images are additionally trained on a trained model of FCN-VGG16 that has been trained with the PASCAL VOC 2011 region-division training data set in advance.
エッジ抽出部１３は、入力画像データにソーベルフィルタに代表される微分フィルタまたはハイパスフィルタを施し、画像内の褥瘡の境界部分であるエッジ成分を検出する。その後、検出したデータに２値化処理を施し、モルフォロジー処理、粒子分析による一般的な処理によりエッジでない信号を除去して、最終的なエッジを抽出する。 The edge extraction unit 13 applies a differential filter represented by a Sobel filter or a high-pass filter to the input image data, and detects an edge component that is a boundary portion of pressure ulcers in the image. Thereafter, the detected data is subjected to binarization processing, and signals other than edges are removed by general processing such as morphology processing and particle analysis to extract final edges.
制御点配置部１４は、領域推定部１２で得られた褥瘡領域の境界がなす閉曲線の幾何中心から等間隔に放射される１２本の放射状補助線（参照線ともいう）と閉曲線との交点を制御点として求め、求めた制御点を画像中に配置する。さらに、放射状補助線（参照線）とエッジ抽出部１３で得られた褥瘡の境界の線分との交点を、別個の制御点として画像中に配置する。選択部１５は、放射状補助線上の複数の制御点（領域推定部１２による推定領域の境界の閉曲線上の制御点もしくはエッジ抽出部１３によるエッジ上の制御点）のうち、どちらかを選択する。閉曲線再構成部１６は、選択部１５が選択した制御点に基づき、閉曲線を再構成する。本実施形態では、選択部１５が選択した複数の制御点をベジェ曲線で滑らかな結び、閉曲線を再構成する。閉曲線によって囲まれた領域はピクセル単位で求められるため、閉曲線によって囲まれた領域の面積はピクセル数によって求められる。すなわち、制御点配置部１４、選択部１５、および閉曲線再構成部１６は、推定領域の境界上の位置を補正する補正手段として機能する。なお、制御点から閉曲線を再構成する方法はベジェ曲線を用いる方法に限らず、スプライン曲線などの他の曲線を用いる方法でもよい。 The control point arranging unit 14 defines the intersections of 12 radial auxiliary lines (also referred to as reference lines) radiated at equal intervals from the geometric center of the closed curve formed by the boundary of the pressure ulcer region obtained by the region estimation unit 12 and the closed curve. The obtained control points are arranged in the image. Further, the intersection of the radial auxiliary line (reference line) and the line segment of the pressure ulcer boundary obtained by the edge extraction unit 13 is arranged in the image as a separate control point. The selection unit 15 selects one of a plurality of control points on the radial auxiliary line (a control point on the closed curve of the boundary of the estimation region by the region estimation unit 12 or a control point on the edge by the edge extraction unit 13). The closed curve reconstruction unit 16 reconstructs the closed curve based on the control points selected by the selection unit 15. In the present embodiment, a closed curve is reconstructed by smoothly connecting a plurality of control points selected by the selection unit 15 with a Bezier curve. Since the area enclosed by the closed curve is obtained in units of pixels, the area of the area enclosed by the closed curve is obtained by the number of pixels. That is, the control point placement unit 14, the selection unit 15, and the closed curve reconstruction unit 16 function as a correction unit that corrects the position on the boundary of the estimation region. The method of reconstructing the closed curve from the control points is not limited to the method of using the Bezier curve, and may be the method of using another curve such as a spline curve.
面積算出部１７は、通信部１１が受信した被写体距離とカメラの画角から１ピクセルあたりの面積を算出する。さらに、閉曲線再構成部１６が構成した閉曲線のピクセル数を算出し、１ピクセルあたりの面積と閉曲線のピクセル数を掛け合わせることによって、褥瘡部分の面積を算出する。 The area calculation unit 17 calculates the area per pixel from the subject distance received by the communication unit 11 and the angle of view of the camera. Further, the area of the pressure ulcer part is calculated by calculating the number of pixels of the closed curve formed by the closed curve reconstructing unit 16 and multiplying the area per pixel by the number of pixels of the closed curve.
画像形成部１８は、閉曲線再構成部１６が生成した閉曲線領域を入力画像データに重畳した患部領域オーバーレイ画像を生成する。また、面積算出部１７が算出した、褥瘡の面積の値を画像の一部の領域に表示する。表示制御部１９は、画像形成部１８が生成した患部領域オーバーレイ画像を、表示装置４に表示させるために出力する。 The image forming unit 18 generates an affected area overlay image in which the closed curve area generated by the closed curve reconstruction unit 16 is superimposed on the input image data. Further, the value of the area of pressure ulcer calculated by the area calculation unit 17 is displayed in a partial region of the image. The display control unit 19 outputs the affected area overlay image generated by the image forming unit 18 for display on the display device 4.
（画像処理に係る一連の動作）
次に、図３を参照して、本実施形態に係る画像処理の一連の動作について説明する。なお、本画像処理は、例えば画像処理装置３の制御部１０が上述のプログラムをＲＡＭに展開、実行することにより、制御部１０自身により、又は制御部１０が計測システムを構成する各部を制御することにより、実現される。また、本画像処理は、例えば、不図示の操作部を介してユーザから動作開始指示を受け取ったときに開始される。
(A series of operations related to image processing)
Next, with reference to FIG. 3, a series of operations of the image processing according to the present embodiment will be described. In the present image processing, for example, the control unit 10 of the image processing apparatus 3 expands and executes the above-described program in the RAM to control the control unit 10 itself or the control unit 10 controls each unit constituting the measurement system. It will be realized. Further, the main image processing is started, for example, when an operation start instruction is received from the user via an operation unit (not shown).
Ｓ１０１において、通信部１１は、測定モジュール２が撮像した被験者８の患部９を含む褥瘡画像を、入力画像データとして取得する。図４は、Ｓ１０１において取得される褥瘡の画像の一例を示している。 In S101, the communication unit 11 acquires a pressure ulcer image including the affected area 9 of the subject 8 captured by the measurement module 2 as input image data. FIG. 4 shows an example of an image of a pressure ulcer acquired in S101.
褥瘡の画像２０には、臀部の皮膚２３と、皮膚２３上の褥瘡２１とが撮像されている。そして、褥瘡は面で生じており、一般に褥瘡領域の内側は赤色などに変色しておりその外側の領域は正常な皮膚である。一般に、褥瘡２１は、褥瘡の領域と褥瘡でない皮膚の領域とを分かつ境界がはっきりしている褥瘡の境界線（例えば境界線ｂ１、ｂ２、ｂ３）と、褥瘡の内側と外側の態様が徐々に変化しており、境界がはっきりしていない部分（例えば部分ａ）を有する。 In the pressure ulcer image 20, the skin 23 of the buttocks and the pressure ulcer 21 on the skin 23 are imaged. The pressure ulcer is generated on the surface, and generally, the inside of the pressure ulcer region is discolored to red and the region outside thereof is normal skin. In general, the pressure ulcer 21 has a boundary line (for example, the boundary lines b1, b2, and b3) of the pressure ulcer that divides the region of the pressure ulcer and the region of the skin that is not pressure ulcer, and the aspect inside and outside the pressure ulcer gradually. It has changed and has an unclear boundary (for example, the part a).
Ｓ１０２において、通信部１１は、測定モジュール２が測定した被写体距離、すなわちカメラモジュール６の撮像レンズ（不図示）の焦点から被写体までの距離を取得する。 In S102, the communication unit 11 acquires the subject distance measured by the measurement module 2, that is, the distance from the focus of the imaging lens (not shown) of the camera module 6 to the subject.
Ｓ１０３において、領域推定部１２は、Ｓ１０１が取得した褥瘡画像に機械学習における学習済モデルを用いて、推定対象である褥瘡２１の領域を推定する。ここで、Ｓ１０３の領域推定結果の一例を、図５を参照して説明する。図５では、Ｓ１０１で取得した入力画像データに、領域推定部１２によって推定された褥瘡２１の領域（推定領域３１）を重畳した様子を示しており、推定領域３１は閉曲線によって閉じられている。図５に示す例では、推定領域３１は褥瘡の境界線ｂ１，ｂ２，ｂ３を包含する領域まで広がっている。なお、推定領域３１は、褥瘡の内側に褥瘡の境界線から乖離して広がる場合もある。 In S103, the region estimation unit 12 estimates the region of the pressure ulcer 21 that is the estimation target by using the learned model in machine learning for the pressure ulcer image acquired in S101. Here, an example of the region estimation result of S103 will be described with reference to FIG. FIG. 5 shows a state in which the region of the pressure sore 21 estimated by the region estimation unit 12 (estimated region 31) is superimposed on the input image data acquired in S101, and the estimated region 31 is closed by a closed curve. In the example shown in FIG. 5, the estimated region 31 extends to a region including the pressure ulcer boundary lines b1, b2, and b3. The estimated region 31 may spread inside the pressure ulcer, apart from the boundary line of the pressure ulcer.
機械学習による領域推定の処理では、（使用した教師付データの内容や量に応じて）領域推定部１２による領域推定結果と実際の対象の領域に乖離がみられる場合がある。機械学習において、対象のＦｉｎｅＴｕｎｉｎｇに用いる追加画像の数を増やすことで、乖離は小さくなる（すなわち推定精度の誤差が小さくなる）が、そのためには少なくとも１０００以上に及ぶ大量の教師付データが必要となり、学習の負荷が大きくなる。もっとも、対象となる患部によっては、撮影した画像を大量に収集して教師付データを用意できない場合もある。このような場合に対し、本画像処理を適用することで、（特定する領域を人が指定することなく）自動的に褥瘡の領域を領域分割することができる。 In the region estimation processing by machine learning, there may be a discrepancy between the region estimation result by the region estimation unit 12 and the actual target region (according to the content and amount of the supervised data used). In machine learning, by increasing the number of additional images used for the target Fine Tuning, the deviation becomes smaller (that is, the error of the estimation accuracy becomes smaller), but this requires a large amount of supervised data of at least 1000 or more. , The learning load increases. However, depending on the target affected area, it may not be possible to collect a large number of captured images and prepare the supervised data. In such a case, by applying the present image processing, it is possible to automatically divide the pressure ulcer area into areas (without the person specifying the area to be specified).
Ｓ１０４において、エッジ抽出部１３は、Ｓ１０１で取得した入力画像データから褥瘡２１のエッジを抽出し、２値画像を生成する。エッジ抽出部１３は、例えば、ソーベルフィルタに代表される微分フィルタまたはハイパスフィルタによりエッジを抽出し、２値化処理を施す。更に、モルフォロジー処理、粒子分析による処理によりエッジでない信号を除去し、画像に存在する代表的なエッジの画像を生成する。ここで、Ｓ１０４のエッジ抽出結果の一例を、図６を参照して説明する。 In S104, the edge extraction unit 13 extracts the edge of the pressure ulcer 21 from the input image data acquired in S101 and generates a binary image. The edge extraction unit 13 extracts edges by a differential filter represented by a Sobel filter or a high-pass filter, and performs binarization processing. Furthermore, signals that are not edges are removed by morphology processing and particle analysis processing, and an image of typical edges existing in the image is generated. Here, an example of the edge extraction result of S104 will be described with reference to FIG.
図６は、Ｓ１０１において取得した入力画像データに対してエッジ抽出処理を行った結果の２値画像を示している。エッジ抽出処理の結果、臀部の皮膚２３の境界線上のエッジ６１と、褥瘡２１の境界のエッジｂ１，ｂ２，ｂ３が抽出されている。 FIG. 6 shows a binary image as a result of the edge extraction processing performed on the input image data acquired in S101. As a result of the edge extraction processing, the edge 61 on the boundary line of the skin 23 of the buttocks and the edges b1, b2, b3 of the boundary of the pressure sore 21 are extracted.
Ｓ１０５において、制御点配置部１４は、Ｓ１０３において推定した褥瘡の領域の閉曲線上と、Ｓ１０４にて抽出したエッジ上に制御点を配置する。ここで、Ｓ１０５の制御点配置について図７を参照して説明する。制御点配置部１４は、褥瘡の画像２０において、領域推定部１２で推定した褥瘡の推定領域３１の領域内に、推定領域３１がなす閉曲線の幾何中心４１をポイントｃとして配置する。そして、ポイントｃを中心として等間隔に１２本の参照線ｌ１〜ｌ１２を放射状に配置する。なお、本実施形態では参照線の数を１２としたが、１２に限らず他の本数であってもよい。参照線の数が多いほど、精度の高い領域分割結果が得られる一方、画像処理装置の計算負荷が大きくなり、処理にかかる時間が長くなる。 In S105, the control point placement unit 14 places control points on the closed curve of the pressure ulcer region estimated in S103 and on the edge extracted in S104. Here, the control point arrangement in S105 will be described with reference to FIG. In the pressure ulcer image 20, the control point placement unit 14 places the geometric center 41 of the closed curve formed by the estimation region 31 as a point c in the region of the pressure ulcer estimation region 31 estimated by the region estimation unit 12. Then, twelve reference lines l1 to l12 are radially arranged at equal intervals around the point c. Although the number of reference lines is 12 in the present embodiment, the number is not limited to 12 and may be another number. As the number of reference lines increases, a more accurate area division result can be obtained, but the calculation load of the image processing apparatus increases and the processing time increases.
次に、制御点配置部１４は、参照線ｌ１〜ｌ１２と推定領域３１の閉曲線（境界上の位置）の交点のそれぞれに制御点ｐ１〜ｐ１２を配置する。更に、制御点配置部１４は、参照線ｌ１〜ｌ１２とエッジｂ１，ｂ２，ｂ３の交点に制御点ｑ１〜ｐ７およびｑ１１、ｑ１２を配置する。また、制御点配置部１４は、参照線ｌ１〜ｌ１２と臀部の皮膚２３の境界線のエッジ６１上に制御点ｒ１，ｒ２およびｒ９〜ｒ１２を配置する。すなわち、制御点配置部１４は、推定領域３１の所定の範囲ごとに、推定領域３１の境界上にある位置と、当該推定領域３１の境界上にある位置と対応付けられるエッジ上の位置に、制御点を配置している。 Next, the control point placement unit 14 places the control points p1 to p12 at the intersections of the reference lines 11 to 12 and the closed curve (position on the boundary) of the estimation region 31, respectively. Further, the control point placement unit 14 places the control points q1 to p7 and q11 and q12 at the intersections of the reference lines 11 to 12 and the edges b1, b2 and b3. Further, the control point placement unit 14 places the control points r1, r2 and r9 to r12 on the edge 61 of the boundary line between the reference lines 11 to 12 and the skin 23 of the buttocks. That is, the control point placement unit 14 sets, for each predetermined range of the estimation region 31, a position on the boundary of the estimation region 31 and a position on the edge associated with the position on the boundary of the estimation region 31, Control points are placed.
次に、Ｓ１０６において、選択部１５は、同一の参照線上に配置された複数の制御点から１つを選択する。この制御点の選択について、図８を参照して説明する。なお、選択部１５による制御点の選択は、すべての参照線につき一度ずつ行われるが、ここでは、参照線ｌ８、ｌ１０、ｌ１１における制御点の選択について代表として説明する。 Next, in S106, the selection unit 15 selects one from a plurality of control points arranged on the same reference line. The selection of the control points will be described with reference to FIG. The selection of the control points by the selection unit 15 is performed once for all the reference lines, but here, the selection of the control points on the reference lines l8, l10, and l11 will be described as a representative.
まず、参照線ｌ１８上の制御点の選択について説明する。参照線ｌ８には、参照点ｌ８上には制御点が１つ（すなわちｐ８のみ）存在するため、選択部１５は制御点ｐ８を新しい制御点として選択する。換言すれば、参照線上に制御点が１つだけ存在する場合には、推定領域３１の境界上にある制御点の位置のままになる。 First, selection of control points on the reference line 118 will be described. Since there is one control point (that is, only p8) on the reference point 18 in the reference line 18, the selection unit 15 selects the control point p8 as a new control point. In other words, when there is only one control point on the reference line, the position of the control point on the boundary of the estimation region 31 remains unchanged.
次に、参照線ｌ１０上の制御点の選択について説明する。参照線ｌ１０上には、制御点が２つ（すなわちｐ１０、ｒ１０）が存在する。参照線上に制御点が複数存在する場合、推定領域３１の閉曲線上の交点にある制御点ｐ１０から他の制御点（ここではｒ１０）までの距離が、予め設定された一定のピクセル距離範囲より近いかを判定する。選択部１５は、制御点ｐ１０から他の制御点ｒ１０までの距離が予め設定された一定のピクセル距離範囲Ｌより近い場合には、その近い制御点を新しい制御点として選択する。一方、制御点ｐ１０から他の制御点ｒ１０までの距離が、当該ピクセル距離範囲Ｌより遠い場合には、制御点ｐ１０を新しい制御点として選択する。ここで、一定のピクセル距離範囲Ｌはユーザが設定する任意のパラメータである。一定のピクセル距離範囲Ｌが大きいと、制御点として褥瘡のエッジ上を選択できる範囲（すなわち補正可能範囲）は広いが、褥瘡２１のエッジを誤検出する可能性が高くなる。図８においてｓ１０は、ｐ１０から一定のピクセル距離範囲Ｌ内の範囲を表している。参照線ｌ１０における制御点の選択では、円ｓ１０内に制御点ｒ１０が存在しないため、新しい制御点として制御点ｐ１０が選択される。このように、（推定領域３１の所定の範囲ごとに）推定領域３１の境界上にある制御点の位置を当該制御点の位置と対応付けられるエッジ上の制御点の位置と置き換えるか否かを、ピクセル距離範囲を用いて判定する。この制御点同士の距離が近いことにより新たな制御点として制御点ｒを選択した場合には、制御点の位置をエッジ上の制御点の位置で置き換える（つまり補正する）。 Next, selection of control points on the reference line 110 will be described. There are two control points (that is, p10 and r10) on the reference line 110. When there are a plurality of control points on the reference line, the distance from the control point p10 at the intersection on the closed curve of the estimation area 31 to another control point (here, r10) is shorter than a preset constant pixel distance range. To determine. When the distance from the control point p10 to another control point r10 is shorter than a preset constant pixel distance range L, the selection unit 15 selects the close control point as a new control point. On the other hand, when the distance from the control point p10 to another control point r10 is longer than the pixel distance range L, the control point p10 is selected as a new control point. Here, the fixed pixel distance range L is an arbitrary parameter set by the user. When the constant pixel distance range L is large, the range over which the pressure ulcer edge can be selected as a control point (that is, the correctable range) is wide, but the edge of the pressure ulcer 21 is more likely to be erroneously detected. In FIG. 8, s10 represents a range within a constant pixel distance range L from p10. In the control point selection on the reference line l10, since the control point r10 does not exist in the circle s10, the control point p10 is selected as a new control point. In this way, whether to replace the position of the control point on the boundary of the estimation region 31 (for each predetermined range of the estimation region 31) with the position of the control point on the edge associated with the position of the control point is determined. , Pixel distance range is used for the determination. When the control point r is selected as a new control point due to the short distance between the control points, the position of the control point is replaced with the position of the control point on the edge (that is, corrected).
更に、参照線ｌ１１上の制御点の選択について説明する。参照線ｌ１１上には制御点が３つ（すなわちｐ１１、ｑ１１、ｒ１１）が存在する。ｐ１１は、推定領域３１の閉曲線上と参照線ｌ１１との交点であり、ｑ１１は、Ｓ１０４で検出された褥瘡２１の境界線を表すエッジと参照線ｌ１１との交点である。また、ｒ１１は、Ｓ１０４において抽出された臀部の皮膚２３の境界線を表すエッジ６１と参照線ｌ１１との交点を表す。選択部１５は、参照線ｌ１０上の制御点の選択方法と同様に、推定領域上の制御点ｐ１１から一定のピクセル距離範囲Ｌの範囲内（円ｓ１１で表す）に存在するｑ１１を、参照線ｌ１１上の制御点として選択する。 Further, selection of control points on the reference line 11 will be described. There are three control points (that is, p11, q11, r11) on the reference line l11. p11 is the intersection of the closed curve of the estimation region 31 and the reference line l11, and q11 is the intersection of the edge representing the boundary line of the pressure ulcer 21 detected in S104 and the reference line l11. In addition, r11 represents the intersection of the edge 61 representing the boundary line of the skin 23 of the buttocks and the reference line l11 extracted in S104. Similarly to the method of selecting the control points on the reference line 110, the selection unit 15 sets q11 existing within the fixed pixel distance range L (represented by a circle s11) from the control point p11 on the estimation region to the reference line. Select as control point on l11.
選択部１５は、参照線ｌ８，ｌ１０，ｌ１１上の制御点の選択方法と同様に、ｌ１〜ｌ１２で示すそれぞれの参照線上の制御点を選択する。図９には、選択部１５によって選択された制御点を示す。図９では、褥瘡２１において、新しい制御点が配置されている。褥瘡の境界がはっきりしている境界線ｂ１，ｂ２，ｂ３においては制御点がその境界線上に配置され、境界がはっきりしない領域ａにおいては、機械学習による推定領域３１の境界に制御点が配置されている。すなわち、実際の褥瘡２１の領域により精度良く合致するように、機械学習の手法を用いて推定した推定領域３１を補正することができている。 The selection unit 15 selects the control points on the reference lines indicated by l1 to l12 in the same manner as the method of selecting the control points on the reference lines l8, l10, and l11. FIG. 9 shows the control points selected by the selection unit 15. In FIG. 9, a new control point is arranged in the pressure ulcer 21. The control points are arranged on the boundary lines b1, b2, b3 where the boundary of the pressure ulcer is clear, and the control points are arranged on the boundary of the estimation region 31 by machine learning in the region a where the boundary is not clear. ing. That is, the estimated region 31 estimated by using the machine learning method can be corrected so as to match the actual region of the pressure ulcer 21 more accurately.
なお、一定のピクセル距離範囲Ｌが小さいと褥瘡２１のエッジを誤検出する可能性は低くなるが、補正可能範囲が狭くなる。このため、ピクセル距離範囲Ｌをより適切に設定することができるように、学習済モデルを生成する際の、推定対象である褥瘡に関する学習の程度に応じて、ピクセル距離範囲Ｌを異ならせてもよい。すなわち、推定対象である褥瘡に関する追加学習（ＦｉｎｅＴｕｎｉｎｇ）に用いる学習用データのサンプル数（褥瘡に関する学習用データの画像数）や追加学習を行う際のイテレーション数に応じてピクセル距離範囲Ｌを設定してもよい。また、追加学習に用いる教師付データを、モデルを学習させためのトレーニングセットと学習済モデルの推定精度をテストするためのテストデータとに分ける場合、テストデータに対する学習済モデルの正答率の高さに応じてピクセル距離範囲Ｌを設定してもよい。 If the fixed pixel distance range L is small, the possibility of erroneously detecting the edge of the pressure ulcer 21 is low, but the correctable range is narrow. Therefore, even if the pixel distance range L is set more appropriately, the pixel distance range L may be changed according to the degree of learning regarding the pressure ulcer that is the estimation target when the learned model is generated. Good. That is, the pixel distance range L is set according to the number of samples of learning data (the number of images of learning data regarding pressure ulcers) used for additional learning (Fine Tuning) regarding pressure ulcers to be estimated and the number of iterations when performing additional learning. May be. In addition, when separating the supervised data used for additional learning into a training set for training the model and test data for testing the estimation accuracy of the trained model, the correct answer rate of the trained model to the test data is high. The pixel distance range L may be set according to
例えば、褥瘡等の推定対象に関する追加学習の程度が低い（すなわちデータサンプル数が少ない）ほど、褥瘡の推定領域３１の精度が低くなるためピクセル距離範囲を大きくする。或いは、追加学習の程度が高いほど（すなわちデータサンプル数が多い）ほど、領域推定の精度が高くなるためピクセル距離範囲Ｌを小さくするようにしてもよい。このように、学習済モデルを生成する際の推定対象に関する学習の程度に応じてエッジ抽出結果の優先度を低くすることができる。つまり、機械学習による結果に対する補正範囲と誤検出のバランスを調整することができるようになる。このような制御点の選択を行うことにより、ｂ１、ｂ２、ｂ３のように褥瘡の境界がはっきりしている部分、ａのように褥瘡の境界がはっきりしていない部分が１画像中に存在する場合に、褥瘡領域の境界位置をより精度良く検出することができる。 For example, the lower the degree of additional learning regarding the estimation target such as pressure ulcer (that is, the smaller the number of data samples), the lower the accuracy of the pressure ulcer estimation region 31 is, and thus the larger the pixel distance range is. Alternatively, the higher the degree of additional learning (that is, the larger the number of data samples), the higher the accuracy of region estimation, and thus the pixel distance range L may be reduced. In this way, the priority of the edge extraction result can be lowered according to the degree of learning regarding the estimation target when generating the learned model. That is, it becomes possible to adjust the balance between the correction range and the erroneous detection for the result of machine learning. By selecting the control points in this way, a part with a clear pressure ulcer boundary such as b1, b2, and b3 and a part with a clear pressure ulcer boundary such as a exist in one image. In this case, the boundary position of the pressure ulcer region can be detected more accurately.
Ｓ１０７において、閉曲線再構成部１６は、Ｓ１０６において選択部１５が選択した新しい制御点から新たな閉曲線を構成（すなわち新たな褥瘡２１の閉領域を特定する）し、褥瘡２１の領域として特定する。本ステップにおける閉曲線再構成処理について、図１０を参照して説明する。本実施形態の例では、Ｓ１０７の結果として特定された閉領域５１は、図５に示したＳ１０３における機械学習による推定領域３１に比べて、本来の褥瘡２１の領域との相違が少なくなっている。すなわち、（褥瘡のように）機械学習によって推定する推定対象が一般的でなく、推定対象に関する学習用の画像数が少ない場合であっても、推定対象に対する領域の特定をより精度良く行うことができる。 In S107, the closed curve reconstruction unit 16 configures a new closed curve from the new control points selected by the selection unit 15 in S106 (that is, identifies a new closed region of the pressure ulcer 21), and identifies the region as the pressure ulcer 21. The closed curve reconstruction processing in this step will be described with reference to FIG. In the example of the present embodiment, the closed region 51 specified as a result of S107 has less difference from the original region of the pressure sore 21 as compared with the estimated region 31 by machine learning in S103 shown in FIG. . That is, even when the estimation target estimated by machine learning (such as pressure ulcer) is not general and the number of learning images related to the estimation target is small, it is possible to more accurately specify the region for the estimation target. it can.
Ｓ１０８において、面積算出部１７は、通信部１１が受信した被写体距離とカメラの画角から１ピクセルあたりの面積を計測し、Ｓ１０７で構成された閉曲線が示す褥瘡２１の領域に相当する領域の面積を算出する。ここでは、画像のＸ方向における距離の算出方法について、図１１を参照して説明する。 In S108, the area calculation unit 17 measures the area per pixel from the subject distance received by the communication unit 11 and the angle of view of the camera, and the area of the area corresponding to the area of the pressure ulcer 21 indicated by the closed curve configured in S107. To calculate. Here, a method of calculating the distance of the image in the X direction will be described with reference to FIG.
被写体距離をＬ［ｍｍ］、画像のＸ方向の距離をＷ［ｍｍ］、画角をθとすると、Ｗは、図１１の幾何学的関係より式（１）のように求められる。
Ｗ［ｍｍ］ ＝ ２Ｌ＊ｔａｎ（θ／２） ……（１）
さらに、Ｘ方向の画像サイズをＸｐｉｘ とすると、１ピクセル面積Ｓｐｉｘは式（２）のように求められる。
Ｓｐｉｘ［ｍｍ＾２］ ＝ ［Ｗ／Ｘｐｉｘ］＾２ ……（２）
面積算出部１７は、Ｓｐｉｘに、Ｓ１０７で構成された閉曲線が示す褥瘡２１の領域に相当する領域のピクセル数を乗算することで、領域の特定された褥瘡領域の面積を算出する。
When the subject distance is L [mm], the X-direction distance of the image is W [mm], and the angle of view is θ, W is obtained from the geometrical relationship of FIG.
W [mm] = 2L * tan (θ / 2) (1)
Further, assuming that the image size in the X direction is Xpix, the 1-pixel area Spix is obtained by the equation (2).
Spix [mm ^ 2] = [W / Xpix] ^ 2 (2)
The area calculation unit 17 calculates the area of the identified pressure ulcer region by multiplying Spix by the number of pixels of the region corresponding to the region of the pressure ulcer 21 indicated by the closed curve configured in S107.
Ｓ１０９において、画像形成部１８は、Ｓ１０７で得られた閉曲線の領域に半透明のオブジェクトで重畳し、さらにＳ１０８で得られた面積の値を示す情報を付加した一つの画像を形成する。図１２には、画像形成部１８が形成した画像の一例を示している。画像形成部１８は、褥瘡の画像２０に対して、Ｓ１０７において再構成された閉曲線の領域を半透明のオブジェクト１２０１でオーバーレイする。さらに、面積の値を１２０２として、褥瘡の画像に付加する（重畳する）。 In S109, the image forming unit 18 forms one image by superimposing the semi-transparent object on the closed curve region obtained in S107 and further adding the information indicating the area value obtained in S108. FIG. 12 shows an example of an image formed by the image forming unit 18. The image forming unit 18 overlays the area of the closed curve reconstructed in S107 on the image 20 of the pressure ulcer with a semitransparent object 1201. Furthermore, the value of the area is set to 1202 and added (superposed) to the image of the pressure ulcer.
Ｓ１１０において、表示制御部１９は、Ｓ１０９で形成した画像を表示装置４に送信し、表示装置４に表示させる。 In S110, the display control unit 19 transmits the image formed in S109 to the display device 4 and causes the display device 4 to display the image.
以上説明したように、上述の実施形態によれば、機械学習における学習済モデルを用いて入力画像内の推定対象の領域を推定したうえで、当該入力画像から抽出されるエッジ上の位置を用いて推定された推定対象の領域を補正するようにした。このようにすることで、（褥瘡のように）機械学習によって推定する推定対象が一般的でなく、推定対象に関する学習用の画像数が少ない場合であっても、特定の対象について精度のよい領域分割を行うことができる。また、機械学習の手法によって推定された領域をエッジ上の位置を用いて補正する際に、推定された領域の境界上の位置と対応付けられるエッジ上の位置との位置関係に応じて、当該境界上の位置の少なくとも一部をエッジ上の位置で置き換えるようにした。このとき、学習済モデルを生成する際の推定対象に関する学習の程度が低いほど、エッジ上の点がより遠い位置関係にあっても補正（置き換え）を行うようにした。このようにすることで、推定対象に関する学習の程度が低いほど、エッジ抽出結果の優先度を高くすることができるようになる。すなわち、学習済モデルによる推定領域に対して局所的に境界位置を最適に補正することができる。 As described above, according to the above-described embodiment, after the region to be estimated in the input image is estimated using the learned model in machine learning, the position on the edge extracted from the input image is used. The area of the estimation target estimated by the above is corrected. By doing this, even if the estimation target to be estimated by machine learning (such as pressure ulcer) is not general and the number of learning images related to the estimation target is small, an accurate region for the specific target can be obtained. The division can be done. Further, when the area estimated by the machine learning method is corrected using the position on the edge, according to the positional relationship between the position on the boundary of the estimated region and the position on the edge, At least part of the position on the boundary is replaced with the position on the edge. At this time, the lower the degree of learning regarding the estimation target when generating the learned model is, the more correction (replacement) is performed even if the points on the edge are in the farther positional relationship. By doing so, the lower the degree of learning regarding the estimation target, the higher the priority of the edge extraction result can be. That is, the boundary position can be locally and optimally corrected with respect to the estimated region based on the learned model.
なお、上述の実施形態では、推定領域３１の閉曲線上の位置に制御点を配置する例を説明した。しかし、領域推定部１２の特性により推定領域３１の境界が複雑な形状（例えばギザギザするような形状）で出力される場合、推定領域３１の境界をやや平滑化した形状の閉曲線に修正したうえで当該閉曲線上に制御点を配置するようにしてもよい。 In addition, in the above-described embodiment, the example in which the control points are arranged at the positions on the closed curve of the estimation region 31 has been described. However, when the boundary of the estimation region 31 is output in a complicated shape (for example, a jagged shape) due to the characteristics of the region estimation unit 12, the boundary of the estimation region 31 is corrected to a closed curve having a slightly smoothed shape. You may make it arrange | position a control point on the said closed curve.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
２…計測モジュール、３…画像処理装置、１２…領域推定部、１３…エッジ抽出部、１４…制御点配置部、１５…閉曲線再構成部、１６…選択部、１７…面積算出部、１８…画像形成部、１９…表示制御部、２０…制御部 2 ... Measurement module, 3 ... Image processing device, 12 ... Region estimation unit, 13 ... Edge extraction unit, 14 ... Control point arrangement unit, 15 ... Closed curve reconstruction unit, 16 ... Selection unit, 17 ... Area calculation unit, 18 ... Image forming unit, 19 ... Display control unit, 20 ... Control unit
Claims (13)
前記入力画像におけるエッジを抽出するエッジ抽出手段と、
前記推定された推定対象の領域を、前記抽出されたエッジ上の位置に基づいて補正する補正手段とを有する、ことを特徴とする画像処理装置。 Using a learned model in machine learning, an estimation means for estimating the estimation target region in the input image,
Edge extraction means for extracting edges in the input image,
An image processing apparatus, comprising: a correction unit that corrects the estimated area to be estimated based on the position on the extracted edge.
前記取得された前記被写体距離および前記画角と、前記補正された推定対象の領域とを用いて、前記推定対象の領域の実際の面積を算出する算出手段と、を更に有する、ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。 An acquisition unit that acquires the subject distance of the estimation target and an angle of view when the input image is captured;
And a calculation unit that calculates an actual area of the estimation target region using the acquired subject distance and angle of view, and the corrected estimation target region. The image processing device according to claim 1, wherein
前記取得された前記被写体距離および前記画角と、前記補正された推定対象の領域とを用いて、前記推定対象の領域の実際の面積を算出する算出手段と、
前記補正された推定対象の領域を表す情報を、前記入力画像内の前記推定対象の領域に重畳すると共に、前記算出された実際の面積を表す情報を前記入力画像の所定の領域に表示するようにした画像を生成する表示制御手段と、を更に有することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。 An acquisition unit that acquires the subject distance of the estimation target and an angle of view when the input image is captured;
Calculating means for calculating the actual area of the estimation target region using the acquired subject distance and the angle of view, and the corrected estimation target region;
Information indicating the corrected estimation target area is superimposed on the estimation target area in the input image, and information indicating the calculated actual area is displayed in a predetermined area of the input image. 9. The image processing apparatus according to claim 1, further comprising a display control unit configured to generate the displayed image.
前記入力画像におけるエッジを抽出するエッジ抽出工程と、
前記推定された推定対象の領域を、前記抽出されたエッジ上の位置に基づいて補正する補正工程とを有する、ことを特徴とする画像処理方法。 An estimation step of estimating the estimation target region in the input image using the learned model in machine learning,
An edge extraction step of extracting edges in the input image,
A correction step of correcting the estimated area to be estimated based on the position on the extracted edge.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018196071A JP7262203B2 (en) | 2018-10-17 | 2018-10-17 | IMAGE PROCESSING DEVICE, CONTROL METHOD AND PROGRAM FOR IMAGE PROCESSING DEVICE |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018196071A JP7262203B2 (en) | 2018-10-17 | 2018-10-17 | IMAGE PROCESSING DEVICE, CONTROL METHOD AND PROGRAM FOR IMAGE PROCESSING DEVICE |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020064464A true JP2020064464A (en) | 2020-04-23 |
| JP7262203B2 JP7262203B2 (en) | 2023-04-21 |
Family
ID=70388334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018196071A Active JP7262203B2 (en) | 2018-10-17 | 2018-10-17 | IMAGE PROCESSING DEVICE, CONTROL METHOD AND PROGRAM FOR IMAGE PROCESSING DEVICE |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7262203B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH096961A (en) * | 1995-06-16 | 1997-01-10 | Sony Corp | Processing device and method for dividing area |
| JP2001043376A (en) * | 1999-07-30 | 2001-02-16 | Canon Inc | Image extraction method and device and storage medium |
| JP2006271840A (en) * | 2005-03-30 | 2006-10-12 | Hitachi Medical Corp | Diagnostic imaging support system |
| JP2012254221A (en) * | 2011-06-09 | 2012-12-27 | Canon Inc | Image processing apparatus, method for controlling the same, and program |
-
2018
- 2018-10-17 JP JP2018196071A patent/JP7262203B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH096961A (en) * | 1995-06-16 | 1997-01-10 | Sony Corp | Processing device and method for dividing area |
| JP2001043376A (en) * | 1999-07-30 | 2001-02-16 | Canon Inc | Image extraction method and device and storage medium |
| JP2006271840A (en) * | 2005-03-30 | 2006-10-12 | Hitachi Medical Corp | Diagnostic imaging support system |
| JP2012254221A (en) * | 2011-06-09 | 2012-12-27 | Canon Inc | Image processing apparatus, method for controlling the same, and program |
Non-Patent Citations (1)
| Title |
|---|
| 江 浩，外２名: "領域情報とエッジ情報を併用したセグメンテーションの一手法", 電子情報通信学会論文誌 （Ｊ７４−Ｄ−ＩＩ） 第１２号, vol. 第J74-D-II巻, JPN6022044478, 1991, JP, ISSN: 0004902597 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7262203B2 (en) | 2023-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111325739B (en) | Method and device for detecting lung focus and training method of image detection model | |
| WO2021003821A1 (en) | Cell detection method and apparatus for a glomerular pathological section image, and device | |
| US11109945B2 (en) | Method of evaluating an orthodontic aligner | |
| CN114820494B (en) | Speckle Contrast Analysis Using Machine Learning for Visualizing Flow | |
| US8842906B2 (en) | Body measurement | |
| US9536316B2 (en) | Apparatus and method for lesion segmentation and detection in medical images | |
| CN107909622B (en) | Model generation method, medical imaging scanning planning method and medical imaging system | |
| EP3065072A1 (en) | Apparatus and method for providing reliability for computer aided diagnosis | |
| CN108520512B (en) | Method and device for measuring eye parameters | |
| JP4915737B2 (en) | Image analysis system and image analysis program | |
| CN110136153A (en) | A kind of image processing method, equipment and storage medium | |
| CN115861656A (en) | Method, apparatus and system for automatically processing medical images to output an alert | |
| WO2022127043A1 (en) | Detection method and apparatus based on convolutional neural network, and computer device and storage medium | |
| CN109447948B (en) | Optic disk segmentation method based on focus color retina fundus image | |
| CN115423804B (en) | Image calibration method and device and image processing method | |
| JP7262203B2 (en) | IMAGE PROCESSING DEVICE, CONTROL METHOD AND PROGRAM FOR IMAGE PROCESSING DEVICE | |
| JP6311461B2 (en) | Gaze analysis system and gaze analysis apparatus | |
| JP5992848B2 (en) | Body motion display device and method | |
| Monroy et al. | Automated chronic wounds medical assessment and tracking framework based on deep learning | |
| JP6390458B2 (en) | Information processing apparatus, information processing system, information processing method, and information processing program | |
| CN111091504A (en) | Image deviation field correction method, computer device, and storage medium | |
| JP6611415B2 (en) | Internal defect detection method for industrial products | |
| KR102663449B1 (en) | Method and apparatus for quantifying spinal potential in radiographic images | |
| EP4309567A1 (en) | Method and system for processing a plurality of camera images of a human body target area over time | |
| US20240177420A1 (en) | Human model recovery based on video sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211004 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221024 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230313 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230411 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7262203 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |