JP2022187833A - Machine learning apparatus, control method of the same, and program - Google Patents
Machine learning apparatus, control method of the same, and program Download PDFInfo
- Publication number
- JP2022187833A JP2022187833A JP2021096033A JP2021096033A JP2022187833A JP 2022187833 A JP2022187833 A JP 2022187833A JP 2021096033 A JP2021096033 A JP 2021096033A JP 2021096033 A JP2021096033 A JP 2021096033A JP 2022187833 A JP2022187833 A JP 2022187833A
- Authority
- JP
- Japan
- Prior art keywords
- affected area
- chromaticity
- machine learning
- data
- area image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、機械学習装置、その制御方法ならびにプログラムに関する。 The present invention relates to a machine learning device, its control method and program.
近年、被検体を撮影した医用画像を用いて診断や病理的定量化を行うために、深層学習などの機械学習モデルを用いる技術が知られている。一般に、深層学習などの機械学習モデルの学習には多量の学習データが必要であり、学習データとして集められる大量の画像は、様々な環境光の下で或いは様々な撮影装置によって撮影され得る。すなわち、学習データとなる大量の画像は、様々な環境光や撮影機器の特性の影響を受けており、また、記録される際にも撮影機器の記録態様により様々な色合いに変化している場合がある。更には、画像の見栄えを良くするために原色に近い色が加工或いは補正されている場合もある。 In recent years, there has been known a technique using a machine learning model such as deep learning in order to perform diagnosis and pathological quantification using medical images obtained by photographing a subject. In general, learning a machine learning model such as deep learning requires a large amount of learning data, and a large amount of images collected as learning data can be captured under various environmental lights or by various imaging devices. In other words, the large number of images used as training data are affected by various ambient light and the characteristics of the photographic equipment. There is Furthermore, in some cases, the colors close to the primary colors are processed or corrected to improve the appearance of the image.
このような画像データの生成に関し、特許文献1は、画像に対してホワイトバランス補正を行って、異なる環境光或いは撮影装置下で撮影される画像の白色を一定の色度に保つ技術を開示している。 Regarding the generation of such image data, Patent Literature 1 discloses a technique of performing white balance correction on an image to keep the white color of the image captured under different ambient light or under an imaging device at a constant chromaticity. ing.
ところで、医用画像を用いて診断や病理的定量化を行う場合、例えば患部が皮膚であるとき、どれほど重症であるか或いはどれほど血流が増えているかといった判断を、赤味を指標に行う場合がある。また、染色された顕微鏡画像においては、青色が指標になることもある。 By the way, when making a diagnosis or pathological quantification using medical images, for example, when the affected area is skin, there are cases where redness is used as an indicator to determine how severe the disease is or how much blood flow increases. be. Also, in a stained microscopic image, blue may be used as an indicator.
異なる各々の環境光或いは撮影機器下では、原色に近い色の患部画像の色合いがそれぞれ異なるため、そのような患部画像を学習データとして学習させた機械学習モデルでは、診断や病理的定量化の精度を効果的に向上させることができない課題がある。この点、特許文献1には、ホワイトバランス補正を適用して生成する撮影画像の白色を整合させる技術が開示されているが、ばらつきのある画像を学習データとして用いる際の対処については考慮していなかった。 Under different ambient light or imaging equipment, the shades of images of affected areas with colors close to the primary colors are different. There are challenges that cannot be effectively improved. In this regard, Japanese Patent Application Laid-Open No. 2002-200000 discloses a technique for matching the white color of a photographed image generated by applying white balance correction, but it does not consider how to handle images with variations as learning data. I didn't.
本発明は、上記課題に鑑みてなされ、その目的は、様々な環境光下で或いは様々な撮影装置によって撮影される画像を機械学習に用いる場合であっても、精度の良い診断や病理的定量化を行うことが可能な技術を実現することである。 The present invention has been made in view of the above problems, and an object of the present invention is to achieve accurate diagnosis and pathological quantification even when images captured under various environmental lights or by various imaging devices are used for machine learning. It is to realize a technology that can make it possible.
この課題を解決するため、例えば本発明の機械学習装置は以下の構成を備える。すなわち、患者の患部を撮影した患部画像と、前記患部画像を撮影したときの色度を示す色度情報とを取得する取得手段と、学習済みの機械学習モデルにより、前記患部画像と前記色度情報とを用いて、前記患部に対する診断結果を推論する推論手段と、を有することを特徴とする。 In order to solve this problem, for example, the machine learning device of the present invention has the following configuration. That is, an acquisition means for acquiring an affected area image obtained by photographing an affected area of a patient and chromaticity information indicating the chromaticity when the affected area image is obtained, and a learned machine learning model obtains the affected area image and the chromaticity. and an inference means for inferring a diagnosis result for the affected area using the information.
本発明によれば、様々な環境光下で或いは様々な撮影装置によって撮影される画像を機械学習に用いる場合であっても、精度の良い診断や病理的定量化を行うことが可能になる。 According to the present invention, accurate diagnosis and pathological quantification can be performed even when images captured under various environmental lights or by various imaging devices are used for machine learning.
(実施形態1)
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
(Embodiment 1)
Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. In addition, the following embodiments do not limit the invention according to the scope of claims. Although multiple features are described in the embodiments, not all of these multiple features are essential to the invention, and multiple features may be combined arbitrarily. Furthermore, in the accompanying drawings, the same or similar configurations are denoted by the same reference numerals, and redundant description is omitted.
(情報処理システムの概要)
図1を参照して、本実施形態に係る情報処理システムの概要について説明する。
(Overview of information processing system)
An outline of an information processing system according to the present embodiment will be described with reference to FIG.
医院10は、例えば患者を診断する病院である。例えば、医院10には、デジタルカメラ101、クライアント端末103、光源151、色度計102、基準色チャート152が配置されている。デジタルカメラ101は、画像を撮像可能な撮像装置の一例である。クライアント端末103は、例えば、パーソナルコンピュータであり、デジタルカメラ101及び色度計102から受け付けた画像や計測データを、外部のサーバに送信可能な情報処理装置の一例である。基準色チャート152は、例えば白色、原色赤、原色青、原色緑のチャートで構成される。基準色チャート152は、デジタルカメラ101で患者153の患部を撮影する際に、患者或いは患部近傍に配置される。また撮影対象がガラスプレート上のサンプルの透過像である場合は、透過型チャートであってもよい。色度計102は、基準色チャート152の色度を測定するための計測器である。
The
医院10では、光源151の照明の下で、デジタルカメラ101が患者153の患部を撮影した患部画像を生成し、また、同一の照明の下で、色度計102が基準色チャート152の色度を測定する。クライアント端末103は、医師154が患者153を診察して下した診断結果の入力を受け付ける。本実施形態では、診断結果は、例えば患部に対して提供されるべき薬の投薬量を含むが、(撮影対象の)患部の状態に基づいて医師によって診断される診断内容であれば他の情報であってもよい。クライアント端末103は、有線或いは無線によりデジタルカメラ101及び色度計102と通信して、計測された各パネルの基準色の色度情報(単に色度情報ともいう)と、撮影された患部画像とを受信する。そして、クライアント端末103は、インターネット106とローカルエリアネットワーク107を介して、撮影された患部画像と色度情報と診断結果と(これらを患部データセットともいう)をデータサーバ108に送信する。
In the
データサーバ108は、機械学習で用いる学習データや推論処理で推論対象となる入力データを保持するサーバ装置の一例である。医院10のクライアント端末103から送信されるデータ(患部データセット)を、例えばデータベースに格納し、推論サーバ109の要求に応じて格納されているデータを提供する。すなわち、推論サーバ109は、ローカルエリアネットワーク107を介し、データサーバ108上の患部データセットにアクセス可能である。推論サーバ109は、機械学習を用いた推論処理や学習処理を行う機械学習装置の一例である。推論サーバ109は、アクセスした患部画像と色度情報に基づいて診断結果を推定する推論処理や、患部データセットに基づいて機械学習モデルを学習させる処理を行う。医院10と同様の構成の医院は複数存在してよく、例えば、他の医院は医院11で示される。
The
(各装置のハードウェア構成例)
次に、図2を参照して、情報処理システム10を構成する各装置のハードウェア構成例について説明する。デジタルカメラ101は、CPU201、ROM202、RAM203、撮影操作部204、システムバス205、通信I/F206、撮像部207、表示部208、カメラエンジン209、及び記憶部210を含む。CPU201は、1つ以上のプロセッサを含んでよく、ROM202に格納されたプログラムを読み出し、実行することによりデジタルカメラ101の動作を制御する。CPU201は、撮影操作部204を介しユーザの操作を受け付けて、撮像部207に撮影を指示する。撮像部207によって撮影された画像は、一旦RAM203に格納され、その後カメラエンジン209による画像処理が施されて記憶部210に格納される。本実施形態では、例えば患者の患部を撮影した患部画像データが記憶部210に格納される。格納された画像データは、通信I/F部206を経てクライアント端末103に送信される。デジタルカメラ101内の各ブロックはシステムバス205を通じて相互に接続されている。
(Hardware configuration example of each device)
Next, with reference to FIG. 2, a hardware configuration example of each device constituting the
色度計102は、CPU221、ROM222、RAM223、操作部224、システムバス230、通信I/F226、受光部227、表示部208、及び演算部229を含む。CPU221は、1つ以上のプロセッサを含んでよく、ROM222に格納されたプログラムを読み出し、実行することにより色度計102の動作を制御する。色度計102において、CPU221は、操作部224を介しユーザの操作を受け付けて、受光部227に受光を指示する。受光部227は、色情報を取得するための受光素子を含む。受光部227にて取得された色情報は、一旦RAM223に格納され、その後演算部229による演算処理が施されてRAM223に格納される。格納される色度情報は、例えばCIE1931で定義される色空間(色度座標系)のx座標値とy座標値を含む。格納された色度情報は通信I/F部226を経てクライアント端末103に送信される。色度計102内の各ブロックはシステムバス230を通じて相互に接続されている。
クライアント端末103は、CPU212、HDD213、RAM214、NIC215、入力部217、表示部218、及びシステムバス219を含む。CPU221は、1つ以上のプロセッサを含んでよく、HDD213に格納されたプログラムを読み出し、実行することによりクライアント端末103の動作を制御する。CPU212は、通信I/F部216を介してデジタルカメラ101から患部画像データを受信し、RAM214に格納する。また、CPU212は、通信I/F216を介して色度計102から色度情報を受信し、RAM214に格納する。入力部217は、患者153の患部を診断した医師154から診断結果を受け付ける。診断結果はRAM214に格納される。診断結果については後述する。クライアント端末103において収集される、患部画像データと色度情報と診断結果(すなわち患部データセット)とは、ネットワークインターフェイスカード(NIC)216を介して、データサーバ108に送信される。クライアント端末103内の各ブロックはシステムバス219を通じて相互に接続されている。
The
データサーバ108は、CPU251、HDD252、RAM253、NIC254、及びシステムバス255を含む。データサーバ108は、インターネット106を介して、広い地域に存在する様々な医院のクライアント端末と通信可能に構成されている。データサーバ108と推論サーバ109は多くのデータを速くやり取りを行うためローカルエリアネットワーク107を介して接続されている。データサーバ108は、1つ以上のクライアント端末103からのデータをNIC254を介して受信して、受信したデータ(患部画像データと色度情報と診断結果)をHDD252に格納する。CPU251は、1つ以上のプロセッサを含んでよく、HDD252に格納されたプログラムを読み出し、実行することによりデータサーバ108の動作を制御する。データサーバ108内の各ブロックはシステムバス255を通じて相互に接続されている。
推論サーバ109は、CPU261、HDD262、RAM263、NIC264、システムバス265、GPU266、入力部267、及び表示部268を含む。CPU261は、1つ以上のプロセッサを含んでよく、HDD262に格納されたプログラムを読み出して、実行することにより推論サーバ109の動作を制御する。また、CPU261は、HDD262に格納されたプログラムによって、単独で、又はGPU266と協働して、推論及び再学習の処理を実行する。CPU261およびGPU266は、NIC264及びローカルエリアネットワーク107を介してデータサーバ108に格納された、患部画像データと色度情報と診断結果にアクセスする。GPU266は、データをより多く並列処理することで効率的な演算を行うことができるプロセッサである。深層学習(ディープラーニング)のための機械学習モデルを用いて複数回に渡り学習を行うような場合には、GPU266で処理を行うことが有効である。例えば、学習部327による処理にはCPU261に加えてGPU266を用いてもよい。学習モデルを含む学習プログラムを実行する場合に、CPU261とGPU266が協働して演算を行うことで学習を行ってよい。なお、学習部327の処理はCPU261またはGPU266のみにより演算が行われても良い。また、推定部325も学習部327と同様にGPU266を用いても良い。またGPU以外に機械学習に特化したデバイスを用いてもよい。
The
(各装置のソフトウェア構成例)
次に、図3を参照して、各装置のソフトウェア構成例について説明する。図3に示すソフトウェア構成のそれぞれは、図2に示したハードウェア構成例におけるCPUなどのハードウェア資源がプログラムを実行することにより実現される。なお、図3に示す機能ブロックの1つ以上は、例えば、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェア資源の組み合わせによって実現されてもよい。
(Example of software configuration of each device)
Next, a software configuration example of each device will be described with reference to FIG. Each of the software configurations shown in FIG. 3 is implemented by hardware resources such as the CPU in the hardware configuration example shown in FIG. 2 executing programs. One or more of the functional blocks shown in FIG. 3 may be implemented by hardware such as an ASIC or programmable logic array (PLA), or by a combination of software and hardware resources.
デジタルカメラ101の構成例について説明する。デジタルカメラ101は、カメラ制御部301、画像処理部302、画像ファイル生成部303、及びデータ送受信部304を含む。カメラ制御部301は、例えばCPU201とROM202に格納されたプログラムにより実現され、デジタルカメラ101の挙動の制御のために各機能ブロックに指示を出す。画像処理部302は、撮像部207にて撮影された画像をカラー画像に加工する。画像ファイル生成部303は、画像処理部302によって加工されたカラー画像を、画像ファイルフォーマットに従って画像データのファイルとして生成する。画像処理部302と画像ファイル生成部303とは、例えばカメラエンジン209のハードウェア処理回路とROM202に格納されたプログラムにより実現される。データ送受信部304は、画像データのファイルをクライアント端末103に送信する。
A configuration example of the
色度計102の構成例について説明する。色度計102は、色度計制御部305、受光部306、色度算出部307、及びデータ送受信部308を含む。色度計制御部305はROM222に格納されたプログラムとCPU221によって実現され、色度計102の挙動の制御のために各機能ブロックに指示を出す。受光部227にて受光した色は色度算出部307によって色度情報に変換される。色度算出部307はROM222に格納されたプログラムとCPU221によって実現される。データ送受信部308は、色度情報をクライアント端末103に送信する。
A configuration example of the
クライアント端末103の構成例について説明する。クライアント端末制御部309は、HDD213に格納されたプログラムとCPU212によって実現される。入力部310はキーボードなどの入力部217とHDD213に格納されたプログラムによって実現され、医師154が患者153の患部を診察した診断結果の入力を受け取る。クライアント端末制御部309は、デジタルカメラ101から受信した画像データのファイルと、色度計102から受信した色度情報と、診断結果とを患部データセットとしてデータ送受信部311を介してデータサーバ108に送信する。
A configuration example of the
データサーバ108の構成例について説明する。データサーバ制御部323はCPU251とHDD252に格納されたプログラムにより実現される。データ収集/提供部321は、NIC254、CPU251およびHDD252に格納されたプログラムにより実現される。データ収集/提供部321は、クライアント端末103や別サーバの要求に応じてデータを受け取ったり、データ記憶部322に保存したりする動作を行うと共に、データ記憶部322に保存したデータを取り出して要求元の装置に送信する。また、データ収集/提供部321は、一組のデータとして、画像データのファイルと色度情報と診断結果との関連付けを保持する。データ記憶部322は、CPU251とHDD252に格納されたプログラムおよびHDD252により実現され、クライアント端末103から受信した、画像データのファイルと色度情報と診断結果とを保持する。
A configuration example of the
推論サーバ109の構成例について説明する。推論サーバ制御部328は、HDD262に格納されたプログラムとCPU261によって実現される。推論サーバ制御部328は、データサーバ108に新しいデータが到着したかを定期的に監視する。データサーバ108に新しいデータが到着すると、推定部325に新しいデータの推定を指示する。なお、推定の指示はユーザによって入力部267を介して指示し、結果を表示部268に表示してもよい。データ送受信部324は、患部画像データのファイルと、患部画像データに関連付けられた色度情報と、患部画像データに関連付けられた診断結果とをデータサーバ108から取得するデータ取得の機能とを有する。推論サーバ制御部328は、データサーバ108に格納された患部画像データのファイルと色度情報と診断結果を参照する。推定部325は、HDD262に格納されたプログラムとCPU261とGPU266によって実現される。推定部325は、データサーバ108に格納された患部画像データのファイルと色度情報とに基づいて、推定処理を実行し、推定結果を得る。推定結果は、患部画像に基づく医師の診断結果を推定した結果であり、例えば、患部画像から推定される投薬量などの数値であるが、他の定量的な推定結果であってもよい。差分演算部326は、推定部325による推定結果と診断結果との差分を演算する。推論サーバ制御部328は、差分が閾値より大きいと判定した場合には、学習部327に対して推論モデル401を再学習させる指示を出す。
A configuration example of the
図4には、本実施形態に係る機械学習モデルを用いる場合の、入力データ、推論モデル、及び出力データの関係を模式的に示している。推論モデル401は、例えば、入力層と、1つ以上の中間層(隠れ層ともいう)と、出力層とを有するニューラルネットワークである。患部画像データ402と色度情報403は、入力データを構成し、推論モデル401の入力層に入力される。投薬量405は、出力データであり、推論モデル401の出力層から出力される。医師診断結果404は、教師データとして用いられる。なお、図4に示す推論モデルのニューラルネットワークは模式的に示したものであり、図4に示すニューロン数は入力データや出力データと必ずしも対応しない。
FIG. 4 schematically shows the relationship among input data, an inference model, and output data when using the machine learning model according to this embodiment. The
推論モデル401は、学習済みの機械学習モデルを用いて、患部画像データから投薬量を推定する段階(すなわち推論段階)では、患部画像データ402と基準色の色度情報403とを入力として、推定される投薬量405を出力する。また、推論モデル401を学習させるためには、教師データに対応する医師診断結果404が参照され、推論モデルの出力と比較される。すなわち、医師診断結果404は、推論モデル401が患部画像データ402及び色度情報403に基づいて出力する投薬量と比較される。医師診断結果と投薬量との比較結果は、例えば、推論モデルの推論誤差の算出に用いられる。推論モデルを学習させる段階では、推論誤差に基づいて、学習途中の推論モデル401の内部パラメータ(例えばニューラルネットワークの重み)が徐々に変更されて最適化される。
The
(情報処理システムの動作概要)
次に、図5を参照して、本実施形態に係る情報処理システム10の動作概要について説明する。まず、医院10において、光源151の下で患者153の患部を撮影する。S501では、色度計102が基準色チャート152の色度情報を取得する。基準色チャート152は、各チャートが例えば白色、原色の赤、原色の青、原色の緑であり、色度計102は、各チャートの各々の色度値を取得する。また、色度計102は、色度情報をクライアント端末103に送信する。S502では、デジタルカメラ101は、患者153の患部画像を撮影する。また、デジタルカメラ101は撮影した患部画像をクライアント端末103に送信する。S503では、クライアント端末103は、医師154が患者153を診察した診断結果を取得する。S504では、クライアント端末103は、基準色チャートの色度情報と、患部画像と、診断結果とをデータサーバ108にアップロードする。S505では、推論サーバ109は、データサーバ108に新しいデータがアップロードされると、患部画像に対する推論処理を実行し、診断結果を出力する。S506では、推論サーバ109は、S505で出力した診断結果と、S503で得られた医師による診断結果との相違を算出する。S507では、推論サーバ109は、相違が閾値を超える場合、推論モデルに基準色チャートの色度情報と患部画像と診断結果とを入力して、再学習を行う。
(Outline of information processing system operation)
Next, an overview of the operation of the
(医院における学習データ取得に係る一連の動作)
次に、図6Aを参照して、学習データ取得に係る一連の動作を説明する。なお、本動作は、例えば、医師154がクライアント端末103を介して、デジタルカメラ101に撮像指示及び色度計に色度情報の取得指示を出したときに開始される。また、特に断らない限り、デジタルカメラ101、色度計102及びクライアント端末103の各動作は、それぞれのCPU(CPU201、CPU221、CPU212)がそれぞれのプログラムを実行し、各部を制御することにより実現される。
(A series of operations related to acquisition of learning data in a clinic)
Next, a series of operations related to learning data acquisition will be described with reference to FIG. 6A. Note that this operation is started, for example, when the
S601では、色度計102は、患者の近傍に置かれる基準色チャート152の色度を取得する。例えば、基本色チャートが4色チャートである場合、色度計102は4つの色に対する色度情報を取得する。S602では、色度計102は、取得した色度情報をクライアント端末103に転送する。クライアント端末103は、色度計102から取得した色度情報を、内部のHDD213に保存する。
In S601, the
S603では、デジタルカメラ101は、撮影指示に応じて患者153の患部を含んだ患部画像を撮影する。S604では、デジタルカメラ101は画像をクライアント端末に転送し、保存する。
In S603, the
S605では、クライアント端末103は、撮影が終了したかを判定する。例えば、クライアント端末103は、医師154の指示が複数枚の患部撮影を行う指示であり、指定の撮影枚数を撮影していない場合には、撮影が終了していないと判定して、処理をS609に進める。クライアント装置103は、撮影が終了したと判定した場合には、S606に処理を進める。
In S605, the
S606では、クライアント端末103は、医師154が撮影された患部画像を参照して診断を行った診断結果を受け付ける。診断結果は、図7を参照して後述するように、例えば、撮影した患部に対して提供されるべき最適な薬の投薬量が含まれる。投薬量は、例えば、処方する薬M001について「36」mgなどと入力される。
In S<b>606 , the
S607では、クライアント端末103は、医師154が診断結果をクライアント端末103に保存する。このとき、クライアント端末103は、診断結果を、対応する患部画像データと色度情報に関連付けて保存する。クライアント端末103は、例えば、医師154による診断結果の入力完了指示を受け付けたことに応じて、或いは、診断結果の保存指示を受け付けたことに応じて、S606で入力された診断結果を、例えばHDD213に保存する。
In S<b>607 , the
S608では、クライアント端末103は、例えば医師154によるアップロード指示に応じて、基準色チャート152の色度情報と患部画像データと診断結果(患部データセット)とを、データサーバ108にアップロードする。本一連の動作は、クライアント端末103が患部データセットをデータサーバ108にアップロードすると、その後、終了する。
In S608, the
S609では、クライアント端末103は、撮影機器又は環境光に変化があるかを判定する。例えば、クライアント端末103は、S603で患部を撮影した際と比べて、患部撮影機器又は環境光に変化がある場合には、改めて患部の撮影及び色度するためにS601に処理を戻す。クライアント端末103は、撮影機器又は環境光に変化がある無い場合には継続して撮影を行うためにS603に進む。
In S609, the
なお、本実施形態では、クライアント端末103が医師の診断結果を受け付けるごとに、患部データセットをデータサーバ108に送信する場合を例に説明した。しかし、クライアント端末103は、予め定められた時間ごとに、当該時間内に保存された複数の患部データセットをデータサーバ108に送信してもよい。
In the present embodiment, the case where the
(推論及び再学習に係る一連の動作)
次に、図6Bを参照して、推論及び再学習に係る一連の動作について説明する。なお、推論サーバ109の機械学習モデルは、データサーバ108に格納された所定の患部データセット(推論モデルの最適化に必要なサンプル数のデータセット)を用いて、学習済みの状態である。また、本動作は、例えば、新たな患部データセットがクライアント端末103からデータサーバ108に格納されたときに開始される。また、特に断らない限り、データサーバ108及び推論サーバ109の各動作は、それぞれのCPU(CPU251、CPU261)がそれぞれのプログラムを実行し、各部を制御することにより実現される。
(Series of operations related to inference and re-learning)
Next, a series of operations related to inference and re-learning will be described with reference to FIG. 6B. Note that the machine learning model of the
S651では、推論サーバ109は、データサーバ108に新たに格納された患部画像を読み出す。例えば、推論サーバ109は、患部データセットの到来を通知する通知情報をデータサーバ108から受信したことに応じて、データサーバ108に到来した患部データセットを読み出す要求を送信し、データサーバ108から患部画像データを受信する。
In S<b>651 , the
S652では、データサーバ108に格納されている患部画像に紐づけられた基準色の色度情報を読み出す。例えば、推論サーバ109は、患部データセットの到来を通知する上記通知情報をデータサーバ108から受信した場合に、患部画像データに加えて、当該患部画像データと共に患部データセットに含まれる色度情報を、データサーバ108から受信する。
In S652, the chromaticity information of the reference color associated with the affected area image stored in the
S653は、推論サーバ109は、更にGPU266により、機械学習モデルの推論モデルを用いて、患部画像に基づく画像診断を行う。すなわち、推論サーバ109は、患部画像に基づく診断結果(本実施形態では例えば処方すべき薬の投薬量)を推論する。
In S653, the
S654では、推論サーバ109は、S651で読み出した患部画像に関連付けられている診断結果をデータサーバ108から読み出す。具体的には、例えば、推論サーバ109は、S651で読み出した患部画像に関連付けられている診断結果をデータサーバ108へ要求し、データサーバ108から対応する診断結果を受信する。
In S654, the
S655では、推論サーバ109は、S653で求めた推論結果と、S654で取得した診断結果との差を算出する。例えば、推論結果が薬の投薬量である場合、S653で推論された投薬量と、データサーバ108に格納されている投薬量(医師154によって入力された正解とされる投薬量)との差を算出する。
In S655, the
S656では、推論サーバ109は、S655で算出した差が閾値以上になるかを判定する。推論サーバ109は、S655で算出した差が閾値以上である場合には、機械学習モデルによる推論結果と医師による診断結果との差が大きいため、機械学習モデルを再学習させるためにS657に処理を進める。推論サーバ109は、S655で算出した差が閾値を越えない場合には、本一連の動作を終了する。
In S656, the
S657では、推論サーバ109は、更にGPU266により、データサーバ108が有する患部データセットを用いて、機械学習モデルを再学習させる。例えば、推論サーバ109は、S651で取得した患部画像に係る患部データセットを含んだ、データサーバ108に格納された所定の患部データセット(推論モデルの最適化に必要なサンプル数のデータセット)を用いて再学習を行う。このように、推論結果において医師の診断結果と所定以上の相違がある場合には、推論モデルを再学習させることで、高い精度の推論モデルを得ることができる。
In S657, the
(学習データの例)
次に、図7を参照して、本実施形態に係る学習データの一例について説明する。図7に示すデータ構造は、データサーバ108が一組のデータ(一組の患部データセット)として保持する患部画像のファイルと色度情報と診断結果のうち、色度情報と診断結果のデータを格納する構造例を示している。この例では、画像データの実体的なデータは画像IDにより参照される。色度情報には、色度の形式を示す色度形式の情報や、基準色である赤、緑、青及び白の色度の値を格納してよい。
(Example of learning data)
Next, an example of learning data according to this embodiment will be described with reference to FIG. In the data structure shown in FIG. 7, among the file of the affected area image, the chromaticity information, and the diagnostic result held by the
例えば表皮の症例では、皮膚近くに血液が集まる病変を観察して赤味の色や形、分布で症状を診断する。やけどにおいては、患部の深さや出血の様子を、患部の赤味によって診断する。このため、患部を撮影した画像と、患部に対して実際に医師が診断した結果とを学習することにより、患部の状態に基づいて診断結果(例えば薬の投薬量)を推定することが可能である。しかし、本実施形態では、推論モデルに基準色の色度情報を更に入力することにより、推論モデルが色度情報を考慮しながら、患部を撮影した画像に基づく診断結果を推定できるようにし、より精度の高い診断結果を実現する。 For example, in cases of epidermis, lesions that collect blood near the skin are observed, and symptoms are diagnosed based on the reddish color, shape, and distribution. In burns, the depth of the affected area and the state of bleeding are diagnosed based on the redness of the affected area. Therefore, it is possible to estimate the diagnosis result (for example, the dosage of medicine) based on the condition of the affected part by learning the image of the affected part and the results of the actual diagnosis of the affected part by the doctor. be. However, in this embodiment, by further inputting the chromaticity information of the reference color to the inference model, the inference model can estimate the diagnosis result based on the image of the affected area while considering the chromaticity information. Realize highly accurate diagnostic results.
デジタルカメラなどの撮像装置から出力される画像は、環境光や撮像機器により画像の色が異なる場合がある。例えば、撮像素子の色分離のためのカラーフィルタの特性の違いや画像処理の違いがある。また、環境光によっても見える色の相違が生じ、白熱電球や昼光など光源によって差が生じる場合がある。 An image output from an imaging device such as a digital camera may have different colors depending on ambient light and imaging equipment. For example, there are differences in the characteristics of color filters for color separation of image sensors and differences in image processing. In addition, ambient light also causes a difference in visible color, and a difference may occur depending on a light source such as an incandescent light bulb or daylight.
また、撮像装置が画像ファイルに残す色域は、人が知覚可能な色域より狭いことが知られている。撮像装置では、色域が狭いことに対して画像の見栄えを良くするために、撮像画像の色を補正したうえで、補正した画像を保存する場合がある。このとき、色の補正方法は撮像装置によって様々であり、また、当該補正に用いた色情報(色情報は、例えば白色の色情報を含む)は現像処理後に破棄され、画像ファイルにデータとして記録されているものではない。すなわち、様々な医院等で撮影された多量の患部画像を収集して多量の学習データを構成する場合、様々な環境光の下で様々な撮像装置で撮影された画像が含まれることになり、精度の良い学習データとはなりにくい。 Also, it is known that the color gamut left in the image file by the imaging device is narrower than the color gamut that humans can perceive. 2. Description of the Related Art In order to improve the appearance of an image due to the narrow color gamut, there are cases where the imaging apparatus corrects the colors of the captured image and then saves the corrected image. At this time, the color correction method varies depending on the imaging device, and the color information used for the correction (color information includes, for example, white color information) is discarded after the development process and recorded as data in the image file. It is not what is being done. That is, when a large amount of learning data is formed by collecting a large amount of affected area images taken at various clinics, etc., images taken with various imaging devices under various environmental lights are included. It is difficult to obtain accurate learning data.
本実施形態では、撮影環境下で人が知覚可能な色域端付近の基準色の色情報を取得し、画像処理後も色情報を保持して、学習データとして活用する。更に、撮影装置が扱うことができる色域よりも、広い領域において基本色の色度情報を保持することで、撮像装置の画像処理を経る前の患部画像の色合いを見積もる指標となり、推論モデルの精度を向上させることができる。 In this embodiment, the color information of the reference color near the end of the color gamut that is perceivable by humans under the shooting environment is acquired, and the color information is retained even after image processing and utilized as learning data. Furthermore, by holding the chromaticity information of the basic colors in a wider area than the color gamut that can be handled by the imaging device, it becomes an index for estimating the color tone of the affected area image before undergoing the image processing of the imaging device, and can be used as an inference model. Accuracy can be improved.
また、患部画像に基づいて診断結果を出力する際には、原色付近の色の情報が重要である。上述のように、表皮の症例においては、皮膚近くに血液が集まる病変を観察して赤味の色や形、分布に基づいて診断が行われ、また、やけどにおいては、患部の深さや出血の様子を、患部の赤味によって診断がなされる。或いは、生体サンプルの例では、対象組織が青くなるように染色された顕微鏡標本において、顕微鏡の観察像において青みの色が対象組織の数や密度のような定量的な数値を診断結果として示すこともある。 In addition, when outputting a diagnosis result based on an image of an affected area, information on colors near the primary colors is important. As mentioned above, in epidermal cases, lesions that collect blood near the skin are observed and diagnosed based on the color, shape, and distribution of redness. The condition is diagnosed by the redness of the affected area. Alternatively, in the example of a biological sample, in a microscopic specimen stained so that the target tissue is blue, the bluish color in the microscopic observation image indicates a quantitative numerical value such as the number or density of the target tissue as a diagnostic result. There is also
図8は、色度座標系で表された可視領域と各装置の表示可能領域とを示している。色情報を数値で表現する方法として、例えばCIE1931色度座標系を用いることができる。この座標系では、白色点から離れる程、広い色域を示し、人の知覚に準じた色域となる。各々の撮像装置において撮影された画像の色は、三原色すなわち赤緑青(RGB)の比で表現されるため、色域は原色R点(赤)、原色G点(緑)、原色B点(青)を頂点とする三角形で表現される。 FIG. 8 shows the visible region represented by the chromaticity coordinate system and the displayable region of each device. As a method of expressing color information numerically, for example, the CIE1931 chromaticity coordinate system can be used. In this coordinate system, the farther away from the white point, the wider the color gamut, which corresponds to human perception. The colors of the images captured by each imaging device are represented by the ratio of the three primary colors, ie, red, green, and blue (RGB). ) as vertices.
具体的に、図8の例では、801は、人が知覚可能な色域は可視領域を示している。802~804は、それぞれ、基準色の原色R点と、基準色の原色G点と、基準色の原色B点を示しており、805は、白色点を示す。806は、患部色度の例を示しており、原色R点に近い。
Specifically, in the example of FIG. 8, 801 indicates the visible region of the color gamut perceivable by humans.
811は画像を保存するときの色域の例を示しており、例えばsRGB色域を示す。812~814は、それぞれ、sRGB色域における、原色R点と、原色G点と、原色B点とを示す。821は、表示装置で表示することができる色域の例を示している。822~824は、それぞれ、表示装置で表示することができる色域における、原色R点、原色G点、原色B点を示す。 811 indicates an example of the color gamut when saving the image, for example, the sRGB color gamut. 812 to 814 respectively indicate the primary color R point, the primary color G point, and the primary color B point in the sRGB color gamut. 821 shows an example of the color gamut that can be displayed on the display device. 822 to 824 indicate the primary color R point, the primary color G point, and the primary color B point, respectively, in the color gamut that can be displayed by the display device.
例えば、被写体を撮影する際に被写体の色が可視領域801の端であっても、例えば撮像装置が撮影し、画像処理を行い、ファイルに保存される段階で色域811に狭まる。さらに画像ファイルを表示させる場合には表示装置で表示することができる色域821まで狭まる。
For example, when an object is photographed, even if the color of the object is at the edge of the visible range 801, the
図9は、例えば同じ患部を異なる環境光の下で、撮像装置によって撮影した画像をsRGB画像として出力する場合の例を示している。この例に示すように、患部画像の色度806と基準色原色R点802の色度は、画像上sRGBの原色Rの座標値にクリップされ、色の差分情報が失われることになる。
FIG. 9 shows an example of a case where images of the same affected area captured by an imaging device under different environmental lights are output as sRGB images. As shown in this example, the
このように、本実施形態では、患部画像と医師による診断結果とに加えて、基準色の色度を測定した色度情報を合わせた学習データを用いる。このようにすることで、推論モデルに色度の情報を加味した推論を行わせることができるため、高い精度の推論モデルを得ることができる。 Thus, in this embodiment, in addition to the diseased part image and the diagnosis result by the doctor, the learning data obtained by combining the chromaticity information obtained by measuring the chromaticity of the reference color is used. By doing so, the inference model can be made to perform inference with the chromaticity information taken into consideration, so that a highly accurate inference model can be obtained.
なお、上述の実施形態では、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習(ディープラーニング)を、推論モデルとして用いる場合を例に説明した。しかし、推論モデルを機械学習させる具体的なアルゴリズムとして他のアルゴリズムを用いてもよい。他のアルゴリズムは、例えば、決定木、サポートベクターマシンなどのアルゴリズムを含んでよい。 In the above-described embodiment, a case where deep learning, in which a neural network is used to generate feature amounts and connection weighting coefficients for learning by itself, is used as an inference model has been described as an example. However, other algorithms may be used as specific algorithms for machine learning the inference model. Other algorithms may include, for example, decision trees, support vector machines, and like algorithms.
また、上述の学習部327は、誤差検出部と、更新部と、を備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、教師データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと教師データとの誤差を計算するようにしてもよい。更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
Also, the
(実施形態2)
実施形態1では、患部画像のデータと色度情報とが別々である場合を例に説明した。実施形態2では、色度情報を患部画像データのメタ領域に付帯させる場合を例に説明する。なお、本実施形態は、患部画像と色度情報の持ち方が実施形態1と異なるが、システム構成やデジタルカメラ101などのシステムを構成する装置の構成例は実施形態1と同様にすることができる。従って、実施形態1と同様の構成については同じ参照番号を付して重複する説明は省略する。
(Embodiment 2)
In the first embodiment, the case where the data of the affected area image and the chromaticity information are separate has been described as an example. In the second embodiment, an example will be described in which chromaticity information is added to the meta area of the diseased part image data. Although the present embodiment differs from the first embodiment in the method of holding the affected area image and the chromaticity information, the system configuration and the configuration example of the devices constituting the system, such as the
クライアント端末制御部309は、S608において、デジタルカメラ101から受信した画像データのファイルと、色度計102から受信した色度情報と、受け付けた診断結果とを一組のデータとしてデータサーバ108に送信する。この際、クライアント端末制御部309は、画像ファイルに対して図7に示したデータ構造を、患部画像データの中のメタデータとして埋め込む加工を行う。すなわち、色度情報などの種々の情報がメタデータに含まれる。このようにすることで、データサーバ108は、患部画像データと色度情報と診断結果とを関連付けて記憶する手間が簡略化される。このため、データサーバ108は1組のデータを1ファイルとして管理することが可能になる。すなわち、データサーバ108は複数のファイルを関連させるRDBの機能を持つ必要がなくなるため、データベースサーバを低コストで実現することが可能になる。
In S608, the client
(実施形態3)
上述の実施形態では、デジタルカメラ101と色度計102とが別々の装置である場合を例に説明した。しかし、デジタルカメラ101と色度計102とを一体の装置に構成してもよい。三刺激値型の色度計は、人の視感度分光に模したX・Y・Zの3つのセンサ出力から色度を算出する。一方、デジタルカメラの撮像装置は、R・G・Bの3つのセンサのアレイから画像を生成する。そこで、デジタルカメラ101の撮像素子は、例えば、受光部にX・Y・Z・R・G・Bの6つのセンサを含み、色度計の出力と撮像装置の出力を有する受光部を含んでよい。例えば、XセンサとRセンサ、YセンサとGセンサ、ZセンサとBセンサの相関取りを行う。このようにすることで、R・G・Bの3つのセンサを持つ受光部が、色度計としてのXYZ出力値と撮像装置のRGB出力値とを出力することができる。
(Embodiment 3)
In the above-described embodiment, the case where the
以上説明したように本実施形態では、患者の患部を撮影した患部画像と、患部画像を撮影したときの色度を示す色度情報とを取得し、学習済みの機械学習モデルにより、患部画像と色度情報とを用いて、患部に対する診断結果を推論するようにした。このようにすることで、様々な環境光下で或いは様々な撮影装置によって撮影される画像を機械学習に用いる場合であっても、精度の良い診断や病理的定量化を行うことができる。 As described above, in the present embodiment, an affected area image obtained by photographing an affected area of a patient and chromaticity information indicating the chromaticity when the affected area image is obtained are acquired, and the affected area image and the Chromaticity information is used to infer the diagnosis result for the affected area. By doing so, accurate diagnosis and pathological quantification can be performed even when images captured under various environmental lights or by various imaging devices are used for machine learning.
また、推論された診断結果と、患部の状態を診断した医師によって提供される診断結果とを比較するようにした。そして、推論された診断結果と医師によって提供される診断結果との差が閾値以上である場合、患部画像と色度情報と診断結果とを含む学習データに用いて、学習モデルを再学習させるようにした。このようにすることで、推定結果に所定以上の誤差を含む場合には、誤差の生じたサンプルを含んだ学習データにより再学習を行い、推論精度を更に向上させることができる。 Also, the inferred diagnosis result is compared with the diagnosis result provided by the doctor who diagnosed the condition of the affected area. Then, if the difference between the inferred diagnosis result and the diagnosis result provided by the doctor is equal to or greater than a threshold, the learning data including the affected area image, the chromaticity information, and the diagnosis result is used to re-learn the learning model. made it By doing so, when the estimation result contains an error of a predetermined value or more, the learning data containing the sample with the error is used for re-learning, and the inference accuracy can be further improved.
なお、上述の実施形態では、推論モデル401について、機械学習された学習済みモデルを用いる場合を例に説明した。しかし、推論アルゴリズムは、ルックアップテーブル(LUT)等のルールベースの処理であってもよい。その場合には、例えば、入力データと出力データとの関係をあらかじめLUTとして作成する。そして、この作成したLUTをRAM263のメモリに格納しておくとよい。推論モデル401の処理を行う場合には、この格納されたLUTを参照して、出力データを取得することができる。つまりLUTは、処理部と同等の処理をするためのプログラムとして、CPUあるいはGPUなどが協働で動作することにより、推論処理を行うことができる。
Note that, in the above-described embodiment, the
プロセッサまたは回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートウェイ(FPGA)を含み得る。また、プロセッサまたは回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、ニューラルプロセッシングユニット(NPU)、またはニューラルエンジンを含み得る。 A processor or circuit may include a central processing unit (CPU), a microprocessing unit (MPU), a graphics processing unit (GPU), an application specific integrated circuit (ASIC), a field programmable gateway (FPGA). Also, the processor or circuitry may include a digital signal processor (DSP), data flow processor (DFP), neural processing unit (NPU), or neural engine.
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the embodiments described above, and various modifications and variations are possible without departing from the spirit and scope of the invention. Accordingly, the claims are appended to make public the scope of the invention.
101…デジタルカメラ、102…色度計、103…クライアント端末、108…データサーバ、109…推論サーバ、324…データ送受信部、325…推定部、327…学習部
DESCRIPTION OF
Claims (10)
学習済みの機械学習モデルにより、前記患部画像と前記色度情報とを用いて、前記患部に対する診断結果を推論する推論手段と、を有することを特徴とする機械学習装置。 Acquisition means for acquiring an affected area image obtained by photographing an affected area of a patient and chromaticity information indicating chromaticity when the affected area image is obtained;
and an inference means for inferring a diagnosis result for the affected area using the affected area image and the chromaticity information according to a learned machine learning model.
前記推論された診断結果と前記医師によって提供される診断結果との差が閾値以上である場合、前記患部画像と、前記色度情報と、前記患部画像に関連付けられた前記診断結果とを含む学習データを用いて、前記機械学習モデルを再学習させる学習手段と、を更に有する、ことを特徴とする請求項1又は2に記載の機械学習装置。 comparison means for comparing the diagnosis result inferred by the inference means with the diagnosis result provided by the doctor who diagnosed the condition of the affected area;
learning including the affected area image, the chromaticity information, and the diagnosed area associated with the affected area image when a difference between the inferred diagnosis and the diagnostic provided by the doctor is greater than or equal to a threshold; 3. The machine learning device according to claim 1, further comprising learning means for re-learning said machine learning model using data.
前記取得手段は、前記ファイルのメタデータから前記色度情報を取得する、ことを特徴とする請求項4に記載の機械学習装置。 the chromaticity information is included in metadata of the file;
5. The machine learning apparatus according to claim 4, wherein said acquisition means acquires said chromaticity information from metadata of said file.
患者の患部を撮影した患部画像と、前記患部画像を撮影したときの色度を示す色度情報とを取得する取得工程と、
学習済みの機械学習モデルにより、前記患部画像と前記色度情報とを用いて、前記患部に対する診断結果を推論する推論工程と、を有することを特徴とする機械学習装置の制御方法。 A control method for a machine learning device,
an acquisition step of acquiring an affected area image obtained by photographing an affected area of a patient and chromaticity information indicating chromaticity when the affected area image is obtained;
and an inference step of inferring a diagnosis result for the affected area using the affected area image and the chromaticity information according to a learned machine learning model.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021096033A JP2022187833A (en) | 2021-06-08 | 2021-06-08 | Machine learning apparatus, control method of the same, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021096033A JP2022187833A (en) | 2021-06-08 | 2021-06-08 | Machine learning apparatus, control method of the same, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022187833A true JP2022187833A (en) | 2022-12-20 |
Family
ID=84531877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021096033A Pending JP2022187833A (en) | 2021-06-08 | 2021-06-08 | Machine learning apparatus, control method of the same, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022187833A (en) |
-
2021
- 2021-06-08 JP JP2021096033A patent/JP2022187833A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100469308C (en) | Method and system for detecting colorimetric abnormalites | |
Dimauro et al. | A new method and a non-invasive device to estimate anemia based on digital images of the conjunctiva | |
Badano et al. | Consistency and standardization of color in medical imaging: a consensus report | |
JP4212165B2 (en) | Color reproduction system | |
US7444071B2 (en) | Method for diagnosing disease from tongue image | |
US20090092297A1 (en) | Image processing apparatus, image processing system and image processing program | |
JP2001258044A (en) | Medical use image processing unit | |
JP3417235B2 (en) | Diagnostic system | |
WO2011121900A1 (en) | Image processing apparatus, image reading apparatus, image processing method and image processing program | |
CN106510630A (en) | Oral cavity detection device and oral cavity detection method | |
JP2006254309A (en) | Photographing system | |
WO2016067892A1 (en) | Degree-of-health outputting device, degree-of-health outputting system, and program | |
WO2022000975A1 (en) | Image processing method and apparatus for stereoscopic endoscope, and storage medium | |
JP2004073802A (en) | Multipurpose measuring unit for skin | |
CN112788200A (en) | Method and device for determining frequency spectrum information, storage medium and electronic device | |
WO2021256459A1 (en) | Image display system and image display method | |
JP2001008220A (en) | Color reproduction system | |
US20150379735A1 (en) | Remote monitoring framework | |
JP2014018251A (en) | Ophthalmological photographing apparatus and ophthalmological photographing program | |
Takahashi et al. | Development of a camera-based remote diagnostic system focused on color reproduction using color charts | |
JP2022187833A (en) | Machine learning apparatus, control method of the same, and program | |
Yélamos et al. | Understanding Color | |
JP6981561B1 (en) | Color chart | |
TWI489306B (en) | Health status assessment methods and the use of the method of health assessment system | |
CN117547248B (en) | Skin whitening degree analysis method, apparatus, computer device and storage medium |