JP2023025415A

JP2023025415A - Program, storage medium, system, learned model, and determination method

Info

Publication number: JP2023025415A
Application number: JP2021130640A
Authority: JP
Inventors: 英毅森; Hideki Mori; 一美山▲崎▼; Kazumi Yamazaki
Original assignee: StaGen Co Ltd
Current assignee: StaGen Co Ltd
Priority date: 2021-08-10
Filing date: 2021-08-10
Publication date: 2023-02-22

Abstract

To provide a program, a storage medium, a system, a learned model, and a determination method with which the presence or absence of the onset of a subject's appendicitis can be determined.SOLUTION: In a program for causing a computer to function as model generation means 22, receiving means 24, and operation means 26, the model generation means 22 uses training data 32 including a tongue surface image and information on the presence or absence of the onset of appendicitis to generate, through deep learning, a learned model 34 having the tongue surface image as input and the information on the presence or absence of the onset of appendicitis as output. The receiving means 24 receives an image of a tongue surface of a subject for whom the presence or absence of the onset of appendicitis should be diagnosed. The operation means 26 performs operation related to the presence or absence of the onset of appendicitis when receiving input of the tongue surface image received by the receiving means 24 based on the learned model 34 generated by the model generation means 22.SELECTED DRAWING: Figure 2

Description

特許法第３０条第２項適用申請有り令和３年３月３１日に一般財団法人キヤノン財団が自社のウェブサイトにて公開There is an application for the application of Article 30, Paragraph 2 of the Patent Law The Canon Foundation will publish it on its website on March 31, 2021

本発明は、プログラム、記憶媒体、システム、学習済モデルおよび判定方法に関する。 The present invention relates to programs, storage media, systems, trained models, and determination methods.

従来から、漢方医学では舌の状態を身体の状態を現す指標の一つとする舌診が知られている。このような舌診の理論を用いた舌診装置として例えば特許文献１等に開示されるものが知られている。特許文献１等に開示される舌診装置では、漢方医学による舌診の技能がない医師、あるいは遠隔地にいるために患者の舌を直接舌診できない医師、さらには医師でない薬剤師等であっても漢方医学に基づく舌診の診断結果を得ることができる。 Conventionally, tongue diagnosis, in which the state of the tongue is used as one of the indicators of the state of the body, has been known in Kampo medicine. As a tongue diagnosis device using such tongue diagnosis theory, for example, one disclosed in Patent Document 1 is known. The tongue diagnosis apparatus disclosed in Patent Document 1 and the like can be used by doctors who are not skilled in tongue diagnosis according to Kampo medicine, doctors who are in remote locations and cannot directly examine the tongue of patients, and pharmacists who are not doctors. can also obtain diagnostic results of tongue examination based on Kampo medicine.

特開２００９－０２８０５８号公報JP 2009-028058 A

しかしながら、対象者の急性虫垂炎の発症の有無を判断する舌診装置は従来より存在しなかった。 However, there has been no conventional tongue diagnosis device for determining whether or not a subject has developed acute appendicitis.

本発明は、このような点を考慮してなされたものであり、対象者の急性虫垂炎の発症の有無を判断することができるプログラム、記憶媒体、システム、学習済モデルおよび判定方法を提供することを目的とする。 The present invention has been made in consideration of such points, and provides a program, a storage medium, a system, a learned model, and a determination method that can determine whether or not a subject has developed acute appendicitis. With the goal.

本発明は、コンピュータを、モデル生成手段と、受付手段と、演算手段として機能させるプログラムであって、
前記モデル生成手段は、舌表面画像および急性虫垂炎の発症の有無に関する情報を含む教師データを用い、舌表面画像を入力、急性虫垂炎の発症の有無に関する情報を出力とする学習済モデルを深層学習により生成し、
前記受付手段は、急性虫垂炎の発症の有無を診断すべき対象者の舌表面画像を受け付け、
前記演算手段は、前記モデル生成手段により生成された前記学習済モデルに基づいて、前記受付手段により受け付けられた舌表面画像を入力したときの急性虫垂炎の発症の有無に関する演算を行う、プログラムである。 The present invention is a program that causes a computer to function as model generation means, reception means, and calculation means,
The model generation means uses teacher data including information on the tongue surface image and the onset of acute appendicitis, and uses deep learning to create a trained model that inputs the tongue surface image and outputs information on the onset of acute appendicitis. generate and
The reception means receives a tongue surface image of a subject whose presence or absence of onset of acute appendicitis should be diagnosed,
The computing means is a program that computes the presence or absence of onset of acute appendicitis when the tongue surface image received by the receiving means is input, based on the learned model generated by the model generating means. .

本発明は、コンピュータを、モデル生成手段と、受付手段と、演算手段として機能させるプログラムが記憶された記憶媒体であって、
前記モデル生成手段は、舌表面画像および急性虫垂炎の発症の有無に関する情報を含む教師データを用い、舌表面画像を入力、急性虫垂炎の発症の有無に関する情報を出力とする学習済モデルを深層学習により生成し、
前記受付手段は、急性虫垂炎の発症の有無を診断すべき対象者の舌表面画像を受け付け、
前記演算手段は、前記モデル生成手段により生成された前記学習済モデルに基づいて、前記受付手段により受け付けられた舌表面画像を入力したときの急性虫垂炎の発症の有無に関する演算を行う、記憶媒体である。 The present invention is a storage medium storing a program for causing a computer to function as model generation means, reception means, and calculation means,
The model generation means uses teacher data including information on the tongue surface image and the onset of acute appendicitis, and uses deep learning to create a trained model that inputs the tongue surface image and outputs information on the onset of acute appendicitis. generate and
The reception means receives a tongue surface image of a subject whose presence or absence of onset of acute appendicitis should be diagnosed,
The computing means is a storage medium that computes whether or not acute appendicitis develops when the tongue surface image received by the receiving means is input, based on the learned model generated by the model generating means. be.

本発明は、舌表面画像および急性虫垂炎の発症の有無に関する情報を含む教師データを用い、舌表面画像を入力、急性虫垂炎の発症の有無に関する情報を出力とする学習済モデルを深層学習により生成するモデル生成手段と、
急性虫垂炎の発症の有無を診断すべき対象者の舌表面画像を受け付ける受付手段と、
前記モデル生成手段により生成された前記学習済モデルに基づいて、前記受付手段により受け付けられた舌表面画像を入力したときの急性虫垂炎の発症の有無に関する演算を行う演算手段と、
を備えた、システムである。 The present invention uses teacher data including tongue surface images and information about the onset of acute appendicitis to generate a trained model by deep learning that inputs tongue surface images and outputs information about the onset of acute appendicitis. a model generating means;
a receiving means for receiving a tongue surface image of a subject whose presence or absence of onset of acute appendicitis should be diagnosed;
computing means for computing whether or not acute appendicitis develops when the tongue surface image received by the receiving means is input, based on the learned model generated by the model generating means;
It is a system with

本発明は、舌表面画像および急性虫垂炎の発症の有無に関する情報を含む教師データを用いて深層学習により生成された、舌表面画像を入力、急性虫垂炎の発症の有無に関する情報を出力とする、学習済モデルである。 In the present invention, learning is performed by inputting a tongue surface image and outputting information on the presence or absence of acute appendicitis generated by deep learning using teacher data including information on the tongue surface image and the onset of acute appendicitis. model.

本発明は、コンピュータにより行われる判定方法であって、
舌表面画像および急性虫垂炎の発症の有無に関する情報を含む教師データを用い、舌表面画像を入力、急性虫垂炎の発症の有無に関する情報を出力とする学習済モデルを深層学習により生成する工程と、
急性虫垂炎の発症の有無を診断すべき対象者の舌表面画像を受け付ける工程と、
生成された前記学習済モデルに基づいて、受け付けられた舌表面画像を入力したときの急性虫垂炎の発症の有無に関する演算を行う工程と、
を備えた、判定方法である。 The present invention is a computer-implemented determination method comprising:
A step of generating, by deep learning, a trained model using teacher data including information on the tongue surface image and onset of acute appendicitis, inputting the tongue surface image, and outputting information on the onset of acute appendicitis;
a step of receiving a tongue surface image of a subject whose presence or absence of onset of acute appendicitis should be diagnosed;
a step of performing calculations regarding the presence or absence of onset of acute appendicitis when an accepted tongue surface image is input, based on the generated learned model;
It is a determination method.

本発明のプログラム、記憶媒体、システム、学習済モデルおよび判定方法によれば、対象者の急性虫垂炎の発症の有無を判断することができる。 According to the program, storage medium, system, learned model, and determination method of the present invention, it is possible to determine whether or not a subject has developed acute appendicitis.

本発明の実施の形態による診断システムの構成を概略的に示す概略構成図である。1 is a schematic configuration diagram that schematically shows the configuration of a diagnostic system according to an embodiment of the present invention; FIG. 図１に示す診断システムにおける学習済モデルの生成および舌表面画像を入力したときの演算等を示す説明図である。1. It is explanatory drawing which shows calculation etc. when generation of the learned model in the diagnostic system shown in FIG. 1 and a tongue surface image are input. 図１に示す診断システムによる学習済モデルの生成方法および急性虫垂炎の発症の有無の判定方法を示すフローチャートである。FIG. 2 is a flow chart showing a method of generating a trained model and a method of determining whether or not acute appendicitis has developed by the diagnosis system shown in FIG. 1. FIG. 急性虫垂炎の発症有の確率が高いと演算された舌表面画像である。It is a tongue surface image calculated to have a high probability of developing acute appendicitis. 図４に示す舌表面画像に対して生成されたヒートマップである。5 is a heat map generated for the tongue surface image shown in FIG. 4; 図４に示す舌表面画像および図５に示すヒートマップを重ね合わせることにより生成される重合せ画像である。6 is a superimposed image generated by superimposing the tongue surface image shown in FIG. 4 and the heat map shown in FIG. 5; 急性虫垂炎の発症有の確率が極めて低いと演算された舌表面画像である。It is a tongue surface image calculated to have an extremely low probability of developing acute appendicitis. 図７に示す舌表面画像に対して生成されたヒートマップである。8 is a heat map generated for the tongue surface image shown in FIG. 7; 図７に示す舌表面画像および図５に示すヒートマップを重ね合わせることにより生成される重合せ画像である。8 is a superimposed image generated by superimposing the tongue surface image shown in FIG. 7 and the heat map shown in FIG. 5;

以下、図面を参照して本発明の実施の形態について説明する。図１乃至図９は、本実施の形態に係る診断システムおよび診断対象となる舌表面画像等を示す図である。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings. 1 to 9 are diagrams showing a diagnostic system according to the present embodiment, a tongue surface image to be diagnosed, and the like.

まず、本実施の形態に係る診断システムの構成について図１および図２を用いて説明する。図１等に示すように、診断システム１０はコンピュータ等から構成されており、制御部２０と、記憶部３０と、表示部５０と、操作部５２と、通信部５４とを備えている。 First, the configuration of the diagnostic system according to the present embodiment will be described with reference to FIGS. 1 and 2. FIG. As shown in FIG. 1 and the like, the diagnostic system 10 includes a computer or the like, and includes a control section 20, a storage section 30, a display section 50, an operation section 52, and a communication section .

制御部２０は、ＣＰＵ（中央演算処理装置）等で構成され、診断システム１０の動作を制御する。具体的には、制御部２０は、後述する記憶部３０に記憶されているプログラム３６を実行することにより、モデル生成手段２２、受付手段２４、演算手段２６および出力手段２８として機能する。 The control unit 20 is composed of a CPU (Central Processing Unit) and the like, and controls the operation of the diagnostic system 10 . Specifically, the control unit 20 functions as a model generation unit 22, a reception unit 24, a calculation unit 26, and an output unit 28 by executing a program 36 stored in the storage unit 30, which will be described later.

モデル生成手段２２は、舌表面画像および急性虫垂炎の発症の有無に関する情報を含む教師データ３２を用い、舌表面画像を入力、急性虫垂炎の発症の有無に関する情報を出力とする学習済モデル３４を深層学習により生成する。モデル生成手段２２による学習済モデル３４の生成方法の詳細については後述する。 The model generating means 22 uses teacher data 32 including information on the tongue surface image and the presence or absence of acute appendicitis, and deep layers a trained model 34 that inputs the tongue surface image and outputs information on the presence or absence of acute appendicitis. Generated by learning. The details of the method of generating the learned model 34 by the model generating means 22 will be described later.

受付手段２４は、急性虫垂炎の発症の有無を診断すべき対象者（すなわち、急性虫垂炎の発症が疑われる対象者）の舌表面画像を受け付ける。具体的には、例えば後述する通信部５４を介して外部装置（例えば、デジタルカメラ等の撮像装置やスマートフォン等の携帯通信端末）から舌表面画像が診断システム１０に送信されると、受付手段２４はこの舌表面画像を受け付ける。 The receiving unit 24 receives a tongue surface image of a subject whose presence or absence of onset of acute appendicitis should be diagnosed (that is, a subject suspected of developing acute appendicitis). Specifically, for example, when a tongue surface image is transmitted from an external device (for example, an imaging device such as a digital camera or a mobile communication terminal such as a smartphone) to the diagnostic system 10 via the communication unit 54 described later, the receiving means 24 accepts this tongue surface image.

演算手段２６は、モデル生成手段２２により生成された学習済モデル３４に基づいて、受付手段２４により受け付けられた舌表面画像を入力したときの急性虫垂炎の発症の有無に関する演算を行う。 Based on the learned model 34 generated by the model generating means 22, the computing means 26 computes the presence or absence of acute appendicitis when the tongue surface image received by the receiving means 24 is input.

出力手段２８は、演算手段２６による演算結果を出力する。出力手段２８により出力された情報は表示部５０に表示されたり通信部５４により診断システム１０とは別の装置に送信されたりする。 The output means 28 outputs the result of calculation by the calculation means 26 . The information output by the output means 28 is displayed on the display section 50 or transmitted by the communication section 54 to a device other than the diagnostic system 10 .

記憶部３０は、例えばＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）およびＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）などで構成されている。また、記憶部３０は診断システム１０に内蔵されるものに限定されることはなく、診断システム１０に着脱自在に装着可能な記憶媒体（例えば、ＵＳＢメモリ）等であってもよい。本実施の形態では、記憶部３０は、学習済モデル３４およびプログラム３６等を記憶するようになっている。 The storage unit 30 includes, for example, a HDD (Hard Disk Drive), a RAM (Random Access Memory), a ROM (Read Only Memory), and an SSD (Solid State Drive). Further, the storage unit 30 is not limited to one built in the diagnostic system 10, and may be a storage medium (for example, a USB memory) that can be detachably attached to the diagnostic system 10, or the like. In this embodiment, the storage unit 30 stores a learned model 34, a program 36, and the like.

表示部５０は例えばモニタ等であり、制御部２０から表示指令信号を受け取ることにより様々な画面を表示するようになっている。操作部５２は例えばキーボード等であり、制御部２０に対して様々な指令を与えることができるようになっている。本実施の形態では、これらの表示部５０および操作部５２が一体化したタッチパネル等の表示操作部が用いられてもよい。通信部５４は、無線または有線により外部装置との信号の送受信を行うための通信インターフェースを含む。 The display unit 50 is, for example, a monitor or the like, and receives display command signals from the control unit 20 to display various screens. The operation unit 52 is, for example, a keyboard or the like, and can give various commands to the control unit 20 . In the present embodiment, a display/operation unit such as a touch panel in which the display unit 50 and the operation unit 52 are integrated may be used. The communication unit 54 includes a communication interface for transmitting/receiving signals to/from an external device wirelessly or by wire.

次に、このような診断システム１０による診断方法（具体的には、急性虫垂炎の発症の有無についての判定方法）について図２および図３を用いて説明する。図２は、図１に示す診断システム１０における学習済モデルの生成および舌表面画像を入力したときの演算等を示す説明図であり、図３は、図１に示す診断システム１０による判定方法を示すフローチャートである。以下に示す動作は、記憶部３０に記憶されているプログラム３６を制御部２０が実行することにより、各手段２２、２４、２６、２８によって行われるものである。 Next, a diagnostic method (specifically, a method for determining the presence or absence of acute appendicitis) by such a diagnostic system 10 will be described with reference to FIGS. 2 and 3. FIG. FIG. 2 is an explanatory diagram showing generation of a trained model in the diagnostic system 10 shown in FIG. 1 and calculations when a tongue surface image is input, and FIG. It is a flow chart showing. The operations described below are performed by the means 22 , 24 , 26 and 28 as the control unit 20 executes the program 36 stored in the storage unit 30 .

まず、診断システム１０において、モデル生成手段２２により学習済モデル３４を予め生成しておく（ＳＴＥＰ１、２）。このようなモデル生成手段２２による学習済モデル３４の生成方法の詳細について以下に説明する。モデル生成手段２２は、ニューラルネットワーク（ＮＮ）、例えば、畳み込みニューラルネットワーク（ＣＮＮ）、ＶｉｓｉｏｎＴｒａｎｓｆｏｒｍｅｒ（ＶｉＴ）等、およびそれらの組み合わせ等から構成されている。このようなニューラルネットワークは、舌表面画像および急性虫垂炎の発症の有無に関する情報を含む教師データ３２が入力される入力層と、教師データ３２を用いてパラメータが学習される中間層と、急性虫垂炎の発症の有無予測を出力する出力層と、学習済パラメータを含むよう構成された学習済モデル３４を出力する機能とを有している。そして、このようなニューラルネットワークでは、教師データ３２が入力されると、中間層にて演算し、出力層により急性虫垂炎の発症の有無予測を出力するようになる。このようなニューラルネットワークとして新たに構成することも、既知のものを用いることもできる。 First, in the diagnostic system 10, the learned model 34 is generated in advance by the model generating means 22 (STEPs 1 and 2). The details of the method of generating the learned model 34 by the model generating means 22 will be described below. The model generating means 22 is composed of a neural network (NN) such as a convolutional neural network (CNN), a Vision Transformer (ViT), a combination thereof, or the like. Such a neural network includes an input layer in which teacher data 32 including information on the tongue surface image and the onset of acute appendicitis is input, an intermediate layer in which parameters are learned using the teacher data 32, and an acute appendicitis It has an output layer that outputs prediction of the presence or absence of onset, and a function that outputs a learned model 34 configured to include learned parameters. In such a neural network, when the teacher data 32 is input, the middle layer performs calculations, and the output layer outputs whether or not acute appendicitis will develop. Such a neural network can be newly configured or a known one can be used.

ここで、モデル生成手段２２は、既存のモデルに教師データ３２を加えることによって学習済モデル３４を深層学習により生成してもよい。既存のモデルは、舌表面画像または、舌表面画像以外の多数の画像を用いて深層学習が既に行われたモデルと学習済パラメータであり、このような既存のモデルを転移学習させることにより学習済モデル３４を効率的に作成することができる。すなわち、教師データ３２の数が少なくても、精度の高い学習済モデル３４を生成することができる。既存のモデルとしては、例えばＣＮＮの一形態であるＭｏｂｉｌｅＮｅｔや、ＶｉＴ等を用いることができる。なお、本実施の形態はこのような態様に限定されることはない。他の態様として、モデル生成手段２２は、既存のモデルを用いずに新たにモデルを構築し、教師データ３２のみを用いてパラメータを学習し、学習済パラメータを含んだ学習済モデル３４を深層学習により生成してもよい。 Here, the model generating means 22 may generate the trained model 34 by deep learning by adding the teacher data 32 to the existing model. The existing model is a model and learned parameters that have already undergone deep learning using a tongue surface image or a large number of images other than the tongue surface image. Model 34 can be efficiently created. That is, even if the number of teacher data 32 is small, a highly accurate trained model 34 can be generated. As an existing model, for example, MobileNet, which is one form of CNN, ViT, etc. can be used. Note that the present embodiment is not limited to such a mode. As another aspect, the model generating means 22 constructs a new model without using an existing model, learns parameters using only the teacher data 32, and deep-learns a trained model 34 containing the trained parameters. may be generated by

また、本実施の形態では、教師データ３２はトレーニングセット、バリデーションセット、テストセット（バリデーションセット、テストセットは、どちらかが存在しない場合もあり得る）を含み、モデル生成手段２２において、まずはトレーニングセットを用いて学習済モデル３４を生成し（ＳＴＥＰ１）、生成された学習済モデル３４に対して、バリデーションセット、テストセットを用いて検証を行う（ＳＴＥＰ２）ようになっている。モデル生成手段２２が教師データ３２としてトレーニングセットを用いて学習済モデル３４を作成した場合には、教師データ３２自身のみによっては、過適合、過学習や未知のデータに対する汎化性能を評価することはできない。このため、バリデーションセット、テストセットを用いて汎化性能の検証を行う。バリデーションセット、テストセットを用いた検証方法として既知の方法または、新たな方法を用いることができる。 In this embodiment, the teacher data 32 includes a training set, a validation set, and a test set (one of the validation set and the test set may not exist). is used to generate a trained model 34 (STEP 1), and the generated trained model 34 is verified using a validation set and a test set (STEP 2). When the model generation means 22 creates a trained model 34 using a training set as the teacher data 32, it is possible to evaluate generalization performance for overfitting, overlearning, and unknown data only by the teacher data 32 itself. can't. Therefore, the validation set and test set are used to verify the generalization performance. A known method or a new method can be used as a verification method using a validation set and a test set.

次に、演算手段２６による演算方法の詳細について説明する。急性虫垂炎の発症の有無を診断すべき対象者の舌表面画像が受付手段２４により受け付けられると（ＳＴＥＰ３）、演算手段２６は、モデル生成手段２２により生成された学習済モデル３４に基づいて、受付手段２４により受け付けられた舌表面画像を入力したときの急性虫垂炎の発症の有無に関する演算を行う（ＳＴＥＰ４）。具体的には、演算手段２６は、急性虫垂炎の発症の有無に関する演算を行う際に、急性虫垂炎の発症有の確率および急性虫垂炎の発症無の確率のうち少なくとも何れか一方を算出する。 Next, the details of the calculation method by the calculation means 26 will be described. When the acceptance means 24 accepts the tongue surface image of the subject whose presence or absence of onset of acute appendicitis is to be diagnosed (STEP 3), the calculation means 26 accepts the image based on the learned model 34 generated by the model generation means 22. A calculation is performed regarding the presence or absence of acute appendicitis when the tongue surface image received by means 24 is input (STEP 4). Specifically, when calculating the presence or absence of onset of acute appendicitis, the calculating means 26 calculates at least one of the probability of onset of acute appendicitis and the probability of non-onset of acute appendicitis.

より詳細には、演算手段２６は、まず、モデル生成手段２２により生成された学習済モデル３４に基づいて、受付手段２４により受け付けられた舌表面画像（図４、図７参照）に対する画像処理を実行する。これは、学習済パラメータと舌表面画像の演算であり、一例がヒートマップ（図５、図８参照）に示されているような画像の特徴量抽出である。抽出された特徴量がヒートマップである場合には、それを舌表面画像に重ね合わせることにより重合せ画像（図６、図９参照）が演算結果として生成され、この生成された重合せ画像に基づいて急性虫垂炎の発症の有無に関する演算を行う。抽出される特徴量は、ヒートマップ（図５、図８参照）に限るわけではなく、他の特徴量がモデル生成手段２２で抽出されることもある。他の態様として、例えば演算手段２６は、受付手段２４により受け付けられた舌表面画像に学習済パラメータを演算して、受付手段２４により受け付けられた舌表面画像と虫垂炎の発症の有無予測の広範囲な依存関係等の特徴量を抽出する。他の特徴量が抽出された場合には、重合せ画像（図６、図９参照）とは違った演算結果となるが、いずれにしても舌表面画像と抽出された特徴量との急性虫垂炎の発症の有無の予測に必要な適切な演算を行う。なお、図４乃至図６は、急性虫垂炎の発症有の確率が高いと演算された舌表面画像、ヒートマップおよび重合せ画像であり、図７乃至図９は、急性虫垂炎の発症有の確率が極めて低いと演算された舌表面画像、ヒートマップおよび重合せ画像である。 More specifically, the computing means 26 first performs image processing on the tongue surface image (see FIGS. 4 and 7) received by the receiving means 24 based on the learned model 34 generated by the model generating means 22. Execute. This is a calculation of learned parameters and a tongue surface image, and an example is image feature extraction as shown in a heat map (see FIGS. 5 and 8). When the extracted feature quantity is a heat map, it is superimposed on the tongue surface image to generate a superimposed image (see FIGS. 6 and 9) as a calculation result. Calculation regarding the presence or absence of onset of acute appendicitis is performed based on the results. The feature amount to be extracted is not limited to the heat map (see FIGS. 5 and 8), and other feature amounts may be extracted by the model generating means 22. FIG. As another aspect, for example, the calculating means 26 calculates the learned parameters for the tongue surface image received by the receiving means 24, and the tongue surface image received by the receiving means 24 and a wide range of prediction of the onset of appendicitis Extract features such as dependencies. If other feature values are extracted, the calculation results will be different from those of the superimposed image (see FIGS. 6 and 9). Appropriate calculations necessary for predicting the presence or absence of the onset of 4 to 6 are tongue surface images, heat maps, and superimposed images calculated to have a high probability of developing acute appendicitis, and FIGS. Very low computed tongue surface image, heat map and overlaid image.

その後、演算手段２６による演算結果が出力手段２８により出力される（ＳＴＥＰ５）。具体的には、急性虫垂炎の発症有の確率および急性虫垂炎の発症無の確率のうち少なくとも何れか一方または両方が表示部５０に表示されたり通信部５４により外部装置に送信されたりする。このことにより、診断システム１０の使用者は、舌表面画像を撮影した対象者に急性虫垂炎が発症しているか否かを診断する際に、演算手段２６による演算結果（すなわち、急性虫垂炎の発症の有無の確率）を参照することができる。 After that, the calculation result by the calculation means 26 is output by the output means 28 (STEP 5). Specifically, at least one or both of the probability of developing acute appendicitis and the probability of not developing acute appendicitis are displayed on the display unit 50 or transmitted to the external device by the communication unit 54 . As a result, when diagnosing whether or not the subject whose tongue surface image is taken has acute appendicitis, the user of the diagnostic system 10 can obtain the result of calculation by the calculation means 26 (i.e., the occurrence of acute appendicitis). Presence/absence probability) can be referred to.

また、演算手段２６により演算された急性虫垂炎の発症の有無の確率が、実際の対象者の急性虫垂炎の発症の有無に基づいて妥当である旨の入力が操作部５２等によりなされた場合は、受付手段２４により受け付けた舌表面画像および演算手段２６により演算された急性虫垂炎の発症の有無の確率を教師データ３２としてモデル生成手段２２に入力することによって、モデル生成手段２２により生成される学習済モデル３４を都度更新してもよい。このことにより、診断システム１０により舌表面画像の診断を行う度にモデル生成手段２２に入力される教師データ３２が増えるので、学習済モデル３４をより精度の高いものとすることができる。 Further, when an input indicating that the probability of the occurrence of acute appendicitis calculated by the calculating means 26 is appropriate based on the actual occurrence of acute appendicitis of the subject is made through the operation unit 52 or the like, By inputting the tongue surface image received by the reception means 24 and the probability of the onset of acute appendicitis calculated by the calculation means 26 to the model generation means 22 as teacher data 32, the learned model generated by the model generation means 22 The model 34 may be updated each time. As a result, the training data 32 input to the model generating means 22 increases every time the diagnosis system 10 diagnoses the tongue surface image, so the learned model 34 can be made more accurate.

以上のような構成からなる本実施の形態の診断システム１０、プログラム３６、記憶媒体（具体的には、記憶部３０）および判定方法によれば、モデル生成手段２２は、舌表面画像および急性虫垂炎の発症の有無に関する情報を含む教師データ３２を用い、舌表面画像を入力、急性虫垂炎の発症の有無に関する情報（発症の有無予測）を出力とする学習済モデル３４を深層学習により生成する。また、受付手段２４は、急性虫垂炎の発症の有無を診断すべき対象者の舌表面画像を受け付ける。そして、演算手段２６は、モデル生成手段２２により生成された学習済モデル３４に基づいて、受付手段２４により受け付けられた舌表面画像を入力したときの急性虫垂炎の発症の有無に関する演算を行う。このように、舌表面画像が入力されたときに、深層学習によって生成された学習済モデル３４を用いて、急性虫垂炎の発症の有無に関する演算を行うため、急性虫垂炎の発症の有無を判断する精度を良好なものとすることができる。 According to the diagnostic system 10, the program 36, the storage medium (specifically, the storage unit 30), and the determination method of the present embodiment configured as described above, the model generation means 22 generates the tongue surface image and the acute appendicitis Using training data 32 including information on the onset of the onset of the tongue surface image, a trained model 34 that outputs information on the onset of acute appendicitis (prediction of onset) is generated by deep learning. In addition, the receiving unit 24 receives a tongue surface image of a subject whose presence or absence of onset of acute appendicitis should be diagnosed. Based on the learned model 34 generated by the model generating means 22, the computing means 26 computes whether or not acute appendicitis develops when the tongue surface image received by the receiving means 24 is input. In this way, when the tongue surface image is input, the learned model 34 generated by deep learning is used to perform calculations regarding the presence or absence of acute appendicitis. can be made good.

なお、本発明によるシステムやプログラム、記憶媒体、判定方法は、上述したような態様に限定されることはなく、様々な変更を加えることができる。 The system, program, storage medium, and determination method according to the present invention are not limited to the aspects described above, and various modifications can be made.

例えば、コンピュータ（具体的には、診断システム１０）を、モデル生成手段２２と、受付手段２４と、演算手段２６として機能させるプログラムは、記憶部３０に記憶されているものに限定されることはない。このようなプログラムとして、コンピュータに取り付けられたＵＳＢメモリ等の記録媒体に記憶されているものや、外部装置から通信部５４を介してコンピュータに送信されたものが用いられてもよい。 For example, the program that causes the computer (specifically, the diagnostic system 10) to function as the model generating means 22, the receiving means 24, and the computing means 26 is not limited to those stored in the storage unit 30. do not have. As such a program, a program stored in a recording medium such as a USB memory attached to the computer, or a program transmitted from an external device to the computer via the communication unit 54 may be used.

また、モデル生成手段２２は、ニューラルネットワークにより教師データ３２から学習済モデル３４を生成するものに限定されることはない。本発明による診断システムの他の例として、モデル生成手段２２は、ＸＧＢｏｏｓｔ、ＬｉｇｈｔＧＢ、Ｍ決定木（Ｄｅｃｉｓｉｏｎｔｒｅｅｓ）学習、相関ルール学習、クラスタリング等の他の種類の機械学習により学習済モデル３４を生成するようになっていてもよい。 Also, the model generation means 22 is not limited to one that generates the trained model 34 from the teacher data 32 using a neural network. As another example of the diagnostic system according to the present invention, the model generating means 22 generates the trained model 34 by other types of machine learning such as XGBoost, LightGB, M decision tree learning, association rule learning, clustering, etc. It may be designed to

また、本発明による診断システムは、演算手段が学習済モデルを用いて舌表面画像に基づいて急性虫垂炎の発症の有無に関する演算を行うものに限定されることはない。他の態様の診断システムとして、舌表面画像および急性虫垂炎以外の病気（例えば、胃や肝臓に代表される消化器系疾患や腎臓に代表される腎・尿路系疾患）の発症の有無に関する情報を含む教師データを用いて深層学習により生成された、舌表面画像を入力、急性虫垂炎の発症の有無に関する情報（発症の有無予測）を出力とする学習済パラメータを含むよう構成された学習済モデルを用いることより、演算手段が、対象者の舌表面画像に基づいて急性虫垂炎以外の病気（例えば、胃や肝臓に代表される消化器系疾患や腎臓に代表される腎・尿路系疾患）の発症の有無に関する演算を行うものが用いられてもよい。 Moreover, the diagnostic system according to the present invention is not limited to one in which the computation means performs computation regarding the presence or absence of onset of acute appendicitis based on the tongue surface image using the learned model. As another aspect of the diagnostic system, tongue surface images and information on the presence or absence of diseases other than acute appendicitis (e.g., digestive system diseases represented by stomach and liver, and renal/urinary system diseases represented by kidneys) A trained model configured to include learned parameters that input tongue surface images and output information on the presence or absence of acute appendicitis (prediction of onset) generated by deep learning using teacher data including By using , the calculation means can detect diseases other than acute appendicitis based on the tongue surface image of the subject (for example, digestive system diseases represented by stomach and liver and renal / urinary system diseases represented by kidney) may be used.

また、上記の説明では、学習済モデル３４およびプログラム３６が記憶部３０に記憶されるような態様について説明したが、本実施の形態はこのような態様に限定されることはない。学習済モデル３４やプログラム３６が、診断システム１０とは別の装置（例えば、サーバ）の記憶部に記憶されてもよい。また、スマートフォン等で撮影した画像を、ウエブサーバ等にアップロードして、サーバ上にある、プログラムや学習済モデルを使用して、結果のみをサーバ上に表示させたり、または、スマートフォン等に結果のみをダウンロードさせて表示させてもよい。 Also, in the above description, a mode in which the learned model 34 and the program 36 are stored in the storage unit 30 has been described, but the present embodiment is not limited to such a mode. The trained model 34 and the program 36 may be stored in a storage unit of a device (for example, server) separate from the diagnostic system 10 . In addition, upload images taken with a smartphone etc. to a web server etc. and use a program or trained model on the server to display only the results on the server, or only the results on a smartphone etc. can be downloaded and displayed.

〔実施例〕
次に、図１乃至図３に示す構成の診断システム１０により学習済モデル３４の生成および演算手段２６による演算を行ったときの実施例について説明する。〔Example〕
Next, an embodiment when the trained model 34 is generated by the diagnosis system 10 having the configuration shown in FIGS.

まず、複数の教師データ３２を用いてモデル生成手段２２により学習済モデル３４を生成した。具体的には、層化抽出に基づく複数回のランダムクロスバリデーションで、９０個の教師データ３２として２０歳以上の男女の６６個のトレーニングセット、１２個のバリデーションセットおよび１２個のテストセットを準備した。各教師データ３２として、舌表面画像および急性虫垂炎の発症の有無に関する情報を含むものを用いた。そして、モデル生成手段２２は、既存のモデルに６６個のトレーニングセット（急性虫垂炎の発症有：４１セット、発症無：２５セット）を加えることによって学習済モデル３４を深層学習により生成した。具体的には、深層学習方法として他の画像データにて学習済みのＭｏｂｉｌｅＮｅｔ（http://www.image-net.org/）モデルとその学習済パラメータを初期値として与え、モデル前部層では、そのパラメータを固定、後部層は６６個のトレーニングデータで再学習する、いわゆる転移学習を行った。そして、再学習されたパラメータを学習済パラメータとする新たに生成された学習済モデル３４に対して、１２個のバリデーションセット（急性虫垂炎の発症有：７セット、発症無：５セット）および１２個のテストセット（急性虫垂炎の発症有：７セット、発症無：５セット）を用いて検証を行った。具体的には、バリデーションセット、テストセットを用いた検証方法としてランダムなトレーニングセット、バリデーションセット、テストセット分割法を複数回実施した。そして、最終学習後のパラメータを学習済パラメータとした。 First, a learned model 34 was generated by the model generating means 22 using a plurality of teacher data 32 . Specifically, in multiple rounds of random cross-validation based on stratified sampling, 66 training sets, 12 validation sets and 12 test sets of men and women over the age of 20 were prepared as 90 training data 32. bottom. As each training data 32, data including tongue surface images and information on the presence or absence of onset of acute appendicitis were used. Then, the model generating means 22 generated the learned model 34 by deep learning by adding 66 training sets (with onset of acute appendicitis: 41 sets, without onset: 25 sets) to the existing model. Specifically, as a deep learning method, a MobileNet (http://www.image-net.org/) model trained with other image data and its trained parameters are given as initial values, and in the model front layer , its parameters are fixed, and the rear layer is re-learned with 66 training data, so-called transfer learning. Then, 12 validation sets (with onset of acute appendicitis: 7 sets, without onset: 5 sets) and 12 (Acute appendicitis onset: 7 sets, no onset: 5 sets). Specifically, the random training set, validation set, and test set division method was performed multiple times as a verification method using the validation set and test set. Then, the parameters after the final learning were set as the learned parameters.

このようにして生成された学習済モデル３４を用いて、診断システム１０に入力された舌表面画像に基づいて演算手段２６により急性虫垂炎の発症の有無に関する演算を行い、演算結果（具体的には、急性虫垂炎の発症有の割合）を表示部５０に表示させた。急性虫垂炎の発症有が７枚、発症無が５枚である計１２枚の２０歳以上の男女の舌表面画像に対して演算を行ったところ、１１枚の舌表面画像について急性虫垂炎の発症の有無を正しく診断することができた。すなわち、正診率は約９２％であった。 Using the trained model 34 generated in this way, the calculation means 26 performs calculation regarding the presence or absence of acute appendicitis onset based on the tongue surface image input to the diagnostic system 10, and the calculation result (specifically , rate of occurrence of acute appendicitis) was displayed on the display unit 50 . Calculation was performed on a total of 12 tongue surface images of men and women aged 20 or over, including 7 with onset of acute appendicitis and 5 with no onset. I was able to diagnose correctly. That is, the correct diagnosis rate was about 92%.

〔比較例〕
対象者の舌表面画像を目視にて専門家が視ることにより急性虫垂炎の発症の有無を診断した。具体的には、対象者の舌表面画像を縦３面および横３面で９分割し、各領域について舌苔が認められない場合を０点、舌乳頭が認識可能な薄い舌苔がある場合を１点、舌乳頭が認識不可能な厚い舌苔がある場合を２点としてスコアリングを２名の看者が行い、平均点を算出した。そして、１０点以上である場合は急性虫垂炎の発症有の可能性が高く、４点より小さい場合は急性虫垂炎の発症有の可能性が低いことが明らかとなった。この結果を元にトレーニングされた専門家の目視による診断を２０歳以上の男女の計１２枚の舌表面画像に対して行ったところ、正診率は約５８％であった。 [Comparative example]
The presence or absence of onset of acute appendicitis was diagnosed by visual inspection of the subject's tongue surface image by an expert. Specifically, the subject's tongue surface image was divided into 9 vertical and 3 horizontal planes, and 0 points were given when no tongue coating was observed in each area, and 1 was when there was thin tongue coating with recognizable tongue papillae. Scoring was performed by two observers, and an average score was calculated by assigning 2 points to cases where there was thick tongue coating that made it impossible to recognize the papillae of the tongue. It was also revealed that the possibility of developing acute appendicitis is high when the score is 10 or more, and the possibility of developing acute appendicitis is low when the score is less than 4. Based on this result, a trained expert visually diagnosed a total of 12 tongue surface images of men and women aged 20 and over, and the correct diagnosis rate was about 58%.

このように、舌表面画像および急性虫垂炎の発症の有無に関する情報を含む教師データ３２を用いて学習済モデル３４を深層学習により生成し、この学習済モデル３４を用いて舌表面画像に基づいて急性虫垂炎の発症の有無に関する演算を行った場合は、対象者の舌表面画像を目視にて専門家が視ることにより急性虫垂炎の発症の有無を診断した場合よりも高い正診率が得られることが分かった。 In this way, the trained model 34 is generated by deep learning using the tongue surface image and the teacher data 32 including information on the presence or absence of acute appendicitis, and the trained model 34 is used to generate acute appendicitis based on the tongue surface image. When calculating whether or not the onset of appendicitis has occurred, a higher accuracy rate can be obtained than when diagnosing whether or not the onset of acute appendicitis has occurred by visual inspection of the subject's tongue surface image by a specialist. I found out.

１０診断システム
２０制御部
２２モデル生成手段
２４受付手段
２６演算手段
２８出力手段
３０記憶部
３２教師データ
３４学習済モデル
３６プログラム
５０表示部
５２操作部
５４通信部 10 Diagnosis system 20 Control unit 22 Model generation unit 24 Acceptance unit 26 Calculation unit 28 Output unit 30 Storage unit 32 Teacher data 34 Trained model 36 Program 50 Display unit 52 Operation unit 54 Communication unit

Claims

A program that causes a computer to function as model generation means, reception means, and calculation means,
The model generation means uses teacher data including information on the tongue surface image and the onset of acute appendicitis, and uses deep learning to create a trained model that inputs the tongue surface image and outputs information on the onset of acute appendicitis. generate and
The reception means receives a tongue surface image of a subject whose presence or absence of onset of acute appendicitis should be diagnosed,
The program, wherein the calculation means performs calculation regarding the presence or absence of onset of acute appendicitis when the tongue surface image received by the reception means is input based on the learned model generated by the model generation means.

2. The program according to claim 1, wherein said computing means computes at least one of a probability that acute appendicitis will develop and a probability that acute appendicitis will not develop, when performing computation regarding the presence or absence of acute appendicitis.

The calculating means generates a heat map for the tongue surface image received by the receiving means based on the learned model generated by the model generating means, and converts the tongue surface image received by the receiving means to the heat map. 3. The program according to claim 1 or 2, wherein an operation regarding the presence or absence of onset of acute appendicitis is performed based on a superimposed image generated by superimposing heat maps.

4. The program according to any one of claims 1 to 3, wherein said model generation means generates said learned model by deep learning by adding said teacher data to an existing model.

The teacher data includes a training set and at least one of a validation set and a test set;
5. The model generating means according to any one of claims 1 to 4, wherein said trained model generated using said training set is verified using at least one of said validation set and said test set. 1. The program according to item 1.

6. The program according to any one of claims 1 to 5, wherein said teacher data includes a tongue surface image received by said receiving means and a calculation result by said calculating means.

A storage medium storing a program for causing a computer to function as model generation means, reception means, and calculation means,
The model generation means uses teacher data including information on the tongue surface image and the onset of acute appendicitis, and uses deep learning to create a trained model that inputs the tongue surface image and outputs information on the onset of acute appendicitis. generate and
The reception means receives a tongue surface image of a subject whose presence or absence of onset of acute appendicitis should be diagnosed,
A storage medium in which the computing means performs computation regarding the presence or absence of onset of acute appendicitis when the tongue surface image received by the receiving means is input, based on the learned model generated by the model generating means.

A model generation means for generating a trained model by deep learning using teacher data including information on the tongue surface image and onset of acute appendicitis, inputting the tongue surface image, and outputting information on the onset of acute appendicitis. ,
a receiving means for receiving a tongue surface image of a subject whose presence or absence of onset of acute appendicitis should be diagnosed;
computing means for computing whether or not acute appendicitis develops when the tongue surface image received by the receiving means is input, based on the learned model generated by the model generating means;
A system with

A trained model that inputs tongue surface images and outputs information on the presence or absence of acute appendicitis, generated by deep learning using teacher data including tongue surface images and information on the onset of acute appendicitis.

A determination method performed by a computer,
A step of generating, by deep learning, a trained model using teacher data including information on the tongue surface image and onset of acute appendicitis, inputting the tongue surface image, and outputting information on the onset of acute appendicitis;
a step of receiving a tongue surface image of a subject whose presence or absence of onset of acute appendicitis should be diagnosed;
a step of performing calculations regarding the presence or absence of onset of acute appendicitis when an accepted tongue surface image is input, based on the generated learned model;
A judgment method.