JP2022508923A - 機械学習アルゴリズムを用いた口腔健康予測装置及び方法 - Google Patents

機械学習アルゴリズムを用いた口腔健康予測装置及び方法 Download PDF

Info

Publication number
JP2022508923A
JP2022508923A JP2021547020A JP2021547020A JP2022508923A JP 2022508923 A JP2022508923 A JP 2022508923A JP 2021547020 A JP2021547020 A JP 2021547020A JP 2021547020 A JP2021547020 A JP 2021547020A JP 2022508923 A JP2022508923 A JP 2022508923A
Authority
JP
Japan
Prior art keywords
oral
oral health
information
machine learning
hospital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021547020A
Other languages
English (en)
Inventor
ヨン ゴ,テ
ホ ジャン,ワン
グ ハン,ゾン
ヨン ヤン,ヒ
ユ チェ,ジェ
Original Assignee
キュウティーティー カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180123420A external-priority patent/KR102218752B1/ko
Priority claimed from KR1020190127251A external-priority patent/KR102311395B1/ko
Priority claimed from KR1020190127250A external-priority patent/KR102311385B1/ko
Application filed by キュウティーティー カンパニー filed Critical キュウティーティー カンパニー
Publication of JP2022508923A publication Critical patent/JP2022508923A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】機械学習アルゴリズムを用いた口腔健康予測装置及び方法を提供する。【解決手段】ユーザが口腔写真をアップロードすると、機械学習アルゴリズムを用いた写真分析により、矯正有無、う蝕状態、補綴物状態などを総合的に分析して、ユーザの口腔健康を正確に予測できるようにした機械学習アルゴリズムを用いた口腔健康予測装置及び方法であって、ユーザがユーザ端末を用いて、ネットワークを介して、ユーザの口腔画像を提供し、口腔健康判定結果を要請すると、口腔画像を機械学習アルゴリズムで分析して、口腔健康状態を予測し、口腔写真の分析により、う蝕状態、補綴物状態を分析し、分析したう蝕状態情報又は歯周炎状態情報及び補綴物状態情報を基に、口腔健康状態を予測し、口腔健康状態予測情報を、ユーザに提供する。【選択図】図1

Description

本発明は、機械学習アルゴリズムを用いた口腔健康予測に係り、より詳しくは、ユーザが口腔写真をアップロードすると、機械学習アルゴリズムを用いた写真分析により、矯正有無、う蝕状態、歯周炎状態、補綴物状態、問診表などを総合的に分析して、ユーザの口腔健康を正確に予測し、歯周疾患報告書を提供できるようにした機械学習アルゴリズムを用いた口腔健康予測装置及び方法に関する。
口腔疾患は、適切な予防治療及び管理により、高い予防効果を得ることができるが、多くの口腔疾患患者の場合、口腔健康に問題が発生しないと、医者に診断を受けるか、治療を依頼しないなど、口腔予防に関する認識が不足した実情である。
また、患者の口腔状態を予測するに当たり、歯科医や歯衛生士の主観的な見解ではなく、正確な検査及び診断結果とそれによる客観的な数値情報が必要であるが、口腔健康状態を客観的に算出するシステムがない状況である。
口腔疾患は、虫歯(う蝕)と、歯周疾患とに分けられる。特に、歯周炎と歯肉炎を意味する歯周疾患は、初期には疼痛もなく、慢性的に進行するため、発見が遅くなり、もって、周疾患を事前に予防することは、非常に難しい状況である。
そこで、このような口腔疾患の状態を事前に診断し、これを基に、口腔健康の増進及び口腔疾患の予防のための様々な方法が研究及び提案されている。
大韓民国公開特許10-2017-0050467号(2017年05月11日公開)(ユーザオーダーメード型口腔管理サービス提供方法、及び口腔管理サービス提供サーバ)は、以下のことを開示している。ユーザ端末機から、ユーザの性別、年齢、歯周疾患、及び目標設定情報の少なくとも1つに関する情報を含むユーザ条件情報と、ユーザの加盟医療機関での治療情報とが入力される。合わせて、口腔管理用品加盟店から、口腔管理用品に関する情報が入力される。以後、ユーザの条件情報及び治療情報に対応する特定のカテゴリーに含まれる特定の口腔管理用品の情報をユーザ端末機へ提供して、ユーザオーダーメード型口腔管理サービスを提供する。
また、大韓民国登録特許10-1868979号(2018年06月12日登録)(ディープラーニングアルゴリズムを用いた口腔健康管理システム及び方法)は、以下のことを開示している。患者の口腔状態を検診し、患者の口腔検診資料を含む口腔検診指数算定基準データ、居住地、及び年齢情報をビッグデータ化した後、これを分析し、現時点で、患者の居住地及び年齢から、口腔検診指数算定基準データが口腔健康に及ぶ影響力を判断する。ついで、口腔検診指数算定基準データに加重値を付与して、口腔検診指数算定基準データを現行化し、口腔健康を管理するようにする。
更に、大韓民国登録特許10-1788030号(2017年10月13日登録)(口腔疾患危険度診断及び口腔管理システム並びにその方法)は、以下のことを開示している。ユーザの個人情報、ユーザの口腔衛生行動データ、及び口腔問診データ、ユーザが専門医療機関を訪問して生成した口腔検診データを収集する。このように収集したそれぞれの情報を統合分析して、ユーザの口腔疾患危険度を評価し、個人別オーダーメードサービスを提供する。
しかし、前記のような従来の口腔疾患管理システムは、ユーザの個人情報や口腔データ及び問診データ、専門医療機関で生成した口腔検診データを分析して、口腔疾患管理情報を生成する方式であるため、リアルタイム性がなく、現在のユーザ口腔画像を分析する方式ではないので、口腔疾患の分析の正確性が落ちるという不都合がある。
また、従来技術は、ユーザが実時間で自分の歯周疾患状態を認知することも難しいという不都合がある。
本発明の目的は、前記のような従来技術で発生する諸問題点を解決するためになされたものであって、ユーザが口腔写真をアップロードすると、機械学習アルゴリズムを用いた写真分析により、矯正有無、う蝕状態、歯周炎状態、補綴物状態、問診表などを総合的に分析して、ユーザの口腔健康を正確に予測し、歯周疾患報告書を提供することができるようにした機械学習アルゴリズムを用いた口腔健康予測装置及び方法を提供することである。
本発明の他の目的は、ユーザがプラットホームにより、歯周状態をリアルタイム及び周期的に管理できるようにし、ユーザの要請により、自動で病院を予約することで、便利性の向上を図るようにした機械学習アルゴリズムを用いた口腔健康予測装置及び方法を提供することである。
前記したような目的を達成するために、本発明による機械学習アルゴリズムを用いた口腔健康予測装置の第1実施例は、ユーザの歯周画像と個人情報、問診データを提供し、歯周疾患報告書を要請するユーザ端末と、前記ユーザ端末から提供される歯周画像をディープラーニングで分析して、前記歯周疾患報告書を生成し、前記生成された歯周疾患報告書を前記ユーザ端末に転送する歯周疾患管理サーバと、を含み、前記歯周疾患管理サーバは、前記ユーザ端末から病院予約要請に際して、自動で前記歯周疾患報告書の症状に対応する病院を探索し、複数の病院サーバに連動して、予約を自動で行うことを特徴とする。
また、本発明による機械学習アルゴリズムを用いた口腔健康予測装置の第2実施例は、ユーザの口腔画像を提供し、口腔健康判定結果を要請するユーザ端末と、前記ユーザ端末から提供される口腔画像を、機械学習アルゴリズムで分析して、口腔健康状態を予測する口腔健康予測サーバとを含み、前記口腔健康予測サーバは、口腔写真の分析により、う蝕状態又は歯周炎状態、補綴物状態を分析し、分析した歯周炎状態情報及び補綴物状態情報を基に、口腔健康状態を予測することを特徴とする。
更に、本発明による機械学習アルゴリズムを用いた口腔健康予測方法は、(a)ユーザ端末から提供される口腔画像を、機械学習アルゴリズムで分析して、口腔健康状態を予測する口腔健康予測サーバにおいて、前記ユーザ端末から提供される口腔画像を、口腔健康予測対象として登録するステップと、(b)前記口腔健康予測サーバにおいて、前記口腔画像をCNNアルゴリズムで学習して、口腔写真有無を判断するステップと、(c)前記口腔健康予測サーバで、前記口腔画像を前記CNNアルゴリズムで学習して、矯正可否及び抜歯可否を判断するステップと、(d)前記口腔健康予測サーバで判断した矯正可否情報と抜歯可否情報を、個体探知で分析して、う蝕状態情報又は歯周炎状態情報及び補綴物状態情報を取得するステップと、(e)前記口腔健康予測サーバにおいて、前記矯正可否情報及び前記抜歯可否情報と、前記う蝕状態情報又は前記歯周炎状態情報及び前記補綴物状態情報を、ANNアルゴリズムで学習して、前記口腔健康状態を判定するステップとを含むことを特徴とする。
また、本発明による機械学習アルゴリズムを用いた口腔健康予測方法は、(f)前記ステップ(e)で判定により取得した口腔健康予測情報を、前記ユーザ端末に転送するステップを含むことを特徴とする。
本発明によると、ユーザが口腔写真をアップロードすると、機械学習アルゴリズムを用いた写真分析により、矯正有無、歯周炎状態、う蝕状態、補綴物状態などを総合的にリアルタイムで分析することで、ユーザの口腔健康を正確に予測することができる。
また、予測した口腔健康状態情報を報告書形態でユーザに提供することで、ユーザがリアルタイムで自分の口腔状態を認知し、これを管理するように誘導して、口腔健康の悪化を事前に予防することができる。
更に、ユーザの病院予約の要請により、自動で病院を予約してくれることで、ユーザの病院予約の便宜を向上することができる。
本発明による機械学習アルゴリズムを用いた口腔健康予測装置の第1実施例の構成図である。 図1における情報分析手段の構成図である。 図1における報告書生成手段の構成図である。 本発明における機械学習アルゴリズムを用いた口腔健康予測過程を示すフローチャートである。 本発明における歯周炎患部の分類構成例示図である。 本発明における歯周炎患部の分類構成例示図である。 本発明における機械学習アルゴリズムを用いて、画像を診断する例示図である。 歯周疾患の悪化段階を示す図である。 スマートフォンを用いて撮影した歯周の12部位を示す図である。 本発明に適用されたアンケート紙を示す図である。 本発明に適用されたアンケート紙を示す図である。 本発明に適用されたアンケート紙を示す図である。 本発明に適用されたアンケート紙を示す図である。 本発明におけるアンケートに基づくFFNNの診断を示す図である。 本発明に適用された画像診断システムであるCNNモデルを示す図である。 本発明による機械学習アルゴリズムを用いた口腔健康予測装置の第2実施例の構成図である。 図1の口腔健康予測サーバの構成図である。 本発明による機械学習アルゴリズムを用いた口腔健康予測方法の第1実施例を示すフローチャートである。 本発明において、口腔写真をCNNアルゴリズムで学習して、口腔写真の有無を判定する例示図である。 本発明において、口腔写真をCNNアルゴリズムで学習して、矯正可否を判定する例示図である。 本発明において、口腔写真を個体探知アルゴリズムで学習して、口腔疾患及び補綴物を探知する例示図である。 本発明において、矯正可否情報、探知した口腔疾患情報、及び補綴物情報を、DNNアルゴリズムで学習して、口腔健康状態を判定する図である。 本発明による機械学習アルゴリズムを用いた口腔健康予測方法の第2実施例を示すフローチャートである。
以下、本発明の好適な実施例による機械学習アルゴリズムを用いた口腔健康予測装置及び方法を、添付の図面を参照して詳しく説明する。
以下で説明する本発明で使用した用語や単語は、通常的又は辞典的な意味に限定して解析してはならず、該当発明を最善の方法で説明するため、用語の概念として定義できるという原則に即して、本発明の技術的思想に合致する意味と概念として解析しなければならない。
そこで、本明細書に記載した実施例と図面に示す構成は、本発明の好適な実施例に過ぎず、本発明の技術的思想を全て代弁することではないので、本出願時点で、これらを入れ替え可能な様々な均等物と変形例があり得ることを理解すべきである。
図1は、本発明の好適な第1実施例による機械学習アルゴリズムを用いた口腔健康予測装置の概略構成図である。
本発明による機械学習アルゴリズムを用いた口腔健康予測装置は、ユーザ端末10と、歯周疾患管理サーバ20とを含む。
図面には示していないが、歯周疾患管理サーバ20は、多数の病院(歯科病院)に連携して、病院予約を行うことができる。
ユーザ端末10は、ネットワークを介して、オンラインを基に、歯周疾患管理サーバ20と接続して、ユーザの歯周画像と個人情報、問診データを提供し、歯周疾患報告書を要請する。ユーザは、ユーザ端末10を介して、歯周疾患報告書から、自分の歯周疾患状態を認知し、後続措置を取るのが望ましい。このようなユーザ端末10は、ユーザが使用する端末機として、スマートフォン及びスマートパッドのようなモバイル機器、インターネットが可能なパーソナルコンピューター及びノート型パソコンなどで具現可能であり、本発明においては、実施例として、スマートフォンで具現されたと仮定する。
前記ネットワークは、ユーザ端末10と歯周疾患管理サーバ20の間のデータを相互インターフェースする。このようなネットワークは、データ網、有無線網、移動通信網、公衆電話網などで具現される。
また、歯周疾患管理サーバ20は、ユーザ端末10から提供される歯周画像を、ディープラーニングで分析し、歯周疾患報告書(口腔健康予測情報)を生成して、ユーザ端末10へ転送する。ここで、歯周疾患報告書は、ユーザの歯周を診断した結果報告書ではなく、歯周画像を分析して、歯周疾患状態だけに提供して、ユーザが予防又は後続措置(病院訪問)などを取られるようにするステータス報告書である。
このような歯周疾患管理サーバ20は、ユーザ端末10から、病院予約要請に際して、自動で歯周疾患報告書の症状に対応する病院をサーチし、複数の病院サーバに連動して、予約を自動に行うのが望ましい。
このため、歯周疾患管理サーバ20は、ユーザの歯周画像をディープラーニングで学習して、分析データを抽出する情報分析手段21と、情報分析手段21で抽出した分析データと問診情報をビッグデータに基づいて分析して、歯周疾患報告書を生成し、生成した歯周疾患報告書をユーザ端末10に転送する報告書生成手段22と、ユーザ端末10により病院予約が要請されると、前記歯周疾患報告書の症状に対応する病院をサーチして、自動で予約を行い、病院予約情報をユーザ端末10へ転送する病院予約手段23とを含む。
望ましくは、情報分析手段21は、図2に示しているように、歯周画像を学習する画像学習部31と、画像学習部31で学習した結果を分析する画像分析部32と、前記画像分析結果に基づいて、ディープラーニングで前記歯周画像を分析し、歯周疾患分析データを抽出する画像診断部33とを含む。
また、報告書生成手段22は、図3に示しているように、情報分析手段21から提供する歯周疾患分析データを、歯周疾患ビッグデータに基づいて分析するビッグデータ分析部41と、ユーザ端末10に問診データを提供し、ユーザ端末10から提供される問診情報を分類する問診分類及び提供部42と、ビッグデータ分析部41の分析結果と、問診分類及び提供部42の問診情報分類情報とを基に、歯周疾患報告書を算出し、算出した歯周疾患報告書を提供する報告書算出及び提供部43とを含む。
また、病院予約手段23は、望ましくは、ユーザが入力した病院名又は自体お勧め病院とユーザ周辺の病院位置情報を基に、ユーザ位置から最短距離病院をサーチして勧め、ユーザの病院選択によって、病院サーバに連動して、病院を自動で予約する。
より望ましくは、病院予約手段23は、消費者の評価及び自体病院評価アルゴリズムを用いて、病院を評価してランキングを決め、前記ランキングに基づいて予約病院をサーチし、ユーザの病院選択によって、病院サーバに連動して、病院を予約することができる。
このように構成された本発明による機械学習アルゴリズムを用いた口腔健康予測装置の第1実施例の動作を具体的に説明すると、以下の通りである。
まず、ユーザは、自分の歯周疾患状態を確認し、管理するための歯周疾患アプリケーションを、歯周疾患管理サーバ20からダウンロードされて、ユーザ端末10に格納する。
ついで、歯周疾患状態を確認するために、ユーザは、前記歯周疾患アプリケーションを行い(S10)、前記歯周疾患アプリケーションに含まれた問診データに基づいて、症状を選択しながら自己診断を行う(S20)。ここで、問診データは、図9a~図9dに示しているように、通常の歯科問診とは異なり、歯科総合病院で専門家の医療スタッフが長期間蓄積しておいた診療及び治療データとノウハウに基づいて、デジタルプロセス形態で開発されたものである。
ついで、自分の歯周疾患状態をリアルタイムで確認しようとすると、ユーザ端末10に備えられたカメラを用いて、確認しようとする歯周部位を撮影し、撮影した歯周画像、問診データ情報、及び自分の個人情報を歯周疾患管理サーバ20へ転送し、歯周疾患報告書を要請する(S30)。図8は、ユーザがスマートフォンを用いて撮影した歯周の12部位の写真である。
歯周疾患管理サーバ20は、ユーザ端末10を介して伝送された歯周画像、個人情報、及び問診データが受信されると、情報分析手段21では、人工知能(ディープラーニング)で周画像を分析して、歯周疾患データを抽出し、報告書生成手段22では、前記歯周疾患データと問診情報に基づいて、ビッグデータ分析により、最終的に歯周疾患状態報告書を生成する。
例えば、情報分析手段21は、伝送された歯周画像データの場合、個人が直接撮影するには撮影環境がそれぞれ異なって、実際の撮影画像の色基準がない。そこで、基準点を取って、全ての写真が基準点と同じく色補正を自動で行った後、保存する。ついで、画像学習部31は、受信した歯周画像を学習し、画像分析部32は、画像学習部31で学習した結果を分析する。ついで、画像診断部33は、前記画像分析結果を基に、ディープラーニングで歯周画像を分析して、歯周疾患分析データを抽出する。ここで、歯周疾患分析データは、歯周疾患に関連するビッグデータを用いて、歯周疾患を分析するための事前データを意味する。
すなわち、画像学習は、ユーザが提示した歯周部位の画像がどの部位かを確認し、歯周部位画像の位置を確認した後、画像学習を行う。歯周疾患は、歯周炎と歯肉炎に区分され、歯周炎の分析のため、通常の歯周炎患部は、図5a、図5bでのように12部位に分類される。そこで、ユーザが伝送した歯周画像を、前記分類した12部位と比較して、患部位置がどこであるかを確認する。ついで、学習結果を基に、画像分析を行う。
画像分析が完了すると、ディープラーニングで画像を診断し、その診断結果を、歯周疾患分析のための歯周疾患分析データとして抽出する。
ディープラーニングは、図6に示しているように、既存で行うデータに基づく学習ではなく、臨床試験で専門医療関係者に導出されたデータによって、学習を行わせる。患者が12部位で撮影した歯周画像は、再度8部位に分けられ、これをCNN(Convolutional Neural Network)による神経回路網分析により、より正確な分析を行う(S40)。
図11に示しているように、CNNアルゴリズムは、歯周及び歯牙写真を入力すると、畳み込み層(Convolution Layer)、プーリング層(Pooling Layer)、畳み込み層、プーリング層を介した後、全結合層(Fully-Connected Layer層)を通じて、最終的に診断結果(歯周疾患分析データ)を導出するアルゴリズムである。テンソルフロー(Tensorflow)、Kerasなどのパイソン(Python)ライブラリを使用し、歯周部位及びサイズに適する、畳み込み(Convolution)/プーリング(Pooling)フィルターのサイズ、個数及び移動間隔(Strides)を設定するのが望ましい。
図6において、左側は、歯周画像全体をCNNアルゴリズムで学習して、診断結果(歯周疾患分析データとして、危険可否及び指数)を導出するものであり、右側は、歯周画像を再度8つの部位に分割して、個別にCNNアルゴリズムで学習して、診断結果(歯周疾患分析データとして、危険可否及び指数)を導出するものである。
CNNアルゴリズムにより、歯周画像から歯周疾患分析データが導出されると、報告書生成手段22は、歯周疾患報告書を生成し、これをユーザ端末10へ転送する(S50)。
例えば、報告書生成手段22のビッグデータ分析部41は、前記歯周疾患分析データを、既存の歯科総合病院で医療スタッフから受けた診断及び治療データであるビッグデータを用いて、歯周疾患状態情報を抽出する。図7は、歯周疾患の悪化段階を示している。このような歯周疾患の悪化段階の例示情報をビッグデータとして活用して、歯周疾患分析データを前記ビッグデータと比較することで、歯周疾患状態情報を抽出することができる。
合わせて、問診分類及び提供部42は、ユーザが提供した問診情報をFFNN(Feed Forward Neural Network)アルゴリズムで分類する。ここで、FFNNアルゴリズムは、図10に示しているように、アンケート応答(ユーザ情報)が入力であり、診断結果が出力となる。テンソルフロー、Kerasなどのパイソン基盤のライブラリを用いて、入出力構造に適するFFNNを設計した。活性化関数、損失関数、最適化方法、並列コンピュータ構造、過適合問題などに対しては、最近研究及び分析されたFFNNアルゴリズムを用いた。入力データ(アンケート応答)を前処理し、前処理データを、学習データと検証データとに分ける。ついで、学習データは、神経回路網学習により学習が行われ、検証データと学習結果データを検証及び補足手続きにより、新たに設計された神経回路網で学習される。そして、検証及び補足が完了すると、最終モデルがアンケート診断結果として出力される。
ついで、報告書算出及び提供部43は、ビッグデータ分析部41で分析した歯周疾患状態情報と、記問診分類及び提供部42で取得したアンケート診断結果とを組み合わせて、歯周疾患報告書を生成する。このように生成された歯周疾患報告書は、ユーザ端末10へ転送される。
ここで、歯周疾患報告書には、平常時に歯周管理のための専門モニタリングサービスが共に行われる。歯周疾患報告書は、遠隔又はデジタルで行われる医療行為ではなく、予防を目的とする報告書である。すなわち、単に、ユーザの歯周疾患状態だけを、報告書形式で提供することである。ユーザは、提供される歯周疾患報告書を見て、病院訪問が必要であると判断すると、ユーザ端末10を介して、歯周疾患管理サーバ20に病院予約を要請する(S60)。ユーザは、歯周疾患データが累積されるにつれ、自分の歯関連履歴が生成され、生成された報告書を基に、自分の状態をトラッキングすることができる。必要によって、病院予約が要請されると、歯周疾患管理サーバ20は、自動で病院を予約し、病院予約情報をユーザ端末10へ転送する(S70、S80)。
ここで、病院サーチ及び予約は、早い予約が可能な病院サーチ及び予約、ユーザ位置基準は、近い距離の病院サーチ及び予約、自体ランキングシステムによる病院サーチ及び予約、名称検索で病院サーチ及び予約などの過程のいずれか1つ又は2つ以上を組み合わせて、最適の病院をサーチし、予約を行う。
すなわち、位置情報、ユーザと病院間の距離情報、診療可能な時間情報を基に、予約病院をサーチし、ユーザの病院選択によって、病院サーバに連動して病院を予約する。
例えば、ユーザが入力した病院名又は自体お勧め病院と、ユーザ周辺の病院位置情報を基に、ユーザ位置から最短距離の病院をサーチして勧め、ユーザの病院選択によって、病院サーバに連動して、病院を自動で予約する。
他の方法としては、消費者の評価、及び自体病院評価アルゴリズムを用いて病院を評価してランキングを決め、前記ランキングを基に、予約病院をサーチし、ユーザの病院選択によって、病院サーバに連動して、病院を予約することができる。
ランキングシステムを用いる病院予約方法は、消費者の評価、及び自体病院評価アルゴリズムを用いて評価された後、評価結果を基にランキングが決められた病院情報を、医療情報データベースから抽出する。ここで、ランキングシステムの特性上、より高い医療サービスを受けるための消費者(ユーザ)の欲求が反映されるので、「現在診療可能な病院」を含めて、ユーザにより多くのオプションを付与するのが望ましい。
このように本発明によると、ユーザが自分の歯周を撮影してアップロードし、問診表を作成して転送すると、ディープラーニングで歯周状態を分析し、歯周疾患報告書をリアルタイムでユーザへ提供することで、ユーザが自分の歯周を容易に管理し、歯周疾患の悪化を事前に予防できることになる。
図12は、本発明の好適な第2実施例による機械学習アルゴリズムを用いた口腔健康予測装置の全体構成図であり、ユーザ端末100と、口腔健康予測サーバ200とを含む。
ユーザ端末100と口腔健康予測サーバ200は、様々な有無線ネットワークで連結され、リアルタイム性をもって、通信インターフェースが行われる。
ユーザ端末100は、口腔健康状態を確認して見るユーザが使用する端末であって、ユーザの口腔画像を提供し、口腔健康判定結果を要請する。ここで、ユーザは、ユーザ端末100を用いて、ユーザ個人情報、問診データのような一般のデータなどを提供することができる。
ユーザは、ユーザ端末100を介して、口腔健康状態報告書を受信し、これによって、自分の口腔健康状態を認知し、口腔健康状態が良くないと予測されると、歯科病院などを訪問して後続措置を取り、口腔健康を管理するのが望ましい。このようなユーザ端末100は、スマートフォン及びスマートパッドのようなモバイル機器、インターネット可能なパーソナルコンピューター及びノート型パソコンなどで具現可能であり、本発明では、実施例として、スマートフォンで具現されたと仮定する。
口腔健康予測サーバ200は、ユーザ端末100から提供される口腔画像を、機械学習アルゴリズム(CNN、DNN、その他)で分析して、口腔健康状態を予測する。このような口腔健康予測サーバ200は、口腔写真の分析により、う蝕状態又は歯周炎状態、及び補綴物状態を分析し、分析したう蝕状態情報又は歯周炎状態情報、及び補綴物状態情報を基に、口腔健康状態を予測することができる。
口腔健康予測サーバ200は、ユーザの口腔画像をCNNアルゴリズムで学習して、写真の分析可能可否、矯正可否、及び抜歯可否を判断し、判断した結果情報を、個体探知(Object Detection)で分析して、う蝕状態情報又は歯周炎状態情報、及び補綴物状態情報を取得し、取得したう蝕状態情報又は歯周炎状態情報、及び補綴物状態情報を、ANN(Artificial Neural Network)アルゴリズムで学習して、口腔健康状態を判定する口腔健康予測部210と、口腔健康予測部210で判定した口腔健康状態情報を、口腔健康予測情報として、ユーザ端末100へ転送する口腔健康情報提供部220とを含む。
また、口腔健康予測部210は、図13に示しているように、ユーザ端末100から伝送された口腔写真を、口腔健康予測対象として登録する写真登録部211と、写真登録部211に登録された画像をCNNアルゴリズムで学習して、写真の分析可能可否、矯正可否、及び抜歯可否を判断する矯正有無判断部212と、矯正有無判断部212で判断した結果情報を個体探知で分析して、う蝕状態情報又は歯周炎状態情報、及び補綴物状態情報を取得する口腔疾患及び補綴物探知部213と、矯正有無判断部212で取得した矯正可否情報及び抜歯可否情報と、前記口腔疾患及び補綴物探知部213で取得したう蝕状態情報又は歯周炎状態情報、及び補綴物状態情報とを、ANNアルゴリズムで学習して、口腔健康状態を判定する口腔健康判定部214とを含む。
図14は、本発明による機械学習アルゴリズムを用いた口腔健康予測方法の第1実施例を示すフローチャートであって、Sはステップを示している。
本発明による機械学習アルゴリズムを用いた口腔健康予測方法は、(a) ユーザ端末100から提供される口腔画像を、機械学習アルゴリズムで分析して、口腔健康状態を予測する口腔健康予測サーバ200で、ユーザ端末100から提供される口腔画像を、口腔健康予測対象として登録するステップ(S101)と、(b)口腔健康予測サーバ200で、前記口腔画像をCNNアルゴリズムで学習して、口腔写真有無を判断するステップ(S102-S103)と、(c)口腔健康予測サーバ200で口腔画像をCNNアルゴリズムで学習して、矯正可否及び抜歯可否を判断するステップ(S104-S105)と、(d)口腔健康予測サーバ200で判断した矯正可否情報と抜歯可否情報を個体探知で分析して、う蝕状態情報及び補綴物状態情報を取得するステップ(S106-S110)と、(e)口腔健康予測サーバ200で前記矯正可否情報及び抜歯可否情報と、う蝕状態情報及び補綴物状態情報とをANNアルゴリズムで学習して、口腔健康状態を判定するステップ(S111)とを含む。
前記う蝕状態情報は、う蝕の存在有無情報と、う蝕が存在する場合、う蝕個数情報とを含み、前記補綴物状態情報は、補綴物存在有無情報と、補綴物が存在する場合、補綴物個数情報とを含むことができる。
また、本発明による機械学習アルゴリズムを用いた口腔健康予測方法の第1実施例は、(f)ステップ(e)での判定により取得した口腔健康予測情報を、ユーザ端末100に転送するステップ(S112)を更に含むことができる。
図19は、本発明による機械学習アルゴリズムを用いた口腔健康予測方法の第2実施例を示すフローチャートであって、Sはステップを示している。
本発明による機械学習アルゴリズムを用いた口腔健康予測方法の第2実施例は、(a) ユーザ端末100から提供される口腔画像を、機械学習アルゴリズムで分析して、口腔健康状態を予測する口腔健康予測サーバ200において、ユーザ端末100から提供される口腔画像を、口腔健康予測対象として登録するステップ(S201)と、(b) 口腔健康予測サーバ200において、前記口腔画像をCNNアルゴリズムで学習して、口腔写真有無を判断するステップ(S202-S203)と、(c)口腔健康予測サーバ200において、口腔画像をCNNアルゴリズムで学習して、矯正可否及び抜歯可否を判断するステップ(S204-S205)と、(d)口腔健康予測サーバ200で判断した矯正可否情報と抜歯可否情報を個体探知で分析して、歯周炎状態情報及び補綴物状態情報を取得するステップ(S206-S210)と、(e)口腔健康予測サーバ200において、前記矯正可否情報及び抜歯可否情報と、歯周炎状態情報及び補綴物状態情報とを、ANNアルゴリズムで学習して、口腔健康状態を判定するステップ(S211)と、を含む。
前記歯周炎状態情報は、歯周炎の存在有無情報と、歯周炎が存在する場合、歯周炎位置情報とを含み、前記補綴物状態情報は、補綴物存在有無情報と、補綴物が存在する場合、補綴物の個数情報と、を含むことができる。
また、本発明による機械学習アルゴリズムを用いた口腔健康予測方法の第2実施例は、(f)ステップ(e)での判定により取得した口腔健康予測情報を、ユーザ端末100に転送するステップ(S212)を更に含むことができる。
ここで、本発明による機械学習アルゴリズムを用いた口腔健康予測方法の第1実施例は、口腔疾患がう蝕である場合に対して、口腔健康を予測する方法であり、機械学習アルゴリズムを用いた口腔健康予測方法の第2実施例は、口腔疾患が歯周炎である場合に対して、口腔健康を予測する方法である。全体的な口腔健康を予測する過程は同一であり、但し、口腔健康を予測するための前提条件である口腔疾患の項目だけが異なっているので、以下、説明の便宜のために、本発明による機械学習アルゴリズムを用いた口腔健康予測方法の第1及び第2実施例を共に説明することにする。
このように構成された本発明によるう蝕探知を用いた口腔健康予測装置及び方法を具体的に説明すると、以下の通りである。
まず、ユーザは、自分の口腔健康状態を確認し、管理するための口腔健康予測アプリケーションを、口腔健康予測サーバ200からダウンロードして、ユーザ端末100に格納する。
ついで、口腔健康状態を確認するために、前記口腔健康アプリケーションを行い、口腔写真、個人情報などを提供しながら、口腔健康診断を要請する。ここでは、必要によって、口腔健康診断のための問診データを作成して提供することができる。問診データは、問診表であって、チェック形式で行われる。問診表には、矯正可否を確認するための項目を含むことができる。
口腔写真は、口腔全体を撮影した写真が望ましく、口腔の一部だけを撮影した写真を用いることもできる。
口腔健康予測サーバ200は、ネットワークを介して接続したユーザ端末100を通じて、口腔写真と個人情報及び/又は問診データが受信されると、口腔健康予測部210で口腔写真(画像)をCNNアルゴリズムで学習して、写真の分析可能可否と矯正可否及び抜歯可否を判断し、判断した結果、情報を個体探知で分析して、う蝕状態情報又は歯周炎状態情報、及び補綴物状態情報を取得し、取得したう蝕状態情報及び補綴物状態情報を、ANNアルゴリズムで学習し、口腔健康状態を判定する。
例えば、口腔健康予測部210の写真登録部211は、ユーザが転送した口腔写真を、口腔健康予測対象画像として内部データベースに登録する。ここで、口腔画像は、個人が直接撮影するには撮影環境がそれぞれ異なるため、実際の撮影画像の色基準がない。そこで、基準点を取って、全ての写真が基準点と同一となるように、色補正を自動で行った後、保存することができる(S101)(S201)。
ついで、矯正有無判定部212は、前記口腔画像を、CNNアルゴリズムで学習して、口腔写真有無を判断する(S102)(S202)。ここで、判断結果、口腔写真有無ではない場合、ユーザ端末100に、口腔写真を登録する案内文字を転送する(S103)(S203)。
前記口腔画像をCNNアルゴリズムで学習して、口腔写真の有無を判断する過程を、図15に示している。このため、事前に撮影されて登録要請された写真が口腔写真であるかを判定するCNNモデルが構築されたと仮定する。事前訓練されたCNNモデルは、VGG16(https://neurohive.io/en/popular-networks/vgg16/)、ResNet50などのように、公知のCNNモデルに口腔写真範疇を追加して使用するのが望ましい。学習データとしては、口腔写真データ、追加する範疇の写真データであり得る。
このような口腔写真データを用いて、CNNモデルで学習をして、口腔写真の有無を判断することができるが、この場合、追加される学習データの量により、学習時間が多くかかるという不都合を引き起こす。
そこで、口腔写真有無を判定する他の方法として、CNNアルゴリズムを用いる代わりに、前記口腔健康予測アプリケーションを用いて、ユーザが口腔写真以外の画像を、登録しないように誘導して、口腔写真有無を判断する過程を省略することができる。ここで、口腔写真以外の画像は、登録しないように誘導する方法として、案内文字を用いることができる。
ステップS102又はS202の確認結果、口腔画像と判定されると、矯正有無判定部212で口腔画像を、図16におけるCNNアルゴリズムで学習して、矯正可否を判断する(S104-S105)(S204-S205)。ここで、図16は、入力された口腔画像から矯正可否を判定するCNNモデルを示している。このようなCNNモデルは、AutoKerasを用いて、CNNモデルを構築することができる。事前訓練されたVGG16、ResNet50などを用いた転移学習(transfer learning可能)を用いることもできる。必要データは、矯正機着用/未着用口腔写真データであり、CNNモデルに、口腔写真範疇を2つ(矯正機着用/未着用)を追加することで、簡単に矯正可否を判断することができる。
このようなCNNモデルを用いて、矯正可否を判定することができるが、これには十分な学習時間及びデータが必要であり、学習データの増加は、結果として計算量の増加をもたらす。そこで、ユーザの問診表作成を通じて矯正可否を選択するように誘導して、矯正可否を判断するためのCNNアルゴリズムの学習過程を省略することもできる。
問診表作成により、問診情報が提供された場合、問診情報をFFNNアルゴリズムで分類する。ここで、FFNNアルゴリズムは、アンケート応答(ユーザ情報)が入力であり、診断結果が出力となる機械学習アルゴリズムである。テンソルフロー、Kerasなどのパイソン基盤ライブラリを用いて、入出力構造に適するFFNNを設計して使用するのが望ましい。活性化関数、損失関数、最適化方法、並列コンピュータ構造、過適合問題などに対しては、最近研究及び分析されたFFNNアルゴリズムを用いることができる。入力データ(アンケート応答)を前処理し、前処理データを、学習データと検証データとに分ける。ついで、学習データは、神経回路網学習により学習が行われ、検証データと学習結果データを検証及び補足手続きにより、新たに設計された神経回路網で学習される。そして、検証及び補足が完了すると、最終モデルがアンケート診断結果として出力される。
ここで構築されたCNNモデルを用いて、矯正可否を判定することもできるが、付加的に同一のCNNモデルを用いて、抜歯可否と判定することができる。CNNモデルに、抜歯口腔写真範疇を追加すると、簡単に抜歯可否と判定することができる。
ついで、口腔疾患及び補綴物探知部213は、前記判断した矯正可否情報と抜歯可否情報を個体探知で分析して、う蝕状態情報又は歯周炎状態情報、及び補綴物状態情報を取得する(S106-S110)(S206-S210)。このため、図17のような入力された区間写真(画像)から、口腔疾患(う蝕、歯周炎)及び補綴物探知を判定する個体探知アルゴリズムを構築する。口腔疾患及び補綴物探知を判定する個体探知アルゴリズムは、既開発されたFaster R-CNN、SSD、YOLO(W.Liu et al.、2015、arXiv(http://arxiv.org/abs/1512.02325)などを用いることができる。前記個体探知アルゴリズムで、う蝕状態情報又は歯周炎状態情報、及び補綴物状態情報を取得するための必要データとしては、口腔疾患及び補綴物が表示された写真データを用いることができる。矯正機着用可否を区分して学習することで、正確度を向上することができる。1つのアルゴリズムで、う蝕又は歯周炎と補綴物を全て探知可能であるというメリットがある。ここで、う蝕状態情報は、う蝕の存在有無情報と、う蝕が存在する場合、う蝕個数情報とを含み、前記補綴物状態情報は、補綴物存在有無情報と、補綴物が存在する場合、補綴物個数情報とを含むことができる。う蝕画像学習は、ユーザが提供した口腔写真が全体口腔部位のどの部位であるかを確認し、口腔部位画像の位置を確認した後、画像学習を行い、もって、う蝕存在有無とう蝕個数を抽出する。同様な方法で、補綴物存在有無と補綴物個数も抽出する。
合わせて、歯周炎状態情報は、歯周炎の存在有無情報と、歯周炎が存在する場合、歯周炎位置情報とを含み、前記補綴物状態情報は、補綴物存在有無情報と、補綴物が存在する場合、補綴物個数情報とを含むことができる。歯周炎画像学習は、ユーザが提供した口腔写真が全体口腔部位のどの部位であるかを確認し、口腔部位画像の位置を確認した後、画像学習を行い、もって、歯周炎存在有無と歯周炎位置を抽出する。歯周炎分析のために、一般に、歯周炎患部は、12部位に分類される。そこで、ユーザが転送した口腔写真(歯周画像)を、前記分類された12部位と比較して、患部位置がどこであるかを確認し、歯周炎位置を認識する。同様な方法で、補綴物存在有無と補綴物個数も抽出する。
ついで、口腔健康判定部214は、前記矯正可否情報及び抜歯可否情報と、う蝕状態情報又は歯周炎状態情報、及び補綴物状態情報を、図18のようなANNアルゴリズム(2019年NIMS産業数学問題解決ワークショップ提案モデル)で学習して、口腔健康状態を判定する。ここで、機械学習アルゴリズムであるANNアルゴリズムは、前記矯正可否情報と抜歯可否情報と、う蝕状態情報又は歯周炎状態情報、及び補綴物状態情報を入力(input)として、口腔健康状態(口腔健康度)を判定する。このため、専門医又は専攻医から取得した信頼すべき写真データに該当する患者の口腔健康度判定資料を用いることができる。前記口腔健康状態判定が完了すると、口腔健康予測情報を生成し、内部データベースに保存する。
ついで、口腔健康情報提供部220は、前記判定により取得した口腔健康予測情報を、ユーザ端末100へ転送する。ここで、口腔健康予測情報は、報告書形態であり得る。このため、口腔健康情報提供部220は、ユーザ端末100とデータを送受信することができる通信モジュールを備えることができる。
ここで、口腔健康予測情報は、平常時に口腔管理のための専門モニタリングサービスが共に行われる。口腔健康予測情報は、遠隔又はデジタルで行われる医療行為ではなく、予防を目的とする報告書である。すなわち、単に、ユーザの口腔健康状態だけを報告書形式で提供している。ユーザは、提供される口腔健康報告書を見て、病院訪問が必要であると判断されると、病院を訪問して、迅速に口腔問題を治療し、口腔健康を管理するのが望ましい。
このような本発明によると、ユーザが自分の口腔を撮影してアップロードし、問診表を作成して転送すると、機械学習アルゴリズムを用いて、口腔疾患及び補綴物を探知し、これを用いて、口腔健康状態を予測して、口腔健康報告書をリアルタイムでユーザに提供することで、ユーザが自分の口腔健康を容易に管理し、口腔健康の悪化を事前に予防できることになる。
以上、本発明を、前記実施例により具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲で、様々に変更可能であることは、当該技術分野における通常の知識を有する者にとって、自明であると言える。
本発明は、区間健康予測装置において、口腔画像を分析して、球場健康を予測する技術に適用される。
10,100 ユーザ端末
20 歯周疾患管理サーバ
21 情報分析手段
22 報告書生成手段
23 病院予約手段
31 画像学習部
32 画像分析部
33 画像診断部
41 ビッグデータ分析部
42 問診分類及び提供部
43 報告書算出及び提供部
200 口腔健康予測サーバ
210 口腔健康予測部
220 口腔健康情報提供部
211 写真登録部
212 矯正有無判断部
213 補綴物探知部
214 口腔健康判定部

Claims (20)

  1. 口腔写真を機械学習アルゴリズムで分析して、口腔健康を予測する装置であって、
    ユーザの歯周画像と個人情報、問診データを提供し、歯周疾患報告書を要請するユーザ端末と、
    前記ユーザ端末から提供される前記歯周画像をディープラーニングで分析して、前記歯周疾患報告書を生成し、前記ユーザ端末に転送する歯周疾患管理サーバと、を含むことを特徴とする機械学習アルゴリズムを用いた口腔健康予測装置。
  2. 前記歯周疾患管理サーバは、前記ユーザ端末から病院予約要請に際して、自動で前記歯周疾患報告書の症状に対応する病院を探索し、複数の病院サーバに連動して、予約を自動で行うことを特徴とする請求項1に記載の機械学習アルゴリズムを用いた口腔健康予測装置。
  3. 前記ユーザ端末は、カメラを用いて、前記ユーザの患部を撮影して前記歯周画像を生成し、前記生成された歯周画像を前記歯周疾患管理サーバに転送することを特徴とする請求項1に記載の機械学習アルゴリズムを用いた口腔健康予測装置。
  4. 前記歯周疾患管理サーバは、前記ユーザの歯周画像を前記ディープラーニングで学習して、分析データを抽出する情報分析手段を含むことを特徴とする請求項1に記載の機械学習アルゴリズムを用いた口腔健康予測装置。
  5. 前記情報分析手段は、前記歯周画像を学習する画像学習部と、前記画像学習部で学習した結果を分析する画像分析部と、画像分析結果を基に、前記ディープラーニングで前記歯周画像を分析し、歯周疾患分析データを抽出する画像診断部と、を含むことを特徴とする請求項4に記載の機械学習アルゴリズムを用いた口腔健康予測装置。
  6. 前記歯周疾患管理サーバは、更に、前記情報分析手段で抽出した前記分析データと問診情報を、ビッグデータを基に分析して、前記歯周疾患報告書を生成し、前記生成された歯周疾患報告書を前記ユーザ端末に転送する報告書生成手段を含むことを特徴とする請求項4に記載の機械学習アルゴリズムを用いた口腔健康予測装置。
  7. 前記報告書生成手段は、前記情報分析手段で提供する歯周疾患分析データを、歯周疾患ビッグデータを基に分析するビッグデータ分析部と、前記ユーザ端末に問診データを提供し、前記ユーザ端末から提供される問診情報を分類する問診分類及び提供部と、前記ビッグデータ分析部の分析結果と、前記問診分類及び提供部の問診情報分類情報を基に、前記歯周疾患報告書を算出し、前記算出された歯周疾患報告書を提供する報告書算出及び提供部と、を含むことを特徴とする請求項6に記載の機械学習アルゴリズムを用いた口腔健康予測装置。
  8. 前記歯周疾患管理サーバは、更に、前記ユーザ端末により病院予約が要請されると、前記歯周疾患報告書の症状に対応する病院を探索して自動で予約を行い、病院予約情報を前記ユーザ端末へ転送する病院予約手段を含むことを特徴とする請求項4に記載の機械学習アルゴリズムを用いた口腔健康予測装置。
  9. 前記病院予約手段は、前記ユーザが入力した病院名又は自体お勧め病院とユーザ周辺の病院位置情報を基に、ユーザ位置から最短距離の病院を探索して勧め、前記ユーザの病院選択によって、病院サーバに連動して、病院を自動で予約することを特徴とする請求項8に記載の機械学習アルゴリズムを用いた口腔健康予測装置。
  10. 前記病院予約手段は、消費者の評価及び自体病院評価アルゴリズムを用いて、病院を評価してランキングを決め、前記ランキングに基づいて、予約病院を探索し、前記ユーザの病院選択によって、病院サーバに連動して、病院を予約することを特徴とする請求項8に記載の機械学習アルゴリズムを用いた口腔健康予測装置。
  11. 口腔写真を機械学習アルゴリズムで分析して、口腔健康を予測する装置であって、
    ユーザの口腔画像を提供し、口腔健康判定結果を要請するユーザ端末と、
    前記ユーザ端末から提供される前記口腔画像を、前記機械学習アルゴリズムで分析して、口腔健康状態を予測する口腔健康予測サーバと、を含み、
    前記口腔健康予測サーバは、口腔写真の分析により、う蝕状態又は歯周炎状態、補綴物状態を分析し、分析した歯周炎状態情報及び補綴物状態情報を基に、前記口腔健康状態を予測することを特徴とする機械学習アルゴリズムを用いた口腔健康予測装置。
  12. 前記口腔健康予測サーバは、前記ユーザの口腔画像を、CNNアルゴリズムで学習して、写真の分析可能可否と矯正可否及び抜歯可否を判断し、判断結果、情報を、個体探知で分析して、う蝕状態情報又は歯周炎状態情報及び補綴物状態情報を取得し、取得した前記う蝕状態情報又は前記歯周炎状態情報及び前記補綴物状態情報を、ANNアルゴリズムで学習して、前記口腔健康状態を判定する口腔健康予測部を含むことを特徴とする請求項11に記載の機械学習アルゴリズムを用いた口腔健康予測装置。
  13. 前記口腔健康予測サーバは、更に、前記口腔健康予測部で判定した口腔健康状態情報を、口腔健康予測情報として前記ユーザ端末に転送する口腔健康情報提供部を含むことを特徴とする請求項12に記載の機械学習アルゴリズムを用いた口腔健康予測装置。
  14. 前記口腔健康予測部は、登録された口腔画像を、前記CNNアルゴリズムで学習して、写真の分析可能可否と矯正可否及び抜歯可否を判断する矯正有無判断部と、前記矯正有無判断部で判断した結果情報を、個体探知で分析して、前記う蝕状態情報又は前記歯周炎状態情報及び前記補綴物状態情報を取得する口腔疾患及び補綴物探知部と、前記矯正有無判断部で取得した矯正可否情報及び抜歯可否情報と、前記口腔疾患及び補綴物探知部で取得した前記う蝕状態情報又は前記歯周炎状態情報及び前記補綴物状態情報を、前記ANNアルゴリズムで学習して、前記口腔健康状態を判定する口腔健康判定部と、を含むことを特徴とする請求項12に記載の機械学習アルゴリズムを用いた口腔健康予測装置。
  15. 口腔写真を機械学習アルゴリズムで分析して、口腔健康を予測する方法であって、
    (a)ユーザ端末から提供される口腔画像を、機械学習アルゴリズムで分析して、口腔健康状態を予測する口腔健康予測サーバにおいて、前記ユーザ端末から提供される口腔画像を、口腔健康予測対象として登録するステップと、
    (b)前記口腔健康予測サーバにおいて、前記口腔画像をCNNアルゴリズムで学習して、口腔写真有無を判断するステップと、
    (c)前記口腔健康予測サーバで、前記口腔画像を前記CNNアルゴリズムで学習して、矯正可否及び抜歯可否を判断するステップと、
    (d)前記口腔健康予測サーバで判断した矯正可否情報と抜歯可否情報を、個体探知で分析して、う蝕状態情報又は歯周炎状態情報及び補綴物状態情報を取得するステップと、
    (e)前記口腔健康予測サーバにおいて、前記矯正可否情報及び前記抜歯可否情報と、前記う蝕状態情報又は前記歯周炎状態情報及び前記補綴物状態情報を、ANNアルゴリズムで学習して、前記口腔健康状態を判定するステップと、を含むことを特徴とする機械学習アルゴリズムを用いた口腔健康予測方法。
  16. 前記う蝕状態情報は、う蝕の存在有無情報と、前記う蝕が存在する場合、前記う蝕の個数情報と、を含むことを特徴とする請求項15に記載の機械学習アルゴリズムを用いた口腔健康予測方法。
  17. 前記歯周炎状態情報は、歯周炎の存在有無情報と、前記歯周炎が存在する場合、前記歯周炎の位置情報と、を含むことを特徴とする請求項15に記載の機械学習アルゴリズムを用いた口腔健康予測方法。
  18. 前記補綴物状態情報は、補綴物の存在有無情報と、前記補綴物が存在する場合、前記補綴物の個数情報と、を含むことを特徴とする請求項15に記載の機械学習アルゴリズムを用いた口腔健康予測方法。
  19. 更に、(f) 前記ステップ(e)での判定により取得した口腔健康予測情報を、前記ユーザ端末に転送するステップを含むことを特徴とする請求項15に記載の機械学習アルゴリズムを用いた口腔健康予測方法。
  20. 前記ステップ(b)の代わりに、ユーザが口腔写真以外の画像は、登録しないように誘導する案内情報を提供し、口腔健康予測アプリケーションにより提供するステップに代替して、口腔写真可否を判断するための前記CNNアルゴリズムの学習過程を省略することを特徴とする請求項15に記載の機械学習アルゴリズムを用いた口腔健康予測方法。
JP2021547020A 2018-10-16 2019-10-16 機械学習アルゴリズムを用いた口腔健康予測装置及び方法 Pending JP2022508923A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR1020180123420A KR102218752B1 (ko) 2018-10-16 2018-10-16 딥러닝과 빅데이터를 이용한 치주질환관리시스템
KR10-2018-0123420 2018-10-16
KR1020190127251A KR102311395B1 (ko) 2019-10-14 2019-10-14 치주염 탐지를 이용한 구강건강 예측장치 및 방법
KR1020190127250A KR102311385B1 (ko) 2019-10-14 2019-10-14 치아우식 탐지를 이용한 구강건강 예측장치 및 방법
KR10-2019-0127250 2019-10-14
KR10-2019-0127251 2019-10-14
PCT/KR2019/013563 WO2020080819A1 (ko) 2018-10-16 2019-10-16 기계학습 알고리즘을 이용한 구강건강 예측장치 및 방법

Publications (1)

Publication Number Publication Date
JP2022508923A true JP2022508923A (ja) 2022-01-19

Family

ID=70284696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021547020A Pending JP2022508923A (ja) 2018-10-16 2019-10-16 機械学習アルゴリズムを用いた口腔健康予測装置及び方法

Country Status (3)

Country Link
US (1) US20210398275A1 (ja)
JP (1) JP2022508923A (ja)
WO (1) WO2020080819A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK180755B1 (en) * 2019-10-04 2022-02-24 Adent Aps Method for assessing oral health using a mobile device
CN111973152A (zh) * 2020-06-17 2020-11-24 谈斯聪 五官及外科医疗数据采集分析诊断机器人,平台
WO2021260581A1 (en) * 2020-06-24 2021-12-30 Oral Tech Ai Pty Ltd Computer-implemented detection and processing of oral features
CN111798445B (zh) * 2020-07-17 2023-10-31 北京大学口腔医院 一种基于卷积神经网络的牙齿图像龋坏识别方法及系统
CN112150422B (zh) * 2020-09-15 2023-12-08 苏州知会智能科技有限公司 一种基于多任务学习的口腔健康自我检测模型的建模方法
CN113244056A (zh) * 2021-05-14 2021-08-13 广州中大药物开发有限公司 基于智慧卫生用品的远程分析方法
KR102491837B1 (ko) 2021-11-04 2023-01-27 주식회사 카이아이컴퍼니 치면 착색 영상 데이터를 활용한 비대면 치아우식 위험도 진단 및 구강관리 시스템과 그 방법
CN116596861B (zh) * 2023-04-28 2024-02-23 中山大学 一种牙面病灶的识别方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008244794A (ja) * 2007-03-27 2008-10-09 Olympus Corp 画像処理装置、及び、画像処理方法
JP2011212234A (ja) * 2010-03-31 2011-10-27 Olympus Corp 歯科画像処理装置、歯科用測色装置、歯科画像処理方法および歯科画像処理プログラム
KR200480257Y1 (ko) * 2014-10-07 2016-05-04 김경수 스마트폰 치아 확인용 카메라
KR101788030B1 (ko) * 2016-06-15 2017-11-15 주식회사 카이아이컴퍼니 구강질환 위험도 진단 및 구강관리 시스템과 그 방법
KR101839789B1 (ko) * 2017-08-01 2018-03-19 주식회사 뷰노 치과 영상의 판독 데이터 생성 시스템

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101441749B1 (ko) * 2012-09-07 2014-09-19 김현종 구강카메라를 이용한 구강 진단 방법 및 이를 수행하는 시스템
CA2898513A1 (en) * 2015-07-27 2017-01-27 Stephan HEATH Methods, products, and systems relating to making, providing, and using nanocrystalline (nc) products comprising nanocrystalline cellulose (ncc), nanocrystalline (nc) polymers and/or nanocrystalline (nc) plastics or other nanocrystals of cellulose composites or structures, in combination with other materials
KR101868979B1 (ko) * 2016-05-31 2018-07-23 (주)이너웨이브 딥러닝 알고리즘을 이용한 구강 건강 관리 시스템 및 방법
WO2018030576A1 (ko) * 2016-08-09 2018-02-15 주식회사 디오 디지털 라이브러리를 이용한 치아교정용 디지털 브라켓 및 그의 제조방법
CN117257492A (zh) * 2016-11-04 2023-12-22 阿莱恩技术有限公司 用于牙齿图像的方法和装置
US20190340760A1 (en) * 2018-05-03 2019-11-07 Barking Mouse Studio, Inc. Systems and methods for monitoring oral health
KR102099390B1 (ko) * 2018-08-21 2020-04-09 디디에이치 주식회사 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치
US20220084267A1 (en) * 2018-10-30 2022-03-17 Diagnocat, Inc. Systems and Methods for Generating Quick-Glance Interactive Diagnostic Reports
US10849723B1 (en) * 2019-05-07 2020-12-01 Sdc U.S. Smilepay Spv Scanning device
US11158046B2 (en) * 2020-01-24 2021-10-26 Overjet, Inc. Estimating measurements of craniofacial structures in dental radiographs
US11633108B2 (en) * 2020-10-15 2023-04-25 Sean M. Langton Trans-illuminative intraoral diagnostic lighting system and method of using

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008244794A (ja) * 2007-03-27 2008-10-09 Olympus Corp 画像処理装置、及び、画像処理方法
JP2011212234A (ja) * 2010-03-31 2011-10-27 Olympus Corp 歯科画像処理装置、歯科用測色装置、歯科画像処理方法および歯科画像処理プログラム
KR200480257Y1 (ko) * 2014-10-07 2016-05-04 김경수 스마트폰 치아 확인용 카메라
KR101788030B1 (ko) * 2016-06-15 2017-11-15 주식회사 카이아이컴퍼니 구강질환 위험도 진단 및 구강관리 시스템과 그 방법
KR101839789B1 (ko) * 2017-08-01 2018-03-19 주식회사 뷰노 치과 영상의 판독 데이터 생성 시스템

Also Published As

Publication number Publication date
WO2020080819A1 (ko) 2020-04-23
US20210398275A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
JP2022508923A (ja) 機械学習アルゴリズムを用いた口腔健康予測装置及び方法
KR102218752B1 (ko) 딥러닝과 빅데이터를 이용한 치주질환관리시스템
KR101788030B1 (ko) 구강질환 위험도 진단 및 구강관리 시스템과 그 방법
KR102311385B1 (ko) 치아우식 탐지를 이용한 구강건강 예측장치 및 방법
KR102311398B1 (ko) 모바일기반 자가 구강검진장치
US11633102B2 (en) Apparatus and method for providing improved health care
US20160038092A1 (en) Applying non-real time and non-user attended algorithms to stored non-imaging data and existing imaging data for obtaining a dental diagnosis
US20210134440A1 (en) Dental image analysis and treatment planning using an artificial intelligence engine
JP2009533782A (ja) 医療計画における個人的予後モデル化
KR20060100737A (ko) 인터넷을 이용한 치과 환자 진료 서비스 방법 및 그 시스템
KR20180011558A (ko) 표준 치료계획 자동 추천 시스템 및 방법
WO2021140670A1 (ja) 情報伝達装置および情報伝達方法
KR20200054366A (ko) 어린이 구강건강 관리 및 교육시스템
Plazzotta et al. Asynchronous dermatology teleconsultations using a personal health record
US20180308584A1 (en) Acute care predictive analytics tool
US20240029901A1 (en) Systems and Methods to generate a personalized medical summary (PMS) from a practitioner-patient conversation.
EP1810612A1 (en) A system and method for hypertension management
KR102311395B1 (ko) 치주염 탐지를 이용한 구강건강 예측장치 및 방법
JP7382741B2 (ja) 医療機関選定支援装置
Seitz et al. Approach towards an evidence-oriented knowledge and data acquisition for the optimization of interdisciplinary care in dentistry and general medicine
US20230154597A1 (en) A Device for Determining a Position of a Metal Object in or at a Patient Body
EP4293677A1 (en) Dental treatment provider recommendation
KR20240058233A (ko) 인공지능(ai)를 이용한 치주질환 관리 시스템
WO2021152710A1 (ja) 情報伝達装置および情報伝達方法
JP2023065876A (ja) モバイルに基づく自己口腔検診装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220926

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221213