JP2019155027A - Oral disease diagnosis system and oral disease diagnosis program - Google Patents
Oral disease diagnosis system and oral disease diagnosis program Download PDFInfo
- Publication number
- JP2019155027A JP2019155027A JP2018050203A JP2018050203A JP2019155027A JP 2019155027 A JP2019155027 A JP 2019155027A JP 2018050203 A JP2018050203 A JP 2018050203A JP 2018050203 A JP2018050203 A JP 2018050203A JP 2019155027 A JP2019155027 A JP 2019155027A
- Authority
- JP
- Japan
- Prior art keywords
- oral
- disease
- unit
- image
- oral cavity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Endoscopes (AREA)
Abstract
Description
本発明は、口腔疾患診断システム及び口腔疾患診断プログラムに関する。 The present invention relates to an oral disease diagnosis system and an oral disease diagnosis program.
口腔内の画像に基づいて、齲蝕、歯周病等の疾患を診断することが行われている。疾患の診断は、例えば、医師による画像の目視及び画像解析等により行われる。疾患の診断には、口腔内写真が用いられる。口腔内写真は、口腔内の所定の領域を表した複数の画像からなる。なお、口腔内写真の一例として、所定の口腔内規格写真が用いられる場合がある。口腔内写真を構成する各画像は、口腔内の部分を表した複数の画像を重畳領域に基づいて合成する、いわゆるパノラマ画像として生成される。また、口腔内画像に基づいて、虫歯検出のために歯の表面の画像の分類をする技術が知られている(例えば、特許文献1参照)。 Diagnosis of diseases such as caries and periodontal disease based on intraoral images has been performed. Diagnosis of a disease is performed by, for example, visual observation and image analysis by a doctor. Oral photographs are used to diagnose the disease. The intraoral photograph is composed of a plurality of images representing a predetermined region in the oral cavity. As an example of the intraoral photograph, a predetermined intraoral standard photograph may be used. Each image constituting the intraoral photograph is generated as a so-called panoramic image in which a plurality of images representing a portion in the oral cavity are combined based on the overlapping region. Further, a technique for classifying an image of a tooth surface for caries detection based on an intraoral image is known (see, for example, Patent Document 1).
口腔内写真に基づく疾患の診断は、診断の対象部分の色及び形状等に基づいて行われる。精度の高い診断を行うためには、口腔内写真において対象部位が正しく表されている必要がある。しかしながら、通常に撮影された口腔内の画像では、唾液により反射が発生する場合がある。このような画像において、反射が発生した箇所は、色等が実際の状態と異なって表される。反射が生じている部分を含む画像に基づいて口腔内の疾患の診断が行われると、誤診断が発生する可能性がある。 Diagnosis of a disease based on an intraoral photograph is performed based on the color, shape, and the like of the target portion of diagnosis. In order to make a highly accurate diagnosis, it is necessary that the target site is correctly represented in the intraoral photograph. However, in a normal intraoral image, reflection may occur due to saliva. In such an image, a location where reflection occurs is represented by a color or the like different from the actual state. If diagnosis of a disease in the oral cavity is performed based on an image including a portion where reflection occurs, a misdiagnosis may occur.
そこで、本発明は、上記問題点に鑑みてなされたものであり、口腔内写真に基づく疾患の診断において、疾患の誤診断の可能性を低減させることを目的とする。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to reduce the possibility of misdiagnosis of diseases in diagnosis of diseases based on intraoral photographs.
上記課題を解決するために、本発明の一形態に係る口腔疾患診断システムは、口腔内の所定の領域を表した複数の画像からなる口腔内写真に基づいてユーザの口腔内の疾患を診断する口腔疾患診断システムであって、ユーザの口腔内の部分を撮像した部分画像を複数取得する取得部と、部分画像において反射が生じている領域である反射部分の除去または反射部分を含まない部分画像の抽出により、反射部分を含まない部分画像を取得する除去部と、除去部により取得された部分画像を含む複数の部分画像を合成して口腔内写真を生成する生成部と、生成部により生成された口腔内写真を出力する出力部と、を備える。 In order to solve the above problems, an oral disease diagnosis system according to an embodiment of the present invention diagnoses a disease in the oral cavity of a user based on intraoral photographs composed of a plurality of images representing a predetermined region in the oral cavity. An oral disease diagnosis system, an acquisition unit that acquires a plurality of partial images obtained by imaging a portion in a user's oral cavity, and a partial image that does not include a reflection part removal or a reflection part that is a region where reflection occurs in the partial image Generated by a removal unit that acquires a partial image that does not include a reflection part, a generation unit that generates an intraoral photograph by combining a plurality of partial images including the partial image acquired by the removal unit, and a generation unit And an output unit for outputting the intraoral photograph.
また、本発明の一形態に係る口腔疾患診断プログラムは、コンピュータを、口腔内の所定の領域を表した複数の画像からなる口腔内写真に基づいてユーザの口腔内の疾患を診断する口腔疾患診断システムとして機能させるための口腔疾患診断プログラムであって、コンピュータに、ユーザの口腔内の部分を撮像した部分画像を複数取得する取得機能と、部分画像において反射が生じている領域である反射部分の除去または反射部分を含まない部分画像の抽出により、反射部分を含まない部分画像を取得する除去機能と、除去機能により取得された部分画像を含む複数の部分画像を合成して口腔内写真を生成する生成機能と、生成機能により生成された口腔内写真を出力する出力機能と、を実現させる。 In addition, the oral disease diagnosis program according to one aspect of the present invention is an oral disease diagnosis for diagnosing a disease in a user's oral cavity based on an intraoral photograph including a plurality of images representing a predetermined region in the oral cavity. An oral disease diagnosis program for functioning as a system, the computer having an acquisition function for acquiring a plurality of partial images obtained by imaging a portion in a user's oral cavity, and a reflection portion that is a region where reflection occurs in the partial image Extraction of partial images that do not include removal or reflection parts, and generates a intraoral photo by combining the removal function that acquires partial images that do not include reflection parts and multiple partial images that include partial images acquired by the removal function And a generating function for outputting an intraoral photograph generated by the generating function.
上記の形態によれば、反射部分が含まない部分画像に基づいて口腔内写真が生成される。このように生成された口腔内写真に基づいて口腔疾患が診断されることにより、疾患の誤診断の可能性を低減できる。 According to said form, an intraoral photograph is produced | generated based on the partial image which does not contain a reflective part. By diagnosing oral diseases based on the intraoral photographs thus generated, the possibility of misdiagnosis of the diseases can be reduced.
口腔内写真に基づく疾患の診断において、疾患の誤診断の可能性を低減させることが可能となる。 In the diagnosis of diseases based on intraoral photographs, it is possible to reduce the possibility of misdiagnosis of diseases.
本発明に係る口腔疾患診断システムの実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。 An embodiment of an oral disease diagnosis system according to the present invention will be described with reference to the drawings. If possible, the same parts are denoted by the same reference numerals, and redundant description is omitted.
図1は、本実施形態に係る口腔疾患診断システムの装置構成を示す図である。口腔疾患診断システム1は、口腔内の所定の領域を表した複数の画像からなる口腔内写真に基づいてユーザの口腔内の疾患を診断するシステムである。図1に示す口腔疾患診断システム1は、口腔疾患診断装置10並びにユーザの端末20及び医師の端末30を含み、口腔疾患診断装置10及び端末20,30は、ネットワークNを介して互いに通信可能である。
FIG. 1 is a diagram showing a device configuration of an oral disease diagnosis system according to the present embodiment. The oral disease diagnosis system 1 is a system for diagnosing a disease in the oral cavity of a user based on intraoral photographs composed of a plurality of images representing a predetermined region in the oral cavity. The oral disease diagnosis system 1 shown in FIG. 1 includes an oral
口腔疾患診断装置10は、例えば、サーバ等のコンピュータにより構成されるが、口腔疾患診断装置10を構成する装置は限定されない。端末20,30は、例えば、据置型又は携帯型のパーソナルコンピュータ、高機能携帯電話機(スマートフォン)等により構成されるが、端末20,30を構成する装置は限定されず、例えば携帯電話機、携帯情報端末(PDA)などの携帯端末でもよい。なお、図1では、例として各1台の端末20及び端末30が示されているが、その数はこれに限定されない。
The oral
図2は、本実施形態に係る口腔疾患診断装置10の機能的構成を示す図である。本実施形態の口腔疾患診断装置10は、口腔内写真に基づいてユーザの口腔内の疾患を診断する装置である。口腔内写真は、口腔内の齲蝕、歯周病等の疾患を診断するために取得される口腔内を撮像した写真である。口腔内写真は、口腔内の所定の領域を表した複数の画像からなる。
FIG. 2 is a diagram illustrating a functional configuration of the oral
図2に示すように、口腔疾患診断装置10は、機能的には、取得部11、除去部12、生成部13、判定部14及び出力部15を備える。なお、本実施形態では、口腔疾患診断装置10は、図2に示すような1つの装置により構成されているが、口腔疾患診断装置10に含まれる各機能部が複数の装置に分散されて構成されてもよい。口腔疾患診断装置10の各機能部については後に詳細に説明する。
As shown in FIG. 2, the oral
なお、図2に示したブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及び/又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び/又は論理的に結合した1つの装置により実現されてもよいし、物理的及び/又は論理的に分離した2つ以上の装置を直接的及び/又は間接的に(例えば、有線及び/又は無線)で接続し、これら複数の装置により実現されてもよい。 The block diagram shown in FIG. 2 shows functional unit blocks. These functional blocks (components) are realized by any combination of hardware and / or software. Further, the means for realizing each functional block is not particularly limited. That is, each functional block may be realized by one device physically and / or logically coupled, and two or more devices physically and / or logically separated may be directly and / or indirectly. (For example, wired and / or wireless) and may be realized by these plural devices.
例えば、本発明の一実施の形態における口腔疾患診断装置10は、コンピュータとして機能してもよい。図3は、本実施形態に係る口腔疾患診断装置10のハードウェア構成の一例を示す図である。口腔疾患診断装置10は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、バス1007などを含むコンピュータ装置として構成されてもよい。
For example, the oral
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。口腔疾患診断装置10のハードウェア構成は、図2に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
In the following description, the term “apparatus” can be read as a circuit, a device, a unit, or the like. The hardware configuration of the oral
口腔疾患診断装置10における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることで、プロセッサ1001が演算を行い、通信装置1004による通信や、メモリ1002及びストレージ1003におけるデータの読み出し及び/又は書き込みを制御することで実現される。
Each function in the oral
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。例えば、図1に示した各機能部11〜15などは、プロセッサ1001で実現されてもよい。
For example, the
また、プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュールやデータを、ストレージ1003及び/又は通信装置1004からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、口腔疾患診断装置10の各機能部11〜15は、メモリ1002に格納され、プロセッサ1001で動作する制御プログラムによって実現されてもよい。上述の各種処理は、1つのプロセッサ1001で実行される旨を説明してきたが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
Further, the
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つで構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本発明の一実施の形態に係る棚割情報生成方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
The
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CD−ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu−ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ1002及び/又はストレージ1003を含むデータベース、サーバその他の適切な媒体であってもよい。
The
通信装置1004は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
The
入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー、LEDランプなど)である。なお、入力装置1005及び出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。
The
また、プロセッサ1001やメモリ1002などの各装置は、情報を通信するためのバス1007で接続される。バス1007は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
Each device such as the
また、口腔疾患診断装置10は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つで実装されてもよい。
The oral
図4は、本実施形態のユーザの端末20の機能的構成を示す図である。図4に示すように、端末20は、画像取得部21、画像送信部22、判定結果受信部23及び判定結果提示部24を備える。また、端末20は、画像センサ25及びディスプレイ26を含む。
FIG. 4 is a diagram illustrating a functional configuration of the
画像取得部21は、画像センサ25により撮像された部分画像を取得する。部分画像は、口腔内の部分を撮像した画像である。画像センサ25は、撮像対象の画像を光学的に取得するセンサである。画像取得部21は、複数の部分画像を取得する。
The
複数の部分画像は、それぞれが静止画として取得されてもよいし、動画像として取得された各フレームから抽出されたものであってもよい。このように複数の部分画像が取得されることにより、画像取得部21は、口腔内における同一の部分を異なる方向から撮像した複数の部分画像を取得できる。即ち、本実施形態では、ユーザが、端末20を用いて、自らの口腔内の画像を撮像することができる。
Each of the plurality of partial images may be acquired as a still image or may be extracted from each frame acquired as a moving image. By acquiring a plurality of partial images in this way, the
画像送信部22は、画像取得部21により取得された複数の部分画像を口腔疾患診断装置10に送信する。
The
判定結果受信部23は、口腔内における所定の疾患に関する判定の結果を示す情報を口腔疾患診断装置10から受信する。口腔内の疾患の判定は、画像送信部22により送信された複数の部分画像に基づいて口腔疾患診断装置10において実施される。判定の結果は、例えば、疾患の箇所がマークされた口腔内写真及び発見された疾患に関するコメント等を含む。
The determination
判定結果提示部24は、判定結果受信部23により受診された、疾患の判定の結果を示す情報を、ユーザに対して提示する。判定結果提示部24は、例えば、疾患の判定の結果を示す情報をディスプレイ26に表示させる。
The determination
図5は、本実施形態の医師の端末30の機能的構成を示す図である。図5に示すように、端末30は、受信部31、提示部32、受付部33及び送信部34を備える。また、端末30は、ディスプレイ35を含む。
FIG. 5 is a diagram illustrating a functional configuration of the doctor's terminal 30 according to the present embodiment. As illustrated in FIG. 5, the terminal 30 includes a
受信部31は、口腔内における所定の疾患に関する判定の結果を示す情報を口腔疾患診断装置10から受信する。口腔内の疾患の判定は、端末20の画像送信部22により送信された複数の部分画像に基づいて口腔疾患診断装置10において実施される。判定の結果は、例えば、疾患の箇所がマークされた口腔内写真及び発見された疾患に関するコメント等を含む。
The receiving
提示部32は、受信部31により受診された、疾患の判定の結果を示す情報を、医師に対して提示する。提示部32は、例えば、疾患の判定の結果を示す情報をディスプレイ26に表示させる。
The presenting
受付部33は、端末30に対して医師により入力された、ユーザの受診の要否に関する情報を受け付ける。具体的には、医師は、提示部32により提示された疾患の判定の結果を参照して、判定の結果に係るユーザの受診の要否を検討及び判断する。医師は、ユーザに受診を促すための、受診の要否に関する情報を端末30に入力する。受付部33は、このように入力された、受診の要否に関する情報を受け付ける。
The accepting
送信部34は、ユーザの受診の要否に関する情報を送信する。具体的には、送信部34は、受診の要否に関する情報をユーザの端末20に送信して、送信した情報を端末20において、例えばディスプレイに表示させる等により出力させる。また、送信部34は、受診の要否に関する情報を、口腔疾患診断装置10を介して端末20に送信してもよい。この場合には、口腔疾患診断装置10の出力部15が、送信部34からの受診の要否に関する情報を端末20に転送し、受診の要否に関する情報を端末20において出力させる。
The
続いて、口腔疾患診断装置10の各機能部について説明する。取得部11は、ユーザの口腔内の部分を撮像した部分画像を複数取得する。具体的には、取得部11は、端末20の画像センサ25により撮像された部分画像を取得する。
Subsequently, each functional unit of the oral
図6は、部分画像及び複数の部分画像に基づいて合成されたパノラマ画像の例を示す図である。図6に示すように、取得部11は、例えば、歯列の正面右側の部分画像A01、正面中央の部分画像A02及び正面左側の部分画像A03を取得する。これらの部分画像は、それぞれが静止画として取得されてもよいし、動画像として取得された各フレームから抽出されたものであってもよい。
FIG. 6 is a diagram illustrating an example of a panoramic image synthesized based on a partial image and a plurality of partial images. As illustrated in FIG. 6, the
後述するように、本実施形態では、各部分画像A01〜A03における口腔内の同じ部分が表された重畳領域に基づいて、複数の部分画像A01〜A03を合成することにより、パノラマ画像Bが生成される。図6に示すパノラマ画像Bは、口腔内写真における正面画像を構成する。部分画像の重畳領域に基づくパノラマ画像の合成には、種々の周知技術を適用できる。 As will be described later, in this embodiment, a panoramic image B is generated by synthesizing a plurality of partial images A01 to A03 based on the overlapping region in which the same part in the oral cavity is represented in each of the partial images A01 to A03. Is done. The panoramic image B shown in FIG. 6 constitutes a front image in the intraoral photograph. Various well-known techniques can be applied to the synthesis of the panoramic image based on the overlapping region of the partial images.
除去部12は、部分画像において反射が生じている領域である反射部分の除去または反射部分を含まない部分画像の抽出により、反射部分を含まない部分画像を取得する。口腔内を撮像した画像では、口腔内に存在する唾液に起因して反射が生じる場合がある。疾患の診断を高精度に実施するためには、口腔内写真において口腔内の状態が正しく表されている必要があるところ、反射が発生した箇所の画像は、色等が実際の状態と異なって表される。本実施形態では、反射部分を含まない部分画像が取得されることにより、高精度の診断を実現させる。
The
具体的には、除去部12は、取得部11により取得された部分画像から反射部分を含まない部分画像を抽出できる。除去部12は、周知の画像解析技術により反射部分を含まない部分画像を抽出する。例えば、除去部12は、反射部分の特有の画像的特徴(例えば、所定値以上の明度を有すること等)を有さない部分画像を、反射部分を含まない部分が負うとして抽出する。また、除去部12は、その他の種々の周知技術により、反射部分を含まない部分画像を抽出できる。
Specifically, the
また、具体的には、除去部12は、部分画像において反射が生じている領域である反射部分を除去することにより、反射部分を含まない部分画像を取得できる。さらに具体的には、除去部12は、部分画像に表されている部分の射影方向を所定の方向に合わせるように複数の部分画像を変換し、口腔内における同じ部分を表す画素が互いに対応付けられるように位置合わせをして複数の部分画像を加算平均合成することにより、反射部分が除去された部分画像を取得する。
Specifically, the removing
図7及び図8を参照して、除去部12による反射部分の除去の処理を詳細に説明する。図7は、反射部分を含む複数の部分画像及び反射部分が除去された部分画像の例を模式的に示す図である。図8は、除去部12による反射部分の除去の処理内容を示すフローチャートである。
With reference to FIG.7 and FIG.8, the removal process of the reflective part by the
ステップS31において、除去部12は、一の部分画像を取得する。図7に示す例においては、除去部12は、部分画像A11を取得する。部分画像A11には、反射部分rf1が含まれている。
In step S31, the
続いて、ステップS32において、除去部12は、部分画像に表されている部分の射影方向を所定の方向に合わせるように複数の部分画像を変換する。具体的には、除去部12は、例えば、口腔内写真を構成する各画像の規格に合うように、部分画像に対してホモグラフィ変換を実施する。ホモグラフィ変換は、周知の画像の変換技術であって、ある平面に三次元の対象物を射影して表した二次元画像を、射影変換を用いて、別の平面に射影された二次元画像を生成する技術である。除去部12は、部分画像A11に対して、口腔内写真における正面画像の規格に合うようにホモグラフィ変換を実施して、変換された部分画像A21を得る。
Subsequently, in step S <b> 32, the removing
ステップS33において、除去部12は、全ての部分画像の処理が完了したか否かを判定する。全ての部分画像の処理が完了したと判定された場合には、処理はステップS34に進む。一方、全ての部分画像の処理が完了したと判定されなかった場合には、処理はステップS31に進む。
In step S <b> 33, the
図7を参照して説明する例においては、部分画像A12,A13の処理が完了していないので、これらの部分画像A12,A13に対するステップS31,S32の処理が繰り返される。即ち、除去部12は、反射部分rf2を含む部分画像A12に対してホモグラフィ変換を実施して、部分画像A22を得る。さらに、除去部12は、反射部分rf3を含む部分画像A13に対してホモグラフィ変換を実施して、部分画像A23を得る。
In the example described with reference to FIG. 7, since the processing of the partial images A12 and A13 is not completed, the processes of steps S31 and S32 for these partial images A12 and A13 are repeated. That is, the
ステップS34において、除去部12は、口腔内における同じ部分を表す画素が互いに対応付けられるように位置合わせをして複数の部分画像を加算平均合成する。図7を参照して説明する例では、除去部12は、変換された部分画像A21〜A23に対して、口腔内における同じ部分を表す画素が対応付けられるように位置合わせをして、加算平均合成する。なお、加算平均合成は、画像処理の分野において周知の技術である。
In step S34, the
部分画像A11〜A13のそれぞれは、口腔内における同一の部分を互いに異なる方向から撮像した画像である。このため、部分画像A22及び部分画像A23では、部分画像A21における反射部分rf1の位置に、反射は生じていない。また、部分画像A21及び部分画像A23では、部分画像A22における反射部分rf2の位置に、反射は生じていない。また、部分画像A21及び部分画像A22では、部分画像A23における反射部分rf3の位置に、反射は生じていない。 Each of the partial images A11 to A13 is an image obtained by capturing the same portion in the oral cavity from different directions. For this reason, in the partial image A22 and the partial image A23, no reflection occurs at the position of the reflection portion rf1 in the partial image A21. In the partial image A21 and the partial image A23, no reflection occurs at the position of the reflection portion rf2 in the partial image A22. Further, in the partial image A21 and the partial image A22, no reflection occurs at the position of the reflection portion rf3 in the partial image A23.
一の部分画像のある部分において反射が生じていても、当該部分に反射が生じていない複数の他の部分画像と当該一の部分画像とを加算平均合成することにより、反射が除去された合成画像を得ることができる。図7を参照して説明する例においては、除去部12は、部分画像A21〜A23を位置合わせして加算平均合成することにより、反射部分が除去された部分画像C1を取得できる。
Even if reflection occurs in a certain part of one partial image, a composite with reflection removed by adding and averaging multiple other partial images that do not reflect in that part and the one partial image An image can be obtained. In the example described with reference to FIG. 7, the
再び図2を参照して、生成部13は、除去部12により取得された部分画像を含む複数の部分画像を合成して口腔内写真を生成する。具体的には、生成部13は、図6に示したように、口腔内の同じ部分が表された重畳領域に基づいて部分画像を合成してパノラマ画像を生成することにより、口腔内写真の規格に従った複数の画像を生成する。口腔内写真の生成に用いられる部分画像は、除去部12により反射部分が除去された部分画像及び除去部12により抽出された反射部分を含まない部分画像を含む。部分画像の合成による口腔内写真の生成には、いわゆるパノラマ画像の生成に関する周知の手法を適用することができる。
Referring to FIG. 2 again, the
具体的には、生成部13は、取得した複数の部分画像の向き及び配列を調整する。続いて、生成部13は、口腔内の同じ部分が表された重畳領域に基づいて、互いに隣接する部分画像を重畳合成することにより、一のパノラマ画像を生成する。一のパノラマ画像は、口腔内写真を構成する複数の画像のうちの一つを構成する。
Specifically, the
図9は、生成部13により生成される口腔内写真の例を示す図である。口腔内写真MPは、口腔内の所定の領域を表した複数の画像からなる。本実施形態の口腔内写真は、例えば、いわゆる口腔内規格写真である。口腔内規格写真の撮影法には、構成する画像の数及び各画像の撮像部分に応じて、5枚撮影法、9枚撮影法、12枚撮影法及び14枚撮影法等がある。本実施形態では、5枚撮影法の例で説明する。図9は、5枚撮影法により撮影された口腔内写真MPであり、口蓋側画像mp1、右側画像mp2、正面画像mp3、左側画像mp4及び舌側画像mp5を含む。
FIG. 9 is a diagram illustrating an example of an intraoral photograph generated by the
判定部14は、口腔内写真に表された所定の判定対象領域の画像の特徴に基づいて、口腔内における所定の疾患の有無及び状態を判定する。具体的には、判定部14は、口腔内写真から歯茎が表された歯茎領域及び歯が表された歯領域の少なくとも一つを抽出し、歯茎領域及び歯領域の少なくとも一つの画像の特徴に基づいて歯周病の有無及び状態を判定する。歯周病の判定について、図10及び図11を参照して説明する。図10は、判定部14による歯周病の判定処理のフローチャートを示す図である。
The
ステップS41において、判定部14は、生成部13により生成された口腔内写真から、歯茎が表された歯茎領域及び歯が表された歯領域の少なくとも一つを抽出する。
In step S41, the
ステップS42において、判定部14は、歯茎領域から歯周病の判定に関する特徴Aを抽出する。歯周病の進行に伴い、歯肉が赤くなる、歯肉が腫れる、及び、歯肉のスティップリングが消失するといった症状が現れることに鑑みて、特徴Aは、例えば、歯茎の色、形状及び表面状態の情報を含む。また、判定部14は、歯領域から歯周病の判定に関する特徴Bを抽出する。歯周病の進行に伴い、歯肉の後退に起因して歯の長さが長く見えるようになることに鑑みて、特徴Bは、例えば、歯の面積の情報を含む。
In step S42, the
特徴A及び特徴Bは、ニューラルネットワークを含む歯周病判定モデルに入力される情報である。歯周病判定モデルは、学習用の特徴A及び特徴Bのデータを入力値として、歯周病の進行レベルを判定するモデルであって、事前に機械学習により構築される。歯周病判定モデルに含まれるニューラルネットワークは、特徴A及び特徴Bを入力して得られる歯周病進行レベルの判定値に基づいて誤差計算(誤差逆伝搬)を含む機械学習を行うことにより生成される。誤差計算には、種々の損失関数を適用できる。 Feature A and feature B are information input to a periodontal disease determination model including a neural network. The periodontal disease determination model is a model for determining the progression level of periodontal disease using the data of learning features A and B as input values, and is constructed by machine learning in advance. The neural network included in the periodontal disease determination model is generated by performing machine learning including error calculation (error back propagation) based on the determination value of the periodontal disease progression level obtained by inputting the features A and B. Is done. Various loss functions can be applied to the error calculation.
ステップS43において、判定部14は、ステップS42において抽出された特徴A及び特徴Bを歯周病判定モデルに入力する。なお、歯周病判定モデルに基づく歯周病進行レベルの判定は、特徴A及び特徴Bのいずれか一方に基づき構築されたモデルに基づいて、特徴A及び特徴Bのいずれか一方をモデルに入力することにより行われてもよい。
In step S43, the
ステップS44において、判定部14は、歯周病判定モデルの出力に基づいて、歯周病進行レベルを判定する。図11は、歯周病進行レベルの判定の結果の情報の例を示す図であって、疾患の箇所がマークされた口腔内写真を模式的に示す図である。図11に示すように、判定部14により出力された口腔内写真MP1は、複数の画像mp11〜mp15を含む。画像mp12は、疾患箇所のマークD11を含む。疾患箇所のマークD11に関連付けられて、当該箇所の歯周病の進行レベルの情報が例えばテキスト等により出力されてもよい。また、画像mp13は、疾患箇所のマークD12及びマークD13を含む。また、画像mp14は、疾患箇所のマークD14を含む。
In step S44, the
また、判定部14は、口腔内写真から歯が表された歯領域を抽出し、歯領域の画像の特徴に基づいて齲蝕の有無及び状態を判定する。齲蝕の判定について、図12及び図13を参照して説明する。図12は、判定部14による齲蝕の判定処理のフローチャートを示す図である。
Moreover, the
ステップS51において、判定部14は、生成部13により生成された口腔内写真から、歯が表された歯が表された歯領域を抽出する。
In step S <b> 51, the
ステップS52において、判定部14は、歯領域から齲蝕の判定に関する特徴Cを抽出する。齲蝕の進行に伴い、歯の色が黒くなることに鑑みて、特徴Cは、例えば、歯の色の情報を含む。
In step S52, the
特徴Cは、ニューラルネットワークを含む齲蝕判定モデルに入力される情報である。齲蝕判定モデルは、学習用の特徴Cのデータを入力値として、齲蝕の進行レベルを判定するモデルであって、事前に機械学習により構築される。齲蝕判定モデルに含まれるニューラルネットワークは、特徴Cを入力して得られる齲蝕進行レベルの判定値に基づいて誤差計算(誤差逆伝搬)を含む機械学習を行うことにより生成される。誤差計算には、種々の損失関数を適用できる。 Feature C is information input to the caries determination model including the neural network. The caries determination model is a model for determining the progress level of caries using data of the learning feature C as an input value, and is constructed by machine learning in advance. The neural network included in the caries determination model is generated by performing machine learning including error calculation (error back propagation) based on the caries progress level determination value obtained by inputting the feature C. Various loss functions can be applied to the error calculation.
ステップS53において、判定部14は、ステップS52において抽出された特徴Cを齲蝕判定モデルに入力する。
In step S53, the
ステップS54において、判定部14は、齲蝕判定モデルの出力に基づいて、齲蝕進行レベルを判定する。図13は、齲蝕進行レベルの判定の結果の情報の例を示す図であって、疾患の箇所がマークされた口腔内写真を模式的に示す図である。図13に示すように、判定部14により出力された口腔内写真MP2は、複数の画像mp21〜mp25を含む。
In step S54, the
画像mp21は、疾患箇所のマークD21,D22を含む。疾患箇所のマークD21,D22に関連付けられて、当該箇所の齲蝕の進行レベルの情報が例えばテキスト等により出力されてもよい。また、画像mp22は、疾患箇所のマークD23を含む。また、画像mp23は、疾患箇所のマークD24を含む。また、画像mp24は、疾患箇所のマークD25を含む。また、画像mp25は、疾患箇所のマークD26を含む。 The image mp21 includes disease site marks D21 and D22. Corresponding to the marks D21 and D22 of the disease part, information on the progress level of caries at the part may be output as text or the like. The image mp22 includes a disease location mark D23. The image mp23 includes a disease location mark D24. The image mp24 includes a disease location mark D25. The image mp25 includes a disease location mark D26.
再び図2を参照して、出力部15は、生成部13により生成された口腔内写真を出力する。具体的には、出力部15は、生成された口腔内写真をユーザの端末20のディスプレイに表示させる。出力部15は、生成された口腔内写真を医師の端末30のディスプレイに表示させる。また、出力部15は、例えば、生成された口腔内写真のデータを所定の記憶手段に記憶させる。
Referring to FIG. 2 again, the
また、出力部15は、口腔内における所定の疾患に関する判定の結果をユーザの端末20において出力させる。具体的には、出力部15は、生成部13により生成された口腔内写真に併せて、判定部14により判定された歯周病及び/または齲蝕の状態に関する情報を、ユーザの端末20に出力させる。
In addition, the
また、出力部15は、口腔内における所定の疾患に関する判定の結果を医師の端末30において出力させる。具体的には、出力部15は、生成部13により生成された口腔内写真に併せて、判定部14により判定された歯周病及び/または齲蝕の状態に関する情報を、医師の端末30に出力させる。さらに、出力部15は、医師の端末30において入力された、ユーザの受診の要否に関する受診要否情報を、ユーザの端末20において出力させてもよい。
Further, the
次に、図14を参照して、口腔疾患診断システム1及び口腔疾患診断装置10における口腔疾患診断方法について説明する。図14は、本実施形態の口腔疾患診断の処理内容の例を示すフローチャートである。
Next, an oral disease diagnosis method in the oral disease diagnosis system 1 and the oral
ステップS1において、取得部11は、ユーザの口腔内の部分を撮像した部分画像を複数取得する。ステップS2において、除去部12は、部分画像において唾液により反射が生じている領域である反射部分を除去する除去処理(図8参照)を実施する。また、ステップS2の処理は、ステップS1において取得された部分画像から、反射部分を含まない部分画像を抽出する処理を含んでもよい。
In step S <b> 1, the
ステップS3において、生成部13は、ステップS2において得られた、反射部分を含まない部分画像を含む複数の部分画像を合成して口腔内写真を生成する。ステップS4において、判定部14は、口腔内写真に表された所定の判定対象領域の画像の特徴に基づいて、口腔内における所定の疾患の有無及び状態を判定する疾患判定処理(図10及び図12参照)を実施する。
In step S3, the production |
ステップS5において、判定部14は、ステップS4における疾患判定処理において、疾患があることが判定されたか否かを判定する。疾患があることが判定された場合には、処理はステップS6に進む。一方、疾患があることが判定されなかった場合には、処理はステップS7に進む。
In step S5, the
ステップS6において、判定部14は、口腔内写真における疾患の箇所にマークを付す(図11及び図13参照)。ステップS7において、出力部15は、生成部13により生成された口腔内写真に併せて、ステップS4において判定部14により判定された歯周病及び/または齲蝕の状態に関する情報を、ユーザの端末20及び/または医師の端末30に出力させる。
In step S <b> 6, the
次に、図15を参照して、口腔疾患診断システム1のユーザの端末20における処理を説明する。図15は、ユーザの端末20における処理内容の例を示すフローチャートである。
Next, with reference to FIG. 15, the process in the
ステップS11において、画像センサ25は複数の部分画像を撮像する。そして、画像取得部21は、画像センサ25により撮像された複数の部分画像を取得する。
In step S11, the
ステップS12において、画像送信部22は、ステップS11において画像取得部21により取得された複数の部分画像を口腔疾患診断装置10に送信する。
In step S <b> 12, the
ステップS13において、判定結果受信部23は、口腔内における所定の疾患に関する判定の結果を示す情報を口腔疾患診断装置10から受信する。判定の結果を示す情報は、例えば、疾患の箇所がマークされた口腔内写真及び発見された疾患に関するコメント等を含む。
In step S <b> 13, the determination
ステップS14において、判定結果提示部24は、ステップS13において判定結果受信部23により受診された、疾患の判定の結果を示す情報を、ユーザに対して提示する。判定結果提示部24は、例えば、疾患の判定の結果を示す情報をディスプレイ26に表示させる。
In step S <b> 14, the determination
次に、図16を参照して、口腔疾患診断システム1の医師の端末30における処理を説明する。図16は、医師の端末30における処理内容の例を示すフローチャートである。
Next, with reference to FIG. 16, the process in the doctor's
ステップS21において、受信部31は、口腔内における所定の疾患に関する判定の結果を示す情報を口腔疾患診断装置10から受信する。判定の結果を示す情報は、疾患の箇所がマークされた口腔内写真及び発見された疾患に関するコメント等を含んでもよい。
In step S <b> 21, the receiving
ステップS22において、提示部32は、ステップS21において受信部31により受診された、疾患の判定の結果を示す情報を、医師に対して提示する。提示部32は、例えば、疾患の判定の結果を示す情報をディスプレイ26に表示させる。
In step S <b> 22, the
ステップS23において、受付部33は、端末30に対して医師により入力された、ユーザの受診の要否に関する受診要否情報を受け付ける。
In step S <b> 23, the accepting
ステップS24において、送信部34は、ステップS23において受け付けられたユーザの受診要否情報をユーザの端末20に送信する。また、送信部34は、受診要否情報を、口腔疾患診断装置10を介して端末20に送信してもよい。
In step S <b> 24, the
次に、コンピュータを、本実施形態の口腔疾患診断装置10として機能させるための口腔疾患診断プログラムについて説明する。図17は、口腔疾患診断プログラムP1の構成を示す図である。
Next, an oral disease diagnosis program for causing a computer to function as the oral
口腔疾患診断プログラムP1は、口腔疾患診断装置10における口腔疾患診断処理を統括的に制御するメインモジュールm10、取得モジュールm11、除去モジュールm12、生成モジュールm13、判定モジュールm14及び出力モジュールm15を備えて構成される。そして、各モジュールm11〜m15により、口腔疾患診断装置10における取得部11、除去部12、生成部13、判定部14及び出力部15のための各機能が実現される。なお、口腔疾患診断プログラムP1は、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図9に示されるように、記録媒体M1に記憶される態様であってもよい。
The oral disease diagnosis program P1 includes a main module m10, an acquisition module m11, a removal module m12, a generation module m13, a determination module m14, and an output module m15 that collectively control oral disease diagnosis processing in the oral
以上説明した本実施形態の口腔疾患診断システム1、口腔疾患診断装置10、口腔疾患診断方法及び口腔疾患診断プログラムP1では、反射部分が除去された部分画像に基づいて口腔内写真が生成される。このように生成された口腔内写真に基づいて口腔疾患が診断されることにより、疾患の誤診断の可能性を低減できる。
In the oral disease diagnosis system 1, the oral
また、別の形態に係る口腔疾患診断システムでは、除去部は、部分画像における反射部分を除去することとしてもよい。 Moreover, in the oral disease diagnosis system according to another aspect, the removal unit may remove the reflection portion in the partial image.
上記形態によれば、取得された部分画像に基づいて、反射部分を含まない部分画像を得ることが可能となる。 According to the said form, it becomes possible to obtain the partial image which does not contain a reflective part based on the acquired partial image.
また、別の形態に係る口腔疾患診断システムでは、取得部は、口腔内における同一の部分を異なる方向から撮像した複数の部分画像を取得し、除去部は、部分画像に表されている部分の射影方向を所定の方向に合わせるように複数の部分画像を変換し、口腔内における同じ部分を表す画素が互いに対応付けられるように位置合わせをして複数の部分画像を加算平均合成することにより、反射部分が除去された部分画像を取得することとしてもよい。 Further, in the oral disease diagnosis system according to another aspect, the acquisition unit acquires a plurality of partial images obtained by imaging the same portion in the oral cavity from different directions, and the removal unit is a portion of the portion represented in the partial image. By converting a plurality of partial images so that the projection direction matches a predetermined direction, by aligning the pixels representing the same part in the oral cavity to be associated with each other, and adding and averaging the plurality of partial images, It is good also as acquiring the partial image from which the reflective part was removed.
上記形態によれば、同一の部分を異なる方向から撮像した複数の部分画像が取得される。このように取得された複数の部分画像においては、一つの部分画像において特定の箇所に反射が生じていたとしても、他の部分画像においては、反射箇所及び反射状態が異なる可能性が高い。ある部分の射影方向が所定の方向に揃えられるように変換された複数の部分画像が、位置合わせされた上で加算平均合成されるので、反射部分が除去された部分画像を得ることが可能となる。 According to the said form, the some partial image which imaged the same part from a different direction is acquired. In a plurality of partial images acquired in this way, even if reflection occurs at a specific location in one partial image, the reflection location and the reflection state are likely to be different in other partial images. Since a plurality of partial images converted so that the projection direction of a certain part is aligned in a predetermined direction are aligned and synthesized by averaging, it is possible to obtain a partial image from which the reflection part is removed Become.
また、別の形態に係る口腔疾患診断システムは、口腔内写真に表された所定の判定対象領域の画像の特徴に基づいて、口腔内における所定の疾患の有無及び状態を判定する判定部をさらに備えることとしてもよい。 The oral disease diagnosis system according to another aspect further includes a determination unit that determines the presence and state of a predetermined disease in the oral cavity based on the characteristics of the image of the predetermined determination target region represented in the intraoral photograph. It is good also as providing.
上記形態によれば、反射部分を含まない口腔内写真に基づいて、疾患の判定が実施されるので、誤診断の可能性が低い診断の実施が可能となる。 According to the said form, since determination of a disease is implemented based on the intraoral photograph which does not include a reflective part, it becomes possible to implement the diagnosis with low possibility of a misdiagnosis.
また、別の形態に係る口腔疾患診断システムでは、判定部は、口腔内写真から歯茎が表された歯茎領域及び歯が表された歯領域の少なくとも一つを抽出し、歯茎領域及び歯領域の少なくとも一つの画像の特徴に基づいて歯周病の有無及び状態を判定することとしてもよい。 In the oral disease diagnosis system according to another aspect, the determination unit extracts at least one of the gum region representing the gum and the tooth region representing the tooth from the intraoral photograph, and the gum region and the tooth region are extracted. The presence or absence of periodontal disease and the state may be determined based on the characteristics of at least one image.
上記形態によれば、判定対象領域として抽出された歯茎領域及び歯領域の少なくとも一つの画像の所定の特徴に基づいて疾患の判定が行われるので、歯周病に関する診断が適切に実施される。 According to the above aspect, since the disease is determined based on the predetermined characteristics of the gum region extracted as the determination target region and at least one image of the tooth region, the diagnosis on periodontal disease is appropriately performed.
また、別の形態に係る口腔疾患診断システムでは、判定部は、口腔内写真から歯が表された歯領域を抽出し、歯領域の画像の特徴に基づいて齲蝕の有無及び状態を判定することとしてもよい。 Further, in the oral disease diagnosis system according to another embodiment, the determination unit extracts a tooth region in which teeth are represented from the intraoral photograph, and determines the presence / absence and state of caries based on the characteristics of the image of the tooth region. It is good.
上記形態によれば、判定対象領域として抽出された歯領域の画像の所定の特徴に基づいて疾患の判定が行われるので、齲蝕に関する診断が適切に実施される。 According to the above aspect, since the disease is determined based on the predetermined feature of the image of the tooth region extracted as the determination target region, the diagnosis related to the caries is appropriately performed.
また、別の形態に係る口腔疾患診断システムでは、出力部は、口腔内における所定の疾患に関する判定の結果を、ユーザの第1の端末において出力させることとしてもよい。 In the oral disease diagnosis system according to another aspect, the output unit may output a determination result related to a predetermined disease in the oral cavity at the first terminal of the user.
上記形態によれば、疾患の判定の結果がユーザの端末において出力されるので、ユーザに対して、ユーザ自身の口腔内の疾患の状態を容易に通知できる。 According to the said form, since the determination result of a disease is output in a user's terminal, it can notify a user the state of the disease in a user's own oral cavity easily.
また、別の形態に係る口腔疾患診断システムでは、出力部は、口腔内における所定の疾患に関する判定の結果を、ユーザとは異なる医師の第2の端末において出力させ、第2の端末に対して入力された、ユーザの受診の要否に関する受診要否情報を、ユーザの第1の端末において出力させることとしてもよい。 In the oral disease diagnosis system according to another aspect, the output unit outputs a result of determination regarding a predetermined disease in the oral cavity at a second terminal of a doctor different from the user, and the second terminal It is good also as making the user's 1st terminal output the consultation necessity information regarding the necessity of a user's consultation inputted.
上記形態によれば、疾患の判定の結果が医師の端末において出力されるので、医師に対してユーザの口腔内の疾患の状態を容易に通知できる。さらに、通知された診断の結果に応じて医師により入力された、ユーザの受診の要否に関する情報をユーザに通知できるので、ユーザに適切な診断を受けさせることが可能となる。 According to the said form, since the determination result of a disease is output in a doctor's terminal, the state of the disease in a user's oral cavity can be easily notified with respect to a doctor. Furthermore, since it is possible to notify the user of information regarding the necessity of the user's consultation input by the doctor according to the notified diagnosis result, it is possible to allow the user to receive an appropriate diagnosis.
以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。 Although the present embodiment has been described in detail above, it will be apparent to those skilled in the art that the present embodiment is not limited to the embodiment described in this specification. The present embodiment can be implemented as a modification and change without departing from the spirit and scope of the present invention defined by the description of the scope of claims. Therefore, the description of the present specification is for illustrative purposes and does not have any limiting meaning to the present embodiment.
本明細書で説明した各態様/実施形態は、LTE(Long Term Evolution)、LTE−A(LTE-Advanced)、SUPER 3G、IMT−Advanced、4G、5G、FRA(Future Radio Access)、W−CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi−Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及び/又はこれらに基づいて拡張された次世代システムに適用されてもよい。 Each aspect / embodiment described herein includes LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G, 5G, FRA (Future Radio Access), W-CDMA. (Registered trademark), GSM (registered trademark), CDMA2000, UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802.20, UWB (Ultra-WideBand), The present invention may be applied to a Bluetooth (registered trademark), a system using another appropriate system, and / or a next generation system extended based on the system.
本明細書で説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。 As long as there is no contradiction, the order of the processing procedures, sequences, flowcharts, and the like of each aspect / embodiment described in this specification may be changed. For example, the methods described herein present the elements of the various steps in an exemplary order and are not limited to the specific order presented.
情報等は、上位レイヤ(または下位レイヤ)から下位レイヤ(または上位レイヤ)へ出力され得る。複数のネットワークノードを介して入出力されてもよい。 Information or the like can be output from the upper layer (or lower layer) to the lower layer (or upper layer). Input / output may be performed via a plurality of network nodes.
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。 Input / output information and the like may be stored in a specific location (for example, a memory) or may be managed by a management table. Input / output information and the like can be overwritten, updated, or additionally written. The output information or the like may be deleted. The input information or the like may be transmitted to another device.
判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:trueまたはfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。 The determination may be performed by a value represented by 1 bit (0 or 1), may be performed by a true / false value (Boolean: true or false), or may be performed by comparing numerical values (for example, a predetermined value) Comparison with the value).
本明細書で説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。 Each aspect / embodiment described in this specification may be used independently, may be used in combination, or may be switched according to execution. In addition, notification of predetermined information (for example, notification of being “X”) is not limited to explicitly performed, but is performed implicitly (for example, notification of the predetermined information is not performed). Also good.
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。 Software, whether it is called software, firmware, middleware, microcode, hardware description language, or other names, instructions, instruction sets, codes, code segments, program codes, programs, subprograms, software modules , Applications, software applications, software packages, routines, subroutines, objects, executable files, execution threads, procedures, functions, etc. should be interpreted broadly.
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。 Also, software, instructions, etc. may be transmitted / received via a transmission medium. For example, software may use websites, servers, or other devices using wired technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or wireless technology such as infrared, wireless and microwave. When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission media.
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。 Information, signals, etc. described herein may be represented using any of a variety of different technologies. For example, data, commands, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description are voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these May be represented by a combination of
なお、本明細書で説明した用語及び/又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。 Note that the terms described in this specification and / or terms necessary for understanding this specification may be replaced with terms having the same or similar meaning.
本明細書で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。 As used herein, the terms “system” and “network” are used interchangeably.
また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。 In addition, information, parameters, and the like described in this specification may be represented by absolute values, may be represented by relative values from a predetermined value, or may be represented by other corresponding information. .
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。 As used herein, the phrase “based on” does not mean “based only on,” unless expressly specified otherwise. In other words, the phrase “based on” means both “based only on” and “based at least on.”
本明細書で「第1の」、「第2の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第1および第2の要素への参照は、2つの要素のみがそこで採用され得ること、または何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。 Where the designation "first", "second", etc. is used herein, any reference to that element does not generally limit the amount or order of those elements. These designations can be used herein as a convenient way to distinguish between two or more elements. Thus, a reference to the first and second elements does not mean that only two elements can be employed there, or that in some way the first element must precede the second element.
「含む(include)」、「含んでいる(including)」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または(or)」は、排他的論理和ではないことが意図される。 These terms are similar to the term “comprising” as long as “include”, “including” and variations thereof are used herein or in the claims. It is intended to be comprehensive. Furthermore, the term “or” as used herein or in the claims is not intended to be an exclusive OR.
本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。 In this specification, a plurality of devices are also included unless there is only one device that is clearly present in context or technically.
本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。 Throughout this disclosure, the plural is included unless the context clearly indicates one.
1…口腔疾患診断システム、10…口腔疾患診断装置、11…取得部、12…除去部、13…生成部、14…判定部、15…出力部、20,30…端末、21…画像取得部、22…画像送信部、23…判定結果受信部、24…判定結果提示部、25…画像センサ、26…ディスプレイ、31…受信部、32…提示部、33…受付部、34…送信部、35…ディスプレイ、M1…記録媒体、m10…メインモジュール、m11…取得モジュール、m12…除去モジュール、m13…生成モジュール、m14…判定モジュール、m15…出力モジュール、P1…口腔疾患診断プログラム。 DESCRIPTION OF SYMBOLS 1 ... Oral disease diagnosis system, 10 ... Oral disease diagnosis apparatus, 11 ... Acquisition part, 12 ... Removal part, 13 ... Generation part, 14 ... Determination part, 15 ... Output part, 20, 30 ... Terminal, 21 ... Image acquisition part , 22 ... Image transmission unit, 23 ... Determination result reception unit, 24 ... Determination result presentation unit, 25 ... Image sensor, 26 ... Display, 31 ... Reception unit, 32 ... Presentation unit, 33 ... Reception unit, 34 ... Transmission unit, 35 ... Display, M1 ... Recording medium, m10 ... Main module, m11 ... Acquisition module, m12 ... Removal module, m13 ... Generation module, m14 ... Determination module, m15 ... Output module, P1 ... Oral disease diagnosis program.
Claims (9)
前記ユーザの口腔内の部分を撮像した部分画像を複数取得する取得部と、
前記部分画像において反射が生じている領域である反射部分の除去または前記反射部分を含まない部分画像の抽出により、前記反射部分を含まない部分画像を取得する除去部と、
前記除去部により取得された部分画像を含む複数の部分画像を合成して前記口腔内写真を生成する生成部と、
前記生成部により生成された前記口腔内写真を出力する出力部と、
を備える口腔疾患診断システム。 An oral disease diagnosis system for diagnosing a disease in the oral cavity of a user based on intraoral photographs consisting of a plurality of images representing a predetermined region in the oral cavity,
An acquisition unit for acquiring a plurality of partial images obtained by imaging a portion of the user's mouth;
A removal unit that acquires a partial image that does not include the reflection part by removing a reflection part that is an area in which reflection is generated in the partial image or by extracting a partial image that does not include the reflection part;
A generating unit that combines the plurality of partial images including the partial image acquired by the removing unit to generate the intraoral photograph;
An output unit that outputs the intraoral photograph generated by the generation unit;
An oral disease diagnosis system comprising:
前記除去部は、前記部分画像に表されている前記部分の射影方向を所定の方向に合わせるように複数の前記部分画像を変換し、口腔内における同じ部分を表す画素が互いに対応付けられるように位置合わせをして前記複数の部分画像を加算平均合成することにより、前記反射部分が除去された部分画像を取得する、
請求項2に記載の口腔疾患診断システム。 The acquisition unit acquires a plurality of partial images obtained by imaging the same part in the oral cavity from different directions,
The removing unit converts the plurality of partial images so that a projection direction of the part represented in the partial image matches a predetermined direction, and pixels representing the same part in the oral cavity are associated with each other. A partial image from which the reflection portion has been removed is obtained by performing alignment averaging and combining the plurality of partial images.
The oral disease diagnosis system according to claim 2.
請求項1〜3のいずれか一項に記載の口腔疾患診断システム。 A determination unit for determining the presence and state of a predetermined disease in the oral cavity based on the characteristics of the image of the predetermined determination target region represented in the intraoral photograph;
The oral disease diagnosis system according to any one of claims 1 to 3.
請求項4に記載の口腔疾患診断システム。 The determination unit extracts at least one of a gum region representing a gum and a tooth region representing a tooth from the intraoral photograph, and based on a feature of at least one image of the gum region and the tooth region. Determine the presence and condition of periodontal disease,
The oral disease diagnosis system according to claim 4.
請求項4に記載の口腔疾患診断システム。 The determination unit extracts a tooth region where teeth are represented from the intraoral photograph, and determines the presence and state of caries based on the characteristics of the image of the tooth region.
The oral disease diagnosis system according to claim 4.
請求項4〜6のいずれか一項に記載の口腔疾患診断システム。 The output unit causes the first terminal of the user to output a result of determination regarding a predetermined disease in the oral cavity,
The oral disease diagnosis system according to any one of claims 4 to 6.
請求項4〜7のいずれか一項に記載の口腔疾患診断システム。 The output unit outputs a result of determination regarding a predetermined disease in the oral cavity at a second terminal of a doctor different from the user, and is input to the second terminal. Information on whether or not consultation is required is output at the first terminal of the user;
The oral disease diagnosis system according to any one of claims 4 to 7.
前記コンピュータに、
前記ユーザの口腔内の部分を撮像した部分画像を複数取得する取得機能と、
前記部分画像において反射が生じている領域である反射部分の除去または前記反射部分を含まない部分画像の抽出により、前記反射部分を含まない部分画像を取得する除去機能と、
前記除去機能により取得された部分画像を含む複数の部分画像を合成して前記口腔内写真を生成する生成機能と、
前記生成機能により生成された前記口腔内写真を出力する出力機能と、
を実現させる口腔疾患診断プログラム。
An oral disease diagnosis program for causing a computer to function as an oral disease diagnosis system for diagnosing a disease in the oral cavity of a user based on intraoral photographs composed of a plurality of images representing a predetermined region in the oral cavity,
In the computer,
An acquisition function for acquiring a plurality of partial images obtained by imaging a portion of the user's oral cavity;
A removal function for acquiring a partial image not including the reflection part by removing a reflection part that is an area where reflection occurs in the partial image or extracting a partial image not including the reflection part;
A generation function for generating the intraoral photograph by combining a plurality of partial images including the partial image acquired by the removal function;
An output function for outputting the intraoral photograph generated by the generation function;
Oral disease diagnosis program that realizes.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018050203A JP6938410B2 (en) | 2018-03-16 | 2018-03-16 | Oral Disease Diagnosis System and Oral Disease Diagnosis Program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018050203A JP6938410B2 (en) | 2018-03-16 | 2018-03-16 | Oral Disease Diagnosis System and Oral Disease Diagnosis Program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019155027A true JP2019155027A (en) | 2019-09-19 |
JP6938410B2 JP6938410B2 (en) | 2021-09-22 |
Family
ID=67995387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018050203A Active JP6938410B2 (en) | 2018-03-16 | 2018-03-16 | Oral Disease Diagnosis System and Oral Disease Diagnosis Program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6938410B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021053175A (en) * | 2019-09-30 | 2021-04-08 | 株式会社Nttドコモ | Portable terminal, information processing device and oral cavity condition determination program |
JP2021053174A (en) * | 2019-09-30 | 2021-04-08 | 株式会社Nttドコモ | Portable terminal and imaging auxiliary program |
JP2021076879A (en) * | 2019-11-04 | 2021-05-20 | Assest株式会社 | Dental diagnosis program and system |
WO2022102589A1 (en) * | 2020-11-13 | 2022-05-19 | キヤノン株式会社 | Image processing device for estimating condition inside oral cavity of patient, and program and method for controlling same |
JP7442860B2 (en) | 2021-11-04 | 2024-03-05 | カイアイ カンパニー インク. | A system and method for non-face-to-face dental caries risk diagnosis and oral management using tooth surface coloring image data |
JP7462534B2 (en) | 2020-11-02 | 2024-04-05 | 株式会社Nttドコモ | Image Recording System |
JP7473133B2 (en) | 2021-01-20 | 2024-04-23 | 株式会社Nttドコモ | Information Providing Device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007063980A1 (en) * | 2005-12-03 | 2007-06-07 | Atsushi Takahashi | Intraoral panoramic image pickup device and intraoral panoramic image pickup system |
JP2012016573A (en) * | 2010-03-24 | 2012-01-26 | Advance Co Ltd | System for measuring and processing dental prosthesis |
US20150010878A1 (en) * | 2012-01-20 | 2015-01-08 | University Of Washington Through Its Center For Commercialization | Dental demineralization detection, methods and systems |
-
2018
- 2018-03-16 JP JP2018050203A patent/JP6938410B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007063980A1 (en) * | 2005-12-03 | 2007-06-07 | Atsushi Takahashi | Intraoral panoramic image pickup device and intraoral panoramic image pickup system |
JP2012016573A (en) * | 2010-03-24 | 2012-01-26 | Advance Co Ltd | System for measuring and processing dental prosthesis |
US20150010878A1 (en) * | 2012-01-20 | 2015-01-08 | University Of Washington Through Its Center For Commercialization | Dental demineralization detection, methods and systems |
Non-Patent Citations (1)
Title |
---|
六反田 賢: ""遠隔口腔粘膜疾患患者相談システムの構築"", 日本口腔診断学会雑誌, vol. 30, no. 1, JPN6021023030, 20 February 2017 (2017-02-20), pages 83 - 88, ISSN: 0004528297 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021053175A (en) * | 2019-09-30 | 2021-04-08 | 株式会社Nttドコモ | Portable terminal, information processing device and oral cavity condition determination program |
JP2021053174A (en) * | 2019-09-30 | 2021-04-08 | 株式会社Nttドコモ | Portable terminal and imaging auxiliary program |
JP7260115B2 (en) | 2019-09-30 | 2023-04-18 | 株式会社Nttドコモ | Mobile devices and photography assistance programs |
JP7292676B2 (en) | 2019-09-30 | 2023-06-19 | 株式会社Nttドコモ | Mobile terminal, information processing device and oral condition judgment program |
JP2021076879A (en) * | 2019-11-04 | 2021-05-20 | Assest株式会社 | Dental diagnosis program and system |
JP7462534B2 (en) | 2020-11-02 | 2024-04-05 | 株式会社Nttドコモ | Image Recording System |
WO2022102589A1 (en) * | 2020-11-13 | 2022-05-19 | キヤノン株式会社 | Image processing device for estimating condition inside oral cavity of patient, and program and method for controlling same |
JP7473133B2 (en) | 2021-01-20 | 2024-04-23 | 株式会社Nttドコモ | Information Providing Device |
JP7442860B2 (en) | 2021-11-04 | 2024-03-05 | カイアイ カンパニー インク. | A system and method for non-face-to-face dental caries risk diagnosis and oral management using tooth surface coloring image data |
Also Published As
Publication number | Publication date |
---|---|
JP6938410B2 (en) | 2021-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6938410B2 (en) | Oral Disease Diagnosis System and Oral Disease Diagnosis Program | |
US11676701B2 (en) | Systems and methods for automated medical image analysis | |
US10984529B2 (en) | Systems and methods for automated medical image annotation | |
KR101839789B1 (en) | System for generating interpretation data of dental image | |
AU2020342539A1 (en) | Automated medical image annotation and analysis | |
KR20210006244A (en) | Method and apparatus for recording and displaying dental care data on a digital dental image | |
KR20180033106A (en) | Portable terminal for an intraoral x-ray sensor and intraoral x-ray system using the same | |
EP3453360B1 (en) | Teeth movement tracking device and method thereof | |
JP2022132256A (en) | Intraoral image capturing apparatus and dental diagnosis support system | |
JP6938409B2 (en) | Intracavitary photo generator and intracavitary photo generator | |
US20210307597A1 (en) | Oral and oropharyngeal cancer screening system and methods of use | |
JP7067743B2 (en) | Oral Cancer Diagnostic System and Oral Cancer Diagnostic Program | |
CN113554607A (en) | Tooth body detection model, generation method and tooth body segmentation method | |
KR101441749B1 (en) | Method for diagnosis of oral cavity using camera, and system performing the same | |
JP6547219B2 (en) | Dental imaging system | |
JP6116375B2 (en) | Diagnosis support system | |
CN115565647A (en) | Terminal device, image processing method and storage medium | |
JP2015082319A (en) | Identification support system and identification support method | |
JP2014008096A (en) | Electronic stethoscope, electronic auscultation system, information processing method, control program, and recording medium | |
US20230196511A1 (en) | Image processing apparatus, image capturing apparatus, image capturing system, and method | |
US20220335628A1 (en) | Aligning method by grouped data | |
KR102496565B1 (en) | Method and device for providing oral health analysis service based on remote reading of oral images including cone beam ct | |
US20220386981A1 (en) | Information processing system and information processing method | |
CN114663345B (en) | Fixed point measurement method, fixed point measurement device, electronic equipment and storage medium | |
JP7202729B1 (en) | Orthodontic advice system, orthodontic advice method and its program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200814 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6938410 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |