JP2022087967A - カメラ、呼吸器感染症に関する学習済みモデルの生成方法、呼吸器感染症に関する学習済モデル、呼吸器感染症に関する自動診断方法、並びにコンピュータプログラム - Google Patents

カメラ、呼吸器感染症に関する学習済みモデルの生成方法、呼吸器感染症に関する学習済モデル、呼吸器感染症に関する自動診断方法、並びにコンピュータプログラム Download PDF

Info

Publication number
JP2022087967A
JP2022087967A JP2020200137A JP2020200137A JP2022087967A JP 2022087967 A JP2022087967 A JP 2022087967A JP 2020200137 A JP2020200137 A JP 2020200137A JP 2020200137 A JP2020200137 A JP 2020200137A JP 2022087967 A JP2022087967 A JP 2022087967A
Authority
JP
Japan
Prior art keywords
image
image data
light source
light
infected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020200137A
Other languages
English (en)
Inventor
正男 山本
Masao Yamamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eggs Co Ltd
Original Assignee
Eggs Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eggs Co Ltd filed Critical Eggs Co Ltd
Priority to JP2020200137A priority Critical patent/JP2022087967A/ja
Priority to PCT/JP2021/044366 priority patent/WO2022118939A1/ja
Publication of JP2022087967A publication Critical patent/JP2022087967A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21Polarisation-affecting properties
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Medicinal Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Food Science & Technology (AREA)
  • Dentistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Endoscopes (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】呼吸器感染症の画像診断に用いることのできる画像を撮像できるカメラを提供する。【解決手段】カメラは、レンズ11、撮像素子12、第1光源31a、第2光源31b、第1偏光板32、第2偏光板33を備える。第1光源31aから出た照明光は第1偏光板32を通って偏光となり、撮像対象物に当たって生じた像光は、レンズ11、第2偏光板33を通って撮像素子12で撮像される。第2光源31bから出た照明光は第1偏光板32を通らず自然光のままであり、像光は、レンズ11、第2偏光板33を通って撮像素子12で撮像される。撮像素子12の撮像範囲は、咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含む範囲となっている。【選択図】図3

Description

本発明は、呼吸器感染症の画像診断技術に関する。
本願において、「呼吸器感染症」の文言は、呼吸器に症状の現れる感染症一般を意味し、その原因がウイルスである場合も細菌である場合も含む。
様々な呼吸器感染症が知られているが、現在、世界中でもっとも問題視されているのは明らかに、新型コロナウイルス(COVID-19)による感染症である。
新型コロナウイルスが人類に大きな脅威を与える原因は様々であるが、その効果が確定されている治療薬やワクチンが存在しないというのが、その原因の一部となる。したがって、新型コロナウイルスの感染拡大を防止することが、現状では何よりも重要となっている。
新型コロナウイルスの感染拡大を防止するための重要な課題として、感染者の早期発見がある。最近の研究により、感染者に感染した新型コロナウイルスが感染力を強く持ち始めるのは、感染者に症状が現れる2、3日前の時点であることがわかってきている。それだけに、感染者を、できれば症状が出るよりも前の段階で、早期に発見して非感染者から隔離することができれば、新型コロナウイルスの感染拡大を抑制する効果が大きいと考えられる。
新型コロナウイルスの感染者を発見する、或いは感染者と非感染者とを区別するための手法としては複数の技術が存在し、それらのうちの幾つかは既に実用化されている。
最も良く知られているのはPCR(Polymerase Chain Reaction)検査である。PCR検査は、被験者から採取した検体から、新型コロナウイルスの遺伝子を検出する検査であり、新型コロナウイルスの遺伝子を検出できた場合には、検体を提供した被験者が新型コロナウイルスの感染者であると判定される。
抗体検査も存在する。抗体検査では、被験者から採取した検体から、新型コロナウイルスに感染した者に現れる特有の抗体が検出された場合に、検体を提供した被験者が新型コロナウイルスの感染者であると判定される。
更に、CT(Computed Tomography)画像を用いた検査も存在する。新型コロナウイルスの感染者の肺のCT画像が特殊なものとなることが知られているので、CT画像を用いて、新型コロナウイルス感染者を見出そうという試みも存在する。
しかしながら、PCR検査で新型コロナウイルスを検出することができるのは、感染者の体内である程度新型コロナウイルスが増殖した後であるから、PCR検査で、感染者の早期発見の目的には十分に対応できるわけではない。
抗体検査の場合でも、感染者の体内に抗体が生じるのに新型コロナウイルスの感染からある程度の時間が必要であることから、抗体検査によっても、新型コロナウイルスの感染者の早期発見は難しい。
同様に、CT画像を用いる場合でも、肺において新型コロナウイルスがある程度増殖してからでないと感染者と非感染者とを区別することができないから、これも、新型コロナウイルスの早期発見のための技術として応用するのは難しい。
しかも、これら技術はいずれも、診断を行うために必要な時間が長く、また、診断のためのコストも安価ではないから、感染者か非感染者か判らない者、例えば、症状の無い者に対して、スクリーニング的な用法で用いるには向かない。
以上の話は、新型コロナウイルス感染症のみに限った話ではない。他の呼吸器感染症においても、感染者の早期発見ができれば感染拡大の抑制を行えるのは自明である。例えば、現在の新型コロナウイルス感染症に続く新しい呼吸器感染症が登場した場合においても、感染者の早期発見が重要となることが強く予想される。
本願発明は、呼吸器感染症の感染者を早期に発見するための手軽で安価な技術を提供することを課題とする。
上述の課題を解決するために本願発明者は研究を続けた。
その結果、次のような知見を得た。呼吸器感染症の感染者においては、上気道(主に、口腔、咽頭、鼻腔)などの上皮細胞と血管内皮細胞に発赤その他の変異を生じることが多い。例えば、新型コロナウイルスの場合には、その機能的受容体が口腔、咽頭、鼻腔に多く発現することに起因して、口腔、咽頭、鼻腔が新型コロナウイルスの体内への重要な侵入経路となっており、そのため、新型コロナウイルスに感染した者の当該部分には変異が生じる。そして、当該部分に変異が生じる時期は、症状が現れるよりも早く、それ故、背景技術の欄で説明した各診断技術によって被験者を新型コロナウイルスの感染者と特定できる時期よりも早い可能性が極めて高い。
そのような点を考慮すると、新型コロナウイルス感染症を始めとする呼吸器感染症の感染者を早期発見するには、上気道の上皮細胞と血管を観察することが有用であると結論づけることができる。
もっとも、かかる観察(又は観察及び診断)は、医師が被験者の上気道を直接観察することによってももちろん行い得るが、しかしながら、簡単さや安価さを追求するなら、そのような観察は、当該部分の画像診断によるのが良い。医師が、対面での患者の観察、診断を行いにくくなっている昨今であれば尚更である。画像診断でそれを可能とするのであれば、特に、例えば、人工知能を利用した自動的な画像診断でその観察及び診断を行えるようにしたのであれば、手軽さや費用の低廉さにも繋がる。
しかも、被験者が画像診断に必要な画像を自身で撮像することにすれば、既に広く普及しているスマートフォンその他を用いた通信技術を用いて、その画像を医師、或いは自動診断を行うインターネット上に存在するコンピュータ等に送ることは容易である。これは、一般人である被験者が、家庭で、例えば毎日、画像診断を受けられるようになる、ということを意味する。また、被験者以外の者が画像診断に必要な画像を撮像し、それを医師或いは自動診断を行うコンピュータ等に送るようにすることも同じく容易である。これは、例えば、学校、レストラン、百貨店やスーパーマーケット、或いは映画館の担当者が、その施設を利用する被験者に対して画像診断を受けさせられるようになる、ということを意味する。
いずれにせよ、そのような画像診断が実現すれば、スクリーニング的な用法で画像診断を用いることが可能となり、早い段階で、感染者を非感染者から隔離することが可能となる。そればかりか、非感染者は経済活動に勤しむことが可能となるから、呼吸器感染症が経済に与えるダメージを抑制することができる。また、ある施設の入場者に対して画像診断を行うこととすれば、その施設内にいるすべての者は非感染者であることが高い確率で保証されるので、例えば、レストラン内での会食の際にマスクを着用すべきといった、従前の考え方からすれば非常識な行動様式からレストランの利用者は開放される。もちろん、例えば、PCR検査により確定診断を後程行う等、他の検査と組合せた利用も可能である。
本願発明は、以上のような知見に基づいてなされたものであり、呼吸器感染症を早期に発見するために有用な画像診断技術を、具体的な技術として提供するものである。
本願発明者が上述の如き知見に基づいて画像診断技術についての研究を行った結果、更に幾つかの課題が浮かび上がった。
1つ目の課題(課題1)としては、画像診断で用いる画像として、呼吸器感染症の症状を呈する被験者の上気道のどの範囲を撮像することが好ましいか、という点である。上気道のうち、適切な範囲を撮像しなければ、被験者を、新型コロナウイルス感染症の感染者と、他のウイルス又は細菌の感染者と、非感染者とに区別を行うことができない。また、上気道のどの範囲を撮像するかということに加えて、上気道の状態を撮像する画像の性質の如何によっても、画像診断の精度に影響が出るということも、本願発明者の研究によって明らかになってきた。
また、2つ目の課題(課題2)としては、画像診断で用いる画像として、上気道をどのようなタイミングで撮像した画像を用いるか、という点がある。上気道のうち咽頭後壁部は通常の状態では隠れていて見えない。例えば、声を出しながら息を吸うと、咽頭後壁部は口腔外から見える状態に露出するが、そのタイミングで口腔外からカメラを用いて撮像を行うのは難しい。そして、この課題は、より普遍的な捉え方をすることもできる。カメラは通常、シャッター手段(本願で「シャッター手段」という場合には、物理ボタンであるシャッターボタンの他、スマートフォンの画面等に表示されたものの如き物理的でないボタンである場合も含む。)を有しているが、従前のカメラでは、シャッター手段の操作から、撮像素子によって静止画像が撮像されるタイミングにはタイムラグがあるため、撮像の対象となる対象物が、ユーザが静止画像に真に収めたいタイミングとなった瞬間にユーザがシャッター手段を操作したとしても、対象物は既に異なる状態になってしまっていることが多い。これは、一瞬しか覗かない咽頭後壁部を撮像する場合等には、顕著な問題となって現れる。
また、3つ目の課題(課題3)としては、画像診断を自動診断で行う場合には、自動診断を行うための装置或いはシステムが必要となる、という点がある。現在はそのような装置或いはシステムが存在しない。
以下、上述の3つの課題を解決する発明について順に説明していく。
まず、課題1を解決するための発明について説明を行う。課題1を解決するための発明を、便宜上第1発明と称する。
本願発明者の研究によれば、画像診断により、被験者を新型コロナウイルス感染症の感染者と、他のウイルス又は細菌の感染者と、非感染者とに区別するには、撮像素子によって撮像される画像が、咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含むものである必要がある。それは以下のような理由による。
本願発明者の研究によると、呼吸器感染症に関するウイルス・細菌に感染していない者においては、咽頭後壁部、左右の前口蓋弓、及び口蓋垂の色彩はいずれも、通常の色彩、一般的には薄いピンク色である。他方、呼吸器感染症に関する新型コロナウイルス以外のウイルス・細菌に感染している者においては、その殆どの場合、咽頭後壁部、左右の前口蓋弓、及び口蓋垂の色彩はいずれも、粘膜が発赤して赤色を呈する。これは、ウイルス・細菌が当該箇所の粘膜に付着すると、免疫反応による毛細血管の増殖や拡張が生じるからである。そして、本願発明者の更なる研究により、新型コロナウイルスに感染している者においては、咽頭後壁部と左右の前口蓋弓はいずれも発赤して赤色を呈するものの、口蓋垂の色彩は、ウイルス・細菌に感染していない健常者と同様の薄いピンク色か、場合によってはそれよりも薄い、より白色に近いピンク色を呈することが見いだされた。
また、上述した発赤して赤色を呈する部分においては、毛細血管の増殖や拡張が生じていることから、新型コロナウイルス感染症の感染者と、他のウイルス又は細菌の感染者と、非感染者とでは、咽頭後壁部、左右の前口蓋弓、及び口蓋垂の画像に違いがある。
したがって、咽頭後壁部、左右の前口蓋弓、及び口蓋垂の色彩又は血管像を観察することにより、被験者を、新型コロナウイルス感染者と、呼吸器感染症に関するその他のウイルス・細菌の感染者と、呼吸器感染症に関するウイルス・細菌の非感染者とに区別することが可能となる。
第1発明によるカメラは、このような区別を可能とするための画像を撮像するためのものである。
そのカメラは、口腔内に照明光を照射する光源と、前記照明光が口腔内で反射することによって生じた像光を通過させるレンズと、前記レンズを通過した像光を撮像して得た画像についての画像データを生成する撮像素子とを有する、口腔外から口腔内を撮像するカメラである。そして、このカメラにおける前記レンズ、及び前記撮像素子は、前記像光に基づいて前記撮像素子によって撮像される画像が、咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含むものとなるようになっている。
第1発明におけるカメラは、光源を備える。光源は、口腔外から口腔内に照明光を照射する。口腔内は外光が入らない閉空間であるから、光源から照射された照明光によりカメラが撮像を行うようにすることで、撮影される画像の性状(例えば、画像に写り込んだものの色彩)を安定させることができる。もちろん、これは、画像による診断の正確性を増す。
第1発明におけるカメラは、また、光源から出た照明光が口腔内で反射することによって生じた像光を通過させるレンズと、レンズを通過した像光を撮像して画像データを生成する撮像素子とを有する。このカメラにおけるレンズ、及び撮像素子は、像光に基づいて撮像素子によって撮像される画像が、咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含むものとなるようになっている。つまり、レンズは、撮像される画像中に咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含むものとなるような状態で、像光を撮像素子に結像させる。なお、レンズは1つでも構わないし、複数枚のレンズによって構成されていても構わない。なお、カメラにおける像光の光路中には、レンズに加えて他の光学素子(例えば、鏡、プリズム)が含まれていても構わない。本願では(第2発明の場合でも)、レンズに加えて他の光学素子が像光の光路中に存在していたとしても、撮像素子で撮像される画像中に咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含むものとなるような状態で、像光が撮像素子に結像されるのであれば、「レンズ、及び撮像素子が、像光に基づいて撮像素子によって撮像される画像が、咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含むものとなるようになっている」という条件が充足されるものとする。
このようなカメラは、口腔内にその一部を挿入することなく、口腔の外側から、被験者を、新型コロナウイルス感染者と、呼吸器感染症に関するその他のウイルス・細菌の感染者と、呼吸器感染症に関するウイルス・細菌の非感染者とに区別するための画像診断を行うために必要な画像を撮像することができる。口腔外からの撮像が可能であることにより、学校、レストラン、百貨店やスーパーマーケット、或いは映画館等の施設の担当者が、仮に医学に関する専門的な知識や技能を持たなくとも、内視鏡等を用いる場合と比較して、その施設を利用する被験者の口腔内の上述の目的に必要な画像を撮像するのが容易となる。また、口腔外からの撮像が可能であることにより、内視鏡等を用いる場合とは異なりカメラの一部が被験者に接触して被験者の体液が付着することを避けることが可能となるので、このカメラを用いれば、上述の目的に必要な被験者の口腔内の画像を複数の被験者について連続して撮像することが可能となるため、ある施設に入る利用者の全員といった、多数の被験者についての画像診断を実現することが容易となる。
第1発明によるカメラは、上述のように、照明光を発する光源を備えている。光源は単数でも良いし、複数でも良い。
カメラは、前記照明光を通過させて、偏光方向が所定方向である直線偏光とする第1偏光板と、前記像光を通過させる、偏光方向が前記第1偏光板と直交する第2偏光板とを備えていてもよい。
照明光を通過させる上述のような第1偏光板を有するカメラでは、口腔内に照射される照明光は直線偏光となる。直線偏光である照明光は、上述したように口腔内で反射され、像光となる。ここで、像光は2つの種類の光に分かれる。一方は、口腔内の粘膜の唾液等の表面で反射される表面反射光であり、他方は、唾液等を透過して口腔内の粘膜自体の表面で反射される内部反射光である。表面反射光は、撮像された画像においてギラツキの原因となる光であり、画像中で白飛びの原因となることがあるが、他方、画像中に写り込んだ物の凹凸や形状を良く表現する。このような画像を本願では反射画像と呼ぶ。それに対して内部反射光は、ギラツキの無い画像を得るのに適した光であり、画像中に写り込んだ物の凹凸や形状を把握するには向かないが、画像中に写り込んだ物の色彩や、写り込んだものの内部の性状を良く表現する。これを本願では無反射画像と呼ぶ。そして、表面反射光は元々像光が持っていた直線偏光の性質を理想的には完全に維持し、内部反射光は元々像光が持っていた直線偏光の性質を失い自然光化する、という性質を持つ。
したがって、像光の光路中に「偏光方向が第1偏光と直交している」第2偏光板を配しておくと(正確には、「第1偏光板を通過した光の直線偏光の振動面の向きと、第2偏光板を通過した光の直線偏光の振動面の向きとが直交するような位置関係にある」と記載すべきであるが、あまりに冗長なため、第1偏光板と第2偏光板とがそのような関係にある場合には、以降も、「第1偏光板と第2偏光板の偏光方向が直交している」という表現を用いる。)、直線偏光性を保っている表面反射光は第1偏光板と偏光方向が直交している第2偏光板で遮断され、直線偏光性を失っている自然光である内部反射光は、理想的には光量の半分が第2偏光板を通過する。
つまり、上述の如き第1偏光板と第2偏光板とを用いるカメラの撮像素子は、第2偏光板を通過した内部反射光のみによる撮像を行うことが可能となる。上述したように、内部反射光によって得られる無反射画像である画像は、唾液等の体液に基づくギラツキの除かれた、色彩或いは粘膜の内部に存在する血管についての像である血管像の観察に適したものとなる。そのような画像は、被験者を、咽頭後壁部、左右の前口蓋弓、及び口蓋垂の色彩又は血管像の別によって、新型コロナウイルス感染者と、呼吸器感染症に関するその他のウイルス・細菌の感染者と、呼吸器感染症に関するウイルス・細菌の非感染者とに区別するという、画像診断の目的に極めて向いている。また、無反射画像である画像は、反射画像によれば体液による照明光の反射によって生じるギラツキによって見えなくなりがちな、咽頭後壁部、左右の前口蓋弓、及び口蓋垂において粘膜の内部に有る血管の像である血管像もよく見えるものとなるので、血管像の観察にも極めて向いている。
したがって、このようなカメラによれば、画像診断の精度を高めることができる。
第1発明のカメラにおける前記光源は、その光源から出た前記照明光が前記第1偏光板を通過してから口腔内に向かう第1光源と、その光源から出た前記照明光が前記第1偏光板を通過せずに前記口腔内に向かう第2光源であって、前記第1光源と択一的に発光するものとを含んでいるとともに、前記撮像素子は、前記第1光源から口腔内に照射された前記照明光によって生じる前記像光により撮像される無反射画像と、前記第2光源から口腔内に照射された前記照明光によって生じる前記像光により撮像される反射画像との双方を撮像するようになっていてもよい。
第1光源から出て第1偏光板を通過する照明光に基づいて撮像素子によって撮像される画像は、前の段落で説明した原理により無反射画像である画像となる。
他方、第2光源から出て第1偏光板を通過しないで(例えば、第2偏光板と同じ向きの偏光方向を持つ偏光板である第3偏光板を通過させても良い。)口腔内で反射した像光(像光は、第3偏光板が無いのであれば、自然光である)は、表面反射光も、内部反射光も自然光となる。そうすると、いずれも自然光である、像光に含まれる表面反射光と内部反射光はともに、理想的にはそれらの光量の半分が第2偏光板を通過する。
そうすると、この場合において、撮像素子で撮像される画像は、表面反射光と内部反射光とを合わせた画像となる。この場合の画像は、要するに自然光を照明光とした、普通のカメラで撮像される普通の画像と同様なのであるから、ギラツキのある、画像中に写り込んだ物の凹凸や形状を把握しやすい反射画像となる。
つまり、このカメラは、第1光源と第2光源とを択一的に点灯させることにより、無反射画像と、反射画像との双方を撮像できるものとなる。
上述したように、被験者を、新型コロナウイルス感染者と、呼吸器感染症に関するその他のウイルス・細菌の感染者と、呼吸器感染症に関するウイルス・細菌の非感染者とに区別するには、咽頭後壁部、左右の前口蓋弓、及び口蓋垂の色彩と血管像の少なくとも一方を観察するのが良い。しかしながら、例えば、インフルエンザウイルスの感染者においては、咽頭後壁部にリンパ濾胞が生じることが知られている。このリンパ濾胞は、本来であれば滑らかな咽頭後壁部に凹凸を作る。したがって、咽頭後壁に凹凸が有るか否かを観察することにより、呼吸器感染症に関する新型コロナウイルス以外のウイルス・細菌の感染者を更に、インフルエンザウイルスの感染者と、新型コロナウイルス及びインフルエンザウイルス以外のウイルス・細菌の感染者とに区別することが可能となる。また、現時点では定かな知見は無いものの、通常の内視鏡を用いる場合よりも大きな範囲である咽頭後壁部、左右の前口蓋弓、及び口蓋垂を写り込ませた画像において、色彩、血管像の少なくとも一方のみならず、上記4つの部位の凹凸も組合せて判定を行えば、被験者を、新型コロナウイルス感染者と、呼吸器感染症に関するその他のウイルス・細菌の感染者と、呼吸器感染症に関するウイルス・細菌の非感染者とに区別するということを、より精度高く行える可能性がある。
上述の如き第1光源と第2光源とを有するカメラによれば、無反射画像による、色彩又は血管像の少なくとも一つを中心とした咽頭後壁部、左右の前口蓋弓、及び口蓋垂の画像による観察と、凹凸或いは形状を中心とした咽頭後壁部、左右の前口蓋弓、及び口蓋垂の画像による観察との双方を行えるようになるため、上述の観点から有利である。
第1発明のカメラで撮像された画像についての画像データは、画像診断に利用される。第1発明のカメラは、例えば、送受信機構を有しており、送受信機構を介して、画像診断の行われる場所へと、撮像した画像についての画像データを送信するようになっていても良い。画像データの送り先は、例えば、医師が画像診断を実行するのであれば、医師がアクセスすることができるコンピュータ装置であり、自動診断装置が自動診断を実行するのであれば、自動診断装置或いは自動診断装置がアクセスすることができるコンピュータ装置である。送受信機構は公知、或いは周知のもので良く、規格化された既存のものでも良い。送受信機構が実行する通信は、例えば、インターネット回線を介した無線の通信であって、第5世代移動通信システムによる通信を実行するものであっても良い。この場合には、例えば、カメラ自体が、画像診断の行われる場所へと、撮像した画像についての画像データを送信する。また、送受信機構が実行する通信は、近距離無線通信であっても構わない。その例は、例えば、無線LANの規格の一つであるWi-Fi(商標)である。この場合には、カメラは、Wi-Fi通信を実行することによって所定の無線ルータへ画像データを送り、無線ルータが画像診断の行われる場所へと、撮像した画像についての画像データを送信するのが一般的である。また、近距離無線通信の他の例は、Bluetooth(商標)である。この場合には、カメラは、Bluetooth通信を実行することによって所定のスマートフォンやタブレットへ画像データを送り、スマートフォンやタブレットが画像診断の行われる場所へと、撮像した画像についての画像データを送信するのが一般的である。
第1発明のカメラで撮像される画像は、静止画像であってもそうでなくてもよい。静止画像は連続して撮像されても良い。静止画像が連続して撮像される場合であって、静止画像が撮像される時間間隔が短くなれば、それはやがて動画像と同等のものになる。換言すれば、第1発明のカメラで撮像される画像は静止画像であっても、動画像であっても良い。したがって、カメラから、直接或いは他の機器を介して間接的に画像診断の行われる場所へと送られる画像データは、静止画像についての画像データであっても良いし、連続した静止画像或いは動画像についての画像データであっても良い。カメラから、画像診断の行われる場所へと送られる画像データは、静止画像についてのものである方が、送信の処理が軽く、送信時間も短縮することができる。
カメラは、ユーザが操作することにより前記撮像素子が静止画像である画像についての画像データを生成するシャッター手段を有していてもよい。この場合のカメラは、ユーザが前記シャッター手段を一回操作することにより、静止画像である前記無反射画像の画像データと、静止画像である前記反射画像の画像データとの双方を、少なくとも1つずつ生成するようになっていてもよい。この場合、無反射画像と反射画像の静止画像についての画像データが少なくとも1つずつ、カメラによって生成され、画像診断の行われる場所へと送られることになる。
次に、課題2を解決する発明について説明する。課題2を解決するための発明を、便宜上、第2発明と称することにする。
第2発明も、第1発明と同様に、画像診断に用いられる画像を撮像するためのカメラに応用することもできるが、その応用範囲はより広い。
そのカメラは、対象物からの像光を通過させるレンズと、レンズを通過した像光を撮像して得た画像についての画像データを生成する撮像素子とを有する、カメラであって、前記撮像素子は、所定時間ごとに静止画像についての画像データを連続して生成するようになっているとともに、前記画像データを、古いものから順に上書きしながら所定時間分記録する上書き記録部と、ユーザが操作することにより、前記上書き記録部上の前記画像データの上書きを停止させるシャッター手段と、前記シャッター手段を操作した後に、その時点で前記上書き記録部上にある画像データのうちの任意のものを選択する選択手段と、を備えている、カメラである。
第2発明のカメラにおける前記撮像素子は、所定時間ごとに静止画像についての画像データを連続して生成するようになっている。静止画像についての画像データを生成する時間間隔は一定であってもそうでなくても良いが、一般的には一定である。その間隔が短くなれば、撮像素子は、動画像についての画像データを生成するものとなる。
第2発明におけるカメラは、画像データを、古いものから順に上書きしながら所定時間分記録する上書き記録部と、ユーザが操作することにより、上書き記録部上の前記画像データの上書きを停止させるシャッター手段と、シャッター手段を操作した後に、その時点で上書き記録部上にある画像データのうちの任意のものを選択する選択手段と、を備えている。
上書き記録部は、典型的にはリングバッファであるが、一般的なメモリに、上書きしながら画像データを記録していくという構成を採用することもできる。
第2発明におけるカメラは、撮像素子で次々に生成される画像データを上書き記録部に、古いものから順に上書きしながら所定時間分記録するようになっている。つまり、上書き記録部は、過去の所定時間分の画像データが記録された状態を常に保つようになっている。第2発明のカメラはシャッター手段を有している。シャッター手段は、ユーザには、一般的なカメラにおいて、静止画像の撮像を行うタイミングを決定するための手段として機能しているように見えるであろうが、第2発明のカメラでは、実際のところ、ユーザの操作により上書き記録部上の画像データの上書きを停止させるように機能する。そして、第2発明のカメラは、シャッター手段をユーザが操作した後に、その時点で上書き記録部上にある画像データのうちの任意のものを選択する選択手段を有する。したがって、第2発明のカメラでは、ユーザが撮像を行おうと思ってシャッター手段を操作した場合、シャッター手段を操作したその瞬間から、それ以前の所定時間の間に撮像素子で撮像されて上書き記録部に記録されている、シャッター手段を押したのと同時のタイミングから所定時間部分の過去の画像データの中から適当なものを、選択することができるようなものとなる。
選択手段で選択されたこの画像は、第2発明のカメラが、外部に対して画像データを送信する送信手段を備えるのであれば、送信手段から外部に送信すべき(つまり、第1発明で説明した「画像診断の行われる場所」へ送られるべき)画像、より詳細には静止画像とすることができる。送信手段は、第1発明で説明した送受信機構と同等のものである。
このような、シャッター手段、撮像素子、上書き記録部、及び選択手段の存在により、第2発明のカメラは、撮像の対象物が所望の状態にあるときにおける静止画像を、シャッターチャンスを逃すこと無く、ユーザが望むタイミングで撮像する(或いは、撮像したデータを選択する)ことが可能となる。加えて、画像が手ぶれを生じる原因の一つであるシャッター手段の操作を行う前のタイミングの画像を選択可能とすることにより、第2発明のカメラで撮像された画像は、手ぶれの影響を受けにくいものとなる。
第2発明のカメラは、口腔外から口腔内を撮像するものとされており、口腔内に照明光を照射する光源を備えており、前記レンズ、及び前記撮像素子は、前記像光に基づいて前記撮像素子によって撮像される画像が、咽頭後壁部を含むものとなるようになっていてもよい。
口腔外から口腔内を撮像することによる効果は、第1発明で述べた口腔外からの撮像が可能であることによって生じる効果に等しい。また、第2発明のカメラが口腔内に照明光を照射する光源を備えることによる効果も、口腔内に照明光を照射する光源を備えることにより第1発明のカメラに生じる効果に等しい。
第2発明のカメラにおけるレンズ、及び撮像素子が、像光に基づいて撮像素子によって撮像される画像が、咽頭後壁部を含む(咽頭後壁部の一部でも良い。)ものとなるようになっている場合、第1発明のカメラにおけるレンズ、及び撮像素子は、撮像素子で撮像された画像に被験者の咽頭後壁部、左右の前口蓋弓、及び口蓋垂が映り込むようになっていたので、その撮像範囲は、第1の発明のカメラよりも狭い。
第1発明についての説明の中で既に述べたように、呼吸器感染症について現時点において出願人が得ている知見は、「咽頭後壁部、左右の前口蓋弓、及び口蓋垂の色彩を観察することにより、被験者を、新型コロナウイルス感染者と、呼吸器感染症に関するその他のウイルス・細菌の感染者と、呼吸器感染症に関するウイルス・細菌の非感染者とに区別することが可能となる」というものである。したがって、咽頭後壁部のみを撮影範囲に含む第2発明のカメラで撮像された画像には、左右の前口蓋弓、及び口蓋垂が写り込んでいない場合があり、その場合には、第2発明で撮像した画像に基づくのみでは、被験者を、新型コロナウイルス感染者と、呼吸器感染症に関するその他のウイルス・細菌の感染者と、呼吸器感染症に関するウイルス・細菌の非感染者とに区別することができない可能性がある。とはいえ、咽頭後壁部が写り込んだ画像に基づいて、何らかの呼吸器感染症の診断を行える可能性があり、少なくとも何らかのウイルス・細菌の感染者と非感染者を区別することは可能である(例えば、咽頭後壁部の表面の凹凸からインフルエンザウイルスの感染者を見出すことは可能である。)ので、上述した第2発明のカメラには十分に意味があるといえる。また、今後、左右の前口蓋弓、及び口蓋垂が写り込んでいない、咽頭後壁部のみが写り込んだ画像によっても、被験者を、新型コロナウイルス感染者と、呼吸器感染症に関するその他のウイルス・細菌の感染者と、呼吸器感染症に関するウイルス・細菌の非感染者とに区別することを可能とするための、例えば、色彩や、血管像や、凹凸等の形状に関する特徴が発見されるかもしれないから、仮にそのような特徴が発見されれば、咽頭後壁部のみを撮像範囲とする第2発明のカメラによっても、被験者を、新型コロナウイルス感染者と、呼吸器感染症に関するその他のウイルス・細菌の感染者と、呼吸器感染症に関するウイルス・細菌の非感染者とに区別することが可能となる。しかしながら、第2発明のカメラで撮像した画像による画像診断によって、現時点で出願人が得ている知見に基づいて、被験者を、新型コロナウイルス感染者と、呼吸器感染症に関するその他のウイルス・細菌の感染者と、呼吸器感染症に関するウイルス・細菌の非感染者とに区別することを可能にしたいのであれば、第2発明のカメラにおけるレンズ、及び撮像素子を、像光に基づいて撮像素子によって撮像される静止画像が、咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含むものとなるようにしておけば良い。
なお、既に述べたように、咽頭後壁部は、通常の状態では、舌により隠れており、口腔外から観察も撮像もできない。他方、被験者が、声を出しながら勢いよく息を吸うと、舌の根元が下がり、咽頭後壁部が口腔外から見える状態になる。また、咽頭後壁部が口腔外から見える状態になったとき、左右の前口蓋弓と口蓋垂も同時に、口腔外から見える状態になる。したがって、咽頭後壁部を第2発明のカメラを用いて撮像しようとするのであれば、咽頭後壁部が口腔外から見える状態になったその瞬間に、撮像素子で咽頭後壁部の撮像を行う必要がある。しかしながら、特に被験者が自分自身でシャッター手段を操作する場合において顕著であるが、息を吸うという他の行為に気を取られて、シャッター手段の操作が遅れ気味となる。人間の反応速度には、通常、0.2秒、最小でも0.1秒程度の遅れがある。また、シャッター手段を操作しようとすると、シャッター手段は大抵カメラの本体に設けられているので、シャッター手段の操作によって手ぶれが生じることが多く、撮像された画像の焦点が合っていない等の理由で、撮像された静止画像が、画像診断の目的では使い物にならなくなることが多い。
シャッター手段を操作した瞬間、或いはそれより過去のタイミングで撮像されていた静止画像を選択して撮像した静止画像として利用することができる第2発明のカメラは、そのような画像診断目的での静止画像を撮像するにも好適である。
口腔内を撮影するものである場合における第2発明のカメラは、第1発明の場合と同様に、前記照明光を通過させて、偏光方向が所定方向である直線偏光とする第1偏光板と、前記像光を通過させる、偏光方向が前記第1偏光板と直交する第2偏光板とを備えていてもよい。この場合の第2発明のカメラは、同様の構成を持つ第1発明が奏するのと同じ効果を得る。
口腔内を撮影するものである場合における第2発明のカメラにおける前記光源は、第1発明の場合と同様に、その光源から出た前記照明光が前記第1偏光板を通過してから口腔内に向かう第1光源と、その光源から出た前記照明光が前記第1偏光板を通過せずに前記口腔内に向かう第2光源であって、前記第1光源と択一的に発光するものとを含んでいてもよい。その場合、前記撮像素子は、前記第1光源から口腔内に照射された前記照明光によって生じる前記像光により撮像される無反射画像と、前記第2光源から口腔内に照射された前記照明光によって生じる前記像光により撮像される反射画像との双方を撮像するようになっていてもよい。この場合の第2発明のカメラは、同様の構成を持つ第1発明が奏するのと同じ効果を得る。
第2発明のカメラが第1光源と第2光源とを備える場合、前記第1光源と前記第2光源とは、前記撮像素子で生成される画像データに基づく画像が、交互に、前記第1光源からの照明光による静止画像と、前記第2光源からの照明光による静止画像となるようなタイミングで、交互に点灯するようになっていてもよい。つまり、撮像素子が画像データを生成するための撮像を行うタイミングと、第1光源及び第2光源の点灯のタイミングとは、同期した状態で制御されるようになっていてもよい。これによれば、交互に点灯する第1光源及び第2光源からの照明光により、撮像素子は、無反射画像としての静止画像についての画像データと、反射画像としての静止画像についての画像データとを交互に生成することになる。それにより、このカメラによれば、近いタイミングで撮像された無反射画像と反射画像とが対の状態で、次々に生成されることになる。一対の無反射画像及び反射画像は、口腔内の殆ど同じ位置を、殆ど同時に撮像することにより得られた一対の、いずれもが静止画像である無反射画像及び反射画像となるので、それらを用いて観察或いは画像診断を行うに相応しいものとなる。無反射画像と反射画像との双方を用いて観察或いは画像診断を行うことによる利益は、第1発明の説明で既に述べた通りである。
第2発明のカメラは、前記上書き記録部上にある画像データに基づく静止画像を表示するディスプレイを更に備えているとともに、前記選択手段は、前記上書き記録部上にある画像データの少なくとも1つを選択して特定するための入力を受け付けるためのユーザが操作する操作部を含んでいてもよい。
このような構成が存在すれば、選択手段による画像データの選択、例えば、撮像範囲が正しく、且つ(例えば、手ぶれの影響がなく)ピントが合っているもの少なくとも1つの選択を、ユーザの判断に基づいてユーザの手作業により行えるようになる。なお、ディスプレイ、及び操作部は、必ずしも第2発明のカメラと一体である必要はなく、例えば、第2発明のカメラと組合せて用いられる他の装置(その例は、スマートフォンやタブレットである。)に設けられていても構わない。その場合にも、「カメラがディスプレイを備える」、「選択手段が操作部を含む」という要件は充足されるものとする。
前記選択手段は、前記上書き記録部上にある画像データのうち、撮像範囲が正しく、且つ(例えば、手ぶれの影響がなく)ピントが合っているもの少なくとも1つを自動的に選択する、自動選択手段を含んでいてもよい。このようにすれば、選択手段による撮像範囲が正しく、且つピントが合っている静止画像についての画像データ少なくとも1つの選択を、自動的に行うことができるようになる。これによれば、ユーザの負担を軽減できるし、選択される静止画像の品質を一定範囲に保てるようになる。自動選択手段は、第2発明のカメラとは一体でなくてもよく、例えば、第2発明のカメラと組合せて用いられる他の装置(その例は、スマートフォンやタブレットである。)に設けられていても構わない。自動選択手段は、上書き記録部上に記録された複数の画像データの中から、撮像範囲が正しく、且つピントが合っている静止画像についての画像データを自動的に抽出する人工知能或いは人工知能を利用した機構を用いても構わない。
次に、課題3を解決するための発明について説明する。課題3を解決するための発明を、便宜上、第3発明と称することにする。
第3発明は、画像診断を自動診断で行う技術である。第3発明は自動診断装置に関するが、かかる自動診断装置が自動診断で用いる画像乃至画像データは、第1発明又は第2発明によるカメラで生成されたものであっても良いが、そうでなくても良い。
本願発明者は、第3発明の一態様として、学習済みモデルの生成方法を提案する。
この学習済みモデルの生成方法は、被験者の咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含む撮像部位が写り込んだ静止画像についてのデータである画像データと、当該被験者が新型コロナウイルス感染者、呼吸器感染症に関するその他のウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるかという情報を含むデータとを教師データとして機械学習させ、前記画像データに基づく静止画像内の咽頭後壁部、左右の前口蓋弓、及び口蓋垂それぞれの色彩を特徴量として、当該画像データに前記撮像部位を写り込ませた被験者が、新型コロナウイルス感染者、呼吸器感染症に関するその他のウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるかを推定する学習済みモデルを生成する、呼吸器感染症に関する自動診断用の学習済みモデルの生成方法である。
また、本願発明者は、第3発明の他の態様として、学習済みモデルを提案する。
この学習済みモデルは、例えば、上述の学習済みモデルの生成方法によって生成されるものであり、後述する自動診断装置の中核をなすものである。第3発明による学習済みモデルは、被験者の咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含む撮像部位が写り込んだ静止画像についてのデータである画像データと、当該被験者が新型コロナウイルス感染者、呼吸器感染症に関するその他のウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるかという情報を含むデータとを教師データとして機械学習させることにより生成された、前記画像データに基づく静止画像内の咽頭後壁部、左右の前口蓋弓、及び口蓋垂それぞれの色彩又は血管像を特徴量として、当該画像データに前記撮像部位を写り込ませた被験者が、新型コロナウイルス感染者、呼吸器感染症に関するその他のウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるかを推定するための、呼吸器感染症に関する自動診断用の学習済みモデル(単に、「学習済みモデル」という場合がある。)である。
既に述べたが、本願発明者の研究によると、呼吸器感染症に関するウイルス・細菌に感染していない者においては、咽頭後壁部、左右の前口蓋弓、及び口蓋垂の色彩はいずれも、通常の色彩、一般的には薄いピンク色である。他方、呼吸器感染症に関する新型コロナウイルス以外のウイルス・細菌に感染している者においては、その殆どの場合、咽頭後壁部、左右の前口蓋弓、及び口蓋垂の色彩はいずれも、粘膜が発赤して赤色を呈する。そして、新型コロナウイルスに感染している者においては、咽頭後壁部と左右の前口蓋弓は発赤していずれも赤色を呈するものの、口蓋垂の色彩は、ウイルス・細菌に感染していない健常者と同じ薄いピンク色か或いはそれよりも更に薄い白に近いピンク色を呈する。白に近い薄いピンク色、ピンク色、発赤した赤色という色彩の違いは、毛細血管の増殖、拡張に起因して生じる。
したがって、咽頭後壁部、左右の前口蓋弓、及び口蓋垂の色彩又は血管像の少なくとも一方を観察することにより、被験者を、新型コロナウイルス感染者と、呼吸器感染症に関するその他のウイルス・細菌の感染者と、呼吸器感染症に関するウイルス・細菌の非感染者とに区別することが可能となる。
つまり、上述の如き学習済みモデルは、それに、被験者の撮像部位が写り込んだ静止画像の画像データを入力すると、その画像データに基づく静止画像中の撮像部位における色彩又は血管像の特徴量に基づいて、当該被験者を、新型コロナウイルス感染者と、呼吸器感染症に関するその他のウイルス・細菌の感染者と、呼吸器感染症に関するウイルス・細菌の非感染者との3つに区別することができるようなものとなる。
学習済みモデルの生成方法において、前記画像データは、前記撮像部位が写り込んだ無反射画像についてのデータであってもよい。無反射画像の撮像の方法については既に述べた通りである。既に述べたように、無反射画像は、色彩や粘膜の表面からやや奥に位置する血管の像である血管像を正確に把握するのに向いている。したがって、かかる生成方法で生成された学習済みモデルは、上述の3つの区別を、より正確に行えるようなものとなる。
なお、このような学習済みモデルの生成方法で生成された学習済みモデルを用いて自動画像診断を実行する場合に、この学習済みモデルに入力すべきは、撮像部位が写り込んだ無反射画像についての画像データである。以前も、以降も同様であるが、学習済みモデルを用いて自動画像診断を実行する場合に学習済みモデルに入力すべきは、当然に、学習に用いたのと同種の画像データとすべきである。
学習済みモデルの生成方法において、前記画像データは、前記撮像部位が写り込んだ無反射画像の画像データと、前記撮像部位が写り込んだ反射画像の画像データとを一対としたものであってもよい。無反射画像の撮像の方法については既に述べた通りである。既に述べたように、無反射画像は、色彩や血管像を正確に把握するのに向いている。他方、反射画像は、撮像の対象となる対象物の表面の凹凸等の形状を正確に把握するのに向いている。したがって、かかる生成方法で生成された学習済みモデルは、上述の3つの区別を、より正確に行えるようなものとなる。
第3発明の学習済みモデルの生成方法において、特徴量に、咽頭後壁部、左右の前口蓋弓、及び口蓋垂の色彩と血管像の双方を含んでもよく、また、前記特徴量に、前記咽頭後壁部、左右の前口蓋弓、及び口蓋垂の表面の凹凸を含んでもよい。
色彩と血管像の双方を対象として学習済みモデルを生成することにより、被験者を上述の3つに区分することをより正確に行えるようになる。また、それに加えて、咽頭後壁部、左右の前口蓋弓、及び口蓋垂の表面の凹凸をも学習済みモデルの学習対象とすることにより、同様の効果を得られることになる。
本願発明者は、第3発明の更に他の態様として、上述した学習済みモデルを用いた呼吸器感染症に関する自動診断装置をも提案する。
その自動診断装置は、ここまでに説明したいずれかの学習済みモデルを用いた呼吸器感染症に関する自動診断装置であって、呼吸器感染症の診断対象となる被験者の前記撮像部位が写り込んだ静止画像についてのデータである画像データを受付ける受付手段と、前記画像データに基づく静止画像内の咽頭後壁部、左右の前口蓋弓、及び口蓋垂それぞれの色彩又は血管像を特徴量として抽出する抽出手段と、前記学習済みモデルに、前記抽出手段で抽出された前記特徴量を入力することにより、当該画像データに前記撮像部位を写り込ませた被験者が、新型コロナウイルス感染者、呼吸器感染症に関するその他のウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるかの推定結果を出力する出力手段と、を備えてなる、呼吸器感染症に関する自動診断装置である。
かかる自動診断装置によれば、学習済みモデルを生成するときに用いたのと同等の画像データを受付手段に入力することにより、人の判断を必要とせずに、その画像データに基づく静止画像に写り込んだ撮像部位を持つ被験者が、上述した3つの区分のいずれに属するかを判定することが可能となる。例えば、この自動診断装置は、被験者自身、或いは、上述した施設の担当者が、例えばスマートフォンやタブレット(スマートフォンが備えるカメラを、第1発明、第2発明のカメラのように用いるなら、スマートフォン等が、本願第1発明、第2発明におけるカメラを兼ねる場合もある。)からインターネットを用いて送って来た画像データに基づいて自動診断を行い、推定結果のデータを、その画像データの送信元のスマートフォンに、例えば即時にインターネットを用いて送り返す、といった利用方法が可能である。もちろんこの限りではないが、画像データの受信から推定結果の送信までの自動診断装置側で実行される処理の一切に人手不要とするのが好ましく、そうすることも、少なくとも原理的には可能である。
本願発明者は、また、第3発明の更に他の態様として、上述した学習済みモデルを記録した記録媒体を有するコンピュータによって実行される呼吸器感染症に関する自動診断方法をも提案する。この方法の効果は、呼吸器感染症に関する自動診断装置の効果に等しい。
一例となるその方法は、以上で説明したいずれかの学習済みモデルを記録した記録媒体を有するコンピュータによって実行される呼吸器感染症に関する自動診断方法である。
そして、この方法は、コンピュータが実行する、呼吸器感染症の診断対象となる被験者の前記撮像部位が写り込んだ静止画像についてのデータである画像データを受付ける受付過程と、前記画像データに基づく静止画像内の咽頭後壁部、左右の前口蓋弓、及び口蓋垂それぞれの色彩又は血管像を特徴量として抽出する抽出過程と、前記学習済みモデルに、前記抽出過程で抽出された前記特徴量を入力することにより、当該画像データに前記撮像部位を写り込ませた被験者が、新型コロナウイルス感染者、呼吸器感染症に関するその他のウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるかの推定結果を出力する出力過程と、を含む。
本願発明者は、また、第3発明の更に他の態様として、上述した学習済みモデルを用いた呼吸器感染症に関する自動診断装置として、所定のコンピュータを機能させるためのコンピュータプログラムをも提案する。このコンピュータプログラムの効果は、呼吸器感染症に関する自動診断装置の効果に等しく、また、所定の、例えば汎用のコンピュータを学習済みモデルを用いた呼吸器感染症に関する自動診断装置として機能させられることである。
一例となるコンピュータプログラムは、以上で説明したいずれかの学習済みモデルを用いた呼吸器感染症に関する自動診断装置として所定のコンピュータを機能させるためのコンピュータプログラムである。
そして、前記コンピュータプログラムは、前記コンピュータに、呼吸器感染症の診断対象となる被験者の前記撮像部位が写り込んだ静止画像についてのデータである画像データを受付ける受付過程と、前記画像データに基づく静止画像内の咽頭後壁部、左右の前口蓋弓、及び口蓋垂それぞれの色彩又は血管像を特徴量として抽出する抽出過程と、前記学習済みモデルに、前記抽出過程で抽出された前記特徴量を入力することにより、当該画像データに前記撮像部位を写り込ませた被験者が、新型コロナウイルス感染者、呼吸器感染症に関するその他のウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるかの推定結果を出力する出力過程と、を実行させるためのコンピュータプログラムである。
第1実施形態によるカメラ及びそれと組合せて用いられるコンピュータ装置の斜視図。 図1に示したカメラの頭部の水平断面図。 図1に示したカメラの垂直断面図。 図1に示したコンピュータ装置のハードウェア構成を示す図。 図1に示したコンピュータ装置の内部に生成される機能ブロックを示すブロック図。 図1に示したカメラで、第1光源を用いて撮像を行うときにおける照明光と反射光の振る舞いを説明するための図。 図1に示したカメラで、第2光源を用いて撮像を行うときにおける照明光と反射光の振る舞いを説明するための図。 変形例1におけるカメラの背面斜視図。 第3実施形態の学習装置を構成するコンピュータ装置内に生成される機能ブロックを示す機能ブロック図。 図9に含まれる学習データ記録部に記録されているデータの内容を概念的に示す図。 第3実施形態の自動診断装置を含む自動診断システムの全体構成を示す図。 図11に示した自動診断装置を構成するコンピュータ装置内に生成される機能ブロックを示す機能ブロック図。
以下、図面を参照しつつ本発明の好ましい第1~第3実施形態、及びその変形例について説明する。
各実施形態、及び変形例の説明において、同一の対象には同一の符号を付すものとし、重複する説明は場合により省略するものとする。また、特に矛盾しない限りにおいて、各実施形態及び変形例に記載の技術内容は相互に組み合せることができるものとする。
≪第1実施形態≫
図1に、この実施形態におけるカメラ1とその付属品であるコンピュータ装置100の概観を示す。図1に示したように、カメラ1は、コンピュータ装置100との組合せにより使用される。
コンピュータ装置100は、カメラ1で撮像された画像データを、例えば、インターネットを介して、画像診断の行われる場所へと送る機能を有している。この機能は、後述する変形例1の場合と同様に、カメラ1自身に実装されていても構わない。画像診断の行われる場所とは、画像診断を医師その他の人が行うのであれば当該人がアクセスすることのできる装置(例えば、コンピュータ装置)であり、画像診断が機械によって行われるのであれば当該診断を行う自動診断装置或いは自動診断装置がアクセスすることのできる装置(例えば、コンピュータ装置)である。
この実施形態におけるカメラ1は、人の呼吸器感染症の診断に用いられる画像を撮像するためのものである。つまり、この実施形態における被験者は人間である。
この実施形態におけるカメラ1は、被験者たる人間の上気道の一部、より詳細には、咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含む範囲を撮像することができるようなものとなっている。
この実施形態におけるカメラ1は、手持ち可能とされた把持部10と、把持部10の上方前側に設けられた頭部20とを備えている。
把持部10と頭部20は、これには限られないが例えば不透明な樹脂製である。少なくとも頭部20は、不透明な素材で構成するのが通常である。それらの内部は中空であり、後述するようにしてその内部に種々の部品が内蔵され、或いは取付けられる。把持部10及び頭部20には部品が内蔵されるので、それらは部品が内蔵される事実上のケースとして機能する。
把持部10は、片手で手持ちすることができる形状となっており、これには限られないがこの実施形態では棒状或いは円柱状の形状とされている。
頭部20は、これには限られないが、先端に向かってやや広がる(筒状でも、先端に向かってやや狭まっても良い。)断面略矩形状のフードと呼べるように構成された筒であり、不透明な素材例えば不透明な樹脂でできている。頭部20の先端(使用時に、被験者の顔に対面される側、図1における手前側)には開口21が設けられている。これには限られないが、この実施形態における開口21は、その四隅が丸められた矩形である。開口21は正方形や円形でも良い。このカメラ1は、被験者自身、或いは被験者以外の例えば、学校、レストラン、百貨店やスーパーマーケット、或いは映画館等の施設の担当者が把持部10を把持して、頭部20の先端の開口21の縁を被験者の口に向ける、という態様で使用される。
把持部10か頭部20の適当な位置、例えば把持部10の前側には、スイッチ15が設けられている。スイッチ15は、後述する撮像素子による撮像を開始する切っ掛けとなる入力を行うための操作子であり、この実施形態では把持部10に押し込んで入力を行う押し釦とされている。もっとも、撮像素子が撮像を開始する切っ掛けとなる入力信号を生成することが可能であれば、スイッチ15は押し釦式である必要はない。もっといえば、スイッチ15の機能は、コンピュータ装置100に実装されていても構わない。
図2にカメラ1における頭部20の水平断面図を、図3にカメラ1全体の垂直断面図をそれぞれ示す。図2、図3はいずれも原理図的な、概略的なものである。
頭部20の内部の図1における手前側には、レンズ11、第1光源31a及び第2光源31bからなる光源31と、第1偏光板32とが設けられている。第1光源31aと第2光源31bは同じ構成でも良い。
後述するように、第1光源31aと第2光源31bとは、この実施形態では異なる役割を担い、それらは択一的に点灯するようになっており、各々が点灯しているときに、後述する撮像素子12で撮像される画像が異なるものとなるようにされている。
ただし、後述する無反射画像の撮像のみをカメラ1が行えば十分なのであれば、第2光源31bも含めて、すべて第1光源31aとすることができる。つまり、図中の第1光源31aと第2光源31bからの光はすべて、第1偏光板32を通過するようになっていてもよい。
また、頭部20の内部の図1における奥側には、第2偏光板33及び撮像素子12が設けられている。
この実施形態において、第1光源31a、第2光源31bは、ともにその限りではないが、ともに複数である。
第1光源31aと、第2光源31bはともに、照明光としての自然光を発するものである。それが可能な限り第1光源31aは、公知或いは周知の光源でよく、電球、LED等適宜のもので構成することができる。第2光源31bも同様である。この実施形態における第1光源31aはこれには限られないがLEDであり、第2光源31bも同様である。第1光源31a、第2光源31bはハードウェアとして見たときには同じものとすることができ、この実施形態ではそうされている。
第1光源31a、第2光源31bはともに、ある程度の指向性をもって撮影の対象となる被験者の口腔内に向けて光を発するようになっている。各第1光源31a、及び第2光源31bは、それらから照射される光が適宜の方向に照射されるように、それらの向きが調整されている。
なお、第1光源31a、第2光源31bはともに、頭部20内部に適宜の方法で固定された基板に固定されているが、基板の図示は省略している。
第1光源31aが発する照明光の波長には特に制限はないが、照明光の波長は可視光領域とするのが好ましく、この実施形態では、一般的な白色光を第1光源31aが発するようになっている。なお、照明光の波長は、光軸に沿って並べられた、互いに偏光方向の直交する2つの偏光板である第1偏光板32及び後述する第2偏光板34に自然光を照射した場合に、その自然光が略すべて消える(例えば、90%以上消える)ような範囲に制限されているのが好ましい。照明光の波長をそのように制限するフィルタを第1光源31a、第2光源31bから撮像の対象となる口腔内までの間に配しておくことも可能である。
この実施形態における第1光源31a、及び第2光源31bは、これには限られないが、スイッチ15が押された後、後述するように交互に点灯するようになっている。
上述したように、この実施形態における第1光源31aは、これには限られないが複数である。各第1光源31aは、これには限られないが、頭部20の開口21付近に位置しており、この実施形態では、開口21の図1における水平方向の両外側における頭部20の壁のやや内側に位置している。開口21の右側と左側に位置する第1光源31aはそれぞれ、直線状に、より正確には、図1における鉛直方向に、この実施形態では複数個ずつ並んでいる。図3に示したように、開口21の右側において上下方向に並ぶ第1光源31aの数は4つであり、開口21の左側においても同様である。もっとも、当然に開口21の右側と左側の上下方向に並べた第1光源31aの数は4つずつである必要がなく、もっと言えば複数である必要もない。
他方、第2光源31bは、この実施形態では、開口21の右側と左側に上述したようにそれぞれ上下に4つずつ並んだ第1光源31aの上側と下側に、それぞれ1つずつ設けられている。もっとも、第2光源31bの位置と数はこの限りではない。
頭部20の左右の端付近において上下方向に4つ並んだ第1光源31aの手前にはそれぞれ、それを通過した自然光である照明光を直線偏光にする偏光板である第1偏光板32が1枚ずつ配置されている。
この実施形態における第1偏光板32は、図1、図3に示されたように、縦長の矩形である。この実施形態では、第1光源31aから出た光のうち、撮像素子12によって後述するように行われる撮像に寄与する照明光はすべて、第1偏光板32を通過するようになっており、第1偏光板32の上下方向の長さと水平方向の幅とはその観点から設計されている。
なお、撮像素子12による撮像に寄与する照明光がすべて第1偏光板32を通過するようにするために、必ずしも必須ではないが、この実施形態では、レンズ11の周囲にその内縁が隙間なく接し、且つその外縁が頭部20の内周面に隙間なく接する、ドーナツ型であり光を通さない壁である隔壁19が、頭部20内に設けられている。隔壁19は、頭部20内の空間を、レンズ11の前側の空間と後側の空間とに区切るものである。かかる隔壁19の存在により、各第1光源31a、第2光源31bから発せられた光が、撮像の対象となる対象物に反射せずに直接レンズ11の後側の撮像素子12が存在する空間に到達しないようになる。
他方、第2光源31bは、第1偏光板32よりも上と下に位置しており、それらから出た照明光は、第1偏光板32を通らずに、自然光のまま、被験者の口腔内に照射されるようになっている。
第1光源31aから出た照明光が直線偏光となって被験者の口腔内に向かうようになっており、且つ第2光源31bから出た照明光が自然光のまま(或いは第2光源31bから出た照明光が、第1偏光板32とは振動方向が直交する第3偏光板とでも称すべき図示せぬ偏光板を通過することによって、第1偏光板32を通過することによって生じた直線偏光とは振動方向が直交する直線偏光として)被験者の口腔内に向かうようになっているのであれば、第1光源31a、第2光源31bの設置位置、第1偏光板32の形状、位置等の設計は、上述した例から適宜変更可能である。
上述したように、第1偏光板32を通過した照明光は所定方向の偏光面を有する直線偏光になる。第1偏光板32を通過した直線偏光である照明光の偏光面は、これには限られないが、図1において水平となるようになっている。
レンズ11は、照明光が口腔内の撮像対象となる対象物、この実施形態では、咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含む範囲にあるもので反射して生じる反射光を撮像素子12に結像させるためのものである。それが可能な限りにおいて、レンズ11は一枚である必要はないし、レンズ11以外の必要な光学部品、例えば、鏡やプリズムを含んでいても良い。また、レンズ11は像の拡大の機能を持っていてもよいし、それ以外の機能を持っていても良い。この実施形態におけるレンズ11は、これには限られないが、1枚の拡大レンズである。
撮像素子12は、反射光を捉え撮像を行うものである。この実施形態の撮像素子12は、カラーの撮像を行えるものであれば公知或いは周知のもの、更にいえば市販のものであっても構わない。撮像素子12は例えばCCD(Charge Coupled Device)、或いはCMOS(Complementary Metal Oxide Semiconductor)により構成することができる。撮像素子12は撮像により得た画像のデータを生成する。撮像素子12が撮像する画像は、動画像であっても良いしそうでなくてもよいが、この実施形態では所定時間おきに連続して静止画像の画像データを生成するようになっている。この場合における所定時間は、例えば、20mm秒から50mm秒であり、そうすると、1秒間に20から50個の静止画像の画像データが撮像素子12で生成されることになる。これは、事実上、撮像素子12が動画像の画像データを生成するということも可能である。
撮像素子12は、接続線12aにて回路13に接続されている。回路13は、また、図示せぬ接続線によって第1光源31aと第2光源31bとにも接続されている。
回路13は撮像素子12が生成した画像のデータを接続線12aを介して撮像素子12から受取るようになっている。回路13は、ビデオ信号の外部への出力に先んじて必要な処理、例えば明るさの調整や、必要であればアナログ/デジタル変換などを行う。回路13は、また、図示せぬ接続線によって接続された第1光源31aと第2光源31bの点灯と消灯のタイミングをも制御するように構成されている。第1光源31aと第2光源31bの点灯と消灯のタイミングについては、追って説明する。
回路13は接続線13aを介して出力端子14に接続されている。出力端子14は、図示を省略のケーブル16を介して、コンピュータ装置100との接続を行うものである。ケーブル16と出力端子14との接続はどのように行われても良いが、例えば、USBその他の規格化された接続方式を用いるのが便利であろう。なお、カメラ1によって生成された動画像データのコンピュータ装置100への出力は、この実施形態のように有線で行われる必要はない。動画像データの出力が無線で行われる場合には、カメラ1は、出力端子14に代えて、例えばBluetooth(商標)による通信をコンピュータ装置100と行うための公知或いは周知の送受信機構を備えることになる。もちろん、コンピュータ装置100との接続を、有線と無線の双方で行えるようにすることも可能である。
回路13は、また、上述したスイッチ15に接続線15aによって接続されている。スイッチ15からの入力信号を受けた回路13は、撮像素子12に撮像を開始させるとともに、第1光源31aと第2光源31bとを、後述するようなタイミングで点灯、消灯させるようになっている。
第2偏光板33は、上述したように第1偏光板32と同じものでできている偏光板であるものの、その機能が、第1光源31aから照射された自然光である照明光を直線偏光に変える第1偏光板32とは異なる。
第2偏光板33は、第1偏光板32によって直線偏光とされた、第1光源31aから照射された照明光が対象物の表面で反射することによって生じた反射光のうちの、対象物の表面で反射された光である、追って詳しく説明する表面反射光に含まれる直線偏光の成分を遮断する機能を有している。
照明光と反射光の光軸を基準として見れば、第1偏光板32と第2偏光板33とは、それらを通過した光の直線偏光における偏光面が直交するような向きとなるようになっており、つまり、第1偏光板32と第2偏光板33とは、その偏光方向が直交している。この実施形態でいえば、自然光が第2偏光板33を反射光と同じ向きで通過した場合、第2偏光板33を通過することによって生じた直線偏光の偏光面は、図1における鉛直方向となるようになっている。
対象物からの反射光である像光は、レンズ11を通り、更には第2偏光板33を通過してからでなければ、撮像素子12に至ることができないようになっている。言い換えれば、第2偏光板33を通過できない像光は、撮像素子12で撮像されない。
次に、コンピュータ装置100について説明する。
コンピュータ装置100は、一般的なコンピュータであり、市販のもので良い。この実施形態におけるコンピュータ装置100は、これには限られないが市販のタブレットである。なお、コンピュータ装置100は、以下に記載する構成、機能を備えている限り、必ずしもタブレットである必要はなく、スマートフォンや、ノート型パソコン、デスクトップ型パソコン等であっても構わない。スマートフォンや、パソコンである場合においても、コンピュータ装置100は市販のものであっても良い。タブレットとしては、例えば、Apple Japan合同会社が製造、販売を行うiPad(商標)シリーズを挙げることができる。スマートフォンとしては、例えば、同社が製造、販売を行うiPhone(商標)シリーズを挙げることができる。
コンピュータ装置100の外観は、図1に示されている。
コンピュータ装置100は、ディスプレイ101を備えている。ディスプレイ101は、静止画像又は動画像、一般的にはその双方を表示するためのものであり、公知、或いは周知のものを用いることができる。ディスプレイ101は例えば、液晶ディスプレイである。コンピュータ装置100は、また入力装置102を備えている。入力装置102は、ユーザが所望の入力をコンピュータ装置100に対して行うためのものである。入力装置102は、公知或いは周知のものを用いることができる。この実施形態におけるコンピュータ装置100の入力装置102はボタン式のものとなっているが、これには限られず、テンキー、キーボード、トラックボール、マウスなどを用いることも可能である。特に、コンピュータ装置100がノート型パソコン、デスクトップ型パソコンである場合には、入力装置102はキーボードや、マウス等になるであろう。また、ディスプレイ101がタッチパネルである場合、ディスプレイ101は入力装置102の機能を兼ねることになり、この実施形態ではそうされている。
コンピュータ装置100のハードウェア構成を、図4に示す。
ハードウェアには、CPU(central processing unit)111、ROM(read only memory)112、RAM(random access memory)113、インターフェイス114が含まれており、これらはバス116によって相互に接続されている。
CPU111は、演算を行う演算装置である。CPU111は、例えば、ROM112、或いはRAM113に記録されたコンピュータプログラムを実行することにより、後述する処理を実行する。図示をしていないが、ハードウェアはHDD(hard disk drive)その他の大容量記録装置を備えていてもよく、コンピュータプログラムは大容量記録装置に記録されていても構わない。
ここでいうコンピュータプログラムには、カメラ1と協働して動作するコンピュータ装置100に、後述するようにして生成された画像データを、画像診断の実行される場所に送信する処理を実行させるためのコンピュータプログラムが少なくとも含まれる。このコンピュータプログラムは、コンピュータ装置100にプリインストールされていたものであっても良いし、コンピュータ装置100の出荷後にインストールされたものであっても良い。このコンピュータプログラムのコンピュータ装置100へのインストールは、メモリカード等の図示を省略の所定の記録媒体を介して行なわれても良いし、LAN或いはインターネットなどのネットワークを介して行なわれても構わない。
ROM112は、CPU111が後述する処理を実行するために必要なコンピュータプログラムやデータを記録している。ROM112に記録されたコンピュータプログラムとしては、これに限られず、コンピュータ装置100がタブレットなのであれば、コンピュータ装置100をタブレットとして機能させるために必要な、例えば、電子メールを実行するためのコンピュータプログラムやデータが記録されている。コンピュータ装置100は、また、インターネット上のホームページを閲覧することも可能とされており、それを可能とするための公知或いは周知のwebブラウザを実装していてもよい。
RAM113は、CPU111が処理を行うために必要なワーク領域を提供する。場合によっては、上述のコンピュータプログラムやデータの例えば少なくとも一部が記録されていてもよい。
インターフェイス114は、バス116で接続されたCPU111やRAM113等と外部との間でデータのやり取りを行うものである。インターフェイス114には、上述のディスプレイ101と、入力装置102とが接続されている。入力装置102から入力された操作内容についてのデータは、インターフェイス114からバス116に入力されるようになっている。また、周知のようにディスプレイ101に画像を表示するための画像データは、インターフェイス114から、ディスプレイ101に出力されるようになっている。インターフェイス114は、また、上述したケーブル16から(正確には、ケーブル16と接続されたコンピュータ装置100が備える図示せぬ入力端子から)、画像データを受付けるようになっている。ケーブル16から入力された画像データは、インターフェイス114からバス116に送られるようになっている。
インターフェイス114には送受信機構が接続されている。送受信機構は、例えば、コンピュータ装置100がカメラ1との通信を無線で行う場合における近距離無線通信を行うことができるようになっている。また、送受信機構は、インターネット通信を行うことが可能となっており、カメラ1から受取った画像データを、画像診断の行われる場所へとインターネット回線を通じて送信できるようになっている。
CPU111がコンピュータプログラムを実行することにより、コンピュータ装置100の内部には、図5で示されたような機能ブロックが生成される。なお、以下に説明する機能ブロックは、コンピュータ装置100を上述したように機能させるための上述のコンピュータプログラム単体の機能により生成されていても良いが、上述のコンピュータプログラムと、コンピュータ装置100にインストールされたOSその他のコンピュータプログラムとの協働により生成されても良い。
コンピュータ装置100には、本願発明の機能との関係で、入力部121、制御部122、画像データ記録部123、出力部124が生成される。
入力部121は、インターフェイス114から、データを受付けるものである。入力部121が受付けるデータは、入力装置102から入力された、処理選択データと、ケーブル16から入力された画像データである。入力部121は、それらデータをインターフェイス114を介して受取った場合、それを制御部122に送るようになっている。処理選択データは、画像データをコンピュータ装置100内に記録するか、コンピュータ装置100から、画像診断を行う場所へと送信するかを選択するためのデータである。
制御部122は、上述した処理選択データと、画像データとを受取る場合がある。制御部122は、処理選択データが画像データをコンピュータ装置100内に記録するというものであった場合には画像データを、画像データ記録部123に記録し、処理選択データが画像データをコンピュータ装置100から画像診断を行う場所へと送信するというものであった場合には、画像データを出力部124へと送るようになっている。
画像データ記録部123は、上述したように画像データを記録するための、通常であればRAM113の一部である記録領域である。画像データは、その画像データがどの被験者のものであるのかを特定するための識別情報とともに画像データ記録部123に記録される。
出力部124は、画像データを始めとするデータをインターフェイス114を介して外部へ出力する機能を有している。例えば、処理選択データで、画像データをコンピュータ装置100から画像診断を行う場所へと送信することが選択された場合には、出力部124は制御部122から受取った画像データをインターフェイス114を介して送受信機構へ送り、送信機構がその画像データを、インターネットを介して、画像診断を行う場所へと送信する。また、出力部124は、必要に応じて画像データをインターフェイス114を介してディスプレイ101へと送るようになっている。この場合、ディスプレイ101には、画像データに基づく画像が表示されることになる。
次に、以上で説明したカメラ1及びコンピュータ装置100の使用方法、及び動作を説明する。
カメラ1及びコンピュータ装置100を用いる場合には、まず、上述したように、ケーブル16で、カメラ1とコンピュータ装置100とを接続する。
また、ユーザ(被験者自身の場合もある。)は、コンピュータ装置100に記録されていた上述のコンピュータプログラムを立ち上げ、入力装置102を操作して、処理選択データを入力する。処理選択データは、上述したように、処理選択データは、画像データをコンピュータ装置100内に記録するか、コンピュータ装置100から、画像診断を行う場所へと送信するかを選択するためのデータである。例えば、コンピュータ装置100のディスプレイ101には、処理選択データの入力をユーザに促す画像が表示され、ユーザは、その画像による指示にしたがって処理選択データの入力を行う。ディスプレイ101へのかかる画像の表示は、例えば、制御部122が生成し、制御部122から、出力部124、インターフェイス114を介してディスプレイ101へと送られたデータによって行われる。
入力装置102から入力された処理選択データは、インターフェイス114、入力部121を介して制御部122に入力される。これには限られないが、この実施形態では、ユーザが入力した処理選択データは、画像データをコンピュータ装置100から画像診断を行う場所へと送信することを選択するものであるものとする。
この状態で、被験者自身、又は医師等或いは施設の担当者であるユーザがカメラ1の把持部10を把持し、その頭部20における開口21を、被験者の口に向ける。
そして、スイッチ15をユーザは押す。
そうすると、回路13は、撮像素子12に撮像を開始させるとともに、第1光源31aと第2光源31bとを交互に点灯させ始める。第1光源31aと第2光源31bとはどちらが先に点灯しても構わないが、この実施形態では、第1光源31aから先に点灯を開始するものとする。
この実施形態における撮像素子12の撮像のタイミングは、これには限られないが、50mm秒間隔である。この実施形態では、撮像素子12の撮像のタイミングと、第1光源31a及び第2光源31bの点灯と消灯のタイミングとは、互いに同期させられている。より具体的には、撮像素子12が撮像を行い、ある静止画像の画像データが生成されたタイミングで第1光源31aが点灯しており、第2光源31bが消灯していたとしていたなら、次の画像データが生成されるタイミングでは、第2光源31bが点灯し、第1光源31aが消灯している。そして、その次の画像データが生成されるタイミングでは、第1光源31aが点灯し、第2光源31bが消灯しており、更にその次の画像データが生成されるタイミングでは、第2光源31bが点灯し、第1光源31aが消灯している。このように、このカメラ1で生成される静止画像についての画像データは、第1光源31aからの照明光に基づくものと、第2光源31bからの照明光に基づくものとが、交互に並ぶことになる。
この実施形態で撮像したいのは、被験者の口腔内の咽頭後壁部、左右の前口蓋弓、及び口蓋垂であるが、それら、例えば咽頭後壁部は、通常の状態では舌に隠れて見えない状態となっている。
そこで、口腔に向けてカメラ1の開口21を向けられている被験者は、声を出しながら息を吸い込む。なるべく大きな声を出しながら、なるべく強く息を吸い込むのが好ましい。そうすると、僅かな時間、例えば、0.5秒内外であるが、舌の付け根が下がって、咽頭後壁部、左右の前口蓋弓、及び口蓋垂が覗く。
それにより、カメラ1の撮像素子12は、咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含んだ静止画像の画像データを連続して生成する。50mm秒ごとに連続して生成される画像データは、上述したように、第1光源31aから出た照明光に基づくものと、第2光源31bから出た照明光に基づくものとが交互に並ぶことになる。
第1光源31aから出た照明光に基づく画像と、第2光源31bから出た照明光に基づく画像とが、どのようなものとなるかについて図6、図7を用いて説明する。
第1光源31aからの照明光によって撮像素子12で撮像される反射光がどのようなものかということを、概念的に図6に示す。
図6(A)は唾液等の体液で濡れた対象物(上述の4つの部位の粘膜)の最表面で反射する反射光である表面反射光を、図6(B)は体液で濡れた対象物の表面から若干内側に入って、事実上、体液を除いた対象物自体の表面で反射する反射光である内部反射光の振る舞いを示している。また、太線の○印の中に引かれた直線は当該部分における照明光又は反射光の偏光面の向きを観念的に示しており、○印の中に放射状に線が引かれているのは当該部分における照明光又は反射光の直線偏光性が乱れている(例えば自然光化している。)ことを示している。
第1光源31aから出た照明光は、第1偏光板32を通過する。第1偏光板32を通過した照明光は直線偏光になる。その場合の照明光である直線偏光の偏光面は、図1における水平方向である。ここまでは、図6(A)、(B)で共通である。
第1偏光板32を通過した直線偏光である照明光は、対象物Xに当たり、対象物Xからの反射光となる。対象物Xで反射した反射光のうち表面反射光(体液の表面で反射されて生じた反射光)は、その偏光状態が理想的には維持されたままである。直線偏光である表面反射光は、自然光を通過させたときに生じる直線偏光の偏光面の向きが第1偏光板32と直交するようにされている第2偏光板33に遮断され、撮像素子12には届かない(図6(A))。
他方、内部反射光(体液を通過して、粘膜の表面或いはそこからわずかに奥で反射された光)は、その偏光状態が乱れている。内部反射光は、その中に含まれる光のうち、表面反射光に含まれる直線偏光の偏光面と直交する方向で振動するものが、第2偏光板33を通過するので、その光量の半分程度が撮像素子12に到達することになる(図6(B))。
結果として、第1光源31aからの照明光を用いて撮像素子12が画像を撮像するために利用される光は、内部反射光のみということになる。これがどのようなことを意味するかというと、第1光源31aに由来する照明光を用いて撮像素子12が撮像を行うことにより生成される画像は、ギラツキのない、艶消しの無反射画像になるということである。
第2光源31bからの照明光によって撮像素子12で撮像される反射光がどのようなものかということを、概念的に図7に示す。
図7(A)、(B)はそれぞれ、図6(A)、(B)と同様に、表面反射光の振る舞いと、内部反射光の振る舞いを示している。照明光又は反射光の偏光面の向きと、直線偏光性が乱れていることを示す記号は、図6に倣う。
第2光源31bから出た照明光は、第1偏光板32を通過しない。したがって、第2光源31bから出た照明光は、自然光のまま対象物Xに向かう。
自然光である照明光は、対象物Xに当たり、対象物Xからの反射光となる。対象物Xで反射した反射光のうち表面反射光も、内部反射光もいずれも、自然光のままである(図7(A)、(B))。
他方、したがって、偏光状態が乱れている表面反射光も、内部反射光も、図6(B)を用いて説明した場合と同様の理由で、その光量の半分程度が、第2偏光板33を通過し、撮像素子12に到達することになる(図7(A)、(B))。
結果として、第2光源31bからの照明光を用いて撮像素子12が画像を撮像するために利用される光は、表面反射光と、内部反射光の両者を含むことになる。これがどのようなことを意味するかというと、第2光源31bに由来する照明光を用いて撮像素子12が撮像を行うことにより生成される画像は、ギラツキのある、艶有りの反射画像になるということである。
撮像素子12が連続して生成した、静止画像についてのデータは、接続線12aを介して回路13へ送られ、回路13で必要に応じて適当な処理(明るさの調整等)をなされてから接続線13aを介して出力端子14に至る。そして、出力端子14からケーブル16を経て、コンピュータ装置100へと至るようになっている。
画像データは、静止画像データが連続したものである。静止画像データは、インターフェイス114から入力部121を経て、制御部122へと送られ、更には、出力部124へ至る。
出力部124は、インターフェイス114を介して送受信機構へと画像データを送り、画像データは、送受信機構から、インターネットを介して、画像診断の行われる場所へ送られる。画像データは、1つおきに、無反射画像についてのものと、反射画像についてのものとなる。
画像診断の行われる場所は、例えば、医師が画像診断を実行するのであれば、医師がアクセスすることができるコンピュータ装置であり、自動診断装置が自動診断を実行するのであれば、自動診断装置或いは自動診断装置がアクセスすることができるコンピュータ装置である。
また、画像診断の行われる場所へ送られる画像データは、静止画像のデータのうち、反射画像と無反射画像の静止画像についての画像データ1つずつ、或いは数個ずつであってもよい。或いは、動画像のデータと呼べるような多数に連なった、反射画像と無反射画像の静止画像が交互に並ぶ、そのような静止画像についての多数の画像データであっても構わない。後者の場合でも、医師、或いは自動診断装置は、同画像のデータの中から適宜、無反射画像の画像データのみを抜き出して無反射画像の動画を生成するとともに、反射画像の画像データのみを抜き出して反射画像の動画を生成すること、また、無反射画像と反射画像の画像データの中から画像診断に向く静止画像のデータを、1つずつ或いは数個ずつ選択して、画像診断を行うことができる。もちろん、このような画像診断に向く静止画像の選択は、カメラ1或いはコンピュータ装置100で行われてもよく、そのような選択を行うための技術として、第2実施形態で説明するような技術を応用することも可能である。
そして、もちろんシステムの構成にもよるが、医師、或いは自動診断装置が診断を行った結果が、医師、或いは自動診断装置から、コンピュータ装置100へとインターネットを介して返信されるようにすることも可能である。
処理選択データが、画像データをコンピュータ装置100内に記録する、というものであった場合には、画像データは、コンピュータ装置100内の画像データ記録部123に記録される。この画像データは、適宜の時期に、画像診断の行われる場所に送られ、画像診断に用いられる。
<変形例1>
第1実施形態のカメラ1は、カメラ1単体で使用されるのではなく、カメラ1で生成された画像データを、インターネットを介して画像診断の行われる場所へと送信するコンピュータ装置100と組合せて用いられていた。
しかしながら、現在のコンピュータ装置100の一例となるスマートフォンやタブレットは、カメラを備えるのが一般的である。したがって、第1実施形態におけるコンピュータ装置100に、第1実施形態のカメラ1の機能を兼ねさせることも可能である。変形例1は、そのような例である。
変形例1のコンピュータ装置100は、第1実施形態で説明したものと同じで良い。これには限られないが、図1に示されたコンピュータ装置100の裏側には、図8(A)に示されたように、レンズ104と、光源105とが設けられている。
レンズ104は、コンピュータ装置100の筐体から露出している。レンズ104はコンピュータ装置100が備えるカメラの一部をなす。よく知られているように、レンズ104の奥には図示を省略の撮像素子がある。撮像素子は、第1実施形態と同様に、CCD、或いはCMOSであり、動画、つまり連続した静止画像を撮像できるようになっている。静止画像の撮像間隔は、コンピュータ装置100にインストールするコンピュータプログラムの機能により適宜に調整することが可能であり、第1実施形態の撮像素子と同様の撮像間隔とすることももちろん可能である。
撮像素子で撮像された画像は、公知又は周知の仕組みによりディスプレイ102に略実時間で表示させられるようになっている。
光源105は、コンピュータ装置100の筐体の表面に、露出している。光源105が発する照明光は、第1実施形態の場合と同様で良い。ただし、変形例1の証明は1つであり、撮像素子での撮像が行われている間点灯し続ける。
変形例1のコンピュータ装置100は、図8(B)に示したような、偏光板140と組合せて用いられる。
偏光板140は、これには限られないがともに矩形であり、両者を組合せると横長の矩形となる、第1偏光板141、及び第2偏光板142とを含んで構成されている。
第1偏光板141と、第2偏光板142とは一体とされていてもされていなくてもよいが、この実施形態ではそれらは一体とされている。第1偏光板141は、第1実施形態における第1偏光板32に相当するものであり、第2偏光板142は第1実施形態における第2偏光板33に相当するものである。第1偏光板141と、第2偏光板142の偏光方向は互いに直交しており、例えば、第1偏光板141の偏光方向は、筐体の上側の辺に沿う方向であり、第2偏光板142の偏光方向は、筐体の横側の辺に沿う方向である。図8(A)の第1偏光板141と、第2偏光板142に付された横線、及び縦線は、それらの偏光方向を示している。
偏光板140は、コンピュータ装置100の筐体の背面に着脱自在に固定することが可能となっている。変形例1における偏光板140は、図8(B)における背面に塗布された、少なくとも1回、可能であれば数十回程度の着脱が可能とされた公知或いは周知の粘着剤によって、コンピュータ装置100の筐体に着脱自在に固定できるようになっている。かかる固定は粘着剤によるのではなく、両面テープ、磁石、係止、機械的な嵌合等、適宜の方法で行うことができる。
偏光板140がコンピュータ装置100の筐体に固定されたとき、第1偏光板141は、第1実施形態の第1偏光板32と同様に光源105の前側に位置することになる。他方、偏光板140がコンピュータ装置100の筐体に固定されたとき、第2偏光板142は、第1実施形態の第2偏光板33と同様にレンズ104の前側、つまり、図示せぬ撮像素子の前側に位置することになる。そのような位置関係を保った状態で、偏光板140をコンピュータ装置100の光源105及びレンズ104の前に位置させることが可能なように、偏光板140における第1偏光板140及び第2偏光板142の大きさ、形状は設計されている。
このような偏光板140を取付けた状態でコンピュータ装置100による撮像を行うと、光源105から出た照明光は、必ず第1偏光板141を通って撮像の対象となる対象物へと向かうことになる。他方、照明光が対象物に当たって生じた像光は、必ず第2偏光板142を通ってから、レンズ104を経て撮像素子に向かうこととなる。その状態は、第1実施形態において図6で示した状態と同じであるから、変形例1のコンピュータ装置100の撮像素子が撮像する画像は、無反射画像となる。
変形例1のコンピュータ装置100のハードウェア構成は、図4に示した、第1実施形態のコンピュータ装置100の場合と同じである。ただし、インターフェイス114に入力される画像データは、コンピュータ装置100外のカメラ1から送られてきた第1実施形態の場合と異なり、コンピュータ装置100内の図示せぬ撮像素子から送られて来る。
また、変形例1のコンピュータ装置100内に生成される機能ブロックは、第1実施形態の場合と同様であり、図5に示した通りである。変形例1における各機能ブロックの機能は、第1実施形態におけるそれらの機能と概ね同じで良く、この実施形態ではそうされている。ただし、変形例1のコンピュータ装置100では、撮像素子で撮像中の連続した静止画像は、事実上の動画像として、略実時間でコンピュータ装置100のディスプレイ101に表示される。これは、例えば、撮像素子が連続して生成した静止画像についての画像データをインターフェイス114、入力部121を介して受取った制御部122が、出力部124、インターフェイス114を介してディスプレイ101に送るようにすることで実現することができる。なお、第1実施形態でも、カメラ1で撮像中の画像を、コンピュータ装置100のディスプレイ101に略実時間で表示する構成を採用することが可能である。
変形例1のコンピュータ装置100の使用方法は以下の通りである。
まず、第1実施形態で説明したのと同様に、コンピュータ装置100の入力装置102を用いて、処理選択データを入力する。処理選択データの内容は、第1実施形態と同じ2通りとすることができ、この実施形態ではそうされている。
次に、被験者自身、或いは、被験者の撮像を行う医師等が、コンピュータ装置100のカメラの一部をなすレンズ104を被験者の口腔内に向ける。そして、コンピュータ装置100の例えば画面に表示されている、図示を省略の、「撮像素子での撮像を開始する旨」の意思表示を行うボタンを被験者自身、或いは医師等が操作することにより、撮像が開始される。変形例1では、撮像が開始されると同時に、光源105が点灯するようになっている。
第1実施形態と同様に、被験者が声を出しながら息を吸うと、舌が下がって、被験者の舌の付け根が下がって、咽頭後壁部、左右の前口蓋弓、及び口蓋垂が口腔内で覗く。
それにより、撮像素子は被験者の咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含む静止画像を連続して、或いは動画で撮像することができる。コンピュータ装置100が備えるカメラの仕様にもよるが、変形例1ではとりあえず、コンピュータ装置100が備える撮像素子及びレンズ104は、上述のような範囲の画像の撮像を行えるようになっているものとする。
撮像素子12は、咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含んだ静止画像の画像データを連続して生成する。例えば、50mm秒ごとに連続して生成される画像データは、上述したように、無反射画像の画像データとなる。
撮像素子が連続して生成した、静止画像についてのデータは、インターフェイス114、入力部121を介して制御部122へと送られ、上述したように、制御部122から、出力部124、インターフェイス114を介してディスプレイ101へと略実時間で送られる。
ディスプレイ101には、撮像素子が撮像を行っている最中の無反射画像の事実上の動画が、略実時間で表示される。図8に示したように、コンピュータ装置100の筐体において、ディスプレイ101がレンズ104の裏側に存在する場合であれば、つまり、コンピュータ装置100におけるカメラがいわゆるアウトカメラなのであれば、被験者以外の第三者は、ディスプレイ101に表示される動画を見ながら撮像を行うことにより、被験者の咽頭後壁部、左右の前口蓋弓、及び口蓋垂が画像中に写り込んでいるかを、常に確認することができる。
逆に、コンピュータ装置100におけるカメラが、筐体の同じ面にレンズ104とディスプレイ101が存在するいわゆるインカメラの構成を採用しているのであれば、コンピュータ装置100を把持して撮像を行う被験者自身が、撮像中の動画を、ディスプレイ101にて確認することが可能となる。
無反射画像の画像データは、また、出力部124から送受信機構へ送られ、処理選択データの種類にもよるが、第1実施形態の場合と同じように、そこからインターネットを介して、画像診断の行われる場所へ送られる。
もちろん、処理選択データが、画像データをコンピュータ装置100内に記録する、というものであった場合には、画像データは、コンピュータ装置100内の画像データ記録部123に記録される。
画像データに基づく画像診断の方法は、第1実施形態で説明した通りであるが、変形例1の場合の画像診断は、無反射画像のみでの画像診断となる。
≪第2実施形態≫
第2実施形態について説明する。
第2実施形態のカメラ1は、第1実施形態のカメラ1と同様に、画像診断用の画像を撮像するためのものである。もっとも、第2実施形態のカメラ1の撮像対象は、必ずしも口腔内とは限らず、鼻腔内でも良いし、もっといえば、身体の一部である必要もない。第2実施形態のカメラ1の撮像対象は、例えば、一般的な一眼レフカメラやミラーレスカメラと同様、風景や、スポーツシーンや、自動車、列車、動物等であっても良い。被写体の動きが早い場合の撮像に、第2実施形態のカメラ1は向いている。
とはいえ、第2実施形態のカメラ1は、第1実施形態の場合と同様に、呼吸器感染症についての画像診断を行うためのカメラであるものとする。
第2実施形態のカメラ1は、第1実施形態の場合と同様に、図1に示したように構成されており、第1実施形態の場合と同様に、コンピュータ装置100とともに用いられる。
第2実施形態のカメラ1の構成は、回路13を除いて第1実施形態の場合と同じとすることができ、この実施形態ではそうされている。
異なるのは、第2実施形態のカメラ1の回路13には、第1実施形態には存在しなかった上書き記録部が内蔵されているという点、及び第2実施形態のカメラ1におけるスイッチ15を操作したときのカメラ1の動作が、第1実施形態の場合と異なるという点である。
なお、第2実施形態のカメラ1の撮像素子12及びレンズ11は、少なくとも咽頭後壁部或いはその一部の撮像を行えるようなものとなっていれば良いが、この実施形態では、第1実施形態の場合と同じく、咽頭後壁部、左右の前口蓋弓、及び口蓋垂を撮像できるようになっている。
上書き記録部は、撮像素子12が連続して生成した画像データを記録する記録媒体である。具体的には、撮像素子12が連続して生成した静止画像についての画像データを、古いものから順に上書きしながら所定時間分記録する。上書き記録部は、この実施形態ではリングバッファであるが、撮像素子12が連続して生成した静止画像についての画像データを、古いものから順に上書きしながら所定時間分記録するという機能は、リングバッファによらずとも、例えば、一般的なメモリであるRAMによっても達成することができる。
撮像素子12が撮像して静止画像の画像データを生成する時間間隔は第1実施形態に倣うことができる。上書き記録部に記録される画像データは、その時点から過去に遡って、0.3秒から1秒分、好ましくは0.5秒±0.1秒分とする。その程度の時間分遡って、後述するように画像データを選択することができるようになっていれば、後述するスイッチ15を操作することにより、スイッチ15を操作した者が撮りたかった静止画像が、高い確率で、上書き記録部に存在していることになる。この実施形態では、常に過去0.5秒間分の静止画像の画像データが、上書き記録部に記録された状態が保たれるようになっている。撮像素子12が50mm秒毎に撮像を行い、静止画像についての画像データを生成するようになっているとすれば、上書き記録部には常に、10個の画像データが記録された状態が保たれる。この限りではないが、この実施形態では、上書き記録部にはその時点から過去0.5秒間分の静止画像についての画像データが記録されるものとし、また、撮像素子における画像データの生成間隔は、50mm秒であるものとする。
第1実施形態のスイッチ15は、撮像素子12に撮像を開始させるとともに、第1光源31aと第2光源31bの点灯、消灯を開始させる機能を有していた。
これに対して、第2実施形態におけるスイッチ15は、スイッチ15を操作した瞬間に、上書き記録部に記録されている画像データの上書きを中止する機能を有している。ただし、スイッチ15を操作した瞬間の直後の撮像素子12の撮像のタイミングで生成された画像データは、最も古い画像データに上書きされた状態で、上書き記録部に記録されても良い。
第2実施形態のコンピュータ装置100は基本的に第1実施形態のコンピュータ装置100と同じである。そのハードウェア構成は、図4に示した、第1実施形態のコンピュータ装置100の場合と同じである。
また、第2実施形態のコンピュータ装置100内に生成される機能ブロックは、第1実施形態の場合と同様であり、図5に示した通りである。第2実施形態における各機能ブロックの機能は、第1実施形態におけるそれらの機能と概ね同じで良く、この実施形態ではそうされている。ただし、第2実施形態のコンピュータ装置100では、変形例1のコンピュータ装置100の場合と同じく、カメラの撮像素子12で撮像中の連続した静止画像が、事実上の動画像として、略実時間でコンピュータ装置100のディスプレイ101に表示されるようになっている。つまり、カメラ1の撮像素子12が連続して生成した静止画像についての画像データは、ケーブル16を介してコンピュータ装置100に送られる。コンピュータ装置100に送られたその画像データは、インターフェイス114、入力部121を介して制御部122が受取り、出力部124、インターフェイス114を介してディスプレイ101に送る。それにより、カメラの撮像素子12で撮像中の連続した静止画像が、事実上の動画像として、略実時間でコンピュータ装置100のディスプレイ101に表示される。
また、コンピュータ装置100の制御部122は、本願の第2発明における選択手段としての機能も有する。その機能については後述する。その機能を実現するために、後述するように、コンピュータ装置100の制御部122は、カメラ1の上書き記録部に記録されているすべての画像データを、ケーブル16、インターフェイス114、入力部121を介して読み出すことができるようになっている。
第2実施形態のカメラ1及びコンピュータ装置100の使用方法、及び動作について説明する。
第2実施形態のカメラ1及びコンピュータ装置100を用いるとき、第2実施形態のカメラ1及びコンピュータ装置100は、第1実施形態の場合と同様に、ケーブル16にて、接続される。
第2実施形態では、その状態で、カメラ1の撮像素子12は撮像を開始し、また、第1光源31aと第2光源31bとは、交互に点灯し始める。なお、カメラ1が撮像素子12による撮像と、第1光源31aと第2光源31bの交互の点灯とを開始する条件として、カメラ1に設けたスイッチ15とは別のスイッチの操作や、スイッチ15の長押し等の通常のスイッチ15の操作とは異なる操作を設定しておくことももちろん可能である。
また、第1実施形態の場合と同様に、カメラ1による被験者の口腔内の撮像を開始するのに前後して、第1実施形態の場合と同様の処理選択データの入力を行っておく。
第2実施形態のコンピュータ装置100における撮像素子12は、第1実施形態の場合と同様に、無反射画像である静止画像についての画像データと、反射画像である静止画像についての画像データとを、50mm秒毎に交互に生成する。
画像データは次々に生成され、上書き記録部に記録される。最初に画像データが生成されてから0.5秒が過ぎると、上述したように上書き記録部には常に、過去0.5秒分の10個のデータが記録された状態が保たれるようになる。また、次々に生成される画像データは、カメラ1からコンピュータ装置100に次々に送られ、ディスプレイ101上には、カメラ1の撮像素子12が撮像している静止画像が、略実時間で次々に表示されることになる。これは、ディスプレイ101上に、撮像素子12が撮像している事実上の動画が、略実時間で表示される、ということを意味する。
第2実施形態では、被験者自身、或いは、被験者を撮像する医師等の第三者が、一方の手でカメラ1を把持し、また、もう一方の手でコンピュータ装置100を把持する。両手を用いて、カメラ1の開口21を被験者の口腔内に向け、また、コンピュータ装置100のディスプレイ101を見る。
そうすることにより、撮像を行う被験者、または医師等の第三者は、ディスプレイ101に表示されているその時点における動画像を確認しながら、カメラ1での撮像を行えるようになる。
被験者は、声を出しながら息を吸い込む。そうすると、咽頭後壁部及びその周辺が、口腔外から観察可能に口腔内で覗く。その瞬間を確認した撮像を行う被験者、または医師等の第三者はスイッチ15を操作する。スイッチ15を操作する、つまり、スイッチ15を押すタイミングは、撮像を行う者が、咽頭後壁部、左右の前口蓋弓、及び口蓋垂を撮像するのに相応しいと判断した瞬間で良い。つまり、一般的なカメラのシャッター手段を操作するのと同様の感覚で、撮像を行う者はスイッチ15を操作すれば良い。
被験者がスイッチ15を操作すると、上述したように、スイッチ15からの入力は、回路13に伝わり、上書き記録部は、画像データの上書きを中止する。これにより、上書き記録部には、スイッチ15を押した瞬間から、概ね過去0.5秒間に撮像素子12によって撮像された静止画像の画像データが残ることになる。
上書き記録部に残っている静止画像についての画像データには、高い確率で、咽頭後壁部、左右の前口蓋弓、及び口蓋垂が写り込んでおり、且つピントの合った静止画像についての画像データが含まれている。
なぜなら、ここに記録されているデータは、少なくとも最後の1つの画像データを除いては、スイッチ15を押す前のカメラ1に手ぶれの生じにくい状態で撮像された静止画像の画像データであるからである。また、一般的に人間の反応速度には0.2秒(超人的な者でも0.1秒)程度の遅延があるところ、スイッチ15を操作した時点から過去0.5秒分の複数の画像データのうちの任意のものを選択できるのであれば、その中に、本来撮像すべきタイミングで撮像された静止画像についての画像データが存在することが殆どであるからある。このような理由から、上書き記録部に残すべき過去の画像データは、最低0.3秒分、長くても1秒分あれば十分であり、0.5秒±0.1秒分程度が好ましい。
スイッチ15を操作したら、被験者又は医師等の第三者は、コンピュータ装置100を操作する。
この実施形態では、被験者又は医師等は、コンピュータ装置100の指示に従い、入力装置102を操作して、コンピュータ装置100に、カメラ1の上書き記録部に記録部に記録されているすべての画像データを読み込ませる。入力装置102から入力された「上書き記録部に記録された画像データを読み込め」という指示についてのデータは、インターフェイス114、入力部121を介して制御部122に送られ、そのデータを受取った制御部122が、ケーブル16を介して、カメラ1の上書き記録部に記録されていたすべての、つまりこの実施形態であれば10個の画像データを読み込む。
被験者又は医師等は、コンピュータ装置100の入力装置102を操作することにより、コンピュータ装置100のディスプレイ101に、10個の画像データに基づく静止画像を、例えば1つずつ表示することができる。静止画像のディスプレイ101への表示は、制御部122が、出力部124、インターフェイス114を介してディスプレイ101に画像データを送ることによって行うことができる。
ディスプレイ101に表示される10個の静止画像のうち5つは、無反射画像である静止画像であり、残りの5つは、反射画像である静止画像である。被験者又は医師等は、無反射画像である静止画像と反射画像である静止画像それぞれの中から、撮像範囲が正しく、且つピントの合っているものを少なくとも1つずつ選択する。かかる選択は、入力装置102からの入力によって行うことができる。
そのようにして選択された無反射画像である静止画像についての画像データ少なくとも1つ(せいぜい、1つから3つ程度)と、反射画像である静止画像についての画像データ少なくとも1つ(せいぜい、1つから3つ程度)とは、処理選択データが、「コンピュータ装置100から、画像診断を行う場所へと画像データを送信する」というものであった場合には、第1実施形態の場合と同様にして、制御部122から出力部124、インターフェイス114、送受信機構、インターネットを介して、画像診断を行う場所へと送られる。
また、無反射画像である静止画像についての画像データ少なくとも1つと、反射画像である静止画像についての画像データ少なくとも1つとは、処理選択データが、「画像データを画像データ記録部123へ記録する」というものであった場合には、第1実施形態の場合と同様にして、制御部122から画像データ記録部123へと送られ、画像データ記録部123に記録される。
以後の、画像データの利用方法は、第1実施形態と同様である。
なお、この実施形態では、スイッチ15が押された後における上書き記録部に記録された複数の画像データの中からの、画像診断の行われる場所へ送信される(又は画像データ記録部123に記録される)画像データの選択は、カメラ1及びコンピュータ装置100を操作する者の判断による手入力によって行われていた。
他方、スイッチ15が操作された後の上書き記録部から制御部122への画像データの読み込み、或いは上書き記録部から制御部122へ読み込まれた複数の画像データの中からの画像データの選択を、制御部122が自動的に行うようにしても良い。
上書き記録部から制御部122へ読み込まれた複数の画像データの中から制御部122が画像データを選択するための条件としては、撮像範囲が正しく、且つピントが合っているというものを用いることができる。撮像範囲が正しいか否かは、公知或いは周知の画像認識技術を用いれば容易に判定可能である。また、ピントが合っているか否かは、公知或いは周知のエッジ検出技術を用いれば容易に判定可能である。また、かかる判定に、人工知能或いは人工知能を用いた機構を用いることも可能である。
なお、この実施形態では、上書き記録部に記録された複数の画像データからの画像診断の行われる場所へ送信される(又は画像データ記録部123に記録される)画像データの選択はコンピュータ装置100にて行われていた。しかしながら、この選択を、カメラ1側で行うようにすることも可能である。
ただし、カメラ1を操作する者が手入力によりその選択を行う場合には、カメラ1自体に、スイッチ15を操作した直後の段階で上書き記録部に記録されている複数の画像データによる画像のすべてを、例えば1つずつすべて表示するためのディスプレイをカメラ1自体に設けること、及びそのような表示と、画像データの選択を行うための入力を行うための入力装置をカメラ1自体に設けること、の双方が必要となろう。他方、そのような選択を自動的に行うのであれば、コンピュータ装置100の制御部122が実行した上述の処理を自動的に行う機構を、カメラ1の例えば回路13中に設けておけば、上述したディスプレイも、入力装置も省略することができる。
また、変形例1で説明したように、第2実施形態でも、カメラ1を省略して、コンピュータ装置100に、カメラ1の機能を兼ねさせることも可能である。この場合には、コンピュータ装置100はそもそもディスプレイも、入力装置も備えているのであるから、上書き記録部に記録された複数の画像データからの画像診断の行われる場所へ送信される(又は画像データ記録部123に記録される)画像データの選択は、手入力によるにしろ、自動的な選択がなされるにせよ、コンピュータ装置100で実行するに問題はない。
ただし、カメラ1の機能をコンピュータ装置100が担うことによりカメラ1が省略される場合には、コンピュータ装置100のカメラで撮像される静止画像はすべて、無反射画像についてのものとなるので、上述の選択は、無反射画像の静止画像についての画像データの中でのみ行われることになる。
≪第3実施形態≫
第3実施形態では、学習済みモデルを用いた呼吸器感染症に関する自動診断装置(以下、単に「自動診断装置」と称する場合がある。)について説明する。
自動診断装置は、後述するように、学習済みモデルを含んでいる。したがって、自動診断装置を得るにはまず、学習済みモデルを得る必要がある。この実施形態では、学習済みモデルを得るために必要な装置を、便宜上学習装置と称することとする。
上述したように、自動診断装置を成立させるには、自動診断装置に加え、学習装置が必要となる。しかしながら、自動診断装置と、学習装置とは、必要なハードウェア構成は同じとすることができるので、それらにインストールするコンピュータプログラムを適宜なものとすることにより、1つの装置にまとめることが可能である。
自動診断装置、学習装置はともに、コンピュータ装置を含んでいる。このコンピュータ装置は、第1実施形態、第2実施形態でいうコンピュータ装置100とは異なるものである。
自動診断装置と学習装置とに含まれるコンピュータ装置は同じ構成とすることができ、この実施形態では同じである。
(学習装置について)
ハードウェア的に見れば自動診断装置の構成も同じであるが、取り敢えず、学習装置のハードウェア構成につて説明する。
とはいえ、ハードウェア構成に関しては、第3実施形態のコンピュータ装置のハードウェアは通り一遍のものであり、第1実施形態で説明した、図4に示したコンピュータ装置100におけるハードウェア構成と変わりがない。ただし、第3実施形態におけるコンピュータ装置では、第1実施形態におけるコンピュータ装置100とは異なり、HDD、SSD(Solid State Drive)その他の大容量記録装置を備えている。
大容量記録装置の符号を115とし、その他の符号は図4に示したままとして、学習装置を構成するコンピュータ装置のハードウェアについて説明する。
学習装置を構成するハードウェアには、CPU111、ROM112、RAM113、インターフェイス114、大容量記録装置115が含まれており、これらはバス116によって相互に接続されている。インターフェイス114には、送受信機構が接続されており、インターネットを介しての通信を行えるようになっているが、この機能は、コンピュータ装置が学習装置として機能する場合には遊んでおり、コンピュータ装置が自動診断装置として機能する場合にのみ機能する。インターフェイス114には、入力装置、ディスプレイ等が接続されていても構わないし実際にはそれらが接続されていることが大半であろうが、学習装置、或いは自動診断装置として機能する場合のコンピュータ装置では、それらは大きな意味を持たないので、それらについての言及は行わない。
CPU111、ROM112、RAM113、インターフェイス114、バス116の機能は、第1実施形態の場合と変わらない。大容量記録装置115には、コンピュータ装置を学習装置として機能させるためのコンピュータプログラム及び必要なデータが記録されている。このコンピュータプログラムとデータの少なくとも一部は、ROM112、RAM113に記録されていても良い。
コンピュータ装置を学習装置として機能させるために必要な後述の処理をコンピュータ装置に実行させるためのコンピュータプログラムは、コンピュータ装置にプリインストールされていたものであっても良いし、ポストインストールされたものであっても良い。このコンピュータプログラムのコンピュータ装置へのインストールは、メモリカード等の図示を省略の所定の記録媒体を介して行なわれても良いし、LAN或いはインターネットなどのネットワークを介して行なわれても構わない。もちろん、コンピュータプログラムには、上記コンピュータプログラムの他、OSその他の必要なコンピュータプログラムが含まれていても構わない。
以上説明したコンピュータ装置は以下の機能ブロックによって、学習装置として機能するために必要な処理を実行する。
CPU111がコンピュータプログラムを実行することにより、コンピュータ装置内部には、図9で示されたような機能ブロックが生成される。なお、以下の機能ブロックは、コンピュータ装置に、コンピュータ装置が学習装置として機能するために必要な以下に述べるような処理を実行させるための上述のコンピュータプログラム単体の機能により生成されていても良いが、上述のコンピュータプログラムと、コンピュータ装置にインストールされたOSその他のコンピュータプログラムとの協働により生成されても良い。
コンピュータ装置内には、本願発明の機能との関係で、学習データ記録部311、特徴量抽出部312、学習中モデル部313、正誤判定部314が生成される。
学習データ記録部311には、学習中モデル部313が機械学習に用いるためのデータが記録されている。
学習データ記録部311に記録されているのデータを概念的に図10に示す。
学習データ記録部311に記録されているのは、多数の画像データである。
画像データは、被験者の、咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含む撮像部位が写り込んだ静止画像についてのデータである画像データ400である。この例では、略同時に、略同じ位置について撮像された(例えば、第2実施形態で説明したカメラ1及びコンピュータ装置100を用いて生成され、選択された)、無反射画像の静止画像である画像400Aについての画像データと、反射画像の静止画像である画像400Bについての画像データとが、対にされた状態で記録されている。
また、各画像データ400には、当該画像データ400に写り込んだ撮像部位を持つ被験者が、新型コロナウイルス感染者、呼吸器感染症に関するその他のウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるかを示すタグ410のデータが、互いに対応付けられた状態で付されている。タグ410のデータには、その被験者の性別、年齢、人種、症状の程度等の他の情報が含まれていても構わない。図10に示した例では、性別の情報がタグ410に含まれている。
なお、無反射画像の画像400A中、Aの符号が付されているのが舌、Bの符号が付されているのが咽頭後壁部、Cの符号が付されているのが左右の前口蓋弓、Dの符号が付されているのが口蓋垂である。
画像データ400は、無反射画像の画像400Aとタグ410のデータだけでもよい。その場合には、反射画像の画像400Bの画像データは、学習データ記録部311には存在しない。
特徴量抽出部312は、学習データ記録部311から画像データを、それと紐付けられたタグとともに読み出し、無反射画像の画像400Aと反射画像の画像400Bの特徴量を抽出する機能を有している。
無反射画像の画像400Aから抽出すべき特徴量と、反射画像の画像400Bから抽出すべき特徴量とは、同じでも良いし、同じでなくても良い。
無反射画像の画像400Aから、抽出すべき特徴量は、画像400Aに写り込んだ咽頭後壁部、左右の前口蓋弓、及び口蓋垂のそれぞれにおける色彩或いは血管像、又は、それらの双方である。それに加えて、無反射画像の画像400Aにおける咽頭後壁部の或いは、咽頭後壁部、左右の前口蓋弓、及び口蓋垂のそれぞれにおける凹凸をも特徴量としても良い。反射画像の画像400Bについても同様である。
例えば、無反射画像の画像400Aから抽出すべき特徴量を、画像400Aに写り込んだ咽頭後壁部、左右の前口蓋弓、及び口蓋垂のそれぞれにおける色彩及び血管像の双方、及び咽頭後壁部の凹凸とすることができる。同様に、反射画像の画像400Bから、抽出すべき特徴量を、無反射像の画像400Aの場合と同じく、画像400Bに写り込んだ咽頭後壁部、左右の前口蓋弓、及び口蓋垂のそれぞれにおける色彩及び血管像の双方、及び咽頭後壁部の凹凸とすることができる。
無反射画像の画像400Aから抽出すべき特徴量と、反射画像の画像400Bから抽出すべき特徴量を異ならせる場合には、無反射画像の画像400Aからは咽頭後壁部、左右の前口蓋弓、及び口蓋垂のそれぞれにおける色彩や血管像の把握を行いやすく、反射画像の画像400Bからは咽頭後壁部、左右の前口蓋弓、及び口蓋垂のそれぞれにおける凹凸の把握を行いやすいことを考慮して、例えば、無反射画像の画像400Aから、咽頭後壁部、左右の前口蓋弓、及び口蓋垂のそれぞれにおける色彩と血管像の少なくとも一方を特徴量として抽出するとともに、反射画像の画像400Bから、咽頭後壁部の或いは、咽頭後壁部、左右の前口蓋弓、及び口蓋垂のそれぞれにおける凹凸を特徴量として抽出するようにすることができる。
これには限られないが、この実施形態では、無反射画像の画像400Aから、咽頭後壁部、左右の前口蓋弓、及び口蓋垂のそれぞれにおける色彩と血管像の双方を特徴量として抽出するとともに、反射画像の画像400Bから、咽頭後壁部の凹凸を特徴量として抽出することとしている。
なお、学習データ記録部311に記録されている画像データ400に無反射画像の画像400Aしか含まれていない場合には、特徴量抽出部312は、無反射画像の画像400Aのみから、無反射画像の画像400Aについて説明した上述したいずれかの特徴量を抽出するようにする。
無反射画像の画像400Aから、画像400Aに写り込んだ咽頭後壁部、左右の前口蓋弓、及び口蓋垂のそれぞれにおける色彩及び血管像の双方を特徴量として抽出する技術としては、公知、或いは周知のものを用いれば良い。
無反射画像の画像400Aから、画像400Aに写り込んだ咽頭後壁部、左右の前口蓋弓、及び口蓋垂のそれぞれにおける色彩及び血管像の双方、及び咽頭後壁部の凹凸を特徴量として抽出する場合には、まず、例えば、公知或いは周知のエッジ検出の技術を用いて、画像400Aの中から、咽頭後壁部、左右の前口蓋弓、及び口蓋垂の範囲を抽出する。
咽頭後壁部、左右の前口蓋弓、及び口蓋垂のそれぞれの範囲の色彩を特徴量として抽出するには、例えば、咽頭後壁部、左右の前口蓋弓、及び口蓋垂のそれぞれの範囲に含まれる各画素の色彩を表すデータ(例えば、RGB値)の平均値を取ることにより、咽頭後壁部、左右の前口蓋弓、及び口蓋垂のそれぞれの範囲の色彩を抽出することができる。色彩の認識には、Lab色空間の技術を用いても良い。
また、咽頭後壁部、左右の前口蓋弓、及び口蓋垂のそれぞれの範囲の血管像を特徴量として抽出するには、咽頭後壁部、左右の前口蓋弓、及び口蓋垂のそれぞれの範囲の中で、より精度の高いエッジ検出を行うことにより、血管の輪郭を抽出し、それにより血管像を特徴として抽出する。血管像を特徴として抽出する場合には、例えば、画像400Aの、咽頭後壁部、左右の前口蓋弓、及び口蓋垂の各範囲における血管の太さ(例えば、血管の太さの平均、血管の最大太さ等)や、血管の本数、或いは、ある程度の太さよりも細い血管の本数、血管の合算の長さ等の少なくとも1つを抽出するようにすることができる。
反射画像の画像400Bから、咽頭後壁部の凹凸を特徴量として抽出する場合も、公知或いは周知技術を用いてそれをなすことができる。反射画像の画像400Bから、咽頭後壁部の凹凸を特徴量として抽出する場合には、無反射画像の画像400Aの場合と同様に、まず、例えば、エッジ検出の技術を用いて、画像400Bの中から咽頭後壁部の写り込んでいる範囲を特定する。
そして、画像400B中の咽頭後壁部の範囲の中で、例えば、体液によって生じた光の反射によって白く光っている部分を凸部の一部としてその数をカウントすることによって、咽頭後壁部の凹凸を検出することができる。
特徴量抽出部312は、無反射画像である画像400Aと、反射画像である画像400Bについて抽出した特徴量を、画像データに付されていたタグ410のデータとともに学習中モデル部313に送る。
学習中モデル部313は、教師あり学習を行う一般的な人工知能である。
学習中モデル部313は、特徴量抽出部312から受取った特徴量を、画像データに付されたタグ410とともに入力され、学習を行うようになっている。
学習中モデル部313には、「新型コロナウイルス感染者」とのタグが付された特徴量、「呼吸器感染症に関するその他のウイルス・細菌の感染者」のタグが付された特徴量と、「呼吸器感染症に関するウイルス・細菌の非感染者」のタグが付された特徴量がそれぞれ、例えば、数十個から数千個入力されることにより、「新型コロナウイルス感染者」の被験者についての画像データの特徴量と、「呼吸器感染症に関するその他のウイルス・細菌の感染者」の被験者についての画像データの特徴量と、「呼吸器感染症に関するウイルス・細菌の非感染者」の被験者についての画像データの特徴量と、をそれぞれ学習する。
それにより、学習中モデル部313は、タグの付されていない状態で画像データの特徴量を入力された場合に、学習によって構成されたパラメータに基づいて、画像データに写り込んだ撮像部位を持つ被験者が、新型コロナウイルス感染者と、呼吸器感染症に関するその他のウイルス・細菌の感染者と、呼吸器感染症に関するウイルス・細菌の非感染者のうちのどれであるかということを示す推定結果を出力するものとなる。
正誤判定部314は学習中モデル部313の推定結果の精度をより上げるために用いられる。
その場合、ある程度の学習が終わった学習済みモデル部313にタグ410の付されていない状態で特徴量を入力し、推定結果を出力させ、それを正誤判定部314に送る。他方、正誤判定部314は、学習中モデル部313に送られた特徴量に付されていたタグ410を学習データ記録部311から読み出し、推定結果が正しいか否かを判定する。正誤判定部314は、推定結果の正誤にしたがって、或いは、推定結果の正しさの割合にしたがって、推定結果がより正しいものとなるように、学習中モデル部313におけるパラメータを修正する。
もっとも、正誤判定部314及びそれが行う上述の処理は、省略することも可能である。
学習中モデル部313の推定結果の精度が殆ど上がらなくなったら、学習中モデル部313は機械学習を終えた、と判断することができる。
それにより、学習中モデル部313は、呼吸器感染症に関するウイルス・細菌に感染していない者においては、咽頭後壁部、左右の前口蓋弓、及び口蓋垂の色彩はいずれも、通常の色彩、一般的には薄いピンク色であるのに対して、呼吸器感染症に関する新型コロナウイルス以外のウイルス・細菌に感染している者においては、咽頭後壁部、左右の前口蓋弓、及び口蓋垂の色彩がいずれも、粘膜が発赤して赤色を呈し、新型コロナウイルスに感染している者においては、咽頭後壁部と左右の前口蓋弓はいずれも発赤して赤色を呈するものの、口蓋垂の色彩は、ウイルス・細菌に感染していない健常者と同様の薄いピンク色か、場合によってはそれよりも薄い、より白色に近いピンク色を呈する、とうことを学習する。また、上述した発赤して赤色を呈する部分においては、毛細血管の増殖や拡張が生じているということも学習する。
機械学習を終えた学習済みモデル部313が、呼吸器感染症に関する自動診断用の学習済みモデルである。
(自動診断装置について)
次に、自動診断装置について説明する。
自動診断装置は、上述したように、コンピュータ装置により構成される。そして、自動診断装置300は、図11に示したように、ネットワークであるインターネット400を介して、カメラ1に接続されたコンピュータ装置100と接続した状態で用いられる。自動診断装置300は、カメラ1及びコンピュータ装置100との協働により、自動診断システムを構成する。もちろん、各々がカメラ1と接続された複数のコンピュータ装置100が自動診断装置300に接続されることも可能である。場合によっては、カメラ1の機能を兼ね備える変形例1で説明した如き構成を備えるコンピュータ装置100が、インターネット400を介して自動診断装置に接続されることもあり得る。
カメラ1は、第2実施形態で説明したものであるとする。第3実施形態では、自動診断装置300には、カメラ1から、被験者の撮像部位が写り込んだ無反射画像及び反射画像である画像各1つずつの画像データが、コンピュータ装置100とインターネット400を介して送られてくるものとする。
自動診断装置300を構成するコンピュータ装置のハードウェア構成は、学習装置と同じである。ただし、主に大容量記録装置115に記録されているコンピュータプログラム及びデータが、自動診断装置300と学習装置では異なる。
コンピュータ装置を自動診断装置として機能させるために必要な後述の処理をコンピュータ装置に実行させるためのコンピュータプログラムは、コンピュータ装置にプリインストールされていたものであっても良いし、ポストインストールされたものであっても良い。このコンピュータプログラムのコンピュータ装置へのインストールは、メモリカード等の図示を省略の所定の記録媒体を介して行なわれても良いし、LAN或いはインターネットなどのネットワークを介して行なわれても構わない。
以上説明した自動診断装置を構成するコンピュータ装置は以下の機能ブロックによって、自動診断装置として機能するために必要な処理を実行する。
CPU111がコンピュータプログラムを実行することにより、コンピュータ装置内部には、図12で示されたような機能ブロックが生成される。なお、以下の機能ブロックは、コンピュータ装置に、コンピュータ装置が自動診断装置として機能するために必要な以下に述べるような処理を実行させるための上述のコンピュータプログラム単体の機能により生成されていても良いが、上述のコンピュータプログラムと、コンピュータ装置にインストールされたOSその他のコンピュータプログラムとの協働により生成されても良い。
コンピュータ装置内には、本願発明の機能との関係で、入力部321、特徴量抽出部322、学習済モデル部323、出力部324が生成される。
入力部321は、インターフェイスと接続されている。インターフェイスは、更に図示を省略の送受信機構と接続されている。送受信機構は、インターネット400を介して送られてきた、カメラ1で生成され、コンピュータ装置100が送信した、被験者の撮像部位が写り込んだ、一対の無反射画像と反射画像の静止画像についての画像データを受取るようになっている。
入力部321は、送受信機構が受取ったその画像データを、インターフェイスから受取るようになっている。
特徴量抽出部322は、学習装置における特徴量抽出部312と同様に、受取った一対の無反射画像と反射画像の静止画像についての画像データから、特徴量の抽出を行う。
特徴量抽出部322が抽出する特徴量は、学習装置の特徴抽出部312において抽出された特徴量と同じとする。特徴量の抽出方法も同じである。
特徴量抽出部322は、生成した特徴量のデータを学習済モデル部323に送るようになっている。
学習済モデル部323は、機械学習を終えた学習装置における学習中モデル部313であり、学習によって構成されたパラメータを含んでいる。
学習済モデル部323は、学習中モデル部313がそうであったように、特徴量のデータの入力を受取ると、推定結果を出力するようになっている。推定結果は、上述したように、特徴量が抽出された一対の無反射画像と反射画像の静止画像についての画像データに写り込んだ撮像部位を持つ被験者が、新型コロナウイルス感染者と、呼吸器感染症に関するその他のウイルス・細菌の感染者と、呼吸器感染症に関するウイルス・細菌の非感染者のうちのどれであるかということを示すものとなる。
もちろんこの限りではないが、この実施形態では推定結果は、被験者が新型コロナウイルス感染者であると推定された場合には、「新型コロナウイルス感染者」というテキストデータ、被験者が新型コロナウイルス以外の呼吸器感染症に関するウイルス・細菌の感染者であると推定された場合には、「新型コロナウイルス以外のウイルス・細菌の感染者」というテキストデータ、被験者が呼吸器感染症に関するウイルス・細菌の非感染者であると推定された場合には、「非感染者」というテキストデータであるものとする。
学習済モデル部323から出力された推定結果のデータは、出力部324に送られるようになっている。
出力部324は、インターフェイスを介して送受信機構と接続されている。
出力部324は、受取った推定結果のデータを、インターフェイスを介して送受信機構へ送るようになっている。送受信機構は、受取った推定結果のデータを、インターネット400を介して、その推定結果生成のきっかけとなった画像データの送信元であったコンピュータ装置100に対して送信するようになっている。
コンピュータ装置100は、その送受信機構で推定結果のデータを受取る。推定結果のデータは、インターフェイス114を介して入力部121へと送られ、制御部122、出力部124、インターフェイス114を介してディスプレイ101へと送られる。
ディスプレイ101には、推定結果のデータに基づく表示、つまり、上述の3つのテキストデータに基づく、「新型コロナウイルス感染者」、「新型コロナウイルス以外のウイルス・細菌の感染者」、「非感染者」のいずれかの表示がなされる。
それにより、被験者は、自身が、被験者が新型コロナウイルス感染者、新型コロナウイルス以外の呼吸器感染症に関するウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるのかを知ることができる。
このような自動診断を、カメラ1とコンピュータ装置100を学校、レストラン、百貨店やスーパーマーケット、或いは映画館等の施設に配することによって行い、非感染者のみを施設に入場させるとすれば、その施設の中は安心できる空間となる。また、このようなカメラ1とコンピュータ装置100(或いは、変形例1で説明したコンピュータ装置100単体)を各家庭に配することとすれば、各家庭の家族は、例えば外出前に、新型コロナウイルスの感染確認を行えるようになる。
しかも、新型コロナウイルスの感染に対する免疫反応に起因して生じる発赤や血管像の変化は、新型コロナウイルスの症状が出るよりも早く生じるので、新型コロナウイルスの無症状感染者が、感染を広めるという事態を効果的に防ぐことができるようになる。
1 カメラ
10 把持部
11 レンズ
12 撮像素子
13 回路
16 ケーブル
19 隔壁
20 頭部
31a 第1光源
31b 第2光源
32 第1偏光板
33 第2偏光板
100 コンピュータ装置
121 入力部
122 制御部
123 画像データ記録部
124 出力部
311 学習データ記録部
312 特徴量抽出部
313 学習中モデル部
314 正誤判定部
321 入力部
322 特徴量抽出部
323 学習済モデル部
324 出力部

Claims (23)

  1. 口腔内に照明光を照射する光源と、前記照明光が口腔内で反射することによって生じた像光を通過させるレンズと、前記レンズを通過した像光を撮像して得た画像についての画像データを生成する撮像素子とを有する、口腔外から口腔内を撮像するカメラであって、
    前記レンズ、及び前記撮像素子は、前記像光に基づいて前記撮像素子によって撮像される画像が、咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含むものとなるようになっている、
    カメラ。
  2. 前記照明光を通過させて、偏光方向が所定方向である直線偏光とする第1偏光板と、前記像光を通過させる、偏光方向が前記第1偏光板と直交する第2偏光板とを備えている、
    請求項1記載のカメラ。
  3. 前記光源は、その光源から出た前記照明光が前記第1偏光板を通過してから口腔内に向かう第1光源と、その光源から出た前記照明光が前記第1偏光板を通過せずに前記口腔内に向かう第2光源であって、前記第1光源と択一的に発光するものとを含んでいるとともに、
    前記撮像素子は、前記第1光源から口腔内に照射された前記照明光によって生じる前記像光により撮像される無反射画像と、前記第2光源から口腔内に照射された前記照明光によって生じる前記像光により撮像される反射画像との双方を撮像するようになっている、
    請求項2記載のカメラ。
  4. ユーザが操作することにより前記撮像素子が静止画像である画像についての画像データを生成するシャッター手段を有しているとともに、
    前記シャッター手段を一回操作することにより、静止画像である前記無反射画像の画像データと、静止画像である前記反射画像の画像データとの双方を、少なくとも1つずつ生成するようになっている、
    請求項3記載のカメラ。
  5. 対象物からの像光を通過させるレンズと、レンズを通過した像光を撮像して得た画像についての画像データを生成する撮像素子とを有する、カメラであって、
    前記撮像素子は、所定時間ごとに静止画像についての画像データを連続して生成するようになっているとともに、
    前記画像データを、古いものから順に上書きしながら所定時間分記録する上書き記録部と、
    ユーザが操作することにより、前記上書き記録部上の前記画像データの上書きを停止させるシャッター手段と、
    前記シャッター手段を操作した後に、その時点で前記上書き記録部上にある画像データのうちの任意のものを選択する選択手段と、
    を備えている、カメラ。
  6. 前記カメラは、口腔外から口腔内を撮像するものとされており、
    口腔内に照明光を照射する光源を備えており、
    前記レンズ、及び前記撮像素子は、前記像光に基づいて前記撮像素子によって撮像される画像が、咽頭後壁部を含むものとなるようになっている、
    請求項5記載のカメラ。
  7. 前記選択手段で選択された画像データを外部に送信する送信手段を備えている、
    請求項5又は6記載のカメラ。
  8. 前記上書き記録部は、リングバッファである、
    請求項5又は6記載のカメラ。
  9. 前記照明光を通過させて、偏光方向が所定方向である直線偏光とする第1偏光板と、前記像光を通過させる、偏光方向が前記第1偏光板と直交する第2偏光板とを備えている、
    請求項5記載のカメラ。
  10. 前記光源は、その光源から出た前記照明光が前記第1偏光板を通過してから口腔内に向かう第1光源と、その光源から出た前記照明光が前記第1偏光板を通過せずに前記口腔内に向かう第2光源であって、前記第1光源と択一的に発光するものとを含んでいるとともに、
    前記撮像素子は、前記第1光源から口腔内に照射された前記照明光によって生じる前記像光により撮像される無反射画像と、前記第2光源から口腔内に照射された前記照明光によって生じる前記像光により撮像される反射画像との双方を撮像するようになっている、
    請求項9記載のカメラ。
  11. 前記第1光源と前記第2光源とは、前記撮像素子で生成される画像データに基づく画像が、交互に、前記第1光源からの照明光による静止画像と、前記第2光源からの照明光による静止画像となるようなタイミングで、交互に点灯するようになっている、
    請求項10記載のカメラ。
  12. 前記上書き記録部上にある画像データに基づく静止画像を表示するディスプレイを更に備えているとともに、
    前記選択手段は、前記上書き記録部上にある画像データの少なくとも1つを選択して特定するための入力を受け付けるためのユーザが操作する操作部を含んでいる、
    請求項5記載のカメラ。
  13. 前記選択手段は、前記上書き記録部上にある画像データのうち、撮像範囲が正しく、且つピントが合っているもの少なくとも1つを自動的に選択する、自動選択手段を含んでいる、
    請求項5記載のカメラ。
  14. 前記レンズ、及び前記撮像素子は、前記像光に基づいて前記撮像素子によって撮像される画像が、咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含むものとなるようになっている、
    請求項6記載のカメラ。
  15. 被験者の咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含む撮像部位が写り込んだ静止画像についてのデータである画像データと、当該被験者が新型コロナウイルス感染者、呼吸器感染症に関するその他のウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるかという情報を含むデータとを教師データとして機械学習させ、
    前記画像データに基づく静止画像内の咽頭後壁部、左右の前口蓋弓、及び口蓋垂それぞれの色彩を特徴量として、当該画像データに前記撮像部位を写り込ませた被験者が、新型コロナウイルス感染者、呼吸器感染症に関するその他のウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるかを推定する学習済みモデルを生成する、
    呼吸器感染症に関する自動診断用の学習済みモデルの生成方法。
  16. 前記画像データは、前記撮像部位が写り込んだ無反射画像についてのデータである、
    請求項15記載の学習済みモデルの生成方法。
  17. 前記画像データは、前記撮像部位が写り込んだ無反射画像の画像データと、前記撮像部位が写り込んだ反射画像の画像データとを一対としたものである、
    請求項15記載の学習済みモデルの生成方法。
  18. 前記画像データに基づく静止画像内の咽頭後壁部、左右の前口蓋弓、及び口蓋垂それぞれの色彩及び血管像を特徴量として、当該画像データに前記撮像部位を写り込ませた被験者が、新型コロナウイルス感染者、呼吸器感染症に関するその他のウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるかを推定する学習済みモデルを生成する、
    請求項15~17のいずれかに記載の学習済みモデルの生成方法。
  19. 前記特徴量に、前記咽頭後壁部、左右の前口蓋弓、及び口蓋垂の表面の凹凸を含む、
    請求項15~18のいずれかに記載の学習済みモデルの生成方法。
  20. 被験者の咽頭後壁部、左右の前口蓋弓、及び口蓋垂を含む撮像部位が写り込んだ静止画像についてのデータである画像データと、当該被験者が新型コロナウイルス感染者、呼吸器感染症に関するその他のウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるかという情報を含むデータとを教師データとして機械学習させることにより生成された、
    前記画像データに基づく静止画像内の咽頭後壁部、左右の前口蓋弓、及び口蓋垂それぞれの色彩又は血管像を特徴量として、当該画像データに前記撮像部位を写り込ませた被験者が、新型コロナウイルス感染者、呼吸器感染症に関するその他のウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるかを推定するための、
    呼吸器感染症に関する自動診断用の学習済みモデル。
  21. 請求項20の学習済みモデルを用いた呼吸器感染症に関する自動診断装置であって、
    呼吸器感染症の診断対象となる被験者の前記撮像部位が写り込んだ静止画像についてのデータである画像データを受付ける受付手段と、
    前記画像データに基づく静止画像内の咽頭後壁部、左右の前口蓋弓、及び口蓋垂それぞれの色彩又は血管像を特徴量として抽出する抽出手段と、
    前記学習済みモデルに、前記抽出手段で抽出された前記特徴量を入力することにより、当該画像データに前記撮像部位を写り込ませた被験者が、新型コロナウイルス感染者、呼吸器感染症に関するその他のウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるかの推定結果を出力する出力手段と、
    を備えてなる、呼吸器感染症に関する自動診断装置。
  22. 請求項20の学習済みモデルを記録した記録媒体を有するコンピュータによって実行される呼吸器感染症に関する自動診断方法であって、
    コンピュータが実行する、
    呼吸器感染症の診断対象となる被験者の前記撮像部位が写り込んだ静止画像についてのデータである画像データを受付ける受付過程と、
    前記画像データに基づく静止画像内の咽頭後壁部、左右の前口蓋弓、及び口蓋垂それぞれの色彩又は血管像を特徴量として抽出する抽出過程と、
    前記学習済みモデルに、前記抽出過程で抽出された前記特徴量を入力することにより、当該画像データに前記撮像部位を写り込ませた被験者が、新型コロナウイルス感染者、呼吸器感染症に関するその他のウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるかの推定結果を出力する出力過程と、
    を含む、呼吸器感染症に関する自動診断方法。
  23. 請求項20の学習済みモデルを用いた呼吸器感染症に関する自動診断装置として所定のコンピュータを機能させるためのコンピュータプログラムであって、
    前記コンピュータプログラムが、前記コンピュータに、
    呼吸器感染症の診断対象となる被験者の前記撮像部位が写り込んだ静止画像についてのデータである画像データを受付ける受付過程と、
    前記画像データに基づく静止画像内の咽頭後壁部、左右の前口蓋弓、及び口蓋垂それぞれの色彩又は血管像を特徴量として抽出する抽出過程と、
    前記学習済みモデルに、前記抽出過程で抽出された前記特徴量を入力することにより、当該画像データに前記撮像部位を写り込ませた被験者が、新型コロナウイルス感染者、呼吸器感染症に関するその他のウイルス・細菌の感染者、呼吸器感染症に関するウイルス・細菌の非感染者のいずれであるかの推定結果を出力する出力過程と、
    を実行させるためのコンピュータプログラム。
JP2020200137A 2020-12-02 2020-12-02 カメラ、呼吸器感染症に関する学習済みモデルの生成方法、呼吸器感染症に関する学習済モデル、呼吸器感染症に関する自動診断方法、並びにコンピュータプログラム Pending JP2022087967A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020200137A JP2022087967A (ja) 2020-12-02 2020-12-02 カメラ、呼吸器感染症に関する学習済みモデルの生成方法、呼吸器感染症に関する学習済モデル、呼吸器感染症に関する自動診断方法、並びにコンピュータプログラム
PCT/JP2021/044366 WO2022118939A1 (ja) 2020-12-02 2021-12-02 カメラ、呼吸器感染症に関する学習済みモデルの生成方法、呼吸器感染症に関する学習済モデル、呼吸器感染症に関する自動診断方法、並びにコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020200137A JP2022087967A (ja) 2020-12-02 2020-12-02 カメラ、呼吸器感染症に関する学習済みモデルの生成方法、呼吸器感染症に関する学習済モデル、呼吸器感染症に関する自動診断方法、並びにコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2022087967A true JP2022087967A (ja) 2022-06-14

Family

ID=81853386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020200137A Pending JP2022087967A (ja) 2020-12-02 2020-12-02 カメラ、呼吸器感染症に関する学習済みモデルの生成方法、呼吸器感染症に関する学習済モデル、呼吸器感染症に関する自動診断方法、並びにコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP2022087967A (ja)
WO (1) WO2022118939A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4098542B2 (ja) * 2002-03-22 2008-06-11 花王株式会社 肌色測定装置
JP5484658B2 (ja) * 2007-06-11 2014-05-07 オリンパスメディカルシステムズ株式会社 内視鏡装置及び内視鏡画像制御装置
EP3714764A4 (en) * 2017-12-28 2021-06-30 Allis Inc. ORAL PHOTOGRAPHY DEVICE, MEDICAL DEVICE AND PROGRAM
JP2019205614A (ja) * 2018-05-29 2019-12-05 デルマ医療合資会社 検査装置、拡大モジュール、制御方法および検査システム

Also Published As

Publication number Publication date
WO2022118939A1 (ja) 2022-06-09

Similar Documents

Publication Publication Date Title
JP7387185B2 (ja) 生理学的モニタのためのシステム、方法、及びコンピュータプログラム製品
Bonilha et al. Vocal fold phase asymmetries in patients with voice disorders: a study across visualization techniques
WO2017010683A1 (ko) 스마트폰 원격진료기
US20150050628A1 (en) Autism diagnosis support method and system, and autism diagnosis support device
US20170188930A1 (en) Animation-based autism spectrum disorder assessment
Bonilha et al. Phase asymmetries in normophonic speakers: visual judgments and objective findings
JP2007289658A (ja) 画像出力装置、画像出力方法、および画像出力プログラム
JP2007293818A (ja) 画像記録装置、画像記録方法、および画像記録プログラム
Koulaouzidis et al. How should we do colon capsule endoscopy reading: a practical guide
JP2007125151A (ja) 診断システム及び診断装置
JP2007289659A (ja) 画像記録装置、画像記録方法、および画像記録プログラム
Khanam et al. Noncontact sensing of contagion
JP2007289657A (ja) 画像記録装置、画像記録方法、および画像記録プログラム
JP6118917B2 (ja) 声帯粘膜運動状態を分析するための平面スキャンビデオキモグラフィーシステム及びこれを利用した声帯粘膜運動状態の分析方法
WO2022118939A1 (ja) カメラ、呼吸器感染症に関する学習済みモデルの生成方法、呼吸器感染症に関する学習済モデル、呼吸器感染症に関する自動診断方法、並びにコンピュータプログラム
JP2018512918A (ja) 平面スキャンビデオキモグラフィーと喉頭ストロボスコピー機能があるビデオ喉頭内視鏡システム
KR101908632B1 (ko) 실시간 후두스트로보스코피, 고속 후두내시경 검사, 및 평면 스캔 디지털 카이모그래피를 위한 영상 생성 시스템 및 방법
JP5276454B2 (ja) 表情測定方法、表情測定プログラムならびに表情測定装置
WO2020158720A1 (ja) 心身の状態の判定システム、判定装置、方法、コンピュータプログラム
Perry et al. Instrumental assessment in cleft palate care
JP2022055656A (ja) アシスト装置およびアシスト方法
CN208755973U (zh) 辅助中医远程诊断的装置
WO2023181417A1 (ja) 撮影装置、プログラム及び方法
WO2022252803A1 (zh) 筛查方法、设备、存储介质及程序产品
JP2022179220A (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20221201