CN115515472A - 口腔内摄像机系统以及图像显示方法 - Google Patents

口腔内摄像机系统以及图像显示方法 Download PDF

Info

Publication number
CN115515472A
CN115515472A CN202280003885.3A CN202280003885A CN115515472A CN 115515472 A CN115515472 A CN 115515472A CN 202280003885 A CN202280003885 A CN 202280003885A CN 115515472 A CN115515472 A CN 115515472A
Authority
CN
China
Prior art keywords
image
image data
angle
imaging
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280003885.3A
Other languages
English (en)
Inventor
大塚泰雄
伊泽正人
小川智辉
中岛俊幸
粟饭原雅之
船本和宏
三木匡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN115515472A publication Critical patent/CN115515472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A61B1/247Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth with means for viewing areas outside the direct line of sight, e.g. dentists' mirrors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00Dental auxiliary appliances
    • A61C19/04Measuring instruments specially adapted for dentistry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

口腔内摄像机系统具备摄影部、以及图像处理部(102),图像处理部(102),在与摄影部的光轴(LA)垂直的摄像面(S)和沿着铅直轴的铅直朝上方向的第1方向(LA或LS)构成的第1角度(α),小于预先规定的第2角度的情况下,使图像数据以第3角度(θ)旋转,从而以铅直轴的铅直上侧成为图像的上侧的方式使图像数据旋转,所述第3角度是从把手部(10b)朝向头部(10a)的第2方向(LB)与第1方向(LS)构成的角度。

Description

口腔内摄像机系统以及图像显示方法
技术领域
本公开涉及口腔内摄像机系统以及图像显示方法。
背景技术
在专利文献1公开了对口腔内的牙齿的图像进行拍摄的口腔内摄像机系统。
(现有技术文献)
(专利文献)
专利文献1∶日本特开2019-141582号公报
针对这样的口腔内摄像机系统,期待能够恰当地显示被拍摄的牙齿的图像。
发明内容
于是,本公开的目的在于提供一种能够恰当地显示被拍摄的牙齿的图像的口腔内摄像机系统以及图像显示方法。
本公开的一个方式涉及的口腔内摄像机系统,具备:摄影部,对口腔内的牙齿进行拍摄并生成图像数据,所述摄影部包括把手部、头部、以及颈部,所述头部包括生成图像数据的摄像元件,所述颈部将所述把手部与所述头部进行连接;传感器,对所述摄影部的姿势进行检测;图像处理部,根据所述传感器检测出的所述摄影部的姿势,对所述图像数据进行图像处理;以及显示部,显示所述图像数据,所述图像处理部,在与所述摄影部的光轴垂直的摄像面和沿着铅直轴的铅直朝上方向的第1方向构成的第1角度,小于预先规定的第2角度的情况下,使所述图像数据以第3角度旋转,从而以所述铅直轴的铅直上侧成为图像的上侧的方式使所述图像数据旋转,所述第3角度是从所述把手部朝向所述头部的第2方向与所述第1方向构成的角度。
本公开能够提供能够恰当地显示被拍摄的牙齿的图像的口腔内摄像机系统以及图像显示方法。
附图说明
图1是实施方式中的口腔内摄像机系统中的口腔内摄像机的斜视图。
图2是实施方式中的口腔内摄像机系统的概略的结构图。
图3是示出实施方式中的口腔内摄像机系统中的口腔内摄影动作的流程的图。
图4是实施方式中的便携式终端的功能方框图。
图5是实施方式中的图像处理的流程图。
图6是模式性地示出实施方式中的口腔内摄像机与摄像面的关系的图。
图7是示出实施方式中的铅直轴与摄像面之间的角度α的例子的图。
图8是示出实施方式中的铅直轴与摄像面之间的角度α的例子的图。
图9是示出实施方式中的口腔内摄像机的轴方向LB的例子的图。
图10是示出实施方式中的方向LB与方向LS的例子的图。
图11是示出实施方式中的方向LB与方向LS的例子的图。
图12A是示出实施方式中的摄影状态的例子的图。
图12B是示出实施方式中的被拍摄的图像的例子的图。
图13A是示出实施方式中的摄影状态的例子的图。
图13B是示出实施方式中的被拍摄的图像的例子的图。
图13C是示出实施方式中的图像处理后的图像的例子的图。
图14是实施方式的旋转处理的另外的具体例的流程图。
图15是示出实施方式中的便携式终端的倾斜的图。
图16是实施方式的变形例1中的图像处理的流程图。
图17是示出实施方式的变形例1中的显示例的图。
图18是示出实施方式的变形例1中的显示例的图。
图19是实施方式的变形例2中的图像处理的流程图。
图20是示出实施方式的变形例2中的被拍摄的图像的例子的图。
图21是示出实施方式的变形例2中的被拍摄的图像的例子的图。
图22是示出实施方式的变形例2中的角度γ的例子的图。
图23是示出实施方式的变形例2中的角度γ的例子的图。
图24是示出实施方式的变形例3中的针对起立的状态的用户的射影面的关系的图。
图25是示出实施方式的变形例3中的在使用口腔内摄像机时的用户的姿势的例子的图。
图26是示出实施方式的变形例3中的在使用口腔内摄像机时的用户的姿势的例子的图。
图27是实施方式的变形例3中的图像处理的流程图。
图28是示出实施方式的变形例3中的初始姿势的例子的图。
图29是示出实施方式的变形例3中的初始姿势的设定画面的一例的图。
图30是示出实施方式的变形例3中的初始姿势的设定画面的一例的图。
图31是示出实施方式的变形例3中的初始姿势的例子的图。
图32是示出实施方式的变形例3中的姿势的校正的例子的图。
具体实施方式
本公开的一个方式涉及的口腔内摄像机系统,具备:摄影部,对口腔内的牙齿进行拍摄并生成图像数据,所述摄影部包括把手部、头部、以及颈部,所述头部包括生成图像数据的摄像元件,所述颈部将所述把手部与所述头部进行连接;传感器,对所述摄影部的姿势进行检测;图像处理部,根据所述传感器检测出的所述摄影部的姿势,对所述图像数据进行图像处理;以及显示部,显示所述图像数据,所述图像处理部,在与所述摄影部的光轴垂直的摄像面和沿着铅直轴的铅直朝上方向的第1方向构成的第1角度,小于预先规定的第2角度的情况下,使所述图像数据以第3角度旋转,从而以所述铅直轴的铅直上侧成为图像的上侧的方式使所述图像数据旋转,所述第3角度是从所述把手部朝向所述头部的第2方向与所述第1方向构成的角度。
通过上述,该口腔内摄像机系统,能够恰当地显示拍摄的牙齿的图像。例如,用户能够确认上下的关系与实际相同的图像,所以能够直观地掌握牙齿的状态。
例如可以是,所述图像处理部,在所述第1角度为所述第2角度以上的情况下,以所述图像数据内的与所述头部侧对应的一侧成为图像的上侧的方式,使所述图像数据旋转。
例如可以是,所述图像处理部,在所述第1角度小于所述第2角度的情况下,在所述显示部进行如下的显示,即在所述显示部显示的图像是由所述摄影部在用户的口腔内拍摄的牙齿的侧面的图像,在所述第1角度为所述第2角度以上的情况下,在所述显示部进行如下的显示,即在所述显示部显示的图像是由所述摄影部在用户的口腔内从牙冠侧拍摄的牙齿的图像。
通过上述,该口腔内摄像机系统显示牙齿的摄影方向。从而,用户能够容易识别当前摄影中的牙齿的摄影方向,所以能够提高用户的便利性。
例如可以是,所述图像处理部,在所述第1角度与所述第2角度的差小于预先规定的值的情况下,在所述图像数据中检测牙齿区域以及沿着所述牙齿区域的牙龈区域,在相对于所述牙齿区域的脸颊侧和舌头侧的这双方检测出所述牙龈区域的情况下,以所述图像数据内的与所述头部侧对应的一侧成为图像的上侧的方式,使所述图像数据旋转,仅在相对于所述牙齿区域的脸颊侧或舌头侧的其中一方检测出所述牙龈区域的情况下,算出所述第1方向和第3方向构成的第4角度的余弦,所述第3方向是沿着所述摄影部的光轴从所述摄影部朝向被摄体的方向,在算出的余弦的值为正的情况下,以在所述图像数据中所述牙齿区域位于所述牙龈区域的下方的方式,使所述图像数据旋转,在所述余弦的值为负的情况下,以在所述图像数据中所述牙齿区域位于所述牙龈区域的上方的方式,使所述图像数据旋转。
通过上述,该口腔内摄像机系统,在第1角度为第2角度附近的情况下,根据牙龈区域与牙齿区域的关系、以及第4角度的余弦,使图像数据旋转。从而,该口腔内摄像机系统,能够提高第1角度为第2角度附近的情况下的判断精度。
例如可以是,所述图像处理部,进一步使所述图像数据的左右反转,所述显示部,对旋转以及反转后的所述图像数据进行显示。
通过上述,例如用户能够以映在镜子上的情况相同的状态来确认自身的牙齿,所以能够直观地掌握牙齿的状态。
例如可以是,所述图像处理部,进一步根据所述显示部的姿势,使所述图像数据旋转。
通过上述,例如用户能够确认上下的关系与实际相同的图像,所以能够直观地掌握牙齿的状态。
例如可以是,获得所述摄影部的规定的姿势,以作为初始姿势,利用所述初始姿势,对所述第1方向进行校正。
通过上述,该口腔内摄像机系统,按照用户的姿势对摄影部的姿势进行校正,从而能够提高处理的精度。
例如可以是,所述规定的姿势是用户的姿势与所述摄影部的姿势成为预先规定的关系的所述摄影部的姿势。
例如可以是,所述规定的姿势是所述用户的冠状面与所述摄影部的所述摄像面平行、且所述摄像面的平面图中所述用户的垂直轴与所述第2方向一致或正交的状态。
例如可以是,所述规定的姿势是预先规定的牙齿与所述摄影部的所述摄像面平行地正面相对、且所述摄像面的平面图中所述第2方向与所述预先规定的牙齿的高度方向一致或正交的状态。
通过上述,用户能够容易地获得初始姿势。此外,通过提高初始姿势的精度,能够提高校正的精度。
此外,本公开的一个方式涉及的图像显示方法,在所述图像显示方法中,摄影部对口腔内的牙齿进行拍摄并生成图像数据,所述摄影部包括把手部、头部、以及颈部,所述头部包括生成图像数据的摄像元件,所述颈部将所述把手部与所述头部进行连接,对所述摄影部的姿势进行检测,根据检测出的所述摄影部的姿势,对所述图像数据进行图像处理,显示所述图像数据,在所述图像处理中,在与所述摄影部的光轴垂直的摄像面和沿着铅直轴的铅直朝上方向的第1方向构成的第1角度,小于预先规定的第2角度的情况下,使所述图像数据以第3角度旋转,从而以所述铅直轴的铅直上侧成为图像的上侧的方式使所述图像数据旋转,所述第3角度是从所述把手部朝向所述头部的第2方向与所述第1方向构成的角度。
通过上述,该图像显示方法,能够恰当地显示被拍摄的牙齿的图像。例如,用户能够确认上下的关系与实际相同的图像,所以能够直观地掌握牙齿的状态。
另外,这些概括或者具体的方案,可以通过系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现,也可以任意组合系统、方法、集成电路、计算机程序以及记录介质来实现。
下面适宜地参考附图,对实施方式进行详细说明。然而,有时会省略必要以上的详细说明。例如省略已熟知的事项的详细说明以及具有实际上相同的结构的重复说明。这是为了避免如下说明不必要的冗长,便于本领域技术人员理解。
另外,发明人为了本领域技术人员充分理解本公开而提供附图以及以下的说明,其主旨不在于对技术方案记载的主题进行限定。
(实施方式)
图1是本实施方式中的口腔内摄像机系统中的口腔内摄像机的斜视图。如图1所示,口腔内摄像机10具备能够用一只手来使用的牙刷状的壳体,该壳体包括:在拍摄齿列时被配置在用户的口腔内的头部10a、用户把持的把手部10b、将头部10a与把手部10b连接的颈部10c。
摄影光学系统12,被嵌入在头部10a和颈部10c。摄影光学系统12,包括配置在该光轴LA上的摄像元件14和透镜(图1中未图示)。
摄像元件14,例如是C-MOS传感器或CCD元件等摄影装置,由透镜对牙齿的像进行成像。由摄像元件14将与该成像的像对应的信号(图像数据)输出给外部。
此外,口腔内摄像机10作为在拍摄时针对摄影对象的牙齿照射光的照明装置,搭载有多个第1LED~第4LED的26A~26D。第1LED~第4LED的26A~26D,例如是白色LED。
图2是示出本实施方式中的口腔内摄像机系统的概略的结构图。如图2所示,本实施方式中的口腔内摄像机系统概略构成为如下,使用口腔内摄像机10拍摄齿列,针对该摄影图像执行图像处理。
如图2所示,口腔内摄像机系统包括口腔内摄像机10、便携式终端70、云服务器80。便携式终端70,例如是能够进行无线通信的智能手机或平板终端等。便携式终端70,作为输入装置以及输出装置,例如具备能够显示齿列图像的触摸屏72。便携式终端70,作为口腔内摄像机系统的用户界面来发挥作用。
云服务器80是针对便携式终端70经由因特网等能够通信的服务器,向便携式终端70提供用于使用口腔内摄像机10的应用。例如,用户将应用从云服务器80下载安装到便携式终端70。此外,云服务器80,经由便携式终端70获得由口腔内摄像机10拍摄的齿列图像。
口腔内摄像机系统,作为进行系统控制的主要部分,包括:中央控制部50、对来自摄像元件14的齿列图像进行图像处理的图像处理部52、对多个LED26A~26D进行控制的LED控制部54、对构图调节机构的执行器36与调焦机构的执行器40进行控制的透镜驱动器56、以及位置传感器90。
此外,口腔内摄像机系统具有:与便携式终端70进行无线通信的无线通信模块58、以及对中央控制部50进行供电的电源控制部60。
口腔内摄像机系统的中央控制部50,例如搭载于口腔内摄像机10的把手部10b。例如,此外中央控制部50,包括:稍后描述的执行各种处理的CPU或MPU等控制器62、以及存储用于使控制器62执行各种处理的程序的RAM或ROM等的存储器64。另外,在存储器64中,除了程序以外,还存储有由摄像元件14拍摄的齿列图像(图像数据)或各种设定数据等。
图像处理部52,例如搭载于口腔内摄像机10的把手部10b,根据来自中央控制部50的控制器62的控制信号,获得摄像元件14拍摄的齿列图像(图像数据),对该获得的齿列图像进行图像处理,将该图像处理后的齿列图像输出给中央控制部50。图像处理部52,例如由电路来构成,例如针对齿列图像消除噪声、执行AWB(AutomaticWhiteBalance:自动白平衡)处理等图像处理。针对从图像处理部52输出的齿列图像,控制器62经由无线通信模块58发送给便携式终端70。便携式终端70,将该发送来的齿列图像显示在触摸屏72,从而向用户提示齿列图像。
LED控制部54,例如搭载于口腔内摄像机10的把手部10b,根据来自控制器62的控制信号,执行第1LED~第4LED的26A~26D的点灯以及灭灯。LED控制部54,例如由电路来构成。例如,用户对便携式终端70的触摸屏72,执行使口腔内摄像机10启动的操作时,对应的信号从便携式终端70经由无线通信模块58发送给控制器62。控制器62,根据接收的信号,向LED控制部54发送控制信号以使第1LED~第4LED的26A~26D点灯。
透镜驱动器56,例如搭载于口腔内摄像机10的把手部10b,根据来自中央控制部50的控制器62的控制信号,对构图调节机构的执行器36和调焦机构的执行器40进行控制。透镜驱动器56,例如由电路构成。例如,用户对便携式终端70的触摸屏72执行与构图调节或焦点调节有关的操作时,从便携式终端70将对应的信号经由无线通信模块58发送给中央控制部50。中央控制部50的控制器62,根据接收的信号,以执行构图调节或焦点调节的方式,向透镜驱动器56发送控制信号。此外例如,控制器62根据来自图像处理部52的齿列图像,对构图调节或焦点调节所需要的执行器36、40的控制量进行运算,将与该运算出的控制量对应的控制信号,发送给透镜驱动器56。
无线通信模块58,例如搭载于口腔内摄像机10的把手部10b,根据来自控制器62的控制信号,与便携式终端70进行无线通信。无线通信模块58与便携式终端70之间执行例如依据WiFi(注册商标)或Bluetooth(注册商标)等现有的通信规格的无线通信。经由无线通信模块58,从口腔内摄像机10将映出牙齿D的齿列图像发送给便携式终端70,或者从便携式终端70向口腔内摄像机10发送操作信号。
电源控制部60,在本实施方式中,搭载于口腔内摄像机10的把手部10b,向中央控制部50、图像处理部52、LED控制部54、透镜驱动器56、以及无线通信模块58分配电池66的电力。电源控制部60,例如由电路来构成。另外,在本实施方式中电池66是能够充电的二次电池,经由搭载在口腔内摄像机10的线圈68,通过与商用电源连接的外部的充电器69,进行无线充电。
位置传感器90是用于检测口腔内摄像机10的姿势以及位置的传感器,例如是多轴(这里是x,y,z的三轴)的加速度传感器。例如,位置传感器90可以是具有三轴的加速度传感器和三轴的陀螺仪传感器的六轴传感器。例如图1所示,z轴与光轴LA一致。y轴与摄像面平行,并且在口腔内摄像机10的长度方向上延伸。此外,X轴与摄像面平行,并且与y轴正交。位置传感器90的各轴的输出(传感器数据),经由中央控制部50以及无线通信模块58,发送给便携式终端70。
作为位置传感器90,可以使用压阻类型、静电电容类型、或者热检测类型的MEMS传感器。此外虽然没有图示,也可以设置用于对各轴的传感器的灵敏度的平衡、灵敏度的温度特性、以及温度漂移等进行校正的校正电路。此外,也可以设置用于消除动态加速度成分或噪声的带通滤波器(低通滤波器)。此外,可以通过对加速度传感器的输出波形进行平滑,从而降低噪声。
接下来说明口腔内摄像机系统的口腔内摄影动作。图3是示出口腔内摄像机系统中的口腔内摄影动作的流程的图。另外,图3示出的处理例如是实时地进行的处理,在每次获得1帧或多个帧的图像数据时进行。
用户利用口腔内摄像机10,拍摄自身的口腔内的牙齿以及牙龈从而生成图像数据(S101)。接下来口腔内摄像机10,将被拍摄的图像数据和在拍摄时由位置传感器90获得的传感器数据,发送给便携式终端70(S102)。另外这里,图像数据可以是运动图像,也可以是1个或多个静止图像。此外,在图像数据是运动图像或多个静止图像的情况下,按运动图像的每个帧、或者每个静止图像,发送传感器数据。另外,在图像数据为运动图像的情况下,也可以按每多个帧,发送传感器数据。
此外,图像数据以及传感器数据的发送,可以不是实时进行,可以在一连串的拍摄(例如口腔内所有牙齿的拍摄)进行之后总结发送。
便携式终端70,根据接收的传感器数据,使接收的图像数据旋转(S103),显示旋转后的图像数据(S104)。
通过利用这样的口腔内摄像机系统,用户可以用口腔内摄像机10拍摄用户自身的口腔内的图像,能够确认在便携式终端70显示的口腔内的状态。从而,用户能够容易地对自身的牙齿的健康状态进行确认等。
此外,便携式终端70,例如可以根据拍摄的多个图像数据,生成口腔内的多个牙齿的三维模型。此外,便携式终端70可以显示基于被生成的三维模型的图像。
另外这里说明了便携式终端70进行牙齿的图像的旋转的例子,但是该处理的一部分或全部可以由口腔内摄像机10进行。
图4是便携式终端70的功能方框图。便携式终端70具备位置传感器101、图像处理部102、以及显示部103。
位置传感器101是用于检测便携式终端70的姿势以及位置的传感器,例如是多轴(例如三轴)的加速度传感器。
图像处理部102,根据从口腔内摄像机10发送来的传感器数据、以及在位置传感器101获得的传感器数据,进行包括使图像数据旋转的旋转处理的图像处理。图像处理部102的功能,例如可以由CPU或者处理器等的程序执行部,读出并执行在硬盘或者半导体存储器等记录介质中记录的软件程序来实现。
显示部103是便携式终端70具备的显示装置,显示由图像处理部102进行了图像处理后的图像数据。
图5是图像处理部102中的图像处理的流程图。首先,图像处理部102,对在实际空间中的铅直轴LV与摄像面S之间的角度α是否为0度以上且小于45度进行判断(S151)。这里摄像面S的姿势,根据由口腔内摄像机10获得的传感器数据而被算出。
图6是模式性地示出口腔内摄像机10与摄像面S的关系的图。摄像面S是与光轴LA垂直的面。
图7以及图8是示出铅直轴LV与摄像面S之间的角度α的例子的图。这里的角度α是0~90度的范围。此外,角度α也表示为90度-(铅直轴LV与光轴LA构成的角度)。
图7是角度α小于45度的例子,摄像面S成为接近垂直的角度。图8是角度α为45度以上的例子,摄像面S成为接近水平的角度。这里在从侧面(脸颊侧或舌头侧)拍摄牙齿的情况下,如图7所示,摄像面S成为接近垂直的角度,在从牙冠侧(咬合面)拍摄牙齿的情况下,摄像面S成为接近水平的角度。从而,图像处理部102在角度α小于45度的情况下(S151中的“是”),判断为从侧面拍摄牙齿,在角度α为45度以上的情况下(S151中的“否”),判断为从牙冠侧拍摄牙齿。
另外,这里用于判断牙齿的摄影方向的阈值举出45度的例子,但是阈值的值不限定为45度。例如这个阈值,可以在40度~50度的范围内,也可以在30度至60度的范围内。
首先,说明在角度α小于45度的情况下(S151中的“是”)的情况。在角度α小于45度的情况下(S151中的“是”),图像处理部102,判断为从用户脸颊侧或舌头侧拍摄了牙齿。图像处理部102,以铅直上侧成为图像的上侧的方式,使图像数据旋转(S152)。以下说明该处理的具体例子。
图9是示出口腔内摄像机10的轴方向LB的例子的图。方向LB是在口腔内摄像机10中,通过口腔内摄像机10的长度方向的中心,从把手部10b朝向头部10a的方向。此外在这个例子中是通过摄像面S(图像数据)的垂直方向(列方向)的中心的方向。换句话说,在口腔内摄像机10生成的图像数据的上侧是口腔内摄像机10的前端侧(头部10a侧),图像数据的下侧是口腔内摄像机10的根部侧(把手部10b侧)。此外,方向LB根据由口腔内摄像机10获得的传感器数据而被算出。
图10以及图11是示出方向LB与方向LS的例子的图。方向LS是沿着铅直轴的铅直朝上方向。此外,图10以及图11表示的角度θ是方向LB与方向LS构成的角度,是0~180度的范围。图像处理部102,以铅直上侧成为图像的上侧的方式,使图像数据旋转角度θ。另外,如图9所示,原本图像数据的上侧与口腔内摄像机10的前端侧一致的情况下,图像处理部102,不进行图像数据的旋转。
作为一例,说明在用户拍摄上颌的前牙(中切牙,侧切牙)的情况下,图像处理部102实施的动作。
图12A是示出用户以垂直地把持口腔内摄像机10的状态下拍摄上颌的前牙的脸颊侧(嘴唇侧)的状态的图。在图12A中方向LB和方向LS成为平行。
图12B是示出以图12A所示的状态下拍摄的前牙的图像的一例的图。以口腔内摄像机10的铅直上侧(头部10a侧)成为图像的上侧的方式显示了图像数据。方向LB与方向LS平行,所以能够在图12B确认到包括牙龈(又称齿龈)的牙龈区域(又称齿龈区域)显示在牙龈区域的上方,用户能够直观地掌握牙齿的状态。
另一方面,图13A是示出用户以水平地保持口腔内摄像机10的状态下从脸颊侧(嘴唇侧)拍摄上颌的前牙的状态的图。在图13A中被设成方向LB与方向LS构成的角度θ为90度。
图13B是示出以图13A所示的状态下拍摄的前牙的图像的一例的图。以口腔内摄像机10的铅直上侧(头部10a侧)成为图像的上侧的方式显示图像数据,所以在右侧显示牙龈区域,在左侧显示牙齿区域。
图13C是示出进行了图像处理部102的处理后的前牙的图像的图。图像处理部102,以铅直上侧成为图像的上侧的方式,使图像数据旋转角度90度来显示。从而,包括牙龈的牙龈区域位于牙龈区域的上方来显示,用户能够直观地掌握牙齿的状态。
另外作为该旋转处理的具体例子,可以使用以下的方法。图14是旋转处理的另外的具体例的流程图。首先,图像处理部102,在图像数据中判断包括牙齿的牙齿区域、以及包括牙龈的牙龈区域(S161)。例如,图像处理部102,通过利用特征量的图像分析等,来判断图像数据内的牙齿区域和牙龈区域。
接下来,图像处理部102,对当前的摄影对象是上颌还是下颌进行判断(S162)。例如,口腔内摄像机10一边受到嘴唇或脸颊肉的干扰一边沿着口腔内的齿列进行操作,所以在拍摄上颌的齿列时摄像面S多少为朝上方,在拍摄下颌的齿列时摄像面S多少为朝下方。因而,图像处理部102,在摄像面S的方向(光轴LA的方向)比水平方向朝向上方的情况下,判断摄影对象为上颌,在摄像面S的方向(光轴LA的方向)比水平方向朝向下方的情况下,判断摄影对象为下颌。
另外,代替由图像处理部102以摄影面S的方向(光轴LA的方向)来判断摄影对象是上颌还是下颌,例如可以是由用户从便携式终端70输入摄影对象是上颌还是下颌。用户在便携式终端70输入的成为摄影对象的部位,被输入到图像处理部102。
在摄影对象为上颌的情况下(S162中的“是”),图像处理部102,以牙齿区域成为牙龈区域的下方的方式,使图像数据旋转(S163)。另一方面,摄影对象为下颌的情况下(S162中的“否”),图像处理部102,以牙齿区域成为牙龈区域的上方的方式,使图像数据旋转(S164)。从而,图像处理部102,能够以铅直上侧成为图像的上侧的方式,使图像数据旋转。
另外,在步骤S152中以铅直上侧成为图像的上侧的方式使图像数据旋转,不仅限定为以铅直上侧与图像的上侧完全一致的方式使图像数据旋转,也可以包括规定的偏差。此外,该处理也可以包括比起旋转前的图像数据,铅直上侧更接近图像的上侧的方式使图像数据旋转的处理。
这样,图像处理部102,从侧面拍摄牙齿的情况下,以铅直上侧成为图像的上侧的方式,使图像数据旋转。从而,用户在便携式终端70上能够确认上下的关系与实际相同的图像。因而,用户能够直观地掌握牙齿的状态,所以能够提高用户的便利性。
再次用图5来进行说明。接下来说明角度α为45度以上的情况(S151中的“否”)。在角度α为45度以上的情况下(S151中的“否”),图像处理部102,判断为用户从牙冠侧拍摄牙齿。图像处理部102,以口腔内摄像机10的前端侧成为图像的上侧的方式,使图像数据旋转(S153)。
这里在从牙冠侧进行摄影的情况下,相对于铅直方向的倾斜带来的影响很少,所以不进行步骤S152一样的基于相对于铅直方向的倾斜进行的旋转。另一方面,口腔内摄像机10的前端侧成为图像的上侧的方式来显示图像数据,从而能够显示从口腔的外部看牙齿的牙冠侧一样的图像。因而,用户能够直观地掌握牙齿的状态,所以能够提高用户的便利性。
另外,在步骤S153中,口腔内摄像机10的前端侧成为图像的上侧的方式使图像数据旋转,不仅限定为以口腔内摄像机10的前端侧与图像的上侧完全一致的方式使图像数据旋转,也可以包括规定的偏差。
在步骤S152或S153之后,图像处理部102,根据显示部103的姿势(便携式终端70的姿势),使图像数据旋转(S154)。具体而言,图像处理部102,不管显示部103(便携式终端70)的姿势如何,以显示的图像的上侧成为实际空间的上侧的方式使图像数据旋转。
图15是示出便携式终端70的倾斜的图。如图15所示,便携式终端70相对于铅直朝上的方向LS,以角度β倾斜的情况下,图像处理部102,使图像数据以角度β旋转。另外,图15所示的方向LC是在便携式终端70的长度方向上延伸的方向,是在通常使用时从下侧朝向上侧的方向。例如,角度β是方向LS与方向LC构成的角度。
通过上述,例如用户一边以一只手把持便携式终端70,一边以另一只手通过口腔内摄像机10来拍摄自身的牙齿的情况下,即使便携式终端70倾斜的情况下,用户也能够在便携式终端70上确认上下的关系与实际相同的图像。因而,用户能够直观地掌握牙齿的状态,所以能够提高用户的便利性。
图像处理部102,能够使图像数据的左右反转(S155)。从而,用户能够以映在镜子中的情况相同的状态,确认自身的牙齿。因而,用户能够直观地掌握牙齿的状态,所以能够提高用户的便利性。
另外,如上所述,对利用位置传感器90以及位置传感器101具有的三轴的加速度传感器来判断口腔内摄像机10以及便携式终端70的姿势、以及摄影方向的例子进行了说明,但是也可以利用三轴的陀螺仪传感器来判断口腔内摄像机10以及便携式终端70的姿势、以及摄影方向。三轴陀螺仪传感器,例如分别输出x轴周围的移动带来的角度的变化量、y轴周围的移动带来的角度的变化量、以及z轴周围的移动带来的角度的变化量。即在三轴的陀螺仪传感器的情况下,任意设定了x轴、y轴以及z轴的初始状态的状态下,对各个轴的变化量进行加法运算,对口腔内摄像机10以及便携式终端70的姿势、以及摄影方向进行判断。
另外,也可以将三轴的加速度传感器与三轴的陀螺仪传感器的双方进行组合,来判断口腔内摄像机10以及便携式终端70的姿势、以及摄影方向。
如上所述,口腔内摄像机系统具备:摄影部(例如口腔内摄像机10),通过手动的方式拍摄用户的口腔内的牙齿并生成图像数据;位置传感器90,对摄影部(例如口腔内摄像机10)的姿势进行检测;图像处理部102,根据位置传感器90检测出的摄影部(例如口腔内摄像机10)的姿势,使图像数据旋转;以及显示部103,显示旋转后的图像数据。通过上述,该口腔内摄像机系统,能够恰当地显示被拍摄的牙齿的图像。
例如,图像处理部102,根据摄影部(例如口腔内摄像机10)的姿势,以实际空间中的铅直上侧成为图像的上侧的方式,使图像数据旋转。通过上述,例如用户能够确认上下的关系与实际相同的图像,所以能够直观地掌握牙齿的状态。
例如,图像处理部102,在摄影部(例如口腔内摄像机10)的摄像面S与铅直轴LV构成的第1角度α,小于预先规定的第2角度(例如45度)的情况下,根据摄影部(例如口腔内摄像机10)的姿势,以实际空间中的铅直上侧成为图像的上侧的方式,使图像数据旋转。
例如,摄影部(例如口腔内摄像机10)具备:用户把持的把手部10b、包括生成图像数据的摄像元件的头部10a、以及将把手部10b与头部10a进行连接的颈部10c,图像处理部102,在第1角度α为第2角度以上的情况下,摄影部(例如口腔内摄像机10)中的头部10a侧成为图像的上侧的方式,使图像数据旋转。
例如,摄影部(例如口腔内摄像机10)具备:用户把持的把手部10b、包括生成图像数据的摄像元件的头部10a、以及将把手部10b与头部10a进行连接的颈部10c,图像处理部102,使图像数据以第3角度θ旋转,该第3角度θ是从把手部10b朝向头部10a的第1方向LB与铅直朝上方向的第2方向LV构成的角度。
例如图14所示,图像处理部102,根据摄影部(例如口腔内摄像机10)的姿势,对图像数据包括上颌的图像,还是包括下颌的图像进行判断(S162),在图像数据中包括上颌的图像的情况下,以图像数据中的牙齿区域位于牙龈区域的下方的方式,使图像数据旋转(S163),在图像数据中包括下颌的图像的情况下,以图像数据中的牙齿区域位于牙龈区域的上方的方式,使图像数据旋转(S164)。
例如,图像处理部102,进一步使图像数据的左右反转(S155),显示部103,对旋转以及反转后的图像数据进行显示。通过上述,例如用户能够以与映在镜子中的情况相同的状态下,确认自身的牙齿,所以能够直观地掌握牙齿的状态。
例如,图像处理部102,进一步根据显示部103的姿势,使图像数据旋转(S154)。通过上述,例如,用户能够确认上下的关系与实际相同的图像,所以能够以直观地掌握牙齿的状态。
接下来说明上述实施方式的变形例。
(变形例1)
显示部103,可以显示基于上述的口腔内摄像机10的姿势的牙齿的摄影方向的判断结果。图16是在这个情况下的图像处理部102的图像处理的流程图。另外,图像处理部102可以仅进行图16所示的处理,也可以在上述的处理(例如图5示出的处理)之上进一步进行图16所示的处理。
首先,图像处理部102,对实际空间中的铅直轴LV与摄像面S的角度α是否为0度以上且小于45度进行判断(S201)。在此,摄像面S的姿势,根据由口腔内摄像机10获得的传感器数据而被算出。另外该处理的细节,与图5所示的S151相同。
图像处理部102,在角度α小于45度的情况下(S201中的“是”),判断为从侧面(脸颊侧或舌头侧)拍摄牙齿,显示部103显示在摄影中(显示中)的图像是在用户的口腔内拍摄的牙齿的侧面的图像(S202)。图17是示出该情况下的显示例的图。如图17所示,例如显示部103显示摄影中的图像、以及显示正在拍摄牙齿的侧面。
另一方面,图像处理部102,在角度α为45度以上的情况下(S201中的“否”),判断为从牙冠侧拍摄牙齿,显示部103显示在摄影中(显示中)的图像是在用户的口腔内从牙冠侧拍摄的牙齿的图像(S203)。图18是示出该情况下的显示例的图。如图18所示,例如显示部103,显示摄影中的图像、以及显示正在拍摄牙齿的牙冠侧。
另外这里示出了用文字(报文)来表示牙齿的摄影方向的例子,但是可以使用文字、插图、图标以及记号等,也可以组合这些。
这样通过显示牙齿的摄影方向,用户能够容易识别当前摄影中的牙齿的摄影方向,所以能够提高用户的便利性。
(变形例2)
以上说明了根据角度α是否小于预先规定的角度(例如45度),来判断牙齿的摄影方向等的例子,但是角度α在该预先规定的角度附近的情况下,判断的精度有可能降低。例如,拍摄口腔内部深处的臼齿的情况等角度α有可能在45度的附近。因而,图像处理部102,在角度α为该预先规定的角度附近的情况下,可以进一步进行其他的判断处理。
图19是在该情况下的图像处理部102进行的图像处理的流程图。首先,图像处理部102,判断在实际空间中铅直轴LV与摄像面S的角度α是否在45度附近(S211)。另外,45度附近例如是指40度至50度,也可以是比上述更窄或更宽的范围。换句话说,图像处理部102,在角度α与45度之间的差分小于预先规定的值的情况下,判断为角度α为45度附近。
在角度α不是45度附近的情况下(S211中的“否”),图像处理部102,进行与图5同样的处理(S218~S222)。换言之,图像处理部102,判断角度α是否为0度以上且小于45度(S218)。
在角度α小于45度的情况下(S218中的“是”),图像处理部102,判断为用户在脸颊侧或舌头侧拍摄牙齿,以铅直上侧成为图像的上侧的方式,使图像数据旋转(S219)。另一方面,在角度α为45度以上的情况下(S218中的“否”),图像处理部102,判断为用户从牙冠侧拍摄牙齿,以口腔内摄像机10的前端侧成为图像的上侧的方式,使图像数据旋转(S220)。
接下来,图像处理部102,根据显示部103的姿势(便携式终端70的姿势)使图像数据转向(S221)。具体而言,图像处理部102,不管显示部103(便携式终端70)的姿势,以显示的图像的上侧成为实际空间的上侧的方式,使图像数据旋转。接下来,图像处理部102,使图像数据的左右反转(S222)。从而,用户能够以与映在镜子的情况相同的状态,确认自身的牙齿。
另一方面,在角度α为45度附近的情况下(S211中的“是”),图像处理部102,在图像数据中判断包括牙齿的牙齿区域以及包括牙龈的牙龈区域(S212)。例如,图像处理部102,通过利用特征量的图像分析等,来对图像数据内的牙齿区域和牙龈区域进行判断。
接下来,图像处理部102,针对牙龈区域是位于牙齿区域的两侧,还是一侧进行判断(S213)。在牙龈区域位于牙齿区域的两侧的情况下(S213中的“是”),图像处理部102,判断为用户从牙冠侧拍摄牙齿,以口腔内摄像机10的前端侧成为图像的上侧的方式,使图像数据旋转(S220)。
图20是示出从牙冠侧拍摄的牙齿的图像的例子的图。如图20所示从牙冠侧拍摄的图像中,在牙齿区域(牙齿列)的两侧存在牙龈区域。
另一方面,在牙龈区域仅在牙齿区域的一侧的情况下(S213中的“否”),图像处理部102,判断为用户从脸颊侧或舌头侧拍摄牙齿。图21是示出从脸颊侧拍摄的下颌的牙齿的图像的例子的图。如图21所示的从脸颊侧拍摄的图像中,仅在牙齿区域(牙齿列)的一方侧存在牙龈区域。
接下来,图像处理部102算出cosγ(S214)。图22以及图23是示出角度γ的例子的图。角度γ是光轴LA与铅直上方向LS构成的角度,是0~180度的范围。接下来,图像处理部102判断cosγ的值是正还是负(S215)。另外,这里对cosγ的值是正还是负进行判断,该处理与如下判断等同,即对沿着光轴LA从摄像元件14朝向被摄体的方向的具有任意的值的第1矢量与铅直朝上方向LS的具有任意的值的第2矢量的内积是正还是负的判断。
在cosγ的值是正的情况下(S215中的“是”),换言之γ是0~90度的情况下(例如图22),图像处理部102判断为正在拍摄上颌的牙齿,使牙齿区域位于牙龈区域的下方的方式使图像数据旋转(S216)。另一方面,在cosγ的值是负的情况下(S215中的“否”),换言之在γ是90~180度的情况下(例如图23),图像处理部102,判断为正在拍摄下颌的牙齿,以牙齿区域位于牙龈区域的上方的方式,使图像数据旋转(S217)。例如,图21所示以牙齿区域位于牙龈区域的上方的方式,使图像数据旋转。
在步骤S216或S217之后,图像处理部102根据显示部103的姿势(便携式终端70的姿势),使图像数据旋转(S221)。接下来,图像处理部102,使图像数据的左右反转(S222)。
通过以上,图像处理部102在角度α在45度附近的情况下,根据牙龈区域与牙齿区域的关系,判断摄影方向(侧面、牙冠侧),根据cosγ判断是上颌还是下颌。从而,图像处理部102能够提高角度α为45度附近的情况下的判断精度。
(变形例3)
根据上述的口腔内摄像机10的姿势的牙齿的摄影方向等的判断,是设想用户直立的状态或坐在椅子的状态等的用户面朝前方的状态。另一方面,在牙科医生等拍摄患者的牙齿的情况下,有时在用户(患者)仰躺的状态下进行拍摄。在这样的情况下,铅直轴与牙齿的关系不同于用户朝向前方的状态,所以有可能不能正确地进行判断。以下说明在这样的情况下也能够正确地判断的方法。
图24是示出针对起立的状态的用户BD的射影面的关系的图。这里射影面是以用户BD为基准的虚拟的平面,由冠状面110、矢状面111、水平面112的三个面组成。冠状面110是将用户BD的身体在前后一分为二,并且垂直于地板面的面。矢状面111是将用户BD的身体从前面穿过后面,将用户BD的身体在左右一分为二,并且垂直于地板面的面。水平面112是与地板面平行的面,将用户BD的身体在上下一分为二的面,与冠状面110以及矢状面111的双方垂直的面。
此外,运动轴分为垂直轴、矢状-水平轴、冠状-水平轴。图24示出的X轴是“冠状-水平轴”。矢状-水平轴是左右方向的轴,是矢状面111上的前后屈、以及弯曲伸展等运动的旋转轴。图24示出的y轴是“矢状-水平轴”。矢状-水平轴是前后方向的轴,是冠状面110上的侧屈、以及内外转等运动的旋转轴。图24示出的z轴是“垂直轴”。垂直轴是垂直方向的轴,是在水平面112上进行的回旋等运动的旋转轴。
图25以及图26是示出使用口腔内摄像机10时的用户BD的姿势的例子的图。
如图25所示,用户BD以直立的状态或坐在椅子的姿势来使用口腔内摄像机10的情况下,能够看作用户是起立的状态。此时,用户BD的身体的垂直轴Z0(z轴)相对于地板面是垂直的,用户BD的身体的垂直轴Z0与重力加速度的作用方向一致。
另一方面,图26所示,例如在用户BD躺在牙科治疗台的状态下,牙科医生使用口腔内摄像机10的情况下,用户BD的身体的上半身的冠状面110,沿着治疗台的靠背而倾斜。即,用户BD的冠状面110倾斜,从而沿着靠背上半身倾斜的状态下的用户的垂直轴Z1相对于用户BD直立的状态下的身体的垂直轴Z0成为倾斜。
图27是这样在用户BD的姿势变化的情况下的图像处理部102中的图像处理的流程图。首先,图像处理部102,获得并保持口腔内摄像机10的初始姿势(S231)。具体而言,根据用户的操作,将用户的操作被进行的状态下的口腔内摄像机10的姿势作为初始姿势来获得。例如,根据针对便携式终端70的用户的操作,获得初始姿势。或者通过按下被设置在口腔内摄像机10的按钮等来获得初始姿势。图28是示出初始姿势的例子的图。例如图28所示,将由六轴传感器即位置传感器90获得的以铅直方向LV为基准的三轴的姿态信息,作为初始姿势来获得。该初始姿势,被保持在便携式终端70或口腔内摄像机10。
图29是示出便携式终端70的初始姿势的设定画面的一例的图。图29所示,例如作为初始姿势,获得牙齿与口腔内摄像机10之间的关系成为预先规定的关系的状态下的口腔内摄像机10的姿势。在图29表示的例子中,初始姿势是口腔内摄像机10的摄像面S与前牙的正面平行、且摄像面S的平面图中口腔内摄像机10的轴方向LB与前牙的高度方向一致的状态。另外,获得了初始姿势的状态,不限定于这个例子,也可以是以任意的1个以上的牙齿为基准的任意的状态。例如,可以使用前牙以外的牙齿。此外虽然这里指定了“口腔内摄像机10的轴方向LB与前牙的高度(纵)方向一致的状态”,但是也可以采用“口腔内摄像机10的轴方向LB与前牙的高度方向正交的状态(口腔内摄像机10的轴方向与前牙的宽度(横)方向一致的状态)”。
此外在这里叙述的平行、一致、以及正交,不需要为严格的表现,也可以是大致平行、大致一致、以及大致正交。换句话说,可以是由便携式终端70向用户发出指示成为上述状态,用于初始姿势的状态为根据该指示用户所采取的口腔内摄像机10的姿势。
图30是示出便携式终端70的初始姿势的设定画面的其他的例子的图。图30所示,例如作为初始姿势,获得用户的姿势与口腔内摄像机10的姿势之间的关系成为预先规定的关系的状态的口腔内摄像机10的姿势。在图30表示的例子中,初始姿势是用户BD的冠状面110与摄影部的摄像面S平行、且摄像面S的平面图中用户BD的垂直轴Z1与第2方向LB一致的状态。
另外,获得初始姿势的状态不限于该例子,也可以是能够将用户BD的姿势与口腔内摄像机10的姿势建立对应的任意的姿势。此外,用户BD的姿势,可以利用冠状面110、矢状面111、水平面112、垂直轴、矢状-水平轴、以及冠状-水平轴中的1个或多个来定义。例如虽然这里指定了“口腔内摄像机10的轴方向LB与垂直轴Z1一致的状态”,但是也可以采用“口腔内摄像机10的轴方向LB与垂直轴Z1正交的状态(轴方向LB与冠状-水平轴一致的状态)”。
接下来进行上述的牙齿的摄影。具体而言,图像处理部102,针对在牙齿的拍摄中获得的口腔内摄像机10的姿势,利用初始姿势进行校正(S232)。换言之,图像处理部102,利用初始姿势,以口腔内摄像机10的姿势与用户面向前方的状态相同的方式,对口腔内摄像机10的姿势进行校正。
图31是示出初始姿势的一例的图。图32是示出姿势的校正的例子的图。另外这里示出了对y轴的信息进行校正的例子,但是对其他的轴的信息进行校正的情况也同样。如图31所示作为初始姿势获得了铅直方向LV与y轴之间的角度δ的情况下,图像处理部102,如图32所示,将铅直方向LV校正为铅直方向LV0。此外,代替铅直方向LV使用校正后的铅直方向LV0,进行摄影方向的判断处理等。例如图32所示,作为角度α,算出校正后的铅直方向LV0与摄像面S之间的角度。
另外,图像处理部102,不仅是校正铅直方向LV,也可以校正由位置传感器90获得的姿势本身,也可以校正运算中的值(也是进行判断时使用的角度等)。此外该校正处理的一部分或全部,可以在图像处理部102(便携式终端70)进行,也可以在口腔内摄像机10内进行。
最后,图像处理部102,根据校正后的姿势,进行图像数据的旋转等处理(S233)。具体而言,图像处理部102,利用校正后的姿势,进行图5、图14、图16或图19示出的处理。
如上所述,图像处理部102,按照用户的姿势对口腔内摄像机10的姿势进行校正,从而能够提高判断的精度。
如上所述,图1、图2以及图4等所示,口腔内摄像机系统,具备:摄影部(例如口腔内摄像机10),对口腔内的牙齿进行拍摄并生成图像数据,所述摄影部包括把手部10b、头部10a、以及颈部10c,所述头部包括生成图像数据的摄像元件,所述颈部将把手部10b与头部10a进行连接;传感器90,对摄影部(例如口腔内摄像机10)的姿势进行检测;图像处理部102,根据传感器90检测出的摄影部(例如口腔内摄像机10)的姿势,对图像数据进行图像处理;以及显示部103,显示图像数据,例如图5~图13C等所示,图像处理部102,在与摄影部(例如口腔内摄像机10)的光轴LA垂直的摄像面S和沿着铅直轴的铅直朝上方向的第1方向LV(或LS)构成的第1角度α,小于预先规定的第2角度(例如45度)的情况下(S151中的“是”),使图像数据以第3角度θ旋转,从而以铅直轴的铅直上侧成为图像的上侧的方式使图像数据旋转,所述第3角度θ是从把手部10b朝向头部10a的第2方向LB与第1方向LS构成的角度(S152)。
通过上述,该口腔内摄像机系统,能够恰当地显示拍摄的牙齿的图像。例如,用户能够确认上下的关系与实际相同的图像,所以能够直观地掌握牙齿的状态。
例如图5~图13C等所示,图像处理部102,在第1角度α为第2角度(例如45度)以上的情况下,以图像数据内的与头部侧对应的一侧成为图像的上侧的方式,使图像数据旋转(S153)。
例如图16~图18等所示,图像处理部102,在第1角度α小于第2角度(例如45度)的情况下(S201中的“是”),在显示部103进行如下的显示,即在显示部显示的图像是由摄影部(例如口腔内摄像机10)在用户的口腔内拍摄的牙齿的侧面的图像(S202),在第1角度α为第2角度(例如45度)以上的情况下(S201中的“否”),在显示部103进行如下的显示,即在显示部显示的图像是由摄影部(例如口腔内摄像机10)在用户的口腔内从牙冠侧拍摄的牙齿的图像(S203)。
通过上述,该口腔内摄像机系统,显示牙齿的摄影方向。从而,用户能够容易识别当前摄影中的牙齿的摄影方向,所以能够提高用户的便利性。
例如图19~图23等所示,图像处理部102,在第1角度α与第2角度(例如45度)的差小于预先规定的值的情况下(S211中的“是”),在图像数据中检测牙齿区域以及沿着牙齿区域的牙龈区域(S212),在相对于牙齿区域的脸颊侧和舌头侧的这双方检测出牙龈区域的情况下(S213中的“是”),以图像数据内的与头部10a侧对应的一侧成为图像的上侧的方式,使图像数据旋转(S220)。图像处理部102,仅在相对于牙齿区域的脸颊侧或舌头侧的其中一方检测出牙龈区域的情况下(S213中的“否”),算出第1方向LS和第3方向构成的第4角度γ的余弦(cosγ),所述第3方向是沿着摄影部的光轴LA从摄影部朝向被摄体的方向(S214),在算出的余弦的值为正的情况下(S215中的“是”),以在图像数据中牙齿区域位于牙龈区域的下方的方式,使所述图像数据旋转(S216),在余弦的值为负的情况下(S215中的“否”),以在图像数据中牙齿区域位于牙龈区域的上方的方式,使图像数据旋转(S217)。
通过上述,该口腔内摄像机系统,在第1角度α为第2角度(例如45度)附近的情况下,根据牙龈区域与牙齿区域的关系,以及第4角度γ的余弦(cosγ),使图像数据旋转。从而,该口腔内摄像机系统,能够提高第1角度α为第2角度(例如45度)附近的情况下的判断精度。
例如图5等所示,图像处理部102,进一步使图像数据的左右反转,显示部103,对旋转以及反转后的图像数据进行显示(S155)。通过上述,例如用户能够以与映在镜子上的情况相同的状态来确认自己的牙齿,所以能够直观地掌握牙齿的状态。
例如图5等所示,图像处理部102,进一步根据显示部103的姿势,使图像数据旋转(S154)。通过上述,例如用户能够确认上下的关系与实际相同的图像,所以能够直观地掌握牙齿的状态。
例如图24~图32所示,获得摄影部的规定的姿势,以作为初始姿势(S231),利用初始姿势,对第1方向LV(或LS)进行校正(S232)。
通过上述,该口腔内摄像机系统,按照用户的姿势对摄影部的姿势进行校正,从而能够提高处理的精度。
例如规定的姿势是用户BD的姿势与摄影部的姿势成为预先规定的关系的摄影部的姿势。
例如规定的姿势是用户BD的冠状面110与摄影部的摄像面S平行、且摄像面S的平面图中用户BD的垂直轴Z1与第2方向LB一致或正交的状态。
例如规定的姿势是预先规定的牙齿(例如前牙)与摄影部的摄像面S平行地正面相对、且摄像面S的平面图中第2方向LB与预先规定的牙齿的高度方向一致或正交的状态。
通过上述,用户能够容易地获得初始姿势。此外,通过提高初始姿势的精度,能够提高校正的精度。
以上对本公开的实施方式涉及的口腔内摄像机系统进行了说明,但是本公开并非受这些实施方式所限。
例如上述说明中,对使用以拍摄牙齿为主要目的的口腔内摄像机10的例子进行了说明,但是口腔内摄像机10,也可以是具备摄像机的口腔内清洁设备。例如,口腔内摄像机10可以是具备摄像机的口腔内清洗机等。
此外,上述实施方式涉及的口腔内摄像机系统包含的各处理部,典型的是作为集成电路即LSI来实现。这些可以分别单片化,或者包括一部分或者全部的方式单片化。
此外,集成电路化不限于LSI,可以用专用电路或者通用处理器来实现。也可以使用在LSI制造后可编程的FPGA(FieldProgrammableGateArray:现场可编程门阵列)、或者可重构LSI内部的电路单元的连接以及设定的可重构处理器。
另外,在所述各个实施方式中,各个构成要素,可以由专用的硬件构成,或者由执行适合各个构成要素的软件程序来实现。各个构成要素,可以由CPU或者处理器等的程序执行部,读出并执行在硬盘或者半导体存储器等记录介质中记录的软件程序来实现。
此外,本公开可以作为由口腔内摄像机系统执行的图像显示方法等来实现。此外,本公开可以作为口腔内摄像机系统包括的口腔内摄像机、便携式终端、或云服务器来实现。
此外,方框图中的功能块的分割是一例,可以将多个功能块作为一个功能块来实现,或者将一个功能块分割为多个,或者将一部分功能转移到其他功能块。此外,具有类似的功能的多个功能块的功能,可以由单一硬件或者软件并行或者分时地处理。
此外,流程图中的各个步骤被执行的顺序是为了具体说明本公开而示出的例子,也可以是所述以外的顺序。此外,所述步骤的一部分可以与其他步骤同时(并行)地执行。
以上基于实施方式对本公开的一个或多个形态涉及的口腔内摄像机系统进行了说明,不过本公开并非受这些实施方式所限。在不超出本公开的主旨的范围内,将本领域技术人员所能够想到的各种变形执行于本实施方式而得到的形态、对不同的实施方式中的构成要素进行组合而构成的形态也包括在本公开的一个或多个形态的范围中。
本公开能够适用于口腔内摄像机系统。
符号说明
10 口腔内摄像机
10a 头部
10b 把手部
10c 颈部
12 摄影光学系统
14 摄像元件
26A 第1LED
26B 第2LED
26C 第3LED
26D 第4LED
36,40 执行器
50 中央控制部
52 图像处理部
54 LED控制部
56 透镜驱动器
58 无线通信模块
60 电源控制部
62 控制器
64 存储器
66 电池
68 线圈
69 充电器
70 便携式终端
72 触摸屏
80 云服务器
90 位置传感器
101 位置传感器
102 图像处理部
103 显示部
110 冠状面
111 矢状面
112 水平面

Claims (11)

1.一种口腔内摄像机系统,具备:
摄影部,对口腔内的牙齿进行拍摄并生成图像数据,所述摄影部包括把手部、头部、以及颈部,所述头部包括生成图像数据的摄像元件,所述颈部将所述把手部与所述头部进行连接;
传感器,对所述摄影部的姿势进行检测;
图像处理部,根据所述传感器检测出的所述摄影部的姿势,对所述图像数据进行图像处理;以及
显示部,显示所述图像数据,
所述图像处理部,
在与所述摄影部的光轴垂直的摄像面和沿着铅直轴的铅直朝上方向的第1方向构成的第1角度,小于预先规定的第2角度的情况下,
使所述图像数据以第3角度旋转,从而以所述铅直轴的铅直上侧成为图像的上侧的方式使所述图像数据旋转,所述第3角度是从所述把手部朝向所述头部的第2方向与所述第1方向构成的角度。
2.如权利要求1所述的口腔内摄像机系统,
所述图像处理部,
在所述第1角度为所述第2角度以上的情况下,
以所述图像数据内的与所述头部侧对应的一侧成为图像的上侧的方式,使所述图像数据旋转。
3.如权利要求1或2所述的口腔内摄像机系统,
所述图像处理部,
在所述第1角度小于所述第2角度的情况下,在所述显示部进行如下的显示,即在所述显示部显示的图像是由所述摄影部在用户的口腔内拍摄的牙齿的侧面的图像,
在所述第1角度为所述第2角度以上的情况下,在所述显示部进行如下的显示,即在所述显示部显示的图像是由所述摄影部在用户的口腔内从牙冠侧拍摄的牙齿的图像。
4.如权利要求1至3的任一项所述的口腔内摄像机系统,
所述图像处理部,
在所述第1角度与所述第2角度的差小于预先规定的值的情况下,在所述图像数据中检测牙齿区域以及沿着所述牙齿区域的牙龈区域,
在相对于所述牙齿区域的脸颊侧和舌头侧的这双方检测出所述牙龈区域的情况下,以所述图像数据内的与所述头部侧对应的一侧成为图像的上侧的方式,使所述图像数据旋转,
仅在相对于所述牙齿区域的脸颊侧或舌头侧的其中一方检测出所述牙龈区域的情况下,
算出所述第1方向和第3方向构成的第4角度的余弦,所述第3方向是沿着所述摄影部的光轴从所述摄影部朝向被摄体的方向,
在算出的余弦的值为正的情况下,以在所述图像数据中所述牙齿区域位于所述牙龈区域的下方的方式,使所述图像数据旋转,
在所述余弦的值为负的情况下,以在所述图像数据中所述牙齿区域位于所述牙龈区域的上方的方式,使所述图像数据旋转。
5.如权利要求1至4的任一项所述的口腔内摄像机系统,
所述图像处理部,进一步使所述图像数据的左右反转,
所述显示部,对旋转以及反转后的所述图像数据进行显示。
6.如权利要求1至5的任一项所述的口腔内摄像机系统,
所述图像处理部,进一步根据所述显示部的姿势,使所述图像数据旋转。
7.如权利要求1至6的任一项所述的口腔内摄像机系统,
获得所述摄影部的规定的姿势,以作为初始姿势,
利用所述初始姿势,对所述第1方向进行校正。
8.如权利要求7所述的口腔内摄像机系统,
所述规定的姿势是用户的姿势与所述摄影部的姿势成为预先规定的关系的所述摄影部的姿势。
9.如权利要求8所述的口腔内摄像机系统,
所述规定的姿势是所述用户的冠状面与所述摄影部的所述摄像面平行、且所述摄像面的平面图中所述用户的垂直轴与所述第2方向一致或正交的状态。
10.如权利要求7所述的口腔内摄像机系统,
所述规定的姿势是预先规定的牙齿与所述摄影部的所述摄像面平行地正面相对、且所述摄像面的平面图中所述第2方向与所述预先规定的牙齿的高度方向一致或正交的状态。
11.一种图像显示方法,在所述图像显示方法中,
摄影部对口腔内的牙齿进行拍摄并生成图像数据,所述摄影部包括把手部、头部、以及颈部,所述头部包括生成图像数据的摄像元件,所述颈部将所述把手部与所述头部进行连接,
对所述摄影部的姿势进行检测,
根据检测出的所述摄影部的姿势,对所述图像数据进行图像处理,
显示所述图像数据,
在所述图像处理中,
在与所述摄影部的光轴垂直的摄像面和沿着铅直轴的铅直朝上方向的第1方向构成的第1角度,小于预先规定的第2角度的情况下,
使所述图像数据以第3角度旋转,从而以所述铅直轴的铅直上侧成为图像的上侧的方式使所述图像数据旋转,所述第3角度是从所述把手部朝向所述头部的第2方向与所述第1方向构成的角度。
CN202280003885.3A 2021-02-22 2022-02-17 口腔内摄像机系统以及图像显示方法 Pending CN115515472A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021026041 2021-02-22
JP2021-026041 2021-02-22
PCT/JP2022/006364 WO2022176943A1 (ja) 2021-02-22 2022-02-17 口腔内カメラシステム及び画像表示方法

Publications (1)

Publication Number Publication Date
CN115515472A true CN115515472A (zh) 2022-12-23

Family

ID=82932275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280003885.3A Pending CN115515472A (zh) 2021-02-22 2022-02-17 口腔内摄像机系统以及图像显示方法

Country Status (5)

Country Link
US (1) US20230165454A1 (zh)
EP (1) EP4295746A1 (zh)
JP (1) JP7429939B2 (zh)
CN (1) CN115515472A (zh)
WO (1) WO2022176943A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109662753A (zh) * 2017-10-13 2019-04-23 周星 可视口腔刮勺

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012143484A (ja) 2011-01-14 2012-08-02 Panasonic Corp 歯画像表示方法と、それを用いた歯画像表示装置、およびそれに用いる記録媒体
WO2016108276A1 (ja) 2014-12-29 2016-07-07 タカラテレシステムズ株式会社 歯科用光学撮影装置
CN105125160B (zh) 2015-08-27 2017-01-18 李翔 一种口腔内窥镜检测系统及其检测方法
JP2019141582A (ja) 2018-02-16 2019-08-29 スカラ株式会社 口腔カメラシステム、口腔カメラ

Also Published As

Publication number Publication date
US20230165454A1 (en) 2023-06-01
JP7429939B2 (ja) 2024-02-09
JPWO2022176943A1 (zh) 2022-08-25
WO2022176943A1 (ja) 2022-08-25
EP4295746A1 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
JP6935036B1 (ja) 統合されたカメラを有する歯科ミラーおよびそのアプリケーション
JP2020520269A (ja) デジタル3d歯列弓対の自動位置合わせ及び方向付け
WO2022176943A1 (ja) 口腔内カメラシステム及び画像表示方法
WO2017205294A1 (en) A dental mirror with an integrated camera, and applications thereof
JP2017221329A (ja) 2次元画像を用いて生体の下顎開閉軸とバーチャル咬合器の開閉軸を一致させる方法
JP2017006338A (ja) 電動歯ブラシ装置
WO2023157803A1 (ja) 口腔内カメラシステム及び信号処理方法
JPWO2022176943A5 (zh)
JP7462170B2 (ja) 口腔内カメラシステム、歯牙識別方法、制御方法及びプログラム
WO2023157842A1 (ja) 口腔内カメラ、照明制御装置及び照明制御方法
WO2022176942A1 (ja) 口腔内カメラシステム及び撮影動作判定方法
JP6774365B2 (ja) 撮像装置および撮像装置の筺体から着脱可能である先端部材
JP2022127947A (ja) 口腔内カメラシステム及び歯牙列モデル生成方法
JP2013165795A (ja) 口腔内歯列撮影装置
KR20220086314A (ko) 치열궁 형태를 검출 및 기록하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination