CN113433684A - 显微成像拼接装置及其方法 - Google Patents

显微成像拼接装置及其方法 Download PDF

Info

Publication number
CN113433684A
CN113433684A CN202010206582.4A CN202010206582A CN113433684A CN 113433684 A CN113433684 A CN 113433684A CN 202010206582 A CN202010206582 A CN 202010206582A CN 113433684 A CN113433684 A CN 113433684A
Authority
CN
China
Prior art keywords
image
light
skin
control circuit
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010206582.4A
Other languages
English (en)
Inventor
黄远鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cal Comp Big Data Inc
Original Assignee
Cal Comp Big Data Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cal Comp Big Data Inc filed Critical Cal Comp Big Data Inc
Priority to CN202010206582.4A priority Critical patent/CN113433684A/zh
Priority to JP2020107124A priority patent/JP2021149081A/ja
Priority to EP20181686.5A priority patent/EP3885816A1/en
Publication of CN113433684A publication Critical patent/CN113433684A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A61B5/721—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts using a separate sensor to detect motion or using motion information derived from signals other than the physiological signal to be measured
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4738—Diffuse reflection, e.g. also for testing fluids, fibrous materials
    • G01N21/474—Details of optical heads therefor, e.g. using optical fibres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Abstract

本发明公开了一种应用于检测待测皮肤的显微成像拼接装置，包括光学腔体、分光器、影像感测器、位移感测器以及控制电路，光学腔体接触待测皮肤且接收反射自待测皮肤的反射光，分光器通过显微镜头接收反射光，且沿着两相异方向分别输出待测光至影像感测器以及位移感测器，控制电路接收影像感测器的影像信号以及位移感测器的位移信号，且依据多数个位移信号将多数个影像信号拼接为拼接影像。本发明更提供一种应用于检测待测皮肤的显微成像拼接方法。

Description

显微成像拼接装置及其方法
技术领域
本发明有关一种成像拼接装置及其方法，尤指应用于显微成像且可呈现待测皮肤的曲率的一种显微成像拼接装置及其方法。
背景技术
目前市面上一般的数字显微装置，无论是手持式的消费性电子显微镜、手机外挂显微镜头或桌上型的生物显微镜，其使用方式都只能针对待测物表面做有限视野的放大倍率的显微影像的观察，其所能观察到的范围大小受限于光学显微系统的光路设计或电子元件(例如CCD或CMOS)的大小限制，假如观察者所选取的镜头倍数越高，视野范围也就越小。此时若是欲观察的待测区域大于视野范围的话，就必须移动数字显微装置或是移动待测物到不同区域进行观察。对于放大倍率相对一般肉眼较高的显微观测领域来说，较高阶的商用生物显微镜可进一步藉由拍摄连续相邻的数张照片，再分别显示放大后的各张照片，以观察与分析较大视野区域下的各放大照片的细节，尤其对于判断某一特定区域的生物特征极其重要(例如，大范围病理特征分析、病征扩散状态等等)。
尽管现有技术可分别显示放大后的各张照片，但对于人体面积最大的器官“皮肤”来说，并没有办法一次性地呈现具有数字显微装置的数倍视野的单一显微图像。进一步而言，前述现有技术的各张照片皆是二维(two-dimentional)的平面照片，若欲观察的表面为非平面，例如人体的皮肤，无论是脸部皮肤、四肢皮肤或躯干等各部位皮肤，都是立体曲面的而非平面，若仅显示平面影像会因为透视变形(perspective distortion)而扭曲了皮肤上的几何特征，例如桶状变形(barrel distortion)或枕状变形(pincushiondistortion)，在使用时容易造成误判。因此，现行数字显微装置无法解决前述使用情境的需求。
为此，如何设计出一种显微成像拼接装置及其方法，特别是解决现有技术的无法改善皮肤几何特征的透视变形以及无法一次性地呈现具有数倍视野的单一显微图像的技术问题，乃为本案发明人所研究的重要课题。
发明内容
本发明的一目的在于提供一种显微成像拼接装置，解决现有技术的无法一次性地呈现具有数倍视野的单一显微图像的技术问题，且能够改善因为皮肤几何特征的透视变形，达到方便进行大范围显微图像判读以及提升判读准确率的目的。
为了达到前述目的，本发明所提出的显微成像拼接装置应用于检测待测皮肤，所述显微成像拼接装置包括光学腔体、分光器、影像感测器、位移感测器以及控制电路。其中，光学腔体具有彼此平行设置的第一平面以及第二平面的截顶正圆锥体，小于第二平面的第一平面接触待测皮肤，第二平面对第一平面发光且接收反射自待测皮肤的反射光。分光器通过显微镜头接收反射光，且沿着两相异方向输出第一待测光以及第二待测光。影像感测器接收第一待测光，且输出影像信号。位移感测器接收第二待测光，且输出位移信号。控制电路耦接影像感测器以及位移感测器，控制电路接收影像信号以及位移信号，且依据多数个位移信号将多数个影像信号拼接为拼接影像。
进一步而言，控制电路更接收至少一皮肤部位标记，各皮肤部位标记包括对应各待测皮肤的预设曲率，且控制电路依据多数个位移信号以及至少一皮肤部位标记将多数个影像信号拼接为具有预设曲率的拼接影像。
进一步而言，所述的显微成像拼接装置更包括耦接控制电路的三轴陀螺仪，三轴陀螺仪固设于壳体内，且输出三维信号至控制电路，控制电路接收影像信号、位移信号以及三维信号，且依据多数个位移信号以及多数个三维信号将多数个影像信号拼接为具有实际曲率的拼接影像。
进一步而言，所述的显微成像拼接装置更包括环设于第二平面的多数个光单元，多数个发光单元朝第一平面发光，且多数个发光单元的每一个的侧边的延伸线与第一平面的法线所夹的最小角度为30°。
进一步而言，在控制电路接收其中一影像信号时，控制电路依据阀值以及至少一位移信号，判断是否继续接收另一影像信号。
进一步而言，阀值为2mm，且影像感测器的视野为3mm x 3mm。
进一步而言，第一待测光的光强度占反射光的光强度的比例为99％、95％或90％，第二待测光的光强度占反射光的光强度的比例为1％、5％或10％。
本发明的另一目的在于提供一种显微成像拼接方法，解决现有技术的无法一次性地呈现具有数倍视野的单一显微图像的技术问题，且能够改善因为皮肤几何特征的透视变形，达到方便进行大范围显微图像判读以及提升判读准确率的目的。
为了达到前述另一目的，本发明所提出的显微成像拼接方法应用于检测待测皮肤，所述显微成像拼接方法包括下列步骤：自截顶正圆锥体对待测皮肤发光；分光器通过显微镜头接收反射自待测皮肤的反射光，且沿着两相异方向输出第一待测光以及第二待测光；影像感测器接收第一待测光且输出影像信号；位移感测器接收第二待测光且输出位移信号；以及控制电路接收影像信号以及位移信号，且依据多数个位移信号将多数个影像信号拼接为拼接影像。
进一步而言，控制电路更接收至少一皮肤部位标记，各皮肤部位标记包括对应各待测皮肤的预设曲率，且控制电路依据多数个位移信号以及至少一皮肤部位标记将多数个影像信号拼接为具有预设曲率的拼接影像。
进一步而言，控制电路更接收三维信号，且依据多数个位移信号以及多数个三维信号将多数个影像信号拼接为具有实际曲率的拼接影像。
进一步而言，所述的显微成像拼接方法更包括一步骤：在控制电路接收其中一影像信号时，控制电路依据阀值以及至少一位移信号，判断是否继续接收另一影像信号。
进一步而言，阀值为2mm，且影像感测器的视野为3mm x 3mm。
进一步而言，影像感测器的视野的周缘内缩1mm的区域为其中一影像信号与另一影像信号进行影像拼接的重叠处。
进一步而言，第一待测光的光强度占反射光的光强度的比例为99％、95％或90％，第二待测光的光强度占反射光的光强度的比例为1％、5％或10％。
进一步而言，所述的显微成像拼接方法更包括一步骤：截顶正圆锥体于待测皮肤上进行速度为1mm/s的移动。
在使用本发明所述的显微成像拼接装置时，是通过光学腔体接收反射自待测皮肤的反射光，接着由分光器输出第一待测光至影像感测器(例如CCD或CMOS)，且输出第二待测光至位移感测器(例如光学式XY二维感测器)，由于反射光的大多数的能量还是分配给予影像感测器，故不会对后续拼接影像的建立造成影响，又因为位移感测器与影像感测器可以是同步进行地(若控制电路判断位移信号大于阀值)，故控制电路能够均匀地且平滑地对多数个影像信号进行拼接处理。详细地来说，可在测量前输入或预设储存对应各待测皮肤的皮肤部位标记，由于各皮肤部位标记包括各待测皮肤的曲率(例如人体下巴皮肤的曲率大于人体额头皮肤的曲率)，控制电路可依据多数个位移信号以及皮肤部位标记，将多数个影像信号拼接为具有曲率的拼接影像，所述曲率可以是符合大多数人体皮肤型态的预设值，可以使控制电路获得相较于传统完全平面图像具有较少透视变形的拼接影像，有效降低对于皮肤几何特征的误判，如搭配耦接控制电路的三轴陀螺仪则可更进一步地获得具有精确曲率的拼接影像。
为此，本发明所述的显微成像拼接装置能够解决现有技术的无法一次性地呈现具有数倍视野的单一显微图像的技术问题，且能够改善因为皮肤几何特征的透视变形，达到方便进行大范围显微图像判读以及提升判读准确率的目的。
为了能更进一步了解本发明为达成预定目的所采取的技术、手段及功效，请参阅以下有关本发明的详细说明与附图，相信本发明特征与特点，当可由此得一深入且具体的了解，然而所附图式仅提供参考与说明用，并非用来对本发明加以限制者。
附图说明
图1为本发明显微成像拼接装置的系统架构图；
图2为本发明显微成像拼接装置的第一实施例的架构示意图；
图3为本发明显微成像拼接装置的皮肤部位标记示意图；
图4以及图5为本发明显微成像拼接装置的拼接影像示意图；
图6为本发明显微成像拼接装置的第二实施例的架构示意图；以及
图7为本发明显微成像拼接装置的脸部皮肤成像示意图。
其中，附图标记：
1:待测皮肤
2:壳体
3:移动路径
10:光学腔体
11:第一平面
12:第二平面
13:环状面
20:分光器
30:影像感测器
40:位移感测器
50:控制电路
60:三轴陀螺仪
70:显示单元
80:传输线
100:反射光
101:第一待测光
102:第二待测光
103:影像信号
104:位移信号
105:皮肤部位标记
106:拼接影像
107:三维信号
121:显微镜头
122:发光单元
A:额头
B:右眼
C:左眼
D:右颊
E:左颊
F:下巴
R:曲率半径
200:按钮
201:指示灯
具体实施方式
以下系藉由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。本发明亦可藉由其他不同的具体实例加以施行或应用，本发明说明书中的各项细节亦可基于不同观点与应用在不悖离本发明的精神下进行各种修饰与变更。
须知，本说明书所附图式绘示的结构、比例、大小、元件数量等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应落在本发明所揭示的技术内容得能涵盖的范围内。
兹有关本发明的技术内容及详细说明，配合图式说明如下。
请参阅图1至图2。其中，图1为本发明显微成像拼接装置的系统架构图，图2为本发明显微成像拼接装置的第一实施例的架构示意图。
在本发明所述的第一实施例中，显微成像拼接装置包括光学腔体10、分光器20、影像感测器30、位移感测器40、控制电路50以及三轴陀螺仪60。其中，光学腔体10具有彼此平行设置的第一平面11以及第二平面12的截顶正圆锥体，小于第二平面12的第一平面11直接地接触待测皮肤1，第二平面12对第一平面11发光且接收反射自待测皮肤1的反射光100。进一步而言，本发明所述的显微成像拼接装置更包括环设于第二平面12的多数个发光单元122，且第二平面12穿设有接收反射光100的显微镜头121。多数个发光单元122朝第一平面11发光，且照射接触于第一平面11的待测皮肤1。多数个发光单元122的每一个的侧边的延伸线与第一平面11的法线所夹的最小角度为30°。其中，第一平面11的侧边与第二平面12的侧边之间具有不透光的环状面13，环状面13上覆设有用以反射光线的铝金属薄膜。在本发明的第一实施例中，多数个发光单元122包括彼此交错排列的多数个白光发光单元(图中未示)以及多数个激发光发光单元(图中未示)，多数个白光发光单元不会与多数个激发光发光单元同时发光，且各激发光发光单元所发出波长介于350纳米至400纳米之间的激发光，用以使人体皮肤激发出萤光。
尤其是，激发光的最佳化的特定波长为365纳米(误差值于正负5纳米之内)，属于紫外光(UV)。以容易引起皮肤疾病的痤疮丙酸杆菌(propionibacterium acnes)为例，其是一种常见于皮肤表层毛孔内的菌群，也是造成粉刺(acne)的主要原因之一。皮肤上的毛孔清洁干净程度，也影响了引发皮肤疾病的机率，但是一般毛孔平均孔径只有大约0.9mm，需要用显微镜才能观察。但一般以可见光做为主要光源的数字式显微装置，由于其波长限制而难以有效分辨与观察出毛孔内的痤疮丙酸杆菌的滋生状况与是否被有效清洁。为此，需要萤光显微镜进行检测。前述痤疮丙酸杆菌在代谢过程中会产生一种叫“紫质”(porphyrin)的化学物质，而紫质的化学结构可以被属于紫外光波段的激发光(主要吸收峰值为365nm)激发出可见光波段的橘红光萤光(主要放射峰值为660nm)。因此可以藉由观察橘红光点的光强度、点状区域大小、点状分布来间接得知痤疮丙酸杆菌在各皮肤区域的滋生情形。前述痤疮丙酸杆菌仅示例性地说明，本发明的应用不受此限制。
分光器20通过显微镜头121接收反射光100，且沿着两相异方向输出第一待测光101以及第二待测光102。进一步而言，分光器20将第一待测光101输出至影像感测器30，分光器20将第二待测光102输出至位移感测器40。在本发明所述的第一实施例中，所述分光器20可以是光束分离器(bean splitter)，其可包括谐波分离器(harmonic separator)或二向色分束镜(dichroic beam splitter)。分光器20通过将属于某波长范围的反射光100的部分能量进行反射而形成第二待测光102，且将属于其余波长范围的反射光100的部分能量进行透射而形成第一待测光101。在本发明所述的第一实施例中，第一待测光101的光强度占反射光100的光强度的比例可以是99％、95％或90％，第二待测光102的光强度占反射光100的光强度的比例可以是1％、5％或10％。即是，第一待测光101与第二待测光102的关系为99％:1％、95％:5％或90％:10％。由于反射光100的大多数的能量还是分配给予影像感测器30，故不会对后续拼接影像的建立造成影响。所述分光器20可用于萤光能量共振转移(fluorescence resonance energy transfer,FRET)、即时活细胞成像(real-time live-cell imaging)或萤光成像(fluorescence imaging)等领域，然而前述仅示例性地说明，本发明的应用不受此限制。
影像感测器30接收第一待测光101且输出影像信号103。其中，所述影像感测器30可以是CCD或CMOS所构成的感光元件，且可包括微透镜(micro lens)结构加强CCD或CMOS的低光感测灵敏度。在本发明的第一实施例中，由显微镜头121与影像感测器30所构成的视野(FOV)为3mm x 3mm。使用时，可以截顶正圆锥体的第一平面11平贴着待测物表面(例如脸部皮肤)做扫描式的移动，例如进行速度为1mm/s的移动，并同时连续或非连续的拍照以获得拼接用的照片集。
位移感测器40接收第二待测光102且输出位移信号104。其中，所述位移感测器40可以是光学式XY二维感测器。所述光学式XY二维感测器可包括低解析度CMOS以及微控制器(MCU)，藉由低解析度CMOS的快速处理的特点快速地判断前后连续两张影像的差异，其速度可达到1500pc/s(张/秒)。藉此，可以使MCU通过数字影像关联与追踪(digital imagecorrelation and tracking,DIC and tracking)的相关技术，得知当前视野的影像移动的方向或位移感测器40移动的方向，进而输出包括(X,Y)的二维数值的位移信号104供后续应用，而其中的X、Y的每一个数值代表了相对于一预设的绝对零点的各方向的移动距离。由于前述第一平面11是接触待测皮肤1，故另一维度Z为定值不需检测(如图2所示)。值得一提的是，在XY的二维方向的位移感测上，无法选择其他感测方式像是物理性的三轴加速度计(accelerometer)做为替代，其主要原因是三轴加速度计的位移的速度很低。进一步而言，规格属于low g的加速度计其精度亦显不足，而可用于光学滑鼠用的光学式XY二维感测器的精度则可足够皮肤显微成像的应用，而且利用原本光路直接对反射光100分光后即可达成，整合设计较容易。
控制电路50耦接影像感测器30以及位移感测器40，控制电路50接收影像信号103、位移信号104以及皮肤部位标记105，且依据多数个位移信号104以及皮肤部位标记105，将多数个影像信号103拼接为具有预设曲率的拼接影像106，且控制电路50将拼接影像106输出至显示单元70。所述预设曲率可以是预先内建且储存的，且各皮肤部位标记105包括对应各待测皮肤的预设曲率，即本发明可预先内建虚拟脸部影像。所述控制电路50可以是包括影像信号处理器(image signal processor,ISP)的电路板。在本发明的第一实施例中，影像感测器30所构成的视野(例如3mm x 3mm)的周缘内缩1mm的区域为其中一影像信号103与另一影像信号103进行显微成像拼接(microscopic imaging stitching)的重叠处，可做为影像叠合(superimposed images)、转折处的曲线拟合(curve fitting)、消除噪声或影像纹理修饰等用途。其中，控制电路50是通过传输线80耦接显示单元70，从而使拼接影像106通过传输线80输出至显示单元70。
三轴陀螺仪60固设于耦接第二平面12的壳体2内，且输出三维信号107至控制电路50。控制电路50接收影像信号103、位移信号104、皮肤部位标记105以及三维信号107，且依据多数个位移信号104、皮肤部位标记105以及多数个三维信号107将多数个影像信号103拼接为具有实际曲率的拼接影像106。所述实际曲率可以是具有当前待测者的真实人脸表面的真实曲率，且可以由实际测量待测者的人脸表面的多数个三维信号107而获得。在本发明的第一实施例中，所述三维信号107包括了(a,b,c)的三维数值，而其中a、b、c的每一个数值代表了相对于一预设的绝对零点的各方向的旋转角度(如图2所示)。进一步而言，在控制电路50接收其中一影像信号103时，控制电路50依据阀值以及至少一位移信号104，判断是否继续接收另一影像信号103。在本发明的第一实施例中，所述阀的值可以是2mm，即当控制电路50判断影像信号103与当前位置已位移了2mm时，则接收另一影像信号103进行影像拼接。由于座标的定义是以一个视野为一个点(例如3mm x 3mm的中心点)，故连续两个影像信号103以相距2mm的方式重叠即产生前述1mm的重叠处。
请参阅图3所示，为本发明显微成像拼接装置的皮肤部位标记示意图。其中，各皮肤部位标记105包括各待测皮肤1的预设曲率。在本发明的第一实施例中，皮肤部位标记105可以包括额头A、右眼B、左眼C、右颊D、左颊E以及下巴F。由于考量到在实际检测人体皮肤时，并非必要对整个脸部或甚至是全身皮肤进行完整的检测才得以显示当前检测区域是位于人体的正确相对位置。为此，可以在对待测皮肤1进行检测前或检测同时输入皮肤部位标记105，由于控制电路50可以通过皮肤部位标记105知道目前正在检测的人体部位是在哪里，故就算没有对整个脸部或甚至是全身皮肤进行完整的检测，显示单元70依然可以依据各皮肤部位标记105对于各待测皮肤1的预设曲率等等数值的差异，而于一虚拟脸部影像上呈现已检测的部分人体皮肤的拼接影像106。例如皮肤部位标记105是右眼B时，显示单元70呈现的拼接影像106不会因误判而呈现为左眼C。又进一步而言，由于本发明可结合对应各待测皮肤的预设曲率以及三轴陀螺仪60所输出的三维信号107，因此本发明的显微成像拼接装置可以使所述虚拟脸部影像与所依据真实所检测待测皮肤1所获得的三维数值(a,b,c)相互搭配且彼此部分地组合以形成更精确的人脸影像。或者是，亦可以在所述虚拟脸部影像的基础上，依据真实所检测待测皮肤1所获得的三维数值(a,b,c)修正虚拟脸部影像，进而呈现符合真实状况的拼接影像106，即控制电路可以依据实际曲率对预设曲率进行实时地同步修正。然而前述仅示例性地说明，本发明的应用不受此限制。
请参阅图4以及图5所示，为本发明显微成像拼接装置的拼接影像示意图。在实际使用本发明的显微成像拼接装置时，在影像信号103必须是连续的条件之下控制电路50才有办法进行影像拼接。如图4所示，在第一平面11于待测皮肤1上的移动路径3中，多数个影像信号103是依序地进行拼接以及部分重叠。当遇到非平面的待测皮肤1时，控制电路50依据皮肤部位标记105以及三维信号107，对多数个影像信号103进行曲率(即1/R，其中R为曲率半径)的实时修正，控制电路50可以对转折处的多数个影像信号103进行曲线拟合(curvefitting)，使之产生平滑(smooth)的曲线，或可达到信号降噪的效果。
三轴陀螺仪60则是用来测量每一个视野(例如3mm x 3mm)的绝对旋转角度或是相对前一影像信号103的相对旋转角度，再加上X、Y的位移量，即可整合五个物理量(X、Y、a、b、c)拼接出三维立体的表面影像。有点像是三维的立体拼图，每一块拼图都具有独自的以及本身所拍摄的视野。因为每一次的扫描都是独立的事件，即重新归零的原点(绝对零点)，当影像感测器30拍摄了第一张照片后有了原点的(x＝0,y＝0,a＝0,b＝0,c＝0)后开始移动。若通过软体或演算法定义为视野每移动2mm即拍摄另一张照片，且位移感测器40已经从绝对零点移动超过了2mm之后即触发(trigger)控制电路50撷取另一影像信号103，使影像感测器30进行拍照的动作，且同时控制电路50也撷取了三轴陀螺仪60的三维信号107。即可获得例如为(x＝2,y＝1,a＝1,b＝1,c＝1)的资讯，使控制电路50对连续两个影像信号103于三维空间中进行拼接。
图6为本发明显微成像拼接装置的第二实施例的架构示意图。本发明的第二实施例与前述第一实施例大致相同，惟壳体2包覆至环状面13外，使第一平面11露出，且于壳体2外配置有按钮200以及指示灯201。所述按钮200得以让使用者定义对待测皮肤1进行扫描检测的起点与终点。指示灯201可显示当前检测模式或电力状态。前述的实体的按钮200亦可由软体上的虚拟按钮取代，然而前述仅示例性地说明，本发明的应用不受此限制。
在使用本发明所述的显微成像拼接装置时，是通过光学腔体10接收反射自待测皮肤1的反射光，接着由分光器20输出第一待测光101至影像感测器30(例如CCD或CMOS)，且输出第二待测光102至位移感测器40(例如光学式XY二维感测器)，由于反射光100的大多数的能量还是分配给予影像感测器30，故不会对后续拼接影像的建立造成影响，又因为位移感测器40与影像感测器30可以是同步进行地(若控制电路判断位移信号大于阀值)，故控制电路50能够均匀地且平滑地对多数个影像信号103进行拼接处理。详细地来说，可在测量前输入或预设储存对应各待测皮肤1的皮肤部位标记105，由于各皮肤部位标记105包括各待测皮肤1的曲率(例如人体下巴皮肤的曲率大于人体额头皮肤的曲率)，控制电路50可依据多数个位移信号104以及皮肤部位标记105，将多数个影像信号103拼接为具有曲率的拼接影像106，可以使控制电路50获得相较于传统完全平面图像具有较少透视变形的拼接影像106，有效降低对于皮肤几何特征的误判。当遇到非平面的待测皮肤1时，控制电路50依据皮肤部位标记105以及三轴陀螺仪60的三维信号107，对多数个影像信号103进行曲率(即1/R)的实时修正。如图7所示，为本发明显微成像拼接装置的脸部皮肤成像示意图。
对于皮肤科的显微影像的判断分析，本发明可提供前所未有的观察方式，克服了传统数字见树不见林(只见小区域却不见大范围)的缺点，同时在技术上舍弃纯用影像特征的方式做影像拼接，本发明配合实际物理量参数(X、Y、a、b、c)可以知道实际影像的空间分布，进而建构出真实尺寸的三维表面分布模型，可利于视觉化的判读与比较追踪，提供更多的影像资讯。
为此，本发明所述的显微成像拼接装置能够解决现有技术的无法一次性地呈现具有数倍视野的单一显微图像的技术问题，且能够改善因为皮肤几何特征的透视变形，达到方便进行大范围显微图像判读以及提升判读准确率的目的。
以上所述，仅为本发明较佳具体实施例的详细说明与图式，惟本发明的特征并不局限于此，并非用以限制本发明，本发明的所有范围应以下述的申请专利范围为准，凡合于本发明申请专利范围的精神与其类似变化的实施例，皆应包括于本发明的范畴中，任何熟悉该项技艺者在本发明的领域内，可轻易思及的变化或修饰皆可涵盖在以下本案的专利范围。

Claims (15)

1.一种显微成像拼接装置，其特征在于，应用于检测一待测皮肤，包括：
一光学腔体，具有彼此平行设置的一第一平面以及一第二平面的一截顶正圆锥体，小于该第二平面的该第一平面接触该待测皮肤，该第二平面对该第一平面发光且接收反射自该待测皮肤的一反射光；
一分光器，通过一显微镜头接收该反射光，且沿着两相异方向输出一第一待测光以及一第二待测光；
一影像感测器，接收该第一待测光，且输出一影像信号；
一位移感测器，接收该第二待测光，且输出一位移信号；以及
一控制电路，耦接该影像感测器以及该位移感测器，该控制电路接收该影像信号以及该位移信号，且依据多数个该位移信号将多数个该影像信号拼接为一拼接影像。
2.如权利要求1所述的显微成像拼接装置，其特征在于，该控制电路更接收至少一皮肤部位标记，各该皮肤部位标记包括对应各该待测皮肤的一预设曲率，且该控制电路依据多数个该位移信号以及该至少一皮肤部位标记将多数个该影像信号拼接为具有该预设曲率的该拼接影像。
3.如权利要求1所述的显微成像拼接装置，其特征在于，更包括耦接该控制电路的一三轴陀螺仪，该三轴陀螺仪固设于一壳体内，且输出一三维信号至该控制电路，该控制电路接收该影像信号、该位移信号以及该三维信号，且依据多数个该位移信号以及多数个该三维信号将多数个该影像信号拼接为具有一实际曲率的该拼接影像。
4.如权利要求1所述的显微成像拼接装置，其特征在于，更包括环设于该第二平面的多数个发光单元，该多数个发光单元朝该第一平面发光，且该多数个发光单元的每一个的侧边的延伸线与该第一平面的法线所夹的最小角度为30°。
5.如权利要求1所述的显微成像拼接装置，其特征在于，在该控制电路接收其中一该影像信号时，该控制电路依据一阀值以及至少一该位移信号，判断是否继续接收另一该影像信号。
6.如权利要求5所述的显微成像拼接装置，其特征在于，该阀值为2mm，且该影像感测器的视野为3mm x 3mm。
7.如权利要求1所述的显微成像拼接装置，其特征在于，该第一待测光的光强度占该反射光的光强度的比例为99％、95％或90％，该第二待测光的光强度占该反射光的光强度的比例为1％、5％或10％。
8.一种显微成像拼接方法，其特征在于，应用于检测一待测皮肤，包括：
自一截顶正圆锥体对该待测皮肤发光；
一分光器通过一显微镜头接收反射自该待测皮肤的一反射光，且沿着两相异方向输出一第一待测光以及一第二待测光；
一影像感测器接收该第一待测光且输出一影像信号；
一位移感测器接收该第二待测光且输出一位移信号；以及
一控制电路接收该影像信号以及该位移信号，且依据多数个该位移信号将多数个该影像信号拼接为一拼接影像。
9.如权利要求8所述的显微成像拼接方法，其特征在于，该控制电路更接收至少一皮肤部位标记，各该皮肤部位标记包括对应各该待测皮肤的一预设曲率，且该控制电路依据多数个该位移信号以及该至少一皮肤部位标记将多数个该影像信号拼接为具有该预设曲率的该拼接影像。
10.如权利要求8所述的显微成像拼接方法，其特征在于，该控制电路更接收一三维信号，且依据多数个该位移信号以及多数个该三维信号将多数个该影像信号拼接为具有一实际曲率的该拼接影像。
11.如权利要求8所述的显微成像拼接方法，其特征在于，更包括一步骤：
在该控制电路接收其中一该影像信号时，该控制电路依据一阀值以及至少一该位移信号，判断是否继续接收另一该影像信号。
12.如权利要求11所述的显微成像拼接方法，其特征在于，该阀值为2mm，且该影像感测器的视野为3mm x 3mm。
13.如权利要求11所述的显微成像拼接方法，其特征在于，该影像感测器的视野的周缘内缩1mm的一区域为其中一该影像信号与另一该影像信号进行影像拼接的重叠处。
14.如权利要求8所述的显微成像拼接方法，其特征在于，该第一待测光的光强度占该反射光的光强度的比例为99％、95％或90％，该第二待测光的光强度占该反射光的光强度的比例为1％、5％或10％。
15.如权利要求8所述的显微成像拼接方法，其特征在于，更包括一步骤：
该截顶正圆锥体于该待测皮肤上进行速度为1mm/s的移动。
CN202010206582.4A 2020-03-23 2020-03-23 显微成像拼接装置及其方法 Pending CN113433684A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010206582.4A CN113433684A (zh) 2020-03-23 2020-03-23 显微成像拼接装置及其方法
JP2020107124A JP2021149081A (ja) 2020-03-23 2020-06-22 顕微鏡イメージングステッチ装置及びその方法
EP20181686.5A EP3885816A1 (en) 2020-03-23 2020-06-23 Microscopic imaging stitching apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010206582.4A CN113433684A (zh) 2020-03-23 2020-03-23 显微成像拼接装置及其方法

Publications (1)

Publication Number Publication Date
CN113433684A true CN113433684A (zh) 2021-09-24

Family

ID=71138559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010206582.4A Pending CN113433684A (zh) 2020-03-23 2020-03-23 显微成像拼接装置及其方法

Country Status (3)

Country Link
EP (1) EP3885816A1 (zh)
JP (1) JP2021149081A (zh)
CN (1) CN113433684A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04170188A (ja) * 1990-11-01 1992-06-17 Olympus Optical Co Ltd 画像処理装置
JPH09163210A (ja) * 1995-12-13 1997-06-20 Nippon Telegr & Teleph Corp <Ntt> 撮像システム
WO2004094945A1 (ja) * 2003-03-04 2004-11-04 National Institute Of Advanced Industrial Science And Technology ランドマーク抽出装置およびランドマーク抽出方法
JP2007264410A (ja) * 2006-03-29 2007-10-11 Nidec Copal Corp 肌観察装置
US20090118600A1 (en) * 2007-11-02 2009-05-07 Ortiz Joseph L Method and apparatus for skin documentation and analysis
US20100171809A1 (en) * 2008-12-08 2010-07-08 Olympus Corporation Microscope system and method of operation thereof
CN102611826A (zh) * 2011-01-21 2012-07-25 索尼公司 图像处理装置、图像处理方法以及程序
US20130266980A1 (en) * 2012-04-04 2013-10-10 Memorial Sloan-Kettering Cancer Center System, device, method and computer accessible medium for imaging large areas with microscopic resolution
JP2013250531A (ja) * 2012-06-04 2013-12-12 Olympus Corp 顕微鏡システム及びその制御方法
EP2872035A2 (en) * 2012-07-10 2015-05-20 Aïmago S.A. Perfusion assessment multi-modality optical medical device
CN107241467A (zh) * 2017-05-11 2017-10-10 广东欧珀移动通信有限公司 电子装置
WO2019087269A1 (ja) * 2017-10-31 2019-05-09 オリンパス株式会社 内視鏡システム
CN110785208A (zh) * 2017-06-20 2020-02-11 高露洁-棕榄公司 皮肤护理器具及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04170188A (ja) * 1990-11-01 1992-06-17 Olympus Optical Co Ltd 画像処理装置
JPH09163210A (ja) * 1995-12-13 1997-06-20 Nippon Telegr & Teleph Corp <Ntt> 撮像システム
WO2004094945A1 (ja) * 2003-03-04 2004-11-04 National Institute Of Advanced Industrial Science And Technology ランドマーク抽出装置およびランドマーク抽出方法
JP2007264410A (ja) * 2006-03-29 2007-10-11 Nidec Copal Corp 肌観察装置
US20090118600A1 (en) * 2007-11-02 2009-05-07 Ortiz Joseph L Method and apparatus for skin documentation and analysis
US20100171809A1 (en) * 2008-12-08 2010-07-08 Olympus Corporation Microscope system and method of operation thereof
CN102611826A (zh) * 2011-01-21 2012-07-25 索尼公司 图像处理装置、图像处理方法以及程序
US20130266980A1 (en) * 2012-04-04 2013-10-10 Memorial Sloan-Kettering Cancer Center System, device, method and computer accessible medium for imaging large areas with microscopic resolution
JP2013250531A (ja) * 2012-06-04 2013-12-12 Olympus Corp 顕微鏡システム及びその制御方法
EP2872035A2 (en) * 2012-07-10 2015-05-20 Aïmago S.A. Perfusion assessment multi-modality optical medical device
CN107241467A (zh) * 2017-05-11 2017-10-10 广东欧珀移动通信有限公司 电子装置
CN110785208A (zh) * 2017-06-20 2020-02-11 高露洁-棕榄公司 皮肤护理器具及系统
WO2019087269A1 (ja) * 2017-10-31 2019-05-09 オリンパス株式会社 内視鏡システム

Also Published As

Publication number Publication date
JP2021149081A (ja) 2021-09-27
EP3885816A1 (en) 2021-09-29

Similar Documents

Publication Publication Date Title
US6549288B1 (en) Structured-light, triangulation-based three-dimensional digitizer
JP5467404B2 (ja) ３ｄ撮像システム
JP4869699B2 (ja) 内視鏡装置
EP2403396B1 (en) Wavefront analysis inspection apparatus and method
JP5775069B2 (ja) 細胞観察装置および細胞観察方法
US9423343B2 (en) Membrane potential change detection device and membrane potential change detection method
WO2011064969A1 (ja) 検査装置、三次元形状測定装置、構造物の製造方法
CN101730498A (zh) 低相干性牙科光学相干断层成像术成像
CN109215063A (zh) 一种事件触发相机与三维激光雷达的配准方法
JP2002078683A (ja) 表面検査装置及び方法
CN108475145A (zh) 图像识别装置、图像识别方法以及图像识别单元
JP2007500881A (ja) 波面センサを備えた走査型レーザ顕微鏡
TWI589872B (zh) 超音波探傷系統
US20140169637A1 (en) Method for self-calibration of a microscope apparatus
JPH03102202A (ja) 撮像手段による対象部分の検査方法
JP5728699B2 (ja) 表面検査装置、表面検査方法および表面検査プログラム
JP2007171092A (ja) 三次元計測用マーカとこれを用いた三次元計測方法
US20110181702A1 (en) Method and system for generating a representation of an oct data set
CN105510229B (zh) 一种超分辨虚拟结构光照明成像装置及其成像方法
JP2022069582A (ja) 涙液層厚み測定装置及び方法
CN109085119A (zh) 一种拉曼层析光谱检测的共聚焦三维成像系统和实现方法
US7791008B2 (en) Single spot focus control
Jütte et al. Registration of polarimetric images for in vivo skin diagnostics
AU2016433865A1 (en) System and method for 3D reconstruction
JP2003294423A (ja) 球面形状測定解析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210924