CN106456292B - 用于收集与正在经历3d扫描的对象有关的颜色信息的系统、方法、设备 - Google Patents

用于收集与正在经历3d扫描的对象有关的颜色信息的系统、方法、设备 Download PDF

Info

Publication number
CN106456292B
CN106456292B CN201580022299.3A CN201580022299A CN106456292B CN 106456292 B CN106456292 B CN 106456292B CN 201580022299 A CN201580022299 A CN 201580022299A CN 106456292 B CN106456292 B CN 106456292B
Authority
CN
China
Prior art keywords
image data
color image
color
monochrome
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580022299.3A
Other languages
English (en)
Other versions
CN106456292A (zh
Inventor
B.福斯
F.蒂尔
J.普法伊费尔
A.哈佛
J.卢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arges Imaging Inc
Original Assignee
Arges Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arges Imaging Inc filed Critical Arges Imaging Inc
Publication of CN106456292A publication Critical patent/CN106456292A/zh
Application granted granted Critical
Publication of CN106456292B publication Critical patent/CN106456292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • A61C9/006—Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795—Reading arrangements
    • H04N1/00827—Arrangements for reading an image from an unusual original, e.g. 3-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H04N1/19594—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays using a television camera or a still video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/465—Conversion of monochrome to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Abstract

一种对对象执行三维(3D)扫描的方法，包括向所述对象施加光学对比度粉末以及用光照明所述对象。生成与所述对象对应的第一二维(2D)彩色图像数据和第二2D彩色图像数据。使用所述第一2D彩色图像数据和所述第二2D彩色图像数据来生成与所述对象对应的第一2D单色图像数据和第二2D单色图像数据。使用所述第一2D单色图像数据和所述第二2D单色图像数据来生成与所述对象对应的3D数据。通过将颜色信息添加至所述3D数据来生成与所述对象对应的彩色3D图像数据。显示所述彩色3D图像数据。

Description

用于收集与正在经历3D扫描的对象有关的颜色信息的系统、 方法、设备
背景技术
技术领域
本公开涉及收集与正在经历三维(3D)扫描的对象有关的颜色信息，更具体地，涉及生成并显示与一个或多个对象例如一个或多个牙齿对应的3D彩色图像数据。
相关技术的描述
现已使用计算机辅助设计(CAD)和计算机辅助制造(CAM)技术来建立患者口腔内部的数字模型。所述数字模型已用于设计和制造牙科修复件，例如镶嵌物、高嵌体、牙桥、牙冠和镶面。用于扫描患者口腔内部以产生这种数字模型的常规系统生成并显示3D单色数据。当使用相机在患者口腔内进行3D扫描时，可能难以准确地定向相机以扫描所关注的口腔结构，并且难以区分临床相关区域(例如牙齿)和不必要区域(例如舌和脸颊)。对于收集并实时显示3D信息的系统来说尤其如此。
发明内容
可通过对对象执行3D扫描的方法以及通过根据该方法操作的系统、设备和计算机程序来克服与上述相关的现有限制以及其他限制。
根据本文的一个示例性实施例，该方法包括：生成与被照明对象对应的第一二维(2D)彩色图像数据和第二2D彩色图像数据，其中，第一2D彩色图像数据和第二2D彩色图像数据包括像素。该方法还包括：生成分别与第一2D彩色图像数据和第二2D彩色图像数据对应的第一2D单色图像数据和第二2D单色图像数据；使用第一2D单色图像数据和第二2D单色图像数据生成3D数据；以及通过将由第一2D彩色图像数据和第二2D彩色图像数据中的至少一者得到的颜色信息与3D数据进行组合来生成3D彩色图像数据。
在本文的另一个示例性实施例中，该方法还包括在显示单元上显示3D彩色图像数据。在本文的又一个示例性实施例中，在显示单元上实时显示3D彩色图像数据。
在另外一个示例性实施例中，该方法还包括在显示单元上显示第一2D彩色图像数据和第二2D彩色图像数据中的至少一者。
另外在本文的一个示例性实施例中，该方法还包括：在生成第一2D单色图像数据和第二2D单色图像数据之前，对第一2D彩色图像数据和第二2D彩色图像数据进行下采样，以生成下采样的2D彩色图像数据。在本文的又一个示例性实施例中，2D彩色图像数据包括多个彩色像素值，下采样的2D彩色图像数据包括多个彩色像素值，并且使用2D彩色图像数据的十六个彩色像素值来生成与四个相邻像素对应的下采样的2D彩色图像数据的彩色像素值。
在本文的另一个示例性实施例中，第一2D彩色图像数据的生成是使用彩色图像传感器的第一部分执行的，并且第二2D彩色图像数据的生成是使用彩色图像传感器的第二部分执行的。在本文的又一个示例性实施例中，彩色图像传感器的第一部分基于已经由对象反射且已经穿过相机的第一孔的光来生成第一2D彩色图像数据，并且彩色图像传感器的第二部分基于已经由对象反射且已经穿过相机的第二孔的光来生成第二2D彩色图像数据，其中第二孔不同于第一孔。
在本文的另外一个示例性实施例中，2D彩色图像数据包括多个彩色像素值，2D单色图像数据包括多个单色像素值，并且每个单色像素值是与2D彩色图像数据的四个相邻像素对应的四个彩色像素值的加权平均数。
在本文的另外一个示例性实施例中，2D彩色图像数据包括多个彩色像素值，并且2D单色图像数据包括具有一种颜色的2D彩色图像数据的像素。
在本文的一些示例性实施例中，该方法还包括向对象施加光学对比度粉末。在本文的另一个示例性实施例中，该方法还包括对颜色信息的与光学对比度粉末对应的部分进行颜色校正。在本文的又一个示例性实施例中，光学对比度粉末包括黑色颗粒、白色颗粒或黑白颗粒。在本文的另外一个示例性实施例中，光学对比度粉末包括至少两种颜色的颗粒，并且光学对比度粉末的第一颜色的颗粒与光学对比度粉末的第二颜色的颗粒吸收不同量的一种颜色的光。
在本文的一个示例性实施例中，该方法还包括用光照明对象。在本文的一个示例性实施例中，用白光照明对象。在本文的另一个示例性实施例中，用多种彩色光照明对象。在本文的另外一个示例性实施例中，用结构化光照明对象。
该方法可用于显示患者口腔内部的精确彩色3D模型，并辅助牙科专家识别临床相关区域。例如，该方法可辅助牙科专家识别牙齿的研磨部分与牙齿的非接触部分之间的边缘，从而有利于相对于边缘来最佳制备牙冠并放置牙冠。该方法还可用于为牙科专家执行3D扫描提供生动逼真的视觉反馈，从而使扫描过程更容易。
下面将参照附图详细描述本文中各种实施例的另外的特征和优点以及结构和操作。
附图说明
图1A示出了根据本文一示例性实施例的一种用于生成并显示与正在经历扫描的对象有关的颜色信息的示例性3D扫描系统的框图。
图1B示出了根据本文一示例性实施例的图1A的3D扫描系统的彩色像素传感器阵列。
图2示出了图1A所示3D扫描系统的一个示例性计算机系统的框图。
图3A是示出根据本文一示例性实施例的一种用于生成并显示与正在经历3D扫描的对象有关的颜色信息的示例性过程的流程图。
图3B是根据本文一示例性实施例的一种用于生成并显示对象的二维(2D)彩色图像的示例性过程的流程图。
图4A示出了图1B所示彩色像素传感器阵列的一示例性滤色器阵列。
图4B示出了图4A所示滤色器阵列中所使用的颜色。
图5A示出了图1B所示彩色像素传感器阵列的一示例性像素传感器阵列。
图5B示出了与图5A所示像素传感器阵列对应的彩色像素值存储阵列的示例性视觉表示。
图6A示出了图1A所示3D扫描系统的一示例性虚拟滤色器阵列。
图6B示出了图6A所示虚拟滤色器阵列中所使用的颜色。
图7A示出了图1A所示3D扫描系统的一示例性虚拟彩色像素传感器阵列。
图7B示出了与图7A所示虚拟彩色像素传感器阵列对应的彩色像素值存储阵列的一示例性视觉表示。
图8示出了根据本文一示例性实施例的单色像素值存储阵列的一示例性视觉表示。
图9示出了通过图1A的3D扫描系统生成的一示例性2D彩色图像。
图10示出了通过图1A的3D扫描系统显示的一示例性3D彩色图像数据。
具体实施方式
图1A示出了3D扫描系统100的框图，该系统从正在经历3D扫描的对象50收集颜色信息并显示对象50的3D彩色表示。3D扫描系统100包括：手持部件102；使用线缆106连接到手持部件的计算机系统104；以及使用线缆110连接到计算机系统104的显示单元108。
手持部件102包括壳体112，该壳体的下表面中具有窗口114。手持部件102还包括照明单元116，该照明单元通过窗口114将光119投射到对象50上。根据本文的一个示例性实施例，照明单元116包括发光二极管(LED)，例如LED 118和LED 120，该LED将白光作为光119投射到对象50上。在本文的另一个示例性实施例中，照明单元116包括多个投射白光的LED，所述多个投射白光的LED为例如12个这种LED(未示出)。根据本文的又一个示例性实施例，照明单元116包括分别投射红光，绿光和蓝光的多个LED(例如三个LED；未示出)。在本文的另外一个示例性实施例中，照明单元116包括多个彩色LED(未示出)，所述多个彩色LED共同涵盖可见光谱的至少大部分，例如390nm至700nm的波长范围。根据本文的再一个示例性实施例，照明单元116投射结构化光作为光119，该结构化光具有例如随机点图案、深色和浅色条纹图案或彩色条纹图案等特征并涵盖可见光谱的至少大部分。在其他实施例中，可以将上述实施例的一个或多个方面一起使用。
至少一些从照明单元116发射的光119被对象50反射，并通过窗口114返回手持部件102中，如附图标记121所示。设置有反射镜122，以将被对象50反射的光121朝着光学系统124反射。光学系统124包括至少一个透镜126和掩模130，该掩模具有形成于其中的第一孔132和第二孔134。透镜126将被对象50和反射镜122反射的光进行聚焦，以使得光穿过第一孔132和第二孔134。
穿过第一孔132的光被投射到相机单元140的彩色像素传感器阵列148的第一部分142上，以形成第一图像。类似地，穿过第二孔134的光被投射到相机单元140的彩色像素传感器阵列148的独立的第二部分144上，以形成第二图像。根据本文的一个示例性实施例，穿过第一孔132的光通过光学部件136被投射到第一部分142上，而穿过第二孔134的光通过光学部件138被投射到第二部分144上。在本文的一个示例性实施例中，光学部件136和光学部件138为菱形棱镜。
根据本文的一个示例性实施例，如图1A和图1B所示，彩色像素传感器阵列148包括设置在像素传感器阵列152前面的滤色器阵列150，使得投射到彩色像素传感器阵列148的第一部分142或第二部分144上的光首先穿过滤色器阵列150的相应部分，然后类似地透射到像素传感器阵列152的相应部分，如本文进一步所述。
再次参见图1A，彩色像素传感器阵列148的第一部分142和第二部分144通过响应于接收到光来进行图像采集，以输出具有三个值的RGB信号，所述三个值中的每一者分别与投射到彩色像素传感器阵列148的第一部分142和第二部分144中的每一者上的红光、绿光和蓝光的强度成比例。来自彩色像素传感器阵列148的第一部分142和第二部分144的像素的信号经由线缆106(由元件152)提供给计算机系统104，并且计算机系统104通过以已知方式由所述信号产生二维(2D)图像数据来做出响应。由此分别从彩色像素传感器阵列148的第一部分142和第二部分144获取对象50的第一2D图像数据和第二2D图像数据。
在一些实施例中，由相机单元140输出的来自彩色像素传感器阵列148的第一部分142和第二部分144的信号是模拟信号，该模拟信号被计算机系统104中包含的模数转换器转换成相应的数字信号。在其他实施例中，相机单元140本身包括模数转换器，该模数转换器将彩色像素传感器阵列148的第一部分142和第二部分144输出的模拟信号转换成相应的数字信号，然后相机单元140经由线缆106将该数字信号输出到计算机系统104。
手持部件102还包括驱动电路146。在本文的一个示例性实施例中，驱动电路146可包括不止一个电连接电路部件，例如用于驱动和/或支持相机140、LED 118和/或LED 120中每一者的一个或多个独立电路板。驱动电路146控制手持部件102内的电子元件和各种部件(例如包括但不限于相机单元140和照明单元116)的操作。在一个示例性实施例中，相机单元140触发驱动电路146，以基本上在相机单元140获取图像的同时选通LED 118和LED 120，使得对对象50的照明和图像采集基本上同时发生。
如将在下文详细描述，计算机系统104处理由相机单元140提供的信号并生成3D数据，系统104经由线缆110将所述3D数据提供给显示单元108，该显示单元实时显示相应的彩色3D视频。
图2示出了计算机系统200的框图。在本文的一个示例性实施例中，计算机系统200的至少一些部件(例如所有这些部件，或者除了部件228之外的所有部件)可形成图1A所示的计算机系统104或者被包括在图1A所示的计算机系统104中，并且计算机系统200经由图1A所示线缆106通过(下文提到的)通信接口246被连接到手持部件102。计算机系统200包括至少一个计算机处理器222(也称为“控制器”)。计算机处理器222可包括例如中央处理单元、多处理单元、专用集成电路(“ASIC”)、现场可编程门阵列(“FPGA”)等。处理器222连接到通信基础结构224(例如通信总线、交叉杆装置或网络)。尽管本文根据示例性计算机系统200描述了各种实施例，但相关领域技术人员在阅读本说明书之后，如何使用其他计算机系统和/或架构来实现本发明将变得显而易见。
计算机系统200还包括显示接口(或其他输出接口)226，用于转发来自通信基础结构224(或来自帧缓冲器(未示出))的视频图形、文本和其他数据，以在显示单元228上显示。在本文的一个示例性实施例中，显示单元228可形成显示单元108或者被包括在显示单元108中，并且通信基础结构224可以形成线缆110或者被包括在线缆110中。显示接口226可包括例如具有图形处理单元的视频卡或者能够计算3D单帧信息的视频卡。具体地讲，这种视频卡的例子可包括ATI视频卡或NVIDIA视频卡。
计算机系统200还包括输入单元230，该输入单元可由计算机系统200的用户使用，以将信息发送到计算机处理器222。例如，输入单元230可包括键盘装置和/或鼠标装置或其他输入装置。在一个例子中，显示单元228、输入单元230和计算机处理器222可共同形成用户界面。
包括在例如触摸屏的示例性实施例中，可将输入单元230和显示单元228结合。在此类实施例中，例如，操作者触摸显示单元228可使相应的信号从显示单元228发送到显示接口226，该显示接口可将这些信号转发给处理器例如处理器222。
另外，计算机系统200包括主存储器232(优选地是随机存取存储器(“RAM”))，并且还可包括辅助存储器234。辅助存储器234可包括例如硬盘驱动器236和/或可移除存储驱动器238(例如软盘驱动器、磁带驱动器、光盘驱动器、闪速存储器驱动器等)。可移除存储驱动器238以熟知的方式对可移除存储单元240进行读取并且/或者写入。可移除存储单元240可以是由可移除存储驱动器238对其进行写入以及读取的例如软盘、磁带、光盘、闪速存储器装置等。可移除存储单元240可包括其中存储有计算机可执行软件指令和/或数据的非暂态计算机可读存储介质。
在另选的实施例中，辅助存储器234可包括其他计算机可读介质，其中存储有要被加载到计算机系统200中的计算机可执行程序或其他指令。此类装置可包括可移除存储单元244和接口242(例如与视频游戏系统所使用的那些类似的程序盒与盒接口)；可移除存储器芯片(例如可擦除可编程只读存储器(“EPROM”)或可编程只读存储器(“PROM”))和相关存储器插口；以及其他可移除存储单元244和接口242，其允许将软件和数据从可移除存储单元244传送到计算机系统200的其他部分。
计算机系统200还可包括通信接口246，该通信接口使得软件和数据能够在计算机系统200与外部装置之间传送。通信接口246的例子包括调制解调器、网络接口(例如以太网卡)、通信端口(例如通用串行总线(“USB”)端口或
Figure BDA0001140351470000081
端口)、个人计算机存储卡国际协会(“PCMCIA”)接口等。经由通信接口246传送的软件和数据可呈信号形式，该信号可以是能够通过通信接口246传输和/或接收的电子类型、电磁类型、光学类型或其他类型的信号。经由通信路径248(例如信道)将信号提供给通信接口246。通信路径248承载信号，并且可使用电线或线缆、光纤、电话线、蜂窝链路、射频(“RF”)链路等实现。通信接口246可用于在计算机系统200与远程服务器或基于云的存储(未示出)之间传送软件或数据。
一个或多个计算机程序(也称为计算机控制逻辑)存储在主存储器232和/或辅助存储器234中。还可经由通信接口246来接收计算机程序。计算机程序包括计算机可执行指令，该指令当由控制器/计算机处理器222执行时，将使得计算机系统200执行如本文所述并在例如图3A和图3B中所示的步骤。因此，计算机程序可控制计算机系统104以及3D扫描系统100的其他部件(例如相机单元140和显示单元108)。
在本文的一个示例性实施例中，可将软件存储在非暂态计算机可读存储介质中，并使用可移除存储驱动器238、硬盘驱动器236和/或通信接口246将软件加载到计算机系统200中。当由控制器/计算机处理器222执行时，控制逻辑(软件)使得计算机系统200以及更一般地使得3D扫描系统100执行本文所述的步骤。
在另一个示例性实施例中，可使用硬件部件例如ASIC、FPGA等实现本文所述的功能。在本文的又一个示例性实施例中，可在相机电子器件中使用ASIC或FPGA或其他电路来执行例如图像预处理如图像压缩。鉴于本说明书，实施这种硬件设置来执行本文所述功能对于相关领域技术人员来说将是显而易见的。
已经描述了图2的计算机系统200，现将进一步结合图3至图10来描述3D扫描系统100。
图3A是根据本文一示例性实施例的一种用于生成并显示与正在经历3D扫描的对象50有关的颜色信息的过程300的流程图。该过程开始于步骤S302。
如果正在经历3D扫描的对象50不具有足够的对比度，则可能难以获得对应于对象50的高质量3D图像数据。为了向对象提供足够的对比度，如果认为必要，则可在步骤S304中向对象50施加光学对比度粉末。
也就是说，在向对象50施加光学对比度粉末以提供用于获得相应3D图像数据的充足对比度的实施例中，执行步骤S304。在步骤S304中，向对象50施加光学对比度粉末，并且更具体地讲，牙科专家将光学对比度粉末刷涂或喷射到对象50上。在其他不向对象50施加光学对比度粉末的实施例中，不执行步骤S304。
在步骤S304中所施加的光学对比度粉末可由例如白色颗粒、黑色颗粒或黑白颗粒构成。在本文的另一个示例性实施例中，光学对比度粉末可由多个有色颗粒构成。当光学对比度粉末由不止一种颜色(例如黑色和白色)的颗粒构成时，期望每种颜色的颗粒吸收不同量的特定颜色的光(例如白光)。另外，在本文的一个实施例中，当光学对比度粉末例如由黑色和白色颗粒构成时，期望每种颗粒的彩色图像看起来相似，而与滤色器的颜色(即红色、蓝色或绿色)无关，其中光穿过该滤色器来对颗粒成像。还可能有益的是光学对比度粉末的颗粒不完全遮蔽对象50的表面，以使得可通过相机单元140捕获对象50的颜色。Lu等人在名称为“Contrast Pattern Application For Three-Dimensional Imaging”(用于三维成像的对比度图案应用)的美国专利申请公开No.2013/0244199中公开了可在步骤S304中向对象50施加的光学对比度粉末的一个例子，该美国专利申请公开的全部内容以引用方式并入本文，如在本文中充分阐述一样。
3D扫描系统100可利用光学对比度粉末来获得精确的3D数据，并提供参考点使得3D扫描系统100可补偿当移动手持部件102以扫描对象50时相机单元140的运动。也能有益的是，当3D扫描系统100扫描对象50时，光学对比度粉末的颗粒不完全遮蔽对象50。当对象50未被光学对比度粉末的颗粒完全遮盖时，可通过3D扫描系统100捕获与对象50的颜色有关的信息。此外，3D扫描系统100可使用光学对比度粉末的颗粒作为参考标记，以将由彩色像素传感器阵列148的第一部分142生成的2D图像数据与由彩色像素传感器阵列148的第二部分144生成的2D图像数据相关连，以在步骤S322中生成3D数据，如下文将要解释的那样。
在步骤S306中，用光119照明对象50，并且相机单元140捕获至少一个图像。例如，计算机系统104经由线缆106向手持部件102发送信号，该信号使得相机单元140捕获图像，同时使驱动电路146控制照明单元116(以预定的选通速率)选通输出光119以照明对象50。由于对象50被光119(例如上述任何类型的光)照明，因此反射回手持部件102中的光121经由元件122、124、130、136和138被转发，并且被相机单元140的第一部分142和第二部分144所捕获，如上所述。(可在步骤S306中以上述方式(在各个时刻)捕获多个图像)。
更具体地讲，根据其中光119为白光的示例性实施例，照明单元116包括LED 118和LED 120，其每一者发射白光，并且计算机系统104在驱动电路146的控制下使得LED 118和LED 120以预定的选通速率来选通白光。当然，如上所述，照明单元116可包括除了两个发射白光的LED之外的LED布置。
在对象50被认为不具有足够的对比度(从而难以获得对应于对象50的3D图像数据)并且在步骤S304中未施加光学对比度粉末的情况下，可通过照明单元116投射光119使得光为结构化光来执行步骤S306，该结构化光具有对比度增强特征，例如随机点图案、深浅条纹图案或彩色条纹图案。类似于光学对比度粉末，结构化光的对比度增强特性提供参考点，使得3D扫描系统100可采用参考点来补偿相机单元140的运动，并且如下文针对步骤S322将描述的，将由彩色像素传感器阵列148的第一部分142生成的2D图像数据与由彩色像素传感器阵列148的第二部分144生成的2D图像数据相关连，以生成3D数据。
在本文的又一个实施例中，在步骤S304中施加光学对比度粉末，并且在步骤S306中，照明单元116将结构化光作为光119投射到对象50上。
在步骤S308中，3D扫描系统100的相机单元140基于在步骤S306中由相机单元140的第一部分142和第二部分144捕获的光来生成对应于对象50的2D彩色图像数据。图4A示出了滤色器阵列400的一个示例性表示，在本文的一个示例性实施例中，该滤色器阵列可用于相机单元140的彩色像素传感器阵列148的滤色器阵列150的第一部分142和第二部分144中的每一者。滤色器阵列400包括根据Bayer模式布置的多个滤色器CF1至CF64。为了简化说明，示例性滤色器阵列400仅包括64个滤色器；然而，可在不脱离本公开的范围的情况下使用任何合适数目的滤色器。
图4B示出了图4A所示滤色器阵列400中所使用颜色的一示例性表示。标有“R”的每个滤色器为红色滤色器，标有“G”的每个滤色器为绿色滤色器，而标有“B”的每个滤色器为蓝色滤色器。
图5A示出了像素传感器阵列500的一个示例性表示，在本文的一个示例性实施例中，该像素传感器阵列可用于彩色像素传感器阵列148的像素传感器阵列152的第一部分142和第二部分144中的每一者。像素传感器阵列500包括多个像素P1至P64。为了简化说明，像素传感器阵列500包括8×8的像素阵列，总计仅64个像素；然而，可在不脱离本公开的范围的情况下使用任何合适数目的像素。在其他示例性实施例中，可代替地采用其他像素传感器阵列配置，使得第一部分142和第二部分144每一者中的像素传感器阵列148包括例如3840×2748的像素阵列或3840×2748的像素阵列，该像素阵列可在合并模式下操作，并由此作为1920×1374的像素分辨率阵列或一些其他阵列配置有效地操作。
滤色器阵列400被布置在像素传感器阵列500的前面，以形成彩色像素传感器阵列(未示出)，使得穿过滤色器CF1的光照明像素P1，穿过滤色器CF2的光照明像素P2等。像素传感器阵列500的像素P1和像素P2等通过输出以如下方式存储的彩色像素值而对照明光进行响应。
图5B示出了彩色像素值存储阵列510的一个示例性表示，该彩色像素值存储阵列510在本文的一个示例性实施例中用于存储与由图5A所示像素传感器阵列500输出的信号对应的值。计算机系统104可将多个彩色像素值存储阵列510存储在例如主存储器232和/或辅助存储器234中。
彩色像素值存储阵列510包括彩色像素值CPV1至CPV64。彩色像素值CPV1是由像素传感器阵列500的像素P1输出的信号的值，彩色像素值CPV2是由像素传感器阵列500的像素P2输出的信号的值，以此类推。在一个示例性实施例中，每个彩色像素值的数据结构可以是RGB格式的8位阵列，或者在另一个实施例中，每个彩色像素值的数据结构可以是RGB格式的12位阵列或另外的配置。
多个彩色像素值存储阵列510用于存储由相机单元140获取的图像数据的多个帧中的每个帧的彩色像素值CPV1至CPV64。
图9示出了一示例性2D彩色图像，该图像由3D扫描系统100的相机单元140生成，并根据步骤S308存储在彩色像素值存储阵列510中，其中牙齿900和牙齿902为骨白色而牙龈部分904为粉红色。
在步骤S308中，计算机系统104使用多个彩色像素值存储阵列510来将在步骤S306中由相机单元140的第一部分144和第二部分142获取的图像数据的多个帧的彩色像素值存储在例如主存储器232和/或辅助存储器234中。相机单元140以均一的频率或者按规律的间隔时间，经由线缆106将信号从彩色像素传感器阵列148的第一部分142和第二部分144输出到计算机系统104。该频率(还被称为帧速率)可以在例如5Hz至90Hz的范围内，但这些实例是非限制性的。计算机系统104在各段间隔时间内，将与从相机单元140接收到的信号对应的值存储为图像数据的帧(存储在彩色像素值存储阵列510中，而该彩色像素值存储阵列510可以被存储例如在主存储器232和/或辅助存储器242中)，其中，图像数据的每一帧包括：时间戳或序号信息，其指示由相机单元140输出(或由计算机系统104接收到)信号时的时间，或者指示帧的相对顺序；传感器标识符，其指示彩色像素传感器阵列148中提供信号的部分(例如第一部分142或第二部分144)；以及相应的彩色像素值存储阵列510的标识符。
在第一部分142和第二部分144分辨率足够高的情况下，可能有益的是在执行另外的处理之前对由第一部分142和第二部分144输出的2D彩色图像数据进行下采样。在一个示例性实施例中，可将具有1920×1374的彩色像素值阵列的高分辨率2D彩色图像数据下采样为，具有960×687的彩色像素值阵列的较低分辨率的2D彩色图像数据。
在期望进行下采样时，(在步骤S310中)计算机系统104对步骤S308中由第一部分142和第二部分144提供的信号所生成的2D彩色图像数据进行下采样。下文将参照图5B至图7B来描述根据本文的一个示例性实施例对彩色像素值进行的下采样。
如以上所讨论的，图5B示出了彩色像素值存储阵列510的示例性表示，其中计算机系统104使用彩色图像数据帧内的多个彩色像素值存储阵列510，来将由第一部分142和第二部分144生成的信号的值存储在主存储器232和/或辅助存储器234中。
参照图6A，图6A示出了虚拟滤色器阵列600的示例性表示，本文用该虚拟滤色器阵列600来概念性地说明在步骤S310中由计算机104执行的下采样过程。虚拟滤色器阵列600包括根据Bayer模式布置的多个滤色器CF1至CF16。为了简化说明，示例性滤色器阵列600仅包括16个滤色器；然而，可在不脱离本公开的范围的情况下使用任何合适数目的滤色器。
图6B示出了在与图6A所示的虚拟滤色器阵列600的相应位置处所使用的颜色的例子。标有“R”的每个滤色器为红色滤色器，标有“G”的每个滤色器为绿色滤色器，而标有“B”的每个滤色器为蓝色滤色器。
图7A示出了虚拟彩色像素传感器阵列700的示例性表示，本文用该虚拟彩色像素传感器阵列700来概念性地说明在步骤S310中由计算机104执行的下采样过程。虚拟彩色像素传感器阵列700包括多个像素P1至P16。为了简化说明，彩色像素传感器阵列700仅包括16个像素；然而，可在不脱离本公开的范围的情况下使用任何合适数目的像素。上述滤色器阵列600的滤色器CF1至CF16分别对应于虚拟彩色像素传感器阵列700的像素P1至P16。
图7B示出了彩色像素值存储阵列710的一个示例性表示，该彩色像素值存储阵列710用于存储与图7A所示的虚拟彩色像素传感器阵列700的像素对应的值。彩色像素值存储阵列710包括彩色像素值CPV1至CPV16。彩色像素值存储阵列710的彩色像素值CPV1至CPV16分别对应于虚拟彩色像素传感器阵列700的像素P1至P16。虽然图6A、图6B和图7A分别示出了虚拟滤色器阵列600、虚拟滤色器阵列600的颜色以及虚拟彩色像素传感器阵列700的示例性表示，但是出于概念性地说明步骤S310的下采样过程的目的，图7B所示的彩色像素值存储阵列710示出了用于存储步骤S310的下采样过程的输出的实际数据结构的一个例子，这将在下文作进一步描述。
在步骤S310中，计算机系统104使用多个彩色像素值存储阵列710来存储由计算机系统104存储的彩色图像数据的多个帧的经下采样的彩色像素值CPV1至CPV16。计算机系统104可将所述多个彩色像素值存储阵列710存储在例如计算机系统200的主存储器232和/或辅助存储器234中。在一个示例性实施例中，每个彩色像素值的数据结构可以是YUV格式的阵列，YUV格式的阵列大小往往小于以RGB格式存储的彩色像素值的阵列大小。
在下面的例子中，假定图6A所示的滤色器CF1至CF16分别对应于图7A所示的像素P1至P16。并且，假定图7A所示的像素P1至P16分别对应于图7B所示的彩色像素值CPV1至CPV16。
此外，短语“红色像素值”将用于指与被已穿透图4B所示红色滤色器的光照明的图5A所示像素相对应的图5B所示的彩色像素值。短语“绿色像素值”将用于指与被已穿透图4B所示绿色滤色器的光照明的图5A所示像素相对应的图5B所示的彩色像素值。短语“蓝色像素值”将用于指与被已穿透图4B所示蓝色滤色器的光照明的图5A所示像素相对应的图5B所示的彩色像素值。
计算机系统104计算出在彩色像素值存储阵列510中所存储的彩色像素值的平均值，并且将所计算的平均值存储在彩色像素值存储阵列710中。根据本文的一个示例性实施例，计算机系统104计算在彩色像素值存储阵列510中所包含的十六个彩色像素值的分组内的平均值，并且将所计算的平均值存储在彩色像素值存储阵列710中。更具体地讲，计算机系统104计算在彩色像素值存储阵列510的每组十六个彩色像素值中所包含的四个红色像素值的平均值，并且将所计算的平均值存储在彩色像素值存储阵列710中的对应的一组四个彩色像素值的红色像素值中。此外，计算机系统104计算在彩色像素值存储阵列510的每组十六个彩色像素值中所包含的八个绿色像素值的平均值，并且将所计算的平均值存储在彩色像素值存储阵列710中的对应的一组四个彩色像素值的两个绿色像素值中。此外，计算机系统104计算在彩色像素值存储阵列510的每组十六个彩色像素值中所包含的四个蓝色像素值的平均值，并且将所计算的平均值存储在彩色像素值存储阵列710中的对应的一组四个彩色像素值的蓝色像素值中。
将参照图5B和图7B来说明将彩色像素值存储阵列510的一组十六个彩色像素值下采样为彩色像素值存储阵列710中的一组四个彩色像素值的过程的例子。计算机系统104计算彩色像素值存储阵列510中的红色像素值CPV1、CPV3、CPV17和CPV19的平均值，并且将该平均值存储在彩色像素值存储阵列710的红色像素值CPV1中。计算机系统104还计算彩色像素值存储阵列510中的绿色像素值CPV2、CPV4、CPV9、CPV11、CPV18、CPV20、CPV25和CPV27的平均值，并且将该平均值存储在彩色像素值存储阵列710的绿色像素值CPV2和CPV5中。此外，计算机系统104计算彩色像素值存储阵列510中的蓝色像素值CPV10、CPV12、CPV26和CPV28的平均值，并且将该平均值存储在彩色像素值存储阵列710的蓝色像素值CPV6中。计算机系统104然后重复相似的下采样过程，为彩色像素值存储阵列510中的其他每组十六个彩色像素值进行下采样。在步骤S310中执行下采样之后，将存储在彩色像素值存储阵列510中的来自第一部分142和第二部分144的精细2D彩色图像数据，转换成在彩色像素值存储阵列710中存储的粗糙2D彩色图像数据。
上述下采样过程的一个优点是，因为像素传感器阵列500的像素(在至少一个实施例中，像素传感器阵列500的像素被用于图1A和图1B所示的第一部分142和第二部分144)被均匀地间隔在每个区域中，所以经下采样的彩色图像数据不仅保留了颜色信息，而且还将每个区域中的图像信息损失降到最低。在其他示例性实施例中，没有执行下采样(步骤S310)，在这种情况下，控制过程直接从步骤S308前进到步骤S312和S320(并且如下文将描述的那样，在步骤S308中生成的2D彩色图像数据，由步骤S312提供至步骤S314中所执行的颜色计算)。
在步骤S312中，计算机系统104向颜色计算步骤(步骤S314)提供颜色信息。例如，如果在步骤S310中执行下采样，则颜色信息包括在步骤S310中所生成的经下采样的2D彩色图像数据。如果没有执行下采样(即如果不执行步骤S310)，则在步骤S312中提供的颜色信息包括在步骤S308中所生成的2D彩色图像数据。
在步骤S314中，计算机系统104使用在步骤S312中所提供的颜色信息来执行颜色计算，以生成经计算的颜色信息。在一个示例性实施例中，在步骤S314中通过使用例如已知的解镶嵌技术将镶嵌彩色像素信息转换为真彩色信息，来生成经计算的颜色信息。
在本文的另一示例性实施例中，步骤S314还可以包括用于以如下方式对所计算的颜色信息进行颜色校正的子步骤。例如，在步骤S304中向对象50施加光学对比度粉末的情况下，光学对比度粉末的颗粒遮蔽对象50的被施用光学对比度粉末的部分。因此，在步骤S314中如上所述生成的经计算的颜色信息中的至少一些像素，对应于至少部分地从涂覆对象50的对比度粉末颗粒反射的光。此类像素可能无法准确地表示对象50的颜色，并且因此被视为受影响的像素。为了进行颜色校正，计算机系统104首先通过例如对经计算的颜色信息的像素邻域(邻域可被定义为例如n×m的像素子集)的颜色分布进行统计学分析，来识别受影响的像素。例如，像素邻域之间的低像素值和高像素值可分别对应于受黑色对比度粉末颗粒和白色对比度粉末颗粒影响的像素(在使用此类颗粒的情况下)。一旦识别出受影响的像素，计算机系统104就用不与从光学对比度粉末颗粒反射的光对应的至少一个相邻像素(即不受影响的像素)的像素值，(针对每个受影响的像素)替换受影响像素的像素值。在本文的又一个示例性实施例中，可采用相邻像素的统计表示(例如相邻像素的像素中值)来替换受影响像素的像素值。在至少一些情况下，以上述方式校正的经计算的颜色信息，可以更精确地表示对象50的外观。
在步骤S314之后，控制过程前进到步骤S324，这将在下文描述。在描述该步骤之前，首先将描述步骤S320和步骤S322。与步骤S312一样，步骤S320是在执行步骤S310之后执行的，或者在不执行步骤S310的情况下，是在执行步骤S308之后执行的。
在步骤S320中，根据下文描述的至少一个示例性实施例，将在步骤S310中生成的经下采样的2D彩色图像数据(或者在不执行步骤S310的情况下，将在步骤S308中所生成的2D彩色图像数据)转换成2D单色图像数据。图8示出了单色像素值存储阵列800的一个示例性表示，计算机系统104可使用该单色像素值存储阵列800为由相机单元140获取的彩色图像数据的每个帧将单色像素值存储在例如主存储器232和/或辅助存储器234中。如下文将要解释的那样，计算机系统104对存储于多个单色像素值存储阵列800中的2D单色图像数据进行处理，并生成对应的3D数据。在一个示例性实施例中，每个单色像素值的数据结构可以是8位阵列，或者在另一个示例性实施例中，每个单色像素值的数据结构可以是12位阵列。
根据本文的一个示例性实施例(为方便起见，在下文中还被称为“加权平均计算”)，计算机系统104通过如下操作来执行步骤S320：计算在彩色像素值存储阵列710中所存储的彩色像素值的加权平均数以生成单色像素值，该单色像素值随后被存储在相应的单色像素值存储阵列800中。更具体地讲，在一个例子中，计算机系统104计算在步骤S310(或者如果不执行步骤S310的话，在步骤S308)中生成并且存储于彩色像素值存储阵列710中的预定组的相邻彩色像素值的加权平均数以生成单色像素值，该单色像素值被存储在图8所示的相应单色像素值存储阵列800中。单色像素值存储阵列800中存储每个单色像素值的位置，对应于彩色像素值存储阵列710中用于计算出该单色像素值的那组相邻彩色像素值的位置。在本文的一个示例性实施例中，每组相邻彩色像素值包括相同比例的红色像素值、绿色像素值以及蓝色像素值。
例如，计算机系统104计算与彩色像素值存储阵列710的左上角对应的相邻彩色像素值(即CPV1、CPV2、CPV5和CPV6)的加权平均数，并且将该加权平均数存储在相应的单色像素值存储阵列800的左上角(即MPV1)中。此外，计算机系统104计算与彩色像素值存储阵列710的右上角对应的相邻彩色像素值(即CPV3、CPV4、CPV7和CPV8)的加权平均数，并且将该加权平均数存储在相应的单色像素值存储阵列800的右上角(即MPV2)中。此外，计算机系统104计算与彩色像素值存储阵列710的左下角对应的相邻彩色像素值(即CPV9、CPV10、CPV13和CPV14)的加权平均数，并且将该加权平均数存储在相应的单色像素值存储阵列800的左下角(即MPV3)中。另外，计算机系统104计算与彩色像素值存储阵列710的右下角对应的相邻彩色像素值(即CPV11、CPV12、CPV15和CPV16)的加权平均数，并且将该加权平均数存储在相应的单色像素值存储阵列800的右下角(即MPV4)中。前述各组相邻彩色像素值中的每一组包括根据颜色呈相同比例的四个彩色像素值：一个红色像素值、两个绿色彩色像素值和一个蓝色像素值，但是这个例子不是限制性的。
更具体地讲，计算机系统104根据本实施例来计算相邻彩色像素值的加权平均数，使得红色像素值、绿色像素值以及蓝色像素值等份额地作用于相应的单色像素值。例如，与像素值存储阵列710的左上角对应的彩色像素值的加权平均数，可以被计算为红色像素值CPV1的三分之一、两个绿色像素值CPV2和CPV5的平均值的三分之一、以及蓝色像素值CPV6的三分之一的总和(即(1/3*CPV1+1/3*((CPV2+CPV5)/2)+1/3*CPV6)。
在本文的另一个示例性实施例中，计算机系统104并未如上所述地在步骤S320中执行加权平均计算，而是通过如下操作来执行步骤S320：将对比度增强单色转换算法应用于在步骤S310中生成并存储在例如彩色像素值存储阵列710中的经下采样的2D彩色图像数据(或者在不执行步骤S310的情况下，应用于在步骤S308中生成并存储在例如彩色像素值存储阵列510中的2D彩色图像数据)，以生成单色像素值，该单色像素值被存储在相应的单色像素值存储阵列800中。对比度增强单色转换算法将(在彩色像素值存储阵列710中所存储的)经下采样的2D彩色图像数据的色差纳入考虑，以便生成高对比度2D单色图像数据(并且将高对比度2D单色图像数据存储在单色像素值存储阵列800中)，其中，在使用加权平均计算的上述实施例中未使用色差。在M.Grundland等人发表的标题为“Decolorize:Fast,contrast enhancing,color to grayscale conversion，”Pattern Recognition,Volume40,Issue 11,2007,pp.2891-2896(“脱色：快速、对比度增强、彩色到灰度的转换”，模式识别，40卷，11期，2007年，第2891页至第2896页)的公开文献中，以及在由M.Qiu等人发表的标题为“Contrast Maximizing and Brightness Preserving Color to Grayscale ImageConversion，”CGIV2008,4th European Conference on Colour in Graphics,Imaging,and Vision,Final Program and Proceedings,2008,pp.347-351(“对比度最大化与保持亮度的彩色图像到灰度图像转换”，CGIV2008，第4届欧洲图形、影像与视觉中的颜色会议，最终方案和论文集，2008年，第347-351页)的公开文献中，描述了可在步骤S320中的此实施例中使用的示例性对比度增强单色转换算法，上述公开文献以引用方式全文并入本文中，就如在本文中充分阐述一样。
更具体地讲，在本实施例中，计算机系统104通过如下操作来执行一个示例性实施例中的步骤S320：如上所述将对比度增强单色转换算法应用于在步骤S310中由彩色像素传感器阵列148的第一部分142和第二部分144各自生成的2D彩色图像数据的每个帧，以生成高对比度2D单色图像数据的相应帧。
在本文(并且代替以上述方式对2D彩色图像数据的每个帧执行步骤S320的对比度增强单色转换算法)的又一个示例性实施例中，计算机系统104在步骤S320之前的某个时刻，将对比度增强单色转换算法应用于2D彩色图像数据的预定训练数据集，以生成标准对比度增强变换函数。数据的预定训练集可以是，例如预先由相机140捕获的2D彩色图像数据，或者是由用户设计并人为地生成的2D彩色图像数据。然后，在步骤S320中，通过上述加权平均计算将在步骤S310中由彩色像素传感器阵列148的第一部分142和第二部分144各自生成的2D彩色图像数据的每个帧转换成2D单色图像数据的帧，并且将标准对比度增强变换函数应用于2D单色图像数据的每一帧，以生成高对比度的2D单色图像数据的相应帧。相比于通过如上所述在步骤S320期间将对比度增强单色转换算法应用于2D彩色图像数据的每一帧，借助于在步骤S320之前向2D彩色图像数据的预确定的训练数据集应用对比度增强单色转换算法，可以在步骤S320中以较小计算强度的方式来生成高对比度的2D单色图像数据。
根据本文的再一个示例性实施例，不同于如上所述对于步骤S320执行加权平均计算或对比度增强单色转换算法，计算机系统104通过选择步骤S310中的经下采样的2D彩色图像数据(或者在不执行步骤S310的情况下，选择步骤S308中的2D彩色图像数据)的对应于用以生成2D单色图像数据的一个滤色器类型(例如红色、绿色或蓝色)的彩色像素值来执行减色处理，以在步骤S320中生成2D单色图像数据。
具体地讲，一个执行减色处理的方法包括：仅选择步骤S310中的经下采样的2D彩色图像数据的红色像素值，并将这些红色像素值存储在2D单色图像数据的相应位置中。例如，可通过下述操作以前述方式从存储在彩色像素值存储阵列710中的步骤S310的经下采样2D彩色数据得到2D单色图像数据：将彩色像素值存储阵列710的红色像素值CPV1存储在单色像素值存储阵列800的MPV1中、将彩色像素值存储阵列710的红色像素值CPV3存储在单色像素值存储阵列800的MPV2中、将彩色像素值存储阵列710的红色像素值CPV9存储在单色像素值存储阵列800的MPV3中、以及将彩色像素值存储阵列710的红色像素值CPV11存储在单色像素值存储阵列800的MPV4中，但这个例子是非限制性的。类似地，还可按照类似方式通过仅选择绿色像素值或蓝色像素值来得到2D单色图像数据。
现将描述步骤S322。在步骤S322中，3D扫描系统100使用在步骤S320中生成的2D单色图像数据来生成相应的3D数据。3D数据的数据结构可以是点云，也就是3D空间或3D多边形网格中的一组坐标，但这些例子是非限制性的。在步骤S310中执行下采样的情况下，则在步骤S322中，对于每次在步骤S308中相机单元140生成2D彩色图像数据时，计算机系统104使用如下数据来生成3D数据的相应帧：(a)在步骤S320中生成的且被包括在单色像素值存储阵列800中的与在步骤S310中针对彩色像素传感器阵列148的第一部分142生成的图像数据的下采样帧相对应的数据；以及(b)在步骤S320中生成的且被包括在单色像素值存储阵列800中的与在步骤S310中针对彩色像素传感器阵列148的第二部分144生成的图像数据的下采样帧相对应的数据。在步骤S310中不执行下采样的情况下，则在步骤S322中，对于每次在步骤S308中相机单元140生成2D彩色图像数据时，计算机系统104使用如下数据来生成3D数据的相应帧：(a)在步骤S320中生成的且被包括在单色像素值存储阵列800中与在步骤S308中由彩色像素传感器阵列148的第一部分142生成的图像数据的帧相对应的数据；以及(b)在步骤S320中生成的且被包括在单色像素值存储阵列800中的与在步骤S308中由彩色像素传感器阵列148的第二部分144生成的图像数据的帧相对应的数据。
例如，在步骤S322中，计算机系统104可通过对2D单色图像数据的成对帧执行已知的立体对应匹配方法例如散焦技术、立体视觉技术、交叉相关技术、尺度不变特征变换(SIFT)技术以及加速稳健特征(SURF)技术来生成3D数据。在一个例子中，立体对应匹配方法通过对2D单色图像数据的成对帧中的相应特征进行识别和关连来生成3D数据，其中，可在适用情况下通过在步骤S304中向对象50施用的光学对比度粉末、在步骤S306中由照射单元116向对象50投射的结构化光的特征、以及所捕获的图像的预定特征(其中，预定特征代表对象50的特征)中的至少一者来提供这样的相应特征。在Gharib等人的标题为“Three-Dimensional Imaging System”(三维成像系统)的WO 2012/030357中公开了从两个2D图像得出3D数据的一个例子，该文献全文引入本文以供参考。
现将描述步骤S324。在步骤S324中，计算机系统104将从2D彩色图像数据得到的各种类型的颜色信息(例如经计算的颜色信息，或者更具体地为在步骤S314中生成的真彩色信息)以及在步骤S322中生成的3D数据结合起来，生成3D彩色图像数据。例如，计算机系统104可通过采用一个或多个映射方法，例如在P.Shirley的标题为“FundamentalsofComputer Graphics，”A K Peters/CRC Press,2009,pp.252-253(“计算机图形学基础”，AKPeters/CRC出版社，2009年，第252-253页)的公开文献中所描述的映射方法来生成对象50的3D彩色图像数据，上述公开文献以引用方式全文并入本文中，就如在本文中充分阐述一样。根据该示例性实施例，计算机系统104首先将在步骤S314中所生成的经计算的颜色信息与坐标系例如(u,v)相关联，创建颜色信息纹理贴图。计算机系统104还展开在步骤S322中所生成的3D数据，生成具有顶点、边和面的2D多边形网格。计算机系统104然后在纹理贴图上对准2D多边形网格，并且向网格的顶点分配(u,v)坐标。然后将具有所分配的(u,v)坐标的2D多边形网格重新组合成无纹理的3D模型，并且基于向模型的顶点所分配的(u,v)坐标，通过将颜色信息纹理贴图的像素重叠在无纹理的3D模型上，而创建3D彩色图像数据。当然，可替代地使用其他合适类型的映射。
在步骤S326中，3D扫描系统100将在步骤S324中生成的3D彩色图像数据显示在显示单元108上。图10示出了3D彩色图像数据的一个例子，该图像数据由3D扫描系统100根据步骤S326显示在显示单元108上，其中，牙齿的研磨部分1000、牙齿的边缘1002和非接触部分1004为骨白色，而牙龈部分1006为粉红色。
过程300结束于步骤S328。可以理解，鉴于上述情况，借助于捕获图像并且使用上述过程300来处理图像，可将3D彩色图像数据呈现给操作者。
因此，3D扫描系统100可实时捕获颜色信息，并将颜色信息实时显示为从相机单元140的视角观察的彩色视频，以协助牙科专家区分临床诊治相关区域与无用区域。例如，由3D扫描系统100提供的实时彩色视频可协助牙科专家将患者的牙齿牙龈与其他人体结构例如舌和面颊区分开来。此外，由3D扫描系统100提供的实时彩色视频可协助牙科专家确定牙齿的研磨部分与牙齿的非接触部分之间的涉及临床诊治的边缘，从而有利于将牙冠相对于该边缘来最佳地制备和放置。此外，3D扫描系统100可呈现正在被三维扫描的对象50的颜色信息，以便为牙科专家执行3D扫描提供生动和逼真的视觉反馈，并且使扫描过程更容易。此外，3D扫描系统100能够借助于至少步骤S320来生成精确的3D模型，这减少了颜色信息并因此也减少了由于数据(基于该数据生成3D模型)的色差和光学衍射而引起的不精确。
在本文的另一个示例性实施例中，3D扫描系统100包括多个操作模式，这包括但不限于上文在过程300中参照图3A所述的3D扫描模式、2D成像模式、以及针对2D图像记录而优化的3D扫描模式。在本文的一个示例性实施例中，3D扫描系统100可操作用于在操作模式之间进行切换，并且更具体地讲，实时地在操作模式之间进行切换。3D扫描系统100可通过用户控制(例如经由图2所示的输入单元230或图1A所示的开关154)或者在计算机系统104的自动控制下在操作模式之间进行切换。例如，操作者可将指定了系统1以所述模式中的一个模式进行操作的信息输入到输入单元230中，在这种情况下，系统1通过在指定模式下进行操作来作出响应。可以类似的方式来选择其他操作模式。
在本文的一个示例性实施例中，根据图3B所示的流程图，所述多个操作模式中的2D成像模式使用(图1A所示的)3D扫描系统100来收集和显示对象50的2D表示(即图片)。2D扫描模式过程340始于步骤S342。
在步骤S344中，按照与上文就步骤S304所述的方式基本上类似的方式向对象50施用光学对比度粉末。(当然，如果已经执行了此步骤，例如对于3D扫描模式，则不必再执行此步骤)。在本文的另一个示例性实施例中，不执行步骤S344，也就是说，不向对象50施用光学对比度粉末，相反，控制过程从步骤S342直接前进到步骤S346。
在步骤S346中，按照与上文就步骤S306所述的方式基本上类似的方式用光119照明对象50。
在步骤S348中，按照与上文就步骤S308所述的方式基本上类似的方式生成对象50的2D彩色图像数据。
在步骤S350中，按照与上文就步骤S310所述的方式基本上类似的方式，对在步骤S348中生成的2D彩色图像数据进行下采样，来生成经下采样的2D彩色图像数据。在本文的另一个示例性实施例中，不执行步骤S350，也就是说，不对2D彩色图像数据进行下采样，相反，控制过程从步骤S348直接前进到S352。
在步骤S352中，3D扫描系统100将在步骤S350中生成的经下采样的2D彩色图像数据(或者在不执行步骤S350的情况下，将在步骤S348中所生成的2D彩色图像数据)显示在显示单元108上。2D扫描模式过程340结束于步骤S354。
现在将描述所述多个操作模式中的针对2D图像记录而优化的3D扫描模式。按照与上文在图3A的过程300中所述的3D扫描模式类似的方式，执行针对2D图像记录而优化的3D扫描模式，以生成并显示3D彩色图像数据，但该3D扫描模式在某些算法和步骤上与过程300存在差异，使得3D彩色图像数据的3D精度可能(至少在一定程度上)低于在3D扫描模式下的3D精度，该折衷手段带来的结果是，扫描并生成3D彩色图像数据的时间更短，并且3D彩色图像数据的颜色质量更优化。
具体地讲，在步骤S304中施用光学对比度粉末的一个例子中，所施加的涂层相比起在3D扫描模式的步骤S304中施加的涂层更为稀疏。借助于在本模式的步骤S304中应用光学对比度粉末的更稀疏涂层，对象50的较少部分被光学对比度粉末颗粒遮蔽。因此，在步骤S308中由相机140捕获并生成的2D彩色图像数据、在步骤S314中生成的所计算颜色信息、以及在步骤S326中显示的3D彩色图像数据更准确地表示出对象50的颜色。然而，由于在本操作模式中在步骤S304中应用光学对比度粉末的更稀疏涂层，所以在步骤S322中用于生成3D数据的图像对可能具有较少的相应特征可用于步骤S322中所执行的立体对应匹配方法。为了补偿图像对中相应特征的任何此种可用性的降低，相机单元140可以在步骤S308中以更大帧速率进行操作，以便为在步骤S322中所执行的立体对应匹配方法提供更多的数据。因此，可在步骤S306中操作发光二极管118和120，使得发光二极管118和120的选通被优化为基本上按照相机单元140的增大的帧速率将光119投射到对象50上。步骤S322的立体对应匹配方法也以优化方式来执行，该优化方式利用在更高帧速率下提供的图像对而生成3D数据。例如，在步骤S322中执行的立体对应匹配方法的优化可包括：将匹配方法再次参数化，以及调整用于拒绝匹配方法内的低质量数据的质量阈值。
鉴于本说明书，相关领域的技术人员将理解，本文所述的示例性方面可以用单台计算机实施或用包括多台计算机的计算机系统来实现，其中每台计算机用控制逻辑编程以执行上文所述的各项功能。
上文所述的各个实施例是以举例的方式而不是限制的方式呈现的。对相关领域的技术人员而言将显而易见的是，在不脱离本发明精神和范围的情况下可在形式和细节上进行各种更改(如，不同的硬件、通信协议等等)。因此，本发明不应受到任何上述示例性实施例的限制，而应当仅根据以下权利要求书及其等同物来限定。
此外，应当理解，突出本文所述功能的附图是作为图示例子呈现的。本发明的架构是足够灵活和可配置的，使得可以用与图中所示方式不同的方式使用(和操纵)它。
此外，本文所描述的示例性实施例并不限于3D牙齿扫描系统。本文所描述的示例性实施例可用于执行其他解剖区域的扫描。

Claims (26)

1.一种用于对对象执行三维(3D)扫描的方法，所述方法包括：
生成与被照明对象对应的第一2D彩色图像数据和第二2D彩色图像数据，其中，所述第一2D彩色图像数据和所述第二2D彩色图像数据包括像素；
将对比度增强单色转换算法应用于所述第一2D彩色图像数据和第二2D彩色图像数据的预定训练数据集，以生成标准对比度增强变换函数；
使用所述标准对比度增强变换函数来生成分别与所述第一2D彩色图像数据和所述第二2D彩色图像数据对应的第一2D单色图像数据和第二2D单色图像数据；
使用所述第一2D单色图像数据和所述第二2D单色图像数据来生成3D数据；以及
通过将由所述第一2D彩色图像数据和所述第二2D彩色图像数据中的至少一者获得的颜色信息与所述3D数据进行组合来生成3D彩色图像数据；
其中，所述第一2D彩色图像数据的生成是使用彩色图像传感器的第一部分执行的，并且所述第二2D彩色图像数据的生成是使用所述彩色图像传感器的第二部分执行的；
所述彩色图像传感器的所述第一部分基于已经由所述对象反射并已经穿过相机的第一孔的光来生成所述第一2D彩色图像数据，并且所述彩色图像传感器的所述第二部分基于已经由所述对象反射并已经穿过所述相机的第二孔的光来生成所述第二2D彩色图像数据，其中所述第二孔不同于所述第一孔。
2.根据权利要求1所述的方法，还包括：在生成所述第一2D单色图像数据和所述第二2D单色图像数据之前，对所述第一2D彩色图像数据和所述第二2D彩色图像数据进行下采样，以生成经下采样的2D彩色图像数据。
3.根据权利要求1所述的方法，还包括在显示单元上显示所述3D彩色图像数据。
4.根据权利要求3所述的方法，其中，在所述显示单元上实时显示所述3D彩色图像数据。
5.根据权利要求1所述的方法，其中，
所述2D彩色图像数据包括多个彩色像素值，
所述2D单色图像数据包括多个单色像素值，并且
每个所述单色像素值是与所述2D彩色图像数据的四个相邻像素对应的四个彩色像素值的加权平均数。
6.根据权利要求1所述的方法，其中，
所述2D彩色图像数据包括多个彩色像素值，并且
所述2D单色图像数据包括具有一种颜色的所述2D彩色图像数据的像素。
7.根据权利要求2所述的方法，其中，
所述2D彩色图像数据包括多个彩色像素值，
所述经下采样的2D彩色图像数据包括多个彩色像素值，并且
使用所述2D彩色图像数据的十六个彩色像素值来生成与四个相邻像素对应的所述经下采样的2D彩色图像数据的彩色像素值。
8.根据权利要求1所述的方法，还包括向所述对象施加光学对比度粉末。
9.根据权利要求8所述的方法，所述光学对比度粉末包括黑色颗粒、白色颗粒或者黑白颗粒。
10.根据权利要求8所述的方法，所述光学对比度粉末包括至少两种颜色的颗粒。
11.根据权利要求10所述的方法，其中，所述光学对比度粉末的第一颜色的颗粒与所述光学对比度粉末的第二颜色的颗粒吸收不同量的一种颜色的光。
12.根据权利要求1所述的方法，还包括：
用光照明所述对象。
13.根据权利要求12所述的方法，其中，用白光照明所述对象。
14.根据权利要求12所述的方法，其中，用多种彩色光照明所述对象。
15.根据权利要求12所述的方法，其中，用结构化光照明所述对象。
16.根据权利要求8所述的方法，还包括：
对所述颜色信息的与所述光学对比度粉末对应的部分进行颜色校正。
17.根据权利要求1所述的方法，还包括在显示单元上显示所述第一2D彩色图像数据和所述第二2D彩色图像数据中的至少一者。
18.根据权利要求1所述的方法，其中，生成3D数据包括：将所述第一2D单色图像数据的特征与所述第二2D单色图像数据的特征关连。
19.根据权利要求18所述的方法，还包括以下操作中的至少一者：
向所述对象施加具有数量稀少的光学对比度粉末；
以预定选通速率用光照明所述对象；以及
以预定帧速率执行所述第一2D彩色图像数据和所述第二2D彩色图像数据的生成。
20.根据权利要求19所述的方法，还包括：拒绝所述关连的低质量结果。
21.一种存储程序的非暂态计算机可读存储介质，所述程序在由计算机系统执行时，使得所述计算机系统执行以下步骤，包括：
生成与被照明对象对应的第一2D彩色图像数据和第二2D彩色图像数据，其中，所述第一2D彩色图像数据和所述第二2D彩色图像数据包括像素；
将对比度增强单色转换算法应用于所述第一2D彩色图像数据和第二2D彩色图像数据的预定训练数据集，以生成标准对比度增强变换函数；
使用所述标准对比度增强变换函数来生成分别与所述第一2D彩色图像数据和所述第二2D彩色图像数据对应的第一2D单色图像数据和第二2D单色图像数据；
使用所述第一2D单色图像数据和所述第二2D单色图像数据来生成3D数据；以及
通过将由所述第一2D彩色图像数据和所述第二2D彩色图像数据中的至少一者获得的颜色信息与所述3D数据进行组合来生成3D彩色图像数据；
其中，所述第一2D彩色图像数据的生成是使用彩色图像传感器的第一部分执行的，并且所述第二2D彩色图像数据的生成是使用所述彩色图像传感器的第二部分执行的；
所述彩色图像传感器的所述第一部分基于已经由所述对象反射并已经穿过相机的第一孔的光来生成所述第一2D彩色图像数据，并且所述彩色图像传感器的所述第二部分基于已经由所述对象反射并已经穿过所述相机的第二孔的光来生成所述第二2D彩色图像数据，其中所述第二孔不同于所述第一孔。
22.一种用于生成对对象的三维(3D)扫描的3D扫描系统，所述3D扫描系统包括：
相机，所述相机包括光源、第一孔、第二孔以及具有第一部分和第二部分的彩色图像传感器，其中，所述彩色图像传感器的所述第一部分基于由所述光源投射、由所述对象反射并且穿过所述第一孔的光来生成第一2D彩色图像数据，并且其中，所述彩色图像传感器的所述第二部分基于由所述光源投射、由所述对象反射并且穿过所述第二孔的光来生成第二2D彩色图像数据；以及
至少一个处理器，所述至少一个处理器可操作用于：
将对比度增强单色转换算法应用于所述第一2D彩色图像数据和第二2D彩色图像数据的预定训练数据集，以生成标准对比度增强变换函数；
使用所述标准对比度增强变换函数来生成分别与所述第一2D彩色图像数据和所述第二2D彩色图像数据对应的第一2D单色图像数据和第二2D单色图像数据；
使用所述第一2D单色图像数据和所述第二2D单色图像数据来生成3D数据；以及
通过将由所述第一2D彩色图像数据和所述第二2D彩色图像数据中的至少一者获得的颜色信息与所述3D数据进行组合来生成3D彩色图像数据。
23.一种三维(3D)扫描系统，包括：
用户界面，所述用户界面能够由用户操作以输入指定对所述3D扫描系统的多个操作模式之一的选择的信号；以及
处理器，所述处理器响应于所述信号指定所述操作模式中的第一操作模式来进行如下操作：
将对比度增强单色转换算法应用于所述第一2D彩色图像数据和第二2D彩色图像数据的预定训练数据集，以生成标准对比度增强变换函数；
使用所述标准对比度增强变换函数来生成与被照明对象对应的第一2D彩色图像数据和第二2D彩色图像数据，
其中，所述第一2D彩色图像数据和所述第二2D彩色图像数据包括像素，
生成分别与所述第一2D彩色图像数据和所述第二2D彩色图像数据对应的第一2D单色图像数据和第二2D单色图像数据，
使用所述第一2D单色图像数据和所述第二2D单色图像数据来生成3D数据，以及
通过将由所述第一2D彩色图像数据和所述第二2D彩色图像数据中的至少一者获得的颜色信息与所述3D数据进行组合来生成3D彩色图像数据，
所述处理器还响应于所述信号指定选择所述操作模式中的第二操作模式，来生成与所述被照明对象对应的另外的2D彩色图像数据；
其中，所述第一2D彩色图像数据的生成是使用彩色图像传感器的第一部分执行的，并且所述第二2D彩色图像数据的生成是使用所述彩色图像传感器的第二部分执行的；
所述彩色图像传感器的所述第一部分基于已经由所述对象反射并已经穿过相机的第一孔的光来生成所述第一2D彩色图像数据，并且所述彩色图像传感器的所述第二部分基于已经由所述对象反射并已经穿过所述相机的第二孔的光来生成所述第二2D彩色图像数据，其中所述第二孔不同于所述第一孔。
24.根据权利要求23所述的3D扫描系统，还包括显示单元，所述显示单元显示所述3D彩色图像数据、所述第一2D彩色图像数据、所述第二2D彩色图像数据以及所述另外的2D彩色图像数据中的至少一者。
25.一种操作三维(3D)扫描系统的方法，包括：
在多个操作模式之间进行选择；
响应于选择所述操作模式中的第一操作模式，
生成与被照明对象对应的第一2D彩色图像数据和第二2D彩色图像数据，其中，所述第一2D彩色图像数据和所述第二2D彩色图像数据包括像素，
将对比度增强单色转换算法应用于所述第一2D彩色图像数据和第二2D彩色图像数据的预定训练数据集，以生成标准对比度增强变换函数；
使用所述标准对比度增强变换函数来生成分别与所述第一2D彩色图像数据和所述第二2D彩色图像数据对应的第一2D单色图像数据和第二2D单色图像数据，
使用所述第一2D单色图像数据和所述第二2D单色图像数据来生成3D数据，以及
通过将由所述第一2D彩色图像数据和所述第二2D彩色图像数据中的至少一者获得的颜色信息与所述3D数据进行组合来生成3D彩色图像数据；以及
响应于选择所述操作模式中的第二操作模式，生成与所述被照明对象对应的另外的2D彩色图像数据；
其中，所述第一2D彩色图像数据的生成是使用彩色图像传感器的第一部分执行的，并且所述第二2D彩色图像数据的生成是使用所述彩色图像传感器的第二部分执行的；
所述彩色图像传感器的所述第一部分基于已经由所述对象反射并已经穿过相机的第一孔的光来生成所述第一2D彩色图像数据，并且所述彩色图像传感器的所述第二部分基于已经由所述对象反射并已经穿过所述相机的第二孔的光来生成所述第二2D彩色图像数据，其中所述第二孔不同于所述第一孔。
26.根据权利要求25所述的方法，还包括：在显示单元上显示所述3D彩色图像数据、所述第一2D彩色图像数据、所述第二2D彩色图像数据以及所述另外的2D彩色图像数据中的至少一者。
CN201580022299.3A 2014-05-02 2015-05-04 用于收集与正在经历3d扫描的对象有关的颜色信息的系统、方法、设备 Active CN106456292B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/268201 2014-05-02
US14/268,201 US11122180B2 (en) 2014-05-02 2014-05-02 Systems, methods, apparatuses, and computer-readable storage media for collecting color information about an object undergoing a 3D scan
PCT/EP2015/059655 WO2015166107A1 (en) 2014-05-02 2015-05-04 Systems, methods, apparatuses, and computer-readable storage media for collecting color information about an object undergoing a 3d scan

Publications (2)

Publication Number Publication Date
CN106456292A CN106456292A (zh) 2017-02-22
CN106456292B true CN106456292B (zh) 2020-07-07

Family

ID=53373392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580022299.3A Active CN106456292B (zh) 2014-05-02 2015-05-04 用于收集与正在经历3d扫描的对象有关的颜色信息的系统、方法、设备

Country Status (7)

Country Link
US (1) US11122180B2 (zh)
EP (1) EP3138275B1 (zh)
JP (1) JP6573907B2 (zh)
KR (1) KR102335899B1 (zh)
CN (1) CN106456292B (zh)
DK (1) DK3138275T3 (zh)
WO (1) WO2015166107A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9876941B2 (en) 2014-09-22 2018-01-23 Kabushiki Kaisha Toshiba Image forming apparatus, decoloring apparatus and image forming method
KR102489279B1 (ko) * 2016-02-04 2023-01-18 삼성전자주식회사 이미지 처리장치 및 방법
EP3471656B1 (en) * 2016-06-20 2021-06-16 Carestream Dental Technology Topco Limited Dental restoration assessment and manufacturing using virtual model
GB201708520D0 (en) * 2017-05-27 2017-07-12 Dawood Andrew A method for reducing artefact in intra oral scans
US10327693B2 (en) 2017-07-07 2019-06-25 3M Innovative Properties Company Tools for tracking the gum line and displaying periodontal measurements using intra-oral 3D scans
US20190188513A1 (en) * 2017-12-20 2019-06-20 Datalogic Usa Inc. Systems and methods for object deskewing using stereovision or structured light
US10638055B2 (en) * 2018-01-15 2020-04-28 Qualcomm Incorporated Aperture simulation
US10386177B1 (en) 2018-10-09 2019-08-20 Dentsply Sirona Inc. Device and method for determining surface topology and associated color
WO2020131474A1 (en) 2018-12-21 2020-06-25 The Procter & Gamble Company Apparatus and method for operating a personal grooming appliance or household cleaning appliance
CN110101472B (zh) * 2019-04-20 2021-02-12 北京大学口腔医学院 一种提高面部扫描图像配准牙列扫描图像精度的方法
EP4094096A1 (en) * 2020-01-24 2022-11-30 Outsight A method and system for generating a colored tridimensional map
KR102516823B1 (ko) * 2021-01-26 2023-04-03 주식회사 메디트 3차원 스캔 시스템, 및 그 동작 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
DE19524855A1 (de) * 1995-07-07 1997-01-09 Siemens Ag Verfahren und Vorrichtung zur rechnergestützten Restauration von Zähnen
JP3682709B2 (ja) * 1998-06-12 2005-08-10 株式会社リコー 画像処理装置
JP2002027260A (ja) * 2000-07-12 2002-01-25 Riso Kagaku Corp カラー画像のグレー変換方法および装置
JP4740481B2 (ja) 2001-06-29 2011-08-03 オリンパス株式会社 ３次元画像情報生成装置、３次元画像情報生成方法並びに３次元画像情報生成プログラム
US7634151B2 (en) * 2005-06-23 2009-12-15 Hewlett-Packard Development Company, L.P. Imaging systems, articles of manufacture, and imaging methods
US7372642B2 (en) 2006-02-13 2008-05-13 3M Innovative Properties Company Three-channel camera systems with non-collinear apertures
JP2009236811A (ja) 2008-03-28 2009-10-15 Fujifilm Corp 画像処理装置および画像処理方法並びにプログラム
JP2009284188A (ja) 2008-05-22 2009-12-03 Panasonic Corp カラー撮像装置
JP5071866B2 (ja) 2008-06-03 2012-11-14 富士フイルム株式会社 距離測定装置および方法並びにプログラム
EP2359593B1 (en) 2008-11-25 2018-06-06 Tetravue, Inc. Systems and methods of high resolution three-dimensional imaging
EP4029471B1 (en) * 2010-07-12 2023-11-22 3Shape A/S 3d modeling of an object using textural features
CN107103622B (zh) 2010-09-03 2021-08-03 加州理工学院 三维成像系统
JP5797532B2 (ja) 2011-02-24 2015-10-21 東京エレクトロン株式会社 有機溶剤を含有する現像液を用いた現像処理方法及び現像処理装置
JP2013068489A (ja) 2011-09-21 2013-04-18 Toray Eng Co Ltd 複数波長による表面形状測定方法およびこれを用いた装置
JP5887974B2 (ja) 2012-02-13 2016-03-16 株式会社リコー 類似画像領域探索装置、類似画像領域探索方法、及び類似画像領域探索プログラム
US8999371B2 (en) 2012-03-19 2015-04-07 Arges Imaging, Inc. Contrast pattern application for three-dimensional imaging
US20130260340A1 (en) * 2012-03-29 2013-10-03 3M Innovative Properties Company Powder for enhancing feature contrast for intraoral digital image scanning
KR102009292B1 (ko) * 2012-05-11 2019-08-12 한국전자통신연구원 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법
US20140253686A1 (en) * 2013-03-08 2014-09-11 Victor C. Wong Color 3-d image capture with monochrome image sensor
US9393087B2 (en) * 2013-08-01 2016-07-19 Align Technology, Inc. Methods and systems for generating color images

Also Published As

Publication number Publication date
KR20160147980A (ko) 2016-12-23
US20150319326A1 (en) 2015-11-05
WO2015166107A1 (en) 2015-11-05
KR102335899B1 (ko) 2021-12-03
DK3138275T3 (da) 2021-09-20
EP3138275B1 (en) 2021-07-07
US11122180B2 (en) 2021-09-14
CN106456292A (zh) 2017-02-22
JP2017523491A (ja) 2017-08-17
EP3138275A1 (en) 2017-03-08
JP6573907B2 (ja) 2019-09-11

Similar Documents

Publication Publication Date Title
CN106456292B (zh) 用于收集与正在经历3d扫描的对象有关的颜色信息的系统、方法、设备
US11163976B2 (en) Navigating among images of an object in 3D space
CN109118569B (zh) 基于三维模型的渲染方法和装置
US8442355B2 (en) System and method for generating a multi-dimensional image
JP6321016B2 (ja) 歯の表面性状の推定
JP6685827B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN108447017A (zh) 人脸虚拟整容方法和装置
WO2010041584A1 (en) Imaging system and method
JP2016020891A (ja) 形状計測システムおよび撮像装置
CN109191393B (zh) 基于三维模型的美颜方法
CN107517346A (zh) 基于结构光的拍照方法、装置及移动设备
JP5059503B2 (ja) 画像合成装置、画像合成方法及び画像合成プログラム
JP2011206435A (ja) 撮像装置、撮像方法、撮像プログラム、及び内視鏡
KR102534778B1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
CN107343151B (zh) 图像处理方法、装置和终端
WO2020037582A1 (en) Graph-based key frame selection for 3-d scanning
CN111295565A (zh) 用于确定表面拓扑和相关联的颜色的装置和方法
EP4287202A1 (en) Digital dental impressions
JP4006105B2 (ja) 画像処理装置およびその方法
US20230298270A1 (en) Method and device for acquiring three-dimensional data, and computer-readable storage medium storing program for performing method
KR102444195B1 (ko) 3차원 스캐너 디바이스, 동작 방법, 및 그 동작 방법을 실행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
WO2023174917A1 (en) Computerized dental visualization
Cuypers et al. Shadow multiplexing for real-time silhouette extraction
JP2021068271A (ja) 画像処理システム、画像処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant