CN114777682A - 生成一个或多个亮度边缘以形成物体的三维模型 - Google Patents

生成一个或多个亮度边缘以形成物体的三维模型 Download PDF

Info

Publication number
CN114777682A
CN114777682A CN202210316793.2A CN202210316793A CN114777682A CN 114777682 A CN114777682 A CN 114777682A CN 202210316793 A CN202210316793 A CN 202210316793A CN 114777682 A CN114777682 A CN 114777682A
Authority
CN
China
Prior art keywords
shadow
thrower
scanner
processor
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210316793.2A
Other languages
English (en)
Inventor
亚伦·伯恩斯坦
杰弗里·莱文
帕特里克·爱德华兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Scanner Co
Original Assignee
Advanced Scanner Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Scanner Co filed Critical Advanced Scanner Co
Publication of CN114777682A publication Critical patent/CN114777682A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00165Optical arrangements with light-conductive means, e.g. fibre optics
    • A61B1/00167Details of optical fibre bundles, e.g. shape or fibre distribution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00172Optical arrangements with means for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B29WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29CSHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/10Processes of additive manufacturing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B29WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29CSHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/20Apparatus for additive manufacturing; Details thereof or accessories therefor
    • B29C64/264Arrangements for irradiation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B33ADDITIVE MANUFACTURING TECHNOLOGY
    • B33YADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y10/00Processes of additive manufacturing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B33ADDITIVE MANUFACTURING TECHNOLOGY
    • B33YADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y30/00Apparatus for additive manufacturing; Details thereof or accessories therefor
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21KNON-ELECTRIC LIGHT SOURCES USING LUMINESCENCE; LIGHT SOURCES USING ELECTROCHEMILUMINESCENCE; LIGHT SOURCES USING CHARGES OF COMBUSTIBLE MATERIAL; LIGHT SOURCES USING SEMICONDUCTOR DEVICES AS LIGHT-GENERATING ELEMENTS; LIGHT SOURCES NOT OTHERWISE PROVIDED FOR
    • F21K9/00Light sources using semiconductor devices as light-generating elements, e.g. using light-emitting diodes [LED] or lasers
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21VFUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V1/00Shades for light sources, i.e. lampshades for table, floor, wall or ceiling lamps
    • F21V1/02Frames
    • F21V1/08Frames adjustable
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21VFUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V1/00Shades for light sources, i.e. lampshades for table, floor, wall or ceiling lamps
    • F21V1/10Rotating shades
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21VFUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V11/00Screens not covered by groups F21V1/00, F21V3/00, F21V7/00 or F21V9/00
    • F21V11/08Screens not covered by groups F21V1/00, F21V3/00, F21V7/00 or F21V9/00 using diaphragms containing one or more apertures
    • F21V11/12Screens not covered by groups F21V1/00, F21V3/00, F21V7/00 or F21V9/00 using diaphragms containing one or more apertures of slot type
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21VFUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V7/00Reflectors for light sources
    • F21V7/005Reflectors for light sources with an elongated shape to cooperate with linear light sources
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2527Projection by scanning of the object with phase change by in-plane movement of the patern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/60Shadow generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/372Details of monitor hardware
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/373Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/374NMR or MRI
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502Headgear, e.g. helmet, spectacles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21LIGHTING
    • F21YINDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO THE FORM OR THE KIND OF THE LIGHT SOURCES OR OF THE COLOUR OF THE LIGHT EMITTED
    • F21Y2103/00Elongate light sources, e.g. fluorescent tubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/12Shadow map, environment map

Abstract

本申请涉及生成一个或多个亮度边缘以形成物体的三维模型。本文公开的各种实施例总体上涉及计算机视觉、图形、图像扫描和图像处理以及相关联的机械、电气和电子硬件、计算机软件和系统以及有线和无线网络通信以至少形成物体和环境的三维模型或图像。

Description

生成一个或多个亮度边缘以形成物体的三维模型
本申请是申请日为2018年10月5日,申请号为201880063651.1,发明名称为“生成一个或多个亮度边缘以形成物体的三维模型(变更后的名称为“用于生成锐化阴影的装置”)”的申请的分案申请。
相关申请的交叉引用
本申请要求于2017年10月6日提交的美国临时专利申请号62/569,353的权益,所述美国临时专利申请的内容通过引用以其全文结合在此。
关于联邦资助的研究或开发的声明
不适用
引用序列列表、表格或者计算机程序列表光盘附录
不适用
发明背景
1.技术领域
本发明属于扫描设备的技术领域。更具体地,本发明的优选实施例总体上涉及扫描设备,所述扫描设备生成被扫描物体的三维模型。更具体地,本发明的优选实施例总体上涉及使用阴影投掷器来生成被扫描物体或区域的三维模型的装置、系统和方法。
2.相关技术说明
计算硬件和软件的进步促进了在三维空间中传达物体的形状的三维模型和数字图像的生成。常规的计算技术和设备被实施为三维(“3D”)扫描仪,以形成被扫描物体的表面的三维模型。其中,结构化光扫描仪系统通常使用复杂的光图案和一个或多个相机系统来捕获表示三维物体的形状的图像。尽管传统的结构化光扫描仪系统是功能化的,但它们并不十分适用于广泛的应用,因为这些系统通常需要扫描仪成本高昂的材料和资源。例如,此类扫描仪采用激光器和/或液晶显示器(“LCD”)投射仪,以及需要处理与此类扫描仪相关联的复杂光图案和成像技术的其他计算硬件和算法。
至少在一种方法中,已经开发出使用“弱结构化”光的扫描技术来解决结构化光扫描仪系统的限制之一。传统的基于弱结构化光的扫描仪通常采用简单的白炽灯和/或杆(例如,铅笔)来捕获可以从中得出物体的表面的图像。这种扫描仪系统的示例在图1中进行了描绘。简图100描绘了简单的白炽灯泡102和杆114、或用于将阴影施加到平面110上以捕获物体116的形状的任何其他圆柱形物体(诸如铅笔)。灯泡102包括在玻璃壳体内的支撑件之间以距离(“d”)106延伸的灯丝104,所述玻璃壳体可以由透明的非磨砂玻璃形成。灯丝104通常沿相对于杆114的宽度的相对较宽的距离范围生成光。通常,灯丝104可以定位在不平行于杆114的平面中。相机101可以用于捕获可以用于计算物体116的表面的点的图像。为了捕获点的图像,使用杆114在物体116上施加阴影以尝试确定由相机101捕获的物体116的表面上的像素的相对深度(例如,在缺少物体116时相对于某个点处的像素的相对深度)。
图1中的扫描仪具有许多缺点。尽管图1的扫描仪是功能化的,但是简图100的系统可能不太适合于为三维物体建立3D图像模型。灯泡102和杆114可以生成阴影120,所述阴影包括给定灯泡102的最弱照明区域121。在距杆114更远的距离122处,区域121与平面110的被照明部分111之间的边界变得越来越分散。照明扩散率增加的示例可以被描绘为在距离(“b”)126内从线122向外沿线114增大,所述距离展示了最弱照明区域121与被照明部分111之间的扩散边界。为了对抗扩散边界的有害影响,传统的3D扫描方法依赖于照明阈值以及时间或视频帧坐标、以及基于暗与亮之间的足够差异来定义边界的相关联算法。扩散边界可能会降低根据物体116的所捕获图像计算出的表面的准确性。同样,在操作时使用照明阈值可能需要忽略不同颜色、暗影或纹理的发光效果。例如,颜色“黄色”可以具有可以与扩散边界的影响区分开的较高的光亮度,而颜色“蓝色”可以具有可以被检测为扩散边界的一部分的相对较低的光亮度。这样,由于实施了传统的照明阈值,因此可以忽略物体116的蓝色部分117。因此,颜色和其他发光效果通常会导致这种忽略,即导致在常规3D扫描中很明显的不准确性。在一些方法中,采用算法计算来对像素是否被照亮进行分类。然而,这些已知算法通常限于在明亮度与暗度之间的相对较大的摆动之间进行区分。这样的阈值化可能需要资源来定制简图100的扫描仪并使所述扫描仪适应于特定的扫描应用。
因此,需要一种用于在没有常规技术的限制的情况下促进生成物体和环境的三维模型或图像的技术的解决方案。
发明内容
各个实施例总体上涉及计算机视觉、图形、图像扫描和图像处理以及相关联的机械、电气和电子硬件、计算机软件和系统以及有线和无线网络通信以至少形成物体和环境的三维模型或图像。本发明的广泛实施例总体上涉及用于生成一个或多个亮度边缘以形成物体或环境的三维模型的装置、方法和系统。在广泛实施例中,本发明包括:一个或多个光源和一个或多个阴影投掷器,所述光源和阴影投掷器在被建模的物体或区域上生成一个或多个亮度边缘;检测所述一个或多个亮度边缘的一个或多个装置;相对于所述被建模的物体或区域移动所述一个或多个亮度边缘的装置;以及生成所述被建模的物体或区域的三维模型的装置;以及相关的方法和系统。一些实施例移动所述一个或多个阴影投掷器,一些实施例移动所述一个或多个光源,并且一些实施例使所述物体移动通过所述一个或多个亮度边缘。这些实施例是本发明的范围和精神的示例;然而,上述实施例和示例不应当限制本发明,并且本领域普通技术人员将理解并认识到存在本文的具体实施例、方法和示例的变化、组合以及等效物。
在优选实施例中,本发明广泛地涉及使一个或多个阴影投掷器移动以便使一个或多个亮度边缘相对于被建模的物体或区域移动的装置和方法。此实施例总体上涉及一种用于生成一个或多个亮度边缘以形成物体的三维模型的装置,所述装置包括:一个或多个光源;一个或多个阴影投掷器,所述一个或多个阴影投掷器包括:一个形状,当所述形状被投射到平面上时,所述形状具有至少一个直边缘;一个或多个致动器,所述致动器能够移动所述一个或多个阴影投掷器;一个或多个图像捕获设备;存储器,所述存储器存储在非暂时性计算机可读介质中;处理器,所述处理器包括:所述计算机可读介质;以及显示器;其中,所述一个或多个光源照亮所述一个或多个阴影投掷器以投射已知几何形状的高对比度阴影,这在所述物体上形成所述一个或多个亮度边缘;其中,所述一个或多个致动器移动所述一个或多个阴影投掷器,以便遍及所述物体扫掠所述一个或多个亮度边缘;其中,所述一个或多个图像捕获设备捕获所述物体上的所述一个或多个亮度边缘的图像并将所述图像记录到所述存储器中;其中,所述处理器根据记录的所述图像形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述物体的所述三维模型;并且其中,使用所述处理器将所述三维模型显示在所述显示器上。此优选实施例总体上还还涉及一种用于生成一个或多个亮度边缘以形成物体的三维模型的方法,所述方法包括:提供一个或多个光源;提供一个或多个阴影投掷元件,所述一个或多个阴影投掷元件包括:一个形状,当所述形状被投射到平面上时,所述形状具有至少一个直边缘;使用所述一个或多个光源和所述一个或多个阴影投掷元件来投射已知几何形状的高对比度阴影,以在所述物体上形成所述一个或多个亮度边缘;移动所述一个或多个阴影投掷元件以便遍及所述物体移动所述一个或多个亮度边缘;捕获所述物体上的所述一个或多个亮度边缘的图像;根据捕获到的所述图像形成三维数据表示;使用所述三维数据表示来生成所述物体的所述三维模型;以及显示所述三维模型。此广泛实施例的其他版本具有一个或多个光源,所述一个或多个光源是离散的或连续的、线性的或者包括一个或多个光阵列。此实施例的其他版本诸如通过三维打印技术将所述一个或多个阴影投掷器的形状建立在所述被扫描和建模的物体上。另外,此实施例的一些版本使用一个或多个阴影投掷器,所述一个或多个阴影投掷器进一步包括可配置的形状、可配置的不透明性或颜色过滤器。此实施例的其他版本使用一个或多个致动器来旋转所述一个或多个阴影投掷器。而且,此实施例的一些版本使用显示器,所述显示器是增强现实头戴式装置,所述增强现实头戴式装置可以将所述三维模型叠加在所述头戴式装置的用户的视野上。
在另一优选实施例中,本发明广泛地涉及使一个或多个光源移动以便使一个或多个亮度边缘相对于被建模的物体或区域移动的装置和方法。此实施例总体上涉及一种用于生成一个或多个亮度边缘以形成物体的三维模型的装置,所述装置包括:一个或多个光源;一个或多个阴影投掷器,所述一个或多个阴影投掷器包括:一个形状,当所述形状被投射到平面上时,所述形状具有至少一个直边缘;一个或多个致动器,所述致动器能够移动所述一个或多个光源;一个或多个图像捕获设备;存储器,所述存储器存储在非暂时性计算机可读介质中;处理器,所述处理器包括:所述计算机可读介质;以及显示器;其中,所述一个或多个光源照亮所述一个或多个阴影投掷器以投射已知几何形状的高对比度阴影,这在所述物体上形成所述一个或多个亮度边缘;其中,所述一个或多个致动器移动所述一个或多个光源,以便遍及所述物体扫掠所述一个或多个亮度边缘;其中,所述一个或多个图像捕获设备捕获所述物体上的所述一个或多个亮度边缘的图像并将所述图像记录到所述存储器中;其中,所述处理器根据记录的所述图像形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述物体的所述三维模型;并且其中,使用所述处理器将所述三维模型显示在所述显示器上。此优选实施例总体上还还涉及一种用于生成一个或多个亮度边缘以形成物体的三维模型的方法,所述方法包括:提供一个或多个光源;提供一个或多个阴影投掷元件,所述一个或多个阴影投掷元件包括:一个形状,当所述形状被投射到平面上时,所述形状具有至少一个直边缘;使用所述一个或多个光源和所述一个或多个阴影投掷元件来投射已知几何形状的高对比度阴影,以在所述物体上形成所述一个或多个亮度边缘;移动所述一个或多个光源,以便遍及所述物体移动所述一个或多个亮度边缘;捕获所述物体上的所述一个或多个亮度边缘的图像;根据捕获到的所述图像形成三维数据表示;使用所述三维数据表示来生成所述物体的所述三维模型;以及显示所述三维模型。此广泛实施例的其他版本具有一个或多个光源,所述一个或多个光源是离散的或连续的、线性的或者包括一个或多个光阵列。此实施例的其他版本诸如通过三维打印技术将所述一个或多个阴影投掷器的形状建立在所述被扫描和建模的物体上。另外,此实施例的一些版本使用一个或多个阴影投掷器,所述一个或多个阴影投掷器进一步包括可配置的形状、可配置的不透明性或颜色过滤器。此外,此实施例的其他版本使用一个或多个致动器来旋转所述一个或多个阴影投掷器。而且,此实施例的一些版本使用显示器,所述显示器是增强现实头戴式装置,所述增强现实头戴式装置可以将所述三维模型叠加在所述头戴式装置的用户的视野上。
在另一优选实施例中,本发明广泛地涉及使所述被建模的物体移动通过所述一个或多个亮度边缘的装置和方法。此实施例总体上涉及一种用于生成一个或多个亮度边缘以形成物体的三维模型的装置,所述装置包括:一个或多个光源;一个或多个阴影投掷器,所述一个或多个阴影投掷器包括:一个形状,当所述形状被投射到平面上时,所述形状具有至少一个直边缘;一个或多个图像捕获设备;存储器,所述存储器存储在非暂时性计算机可读介质中;处理器,所述处理器包括:所述计算机可读介质;以及显示器;其中,所述一个或多个光源照亮所述阴影投掷器以投射已知几何形状的高对比度阴影,这形成所述一个或多个亮度边缘;其中,所述物体移动通过所述一个或多个亮度边缘,以便遍及所述物体扫掠所述一个或多个亮度边缘;其中,所述一个或多个图像捕获设备检测所述物体移动通过所述一个或多个亮度边缘的运动并将所述运动记录到所述存储器中;其中,所述一个或多个图像捕获设备捕获移动通过所述一个或多个亮度边缘的所述物体上的所述一个或多个亮度边缘的图像,并将所述图像记录到所述存储器中;其中,所述处理器根据记录的所述运动来计算所述物体移动通过所述一个或多个亮度边缘的速度;其中,所述处理器根据记录的所述图像和计算出的所述速度形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述物体的所述三维模型;并且其中,将所述三维模型显示在所述显示器上。此优选实施例总体上还还涉及一种用于生成一个或多个亮度边缘以形成物体的三维模型的方法,所述方法包括:提供一个或多个光源;提供一个或多个阴影投掷元件,所述一个或多个阴影投掷元件包括:一个形状,当所述形状被投射到平面上时,所述形状具有至少一个直边缘;使用所述一个或多个光源和所述一个或多个阴影投掷元件来投射已知几何形状的高对比度阴影,以在所述物体上形成所述一个或多个亮度边缘;移动所述物体通过所述一个或多个亮度边缘;检测所述物体移动通过所述一个或多个亮度边缘的速度;捕获移动通过所述一个或多个亮度边缘的所述物体上的所述一个或多个亮度边缘的图像;根据检测到的所述速度和捕获到的所述图像形成三维数据表示;使用所述三维数据表示来生成所述物体的所述三维模型;以及显示所述三维模型。此广泛实施例的其他版本具有一个或多个光源,所述一个或多个光源是离散的或连续的、线性的或者包括一个或多个光阵列。此实施例的其他版本诸如通过三维打印技术将所述一个或多个阴影投掷器的形状建立在所述被扫描和建模的物体上。另外,此实施例的一些版本使用一个或多个阴影投掷器,所述一个或多个阴影投掷器进一步包括可配置的形状、可配置的不透明性或颜色过滤器。此实施例的其他版本使用一个或多个致动器来旋转所述一个或多个阴影投掷器。而且,此实施例的一些版本使用显示器,所述显示器是增强现实头戴式装置,所述增强现实头戴式装置可以将所述三维模型叠加在所述头戴式装置的用户的视野上。此实施例的又一版本安装在房间中并安装在天花板上,其中类似的版本将一个或多个光源安装在天花板上。
在另一优选实施例中,本发明广泛地涉及对物体的周围环境进行建模的装置和方法。此实施例总体上涉及一种用于生成一个或多个亮度边缘以形成的装置,所述装置包括:一个或多个光源,所述一个或多个光源被安装在所述物体上;一个或多个阴影投掷器,所述一个或多个阴影投掷器被安装在所述物体上,并且包括:一个形状,当所述形状被投射到平面上时,所述形状具有至少一个直边缘;一个或多个致动器,所述致动器能够移动所述一个或多个阴影投掷器;一个或多个图像捕获设备,所述一个或多个图像捕获设备被安装在所述物体上;存储器,所述存储器存储在非暂时性计算机可读介质中;以及处理器,所述处理器包括:所述计算机可读介质;其中,所述一个或多个光源照亮所述一个或多个阴影投掷器,以投射已知几何形状的高对比度阴影,这在所述物体的所述周围环境上形成所述一个或多个亮度边缘;其中,所述一个或多个致动器移动所述一个或多个阴影投掷器,以便遍及所述物体的所述周围环境扫掠所述一个或多个亮度边缘;其中,所述一个或多个图像捕获设备捕获所述物体的所述周围环境上的所述一个或多个亮度边缘的图像并将所述图像记录到所述存储器中;其中,所述处理器根据记录的所述图像形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述物体的所述周围环境的所述三维模型;并且其中,所述三维模型被存储在所述存储器中。此优选实施例总体上还还涉及一种用于生成一个或多个亮度边缘以形成物体的周围环境的三维模型的方法,所述方法包括:提供一个或多个光源,所述一个或多个光源被安装在所述物体上;提供一个或多个阴影投掷元件,所述一个或多个阴影投掷元件被安装在所述物体上并且包括:一个形状,当所述形状被投射到平面上时,所述形状具有至少一个直边缘;使用所述一个或多个光源和所述一个或多个阴影投掷元件来投射已知几何形状的高对比度阴影以在所述物体的所述周围环境上形成所述一个或多个亮度边缘;移动所述一个或多个阴影投掷元件,以便遍及所述物体的所述周围环境移动所述一个或多个亮度边缘;捕获所述物体的所述周围环境上的所述一个或多个亮度边缘的图像;根据捕获到的所述图像形成三维数据表示;使用所述三维数据表示来生成所述物体的所述周围环境的所述三维模型;以及将所述三维模型存储在非暂时性计算机可读介质中。此广泛实施例的其他版本具有一个或多个光源,所述一个或多个光源是离散的或连续的、线性的或者包括一个或多个光阵列。另外,此实施例的一些版本使用一个或多个阴影投掷器,所述一个或多个阴影投掷器进一步包括可配置的形状、可配置的不透明性或颜色过滤器。此外,此实施例的一些版本使用增强现实头戴式装置并显示叠加在物体的周围环境上的模型,而类似的版本显示叠加在所述增强现实头戴式装置的周围环境上的模型。而且,本发明的此实施例可以用在交通工具上,诸如用作自动驾驶汽车或潜水器的人工视觉,在这种情况下,所述装置包括防水部件。类似地,此实施例可以用于机器人的人工视觉。
在另一优选实施例中,本发明广泛地涉及使用静态阴影投掷器来对物体的周围环境进行建模的装置和方法。此实施例总体上涉及一种用于生成一个或多个亮度边缘以形成物体的周围环境的三维模型的装置,所述装置包括:一个或多个光源,所述一个或多个光源被安装在所述物体上;一个或多个阴影投掷器,所述一个或多个阴影投掷器被安装在所述物体上,并且包括:一个形状,当所述形状被投射到平面上时,所述形状具有至少一个直边缘;一个或多个图像捕获设备,所述一个或多个图像捕获设备被安装在所述物体上;存储器,所述存储器存储在非暂时性计算机可读介质中;以及处理器,所述处理器包括:所述计算机可读介质;其中,所述一个或多个光源照亮所述一个或多个阴影投掷器,以投射已知几何形状的高对比度阴影,这在所述物体的所述周围环境上形成所述一个或多个亮度边缘;其中,所述物体移动通过所述物体的所述周围环境,以便遍及所述物体的所述周围环境扫掠所述一个或多个亮度边缘;其中,所述一个或多个图像捕获设备捕获所述物体的所述周围环境上的所述一个或多个亮度边缘的图像并将所述图像记录到所述存储器中;其中,所述处理器根据记录的所述图像形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述物体的所述周围环境的所述三维模型;并且其中,所述三维模型被存储在所述存储器中。此优选实施例总体上还还涉及一种用于生成一个或多个亮度边缘以形成物体的周围环境的三维模型的方法,所述方法包括:提供一个或多个光源,所述一个或多个光源被安装在所述物体上;提供一个或多个阴影投掷元件,所述一个或多个阴影投掷元件被安装在所述物体上并且包括:一个形状,当所述形状被投射到平面上时,所述形状具有至少一个直边缘;使用所述一个或多个光源和所述一个或多个阴影投掷元件来投射已知几何形状的高对比度阴影,以在所述物体的所述周围环境上形成所述一个或多个亮度边缘;移动所述物体,以便遍及所述物体的所述周围环境移动所述一个或多个亮度边缘;捕获所述物体的所述周围环境上的所述一个或多个亮度边缘的图像;根据捕获到的所述图像形成三维数据表示;使用所述三维数据表示来生成所述物体的所述周围环境的所述三维模型;以及将所述三维模型存储在非暂时性计算机可读介质中。此广泛实施例的其他版本具有一个或多个光源,所述一个或多个光源是离散的或连续的、线性的或者包括一个或多个光阵列。另外,此实施例的一些版本使用一个或多个阴影投掷器,所述一个或多个阴影投掷器进一步包括可配置的形状、可配置的不透明性或颜色过滤器。此外,此实施例的一些版本使用增强现实头戴式装置并显示叠加在物体的周围环境上的模型,而类似的版本显示叠加在所述增强现实头戴式装置的周围环境上的模型。而且,本发明的此实施例可以用在交通工具上,诸如用作自动驾驶汽车或潜水器的人工视觉,在这种情况下,所述装置包括防水部件。类似地,此实施例可以用于机器人的人工视觉。
在最优选的实施例中,本发明总体上涉及一种用于生成一个或多个亮度边缘以形成物体的三维模型的装置,所述装置包括:外壳,所述外壳包括:背部面板,所述背部面板包括:相机开口、顶部面板和两个侧面面板,所述侧面面板包括:枢轴点;阴影投掷器,所述阴影投掷器包括:前面段,所述前面段是矩形的;两个侧面段,每个所述侧面段从所述前面段的相反末端垂直地悬置,每个所述侧面段包括:三角形形状;以及肩部安装件,每个所述肩部安装件包括:肩部螺钉孔;以及肩部螺钉,所述肩部螺钉使用螺母可旋转地附接到所述侧面面板;以及凸舌,所述凸舌从一个所述侧面段悬置;致动器组件,所述致动器组件包括:致动器臂,所述致动器臂从所述外壳悬置;致动器电机,所述致动器电机从所述致动器臂悬置;以及致动器连接器,所述致动器连接器从所述致动器电机悬置并连接到所述阴影投掷器的所述凸舌;光源,所述光源是离散的、连续的、线性的,并且在所述阴影投掷器的所述侧面段的所述肩部安装件的所述肩部螺钉之间延伸;视频相机组件,所述视频相机组件延伸穿过所述外壳的所述背部面板的所述相机开口,所述视频相机组件包括:视频相机支撑平台和视频相机,所述视频相机被安装在所述视频相机支撑平台上,所述视频相机包括:相机镜头、相机同步端口、视频输出端口和控制端口;存储在非暂时性计算机可读介质中的存储器;处理器,所述处理器包括:所述计算机可读介质;以及显示器;其中,所述光源照亮所述阴影投掷器以投射已知几何形状的高对比度阴影,这在所述物体上形成所述一个或多个亮度边缘;其中,所述致动器电机移动所述阴影投掷器,以便遍及所述物体扫掠所述一个或多个亮度边缘;其中,所述视频相机捕获所述物体上的所述一个或多个亮度边缘的图像并将所述图像记录到所述存储器中;其中,所述处理器根据记录的所述图像形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述物体的所述三维模型;并且其中,使用所述处理器将所述三维模型显示在所述显示器上。此实施例的其他版本诸如通过三维打印技术将所述一个或多个阴影投掷器的形状建立在所述被扫描和建模的物体上。另外,此实施例的一些版本使用一个或多个阴影投掷器,所述一个或多个阴影投掷器进一步包括可配置的形状、可配置的不透明性或颜色过滤器。而且,此实施例的一些版本使用显示器,所述显示器是增强现实头戴式装置,所述增强现实头戴式装置可以将所述三维模型叠加在所述头戴式装置的用户的视野上。此实施例的其他版本使用具有多个前面区段的阴影投掷器的前面段和具有多个侧面区段的侧面段。附加版本用于房间中,其中将装置安装在天花板上。对于特定应用,此实施例的版本可以用于扫描全身并生成这个人的皮肤的三维模型,诸如用于皮肤病学中以创建痣或皮肤病变的图、或者为患者检查皮肤癌或类似疾病等。作为本发明的最优选实施例的另一具体应用,所述装置可以在患者的脑外科手术期间使用,其中所述装置进一步包括盖布和夹具组件,所述盖布符合所述装置的所述外壳并且能够保护所述患者免受污染,所述夹具组件能够固定所述装置相对于所述患者的位置。此优选实施例总体上还涉及一种使用所述装置进行患者的脑外科手术的方法,所述方法包括:用盖布将所述装置盖住,所述盖布符合所述装置的所述外壳并且能够保护所述患者免受污染;将所述装置与所述患者对准;将所述装置的所述视频相机聚焦到所述患者上;开始使用所述视频相机记录所述患者的视频;使用所述致动器电机来遍及所述患者扫掠所述一个或多个亮度边缘;使用所述视频相机捕获所述患者上的所述一个或多个亮度边缘的图像;停止记录所述患者的视频;使用所述处理器收集并分析所述图像;使用所述处理器根据所述图像形成三维数据表示;使用所述处理器、使用所述三维数据表示来生成所述患者的所述三维模型;以及使用所述处理器将所述三维模型显示在所述显示器上。此优选实施例总体上还涉及一种使用所述装置进行患者的机器人自动化脑外科手术的方法,所述方法包括:提供用于控制所述装置的机器人,所述机器人能够控制所述视频相机和所述致动器电机并能够与所述处理器交互,所述机器人包括:导航计算机,所述导航计算机能够导航所述机器人,所述导航计算机包括:所述存储器和所述计算机可读介质、一个或多个定位机器人电机、一个或多个对准机器人电机、以及一个或多个聚焦机器人电机;用盖布盖住所述装置,所述盖布符合所述装置的所述外壳并且能够保护所述患者免受污染;使用所述一个或多个定位机器人电机将所述装置定位在所述患者上方;使用所述一个或多个对准机器人电机将所述装置与所述患者对准;使用所述一个或多个聚焦机器人电机将所述装置的所述视频相机聚焦在所述患者上;使用机器人控制的所述视频相机录制所述患者的视频;使用机器人控制的所述致动器电机来遍及所述患者扫掠所述一个或多个亮度边缘;使用机器人控制的所述视频相机捕获所述患者上的所述一个或多个亮度边缘的图像;使用所述处理器收集并分析所述图像;使用所述处理器根据所述图像形成三维数据表示;使用所述处理器、使用所述三维数据表示来生成所述患者的所述三维模型;将所述三维模型存储到所述机器人的所述导航计算机以用于在所述机器人自动化脑外科手术期间使用。另外,此优选实施例总体上还涉及一种使用所述装置进行患者的脑外科手术的方法,所述方法包括:在所述脑外科手术之前,使用其他扫描技术对所述患者的大脑进行扫描以生成所述大脑的先验模型,所述其他扫描技术包括:MRI扫描、CT扫描、PET扫描或超声波扫描;使用所述处理器将所述先验模型存储在所述存储器中;用盖布将所述装置盖住,所述盖布符合所述装置的所述外壳并且能够保护所述患者免受污染;将所述装置与所述患者对准;将所述装置的所述视频相机聚焦到所述患者上;开始使用所述视频相机记录所述患者的视频;使用所述致动器电机来遍及所述患者扫掠所述一个或多个亮度边缘;使用所述视频相机捕获所述患者上的所述一个或多个亮度边缘的图像;停止记录所述患者的视频;使用所述处理器收集并分析所述图像;使用所述处理器根据所述图像形成三维数据表示;使用所述处理器、使用所述三维数据表示来生成所述患者的所述三维模型;使用所述处理器将所述三维模型与所述先验模型进行比较;以及使用所述处理器将与所述先验模型叠加的所述三维模型显示在所述显示器上。此优选实施例总体上还涉及一种使用所述装置对大脑节奏性搏动的患者进行脑外科手术的方法,所述方法包括:用盖布盖住所述装置,所述盖布符合所述装置的所述外壳并且能够保护所述患者免受污染;将所述装置与所述患者的所述节奏性搏动的大脑对准;将所述装置的所述视频相机聚焦在所述患者的所述节奏性搏动的大脑上;开始使用所述视频相机记录所述患者的所述节奏性搏动的大脑的视频;测量所述患者的血压波形轮廓,所述血压波形轮廓包括:所述患者血压的节奏性搏动;使用所述致动器电机来遍及所述患者的所述节奏性搏动的大脑扫掠所述一个或多个亮度边缘;使用所述视频相机捕获所述患者的所述节奏性搏动的大脑上的所述一个或多个亮度边缘的图像;停止记录所述患者的所述节奏性搏动的大脑的视频;使用所述处理器收集并分析所述图像;使用所述血压波形轮廓和所述处理器消除所述患者的所述节奏性搏动的大脑的节奏性运动;使用所述处理器记录所述阴影投掷器的扫描运动;使用所述处理器根据所述图像和所述患者的所述节奏性搏动的大脑的被消除的所述节奏性运动来形成三维数据表示;使用所述处理器、使用所述三维数据表示来生成所述患者的所述三维模型;以及使用所述处理器将所述三维模型显示在所述显示器上。
在另一优选实施例中,本发明总体上涉及一种内窥镜装置。此实施例总体上涉及一种用于生成一个或多个亮度边缘以形成物体的三维模型的装置,所述装置包括:内窥镜主体,所述内窥镜主体包括:近侧末端;远侧末端;内窥镜套筒,所述内窥镜套筒横跨在所述近侧末端与所述远侧末端之间;成锥形的光纤束,所述成锥形的光纤束被布置在所述内窥镜套筒内并朝着所述远侧末端逐渐变窄;以及内窥镜相机,所述内窥镜相机被布置在所述内窥镜套筒内并面向所述远侧末端外;阴影投掷器,所述阴影投掷器被安装在所述内窥镜主体的所述远侧末端上在所述成锥形的光纤束上方,所述阴影投掷器包括:半圆形片;光发射装置,所述光发射装置包括:水平平台;竖直座,所述竖直座从所述水平平台扩张;步进电机线性致动器,所述步进电机线性致动器从所述水平平台扩张;平移平台,所述平移平台连接到所述步进电机线性致动器;光源,所述光源从所述平移平台悬置;光纤束,所述光纤束从所述光源悬置;方形到圆形锥形物,所述方形到圆形锥形物从所述光纤束悬置;以及狭缝,所述狭缝被安装在所述方形到圆形锥形物上;存储在非暂时性计算机可读介质中的存储器;处理器,所述处理器包括:所述计算机可读介质;以及显示器;其中,所述光发射装置连接到所述内窥镜主体的所述近侧末端;其中,所述光源照亮所述光纤束、所述方形到圆形锥形物、所述狭缝、所述成锥形的光纤束和所述阴影投掷器,以投射已知几何形状的高对比度阴影,这在所述物体上形成所述一个或多个亮度边缘;其中,所述步进电机线性致动器移动具有所述光源的所述平移平台,以便遍及所述物体扫掠所述一个或多个亮度边缘;其中,所述内窥镜相机捕获所述物体上的所述一个或多个亮度边缘的图像并将所述图像记录到所述存储器中;其中,所述处理器根据记录的所述图像形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述物体的所述三维模型;并且其中,使用所述处理器将所述三维模型显示在所述显示器上。此优选实施例总体上还还涉及一种用于生成一个或多个亮度边缘以形成物体的三维模型的装置,所述装置包括:内窥镜主体,所述内窥镜主体包括:近侧末端;远侧末端;内窥镜套筒,所述内窥镜套筒横跨在所述近侧末端与所述远侧末端之间;成锥形的光纤束,所述成锥形的光纤束被布置在所述内窥镜套筒内并朝着所述远侧末端逐渐变窄;以及内窥镜相机,所述内窥镜相机被布置在所述内窥镜套筒内并面向所述远侧末端外;阴影投掷器,所述阴影投掷器被安装在所述内窥镜主体的所述远侧末端上在所述成锥形的光纤束上方,所述阴影投掷器包括:半圆形片;光发射装置,所述光发射装置包括:水平平台;竖直座,所述竖直座从所述水平平台扩张;步进电机线性致动器,所述步进电机线性致动器从所述水平平台扩张;支撑平台,所述支撑平台从所述竖直座悬置;光源,所述光源从所述支撑平台悬置;光纤束,所述光纤束从所述光源悬置;方形到圆形锥形物,所述方形到圆形锥形物从所述光纤束悬置;以及狭缝,所述狭缝被安装到所述步进电机线性致动器;存储在非暂时性计算机可读介质中的存储器;处理器,所述处理器包括:所述计算机可读介质;以及显示器;其中,所述光发射装置连接到所述内窥镜主体的所述近侧末端;其中,所述光源照亮所述光纤束、所述方形到圆形锥形物、所述狭缝、所述成锥形的光纤束和所述阴影投掷器,以投射已知几何形状的高对比度阴影,这在所述物体上形成所述一个或多个亮度边缘;其中,所述步进电机线性致动器移动狭缝,以遍及所述物体扫掠所述一个或多个亮度边缘;其中,所述内窥镜相机捕获所述物体上的所述一个或多个亮度边缘的图像并将所述图像记录到所述存储器中;其中,所述处理器根据记录的所述图像形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述物体的所述三维模型;并且其中,使用所述处理器将所述三维模型显示在所述显示器上。此实施例的其他版本使用成锥形的光纤束,所述成锥形的光纤束是矩形的或圆形-矩形的。另外,此实施例的一些版本使用一个或多个阴影投掷器,所述一个或多个阴影投掷器进一步包括可配置的形状、可配置的不透明性或颜色过滤器。
在另一优选实施例中,本发明总体上涉及使用无人机对区域进行建模的系统。此实施例总体上涉及一种用于生成一个或多个亮度边缘以形成区域的三维模型的系统,所述系统包括:多个阴影无人机,每个所述阴影无人机包括:无人机,所述无人机包括:遥控飞行器和阴影投掷器,所述阴影投掷器包括:面板,所述面板从所述无人机悬置;多个相机无人机,每个所述相机无人机包括:所述无人机和图像捕获设备,所述图像捕获设备从所述无人机悬置;存储在非暂时性计算机可读介质中的存储器;处理器,所述处理器能够控制所述阴影无人机和所述相机无人机,所述处理器包括:所述计算机可读介质;以及显示器;其中,所述多个阴影无人机在飞行编队中对齐,使得所述阴影投掷器形成大体上连续的统一阴影投掷器,所述统一阴影投掷器包括对齐的所述阴影投掷器;其中,太阳照亮所述统一阴影投掷器以投射已知几何形状的高对比度阴影,这在所述区域上形成所述一个或多个亮度边缘;其中,在所述飞行编队中对齐的所述多个阴影无人机以编队形式遍及所述区域移动,以便遍及所述区域扫掠所述一个或多个亮度边缘;其中,所述相机无人机的所述图像捕获设备捕获所述区域上的所述一个或多个亮度边缘的图像,并将所述图像记录到所述存储器中;其中,所述处理器根据记录的所述图像形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述区域的所述三维模型;并且其中,使用所述处理器将所述三维模型显示在所述显示器上。此优选实施例总体上还涉及一种用于生成一个或多个亮度边缘以形成区域的三维模型的系统,所述系统包括:多个阴影无人机,每个所述阴影无人机包括:无人机,所述无人机包括:遥控飞行器和阴影投掷器,所述阴影投掷器包括:面板,所述面板从所述无人机悬置;多个光无人机,每个所述光无人机包括:所述无人机和光源,所述光源从所述无人机悬置;多个相机无人机,每个所述相机无人机包括:所述无人机和图像捕获设备,所述图像捕获设备从所述无人机悬置;存储在非暂时性计算机可读介质中的存储器;处理器,所述处理器能够控制所述阴影无人机、所述光无人机和所述相机无人机,所述处理器包括:所述计算机可读介质;以及显示器;其中,所述多个阴影无人机在飞行编队中对齐,使得所述阴影投掷器形成大体上连续的统一阴影投掷器,所述统一阴影投掷器包括对齐的所述阴影投掷器;其中,所述光无人机照亮所述统一阴影投掷器以投射已知几何形状的高对比度阴影,这在所述区域上形成所述一个或多个亮度边缘;其中,在所述飞行编队中对齐的所述多个阴影无人机以编队形式遍及所述区域移动,以便遍及所述区域扫掠所述一个或多个亮度边缘;其中,所述相机无人机的所述图像捕获设备捕获所述区域上的所述一个或多个亮度边缘的图像,并将所述图像记录到所述存储器中;其中,所述处理器根据记录的所述图像形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述区域的所述三维模型;并且其中,使用所述处理器将所述三维模型显示在所述显示器上。此实施例的其他版本使用一个或多个阴影投掷器,所述一个或多个阴影投掷器进一步包括可配置的形状、可配置的不透明性或颜色过滤器。另外,此实施例的一些版本使用显示器,所述显示器是增强现实头戴式装置,所述增强现实头戴式装置可以将所述三维模型叠加在所述头戴式装置的用户的视野上。
在另一优选实施例中,本发明总体上涉及对诸如大型体育场等区域进行建模的系统。此实施例总体上涉及一种用于生成一个或多个亮度边缘以形成区域的三维模型的系统,所述系统包括:阴影投掷器平台,所述阴影投掷器平台是水平的并且能够旋转;光源,所述光源从所述阴影投掷器平台的中心悬置;至少一个阴影投掷器,每个所述阴影投掷器从围绕所述光源的所述阴影投掷器平台悬置并且包括:竖直面板和成角度的面板,所述成角度的面板是朝向所述光源成角度;多个图像捕获设备,每个所述图像捕获设备被安装在三脚架上;存储器,所述存储器存储在非暂时性计算机可读介质中;处理器,所述处理器包括:所述计算机可读介质;以及显示器;其中,所述多个图像捕获设备围绕所述阴影投掷器平台布置;其中,所述光源照亮所述阴影投掷器以投射已知几何形状的高对比度阴影,这在所述区域上形成所述一个或多个亮度边缘;其中,旋转所述阴影投掷器平台,从而围绕所述光源旋转所述阴影投掷器,以便遍及所述区域扫掠所述一个或多个亮度边缘;其中,所述多个图像捕获设备捕获所述区域上的所述一个或多个亮度边缘的图像并将所述图像记录到所述存储器中;其中,所述处理器根据记录的所述图像形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述区域的所述三维模型;并且其中,使用所述处理器将所述三维模型显示在所述显示器上。此优选实施例总体上还涉及一种用于生成一个或多个亮度边缘以形成区域的三维模型的系统,所述系统包括:阴影投掷器平台,所述阴影投掷器平台是水平的;光源,所述光源是定向的、能够旋转的、并且从所述阴影投掷器平台的中心悬置;至少一个阴影投掷器,每个所述阴影投掷器从围绕所述光源的所述阴影投掷器平台悬置并且包括:竖直面板和成角度的面板,所述成角度的面板是朝向所述光源成角度;多个图像捕获设备,每个所述图像捕获设备被安装在三脚架上;存储器,所述存储器存储在非暂时性计算机可读介质中;处理器,所述处理器包括:所述计算机可读介质;以及显示器;其中,所述多个图像捕获设备围绕所述阴影投掷器平台布置;其中,所述光源照亮所述阴影投掷器以投射已知几何形状的高对比度阴影,这在所述区域上形成所述一个或多个亮度边缘;其中,移动所述光源,以便遍及所述区域扫掠所述一个或多个亮度边缘;其中,所述多个图像捕获设备捕获所述区域上的所述一个或多个亮度边缘的图像并将所述图像记录到所述存储器中;其中,所述处理器根据记录的所述图像形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述区域的所述三维模型;并且其中,使用所述处理器将所述三维模型显示在所述显示器上。此实施例的其他版本使用一个或多个阴影投掷器,所述一个或多个阴影投掷器进一步包括可配置的形状、可配置的不透明性或颜色过滤器。另外,此实施例的一些版本使用显示器,所述显示器是增强现实头戴式装置,所述增强现实头戴式装置可以将所述三维模型叠加在所述头戴式装置的用户的视野上。
在另一优选实施例中,本发明广泛地涉及生成定型的阴影投掷器的方法,所述方法在上述优选实施例中的许多优选实施例中使用。本实施例总体上涉及一种创建定制阴影投掷器以生成一个或多个亮度边缘从而形成物体的三维模型的方法,所述方法包括:提供三维打印机;使用摄影、视频或阴影投射确定所述物体的轮廓;使用所述三维打印机以所述轮廓的形状三维地打印所述定制的阴影投掷器;以及当生成所述一个或多个亮度边缘时,将所述定制阴影投掷器放置成大体上靠近所述物体。
在另一优选实施例中,本发明涉及一种装置、即一种有狭缝的线性光源,所述有狭缝的线性光源可以在上述优选实施例中的许多优选实施例中使用。本实施例总体上涉及一种用于为阴影投掷器生成光的装置,所述装置包括:有狭缝的管,所述有狭缝的管包括:内部,所述内部被涂成白色;外部,所述外部是不透明的;以及狭缝,所述狭缝沿所述有狭缝的管的长度延伸并且包括:宽度;两个光源,所述光源在所述有狭缝的管的相反末端悬置;两个散热器,所述散热器从所述光源悬置;两个夹具,每个所述夹具卷绕所述有狭缝的管并且包括:螺钉;其中,所述夹具能够调整所述狭缝的所述宽度。此实施例的其他版本使用光源,所述光源是LED组或者由光纤束提供。此外,此实施例的附加版本进一步包括跨所述狭缝的一个或多个透镜,所述透镜具有负焦距。
在另一优选实施例中,本发明涉及一种用于生成锐化阴影的装置,所述装置包括:两个侧面阴影投掷器,每个所述侧面阴影投掷器是三角形的并且包括:基底;两个侧面,所述侧面从所述基底延伸并在一点处相遇;以及顶点,所述顶点包括:所述两个侧面相遇的所述点以及枢轴点;主阴影投掷器,所述主阴影投掷器布置在所述侧面阴影投掷器的所述基底之间,其中,所述侧面阴影投掷器从所述主阴影投掷器悬置;旋转轴线,所述旋转轴线与所述侧面阴影投掷器的所述枢轴点相交;以及光源,所述光源是线性的、横跨在所述侧面阴影投掷器的所述顶点之间、并沿所述旋转轴线布置;其中,所述侧面阴影投掷器和所述主阴影投掷器可绕所述旋转轴线旋转;并且其中,所述光源将光投射遍及所述侧面阴影投掷器和所述主阴影投掷器,以生成所述锐化阴影。此实施例的其他版本使用侧面阴影投掷器和主阴影投掷器,所述阴影投掷器进一步包括可配置的形状。此实施例的又其他版本使用侧面阴影投掷器和主阴影投掷器,所述阴影投掷器进一步包括可配置的不透明性。此实施例的附加版本使用侧面阴影投掷器和主阴影投掷器,所述阴影投掷器进一步包括颜色过滤器。此外,此实施例的其他版本使用侧面阴影投掷器和主阴影投掷器,所述阴影投掷器进一步包括多个区段。当与阴影投掷器扫描仪一起使用时,相机必须与光源分开。
尽管为了清楚理解的目的已经详细描述了前述示例,但是上述发明技术不限于所提供的细节。存在许多实施上述发明技术的替代方式。所披露的示例是说明性的而非限制性的。这些实施例不旨在限制本发明的范围。
附图说明
在附图中示出了本发明的说明性且优选的实施例,在附图中:
图1是已知的扫描仪系统;
图2是描绘了根据一些实施例的阴影投掷器的示例的简图;
图3是描绘了根据一些示例的扫描系统的简图;
图4是描绘了根据一些实施例的阴影投掷器的另一示例的简图;
图5是描绘了根据一些实施例的阴影投掷器的另一示例的简图;
图6是描绘了根据一些示例的生成亮度边缘以扫描多个物体的阴影投掷器的示例的简图;
图7A是描绘了根据一些示例的被扫描物体的侧视图的简图;
图7B是描绘了根据一些示例的被扫描物体的透视图的简图;
图7C是根据一些示例的用于确定物体表面上的点的空间位置的示例流程图;
图8是描绘了根据各实施例的阴影投掷器的示例的简图;
图9是描绘了根据各实施例的阴影投掷器的示例的简图;
图10是描绘了根据各实施例的阴影投掷器的示例的简图;
图10A是描绘了根据各实施例的阴影投掷器的示例的简图;
图11A是描绘了根据一些示例的用于扫描三维物体的阴影投掷器的可适应结构性特性的示例的简图;
图11B是描绘了根据一些示例的用于扫描三维物体的阴影投掷器的可适应结构性特性的示例的简图;
图11C是描绘了根据一些示例的用于扫描三维物体的阴影投掷器的可适应结构性特性的示例的简图;
图12是描绘了根据一些示例的可配置阴影投掷器的示例的简图;
图13是描绘了根据一些示例的扫描系统的示例的简图;
图14是描绘了根据一些示例的扫描系统的又另一示例的简图;
图15描绘了根据一些示例的被配置为执行医疗应用的扫描系统的示例;
图16A是描绘了根据一些示例的包括阴影投掷器系统的专用手术显微镜的简图;
图16B是描绘了根据一些示例的包括至少一个阴影投掷器的又另一专用手术显微镜的简图;
图17是描绘了根据一些示例的基于三维扫描特征的放大图像的简图;
图18是描绘了根据一些示例的体内三维扫描和图像整合的功能框图;
图19是描绘了根据一些示例的被配置为生成一个或多个亮度边缘的一个或多个阴影投掷器的又另一示例的简图;
图20是描绘了根据一些示例的源自可穿戴阴影投掷器的光投射图案的示例的简图;
图21是描绘了根据一些示例的利用可穿戴阴影投掷器实施的图像捕获设备的简图;
图22是描绘了根据一些示例的在共同环境中协作的多个可穿戴阴影投掷器的简图;
图23展示了根据各实施例的被配置为向部件提供各种功能以进行三维扫描的各种计算平台的示例;
图24是根据一些示例的本发明的装置的前透视图;
图25是根据一些示例的图24的装置的后透视图;
图26是根据一些示例的图24的装置的分解视图;
图27是根据各实施例的本发明的阴影投掷器的前透视图;
图28是根据各实施例的本发明的另一阴影投掷器的前透视图;
图29是根据各实施例的本发明的另一阴影投掷器的前透视图;
图30描绘了根据一些示例的描述了图24的装置的操作的流程图;
图31是根据各实施例的在脑外科手术期间使用的本发明的装置的前透视图;
图32展示了根据一些示例的描述了在脑外科手术期间使用的本发明的装置的操作的流程图;
图33示出了根据一些示例的描述了在脑外科手术期间使用的本发明的装置的操作的流程图;
图34描绘了根据一些示例的描述了本发明所使用的算法的流程图;
图35显示了根据各实施例的描述了用于患者登记的本发明的装置的流程图;
图36演示了根据一些示例的描述了在机器人自动化脑外科手术期间使用的本发明的装置的操作的流程图;
图37是根据各实施例的本发明的装置的前透视图;
图38是根据一些示例的图37的装置的分解视图;
图39是根据各实施例的本发明的装置的前透视图;
图40示出了根据各实施例的安装在内窥镜的远侧末端中的本发明的装置的前透视图和分解视图;
图41描绘了根据一些示例的框图,所述框图描述了图40的装置;
图42展示了根据各实施例的描述了本发明的装置的内窥镜版本的操作的流程图;
图43描绘了根据一些示例的描述了本发明的内窥镜版本所使用的算法的流程图;
图44示出了根据一些示例的描述了本发明的装置的内窥镜版本的阴影投掷器扫掠的流程图;
图45是根据各实施例的本发明的正在扫描人的装置的前透视图;
图46展示了根据一些示例的描述了图45的装置的操作的流程图;
图47是根据各实施例的本发明的正在扫描行走的人的另一装置的前透视图;
图48是根据一些示例的描述了图47的装置的操作的流程图;
图49示出了根据各实施例的本发明的结合到汽车中的另一装置的前透视图;
图50是根据一些示例的图49的装置的特写视图;
图51显示了根据一些示例的描述了图49的装置的操作的流程图;
图52展示了根据各实施例的描述了本发明的结合到机器人中的装置的操作的流程图;
图53是根据各实施例的描述了本发明的结合到潜水器中的装置的操作的流程图;
图54演示了根据各实施例的本发明的使用无人机的系统的前透视图;
图55是根据一些示例的描述了图54的系统的操作的流程图;
图56是根据各实施例的本发明的使用无人机的另一系统的前透视图;
图57示出了根据一些示例的描述了图56的系统的操作的流程图;
图58描绘了根据各实施例的描述了由使用无人机的本发明的系统所使用的算法的流程图;
图59是根据各种实施例的描述了使用无人机的本发明的系统的阴影投掷器扫掠的流程图;
图60是根据各实施例的被用于扫描体育场的本发明的另一系统的透视图;
图61是根据一些示例的图60的系统在扫描体育场的过程中的透视图;
图62示出了根据一些示例的描述了由使用单个阴影投掷器的本发明的实施例所使用的算法的流程图;
图63是根据一些示例的描述了由使用单个阴影投掷器的本发明的实施例所使用的阴影投掷器扫掠的流程图;
图64演示了根据各实施例的描述了用于桌面扫描的本发明的装置或系统的操作的流程图;
图65展示了根据各实施例的描述了本发明的装置或系统的操作的流程图,所述设备或系统可以与三脚架一起用于扫描房间;
图66描绘了根据各实施例的描述了本发明的装置或系统的操作的流程图,所述装置或系统可以与头顶灯一起用于扫描房间;
图67示出了根据一些示例的描述了由使用多个相机的本发明的实施例所使用的算法的流程图;
图68是根据一些示例的描述了由使用多个相机和单个静态阴影投掷器的本发明的实施例所使用的算法的流程图;
图69显示了根据一些示例的描述了创建定制阴影投掷器的方法的流程图;
图70是根据一些示例的本发明的装置的透视图,所述装置为有狭缝的光源;以及
图71展示了根据一些示例的图70的装置的分解视图。
具体实施方式
为了说明的目的,在用于生成一个或多个亮度边缘以形成物体或环境的三维模型的装置、方法和系统的优选实施例中示出了本发明。在广泛实施例中,本发明包括:一个或多个光源和一个或多个阴影投掷器,所述光源和阴影投掷器在被建模的物体或区域上生成一个或多个亮度边缘;检测所述一个或多个亮度边缘的一个或多个装置;相对于所述被建模的物体或区域移动所述一个或多个亮度边缘的装置;以及生成所述被建模的物体或区域的三维模型的装置;以及相关的方法和系统。一些实施例移动所述一个或多个阴影投掷器,一些实施例移动所述一个或多个光源,并且一些实施例使所述物体移动通过所述一个或多个亮度边缘。各实施例或示例可以以多种方式实施,包括作为系统、过程、方法、装置、用户界面或计算机可读介质(诸如计算机可读存储介质、或通过光学、电子或无线通信链路发送程序指令的计算机网络)上的一系列程序指令。一般来讲,除非权利要求中另有提供,否则所披露的过程的操作可以任意顺序来执行。这些实施例不旨在限制本发明的范围。
以下连同附图提供对一个或多个示例的详细描述。所述详细描述是结合这样的示例来提供的,但是不限于任何特定示例。所述范围仅由权利要求及其众多替代方案、修改和等效物限制。为了提供透彻的理解,在以下描述中阐述了许多具体细节。提供这些细节是为了示例的目的,并且可以在没有一些或所有这些具体细节的情况下根据权利要求来实践所描述的技术。为了清楚起见,未详细描述与示例相关的技术领域中已知的技术材料,以避免不必要地模糊描述。
现在参考本发明的优选实施例,图2是描绘了根据一些实施例的阴影投掷器的示例的简图。简图200描绘了阴影投掷器215的示例,所述阴影投掷器被配置为在投射平面或物体(未示出)或环境(未示出)处或之上形成亮度边缘250a和250b,从而促进对物体或环境的形状和图像的三维表示。在一些示例中,阴影投掷器215可以被配置为接收光子发射(例如,作为光),所述光子发射可以撞击在阴影投掷器215的边缘213a的至少边缘部分211a和211b上,这进而可以引起源自边缘部分211a和211b的光的投射204a和204b,以在投射平面210上形成亮度边缘250a。类似地,光也可以撞击在边缘213b的边缘部分211aa和211bb上,这进而可以引起源自边缘部分211aa和211bb的光的投射204aa和204bb,以形成另一亮度边缘250b。根据各种示例,亮度边缘250a或亮度边缘250b中的任一者或两者均可以用于促进三维扫描和数字复制。在所示的示例中,阴影投掷器215可以是不透明的,以基于亮度边缘250a和250b来形成本影220。相对于平面210的被照亮部分299(包括被照亮平面部分228),本影220可以与相对较高的暗度(例如,低至可忽略的照明水平)相关联。
鉴于前述内容,可以根据本文描述的各种功能和/或结构来实施阴影投掷器215,以形成亮度边缘,从而促进对与物体和环境的表面相关联的空间特性的三维扫描和数字复制。根据一些示例,阴影投掷器215包括三角形截面区域,所述三角形横截面区域在投射到平面YZ上时提供三角形轮廓,所述阴影投掷器投掷了锐化阴影,其中在整个扫描过程中每个边缘保持与线212平行,其中,该锐化阴影被投射到平行于线212的任何平面上。也就是说,在扫描期间(例如,当亮度边缘250a和250b中的一者或两者在物体、环境和/或投射平面210上移动时),可以将一个或两个边缘与线212的平行度维持为投射到平面210上。阴影投掷器215、光源203和亮度边缘250a(或亮度边缘250b)的几何形状和尺寸有助于当例如一个或多个亮度边缘在扫描过程期间移动时维持平行度。因为阴影投掷器215的角度可以是先验已知的,所以可以将平行度维持为在扫描中使用的一个或多个亮度边缘,以促进确定阴影平面的准确性,这进而可以提高3D物体的坐标的准确性。在至少一个示例中,对于边缘213a或213b中的任一者或两者,可以实施阴影投掷器215以形成与在点L和阴影投掷器215的顶点262处穿过光源203的线212平行的阴影平面。阴影平面的示例由点L、A和B形成,而第二阴影平面的示例由点L、C和D形成。因此,根据一些示例,可以将点A同点B之间的亮度边缘250a维持为与点C同点D之间的亮度边缘250b平行(或大体上平行)。注意,根据至少一个示例,穿过光源203的线212不一定穿过阴影平面。在其他示例中,线212平行于可延伸到线212的阴影平面。然而,阴影投掷器可能不一定会沿着此线投掷阴影。
例如,亮度边缘250a可以与从本影220中的反射光或光子发射的不存在(或相对较低的量)(例如,相对较低的明亮度或光亮度水平)到在距离单位226内的被照亮平面部分228处的相对较高水平的反射光或光子发射的相对急剧的变化率相关联。根据一些示例,可以将亮度边缘250a描述为与指示单位距离226的梯度相关联。像素的特性可以包括但不限于像素强度,诸如灰色像素强度、明亮度值、光亮度等。在一个示例中,梯度可以指定相关联本影220的一个或多个像素特性从像素值000(例如,没有照明或“黑色”)改变为像素值255(例如,完全被照亮或“白色”)的距离。在至少一些情况下,根据至少一些示例,与例如圆柱形杆或铅笔被布置成使得没有阴影投掷边缘完全位于包含光源的单个平面中的这种杆或铅笔相比,与阴影投掷器215相关联的截面区域可以产生更锐化的亮度边缘和更高的对比度。换句话说,完全位于单个平面(其中,该平面也包含光源)中的任何边缘会投掷出锐化的高对比度阴影,这是本发明实施例的特别优点。
在一些示例中,亮度边缘可以充分提供被照亮表面与所生成阴影之间的相对较锐化的对比度。这样,亮度边缘的示例可以促进捕获3D表面的空间特性以及与所述表面相关联的颜色,其中,可以从最接近阴影边缘的被照亮表面获得该颜色。因此,与在其他情况下相比,可以在扫描期间相对接近亮度边缘获得颜色确定,以准确地表示扫描期间的颜色。例如,确定颜色不需要依赖于3D数据与单独的颜色信息的配准,所述单独的颜色信息可以使用单独的相机获得或者在与扫描或以其他方式捕获表示3D信息的数据时不同的时间获得。
仍然参考图2,简图200描绘了光源203被布置在与投射平面210的负X平面(例如,“-X”)部分相关联的区中,其中阴影投掷器215(或其投射)被布置在某个平面(例如,YZ平面)中。阴影投掷器215的一部分260可以被布置在线212处或附近。线212还可以包括位于其上的光源203。在至少一个示例中,部分260可以与线212共同延伸。在一个示例中,线212可以与阴影投掷器215的一个或多个点重合,所述一个或多个点可以包括简图200中所示的三角形阴影投掷器215的顶点262处的点。至少在一些情况下,线212可以平行于XY平面并且正交于YZ平面。阴影投掷器215的另一部分可以被布置在远侧,诸如在端部部分230处。例如,端部部分230可以被布置在投射平面210处或附近。
在一些示例中,阴影投掷器215的描绘可以表示与某个平面(例如,YZ平面)相关联的、可以形成亮度边缘250a和250b的截面区域或其投射。可替代地,阴影投掷器215(或其截面区域)可以相对于某个平面成一定角度(例如,相对于与XY平面共同延伸的平面成角度280)定位或定向。因此,阴影投掷器215的结构和功能不必限于关于图2所描绘和描述的那些。例如,可以利用本文所述的一种或多种特征、功能和/或结构(诸如一个或多个光源203(例如,光点))来实施矩形阴影投掷器,由此矩形阴影投掷器可以围绕其边缘上的点(例如,围绕平行于线212的旋转轴线)旋转,以形成至少一个相对较锐化的阴影边缘(或亮度边缘)。根据一些示例,阴影投掷器215可以是不透明的,其中不透明性是可配置的或可编程的。注意,在一些示例中,半影可以被实施为本影220,由此来自光源203(或任何其他光源)的部分照明量可以修改或限制最大暗度(例如,部分照明量可以导致像素强度值增加到000(这可以表示完全黑暗)以上)。无论如何,根据一些示例,可以将亮度边缘250a和250b检测为从与半影220相关联的一个或多个像素值的第一范围到与投射平面210的被照亮部分228相关联的一个或多个像素值的第二范围的过渡。根据一些示例,可以在可以对相邻像素进行比较的单个帧中检测或确定过渡。或者,可以将过渡确定为像素的明亮度随时间(例如,在多个帧上)的变化。在至少一个实例中,可以以比像素更精细的尺寸来解析亮度(或阴影)边缘(例如,在一个或多个帧期间,其中当阴影边缘在扫描期间跨像素移动时,像素值可能相对缓慢地变化)。因此,可以以子像素准确性来确定亮度边缘。
图3是描绘了根据一些示例的扫描系统的简图。简图300描绘了作为扫描系统的组成部件的阴影投掷器315的另一示例,所述扫描系统还包括图像捕获设备301以及布置在线312上的一个光源303或多个光源303(未示出)。线312可以延伸穿过阴影投掷器315的顶点362和一个或多个光源303。在一些示例中,阴影投掷器315可以被配置为接收光子发射(例如,作为光),所述光子发射可以撞击在阴影投掷器315的边缘313a的至少边缘部分311a和311b上,这进而可以引起分别源自边缘部分311a和311b的光的投射304a和304b,以在投射平面310上形成亮度边缘350a。类似地,光也可以撞击在边缘313b的边缘部分311aa和311bb上,这进而可以引起源自边缘部分311aa和311bb的光的投射304aa和304bb,以形成另一亮度边缘350b。一个或多个亮度边缘350a和350b可以形成在投射平面310处或之上,以促进生成物体370的形状的三维表示。
根据各种功能和结构,亮度边缘350a和350b可以在物体370的表面上过渡或移动以确定所述表面的三维空间特性。可以通过诸如机电电机等设备(未示出)或通过重力生成任何数量或类型的动力(未示出),以使阴影投掷器315和物体370中的一者相对于另一者移动,从而实现亮度边缘350相对于物体370的移动。例如,动力可以导致阴影投掷器315在平面(例如,YZ平面)中的角位移(例如,具有绕平行于线312的轴线的至少一些旋转分量的旋转384)。在一些示例中,可以维持上述平行度,以便通过使阴影投掷器315围绕图3的顶点362旋转来提供在整个扫描过程中移动(例如,同步地)的平行亮度边缘。类似地,图2的阴影投掷器215可以绕顶点262旋转以维持平行度。注意,底部部分331(例如,在Y轴方向上)的宽度可以被描绘为等同于简图300中描绘的棋盘图案的一个或多个方格的宽度。但是此处,或者在本文中描述的任何其他示例中,底部部分331的宽度可以小于或大于任何数量的棋盘方格的宽度。因此,简图300中所示的阴影投掷器315的尺寸是示例性的。在各种示例中,可以使用任何数量的构型和宽度来形成平行亮度边缘350a与350b之间的任何距离333。
为了实施扫描,阴影投掷器315在YZ平面中的角位移可以使亮度边缘350和本影320沿平行于(例如)Y轴的方向并在投射平面310上380移动。作为另一示例,动力可以使阴影投掷器315以沿Y轴所示的取向平移(例如,非旋转地),从而使亮度边缘350a和350b以及本影320沿方向380移动。在又另一示例中,动力可以使物体370相对于阴影投掷器315旋转382或平移383(例如,平行于Y轴的线性位移),以使亮度边缘350a和350b在不同的时间点接触物体370的不同部分。在另一示例中,动力可以使物体370相对于阴影投掷器315移动以引起亮度边缘的运动。
在一些示例中,动力可以使光源303、阴影投掷器315和物体370中的一者相对于其他对象移动以实现亮度边缘350a和350b的移动。注意,在光源303或阴影投掷器315上的动力可以是任何类型的动力,其示例包括但不限于机械的、机电的、电气的、磁的、电磁的、电子的(例如,用于激活LCD的元件以实现模拟阴影投掷器315的运动的电流或电压)或任何其他动力。此外,生成动力的设备不必限于机电电机,而可以是重力或用于引起亮度边缘350相对于物体370的表面的移动的任何已知设备。
图像捕获设备301可以被配置为当亮度边缘350a和350b在投射平面310上行进或移动时捕获包括物体370的场景或环境的图像。图像捕获设备301的示例可以包括任何类型的相机,诸如数字视频相机、基于电荷耦接器件(“CCD”)的图像传感器等、以及模拟相机。在所示的示例中,图像捕获设备301可以在阴影320(例如,本影)越过物体370时捕获一个或多个图像帧(例如,特定帧速率的视频),其中一个或多个像素373可以与亮度边缘350a和350b相关联。一个或多个像素373可以是相机上与物体370上的点相对应的像素,其被描绘为一个或多个像素373。在此示例中,图像捕获设备301可以对于给定的亮度边缘捕获反射的光亮度从暗到亮或者从亮到暗的变化。如从相机301的视点所检测的,物体370的表面可以使亮度边缘350a和350b的一部分(例如,投掷在物体370上的部分)偏离亮度边缘350a和350b的其他更直线部分(例如,在XY平面上)。亮度边缘350a和350b的偏离或变形可能是由于(物体370的)表面尺寸沿Z轴的正值延伸。在至少一种实施方式中,单个图像捕获设备301(例如,具有单个镜头)就可能足以实施本文所述的扫描功能中的至少一些功能。
图4是描绘了根据一些实施例的阴影投掷器的另一示例的简图。简图400描绘了阴影投掷器415a和415b的系统,所述阴影投掷器被配置为在投射平面410处或之上形成一个或多个亮度边缘450,以促进三维物体扫描。简图400还描绘了一种布置,其中阴影投掷器415a和415b可以被配置为将亮度边缘451和453投掷成彼此重合以形成公共边缘450。简图400还描绘了图像捕获设备401、一个或多个光源的子集403a、以及一个或多个光源的子集403b。一个或多个光源的子集403a被示出为布置在区430中(例如,在阴影投掷器415a的一侧),并且一个或多个光源的子集403b可以被布置在区434中。区430、432和434可以限定二维或三维空间。子集403a和403b的光源可以被轴向地布置在线412上,并且可以是可以发射任何数量的流明(例如,200流明(或更少)至1300流明(或更多))的任何类型的发光源。发光源的示例可以包括但不限于LED、白炽灯、卤素灯、激光器等,以及任何类型的光线导管、透镜(例如菲涅耳透镜)或光导,诸如被照亮的光纤(例如,光纤,诸如光纤电缆)。子集403a和403b中的每个光源可以以相同或不同的波长发射光子发射(例如,光)。例如,子集403a和403b中的每个子集中的一个或多个光源可以生成可见光谱以及其他任何光谱范围(例如紫外光谱、红外光谱等)内的光,并且可以以相对较窄的光谱范围进行发射。可以根据阴影投掷器415a和415b的应用来选择性地实施一个或多个波长范围。在一些情况下,子集403a和403b中的光源可以被实施为发射构成“白光”或“宽频带光”的光波长,这可以减少或消除阴影投掷器的边缘处的衍射效应(例如,一个或多个波长范围相结合可以减少或消除与由于边缘引起的光衍射相关联的伪像)。而且,子集403a和403b中的光源可以实施任何数量的波长范围,而无论这些范围是否在可见光谱内。子集403a和403b中的光源可以被配置为全向地、单向地或以任何其他光图案发射光。
在一些情况下,子集403a和403b中的光源可以是相对较窄的或近似的光点,和/或可以具有围绕线412的减小的(或相对较短的)径向尺寸(“r”)499,以例如实现沿边缘450从“亮”到“暗”的相对较锐化的过渡。随着光源(例如,相对较窄的光源)的数量沿着线412的一部分的长度(“L”)407增加,由阴影投掷器415b生成的亮度边缘453会变锐化(例如,增加从区432的本影或阴影区域420到投射平面410的被照亮部分的过渡速率)。在一些示例中,诸如子集403b等光源可以被布置在距阴影投掷器415b更大的距离490处,以使亮度边缘453锐化。类似地,可以沿线412的相应部分在子集403a中布置任何数量的光源,以生成与阴影投掷器415a相关联的增强的亮度边缘451。在至少一个示例中,(例如,卤素灯泡中的)灯丝可以用于充当布置在子集403a中的多个点光源,使得它们形成连续的集合。至少在一些示例中,卤素灯泡或灯丝或本文描述的任何其他光源的半径可以被称为描述半径为“r”499的“窄光源”的光源子集。
根据一些示例,阴影投掷器415a可以被配置为在边缘部分处接收(例如,来自一个或多个光源的子集403a的)光子发射,以形成亮度边缘451的至少两个部分。亮度边缘451的至少两个部分在投射在投射平面410上时可以彼此平行或大体上平行(例如,在投射平面410上不相交)。阴影投掷器415b可以被配置为在边缘部分处接收(例如,来自一个或多个光源的子集403b的)光子发射,以形成亮度边缘453的至少两个部分。亮度边缘453的至少两个部分在投射到投射平面410上时可以彼此平行或大体上平行。
亮度边缘453可以与亮度边缘451同时共同延伸(或大体上共同延伸),以基于阴影投掷器415a和415b形成亮度边缘450。因此,阴影投掷器415b可以形成亮度边缘453以增强亮度边缘451(例如,相邻的阴影投掷器415b),并且类似地,阴影投掷器415a可以形成亮度边缘451以增强亮度边缘453(例如,相邻的阴影投掷器415a)。根据至少一个示例,增强的亮度边缘453可以为平行阴影提供相对较锐化的阴影。
由于阴影投掷器415a和415b具有围绕作为轴线的线412的公共旋转分量,所以亮度边缘450可以在投射平面410上同步地平移,其中线412可以被维持为沿着光源子集403a和403b分别向阴影投掷器415a和415b的顶点462a和462b延伸。在其他示例中,阴影投掷器415a和415b以及光源子集403a和403b可以与某个分量一起沿着Y轴(例如分别沿着线431和433)平移。在其他示例中,阴影投掷器415a和415b以及光源子集403a和403b可以一起旋转,同时维持公共的线412。在这种情况下,照明边缘450不必沿着单条轴线(例如,如图4中描绘的X轴)。在其他示例中,阴影投掷器415a和415b以及光源子集403a和403b均可以一致地平移和/或旋转,同时维持公共的线412。
图5是描绘了根据一些实施例的阴影投掷器的另一示例的简图。简图500描绘了阴影投掷器515a和515b的系统,所述阴影投掷器被配置为在投射平面510处或之上形成一个或多个亮度边缘550,以促进三维物体扫描。如所示,当阴影投掷器515a和515b绕轴线512(例如,表示先前的位置或取向的虚线)旋转时,在不同的时间点在不同的位置和/或取向描绘阴影投掷器515a和515b。相应地,当本影在第一时间点移动到位置520a、在第二时间点从从位置520a移动到位置520、在第三时间点从位置520移动到位置520b、以及在其他时间点移动到其他位置时,阴影投掷器515a和515b可以形成移动的亮度边缘550。
在一些示例中,光源503可以被实施为沿着轴线512的延长光源(例如,细长的光源)。在一些实施例中,卤素灯可以与沿着轴线512纵向延伸的灯丝一起使用。作为卤素灯,光源503可以具有直径(“d”)566,如端视图556所示,并且可以被实施为图4的“r”499的两倍(例如2*直径,‘r’)。根据特定实施方式,光源503的直径566可以是两(2)mm或更小。在一些情况下,直径566可以根据所实施的光源类型而更大或另外确定尺寸。此外,光源503除了被反射之外,还可以是受到正或负透镜或透镜系统(未示出)影响的光源的实像或虚像,包括作为被放大或缩小的光源图像的光源图像。可以扩展地将这种图像视为光源503。
在至少一个实施例中,可以使用液晶显示器(“LCD”)570a和570b或其他可切换的不透明玻璃、薄膜或材料来实施阴影投掷器515a和515b。例如,LCD 570a和570b可以是透明的(例如,通常是透明的),并且可以被激活以形成不透明的截面形状以模拟阴影投掷器515a和515b和/或其移动。LCD 570a和570b可以具有在不同时间选择性激活的部分,以使从光源503发射的光生成在投射平面510的表面上移动的亮度边缘550。
在各种示例中,可以用多个阴影投掷器来代替阴影投掷器515a或515b或两者。例如,简图500中的每个三角形形状可以表示可以同步移动(例如,相对于轴线512同步旋转)的不同的物理阴影投掷器。因此,每个阴影投掷器子集515a(例如,在第一平面中)和515b(例如,在第二平面中)可以生成六(6)个亮度边缘,其中每个阴影投掷器生成两(2)个亮度边缘。根据各种其他示例,可以使用任何数量的阴影投掷器。
图6是描绘了根据一些示例的生成亮度边缘以扫描多个物体的阴影投掷器的示例的简图。简图600描绘了在如图4所示的照明布置中由阴影投掷器615a和615b投掷的阴影,以生成亮度边缘650a和650b。如所示,亮度边缘650a和650b维持它们的公共边缘以及在三维物体上从亮(例如,照明区)到暗(例如,照明减少或没有照明的区)的相对快速的过渡,所述三维物体诸如圆锥体630、半球634和矩形块634。此外,物体的被照亮区是由与来自615a和615b的阴影投掷器相对应的灯来照亮的,使得它们可以从多个方向被照亮以在3D扫描期间(例如,基于所述多个方向)提供增强的信息。如关于图4的阴影投掷器415a和415b所描述的,阴影投掷器615a和615b可以被旋转或移动,以在圆锥体630、半球632和矩形块634上平移或旋转阴影,从而形成每个物体的三维数据表示或模型。诸如相机(未示出)等图像捕获设备可以在亮度边缘650a与点664重合的时间点捕获与半球632的表面上的点(“P1”)664相关联的像素构成的图像。类似地,图像捕获设备可以在亮度边缘650b与点665重合的时间点捕获块634的表面上的点(“P2”)665的图像。
图7A是描绘了根据一些示例的被扫描物体的侧视图的简图。简图700描绘了图像捕获设备701和光源703,所述图像捕获设备和光源被布置为当亮度边缘在物体770的表面上移动时捕获所述亮度边缘的图像。可以校准图像捕获设备701,以相对于相机、灯和光亮度平面边缘的公共坐标系将每个像素与光线的角坐标进行关联。相对于相机、灯和光亮度平面边缘的公共坐标系,图像捕获设备701还可以具有其已知的位置。例如,当包括照明光线751a的亮度边缘在没有物体770的投射平面710的表面上的点(“P1”)766上移动时,可以捕获所述点766。图像捕获设备701的、例如可以沿着光线711检测到的一个或多个像素(以及相应的像素数据)可以表示点766的图像数据。可以由图像捕获设备701确定点766的角坐标,所述角坐标与图像捕获设备701的位置一起可以定义从相机到点766的线,在所示示例中所述线被描绘为光线711。假定可以识别出包含照明光线751a的光亮度平面边缘,则点(“P1”)766的空间坐标可以被确定为光线711与包含照明光线751a的亮度边缘的交点。虽然简图700在3D扫描过程的示例中包括投射平面710,但是投射平面710是可选的,并且对于3D扫描不需要被实施。
在扫描布置在投射平面710上的物体770期间,当包含照明光线751b的亮度边缘在第一时间点越过物体770时,可以识别到点(“P1x”)764。在随后的时间点,当包含照明光线751c的亮度边缘越过物体770时,图像捕获设备701可以捕获另一点(“P1y”)765。由于其他光线(未示出)在物体770的表面上截取不同的点,因此亮度边缘的被施加到物体770的表面部分的部分可能会与其在投射平面710(在没有物体770的情况下)上的形状发生变形。三维表面计算器702包括逻辑(无论是呈硬件、或软件还是其组合的形式),以分别计算点764和765的X位置和Y位置(未示出)以及Z深度777和778。
图7B是描绘了根据一些示例的被扫描物体的透视图的简图。简图752描绘了图像捕获设备701和光源703,所述图像捕获设备和光源被布置为当亮度边缘沿方向709在物体770的表面上移动时捕获所述亮度边缘的图像。阴影720和包含照明光线751c的相应亮度边缘750(在图7B中被标记为750)被示出为投射到投射平面710的一部分和物体770的表面上。亮度边缘750的部分773和775被示出为投射到投射平面710的表面上。亮度边缘750的部分773包括参考点(“参考点A”)772,并且亮度边缘750的部分775包括参考点(“参考点B”)774。尽管部分773和775被示出为与直线共同延伸,但是至少在此示例中,包含照明光线751c的亮度边缘的边缘变形部分776被描绘为点“m”与“n”之间的边缘变形部分776,由此边缘在点764处截取物体770的表面,而不是在点766处截取投射平面710。基于参考点772和774以及线(未示出)(可以等效于图5上的线512)的位置、或光源703的位置,可以得到阴影平面755。根据一些示例,可以确定一个或多个阴影投掷器的位置代替参考点772和774。例如,可以使用线性编码器或角度编码器或任何其他检测或监测设备来监测阴影投掷器的位置和角度。多条光线(未示出)与阴影平面775的交点可以用于确定三维表面的空间特性。
通过将物体770引入到投射平面710上,光线711可以截取物体770上的点764,而不是截取投射平面710上的点766。点764被示出为在亮度边缘750的边缘变形部分776上。此外,阴影边缘750被示出为已变形至确定的Z深度777,指示点764的相应Z坐标,所述坐标是从亮度边缘750与投射平面710(在没有物体770的情况下)中的点766相交的线测得的。类似地,还可以从光线711与亮度边缘750的相交确定点764的X位置和Y位置(未示出)。从使用多个图像测得的亮度边缘750的多个位置获得的各种线、线段、三角形、平面和其他几何关系及其尺寸可以用于计算物体770的表面上的点子集的估计,以形成物体表面的三维模型或表示。
图7C是根据一些示例的用于确定物体表面上的点的空间位置的示例流程。流程790可以针对具有X坐标、Y坐标和Z坐标的点在三维上计算空间位置,所述点与物体的表面共同延伸。在792处,可以使用一个或多个阴影投掷器来对在场景上移动的亮度边缘进行投射。在794处,可以检测物体上的在每个图像处采样的点的亮度边缘。例如,图像捕获设备可以利用每个图像来捕获相对于布置在投射平面上的物体的亮度边缘集合,并且可以使用多个图像来对物体的多个部分进行采样。每个图像的每个亮度边缘可以被存储为数据表示,或者可以被实时地(大体上实时地)处理以确定表示沿着边缘的3D点的数据,所述3D点可以与其他3D点进行聚合以描述表面的三维部分。在796处,可以为每个图像确定与每个阴影投掷器的位置相关联的平面。对于表面上的亮度边缘处的每个点,可以例如根据可以预先确定的对阴影投掷器的位置以及光源的位置的机械或光学测量来确定阴影平面。此外,可以相对于参考点和灯的位置或图5的线512的等效物计算阴影平面。在798处,对于每个图像,可以确定沿着特定亮度边缘的点与对应于其他亮度边缘的所有点相区分。在一些示例中,每个点可以与图像帧中的一个或多个像素相关联。此外,可以识别出与特定点相关联的阴影平面。可以在扫描过程期间为特定图像帧捕获特定亮度边缘和相应的阴影平面。可以基于帧的序列号来得到针对特定点的“特定帧”。在799处,可以识别出到任何特定点的光线,并且可以基于所述光线与所述点的特定亮度边缘的阴影平面的交点来计算所述点的估计坐标X、Y和Z。可以基于一个或多个坐标以及经校准相机的角度来确定光线。此外,基于与表面共面的点的估计坐标,可以形成所述表面的三维模型。注意,在一些示例中,参考“每个图像”可以描述图像子集中的每个图像。还要注意,根据一些示例,表面的三维模型上的点的颜色可以从用于得到所述点的三维坐标的图像中得到。在一些示例中,在帧的序列号附近获得的图像用于得到三维坐标。
图8、图9、图10、和图10A是描绘了根据各实施例的阴影投掷器的各种示例的简图。图8的简图800包括被配置为在投射平面810上形成阴影820以及亮度边缘850a和850b的阴影投掷器815和光源803(例如,一个或多个点或相对较窄的光源)。简图800还示出了阴影投掷器815的投射截面区域895,由此阴影投掷器815的尺寸和/或边界可以沿方向804被投射以形成投射截面区域895。例如,阴影投掷器815的边缘可以被投射804到平行于YZ平面的平面811上,以形成投射边缘893a和893b。
图9的简图900包括被配置为在投射平面910上形成阴影920以及亮度边缘950a和950b的阴影投掷器915和光源903(例如,一个或多个点光源)。如所示,阴影投掷器915可以相对于例如可以平行于平面911的截面区域996(例如,图8的阴影投掷器815的截面区域)成角度920定向。根据此示例,可以与减小的尺寸(例如,阴影投掷器915的顶点部分与远侧部分之间的减小的距离)相关联地减小物理形式的阴影投掷器915的截面区域。图9将投射到平面911上的截面区域996描绘为具有投射边缘993a和993b的投射截面区域995。平面911可以平行于YZ平面。如所示,可以减小3D扫描仪的形状因子的尺寸较小型阴影投掷器915可以模拟截面区域996的实施方式以形成亮度边缘950a和950b,其中,所述阴影投掷器的轮廓边界(被示出为投射到平面911上)叠加在充分的轮廓区995上。通过使具有围绕包含灯903的线的旋转分量的阴影投掷器915旋转,同时维持所述阴影投掷器的顶点(未示出)在此线上,可以实现此配置中的扫描。
图10和图10A的简图1000包括被配置为在投射平面1010上形成阴影1020以及亮度边缘1050a和1050b的阴影投掷器1015和光源1003(例如,一个或多个点光源)。注意,物理形式的阴影投掷器1015的截面区域可以投射到平面1011上以形成投射截面区域1095。例如,阴影投掷器1015的边缘可以被投射1004到平行于YZ平面的平面1011上,以形成投射边缘1093a和1093b。在一个示例中,投射截面1095可以等效于图8中的阴影投掷器815的投射截面区域895。如所示,例如,当阴影投掷器1015与平面的变形是沿着方向1004(所述方向平行于沿着灯的线)时,所述阴影投掷器可以是非平面的。这样,根据各种示例,阴影投掷器815(图8)和1015(图10和图10A)可以形成相似或等效的亮度边缘。
阴影投掷器1015可以是可柔性变形的或者可以是刚性形成的。阴影投掷器1015可以由诸如塑料、金属、木材等任何材料(例如,不透明材料)形成。阴影投掷器1015可以由有色透明材料形成,使得阴影具体地具有一个或多个波长范围中的一个或多个波长。根据一些示例,在阴影投掷器使用有色透明材料的情况下,可以使用采用了颜色过滤的图像检测设备(未示出)来确定亮度边缘,所述图像检测设备使得可以检测一种或多种特定颜色的光跃迁。为了进行阴影投掷器1015的改进的迭代,可以使用粗略的阴影投掷器来进行粗略的三维扫描,然后可以使用所述三维扫描来进行其他更接近的阴影投掷器。
在一个示例中,阴影投掷器1015可以由在三维(“3D”)打印技术中使用的材料形成。这样,可以使用一系列照片(或数字化图像)或例如先前的3D扫描来形成阴影投掷器1015,以遵循、模仿或复制经受初始轮廓测量的物体的表面的尺寸和轮廓。在所示的示例中,阴影投掷器1015已经形成用于复制花瓶1080(图10)的表面特征,并且为了比较,复制不同形状的花瓶1080b(图10A)的表面特征,包括表面轮廓1082。阴影投掷器1015可以形成用于在阴影投掷器1015的表面与花瓶1080或不同形状的花瓶1080b的表面之间建立具有相对减小的距离(或者恒定或大体上恒定的距离)的间隙。间隙距离可以相对于XY平面来表示。
而且,如结合图11A至图11C所描述的,具有相对较小的距离的间隙的实施方式可以提供物体1080或1080a的3D扫描的增强的准确性和分辨率。根据一些示例,阴影投掷器1015可以提供毫米范围、以及亚毫米范围内(例如,分辨率可以以微米或更小的单位表示)的关于确定物体(例如,包括像素)的表面上的亮度边缘和点的准确性。根据一些实施例,可以通过施加动力(未示出)使花瓶1080或不同形状的花瓶1080b绕线沿Z方向(并且垂直于XY平面)旋转1092来扫描花瓶1080或不同形状的花瓶1080b的表面。
图11A至图11C是描绘了根据一些示例的用于扫描三维物体的阴影投掷器的可适应结构性特性的示例的简图。图11A是描绘了光源1103、阴影投掷器1115和三维物体1170的简图1100。在所示的示例中,阴影投掷器1115被描绘为被布置在平面(例如,YZ平面)中。光源1103被示出为具有宽度W1,诸如直径或平行于Y轴的距离。而且,光源1103可以位于距阴影投掷器1115的边缘处的点1111a的距离D1a处,并且可以位于距阴影投掷器1115的边缘处的点1111b的距离D1b处。物体1170是具有表面部分1172和表面部分1174的金字塔,所述表面部分分别是由点1111a和1111b投掷的阴影区。表面部分1172和1174分别相对于点1111a和1111b以及阴影投掷器1115被布置在距离(例如,平均距离)D2a和D2b处。金字塔的表面部分1172和1174分别具有宽度W2a和W2b。注意,图11A未示出1172和1174的整个区,因为它们可能被金字塔1170部分地遮盖,然而,它们沿Y轴的宽度分别被描绘为W2a和W2b。例如,根据一些实施例,W2a可以表示沿Y轴方向测量的半影的宽度或者在阴影投掷器1115和光源1103的阴影中形成的亮度边缘的宽度。随着金字塔1170的高度从(例如,与XY平面共同延伸的)投射平面1110到顶点1171在Z方向上延伸,表面部分与阴影投掷器1115的距离增加。因此,距离D2a可以大于距离D2b。
在各种示例中,本文描述的结构可以与可以被适配用于例如增强其一个或多个功能的特性相关联。阴影投掷器1115和/或光源1103的一个或多个结构性特性可以被修改以增强例如亮度边缘(例如,锐化度)。可以基于以下关系来调整结构性特性,在所述关系中,宽度W2a与距离D1a的乘积可以同宽度W1与距离D2a的乘积成比例。而且,宽度W2b与距离D1b的乘积可以同宽度W1与D2b的乘积成比例。作为示例,关系可以表示为W2a·D1a=W1·D2a。在一些示例中,可以通过提高亮度边缘的分辨率、例如通过减小W2a和W2b的值(这又可以通过减小阴影投掷器1115与物体1170的表面之间的距离(例如,减小距离D2a和D2b中的一个或多个,而D1a和D1b保持恒定)来影响)来提高三维扫描的准确性。根据一些实施例,宽度W2可以表示或以其他方式影响半影的宽度、或例如亮度边缘的宽度。
在各种示例中,可以根据例如以下关系来减小光源1103的宽度W1从而减小W2a和W2b:W2a=(D2a/D1a)·W1(对于W2a)。在一个实例中,例如,通过实施直径(或宽度W1)为两(2)毫米或更小的光源、并且将D2/D1的比率实施为1/4或更小,宽度W2a可以例如减小到小于1毫米,诸如减小到250微米或更小。根据一个示例,光源1103可以是卤素灯泡等,其中所述光源的线性范围(未示出)沿着将光源1103连接到阴影投掷器1115的顶点的线1199。
图11B和图11C描绘了根据诸如表面部分1172等表面部分(例如,相对于表面部分1174)的位置来调整距离D1和D2的至少子集的示例。根据一些示例,阴影投掷器1115可以被配置、适配或形成为减小距离D2的子集(包括距离D2a),同时增大距离D1的子集(包括图11A的距离D1a),从而影响如在以上与图11A相关联的等式中所描述的更高分辨率的扫描。图11B的简图1130描绘了具有与(例如,正交于XY平面的)线1179成角度1131定向的顶点1171a的阴影投掷器1135。在角度1131下,距离D2a和D2b可以近似相等,以在阴影投掷器1135的表面与图11A的物体1170的一个或多个表面部分之间提供大体上恒定的间隙。图11C的简图1160描绘了阴影投掷器1165,所述阴影投掷器包括被适配用于在X方向(其为在光源(未示出)与顶点1171b之间的方向)上变化的部分1165a,使得阴影投掷器1165具有绕轴线1167相对于部分1165b成角度1181定向的部分1165a。此变化维持了阴影投掷器沿着在图11A的灯1103与阴影投掷器1165的顶点1171b之间的线的方向投射到例如平行于YZ平面的投射平面(未示出)上的轮廓。此变化是维持存在包含图11A的灯1103以及两个部分1165a和1165b的单个平面的示例。在角度1181下,距离D2a可以减小为接近或近似于距离D2b。根据一些情况,可以实施多个部分1165a(未示出)以近似要扫描的物体的曲率,或者可以使阴影投掷器沿Y方向以连续方式类似地变形以实现平滑轮廓。
图12是描绘了根据一些示例的可配置阴影投掷器的示例的简图。简图1200包括阴影投掷器1215a和1215b,所述阴影投掷器分别具有可适应部分1265a和1265b以近似物体表面的形状,从而减小或均衡阴影投掷器1215a和1215b与示例被扫描物体1270之间的间隙变化的大小。物体1270是布置在投射平面1210上的半球。在此示例中,可适应部分1265a和1265b分别被描述为围绕轴线1267a和1267b成角度的部分。在一些示例中,阴影投掷器1215a和1215b可以被实施为构成阴影投掷器的系统,所述系统可选地可以包括耦接在阴影投掷器1215a与1215b之间的可适应不透明顶部部分1211,以有助于阴影1220(或本影)和一个或多个亮度边缘1250的生成。至少在一些情况下,与分别由例如图3、图4或图5的线312、412或512限定的线共线的光源(未示出)可以位于阴影投掷器1215a和1215b的上方,并且在实施了顶部部分1211(或部分1265a和1265b)的情况下位于所述阴影投掷器之间。注意,可适应部分1211、1265a和1265b可以被细分为任何数量的平面部分以近似曲率。可替代地,可适应部分1265a和1265b可以形成为或被配置为包括一个或多个弯曲部分。
根据一些实施例,阴影投掷器部分1215a和1215b可以由图像捕获设备(未示出)检测,以例如确定照明边缘的平面的几何形状。然后可以将此确定的照明边缘平面与照明边缘的变形结合使用以确定物体1270的形状。阴影投掷器部分1215a和1215b在具有三角形轮廓的情况下可以类似于815、915和1015,以便在每个边缘上限定单个照明平面边缘。可替代地,阴影投掷器部分1215a和1215b可以是部分1211、1265a和1265b的结构和支撑,并且其本身不将阴影边缘投掷到物体1270上。注意,尽管物体1270被描绘为表面光滑的半球,但是可以使用任何形状的物体。在一些情况下,物体1270可以包括表面拓扑和纹理,所述表面拓扑和纹理包括凸表面部分和凹表面部分,包括但不限于投射或脊状特征和凹部、裂纹或凹槽等。在一些示例中,物体1270可以表示大脑或任何其他器官结构的表面。
在至少一个示例中,阴影投掷器可以包括区段1211,所述区段可以具有与包含光源(未示出)的线平行的一个或多个直边缘,并且区段1211可以纵向延伸(例如,具有周长1299),以在物体1210的每个维度上投掷阴影。因此,可以省略部分1265a和1265b。在这种情况下,还可能存在多个彼此平行且平行于1211的光源(未示出)。所述多个平行光源可以被顺序地(和/或空间地)点亮以生成一系列直阴影。平行光源或阴影投掷器或两者可以被移动,以实现在物体1210的表面上的扫描,并且可以具有不需要被布置在旋转轴线上的多行灯。这种配置可以生成具有几何形状的一个或多个阴影平面,所述阴影平面可以与亮度边缘的变形结合使用以确定物体1270的三维形状。平行光源可以延伸到区段1211上方的区,以生成物体1270的照明边缘。根据至少一个示例,一个或多个光源的范围可能被限制为在区段1211上方延伸,而没有(或最小限度或可忽略不计地)沿X方向在任一侧纵向延伸,从而可以充分照亮物体1270(例如,均匀地照亮物体1270)的被照亮部分,同时还产生具有增强的对比度的亮度边缘。
根据各种示例,可以形成选择性不透明的阴影投掷器,使得阴影投掷器可以实施对白光不透明的一个或多个部分,或者所述选择性不透明的阴影投掷器可以包括可以被配置为选择性地减小或消除某些波长的光的透射的有色部分(例如,实施颜色过滤)。然后可以通过在阴影投掷器以各种方式透射的波长下被照亮区过渡到相对较暗的照明区(例如,照明较少的区)来确定亮度边缘。可替代地,可以通过在一个波长范围下照亮的区过渡到通过一个或多个其他波长范围照亮的区来确定亮度边缘。阴影投掷器可以包含以一定图案布置的多个波长透射区,所述图案也可以具有组合的不透明区。
选择性不透明的阴影投掷器可以被配置为关于一个或多个光波长范围或光波长带是不透明的。因此,选择性不透明的阴影投掷器可以选性择地滤除一个或多个光波长范围以允许选定的波长通过。在一个示例中,不同的选择性不透明的阴影投掷器可以被实施为投掷从蓝光过渡到红光的光的有色透明阴影投掷器,由此一组有色透明阴影投掷器的示例可以包括彼此邻接的至少两个平坦颜色过滤器。一个透明的阴影投掷器可以是红色,而另一个可以是蓝色。在扫描时,从蓝色到红色的场景过渡可能会构成照明边缘,并且可能会被过滤以从场景中的其他变化中识别出蓝色到红色的过渡。跟踪这种颜色变化提供了一种跟踪阴影运动的技术,即使场景中的其他事物发生变化也是如此。这样,可以处理特定的颜色变化(与颜色无关)以识别照明边缘。根据各种示例,当物体1210(或任何其他物体)可以相对于图像捕获设备(例如,以可控制的方式)移动时,上述选择性不透明的阴影投掷器可以促进3D扫描。根据一些实施例,诸如带有相机的移动电话或任何其他移动设备等移动计算设备可以实施上述选择性不透明的阴影投掷器。
图13是描绘了根据一些示例的扫描系统的示例的简图。简图1300描绘了作为扫描系统的组成部件的阴影投掷器1315的另一示例,所述扫描系统包括图像捕获设备1301、一个或多个光源1303、反射表面1320(例如,反射平面或反射镜)。反射表面1320可以消除对另一组阴影投掷器和与阴影投掷器1315相对的光源的实施。物体1370被布置在平面投射1310上,并且其反射1370r被描绘在反射表面1320中。此外,简图1300将物体1370的表面上的点(“P2”)1368描绘为反射表面1320中的反射点(“P2r”)1369。如所示,物体1370上的投掷阴影1398可以被反射为物体1370r的反射上的阴影1398r。注意,包括光在内的光子发射可以行进到比可以行进到点1366更远的距离,以照亮点1368(通过反射光)。因此,由反射表面1320从包括点1368的表面部分反射到图像捕获设备1301中的光的亮度和准确性可能比来自包括点1366的另一表面部分的反射光更低。然而,关系式W2=(D2/D1)·W1中的距离D1可以被相对地修改(例如,增加)以增强对比度,尤其是与点1368处的亮度边缘相关联的对比度。
图像捕获设备1301可以将反射物体1370观察为1370r,并且由此可以通过不反射或直接观察物体1370而观察到本来不可见的1370的部分。以这种方式,可以将其他反射表面(未示出)布置在图像捕获设备1301的视野内,使得图像捕获设备1301可以通过不反射或直接观察物体1370而观察到以反射的方式本来不可见的1370的一个或多个部分。例如,可以使投射平面1310为反射表面,所述反射表面将布置在其上的物体的底面反射到图像捕获设备1301。然后可以移动阴影投掷器,例如以实现扫描,使得亮度边缘也可以通过不反射阴影边缘或直接将阴影边缘投射到物体1370上而从反射表面反射到阴影本来无法到达的区上。反射表面可以是平坦的几何形状,但是也可以是弯曲的或包括弯曲表面或平坦表面区段或两者的组合。
图14是描绘了根据一些示例的扫描系统的又另一示例的简图。简图1400展示了扫描系统1490,所述扫描系统包括图像捕获设备1401、阴影投掷器1415、一个或多个光源1403以及被配置为实施或整合前述部件的座或结构1409。本文描述的扫描系统可以是可扩展的,以扫描相对较小的物体和相对较大的物体,诸如任何环境中的物体。环境的示例包括房间(例如,人、电器、家具等)和外部建筑物(例如,对建筑物、交通工具、树等的扫描)。在所示的示例中,扫描系统1490可以被配置为在由投射平面1410a(例如,地板)、1410b(例如,后壁)和1410c(例如,侧壁)限定的房间中扫描沙发1470和壁饰1472(诸如镜子或绘画)。
在所示的示例中,阴影投掷器1415可以被实施为菱形结构、或者如结合例如图9和图10的阴影投掷器所描述的具有可以生成相似或等效的单个边缘、或锐化阴影或两个亮度边缘的截面区域的任何等效阴影投掷器。阴影投掷器1415a被示出为形成为例如在线1479处接合或耦接的两(2)个三角形状的结构1466和1468。顶点1431a和顶点1433a可以被布置在旋转轴线1412上,由此,阴影投掷器1415a围绕轴线1412的旋转可以生成亮度边缘1450。此外,光源1403可以被实施为光源1403a,其可以包括光源或者沿着从点1431b到点1433b的轴线的一个或多个光源的线性布置。光源1403a的一个示例可以是细长的卤素灯泡。光源1403a的另一示例可以是发光二极管的线性阵列。光源1403a的点1431b和1433b可以分别与轴线1412上的点1431a和1433a共线。根据各种示例,可以以任何数量的结构或变体来实施阴影投掷器1415和光源1403,并且简图1400中描绘的那些并不旨在进行限制。此外,本文描述的扫描系统1490和其他扫描系统可以变化并且适用于任何数量的应用,包括医疗应用和增强现实应用等等。
图15描绘了根据一些示例的被配置为执行医疗应用的扫描系统的示例。简图1500包括医疗器械或工具,诸如手术显微镜1530。手术显微镜可以被适配用于实施由扫描系统生成的数据,所述扫描系统被配置为执行对体内组织(诸如脑组织(即,作为物体1570))的三维扫描以用于医疗应用。此外,简图1500的扫描系统可以促进外科手术期间对脑组织的原位三维扫描。
手术显微镜1530包括光学部件1538(包括目镜),所述光学部件可以被配置为放大包括组织在内的相对较小的感兴趣特征,并且可以进一步被配置为整合可以被整合或叠加在大脑1570的放大视图上的以数字方式创建的图像。根据所示的示例,手术显微镜1530可以以电子或光学方式耦接到增强图像生成器1590,所述增强图像生成器进而可以以电子或光学方式耦接到图像捕获设备1501。在一些示例中,手术显微镜1530可以以电子或光学方式耦接到图像捕获设备1501,所述图像捕获设备进而可以以电子或光学方式耦接到增强图像生成器1590。在一些示例中,增强图像生成器1590可以通过对脑组织的视图应用(例如,叠加)基于3D扫描的图像来光学地增强经放大脑组织的视图。例如,可以将表示目标大脑部分(例如,用于修复或去除)的交叉影线图形在三个维度上叠加到经放大脑组织的视图或数字图像上,以便外科医生可以轻松地识别目标。手术显微镜1530的壳1532可以包括处理器和电子部件,所述处理器和电子部件被配置为执行指令(例如,软件、固件等)以光学地组合由增强图像生成器1590生成的图像数据。
根据各种示例,简图1500的扫描系统可以实施任何类型或数量的阴影投掷器。一个或多个扫描系统可以包括被配置为形成阴影1520和一个或多个亮度边缘1550的一个或多个光源的一个或多个子集1503以及阴影投掷器的子集。在第一示例性实施方式中,阴影投掷器的子集可以包括阴影投掷器1515a和1515b中的一个或多个。在第二示例性实施方式中,阴影投掷器的另一子集可以包括阴影投掷器1515c和1515d中的一个或多个。还可以使用其他阴影投掷器和光源结构。
在包括医疗应用的各种应用中,至少在一些情况下,简图1500的扫描系统可以具有小于1毫米(例如25微米或更小)的分辨率,以形成大脑1570的至少一部分的3D表示。在一些情况下,简图1500的扫描系统可以提供比使用磁共振成像(“MRI”)扫描数据或其他技术(诸如计算机断层(“CT”)扫描数据)可获得的分辨率更精细的分辨率的3D表面信息。
由软组织构成的器官物体(诸如大脑1570)可能具有三维表面形状,所述三维表面形状可能会由于条件的更改而改变或变化。例如,柔性软组织在第一状态(例如,在外科手术之前不受干扰)下可以具有第一三维表面形状,由此当过渡到第二状态(例如,在医疗或外科手术过程之后)时,表面形状可能与第一状态不同。在一个示例中,表面形状的状态可以节奏性地变化(例如,响应于由于心脏跳动引起的节奏性的血压变化)。在至少一种状态下,可以使用阴影投掷器1515a、1515b、1515c和1515d中的一个或多个来扫描大脑1570的表面或其一部分,以形成大脑1570的三维模型。相机1501可以捕获大脑1570的图像,并且增强图像生成器1590可以确定表示大脑1570的表面上的点的像素的X坐标、Y坐标和Z坐标。在表面形状节奏性地响应于变化(例如,心脏跳动和脉动的血流)而变化的情况下,可以在允许在节奏性响应中的多个阶段测量表面1570的时间段内执行扫描,使得可以在这些阶段中的每个阶段确定表面1570。这可以通过在执行扫描时将被测量表面1570的阶段与节奏性响应中的阶段进行关联来实现。
特别地,简图1500的扫描系统可以被配置为以数字方式捕获大脑1570的轮廓和其他解剖学特征。例如,被建模大脑表面的表面曲率和轮廓可以包括三维空间中大脑皮层的脊(即,脑回)和凹槽(即,脑沟)。此外,简图1500的扫描系统可以被配置为捕获服务于大脑的血管系统(例如,静脉、动脉、毛细血管等)的三维表面特征,由此,血管组织可以用作标志(或引导柱)以提供血管“路线图”来协助外科医生将血管导航到大脑1570的一部分。这些血管中的一些可能比相关联MRI扫描或CT扫描的分辨率更精细。
在手术之前,患者可能经历诊断过程(诸如磁共振成像)以获得MRI扫描,所述MRI扫描可以描绘大脑1570(包括内部结构)的2D图像和3D图像。此后,在颅骨切开术或去除一部分骨之后可以暴露大脑1570。简图1500的扫描系统可以可选地用于生成大脑1570的暴露部分的3D扫描(例如,在干扰大脑1570的结构之前)。增强图像生成器1590可以被配置为接收源自简图1500的扫描仪系统的表示大脑的MRI扫描的第一数据子集和表示大脑1570的3D扫描数据的第二数据子集。此外,增强图像生成器1590可以包括处理器和电子部件,所述处理器和电子部件被配置为执行指令(例如,软件、固件等)以将第二数据子集的3D表面与第一数据子集的MRI生成的表面相关联。因此,来自第二数据子集的3D扫描数据可以与表示来自第一数据子集的MRI生成的大脑扫描数据的内部结构的数据相关联。
在颅骨的一部分被去除的情况下,可以经由进入膜(例如,软脑膜等,或其他流体屏障组织)的切口到达形成大脑皮层的一部分的脑组织。在脑组织周围的膜处的切口可能会导致流体(例如脑脊髓液或CSF)流失,从而导致大脑结构性状态的变化。随着流体的流失,由于机械特性的变化,脑组织结构可能会收缩或变形,从而可能导致脑组织结构发生移位。因此,在使用MRI数据来定位脑组织的表面和内部结构以识别目标脑组织位置时,移位的脑组织会引入错误。
切开后,简图1500的扫描仪系统可以用于在由于内部流体压力降低而导致脑组织形状移位之后确定大脑1570的曲率和轮廓。随后,增强图像生成器1590可以包括被配置为形成大脑1570的表面的第二个三维模型的逻辑,所述模型可以包括脑组织和血管结构中的相对于MRI扫描数据的位置偏差。此外,增强图像生成器1590可以包括这样的逻辑,所述逻辑被配置为在切开前状态和切开后状态下的三维脑模型中识别血管结构和其他标记(诸如特定的脑沟和脑回),并确定位置偏差以用于配准和对准数字图像。由于血管组织(例如,血管)可以弹性地固定到相邻的脑组织,因此,代替或除了特定的脑沟和脑回的偏差之外可以使用血管结构的偏差来预测内部脑组织部分的切开后位置。此外,可以调整先前获得的MRI扫描数据以反映内部脑组织的预测切开后位置。因此,毛细血管、脑沟和脑回以及相关联脑组织的移动可能有助于预测目标脑组织的位置。在医疗过程期间,简图1500的扫描仪系统还可以用于确定大脑的受影响部分(例如,在脑组织被切除或以其他方式被改变之后)。可以调整先前获得的MRI扫描数据,以反映因此受医疗过程影响的脑组织的预测切开后部分。
增强图像生成器1590中的逻辑可以被配置为将血管结构的位置变化进行关联,以根据初始MRI扫描数据来预测内部脑组织的位置偏差。另外,可以通过基于脑变形数据和计算的模型计算近似于预期变化的脑变形来确定内部脑组织的预测位置偏差。根据一些示例,脑变形数据的模型可以表示大脑中作为各种因素(例如,液体流失量、切口大小、性别、年龄、体弱等)的函数的预期变化。这样的模型可以用于预测由于脑脊液的流失而会导致脑结构如何变形。可以经由计算算法根据经验和/或在概率上(例如,在数学上)形成脑变形数据。
鉴于前述内容,可以在手术之前在大脑1570的三维空间内定位目标脑组织部分。目标脑组织部分的示例可以是引起小儿癫痫发作的脑组织部分。去除目标脑组织部分可以缓解症状,包括癫痫发作。根据简图1500的扫描仪系统的上述实施方式,增强图像生成器1590可以被配置为识别或预测在大脑1570的表面处和内部内的脑组织的位置偏差。因此,增强图像生成器1590可以被配置为识别或预测例如在初始MRI中另外识别出的目标脑组织部分的位置偏差。
根据各种示例,实施简图1500的扫描仪系统的上述技术可以适用于其他大脑相关的诊断、测试、外科手术和治疗。此外,上述技术可以适用于任何医疗应用,包括硬组织(例如,骨头等)。另一示例是将简图1500的扫描仪系统用于伤口愈合。例如,考虑可以将类似于简图1500的扫描仪系统的扫描仪系统(不包括手术显微镜1530)布置在糖尿病患者的住所处,以监测伤口(例如溃疡)是否受到感染。可以使患者对伤口进行三维扫描(例如,有色的或无色的)以生成伤口形状数据,所述伤口形状数据可以经由网络被传输给医疗保健提供者以监测伤口的愈合速度。上述示例是非限制性的,并且可以适用于任何医疗或非医疗应用。
图16A是描绘了根据一些示例的包括阴影投掷器系统的专用手术显微镜的简图。简图1600包括手术显微镜1630、增强图像生成器1650和图像捕获设备1601,这些设备被配置为促进对大脑1670的原位三维扫描。根据一些示例,图16A的简图1600中描绘的元件可以包括如在其他附图中描绘的相似名称或相似编号的元件那样的结构和/或功能。在此示例中,阴影投掷器1615c和1615d以及光源1603可以作为系统1680相互作用,以形成阴影1620和一个或多个亮度边缘1650。在一些实施例中,根据本文描述的示例,阴影投掷器1615c和1615d以及光源1603或其等效物可以被布置在壳1632内,以形成被配置为执行3D扫描的整合三维扫描手术显微镜。
图16B是描绘了根据一些示例的包括至少一个阴影投掷器的又另一专用手术显微镜的简图。简图1650包括手术显微镜1630和本文描述的其他元件,这些设备被配置为促进对大脑1670的原位三维扫描。根据一些示例,图16B的简图1650中描绘的元件可以包括如在其他附图中描绘的相似名称或相似编号的元件那样的结构和/或功能。在此示例中,阴影投掷器1680以及光源1691a、1691b和1691c的子集可以作为系统1690相互作用,以根据在不同的时间点被点亮的光源1691a、1691b和1691c的子集形成阴影1620和一个或多个亮度边缘1650。在图12中描述了阴影投掷器1680的示例,并且可以将光源1691a、1691b和1691c布置在阴影投掷器1680上方。根据一些示例,光源1691a、1691b和1691c的子集被实施为可以被顺序地和/或空间地点亮以生成一系列阴影(例如,直的阴影或亮度边缘)的多个平行光源。在一些实施例中,根据本文描述的示例,阴影投掷器1680以及光源1691a、1691b和1691c或其等效物可以被布置在壳1632内,以形成被配置为执行3D扫描的整合三维扫描手术显微镜。
图17是描绘了根据一些示例的基于三维扫描特征的放大图像的简图。简图1700包括被配置为对大脑1770的部分进行放大的光学部件1738。未示出光学部件1738所耦接到的手术显微镜。简图1700还包括增强图像生成器1790,所述增强图像生成器被配置为整合大脑1770的光学图像(基于从大脑表面反射的光)和以数字方式生成的图像叠加数据,所述数据表示例如目标脑组织1788的表面位置,可以经由光学部件1738观察到所述目标脑组织。在一些示例中,外科医生或任何其他用户可以经由光学部件1738查看插图1722中呈现的图像。例如,可以在目镜1738中相对于脑回或脑沟或相对于具有各种数量或大小的血管的血管系统1775s观察大脑1770s及其部分。在一些示例中,可以经由三维扫描将大脑1770s的轮廓捕获为脊(脑回)1784和凹槽(脑沟)1786。根据至少一个示例,插图1722可以包括真实(例如,直接放大的)图像或模拟图像(例如,基于图像处理)、或两者的组合。
图18是描绘了根据一些示例的体内三维扫描和图像整合的功能框图。简图1800包括增强图像生成器1890、组织模型数据储存库1830和被扫描组织数据储存库1832,所述设备中的一个或多个可以被实施为形成例如图17所描绘的图像。被扫描组织数据储存库1832被配置为接收表示大脑1870的二维和/或三维解剖学特征和结构的被扫描大脑数据1802。例如,数据1802可以包括MRI数据、CT数据、MEG数据、PET数据或者可以存储在被扫描组织数据储存库1832中并由增强图像生成器1890作为数据1824来检索的任何其他大脑相关的数据。组织模型数据储存库1830可以被配置为存储数据模型,以基于各种因素(例如,液体流失量、切口大小、性别、年龄、体弱等)的函数来确定或预测脑变形的变化率或大脑中的位置偏差。增强图像生成器1890可以使用这些数据模型来在数学上(例如,在概率上)预测和模拟由于脑脊液或提取的肿瘤或脑块的相应流失而导致的大脑结构可以变化(例如,关于大小、位置、定位等)的程度。增强图像生成器1890可以检索来自数据模型的数据1822。根据一些示例,图18的简图1800中描绘的元件可以包括如在其他附图中描绘的相似名称或相似编号的元件那样的结构和/或功能。
增强图像生成器1890被示出为包括增强图像控制器1851、生物标志生成器1852、生物标志映射器1853、组织相关器1854、目标组织整合器1855和图像生成器1856。根据至少一些示例,增强图像控制器1851可以被配置为控制增强图像生成器1890的辅助功能(例如,元件1852至1856),以促进增强图像生成器1890的整体功能。
生物标志生成器1852可以被配置为访问被扫描组织数据1824(例如,MRI数据),以生成表示血管或脑数据1842的特性(诸如血管的空间尺寸、位置等)的数据1840。数据1842表示包括基于例如血管或任何其他生理特征(诸如脑沟、脑回等的特征)来指定几何特征的空间尺寸、位置等的数据1840的数据结构。血管数据1842可以源自数据1824。数据1840是从数据结构1842中检索到的数据的示例,其使得血管系统数据1842的部分能够用作“标志”(例如,识别至感兴趣大脑部分的“路线图”的调查标志)或相对于例如相邻脑组织的参考点。根据一些示例,可以在血管系统数据1842中描述诸如血管几何特征等几何特征,所述几何特征可以表示在外科手术或其他结构性干扰之前大脑1870的血管系统的特性(例如,表面特征)。
生物标志映射器1853可以被配置为映射或以其他方式关联更新的数据子集1844,所述数据子集包括表示由模型生成器经由三维扫描得出的表示大脑数据或血管数据(例如,在切开后在大脑1870的表面处)的数据。在一些示例中,生物标志映射器1853可以能够基于结构性脑变形来计算和表征脑数据或血管数据1842的部分的位置位移。可以在组织相关器1854处接收位置位移数据1843。
组织相关器1854可以被配置为将收缩的大脑的表面特征数据1843与初始MRI表面数据1824进行关联,以识别最初由MRI检测到的脑组织的原始部分。基于血管和表面特征(例如,脊和凹槽)的位移,可以识别表面部分中的位移以及目标脑组织部分1888的位移。所述组织相关器还可以被配置为访问组织模型数据储存库1830,以执行估计和预测内部脑结构的表面的位移的计算。
目标组织整合器1855被配置为关于MRI数据1824识别目标脑组织的一部分,所述部分可以或可以不与染色相关联。目标组织1888可以表示例如与小儿癫痫或肿瘤相关联的脑组织。此外,目标组织整合器1855可以被配置为关于切开后活动和来自组织相关器1854的数据来计算目标组织1888的位移。例如,组织相关器1854可以被配置为确定位置偏差,利用所述位置偏差可调整目标组织1888以进行识别和提取。
图像生成器1856可以被配置为实时地(或大体上实时地)并且在体内生成图像数据1846,所述图像数据描绘大脑的图像1848上叠加的目标组织1888。图像数据1846被描绘为体内视图的实时2D或3D图像,所述图像增强了数据1844,从而提供具有叠加在其上的目标组织1888的视图的视图。因此,可以使得外科医生能够处理目标组织1888,并且在1899(手术修改)处提取到大脑部分后,可以基于3D扫描在体内检测要提取的剩余大脑部分以更新数据子集1844。增强图像生成器1890可以重新计算图形叠加数据,以将剩余组织光学地呈现给外科医生以进行后续治疗。因此,外科医生可以基于原位3D扫描并经由光学显微镜或其他外科手术导航设备来查看对所提取组织的“剥离”,或者在体内显示要提取的剩余组织。根据各种其他示例,可以根据本文描述的各种示例来改变功能框图1800。
图19是描绘了根据一些示例的被配置为生成一个或多个亮度边缘的一个或多个阴影投掷器的又另一示例的简图。简图1900描绘了可穿戴阴影投掷器,诸如可以被配置为生成至少一个亮度边缘以促进三维扫描的可穿戴系统1911。在此示例中,可穿戴系统1911是包括至少一个前壳1921的眼镜,所述前壳具有至少一个阴影投掷器1920,所述阴影投掷器具有被配置为生成亮度边缘的边缘1950。至少在一些示例中,阴影投掷器1920可以是施加到透明表面(例如,镜片或眼镜框架)的不透明薄膜。眼镜还可以包括用于固定在用户耳朵周围的耳承1906以及镜腿结构1907,所述镜腿结构可以包括电子设备、光导等,以促进将眼镜实施为包括布置在其中的阴影投掷器的三维扫描仪。眼镜可以经由导管1908从功率和光生成模块1909接收光信号和电子信号,所述功率和光生成模块可以是可选的并且可以被布置在用户的人上的任何地方或其他地方。
进一步关于可穿戴系统1911,眼镜还可以包括可选的透明结构1924,可以通过所述透明结构透射包括光在内的光子发射。透明结构1924可以将菲涅耳棱镜实施为用于控制沿平行于边缘1950的方向的前向透射光的层。镜片1901(其可以是可选的)可以被配置为至少在一些情况下接收投射光(未示出),在所述投射光上可形成平视显示器或HUD。在所示的示例中,光源可以被实施为被配置为发射光作为例如光束1930、1930a和1930n(例如,由在镜腿或类似结构后面的光源形成)的光纤(例如,光纤)。由于许多光束1930、1930a和1930n的部分叠加的组合,因此可以实施更多的光束,或者光束可以呈连续发射的线的形状。此外,作为光发射或光束1930、1930a和1930n经由光纤传输的光的波长可以属于任何波长范围。例如,从光纤发射的光可以处于人眼不可检测或感知的光的波长范围内(例如,在不可见的光谱内)。在一些示例中,前视图1940描绘了来自光纤的光发射1930、1930a和1930n,由此光发射可以撞击在阴影投掷器1920的边缘1950处以形成亮度边缘。在此示例中,前视图1940被示出为处于平行于YZ平面的平面中(例如,沿X轴查看)。进一步关于前视图1940,光束可以沿着边缘1950相对于彼此(例如,彼此相邻)以任何距离(“F”)1941被引导,并且彼此之间的距离不必相同。可以实施任何数量的光纤末端以生成任何数量的光发射1930、1930a和1930n。
根据一些示例,可以将光束1930、1930a和1930n布置或定向为穿过共同的平面,诸如平行于XY平面的平面。在一些示例中,来自每个光纤和/或光纤的末端(未示出)的光发射1930、1930a和1930n可以各自发射,使得在边缘1950处其方向平行于阴影投掷器1920的线1919法线表面。或者,来自每个光纤和/或光纤末端的光发射1930、1930a和1930n可以各自发射,使得在边缘1950处它们的方向可以相对于与包含阴影投掷器1920的XY平面平行的1919成一定角度。为了在阴影投掷器1920在所有维度X、Y和Z下都为线性的情况下实现锐化的亮度边缘,可以布置一根或多根光纤,使得一个或多个光束1930、1930a和1930n被发射成使得在边缘1950处它们的方向在X和Y平面中成任何角度,并且相对于线1919在Z方向上包含公共分量。
侧视图1942描绘了发射光1946的光纤1966的侧面,所述光投射在阴影投掷器1920和边缘1950上以形成光束1930n。如侧视图1942所示,光1946可以是准直的(例如,笔直的),或者其可以发散,使得所述光在到达阴影投掷器1950时变得更宽。在此示例中,侧视图1942被示出为处于平行于XZ平面的平面中。从其发射光的光纤1966的末端1969可以具有一定尺寸,诸如宽度(“W1”)1927。光纤1966的末端1969可以被布置在例如前壳1921和镜腿结构1907中的一者或多者中。此外,光纤1966的末端1969可以被布置在距阴影投掷器1920任何距离(“D1”)1929处。前壳1921的深度(“H”)可以延伸以适应更大的距离1929。根据一些示例,直径或W1可以在25至50微米或更小的范围内,或者在最高达400微米的范围内。在另一示例中,可以使用LED或微型LED来代替具有宽度W1的光纤1966。另外,如以上关于线1919所描述的,可以使用菲涅耳棱镜层来影响从光纤末端1969射出的光,以生成光束1930、1930a和1930n。
在操作中,可穿戴系统1911被配置为生成至少一个亮度边缘,所述亮度边缘被投射到诸如包括电器、家具、人等的房间等环境上。当用户正在评估和审查其周围环境(诸如房间)时,阴影投掷器1920的移动可以与用户头部的移动一致。在一些示例中,镜腿结构1907中的电子设备可以包括处理器、存储器、加速度计等。在一种情况下,一个或多个加速度计、倾斜仪、罗盘、陀螺仪等可以确定用户移动其头的速率。因此,如果需要的话,镜腿结构1907中的逻辑可以检测为了形成环境的3D模型而遍及环境或场景扫掠亮度边缘的速率。可以经由眼镜系统1911或功率和光生成模块1909中的无线电收发器来传输送扫掠速率。在另一种情况下,外部基准器(例如,未示出的反射标记器或IR LED发射器)可以由1911的位置和取向的外部检测器(未示出)使用。这样的外部检测器可以是例如相机或现场接近度传感器。
在一些示例中,镜腿结构1907或可穿戴阴影投掷器1911的任何其他部分中的电子设备可以包括处理器和存储器,以支持将视频投射到例如一个或多个镜片1901上,以将图形图像叠加在环境中的三维物体视图上从而创建增强现实图像。例如,穿戴着可穿戴阴影投掷器1911的用户可以注视房间内的椅子,由此可穿戴阴影投掷器1911(和图像捕获设备)可以捕获椅子的三维空间维度和表面。此外,可穿戴阴影投掷器1911可以接收这样的视频或图像,所述视频或图像在用户的在镜片1901上的椅子视图上叠加了不同的颜色。而且,可穿戴阴影投掷器1911可以接收这样的视频或图像,所述视频或图在用户的在镜片1901上的椅子视图上叠加了坐在椅子上的人的图形表示。
图20是描绘了根据一些示例的源自可穿戴系统的光投射方向的示例的简图。如所示,光投射方向可以从沿着可穿戴系统2011的镜腿布置的许多光纤或LED源发出。简图2000包括穿戴着可穿戴系统2011的用户2091和描绘为虚线的前壳,光束2030、2030a、2030n、2032、2032a和2032n通过所述前壳透射。前壳可以具有如参考图19所描述的深度(“H”)1931。返回参考图20,光束2030、2030a、2030n、2032、2032a、2032n可以可替代地部分叠加以影响光(未示出)的连续分布。至少光发射2030n和2032n可以平行于视线。在一些情况下,光发射2030、2030a,2030n,2032、2032a和2032n各自可以平行于视线(未示出)投射到环境2090中。如所示,光发射子集(诸如光发射2030、2030a、2032和2032a)可以与视线成一定角度投射(例如,以照亮环境中可能平行于视线的表面特征)。在所示的示例中,光发射2030、2030a、2030n、2032、2032a和2032n可以用于确定相对于可穿戴阴影投掷器2011的距离为2040的轮廓表面2060的三维空间维度。
简图2000中描绘的光发射的示例可以基于特定应用的适用性而变化或适配。例如,可穿戴阴影投掷器2011可以由执行脑外科手术或任何其他医疗应用的外科医生穿戴。根据各种示例,可穿戴阴影投掷器2011可以被实施用于通信的目的,诸如三维网络相机通信等。在一些情况下,可穿戴阴影投掷器2011可以被配置为促进虚拟现实应用和增强现实应用。例如,可穿戴阴影投掷器2011可以包括一个或多个镜片或者一个或多个透明表面(未示出),在所述镜片或透明表面上可以投射平视显示器(“HUD”)或缩小的视频图像。
图21是描绘了根据一些示例的利用可穿戴阴影投掷器实施的图像捕获设备的简图。简图2100包括穿戴着可穿戴系统2111和可穿戴相机2117的用户2191,所述可穿戴相机可以包括处理器、存储器以及用于发射和接收数据的无线电,所述数据包括与投射到环境中的表面上的亮度边缘相关联的数据。可穿戴相机2117还可以包括加速度计、倾斜检测器、罗盘等,用于确定和报告所述可穿戴相机的位置和取向,尤其是相对于可穿戴系统2111的位置和取向。如所示,光发射2130可以被投射在包括视线的平面内,或者可以被投射为与视线成一定角度的光发射2135。如所示,反射回相机2117中的光2182可能与光发射2135的距离为2180。根据一些示例,距离2180可以在20厘米处,或者在包括20厘米的范围内。在此示例中,与在其他示例中一样,相机位置距离2180将该相机与阴影平面分离,以观察由图20的形状2060导致的亮度边缘变形。在至少一个示例中,通过修改可穿戴阴影投掷器2111操作所使用的其他参数,可以减小距离2180而不会不利地影响对图20的表面2060的3D信息的确定。在其他各种示例中,可以将相机2117布置在离人的地方(例如,不需要穿戴相机)。因此,另一相机2117可以共同位于布置可穿戴阴影投掷器2111的环境中,由此相机2117和2111可以彼此无线地交换数据。根据一些示例,图20的简图2000和图21的简图2100中描绘的元件可以包括如在其他附图中描绘的相似名称或相似编号的元件那样的结构和/或功能。在一个示例中,可穿戴阴影投掷器2111和可穿戴相机2117可以与图14的扫描系统1490互换使用。
图22是描绘了根据一些示例的在共同环境中协作的多个可穿戴阴影投掷器的简图。简图2200描绘了诸如房间2210的环境,其包括沙发2222、台球桌2224和椅子2226的各种表面特征。此外,房间2210包括分别穿戴着可穿戴阴影投掷器2211a、2211b、2211c和2211d的用户2210a、2210b、2210c和2210d的子集。可穿戴阴影投掷器2211a、2211b、2211c和2211d中的每一个都可以包括处理器、存储器和其他电子部件,诸如加速度计、视频图像生成器、GPS发射器、陀螺仪、相机、无线电收发器(例如,RF无线电发射器和/或接收器)等。尽管未示出,但是图像捕获设备或相机可以与用户2210a、2210b、2210c和2210d中的每一个相关联。根据一些示例,图22的简图2200中描绘的元件可以包括如在其他附图中描绘的相似名称或相似编号的元件那样的结构和/或功能。
在一些示例中,一个或多个离人(或远程)相机2201可以捕获来自多个可穿戴阴影投掷器的从各种表面反射的多个亮度边缘的图像。根据各种示例,相机2201、增强图像生成器2290和可穿戴阴影投掷器2211a、2211b、2211c和2211d中的一个或多个可以被配置为确定用户2210a、2210b、2210c和2210d(以及相机)的位置和取向。而且,基准器(例如,未示出的反射标记器或IR LED发射器)可以被布置在任何位置房间2210中,以检测可穿戴阴影投掷器2211a、2211b、2211c和2211d的位置和取向。相机2201、增强图像生成器2290和可穿戴阴影投掷器2211a、2211b、2211c和2211d中的一个或多个可以被配置为确定可穿戴阴影投掷器2211a、2211b、2211c和2211d之间的差异,并且可以被进一步配置为实施采用可见波长或任何其他波长的可穿戴阴影投掷器2211b、2211c和2211。还示出了增强图像生成器2290,其可以包括用于组合多个3D扫描数据子集以形成房间2210及其居住者和家具的整体三维模型的逻辑。因此,增强图像生成器2290可以基于来自可穿戴阴影投掷器2211a至2211d的数据来执行图像配准,以对准多个3D图像从而形成整合图像或3D模型。此外,增强图像生成器2290可以生成表示可以叠加在房间2210中的物体的3D表面上的图形图像的数据。例如,增强图像生成器2290可以生成用户2210a、2210b、2210c和2210d可以选择以供其他人观看的“虚拟服装”的图形图像。考虑到用户2210a希望用户2210b、2210c和2210d感知到用户2210a穿戴着“海盗服装”。增强图像生成器2290可以生成可以叠加在可穿戴阴影投掷器2211b、2211c和2211d中的镜片上的图形图像。因此,用户2210b、2210c和2210d可以在视觉上感知穿戴着叠加的“海盗服装”的用户2210a。因此,这些用户可以组织虚拟服装派对。
可穿戴阴影投掷器2211a、2211b、2211c和2211d可以包括用于分别生成无线数据链路2213a、2213b、2213c和2213d的RF无线电。此外,一个或多个相机2201以及增强图像生成器2290可以包括逻辑(例如,硬件或软件或其组合)和RF无线电,所述RF无线电用于利用一个或多个可穿戴阴影投掷器来发射和接收数据。在一种实施方式中,可穿戴阴影投掷器2211a、2211b、2211c和2211d可以经由链路2213a、2213b、2213c和2213d形成对等网络,以交换3D扫描数据和图形图像,从而促进增强现实应用。在另一种实施方式中,可穿戴阴影投掷器2211a、2211b、2211c和2211d可以经由无线数据链路2214、2215、2213a、2213b、2213c和2213d来实施具有相机2201和增强图像生成器2290的客户端-服务器网络,所述无线数据链路中的每一个也可以被适配用于实施其他网络拓扑。
图23展示了根据各实施例的被配置为向部件提供各种功能以进行三维扫描的各种计算平台的示例。在一些示例中,计算平台2300可以用于实施计算机程序、应用、方法、过程、算法或其他软件、以及其任何硬件实施方式,以执行上述技术。
在一些情况下,根据本文描述的各种示例,计算平台2300或任何部分(例如,任何结构部分或功能部分)可以被布置在任何设备中,诸如用于实施各种结构和/或功能的计算设备2390a、移动计算设备2390b、可穿戴设备2390c和/或处理电路。
计算平台2300包括用于传送信息的总线2302或其他通信机构,所述总线或通信机构互连子系统和设备(诸如处理器2304、系统存储器2306(例如,RAM等)、存储设备2308(例如,ROM等)、存储器中的高速缓存(其可以在RAM 2306或计算平台2300的其他部分中实施)、通信接口2313(例如,以太网或无线控制器、蓝牙控制器,NFC逻辑等)),以促进经由通信链路2321上的端口进行通信,从而例如与计算设备进行通信,所述计算设备包括具有处理器的移动计算和/或通信设备,所述处理器包括数据库设备(例如,配置为存储原子化数据集(包括但不限于三元数据库等)的存储设备)。处理器2304可以被实施为一个或多个图形处理单元(“GPU”)、一个或多个中央处理单元(“CPU”)(诸如由英特尔公司制造的)、或者一个或多个虚拟处理器、以及CPU与虚拟处理器的任何组合。计算平台2300经由输入和输出设备2301交换表示输入和输出的数据,所述输入和输出设备包括但不限于键盘、鼠标、音频输入(例如,语音到文本驱动的设备)、用户界面、显示器、监视器、光标、触敏显示器、LCD显示器或LED显示器以及其他与I/O相关的设备。
注意,在一些示例中,根据本文描述的各种示例,输入和输出设备2301可以被实施为与用户帐户标识符相关联的计算设备中的用户界面,或者以其他方式由其代替。
根据一些示例,计算平台2300通过处理器2304执行存储在系统存储器2306中的一个或多个指令的一个或多个序列来执行特定操作,并且计算平台2300可以以客户端-服务器布置、对等布置来实施、或实施为任何移动计算设备(包括智能电话等)。可以从另一计算机可读介质(诸如存储设备2308)向系统存储器2306中读取这样的指令或数据。在一些示例中,可以取代或者结合软件指令使用硬接线电路系统以供实施。指令可以嵌入在软件或固件中。术语“计算机可读介质”是指参与向处理器2304提供指令以供执行的任何有形介质。这种介质可以采用许多种形式,包括(但不限于)非易失性介质和易失性介质。非易失性介质包括例如光盘或者磁盘等。易失性介质包括动态存储器,诸如系统存储器2306。
计算机可读介质的已知形式包括例如软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD-ROM、任何其他光学介质、穿孔卡、纸带(例如,或孔图案)、任何其他物理介质(诸如RAM、PROM、EPROM、FLASH-EPROM设备)、任何其他存储器芯片或存储器盒、或计算机可以从其访问数据的任何其他介质。可以使用传输介质进一步发射或接收指令。术语“传输介质”可以包括能够存储、编码或携带由机器执行的指令的任何有形或无形介质,并且包括数字或模拟通信信号或其他无形介质以促进这种指令的通信。传输介质包括同轴电缆、铜线和光纤,包括导线(所述导线包括用于传输计算机数据信号的总线2302)。
在一些示例中,指令序列的执行可以由计算平台2300执行。根据一些示例,计算平台2300可以通过通信链路2321(例如,有线网络(诸如LAN、PSTN)或任何无线网络(包括各种标准和协议的WiFi、
Figure BDA0003569193850000591
NFC、Zig-Bee等))耦接到任何其他处理器,以相互协调地(或异步地)执行指令序列。计算平台2300可以通过通信链路2321和通信接口2313发射和接收消息、数据和指令,包括程序代码(例如,应用代码)。所接收的程序代码可以在其被接收时由处理器2304执行,和/或者存储在存储器2306、或者其他非易失性存储装置中,用于以后执行。
在所示的示例中,系统存储器2306可以包括各种模块,所述模块包括用于实施本文描述的功能的可执行指令。系统存储器2306可以包括操作系统(“O/S”)2332以及应用程序2336和/或(一个或多个)逻辑模块2359。在图23所示的示例中,系统存储器2306可以包括任何数量的模块2359,其中的任何模块或其中的一个或多个部分可以被配置为通过实施本文描述的一个或多个功能来促进计算系统(例如,客户端计算系统、服务器计算系统等)的任何一个或多个部件。
任何上述特征的结构和/或功能可以以软件、硬件、固件、电路系统或其组合来实施。注意,以上结构和组成元素及其功能可以与一个或多个其他结构或元素聚合。可替代地,元素及其功能可以细分为组成子元素(如果有的话)。作为软件,可以使用各种类型的编程语言或格式化语言、框架、句法、应用程序、协议、对象或技术来实施上述技术。作为硬件和/或固件,可以使用各种类型的编程语言或集成电路设计语言来实施上述技术,包括硬件描述语言,诸如配置为设计现场可编程门阵列(“FPGA”)、专用集成电路(“ASIC”)或任何其他类型的集成电路的任何寄存器传输语言(“RTL”)。根据一些实施例,术语“模块”可以指例如算法或其一部分、和/或以硬件电路系统或软件或其组合实施的逻辑。这些可以变化,并且不限于所提供的示例或描述。
在一些实施例中,图23的模块2359、或其一个或多个部件、或本文描述的任何过程或设备可以与移动设备(诸如,移动电话、可穿戴设备或计算设备)进行通信(例如,有线或无线),或者可以被布置在其中。
在一些情况下,与一个或多个模块2359或其一个或多个部件(或本文描述的任何过程或设备)通信的移动设备或任何联网计算设备(未示出)可以提供本文描述的任何特征的结构和/或功能中至少一些。如上述附图中所描绘的,任何上述特征的结构和/或功能可以以软件、硬件、固件、电路系统或其任何组合来实施。注意,以上结构和组成元素及其功能可以与一个或多个其他结构或元素聚合或组合。可替代地,元素及其功能可以细分为组成子元素(如果有的话)。作为软件,可以使用各种类型的编程语言或格式化语言、框架、句法、应用程序、协议、对象或技术来实施上述技术中的至少一些。例如,在任何附图中描绘的至少一个元素可以表示一个或多个算法。或者,这些元素中的至少一个元素可以表示逻辑的一部分,所述逻辑的一部分包括配置为提供组成结构和/或功能的硬件的一部分。
例如,可以在一个或多个计算设备(即,任何移动计算设备,诸如可穿戴设备,诸如帽子或头带、或移动电话,无论是穿戴的还是携带的)中实施模块2359或其一个或多个部件、或本文描述的任何过程或设备,所述计算设备包括配置为执行存储器中的一个或多个算法的一个或多个处理器。因此,上述附图中的至少一些元素可以表示一个或多个算法。或者,这些元素中的至少一个元素可以表示逻辑的一部分,所述逻辑的一部分包括配置为提供组成结构和/或功能的硬件的一部分。这些可以变化,并且不限于所提供的示例或描述。
作为硬件和/或固件,可以使用各种类型的编程语言或集成电路设计语言来实施上述结构和技术,包括硬件描述语言,诸如配置为设计现场可编程门阵列(“FPGA”)、专用集成电路(“ASIC”)、多芯片模块或任何其他类型的集成电路的任何寄存器传输语言(“RTL”)。
例如,可以在包括一个或多个电路的一个或多个计算设备中实施模块2359或其一个或多个部件、或本文描述的任何过程或设备。因此,上述附图中的至少一个元素可以表示一个或多个硬件部件。或者,这些元素中的至少一个元素可以表示逻辑的一部分,所述逻辑的一部分包括配置为提供组成结构和/或功能的电路的一部分。
根据一些实施例,术语“电路”可以指例如包括多个部件的任何系统,电流流过所述多个部件以执行一个或多个功能,所述部件包括离散部件和复杂部件。离散部件的示例包括晶体管、电阻器、电容器、电感器、二极管等,而复杂部件的示例包括存储器、处理器、模拟电路、数字电路(包括现场可编程门阵列(“FPGA”)、专用集成电路(“ASIC”))等。因此,电路可以包括电子部件和逻辑部件(例如,配置为执行指令的逻辑,使得算法的一组可执行指令例如并且因此是电路的部件)的系统。根据一些实施例,术语“模块”可以指例如算法或其一部分、和/或以硬件电路系统或软件或其组合实施的逻辑(即,模块可以被实施为电路)。在一些实施例中,算法和/或其中存储有算法的存储器是电路的“部件”。因此,术语“电路”还可以指例如包括算法的部件系统。这些可以变化,并且不限于所提供的示例或描述。
鉴于前述内容,简图200至简图2300阐述了可以应用于任何数量的应用的任何数量的结构和功能。例如,任何上述结构和功能可以被结合到具有相机的移动电话中。因此,阴影投掷器和/或光源可以附接到移动电话或整合在移动电话内以执行3D扫描。在另一示例中,任何上述结构和功能可以被实施为存储表面图案以用于识别目的,诸如在三维上扫描指纹作为用于提供安全授权或识别的数据。任何数量的应用都可以实施本文描述的结构和功能。
在一个示例中,一种方法可以包括在阴影投掷器处接收光子发射,以及形成亮度边缘。所述方法可以包括接收光子发射作为光,以及将亮度边缘投射到投射平面上。所述方法可以包括在阴影投掷器的两个边缘部分处接收光子发射,以及形成亮度边缘的至少两个部分中的两个部分。亮度边缘的至少两个部分在投射在投射平面上时可以大体上平行。所述方法可以包括在另一阴影投掷器处接收其他光子发射,以及形成另一亮度边缘。所述另一亮度边缘可以与所述亮度边缘大体上共同延伸。所述方法可以包括在与阴影投掷器的末端相邻布置(例如,大体上在一轴线上)的光源处生成光子发射,所述阴影投掷器距投射平面一定距离(例如,最大距离)。在一些示例中,在阴影投掷器处接收光子发射可以包括在第一区中接收光子发射,以及将亮度边缘投射到投射平面上。阴影投掷器可以被布置在一个或多个光源与投射平面之间。所述方法可以包括施加动力以在投射平面上移动亮度边缘。
现在转向本发明的特定和具体应用,现在参考本发明的最优选实施例,在图24、图25、图26、图27、图28、图29和图30中,示出了阴影投掷器扫描仪2400。图24演示了阴影投掷器扫描仪2400的前透视图。图25是阴影投掷器扫描仪2400的后透视图。图26是阴影投掷器扫描仪2400的分解视图。图27是本发明的过滤式阴影投掷器2400a的前透视图。图28是本发明的叶片式阴影投掷器2400b的前透视图。图29是本发明的宽叶片式阴影投掷器2400c的前透视图。图30描绘了描述阴影投掷器扫描仪2400的操作的操作流程图3000。
更详细地,仍然参考本发明的图24、图25、图26、图27、图28、图29和图30,阴影投掷器扫描仪2400包括外壳2410,所述外壳2410包括:背部面板2418,所述背部面板2418包括:相机开口2432、顶部面板2412、两个侧面面板2414,所述侧面面板2414包括:枢轴点2411和基底2416;阴影投掷器2420,所述阴影投掷器2420包括:前面段2424,所述前面段2424是矩形的;两个侧面段2422,每个所述侧面段2422从所述前面段2424的相反末端垂直地悬置,每个所述侧面段2422包括:三角形形状和肩部安装件2423,每个所述肩部安装件2423包括:肩部螺钉孔2421和肩部螺钉2428,所述肩部螺钉2428使用螺母2419和垫圈2413被可旋转地附接到所述侧面面板2414;以及凸舌2426,所述凸舌2426从一个所述侧面段2422悬置;致动器组件2440,所述致动器组件2440包括:致动器臂2442,所述致动器臂2442从所述外壳2410悬置;致动器电机2446,所述致动器电机2446从所述致动器臂2442悬置;以及致动器连接器2444,所述致动器连接器2444从所述致动器电机2446悬置并连接到所述阴影投掷器2420的所述凸舌2426;光源2450,所述光源2450是离散的、连续的、线性的,并且在所述阴影投掷器2420的所述侧面段2422的所述肩部安装件2423的所述肩部螺钉2428之间延伸;视频相机组件2430,所述视频相机组件2430延伸穿过所述外壳2410的所述背部面板2418的所述相机开口2432,所述视频相机组件2430包括:视频相机支撑平台2436和视频相机2434,所述视频相机2434被安装在所述视频相机支撑平台2436上,所述视频相机2434包括:相机镜头2435、相机同步端口2433、视频输出端口2439和控制端口2490;存储在非暂时性计算机可读介质中的存储器;处理器(未示出),所述处理器包括:所述计算机可读介质;以及显示器(未示出);其中,所述光源2450照亮所述阴影投掷器2420以投射已知几何形状的高对比度阴影,这在所述物体上形成所述一个或多个亮度边缘;其中,所述致动器电机2446移动所述阴影投掷器2420,以遍及所述物体扫掠所述一个或多个亮度边缘;其中,所述视频相机2434检测所述物体上的所述一个或多个亮度边缘以获得三维点,并将所述三维点记录到所述存储器中;其中,所述处理器根据记录的所述三维点形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述物体的所述三维模型;并且其中,使用所述处理器将所述三维模型显示在所述显示器上。可替代地,图27所示的过滤式阴影投掷器2420a可以与阴影投掷器扫描仪2400一起使用以代替阴影投掷器2420,并且其包括:前面段2424a,所述前面段2424a是矩形的;两个侧面段2422a,每个所述侧面段2422a从所述前面段2424a的相反末端垂直地悬置,每个所述侧面段2422a包括:三角形形状和肩部安装件2423a,每个所述肩部安装件2423a包括:肩部螺钉孔2421a和凸舌2426a。前面段2424a和两个侧面段2422a进一步包括第一滤光片2423a、第二滤光片2425a和第三滤光片2427a,所述滤光片可以过滤不同颜色的光或具有不同的不透明性。尽管附图中仅示出了三个滤光片,但可以使用任何数量的滤光片。可替代地,图28所示的叶片式阴影投掷器2400b可以与阴影投掷器扫描仪2400一起使用以代替阴影投掷器2420,并且其包括:前面段2424b,所述前面段2424b是矩形的;两个侧面段2422b,每个所述侧面段2422b从所述前面段2424b的相反末端垂直地悬置,每个所述侧面段2422b包括:三角形形状和肩部安装件2423b,每个所述肩部安装件2423b包括:肩部螺钉孔2421b和凸舌2426b。前面段2424b和两个侧面段2422b进一步包括第一区段2423b、第二区段2425b和第三区段2427b,用于产生更多的亮度边缘。尽管附图中仅示出了三个区段,但可以使用任何数量的区段。可替代地,图29所示的宽叶片式阴影投掷器2400c可以与阴影投掷器扫描仪2400一起使用以代替阴影投掷器2420,并且其包括:前面段2424c;两个侧面段2422c,每个所述侧面段2422c从所述前面段2424c的相反末端垂直地悬置,每个所述侧面段2422c包括:三角形形状和肩部安装件2423c,每个所述肩部安装件2423c包括:肩部螺钉孔2421c和凸舌2426c。前面段2424c和两个侧面段2422c进一步包括第一宽区段2423c、第二宽区段2425c和第三宽区段2427c,用于产生更多的亮度边缘。尽管附图中仅示出了三个区段,但可以使用任何数量的区段。在图30中描述的操作流程图3000中,阴影投掷器扫描仪2400的操作中的第一步骤包括在定位扫描仪步骤3005中将扫描仪定位在对象上方。接下来,在对准判定步骤3010中,判定扫描仪是否与对象对准。如果扫描仪未对准,则在对准扫描仪步骤3040中将扫描仪与对象对准。一旦对准了扫描仪,就在聚焦判定步骤3015中判定相机是否聚焦在对象上。如果相机未聚焦,则在聚焦相机步骤3020中使相机聚焦。一旦相机被聚焦,则在开始录制步骤3025中相机开始录制对象的视频。接下来,在开始扫掠步骤3045中,阴影投掷器开始遍及对象扫掠亮度边缘。接下来,在收集和分析步骤3050中,处理器收集所录制视频的帧并对其进行分析,以形成点云。接下来,在停止扫掠步骤3060中,阴影投掷器停止遍及对象扫掠亮度边缘。接下来,在过滤点云步骤3070中,处理器对点云进行过滤。接下来,在构造表面步骤3075中,处理器根据过滤后的点云构造三维表面的模型。接下来,在显示图像步骤3055中,处理器将模型显示在显示器上。在另一扫描判定步骤3030中,判定是否需要进行另一次扫描。如果需要进行另一次扫描,则如上所述,重复开始录制步骤3025。如果不需要进行另一次扫描,则在保存文件步骤3035中将建模的表面组合并保存到文件中。最后,在存储扫描仪步骤3080中,在操作之后存储扫描仪。
如图24、图25、图26、图27、图28、图29和图30所示的本发明的结构细节如下。外壳2410的背部面板2418包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。外壳2410的顶部面板2412包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。外壳2410的侧面面板2414包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。外壳2410的基底2416包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。阴影投掷器2420包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料,并且可以进一步包括可配置的形状、三维打印形状、可配置的不透明性(诸如液晶等)或各种彩色滤光片。肩部螺钉2428包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。螺母2419和垫圈2413包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。阴影投掷器2420的凸舌2426包括轻质刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。致动器组件2440的致动器臂2442包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。致动器组件2440的致动器电机2446包括线性步进电机、电动电机、液压系统等。致动器组件2440的致动器连接器2444包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。光源2450包括白炽灯、卤素灯、荧光灯、线性灯、有狭缝的管灯、LED、LED阵列、LED线性阵列、不同颜色的光源、彩色LED、激光器、X射线源、UV源、红外源等。视频相机支撑平台2436包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。视频相机2434包括数字或模拟视频相机等。相机镜头2435包括远摄镜头、滤光镜头、放大镜头、具有负焦距的镜头等。存储在非暂时性计算机可读介质中的存储器包括软件、指令、数据、算法等。处理器包括计算机、移动电话、PC、CPU等。显示器包括监视器、屏幕、电视、增强现实头戴式装置、显微镜等。过滤式阴影投掷器2420a包括可配置的不透明性(诸如液晶等)、或各种彩色滤光片等,所述彩色滤波片可以过滤不同颜色的光或具有不同的不透明性。叶片式阴影投掷器2400b包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料,并且可以进一步包括可配置的形状、三维打印形状、可配置的不透明性(诸如液晶等)或各种彩色滤光片等。宽叶片式阴影投掷器2400c包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料,并且可以进一步包括可配置的形状、三维打印形状、可配置的不透明性(诸如液晶等)或各种彩色滤光片等。
现在参考本发明的另一实施例,在图31、图32、图33、图34、图35和图36中,示出了外科手术期间被使用的外科手术阴影投掷器扫描仪3100。图31是在对患者3170的脑外科手术期间被使用的外科手术阴影投掷器扫描仪3100的前透视图。图32展示了描述在脑外科手术期间被使用的外科手术阴影投掷器扫描仪3100的操作的操作流程图3200。图33示出了描述在脑外科手术期间被用作侧扫描仪的外科手术阴影投掷器扫描仪3100的操作的侧扫描仪流程图3300。图34描绘了描述由在脑外科手术期间被用作侧扫描仪的外科手术阴影投掷器扫描仪3100使用的算法的算法流程图3400。图35显示了描述被用于患者配准的外科手术阴影投掷器扫描仪3100的配准流程图3500。图36演示了描述在机器人自动化脑外科手术期间被使用的外科手术阴影投掷器扫描仪3100的操作的机器人流程图3600。
更详细地,仍然参考本发明的图31、图32、图33、图34、图35和图36,在图31中,外科手术阴影投掷器扫描仪3100被示出为当视频相机3130正在录制扫掠时,遍及患者3170的颅骨切开术3180从阴影投掷器3120投掷阴影3167。头部夹具3165、直角夹具3161和可锁定的挠曲臂3163相对于患者3170上的被扫描区域来固定外科手术阴影投掷器扫描仪3100的位置。在图32中,操作流程图3200描述了在脑外科手术期间被使用的外科手术阴影投掷器扫描仪3100的操作。外科手术阴影投掷器扫描仪3100的操作中的第一步骤包括:在盖住扫描仪步骤3203中,用定制的盖布盖住扫描仪,所述盖布非常适合于外科手术、并且符合外科手术阴影投掷器扫描仪3100的外部、并且能够保护患者3170在外科手术期间免受污染。接下来,在定位扫描仪步骤3205中,将外科手术阴影投掷器扫描仪3100定位在对象上方。接下来,在对准判定步骤3210中,判定扫描仪是否与对象对准,在这种情况下,所述对象是患者3170的颅骨切开术3180。如果扫描仪未对准,则在对准扫描仪步骤3240中将扫描仪与对象对准。一旦对准了扫描仪,就在聚焦判定步骤3215中判定相机是否聚焦在对象上。如果相机未聚焦,则在聚焦相机步骤3220中使相机聚焦。一旦相机被聚焦,则在开始录制步骤3225中相机开始录制对象的视频。接下来,在开始扫掠步骤3245中,阴影投掷器开始遍及对象扫掠亮度边缘。接下来,在收集和分析步骤3250中,处理器收集所录制视频的帧并对其进行分析,以形成点云。接下来,在过滤新云点步骤3252中,处理器过滤新的云点。接下来,在更新经过滤的云点步骤3254中,更新经过滤的点云显示。接下来,在过滤整个点云步骤3270中,处理器对整个点云进行过滤。接下来,在构造表面步骤3275中,处理器根据过滤后的点云构造三维表面的模型。接下来,在发送表面步骤3263中,将表面发送到外科手术导航计算机。外科手术导航计算机包括确定外科医生的工具的位置并且确定患者相对于公共三维坐标系的位置的计算机。外科手术导航用于辅助外科手术。接下来,在保存文件步骤3235中,将表面保存到文件中。接下来,在显示图像步骤3255中,处理器将模型显示在显示器上。在另一扫描判定步骤3230中,判定是否需要进行另一次扫描。如果需要进行另一次扫描,则如上所述,重复对准判定步骤3210。接下来,在停止扫掠步骤3260中,阴影投掷器停止遍及对象扫掠亮度边缘。接下来,在停止录制步骤3265中,相机停止录制对象的视频。接下来,在揭开扫描仪盖布步骤3277中,揭开扫描仪盖布。最后,在存储扫描仪步骤3280中,在操作之后存储扫描仪。在图33中,侧扫描仪流程图3300描述了在脑外科手术期间被用作侧扫描仪的外科手术阴影投掷器扫描仪3100的操作。作为侧扫描仪的外科手术阴影投掷器扫描仪3100的操作中的第一步骤包括:在盖住扫描仪步骤3303中,用定制的盖布盖住扫描仪,所述盖布非常适合于外科手术、并且符合外科手术阴影投掷器扫描仪3100的外部、并且能够保护患者3170在外科手术期间免受污染。接下来,在定位扫描仪步骤3305中,将外科手术阴影投掷器扫描仪3100定位在对象的一侧。接下来,在对准判定步骤3310中,判定扫描仪是否与对象对准。如果扫描仪未对准,则在对准扫描仪步骤3340中将扫描仪与对象对准。一旦对准了扫描仪,就在聚焦判定步骤3315中判定相机是否聚焦在对象上。如果相机未聚焦,则在聚焦相机步骤3320中使相机聚焦。一旦相机被聚焦,则在开始录制步骤3325中相机开始录制对象的视频。接下来,在开始扫掠步骤3345中,阴影投掷器开始遍及对象扫掠亮度边缘。接下来,在收集和分析步骤3350中,处理器收集所录制视频的帧并对其进行分析,以形成点云。接下来,在停止扫掠步骤3360中,阴影投掷器停止遍及对象扫掠亮度边缘。接下来,在停止录制步骤3365中,相机停止录制对象的视频。接下来,在过滤点云步骤3370中,处理器对点云进行过滤。接下来,在构造表面步骤3375中,处理器根据过滤后的点云构造三维表面的模型。接下来,在保存文件步骤3335中,将表面保存到文件中。接下来,在显示图像步骤3355中,处理器将模型显示在显示器上。在另一扫描判定步骤3330中,判定是否需要进行另一次扫描。如果需要进行另一次扫描,则在仍然瞄准步骤3333中判定扫描仪是否仍面向目标。如果扫描仪仍然面向目标,则如上所述,重复开始录制步骤3325。如果扫描仪不再面向目标,则在移回步骤3337中等到扫描仪被移回。一旦扫描仪被移回到目标,则如上所述,重复开始录制步骤3325。如果不需要进行另一次扫描,则在揭开扫描仪盖布步骤3377中揭开扫描仪盖布。最后,在存储扫描仪步骤3380中,在操作之后存储扫描仪。在图34中,算法流程图3400描述了由在脑外科手术期间被用作侧扫描仪的外科手术阴影投掷器扫描仪3100使用的算法。用于外科手术阴影投掷器扫描仪3100的算法中的第一步骤包括在启动程序步骤3404中启动程序。接下来,在收集参数步骤3408中,收集用户提供的或程序指定的扫描和分析参数。接下来,在开始录制步骤3425中,相机开始录制视频。接下来,在开始扫掠步骤3445中,启动电机,以便移动阴影投掷器并遍及对象扫掠亮度边缘。接下来,在收集视频步骤3450中,收集所录制视频的帧。接下来,在缓冲器判定步骤3424中,判定视频缓冲器是否被填充得足以进行分析。如果缓冲器未被填充得足够,则如上所述,重复收集视频步骤3450。如果缓冲器被填充得足以进行分析,则在分析帧步骤3444中对视频帧进行分析以建立点云。接下来,在过滤新云点步骤3452中,处理器过滤新的云点。接下来,在更新经过滤点云步骤3454中,更新经过滤的点云显示。接下来,在仍然缓冲判定步骤3458中,判定缓冲器中是否仍有足够的帧。如果缓冲器中没有足够的帧,则如上所述,重复缓冲器判定步骤3424。如果缓冲器中仍有足够的帧,则在完成扫掠判定步骤3478中判定是否完成扫掠。如果扫掠未完成,则如上所述,重复分析帧步骤3444。如果完成了扫掠,则在停止电机步骤3468中停止电机。接下来,在停止录制步骤3465中,相机停止录制对象的视频。接下来,在完成分析帧步骤3464中,完成对帧进行分析。接下来,在过滤点云步骤3470中,处理器对点云进行过滤。接下来,在构造表面步骤3475中,处理器根据过滤后的点云构造三维表面的模型。接下来,在保存文件步骤3435中,将表面保存到文件中。接下来,在显示图像步骤3455中,处理器将模型显示在显示器上。在另一扫描判定步骤3430中,判定是否要求进行另一次扫描。如果要求进行另一次扫描,则在仍然可见步骤3414中判定目标或基准器在相机的视野中是否仍然可见。如果目标或基准器仍然可见,则如上所述,重复开始录制步骤3425。如果目标或基准器并非仍然可见,则在等待步骤3412中等到目标或基准器再次可见,并且一旦目标或基准器再次可见,则如上所述,重复开始录制步骤3425。最后,如果不要求进行另一次扫描,则在退出算法步骤3490中用户退出算法。在图35中,配准流程图3500描述了被用于患者配准的外科手术阴影投掷器扫描仪3100。配准患者中的第一步骤包括在盖住扫描仪步骤3503中用定制的盖布盖住扫描仪。接下来,在定位扫描仪步骤3505中,将外科手术阴影投掷器扫描仪3100定位在对象上方。接下来,在对准判定步骤3510中,判定扫描仪是否与对象对准。如果扫描仪未对准,则在对准扫描仪步骤3540中将扫描仪与对象对准。一旦对准了扫描仪,就在聚焦判定步骤3515中判定相机是否聚焦在对象上。如果相机未聚焦,则在聚焦相机步骤3520中使相机聚焦。一旦相机被聚焦,则在开始录制步骤3525中相机开始录制对象的视频。接下来,在开始扫掠步骤3545中,阴影投掷器开始遍及对象扫掠亮度边缘。接下来,在收集和分析步骤3550中,处理器收集所录制视频的帧并对其进行分析,以形成点云。接下来,在停止扫掠步骤3560中,阴影投掷器停止遍及对象扫掠亮度边缘。接下来,在停止录制步骤3565中,相机停止录制对象的视频。接下来,在过滤点云步骤3570中,处理器对点云进行过滤。接下来,在构造表面步骤3575中,处理器根据过滤后的点云构造三维表面的模型。接下来,在保存文件步骤3235中,将表面保存到文件中。接下来,在发送表面步骤3563中,将表面发送到导航计算机。接下来,在两次扫描判定步骤3531中,判定是否收集了两次扫描。如果未收集两次扫描,则如上所述,重复定位扫描仪步骤3505。如果收集了两次扫描,则在识别第一基准器步骤3581中在第一表面上识别基准器。接下来,在识别第二基准器步骤3583中,在第二表面上识别相应的基准器。接下来,在计算步骤3585中,使用处理器计算刚性变换。接下来,当扫描仪或患者被移动时,在映射步骤3587中,使用刚性变换将所有表面点映射到其新位置。最后,在继续操作步骤3595中,继续操作。在图36中,机器人流程图3600描述了在机器人自动化脑外科手术期间被使用的外科手术阴影投掷器扫描仪3100的操作。外科手术阴影投掷器扫描仪3100的机器人自动化操作中的第一步骤包括:在盖住扫描仪步骤3603中,用定制的盖布盖住扫描仪,所述盖布非常适合于外科手术、并且符合外科手术阴影投掷器扫描仪3100的外部、并且能够保护患者3170在外科手术期间免受污染。接下来,在定位扫描仪步骤3605中,使用机器人控制的电机将外科手术阴影投掷器扫描仪3100定位在对象上方。接下来,在对准判定步骤3610中,判定扫描仪是否与对象对准。如果扫描仪未对准,则在对准扫描仪步骤3640中将扫描仪与对象对准。一旦对准了扫描仪,就在聚焦判定步骤3615中判定相机是否聚焦在对象上。如果相机未聚焦,则在聚焦相机步骤3620中使相机聚焦。一旦相机被聚焦,则在开始录制步骤3625中相机开始录制对象的视频。接下来,在开始扫掠步骤3645中,阴影投掷器开始遍及对象扫掠亮度边缘。接下来,在收集和分析步骤3650中,处理器收集所录制视频的帧并对其进行分析,以形成点云。接下来,在过滤新云点步骤3652中,处理器过滤新的云点。接下来,在更新经过滤的云点步骤3654中,更新经过滤的点云显示。接下来,在整个扫描判定步骤3667中,判定是否已经扫描了整个感兴趣区。如果尚未扫描整个感兴趣区,则如上所述,重复收集和分析步骤3650。如果已经扫描了整个感兴趣区,则在过滤整个点云步骤3670中处理器对整个点云进行过滤。接下来,在构造表面步骤3675中,处理器根据过滤后的点云构造三维表面的模型。接下来,在发送表面步骤3663中,将表面发送到导航计算机。接下来,在保存文件步骤3635中,将表面保存到文件中。接下来,在显示图像步骤3655中,处理器将模型显示在显示器上。在另一扫描判定步骤3630中,判定是否需要进行另一次扫描。如果需要进行另一次扫描,则如上所述,重复对准判定步骤3610。如果不需要进行另一次扫描,则在停止扫掠步骤3660中阴影投掷器停止遍及对象扫掠亮度边缘。接下来,在停止录制步骤3665中,相机停止录制对象的视频。接下来,在揭开扫描仪盖布步骤3677中,揭开扫描仪盖布。最后,在存储扫描仪步骤3680中,在操作之后存储扫描仪。
如图31、图32、图33、图34、图35和图36所示的本发明的结构细节为外科手术阴影投掷器扫描仪3100包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。阴影投掷器3120包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料,并且可以进一步包括可配置的形状、三维打印形状、可配置的不透明性(诸如液晶等)或各种彩色滤光片等。视频相机3130包括数字或模拟视频相机等。头部夹具3165、直角夹具3161和可锁定的挠曲臂3163包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。
现在参考本发明的另一实施例,在图37、图38、图39、图40、图41、图42、图43和图44中,示出了阴影投掷器扫描仪的内窥镜版本。图37是内窥镜阴影投掷器扫描仪3700的前透视图。图38是内窥镜阴影投掷器扫描仪3700的分解视图。图39是移动狭缝型内窥镜阴影投掷器扫描仪3900的前透视图。图40示出了内窥镜阴影投掷器扫描仪3700和移动狭缝型内窥镜阴影投掷器扫描仪3900的远侧末端4000、4000a和4000b的前透视图和分解视图。图41描绘了光路框图4100,其描述了内窥镜阴影投掷器扫描仪3700和移动狭缝型内窥镜阴影投掷器扫描仪3900的光路。图42展示了描述在外科手术期间内窥镜阴影投掷器扫描仪3700和移动狭缝型内窥镜阴影投掷器扫描仪3900的操作的内窥镜操作流程图4200。图43描绘了内窥镜算法流程图4300,其描述了由内窥镜阴影投掷器扫描仪3700和移动狭缝型内窥镜阴影投掷器扫描仪3900使用的算法。图44示出了内窥镜扫掠流程图4400,其描述了内窥镜阴影投掷器扫描仪3700和移动狭缝型内窥镜阴影投掷器扫描仪3900的阴影投掷器扫掠。
更详细地,仍然参考本发明的图37、图38、图39、图40、图41、图42、图43和图44,在图37、图38和图40中,示出了内窥镜阴影投掷器扫描仪3700以及可选的远侧末端4001、4001a或4001b。内窥镜阴影投掷器扫描仪3700包括内窥镜主体4000、4000a和4000b,所述内窥镜主体4000、4000a或4000b包括:近侧末端3701;远侧末端4001、4001a或4001b;内窥镜套筒4010、4010a或4010b,所述内窥镜套筒4010、4010a或4010b横跨在所述近侧末端3701与所述远侧末端4001、4001a或4001b之间;成锥形的光纤束4060a和4060b,所述成锥形的光纤束4060a和4060b被布置在所述内窥镜套筒4010、4010a或4010b内并朝着所述远侧末端4001、4001a或4001b逐渐变窄;以及内窥镜相机4030、4030a或4030b,所述内窥镜相机4030、4030a或4030b被布置在所述内窥镜套筒4010、4010a或4010b内并面向所述远侧末端4001、4001a或4001b外;阴影投掷器4020、4020a或4020b,所述阴影投掷器4020、4020a或4020b在所述成锥形的光纤束4060a和4060b上方被安装在所述内窥镜主体4000、4000a或4000b的所述远侧末端4001、4001a或4001b上,所述阴影投掷器4020、4020a或4020b包括:半圆形片;光发射装置3700,所述光发射装置3700包括:水平平台3730;竖直座3705,所述竖直座从所述水平平台3730扩张;步进电机线性致动器3740,所述步进电机线性致动器3740从所述水平平台3730扩张;平移平台3715,所述平移平台3715连接到所述步进电机线性致动器3740;光源3701,所述光源3701从所述平移平台3715悬置;圆柱形透镜3760;光纤束3710,所述光纤束可以是图像维持光纤束,所述光纤束3710从所述光源3701悬置;方形到圆形锥形物3720,所述方形到圆形锥形物3720从所述光纤束3710悬置;以及狭缝3725,所述狭缝3725被安装在所述方形到圆形锥形物3720上;存储在非暂时性计算机可读介质中的存储器;处理器(未示出),所述处理器包括:所述计算机可读介质;以及显示器(未示出);其中,所述光发射装置3700连接到所述内窥镜主体4000、4000a和4000b的所述近侧末端3701;其中,所述光源3701照亮所述光纤束3710、所述方形到圆形锥形物3720、所述狭缝3725、所述成锥形的光纤束4060a和所述阴影投掷器4020或4020a,以投射已知几何形状的高对比度阴影,这在所述物体上形成所述一个或多个亮度边缘;其中,所述步进电机线性致动器3740使所述平移平台3715与所述光源3701一起移动,以遍及所述物体扫掠所述一个或多个亮度边缘;其中,所述内窥镜相机4030、4030a或4030b检测所述物体上的所述一个或多个亮度边缘以获得三维点,并将所述三维点记录到所述存储器中;其中,所述处理器根据记录的所述三维点形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述物体的所述三维模型;并且其中,使用所述处理器将所述三维模型显示在所述显示器上。在图39和图40中,示出了移动狭缝型内窥镜阴影投掷器扫描仪3900以及可选的远侧末端4001、4001a或4001b。移动狭缝型内窥镜阴影投掷器扫描仪3900包括内窥镜主体4000、4000a和4000b,所述内窥镜主体4000、4000a或4000b包括:近侧末端3701(在图37和图38中示出);远侧末端4001、4001a或4001b;内窥镜套筒4010、4010a或4010b,所述内窥镜套筒4010、4010a或4010b横跨在所述近侧末端3701与所述远侧末端4001、4001a或4001b之间;成锥形的光纤束4060a,所述成锥形的光纤束4060a被布置在所述内窥镜套筒4010或4010a内并朝着所述远侧末端4001、4001a或4001b逐渐变窄;以及内窥镜相机4030、4030a或4030b,所述内窥镜相机4030、4030a或4030b被布置在所述内窥镜套筒4010、4010a或4010b内并面向所述远侧末端4001、4001a或4001b外;阴影投掷器4020、4020a或4020b,所述阴影投掷器4020、4020a或4020b在所述成锥形的光纤束4060a上方被安装在所述内窥镜主体4000、4000a或4000b的所述远侧末端4001、4001a或4001b上,所述阴影投掷器4020或4020a包括:半圆形片;光发射装置3900,所述光发射装置3900包括:水平平台3930;竖直座3905,所述竖直座3905从所述水平平台3930扩张;步进电机线性致动器3940,所述步进电机线性致动器3940从所述水平平台3930扩张;支撑平台3915,所述支撑平台3915从所述竖直座3905悬置;光源(未示出);光纤束3910,所述光纤束3910从所述光源悬置;方形到圆形锥形物3920,所述方形到圆形锥形物3920从所述光纤束3910悬置;以及狭缝3925,所述狭缝3925被安装到所述步进电机线性致动器3940;存储在非暂时性计算机可读介质中的存储器;处理器(未示出),所述处理器包括:所述计算机可读介质;以及显示器(未示出);其中,所述光发射装置3900连接到所述光源;其中,所述光源照亮所述光纤束3910、所述方形到圆形锥形物3920、所述狭缝3925、所述成锥形的光纤束4060a和所述阴影投掷器4020或4020a,以投射已知几何形状的高对比度阴影,这在所述物体上形成所述一个或多个亮度边缘;其中,所述步进电机线性致动器3940移动所述狭缝3925,以遍及所述物体扫掠所述一个或多个亮度边缘;其中,所述内窥镜相机4030、4030a或4030b检测所述物体上的所述一个或多个亮度边缘以获得三维点,并将所述三维点记录到所述存储器中;其中,所述处理器根据记录的所述三维点形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述物体的所述三维模型;并且其中,使用所述处理器将所述三维模型显示在所述显示器上。在图41中,光路框图4100描述了内窥镜阴影投掷器扫描仪3700和移动狭缝型内窥镜阴影投掷器扫描仪3900的光路。首先,在光源步骤4110中,从光源3701发出光。接下来,在光源注入器步骤4120中,通过光发射装置3700和3900来点亮灯,在所述步骤中,移动光源3701或者移动狭缝3925。接下来,在光纤步骤4130中,来自光发射装置3700和3900的光沿成锥形的光纤束4060a行进。接下来,在远侧末端步骤4140中,光从所述内窥镜主体4000、4000a或4000b的远侧末端远侧末端4001、4001a或4001b投射出并穿过阴影投掷器4020、4020a或4020b。接下来,在相机步骤4150中,由内窥镜相机4030、4030a或4030b检测光和亮度边缘。最后,在计算机步骤4160中,将来自内窥镜相机4030、4030a或4030b的图像发送到处理器,以处理成三维模型。在图42中,内窥镜操作流程图4200描述了在外科手术期间被使用的内窥镜阴影投掷器扫描仪3700和移动狭缝型内窥镜阴影投掷器扫描仪3900的操作。内窥镜阴影投掷器扫描仪3700和移动狭缝型内窥镜阴影投掷器扫描仪3900的操作中的第一步骤包括:在盖住扫描仪步骤4203中,用定制的盖布盖住扫描仪,所述盖布非常适合于外科手术、并且符合内窥镜阴影投掷器扫描仪3700和移动狭缝型内窥镜阴影投掷器扫描仪3900的外部、并且能够保护患者在外科手术期间免受污染。接下来,在插入扫描仪步骤4205中,将内窥镜阴影投掷器扫描仪3700或移动狭缝型内窥镜阴影投掷器扫描仪3900的远侧末端4001、4001a或4001b插入天然或人造孔口中。接下来,在启用步骤4210中,启用光源3701和内窥镜相机4030、4030a或4030b。接下来,在导航步骤4240中,将内窥镜阴影投掷器扫描仪3700或移动狭缝型内窥镜阴影投掷器扫描仪3900的远侧末端4001、4001a或4001b导航到目标。接下来,在聚焦判定步骤4215中,判定内窥镜相机4030、4030a或4030b是否聚焦在目标上。如果内窥镜相机4030、4030a或4030b未聚焦,则在聚焦相机步骤4220中使内窥镜相机4030、4030a或4030b聚焦。一旦内窥镜相机4030、4030a或4030b被聚焦,则在开始录制步骤4225中内窥镜相机4030、4030a或4030b开始录制目标的视频。接下来,在开始扫掠步骤4245中,通过移动内窥镜阴影投掷器扫描仪3700的光源3701或移动狭缝型内窥镜阴影投掷器扫描仪3900的狭缝3925,亮度边缘开始遍及对象进行扫掠。接下来,在收集和分析步骤4250中,处理器收集所录制视频的帧并对其进行分析,以形成点云。接下来,在过滤新云点步骤4252中,处理器过滤新的云点。接下来,在更新经过滤的云点步骤4254中,更新经过滤的点云显示。接下来,在整个扫描判定步骤4267中,判定是否已经扫描了整个感兴趣区。如果尚未扫描整个感兴趣区,则如上所述,重复收集和分析步骤4250。如果已经扫描了整个感兴趣区,则在过滤整个点云步骤4270中处理器对整个点云进行过滤。接下来,在构造表面步骤3275中,处理器根据过滤后的点云构造三维表面的模型。接下来,在发送表面步骤4263中,将表面发送到导航计算机。接下来,在保存文件步骤4235中,将表面保存到文件中。接下来,在显示图像步骤4255中,处理器将模型显示在显示器上。在另一扫描判定步骤4230中,判定是否需要进行另一次扫描。如果需要进行另一次扫描,则如上所述,重复开始扫掠步骤4245。如果不需要进行另一次扫描,则在停止扫掠步骤4260中亮度边缘停止遍及对象进行扫掠。接下来,在停止录制步骤4265中,相机停止录制对象的视频。接下来,在揭开扫描仪盖布步骤4277中,揭开扫描仪盖布。最后,在存储扫描仪步骤4280中,在操作之后存储扫描仪。在图43中,内窥镜算法流程图4300描述了由内窥镜阴影投掷器扫描仪3700和移动狭缝型内窥镜阴影投掷器扫描仪3900使用的算法。用于内窥镜阴影投掷器扫描仪3700或移动狭缝型内窥镜阴影投掷器扫描仪3900的算法中的第一步骤包括在启动程序步骤4304中启动程序。接下来,在收集参数步骤4308中,收集用户提供的或程序指定的扫描和分析参数。接下来,在开始录制步骤4325中,内窥镜相机4030、4030a或4030b开始录制视频。接下来,在开始扫掠步骤4345中,启动步进电机线性致动器3740或3940,以便移动内窥镜阴影投掷器扫描仪3700的光源3701或移动狭缝型内窥镜阴影投掷器扫描仪3900的狭缝3925,以便遍及目标扫掠亮度边缘。接下来,在收集视频步骤4350中,收集所录制视频的帧。接下来,在缓冲器判定步骤4324中,判定视频缓冲器是否被填充得足以进行分析。如果缓冲器未被填充得足够,则如上所述,重复收集视频步骤4350。如果缓冲器被填充得足以进行分析,则在分析帧步骤4344中对视频帧进行分析以建立点云。接下来,在仍然缓冲判定步骤4358中,判定缓冲器中是否仍有足够的帧。如果缓冲器中没有足够的帧,则如上所述,重复缓冲器判定步骤4324。如果缓冲器中仍有足够的帧,则在完成扫掠判定步骤4378中判定是否完成扫掠。如果扫掠未完成,则如上所述,重复分析帧步骤4344。如果完成了扫掠,则在停止电机步骤4368中停止步进电机线性致动器3740或3940。接下来,在停止录制步骤4365中,内窥镜相机4030、4030a或4030b停止录制对象的视频。接下来,在完成分析帧步骤4364中,完成对帧进行分析。接下来,在过滤点云步骤4370中,处理器对点云进行过滤。接下来,在构造表面步骤4375中,处理器根据过滤后的点云构造三维表面的模型。接下来,在保存文件步骤4335中,将表面保存到文件中。接下来,在显示图像步骤4355中,处理器将模型显示在显示器上。在另一扫描判定步骤4330中,判定是否要求进行另一次扫描。如果要求进行另一次扫描,则如上所述,重复开始录制步骤4325。最后,如果不要求进行另一次扫描,则在退出算法步骤4390中用户退出算法。在图44中,内窥镜扫掠流程图4400描述了内窥镜阴影投掷器扫描仪3700和移动狭缝型内窥镜阴影投掷器扫描仪3900的阴影投掷器扫掠。首先,在设置电机参数步骤4407中,设置步进电机线性致动器3740或3940的参数。接下来,在开始扫掠步骤4445中,通过移动内窥镜阴影投掷器扫描仪3700的光源3701或移动狭缝型内窥镜阴影投掷器扫描仪3900的狭缝3925,光源3701开始扫掠。接下来,在获取当前电机位置步骤4447中,确定步进电机线性致动器3740或3940的位置。接下来,在结束扫掠判定步骤4449中,判定光源是否达到扫掠结束。如果光源未达到扫掠结束,则如上所述,重复获取当前电机位置步骤4447。如果光源确实达到扫掠结束,并且需要进行另一次扫描,则在重复算法步骤4494中,沿与第一次扫描相反的方向重复设置电机参数步骤4407。为了使用所述成锥形的光纤束4060b,近侧成锥形的光纤束3720和3920必须逐渐变窄为与远侧成锥形的光纤束4060b相同的形状,例如半圆到整圆。
如图37、图38、图39、图40、图41、图42、图43和图44所示的本发明的结构细节为内窥镜套筒4010、4010a或4010b包括柔性材料,诸如塑料、硅树脂、金属等。成锥形的光纤束4060a和4060b包括光纤、玻璃、塑料、复合材料等。内窥镜相机4030、4030a或4030b包括标准内窥镜相机等。阴影投掷器4020、4020a或4020b包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料,并且可以进一步包括可配置的形状、三维打印形状、可配置的不透明性(诸如液晶等)或各种彩色滤光片等。水平平台3730和3930包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。竖直座3705和3905包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。步进电机线性致动器3740和3940包括线性步进电机、电动电机、液压系统等。平移平台3715包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。光源3701包括白炽灯、卤素灯、荧光灯、线性灯、有狭缝的管灯、LED、LED阵列、LED线性阵列、不同颜色的光源、彩色LED、激光器、X射线源、UV源、红外源等。圆柱形透镜3760包括光学材料,诸如玻璃、丙烯酸、陶瓷等。光纤束3710和3910包括光学材料,诸如玻璃、丙烯酸、陶瓷等。方形到圆形锥形物3720和3920包括玻璃、塑料等。狭缝3725包括不透明材料,诸如钢、包覆铜、塑料、高密度塑料、不透明涂料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。存储在非暂时性计算机可读介质中的存储器包括软件、指令、数据、算法等。处理器包括计算机、移动电话、PC、CPU等。显示器包括监视器、屏幕、电视、增强现实头戴式装置、显微镜等。支撑平台3915包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。狭缝3925包括不透明材料,诸如钢、包覆铜、塑料、高密度塑料、不透明涂料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。
现在参考本发明的另一实施例,在图45和图46中,示出了全身阴影扫描仪4500。图45是扫描全身4570的全身阴影扫描仪4500的前透视图。图46示出了描述全身阴影扫描仪4500的操作的全身操作流程图4600。
更详细地,仍然参考本发明的图45和图46,全身阴影扫描仪4500的结构与阴影投掷器扫描仪2400类似;然而,所述全身阴影扫描仪被缩放并被适配用于能够扫描全身4570的表面,并且可以被安装在全身4570上方,诸如在房间的天花板上。全身阴影扫描仪4500使用全身阴影投掷器4520来在全身4570上投射亮度边缘,并使用全身相机4530来记录所述亮度边缘。全身阴影扫描仪4500用于扫描皮肤或进行皮肤病学检查,并且能够映射全身4570皮肤上的特征,诸如痣、雀斑、皮肤病变、皮肤癌、疣、增生、缺陷、伤口等。可选地,可以将人放置成非常靠近全身阴影扫描仪4500和/或类似扫描仪的较小型实施例,以在较小的感兴趣区上进行高分辨率扫描,以便专注于例如单个痣的三维形状。在不同时间执行的扫描还可以提供全身4570的皮肤变化记录,例如,可以建立新的痣或不同特征的记录。此外,与彩色滤光片一起使用可以在扫描期间识别不同的组织,诸如识别肿瘤或癌性区。在图46中,全身操作流程图4600描述了被使用的全身阴影扫描仪4500的操作。全身阴影扫描仪4500的操作中的第一步骤包括:在定位扫描仪步骤4605中,将全身阴影扫描仪4500定位在全身4570上方,或者将全身4570定位在全身阴影扫描仪4500下方。接下来,在对准判定步骤4610中,判定全身阴影扫描仪4500是否与对象对准,在这种情况下,所述对象是全身4570。如果扫描仪未对准,则在对准扫描仪步骤4640中将扫描仪与对象对准。一旦对准了扫描仪,就在聚焦判定步骤4615中判定相机是否聚焦在对象上。如果相机未聚焦,则在聚焦相机步骤4620中使相机聚焦。一旦相机被聚焦,则在开始录制步骤4625中相机开始录制对象的视频。接下来,在开始扫掠步骤4645中,阴影投掷器开始遍及对象扫掠亮度边缘。接下来,在收集和分析步骤4650中,处理器收集所录制视频的帧并对其进行分析,以形成点云。接下来,在停止扫掠步骤4660中,阴影投掷器4520停止遍及对象扫掠亮度边缘。接下来,在停止录制步骤4665中,相机停止录制对象的视频。接下来,在过滤点云步骤4670中,处理器对点云进行过滤。接下来,在构造表面步骤4675中,处理器根据过滤后的点云构造三维表面的模型。接下来,在显示图像步骤4655中,处理器将模型显示在显示器上。在另一扫描判定步骤4630中,判定是否需要进行另一次扫描。如果需要进行另一次扫描,则如上所述,重复开始扫掠步骤4645。如果不需要进行另一次扫描,则在保存文件步骤4635中将表面组合并保存到文件中。最后,在存储扫描仪步骤4680中,在操作之后存储全身阴影扫描仪4500。
如图45和图46所示的本发明的结构细节与如图37、图38、图39、图40、图41、图42、图43和图44所示的本发明的结构细节大体上相同。
现在参考本发明的另一实施例,在图47和图48中,示出了安全阴影扫描仪4700。图47是扫描行走的人4770的安全阴影扫描仪4700的前透视图。图46描绘了描述安全阴影扫描仪4700的操作的安全扫描仪操作流程图4800。
更详细地,仍然参考本发明的图47和图48,安全阴影扫描仪4700的结构与阴影投掷器扫描仪2400类似;然而,所述安全阴影扫描仪可以使用行走的人4770的运动来扫掠亮度边缘,并且可以进一步包括一个或多个附加相机4737,所述附加相机可以被安装在壁4772上,以便测量行走的人4770的速度。安全阴影扫描仪4700被缩放并被适配用于能够扫描行走的人4770的表面,并且可以被安装在行走的人4770上方,诸如在房间4710的天花板4776上。其他版本可能会将光源安装在房间的天花板中。安全阴影扫描仪4700使用固定的阴影投掷器4720来在行走的人4770上投射亮度边缘,并使用安全相机4730和可选的附加相机4737来记录所述亮度边缘。附加相机4737(并且实际上,安全相机4730和附加相机4737两者)可以不仅检测亮度边缘,还可以检测物体本身以帮助确定物体的速度。安全阴影扫描仪4700用于扫描人是否存在安全风险,并且可以被放置在建筑物的入口处或安保区域的入口港处。此外,与彩色滤光片一起使用可以在扫描期间识别不同的特征,诸如识别武器或违禁品。在图48中,安全扫描仪操作流程图4800描述了被使用的安全阴影扫描仪4700的操作。安全阴影扫描仪4700的操作中的第一步骤包括在激活扫描仪步骤4801中激活安全阴影扫描仪4700。接下来,在聚焦判定步骤4815中,判定安全相机4730和可选的附加相机4737是否聚焦在对象上。如果安全相机4730和可选的附加相机4737未聚焦,则在聚焦相机步骤4820中使安全相机4730和可选的附加相机4737聚焦。一旦安全相机4730和可选的附加相机4737被聚焦,则在开始录制步骤4825中,当行走的人4770在安全相机4730和可选的附加相机4737的视野中行走时,安全相机4730和可选的附加相机4737开始录制对象的视频。接下来,在收集帧步骤4850中,处理器收集所录制视频的帧。接下来,在计算速度步骤4851中,处理器计算对象的速度,在这种情况下,所述对象是行走的人4770。接下来,在分析帧步骤4844中,使用处理器来分析来自安全相机4730的帧,以形成点云。接下来,在整个扫描判定步骤4867中,判定是否已经扫描了整个感兴趣区。如果尚未扫描整个感兴趣区,则如上所述,重复收集帧步骤4850。如果已经扫描了整个感兴趣区,则在过滤点云步骤4870中处理器对点云进行过滤。接下来,在构造表面步骤4875中,处理器根据过滤后的点云构造三维表面的模型。接下来,在保存文件步骤4835中,将表面保存到文件中。接下来,在发送表面步骤4871中,将表面发送到处理器以进行显示。在另一扫描判定步骤4830中,判定是否需要进行另一次扫描。如果需要进行另一次扫描,则如上所述,重复收集帧步骤4850。最后,如果不需要进行另一次扫描,则在去激活扫描仪步骤4881中去激活扫描仪。
如图47和图48所示的本发明的结构细节与如图37、图38、图39、图40、图41、图42、图43和图44所示的本发明的结构细节大体上相同。
现在参考本发明的另一实施例,在图49、图50、图51、图52和图53中,示出了视觉阴影扫描仪4900。图49示出了结合到交通工具中的视觉阴影扫描仪4900的前透视图,所述交通工具是汽车4901。图50是图49的所指示区域4911的特写视图。图51显示了视觉扫描仪操作流程图5100,其描述了结合到交通工具中的视觉阴影扫描仪4900的操作。图52展示了机器人视觉扫描仪操作流程图5200,其描述了结合到机器人中的视觉阴影扫描仪4900的操作。图53是潜水器视觉扫描仪操作流程图5300,其描述了结合到潜水器中的视觉阴影扫描仪4900的操作。
更详细地,仍然参考本发明的图49、图50、图51、图52和图53,在图49和图50中,视觉阴影扫描仪4900使用移动交通工具的运动来在交通工具周围环境中扫掠亮度边缘,以生成周围环境的三维模型,并且所述视觉阴影扫描仪包括:安装在光源4950上方的阴影投掷器4920,所述阴影投掷器包括顶点4999,所述光源从所述顶点4999悬置、在汽车4901的前照灯4998上方或放置在汽车4901的内部,其中,光源4950与图14中描述的光源一致;安装在汽车4901的车顶4903上的相机4930;以及处理器(未示出)。在图51中,视觉扫描仪操作流程图5100描述了结合到交通工具中的视觉阴影扫描仪4900的操作。视觉阴影扫描仪4900的操作中的第一步骤包括在激活扫描仪步骤5101中激活视觉阴影扫描仪4900。接下来,在对准判定步骤5110中,判定视觉阴影扫描仪4900是否对准。如果视觉阴影扫描仪4900未对准,则在对准扫描仪步骤5140中使用电机来使视觉阴影扫描仪4900对准。一旦对准了视觉阴影扫描仪4900,就在聚焦判定步骤5115中判定相机4930是否被聚焦。如果相机4930未聚焦,则在聚焦相机步骤5120中使用电机来使相机4930聚焦。一旦相机4930被聚焦,则在开始录制步骤5125中相机4930开始录制交通工具周围环境的视频。接下来,在收集帧步骤5150中,处理器收集所录制视频的帧。接下来,在确定速度步骤5151中,由处理器确定交通工具的速度。接下来,在分析帧步骤5144中,使用处理器来分析来自相机4930的帧,以形成点云。接下来,在整个扫描判定步骤5167中,判定是否已经扫描了整个感兴趣区。如果尚未扫描整个感兴趣区,则如上所述,重复收集帧步骤5150。如果已经扫描了整个感兴趣区,则在过滤点云步骤5170中处理器对整个点云进行过滤。接下来,在构造表面步骤5175中,处理器根据过滤后的点云构造交通工具周围环境的三维模型。接下来,在发送表面步骤5171中,将表面发送到处理器。接下来,在另一扫描判定步骤5130中,判定是否需要进行另一次扫描。如果需要进行另一次扫描,则如上所述,重复对准判定步骤5110。接下来,如果不需要进行另一次扫描,则在停止录制步骤5165中相机4930停止录制交通工具周围环境的视频。最后,在去激活扫描仪步骤5181中,去激活扫描仪。在图52中,机器人视觉扫描仪操作流程图5200描述了结合到机器人中的阴影投掷器扫描仪的操作,其与视觉阴影扫描仪4900的不同之处在于其主动扫描机器人的周围环境而不依赖于交通工具的速度来在周围环境中扫掠亮度边缘。结合到机器人中的扫描仪的操作中的第一步骤包括在激活扫描仪步骤5201中激活扫描仪。接下来,在对准判定步骤5210中,判定扫描仪是否对准。如果扫描仪未对准,则在对准扫描仪步骤5240中使用机器人控制的电机来使扫描仪对准。一旦对准了扫描仪,就在聚焦判定步骤5215中判定相机是否被聚焦。如果相机未聚焦,则在聚焦相机步骤5220中使用机器人控制的电机来使相机聚焦。一旦相机被聚焦,则在开始录制步骤5225中相机开始录制机器人周围环境的视频。接下来,在开始扫掠步骤5245中,阴影投掷器开始在机器人周围环境中扫掠亮度边缘。接下来,在收集和分析帧步骤5250中,处理器收集所录制视频的帧并对其进行分析,以形成点云。接下来,在整个扫描判定步骤5267中,判定是否已经扫描了整个感兴趣区。如果尚未扫描整个感兴趣区,则如上所述,重复收集和分析帧步骤5250。如果已经扫描了整个感兴趣区,则在过滤点云步骤5270中处理器对点云进行过滤。接下来,在构造表面步骤5275中,处理器根据过滤后的点云构造机器人周围环境的三维模型。接下来,在发送表面步骤5271中,将表面发送到机器人的处理器。接下来,在另一扫描判定步骤5230中,判定是否需要进行另一次扫描。如果需要进行另一次扫描,则如上所述,重复对准判定步骤5210。接下来,如果不需要进行另一次扫描,则在停止扫掠步骤5260中,阴影投掷器停止在机器人周围环境中扫掠亮度边缘。接下来,在停止录制步骤5265中,相机停止录制机器人周围环境的视频。最后,在去激活扫描仪步骤5281中,去激活扫描仪。在图53中,潜水器视觉扫描仪操作流程图5300描述了结合到水下潜水器中的阴影投掷器扫描仪的操作。结合到潜水器中的扫描仪的操作中的第一步骤包括在激活扫描仪步骤5301中激活扫描仪。接下来,在聚焦判定步骤5315中,判定相机是否被聚焦。如果相机未聚焦,则在聚焦相机步骤5320中使相机聚焦。一旦相机被聚焦,则在开始录制步骤5325中相机开始录制潜水器周围环境的视频。接下来,在开始扫掠步骤5345中,灯或移动潜水器开始在潜水器周围环境中扫掠亮度边缘。接下来,在收集和分析帧步骤5350中,处理器收集所录制视频的帧并对其进行分析,以形成点云。接下来,在停止扫掠步骤5360中,灯停止扫掠,或者潜水器停止移动,从而亮度边缘停止在潜水器周围环境扫掠。接下来,在过滤点云步骤5370中,处理器对点云进行过滤。接下来,在构造表面步骤5375中,处理器根据过滤后的点云构造潜水器周围环境的三维模型。接下来,在保存表面步骤5335中,将表面保存到文件中。接下来,在显示图像步骤5355中,处理器将表面显示在显示器上。接下来,在另一扫描判定步骤5330中,判定是否需要进行另一次扫描。如果需要进行另一次扫描,则如上所述,重复开始录制步骤5325。最后,如果不需要进行另一次扫描,则在去激活扫描仪步骤5381中去激活扫描仪。
如图49、图50、图51、图52和图53所示的本发明的结构细节为阴影投掷器4920包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料,并且可以进一步包括可配置的形状、三维打印形状、可配置的不透明性(诸如液晶等)或各种彩色滤光片等。前照灯4998包括标准前照灯或定制前照灯等。光源4950包括线性光源或点光源等。汽车4901包括标准汽车、自动驾驶汽车、遥控汽车、机器人、潜水器等。相机4930包括数字或模拟视频相机等。
现在参考本发明的另一实施例,在图54、图55、图56、图57、图58和图59中,示出了本发明的系统,所述系统使用无人机利用阴影投掷器来扫描大区域。图54演示了太阳无人机阴影投掷器扫描仪系统5400的前透视图,所述系统使用无人机和太阳光来扫描房屋5470。图55是太阳无人机操作流程图5500,其描述了太阳无人机阴影投掷器扫描仪系统5400的操作。图56是无人机阴影投掷器扫描仪系统5600的前透视图,所述系统使用带有光源的无人机来扫描区域。图57示出了无人机操作流程图5700,其描述了无人机阴影投掷器扫描仪系统5600的操作。图58描绘了无人机算法流程图5800,其描述了由太阳无人机阴影投掷器扫描仪系统5400和无人机阴影投掷器扫描仪系统5600使用的算法。图59是无人机扫掠流程图5900,其描述了由太阳无人机阴影投掷器扫描仪系统5400和无人机阴影投掷器扫描仪系统5600使用的阴影投掷器扫掠。
更详细地,仍然参考本发明的图54、图55、图56、图57、图58和图59,在图54和图55中,太阳无人机阴影投掷器扫描仪系统5400包括多个阴影无人机5420,每个所述阴影无人机5420包括:无人机,所述无人机包括:遥控飞行器和阴影投掷器5424,所述阴影投掷器5424包括:面板,所述面板从所述无人机悬置;多个相机无人机5430,每个所述相机无人机包括:所述无人机和视频相机,所述视频相机从所述无人机悬置;存储在非暂时性计算机可读介质中的存储器;处理器(未示出),所述处理器能够控制所述阴影无人机5420和所述相机无人机5430,所述处理器包括:所述计算机可读介质;以及显示器(未示出);其中,所述多个阴影无人机5420在飞行编队中对齐,使得所述阴影投掷器5424形成大体上连续的统一阴影投掷器,所述统一阴影投掷器包括对齐的所述阴影投掷器5424;其中,太阳照亮所述统一阴影投掷器以投射已知几何形状的高对比度阴影5467,所述阴影在房屋5470及其周围环境上形成所述一个或多个亮度边缘;其中,所述飞行编队中的对齐的所述多个阴影无人机5420以编队形式遍及所述区域,以遍及所述房屋5470及其周围环境扫掠所述一个或多个亮度边缘;其中,所述相机无人机5430的所述视频相机检测所述房屋5470及其周围环境上的所述一个或多个亮度边缘以获得三维点,并将所述三维点记录到所述存储器中;其中,所述处理器根据记录的所述三维点形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述房屋5470及其周围环境的所述三维模型;并且其中,使用所述处理器将所述三维模型显示在所述显示器上。在图55中,太阳无人机操作流程图5500描述了太阳无人机阴影投掷器扫描仪系统5400的操作。太阳无人机阴影投掷器扫描仪系统5400的操作中的第一步骤包括在附接阴影投掷器步骤5502中将阴影投掷器5424附接到阴影无人机5420。接下来,在布置阴影投掷器步骤5511中,将阴影无人机5420布置成在半空中形成几乎连续的阴影投掷器。接下来,在定位相机无人机步骤5505中,将相机无人机5430定位在阴影无人机5420上方的半空中。接下来,在对准判定步骤5510中,判定阴影无人机5420是否与相机无人机5430对准。如果阴影无人机5420未与相机无人机5430对准,则在对准无人机步骤5540中使无人机对准。一旦阴影无人机5420与相机无人机5430对准,就在聚焦判定步骤5515中判定相机无人机5430是否聚焦在对象上。如果相机无人机5430未聚焦,则在聚焦相机步骤5520中使相机无人机5430聚焦。一旦相机无人机5430被聚焦,则在开始录制步骤5525中相机无人机5430开始录制对象的视频。接下来,在开始扫掠步骤5545中,阴影无人机5420通过使用太阳作为光源跨对象且在对象上方一致地飞行来开始遍及对象扫掠亮度边缘。接下来,在收集和分析步骤5550中,处理器收集所录制视频的帧并对其进行分析,以形成点云。接下来,在过滤新云点步骤5574中,处理器过滤新的云点。接下来,在更新经过滤的云点步骤5554中,更新经过滤的点云显示。接下来,在整个扫描判定步骤5567中,判定是否已经扫描了整个物体。如果尚未扫描整个物体,则如上所述,重复收集和分析步骤5550。如果已经扫描了整个物体,则在过滤整个点云步骤5570中处理器对整个点云进行过滤。接下来,在构造表面步骤5575中,处理器根据过滤后的点云构造三维表面的模型。接下来,在保存文件步骤5535中,将表面保存到文件中。接下来,在显示图像步骤5555中,处理器将模型显示在显示器上。在另一扫描判定步骤5530中,判定是否需要进行另一次扫描。如果需要进行另一次扫描,则如上所述,重复布置阴影投掷器步骤5511。如果不需要进行另一次扫描,则在停止扫掠步骤5560中,阴影无人机5420停止遍及对象扫掠亮度边缘。最后,在存储扫描仪步骤5580中,在操作之后存储无人机。在图56和图57中,无人机阴影投掷器扫描仪系统5600包括多个阴影无人机5620,每个所述阴影无人机5620包括:无人机,所述无人机包括:遥控飞行器和阴影投掷器5624,所述阴影投掷器5624包括:面板,所述面板从所述无人机悬置;多个光无人机5650,每个所述光无人机5650包括:所述无人机和光源,所述光源从所述无人机悬置;多个相机无人机5630,每个所述相机无人机5630包括:所述无人机和视频相机,所述视频相机从所述无人机悬置;存储在非暂时性计算机可读介质中的存储器;处理器(未示出),所述处理器能够控制所述阴影无人机5620、所述光无人机5650和所述相机无人机5630,所述处理器包括:所述计算机可读介质;以及显示器(未示出);其中,所述多个阴影无人机5640在飞行编队中对齐,使得所述阴影投掷器5624形成大体上连续的统一阴影投掷器,所述统一阴影投掷器包括对齐的所述阴影投掷器5624;其中,所述光无人机5650照亮所述统一阴影投掷器以投射已知几何形状的高对比度阴影5667,所述阴影在房屋5670及其周围环境上形成所述一个或多个亮度边缘;其中,所述飞行编队中的对齐的所述多个阴影无人机5620以编队形式遍及所述房屋5670及其周围环境,以遍及所述房屋5670及其周围环境扫掠所述一个或多个亮度边缘;其中,所述相机无人机5630的所述视频相机检测所述房屋5670及其周围环境上的所述一个或多个亮度边缘以获得三维点,并将所述三维点记录到所述存储器中;其中,所述处理器根据记录的所述三维点形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述房屋5670及其周围环境的所述三维模型;并且其中,使用所述处理器将所述三维模型显示在所述显示器上。在图57中,无人机操作流程图5700描述了无人机阴影投掷器扫描仪系统5600的操作。无人机阴影投掷器扫描仪系统5600的操作中的第一步骤包括在附接阴影投掷器步骤5702中将阴影投掷器5624附接到阴影无人机5620。接下来,在附接灯步骤5708中将灯附接到光无人机5650。接下来,在定位光无人机步骤5718中,将光无人机5650定位在半空中。接下来,在布置阴影投掷器步骤5711中,将阴影无人机5620布置成在半空中形成几乎连续的阴影投掷器。接下来,在定位相机无人机步骤5705中,将相机无人机5630定位在阴影无人机5620上方的半空中。接下来,在对准判定步骤5710中,判定阴影无人机5620和光无人机5650是否与相机无人机5630对准。如果阴影无人机5620和光无人机5650未与相机无人机5630对准,则在对准无人机步骤5740中使无人机对准。一旦阴影无人机5620和光无人机5650与相机无人机5630对准,就在聚焦判定步骤5715中判定相机无人机5630是否聚焦在对象上。如果相机无人机5630未聚焦,则在聚焦相机步骤5720中使相机无人机5630聚焦。一旦相机无人机5630被聚焦,则在开始录制步骤5725中相机无人机5630开始录制对象的视频。接下来,在开始扫掠步骤5745中,阴影无人机5620通过使用光无人机5650作为光源跨对象且在对象上方一致地飞行来开始遍及对象扫掠亮度边缘。接下来,在收集和分析步骤5750中,处理器收集所录制视频的帧并对其进行分析,以形成点云。接下来,在过滤新云点步骤5774中,处理器过滤新的云点。接下来,在更新经过滤的云点步骤5754中,更新经过滤的点云显示。接下来,在整个扫描判定步骤5767中,判定是否已经扫描了整个物体。如果尚未扫描整个物体,则如上所述,重复收集和分析步骤5750。如果已经扫描了整个物体,则在过滤整个点云步骤5770中处理器对整个点云进行过滤。接下来,在构造表面步骤5775中,处理器根据过滤后的点云构造三维表面的模型。接下来,在保存文件步骤5735中,将表面保存到文件中。接下来,在显示图像步骤5755中,处理器将模型显示在显示器上。在另一扫描判定步骤5730中,判定是否需要进行另一次扫描。如果需要进行另一次扫描,则如上所述,重复定位光无人机步骤5718。如果不需要进行另一次扫描,则在停止扫掠步骤5760中,阴影无人机5620停止遍及对象扫掠亮度边缘。最后,在存储扫描仪步骤5780中,在操作之后存储无人机。在图58中,无人机算法流程图5800描述了由太阳无人机阴影投掷器扫描仪系统5400和无人机阴影投掷器扫描仪系统5600使用的算法。用于太阳无人机阴影投掷器扫描仪系统5400和无人机阴影投掷器扫描仪系统5600的算法中的第一步骤包括在启动程序步骤5804中启动程序。接下来,在收集参数步骤5808中,收集用户提供的或程序指定的扫描和分析参数。接下来,在确保协调步骤5811中确保对无人机进行协调。接下来,在开始录制步骤5825中,相机无人机5430或5630开始录制视频。接下来,在开始扫掠步骤5845中,阴影无人机5420或5620通过跨对象且在对象上方一致地飞行来开始遍及对象扫掠亮度边缘。接下来,在收集视频步骤5850中,收集所录制视频的帧。接下来,在缓冲器判定步骤5824中,判定视频缓冲器是否被填充得足以进行分析。如果缓冲器未被填充得足够,则如上所述,重复收集视频步骤5850。如果缓冲器被填充得足以进行分析,则在分析帧步骤5844中对视频帧进行分析以建立点云。接下来,在仍然缓冲判定步骤5858中,判定缓冲器中是否仍有足够的帧。如果缓冲器中没有足够的帧,则如上所述,重复缓冲器判定步骤5824。如果缓冲器中仍有足够的帧,则在无人机对准判定步骤5810中判定无人机是否仍对准。如果无人机未对准,则在对准无人机步骤5840中使无人机对准。一旦对准了无人机,就在完成扫掠判定步骤5878中判定是否完成扫掠。如果扫掠未完成,则如上所述,重复分析帧步骤5844。如果完成了扫掠,则在停止扫掠步骤5860中,阴影无人机5420或5620停止扫掠。接下来,在录制停止步骤5865中,相机无人机5430或5630停止录制对象的视频。接下来,在完成分析帧步骤5864中,完成对帧进行分析。接下来,在过滤点云步骤5870中,处理器对点云进行过滤。接下来,在构造表面步骤5875中,处理器根据过滤后的点云构造三维表面的模型。接下来,在保存文件步骤5835中,将表面保存到文件中。接下来,在显示图像步骤5855中,处理器将模型显示在显示器上。在另一扫描判定步骤5830中,判定是否要求进行另一次扫描。如果要求进行另一次扫描,则如上所述,重复确保协调步骤5811。最后,如果不要求进行另一次扫描,则在退出算法步骤5890中用户退出算法。在图59中,无人机扫掠流程图5900描述了由太阳无人机阴影投掷器扫描仪系统5400和无人机阴影投掷器扫描仪系统5600使用的阴影投掷器扫掠。首先,在设置参数步骤5908中,设置无人机的移动参数。接下来,在对准无人机步骤5911中,使无人机在半空中对准。接下来,在开始扫掠步骤5945中,阴影无人机5420或5620通过以恒定速度一致地在目标区域上方飞行来开始扫掠。接下来,在获取当前无人机位置步骤5927中,确定无人机位置。接下来,在无人机失准判定步骤5910中,判定无人机是否失准。如果无人机失准,则在对准无人机步骤5940中使无人机对准。一旦无人机未失准,则在结束扫掠判定步骤5978中判定阴影无人机5420或5620是否达到扫掠结束。如果阴影无人机5420或5620未达到扫掠结束,则如上所述,重复获取当前无人机位置步骤5927。如果阴影无人机5420或5620确实达到扫描结束,并且需要进行另一次扫描,则在重复算法步骤5997中,通过无人机沿与第一次扫描相反的方向行进来重复设置参数步骤5908。
如图54、图55、图56、图57、图58和图59所示的本发明的结构细节为无人机包括标准遥控飞行器等。阴影投掷器5424和5624包括轻质坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料,并且可以进一步包括可配置的形状、三维打印形状、可配置的不透明性(诸如液晶等)或各种彩色滤光片等。相机无人机5430或5630的视频相机包括数字或模拟视频相机等。光无人机5650的光源包括白炽灯、卤素灯、荧光灯、线性灯、有狭缝的管灯、LED、LED阵列、LED线性阵列、不同颜色的光源、彩色LED、激光器、X射线源、UV源、红外源等。存储在非暂时性计算机可读介质中的存储器包括软件、指令、数据、算法等。处理器包括计算机、移动电话、PC、CPU等。显示器包括监视器、屏幕、电视、增强现实头戴式装置、显微镜等。
现在参考本发明的另一实施例,在图60和图61中,示出了三脚架阴影扫描仪系统6000。图60是体育场6070中的三脚架阴影扫描仪系统6000的透视图。图61是在扫描体育场的过程中的三脚架阴影扫描仪系统6000的透视图。
更详细地,仍然参考本发明的图60和图61,三脚架阴影扫描仪系统6000包括:阴影投掷器平台6037,所述阴影投掷器平台6037是水平的并且能够旋转;光源6050,所述光源6050从所述阴影投掷器平台6037的中心悬置;至少一个阴影投掷器6020,每个所述阴影投掷器6020从围绕所述光源6050的所述阴影投掷器平台6037悬置并且包括:竖直面板6024和成角度的面板6022,所述成角度的面板6022是朝向所述光源6050成角度;多个视频相机6030,每个所述视频相机6030被安装在三脚架6033上;存储在非暂时性计算机可读介质中的存储器;处理器(未示出),所述处理器包括:所述计算机可读介质;以及显示器(未示出);其中,所述多个视频相机6030围绕所述阴影投掷器平台6037布置;其中,所述光源6050照亮所述至少一个阴影投掷器6020以投射已知几何形状的高对比度阴影6067,所述阴影在体育场6070上形成所述一个或多个亮度边缘;其中,所述阴影投掷器平台6037被旋转,从而使所述阴影投掷器6020围绕所述光源6050旋转,以遍及所述体育场6070扫掠所述一个或多个亮度边缘;其中,所述多个视频相机6030检测所述体育场6070上的所述一个或多个亮度边缘以获得三维点,并将所述三维点记录到所述存储器中;其中,所述处理器根据记录的所述三维点形成三维数据表示;其中,所述处理器使用所述三维数据表示来生成所述体育场的所述三维模型;并且其中,使用所述处理器将所述三维模型显示在所述显示器上。在此实施例的其他版本中,当定向光源6050旋转时,阴影投掷器平台6037保持静止。
如图60和图61所示的本发明的结构细节为阴影投掷器平台6037包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。光源6050包括白炽灯、卤素灯、荧光灯、线性灯、有狭缝的管灯、LED、LED阵列、LED线性阵列、不同颜色的光源、彩色LED、激光器、X射线源、UV源、红外源等。阴影投掷器6020包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料,并且可以进一步包括可配置的形状、三维打印形状、可配置的不透明性(诸如液晶等)或各种彩色滤光片等。竖直面板6024包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料,并且可以进一步包括可配置的形状、三维打印形状、可配置的不透明性(诸如液晶等)或各种彩色滤光片等。成角度的面板6022包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料,并且可以进一步包括可配置的形状、三维打印形状、可配置的不透明性(诸如液晶等)或各种彩色滤光片等。视频相机6030包括数字或模拟视频相机等。存储在非暂时性计算机可读介质中的存储器包括软件、指令、数据、算法等。处理器包括计算机、移动电话、PC、CPU等。显示器包括监视器、屏幕、电视、增强现实头戴式装置、显微镜等。
现在参考本发明的另一实施例,在图62、图63和图64中,示出了单个移动阴影投掷器扫描仪或台式阴影扫描仪的算法、扫掠和操作流程图。图62显示了描述由使用单个阴影投掷器的单个移动阴影投掷器扫描仪或台式阴影扫描仪所使用的算法的算法流程图6200。图63是扫掠流程图6300,其描述了由单个移动阴影投掷器扫描仪或台式阴影扫描仪使用的阴影投掷器扫掠。图64演示了描述单个移动阴影投掷器扫描仪或台式阴影扫描仪的操作的操作流程图6400。
更详细地,仍然参考本发明的图62、图63、和图64,在图62中,算法流程图6200描述了由单个移动阴影投掷器扫描仪或台式阴影扫描仪使用的算法。用于单个移动阴影投掷器扫描仪或台式阴影扫描仪的算法中的第一步骤包括在启动程序步骤6204中启动程序。接下来,在收集参数步骤6208中,收集用户提供的或程序指定的扫描和分析参数。接下来,在开始录制步骤6225中,相机开始录制视频。接下来,在开始扫掠步骤6245中,启动电机,以便移动阴影投掷器并遍及对象扫掠亮度边缘。接下来,在收集视频步骤6250中,收集所录制视频的帧。接下来,在缓冲器判定步骤6224中,判定视频缓冲器是否被填充得足以进行分析。如果缓冲器未被填充得足够,则如上所述,重复收集视频步骤6250。如果缓冲器被填充得足以进行分析,则在分析帧步骤6244中对视频帧进行分析以建立点云。接下来,在过滤新云点步骤6252中,处理器过滤新的云点。接下来,在更新经过滤的云点步骤6254中,更新经过滤的点云显示。接下来,在仍然缓冲判定步骤6258中,判定缓冲器中是否仍有足够的帧。如果缓冲器中没有足够的帧,则如上所述,重复缓冲器判定步骤6224。如果缓冲器中仍有足够的帧,则在完成扫掠判定步骤6278中判定是否完成扫掠。如果扫掠未完成,则如上所述,重复分析帧步骤6244。如果完成了扫掠,则在停止电机步骤6268中停止电机。接下来,在停止录制步骤6265中,相机停止录制对象的视频。接下来,在完成分析帧步骤6264中,完成对帧进行分析。接下来,在过滤点云步骤6270中,处理器对点云进行过滤。接下来,在构造表面步骤6275中,处理器根据过滤后的点云构造三维表面的模型。接下来,在保存文件步骤6235中,将表面保存到文件中。接下来,在显示图像步骤6255中,处理器将模型显示在显示器上。在另一扫描判定步骤6230中,判定是否要求进行另一次扫描。如果要求进行另一次扫描,则如上所述,重复开始录制步骤6225。最后,如果不要求进行另一次扫描,则在退出算法步骤6290中用户退出算法。在图63中,扫掠流程图6300描述了由单个移动阴影投掷器扫描仪或台式阴影扫描仪使用的阴影投掷器扫掠。首先,在设置电机参数步骤6308中,设置电机参数。接下来,在开始扫掠步骤6345中,阴影投掷器开始遍及对象扫掠亮度边缘。接下来,在获取当前电机位置步骤6327中,确定电机位置。接下来,在结束扫掠判定步骤6378中,判定阴影投掷器是否达到扫掠结束。如果阴影投掷器未达到扫掠结束,则如上所述,重复获取当前电机位置步骤6327。如果阴影投掷器确实达到扫掠结束,并且需要进行另一次扫描,则在重复算法步骤6397中,沿与第一次扫描相反的方向重复设置电机参数步骤6308。在图64中,操作流程图6400描述了单个移动阴影投掷器扫描仪或台式阴影扫描仪的操作。单个移动阴影投掷器扫描仪或台式阴影扫描仪的操作中的第一步骤包括在定位扫描仪步骤6405中将扫描仪定位在对象上方。接下来,在对准判定步骤6410中,判定扫描仪是否与对象对准。如果扫描仪未对准,则在对准扫描仪步骤6440中将扫描仪与对象对准。一旦对准了扫描仪,就在聚焦判定步骤6415中判定相机是否聚焦在对象上。如果相机未聚焦,则在聚焦相机步骤6420中使相机聚焦。一旦相机被聚焦,则在开始录制步骤6425中相机开始录制对象的视频。接下来,在开始扫掠步骤6445中,阴影投掷器开始遍及对象扫掠亮度边缘。接下来,在收集和分析步骤6450中,处理器收集所录制视频的帧并对其进行分析,以形成点云。接下来,在过滤新云点步骤6452中,处理器过滤新的云点。接下来,在更新经过滤的云点步骤6454中,更新经过滤的点云显示。接下来,在整个扫描判定步骤6467中,判定是否已经扫描了整个感兴趣区。如果尚未扫描整个感兴趣区,则如上所述,重复收集和分析步骤6450。如果已经扫描了整个感兴趣区,则在过滤整个点云步骤6470中处理器对整个点云进行过滤。接下来,在构造表面步骤6475中,处理器根据过滤后的点云构造三维表面的模型。接下来,在保存文件步骤6435中,将表面保存到文件中。接下来,在显示图像步骤6455中,处理器将模型显示在显示器上。在另一扫描判定步骤6430中,判定是否需要进行另一次扫描。如果需要进行另一次扫描,则如上所述,重复开始录制步骤6425。如果不需要进行另一次扫描,则在停止扫掠步骤6460中阴影投掷器停止遍及对象扫掠亮度边缘。接下来,在停止录制步骤6465中,相机停止录制对象的视频。最后,在存储扫描仪步骤6480中,在操作之后存储扫描仪。
现在参考本发明的另一实施例,在图65和图66中,示出了房间阴影投掷器扫描仪的操作流程图。图65展示了单个三脚架房间扫描仪的操作流程图6500,其描述了可以与三脚架一起使用以扫描房间的阴影投掷器扫描仪的操作。图66描绘了头顶灯房间扫描仪的操作流程图6600,其描述了可以与头顶灯一起使用以扫描房间的阴影投掷器扫描仪的操作。
更详细地,仍然参考本发明的图65和图66,在图65中,单个三脚架房间扫描仪的操作流程图6500描述了可以与三脚架一起使用以扫描房间的阴影投掷器扫描仪的操作。可以与三脚架一起使用以扫描房间的阴影投掷器的操作中的第一步骤包括在定位扫描仪步骤6505中将三脚架设置在房间中。接下来,在点亮步骤6509中,将灯点打开。接下来,在对准判定步骤6510中,判定扫描仪是否与房间对准。如果扫描仪未对准,则在对准扫描仪步骤6540中将扫描仪与房间对准。一旦对准了扫描仪,就在聚焦判定步骤6515中判定相机是否聚焦在房间上。如果相机未聚焦,则在聚焦相机步骤6520中使相机聚焦。一旦相机被聚焦,则在开始录制步骤6525中相机开始录制房间的视频。接下来,在开始扫掠步骤6545中,光源开始遍及房间扫掠亮度边缘。接下来,在收集和分析步骤6550中,处理器收集所录制视频的帧并对其进行分析,以形成点云。接下来,在过滤新云点步骤6552中,处理器过滤新的云点。接下来,在更新经过滤的云点步骤6554中,更新经过滤的点云显示。接下来,在整个扫描判定步骤6567中,判定是否已经扫描了整个感兴趣区。如果尚未扫描整个感兴趣区,则如上所述,重复收集和分析步骤6550。如果已经扫描了整个感兴趣区,则在过滤整个点云步骤6570中处理器对整个点云进行过滤。接下来,在构造表面步骤6575中,处理器根据过滤后的点云构造房间的三维表面的模型。接下来,在保存文件步骤6535中,将表面保存到文件中。接下来,在显示图像步骤6555中,处理器将模型显示在显示器上。在另一扫描判定步骤6530中,判定是否需要进行另一次扫描。如果需要进行另一次扫描,则如上所述,重复开始扫掠步骤6545。如果不需要进行另一次扫描,则在停止扫掠步骤6560中阴影投掷器停止在房间中扫掠亮度边缘。接下来,在停止录制步骤6565中,相机停止录制房间的视频。最后,在存储扫描仪步骤6580中,在操作之后存储扫描仪。在图66中,头顶灯房间扫描仪的操作流程图6600描述了可以与头顶灯一起使用以扫描房间的阴影投掷器扫描仪的操作。可以与头顶灯一起使用以扫描房间的阴影投掷器的操作中的第一步骤包括在设置步骤6605中将扫描仪件设置在房间中。接下来,在点亮步骤6616中,将头顶灯打开。接下来,在照明判定步骤6617中,判定房间的区域是否被照亮。如果房间的区域未被照亮,则在重新定向灯步骤6618中对灯进行重新定向。一旦房间的区域被照亮,就在对准判定步骤6610中判定阴影投掷器是否与相机对准。如果阴影投掷器未与相机对准,则在对准扫描仪步骤6640中将阴影投掷器与相机对准。一旦阴影投掷器与相机对准,就在聚焦判定步骤6615中判定相机是否聚焦在房间上。如果相机未聚焦,则在聚焦相机步骤6620中使相机聚焦。一旦相机被聚焦,则在开始录制步骤6625中相机开始录制房间的视频。接下来,在开始扫掠步骤6645中,阴影投掷器开始遍及房间扫掠亮度边缘。接下来,在收集和分析步骤6650中,处理器收集所录制视频的帧并对其进行分析,以形成点云。接下来,在过滤新云点步骤6652中,处理器过滤新的云点。接下来,在更新经过滤的云点步骤6654中,更新经过滤的点云显示。接下来,在整个扫描判定步骤6667中,判定是否已经扫描了整个感兴趣区。如果尚未扫描整个感兴趣区,则如上所述,重复收集和分析步骤6650。如果已经扫描了整个感兴趣区,则在过滤整个点云步骤6670中处理器对整个点云进行过滤。接下来,在构造表面步骤6675中,处理器根据过滤后的点云构造房间的三维表面的模型。接下来,在保存文件步骤6635中,将表面保存到文件中。接下来,在显示图像步骤6655中,处理器将模型显示在显示器上。接下来,在另一扫描判定步骤6630中,判定是否需要进行另一次扫描。如果需要进行另一次扫描,则如上所述,重复开始扫掠步骤6645。如果不需要进行另一次扫描,则在停止扫掠步骤6660中阴影投掷器停止在房间中扫掠亮度边缘。接下来,在停止录制步骤6665中,相机停止录制房间的视频。最后,在存储扫描仪步骤6680中,在操作之后存储扫描仪。
现在参考本发明的另一实施例,在图67和图68中,示出了多相机阴影投掷器扫描仪的算法流程图。图67显示了描述由多相机阴影投掷器扫描仪使用的算法的多相机算法流程图6700。图68展示了多相机静态阴影投掷器的流程图6800,其描述了使用单个静态阴影投掷器的多相机阴影投掷器扫描仪的算法。
更详细地,仍然参考本发明的图67、和图68,在图67中,多相机算法流程图6700描述了由使用多个相机的阴影投掷器扫描仪使用的算法。用于多相机阴影投掷器扫描仪的算法中的第一步骤包括在启动程序步骤6704中启动程序。接下来,在收集参数步骤6708中,收集用户提供的或程序指定的扫描和分析参数。接下来,在开始录制步骤6725中,多个相机开始录制视频。接下来,在开始扫掠步骤6745中,启动电机,以便移动阴影投掷器并遍及对象扫掠亮度边缘。接下来,在收集视频步骤6750中,从所述多个相机收集所录制视频的帧。接下来,在缓冲器判定步骤6724中,判定视频缓冲器是否被填充得足以进行分析。如果缓冲器未被填充得足够,则如上所述,重复收集视频步骤6750。如果缓冲器被填充得足以进行分析,则在分析帧步骤6744中对从所述多个相机收集的视频帧进行分析以建立点云。接下来,在仍然缓冲判定步骤6758中,判定缓冲器中是否仍有足够的帧。如果缓冲器中没有足够的帧,则如上所述,重复缓冲器判定步骤6724。如果缓冲器中仍有足够的帧,则在完成扫掠判定步骤6778中判定是否完成扫掠。如果扫掠未完成,则如上所述,重复分析帧步骤6744。如果完成了扫掠,则在停止电机步骤6768中停止电机。接下来,在停止录制步骤6765中,所述多个相机停止录制对象的视频。接下来,在完成分析帧步骤6764中,完成对帧进行分析。接下来,在过滤点云步骤6770中,处理器对点云进行过滤。接下来,在配准点云步骤6279中,将来自所述多个相机的点云彼此配准。接下来,在构造表面步骤6775中,处理器根据过滤后的点云构造三维表面的模型。接下来,在保存文件步骤6735中,将表面保存到文件中。接下来,在显示图像步骤6755中,处理器将模型显示在显示器上。在另一扫描判定步骤6730中,判定是否要求进行另一次扫描。如果要求进行另一次扫描,则如上所述,重复开始录制步骤6725。最后,如果不要求进行另一次扫描,则在退出算法步骤6790中用户退出算法。在图68中,多相机静态阴影投掷器的流程图6800描述了多相机阴影投掷器扫描仪的算法,所述多相机阴影投掷器扫描仪使用多个相机(包括主相机)以及单个静态阴影投掷器。用于使用单个静态阴影投掷器的多相机阴影投掷器扫描仪的算法中的第一步骤包括在启动程序步骤6804中启动程序。接下来,在收集参数步骤6808中,收集用户提供的或程序指定的扫描和分析参数。接下来,在开始录制步骤6825中,多个相机开始录制视频。接下来,在收集一个帧步骤6850中,从所有相机收集一个视频帧。接下来,在缓冲器判定步骤6824中,判定视频缓冲器是否被填充得足以进行分析。如果缓冲器未被填充得足够,则如上所述,重复收集一个帧步骤6850。如果缓冲器被填充得足以进行分析,则在计算速度步骤6851中,使用来自至少两个相机的帧来计算目标的速度。接下来,在分析帧步骤6844中,对主相机视频帧进行分析以建立点云。接下来,在仍然缓冲判定步骤6858中,判定缓冲器中是否仍有足够的帧。如果缓冲器中没有足够的帧,则如上所述,重复缓冲器判定步骤6824。如果缓冲器中仍有足够的帧,则在观看目标判定步骤6814中判定目标是否在主相机的视线之外。如果目标不在主相机的视线之外,则如上所述,重复分析帧步骤6844。如果目标在主相机的视线之外,则在停止录制步骤6865中所述多个相机停止录制对象的视频。接下来,在过滤点云步骤6870中,处理器对点云进行过滤。接下来,在构造表面步骤6875中,处理器根据过滤后的点云构造三维表面的模型。接下来,在保存文件步骤6835中,将表面保存到文件中。接下来,在显示图像步骤6855中,处理器将模型显示在显示器上。在另一扫描判定步骤6830中,判定是否要求进行另一次扫描。如果要求进行另一次扫描,则如上所述,重复开始录制步骤6825。最后,如果不要求进行另一次扫描,则在退出算法步骤6890中用户退出算法。
现在参考本发明的另一实施例,在图69中,示出了描述创建定制阴影投掷器的方法的流程图。
更详细地,仍然参考本发明的图69,定制阴影投掷器的流程图6900描述了创建定制形状的阴影投掷器的方法。首先,在确定轮廓步骤6910中,使用摄影、视频或阴影投射来确定整体物体轮廓。接下来,在形状生成步骤6920中,使用三维打印、可配置的阴影投掷器、其他制造方式等,以整体物体轮廓的形状生成定制形状的阴影投掷器。接下来,在放置阴影投掷器步骤6930中,将定制形状的阴影投掷器放置成尽可能地靠近物体的表面。最后,在扫掠物体步骤6940中,阴影投掷器的任一物体遍及物体扫掠亮度边缘以影响扫描。
如图69所示的本发明的结构细节为定制形状的阴影投掷器包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料,并且可以进一步包括可配置的形状、三维打印形状、可配置的不透明性(诸如液晶等)或各种彩色滤光片等(其已经被操纵成期望的形式)。
现在参考本发明的另一实施例,在图70和图71中,示出了利用阴影投掷器扫描仪来提供改进的扫描结果的有狭缝的线性光源7000。图70显示了有狭缝的线性光源7000的透视图。图71展示了有狭缝的线性光源7000的分解视图。
更详细地,仍然参考本发明的图70和图71,有狭缝的线性光源7000包括有狭缝的管7010,所述有狭缝的管7010包括:内部7011,所述内部7011涂成白色(包括TiO2的涂料);外部7012,所述外部7012是不透明的;以及狭缝7020,所述狭缝7020沿所述有狭缝的管7010的长度延伸并且包括:宽度;两个光源7060,所述光源7060在所述有狭缝的管7010的相反末端悬置;两个散热器7050,所述散热器7050从所述光源7060悬置;两个夹具7030,每个所述夹具7030卷绕所述有狭缝的管并且包括:螺钉7040;其中,所述夹具7030能够调整所述狭缝的所述宽度7020。有狭缝的管7010允许光以非常细的形式逃逸,这提高了阴影投掷器扫描仪的准确性。可替代地,该管可以具有任何截面形状,只要光通过狭缝逃逸即可。光源7060是LED组。所述光源还可以在其前面具有折射元件,但它们也可以是裸露的,如所描绘的。可替代地,LED可以以线性阵列(如以条状)的形式放置在有狭缝的管7010中,使得它们不会直接从狭缝7020中发光(这可能产生不均匀的照明)。可替代地,光纤可以用于将光引导到有狭缝的管7010中。这种替代方案消除了局部发热,代价是需要将光纤束附接到灯。LED需要具有散热器。然而,对于线性阵列形式的LED的情况,有狭缝的管7010本身可以是散热器。其他版本可能在另一根管的内部具有管,并且允许空气在管之间的空间中流动以进行热量控制。夹具7030用于通过挤压或释放有狭缝的管7010来调整狭缝7020的宽度,从而允许增大或减小狭缝7020的大小,这分别增加或减少了光输出。在此实施例的变型中以及在本发明的其他光源的变型中,添加具有净负光焦度(负焦距)的单个透镜或一系列透镜可能是有利的。这些透镜可以是圆柱形的,并且沿着有狭缝的管7010的长度延伸。取决于透镜或透镜组合的焦距,这样的一个或多个透镜将具有减小物体上的光强度、增加光的角度范围以及改变光源的有效距离的效果。对于负透镜,其将使有效光源更移近物体一定量。
如图70和图71所示的本发明的结构细节为有狭缝的管7010包括柔性材料,诸如塑料、金属、复合材料等。光源7060包括白炽灯、光纤束、卤素灯、荧光灯、线性灯、有狭缝的管灯、LED、LED阵列、LED线性阵列、不同颜色的光源、彩色LED、激光器、X射线源、UV源、红外源等。散热器7050包括导热材料,诸如金属等。夹具7030包括坚固的柔性材料,诸如钢、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。螺钉7040包括坚固的刚性材料,诸如钢、包覆铜、塑料、高密度塑料、硅树脂、PVC、玻璃纤维、碳纤维、复合材料、金属、镀锌钢、不锈钢、铝、黄铜、铜、木头或其他类似材料。
本发明的优点包括但不限于:本发明的光源涉及最少的光学器件(光学器件会带来重量和费用),并且包括没有透镜的可能性,以便将对比鲜明的图案投射到被扫描物体上;其不需要光学器件来优化特定距离的光束;与其他技术(诸如激光器)相比,本发明的光源相对较便宜;本发明的光源非常适合于大景深;如果本发明的光源离阴影投掷器足够远,则本发明的光源可以包括非常明亮的光源并保持准确性;本发明的光源不依赖于通过时间延迟测量评估距离的方案中所使用的脉冲技术或相位检测技术,所述脉冲技术或相位检测技术可能会限制同时测量的点数以及绝对分辨率,所述绝对分辨率限于典型电子设备的上升时间(100ps),这意味着深度分辨率为0.6英寸(这意味着0.6英寸的变化导致大约100ps的延迟),并且所述脉冲技术或相位检测技术对噪声敏感;本发明的光源最佳地可以是沿一个维度(换言之,一条线)的“延长”光源,所述光源相比竞争技术从更多的角度照亮物体,并且由于被三维扫描的表面必须被同时照亮和观察,因此这种更大的照亮角度是有利的,因为与典型的基于投射的扫描仪相比,可以扫描更多的物体;本发明的硬件可以在所有以下三个元件之间分开:光源、阴影投掷器和光接收器,并且因此,可以存在多个相机从一个或多个阴影投掷器观看单个阴影边缘;因为“点光源”具有实际宽度,所以通过沿着线复制光源,这种光源的延长会增加光同时提高场景对比度,这是因为延长增加了光,但是减少了点光源的“立体角”,由于延长离阴影投掷器的边缘更远,因此平均而言,线性光源在增加明亮度的同时提高了光源的分辨率;延长光源不必是连续的,并且可以存在多于一个光源,只要它们是共线的;本发明的光源可以全部协同投掷一个阴影边缘(并且确实增加其对比度),因为这种协同在使用单独的实际构造光源的同时扩大了角度范围,并且增加了针对给定任务开发定制照明几何形状的潜力;如果将多个阴影投掷器从灯上物理地移除,则单个光源可以由多个阴影投掷器使用,并且如果整个房间的阴影投掷器-相机系统是对准的,则它们可以更局部地使用房间顶部的单个长而明亮的灯;本发明的阴影生成方案可以产生大景深阴影,由于几何效应而不是由透镜引起的效果,所述大景深阴影保留了其锐化度,而透镜固有地引入了景深问题(诸如使用透镜的投射仪的问题),透镜必须经过定制才能在有限的范围内产生锐化的图案;通过消除工程投射仪的必要性、以及通过消除激光器单波长操作的特殊性,本发明的光源可以为任何波长、宽带宽或窄带宽,并且在同一扫描中使用白光和荧光-激发波长,并且在交替的“模式”下使用单个相机;本发明还可以使用激光来投掷阴影或将阴影投掷到激光中,这对于外科手术期间的荧光测量是特别有利的;就空间分辨率而言,与激光相比,本发明中使用的白光具有更少的可见衍射伪像,从而产生更锐化的阴影,并且白光不会像窄带激光那样存在斑点问题,并且本发明避免了这种噪声源;本发明中的具有简单的单线几何形状的阴影所具有的锐化边缘和大对比度允许实时进行亚表面散射测量,从而实现了实时生物医学应用,诸如用于检测皮肤癌的光学活检或癌症手术,因为确定健康组织与癌性组织的界限是一项持续的挑战;在安全领域,由于很难伪造面部的亚表面散射特征,因此这些亚表面散射测量允许改进安全扫描;本发明;这些亚表面散射测量对于化妆品世界中演员面部的计算机图形再现很有用;白光的使用优于单频光源(激光器或灯泡),因为可以针对不同频率的光(例如,诸如蓝色与红色)进行对散射特性的实时比较;通过本发明可以使用两个不同的频率,因为可以使用LED阵列,并且可以交织不同波长的LED并使其交替闪烁,其中相机在每个交替帧上的曝光都得到了优化,以捕获颜色信息;本发明的阴影投掷器的侧三角形截面允许灯横向延长,同时使得能够将投掷阴影投掷器非常靠近地施加至物体、同时投射单个连续的阴影边缘,并且这些侧面阴影投掷器可以连接到中间阴影投掷器,只要阴影投掷器部件一起形成沿由延长光源所限定的线观看到的三角形截面即可;通过添加附加的阴影带,分段阴影投掷器可以在不增加复杂度的情况下按比例加速对于物体几何形状的扫描速度,使得在扫掠期间,对于简单的物体,这些单独的阴影不会出现叠加,并且可以根据物体的复杂程度通过分离阴影被独立分析;本发明的光源的简单性表明,任何线性光源都可以起作用,包括X射线,利用X射线可以相对较容易地进行阴影的无透镜投射,但是X射线结构化扫描通常不是特别可行的,因为通常需要先对物体图案成像,然后再对散射光成像;这种技术的典型实施例保持相机和光源静止以提高准确性,其中场景的变化主要归因于阴影边缘,这意味着物体的整体照明在扫描期间变化很小,尤其是对于相对较窄的阴影区域,从而在生成的扫描中允许较大的信噪比;本发明的典型实施例具有相机、灯和阴影投掷器,它们均以预校准的方式牢固地彼此附接,使得在失去校准的情况下,可以以自主方式再次进行确定(尽管利用了附加硬件,诸如校准台);本发明的扫描技术可以被配置成具有各种权衡,包括明亮度与准确性之间的权衡,使得可以使用特定的优化几何形状以非常精细的分辨率(显微镜)来扫描平坦物品;本发明具有改进的潜在原始准确性;只要相机记录阴影边缘,就可以以亚毫米的准确性测量大型物品;如果阴影可以靠近被扫描的物品,则可以使其始终锐化以提高准确性;使用上述高信噪比、提供单个“正确”答案并增加扫描的确定性,扫描仪无论如何都不依赖于特征匹配或摄影测量,而是仅依赖于三角测量;与通常会被条带和其他伪像破坏的其他扫描技术相比,扫描中的噪声通常可以通过更自动化的方式消除;通过本发明,有时图像中的噪声甚至会抵消由锐化阴影边缘提供的对比度,然而,这种噪声通常发生在来自阴影边缘许多像素处,并且在随后的数据三角测量中,这样的噪声点最终被远远去除并稀疏地位于3D空间中,从而使其易于使用密度阈值算法进行滤波,所述算法根据一定数量的最近邻点计算每个点的平均半径,并去除平均距离大于阈值g的点,从而得到非常干净的扫描;通过跟踪扫描期间的运动(可能利用单独的相机),可以通过本发明更容易地补偿物体运动;本发明对于扫描倾向于左右移动其体重的人是有用的,尤其是在坐着时;本发明针对每张图片同时检测物体的颜色及其3D坐标,这意味着如果物体在三个维度上移动,则还将表示其准确的颜色,并且逐像素地同时确定三维形状以及颜色通常消除了在3D扫描中配准彩色图像的复杂问题,并且在本发明中,这种数据是自动对准的,因为它来自单个相机。总体而言,本发明在使用阴影投掷器的三维模型的生成中提供了相对较便宜的改进的扫描质量和准确性。
在广泛实施例中,本发明总体上涉及用于生成一个或多个亮度边缘以形成物体或环境的三维模型的装置、方法和系统。在广泛实施例中,本发明包括:一个或多个光源和一个或多个阴影投掷器,所述光源和阴影投掷器在被建模的物体或区域上生成一个或多个亮度边缘;检测所述一个或多个亮度边缘的一个或多个装置;相对于所述被建模的物体或区域移动所述一个或多个亮度边缘的装置;以及生成所述被建模的物体或区域的三维模型的装置;以及相关的方法和系统。这些实施例不旨在限制本发明的范围。
虽然本发明的上述书面说明使得普通技术人员能够制造和使用目前被认为是本发明的最佳模式,但普通技术人员将会理解并认识到存在本文的具体实施例、方法和示例的变化、组合以及等效物。因此,本发明不应该限于上述实施例、方法与示例,而是包含在所要求保护的本发明的范围和精神之内的所有实施例与方法。

Claims (18)

1.一种用于生成一个或多个亮度边缘以形成一区域的三维模型的系统,所述系统包括:
阴影投掷器平台,所述阴影投掷器平台是水平的并且能够旋转;
光源,所述光源从所述阴影投掷器平台的中心悬置;
至少一个阴影投掷器,每个所述阴影投掷器从围绕所述光源的所述阴影投掷器平台悬置并且包括:
竖直面板,以及
成角度的面板,所述成角度的面板朝向所述光源成角度;
多个图像捕获设备,每个所述图像捕获设备被安装在三脚架上;
存储器,所述存储器存储在非暂时性计算机可读介质中;以及
处理器,所述处理器包括:
所述计算机可读介质;
其中,所述多个图像捕获设备围绕所述阴影投掷器平台布置;
其中,所述光源照亮所述阴影投掷器以投射已知几何形状的锐化阴影,这在所述区域上形成所述一个或多个亮度边缘;
其中,旋转所述阴影投掷器平台,从而围绕所述光源旋转所述阴影投掷器,以便遍及所述区域扫掠所述一个或多个亮度边缘;
其中,所述多个图像捕获设备捕获所述区域上的所述一个或多个亮度边缘的图像并将所述图像记录到所述存储器中;
其中,所述处理器根据记录的所述图像形成三维数据表示;并且
其中,所述处理器使用所述三维数据表示来生成所述区域的所述三维模型。
2.根据权利要求1所述的系统,其中,所述阴影投掷器进一步包括可配置的形状。
3.根据权利要求1所述的系统,其中,所述阴影投掷器进一步包括可配置的不透明性。
4.根据权利要求1所述的系统,其中,所述的阴影投掷器进一步包括颜色过滤器。
5.根据权利要求1所述的系统,所述系统进一步包括增强现实头戴式装置,其中,所述三维模型显示在所述增强现实头戴式装置中。
6.根据权利要求1所述的系统,所述系统进一步包括显示器,其中,所述三维模型被显示在所述显示器上。
7.根据权利要求1所述的系统,其中,所述阴影投掷器进一步包括透明液晶矩阵,所述透明液晶矩阵能够生成不透明区。
8.根据权利要求1所述的系统,其中,所述阴影投掷器进一步包括周期性不透明性变化。
9.根据权利要求1所述的系统,其中,所述阴影投掷器进一步包括图案。
10.一种用于生成一个或多个亮度边缘以形成一区域的三维模型的系统,所述系统包括:
阴影投掷器平台,所述阴影投掷器平台是水平的;
光源,所述光源是定向的、能够旋转的、并且从所述阴影投掷器平台的中心悬置;
至少一个阴影投掷器,每个所述阴影投掷器从围绕所述光源的所述阴影投掷器平台悬置并且包括:
竖直面板,以及
成角度的面板,所述成角度的面板朝向所述光源成角度;
多个图像捕获设备,每个所述图像捕获设备被安装在三脚架上;
存储器,所述存储器存储在非暂时性计算机可读介质中;以及
处理器,所述处理器包括:
所述计算机可读介质;
其中,所述多个图像捕获设备围绕所述阴影投掷器平台布置;
其中,所述光源照亮所述阴影投掷器以投射已知几何形状的锐化阴影,这在所述区域上形成所述一个或多个亮度边缘;
其中,移动所述光源,以便遍及所述区域扫掠所述一个或多个亮度边缘;
其中,所述多个图像捕获设备捕获所述区域上的所述一个或多个亮度边缘的图像并将所述图像记录到所述存储器中;
其中,所述处理器根据记录的所述图像形成三维数据表示;并且
其中,所述处理器使用所述三维数据表示来生成所述区域的所述三维模型。
11.根据权利要求10所述的系统,其中,所述阴影投掷器进一步包括可配置的形状。
12.根据权利要求10所述的系统,其中,所述阴影投掷器进一步包括可配置的不透明性。
13.根据权利要求10所述的系统,其中,所述的阴影投掷器进一步包括颜色过滤器。
14.根据权利要求10所述的系统,所述系统进一步包括增强现实头戴式装置,其中,所述三维模型显示在所述增强现实头戴式装置中。
15.根据权利要求10所述的系统,所述系统进一步包括显示器,其中,所述三维模型被显示在所述显示器上。
16.根据权利要求10所述的系统,其中,所述阴影投掷器进一步包括透明液晶矩阵,所述透明液晶矩阵能够生成不透明区。
17.根据权利要求10所述的系统,其中,所述阴影投掷器进一步包括周期性不透明性变化。
18.根据权利要求10所述的系统,其中,所述阴影投掷器进一步包括图案。
CN202210316793.2A 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型 Pending CN114777682A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762569353P 2017-10-06 2017-10-06
US62/569,353 2017-10-06
PCT/US2018/054653 WO2019071157A1 (en) 2017-10-06 2018-10-05 GENERATING ONE OR MORE BRIGHTNESS EDGES TO FORM THREE-DIMENSIONAL MODELS OF OBJECTS
CN201880063651.1A CN111164375B (zh) 2017-10-06 2018-10-05 用于生成锐化阴影的装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880063651.1A Division CN111164375B (zh) 2017-10-06 2018-10-05 用于生成锐化阴影的装置

Publications (1)

Publication Number Publication Date
CN114777682A true CN114777682A (zh) 2022-07-22

Family

ID=65995266

Family Applications (11)

Application Number Title Priority Date Filing Date
CN201880063651.1A Active CN111164375B (zh) 2017-10-06 2018-10-05 用于生成锐化阴影的装置
CN202210316802.8A Pending CN114777683A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型
CN202210314530.8A Pending CN114777680A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型
CN202210316813.6A Pending CN114777685A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型
CN202210314565.1A Pending CN114777681A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型
CN202210314529.5A Pending CN114777679A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型
CN202210316812.1A Pending CN114777684A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型
CN202210316828.2A Pending CN114777686A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型
CN202210314524.2A Pending CN114777678A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型
CN202210316793.2A Pending CN114777682A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型
CN202210316783.9A Pending CN114838675A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型

Family Applications Before (9)

Application Number Title Priority Date Filing Date
CN201880063651.1A Active CN111164375B (zh) 2017-10-06 2018-10-05 用于生成锐化阴影的装置
CN202210316802.8A Pending CN114777683A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型
CN202210314530.8A Pending CN114777680A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型
CN202210316813.6A Pending CN114777685A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型
CN202210314565.1A Pending CN114777681A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型
CN202210314529.5A Pending CN114777679A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型
CN202210316812.1A Pending CN114777684A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型
CN202210316828.2A Pending CN114777686A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型
CN202210314524.2A Pending CN114777678A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210316783.9A Pending CN114838675A (zh) 2017-10-06 2018-10-05 生成一个或多个亮度边缘以形成物体的三维模型

Country Status (8)

Country Link
US (5) US10724853B2 (zh)
EP (2) EP4268757A3 (zh)
JP (3) JP7086330B2 (zh)
CN (11) CN111164375B (zh)
AU (3) AU2018346758B2 (zh)
CA (1) CA3078488A1 (zh)
IL (5) IL310846A (zh)
WO (1) WO2019071157A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10064552B1 (en) * 2009-06-04 2018-09-04 Masoud Vaziri Method and apparatus for a compact and high resolution mind-view communicator
US11367164B1 (en) * 2009-06-04 2022-06-21 Masoud Vaziri Method and apparatus for super resolution imaging and eye tracking devices
US20210134049A1 (en) * 2017-08-08 2021-05-06 Sony Corporation Image processing apparatus and method
JP6953233B2 (ja) * 2017-08-24 2021-10-27 株式会社トプコン 3次元測量装置
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
IL258918B (en) * 2018-04-24 2022-08-01 Korech Omer Electro-optical means to support effective neural network processing for autonomous vehicles by embedding depth cues in the raw data
KR101973513B1 (ko) * 2018-05-14 2019-04-30 주식회사 코어라인소프트 생체 내 관의 대표값 측정 방법 및 시스템
JP2021531883A (ja) * 2018-07-24 2021-11-25 ソニーグループ株式会社 手術室における分散型画像処理システム
US20220019861A1 (en) * 2018-10-23 2022-01-20 The Johns Hopkins University Deep learning based image enhancement
US10957025B2 (en) * 2018-12-03 2021-03-23 International Business Machines Corporation Photograph with variable light source distribution
US11257214B2 (en) * 2018-12-03 2022-02-22 Regents Of The University Of Minnesota Two-stage variational image segmentation of medical images using fracture mechanics
US11620794B2 (en) * 2018-12-14 2023-04-04 Intel Corporation Determining visually reflective properties of physical surfaces in a mixed reality environment
US11100371B2 (en) * 2019-01-02 2021-08-24 Cognata Ltd. System and method for generating large simulation data sets for testing an autonomous driver
CN111489448A (zh) * 2019-01-24 2020-08-04 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
JP7167341B2 (ja) * 2019-06-27 2022-11-08 株式会社Nttドコモ 情報処理装置
CN112188181B (zh) * 2019-07-02 2023-07-04 中强光电股份有限公司 图像显示设备、立体图像处理电路及其同步信号校正方法
US11432882B2 (en) 2019-09-17 2022-09-06 CAIRA Surgical System and method for medical object tracking
EP3819699B1 (en) * 2019-11-08 2024-02-21 Leica Instruments (Singapore) Pte. Ltd. Optical system and corresponding apparatus, method and computer program
US20220387129A1 (en) * 2019-11-12 2022-12-08 Pathkeeper Surgical Ltd. System, method and computer program product for improved mini-surgery use cases
EP3882682A1 (en) 2020-03-20 2021-09-22 Leica Instruments (Singapore) Pte. Ltd. Illumination system, system, method and computer program for a microscope system
US11790586B2 (en) * 2020-06-19 2023-10-17 Microsoft Technology Licensing, Llc Generating physio-realistic avatars for training non-contact models to recover physiological characteristics
EP4188228A1 (en) * 2020-08-10 2023-06-07 Bard Access Systems, Inc. System and method for generating vessel representations in mixed reality/virtual reality
TWI738538B (zh) * 2020-10-14 2021-09-01 中華學校財團法人中華科技大學 無人載具之三維影像重組方法及系統
CN112215934B (zh) * 2020-10-23 2023-08-29 网易(杭州)网络有限公司 游戏模型的渲染方法、装置、存储介质及电子装置
RU2757400C1 (ru) * 2020-12-08 2021-10-15 Федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского" Система автоматической дозаправки беспилотного летательного аппарата
CN112669386B (zh) * 2020-12-29 2022-09-23 北京大学 基于三维光学扫描的脑磁图自动化定位配准方法及装置
CN113140010B (zh) * 2021-05-14 2022-08-12 上海交通大学 适用少/无特征环境的三维重建方法及系统、设备、介质
US20230139704A1 (en) * 2021-11-04 2023-05-04 Lumicell, Inc. Optical fiber fixtures for imaging devices
CN116793257B (zh) * 2023-08-28 2023-10-27 成都量芯集成科技有限公司 一种三维测量系统和方法

Family Cites Families (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3051166A (en) * 1959-12-01 1962-08-28 Avco Corp Endoscope
GB1504537A (en) * 1975-06-12 1978-03-22 Secretary Industry Brit Automatic inspection of machined parts
US4113389A (en) * 1976-04-19 1978-09-12 Morton Kaye Optical measurement system
US4160587A (en) * 1976-10-01 1979-07-10 Bolex International S.A. Camera equipped with range finder for manual or automatic focusing
JPH0638626B2 (ja) * 1985-12-17 1994-05-18 工業技術院長 光源ユニット
DE8711021U1 (zh) * 1987-08-10 1987-12-03 Fa. August Gaertner, 1000 Berlin, De
US4918626A (en) * 1987-12-09 1990-04-17 Evans & Sutherland Computer Corp. Computer graphics priority system with antialiasing
US5418608A (en) 1993-05-04 1995-05-23 Harbor Branch Oceanographic Institution Inc. Three dimensional mapping systems and methods
US5685305A (en) 1994-08-05 1997-11-11 The United States Of America As Represented By The Department Of Health And Human Services Method and system for MRI detection of abnormal blood flow
GB2292605B (en) 1994-08-24 1998-04-08 Guy Richard John Fowler Scanning arrangement and method
US5740224A (en) 1994-09-27 1998-04-14 University Of Delaware Cone beam synthetic arrays in three-dimensional computerized tomography
CA2138629A1 (en) * 1994-12-20 1996-06-21 Allan Brent York Lighting structure for intensely illuminating narrow linear region
AU7384196A (en) 1995-10-04 1997-04-28 Todd-Ao Corporation, The Projector slit lens assembly adjustment device
KR19980701470A (ko) * 1995-11-14 1998-05-15 이데이 노부유키 특수 효과 장치, 화상 처리 방법, 및 새도우 생성 방법
JP3733625B2 (ja) * 1995-11-17 2006-01-11 コニカミノルタセンシング株式会社 3次元計測のための撮像装置
US5806521A (en) 1996-03-26 1998-09-15 Sandia Corporation Composite ultrasound imaging apparatus and method
US6331116B1 (en) 1996-09-16 2001-12-18 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual segmentation and examination
US5971767A (en) 1996-09-16 1999-10-26 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination
US6039457A (en) * 1997-12-17 2000-03-21 Intex Exhibits International, L.L.C. Light bracket
US6377865B1 (en) 1998-02-11 2002-04-23 Raindrop Geomagic, Inc. Methods of generating three-dimensional digital models of objects by wrapping point cloud data points
US6224237B1 (en) * 1998-04-16 2001-05-01 Honeywell International Inc. Structure for achieving a linear light source geometry
US6186649B1 (en) * 1998-04-16 2001-02-13 Honeywell International Inc. Linear illumination sources and systems
US6023495A (en) 1998-05-15 2000-02-08 International Business Machines Corporation System and method for acquiring three-dimensional data subject to practical constraints by integrating CT slice data and CT scout images
US6072496A (en) 1998-06-08 2000-06-06 Microsoft Corporation Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects
US6603103B1 (en) 1998-07-08 2003-08-05 Ppt Vision, Inc. Circuit for machine-vision system
US6600553B1 (en) 1998-11-03 2003-07-29 National Institute Of Science And Technology U.S. Dept Of Commerce Three degree-of-freedom telescoping geometry scanner
US6532299B1 (en) 2000-04-28 2003-03-11 Orametrix, Inc. System and method for mapping a surface
US7234937B2 (en) 1999-11-30 2007-06-26 Orametrix, Inc. Unified workstation for virtual craniofacial diagnosis, treatment planning and therapeutics
US7106898B2 (en) * 1999-12-06 2006-09-12 California Institute Of Technology 3D scanning using shadows
US6600168B1 (en) 2000-02-03 2003-07-29 Genex Technologies, Inc. High speed laser three-dimensional imager
US6968075B1 (en) 2000-05-09 2005-11-22 Chang Kurt C System and method for three-dimensional shape and size measurement
US6509559B1 (en) 2000-06-20 2003-01-21 Ppt Vision, Inc. Binary optical grating and method for generating a moire pattern for 3D imaging
KR100382905B1 (ko) 2000-10-07 2003-05-09 주식회사 케이씨아이 치아 컴퓨터 모델링용 삼차원 스캐너 시스템
US6592371B2 (en) 2000-10-25 2003-07-15 Duane Durbin Method and system for imaging and modeling a three dimensional structure
US20020057438A1 (en) 2000-11-13 2002-05-16 Decker Derek Edward Method and apparatus for capturing 3D surface and color thereon in real time
US6903741B2 (en) * 2001-12-13 2005-06-07 Crytek Gmbh Method, computer program product and system for rendering soft shadows in a frame representing a 3D-scene
AU2003245483A1 (en) 2002-06-12 2003-12-31 Spatial Integrated Systems, Inc. Discrete linear space sampling method and apparatus for generating digital 3d models
US6903738B2 (en) 2002-06-17 2005-06-07 Mitsubishi Electric Research Laboratories, Inc. Image-based 3D modeling rendering system
US6831641B2 (en) 2002-06-17 2004-12-14 Mitsubishi Electric Research Labs, Inc. Modeling and rendering of surface reflectance fields of 3D objects
US6791542B2 (en) 2002-06-17 2004-09-14 Mitsubishi Electric Research Laboratories, Inc. Modeling 3D objects with opacity hulls
US7399220B2 (en) 2002-08-02 2008-07-15 Kriesel Marshall S Apparatus and methods for the volumetric and dimensional measurement of livestock
US20030137673A1 (en) 2002-12-13 2003-07-24 Cox Cary B. Systems, and methods of use, employing distorted patterns to ascertain the shape of a surface, for road or runway profiling, or as input to control pro-active suspension systems
US8224064B1 (en) 2003-05-21 2012-07-17 University Of Kentucky Research Foundation, Inc. System and method for 3D imaging using structured light illumination
US7215810B2 (en) 2003-07-23 2007-05-08 Orametrix, Inc. Method for creating single 3D surface model from a point cloud
WO2005017450A1 (en) 2003-08-11 2005-02-24 Multi-Dimension Technology, Llc Calibration block and calibration system for 3d scanner
US7103399B2 (en) 2003-09-08 2006-09-05 Vanderbilt University Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery
CN1601351A (zh) * 2003-09-25 2005-03-30 鸿富锦精密工业(深圳)有限公司 背光模块及其线性光源和线性光源制造方法
US7746377B2 (en) 2003-11-28 2010-06-29 Topcon Corporation Three-dimensional image display apparatus and method
US20050134588A1 (en) * 2003-12-22 2005-06-23 Hybrid Graphics, Ltd. Method and apparatus for image processing
US7643966B2 (en) 2004-03-10 2010-01-05 Leica Geosystems Ag Identification of 3D surface points using context-based hypothesis testing
US7864419B2 (en) 2004-06-08 2011-01-04 Ellis Amalgamated LLC Optical scanning assembly
US20060020204A1 (en) 2004-07-01 2006-01-26 Bracco Imaging, S.P.A. System and method for three-dimensional space management and visualization of ultrasound data ("SonoDEX")
US20060017720A1 (en) 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
US20060023197A1 (en) 2004-07-27 2006-02-02 Joel Andrew H Method and system for automated production of autostereoscopic and animated prints and transparencies from digital and non-digital media
US7494338B2 (en) 2005-01-11 2009-02-24 Duane Durbin 3D dental scanner
US7477359B2 (en) 2005-02-11 2009-01-13 Deltasphere, Inc. Method and apparatus for making and displaying measurements based upon multiple 3D rangefinder data sets
CN101208723A (zh) * 2005-02-23 2008-06-25 克雷格·萨默斯 用于3维照相机和3维视频的自动场景建模
EP1869403B1 (en) 2005-03-03 2017-06-14 Align Technology, Inc. System and method for scanning an intraoral cavity
JP4784270B2 (ja) 2005-11-08 2011-10-05 学校法人 中央大学 三次元計測方法、計測装置、復元方法および復元装置
WO2007061632A2 (en) 2005-11-09 2007-05-31 Geometric Informatics, Inc. Method and apparatus for absolute-coordinate three-dimensional surface imaging
WO2007100303A1 (en) * 2006-03-01 2007-09-07 Agency For Science, Technology & Research A method and system for obtaining multiple views of an object for real-time video output
US7814441B2 (en) 2006-05-09 2010-10-12 Inus Technology, Inc. System and method for identifying original design intents using 3D scan data
JP4031509B1 (ja) * 2006-09-21 2008-01-09 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法及びプログラム
US7817823B1 (en) * 2007-04-27 2010-10-19 Adobe Systems Incorporated Calculating shadow from area light sources using a spatially varying blur radius
DE102007030186B4 (de) * 2007-06-27 2009-04-23 Harald Hofmann Lineare LED-Lampe und Leuchtensystem mit derselben
JP2009032123A (ja) 2007-07-27 2009-02-12 Hiroshima Industrial Promotion Organization 画像処理装置、画像処理方法およびプログラム
US8144954B2 (en) 2007-11-08 2012-03-27 D4D Technologies, Llc Lighting compensated dynamic texture mapping of 3-D models
US20090261706A1 (en) * 2008-01-28 2009-10-22 Eliot Sorella LED Replacement Light Tube for Fluorescent Light Fixture
WO2009115311A1 (de) 2008-03-19 2009-09-24 Thomas Kollewe Verfahren und vorrichtung zur bestimmung der lage und ausrichtung eines prüflings
EP2327061A4 (en) 2008-08-15 2016-11-16 Univ Brown METHOD AND DEVICE FOR ESTIMATING BODY SHAPES
US8284170B2 (en) * 2008-09-30 2012-10-09 Apple Inc. Touch screen device, method, and graphical user interface for moving on-screen objects without using a cursor
DE102009000536A1 (de) 2009-02-02 2010-08-05 Ford Global Technologies, LLC, Dearborn Modulare Lichtschaltereinheit
CH701106B1 (de) * 2009-05-18 2013-08-15 Skyline Parking Ag Verfahren und Vorrichtung zum Vermessen der räumlichen Ausdehnung eines Objektes.
ES2607052T3 (es) 2009-06-17 2017-03-29 3Shape A/S Aparato de escaneo de enfoque
DE102009032262A1 (de) 2009-07-08 2011-01-13 Steinbichler Optotechnik Gmbh Verfahren zur Bestimmung der 3D-Koordinaten eines Objekts
US8690380B2 (en) * 2009-09-11 2014-04-08 Opto Design, Inc. Surface illumination method using point light source, linear light source device, and surface illumination device using linear light source device
US20110309745A1 (en) 2010-06-21 2011-12-22 Westermarck Joel C LED Light Tube and Replacement Method
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
DE102010049310A1 (de) * 2010-10-22 2012-04-26 Weber Maschinenbau Gmbh Breidenbach Abtastvorrichtung und Verfahren zum Ermitteln der Kontur eines Objekts
EP2522954A1 (en) 2011-05-11 2012-11-14 Leica Geosystems AG Tiltable rotating construction laser with a grade mechanism and method for determining a position of a grade arm of the grade mechanism
US9524552B2 (en) 2011-08-03 2016-12-20 The Regents Of The University Of California 2D/3D registration of a digital mouse atlas with X-ray projection images and optical camera photos
CN102508574B (zh) * 2011-11-09 2014-06-04 清华大学 基于投影屏幕的多点触控检测方法及多点触控系统
US9070019B2 (en) * 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
KR101154487B1 (ko) * 2012-03-22 2012-06-13 (주)아이씨티시스템 형광 램프 타입의 led 광원 장치
US9600927B1 (en) * 2012-10-21 2017-03-21 Google Inc. Systems and methods for capturing aspects of objects using images and shadowing
CA2925620C (en) * 2012-10-29 2020-07-21 7D Surgical Inc. Integrated illumination and optical surface topology detection system and methods of use thereof
JP6091866B2 (ja) * 2012-11-30 2017-03-08 株式会社キーエンス 計測顕微鏡装置、画像生成方法及び計測顕微鏡装置操作プログラム並びにコンピュータで読み取り可能な記録媒体
US9411079B1 (en) * 2012-12-21 2016-08-09 Vode Lighting Llc System to allocate luminance
US9364995B2 (en) 2013-03-15 2016-06-14 Matterrise, Inc. Three-dimensional printing and scanning system and method
US8872818B2 (en) 2013-03-15 2014-10-28 State Farm Mutual Automobile Insurance Company Methods and systems for capturing the condition of a physical structure
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
KR102095219B1 (ko) * 2013-07-29 2020-04-01 엘지이노텍 주식회사 조명 장치
US9855698B2 (en) * 2013-08-07 2018-01-02 Massachusetts Institute Of Technology Automatic process control of additive manufacturing device
CN104424662B (zh) * 2013-08-23 2017-07-28 三纬国际立体列印科技股份有限公司 立体扫描装置
CN106063381A (zh) * 2014-01-22 2016-10-26 伊卢米斯公司 具有被寻址led的基于led的灯
US10161593B2 (en) * 2014-02-25 2018-12-25 3M Innovative Properties Company Solid state lighting device with virtual filament(s)
CN104165600B (zh) * 2014-07-03 2016-10-05 杭州鼎热科技有限公司 一种无线手持3d激光扫描系统
CN104102835B (zh) * 2014-07-11 2017-04-12 大连理工大学 一种基于实时视频图像的投掷训练成绩检测方法
US9582924B2 (en) 2014-08-11 2017-02-28 Intel Corporation Facilitating dynamic real-time volumetric rendering in graphics images on computing devices
JP6732746B2 (ja) * 2014-11-26 2020-07-29 アイロボット・コーポレーション 機械視覚システムを使用した、同時位置測定マッピングを実施するためのシステム
EP3054311B1 (en) * 2015-01-15 2023-01-11 Atracsys Sàrl Positioning system and method
US10136970B2 (en) 2015-01-18 2018-11-27 Dentlytec G.P.L.Ltd System, device, and method for dental intraoral scanning
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
US9854155B1 (en) 2015-06-16 2017-12-26 Amazon Technologies, Inc. Determining camera auto-focus settings
KR102336712B1 (ko) * 2015-07-08 2021-12-10 삼성디스플레이 주식회사 백라이트 유닛 및 이를 포함하는 표시장치
US10973581B2 (en) * 2016-06-17 2021-04-13 7D Surgical Inc. Systems and methods for obtaining a structured light reconstruction of a 3D surface
US9734397B1 (en) * 2016-11-04 2017-08-15 Loveland Innovations, LLC Systems and methods for autonomous imaging and structural analysis
US11612307B2 (en) * 2016-11-24 2023-03-28 University Of Washington Light field capture and rendering for head-mounted displays
US10262453B2 (en) * 2017-03-24 2019-04-16 Siemens Healthcare Gmbh Virtual shadows for enhanced depth perception
CN107167093B (zh) * 2017-05-25 2019-09-20 西安知象光电科技有限公司 一种激光线扫描与阴影莫尔的复合式测量系统及测量方法

Also Published As

Publication number Publication date
CN114777679A (zh) 2022-07-22
AU2023200401A1 (en) 2023-02-23
JP2020537210A (ja) 2020-12-17
AU2018346758A1 (en) 2020-03-12
CN114777686A (zh) 2022-07-22
AU2023200401B2 (en) 2023-11-30
CN114777683A (zh) 2022-07-22
IL286401B (en) 2022-09-01
WO2019071157A1 (en) 2019-04-11
AU2024201040A1 (en) 2024-03-07
US20200318953A1 (en) 2020-10-08
US10724853B2 (en) 2020-07-28
US10890439B2 (en) 2021-01-12
CN114777684A (zh) 2022-07-22
CN114777685A (zh) 2022-07-22
EP4268757A3 (en) 2023-12-06
EP3692329B1 (en) 2023-12-06
CN111164375B (zh) 2022-04-19
JP2022091159A (ja) 2022-06-20
US20200041261A1 (en) 2020-02-06
AU2018346758B2 (en) 2022-11-03
IL302763B1 (en) 2024-03-01
IL310846A (en) 2024-04-01
JP2023055873A (ja) 2023-04-18
CN114777678A (zh) 2022-07-22
IL273682B (en) 2021-10-31
IL302763A (en) 2023-07-01
EP3692329A4 (en) 2021-06-23
CN114777681A (zh) 2022-07-22
IL294778B2 (en) 2023-10-01
IL286401A (en) 2021-10-31
JP7086330B2 (ja) 2022-06-20
JP7222133B2 (ja) 2023-02-14
US20240102795A1 (en) 2024-03-28
EP3692329A1 (en) 2020-08-12
WO2019071157A4 (en) 2019-06-20
CN114777680A (zh) 2022-07-22
US11852461B2 (en) 2023-12-26
IL294778B1 (en) 2023-06-01
US20240110781A1 (en) 2024-04-04
CN111164375A (zh) 2020-05-15
US20210080251A1 (en) 2021-03-18
EP4268757A2 (en) 2023-11-01
CA3078488A1 (en) 2019-04-11
IL273682A (en) 2020-05-31
CN114838675A (zh) 2022-08-02
IL294778A (en) 2022-09-01

Similar Documents

Publication Publication Date Title
CN111164375B (zh) 用于生成锐化阴影的装置
US8885177B2 (en) Medical wide field of view optical tracking system
EP3076892B1 (en) A medical optical tracking system
JP2018514748A (ja) 光学撮像システムおよびその方法
CN110398830A (zh) 显微系统以及用于操作显微系统的方法
JP2023500376A (ja) 医用イメージング用の拡張現実ヘッドセット
Furukawa et al. Calibration of a 3d endoscopic system based on active stereo method for shape measurement of biological tissues and specimen

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40078008

Country of ref document: HK

CB02 Change of applicant information

Address after: Texas, USA

Applicant after: Weixi Co.

Address before: Texas, USA

Applicant before: Advanced scanner Co.

CB02 Change of applicant information