CN105303557B - 一种可透视型智能眼镜及其透视方法 - Google Patents

一种可透视型智能眼镜及其透视方法 Download PDF

Info

Publication number
CN105303557B
CN105303557B CN201510602596.7A CN201510602596A CN105303557B CN 105303557 B CN105303557 B CN 105303557B CN 201510602596 A CN201510602596 A CN 201510602596A CN 105303557 B CN105303557 B CN 105303557B
Authority
CN
China
Prior art keywords
image
target object
extrinsic calibration
intelligent glasses
models
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510602596.7A
Other languages
English (en)
Other versions
CN105303557A (zh
Inventor
付楠
谢耀钦
朱艳春
李荣茂
余绍德
张志诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201510602596.7A priority Critical patent/CN105303557B/zh
Priority to KR1020177009100A priority patent/KR101816041B1/ko
Priority to US15/328,002 priority patent/US20170213085A1/en
Priority to PCT/CN2015/097453 priority patent/WO2017049776A1/zh
Publication of CN105303557A publication Critical patent/CN105303557A/zh
Application granted granted Critical
Publication of CN105303557B publication Critical patent/CN105303557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C5/00—Constructions of non-optical parts
    • G02C5/001—Constructions of non-optical parts specially adapted for particular purposes, not otherwise provided for or not fully classifiable according to technical characteristics, e.g. therapeutic glasses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明属于智能眼镜技术领域，尤其涉及一种可透视型智能眼镜及其透视方法。所述可透视型智能眼镜包括模型存储模块、图像处理模块和图像显示模块，所述模型存储模块用于存储目标物体的3D模型；所述图像处理模块用于根据使用者的观察角度识别目标物体的外部标定，根据目标物体3D模型找出外部标定和内部结构之间的相对空间关系，根据相对空间关系生成观察角度对应的目标物体内部图像，并通过所述图像显示模块显示所述内部图像。本发明在不破坏物体表面和整体结构的前提下，根据使用者的观察角度生成观察角度对应的内部结构图像，便于使用者正确、直观、形象地观测到物体的内部结构。

Description

一种可透视型智能眼镜及其透视方法
技术领域
本发明属于智能眼镜技术领域，尤其涉及一种可透视型智能眼镜及其透视方法。
背景技术
随着电子技术的进步，智能眼镜逐渐发展，例如googleglass和爱普生MoverioBT-200智能眼镜等。现有的智能眼镜像智能手机一样，具有独立的操作系统，可以由用户安装软件、游戏等软件服务商提供的程序，可通过语音或动作操控完成添加日程、地图导航、与好友互动、拍摄照片和视频、与朋友展开视频通话等功能，并可以通过移动通讯网络来实现无线网络接入。
现有智能眼镜的缺陷在于：使用者无法通过智能眼镜透视物体，不便于使用者正确、直观、形象地了解到物体的内部结构。
发明内容
本发明提供了一种可透视型智能眼镜及其透视方法，旨在解决现有的智能眼镜无法通过智能眼镜透视物体，不便于使用者了解物体的内部结构的技术问题。
本发明是这样实现的：一种可透视型智能眼镜，包括模型存储模块、图像处理模块和图像显示模块，所述模型存储模块用于存储目标物体的3D模型；所述图像处理模块用于根据使用者的观察角度识别目标物体的外部标定，根据目标物体的3D模型找出外部标定和内部结构之间的相对空间关系，根据相对空间关系生成观察角度对应的目标物体内部图像，并通过所述图像显示模块显示所述内部图像。
本发明实施例采取的技术方案还包括：所述图像处理模块包括图像采集单元和关系建立单元，所述图像显示模块根据使用者的观察角度显示目标物体的表面图像，所述图像采集单元采集目标物体表面图像，通过特征提取算法识提取出特征点，识别目标物体的外部标定；所述关系建立单元根据目标物体的3D模型建立外部标定与内部结构之间的相对空间关系，并计算外部标定的旋转和位移值。
本发明实施例采取的技术方案还包括：所述图像处理模块还包括图像生成单元和图像覆盖单元；所述图像生成单元用于根据外部标定的旋转和位移值生成目标物体内部图像并将该图像投影；所述图像覆盖单元用于将投影得到的图像显示在图像显示模块中，并将该投影图像替换目标物体的表面图像。
本发明实施例采取的技术方案还包括：所述目标物体的3D模型包括目标物体的外部结构和内部结构，所述外部结构为目标物体外部可见部分，包括目标物体外部标定，所述内部结构为目标物体内部不可见部分，用于透视显示使用，所述目标物体的外部结构在内部结构透视时被透明化处理；所述3D模型的建立方式包括：由目标物体的生产厂家提供、根据目标物体的规格说明书建模或根据X光、CT和核磁设备的扫描结果生成，并导入所述模型存储模块中进行存储。
本发明实施例采取的技术方案还包括：所述图像显示模块为智能眼镜显示屏，图像显示方式包括单目显示或双目显示；所述图像采集单元为智能眼镜的摄像头，所述目标物体表面图像的特征点包括目标物体外在的自然特征或人工标记的图案特征。
本发明实施例采取的技术方案还包括：所述关系建立单元计算外部标定的旋转和位移值的计算方式为：所述图像处理模块根据使用者的观察角度识别目标物体的外部标定，根据目标物体的3D模型找出外部标定和内部结构之间的相对空间关系，根据相对空间关系生成观察角度对应的目标物体内部图像具体为：采集外部标定图像，将外部标定图像与已知目标物体3D模型的外部标定图像进行比对得出观察视角，从观察视角对整个目标物体进行投影，并在所述外部标定图像所在位置进行图像截面操作，用所得截面图像替换目标物体表面图像由此获得透视效果。
本发明实施例采取的另一技术方案为：一种可透视型智能眼镜的透视方法，包括：
步骤a：根据真实的目标物体建立3D模型，并通过智能眼镜存所述3D模型；
步骤b：根据使用者的观察角度识别目标物体的外部标定，根据目标物体3D模型找出外部标定与内部结构之间的相对空间关系；
步骤c：根据相对空间关系生成观察角度对应的目标物体内部图像，并通过智能眼镜显示所述内部图像。
本发明实施例采取的技术方案还包括：所述步骤b还包括：计算外部标定的旋转和位移值；所述外部标定的旋转和位移值的计算方式为：将外部标定部分近似考虑为平面，则至少采集4个特征点，将目标物体的外部标定与已知的外部标定进行比对变换，建立相对空间关系时求出3*3的变换矩阵T1；预估人眼所看显示屏的位置，并计算摄像头图像与人眼图像之间变换的校正矩阵，将变换矩阵T1与已知校正矩阵结合得到显示屏所在位置的矩阵T2，求出T2矩阵对应的角度和位移值，即为外部标定的旋转和位移值。
本发明实施例采取的技术方案还包括：在所述步骤c中，所述根据相对空间关系生成观察角度对应的目标物体内部图像，并通过智能眼镜显示所述内部图像具体为：根据外部标定的旋转和位移值生成目标物体内部图像并将该图像投影，将投影得到的图像显示在智能眼镜中，并将该投影图像替换目标物体的表面图像。
本发明实施例采取的技术方案还包括：所述步骤c后还包括：当采集到的目标物体表面图像发生变化时，判断该图像与原已识别外部标定的图像是否存在重叠的外部标定，如果存在重叠的外部标定，在原已识别外部标定的图像的相邻区域重新执行步骤b，如果不存在重叠的外部标定，则对整个图像重新执行步骤b。
本发明实施例的可透视型智能眼镜及其透视方法在不破坏物体表面和整体结构的前提下，通过建立目标物体3D模型，使用者佩戴智能眼镜，智能眼镜根据使用者的观察角度生成观察角度对应的内部结构图像，便于使用者正确、直观、形象地观测到物体的内部结构。
附图说明
图1是本发明实施例的可透视型智能眼镜的结构示意图；
图2是目标物体结构图；
图3是目标物体外部观察效果图；
图4是摄像头与显示器位置之间的校正关系图；
图5是本发明实施例的可透视型智能眼镜的透视方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，是本发明实施例的可透视型智能眼镜的结构示意图。本发明实施例的可透视型智能眼镜包括模型存储模块、图像显示模块和图像处理模块；具体地：
模型存储模块用于存储目标物体的3D模型；其中，目标物体的3D模型包括目标物体的外部结构和内部结构，外部结构为目标物体外部可见部分，包括目标物体外部标定，内部结构为目标物体内部不可见部分，用于透视显示使用，目标物体的外部结构在内部结构透视时被透明化处理；目标物体3D模型的建立方式包括：由目标物体的生产厂家提供、根据目标物体的规格说明书建模、根据X光、CT和核磁等设备的扫描结果生成或上述建模方式以外的其他建模方式取得，并导入模型存储模块中进行存储；具体如图2所示，为目标物体结构图。
图像显示模块用于根据使用者的观察角度显示目标物体的表面图像或内部图像；其中，图像显示模块为智能眼镜显示屏，图像显示方式包括单目显示或双目显示；图像显示模块允许自然光的穿透，从而在保证使用者观看智能眼镜显示图像的同时也可以看到自然真实视野。
图像处理模块用于根据使用者的观察角度识别目标物体的外部标定，找出外部标定和内部结构之间的相对空间关系，根据相对空间关系生成观察角度对应的目标物体内部图像，并通过图像显示模块显示所述内部图像；具体地，图像处理模块包括图像采集单元、关系建立单元、图像生成单元和图像覆盖单元；
图像采集单元用于采集目标物体表面图像，并通过特征提取算法提取特征点，识别出目标物体的外部标定；在本发明实施例中，图像采集单元为智能眼镜的摄像头；目标物体表面图像的特征点包括目标物体外在的自然特征或人工标记的图案特征，这些特征点被智能眼镜的摄像头采集并由相应的特征提取算法识别；具体如图3所示，为目标物体外部观察效果图。识别出外部标定后，由于视频中相邻两帧图像中的外部标定会有部分重叠，从而更容易在后续图像中识别出外部标定。
关系建立单元用于根据目标物体的3D模型建立外部标定和内部结构之间的相对空间关系，并计算外部标定的旋转和位移值；具体地，外部标定的旋转和位移值的计算方式为：如果将外部标定部分近似考虑为平面，则至少采集4个特征点，将目标物体的外部标定与已知的外部标定进行比对变换，建立相对空间关系时可以求出3*3的变换矩阵T1，由于智能眼镜的摄像头和人眼所看显示屏的位置并不完全重合，因此需要预估人眼所看显示屏的位置同时计算好摄像头图像与人眼图像之间变换的校正矩阵，将变换矩阵T1与已知校正矩阵结合得到显示屏所在位置的矩阵T2，求出T2矩阵对应的角度和位移值，即为外部标定的旋转和位移值。具体如图4所示，为摄像头与显示器位置之间的校正关系图。本发明通过标定手段求出此校正矩阵，此校正矩阵只由设备本身参数决定，与使用者和目标物体无关。如果使用相机标定技术可以得出该设备的校正矩阵。
图像生成单元用于根据外部标定的旋转和位移值生成目标物体内部图像并将该图像投影；
图像覆盖单元用于将投影得到的图像显示在图像显示模块中，并将该投影图像替换目标物体的表面图像，从而达到透视目标物体内部结构的效果；即：通过图像采集单元采集到外部标定图像，将外部标定图像与已知目标物体3D模型的外部标定图像进行比对得出观察视角，从观察视角对整个目标物体进行投影，并在所述外部标定图像所在位置进行图像截面操作，用所得截面图像替换目标物体表面图像由此获得透视效果；此刻使用者者通过图像显示模块看到的图像是目标物体的表面图像与图像生成单元生成的投影图像融合叠加后的结果，由于投影图像覆盖了部分目标物体表面的图像并将其替换为该角度下的目标物体内部结构透视图像，因此从智能眼镜使用者的角度来说，目标物体的外表面是透明的，从而达到透视目标物体内部结构的效果。其中，图像显示方式包括视频完全显示或者仅在图像显示模块上投射出目标物体内部结构；可以理解，本发明不仅仅可以显示物体内部结构，同时也可以在物体表面显示出原本不存在的图案或者其他本不存在的立体虚拟影像。
请参阅图5，是本发明实施例的可透视型智能眼镜的透视方法的流程图。本发明实施例的可透视型智能眼镜的透视方法包括以下步骤：
步骤100：根据真实的目标物体结构建立3D模型，并将该3D模型导入智能眼镜中进行存储；
在步骤100中，3D模型包括目标物体的外部结构和内部结构，外部结构为目标物体外部可见部分，包括目标物体外部标定，内部结构为目标物体内部不可见部分，用于透视显示使用，目标物体的外部结构在内部结构透视时被透明化处理；目标物体3D模型建立方式包括：由目标物体的生产厂家提供、根据目标物体的规格说明书建模、根据X光、CT和核磁等设备的扫描结果生成或上述建模方式以外的其他建模方式取得；具体如图2所示，为目标物体结构图。
步骤200：佩戴智能眼镜，通过图像显示模块根据使用者的观察角度显示目标物体的表面图像；
在步骤200中，图像显示模块为智能眼镜显示屏，图像显示方式包括单目显示或双目显示；图像显示模块允许自然光的穿透，从而在保证使用者观看智能眼镜显示图像的同时也可以看到自然真实视野。
步骤300：采集目标物体表面图像，并通过特征提取算法提取特征点，识别出目标物体的外部标定；
在步骤300中，目标物体表面图像的特征点包括目标物体外在的自然特征或人工标记的图案特征，这些特征点被可透视型智能眼镜的摄像头采集并由相应的特征提取算法识别；具体如图3所示，为目标物体外部观察效果图。
步骤400：根据目标物体的3D模型建立外部标定与内部结构之间的相对空间关系，并计算外部标定的旋转和位移值；
在步骤400中，外部标定的旋转和位移值的计算方式为：如果将外部标定部分近似考虑为平面，则至少采集4个特征点，将目标物体的外部标定与已知的外部标定进行比对变换，建立相对空间关系时可以求出3*3的变换矩阵T1，由于智能眼镜的摄像头和人眼所看显示屏的位置并不完全重合，因此需要预估人眼所看显示屏的位置同时计算好摄像头图像与人眼图像之间变换的校正矩阵，将变换矩阵T1与已知校正矩阵结合得到显示屏所在位置的矩阵T2，求出T2矩阵对应的角度和位移值，即为外部标定的旋转和位移值。具体如图4所示，为摄像头与显示器位置之间的校正关系图。本发明通过标定手段求出此校正矩阵，此校正矩阵只由设备本身参数决定，与使用者和目标物体无关。如果使用相机标定技术可以得出该设备的校正矩阵。
步骤500：根据外部标定的旋转和位移值生成目标物体内部图像并将该图像投影；
步骤600：将投影得到的图像显示在图像显示模块中，并将该投影图像替换目标物体的表面图像，从而达到透视目标物体内部结构的效果；
在步骤600中，当投影图像显示在图像显示模块时，使用者者通过图像显示模块看到的图像是目标物体的表面图像与图像生成单元生成的投影图像融合叠加后的结果，由于投影图像覆盖了部分目标物体表面的图像并将其替换为该角度下的目标物体内部结构透视图像，因此从智能眼镜使用者的角度来说，目标物体的外表面是透明的，从而达到透视目标物体内部结构的效果。其中，图像显示方式包括视频完全显示或者仅在图像显示模块上投射出目标物体内部结构；可以理解，本发明不仅仅可以显示物体内部结构，同时也可以在物体表面显示出原本不存在的图案或者其他本不存在的立体虚拟影像。
步骤700：当采集到的目标物体表面图像发生变化时，判断该图像与原已识别外部标定的图像是否存在重叠的外部标定，如果存在重叠的外部标定，在原已识别外部标定的图像的相邻区域重新执行步骤300，如果不存在重叠的外部标定，则对整个图像重新执行步骤300。
在步骤700中，原已识别外部标定的图像的相邻区域是指：发生变化的目标物体表面图像与已识别外部标定的图像存在重复外部标定的区域以外的其他区域，并且该其他区域与已识别外部标定区域相连通。识别出外部标定后，由于视频中相邻两帧图像中的外部标定会有部分重叠，以已识别图像为先验知识，从而更容易在后续图像中识别出外部标定。当目标物体发生位移或者使用者发生位移后，则重新采集目标物体的外部标定生成新的内部图像并做图像替换，使观察到的图像随观察角度发生变化，从而产生逼真的透视错觉。
本发明实施例的可透视型智能眼镜及其透视方法在不破坏物体表面和整体结构的前提下，通过在智能眼镜中存储目标物体的3D模型，智能眼镜根据使用者的观察角度生成观察角度对应的内部结构图像，便于使用者正确、直观、形象地观测到物体的内部结构。在本发明另一实施例中，还可以使用追踪器等技术加以辅助，通过追踪显示追踪器在目标内部所在的位置，使显示结果更直观、简单易用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种可透视型智能眼镜，其特征在于，包括模型存储模块、图像处理模块和图像显示模块，所述模型存储模块用于存储目标物体的3D模型；所述图像处理模块用于根据使用者的观察角度识别目标物体的外部标定，根据目标物体的3D模型找出外部标定和内部结构之间的相对空间关系，根据相对空间关系生成观察角度对应的目标物体内部图像，并通过所述图像显示模块显示所述内部图像；
其中，所述图像处理模块包括图像采集单元和关系建立单元，所述图像显示模块根据使用者的观察角度显示目标物体的表面图像，所述图像采集单元采集目标物体表面图像，通过特征提取算法提取特征点，识别物体外部标定；所述关系建立单元根据目标物体的3D模型建立外部标定与内部结构之间的相对空间关系，并计算外部标定的旋转和位移值，
所述外部标定的旋转和位移值的计算方式为：将外部标定部分近似考虑为平面，则至少采集4个特征点，将目标物体的外部标定与已知的外部标定进行比对变换，建立相对空间关系时求出3*3的变换矩阵T1；预估人眼所看显示屏的位置，并计算摄像头图像与人眼图像之间变换的校正矩阵，将变换矩阵T1与已知校正矩阵结合得到显示屏所在位置的矩阵T2，求出T2矩阵对应的角度和位移值，即为外部标定的旋转和位移值。
2.根据权利要求1所述的可透视型智能眼镜，其特征在于，所述图像处理模块还包括图像生成单元和图像覆盖单元；所述图像生成单元用于根据外部标定的旋转和位移值生成目标物体内部图像并将该图像投影；所述图像覆盖单元用于将投影得到的图像显示在图像显示模块中，并将该投影图像替换目标物体的表面图像。
3.根据权利要求1所述的可透视型智能眼镜，其特征在于，所述目标物体的3D模型包括目标物体的外部结构和内部结构，所述外部结构为目标物体外部可见部分，包括目标物体外部标定，所述内部结构为目标物体内部不可见部分，用于透视显示使用，所述目标物体的外部结构在内部结构透视时被透明化处理；所述3D模型的建立方式包括：由目标物体的生产厂家提供、根据目标物体的规格说明书建模或根据X光、CT和核磁设备的扫描结果生成，并导入所述模型存储模块中进行存储。
4.根据权利要求1所述的可透视型智能眼镜，其特征在于，所述图像显示模块为智能眼镜显示屏，图像显示方式包括单目显示或双目显示；所述图像采集单元为智能眼镜的摄像头，所述目标物体表面图像的特征点包括目标物体外在的自然特征或人工标记的图案特征。
5.根据权利要求1所述的可透视型智能眼镜，其特征在于，所述图像处理模块根据使用者的观察角度识别目标物体的外部标定，根据目标物体的3D模型找出外部标定和内部结构之间的相对空间关系，根据相对空间关系生成观察角度对应的目标物体内部图像具体为：采集外部标定图像，将外部标定图像与已知目标物体3D模型的外部标定图像进行比对得出观察视角，从观察视角对整个目标物体进行投影，并在所述外部标定图像所在位置进行图像截面操作，用所得截面图像替换目标物体表面图像由此获得透视效果。
6.一种可透视型智能眼镜的透视方法，包括：
步骤a：根据真实的目标物体建立3D模型，并通过智能眼镜存所述3D模型；
步骤b：根据使用者的观察角度识别目标物体的外部标定，根据目标物体3D模型找出外部标定与内部结构之间的相对空间关系；
步骤c：根据相对空间关系生成观察角度对应的目标物体内部图像，并通过智能眼镜显示所述内部图像；
所述步骤b还包括：计算外部标定的旋转和位移值；所述外部标定的旋转和位移值的计算方式为：将外部标定部分近似考虑为平面，则至少采集4个特征点，将目标物体的外部标定与已知的外部标定进行比对变换，建立相对空间关系时求出3*3的变换矩阵T1；预估人眼所看显示屏的位置，并计算摄像头图像与人眼图像之间变换的校正矩阵，将变换矩阵T1与已知校正矩阵结合得到显示屏所在位置的矩阵T2，求出T2矩阵对应的角度和位移值，即为外部标定的旋转和位移值。
7.根据权利要求6所述的可透视型智能眼镜的透视方法，其特征在于，在所述步骤c中，所述根据相对空间关系生成观察角度对应的目标物体内部图像，并通过智能眼镜显示所述内部图像具体为：根据外部标定的旋转和位移值生成目标物体内部图像并将该图像投影，将投影得到的图像显示在智能眼镜中，并将该投影图像替换目标物体的表面图像。
8.根据权利要求7所述的可透视型智能眼镜的透视方法，其特征在于，所述步骤c后还包括：当采集到的目标物体表面图像发生变化时，判断该图像与原已识别外部标定的图像是否存在重叠的外部标定，如果存在重叠的外部标定，在原已识别外部标定的图像的相邻区域重新执行步骤b，如果不存在重叠的外部标定，则对整个图像重新执行步骤b。
CN201510602596.7A 2015-09-21 2015-09-21 一种可透视型智能眼镜及其透视方法 Active CN105303557B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510602596.7A CN105303557B (zh) 2015-09-21 2015-09-21 一种可透视型智能眼镜及其透视方法
KR1020177009100A KR101816041B1 (ko) 2015-09-21 2015-12-15 시스루 스마트 안경 및 그 투시 방법
US15/328,002 US20170213085A1 (en) 2015-09-21 2015-12-15 See-through smart glasses and see-through method thereof
PCT/CN2015/097453 WO2017049776A1 (zh) 2015-09-21 2015-12-15 一种可透视型智能眼镜及其透视方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510602596.7A CN105303557B (zh) 2015-09-21 2015-09-21 一种可透视型智能眼镜及其透视方法

Publications (2)

Publication Number Publication Date
CN105303557A CN105303557A (zh) 2016-02-03
CN105303557B true CN105303557B (zh) 2018-05-22

Family

ID=55200779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510602596.7A Active CN105303557B (zh) 2015-09-21 2015-09-21 一种可透视型智能眼镜及其透视方法

Country Status (4)

Country Link
US (1) US20170213085A1 (zh)
KR (1) KR101816041B1 (zh)
CN (1) CN105303557B (zh)
WO (1) WO2017049776A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US11150868B2 (en) 2014-09-23 2021-10-19 Zophonos Inc. Multi-frequency sensing method and apparatus using mobile-clusters
US11544036B2 (en) 2014-09-23 2023-01-03 Zophonos Inc. Multi-frequency sensing system with improved smart glasses and devices
US10192133B2 (en) 2015-06-22 2019-01-29 Seiko Epson Corporation Marker, method of detecting position and pose of marker, and computer program
US10192361B2 (en) 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
US10347048B2 (en) * 2015-12-02 2019-07-09 Seiko Epson Corporation Controlling a display of a head-mounted display device
CN106096540B (zh) * 2016-06-08 2020-07-24 联想(北京)有限公司 一种信息处理方法和电子设备
CN106210468B (zh) * 2016-07-15 2019-08-20 网易（杭州）网络有限公司 一种增强现实显示方法和装置
WO2018035736A1 (zh) * 2016-08-24 2018-03-01 中国科学院深圳先进技术研究院 智能眼镜的显示方法及装置
CN106710004A (zh) * 2016-11-25 2017-05-24 中国科学院深圳先进技术研究院 透视物体内部结构的透视方法及系统
CN106817568A (zh) * 2016-12-05 2017-06-09 网易（杭州）网络有限公司 一种增强现实显示方法和装置
CN106803988B (zh) * 2017-01-03 2019-12-17 苏州佳世达电通有限公司 信息传送系统以及信息传送方法
US20180316877A1 (en) * 2017-05-01 2018-11-01 Sensormatic Electronics, LLC Video Display System for Video Surveillance
CN109009473B (zh) * 2018-07-14 2021-04-06 杭州三坛医疗科技有限公司 脊椎创伤定位系统及其定位方法
CN110708530A (zh) * 2019-09-11 2020-01-17 青岛小鸟看看科技有限公司 一种使用增强现实设备透视封闭空间的方法和系统
FR3115120A1 (fr) * 2020-10-08 2022-04-15 Renault Dispositif de réalité augmentée

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1746822A (zh) * 2004-09-07 2006-03-15 佳能株式会社 用于呈现与虚拟图像合成的图像的信息处理装置及方法
US20120235886A1 (en) * 2010-02-28 2012-09-20 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
CN102945564A (zh) * 2012-10-16 2013-02-27 上海大学 基于视频透视式增强现实的真三维建模系统和方法
CN103823553A (zh) * 2013-12-18 2014-05-28 微软公司 对表面背后的场景的增强现实显示
CN104166237A (zh) * 2013-05-15 2014-11-26 精工爱普生株式会社 虚像显示装置
CN104656880A (zh) * 2013-11-21 2015-05-27 深圳先进技术研究院 一种基于智能眼镜的书写系统及方法
CN104915947A (zh) * 2014-03-13 2015-09-16 欧姆龙株式会社 图像处理装置、系统、图像处理方法及图像处理程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4434890B2 (ja) 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
US8517532B1 (en) * 2008-09-29 2013-08-27 Robert L. Hicks Eyewear with reversible folding temples
KR20100038645A (ko) * 2008-10-06 2010-04-15 (주)아리엘시스템 입체영상 구현용 안경
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
CN103211655B (zh) * 2013-04-11 2016-03-09 深圳先进技术研究院 一种骨科手术导航系统及导航方法
CN103336575B (zh) * 2013-06-27 2016-06-29 深圳先进技术研究院 一种人机交互的智能眼镜系统及交互方法
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1746822A (zh) * 2004-09-07 2006-03-15 佳能株式会社 用于呈现与虚拟图像合成的图像的信息处理装置及方法
US20120235886A1 (en) * 2010-02-28 2012-09-20 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
CN102945564A (zh) * 2012-10-16 2013-02-27 上海大学 基于视频透视式增强现实的真三维建模系统和方法
CN104166237A (zh) * 2013-05-15 2014-11-26 精工爱普生株式会社 虚像显示装置
CN104656880A (zh) * 2013-11-21 2015-05-27 深圳先进技术研究院 一种基于智能眼镜的书写系统及方法
CN103823553A (zh) * 2013-12-18 2014-05-28 微软公司 对表面背后的场景的增强现实显示
CN104915947A (zh) * 2014-03-13 2015-09-16 欧姆龙株式会社 图像处理装置、系统、图像处理方法及图像处理程序

Also Published As

Publication number Publication date
US20170213085A1 (en) 2017-07-27
KR20170046790A (ko) 2017-05-02
WO2017049776A1 (zh) 2017-03-30
CN105303557A (zh) 2016-02-03
KR101816041B1 (ko) 2018-01-08

Similar Documents

Publication Publication Date Title
CN105303557B (zh) 一种可透视型智能眼镜及其透视方法
CN112639664B (zh) 用于确定和/或评价图像显示设备的定位地图的方法和装置
CN109658365B (zh) 图像处理方法、装置、系统和存储介质
TWI659335B (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
CN105353873B (zh) 基于三维显示的手势操控方法和系统
CN104599243B (zh) 一种多视频流与三维场景的虚实融合方法
CN105210113B (zh) 具有一般和全景相机移动的单眼视觉slam
CN100594519C (zh) 用球面全景摄像机实时生成增强现实环境光照模型的方法
CN107945282A (zh) 基于对抗网络的快速多视角三维合成和展示方法及装置
WO2017197951A1 (zh) 增强现实场景中的渲染方法、处理模块和增强现实眼镜
CN106527696A (zh) 一种实现虚拟操作的方法以及可穿戴设备
KR20140108128A (ko) 증강 현실 제공 장치 및 방법
CN110363133B (zh) 一种视线检测和视频处理的方法、装置、设备和存储介质
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
WO2019140945A1 (zh) 一种应用于飞行模拟器的混合现实方法
CN105264478A (zh) 全息锚定和动态定位
CN104581119B (zh) 一种3d图像的显示方法和一种头戴设备
CN110751730B (zh) 一种基于深度神经网络的穿衣人体体型估计方法
CN111047709A (zh) 一种双目视觉裸眼3d图像生成方法
CN109901290A (zh) 注视区域的确定方法、装置及可穿戴设备
CN108124150A (zh) 虚拟现实头戴显示设备及通过其观察真实场景的方法
CN106683163A (zh) 一种视频监控的成像方法及系统
CN111047678B (zh) 一种三维人脸采集装置和方法
JP6695997B2 (ja) 情報処理装置
EP4094184A1 (en) Systems and methods for masking a recognized object during an application of a synthetic element to an original image

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant