CN106296827A - 图像处理方法和装置 - Google Patents
图像处理方法和装置 Download PDFInfo
- Publication number
- CN106296827A CN106296827A CN201610652285.6A CN201610652285A CN106296827A CN 106296827 A CN106296827 A CN 106296827A CN 201610652285 A CN201610652285 A CN 201610652285A CN 106296827 A CN106296827 A CN 106296827A
- Authority
- CN
- China
- Prior art keywords
- real object
- virtual objects
- information
- wavefront
- dimensional coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000008569 process Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 7
- 230000003190 augmentative effect Effects 0.000 abstract description 16
- 230000006870 function Effects 0.000 description 64
- 238000005516 engineering process Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000005070 sampling Methods 0.000 description 11
- 238000001093 holography Methods 0.000 description 7
- 241000406668 Loxodonta cyclotis Species 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000007812 deficiency Effects 0.000 description 4
- 238000011056 performance test Methods 0.000 description 4
- 238000010008 shearing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000021615 conjugation Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000007858 starting material Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241000638935 Senecio crassissimus Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Holo Graphy (AREA)
Abstract
本发明公开了一种图像处理方法和装置。其中，该方法包括：获取真实环境中真实对象的三维坐标信息，并获取虚拟信息虚拟对象的三维坐标信息其中，三维坐标信息至少以下包括其中之一：振幅信息、相位信息；根据真实对象的三维坐标信息和虚拟对象的三维坐标信息生成目标全息图；将目标全息图进行图像再现，其中，将虚拟对象显示在真实环境中。本发明解决了现有的增强现实技术的鲁棒性和正确性无法满足目标需求的技术问题。
Description
技术领域
本发明涉及图像处理领域，具体而言，涉及一种图像处理方法和装置。
背景技术
随着当今社会中图像处理技术的飞速发展，增强现实(Augmented Reality，简称AR)技术也广泛地应用在图像处理领域。增强现实(AR)技术是指将通过计算机生成的虚拟对象增加用户对现实世界感知的技术，可以将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。增强现实(AR)技术的最大特点是通过三维注册方法，将虚拟场景与真实场景进行叠加，并允许用户同时观看真实场景中的物体和虚拟环境的物体，获得超越真实景物的视觉感受和信息服务。增强现实(AR)的关键技术包括：虚实物体匹配(又可以称为三维注册过程)和三维显示技术。在增强现实系统中，虚拟对象的三维注册必须满足正确性和鲁棒性。因此，在不同的研究环境下，满足性能要求的三维注册技术是目前增强现实系统的瓶颈。
虚实物体匹配(即三维注册过程)是指对真实场景图像和计算机生成的虚拟对象进行无缝合成。上述无缝合成的具体过程为：首先根据真实场景中的真实对象确定虚拟对象与观察者之间的关系，然后，通过正确的投影将虚拟对象投影至观察者的视域范围。但是，在现有的增强现实系统中，三维注册是最基本的问题，其中，现有的三维注册技术主要包括：基于认知、基于数字图像分析和基于视觉的三维环境注册方法。下面举例说明基于视觉的三维环境注册方法，以及基于视觉的三维环境注册方法中所存在的问题。
基于视觉的三维环境注册方法采用单摄像头，利用摄像成像原理对真实场景进行信息采集和转换，将三维物体图像转换为二维图像，实现把现实环境的坐标表示为虚拟环境的坐标；然后，通过识别和确定标识物数据模型，即将现实环境坐标系与通过摄像所得到的虚拟坐标系进行比对分析，便可以计算出摄像头相对于真实场景的位置、方向及角度；有了摄像头的位置和姿态参数后，通过坐标系变换，便可根据现实环境中的坐标信息计算出虚拟对象在真实场景中的相关信息，即确定所需要添加的虚拟三维物体在真实世界中的正确位置。
概括来说，基于视觉的三维环境注册方法是通过真实场景进行信息采集和转换，并对坐标系进行对比和转换，计算出虚拟对象在真实场景中位置信息，达到增强现实的目的。然而，从其技术层面上讲，上述方案采用的单摄像头图像转换过程只能获取平面信息，是无法获取真实场景的三维信息，其中，三维信息主要指相位信息。因为摄像成像只记录了被摄物体表面光线强弱的变化，只能存贮被摄物体光强度的空间分布，即振幅信息。无法记录光波的相位信息，即无法获取深度信息。这样就导致虚拟对象只能出现在真实场景的一个二维平面上。因此，从三维注册技术的性能评价标准上来看，基于视觉的三维环境注册方法没有考虑鲁棒性，无法抵抗裁剪、压缩、滤波和噪声等方面的攻击。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像处理方法和装置，以至少解决现有的增强现实技术的鲁棒性和正确性无法满足目标需求的技术问题。
根据本发明实施例的一个方面，提供了一种图像处理方法，包括：获取真实环境中真实对象的三维坐标信息，并获取虚拟对象的三维坐标信息，其中，所述三维坐标信息至少以下包括其中之一：振幅信息、相位信息；根据所述真实对象的三维坐标信息和所述虚拟对象的三维坐标信息生成目标全息图；将对所述目标全息图进行图像再现，将所述虚拟对象显示在所述真实环境中。
进一步地，获取真实环境中真实对象的三维坐标信息包括：对所述真实对象进行全息处理，得到所述真实对象的全息图；对所述真实对象的全息图进行时频分析，得到所述真实对象的波前函数，其中，所述真实对象的波前函数包括所述真实对象的所述三维坐标信息。
进一步地，对所述真实对象的全息图进行时频分析，得到所述真实对象的波前函数包括：通过傅里叶变换将所述真实对象的全息图变换至频域空间；将进行所述时频分析之后的在频域空间对所述真实对象的全息图进行高通滤波处理，得到所述真实对象的物光波前信息；对所述物光波前信息进行傅里叶逆变换，得到所述真实对象的波前函数。
进一步地，获取虚拟对象的三维坐标信息包括：获取所述虚拟对象的预设距离；通过计算所述虚拟对象在所述预设距离处的波前函数，其中，所述虚拟对象的波前函数中包括所述虚拟对象的三维坐标信息。
进一步地，根据所述真实对象的三维坐标信息和所述虚拟对象的三维坐标信息生成目标全息图包括：将所述真实对象的波前函数和所述虚拟对象的波前函数进行叠加得到波前信息；将得到的所述波前信息与参考光进行干涉，生成所述目标全息图。
进一步地，对所述目标全息图进行图像再现，将所述虚拟信息虚拟对象显示在所述真实环境中，包括：将所述目标全息图按照预设再现距离进行再现，将所述虚拟对象显示在所述真实环境中。
根据本发明实施例的另一方面，还提供了一种图像处理装置，包括：获取模块，用于获取真实环境中真实对象的三维坐标信息，并获取虚拟对象的三维坐标信息，其中，所述三维坐标信息至少以下包括其中之一：振幅信息、相位信息；生成模块，用于根据所述真实对象的三维坐标信息和所述虚拟对象的三维坐标信息生成目标全息图；再现模块，用于对所述目标全息图进行图像再现，将所述虚拟对象显示在所述真实环境中。
进一步地，所述获取模块包括：处理单元，用于对所述真实对象进行全息处理，得到所述真实对象的全息图；分析单元，用于对所述真实对象的全息图进行时频分析，得到所述真实对象的波前函数，其中，所述真实对象的波前函数包括所述真实对象的所述三维坐标信息。
进一步地，所述分析单元用于：通过傅里叶变换将所述真实对象的全息图变换至频域空间；在频域空间对所述真实对象的全息图进行高通滤波，得到所述真实对象的全息图的物光波前信息；对所述物光波前信息进行傅里叶逆变换，得到所述真实对象的波前函数。
进一步地，所述获取模块包括：获取单元，用于获取所述虚拟对象的预设距离；计算单元，用于计算所述虚拟对象在所述预设距离处的波前函数，其中，所述虚拟对象的波前函数中包括所述虚拟对象的三维坐标信息。
进一步地，所述生成模块用于：将所述真实对象的波前函数和所述虚拟对象的波前函数进行叠加得到波前信息；将得到的所述波前信息与参考光进行干涉，生成所述目标全息图。
进一步地，所述再现模块用于：将所述目标全息图按照预设再现距离进行再现，将所述虚拟对象显示在所述真实环境中。
在本发明实施例中，采用获取真实环境中真实对象的三维坐标信息，并获取虚拟信息虚拟对象的三维坐标信息其中，三维坐标信息至少以下包括其中之一：振幅信息、相位信息；根据真实对象的三维坐标信息和虚拟对象的三维坐标信息生成目标全息图；将目标全息图进行图像再现，其中，将虚拟对象显示在真实环境中的方式，相对于现有技术中仅能获取真实环境的二维坐标信息的方案，本发明引入了数字全息技术，即本发明通过将真实环境中真实对象的三维坐标信息和虚拟对象的三维坐标信息进行叠加得到目标全息图，然后，对目标全息图进行再现使得虚拟对象能够表示在真实环境中，采用本发明实施例不仅达到了增强现实的目的，还可以满足鲁棒性和正确性的性能要求，进而解决了现有的增强现实技术的鲁棒性和正确性无法满足目标需求的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种图像处理方法的流程图；
图2是根据本发明实施例的一种图像处理装置的示意图；
图3是根据本发明实施例的一种可选的图像处理方法的流程图；
图4是根据本发明实施例的一种基于数字全息的三维注册的示意图；
图5是根据本发明实施例的一种抗裁剪攻击的性能测试的示意图；以及
图6是根据本发明实施例的一种抗压缩和噪声攻击的性能测试的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例，提供了一种图像处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种图像处理方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取真实环境中真实对象的三维坐标信息，并获取虚拟对象的三维坐标信息，其中，三维坐标信息至少以下包括其中之一：振幅信息、相位信息。
在本发明实施例中，真实环境又可以称为现实环境，真实对象又可以称为现实环境中的现实物体；虚拟对象为研发人员通过计算机生成的虚拟物体、场景或系统提示信息中的至少之一。
在本发明的一个可选实施方式中，真实对象的三维坐标信息包括：真实对象的振幅和真实对象的相位；虚拟对象的三维坐标信息包括：虚拟对象的振幅和虚拟对象的相位。
步骤S104，根据真实对象的三维坐标信息和虚拟对象的三维坐标信息生成目标全息图。
在本发明实施例中，可以将包含振幅和相位的真实对象的三维坐标信息和虚拟对象的三维坐标信息进行数据处理，进而生成目标全息图，然后，执行下述步骤S106，即对目标全息图进行图像再现，对目标全息图进行图像再现之后，虚拟对象即可以表示在真实环境中。
步骤S106，对目标全息图进行图像再现，将虚拟对象显示在真实环境中。
在本发明实施例中，通过将真实环境中真实对象的三维坐标信息和虚拟对象的三维坐标信息进行叠加得到目标全息图，然后，对目标全息图进行再现使得虚拟对象能够表示在真实环境中，采用本发明实施例不仅达到了增强现实的目的，还可以满足鲁棒性和正确性的性能要求，进而解决了现有的增强现实技术的鲁棒性和正确性无法满足目标需求的技术问题。
在本发明的一个可选实施方式中，获取真实环境中真实对象的三维坐标信息，具体为：
首先，对真实对象进行全息处理，得到真实对象的全息图，然后，对真实对象的全息图进行时频分析，得到真实对象的波前函数，其中，真实对象的波前函数包括真实对象的三维坐标信息。
在本发明实施例中，可以通过光学衍射对真实环境中的真实对象进行全息记录，以获取真实对象的全息图，其中，数字全息技术是指物体反射的光波与参考光波相叠加产生干涉条纹，被记录的这些干涉条纹称为全息图，其中，全息图在一定的条件下可以再现，以重现原物体逼真的三维像，传统的全息技术分为光学全息和计算全息。
在获取到真实对象的全息图之后，即可以对真实对象的全息图进行时频分析、处理得到真实对象的波前函数，在该波前函数中包含真实对象的振幅和真实对象的相位信息。
在一个可选的实施方式中，对真实对象的全息图进行时频分析，得到真实对象的波前函数包括：通过傅里叶变换将真实对象的全息图变换至频域空间，然后，在频域空间对真实对象的全息图在频域空间内进行高通滤波，保留得到真实对象的物光波前信息，最后，通过傅里叶逆变换将物光波前信息进行傅里叶逆变换，变换得到真实对象的波前函数(波前函数又可以称为波前复振幅函数)，其中，在得到的波前函数中包括真实对象的振幅和真实对象的相位。
综上，在本发明实施例中，采用全息技术或者通过多阵列拍摄的方法获取真实对象的三维坐标信息，以在对虚拟对象和真实对象进行三维注册时，能够使得虚拟物体表示在真实的三维场景中，而不是仅仅在一个二维平面上，即满足了现实增强的正确性。
通过上述描述可知，可以通过数字全息技术或者通过多阵列拍摄的方法获取真实对象的三维坐标信息，那么在获取虚拟对象的三维坐标信息时，可以计算虚拟对象的波前函数，其中，虚拟对象的波前函数中包括虚拟对象的三维坐标信息。在本发明实施例中，可以采用菲涅尔衍射积分算法计算虚拟对象的波前函数，其中，菲涅尔衍射指的是光波在近场区域的衍射，菲涅尔衍射积分算法可以用来计算光波在近场区域的传播。
当通过菲涅尔衍射积分算法计算虚拟对象的波前函数时，其实是利用菲涅耳衍射积分算法的计算来模拟光学衍射过程，其中，菲涅耳衍射积分算法的计算过程与光学衍射的计算过程是相同的，下面将具体介绍菲涅尔衍射积分算法的计算过程。
首先，可以通过下述(公式1)计算衍射距离为d的物光波前复振幅函数：
其中，d为衍射距离，(x0,y0)为初始物波平面坐标，O(x0,y0)为初始物波平面信息，U(x,y)为经过衍射距离为d的物光波前复振幅函数，λ为波长，j为虚数单位，k为波数，x0、y0为原始物平面坐标，x、y为经过距离d衍射的波前函数平面坐标。
然后，对(公式1)进行积分处理，将与积分变量无关的项提到积分号前，得到(公式2)：
从上述(公式2)中可以看出，(公式2)是对做了一次傅里叶变换，然后，将变换结果再乘以一个二次相位因子，即就可以得到经衍射距离d衍射之后的物光波前复振幅。为了利用快速傅立叶变换FFT计算上式，可以F表示傅立叶变换，物平面取样宽度为L0，采样数为N×N，采样间距为△x0＝△y0＝L0/N，然后，将上述(公式2)改写为(公式3)，即：
在(公式3)中，△x＝△y是离散傅立叶变换后对应的空域采样间距，此时，根据傅立叶变换和离散傅立叶变换的关系，可以得到(公式4)：其中，(公式4)中L为经衍射距离d的衍射图样采样范围。将(公式4)进行变换得到(公式5)：
另一方面，根据奈奎斯特取样定理可知，当只有当满足(公式6)：所描述的条件时，离散计算结果才能近似满足奈奎斯特取样定理的衍射场。此时，物平面和衍射场平面的取样宽度相等，并且由(公式5)可知，此时物平面和衍射场宽度相等，即
因此，以上结果表明，如果保持物平面的取样间隔和观测区域不变，离散傅立叶变换计算结果在观测平面上的衍射图样取样范围L不仅是波长λ和取样数N的函数，并且会随着衍射距离d的增加而增加。当衍射距离很小时，如果取样数N保持不变，计算结果只能对应于观测平面上邻近光轴很小区域的衍射图像。
在此需要说明的是，通过上述方式一的描述可知，在本发明实施例中，可以通过光学衍射对真实环境中的真实对象进行全息记录，然后，又通过上述菲涅尔衍射积分算法的描述可知，在本发明实施例中，是利用菲涅耳衍射积分算法的计算来模拟光学衍射过程。因此，在获取真实对象的全息记录时，同样可以采用菲涅耳衍射积分算法来模拟光学衍射过程，来获取真实对象的全息记录，并且，具体计算过程与计算虚拟对象的波前函数的计算过程相同，此处不再赘述。当通过上述方法模拟计算出真实环境中真实对象的全息图之后，可以将此全息图进行二维傅里叶变换，并在频域范围内进行高通滤波，仅保留物光波前信息部分，再对此部分进行傅里叶逆变换，得到真实环境中真实对象的波前复振幅函数(即，波前函数)。
在通过上述方式一或方式二获取真实对象的波前函数之后，并通过菲涅耳衍射积分算法计算虚拟对象的波前函数之后，可以将真实对象的波前函数和虚拟对象的波前函数进行叠加得到波前信息，然后，将得到的波前信息与参考光进行干涉，生成目标全息图。
假设，在通过菲涅耳衍射积分算法计算得到真实对象的波前函数和虚拟对象的波前函数之后，可以将和进行叠加，得到波前信息U1(x,y)，其中，然后，将波前信息U1(x,y)进行全息制作，即利用参考光干涉U1(x,y)得到目标全息图IH(x,y)，到此为止，即完成虚拟对象的三维注册和虚实物体的交织过程。在本发明实施例中，和可以通过上述(公式2)中所描述的方法计算。
可选地，在本发明实施例中，可以通过下述(公式7)计算得到目标全息图，
其中，R(x,y)表示参考光，U1(x,y)表示经过衍射的物波前函数(即，上述波前信息)，R*(x,y)表示参考光共轭，U1 *(x,y)表示物波前函数共轭。
在通过上述(公式7)得到目标全息图IH(x,y)之后，可以实现目标全息图的再现，即将虚拟对象表达于真实环境中。假设，再现光为C(x,y)，目标全息图IH(x,y)，再现光场分布为下述(公式8)所示，其中，再现光为用于照射全息图的参考光，再现广场为经过参考光照射全息图后，生成的再现像(±1级衍射光)的光场分布情况：
其中，F为函数傅立叶变换符号，d为衍射距离，λ为波长，j为虚数单位，k为波数，(x，y)为经过距离d衍射的波前函数生成的全息图平面坐标，(x′，y′)为经过参考光照射全息图生成的再现像平面坐标，(△x′，△y′)对应空域采样间距。
由于波前记录的结果是得到一张记有物光振幅和位相信息的目标全息图IH(x,y)。因此，在对目标全息进行再现时，使用参考光(再现光)C(x,y)照射全息图，此时，会有两束衍射光波向不同方向传播，可看作±1级衍射光。其中一束衍射光波传播到观察者眼睛里，与真实物体发出的光波作用完全相同，进而就实现了波前再现。
在本发明上述实施例中，通过采用上文中描述的菲涅耳衍射积分算法，模拟了虚拟对象在真实环境下的三维注册和显示，进而达到了增强现实的目的，即准确地将虚拟对象的全部特征信息表现在真实环境中。
为了验证本发实施例所提供的图像处理方法的鲁棒性和正确性，在将目标全息图进行图像再现之后，还通过裁剪攻击、压缩攻击和噪声攻击中的至少一种对目标全息图进行图像攻击。通过对图像攻击之后的结果进行分析可知，本发明实施例提供的图像处理方法在保证正确性的前提下，能够在裁剪、压缩、滤波和噪声等方面攻击的抵抗性，从而满足性能的鲁棒性。其中，裁剪攻击为通过至少之一对目标全息图进行攻击：十字形的虚拟对象、三角形的虚拟对象、圆形的虚拟对象、矩形的虚拟对象；压缩攻击为对目标全息图按照预设比例进行压缩；噪声攻击为通过预设噪声强度的目标噪声对目标全息图进行攻击。
在本实施例中还提供了一种图像处理装置，该图像处理装置中的各个模块对应于上述实施例及可选实施方式中的步骤，已经进行过说明的在以下实施例中就不再赘述。
图2是根据本发明实施例的一种图像处理装置的示意图，如图2所示，该装置包括：获取模块21、生成模块23和再现模块25，其中，
获取模块21，用于获取真实环境中真实对象的三维坐标信息，并获取虚拟对象的三维坐标信息，其中，三维坐标信息至少以下包括其中之一：振幅信息、相位信息；
生成模块23，用于根据真实对象的三维坐标信息和虚拟对象的三维坐标信息生成目标全息图；
再现模块25，用于对目标全息图进行图像再现，其中，将虚拟对象显示在真实环境中。
在本发明实施例中，可以将包含振幅和相位的真实对象的三维坐标信息和虚拟对象的三维坐标信息进行数据处理，进而生成目标全息图，然后，通过生成模块23对目标全息图进行图像再现，对目标全息图进行图像再现之后，虚拟对象即可以表示在真实环境中。
作为一个可选的实施方式，获取模块包括：处理单元，用于对真实对象进行全息处理，得到真实对象的全息图；分析单元，用于对真实对象的全息图进行视频分析，得到真实对象的波前函数，其中，真实对象的波前函数包括真实对象的三维坐标信息。
作为一个可选的实施方式，分析单元用于：通过傅里叶变换将真实对象的全息图变换至频域空间；在频域空间对真实对象的全息图进行高通滤波，得到真实对象的全息图的物光波前信息；对物光波前信息进行傅里叶逆变换，得到真实对象的波前函数。
作为一个可选的实施方式，获取模块包括：获取单元，用于获取虚拟对象的预设距离；计算单元，用于计算虚拟对象在预设距离处的波前函数，其中，虚拟对象的波前函数中包括虚拟对象的三维坐标信息。
作为一个可选的实施方式，生成模块用于：将真实对象的波前函数和虚拟对象的波前函数进行叠加得到波前信息；将得到的波前信息与参考光进行干涉，生成目标全息图。
作为一个可选的实施方式，再现模块用于：将目标全息图按照预设再现距离进行再现，将虚拟对象显示在真实环境中。
图3是根据本发明实施例的一种可选的图像处理方法的流程图，如图3所示，该方法包括如下步骤：
步骤S301，获取真实环境下真实对象A的三维坐标信息
在本发明实施例中，可以过光学衍射对真实环境中的真实对象进行全息记录，然后，将真实环境的三维坐标信息记录于光学全息图中。例如，对任意图像进行距离为z1(其中，z1即为上述的衍射距离)的菲涅尔衍射积分计算，并与参考光干涉得到一个全息图，以模拟真实环境的光学全息过程。然后，将此全息图进行二维傅里叶变换，在频域空间内进行高通滤波，仅保留物光波前信息相关的部分，再对此部分进行傅里叶逆变换，得到真实环境中真实对象的波前复振幅函数(又可以称为波前函数)，其中，波前复振幅函数中包含三维坐标信息即，包括真实对象的振幅和真实对象相位信息。
步骤S302，获取虚拟对象的三维坐标信息也即，获取虚拟对象的波前函数。
在本发明实施例中，可以通过菲涅尔衍射积分算法，计算出虚拟对象在目标注册距离z2的波前函数
步骤S303，将真实对象A的三维坐标信息和虚拟对象的三维坐标信息进行叠加；
步骤S304，基于叠加得到的波前信息制作目标全息图，并再现目标全息图；
在本发明实施例中，可以对真实环境中真实对象的三维坐标信息和虚拟对象的波前函数进行叠加，叠加的结果仍是波前复振幅函数。并根据全息原理，对叠加的结果进行全息图制作和再现，将虚拟对象表达在真实环境中。
步骤S305，对目标全息图进行鲁棒性检测。
在本发明实施例中，还可以根据三维注册技术的性能评价标准，对虚实信息交织的结果进行攻击，对本方案的鲁棒性进行检测和验证。
下面将结合具体实施例对本发明提供的图像处理方法进行举例说明。
图4是根据本发明实施例的一种基于数字全息的三维注册的示意图。如图4所示，图4中的(a)为真实环境中的平面物体A(即，真实对象)，大小为256×256，观测距离为z1＝500mm；图4中的(b)为虚拟物体平面B(即，虚拟对象)，大小为256×256，目标注册距离为z2＝600mm；图4中的(c)为平面物体A的波前函数和虚拟物体平面B的波前函数叠加之后的波前函数(例如，)与参考光干涉生成的全息图(即，上述目标全息图)，大小为1024×1024；图4中的(d)为全息图(c)的再现像，再现距离为z＝500mm；图4中的(e)为全息图(c)的另一个再现像，再现距离为z＝600mm；图4中的(f)为全息图(c)的又一个再现像，再现距离为z＝300mm。
通过图4中的(d)至图4中的(f)可知，虚拟物体平面只有在注册距离z＝600mm下再现时最为清晰，同时，用户也能够在观测距离z1＝500mm下看到真实场景。因此，采用本发明提供的图像处理方法，可以将虚拟对象的深度距离和平面信息很好的表达在真实环境中。
图5是根据本发明实施例的一种抗裁剪攻击的性能测试的示意图。其中，图5中的(a)为对图4中全息图(c)的“十字形”攻击；图5中的(b)为对图4中全息图(c)的“三角形”攻击；图5中的(c)为对图4中全息图(c)的“矩形”攻击；图5中的(d)为对图4中全息图(c)的“圆形”攻击。图5中的(e)为对5(a)的再现像，再现距离为z＝500mm；图5中的(f)为对5(b)的再现像，再现距离为z＝500mm；图5中的(g)为对图5中(c)的再现像，再现距离为z＝500mm；图5中的(h)为对图5中(d)的再现像，再现距离为z＝500mm。通过图5可知，本发明在对抗裁剪攻击方面有非常良好的鲁棒性。
图6是根据本发明实施例的一种抗压缩和噪声攻击的性能测试的示意图。其中，图6中的(a)为对图4中全息图(c)进行JPEG压缩攻击的示意图，压缩比为30％；图6中的(b)为对图4中全息图(c)进行噪声攻击的示意图，噪声强度为0.01；图6中的(c)为对图6中的(a)进行再现，再现距离为z＝500mm；图6中的(d)为对图6中的(b)进行再现，再现距离为z＝500mm。通过图6可知，本发明在对抗压缩攻击和噪声攻击方面同样具有令人满意的效果。
在本发明实施例提供的图像处理方法和装置中，将数字全息和计算机全息技术应用于增强现实系统中，该方法和装置带来的优点包括以下至少之一：
(1)、本发明根据光学全息原理得到真实环境中真实对象的全息图，将此全息图进行二维傅里叶变换，并在频率进行高通滤波，仅保留物光波前信息相关的部分，再对此部分进行傅里叶逆变换，得到真实环境中真实对象的波前函数。此波前函数是真三维信息，包含真实环境中真实对象的振幅信息和相位信息。
(2)、根据菲涅尔衍射原理和目标注册距离计算出虚拟对象的波前函数，并与真实环境中真实对象的波前函数叠加，用于全息图(此处的全息图即为上述的目标全息图)的分层记录。通过全息图可以对真实环境和虚拟对象进行分层信息记录。而全息再现时，分层记录的信息(真实环境和虚拟对象)不会相互干扰，使得全息图能够存储巨大的信息量。
(3)、抗撕毁性是全息技术的最重要特性。本发明将全息技术引入三维注册中，能够增强系统在裁剪、压缩、滤波和噪声等方面攻击的抵抗性，从而满足性能的鲁棒性。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (12)
1.一种图像处理方法，其特征在于，包括：
获取真实环境中真实对象的三维坐标信息，并获取虚拟对象的三维坐标信息，其中，所述三维坐标信息至少以下包括其中之一：振幅信息、相位信息；
根据所述真实对象的三维坐标信息和所述虚拟对象的三维坐标信息生成目标全息图；
对所述目标全息图进行图像再现，将所述虚拟对象显示在所述真实环境中。
2.根据权利要求1所述的方法，其特征在于，获取真实环境中真实对象的三维坐标信息包括：
对所述真实对象进行全息处理，得到所述真实对象的全息图；
对所述真实对象的全息图进行时频分析，得到所述真实对象的波前函数，其中，所述真实对象的波前函数包括所述真实对象的所述三维坐标信息。
3.根据权利要求2所述的方法，其特征在于，对所述真实对象的全息图进行时频分析，得到所述真实对象的波前函数包括：
通过傅里叶变换将所述真实对象的全息图变换至频域空间；
在频域空间对所述真实对象的全息图进行高通滤波处理，得到所述真实对象的物光波前信息；
对所述物光波前信息进行傅里叶逆变换，得到所述真实对象的波前函数。
4.根据权利要求3所述的方法，其特征在于，获取虚拟对象的三维坐标信息包括：
获取所述虚拟对象的预设距离；
计算所述虚拟对象在所述预设距离处的波前函数，其中，所述虚拟对象的波前函数中包括所述虚拟对象的三维坐标信息。
5.根据权利要求4所述的方法，其特征在于，根据所述真实对象的三维坐标信息和所述虚拟对象的三维坐标信息生成目标全息图包括：
将所述真实对象的波前函数和所述虚拟对象的波前函数进行叠加得到波前信息；
将得到的所述波前信息与参考光进行干涉，生成所述目标全息图。
6.根据权利要求1所述的方法，其特征在于，对所述目标全息图进行图像再现，将所述虚拟对象显示在所述真实环境中，包括：
将所述目标全息图按照预设再现距离进行再现，将所述虚拟对象显示在所述真实环境中。
7.一种图像处理装置，其特征在于，包括：
获取模块，用于获取真实环境中真实对象的三维坐标信息，并获取虚拟对象的三维坐标信息，其中，所述三维坐标信息至少以下包括其中之一：振幅信息、相位信息；
生成模块，用于根据所述真实对象的三维坐标信息和所述虚拟对象的三维坐标信息生成目标全息图；
再现模块，用于对所述目标全息图进行图像再现，将所述虚拟对象显示在所述真实环境中。
8.根据权利要求7所述的装置，其特征在于，所述获取模块包括：
处理单元，用于对所述真实对象进行全息处理，得到所述真实对象的全息图；
分析单元，用于对所述真实对象的全息图进行时频分析，得到所述真实对象的波前函数，其中，所述真实对象的波前函数包括所述真实对象的所述三维坐标信息。
9.根据权利要求8所述的装置，其特征在于，所述分析单元用于：
通过傅里叶变换将所述真实对象的全息图变换至频域空间；
在频域空间对所述真实对象的全息图进行高通滤波，得到所述真实对象的全息图的物光波前信息；
对所述物光波前信息进行傅里叶逆变换，得到所述真实对象的波前函数。
10.根据权利要求9所述的装置，其特征在于，所述获取模块包括：
获取单元，用于获取所述虚拟对象的预设距离；
计算单元，用于计算所述虚拟对象在所述预设距离处的波前函数，其中，所述虚拟对象的波前函数中包括所述虚拟对象的三维坐标信息。
11.根据权利要求10所述的装置，其特征在于，所述生成模块用于：
将所述真实对象的波前函数和所述虚拟对象的波前函数进行叠加得到波前信息；
将得到的所述波前信息与参考光进行干涉，生成所述目标全息图。
12.根据权利要求7所述的装置，其特征在于，所述再现模块用于：
将所述目标全息图按照预设再现距离进行再现，将所述虚拟对象显示在所述真实环境中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610652285.6A CN106296827A (zh) | 2016-08-10 | 2016-08-10 | 图像处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610652285.6A CN106296827A (zh) | 2016-08-10 | 2016-08-10 | 图像处理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106296827A true CN106296827A (zh) | 2017-01-04 |
Family
ID=57668031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610652285.6A Withdrawn CN106296827A (zh) | 2016-08-10 | 2016-08-10 | 图像处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106296827A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111386554A (zh) * | 2017-10-13 | 2020-07-07 | Mo-Sys工程有限公司 | 照明集成 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015032824A1 (en) * | 2013-09-04 | 2015-03-12 | Essilor International (Compagnie Generale D'optique) | Methods and systems for augmented reality |
| CN104765263A (zh) * | 2015-04-13 | 2015-07-08 | 北京大学 | 电子全息三维信息压缩编码传输方法 |
| CN105615831A (zh) * | 2015-12-18 | 2016-06-01 | 李占和 | 医学影像全息ar显示系统 |
-
2016
- 2016-08-10 CN CN201610652285.6A patent/CN106296827A/zh not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015032824A1 (en) * | 2013-09-04 | 2015-03-12 | Essilor International (Compagnie Generale D'optique) | Methods and systems for augmented reality |
| CN104765263A (zh) * | 2015-04-13 | 2015-07-08 | 北京大学 | 电子全息三维信息压缩编码传输方法 |
| CN105615831A (zh) * | 2015-12-18 | 2016-06-01 | 李占和 | 医学影像全息ar显示系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111386554A (zh) * | 2017-10-13 | 2020-07-07 | Mo-Sys工程有限公司 | 照明集成 |
| CN111386554B (zh) * | 2017-10-13 | 2023-12-22 | Mo-Sys工程有限公司 | 形成增强图像数据的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100837365B1 (ko) | 룩업 테이블을 이용한 컴퓨터 형성 홀로그램 생성과 재생방법 및 그 장치 | |
| JPH03502615A (ja) | コンピュータ・エイデッド・ホログラフィおよびホログラフィック・コンピュータ・グラフィックス | |
| CN106707680B (zh) | 一种基于光场的全息投影方法 | |
| JP4316916B2 (ja) | 計算機合成ホログラム | |
| CN107071392A (zh) | 图像处理方法和装置 | |
| CN106897108A (zh) | 一种基于WebVR的虚拟现实全景漫游的实现方法 | |
| CN103838121B (zh) | 用于产生全息图图案的设备和方法 | |
| CN108513123A (zh) | 一种集成成像光场显示的图像阵列生成方法 | |
| KR20090010775A (ko) | 집적 영상 방식에 의해 얻어진 3차원 영상을 홀로그램기법을 이용하여 재생하는 방법 및 장치 | |
| US7969632B2 (en) | Fabrication method for a computer-generated hologram in which a three-dimensional object having visualized cross-sectional surfaces is recorded, and computer-generated hologram in which a three-dimensional object having visualized cross-sectional surfaces is recorded | |
| JP5831930B2 (ja) | ホログラム生成装置およびホログラム生成方法 | |
| KR101021127B1 (ko) | 룩업 테이블과 영상의 공간적 중복성을 이용한 컴퓨터 형성 홀로그램 산출 방법 및 그 장치 | |
| CN106485958A (zh) | 全息展示教学系统 | |
| CN103217888B (zh) | 一种计算机制合成彩色彩虹全息图的制作方法 | |
| KR20140126120A (ko) | 디지털 홀로그램 합성 방법 및 그 장치 | |
| CN106296827A (zh) | 图像处理方法和装置 | |
| CN106502075A (zh) | 一种全息投影方法 | |
| CN107509067A (zh) | 一种高速高质量的自由视点图像合成方法 | |
| KR20090011973A (ko) | 홀로그래피 기법에 의해 획득된 영상의 3차원 집적 영상복원 방법 및 장치 | |
| CN103336420B (zh) | 一种全息影像显示方法及装置 | |
| CN107991854A (zh) | 基于层析法的立体仿真全息物体再现方法 | |
| US20110310448A1 (en) | Method for calculating computer generated hologram using look-up table and apparatus thereof | |
| JP2012008220A (ja) | ルックアップテーブルと画像の空間的重複性を用いた計算機合成ホログラムの算出方法及びその装置 | |
| KR101412050B1 (ko) | 홀로그램 생성 장치 및 방법 | |
| JP2012008207A (ja) | ルックアップテーブルと画像の時間的重複性を用いた３次元動画の計算機合成ホログラムの算出方法及びその装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20170104 |