CN109716384B - 增强现实实现方法 - Google Patents

增强现实实现方法 Download PDF

Info

Publication number
CN109716384B
CN109716384B CN201780058065.3A CN201780058065A CN109716384B CN 109716384 B CN109716384 B CN 109716384B CN 201780058065 A CN201780058065 A CN 201780058065A CN 109716384 B CN109716384 B CN 109716384B
Authority
CN
China
Prior art keywords
square
image
matrix
information content
matrices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780058065.3A
Other languages
English (en)
Other versions
CN109716384A (zh
Inventor
达维德·巴尔蒂耶里
洛伦佐·卡纳利
乔瓦尼·祖福利尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pikkart Srl
Original Assignee
Pikkart Srl
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pikkart Srl filed Critical Pikkart Srl
Publication of CN109716384A publication Critical patent/CN109716384A/zh
Application granted granted Critical
Publication of CN109716384B publication Critical patent/CN109716384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0052—Embedding of the watermark in the frequency domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Toxicology (AREA)
  • Computer Hardware Design (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

本文描述的是用于实现与包括物理或数字类型的媒介的载体装置相关联的增强现实的方法，其中，该方法依次包括以下步骤：将信息内容结合在媒介的光学图像内，将结合有信息内容的光学图像转移到载体装置上，对信息内容进行解码，并且在电子设备上再现信息内容，其中，所述再现步骤使用户能够显示增强现实。

Description

增强现实实现方法
技术领域
本发明涉及一种个性化的现实实现方法，特别是经由电子设备诸如“智能电话”类型的最新一代移动电话。
背景技术
在过去几年中，增强现实的使用越来越广泛。通过这种表达，我们指的“现实”是用户可以借助于电子设备所感知的。后者可以由可由用户佩戴的眼镜或护目镜构成，或者由电子处理设备诸如计算机、平板电脑或智能电话构成。
用户可以感知的“现实”类型可能非常不同，并且属于广泛的应用。例如，用户可以在参观感兴趣的地点时显示旅游信息，在沿着感兴趣的区域的街道行走时显示关于出售或出租的住房单元的信息，玩有关将增强现实与真实环境相关联的游戏，观看电影，或收听与例如杂志的页面相关联的音频文件，等等。
很明显，增强现实在发展方面呈现巨大的潜力和无数的可能性。该技术不断快速进化。
如今，增强现实允许用户所感知的事物的个性化。换言之，将电子设备指向与增强现实相关联的同一个真实物体(例如，街道或纪念碑或杂志的页面)的用户将感知不同的信息。
例如，文献WO2014/005736描述了一种用于向用户提供私人信息的方法，包括以下步骤：对包括一个或多个用户的私人信息的一个或多个私人消息进行加密，将经加密的一个或多个消息编码成包括用于公共呈现的公共内容的公共内容流，模拟该公共内容流的呈现，其中，经编码的一个或多个消息是人类不可感知的。由用户的用户设备捕获所呈现的公共内容流，从所捕获的公共内容流中为用户解码一个或多个经加密的私人消息，对经解码的一个或多个经加密的私人消息进行解密，向用户提供经解密的私人信息。
另一个例子是在PetaPixel.com网站上检索到的文章“LifePrint PrintsAugmented Reality Photos That Come to Life in Your Hands”，该文章披露了私人视频或图片如何隐藏在图片内，当其被用手机app观看时，作为增强现实叠加层被解码并再次显现给用户；嵌入式视频是个性化的或为用户定制的，因为它源于私人视频数据。
发明内容
本发明的目的是提供一种能够快速操作的个性化增强现实灵活实现方法。
本发明的另一目的是提供一种精确且可靠的方法。
根据本发明的一方面，提供一种用于实现与载体装置相关联的个性化增强现实的方法，其中，该方法包括：在输入处接收所述载体装置的光学图像；将信息内容以所述信息内容被隐藏在所述光学图像中的方式结合在所述光学图像中，其中，所述信息内容是能定制化的；解码所述信息内容；以及通过电子设备再现所述信息内容，其中，所述再现使得能够实现所述增强现实；所述方法设想在所述结合之后并且在所述解码之前的下述步骤：将所述光学图像转移到所述载体装置上，其中，所述载体装置能包括物理媒介，或者包括数字媒介，所述方法的特征在于，所述将信息内容结合在所述光学图像中包括：-在输入处接收所述信息内容；-如果所述光学图像不是方形，则将所述光学图像转变成方形以便获得方形图像；-利用离散傅里叶变换对所述方形图像进行变换，以获得经变换的方形图像，其中，所述经变换的方形图像由第一幅度矩阵通道和第二相位矩阵通道形成；-生成多个数据矩阵，其中，每个所述数据矩阵都是方形二进制数据矩阵；-将每个所述数据矩阵分成两个三角形半矩阵；-将每个所述三角形半矩阵引入所述经变换的方形图像的所述第一幅度矩阵通道内，位于距恒定傅里叶系数一距离处，以获得经修改的第一幅度矩阵通道，所述距离对于每对三角形半矩阵以预定的方式变化，使得每对三角形半矩阵在引入到所述经修改的第一幅度矩阵通道中的步骤期间不与其他对三角形半矩阵叠置；以及在所述引入之后，对所述经修改的第一幅度矩阵通道连同所述第二相位矩阵通道执行逆变换，以获得其中结合有所述信息内容的所述光学图像。
根据本发明的另一方面，还提供了一种包括用于实现上述方法的代码的软件和可以由电子设备读取的介质。
附图说明
参考附图可以更好地理解和实现本发明，该附图示出了通过非限制性示例提供的实施方案，其中：
图1a-图1e示出了以示例的方式提供的示意图像，该示例示出了根据本发明的方法的一些步骤的结果；以及
图2和图3是图示根据本发明的方法中包括的一系列步骤的图。
具体实施方式
下面将特别参照图2和图3详细描述根据本发明的用于实现个性化增强现实的方法的步骤。
最初，该方法设想了第一步骤101，其中设想在输入处接收载体装置的光学图像。后者可以包括物理媒介特别是纸质或织物的形式，或者数字媒介诸如电子设备的显示器。图1a示出了载体装置的光学图像的示例，在此用参考编号1标示，载体装置在这种情况下是纸质形式的物理媒介。在上述图中所示的示例中出现的是卡片(物理媒介)的光学图像1，在其上呈现有用于承载公司的广告的图案。
在未示出的其他示例中，载体装置可以被配置为由织物构成的物理媒介，例如一件衣服的一部分或可以佩戴的配件。
在其他示例(未示出)中，载体装置可以被配置为数字媒介，诸如由平板电脑的显示器或计算机的显示屏构成的虚拟环境。在这种情况下，数字媒介可以由桌面本身构成，或者由任何合适格式的文件构成。
将在下面被更详细地描述的第二步骤102(图2)设想以使得信息内容隐藏在光学图像中的方式将信息内容结合在光学图像1中。换言之，在信息内容已经被结合在其中之前和之后，光学图像1在视觉上总是看起来是相同的。
该方法设想信息内容是可定制化的，即每次执行根据本发明的方法时它是不同的。换言之，如果根据本发明的方法被执行n次，则可以将n个不同的信息内容关联到载体装置(物理或数字媒介)的n个光学图像，这对于视线都是“显然地”彼此相同。
由于信息内容是可定制化的，因此应注意，根据本发明的增强现实实现方法也适用于其中信息内容受访问密钥保护的应用，该访问密钥是个人化的并且专门与给定的用户相关联。这有用于希望确保在其中使用户能够显示增强现实的再现信息内容的步骤不会侵犯第三方的知识产权的所有应用。通过示例的方式，通过将个人化信息内容关联到每个不同的用户，可以验证用户在显示增强现实——其可能是某个艺术家的作品的音频文件的再现——之前是已经合法购买了该媒介(例如，专辑的封面)，还是没有合法购买该媒介，并且仅在前一种情况下才能够显示增强现实。
信息内容包括可以关联到选自由以下构成的组中的内容的数据序列：物体或生物(例如，人)的3D图像、文本、视频、声音内容、数字或字母数字码等。通常，该信息内容可以是任何多媒体内容。
例如，该信息内容可以由字节序列构成。
在另一版本中，该信息内容可以由通用数字序列形成。
在另外的版本中，该信息内容可以由包括数字、字母或符号的序列单独或相互组合地构成。
显然，数据序列越长，结合在载体装置的光学图像中的信息内容就越复杂。
为了使信息内容个性化，如上所述，它对于不同载体装置的每个不同光学图像是不同的。这意味着根据本发明的方法每次都设想在每个不同的载体装置上结合不同的数据序列(特别是字节)。
将在下面被更详细地描述的第三步骤103(图3)设想解码先前已结合到光学图像中的信息内容。
该方法然后设想第四步骤，其中设想在电子设备上再现信息内容。所述再现信息内容的步骤使用户能够显示信息内容本身中固有的增强现实或者由此触发的增强现实。
在第二步骤102(结合)之后和第三步骤103(解码)之前，该方法还包括将光学图像1转移到上述载体装置上的步骤。
第二步骤102包括(括号中的数字标记参考图2)：
-在输入处接收信息内容(102.1)；
-如果光学图像1不是方形，则将光学图像1转变(render，绘制、致使、渲染)(102.2)为方形，以便获得方形图像2(图1a中可见)；
-利用离散傅里叶变换对方形图像2进行变换(102.3)，以得到经变换的方形图像3(图1b)；经变换的方形图像3由第一幅度矩阵通道以及第二相位矩阵通道形成；
-生成多个数据矩阵(104A；104B)，其中这些矩阵中的每一个都是二进制方形矩阵；图1c示出了由标记D标示的二进制方形矩阵的示例；
-将每个数据矩阵(二进制方形矩阵)分成两个三角形半矩阵(102.4)，分别用图1d中的标记D1和D2表示；
-将三角形半矩阵D1、D2中的每一个引入经变换的方形图像3的第一幅度矩阵通道内(102.5)，位于距恒定傅里叶系数的距离(d，d)处，以获得由字母M'标示并在图1e中可见的经修改的第一幅度矩阵通道，其中引入的步骤根据以下公式计算：
Figure GDA0004190958870000061
应用于引入有三角形半矩阵的区域中的经修改的第一幅度矩阵通道M'的所有像素，
其中：
-M'是经修改的第一幅度矩阵通道，
-M是第一幅度矩阵通道，
-x和y是标识第一幅度矩阵通道M内的点的坐标，
-d是距恒定傅里叶系数的距离并且对于每对三角形半矩阵D1、D2以预定的方式变化，使得每对半矩阵在引入经修改的第一幅度矩阵通道M'的步骤期间不与其他对半矩阵叠置，
-D是二进制方形矩阵，
-α是预定的插入系数，
-N是二进制方形矩阵D的大小，
-W是二进制方形矩阵D的每个网格(cell，格网单元)Dk的大小，网格的大小是在所述经修改的第一幅度矩阵通道M'上以像素为单位测得的，并且
-x'、y'是坐标，该坐标标识以第一幅度矩阵通道M的点(x，y)为中心的大小为WxW像素的窗口内的点。
第二步骤102在(将三角形半矩阵D1、D2)引入(经变换的方形图像3的第一幅度矩阵通道)的步骤之后还包括下述步骤：对经修改的第一幅度矩阵通道M'(102.6)连同(经变换的方形图像3的)第二相位矩阵通道执行逆变换，以获得其中结合有信息内容的光学图像。
在第二步骤102中包括的步骤中，生成多个数据矩阵D(方形二进制矩阵)的步骤可以根据由图2中的104A标示的第一变型或者根据又由图2中的104B标示的第二变型来执行。
第一变型104A设想以下步骤：
-将信息内容分成8个字节的对，其中每对用作伪随机数发生器的种子；以及
-通过伪随机数发生器生成方形二进制数据矩阵。
代替地，第二变型104B设想以下步骤：
-利用抗错编码方案诸如Golay码对信息内容进行编码，以获得一个或多个二进制向量；以及
-通过将上述一个或多个二进制向量排序成矩阵来生成方形二进制数据矩阵。
在第二步骤102中包括的步骤中，将三角形半矩阵D1、D2中的每一个引入经变换的方形图像3的第一幅度矩阵通道中的步骤包括：
-将第一三角形半矩阵D1、D2引入经变换的方形图像3的第一幅度矩阵通道的左手象限的上象限3.1；
-将第二三角形半矩阵D2、D1引入经变换的方形图像3的第一幅度矩阵通道的左手象限的下象限3.2；
-将第二三角形半矩阵D2、D1引入经变换的方形图像3的第一幅度矩阵通道的右手象限的上象限3.3；以及
-将第一三角形半矩阵D1、D2引入经变换的方形图像3的所述第一幅度矩阵通道的右手象限的下象限3.4。
一旦完成第二步骤102，根据本发明的方法设想将其中已经结合有信息内容的光学图像转移到合适的载体装置上，如前所述。
接下来，该方法设想进行第三步骤103，该第三步骤包括以下步骤(括号中的数字标记参考图3)：
-在输入处接收载体装置的数字模型(103.1)；
-通过适于捕获图像的电子设备，诸如设置有数码相机的智能电话或平板电脑或计算机，获取载体装置(媒介)的光学图像1(103.2)；
-基于作为输入接收的载体装置的数字模型，识别光学图像中载体装置的数字图像(103.3)；
-将光学图像中的载体装置的经识别的数字图像与载体装置的数字模型进行比较(103.3)；
-如果比较的结果是正向的(positive，正的、积极的)，则针对一些帧跟踪载体装置的经识别的图像，其中，该跟踪操作是根据已知技术进行的，诸如Wagner等人描述的技术(D.Wagner、T.Langlotz和D.Schmalstieg，“Robust and unobtrusive marker trackingon mobile phones”，Mixed and Augmented Reality，2008.ISMAR 2008.7th IEEE/ACMInternational Symposium on，Cambridge，2008，pp.121-124.DOI：10.1109/ISMAR.2008.4637337)或者Rekimoto等人描述的技术(J.Rekimoto，“Matrix:a realtimeobject identification and registration method for augmented reality”，ComputerHuman Interaction，1998.Proceedings.3rd Asia Pacific，Shonan Village Center，1998，pp.63-68.DOI：10.1109/APCHI.1998.704151)；
-在上述跟踪步骤期间，继续将载体装置的经识别的图像与载体装置的数字模型进行比较(103.3)；
-如果比较的结果(在设想继续比较的整个时间间隔内)是正向的，则计算载体装置的经识别的图像与载体装置的数字模型之间的单应性，其中，可以根据已知技术计算该单应性，诸如Zhou等人描述的技术(C.Zhou、D.L.Tan,F.Zhu和Z.L.Dong，“A planarhomography estimation method based on multi-view total least squares”，Robotics，Intelligent Systems and Signal Processing，2003.Proceedings.2003IEEEInternational Conference on，2003，pp.1261-1266，vol.2.DOI：10.1109/RISSP.2003.1285773)或Agarwal等人描述的技术(A.Agarwal、C.V.Jawahar和P.J.Narayanan，“A Survey of Planar Homography Estimation Techniques”，IIITTechnical Report IIIT/TR/2005/12，June 2005)；
-根据单应性限定标准化坐标系；
-根据标准化坐标系，经由所计算的单应性逐个像素地变换载体装置的经识别的图像，以便获得经变换的图像(103.4)；换言之，从一个空格到另一个空格进行载体装置的经识别的图像的“再映射”，其中该操作能够消除由于透视而导致的图像中的任何失真，使得载体装置的经识别的图像被从正面上观察；
-如果经变换的图像不是方形，则将经变换的图像转变成方形以便获得方形的经变换图像(103.4)，其中，为了将经变换的图像转变成方形，在适当的位置添加黑色空格直到经变换的图像为方形；
-利用离散傅里叶变换对方形的经变换图像进行进一步变换，以获得经进一步变换的方形图像(103.4)，其中，该经进一步变换的方形图像由第一幅度矩阵通道和第二相位矩阵通道形成；以及
-实现能够从经进一步变换的方形图像起解码信息内容的过程(103.5)。
在第三步骤103中包括的步骤中，实现将能够解码信息内容的过程的步骤可以根据由图3中的105A标示的第一变型或者根据又由图3中的105B标示的第二变型来进行。应注意，如果在第二步骤102内已经根据第一变型104A进行了该生成多个数据矩阵D(方形二进制矩阵)的步骤，则有必要借助于第一变型105A。
同样地，如果在第二步骤102内代替地已经根据第二变型104B进行了该生成多个数据矩阵D(方形二进制矩阵)的步骤，则有必要借助于第二变型105B。
在第三步骤103的第一变型105A的情况下，有必要在输入处接收先前已被结合到光学图像1中的信息内容的副本。所述副本可以被存储在远程服务器中或者在电子设备内(特别是在其中安装的应用内)，通过其进行解码信息内容的第三步骤103。
第三步骤103的第一变型105A设想以下步骤：
-在经进一步变换的方形图像中寻找其中存在信息内容的三角形区域，其中该三角形区域在数量、位置和大小上对应于在第二步骤102中引入的三角形半矩阵D1和D2；
-从经进一步变换的方形图像的第一幅度矩阵通道的三角形区域中提取像素(105A.1)；
-将所提取的像素布置在预定数量的另外的方形矩阵内(105A.2)；
-调整另外的方形矩阵(包含所提取的像素)的大小，以便获得一定数量的经调整大小的方形矩阵，每个经调整大小的方形矩阵具有与在第二步骤102期间生成的二进制方形矩阵D相同的大小；
-将信息内容的副本分成8个字节的对，其中所述对中的每一个用作伪随机数发生器的种子；
-通过伪随机数发生器生成方形二进制数据矩阵(105A.3)；
-计算经调整大小的方形矩阵与方形二进制数据矩阵D之间的统计相关性(105A.4)，作为应用于由经调整大小的方形矩阵和相应的二进制数据矩阵形成的各对的下述公式的结果的算术平均值：
Figure GDA0004190958870000111
其中：
-i是指代矩阵的第i个元素的索引，
-X(或Y)是通过伪随机数发生器生成的方形二进制数据矩阵，
-Y(或X)是经调整大小的方形矩阵，
-X'(或Y')是方形二进制数据矩阵的内容的算术平均值，
-Y'(或X')是经调整大小的方形矩阵的内容的算术平均值；
-将从计算统计相关性的操作(通过上面给出的方法学)获得的结果与预定阈值进行比较，其中，如果从计算获得的结果大于阈值，则可以得出结论：解码信息内容的步骤已经产生了正向结果；否则，有必要返回到步骤105A.3并且再次生成另外的方形二进制数据矩阵。
第三步骤103的第二变型105B设想以下步骤：
-在经进一步变换的方形图像中寻找其中存在信息内容的三角形区域(所谓的“暂定(tentative，暂行、试探性)区域”)，其中，该三角形区域(在数量和大小上但不在位置上)对应于三角形半矩阵D1和D2，在第二步骤102中使用的上述距离(d，d)用作初始位置；
-从经进一步变换的方形图像的第一幅度矩阵通道中的所选择(在先前的一点)的三角形区域中提取像素(105B.1)；
-将提取的像素布置在预定数量的另外的方形矩阵内(105B.2)；
-调整另外的方形矩阵(包含所提取的像素)的大小，以便获得一定数量的经调整大小的方形矩阵，每个经调整大小的方形矩阵具有与在第二步骤102期间生成的二进制方形矩阵D相同的大小；
-将经调整大小的方形矩阵(105B.3)转变为二进制的，其中，在这个步骤中设想将包含在经调整大小的方形矩阵中的值与基于距傅里叶常数值的距离(d，d)计算的预确定的限制值进行比较，并且在该比较结果的基础上，如果该值大于限制值，则包含在该经调整大小的方形矩阵中的每个值被转换为0(或者1)，相反，如果该值低于限制值，则转换为1(或者0)；
-解码这些使用相同的抗错编码方案(在第二步骤102中所使用的抗错编码方案)诸如Golay码的二进制数据矩阵(以如先前的一点中所解释的生成的二进制数据矩阵)(105B.4)；以及
-如果该解码步骤的结果不产生正向结果，则重复先前列出的第二变型105B的所有步骤，其中所述重复设想在经进一步变换的方形图像中寻找与先前的一个不同的处于另外位置(d'，d')的另外的三角形区域。
由于本发明，提供了一种用于实现增强现实的方法，其由若干优点所表征。
根据本发明的方法的一个优点是它能够将相应载体装置的每个不同的光学图像1中的不同信息内容结合在合适的载体装置(物理媒介或数字媒介)上，使得信息内容的再现可以向用户提供显示个人化增强现实的可能性，向该用户显示的个人化增强现实不同于支配载体装置的所有其他用户的个人化增强现实，对于视线而言这些载体装置是明显相同的但在其内已经结合有不同的信息内容(即，数据或字节的序列)。
根据本发明的方法的另一个优点是它在第二步骤102(在载体装置中结合信息内容)和在第三步骤103(解码所述信息内容)中都提供两种不同的操作变型，每个都具有其自身的优势特点。
第一变型104A、105A呈现能够以快速且简单的方式执行第三步骤103的优点。在这种情况下，可以被结合在光学图像1中的信息内容——即数据序列——不能过于复杂。
第二变型104B、105B呈现以下优点：能够在第二步骤102期间在光学图像1中结合入相当大量的数据并且在输入处不需要信息内容的副本。在该变型的情况下，第三步骤103(解码)以较低的速度执行，并且解码的结果呈现略低的成功率。

Claims (15)

1.一种用于实现与载体装置相关联的个性化增强现实的方法，其中，所述方法包括：
-在输入处接收所述载体装置的光学图像(1)；
-将信息内容以所述信息内容被隐藏在所述光学图像(1)中的方式结合在所述光学图像(1)中，其中，所述信息内容是能定制化的(102)；
-解码所述信息内容(103)；以及
-通过电子设备再现所述信息内容，其中，所述再现使得能够实现所述增强现实；
所述方法设想在所述结合之后并且在所述解码之前的下述步骤：将所述光学图像(1)转移到所述载体装置上，其中，所述载体装置能包括物理媒介，或者包括数字媒介，
所述方法的特征在于，所述将信息内容结合在所述光学图像(1)中包括：
-在输入处接收所述信息内容(102.1)；
-如果所述光学图像(1)不是方形，则将所述光学图像转变成方形(102.2)以便获得方形图像(2)；
-利用离散傅里叶变换对所述方形图像(2)进行变换(102.3)，以获得经变换的方形图像(3)，其中，所述经变换的方形图像(3)由第一幅度矩阵通道和第二相位矩阵通道形成；
-生成多个数据矩阵(D)，其中，每个所述数据矩阵都是方形二进制数据矩阵(104A、104B)；
-将每个所述数据矩阵(D)分成两个三角形半矩阵(102.4)；
-将每个所述三角形半矩阵引入所述经变换的方形图像(3)的所述第一幅度矩阵通道内(102.5)，位于距恒定傅里叶系数一距离(d，d)处，以获得经修改的第一幅度矩阵通道(M')，所述距离(d，d)对于每对三角形半矩阵以预定的方式变化，使得每对三角形半矩阵在引入到所述经修改的第一幅度矩阵通道(M')中的步骤期间不与其他对三角形半矩阵叠置；以及
在所述引入之后，对所述经修改的第一幅度矩阵通道(M')连同所述第二相位矩阵通道执行逆变换，以获得其中结合有所述信息内容的所述光学图像。
2.根据权利要求1所述的方法，
-其中，根据下述公式计算所述引入：
Figure FDA0004190958860000021
对于0＜x＜N*W，0＜y＜N*W
对在其中引入所述三角形半矩阵的所述经修改的第一幅度矩阵通道(M')的所有像素重复所述计算，其中：
-M'是所述经修改的第一幅度矩阵通道，
-M是所述第一幅度矩阵通道，
-x和y是标识所述第一幅度矩阵通道(M)内的点的坐标，
-d是距所述恒定傅里叶系数的距离，
-D是所述方形二进制数据矩阵，
-α是预定的插入系数，
-N是所述方形二进制数据矩阵的大小，
-W是所述方形二进制数据矩阵的每个网格(Dk)即(D(x/W，y/W))的大小，所述网格的大小是在所述经修改的第一幅度矩阵通道(M')上以像素为单位测得的，以及
-x'、y'是标识以所述第一幅度矩阵通道(M)的点(x，y)为中心的大小为WxW像素的窗口内的点的坐标。
3.根据权利要求2所述的方法，其中，所述生成所述多个数据矩阵(D)包括：
-将所述信息内容分成8个字节的对，其中所述对中的每一个对用作伪随机数发生器的种子；以及
-通过所述伪随机数发生器生成方形二进制数据矩阵(104A)。
4.根据权利要求2所述的方法，其中，所述生成所述多个数据矩阵(D)包括：
-利用抗错编码方案对所述信息内容进行编码，以获得一个或多个二进制向量；以及
-通过将所述一个或多个二进制向量排序成矩阵来生成方形二进制数据矩阵(104B)。
5.根据权利要求2至4中任一项所述的方法，其中，所述将每个所述三角形半矩阵引入所述经变换的方形图像(3)的所述第一幅度矩阵通道(M)中包括：
-将第一三角形半矩阵(D1)引入所述经变换的方形图像(3)的所述第一幅度矩阵通道(M)的左手象限的上象限(3.1)；
-将第二三角形半矩阵(D2)引入所述第一幅度矩阵通道(M)的左手象限的下象限(3.2)；
-将所述第二三角形半矩阵(D2)引入所述第一幅度矩阵通道(M)的右手象限的上象限(3.3)；以及
-将所述第一三角形半矩阵(D1)引入所述第一幅度矩阵通道(M)的右手象限的下象限(3.4)。
6.根据权利要求2至4中任一项所述的方法，其中，所述解码所述信息内容包括：
-在输入处接收所述载体装置的数字模型(103.1)；
-通过适于捕获图像的电子设备获取所述载体装置的光学图像(103.2)；
-基于作为输入接收的所述载体装置的所述数字模型，识别所述光学图像中所述载体装置的数字图像(103.3)；
-将所述光学图像中所述载体装置的所述经识别的数字图像与所述载体装置的所述数字模型进行比较(103.3)；
-如果所述比较的结果是正向的，则针对一些帧跟踪所述载体装置的所述经识别的数字图像；
-在所述跟踪操作期间，继续将所述载体装置的所述经识别的数字图像与所述载体装置的所述数字模型进行比较(103.3)；
-如果所述继续比较的步骤的结果是正向的，则计算所述载体装置的所述经识别的数字图像与所述载体装置的所述数字模型之间的单应性；
-根据所述单应性限定坐标系；
-根据所述坐标系，经由所述单应性逐个像素地变换所述载体装置的所述经识别的数字图像，以便获得经变换的图像(103.4)；
-如果所述经变换的图像不是方形的，则将所述经变换的图像转变成方形以便获得方形的经变换图像(103.4)；
-利用所述离散傅里叶变换对所述方形的经变换图像进行进一步变换，以获得经进一步变换的方形图像，其中，所述经进一步变换的方形图像由第一幅度矩阵通道和第二相位矩阵通道形成(103.4)；以及
-实现能够从所述经进一步变换的方形图像起解码所述信息内容的过程(103.5)。
7.根据权利要求6所述的方法，其中，所述实现所述过程包括：
-在输入处接收先前已被结合在所述光学图像中的所述信息内容的副本；
-在所述经进一步变换的方形图像中寻找其中存在所述信息内容的三角形区域，其中所述三角形区域在数量、位置和大小上对应于按照权利要求2引入的所述三角形半矩阵；
-从所述经进一步变换的方形图像的所述第一幅度矩阵通道的所述三角形区域中提取像素(105A.1)；
-将所述经提取的像素布置在预定数量的另外的方形矩阵内(105A.2)；
-调整所述另外的方形矩阵的大小，以便获得一定数量的经调整大小的方形矩阵，每个所述经调整大小的方形矩阵具有与在所述结合期间生成的所述方形二进制数据矩阵相同的大小；
-将所述信息内容的所述副本分成8个字节的对，其中所述对中的每一个对用作伪随机数发生器的种子；
-通过所述伪随机数发生器生成方形二进制数据矩阵(105A.3)；
-计算所述经调整大小的方形矩阵与所述方形二进制数据矩阵之间的统计相关性(105A.4)，作为应用于由经调整大小的方形矩阵和对应的方形二进制数据矩阵构成的每一个对的下述公式的结果的算术平均值：
Figure FDA0004190958860000061
其中：
-i是指代所述矩阵的第i个元素的索引，
-X是通过所述伪随机数发生器生成的所述方形二进制数据矩阵中之一，
-Y是所述经调整大小的方形矩阵中之一，
-X'是所述方形二进制数据矩阵的内容的算术平均值，
-Y'是所述经调整大小的方形矩阵的内容的算术平均值；
-将从所述计算所述统计相关性获得的结果与预定阈值进行比较，其中，如果所述计算的结果大于所述阈值，则所述解码所述信息内容已经产生了正向结果；否则，设想重复所述生成方形二进制数据矩阵(105A.3)以生成另外的方形二进制数据矩阵，并且然后重复所述计算所述统计交叉相关性(105A.4)。
8.根据权利要求6所述的方法，其中，所述实现所述过程包括：
-在所述经进一步变换的方形图像中寻找其中存在所述信息内容的三角形区域，其中，所述三角形区域在数量和大小上但不在位置上对应于所述三角形半矩阵，使用距所述恒定傅里叶系数的所述距离(d，d)作为初始位置；
-从所述经进一步变换的方形图像的所述第一幅度矩阵通道的所述三角形区域中提取像素(105B.1)；
-将所述经提取的像素布置在预定数量的另外的方形矩阵内(105B.2)；
-调整所述另外的方形矩阵的大小，以便获得一定数量的经调整大小的方形矩阵，每个所述经调整大小的方形矩阵具有与在所述结合期间生成的所述方形二进制数据矩阵相同的大小；
-使所述经调整大小的方形矩阵转变为二进制的(105B.3)；
-使用与在所述将所述信息内容结合在所述光学图像(1)中期间所使用的抗错编码方案相同的抗错编码方案来解码所述方形二进制数据矩阵(105B.4)；以及
-如果所述解码不产生正向结果，则以循环的方式重复所述过程，其中所述重复设想在所述经进一步变换的方形图像中寻找其中存在所述信息内容的、与先前识别的所述三角形区域不同的另外的三角形区域。
9.根据权利要求1至4中任一项所述的方法，其中，所述信息内容包括能够关联到选自由下述构成的组中的内容的数据序列：物体或人的3D图像、文本、视频或声音内容。
10.根据权利要求1至4中任一项所述的方法，其中，所述信息内容包括能够关联到选自由下述构成的组中的内容的数据序列：数字序列、字母序列或字节序列。
11.根据权利要求1至4中任一项所述的方法，其中，所述电子设备能够选自由下述构成的组：智能电话类型的移动电话、计算机、可穿戴护目镜。
12.根据权利要求1所述的方法，其中，所述物理媒介为纸质或织物形式的物理媒介。
13.根据权利要求1所述的方法，其中，所述数字媒介为电子设备的显示器。
14.根据权利要求4所述的方法，其中，所述抗错编码方案为Golay码。
15.一种介质，所述介质包含软件代码，所述软件代码用于当在适当的电子设备上运行时执行根据权利要求1至14中任一项所述的方法。
CN201780058065.3A 2016-09-23 2017-09-22 增强现实实现方法 Active CN109716384B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT102016000095893A IT201600095893A1 (it) 2016-09-23 2016-09-23 Metodo per implementare realta' aumentata
ITUA2016A006790 2016-09-23
PCT/IB2017/055751 WO2018055560A1 (en) 2016-09-23 2017-09-22 Augmented reality implementation method

Publications (2)

Publication Number Publication Date
CN109716384A CN109716384A (zh) 2019-05-03
CN109716384B true CN109716384B (zh) 2023-07-11

Family

ID=58606517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780058065.3A Active CN109716384B (zh) 2016-09-23 2017-09-22 增强现实实现方法

Country Status (5)

Country Link
US (1) US10706126B2 (zh)
EP (1) EP3516618B1 (zh)
CN (1) CN109716384B (zh)
IT (1) IT201600095893A1 (zh)
WO (1) WO2018055560A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796016B2 (en) * 2018-03-28 2020-10-06 Visa International Service Association Untethered resource distribution and management
US10942909B2 (en) * 2018-09-25 2021-03-09 Salesforce.Com, Inc. Efficient production and consumption for data changes in a database under high concurrency
CN110197364B (zh) * 2019-06-06 2022-04-15 广东亮子科技有限公司 基于增强现实内容的审查系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2794269A1 (fr) * 1999-05-26 2000-12-01 France Telecom Procede de codage d'images, a partition triangulaire et transformation reversible, et procede de decodage correspondant
KR20140082610A (ko) * 2014-05-20 2014-07-02 (주)비투지 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
CN104050637A (zh) * 2014-06-05 2014-09-17 华侨大学 基于两次引导滤波的快速图像去雾方法
CN105426709A (zh) * 2015-11-12 2016-03-23 福建北卡科技有限公司 基于jpeg图像信息隐藏的私密信息通信方法与系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7158654B2 (en) * 1993-11-18 2007-01-02 Digimarc Corporation Image processor and image processing method
JP4130503B2 (ja) * 1998-11-30 2008-08-06 株式会社東芝 電子透かし埋込み装置
JP2006522498A (ja) * 2003-04-04 2006-09-28 データマーク テクノロジーズ プライベート リミテッド 透し入れ方法と装置
US7769236B2 (en) * 2005-10-31 2010-08-03 National Research Council Of Canada Marker and method for detecting said marker
US8126247B2 (en) * 2009-05-19 2012-02-28 National Tsing Hua University Image preprocessing system for 3D image database construction
US8982156B2 (en) * 2010-06-10 2015-03-17 Sartorius Stedim Biotech Gmbh Assembling method, operating method, augmented reality system and computer program product
WO2014005736A1 (en) * 2012-07-04 2014-01-09 Nec Europe Ltd. Method and system for providing private information to a user
US9183583B2 (en) * 2013-05-13 2015-11-10 A9.Com, Inc. Augmented reality recommendations
CN104680545B (zh) * 2015-03-15 2017-06-13 西安电子科技大学 光学图像中存在显著目标的检测方法
CN104794675B (zh) * 2015-04-24 2017-10-24 华南师范大学 基于切相傅里叶变换的图像隐藏、还原及加密传输方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2794269A1 (fr) * 1999-05-26 2000-12-01 France Telecom Procede de codage d'images, a partition triangulaire et transformation reversible, et procede de decodage correspondant
KR20140082610A (ko) * 2014-05-20 2014-07-02 (주)비투지 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
CN104050637A (zh) * 2014-06-05 2014-09-17 华侨大学 基于两次引导滤波的快速图像去雾方法
CN105426709A (zh) * 2015-11-12 2016-03-23 福建北卡科技有限公司 基于jpeg图像信息隐藏的私密信息通信方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
结合图像识别的移动增强现实系统设计与应用;严雷;杨晓刚;郭鸿飞;陈靖;;中国图象图形学报(第02期);60-67 *

Also Published As

Publication number Publication date
US10706126B2 (en) 2020-07-07
US20190213235A1 (en) 2019-07-11
CN109716384A (zh) 2019-05-03
EP3516618A1 (en) 2019-07-31
WO2018055560A1 (en) 2018-03-29
IT201600095893A1 (it) 2018-03-23
EP3516618B1 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
CN107959895B (zh) 一种视频播放追溯方法、装置、设备及存储介质
CN106251278B (zh) 一种基于直方图特征的图像加密域可逆信息隐藏方法
CN101889433B (zh) 将可移除可见水印插入到图像中的方法和设备以及移除这种水印的方法和设备
CN109716384B (zh) 增强现实实现方法
US7865963B2 (en) Character information generating apparatus and method, character information displaying apparatus and method, digital movie screening method and system, and subtitle display apparatus
CN108921266B (zh) 一种基于图像分割的静态二维码加密显示方法及装置
Gayathri et al. Study on image steganography techniques
CN102088611B (zh) 基于h.264标准运动矢量的脆弱性水印嵌入和提取方法
CN113486406A (zh) 一种电子签名保护还原方法、系统、电子设备及存储介质
US10331862B2 (en) Viewport decryption
Tsai et al. Extending multi-MSB prediction and huffman coding for reversible data hiding in encrypted HDR images
Liu et al. Application of QR code watermarking and encryption in the protection of data privacy of intelligent mouth-opening trainer
Shirali-Shahreza A new method for real-time steganography
Unno et al. A new displaying technology for information hiding using temporally brightness modulated pattern
Reddy Novel chaos based Steganography for Images using matrix encoding and cat mapping techniques
Zhao et al. 3D mesh encryption with differentiated visual effect and high efficiency based on chaotic system
CN114070950B (zh) 图像处理方法及相关装置、设备
Gohil et al. Content watermarking and data hiding in multimedia security
CN106648757B (zh) 一种虚拟现实终端的数据处理方法和虚拟现实终端
CN110619883A (zh) 音乐的信息嵌入方法、提取方法、装置、终端及存储介质
Trivedi et al. User data privacy in multimedia domain using 3–3 LSB-based color image steganography with RC4 and Bernoulli map protection
CN101064840B (zh) 蛇形矩阵编码/解码器以及可视标志编码和呈现系统
Kojima et al. Visible video data hiding techniques based on visual effects utilizing barcodes
Fiala Webtag: A world wide internet based AR system
Miao et al. Image descriptor based digital semi-blind watermarking for DIBR 3D images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant