CN111526115A - 用于安全扩增现实应用的基于上下文的管理 - Google Patents

用于安全扩增现实应用的基于上下文的管理 Download PDF

Info

Publication number
CN111526115A
CN111526115A CN201911301043.2A CN201911301043A CN111526115A CN 111526115 A CN111526115 A CN 111526115A CN 201911301043 A CN201911301043 A CN 201911301043A CN 111526115 A CN111526115 A CN 111526115A
Authority
CN
China
Prior art keywords
data
augmented
camera
server
encoded data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911301043.2A
Other languages
English (en)
Other versions
CN111526115B (zh
Inventor
T.哈普尔
G.普拉卡什
S.达杜
S.洛凯姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN111526115A publication Critical patent/CN111526115A/zh
Application granted granted Critical
Publication of CN111526115B publication Critical patent/CN111526115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/83—Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/107—Network architectures or network communication protocols for network security for controlling access to devices or network resources wherein the security policies are location-dependent, e.g. entities privileges depend on current location or allowing specific operations only from locally connected terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • H04N1/00214—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax details of transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
    • G06F2221/031—Protect user input by software means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2111—Location-sensitive, e.g. geographical location, GPS
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00—Arrangements for display data security
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Abstract

允许启用摄像器的应用，如扩增现实应用在受保护区域中运行的一个示例可以包括，第一设备包含摄像器，该摄像器包括安全工作模式和显示器，包括图像处理模块，该图像处理模块配置成在该摄像器处于安全模式时将来自摄像器的图像数据转换成编码的数据并保护存储在系统中的图像数据，包括加密模块，该加密模块配置成将来自图像处理模块的编码的数据加密，以及包括保护视听路径机构，该保护视听路径机构配置成以安全方式将扩增且编码的数据发送到显示器。

Description

用于安全扩增现实应用的基于上下文的管理
优先权申请
本申请要求2012年7月13日提交的美国专利申请序列号13/549,122的权益，其内容通过引用全部并入本文。
技术领域
本公开一般涉及在可能不期望摄像器的区域中使用扩增现实应用。
背景技术
包含如制造设施或企业物业的所有权信息的场所可能阻止或禁止使用摄像器。可以关闭如智能电话的电话中包含的摄像器以协助完成此任务。通过关闭电话或其他设备上的摄像器，如扩增现实的启用摄像器的应用可能无法使用。
附图说明
图1是根据一个示例实施例的系统的逻辑框图。
图2是根据一个示例实施例的方法的流程图。
图3是根据一个示例实施例的方法的流程图。
图4是根据一个示例实施例的图像处理应用的流程图。
图5是实现根据一个示例实施例的方法的计算机系统的框图。
具体实施方式
下文描述和附图说明一些特定实施例，以使本领域技术人员能够实施它们。其他实施例可能引入结构、逻辑、电、过程和其他方面的更改。一些实施例的部分和特征可能被包含在另一些实施例的部分或特征中或替代另一些实施例的部分或特征。权利要求中提出的实施例涵盖这些权利要求的所有可用等效物。
在位于受保护（例如安全）区域中时将摄像器或包含摄像器的其他设备关闭将阻碍扩增现实以及其他启用摄像器的应用可完全地工作。在许多情况中，这将妨碍扩增现实或其他启用摄像器的应用的效用。本发明申请提供多个实施例，其允许摄像器和包含摄像器的设备保持开启，例如通过保护摄像器拍摄的图像，以使图像在没有适当认证或授权的情况下无法被访问。注意正如本文所使用的，除非另行陈述，否则术语摄像器是指摄像器以及还指包含摄像器的其他设备，如移动电话、平板电脑、膝上型计算机或包含摄像器的其他计算设备。
扩增现实（AR）应用提供通过计算机生成的感官输入，如声音、视频、图形或GPS（全球定位系统）数据扩增的真实世界环境的视图。扩增现实应用可以用于例如，帮助维护人员在受保护区域中维修设备。如果用户将摄像器指向一件设备，则AR应用能够识别该件设备，并在其上覆盖图形信息，显示不同部件是什么，如何打开面板、首先卸掉哪个螺钉等。
一些示例实施例包括通过保护摄像器捕获的图像、将受保护图像发送到服务器以便进行扩增、从服务器接收扩增的图像，并通过受保护视听路径（PAVP）来允许扩增现实应用在受保护区域中实现功能同时摄像器保持开启。在一些实施例中，可以通过阻止图像用一般明码保存在摄像器的存储器中或被摄像器安装或以其他方式被摄像器访问。在一些实施例中，可以通过在将图像数据保存到存储器之前将其加密来保护这些图像。受保护视听路径可以工作以使得仅与显示设备关联的硬件将扩增的图像的数据表示解密。
一个或多个实施例的优点可以包括允许设备接近受保护区域时扩增现实应用或其他启用摄像器的应用在该设备上执行。例如，可以允许扩增现实应用工作并协助人员修理可能通常不允许摄像器所在位置的设备。扩增现实应用可以工作以提供有关与摄像器耦合的屏幕上显示的图像中的物体的信息。
图1是根据一个示例实施例的系统100的逻辑框图。系统100可以包括连接到网络108的设备102和服务器104。网络108可以包括一个或多个有线和无线网络，如局域网、因特网、虚拟专用网和其他此类网络。
在设备硬件（例如，受信执行环境（TEE）或受保护视听路径（PAVP））之间可以有预先建立的信任关系。该设备硬件可以安全方式交换加密或解密密钥，以使服务器可以通过与TEE通信来知道如何将从具有摄像器的设备传送的数据解密以及PAVP知道如何将服务器加密的数据解密。
设备102可以包括安全摄像器模式，其在摄像器110处于安全摄像器模式时保护摄像器110捕获的图像数据。可以通过固件、源代码、硬件或其组合来激活或实现该安全摄像器模式。在一些实施例中，可以将与摄像器110关联的固件、源代码或硬件更改为至少部分地实现安全摄像器模式。在一些实施例中，可以修改摄像器110的数据路径，以便保护摄像器110产生的数据。在一些实施例中，修改摄像器的数据路径可以包括修改与摄像器关联的源代码、固件或硬件或其组合以更改数据的路径。在一些实施例中，可以将摄像器110产生的数据发送到图像处理模块114（例如，图像信号处理模块）以进行编码。将数据编码可以包括将数据修改为可呈示图像或视频数据。在一些实施例中，图像处理模块114将从摄像器110接收的数据修改成与显示器122兼容的形式。在一些实施例中，在将数据编码之后，可以将编码的数据发送到如加密模块116的加密模块以进行加密。在其他实施例中，在将数据编码之后，可以将编码的数据发送到如受信执行环境124的受信执行环境。
设备102可以是平板电脑、便携式数字助理（PDA）、智能电话、计算机、摄像机或其他设备。设备102可以摄像器110。摄像机110可以工作以便捕获图像的数据表示（例如，运动图像或静止图像），并将该数据发送到图像处理模块114、加密模块116、受保护视听路径120、存储器112、显示器122或如服务器104的服务器。
存储器112可以是可工作以存储从摄象器110接收的数据的存储器。可以通过如更改摄象器110产生的数据的路径来防止存储器112保存摄象器110产生的未加密的数据。在一些实施例中，存储器112可以用于如图像处理模块114的图像处理模块的图像处理模块存储器。此类存储器可以配置成阻止设备和应用访问该存储器中的数据。在一些实施例中，隔离的存储器区域协议可以保护如图像处理模块的存储器的存储器。在此类实施例中，设备102可以是芯片上系统（SoC）设备，如可从美国加州圣克拉拉的英特尔公司获得的Intel®Atom™ SoC。在设备102运行于基于核的平台的其他实施例中，存储器可以由限制地址范围协议来予以保护。限制地址范围可以由预先BIOS（基本输入输出系统）安全固件来设置。数据可以由安全存储器（例如，具有隔离的存储器区域或限制地址范围）通过阻止未授权的应用或设备访问该数据来予以保护。
图像处理模块114可以工作以将原始摄象器数据转换成如编码的图像数据或编码的视频数据的编码的数据，或如JPEG（联合图片专家组）或MPEG（运动图片专家组）编码。编码的数据可以与如显示器122的显示器兼容，以使该显示器能够将编码的数据呈示为图像或视频。可以通过如实现隔离的存储器区域或限制地址范围协议来阻止编码的数据被保存到设备的存储器或保护该编码的数据免于被未授权设备或应用访问。
加密模块116可以工作以接收如图像数据、编码的数据或扩增的数据的数据，并产生该数据的加密版本。在一些实施例中，摄象器110可以产生发送到加密模块116以进行加密的原始数据。在一些实施例中，在与摄象器关联的硬件（如设备102的硬件）知道解密密钥的情况中，可以将加密的数据保存到如存储器112的本地存储器中。在一些实施例中，在服务器知道解密密钥的情况中，可以将加密的数据保存到如服务器104的服务器中。在一些实施例中，仅存储器或服务器知道解密密钥，使得仅存储器或服务器分别能够将加密的数据解密。在一些实施例中，加密模块116可以工作以对它接收的数据执行解密功能。
位置传感器118可以工作以大约确定设备102在给定时间的所在位置。在一些实施例中，位置传感器118耦合到GPS应用以帮助确定位置传感器118在给定时间的大约位置。在一些实施例中，位置传感器118耦合到Wi-Fi应用以帮助确定位置传感器118在给定时间的大约位置。可以使用大约位置确定位置传感器以及由此确定设备或摄像器是否位于安全区域（例如，受保护区域）中。可以在计算机可读记录中预先定义安全区域。可以由信息技术（IT）管理员或其他获授权的人员来定义安全区域记录。在一些实施例中，当确定设备位于安全区域中时，则受信执行环境可以将摄像器置于安全模式。
PAVP 120可以配置成将其接收的数据加密。PAVP可以配置成仅与显示设备或其关联的硬件来共享解密密钥，以使如显示器122的显示设备或其关联的硬件可以将数据解密并显示内容。在一些实施例中，PAVP 120可以配置成从如服务器104的扩增现实应用服务器接收数据。在一些实施例中，PAVP 120可以配置成从如存储器112的安全存储器接收数据。
显示器122可以是能够显示图像或视频的屏幕。在一些实施例中，该显示器可以包括可工作以将显示器的输入处接收的数据解密的关联硬件。在输入处接收的数据可以来自如受保护视听路径120的PAVP或来自如图像处理模块114的图像处理模块，如当摄像器未处于安全模式或预览模式中时。
TEE 124可以工作以将来自图像处理模块114的编码的图像数据加密。在一些实施例中，TEE可以包括Chaabi固件、管理引擎（ME）固件或其他TEE固件。TEE 124可以将加密的图像传送到如服务器104的服务器。在一些实施例中，服务器104可以包括云服务器。在一些实施例中，可以在摄像器110被置于预览模式时使用加密模块116将数据加密，以及在摄像器被置于安全模式时使用TEE 124。
服务器104可以运行AR相关算法（利用数据库的特征提取、匹配特征）来识别设备。在一些实施例中，服务器104还可以识别设备的朝向。利用数据库的特征提取或匹配特征算法可以包括对照数据库中核准的模式、配置或图像检查接收的图像。在一些实施例中，可以仅将核准的模式、配置或图像从云服务器传送到摄像器。如果图像未包含图像中对象的核准的模式或配置，则服务器104可以不将图像传送回设备以进行显示。在一些实施例中，云服务器可以将核准的图像传送回设备。例如，云服务器可以将核准的图像传送到设备的PAVP。在一些实施例中，云服务器可以将其接收的图像数据重定向到扩增现实应用服务器。在一些实施例中，当设备位于安全模式时，可以允许设备将与设备关联的摄像器（如与设备102关联的摄像器110）捕获的图像保存在云服务器中。
服务器104可以包括扩增现实应用服务器。扩增现实应用服务器可以工作以扩增或更改其接收的图像，并传送扩增或更改的图像或传送原始图像以及表示要对原始图像执行的扩增或更改的扩增数据。在一些实施例中，扩增现实应用服务器将数据传送到设备的PAVP。在一些实施例中，当位置传感器向TEE指示设备不在安全区域中时，可以终止扩增现实应用。即，在一些实施例中，仅在包含摄像器的设备位于指定的安全区域附近时，才允许扩增现实应用实现功能。
服务器104可以配置为移动设备管理（MDM）服务器。MDM服务器可以工作以将与设备操作（如设备102）相关的策略存储在特定区域内。例如，与智能电话相关的策略可以包含指示该智能电话能够被置于安全模式或预览模式的数据。在一些实施例中，TEE（如受信执行环境124）可以与MDM服务器（如服务器104）以及图像处理模块（如图像处理模块114）通信。当摄像器（如摄像器110）开启时，图像处理模块可以将此指示给TEE，TEE可以向服务器指示该摄像器开启。位置传感器（如位置传感器118）可以将位置数据传送到服务器。服务器然后可以使用位置数据来确定要实施的摄像器策略。当摄像器位于安全区域中时，可以将摄像器置于安全摄像器模式、关闭、允许保持正常工作或置于预览模式。
服务器104可以配置为云服务器，该云服务器配置成将加密且编码的数据重定向到扩增现实服务器。在一些实施例中，服务器可以首先通过核准的模式、配置或图像使用特征提取算法或在图像中匹配特征，然后才将加密且编码的数据重定向到扩增现实服务器。
在一些实施例中，包括摄像器的设备（如设备102）可以工作以置于预览模式。当设备置于预览模式时，摄像器可以将图像或视频数据发送到图像处理模块，图像处理模块可以将图像或视频数据编码以创建编码的数据。可以将编码的数据发送到PAVP，PAVP可以将该编码的数据的加密版本发送到显示设备或其关联的硬件。以此方式，可以测试摄像器来查看照明条件对于使用摄像器是否足够或查看摄像器其它方面是否工作正常。
由此，在一些实施例中，可以由摄像器（如摄像器110）捕获受保护区域中捕获的图像/视频数据。可以使用图像处理模块（如图像处理模块114）或受信执行环境（TEE）（如受信执行环境124）来将图像/视频数据编码或加密。可以将加密的数据发送到服务器（如服务器104）。图像处理模块可以将编码（但是明文数据）保存在隔离的存储器区域（IMR）中。TEE或加密模块（如加密模块116）可以将编码的数据加密，并将其置于系统存储器中。设备（如设备102）上运行的扩增现实（AR）应用可以使用网络（如网络108）将加密的图像/视频发送到服务器。服务器可以将加密的图像/视频数据解密，运行RA相关的算法（例如，利用数据库的特征提取、匹配特征）来识别设备或其朝向。AR相关的算法可以利用扩增的信息叠加于图像/视频数据，将图像/视频数据和扩增的信息加密并将其发送到设备（例如，包含摄像器的智能电话）。摄像器上的AR应用可以从连接到该设备和服务器的网络接收加密的扩增的图像/视频数据。摄像器可以将加密的扩增的图像/视频数据保存在系统存储器中并向受保护视听路径（PAVP）（如受保护视听路径120）指示要呈示该数据。PAVP硬件可以读取该数据，将其解密，并在显示器（如显示器122）上呈示扩增的图像/视频。
图2是根据一个示例实施例的方法200的流程图。方法200是可以作为基于摄像器的位置将摄像器置于安全模式的过程一部分来执行的方法的示例。方法200包括确定摄像器（如图1的摄像器110）位于受保护区域202中。在一些实施例中，确定摄像器是否位于受保护区域中包括，确定包含摄像器的智能电话（如设备102）是否位于受保护区域中。在摄像器位于受保护区域中时或此时附近，可以将摄像器置于安全摄像器模式，并且可以保护摄像器产生的数据204。
在一些实施例中，可以通过阻止摄像器在位于受保护区域中时将数据用一般明码存储到包含摄像器的设备本地的存储器（如图1的存储器112）（例如，阻止摄像器存储未加密的数据）来保护摄像器产生的数据。在一些实施例中，当摄像器位于受保护区域中时（例如，当摄像器处于安全摄像器模式时），可以由如图1的加密模块116或受信执行环境124将摄像器产生的数据加密，然后可以将其保存在本地或保存到服务器。在一些实施例中，还可以或作为备选通过将该数据发送到PAVP（如受保护视听路径120）来保护摄像器产生的数据。
在一些实施例中，当摄像器处于安全摄像器模式时，可以允许扩增现实应用服务器（如图1的服务器104）访问摄像器产生的数据206。在一些实施例中，摄像器（如设备102）可以接收有关第二设备（如位于受保护区域中的制造设备）相关的信息208。可以将有关第二设备的信息叠加于从摄像器传送的第二设备图像上方。
图3是根据一个示例实施例的方法300的流程图。方法300是可以有关于位于定义的受保护区域视野中的摄像器执行的方法的示例。方法300包括确定包括摄像器的设备（如设备102）位于受保护区域中302。确定设备位于受保护区域中可以包括确定具有位置传感器（如GPS）的设备的位置。还可以采用其他方式，如通过连接到已知的WiFi网络、存在包含编码的数据的另一个射频信号，还有其他确定过程和机制来确定位置。当位于受保护区域中时，可以确定设备的摄像器是否开启。摄像器是否开启的这种确定可以利用与TEE通信的图像处理模块（如与受信执行环境124通信的图像处理模块114，均在图1中示出）来完成。可以将位于受保护区域中的摄像器捕获的数据编码304。图像处理模块（如图像处理模块114）可以将数据编码以使该数据与显示器（如显示器122）兼容。
然后可以将编码的数据加密306以创建加密且编码的数据。加密可以利用加密模块（如加密模块116）或TEE（如图1的受信执行环境124）来实现。可以将加密且编码的数据传送308到服务器（如服务器104）。在一些实施例中，可以将数据从设备经由设备和服务器都连接的网络传送到服务器。可以响应传输308接收310包含编码的数据的更改或修订版本的扩增的数据。可以利用扩增现实服务器（如服务器104）来创建扩增的数据。编码的数据的更改或修订版本可以包含利用扩增的数据的更改或修订的编码的数据。可以输出312提供扩增数据的视图的可呈示视频数据。可以将视频数据输出到显示设备（如显示器122）。
在一些实施例中，方法300可以包括阻止图像数据（例如明文图像数据）保存到存储器（如设备的存储器112）314。阻止图像数据用一般明码保存到存储器可以包括更改设备产生的数据的时间路径。正如本文所使用的“无保密”标识保存到不受保护的存储器，如系统存储器中且不加密。在一些场景中，无保密是与明文同义，但是对于用一般明码保存的数据不一定是实际文本。可以与数据类型（如文本或图像数据）无关地来阻止数据用一般明码保存。由此，正如本文所使用的，阻止图像数据用一般明码保存可以包括将数据存储到安全存储器或将该数据保存到非安全存储器之前将数据加密。针对未授权应用或设备来保护图像数据可以包括实现隔离的存储器区域或限制访问范围。在一些实施例中，可以将扩增的数据或编码的数据发送到受保护视听路径以保护扩增的数据或编码的数据316。
在一些实施例中，可以在服务器（如服务器104）处接收编码的数据。在一些实施例中，编码的数据可以是加密且编码的数据，由服务器解密以重构编码的数据。在一些实施例中，服务器可以是扩增现实应用服务器。在一些实施例中，服务器可以通过如更改或修订编码的数据来扩增编码的数据以创建扩增的数据。在一些实施例中，可以将扩增的数据发送到设备（如设备102）。
图4是根据一个示例实施例的图像处理应用流程400的流程图。可以由设备（如设备102）来实现图像处理应用。该流程可以开始于用户在摄像器开启402的情况下进入受保护区域。在一些实施例中，用户可能在接近受保护区域时开启摄像器。可以检查摄像器位置404。摄像器位置可以指示摄像器接近受保护区域（是）或未接近受保护区域（否）。如果摄像器未接近受保护区域，则可以采用正常模式来使用摄像器406。如果摄像器接近受保护区域，则可以检查摄像器的安全位置策略408。该策略可以指示摄像器能够置于安全模式410或预览模式。可以调用摄像器策略，并且可以将摄像器置于安全模式。可以在受保护区域412中以安全模式使用摄像器，以便如找出受保护区域中的设备的问题。可以启动扩增现实应用414。可以提供扩增现实技术人员以使用计算机将编码的数据叠加以扩增的数据。可以将扩增的数据保存到服务器（如服务器104）以供将来使用。可以查看416扩增现实应用创建的扩增的数据。在用户利用扩增现实应用执行或使用摄像器执行之后，该应用可以终止。
图5是实现根据一个示例实施例的方法的计算机系统的框图。在图5所示的实施例中，提供可应用于其他附图所示的服务器和/或远程客户端的任何一个的硬件和操作环境。
如图5所示，硬件和操作环境的一个实施例包括计算机500形式的通用计算设备（例如，个人计算机、工作站或服务器），其包括一个或多个处理单元521、系统存储器522和工作上将包括系统存储器522的多种系统组件耦合到处理单元521的系统总线523。可以仅有一个或可以有多于一个处理单元521，以使计算机500的处理器包括单个中央处理单元（CPU）或多个处理单元，统称为多处理器或并行处理器环境。在多种实施例中，计算机500是常规计算机、分布式计算机或任何其他类型的计算机。
系统总线523可以是若干类型的总线结构的任何一种，包括存储器总线或存储器控制器、外设总线和使用多种总线体系结构的任一种的本地总线。系统存储器也可以简称为存储器，以及在一些实施例中，包括只读存储器（ROM）524和随机存取存储器（RAM）525。可以在ROM 524中存储基本输入/输出系统（BIOS）程序526，其包含在如启动期间帮助在计算机500的元件之间传递信息的基本例行程序。计算机500还可以包括用于从硬盘读取以及向硬盘写入的硬盘驱动器527（未示出）、用于从可移动磁盘529读取以及向可移动磁盘529写入的磁盘驱动器528以及用于从如CD ROM的可移动光盘531或其他光介质读取或向其写入的光盘驱动器530。
硬盘驱动器527、磁盘驱动器528和光盘驱动器530分别与硬盘驱动器接口532、磁盘驱动器接口533和光盘驱动器接口534耦合。这些驱动器及其关联的计算机可读介质提供用于计算机500的计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。本领域技术人员应该认识到，可以在该示范操作环境中使用能够存储计算机可访问的数据的任何类型的计算机可读介质，如磁带盒、闪存卡、数字视频光盘、Bernoulli盒带、随机存取存储器（RAM）、只读存储器（ROM）、冗余独立磁盘阵列（例如，RAID存储设备）等。
可以将多个程序模块存储在硬盘、磁盘529、光盘531、ROM 524或RAM 525上，其包括操作系统535、一个或多个应用程序536、其他程序模块537和程序数据538。用于执行本文描述的一个或多个过程或方法的程序可以驻留在这些计算机可读介质中任何一个或多个计算机可读介质上。
用户可以通过输入装置（如键盘540和指向装置542）将命令和信息输入到计算机500中。其他输入装置（未示出）可以包括麦克风、游戏杆、游戏板、卫星接收碟、扫描仪等。这些和其他输入装置常常经由耦合到系统总线523的串行端口接口546连接到处理单元521，但是还可以通过其他接口来连接，如并行端口、游戏端口或通用串行总线（USB）。监视器547或其他类型的显示设备还可以经由接口（如视频适配器548）连接到系统总线523。监视器547可以向为用户显示图形用户界面。除了监视器547外，计算机通常包括其他外设输出设备（未示出），如扬声器和打印机。
计算机500可以使用至一个或多个远程计算机或服务器（如远程计算机549）的逻辑连接以在联网环境中工作。这些逻辑连接通过耦合到计算机500的通信设备或计算机500的一部分来实现；本发明不限于特定类型的通信设备。远程计算机549可以是另一个计算机、服务器、路由器、网络PC、客户端、对等设备或其他通用网络节点，并且通常包括上文相对于计算机500描述的多个或全部元件，虽然仅图示了存储器存储装置550。图5所示的逻辑连接包括局域网（LAN）551和/或广域网（WAN）552。此类联网环境是办公网络、企业范围的计算机网络、内联网和因特网，所有类型的网络中常见的。
当在LAN联网环境中使用时，计算机500经由作为一种类型的通信设备的网络接口或适配器553连接到LAN 551。在一些实施例中，当在WAN联网环境中使用时，计算机500通常包括用于建立通过广域网552（如因特网）的通信的调制解调器554（另一种类型的通信设备）或任何其他类型的通信设备，例如无线收发器。可以是内置或外置的调制解调器554经由串行端口接口546连接到系统总线523。在联网环境中，相对于计算机500示出的程序模块可以存储在远程计算机或服务器549的远程存储器存储装置550中。要认识到，所示的网络连接是示范性的，以及可以使用用于在计算机之间建立通信链路的其他方式和通信设备，包括混合光纤同轴电缆连接、T1-T3线路、DSL、OC-3和/或OC-12、TCP/IP、微波、无线应用协议和经由任何适合的交换机、路由器、出口和供电线路的任何其他电子介质，正如本领域技术人员所公知和理解的。
附加注释和示例：
在示例1中，一种方法包括确定摄像器位于受保护区域中，并且当摄像器位于受保护区域中时，将摄像器置于安全摄像器模式，从而保护摄像器产生的数据。
在示例2中，示例1中确定摄像器是否位于受保护区域中包括，确定包含摄像器的智能电话是否位于受保护区域中。
在示例3中，示例1-2的至少其中之一中保护摄像器产生的数据包括，阻止摄像器在位于受保护区域中时将数据用一般明码存储到包含摄像器的设备本地的存储器中。
在示例4中，示例1-3的至少其中之一中保护摄像器产生的数据包括，在摄像器位于受保护区域中时将数据加密之后，才本地保存该数据。
在示例5中，示例1-4的至少其中之一的方法包括，当摄像器处于安全摄像器模式时，允许扩增现实应用服务器访问摄像器产生的数据。
在示例6中，示例1-5的至少其中之一的方法包括，在设备处接收有关位于受保护区域中的第二设备且且叠加于该设备传送的第二设备的图像上的信息。
在示例7中，示例1-6的至少其中之一中保护摄像器产生的数据包括，将摄像器产生的数据发送到受保护视听路径。
在示例8中，一种方法包括确定位于受保护区域中的包含摄像器的设备被开启。
在示例9中，示例1-8的至少其中之一的方法包括确定摄像器被开启。
在示例10中，示例1-9的至少其中之一中的方法包括，利用图像处理模块将位于受保护区域中的摄像器捕获的图像数据编码以创建编码的数据。
在示例11中，示例1-10的至少其中之一的方法包括将编码的数据加密以创建加密且编码的数据。
在示例12中，示例1-11的至少其中之一中的方法包括，从设备将加密且编码的数据传送到服务器，该设备和服务器连接到网络。
在示例13中，示例1-12的至少其中之一的方法包括在设备处接收利用扩增数据更改或修订的编码的数据。
在示例14中，示例1-13的至少其中之一的方法包括输出可呈示的视频数据，所述可呈示的视频数据提供利用扩增数据更改或修订的编码的数据的视图，所述可呈示视频数据包含利用显示设备呈示时与扩增数据叠加的编码的数据。
在示例15中，示例1-14的至少其中之一的方法包括阻止图像数据用一般明码保存到设备的存储器中。
在示例16中，示例1-15的至少其中之一的方法包括在服务器处接收编码的数据。
在示例17中，示例1-16的至少其中之一的方法包括扩增编码的数据以创建编码的数据的扩增版本。
在示例18中，示例1-17的至少其中之一的方法包括将编码的数据的扩增版本发送到设备。
在示例19中，示例1-18的至少其中之一的方法包括利用受保护视听路径（PAVP）来保护扩增的数据。
在示例20中，示例1-19的至少其中之一中确定摄像器是否位于受保护区域中包括，利用位置传感器确定设备的位置。
在示例21中，示例1-20的至少其中之一中显示编码的数据的扩增版本包括，显示机器的图像上叠加的有关位于受保护区域中的机器的信息。
在示例22中，示例1-21的至少其中之一的方法包括确定设备位于受保护区域中。
在示例23中，示例1-22的至少其中之一中确定设备是否位于受保护区域中包括，利用位置传感器确定设备的位置。
在示例24中，示例1-23的至少其中之一的方法包括确定设备包括摄像器。
在示例25中，一种系统包括包含摄像器的第一设备，所述摄像器包括安全工作模式和显示器。
在示例26中，示例1-25的至少其中之一的系统包括图像处理模块，所述图像处理模块配置成在摄像器处于安全模式时将来自摄像器的图像数据转换成编码的数据，并保护存储在系统中的图像数据。
在示例27中，示例1-26的至少其中之一的系统包括加密模块，所述加密模块配置成将来自图像处理模块的编码的数据加密。
在示例28中，示例1-27的至少其中之一的系统包括受保护视听路径机构，所述受保护视听路径机构配置成以安全方式将扩增且编码的数据发送到显示器。
在示例29中，示例1-28的至少其中之一中的图像处理模块包括安全存储器，所述安全存储器配置成通过阻止未授权应用和设备访问存储在安全存储器中的数据来保护图像数据。
在示例30中，示例1-29的至少其中之一的第一设备配置成传送加密且编码的数据。
在示例31中，示例1-30的至少其中之一中的系统包括扩增现实服务器，所述扩增现实服务器配置成将加密且编码的数据解密，并扩增编码的数据以创建扩增且编码的数据。
在示例32中，示例1-31的至少其中之一的系统包括云服务器，所述云服务器配置成将加密且编码的数据重定向到扩增现实服务器。
在示例33中，示例1-32的至少其中之一的受保护视听路径机构配置成将扩增的数据加密，以使仅显示器能够将扩增的数据解密。
在示例34中，示例1-33的至少其中之一的第一设备包括位置传感器。
在示例35中，示例1-34的至少其中之一的摄像器在位置传感器指示该设备位于受保护区域中且摄像器开启时被置于安全工作模式。
在示例36中，示例1-35的至少其中之一的摄像器包括预览模式。
在示例37中，当示例1-36的至少其中之一的摄像器处于预览模式时，将来自摄像器的数据发送到图像处理模块，并且该处理模块将数据加密，以便仅与显示器关联的硬件能够将加密的数据解密。
在示例38中，一种存储指令的机器可读存储装置，所述指令在被机器执行时，促使机器执行操作，所述操作包括确定位于受保护区域中的包含摄像器的设备被开启。
在示例39中，示例1-38的至少其中之一的机器可读存储装置存储指令，所述指令在被机器执行时，促使机器执行操作，所述操作包括确定位于受保护区域中的包含摄像器的设备被开启。
在示例40中，示例1-39的至少其中之一的机器可读存储装置存储指令，所述指令在被机器执行时，促使机器执行操作，所述操作包括利用图像处理模块将位于受保护区域中的摄像器捕获的图像数据编码以创建编码的数据。
在示例41中，示例1-40的至少其中之一的机器可读存储装置存储指令，所述指令在被机器执行时，促使机器执行操作，所述操作包括将编码的数据加密以创建加密且编码的数据。
在示例42中，示例1-41的至少其中之一的机器可读存储装置存储指令，所述指令在被机器执行时，促使机器执行操作，所述操作包括从设备将加密且编码的数据传送到服务器，所述设备和服务器连接到网络。
在示例43中，示例1-42的至少其中之一的机器可读存储装置存储指令，所述指令在被机器执行时，促使机器执行操作，所述操作包括在设备上接收扩增的数据，所述扩增的数据包含利用扩增数据更改或修订的编码的数据的更改或修订版本。
在示例44中，示例1-43的至少其中之一的机器可读存储装置存储指令，所述指令在被机器执行时，促使机器执行操作，所述操作包括输出可呈示视频数据，所述可呈示视频数据在以显示设备呈示时提供扩增的数据的视图，所述扩增的数据包含叠加以扩增数据的编码的数据。
在示例45中，示例1-44的至少其中之一的机器可读存储装置存储指令，所述指令在被机器执行时，促使机器执行操作，所述操作包括阻止图像数据或编码的数据用一般明码保存到设备的存储器。
在示例46中，示例1-45的至少其中之一的机器可读存储装置存储指令，所述指令在被机器执行时，促使机器执行操作，所述操作包括确定设备包含摄像器。
在示例47中，示例1-46的至少其中之一的机器可读存储装置存储指令，所述指令在被机器执行时，促使机器执行操作，所述操作包括将扩增的数据或编码的数据发送到受保护视听路径（PAVP）以保护扩增的数据。
在示例48中，示例1-47的至少其中之一的机器可读存储装置存储指令，所述指令在被机器执行时，促使机器执行操作，所述操作包括确定设备位于受保护区域中。
在本文档中，术语“一个”或“一”，如专利文档中常见的，用于包括一个或多于一个，而与“至少一个”或“一个或多个”的任何其他实例或使用与否无关。在本文档中，除非另行陈述，否则术语“或”用于指代非排他性的，或者使得“A”或“B”包括“A”但是非“B”、“B”但是非“A”以及“A”和“B”。在本文档中，术语“包括”和“其中”按相应术语“包含”和“在其中”的英语字面等效含义来使用。同样地，在所附权利要求中，术语“包括”和“包含”是开放性的，即，除了包含权利要求中列在此术语之后的元素之外的元素的系统、设备、产品、合成物、公式或过程仍视为落在该权利要求的范围内。而且，在所附权利要求中，术语“第一”、“第二”和“第三”等仅用作标记，无意暗示其对象的数值要求。
在一个实施例中，本文描述的功能或算法可以通过软件或软件与人类实现的过程的组合来实现。该软件可以由存储在计算机可读介质（如存储器或其他类型的存储装置）上的计算机可执行指令组成。再者，此类功能对应于模块，这些模块是软件、硬件、固件或其任何组合。多个功能可以按需在一个或多个模块中执行，并且描述的实施例仅是示例。该软件可以在计算机系统，如个人计算机、服务器或其他计算机系统上运行的数字信号处理器、ASIC、微处理器或其他类型的处理器上执行。
上文描述是说明性的且无意作为限制。例如，上述示例（和/或其多个方面）可以彼此组合来使用。在复读上文描述时，本领域技术人员能够使用其他实施例。说明书摘要是根据37 C.F.R. § 1.72(b)提出的，可令读者快速地获知技术公开的特性。基于共识而被认可的，说明书摘要将不用于解释和限定权利要求的范围或含义。再有，在上文的具体实施方式中，为了使公开描述流畅，可能将多种特征归组在一起。这不应解释为有意使未要求权利的所公开的特征对于任何权利要求是必不可少的。相反，创造性的主题可以依据特定公开的实施例中少于全部的特征。因此，所附权利要求由此并入具体实施方式，其中每个权利要求作为单独的实施例来支持自己，并且可设想此类实施例能以多种组合或排列进行彼此组合。应参考所附权利要求连同此类权利要求授权的等效物的完整范围来确定本创造性的主题的范围。

Claims (19)

1.一种用于扩增现实应用的服务器，包括：
无线电收发器，用来从确定位于受保护区域中的设备接收加密的图像数据；
解密模块，用来将编码和加密的图像数据解密来产生编码的数据；以及
扩增现实模块，用来将所述编码的数据扩增以产生扩增的数据，所述扩增的数据在利用显示设备呈示时提供与扩增数据叠加的所述编码数据的视图；
其中所述无线电收发器要将所述扩增的数据传送到所述设备。
2.如权利要求1所述的服务器，进一步包括存储器，所述存储器用来存储在所述服务器处的所述扩增的数据。
3.如权利要求1所述的服务器，其中所述无线电收发器将所述扩增的数据或编码的数据传送到所述设备的受保护视听路径（PAVP）以保护所述扩增的数据或编码的数据。
4.如权利要求1所述的服务器，进一步包括位置模块，所述位置模块用来确定所述设备位于所述受保护区域中。
5.如权利要求4所述的服务器，进一步包括：
第二模块，用来响应于所述位置模块确定所述设备位于所述受保护区域中，而确定所述设备包含摄像器。
6.如权利要求1所述的服务器，其中所述扩增的数据包含与关于在机器的图像上叠加的所述受保护区域中的所述机器的信息对应的数据。
7.一种用于扩增现实的方法，包括：
由服务器从确定位于受保护区域中的设备接收加密的图像数据；
将所述加密的图像数据解密以产生编码的数据；
将所述编码的数据扩增以产生扩增的数据，所述扩增的数据在利用显示设备呈示时提供与扩增数据叠加的所述编码数据的视图；以及
由无线电装置将所述扩增的数据传送到所述设备。
8.如权利要求7所述的方法，进一步包括存储所述服务器处的所述扩增数据。
9.如权利要求7所述的方法，其中将所述扩增的数据或编码的数据传送到所述设备的受保护视听路径（PAVP）以保护所述扩增的数据或编码的数据。
10.如权利要求7所述的方法，进一步包括确定所述设备位于所述受保护区域中。
11.如权利要求10所述的方法，进一步包括响应于确定所述设备位于所述受保护区域中，确定所述设备包含摄像器。
12.如权利要求7所述的方法，其中所述扩增的数据包含与关于在机器的图像上叠加的所述受保护区域中的所述机器的信息对应的数据。
13.一种包含指令的计算机可读存储设备，所述指令当由机器执行时，促使所述机器执行权利要求7-12中任一项所述的方法。
14.一种用于扩增现实应用的方法，包括：
确定位于受保护区域中的包含摄像器的设备被开启；
利用图像处理模块来编码由所述受保护区域中的所述摄像器捕获的图像数据以创建编码的数据；
加密所述编码的数据以创建加密且编码的数据；
从所述设备将所述加密且编码的数据传送到服务器，所述设备和所述服务器连接到网络；
在所述服务器处解密所述加密且编码的数据以重新创建所述编码的数据；
在所述服务器处扩增所述编码的数据以创建扩增的数据；
将所述扩增的数据传送到所述设备；
在所述设备处接收所述扩增的数据，所述扩增的数据包含利用扩增数据更改或修订的所述编码的数据的更改或修订版本；以及
输出可渲染的视频数据，所述可渲染的视频数据在利用显示设备呈示时提供所述扩增的数据的视图，所述扩增的数据包含与扩增数据叠加的所述编码的数据。
15.如权利要求14所述的方法，进一步包括阻止所述图像数据或编码的数据用一般明码保存到所述设备的存储器。
16.如权利要求14所述的方法，进一步包括保存在所述服务器处的所述扩增的数据。
17.如权利要求14所述的方法，进一步包括将所述扩增的数据或编码的数据发送到受保护视听路径（PAVP）以保护所述扩增的数据。
18.如权利要求14所述的方法，其中确定所述设备位于所述受保护区域中包含利用位置传感器确定所述设备的所述位置。
19.如权利要求14所述的方法，其中显示所述扩增的版本包含显示关于在机器的图像上叠加的所述受保护区域中的所述机器的信息。
CN201911301043.2A 2012-07-13 2013-07-12 用于安全扩增现实应用的基于上下文的管理 Active CN111526115B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US13/549122 2012-07-13
US13/549,122 US8743224B2 (en) 2012-07-13 2012-07-13 Context based management for secure augmented reality applications
PCT/US2013/050344 WO2014012040A1 (en) 2012-07-13 2013-07-12 Context based management for secure augmented reality applications
CN201380030952.1A CN104350733B (zh) 2012-07-13 2013-07-12 用于安全扩增现实应用的基于上下文的管理

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380030952.1A Division CN104350733B (zh) 2012-07-13 2013-07-12 用于安全扩增现实应用的基于上下文的管理

Publications (2)

Publication Number Publication Date
CN111526115A true CN111526115A (zh) 2020-08-11
CN111526115B CN111526115B (zh) 2022-08-23

Family

ID=49913685

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380030952.1A Active CN104350733B (zh) 2012-07-13 2013-07-12 用于安全扩增现实应用的基于上下文的管理
CN201911301043.2A Active CN111526115B (zh) 2012-07-13 2013-07-12 用于安全扩增现实应用的基于上下文的管理

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380030952.1A Active CN104350733B (zh) 2012-07-13 2013-07-12 用于安全扩增现实应用的基于上下文的管理

Country Status (6)

Country Link
US (4) US8743224B2 (zh)
EP (1) EP2873227A4 (zh)
JP (1) JP6081586B2 (zh)
KR (1) KR101650002B1 (zh)
CN (2) CN104350733B (zh)
WO (1) WO2014012040A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354750B2 (en) * 2011-12-23 2019-07-16 Iconic Data Inc. System, client device, server and method for providing a cross-facility patient data management and reporting platform
US8743224B2 (en) 2012-07-13 2014-06-03 Intel Corporation Context based management for secure augmented reality applications
US9705916B2 (en) * 2012-09-28 2017-07-11 Intel Corporation Integrating wireless input functionality into secure elements
KR20140105343A (ko) * 2013-02-22 2014-09-01 삼성전자주식회사 디바이스 및 디바이스에서 복수의 모드를 이용한 데이터의 보안 방법
US9070217B2 (en) 2013-03-15 2015-06-30 Daqri, Llc Contextual local image recognition dataset
KR101821982B1 (ko) 2014-01-31 2018-01-25 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 스킨의 평가
EP3100256A4 (en) 2014-01-31 2017-06-28 Empire Technology Development LLC Augmented reality skin evaluation
EP3100226A4 (en) * 2014-01-31 2017-10-25 Empire Technology Development LLC Augmented reality skin manager
WO2015116183A2 (en) 2014-01-31 2015-08-06 Empire Technology Development, Llc Subject selected augmented reality skin
US8902318B1 (en) 2014-04-08 2014-12-02 Vysk Communications, Inc. Internal signal diversion with camera shuttering for mobile communication devices
US9147068B1 (en) 2014-04-08 2015-09-29 Vysk Communications, Inc. Internal signal diversion apparatus and method for mobile communication devices
US9721121B2 (en) * 2014-06-16 2017-08-01 Green Hills Software, Inc. Out-of-band spy detection and prevention for portable wireless systems
JP6635037B2 (ja) * 2014-08-01 2020-01-22 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9800561B2 (en) * 2014-11-06 2017-10-24 Intel Corporation Secure sharing of user annotated subscription media with trusted devices
US9679151B2 (en) * 2015-06-04 2017-06-13 Htc Corporation Method for encrypting on-screen contents, electronic apparatus using the method and recording medium using the method
RU2614930C2 (ru) * 2015-06-05 2017-03-30 Закрытое акционерное общество "Лаборатория Касперского" Система и способ контроля исполнения приложений дополненной реальности, установленных на устройстве пользователя, в зависимости от состояния окружающей среды
US10318746B2 (en) 2015-09-25 2019-06-11 Mcafee, Llc Provable traceability
US10126553B2 (en) 2016-06-16 2018-11-13 Microsoft Technology Licensing, Llc Control device with holographic element
US10620717B2 (en) 2016-06-30 2020-04-14 Microsoft Technology Licensing, Llc Position-determining input device
US10855566B2 (en) * 2016-09-30 2020-12-01 Sap Se Efficiency and performance in Internet-of-Things scenarios
US10223292B2 (en) 2016-11-28 2019-03-05 Microsoft Technology Licensing, Llc Securing stream buffers
US10268842B2 (en) * 2017-02-21 2019-04-23 Motorola Solutions, Inc. Device for operating a camera in a private mode and a non-private mode
US11187720B2 (en) * 2017-06-16 2021-11-30 Tektronix, Inc. Test and measurement devices, systems, and methods associated with augmented reality
US10515222B2 (en) * 2017-11-17 2019-12-24 Blackberry Limited Electronic device including display and method of encrypting information
CN110728714B (zh) * 2018-07-16 2023-06-20 Oppo广东移动通信有限公司 图像处理方法和装置、存储介质、电子设备
US10990699B2 (en) * 2018-08-30 2021-04-27 Citrix Systems, Inc. Computing system providing enterprise mobility management metadata anonymity policy enforcement and related methods
US11335214B2 (en) 2019-02-11 2022-05-17 Andrea G. FORTE Content encryption and in-place decryption using visually encoded ciphertext
KR102364562B1 (ko) 2019-06-28 2022-02-21 한화시스템 주식회사 보안 기능을 갖는 증강현실 장치
KR102104330B1 (ko) 2019-07-03 2020-04-27 한화시스템 주식회사 보안 기능을 갖는 증강현실 장치의 구동 방법
US11227007B2 (en) * 2019-07-23 2022-01-18 Obayashi Corporation System, method, and computer-readable medium for managing image
US10853513B1 (en) 2019-07-30 2020-12-01 Capital One Services, Llc Data storage using image objects shown in a real-time view
TR202101257A2 (tr) * 2020-02-19 2021-08-23 Havelsan Hava Elektronik San Ve Tic A S Güvenli̇ ve güveni̇li̇r artirilmiş gerçekli̇k uygulamalari geli̇şti̇ri̇lmesi̇ i̇çi̇n bi̇r yöntem
US20210149441A1 (en) * 2020-08-18 2021-05-20 Marko Bartscherer Lid controller hub
US11893551B2 (en) 2021-04-15 2024-02-06 Bank Of America Corporation Information security system and method for augmented reality check generation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1612493A (zh) * 2003-10-29 2005-05-04 株式会社日立制作所 便携式电子设备与摄影限制系统
US20060038833A1 (en) * 2004-08-19 2006-02-23 Mallinson Dominic S Portable augmented reality device and method
US20100008265A1 (en) * 2008-07-14 2010-01-14 Carl Johan Freer Augmented reality method and system using logo recognition, wireless application protocol browsing and voice over internet protocol technology
CN102141885A (zh) * 2010-02-02 2011-08-03 索尼公司 图像处理设备、图像处理方法及程序
CN102508363A (zh) * 2011-12-28 2012-06-20 王鹏勃 一种基于增强现实技术的无线显示眼镜及其实现方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4240973B2 (ja) * 2002-09-26 2009-03-18 ソニー株式会社 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
JP4638411B2 (ja) * 2003-04-01 2011-02-23 レイフ コミュニケーションズ エルエルシー 携帯デジタル装置
JP3938127B2 (ja) * 2003-09-29 2007-06-27 ソニー株式会社 撮像装置
JP4385725B2 (ja) * 2003-10-29 2009-12-16 カシオ計算機株式会社 撮影装置、撮影制限装置およびプログラム
KR20050041345A (ko) * 2003-10-30 2005-05-04 엘지전자 주식회사 이동통신단말기의 카메라 동작제한장치 및 방법
JP2005323143A (ja) * 2004-05-10 2005-11-17 Matsushita Electric Ind Co Ltd カメラシステム、プリント装置、カメラ制御方法、プリント装置制御方法および画像開示方法
JP2006048643A (ja) * 2004-07-08 2006-02-16 Namco Ltd 端末装置、プログラム、情報記憶媒体およびデータ処理方法
JP4512763B2 (ja) * 2005-02-02 2010-07-28 株式会社国際電気通信基礎技術研究所 画像撮影システム
KR100640449B1 (ko) * 2005-04-20 2006-10-30 삼성전자주식회사 이동 통신 단말의 부가 기능 제한 방법 및 시스템
DE602006014968D1 (de) * 2006-09-01 2010-07-29 Research In Motion Ltd Verfahren zur ortsabhängigen Sperrung von Funktionen eines Mobilfunkendgerätes, und Vorrichtung dafür
US8218015B2 (en) * 2006-09-01 2012-07-10 Research In Motion Limited Method for monitoring and controlling photographs taken in a proprietary area
JP2008172651A (ja) * 2007-01-15 2008-07-24 Dainippon Printing Co Ltd 撮影画像管理システム
US8154608B2 (en) * 2007-11-13 2012-04-10 Olympus Corporation Digital camera security
US8270664B2 (en) * 2007-11-27 2012-09-18 Broadcom Corporation Method and system for utilizing GPS information to secure digital media
US8219144B2 (en) * 2008-01-11 2012-07-10 Alcatel Lucent Disabling of mobile phone camera operation by video-restricted location device
US8559914B2 (en) * 2008-01-16 2013-10-15 M. Kelly Jones Interactive personal surveillance and security (IPSS) system
US20100305966A1 (en) * 2009-05-29 2010-12-02 Disruptive Ip, Inc. Robotic Management of Patient Care Logistics
JP5109175B2 (ja) * 2009-10-30 2012-12-26 北川工業株式会社 コンタクト部材および係止部材
US9420251B2 (en) 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
KR101632203B1 (ko) * 2010-03-17 2016-06-22 삼성전자주식회사 휴대 단말기의 어플리케이션 실행 방법 및 장치
US9100693B2 (en) * 2010-06-08 2015-08-04 Intel Corporation Methods and apparatuses for securing playback content
KR101306777B1 (ko) * 2010-07-14 2013-09-10 서진호 증강 현실 기반의 가상 입력장치 암호화를 이용한 전자거래 보안 방법 및 시스템
AT510352A1 (de) * 2010-09-13 2012-03-15 Smartspector Artificial Perception Engineering Gmbh Kamera für die unkenntlichmachung personenbezogener daten
EP2437220A1 (en) * 2010-09-29 2012-04-04 Alcatel Lucent Method and arrangement for censoring content in three-dimensional images
US8723888B2 (en) * 2010-10-29 2014-05-13 Core Wireless Licensing, S.a.r.l. Method and apparatus for determining location offset information
CN103229197B (zh) * 2010-11-18 2016-07-13 （株）此后 使用信息识别手段的集成管线管理系统和方法
US8625788B2 (en) * 2011-01-05 2014-01-07 Intel Corporation Method and apparatus for building a hardware root of trust and providing protected content processing within an open computing platform
KR101844289B1 (ko) * 2011-07-06 2018-04-02 삼성전자 주식회사 이동통신 시스템에서 위치 정보에 기반한 휴대 단말기의 보안 관리 방법 및 장치
US8743224B2 (en) 2012-07-13 2014-06-03 Intel Corporation Context based management for secure augmented reality applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1612493A (zh) * 2003-10-29 2005-05-04 株式会社日立制作所 便携式电子设备与摄影限制系统
US20060038833A1 (en) * 2004-08-19 2006-02-23 Mallinson Dominic S Portable augmented reality device and method
US20100008265A1 (en) * 2008-07-14 2010-01-14 Carl Johan Freer Augmented reality method and system using logo recognition, wireless application protocol browsing and voice over internet protocol technology
CN102141885A (zh) * 2010-02-02 2011-08-03 索尼公司 图像处理设备、图像处理方法及程序
CN102508363A (zh) * 2011-12-28 2012-06-20 王鹏勃 一种基于增强现实技术的无线显示眼镜及其实现方法

Also Published As

Publication number Publication date
EP2873227A4 (en) 2016-03-23
US20140015987A1 (en) 2014-01-16
US20170142127A1 (en) 2017-05-18
US9948659B2 (en) 2018-04-17
JP6081586B2 (ja) 2017-02-15
KR101650002B1 (ko) 2016-08-23
CN104350733A (zh) 2015-02-11
WO2014012040A1 (en) 2014-01-16
US9183677B2 (en) 2015-11-10
US20160080683A1 (en) 2016-03-17
US9509941B2 (en) 2016-11-29
EP2873227A1 (en) 2015-05-20
CN111526115B (zh) 2022-08-23
CN104350733B (zh) 2020-01-21
US8743224B2 (en) 2014-06-03
KR20150013203A (ko) 2015-02-04
JP2015523600A (ja) 2015-08-13
US20140362236A1 (en) 2014-12-11

Similar Documents

Publication Publication Date Title
CN104350733B (zh) 用于安全扩增现实应用的基于上下文的管理
US9692605B2 (en) Certificate authority server protection
US11836272B2 (en) Protection of privacy and data on smart edge devices
US10616344B2 (en) System-on-chip data security appliance encryption device and methods of operating the same
US10187389B2 (en) Technologies for supporting multiple digital rights management protocols on a client device
US9219709B2 (en) Multi-wrapped virtual private network
US20060269053A1 (en) Network Communication System and Communication Device
US20150304736A1 (en) Technologies for hardening the security of digital information on client platforms
US20070283170A1 (en) System and method for secure inter-process data communication
TWI493950B (zh) 條件式電子文件權限控管系統及方法
JP4847301B2 (ja) コンテンツ保護システム，コンテンツ保護用デバイスおよびコンテンツ保護方法
US8250661B2 (en) Image processing apparatus, information processing apparatus, and methods thereof
CN105191332A (zh) 用于在未压缩的视频数据中嵌入水印的方法和设备
CN115549906A (zh) 基于区块链的隐私计算方法、系统、设备和介质
US11095613B2 (en) System of smart edge sensors
CN101572698A (zh) 一种文件网络传输通用加密方法
EP3039567A1 (en) Improving tamper resistance of aggregated data
KR101639991B1 (ko) 망분리 환경에서의 스풀 데이터 전송을 이용한 프린터 공유 방법 및 시스템
US11876797B2 (en) Multi-factor geofencing system for secure encryption and decryption system
Booth et al. IMSS System Level View
CN116800403A (zh) 文件防泄密方法、装置、电子设备及产品
KR20140069963A (ko) Ｔｐｍ을 이용한 카메라 간 연동 및 관리 방법
JP2008193212A (ja) データ伝送方法およびシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant