CN112532801A - 基于热分布检测的vr设备的安全防护方法和系统 - Google Patents

基于热分布检测的vr设备的安全防护方法和系统 Download PDF

Info

Publication number
CN112532801A
CN112532801A CN202011403003.1A CN202011403003A CN112532801A CN 112532801 A CN112532801 A CN 112532801A CN 202011403003 A CN202011403003 A CN 202011403003A CN 112532801 A CN112532801 A CN 112532801A
Authority
CN
China
Prior art keywords
real
image
thermal
glasses
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011403003.1A
Other languages
English (en)
Inventor
胡金鑫
叶柳青
刘晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shadow Creator Information Technology Co Ltd
Original Assignee
Shanghai Shadow Creator Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shadow Creator Information Technology Co Ltd filed Critical Shanghai Shadow Creator Information Technology Co Ltd
Priority to CN202011403003.1A priority Critical patent/CN112532801A/zh
Publication of CN112532801A publication Critical patent/CN112532801A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • H04N1/32208—Spatial or amplitude domain methods involving changing the magnitude of selected pixels, e.g. overlay of information or super-imposition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00838—Preventing unauthorised reproduction
    • H04N1/0088—Detecting or preventing tampering attacks on the reproduction system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供了一种基于热分布检测的VR设备的安全防护方法和系统及其VR眼镜，其令VR眼镜通过红外成像设备获取VR眼镜前方的实时的现实环境的图像，得到热特征分布现实图像；其中，所述热特征分布现实图像中含有现实环境中相邻现实对象之间的热分布信息，从而有助于佩戴者观察发现在热传导上不符合自然规律的可疑热分布画面，从而有助于判断图像是否被篡改。

Description

基于热分布检测的VR设备的安全防护方法和系统
技术领域
本发明涉及VR设备信息安全领域，具体地，涉及基于热分布检测的VR设备的安全防护方法和系统及其VR眼镜。
背景技术
VR眼镜原本显示给佩戴者的图像，如果因信息入侵而造成图像的修改，导致佩戴者实际看到的图像并非原本显示给佩戴者的图像，而是原本显示给佩戴者的图像被非法修改后的图像，将造成对佩戴者的不良影响。例如佩戴者进入一个快餐店后，原本显示给佩戴者的图像中是一个干净的桌面，入侵者将干净的桌面修改为桌面上印刷了广告形成被非修改后的图像，则由于佩戴者原本并不知道该快餐店的桌面上是干净的还是本来就印刷有广告的，导致佩戴者不能及时发现图像被非法修改而被迫观看广告。
现有技术中没有提供解决方案。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于热分布检测的VR设备的安全防护方法和系统及其VR眼镜。
根据本发明提供的一种基于热分布检测的VR设备的安全防护方法，包括：
原始现实图像获取步骤：VR眼镜通过摄像头获取VR眼镜前方的实时的现实环境的图像，得到原始现实图像；
热特征分布现实图像获取步骤：VR眼镜通过红外成像设备获取VR眼镜前方的实时的现实环境的图像，得到热特征分布现实图像；其中，所述热特征分布现实图像中含有现实环境中相邻现实对象之间的热分布信息；
图形叠加步骤：将原始现实图像与热特征分布现实图像直接或者经过处理后进行实时地叠加，得到叠加图像，其中，所述叠加图像能够观察到所述相邻现实对象之间的热分布信息；
图像输出步骤：将所述叠加图像输出给VR眼镜的显示设备进行显示。
优选地，
在所述原始现实图像获取步骤中，识别得到相邻现实对象；
在所述热特征分布现实图像获取步骤中，将红外成像设备获取到的现实环境的红外成像图像作为热特征分布现实图像；在特征分布显示图像中，不同温度区间的区域以不同颜色的色块表示；
所述基于热分布检测的VR设备的安全防护方法包括：
相邻热特征分布检测步骤：对所述叠加图像进行检测，将检测到的色块边界与相邻现实对象之间的相邻像素所形成边界重合或者重合率超导设定重复率阈值的色块，提示给佩戴者，或者上传云端给相关管理者。
优选地，
在所述原始现实图像获取步骤中，识别出现实环境中现实对象相对于佩戴者的距离以及方位，将方位差异、距离差异均在差异阈值之内且图像上像素相邻的现实对象之间认定为相邻现实对象；
优选地，包括：
传感现实图像获取步骤：VR眼镜通过传感器获取VR眼镜前方的实时的现实环境的图像，得到传感现实图像；其中，所述传感现实图像中含有现实环境中现实对象的物理变化信息；
在图像叠加步骤中，将原始现实图像、热特征分布现实图像以及传感现实图像直接或者经过处理后进行实时地叠加，得到叠加图像，其中，所述叠加图像能够观察到所述现实对象的物理变化信息。
根据本发明提供的一种基于热分布检测的VR设备的安全防护系统，包括：
原始现实图像获取模块：VR眼镜通过摄像头获取VR眼镜前方的实时的现实环境的图像，得到原始现实图像；
热特征分布现实图像获取模块：VR眼镜通过红外成像设备获取VR眼镜前方的实时的现实环境的图像，得到热特征分布现实图像；其中，所述热特征分布现实图像中含有现实环境中相邻现实对象之间的热分布信息；
图形叠加模块：将原始现实图像与热特征分布现实图像直接或者经过处理后进行实时地叠加，得到叠加图像，其中，所述叠加图像能够观察到所述相邻现实对象之间的热分布信息；
图像输出模块：将所述叠加图像输出给VR眼镜的显示设备进行显示。
优选地，
在所述原始现实图像获取模块中，识别得到相邻现实对象；
在所述热特征分布现实图像获取模块中，将红外成像设备获取到的现实环境的红外成像图像作为热特征分布现实图像；在特征分布显示图像中，不同温度区间的区域以不同颜色的色块表示；
所述基于热分布检测的VR设备的安全防护系统包括：
相邻热特征分布检测模块：对所述叠加图像进行检测，将检测到的色块边界与相邻现实对象之间的相邻像素所形成边界重合或者重合率超导设定重复率阈值的色块，提示给佩戴者，或者上传云端给相关管理者。
优选地，
在所述原始现实图像获取模块中，识别出现实环境中现实对象相对于佩戴者的距离以及方位，将方位差异、距离差异均在差异阈值之内且图像上像素相邻的现实对象之间认定为相邻现实对象；
优选地，包括：
传感现实图像获取模块：VR眼镜通过传感器获取VR眼镜前方的实时的现实环境的图像，得到传感现实图像；其中，所述传感现实图像中含有现实环境中现实对象的物理变化信息；
在图像叠加模块中，将原始现实图像、热特征分布现实图像以及传感现实图像直接或者经过处理后进行实时地叠加，得到叠加图像，其中，所述叠加图像能够观察到所述现实对象的物理变化信息。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现所述的基于热分布检测的VR设备的安全防护方法的步骤。
根据本发明提供的一种VR眼镜，其特征在于，包括所述的基于热分布检测的VR设备的安全防护的系统，或者包括所述的存储有计算机程序的计算机可读存储介质。
与现有技术相比，本发明具有如下的有益效果：
本发明令VR眼镜通过红外成像设备获取VR眼镜前方的实时的现实环境的图像，得到热特征分布现实图像；其中，所述热特征分布现实图像中含有现实环境中相邻现实对象之间的热分布信息，从而有助于佩戴者观察发现在热传导上不符合自然规律的可疑热分布画面，从而有助于判断图像是否被篡改。
本发明利用实时的、入侵者无法提前预知的含有现实环境中现实对象的物理变化信息，使得若图像被非法修改后，修改后的图像中无法被VR眼镜佩戴者观察到实际已发生的物理变化信息，由于VR眼镜佩戴者能够知晓图像已被非法修改而与现实环境的实际不符。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的方法流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种基于热分布检测的VR设备的安全防护方法，包括：
原始现实图像获取步骤：VR眼镜通过摄像头获取VR眼镜前方的实时的现实环境的图像，得到原始现实图像；具体地，VR眼镜上设置有摄像头，摄像头拍摄实时画面，例如微信视频聊天时就利用了智能手机上设置的前置或后置摄像头。VR眼镜具有的摄像头的朝向与VR眼镜的正前方同轴设置或平行设置。VR眼镜前方的视角取决于摄像头的取景视角，例如若摄像头的镜头为广角镜，则VR眼镜前方的视角相对于标准镜头要大。由此，VR眼镜佩戴者虽然不能用眼镜直接观察到现实环境，但是由于VR眼镜向佩戴者是实时现实摄像头获取的现实环境的图像，因此佩戴者能够间接观察到面前的实时的现实环境，视觉效果类似于AR眼镜，但是本发明并非是将虚拟对象叠加到现实场景中，而是将均获取自现实场景的原始现实图像与传感现实图像这两个虚拟场景图像进行叠加，只是原始现实图像的视觉观察效果与现实场景的视觉观察效果是一致或者基本相同的效果。
热特征分布现实图像获取步骤：VR眼镜通过红外成像设备获取VR眼镜前方的实时的现实环境的图像，得到热特征分布现实图像；其中，所述热特征分布现实图像中含有现实环境中相邻现实对象之间的热分布信息；具体地，在所述热特征分布现实图像获取步骤中，将红外成像设备获取到的现实环境的红外成像图像作为热特征分布现实图像；在特征分布显示图像中，不同温度区间的区域以不同颜色的色块表示；例如，温度区间由高到低可分别用红色、橘色、绿色、蓝色表示，最高温度区间的图像区域就用红色的色块表示。由于计算机能够识别的颜色远远多于肉眼，因此本发明借助于计算机能够分辨出肉眼看来并不明显的不同颜色的色块。所有在优选例中，尽可能多的用更多的颜色表示不同的温度区间。
在所述原始现实图像获取步骤中，识别得到相邻现实对象；在所述原始现实图像获取步骤中，识别出现实环境中现实对象相对于佩戴者的距离以及方位，将方位差异、距离差异均在差异阈值之内且图像上像素相邻的现实对象之间认定为相邻现实对象；
所述基于热分布检测的VR设备的安全防护方法包括：
相邻热特征分布检测步骤：对所述叠加图像进行检测，将检测到的色块边界与相邻现实对象之间的相邻像素所形成边界重合或者重合率超导设定重复率阈值的色块，提示给佩戴者，或者上传云端给相关管理者。具体地，若色块边界与相邻现实对象之间的相邻像素所形成边界重合或者重合率超导设定重复率阈值，则认为图像被篡改或者认为有可能被篡改。例如，快餐店的冰凉桌面上放置有一个杯子，杯子中是热水，桌面与杯子是相邻现实对象，热水的热量通过杯子传导到杯子附近的桌面，导致杯子附近的桌面的温度高于桌面的其它区域。在未经入侵者非法篡改的叠加图像中，杯子附近的桌面与杯子接触桌面的底部属于同一个温度区间，应当被佩戴者观察到是同一个色块。若入侵者篡改叠加图像，在叠加图像被VR眼镜显示给佩戴者之前，将叠加图像中的桌面替换为印刷有广告的桌面，则在篡改桌面区域的图像时，桌面上的色块也被替换为广告的一部分而不可被观察到，导致杯子接触桌面的底部的色块的边界与杯子的像素桌子的像素之间所形成的像素边界重合，从而提示佩戴者图像有可能被篡改的情况。
传感现实图像获取步骤：VR眼镜通过传感器获取VR眼镜前方的实时的现实环境的图像，得到传感现实图像；其中，所述传感现实图像中含有现实环境中现实对象的物理变化信息；具体地，传感器可以是红外线传感器或者红外热成像仪，从而能够获取现实环境的红外成像图像作为现实环境的图像。尤其是，可以将通过传感器获取VR眼镜前方的实时的现实环境的图像直接作为传感现实图像，也可以对通过传感器获取VR眼镜前方的实时的现实环境的图像进行处理后的图像作为传感现实图像，优选地，仅仅是从通过传感器获取VR眼镜前方的实时的现实环境的图像中提取出在时间上发生变化的图像，作为传感现实图像。例如，通过红外热成像仪获取VR眼镜前方的实时的现实环境的红外成像图像，比较当前时刻红外成像图像与前一时刻红外成像图像之间发生变化的图像，将该发生变化的图像作为传感现实图像(在变化例中，可以比较前后时刻某一光谱下图像之间的颜色发生的变化)。以佩戴者手部碰触冰凉的桌面为例，佩戴者手部碰触冰凉的桌面后，在桌面的红外成像图像中，被碰触到的位置因为受热而变色(通常是变红)，桌面较远处的未被碰触到的位置因为温度没有变化而保持颜色不变，所以将能够观察到变色位置、且未变色位置透明的图像作为传感现实图像。在变化例中，传感器可以是微波传感器或者微波成像仪，在更多变化例中，还可以是其它光谱的传感器或者成像仪，在此不予赘述。
图形叠加步骤：将原始现实图像与热特征分布现实图像直接或者经过处理后进行实时地叠加，得到叠加图像，其中，所述叠加图像能够观察到所述相邻现实对象之间的热分布信息；在优选例中，在图像叠加步骤中，将原始现实图像、热特征分布现实图像以及传感现实图像直接或者经过处理后进行实时地叠加，得到叠加图像，其中，所述叠加图像能够观察到所述现实对象的物理变化信息；具体地，原始现实图像、传感现实图像是同步实时来源于同一现实环境的图像，因此图像中的同一对象之间是重叠的。
图像输出步骤：将所述叠加图像输出给VR眼镜的显示设备进行显示。
具体地，例如，原始现实图像是可见光谱下的佩戴者手部放在桌子上的图像，传感现实图像是红外成像下的佩戴者手部放在桌子上的图像(或者是桌子被手部碰触位置处为红色，其余区域为透明的图像，或者其余区域保留不变)，在图像没有被非法篡改的情况下，将叠加图像输出给VR眼镜的显示设备进行现实后，VR眼镜佩戴者观察到的叠加图像应该是：可以观察到可见光谱下的桌子、可见光谱下的佩戴者的手部，并且桌子被佩戴者的手部碰触的位置处显现可见光谱下的红色。该叠加图像与肉眼直接观察到的现实环境不同(现实环境中看不到桌子被手部碰触处显现红色，若桌子是绿色的，则现实环境中桌子被手部碰触处仍然为绿色)，也不同于红外成像图像(若桌子是冰凉的，红外成像图像中桌子是黑色的不可见状态)。但是，如果图像被非法篡改了，例如黑客针对叠加图像，将叠加图像中单纯绿色的桌面替换为一个印刷有广告的桌面，导致VR眼镜显示设备最终提供给佩戴者观看的图像中，桌面上是有广告的，而非单纯的绿色。又例如，黑客针对叠加图像，将叠加图像中印刷有品牌A的汉堡广告替换为品牌B的汉堡广告，导致VR眼镜显示设备最终提供给佩戴者观看的图像中，桌面上被看到的是品牌B的汉堡广告，而非品牌A的汉堡广告。
在优选例中，所述现实环境中现实对象的物理变化信息，是现实对象受到生物行为的直接或间接作用下，所引起或发生的物理上的变化而产生的信息；具体地，生物可以是人类或者动物，行为可以是碰触桌面等现实对象的行为，行为还可以是朝向桌面或者空气或者纸张等现实对象进行吹气、摇动电吹风、洒水、遮阳等行为。物理上的变化可以是温度的变化、表面光滑度的变化、表面反光度的变化、表面形状的变化或者表面颜色的变化等等。
所述生物包括VR眼镜佩戴者和/或非VR眼镜佩戴者。例如，他人将手部碰触冰凉的桌面，VR眼镜佩戴者也应该能观察到桌面被他人手部碰触处显现表征温度升高的红色。
所述现实环境中现实对象的物理变化信息，是现实对象受到VR眼镜的物理能量发射器的直接或间接作用下，所引起或发生的物理上的变化而产生的信息；其中，所述传感器与物理能量发射器之间是匹配的接收器、发射器；具体地，物理能量发射器可以是红外线发射器、激光发射器或者微波发射器，还可以是其它频率的发射器。能量发射器在现实环境中，以波束向现实对象发射能量，以改变现实对象的温度、颜色等物理上的变化。例如VR眼镜上的激光发射器向现实桌面发射激光，使得被激光照射处桌面位置的温度升高，或者使得桌面与激光敏感的涂层变色。例如VR眼镜上的激光发射器照射到光敏纸覆盖的桌面上，在现实环境中引起桌面被照射位置的颜色由白色变为黑色，红外传感器检测到出现黑色区域因吸收热量为温度变化，则得到传感现实图像叠加到原始现实图像再得到叠加图像中应当能观察到黑色区域显现表征温度升高的红色而与白色区域不同。
决定物理能量发射器的发射角度的机械结构由VR眼镜佩戴者手动调整，不受控制软件的控制；和/或，在VR眼镜上设置有多个物理能量发射器的安装位置，在这些安装位置上可拆卸地安装有一个或多个物理能量发射器。具体地，由于决定物理能量发射器的发射角度的结构为机械结构(例如俯仰左右角度可调的激光发射器的安装座)，不会受到软件的控制，因此在信息传输上阻断了入侵者通过读取软件代码信息或者数据信息而获知能量发射器的发射角度，例如入侵者无法获知作为物理能量发射器的激光发射器所发射激光光束在桌面的哪一个位置形成光斑。同样地，在VR眼镜上设置有多个物理能量发射器的安装位置，VR眼镜佩戴者可以变换物理能量发射器的安装位置，还可以变换在多少数量的安装位置上安装物理能量发射器，使得入侵者无法获知作为物理能量发射器的激光发射器所发射激光光束在桌面的哪一个位置形成光斑。进一步地，而且机械结构、安装位置都可以由佩戴者手动调整，因此可以认为能量发射器的发射方向对于入侵者来讲是随机的，因此入侵者将单纯绿色的桌面替换为印刷有广告的桌面后，无法在印刷有广告的桌面上“正确”还原显现给佩戴者以现实桌面上激光光斑处温度或颜色的变化。
优选地，在所述叠加图像中，能够观察到原始现实图像，以模拟AR效果。具体地，传感现实图像以半透明的方式显现，从而佩戴者能够看到原始现实图像。
若有必要，还包括通知步骤：根据佩戴者的指令通知指定的联系人VR眼镜已被非法入侵的消息。
本发明提供的基于热分布检测的VR设备的安全防护方法，是基于热分布检测的VR设备的安全防护系统的实施例，本领域技术人员可以通过执行基于热分布检测的VR设备的安全防护方法的步骤流程实现所述基于热分布检测的VR设备的安全防护系统。
根据本发明提供的一种基于热分布检测的VR设备的安全防护系统，包括：
原始现实图像获取模块：VR眼镜通过摄像头获取VR眼镜前方的实时的现实环境的图像，得到原始现实图像；具体地，VR眼镜上设置有摄像头，摄像头拍摄实时画面，例如微信视频聊天时就利用了智能手机上设置的前置或后置摄像头。VR眼镜具有的摄像头的朝向与VR眼镜的正前方同轴设置或平行设置。VR眼镜前方的视角取决于摄像头的取景视角，例如若摄像头的镜头为广角镜，则VR眼镜前方的视角相对于标准镜头要大。由此，VR眼镜佩戴者虽然不能用眼镜直接观察到现实环境，但是由于VR眼镜向佩戴者是实时现实摄像头获取的现实环境的图像，因此佩戴者能够间接观察到面前的实时的现实环境，视觉效果类似于AR眼镜，但是本发明并非是将虚拟对象叠加到现实场景中，而是将均获取自现实场景的原始现实图像与传感现实图像这两个虚拟场景图像进行叠加，只是原始现实图像的视觉观察效果与现实场景的视觉观察效果是一致或者基本相同的效果。
热特征分布现实图像获取模块：VR眼镜通过红外成像设备获取VR眼镜前方的实时的现实环境的图像，得到热特征分布现实图像；其中，所述热特征分布现实图像中含有现实环境中相邻现实对象之间的热分布信息；具体地，在所述热特征分布现实图像获取模块中，将红外成像设备获取到的现实环境的红外成像图像作为热特征分布现实图像；在特征分布显示图像中，不同温度区间的区域以不同颜色的色块表示；例如，温度区间由高到低可分别用红色、橘色、绿色、蓝色表示，最高温度区间的图像区域就用红色的色块表示。由于计算机能够识别的颜色远远多于肉眼，因此本发明借助于计算机能够分辨出肉眼看来并不明显的不同颜色的色块。所有在优选例中，尽可能多的用更多的颜色表示不同的温度区间。
在所述原始现实图像获取模块中，识别得到相邻现实对象；在所述原始现实图像获取模块中，识别出现实环境中现实对象相对于佩戴者的距离以及方位，将方位差异、距离差异均在差异阈值之内且图像上像素相邻的现实对象之间认定为相邻现实对象；
所述基于热分布检测的VR设备的安全防护系统包括：
相邻热特征分布检测模块：对所述叠加图像进行检测，将检测到的色块边界与相邻现实对象之间的相邻像素所形成边界重合或者重合率超导设定重复率阈值的色块，提示给佩戴者，或者上传云端给相关管理者。具体地，若色块边界与相邻现实对象之间的相邻像素所形成边界重合或者重合率超导设定重复率阈值，则认为图像被篡改或者认为有可能被篡改。例如，快餐店的冰凉桌面上放置有一个杯子，杯子中是热水，桌面与杯子是相邻现实对象，热水的热量通过杯子传导到杯子附近的桌面，导致杯子附近的桌面的温度高于桌面的其它区域。在未经入侵者非法篡改的叠加图像中，杯子附近的桌面与杯子接触桌面的底部属于同一个温度区间，应当被佩戴者观察到是同一个色块。若入侵者篡改叠加图像，在叠加图像被VR眼镜显示给佩戴者之前，将叠加图像中的桌面替换为印刷有广告的桌面，则在篡改桌面区域的图像时，桌面上的色块也被替换为广告的一部分而不可被观察到，导致杯子接触桌面的底部的色块的边界与杯子的像素桌子的像素之间所形成的像素边界重合，从而提示佩戴者图像有可能被篡改的情况。
传感现实图像获取模块：VR眼镜通过传感器获取VR眼镜前方的实时的现实环境的图像，得到传感现实图像；其中，所述传感现实图像中含有现实环境中现实对象的物理变化信息；具体地，传感器可以是红外线传感器或者红外热成像仪，从而能够获取现实环境的红外成像图像作为现实环境的图像。尤其是，可以将通过传感器获取VR眼镜前方的实时的现实环境的图像直接作为传感现实图像，也可以对通过传感器获取VR眼镜前方的实时的现实环境的图像进行处理后的图像作为传感现实图像，优选地，仅仅是从通过传感器获取VR眼镜前方的实时的现实环境的图像中提取出在时间上发生变化的图像，作为传感现实图像。例如，通过红外热成像仪获取VR眼镜前方的实时的现实环境的红外成像图像，比较当前时刻红外成像图像与前一时刻红外成像图像之间发生变化的图像，将该发生变化的图像作为传感现实图像(在变化例中，可以比较前后时刻某一光谱下图像之间的颜色发生的变化)。以佩戴者手部碰触冰凉的桌面为例，佩戴者手部碰触冰凉的桌面后，在桌面的红外成像图像中，被碰触到的位置因为受热而变色(通常是变红)，桌面较远处的未被碰触到的位置因为温度没有变化而保持颜色不变，所以将能够观察到变色位置、且未变色位置透明的图像作为传感现实图像。在变化例中，传感器可以是微波传感器或者微波成像仪，在更多变化例中，还可以是其它光谱的传感器或者成像仪，在此不予赘述。
图形叠加模块：将原始现实图像与热特征分布现实图像直接或者经过处理后进行实时地叠加，得到叠加图像，其中，所述叠加图像能够观察到所述相邻现实对象之间的热分布信息；在优选例中，在图像叠加模块中，将原始现实图像、热特征分布现实图像以及传感现实图像直接或者经过处理后进行实时地叠加，得到叠加图像，其中，所述叠加图像能够观察到所述现实对象的物理变化信息；具体地，原始现实图像、传感现实图像是同步实时来源于同一现实环境的图像，因此图像中的同一对象之间是重叠的。
图像输出模块：将所述叠加图像输出给VR眼镜的显示设备进行显示。
具体地，例如，原始现实图像是可见光谱下的佩戴者手部放在桌子上的图像，传感现实图像是红外成像下的佩戴者手部放在桌子上的图像(或者是桌子被手部碰触位置处为红色，其余区域为透明的图像，或者其余区域保留不变)，在图像没有被非法篡改的情况下，将叠加图像输出给VR眼镜的显示设备进行现实后，VR眼镜佩戴者观察到的叠加图像应该是：可以观察到可见光谱下的桌子、可见光谱下的佩戴者的手部，并且桌子被佩戴者的手部碰触的位置处显现可见光谱下的红色。该叠加图像与肉眼直接观察到的现实环境不同(现实环境中看不到桌子被手部碰触处显现红色，若桌子是绿色的，则现实环境中桌子被手部碰触处仍然为绿色)，也不同于红外成像图像(若桌子是冰凉的，红外成像图像中桌子是黑色的不可见状态)。但是，如果图像被非法篡改了，例如黑客针对叠加图像，将叠加图像中单纯绿色的桌面替换为一个印刷有广告的桌面，导致VR眼镜显示设备最终提供给佩戴者观看的图像中，桌面上是有广告的，而非单纯的绿色。又例如，黑客针对叠加图像，将叠加图像中印刷有品牌A的汉堡广告替换为品牌B的汉堡广告，导致VR眼镜显示设备最终提供给佩戴者观看的图像中，桌面上被看到的是品牌B的汉堡广告，而非品牌A的汉堡广告。
在优选例中，所述现实环境中现实对象的物理变化信息，是现实对象受到生物行为的直接或间接作用下，所引起或发生的物理上的变化而产生的信息；具体地，生物可以是人类或者动物，行为可以是碰触桌面等现实对象的行为，行为还可以是朝向桌面或者空气或者纸张等现实对象进行吹气、摇动电吹风、洒水、遮阳等行为。物理上的变化可以是温度的变化、表面光滑度的变化、表面反光度的变化、表面形状的变化或者表面颜色的变化等等。
所述生物包括VR眼镜佩戴者和/或非VR眼镜佩戴者。例如，他人将手部碰触冰凉的桌面，VR眼镜佩戴者也应该能观察到桌面被他人手部碰触处显现表征温度升高的红色。
所述现实环境中现实对象的物理变化信息，是现实对象受到VR眼镜的物理能量发射器的直接或间接作用下，所引起或发生的物理上的变化而产生的信息；其中，所述传感器与物理能量发射器之间是匹配的接收器、发射器；具体地，物理能量发射器可以是红外线发射器、激光发射器或者微波发射器，还可以是其它频率的发射器。能量发射器在现实环境中，以波束向现实对象发射能量，以改变现实对象的温度、颜色等物理上的变化。例如VR眼镜上的激光发射器向现实桌面发射激光，使得被激光照射处桌面位置的温度升高，或者使得桌面与激光敏感的涂层变色。例如VR眼镜上的激光发射器照射到光敏纸覆盖的桌面上，在现实环境中引起桌面被照射位置的颜色由白色变为黑色，红外传感器检测到出现黑色区域因吸收热量为温度变化，则得到传感现实图像叠加到原始现实图像再得到叠加图像中应当能观察到黑色区域显现表征温度升高的红色而与白色区域不同。
决定物理能量发射器的发射角度的机械结构由VR眼镜佩戴者手动调整，不受控制软件的控制；和/或，在VR眼镜上设置有多个物理能量发射器的安装位置，在这些安装位置上可拆卸地安装有一个或多个物理能量发射器。具体地，由于决定物理能量发射器的发射角度的结构为机械结构(例如俯仰左右角度可调的激光发射器的安装座)，不会受到软件的控制，因此在信息传输上阻断了入侵者通过读取软件代码信息或者数据信息而获知能量发射器的发射角度，例如入侵者无法获知作为物理能量发射器的激光发射器所发射激光光束在桌面的哪一个位置形成光斑。同样地，在VR眼镜上设置有多个物理能量发射器的安装位置，VR眼镜佩戴者可以变换物理能量发射器的安装位置，还可以变换在多少数量的安装位置上安装物理能量发射器，使得入侵者无法获知作为物理能量发射器的激光发射器所发射激光光束在桌面的哪一个位置形成光斑。进一步地，而且机械结构、安装位置都可以由佩戴者手动调整，因此可以认为能量发射器的发射方向对于入侵者来讲是随机的，因此入侵者将单纯绿色的桌面替换为印刷有广告的桌面后，无法在印刷有广告的桌面上“正确”还原显现给佩戴者以现实桌面上激光光斑处温度或颜色的变化。
优选地，在所述叠加图像中，能够观察到原始现实图像，以模拟AR效果。具体地，传感现实图像以半透明的方式显现，从而佩戴者能够看到原始现实图像。
若有必要，还包括通知模块：根据佩戴者的指令通知指定的联系人VR眼镜已被非法入侵的消息。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现所述的基于热分布检测的VR设备的安全防护方法的步骤。
根据本发明提供的一种VR眼镜，其特征在于，包括所述的基于热分布检测的VR设备的安全防护的系统，或者包括所述的存储有计算机程序的计算机可读存储介质。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于热分布检测的VR设备的安全防护方法，其特征在于，包括：
原始现实图像获取步骤：VR眼镜通过摄像头获取VR眼镜前方的实时的现实环境的图像，得到原始现实图像；
热特征分布现实图像获取步骤：VR眼镜通过红外成像设备获取VR眼镜前方的实时的现实环境的图像，得到热特征分布现实图像；其中，所述热特征分布现实图像中含有现实环境中相邻现实对象之间的热分布信息；
图形叠加步骤：将原始现实图像与热特征分布现实图像直接或者经过处理后进行实时地叠加，得到叠加图像，其中，所述叠加图像能够观察到所述相邻现实对象之间的热分布信息；
图像输出步骤：将所述叠加图像输出给VR眼镜的显示设备进行显示。
2.根据权利要求1所述的基于热分布检测的VR设备的安全防护方法，其特征在于，
在所述原始现实图像获取步骤中，识别得到相邻现实对象；
在所述热特征分布现实图像获取步骤中，将红外成像设备获取到的现实环境的红外成像图像作为热特征分布现实图像；在特征分布显示图像中，不同温度区间的区域以不同颜色的色块表示；
所述基于热分布检测的VR设备的安全防护方法包括：
相邻热特征分布检测步骤：对所述叠加图像进行检测，将检测到的色块边界与相邻现实对象之间的相邻像素所形成边界重合或者重合率超导设定重复率阈值的色块，提示给佩戴者，或者上传云端给相关管理者。
3.根据权利要求2所述的基于热分布检测的VR设备的安全防护方法，其特征在于，
在所述原始现实图像获取步骤中，识别出现实环境中现实对象相对于佩戴者的距离以及方位，将方位差异、距离差异均在差异阈值之内且图像上像素相邻的现实对象之间认定为相邻现实对象。
4.根据权利要求1所述的基于热分布检测的VR设备的安全防护方法，其特征在于，包括：
传感现实图像获取步骤：VR眼镜通过传感器获取VR眼镜前方的实时的现实环境的图像，得到传感现实图像；其中，所述传感现实图像中含有现实环境中现实对象的物理变化信息；
在图像叠加步骤中，将原始现实图像、热特征分布现实图像以及传感现实图像直接或者经过处理后进行实时地叠加，得到叠加图像，其中，所述叠加图像能够观察到所述现实对象的物理变化信息。
5.一种基于热分布检测的VR设备的安全防护系统，其特征在于，包括：
原始现实图像获取模块：VR眼镜通过摄像头获取VR眼镜前方的实时的现实环境的图像，得到原始现实图像；
热特征分布现实图像获取模块：VR眼镜通过红外成像设备获取VR眼镜前方的实时的现实环境的图像，得到热特征分布现实图像；其中，所述热特征分布现实图像中含有现实环境中相邻现实对象之间的热分布信息；
图形叠加模块：将原始现实图像与热特征分布现实图像直接或者经过处理后进行实时地叠加，得到叠加图像，其中，所述叠加图像能够观察到所述相邻现实对象之间的热分布信息；
图像输出模块：将所述叠加图像输出给VR眼镜的显示设备进行显示。
6.根据权利要求5所述的基于热分布检测的VR设备的安全防护系统，其特征在于，
在所述原始现实图像获取模块中，识别得到相邻现实对象；
在所述热特征分布现实图像获取模块中，将红外成像设备获取到的现实环境的红外成像图像作为热特征分布现实图像；在特征分布显示图像中，不同温度区间的区域以不同颜色的色块表示；
所述基于热分布检测的VR设备的安全防护系统包括：
相邻热特征分布检测模块：对所述叠加图像进行检测，将检测到的色块边界与相邻现实对象之间的相邻像素所形成边界重合或者重合率超导设定重复率阈值的色块，提示给佩戴者，或者上传云端给相关管理者。
7.根据权利要求6所述的基于热分布检测的VR设备的安全防护系统，其特征在于，
在所述原始现实图像获取模块中，识别出现实环境中现实对象相对于佩戴者的距离以及方位，将方位差异、距离差异均在差异阈值之内且图像上像素相邻的现实对象之间认定为相邻现实对象。
8.根据权利要求5所述的基于热分布检测的VR设备的安全防护系统，其特征在于，包括：
传感现实图像获取模块：VR眼镜通过传感器获取VR眼镜前方的实时的现实环境的图像，得到传感现实图像；其中，所述传感现实图像中含有现实环境中现实对象的物理变化信息；
在图像叠加模块中，将原始现实图像、热特征分布现实图像以及传感现实图像直接或者经过处理后进行实时地叠加，得到叠加图像，其中，所述叠加图像能够观察到所述现实对象的物理变化信息。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
10.一种VR眼镜，其特征在于，包括权利要求5-8中任一项所述的基于热分布检测的VR设备的安全防护系统，或者包括权利要求9所述的存储有计算机程序的计算机可读存储介质。
CN202011403003.1A 2020-12-04 2020-12-04 基于热分布检测的vr设备的安全防护方法和系统 Pending CN112532801A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011403003.1A CN112532801A (zh) 2020-12-04 2020-12-04 基于热分布检测的vr设备的安全防护方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011403003.1A CN112532801A (zh) 2020-12-04 2020-12-04 基于热分布检测的vr设备的安全防护方法和系统

Publications (1)

Publication Number Publication Date
CN112532801A true CN112532801A (zh) 2021-03-19

Family

ID=74998384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011403003.1A Pending CN112532801A (zh) 2020-12-04 2020-12-04 基于热分布检测的vr设备的安全防护方法和系统

Country Status (1)

Country Link
CN (1) CN112532801A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100245387A1 (en) * 2005-04-11 2010-09-30 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
CN206892462U (zh) * 2017-05-19 2018-01-16 深圳市帝泰光电有限公司 一种环境无缝增强多模式mr系统
WO2018020661A1 (ja) * 2016-07-29 2018-02-01 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
CN108259827A (zh) * 2018-01-10 2018-07-06 中科创达软件股份有限公司 一种实现安防的方法、装置、ar设备及系统
GB201813612D0 (en) * 2017-09-07 2018-10-03 Motorola Mobility Llc Low power virtual reality presence monitoring and notification
CN109243575A (zh) * 2018-09-17 2019-01-18 华南理工大学 一种基于移动交互和增强现实的虚拟针灸方法及系统
CN110580672A (zh) * 2018-06-07 2019-12-17 刘丹 增强现实热感智能眼镜、显示方法及计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100245387A1 (en) * 2005-04-11 2010-09-30 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
WO2018020661A1 (ja) * 2016-07-29 2018-02-01 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
CN206892462U (zh) * 2017-05-19 2018-01-16 深圳市帝泰光电有限公司 一种环境无缝增强多模式mr系统
GB201813612D0 (en) * 2017-09-07 2018-10-03 Motorola Mobility Llc Low power virtual reality presence monitoring and notification
CN108259827A (zh) * 2018-01-10 2018-07-06 中科创达软件股份有限公司 一种实现安防的方法、装置、ar设备及系统
CN110580672A (zh) * 2018-06-07 2019-12-17 刘丹 增强现实热感智能眼镜、显示方法及计算机存储介质
CN109243575A (zh) * 2018-09-17 2019-01-18 华南理工大学 一种基于移动交互和增强现实的虚拟针灸方法及系统

Similar Documents

Publication Publication Date Title
US11330200B2 (en) Parallax correction using cameras of different modalities
JP5816257B2 (ja) 観察者の視線を追跡するシステム及び方法
JP4181037B2 (ja) 視標追跡システム
JP6293571B2 (ja) 監視方法及びカメラ
US8743051B1 (en) Mirror detection-based device functionality
EP3018903A2 (en) Method and system for projector calibration
TWI610571B (zh) 顯示方法及其系統與電腦可讀取記錄媒體
KR102209745B1 (ko) 광고 및 쇼핑 등 정보를 표시하기 위하여 사용자의 투영 영상 인식을 통한 미러 디스플레이의 정보 표시 장치 및 방법
JP7485070B2 (ja) 熱痕跡領域抽出装置、熱痕跡領域抽出方法及びプログラム
JP2009020614A (ja) 複合現実感システムに用いるマーカユニット、複合現実感システム、マーカユニット作成支援システム、及び、マーカユニット作成支援プログラム
AU2006252382A2 (en) Method and apparatus for displaying properties onto an object or life form
US20230079693A1 (en) Elevated temperature screening systems and methods
KR102183692B1 (ko) 투영 객체 인식을 통한 미러 디스플레이 기반 증강 현실 영상 서비스 장치 및 방법
CN111856751B (zh) 具有低光操作的头戴式显示器
US10485420B2 (en) Eye gaze tracking
CN111563966B (zh) 虚拟内容显示方法、装置、终端设备及存储介质
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
CN112379526B (zh) 具有物理能量发射器的vr眼镜结构
CN112532801A (zh) 基于热分布检测的vr设备的安全防护方法和系统
WO2016063595A1 (ja) 画像処理装置、画像処理方法及びプログラム
CN112446967A (zh) Vr设备的安全防护方法和系统及其vr眼镜
CN112565252A (zh) 基于非接触热特征的vr设备安全防护方法和系统及其vr眼镜
US11081089B2 (en) Flicker-fusion-based image capture privacy control system
CN112465990A (zh) 基于接触热特征的vr设备安全防护方法和系统及其vr眼镜
KR20200076056A (ko) 농연 환경 데이터 시각화 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240227