CN114520902A - 一种基于隐私保护的智能家居投影方法与系统 - Google Patents
一种基于隐私保护的智能家居投影方法与系统 Download PDFInfo
- Publication number
- CN114520902A CN114520902A CN202111621317.3A CN202111621317A CN114520902A CN 114520902 A CN114520902 A CN 114520902A CN 202111621317 A CN202111621317 A CN 202111621317A CN 114520902 A CN114520902 A CN 114520902A
- Authority
- CN
- China
- Prior art keywords
- projection
- image
- model
- projector
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 22
- 230000000694 effects Effects 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000012163 sequencing technique Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000013136 deep learning model Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000000739 chaotic effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000002310 reflectometry Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000001788 irregular Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 230000004807 localization Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M13/00—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles
- F16M13/02—Other supports for positioning apparatus or articles; Means for steadying hand-held apparatus or articles for supporting on, or attaching to, an object, e.g. tree, gate, window-frame, cycle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/001—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using chaotic signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4408—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream encryption, e.g. re-encrypting a decrypted video stream for redistribution in a home network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3188—Scale or resolution adjustment
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Mechanical Engineering (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请提供一种基于隐私保护的智能家居投影的方法和系统，包括：摄像头采集用户图像数据，采用数字图像加密算法对图像进行加密传输到服务器；服务器对图像进行预处理，利用人体识别定位模型和空白面识别模型计算人和空白面的数据；用户向服务器发送播放内容；服务器根据内容结合两个模型的计算结果对空白面进行排序，选择最优投影面；投影仪根据所选投影面调整参数来达到最佳投影效果；服务器从主服务器下载最新的模型，利用本地的图像数据计算和训练，把训练参数返回主服务器，主服务器整合所有服务器的返回参数来调整更新模型。本发明实现了可移动的智能投影，突破了传统投影仪固定位置的限制，扩大了投影仪的应用场景。
Description
技术领域
本发明涉及智能设备技术领域，尤其涉及一种基于隐私保护的智能家居投影方法与系统。
背景技术
随着机器学习技术的飞速发展，5G技术的逐渐成熟以及物联网技术的兴起，传统的家居电器逐渐演化迭代为智能家居设备。智能家居设备可以通过各种计算机终端，例如手机，电脑等进行控制，为用户提供便捷的信息交互功能。机器学习和人工智能技术的发展进一步提高了智能家居设备的智能性，为广大用户提供更加人性化，简单易用和更加多样化的功能。投影仪是一种将与之连接的计算机设备发送的图像信号播放投射到幕布的设备，广泛应用家庭影院，会议室和影院。 目前的投影仪使用时大多数固定悬挂于某一个点，只能在单一的场景使用，比较单调且不够方便。现代人的生活节奏越来越快，工作学习和生活越来越忙碌，碎片化时间的有效利用成了值得探讨的话题。例如，有的人想要在做家务的同时看视频和小说，有的人想要在家里随处看到想要背诵记忆的知识点，有的人不希望暂停球赛的播放去喝水吃饭上厕所等等。但是由于电视机和传统投影仪是固定的，不方便在走动时观看，手机等移动设备需要手持，很难与家务活动同时进行。因此，需要一种可移动的，可自主调整位置和投影大小的智能家居投影仪来解决以上问题。
发明内容
本发明提供了一种基于隐私保护的智能家居投影方法与系统，主要包括： 投影仪通过摄像头扫描室内环境，追踪人的位置，随着人的位置变动而移动，并对室内敏感隐私信息进行数据隐私加密，从室内环境寻找可投影平面，提供投影内容列表，根据选择的投影内容自动选择最佳投影平面，根据投影平面的情况自动调整投影的色调参数，根据投影的内容和平面自动调整投影的角度和大小。 进一步可选地，所述扫描室内环境，追踪人的位置，随着人的位置变动而移动包括： 投影仪结合可移动可改变形状弯曲的滑动轨道使用；投影仪放置于预先安装在室内各个墙壁的滑动轨道上，通过摄像头对室内环境进行扫描；通过图像处理和人体识别定位模型识别出图片中的人及其相对位置，再计算当前人与滑动轨道距离最短的一个点，投影仪随着人的移动自动实时调整位置，滑动到该点。 进一步可选地，所述对室内敏感隐私信息进行数据隐私加密，包括： 基于Logistic混沌映射的数字图像加密算法在采集后对图片加密，服务器接收后，输入解密秘钥对数据逆向运算得到解密图像，然后对解密后的图像进行人体识别定位，把结果返回投影仪。 进一步可选地，所述扫描室内环境还包括：
将摄像头采集的图像样本进行预处理；先对摄像头采集的彩色图片进行灰度化处理，减少需要处理的数据量；其次，对图像进行几何变换，通过平移，缩放，旋转等变换来校正由于图像采集系统和仪器造成的误差，包括成像角度，镜头和精度，再进行灰度插值；最后，进行图像增强，改善图像的质量，丰富信息量，加强图像判断和识别的效果。 进一步可选地，所述追踪人的位置，还包括：建立人体识别定位模型，收集人在各种室内环境的图像数据，经过图片预处理，提取人体姿势特征向量，人体标签识别分类和判断，训练人体识别定位深度学习模型；判断当下室内的是否有人，人数多少和投影仪与人的距离；
还包括：人体识别定位模型的使用和更新，出于对用户敏感和隐私信息的保护，摄像头采集的图像不直接上传到企业的主服务器，而采用联邦学习框架来对模型进行训练，预测判断和更新；用户端从主服务器下载最新的人体识别定位模型，然后用户端服务器利用本地的用户的图像数据来进行预测计算和模型训练；用户端把需要更新的参数返回给主服务器，主服务器聚合各服务器返回的参数，更新人体识别定位模型，再把更新后的模型反馈给用户端的服务器。 投影仪根据人的位置移动调整，服务器端把摄像头采集的图片经过人体识别定位模型计算后的结果返回投影仪，投影仪根据计算结果移动自动实时调整自己的位置，使得自身与人保持平均最近的距离。 进一步可选地，所述从周围环境寻找可投影平面包括： 从摄像头采集的图像中识别可投影的平面，在经过预处理的图像输入空白面识别模型，识别出人周围环境可供投影的平面； 主要还包括：建立空白面识别模型；采集大量室内环境图片，进行预处理后，训练空白面识别深度学习模型；首先进行图像分割，将图像按照图中物体轮廓划分为不规则的区域；然后，提取特征，将不同区域的位置，大小，形状，颜色，方向，角度，反射性作为特征向量，将是否是空白面作为标记值，训练空白面识别模型；比对不同照片中标记的空白面，聚合空白面的各项参数，标注整理不同照片中的同一个空白面，计算出所有空白面的具体数量；通过空白面识别及比对，能够得到投影仪摄像头范围内所有空白面的数量和参数。 接下去，识别可投影的墙面；为了保护用户居家环境的隐私，采用横向联邦学习的方法来训练和更新空白面识别模型；服务器从主服务器下载最新的空白面识别模型，输入采集图像，判断并统计室内所有的可投影空白面，对室内的空白面分布情况建立一个模型；用户端把模型在本地训练后的参数返回给主服务器，主服务器聚合各用户服务器返回的参数，更新人体识别定位模型，再把更新后的模型反馈给用户端的服务器。
进一步可选地，所述从室内环境寻找可投影平面，还包括：
对所有可投影平面进行排序； 根据空白面的大小，颜色，位置参数，对所有的空白面进行初始的评估和排序，排第一位的空白面作为默认的播放面；服务器端将投影平面数据返回给投影仪，投影仪根据投影平面的排序自动调整投影的角度和方向，确保投影位置处于人的附近和视线范围内。
进一步的，用户在终端设备选择投影内容列表，通过服务器向投影仪发送投影指令；用户可通过手机端的应用程序发送投影内容播放指令给服务器，服务器按指令投影仪来进行播放。 进一步可选地，所述根据选择的投影内容自动选择最佳投影平面包括： 根据空白面的数据，结合人体识别定位模型返回的数据以及播放文件的不同，用户服务器对所有空白面再次进行排序，排第一位的平面将会选择为投影平面。排序是实时调整的，当人的位置移动或者播放内容改变时，排序将随之而改变，投影面也随之切换。例如：用户在播放视频，选择了面前的大范围墙面；当他走到房间另一端，并且播放电子书文本时，则选择他身侧的小面积墙面。 进一步可选地，所述根据投影平面的情况自动调整投影的色调等参数包括： 投影仪根据投影平面的色调，反射强度，环境的亮度等等情况自动调整投影的色调和亮度；由于投影的空白面自带的颜色各不相同，反射强度不一以及环境光线强弱的变化，投影仪自动调整投影的色调和亮度。 进一步可选地，所述根据投影的内容和平面自动调整投影的角度和大小包括： 投影仪结合投影角度，投影平面的面积大小，投影内容实时调整投影的角度和投影光圈的大小；通过投影的效果图像与原图像的比对，确定最佳的投影角度和大小，包括：首先根据空白面的大小初步设置投影范围的大小，然后测试投影效果，是否有物品遮挡，图像是否变形扭曲，调整角度和大小。
本发明实施例提供的技术方案可以包括以下有益效果：
1.本发明突破电视机和手机等传统显示屏限制，无需手持电子设备或者坐在电视机前，就能随时随地观看视频和阅读文字，高效利用碎片化时间。
2.本发明突破了传统投影仪的局限，无需固定于某一点在固定的角度和平面上投影，人工设置投影参数，而是可以灵活的选择投影位置，并且自动设置最佳投影效果。
3.本发明解决了投影仪的数据安全和隐私保护问题，在为用户提供便利的同时，保护用户的家庭和个人隐私信息不被泄露。
4.本发明通过深度学习神经网络模型使投影仪更加智能化，用户体验越来越方便，扩大了投影仪的使用功能和应用场景。 【附图说明】 图1为本发明的一种基于隐私保护的智能家居投影方法与系统实施例的结构图。 图2为本发明的一种基于隐私保护的智能家居投影方法与系统另一个实施例的结构图。 【具体实施方式】 为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。 图1为本发明的一种基于隐私保护的智能家居投影方法与系统结构图。如图1所示，本实施例一种基于隐私保护的智能家居投影方法与系统具体可以包括： 步骤101，投影仪摄像采集图像，图像加密传输到服务器。服务器对图像进行预处理，分别输入人体识别定位模型和空白面识别定位模型计算图像中人和空白面的数据。具体步骤包括：
首先，由于摄像头采集的图像往往包含用户的个人隐私信息，所以在投影仪传输图片到服务器进行处理时，需要对图像进行加密。通过基于Logistic混沌映射的数字图像加密算法在采集后对图片加密，服务器接收后，输入解密秘钥对数据逆向运算得到解密图像。然后对解密后的图像进行人体识别定位，把结果返回投影仪。
其次，对摄像头采集的彩色图片进行灰度化处理，减少需要处理的数据量；其次，对图像进行几何变换，通过平移，缩放，旋转等变换来校正由于图像采集系统和仪器造成的误差（成像角度，镜头，精度等等），再进行灰度插值；最后，进行图像增强，这一步增强图像中的有效信息，强调相关特征，有利于改善图像的质量，丰富信息量，加强图像判断和识别的效果。
然后，服务器从主服务器下载最新的人体识别定位模型和空白面识别模型，对预处理后的图像进行计算和识别，得出结果包括人数，人的位置，空白面的大小，颜色，反射度，角度等等参数。
步骤102，根据人体定位识别结果移动调整投影仪的位置。服务器端把摄像头采集的图片经过人体识别定位模型计算后的结果返回投影仪，投影仪根据计算结果移动自动实时调整自己的位置，使得自身与人保持平均最近的距离。例如，当人位于房间的一侧时，投影仪位于轨道上距离人最近的一点；当人移动到另一端时，投影仪通过摄像头捕捉人的位置，再次调整位置，移动到最近点。当房间里有多个人时，则计算距离每一个人的平均最短距离和对应的点，并且移动到该点。
步骤103，对所有空白面进行排序。服务器端把摄像头采集的图片经过空白面识别模型计算后的结果，结合人体识别定位模型计算的结果，根据空白面的大小，颜色，位置等参数和人的位置，对所有的空白面进行初始的评估和排序，排第一位的空白面作为默认的播放面。例如：在房间内有数个空白面，材质包括墙面，玻璃面，地砖，柜面等等，根据各项指标，墙面会被优先选择，而其中面积最大，白色光滑的墙面被排第一，设为默认投影面。
步骤104，用户选择投影内容。用户通过移动端或者个人电脑的应用程序与服务器建立通信连接，向服务器发送播放的指令和播放内容的列表，然后服务器再向投影仪发出投影指令。例如，用户可以选择各种多媒体文件，视频，音频，文本等等，通过服务器来控制投影仪播放。 步骤105，根据选择的投影内容自动选择最佳投影平面 。根据空白面的数据，结合人体识别定位模型返回的数据以及播放文件的不同，用户服务器对所有空白面再次进行排序，排第一位的平面将会选择为投影平面。排序是实时调整的，当人的位置移动或者播放内容改变时，排序将随之而改变，投影面也随之切换。例如：用户在播放视频，选择了面前的大范围墙面；当他走到房间另一端，并且播放电子书文本时，则选择他身侧的小面积墙面。 步骤106，根据投影平面的情况自动调整投影的色调等参数，并且根据投影的内容和平面自动调整投影的角度和大小 。具体步骤包括：
投影仪根据投影平面的色调，反射强度，环境的亮度等等情况自动调整投影的色调和亮度。由于投影的空白面自带的颜色各不相同，反射强度不一以及环境光线强弱的变化，投影仪需要自动调整投影的色调和亮度。例如：当投影仪分别在浅灰色和浅黄色的墙面投影同样的内容，需要调整投影色调和亮度，才能达到同样或者接近的投影效果；当分别在上午和下午在房间里投影时，根据光线的强弱调整亮度。 由于投影平面的复杂多样，投影的内容往往有扭曲变形的现象。所以投影仪需要结合投影角度，投影平面的面积大小，投影内容实时调整投影的角度和投影光圈的大小。通过投影的效果图像与原图像的比对，确定最佳的投影角度和大小。首先根据空白面的大小初步设置投影范围的大小，然后测试投影效果，是否有物品遮挡，图像是否变形扭曲等等。例如，投影时摄像头检测到投影范围内有悬挂物，投影仪则移动位置或者转动角度，和缩小投影范围，使投影图像保持完整和良好的效果。
步骤107，模型的训练与更新。用户端服务器向主服务器传递人体识别定位模型和空白面识别模型训练参数，主服务器聚合各服务器返回的参数，更新人体识别定位模型，再把更新后的模型反馈给用户端的服务器。步骤包括：
建立空白面识别模型。采集大量开源的室内环境图片，进行预处理后，训练空白面识别深度学习模型。首先进行图像分割，将图像按照图中物体轮廓划分为不规则的区域。然后，提取特征，将不同区域的位置，大小，形状，颜色，方向，角度，反射性作为特征向量，将是否是空白面作为标记值，训练空白面识别模型。接下来，比对不同照片中标记的空白面，聚合空白面的各项参数，标注整理不同照片中的同一个空白面，计算出所有空白面的具体数量。通过空白面识别及比对，能够得到投影仪摄像头范围内所有空白面的数量和参数。
建立人体识别定位模型。收集人在各种室内环境的图像数据，经过图片预处理，提取人体姿势特征向量，人体标签识别分类和判断，训练人体识别定位深度学习模型。
人体识别定位模型和空白面识别模型的使用和更新出于对用户敏感和隐私信息的保护，摄像头采集的图像不直接上传到企业的主服务器，而是采用联邦学习框架来对模型进行训练，预测判断和更新。用户端从主服务器下载最新的模型，然后用户端服务器利用本地的用户的图像数据来进行预测计算和模型训练。用户端把需要更新的参数返回给主服务器，主服务器聚合各服务器返回的参数，更新人体识别定位模型，再把更新后的模型反馈给用户端的服务器。 以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于隐私保护的智能家居投影方法，其特征在于，所述方法包括：
投影仪通过摄像头扫描室内环境，并使用数字图像加密算法对室内敏感隐私信息进行数据隐私加密传输到服务器，将摄像头采集的图像样本进行预处理，结合计算机视觉和图像处理技术，通过深度学习框架训练人体识别定位神经网络模型，追踪人的位置，结合可移动可改变形状弯曲的滑动轨道，随着人的位置变动而移动，通过深度学习框架训练空白面识别神经网络模型，从室内环境寻找可投影平面，根据用户提供投影内容列表，通过智能排序算法自动选择最佳投影平面，根据投影平面的数据自动调整投影的色调，亮度，对比度等参数，根据投影的内容和投影平面的角度自动调整投影的角度和投影范围大小。
2.根据权利要求1所述的方法，其中，所述扫描室内环境，追踪人的位置，结合可移动可改变形状弯曲的滑动轨道，随着人的位置变动而移动，包括：
所述投影仪放置于预先安装在室内各个墙壁的滑动轨道上，通过摄像头对室内环境进行扫描；通过图像处理和人体识别定位模型识别出图片中的人及其相对位置，再计算当前人与滑动轨道距离最短的一个点，投影仪随着人的移动自动实时调整位置，滑动到该点。
3.根据权利要求1所述的方法，其中，所述使用图像加密算法对室内敏感隐私信息进行数据隐私加密传输到服务器，包括：
基于Logistic混沌映射的数字图像加密算法在采集后对图片加密，服务器接收后，输入解密秘钥对数据逆向运算得到解密图像，然后对解密后的图像进行人体识别定位，把结果返回投影仪。
4.根据权利要求1所述的方法，其中，所述将摄像头采集的图像样本进行预处理，包括：
先对摄像头采集的彩色图片进行灰度化处理，减少需要处理的数据量；其次，对图像进行几何变换，通过平移，缩放，旋转等变换来校正由于图像采集系统和仪器造成的误差，包括成像角度，镜头和精度，再进行灰度插值；最后，进行图像增强，改善图像的质量，丰富信息量，加强图像判断和识别的效果。
5.根据权利要求1所述的方法，其中，结合计算机视觉和图像处理技术，通过深度学习框架训练人体识别定位神经网络模型，包括：
建立人体识别定位模型，收集人在各种室内环境的图像数据，经过图片预处理，提取人体姿势特征向量，人体标签识别分类和判断，训练人体识别定位深度学习模型；利用模型判断当下室内的是否有人，人数多少和投影仪与人的距离；
还包括：人体识别定位模型的使用和更新，出于对用户敏感和隐私信息的保护，摄像头采集的图像不直接上传到企业的主服务器，而采用联邦学习框架来对模型进行训练，预测判断和更新；用户端从主服务器下载最新的人体识别定位模型，然后用户端服务器利用本地的用户的图像数据来进行预测计算和模型训练；用户端把需要更新的参数返回给主服务器，主服务器聚合各服务器返回的参数，更新人体识别定位模型，再把更新后的模型反馈给用户端的服务器。
投影仪根据人的位置移动调整，服务器端把摄像头采集的图片经过人体识别定位模型计算后的结果返回投影仪，投影仪根据计算结果移动，自动实时调整自己的位置，使得自身与人保持平均最近的距离。
6.根据权利要求1所述的方法，其中，所述通过深度学习框架训练空白面识别神经网络模型，从室内环境寻找可投影平面，包括：
从摄像头采集的图像中识别可投影的平面，在经过预处理的图像输入空白面识别模型，识别出人周围环境可供投影的平面；
主要还包括：建立空白面识别模型；采集大量室内环境图片，进行预处理后，训练空白面识别深度学习模型；首先进行图像分割，将图像按照图中物体轮廓划分为不规则的区域；然后，提取特征，将不同区域的位置，大小，形状，颜色，方向，角度，反射性作为特征向量，将是否是空白面作为标记值，训练空白面识别模型；比对不同照片中标记的空白面，聚合空白面的各项参数，标注整理不同照片中的同一个空白面，计算出所有空白面的具体数量；通过空白面识别及比对，能够得到投影仪摄像头范围内所有空白面的数量和参数。
接下去，识别可投影的墙面；为了保护用户居家环境的隐私，采用横向联邦学习的方法来训练和更新空白面识别模型；服务器从主服务器下载最新的空白面识别模型，输入采集图像，判断并统计室内所有的可投影空白面，对室内的空白面分布情况建立一个模型；用户端把模型在本地训练后的参数返回给主服务器，主服务器聚合各用户服务器返回的参数，更新人体识别定位模型，再把更新后的模型反馈给用户端的服务器。
7.根据权利要求1所述的方法，其中，所述根据用户提供投影内容列表，智能排序算法自动选择最佳投影平面，包括：
对所有可投影平面进行排序，根据选择的投影内容自动选择最佳投影平面；
根据空白面的大小，颜色，位置参数，对所有的空白面进行初始的评估和排序，排第一位的空白面作为默认的播放面；服务器端将投影平面数据返回给投影仪，投影仪根据投影平面的排序自动调整投影的角度和方向，确保投影位置处于人的附近和视线范围内；
进一步的，用户在终端设备选择投影内容列表，通过服务器向投影仪发送投影指令；用户可通过手机端的应用程序发送投影内容播放指令给服务器，服务器按指令投影仪来进行播放；根据空白面的数据，结合人体识别定位模型返回的数据以及播放文件的不同，用户服务器对所有空白面再次进行排序，排第一位的平面将会选择为投影平面。排序是实时调整的，当人的位置移动或者播放内容改变时，排序将随之而改变，投影面也随之切换。
8.根据权利要求1所述的方法，其中，所述根据投影平面的数据自动调整投影的色调，亮度，对比度等参数，包括：
投影仪根据投影平面的色调，反射强度，环境的亮度等等情况自动调整投影的色调和亮度；由于投影的空白面自带的颜色各不相同，反射强度不一以及环境光线强弱的变化，投影仪自动调整投影的色调和亮度。
9.根据权利要求1所述的方法，其中，所述根据投影的内容和平面自动调整投影的角度和大小，包括：
投影仪结合投影角度，投影平面的面积大小，投影内容实时调整投影的角度和投影光圈的大小；通过投影的效果图像与原图像的比对，确定最佳的投影角度和大小，包括：首先根据空白面的大小初步设置投影范围的大小，然后测试投影效果，是否有物品遮挡，图像是否变形扭曲，调整角度和大小。
10.一种基于隐私保护的智能家居投影系统，其特征在于，所述系统，包括：
图像加密模块：基于Logistic混沌映射的数字图像加密算法对采集图片加密；
图像预处理模块：将摄像头采集的图像样本进行预处理；
人体识别定位模块：将预处理后的图片进行计算，识别出图片中的人数和位置；
空白面识别模块：将预处理后的图片进行计算，识别图片中可投影的空白面及其颜色，大小等属性；
投影计算模块：根据人体识别定位模型的数据来计算投影仪下一步的移动位置；
投影内容选择模块：为用户提供播放内容选择的可视化应用程序；
投影面选择模块：根据人的定位，空白面数据和播放内容进行空白面的排序和投影面的选择；
投影参数调整模块：根据选择的投影面的数据调整投影仪的色调，角度，大小等播放参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111621317.3A CN114520902B (zh) | 2021-12-28 | 2021-12-28 | 一种基于隐私保护的智能家居投影方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111621317.3A CN114520902B (zh) | 2021-12-28 | 2021-12-28 | 一种基于隐私保护的智能家居投影方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114520902A true CN114520902A (zh) | 2022-05-20 |
| CN114520902B CN114520902B (zh) | 2023-04-25 |
Family
ID=81596747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111621317.3A Active CN114520902B (zh) | 2021-12-28 | 2021-12-28 | 一种基于隐私保护的智能家居投影方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114520902B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115060665A (zh) * | 2022-08-16 | 2022-09-16 | 君华高科集团有限公司 | 一种食品安全自动巡检系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040036717A1 (en) * | 2002-08-23 | 2004-02-26 | International Business Machines Corporation | Method and system for a user-following interface |
| WO2009054709A2 (en) * | 2007-10-22 | 2009-04-30 | Uab 'geola Digital' | Method for spatial images stream's observation and system implementing thereof |
| CN102497563A (zh) * | 2011-12-02 | 2012-06-13 | 深圳超多维光电子有限公司 | 跟踪式裸眼立体显示控制方法、显示控制装置和显示系统 |
| US20140039677A1 (en) * | 2012-08-03 | 2014-02-06 | Toyota Motor Engineering & Manufacturing North America, Inc. | Robots Comprising Projectors For Projecting Images On Identified Projection Surfaces |
| US9374554B1 (en) * | 2014-03-25 | 2016-06-21 | Amazon Technologies, Inc. | Display selection for video conferencing |
| US20180288380A1 (en) * | 2017-03-29 | 2018-10-04 | Giuseppe Raffa | Context aware projection |
| US20200059633A1 (en) * | 2018-08-17 | 2020-02-20 | Dana Comradd | Method and system for employing depth perception to alter projected images on various surfaces |
| JP2020036120A (ja) * | 2018-08-28 | 2020-03-05 | 株式会社Ｎｔｔドコモ | 投影装置 |
-
2021
- 2021-12-28 CN CN202111621317.3A patent/CN114520902B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040036717A1 (en) * | 2002-08-23 | 2004-02-26 | International Business Machines Corporation | Method and system for a user-following interface |
| WO2009054709A2 (en) * | 2007-10-22 | 2009-04-30 | Uab 'geola Digital' | Method for spatial images stream's observation and system implementing thereof |
| CN102497563A (zh) * | 2011-12-02 | 2012-06-13 | 深圳超多维光电子有限公司 | 跟踪式裸眼立体显示控制方法、显示控制装置和显示系统 |
| US20140039677A1 (en) * | 2012-08-03 | 2014-02-06 | Toyota Motor Engineering & Manufacturing North America, Inc. | Robots Comprising Projectors For Projecting Images On Identified Projection Surfaces |
| US9374554B1 (en) * | 2014-03-25 | 2016-06-21 | Amazon Technologies, Inc. | Display selection for video conferencing |
| US20180288380A1 (en) * | 2017-03-29 | 2018-10-04 | Giuseppe Raffa | Context aware projection |
| US20200059633A1 (en) * | 2018-08-17 | 2020-02-20 | Dana Comradd | Method and system for employing depth perception to alter projected images on various surfaces |
| JP2020036120A (ja) * | 2018-08-28 | 2020-03-05 | 株式会社Ｎｔｔドコモ | 投影装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115060665A (zh) * | 2022-08-16 | 2022-09-16 | 君华高科集团有限公司 | 一种食品安全自动巡检系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114520902B (zh) | 2023-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111556278B (zh) | 一种视频处理的方法、视频展示的方法、装置及存储介质 | |
| US20230171380A1 (en) | 3d video conferencing | |
| CN106797460B (zh) | 三维视频的重建 | |
| TWI615776B (zh) | 移動物件的虛擬訊息建立方法、搜尋方法與應用系統 | |
| US20190378327A1 (en) | Surround ambient light sensing, processing and adjustment | |
| US9460340B2 (en) | Self-initiated change of appearance for subjects in video and images | |
| WO2023134743A1 (zh) | 调节智能灯光设备的方法、机器人、电子设备、存储介质及计算机程序 | |
| CN105684038A (zh) | 用于替换图像的部分的图像缓存 | |
| US20110273466A1 (en) | View-dependent rendering system with intuitive mixed reality | |
| US20150172634A1 (en) | Dynamic POV Composite 3D Video System | |
| WO2021184952A1 (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
| EP2920683A1 (en) | Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor | |
| CN114003190B (zh) | 一种适应多场景和多设备的增强现实方法和装置 | |
| WO2022227393A1 (zh) | 图像拍摄方法及装置、电子设备和计算机可读存储介质 | |
| US11765332B2 (en) | Virtual 3D communications with participant viewpoint adjustment | |
| CN112581571B (zh) | 虚拟形象模型的控制方法、装置、电子设备及存储介质 | |
| WO2020190547A1 (en) | Intelligent video presentation system | |
| CN114520902B (zh) | 一种基于隐私保护的智能家居投影方法与系统 | |
| CN113259583A (zh) | 一种图像处理方法、装置、终端及存储介质 | |
| TW201823929A (zh) | 移動物件的虛擬訊息遠距管理方法與應用系統 | |
| US20230388109A1 (en) | Generating a secure random number by determining a change in parameters of digital content in subsequent frames via graphics processing circuitry | |
| CN112887601A (zh) | 拍摄方法、装置及电子设备 | |
| CN109842791B (zh) | 一种图像处理方法及装置 | |
| CN114339029B (zh) | 拍摄方法、装置及电子设备 | |
| CN106200915B (zh) | 一种增强现实中目标对象的识别方法、装置及移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |