CN117742546A - 基于悬浮窗的智能家居控制方法及系统 - Google Patents
基于悬浮窗的智能家居控制方法及系统 Download PDFInfo
- Publication number
- CN117742546A CN117742546A CN202311862803.3A CN202311862803A CN117742546A CN 117742546 A CN117742546 A CN 117742546A CN 202311862803 A CN202311862803 A CN 202311862803A CN 117742546 A CN117742546 A CN 117742546A
- Authority
- CN
- China
- Prior art keywords
- current screen
- screen element
- feature map
- element distribution
- floating window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007667 floating Methods 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000004927 fusion Effects 0.000 claims description 74
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 238000003825 pressing Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000012800 visualization Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 2
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
公开了一种基于悬浮窗的智能家居控制方法及系统。其首先响应于用户在悬浮窗中点击待控制的智能家居设备的图标，所述悬浮窗应用通过网络或蓝牙与所述待控制的智能家居设备进行通信，并发送控制指令，接着，响应于用户在所述悬浮窗中长按所述待控制的智能家居设备图标，所述悬浮窗应用弹出控制界面，所述控制界面用于显示所述待控制的智能家居设备的状态和控制选项，最后，响应于用户在所述悬浮窗中滑动关闭按钮，关闭所述悬浮窗，恢复原界面。这样，可以提升智能家居系统的用户友好性和功能性，提升用户的体验感和满意度。
Description
技术领域
本申请涉及智能家居领域，且更为具体地，涉及一种基于悬浮窗的智能家居控制方法及系统。
背景技术
智能家居是指利用物联网、云计算、大数据等技术，将家庭内的各种设备(如空调、电视、灯光等)连接起来，实现远程控制、智能化管理和个性化服务的一种生活方式。随着智能家居的普及和发展，用户对于控制设备的方式和体验提出了更高的要求。
悬浮窗是一种浮动在屏幕上方的小窗口，可以在其他应用程序之上显示，并提供一些常用的功能和快捷操作。悬浮窗可以方便用户在不打开智能家居应用的情况下，通过悬浮窗快速访问和控制智能家居设备，提高用户的操作效率和体验。
然而，现有的悬浮窗应用也存在一些问题，例如：悬浮窗中控制界面的大小和位置可能会遮挡其他应用的内容，而传统的控制方法并不具有自动调节的功能，只能通过人工进行相应地操作，影响了用户的体验。此外，悬浮窗中的控制界面可能无法适应不同的屏幕分辨率和尺寸，可能会导致用户无法清晰地识别智能家居设备，也无法进行相应地控制，降低了用户的满意度。
因此，期望一种优化的基于悬浮窗的智能家居控制方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于悬浮窗的智能家居控制方法及系统，其可以通过自适应调节控制界面的显示参数，提升智能家居系统的用户友好性和功能性，提升用户的体验感和满意度。
根据本申请的一个方面，提供了一种基于悬浮窗的智能家居控制方法，其包括：
在智能手机上安装悬浮窗应用，所述悬浮窗应用用于在所述智能手机的界面上显示可拖动的悬浮按钮；
在所述悬浮窗应用中设置需要控制的多个智能家居设备，并为每个所述智能家居设备设置图标和名称；
响应于用户点击所述悬浮按钮，所述悬浮窗应用弹出悬浮窗，显示所述多个智能家居设备的图标和名称；
其中，响应于用户点击所述悬浮按钮，所述悬浮窗应用弹出悬浮窗，显示所述多个智能家居设备的图标和名称，包括：
响应于用户在所述悬浮窗中点击待控制的所述智能家居设备的图标，所述悬浮窗应用通过网络或蓝牙与所述待控制的智能家居设备进行通信，并发送控制指令；
响应于用户在所述悬浮窗中长按所述待控制的智能家居设备图标，所述悬浮窗应用弹出控制界面，所述控制界面用于显示所述待控制的智能家居设备的状态和控制选项；以及
响应于用户在所述悬浮窗中滑动关闭按钮，关闭所述悬浮窗，恢复原界面。
根据本申请的另一个方面，提供了一种基于悬浮窗的智能家居控制系统，其包括：
悬浮窗应用安装模块，用于在智能手机上安装悬浮窗应用，所述悬浮窗应用用于在所述智能手机的界面上显示可拖动的悬浮按钮；
智能家居设备设置模块，用于在所述悬浮窗应用中设置需要控制的多个智能家居设备，并为每个所述智能家居设备设置图标和名称；
响应显示模块，用于响应于用户点击所述悬浮按钮，所述悬浮窗应用弹出悬浮窗，显示所述多个智能家居设备的图标和名称；其中，所述响应显示模块，包括：
控制指令发送单元，用于响应于用户在所述悬浮窗中点击待控制的所述智能家居设备的图标，所述悬浮窗应用通过网络或蓝牙与所述待控制的智能家居设备进行通信，并发送控制指令；
显示单元，用于响应于用户在所述悬浮窗中长按所述待控制的智能家居设备图标，所述悬浮窗应用弹出控制界面，所述控制界面用于显示所述待控制的智能家居设备的状态和控制选项；以及
悬浮窗关闭单元，用于响应于用户在所述悬浮窗中滑动关闭按钮，关闭所述悬浮窗，恢复原界面。
与现有技术相比，本申请提供的基于悬浮窗的智能家居控制方法及系统，其首先响应于用户在悬浮窗中点击待控制的智能家居设备的图标，所述悬浮窗应用通过网络或蓝牙与所述待控制的智能家居设备进行通信，并发送控制指令，接着，响应于用户在所述悬浮窗中长按所述待控制的智能家居设备图标，所述悬浮窗应用弹出控制界面，所述控制界面用于显示所述待控制的智能家居设备的状态和控制选项，最后，响应于用户在所述悬浮窗中滑动关闭按钮，关闭所述悬浮窗，恢复原界面。这样，可以提升智能家居系统的用户友好性和功能性，提升用户的体验感和满意度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的基于悬浮窗的智能家居控制方法的流程图。
图2为根据本申请实施例的基于悬浮窗的智能家居控制方法的子步骤S130的流程图。
图3为根据本申请实施例的基于悬浮窗的智能家居控制方法的子步骤S132的流程图。
图4为根据本申请实施例的基于悬浮窗的智能家居控制方法的子步骤S1326的流程图。
图5为根据本申请实施例的基于悬浮窗的智能家居控制系统的框图。
图6为根据本申请实施例的基于悬浮窗的智能家居控制方法的应用场景图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
图1为根据本申请实施例的基于悬浮窗的智能家居控制方法的流程图。如图1所示，根据本申请实施例的基于悬浮窗的智能家居控制方法，包括步骤：S110，在智能手机上安装悬浮窗应用，所述悬浮窗应用用于在所述智能手机的界面上显示可拖动的悬浮按钮；S120，在所述悬浮窗应用中设置需要控制的多个智能家居设备，并为每个所述智能家居设备设置图标和名称；S130，响应于用户点击所述悬浮按钮，所述悬浮窗应用弹出悬浮窗，显示所述多个智能家居设备的图标和名称。其中，在步骤S130中，如图2所示，响应于用户点击所述悬浮按钮，所述悬浮窗应用弹出悬浮窗，显示所述多个智能家居设备的图标和名称，包括：S131，响应于用户在所述悬浮窗中点击待控制的所述智能家居设备的图标，所述悬浮窗应用通过网络或蓝牙与所述待控制的智能家居设备进行通信，并发送控制指令；S132，响应于用户在所述悬浮窗中长按所述待控制的智能家居设备图标，所述悬浮窗应用弹出控制界面，所述控制界面用于显示所述待控制的智能家居设备的状态和控制选项；以及，S133，响应于用户在所述悬浮窗中滑动关闭按钮，关闭所述悬浮窗，恢复原界面。
针对上述技术问题，本申请的技术构思为在检测到用户在悬浮窗中长按设备图标的长按信号后，在弹出更详细的控制界面时，截取当前屏幕图像，并在后端引入图像处理和分析算法来进行该当前屏幕图像的视觉分析以生成控制界面的参数(包括大小和位置)，使得控制界面不会遮挡其他应用的内容，也能适应不同的屏幕分辨率和尺寸。这样，能够方便用户在不打开智能家居应用的情况下，通过悬浮窗快速访问和控制智能家居设备，从而提高用户的操作效率和体验，并且，通过自适应调节控制界面的显示参数，能够提升智能家居系统的用户友好性和功能性，提升用户的体验感和满意度。
基于此，如图3所示，在步骤S132中，响应于用户在所述悬浮窗中长按所述待控制的智能家居设备图标，所述悬浮窗应用弹出控制界面，所述控制界面用于显示所述待控制的智能家居设备的状态和控制选项，包括：S1321，响应于检测到设备图标长按信号，通过屏幕截图工具截取所述控制界面的当前屏幕图像；S1322，通过基于深度神经网络模型的屏幕要素浅层特征提取器对所述当前屏幕图像进行特征分析和捕捉以得到当前屏幕要素分布浅层特征图；S1323，将所述当前屏幕要素分布浅层特征图通过基于空间自注意力层的要素空间分布显化器以得到空间显著化当前屏幕要素分布浅层特征图；S1324，将所述空间显著化当前屏幕要素分布浅层特征图通过基于卷积神经网络模型的屏幕要素语义特征提取器以得到当前屏幕要素分布语义特征图；S1325，使用跨模态传输融合模块对所述当前屏幕要素分布语义特征图和所述空间显著化当前屏幕要素分布浅层特征图进行处理以得到语义信息融合当前屏幕要素分布特征图作为所述语义信息融合当前屏幕要素分布特征；以及，S1326，基于所述语义信息融合当前屏幕要素分布特征，确定所述控制界面的显示参数。
具体地，在本申请的技术方案中，首先，响应于检测到设备图标长按信号，通过屏幕截图工具截取当前屏幕图像。接着，使用在图像的隐含特征提取方面具有优异表现性能的基于卷积神经网络模型的屏幕要素浅层特征提取器对所述当前屏幕图像进行特征提取，以提取出所述当前屏幕图像的浅层特征，这些浅层特征可以包括控制界面的边缘、纹理、轮廓和颜色等低级视觉特征，用于描述屏幕中关于控制界面的基本要素，为后续的视觉分析和控制界面的显示参数生成提供基础。
相应地，在步骤S1322中，所述深度神经网络模型为卷积神经网络模型。
然后，考虑到在实际进行控制界面的特征分析和参数控制过程中，为了能够突出屏幕中的要素分布的显著区域，而滤除其余无关的干扰特征信息，以此来提高控制界面中关于关键要素分布特征的关注度和可视化效果，在本申请的技术方案中，进一步将所述当前屏幕要素分布浅层特征图通过基于空间自注意力层的要素空间分布显化器以得到空间显著化当前屏幕要素分布浅层特征图。应可以理解，所述空间自注意力层可以根据像素之间的空间关系，自动学习并分配不同区域的要素分布权重，以突出所述当前屏幕图像中重要区域的要素分布特征信息，这有利于控制界面中关键的要素特征表达和后续的控制界面参数控制。也就是说，通过应用所述空间自注意力机制，该显化器可以识别和强调当前屏幕图像中的关键要素显著区域，使得这些区域在后续的处理和分析中更加突出和重要。
相应地，在步骤S1323中，将所述当前屏幕要素分布浅层特征图通过基于空间自注意力层的要素空间分布显化器以得到空间显著化当前屏幕要素分布浅层特征图，包括：将所述当前屏幕要素分布浅层特征图通过基于空间自注意力层的要素空间分布显化器中使用如下显化公式进行处理以得到所述空间显著化当前屏幕要素分布浅层特征图；其中，所述显化公式为：
Foutput＝ReLU(Conv1×1[Conv3×3(Finput)])
其中，Finput表示所述当前屏幕要素分布浅层特征图，Conv3×3(·)表示使用3×3的卷积核进行卷积处理，Conv1×1[·]表示使用1×1的卷积核进行卷积处理，ReLU(·)表示ReLU函数，Foutput表示所述空间显著化当前屏幕要素分布浅层特征图。
进一步地，为了提取屏幕关键要素的语义信息，以进一步丰富控制界面的特征表示，在本申请的技术方案中，进一步将所述空间显著化当前屏幕要素分布浅层特征图通过基于卷积神经网络模型的屏幕要素语义特征提取器以得到当前屏幕要素分布语义特征图。应可以理解，通过所述基于卷积神经网络模型的屏幕要素语义特征提取器进行特征挖掘，能够提取出当前屏幕要素分布的关闭键语义特征，用于识别出屏幕中的设备、按钮、文本等具有特定语义的元素。这样的特征表示可以更好地反映屏幕中的内容和意义，为后续的控制界面的显示参数的生成和用户交互提供更准确和有意义的信息。
应可以理解，所述当前屏幕要素分布语义特征图和所述空间显著化当前屏幕要素分布浅层特征图分别表示了当前屏幕中的关键要素语义特征信息和空间显著化后的当前屏幕要素分布浅层特征信息。因此，为了能够融合当前屏幕中的重要要素语义和区域浅层特征，以获得更全面和丰富的当前屏幕要素分布特征信息来进行控制界面的显示参数控制，在本申请的技术方案中，使用跨模态传输融合模块对所述当前屏幕要素分布语义特征图和所述空间显著化当前屏幕要素分布浅层特征图进行处理以得到语义信息融合当前屏幕要素分布特征图。应可以理解，所述跨模态传输融合模块是一种用于将不同模态(如当前屏幕要素的语义特征和浅层特征)的信息进行融合的技术，它可以通过学习不同模态中的残差特征信息，以利用不同模态特征之间的关系和权重进行有效的传输和融合。因此，通过所述跨模态传输融合模块的处理，可以将当前屏幕要素的语义特征和浅层特征进行有效地融合，以获得更全面和丰富的当前屏幕要素分布特征，这个特征可以同时包含有关于当前屏幕要素的语义特征信息和空间显著性浅层特征信息，从而更好地反映屏幕中的重要要素和区域。
相应地，在步骤S1325中，使用跨模态传输融合模块对所述当前屏幕要素分布语义特征图和所述空间显著化当前屏幕要素分布浅层特征图进行处理以得到语义信息融合当前屏幕要素分布特征图作为所述语义信息融合当前屏幕要素分布特征，包括：使用跨模态传输融合模块以如下融合公式对所述当前屏幕要素分布语义特征图和所述空间显著化当前屏幕要素分布浅层特征图进行处理以得到所述语义信息融合当前屏幕要素分布特征图；其中，所述融合公式为：
Mask＝Sigmoid(F1-Conv1×1(UpSampling(F2)))
F3＝PMA(F1⊙Mask)
其中，F1是所述当前屏幕要素分布语义特征图，F2是所述空间显著化当前屏幕要素分布浅层特征图，F3是所述语义信息融合当前屏幕要素分布特征图，Sigmoid(·)表示Sigmoid激活函数，UpSampling(·)表示反卷积操作，Conv1×1(·)表示对特征图进行逐点卷积操作，PMA(·)表示注意力机制，⊙表示按位置点乘。
继而，再将所述语义信息融合当前屏幕要素分布特征图通过解码器以得到解码结果，所述解码结果为控制界面的显示参数。也就是说，利用当前屏幕要素分布的浅层特征和语义特征之间的跨模态融合特征信息来进行解码回归，以此来生成控制界面的显示参数(包括大小和位置)，使得控制界面不会遮挡其他应用的内容，也能适应不同的屏幕分辨率和尺寸。
相应地，在步骤S1326中，如图4所示，基于所述语义信息融合当前屏幕要素分布特征，确定所述控制界面的显示参数，包括：S13261，对所述语义信息融合当前屏幕要素分布特征图进行特征分布优化以得到优化语义信息融合当前屏幕要素分布特征图；以及，S13262，将所述优化语义信息融合当前屏幕要素分布特征图通过解码器以得到解码结果，所述解码结果为所述控制界面的显示参数。
特别地，在本申请的技术方案中，所述当前屏幕要素分布浅层特征图表示所述当前屏幕图像的基于卷积神经网络模型的图像语义特征，且所述当前屏幕要素分布浅层特征图的各个特征矩阵遵循所述基于卷积神经网络模型的屏幕要素浅层特征提取器的通道维度分布。进一步地，将所述当前屏幕要素分布浅层特征图通过基于空间自注意力层的要素空间分布显化器以得到空间显著化当前屏幕要素分布浅层特征图，本质上是利用空间自注意力机制对所述当前屏幕要素分布浅层特征图进行空间维度的特征分布显著化。而将所述空间显著化当前屏幕要素分布浅层特征图通过基于卷积神经网络模型的屏幕要素语义特征提取器，是利用进一步的卷积编码来捕捉所述当前屏幕图像中的更为抽象的语义信息，例如结构信息、内容信息等。相应地，使用跨模态传输融合模块对所述当前屏幕要素分布语义特征图和所述空间显著化当前屏幕要素分布浅层特征图进行处理，可使得所述语义信息融合当前屏幕要素分布特征图包含不同深度和不同特征分布密度的图像语义特征。但是这也会使得所述语义信息融合当前屏幕要素分布特征图的各个特征矩阵之间存在特征分布整体性差的问题，从而影响所述语义信息融合当前屏幕要素分布特征图通过基于解码器得到的解码结果的精准度。
因此，本申请的申请人首先对所述语义信息融合当前屏幕要素分布特征图进行线性变换以使得特征矩阵的宽度和高度相等，然后对转换后的语义信息融合当前屏幕要素分布特征图进行基于特征矩阵的优化。
相应地，在一个示例中，在步骤S13261中，对所述语义信息融合当前屏幕要素分布特征图进行特征分布优化以得到优化语义信息融合当前屏幕要素分布特征图，包括：对所述语义信息融合当前屏幕要素分布特征图进行线性变换，以使所述语义信息融合当前屏幕要素分布特征图中沿通道维度的特征矩阵的宽度和高度相等以得到转换后的语义信息融合当前屏幕要素分布特征图；以及，对所述转换后的语义信息融合当前屏幕要素分布特征图中沿通道维度的各个特征矩阵进行基于特征矩阵的优化以得到所述优化语义信息融合当前屏幕要素分布特征图。
其中，对所述语义信息融合当前屏幕要素分布特征图进行线性变换，以使所述语义信息融合当前屏幕要素分布特征图中沿通道维度的特征矩阵的宽度和高度相等以得到转换后的语义信息融合当前屏幕要素分布特征图，包括：以如下线性变换公式对所述语义信息融合当前屏幕要素分布特征图进行线性变换，以使所述语义信息融合当前屏幕要素分布特征图中沿通道维度的特征矩阵的宽度和高度相等以得到所述转换后的语义信息融合当前屏幕要素分布特征图；其中，所述线性变换公式为：
其中，Mi和Mi+1分别是所述语义信息融合当前屏幕要素分布特征图的沿通道方向的第i和第i+1位置的特征矩阵，(·)T表示转置操作，表示矩阵乘法，/>表示矩阵加法，⊙表示按位置点乘，且ε是尺度调节超参数，Mi+1′是所述转换后的语义信息融合当前屏幕要素分布特征图的沿通道方向的第i+1位置的特征矩阵。
这里，通过所述转换后的语义信息融合当前屏幕要素分布特征图的具有通道相邻分布的特征矩阵的递进式结构化嵌入计算，来在高维特征空间内预测所述转换后的语义信息融合当前屏幕要素分布特征图的局部特征分布沿通道的耦合分布方向，从而以分布递进中心为基础来确定基于通道耦合的迭代生成的传递图式表示，以经由细化所述转换后的语义信息融合当前屏幕要素分布特征图整体沿通道维度由下而上的投影规范化提议的方式，来重建所述转换后的语义信息融合当前屏幕要素分布特征图的以特征矩阵的场景布局为基础的上下文关系，从而提升所述转换后的语义信息融合当前屏幕要素分布特征图的特征表示的整体性，以改进其通过基于解码器得到的解码结果的精准度。这样，能够在检测到用户在悬浮窗中长按设备图标的长按信号后，在弹出更详细的控制界面时，对当前屏幕图像进行视觉分析来自动生成控制界面的显示参数，使得控制界面不会遮挡其他应用的内容，也能适应不同的屏幕分辨率和尺寸，通过这样的方式，能够方便用户在不打开智能家居应用的情况下，通过悬浮窗快速访问和控制智能家居设备，从而提高用户的操作效率和体验，并且，通过自适应调节控制界面的显示参数，能够提升智能家居系统的用户友好性和功能性，提升用户的交互体验感和满意度。
进一步地，在步骤S13262中，将所述优化语义信息融合当前屏幕要素分布特征图通过解码器以得到解码结果，所述解码结果为所述控制界面的显示参数，包括：使用所述解码器以如下解码公式对所述优化语义信息融合当前屏幕要素分布特征图进行解码回归以得到所述解码结果；其中，所述解码公式为：
其中，X表示所述优化语义信息融合当前屏幕要素分布特征图，Y表示所述解码结果，W表示权重矩阵，表示矩阵乘法。
综上，基于本申请实施例的基于悬浮窗的智能家居控制方法被阐明，其可以提升智能家居系统的用户友好性和功能性，提升用户的体验感和满意度。
图5为根据本申请实施例的基于悬浮窗的智能家居控制系统100的框图。如图5所示，根据本申请实施例的基于悬浮窗的智能家居控制系统100，包括：悬浮窗应用安装模块110，用于在智能手机上安装悬浮窗应用，所述悬浮窗应用用于在所述智能手机的界面上显示可拖动的悬浮按钮；智能家居设备设置模块120，用于在所述悬浮窗应用中设置需要控制的多个智能家居设备，并为每个所述智能家居设备设置图标和名称；响应显示模块130，用于响应于用户点击所述悬浮按钮，所述悬浮窗应用弹出悬浮窗，显示所述多个智能家居设备的图标和名称。
在一个示例中，在上述基于悬浮窗的智能家居控制系统100中，所述响应显示模块130，包括：控制指令发送单元，用于响应于用户在所述悬浮窗中点击待控制的所述智能家居设备的图标，所述悬浮窗应用通过网络或蓝牙与所述待控制的智能家居设备进行通信，并发送控制指令；显示单元，用于响应于用户在所述悬浮窗中长按所述待控制的智能家居设备图标，所述悬浮窗应用弹出控制界面，所述控制界面用于显示所述待控制的智能家居设备的状态和控制选项；以及，悬浮窗关闭单元，用于响应于用户在所述悬浮窗中滑动关闭按钮，关闭所述悬浮窗，恢复原界面。
在一个示例中，在上述基于悬浮窗的智能家居控制系统100中，所述显示单元，包括：截图子单元，用于响应于检测到设备图标长按信号，通过屏幕截图工具截取所述控制界面的当前屏幕图像；浅层特征提取子单元，用于通过基于深度神经网络模型的屏幕要素浅层特征提取器对所述当前屏幕图像进行特征分析和捕捉以得到当前屏幕要素分布浅层特征图；要素空间分布显化子单元，用于将所述当前屏幕要素分布浅层特征图通过基于空间自注意力层的要素空间分布显化器以得到空间显著化当前屏幕要素分布浅层特征图；语义特征提取子单元，用于将所述空间显著化当前屏幕要素分布浅层特征图通过基于卷积神经网络模型的屏幕要素语义特征提取器以得到当前屏幕要素分布语义特征图；融合子单元，用于使用跨模态传输融合模块对所述当前屏幕要素分布语义特征图和所述空间显著化当前屏幕要素分布浅层特征图进行处理以得到语义信息融合当前屏幕要素分布特征图作为所述语义信息融合当前屏幕要素分布特征；以及，参数确定子单元，用于基于所述语义信息融合当前屏幕要素分布特征，确定所述控制界面的显示参数。
这里，本领域技术人员可以理解，上述基于悬浮窗的智能家居控制系统100中的各个模块的具体功能和操作已经在上面参考图1到图4的基于悬浮窗的智能家居控制方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的基于悬浮窗的智能家居控制系统100可以实现在各种无线终端中，例如具有基于悬浮窗的智能家居控制算法的服务器等。在一个示例中，根据本申请实施例的基于悬浮窗的智能家居控制系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该基于悬浮窗的智能家居控制系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该基于悬浮窗的智能家居控制系统100同样可以是该无线终端的众多硬件模块之一。
替换地，在另一示例中，该基于悬浮窗的智能家居控制系统100与该无线终端也可以是分立的设备，并且该基于悬浮窗的智能家居控制系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。
图6为根据本申请实施例的基于悬浮窗的智能家居控制方法的应用场景图。如图6所示，在该应用场景中，首先，获取控制界面的当前屏幕图像(例如，图6中所示意的D)，然后，将所述当前屏幕图像输入至部署有基于悬浮窗的智能家居控制算法的服务器(例如，图6中所示意的S)中，其中，所述服务器能够使用所述基于悬浮窗的智能家居控制算法对所述当前屏幕图像进行处理以得到控制界面的显示参数。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本申请所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本申请的说明，而不应被认为是对其的限制。尽管描述了本申请的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本申请的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本申请范围内。应当理解，上面是对本申请的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本申请由权利要求书及其等效物限定。
Claims (10)
1.一种基于悬浮窗的智能家居控制方法，其特征在于，包括：
在智能手机上安装悬浮窗应用，所述悬浮窗应用用于在所述智能手机的界面上显示可拖动的悬浮按钮；
在所述悬浮窗应用中设置需要控制的多个智能家居设备，并为每个所述智能家居设备设置图标和名称；
响应于用户点击所述悬浮按钮，所述悬浮窗应用弹出悬浮窗，显示所述多个智能家居设备的图标和名称；
其中，响应于用户点击所述悬浮按钮，所述悬浮窗应用弹出悬浮窗，显示所述多个智能家居设备的图标和名称，包括：
响应于用户在所述悬浮窗中点击待控制的所述智能家居设备的图标，所述悬浮窗应用通过网络或蓝牙与所述待控制的智能家居设备进行通信，并发送控制指令；
响应于用户在所述悬浮窗中长按所述待控制的智能家居设备图标，所述悬浮窗应用弹出控制界面，所述控制界面用于显示所述待控制的智能家居设备的状态和控制选项；以及
响应于用户在所述悬浮窗中滑动关闭按钮，关闭所述悬浮窗，恢复原界面。
2.根据权利要求1所述的基于悬浮窗的智能家居控制方法，其特征在于，响应于用户在所述悬浮窗中长按所述待控制的智能家居设备图标，所述悬浮窗应用弹出控制界面，所述控制界面用于显示所述待控制的智能家居设备的状态和控制选项，包括：
响应于检测到设备图标长按信号，通过屏幕截图工具截取所述控制界面的当前屏幕图像；
通过基于深度神经网络模型的屏幕要素浅层特征提取器对所述当前屏幕图像进行特征分析和捕捉以得到当前屏幕要素分布浅层特征图；
将所述当前屏幕要素分布浅层特征图通过基于空间自注意力层的要素空间分布显化器以得到空间显著化当前屏幕要素分布浅层特征图；
将所述空间显著化当前屏幕要素分布浅层特征图通过基于卷积神经网络模型的屏幕要素语义特征提取器以得到当前屏幕要素分布语义特征图；
使用跨模态传输融合模块对所述当前屏幕要素分布语义特征图和所述空间显著化当前屏幕要素分布浅层特征图进行处理以得到语义信息融合当前屏幕要素分布特征图作为所述语义信息融合当前屏幕要素分布特征；以及
基于所述语义信息融合当前屏幕要素分布特征，确定所述控制界面的显示参数。
3.根据权利要求2所述的基于悬浮窗的智能家居控制方法，其特征在于，所述深度神经网络模型为卷积神经网络模型。
4.根据权利要求3所述的基于悬浮窗的智能家居控制方法，其特征在于，将所述当前屏幕要素分布浅层特征图通过基于空间自注意力层的要素空间分布显化器以得到空间显著化当前屏幕要素分布浅层特征图，包括：
将所述当前屏幕要素分布浅层特征图通过基于空间自注意力层的要素空间分布显化器中使用如下显化公式进行处理以得到所述空间显著化当前屏幕要素分布浅层特征图；
其中，所述显化公式为：
Foutput＝ReLU(Conv1×1[Conv3×3(Finput)])
其中，Finput表示所述当前屏幕要素分布浅层特征图，Conv3×3(·)表示使用3×3的卷积核进行卷积处理，Conv1×1[·]表示使用1×1的卷积核进行卷积处理，ReLU(·)表示ReLU函数，Foutput表示所述空间显著化当前屏幕要素分布浅层特征图。
5.根据权利要求4所述的基于悬浮窗的智能家居控制方法，其特征在于，使用跨模态传输融合模块对所述当前屏幕要素分布语义特征图和所述空间显著化当前屏幕要素分布浅层特征图进行处理以得到语义信息融合当前屏幕要素分布特征图作为所述语义信息融合当前屏幕要素分布特征，包括：
使用跨模态传输融合模块以如下融合公式对所述当前屏幕要素分布语义特征图和所述空间显著化当前屏幕要素分布浅层特征图进行处理以得到所述语义信息融合当前屏幕要素分布特征图；
其中，所述融合公式为：
Mask＝Sigmoid(F1-Conv1×1(UpSampling(F2)))
F3＝PMA(F1⊙Mask)
其中，F1是所述当前屏幕要素分布语义特征图，F2是所述空间显著化当前屏幕要素分布浅层特征图，F3是所述语义信息融合当前屏幕要素分布特征图，Sigmoid(·)表示Sigmoid激活函数，UpSampling(·)表示反卷积操作，Conv1×1(·)表示对特征图进行逐点卷积操作，PMA(·)表示注意力机制，⊙表示按位置点乘。
6.根据权利要求5所述的基于悬浮窗的智能家居控制方法，其特征在于，基于所述语义信息融合当前屏幕要素分布特征，确定所述控制界面的显示参数，包括：
对所述语义信息融合当前屏幕要素分布特征图进行特征分布优化以得到优化语义信息融合当前屏幕要素分布特征图；以及
将所述优化语义信息融合当前屏幕要素分布特征图通过解码器以得到解码结果，所述解码结果为所述控制界面的显示参数。
7.根据权利要求6所述的基于悬浮窗的智能家居控制方法，其特征在于，对所述语义信息融合当前屏幕要素分布特征图进行特征分布优化以得到优化语义信息融合当前屏幕要素分布特征图，包括：
对所述语义信息融合当前屏幕要素分布特征图进行线性变换，以使所述语义信息融合当前屏幕要素分布特征图中沿通道维度的特征矩阵的宽度和高度相等以得到转换后的语义信息融合当前屏幕要素分布特征图；以及
对所述转换后的语义信息融合当前屏幕要素分布特征图中沿通道维度的各个特征矩阵进行基于特征矩阵的优化以得到所述优化语义信息融合当前屏幕要素分布特征图。
8.根据权利要求7所述的基于悬浮窗的智能家居控制方法，其特征在于，将所述优化语义信息融合当前屏幕要素分布特征图通过解码器以得到解码结果，所述解码结果为所述控制界面的显示参数，包括：
使用所述解码器以如下解码公式对所述优化语义信息融合当前屏幕要素分布特征图进行解码回归以得到所述解码结果；
其中，所述解码公式为：
其中，X表示所述优化语义信息融合当前屏幕要素分布特征图，Y表示所述解码结果，W表示权重矩阵，表示矩阵乘法。
9.一种基于悬浮窗的智能家居控制系统，其特征在于，包括：
悬浮窗应用安装模块，用于在智能手机上安装悬浮窗应用，所述悬浮窗应用用于在所述智能手机的界面上显示可拖动的悬浮按钮；
智能家居设备设置模块，用于在所述悬浮窗应用中设置需要控制的多个智能家居设备，并为每个所述智能家居设备设置图标和名称；
响应显示模块，用于响应于用户点击所述悬浮按钮，所述悬浮窗应用弹出悬浮窗，显示所述多个智能家居设备的图标和名称；其中，所述响应显示模块，包括：
控制指令发送单元，用于响应于用户在所述悬浮窗中点击待控制的所述智能家居设备的图标，所述悬浮窗应用通过网络或蓝牙与所述待控制的智能家居设备进行通信，并发送控制指令；
显示单元，用于响应于用户在所述悬浮窗中长按所述待控制的智能家居设备图标，所述悬浮窗应用弹出控制界面，所述控制界面用于显示所述待控制的智能家居设备的状态和控制选项；以及
悬浮窗关闭单元，用于响应于用户在所述悬浮窗中滑动关闭按钮，关闭所述悬浮窗，恢复原界面。
10.根据权利要求9所述的基于悬浮窗的智能家居控制系统，其特征在于，所述显示单元，包括：
截图子单元，用于响应于检测到设备图标长按信号，通过屏幕截图工具截取所述控制界面的当前屏幕图像；
浅层特征提取子单元，用于通过基于深度神经网络模型的屏幕要素浅层特征提取器对所述当前屏幕图像进行特征分析和捕捉以得到当前屏幕要素分布浅层特征图；
要素空间分布显化子单元，用于将所述当前屏幕要素分布浅层特征图通过基于空间自注意力层的要素空间分布显化器以得到空间显著化当前屏幕要素分布浅层特征图；
语义特征提取子单元，用于将所述空间显著化当前屏幕要素分布浅层特征图通过基于卷积神经网络模型的屏幕要素语义特征提取器以得到当前屏幕要素分布语义特征图；
融合子单元，用于使用跨模态传输融合模块对所述当前屏幕要素分布语义特征图和所述空间显著化当前屏幕要素分布浅层特征图进行处理以得到语义信息融合当前屏幕要素分布特征图作为所述语义信息融合当前屏幕要素分布特征；以及
参数确定子单元，用于基于所述语义信息融合当前屏幕要素分布特征，确定所述控制界面的显示参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311862803.3A CN117742546B (zh) | 2023-12-29 | 2023-12-29 | 基于悬浮窗的智能家居控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311862803.3A CN117742546B (zh) | 2023-12-29 | 2023-12-29 | 基于悬浮窗的智能家居控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117742546A true CN117742546A (zh) | 2024-03-22 |
| CN117742546B CN117742546B (zh) | 2024-06-18 |
Family
ID=90279249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311862803.3A Active CN117742546B (zh) | 2023-12-29 | 2023-12-29 | 基于悬浮窗的智能家居控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117742546B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105138217A (zh) * | 2015-07-08 | 2015-12-09 | 广州优蜜移动科技股份有限公司 | 一种用于智能终端的悬浮窗运行方法及系统 |
| US20220093098A1 (en) * | 2020-09-23 | 2022-03-24 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
| WO2022161298A1 (zh) * | 2021-01-29 | 2022-08-04 | 腾讯科技（深圳）有限公司 | 信息生成方法、装置、设备、存储介质及程序产品 |
| US20230053588A1 (en) * | 2021-08-12 | 2023-02-23 | Adobe Inc. | Generating synthesized digital images utilizing a multi-resolution generator neural network |
| CN116258850A (zh) * | 2022-12-12 | 2023-06-13 | 浙江大华技术股份有限公司 | 图像语义分割方法、电子设备以及计算机可读存储介质 |
| CN116385265A (zh) * | 2023-04-06 | 2023-07-04 | 北京交通大学 | 一种图像超分辨率网络的训练方法及装置 |
| CN117197878A (zh) * | 2023-11-07 | 2023-12-08 | 中影年年(北京)文化传媒有限公司 | 基于机器学习的人物面部表情捕捉方法及系统 |
-
2023
- 2023-12-29 CN CN202311862803.3A patent/CN117742546B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105138217A (zh) * | 2015-07-08 | 2015-12-09 | 广州优蜜移动科技股份有限公司 | 一种用于智能终端的悬浮窗运行方法及系统 |
| US20220093098A1 (en) * | 2020-09-23 | 2022-03-24 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
| WO2022161298A1 (zh) * | 2021-01-29 | 2022-08-04 | 腾讯科技（深圳）有限公司 | 信息生成方法、装置、设备、存储介质及程序产品 |
| US20230053588A1 (en) * | 2021-08-12 | 2023-02-23 | Adobe Inc. | Generating synthesized digital images utilizing a multi-resolution generator neural network |
| CN116258850A (zh) * | 2022-12-12 | 2023-06-13 | 浙江大华技术股份有限公司 | 图像语义分割方法、电子设备以及计算机可读存储介质 |
| CN116385265A (zh) * | 2023-04-06 | 2023-07-04 | 北京交通大学 | 一种图像超分辨率网络的训练方法及装置 |
| CN117197878A (zh) * | 2023-11-07 | 2023-12-08 | 中影年年(北京)文化传媒有限公司 | 基于机器学习的人物面部表情捕捉方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 董萍;: "基于Android的智能家居控制系统的设计与实现", 河北北方学院学报(自然科学版), no. 07, 28 July 2017 (2017-07-28), pages 24 - 28 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117742546B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6681342B2 (ja) | 行動イベント計測システム及び関連する方法 | |
| CN108229485B (zh) | 用于测试用户界面的方法和装置 | |
| EP3843004A1 (en) | Portrait segmentation method, model training method and electronic device | |
| US10088969B2 (en) | Image-based automation systems and methods | |
| CN109800153A (zh) | 移动应用测试方法与装置、电子设备、存储介质 | |
| JP2021532434A (ja) | 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体 | |
| EP3690644A1 (en) | Electronic device and operation method therefor | |
| WO2024051609A1 (zh) | 广告创意数据选取方法及装置、模型训练方法及装置、设备、存储介质 | |
| CN112131121B (zh) | 用户界面的模糊检测方法、装置、电子设备和存储介质 | |
| CN109783360A (zh) | 操作系统对比测试方法与装置、电子设备、存储介质 | |
| CN112308143A (zh) | 一种基于多样性的样本筛选方法、系统、设备及介质 | |
| CN110275820B (zh) | 页面兼容性测试方法、系统及设备 | |
| CN116229188B (zh) | 图像处理显示方法、分类模型的生成方法及其设备 | |
| CN117742546B (zh) | 基于悬浮窗的智能家居控制方法及系统 | |
| CN111866254B (zh) | 一种智能识别划词的快速拨号系统及其实施方法 | |
| CN113963186A (zh) | 目标检测模型的训练方法、目标检测方法及相关装置 | |
| CN103227810B (zh) | 一种在网络监控中识别远程桌面语义的方法、装置和系统 | |
| US11941774B2 (en) | Machine learning artificial intelligence system for producing 360 virtual representation of an object | |
| WO2019214019A1 (zh) | 基于卷积神经网络的网络教学方法以及装置 | |
| CN115690514A (zh) | 图像识别方法及相关设备 | |
| CN115294648A (zh) | 一种人机手势交互方法、装置、移动终端及存储介质 | |
| CN114333056A (zh) | 一种手势控制的方法、系统、设备及存储介质 | |
| CN114510591B (zh) | 数字图像生成排版系统和方法 | |
| CN115695635B (zh) | 操作提示方法、存储介质及电子设备 | |
| US20240153241A1 (en) | Classification device, classification method, and classification program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |