CN111953848B - 通过情景感知实现应用功能的系统、方法、相关装置及存储介质 - Google Patents

Abstract

本申请实施例提供一种通过情景感知实现应用功能的系统、方法及相关装置，包括第一应用程序、情景感知算法服务模块和相机服务模块，第一应用程序与情景感知算法服务模块通信连接，情景感知算法服务模块与相机服务模块通信连接；情景感知算法服务模块向相机服务模块发送图像数据采集请求；相机服务模块采集用户的原始图像数据，对原始图像数据进行预处理，得到参考图像数据；情景感知算法服务模块调用当前选择的目标算法处理参考图像数据，得到情景感知识别结果；第一应用程序根据情景感知识别结果实现第一应用功能。本申请实施例提高通过情景感知实现应用功能的系统的可移植性和灵活性。

Description

通过情景感知实现应用功能的系统、方法、相关装置及存储 介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种通过情景感知实现应用功能的方法、系统及相关装置。

背景技术

目前利用手机的图像采集功能进行情境感知以实现应用功能的厂商越来越多，多数方案的系统架构是使用专用硬件加软件的方式，如图1A所示，该系统架构包括大核中央处理器(central processing unit，CPU)和集线器(sensor hub)两大互动单元。其中，集线器包括低功耗摄像头和摄像头驱动、智能监控分析服务(always on AI service，AOAIservice)、持续智能监控分析小单元(always on AI tiny，AOAI tiny)等子单元；大核CPU单元主要根据集线器输出的信息进行分析决策以及执行熄屏显示动作，按照检测流程，其包括的各个子单元为智能持续神经网络分析(always on neural network，AONN)、人脸解锁子单元、运动服务子单元、检测单元、智能引擎(artificial intelligence engine，AIEngine)子单元以及智能监控应用(application，APP)子单元。

发明内容

本申请实施例提供了一种通过情景感知实现应用功能的系统、方法及相关装置，以期提高通过情景感知实现应用功能的系统的可移植性和灵活性。

第一方面，本申请实施例提供一种通过情景感知实现应用功能的系统，其特征在于，应用于电子设备，所述电子设备设置有安卓系统，所述通过情景感知以实现应用功能的系统包括第一应用程序、情景感知算法服务模块和相机服务模块，所述第一应用程序与所述情景感知算法服务模块通信连接，所述情景感知算法服务模块与所述相机服务模块通信连接，所述第一应用程序设置于所述电子设备的安卓系统的应用层，所述情景感知算法服务模块设置于所述安卓系统的应用框架层，所述相机服务模块设置于所述安卓系统的硬件抽象层；

所述第一应用程序，用于向情景感知算法服务模块发送检测请求；

所述情景感知算法服务模块，用于接收所述检测请求，向所述相机服务模块发送图像数据采集请求；

所述相机服务模块，用于接收所述图像数据采集请求，采集用户的原始图像数据，对所述原始图像数据进行预处理，得到参考图像数据，并向所述情景感知算法服务模块发送所述参考图像数据；

所述情景感知算法服务模块，用于接收所述参考图像数据，调用当前选择的目标算法，使用推理框架AIBoost执行所述目标算法以处理所述参考图像数据，得到情景感知识别结果，并向所述第一应用程序发送所述情景感知识别结果；

所述第一应用程序，用于接收所述情景感知识别结果，根据所述情景感知识别结果实现第一应用功能。

第二方面，本申请实施例提供一种通过情景感知实现应用功能的方法，通过情景感知实现应用功能的方法，其特征在于，应用于电子设备，所述电子设备设置有安卓系统，所述通过情景感知以实现应用功能的系统包括第一应用程序、情景感知算法服务模块和相机服务模块，所述第一应用程序与所述情景感知算法服务模块通信连接，所述情景感知算法服务模块与所述相机服务模块通信连接，所述第一应用程序设置于所述电子设备的安卓系统的应用层，所述情景感知算法服务模块设置于所述安卓系统的应用框架层，所述相机服务模块设置于所述安卓系统的硬件抽象层；

通过所述第一应用程序向情景感知算法服务模块发送检测请求；

通过所述情景感知算法服务模块接收所述检测请求，向所述相机服务模块发送图像数据采集请求；

通过所述相机服务模块接收所述图像数据采集请求，采集用户的原始图像数据，对所述原始图像数据进行预处理，得到参考图像数据，并向所述情景感知算法服务模块发送所述参考图像数据；

通过所述情景感知算法服务模块接收所述参考图像数据，调用当前选择的目标算法，使用推理框架AIBoost执行所述目标算法以处理所述参考图像数据，得到情景感知识别结果，并向所述第一应用程序发送所述情景感知识别结果；

通过所述第一应用程序接收所述情景感知识别结果，根据所述情景感知识别结果实现第一应用功能。

第三方面，本申请实施例提供一种通过情景感知实现应用功能的装置，应用于电子设备，所述电子设备设置有安卓系统，所述通过情景感知以实现应用功能的系统包括第一应用程序、情景感知算法服务模块和相机服务模块，所述第一应用程序与所述情景感知算法服务模块通信连接，所述情景感知算法服务模块与所述相机服务模块通信连接，所述第一应用程序设置于所述电子设备的安卓系统的应用层，所述情景感知算法服务模块设置于所述安卓系统的应用框架层，所述相机服务模块设置于所述安卓系统的硬件抽象层；所述装置包括处理单元和通信单元，

所述处理单元，用于调用所述第一应用程序通过所述通信单元向情景感知算法服务模块发送检测请求；以及，

调用所述情景感知算法服务模块通过所述通信单元接收所述检测请求，通过所述通信单元向所述相机服务模块发送图像数据采集请求；以及，

调用所述相机服务模块通过所述通信单元接收所述图像数据采集请求，采集用户的原始图像数据，对所述原始图像数据进行预处理，得到参考图像数据，并通过所述通信单元向所述情景感知算法服务模块发送所述参考图像数据；以及，

调用所述情景感知算法服务模块通过所述通信单元接收所述参考图像数据，调用当前选择的目标算法，使用推理框架AIBoost执行所述目标算法以处理所述参考图像数据，得到情景感知识别结果，并通过所述通信单元向所述第一应用程序发送所述情景感知识别结果；以及，

调用所述第一应用程序通过所述通信单元接收所述情景感知识别结果，根据所述情景感知识别结果实现第一应用功能。

第四方面，本申请实施例提供一种测试设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第二方面任一方法中的步骤的指令。

第五方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第二方面任一方法中所描述的部分或全部步骤。

第六方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第二方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出，本申请实施例中，通过情景感知实现应用功能的系统包括第一应用程序、情景感知算法服务模块和相机服务模块，第一应用程序与情景感知算法服务模块通信连接，情景感知算法服务模块与相机服务模块通信连接，第一应用程序设置于电子设备的安卓系统的应用层，情景感知算法服务模块设置于安卓系统的应用框架层，相机服务模块设置于安卓系统的硬件抽象层，且第一应用程序、情景感知算法服务模块和相机服务模块通过数据交互，实现基于情景感知的应用功能，可见，该系统中涉及到的所有模块均设置于安卓系统中，无需专门设置软件模块，能够灵活的移植到不同的安卓设备中，不强依赖硬件，具有普适性，有利于提高通过情景感知实现应用功能的系统的可移植性和灵活性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是现有的实现通过情景感知实现应用功能的系统的系统架构图；

图1B是本申请实施例提供的一种实现基于情景感知的应用功能的电子设备的示意图；

图1C是本申请实施例提供的另一种实现基于情景感知的应用功能的电子设备的示意图；

图1D是本申请实施例提供的一种通过情景感知实现应用功能的安卓系统的架构示意图；

图1E是本申请实施例提供的一种通过情景感知实现应用功能的系统的架构示意图；

图1F是本申请实施例提供的一种通过情景感知实现应用功能的系统的多线程机制示意图；

图2是本申请实施例提供的一种数据传输方法的流程示意图；

图3是本申请实施例提供的一种通过情景感知实现应用功能的装置的功能单元组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的神经网络的相关术语和概念进行介绍。

(1)常开式传感器(Alawys on sensor，AON)

AON是指被设置用于情景感知(即场景识别)的低功耗图像感应器，在具体产品功能的命名方式中，本申请基于情景感知的应用功能又可以被称为AON功能、情景感知功能等，此处不做唯一限定。

(2)RAW图像数据

RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据，它包含未压缩的原始图像数据，可使用支持该格式的软件调整曝光和白平衡。

(3)MIPI RAW图像数据

MiPi RAW是RAW图像数据的一种，是一种原始RAW，没有经过后面补偿等处理的RAW。

(4)相机串行接口解码器(Camera Serial Interface Decoder，CSID)

CSID是负责图像信号处理器ISP与传感器相连接的接口，具体对传感器的原始数据进行处理以得到RAW图像数据。

(5)图像前端IFE

IFE是ISP中的Mipi RAW图像数据单元。

(6)轻量图像前端IFE_lite

IFE_lite是ISP中的一种轻量的IFE接口。

(7)图像处理引擎(Image Process Engine，IPE)

IPE是ISP中的降躁及颜色编码方法YUV后处理处理单元。YUV是编译true-color颜色空间(color space)的种类，Y'UV,YUV,YCbCr，YPbPr等专有名词都可以称为YUV，彼此有重叠。“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。

(8)拜耳工艺段(Bayer Process Segment，BPS)

BPS是ISP中的用于将RAW图像信号转成RGB格式图像信号的处理单元。

(9)视频前端(Video front-end，VFE)

VFE是指摄像头硬件架构中的用于提供实时处理色彩和空间数据的高级图像处理模块。

(10)神经网络处理器(Neural-network Processing Units，NPU)

NPU是为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现手机等电子设备的智能认知等应用，例如：图像美颜，图像识别，人脸识别，语音识别，文本理解等。

目前，利用手机的图像采集功能进行情境感知以实现应用功能的系统架构，一般是使用专用硬件加软件的方式，此种方式强依赖专用硬件，可移植性差，难以满足不同机型的使用需求。

针对上述问题，本申请实施例提供一种通过情景感知实现应用功能的系统、方法及相关装置，下面先对本申请实施例所适配的硬件环境进行详细说明。

请参考图1B，本申请实施例提供了一种电子设备10，该电子设备10包括第一图像传感器100、相机串行接口解码器200、图像信号处理器300、数字信号处理器400，所述图像信号处理器300包括轻量图像前端310和图像前端320，其中，所述第一图像传感器100连接所述相机串行接口解码器200，所述相机串行接口解码器200连接所述图像信号处理器300的所述轻量图像前端310，所述轻量图像前端310连接所述数字信号处理器400；

所述数字信号处理器400用于通过所述相机串行接口解码器200、所述轻量图像前端310 接收来自所述第一图像传感器100采集的第一原始图像数据，以及调用第一图像处理算法对所述第一原始图像数据进行第一预设处理，得到第一参考图像数据，所述图像前端320用于传输所述电子设备10的第二图像传感器500所采集的第二原始图像数据，或者，所述图像前端320用于传输所述第一图像传感器100所采集的所述第一原始图像数据。

其中，所述第二图像传感器500在图1B中通过虚线框表示为可选实现方式。

其中，所述第一原始图像数据和所述第二原始图像数据可以是MIPI RAW图像数据，所述第一参考图像数据可以是YUV图像数据。

其中，所述第一图像处理算法用于通过软件算法的方式实现图像信号处理器等同的数据处理效果，即第一预设处理对应的操作，该第一预设处理包括以下至少一种：自动曝光控制、镜头衰减补偿、提高亮度、黑电平校正、镜头阴影矫正、坏点校正、颜色插值、自动白平衡、颜色校正。需要注意的是，虽然第一图像传感器100通过图像信号处理器300的轻量图像前端310传输第一原始图像数据，但图像信号处理器300并不会对该第一原始图像数据进行进一步处理，图像信号处理器300仅会对通过图像前端320传输的第二原始图像数据或者第一原始数据进行与第一预设处理相同或不同的处理。并且，由于轻量图像前端310只是负责接口输入，并不做其它的事情，所以它的功耗相对于启用图像前端320传输图像数据(此种情况需要启用图像信号处理器300的其他模块进行图像数据的处理)的现有方案相对更低。

其中，所述第一图像传感器100可以是低功耗图像感应器，所述第二图像传感器500可以是前置摄像头中的图像感应器，所述电子设备通过所述第一图像传感器100实现基于情境感知的应用功能包括以下至少一种：

1.隐私保护，例如社交应用程序APP来了女朋友的新消息，银行发来工资到账新短信，其中的隐私信息不希望他人看到，电子设备通过第一图像传感器100能够检测到陌生人的人眼注视户主手机屏幕时黑屏等。

2.隔空操作，用户正在做饭，将手机放在一旁查看菜谱，这时有重要电话打入，而用户手上满是油污，不便直接操作手机，电子设备通过第一图像传感器100能够检测到用户的隔空手势并执行该隔空手势对应的操作。

3.注视不灭屏，看菜谱或看电子书,常有一页会让人认真地反复阅读,不一会就到了快要自动灭屏的时间，电子设备通过第一图像传感器100能够检测到户主用户仍然注视着屏幕，则不启用自动灭屏功能。

4、躺卧不旋转，用户躺卧导致电子设备的屏幕方向发生变化时，如由竖直方向变为水平方向，电子设备通过第一图像传感器100能够检测到用户人眼注视方向跟随变化，则屏幕不发生旋转。

在一个可能的示例中，所述第二图像传感器500通过所述相机串行接口解码器200连接所述图像信号处理器的所述图像前端；

所述图像信号处理器用于通过所述相机串行接口解码器200、所述图像前端320接收来自所述第二图像传感器500采集的第二原始图像数据，以及对所述第二原始图像数据进行第二预设处理，得到第二参考图像数据。

其中，所述第二预设处理包括以下至少一种：自动曝光控制、镜头衰减补偿、提高亮度、黑电平校正、镜头阴影矫正、坏点校正、颜色插值、自动白平衡、颜色校正。具体取决于电子设备的图像信号处理器的能力，且第一预设处理和第二预设处理可以相同，也可以不同,此处不做唯一限定。

在本可能的示例中，所述图像信号处理器300，还用于向所述数字信号处理器400发送所述第二参考图像数据；

所述数字信号处理器400，还用于接收所述第二参考图像数据，调用相机算法实现所述电子设备的相机功能。

其中，所述相机算法包括系统自带的或者第三方推送的各种拍照、录像算法，如美颜算法等。

可见，本示例中，电子设备在支持基于情景感知的应用功能的架构的同时，仍然可以使用图像前端320来完成相机功能。

在本可能的示例中，所述数字信号处理器400，还用于调用第二图像处理算法对所述第一参考图像数据进行第三预设处理，得到图像检测结果，以及根据所述图像检测结果完成目标功能，所述目标功能为所述电子设备通过所述第一图像传感器能够实现的功能。

其中，所述第三预设处理包括以下至少一种：人像检测、注视检测、隔空手势检测。

具体实现中，所述根据所述图像检测结果完成目标功能可以是数字信号处理器400与电子设备的应用进行交互，由电子设备执行应用获取图像检测结果后所确定的需要执行的具体操作。

可见，本示例中，电子设备能够通过DSP直接进行基于情景感知的应用功能的实现，无需其他处理器参与，有利于降低功耗。

在一个可能的示例中，如图1C所示，所述电子设备还包括主处理器600，

所述数字信号处理器400，还用于向所述主处理器600发送所述第一参考图像数据；

所述主处理器600，用于接收所述第一参考图像数据，调用第二图像处理算法对所述第一参考图像数据进行第三预设处理，得到图像检测结果，以及根据所述图像检测结果完成目标功能，所述目标功能为所述电子设备通过所述第一图像传感器能够实现的功能。

其中，所述主处理器可以是NPU，也可以是传统的中央处理器CPU等，此处不做唯一限定。

可见，本示例中，电子设备能够通过NPU处理DSP的图像检测结果，实现基于情景感知的应用功能。

在本可能的示例中，所述图像信号处理器300，还用于向所述主处理器600发送所述第二参考图像数据；

所述主处理器600，还用于接收所述第二参考图像数据，调用相机算法实现所述电子设备的相机功能。

可见，本示例中，电子设备能够在通过主处理器在实现基于情景感知的应用功能的同时，通过主处理器兼容相机功能。

此外，本申请实施例还提出，电子设备可以设置有具有一定数据预处理能力的传感器，此传感器可以内置一颗小的协图像信号处理器ISP，通过该协ISP可以直接输出YUV的数据，这样就可以完全不需要经过相机的原来的ISP，从而达到最大化降低功耗，并且最方便地实现我们所需要的功能。

基于上述介绍的硬件环境，下面对本申请实施例所涉及到的软件环境进行介绍。

请参阅图1D，图1D是本申请实施例提供的一种设置有Android系统的电子设备的系统架构示意图，存储器120中可存储有Linux内核层220、硬件抽象层230、系统运行库层240、应用框架层260和应用层280，其中，层与层之间通过软件接口通信，Linux内核层220、硬件抽象层230、系统运行库层240和应用框架层260属于操作系统空间。

应用层280属于用户空间，应用层280中设置有至少一个应用程序，所述至少一个应用程序包括第一应用程序281和第二应用程序282。

其中，这些应用程序可以是操作系统自带的原生应用程序，也可以是第三方开发者所开发的第三方应用程序，具体可以包括密码、眼球追踪、相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

在本可能的示例中，所述第一应用程序281包括以下任意一种：支持隔空手势识别功能的应用程序、支持人脸朝向检测功能的应用程序、支持人眼注视点检测功能的应用程序。

应用框架层260提供了构建应用层的应用程序可能用到的各种API，开发者也可以通过使用这些API来构建自己的应用程序，比如窗口管理器、内容提供器、视图系统、电话管理器、资源管理器、通知管理器、消息管理器、活动管理器、包管理器、定位管理。窗口管理器用于管理窗口程序。

在本可能的示例中，所述应用框架层260设置有情景感知算法服务模块261，所述第一应用程序281和所述第二应用程序282均与所述情景感知算法服务模块261通信连接。

系统运行库层240通过一些C/C++库来为Android系统提供了主要的特性支持。如SQLite库提供了数据库的支持，OpenGL/ES库提供了3D绘图的支持，Webkit库提供了浏览器内核的支持等。在系统运行库层240中还提供有安卓运行时库(Android Runtime)，它主要提供了一些核心库，能够允许开发者使用Java语言来编写Android应用。

硬件抽象层230是位于操作系统内核与硬件电路之间的接口层，用于将硬件抽象化通过定义硬件“驱动”的接口来进一步降低Android系统与硬件的耦合度，隐藏了硬件接口的细节为操作系统提供虚拟硬件平台，使其具有硬件无关性可以在多种平台上进行移植。

在本可能的示例中，所述硬件抽象层230设置有相机服务模块231，所述应用框架层260 的所述情景感知算法服务模块261与所述相机服务模块231通信连接。

Linux内核层220为终端10的各种硬件提供了底层的驱动，如显示驱动、音频驱动、摄像头驱动、蓝牙驱动、Wi-Fi驱动、电源管理等。

基于图1D所示的安卓系统架构，如图1E所示的本申请实施例提供的通过情景感知实现应用功能的系统，其中，

所述第一应用程序281，用于向情景感知算法服务模块261发送检测请求；

其中，所述检测请求具体可以是手势检测指令或者人脸朝向检测指令或者是人眼注视位置检测指令等，此处不做唯一限定。

所述情景感知算法服务模块261，用于接收所述检测请求，向所述相机服务模块231发送图像数据采集请求；

所述相机服务模块231，用于接收所述图像数据采集请求，采集用户的原始图像数据，对所述原始图像数据进行预处理，得到参考图像数据，并向所述情景感知算法服务模块261 发送所述参考图像数据；

在本可能的示例中，所述预处理包括以下至少一种：自动曝光控制、镜头衰减补偿、提高亮度、黑电平校正、镜头阴影矫正、坏点校正、颜色插值、自动白平衡、颜色校正。

可见，本示例中，通过软件方式对原始图像数据进行预处理，无需占用图像信号处理器中实现相同功能的硬件模块，从而可以实现并行的图像数据处理，即在实现常规摄像头功能的同时，实现本申请的通过情景识别实现应用功能的方案，提高兼容性。

所述情景感知算法服务模块261，用于接收所述参考图像数据，调用当前选择的目标算法，使用推理框架AIBoost执行所述目标算法以处理所述参考图像数据，得到情景感知识别结果，并向所述第一应用程序281发送所述情景感知识别结果；

所述第一应用程序281，用于接收所述情景感知识别结果，根据所述情景感知识别结果实现第一应用功能。

在本可能的示例中，所述检测请求携带有所述第一应用程序的应用标识信息；

所述应用标识信息用于所述情景感知算法服务模块261确定当前选择的目标算法。

其中，所述情景感知算法服务模块261可以包括隔空手势检测算法模块、人脸检测算法模块、人脸朝向检测算法模块、人眼注视点位置检测算法模块等，此处不做唯一限定。所述应用标识信息例如可以是应用程序的名称或者身份标识信息等。

具体实现中，所述应用标识信息具体用于情景感知算法服务模块261查询预设的映射关系集合，获取该应用标识信息对应的目标算法，其中，映射关系集合包括应用标识信息与情景感知算法服务模块261中的算法之间的对应关系。

可见，本示例中，第一应用程序281与情景感知算法服务模块261可以通过传递应用标识信息来实现所需要启用的算法模块的确定。

在本可能的示例中，所述检测请求携带有所述目标算法的算法标识信息；

所述算法标识信息用于所述情景感知算法服务模块261确定当前选择的目标算法。

其中，所述算法标识信息例如可以是算法名称或者算法身份标识信息等。

可见，本示例中，第一应用程序281可以自行确定当前需要启用的目标算法，并与情景感知算法服务模块261交互该目标算法的算法标识信息，从而情景感知算法服务模块261可以确定所需要启用的算法模块。

在本可能的示例中，所述情景感知算法服务模块261，还用于向第二应用程序282发送所述情景感知识别结果；

所述第二应用程序282，用于接收所述情景感知识别结果，根据所述情景感知识别结果实现第二应用功能。

可见，本示例中，一次识别结果同时分发给相关应用，成为感知中心，提高数据交互效率和使用灵活性。

在本可能的示例中，所述原始图像数据通过所述电子设备的前置摄像头中的图像感应器采集；或者，

所述原始图像数据通过所述电子设备的低功耗图像感应器采集。

其中，所述前置摄像头中的图像感应器例如可以是图1B中的第二图像传感器500，所述低功耗图像感应器例如可以是图1B中的第一图像传感器100。

可见，本示例中，一般硬件平台或者专用硬件平台均可适配，软件架构针对不同硬件架构具备普适性。

可以看出，本申请实施例中，通过情景感知实现应用功能的系统包括第一应用程序、情景感知算法服务模块和相机服务模块，第一应用程序与情景感知算法服务模块通信连接，情景感知算法服务模块与相机服务模块通信连接，第一应用程序设置于电子设备的安卓系统的应用层，情景感知算法服务模块设置于安卓系统的应用框架层，相机服务模块设置于安卓系统的硬件抽象层，且第一应用程序、情景感知算法服务模块和相机服务模块通过数据交互，实现基于情景感知的应用功能，可见，该系统中涉及到的所有模块均设置于安卓系统中，无需专门设置软件模块，能够灵活的移植到不同的安卓设备中，不强依赖硬件，具有普适性，有利于提高通过情景感知实现应用功能的系统的可移植性和灵活性。

此外，为提高软件架构的运行效率，软件架构可以采用多线程设计。具体的，如图1F所示，第一应用程序通过第一主线程、第一Android接口定义语言(Android InterfaceDefinition Language，AIDL)线程进行数据处理，情景感知算法服务模块通过第二主线程、第二AIDL 线程、消息Message线程、引擎Engine线程、回调线程、第三AIDL线程进行数据处理，相机服务模块通过第四AIDL线程、第三主线程进行数据处理，其中，

第一主线程通过第一AIDL线程、第二AIDL线程与第二主线程或者Messang线程进行数据交互；

第二主线程通过第三AIDL线程、第四AIDL线程与第三主线程进行数据交互；

Message线程完成应用端请求的并行转串行，实现有序运行，避免混乱；

Engine线程进行图像预处理和算法识别，是核心工作线程，具体与相机服务线程进行数据交互；

回调线程是为了隔离Engine线程与应用端线程，避免重负载的Engine线程被不可预知的应用端卡住。

请参阅图2，图2是本申请实施例提供的一种通过情景感知实现应用功能的方法，应用于如图1B-图1D任一项所示的电子设备，所述电子设备设置有安卓系统，所述通过情景感知以实现应用功能的系统包括第一应用程序、情景感知算法服务模块和相机服务模块，所述第一应用程序与所述情景感知算法服务模块通信连接，所述情景感知算法服务模块与所述相机服务模块通信连接，所述第一应用程序设置于所述电子设备的安卓系统的应用层，所述情景感知算法服务模块设置于所述安卓系统的应用框架层，所述相机服务模块设置于所述安卓系统的硬件抽象层；所述方法包括如下步骤：

步骤201，通过所述第一应用程序向情景感知算法服务模块发送检测请求；

步骤202，通过所述情景感知算法服务模块接收所述检测请求，向所述相机服务模块发送图像数据采集请求；

步骤203，通过所述相机服务模块接收所述图像数据采集请求，采集用户的原始图像数据，对所述原始图像数据进行预处理，得到参考图像数据，并向所述情景感知算法服务模块发送所述参考图像数据；

步骤204，通过所述情景感知算法服务模块接收所述参考图像数据，调用当前选择的目标算法，使用推理框架AIBoost执行所述目标算法以处理所述参考图像数据，得到情景感知识别结果，并向所述第一应用程序发送所述情景感知识别结果；

步骤205，通过所述第一应用程序接收所述情景感知识别结果，根据所述情景感知识别结果实现第一应用功能。

可以看出，本申请实施例中，通过情景感知实现应用功能的系统包括第一应用程序、情景感知算法服务模块和相机服务模块，第一应用程序与情景感知算法服务模块通信连接，情景感知算法服务模块与相机服务模块通信连接，第一应用程序设置于电子设备的安卓系统的应用层，情景感知算法服务模块设置于安卓系统的应用框架层，相机服务模块设置于安卓系统的硬件抽象层，且第一应用程序、情景感知算法服务模块和相机服务模块通过数据交互，实现基于情景感知的应用功能，可见，该系统中涉及到的所有模块均设置于安卓系统中，无需专门设置软件模块，能够灵活的移植到不同的安卓设备中，不强依赖硬件，具有普适性，有利于提高通过情景感知实现应用功能的系统的可移植性和灵活性。

本申请实施例提供一种通过情景感知实现应用功能的装置，该通过情景感知实现应用功能的装置可以应用于图1B至图1D任一项所示的电子设备10。具体的，通过情景感知实现应用功能的装置用于执行以通过情景感知实现应用功能的方法中测试设备所执行的步骤。本申请实施例提供的通过情景感知实现应用功能的装置可以包括相应步骤所对应的单元。

本申请实施例可以根据上述方法示例对通过情景感知实现应用功能的装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图3示出上述实施例中所涉及的通过情景感知实现应用功能的装置的一种可能的结构示意图。如图3所示，通过情景感知实现应用功能的装置3包括处理单元30、通信单元31，

所述处理单元30，用于调用所述第一应用程序通过所述通信单元31向情景感知算法服务模块发送检测请求；以及，

调用所述情景感知算法服务模块通过所述通信单元31接收所述检测请求，通过所述通信单元31向所述相机服务模块发送图像数据采集请求；以及，

调用所述相机服务模块通过所述通信单元31接收所述图像数据采集请求，采集用户的原始图像数据，对所述原始图像数据进行预处理，得到参考图像数据，并通过所述通信单元31 向所述情景感知算法服务模块发送所述参考图像数据；以及，

调用所述情景感知算法服务模块通过所述通信单元31接收所述参考图像数据，调用当前选择的目标算法，使用推理框架AIBoost执行所述目标算法以处理所述参考图像数据，得到情景感知识别结果，并通过所述通信单元31向所述第一应用程序发送所述情景感知识别结果；以及，

调用所述第一应用程序通过所述通信单元31接收所述情景感知识别结果，根据所述情景感知识别结果实现第一应用功能。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。当然，本申请实施例提供的通过情景感知实现应用功能的装置包括但不限于上述模块，例如：通过情景感知实现应用功能的装置还可以包括存储单元32。存储单元32可以用于存储该通过情景感知实现应用功能的装置的程序代码和数据。

其中，处理单元30可以是处理器或控制器，例如可以是中央处理器(CentralProcessing Unit， CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块31 可以是收发器、RF电路或通信接口等。存储模块32可以是存储器。

其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种通过情景感知实现应用功能的系统，其特征在于，应用于电子设备，所述电子设备设置有安卓系统，所述通过情景感知以实现应用功能的系统包括第一应用程序、情景感知算法服务模块和相机服务模块，所述第一应用程序与所述情景感知算法服务模块通信连接，所述情景感知算法服务模块与所述相机服务模块通信连接，所述第一应用程序设置于所述电子设备的安卓系统的应用层，所述情景感知算法服务模块设置于所述安卓系统的应用框架层，所述相机服务模块设置于所述安卓系统的硬件抽象层；

所述第一应用程序，通过第一主线程、第一Android接口定义语言AIDL线程进行第一数据处理，所述第一数据处理包括向情景感知算法服务模块发送检测请求；

所述情景感知算法服务模块，通过第二主线程、第二AIDL线程、第三AIDL线程进行第二数据处理，所述第一主线程通过所述第一AIDL线程、所述第二AIDL线程与所述第二主线程进行数据交互，所述第三AIDL线程与所述第二主线程进行数据交互，所述第二数据处理包括接收所述检测请求，向所述相机服务模块发送图像数据采集请求；

所述相机服务模块，通过第四AIDL线程、第三主线程进行第三数据处理，所述第二主线程通过所述第三AIDL线程、所述第四AIDL线程与所述第三主线程进行数据交互，所述第三数据处理包括接收所述图像数据采集请求，采集用户的原始图像数据，对所述原始图像数据进行预处理，得到参考图像数据，并向所述情景感知算法服务模块发送所述参考图像数据；

所述情景感知算法服务模块，通过所述第三AIDL线程、所述第二主线程、所述第二AIDL线程、消息Message线程、引擎Engine线程、回调线程进行第四数据处理，所述第二主线程通过所述第二AIDL线程、所述Message线程、所述Engine线程、所述回调线程、所述第一AIDL线程与所述第一主线程进行数据交互，所述第四数据处理包括接收所述参考图像数据，调用当前选择的目标算法，使用推理框架AIBoost执行所述目标算法以处理所述参考图像数据，得到情景感知识别结果，并向所述第一应用程序发送所述情景感知识别结果，所述Message线程用于完成应用端请求的并行转串行，所述Engine线程用于进行图像预处理和算法识别，所述回调线程用于隔离所述Engine线程与应用端线程；

所述第一应用程序，通过所述第一主线程、所述第一AIDL线程进行第五数据处理，所述第五数据处理包括接收所述情景感知识别结果，根据所述情景感知识别结果实现第一应用功能。

2.根据权利要求1所述的系统，其特征在于，所述预处理包括以下至少一种：

自动曝光控制、镜头衰减补偿、提高亮度、黑电平校正、镜头阴影矫正、坏点校正、颜色插值、自动白平衡、颜色校正。

3.根据权利要求1或2所述的系统，其特征在于，所述第一应用程序包括以下任意一种：

支持隔空手势识别功能的应用程序、支持人脸朝向检测功能的应用程序、支持人眼注视点检测功能的应用程序。

4.根据权利要求3所述的系统，其特征在于，所述检测请求携带有所述第一应用程序的应用标识信息；

所述应用标识信息用于所述情景感知算法服务模块确定当前选择的目标算法。

5.根据权利要求3所述的系统，其特征在于，所述检测请求携带有所述目标算法的算法标识信息；

所述算法标识信息用于所述情景感知算法服务模块确定当前选择的目标算法。

6.根据权利要求1所述的系统，其特征在于，

所述情景感知算法服务模块，还用于向第二应用程序发送所述情景感知识别结果；

所述第二应用程序，用于接收所述情景感知识别结果，根据所述情景感知识别结果实现第二应用功能。

7.根据权利要求6所述的系统，其特征在于，所述原始图像数据通过所述电子设备的前置摄像头中的图像感应器采集；或者，

所述原始图像数据通过所述电子设备的低功耗图像感应器采集。

8.一种通过情景感知实现应用功能的方法，其特征在于，应用于电子设备，所述电子设备设置有安卓系统，所述通过情景感知以实现应用功能的系统包括第一应用程序、情景感知算法服务模块和相机服务模块，所述第一应用程序与所述情景感知算法服务模块通信连接，所述情景感知算法服务模块与所述相机服务模块通信连接，所述第一应用程序设置于所述电子设备的安卓系统的应用层，所述情景感知算法服务模块设置于所述安卓系统的应用框架层，所述相机服务模块设置于所述安卓系统的硬件抽象层；

通过所述第一应用程序对应的第一主线程、第一Android接口定义语言AIDL线程进行第一数据处理，所述第一数据处理包括向情景感知算法服务模块发送检测请求；

通过所述情景感知算法服务模块对应的第二主线程、第二AIDL线程、第三AIDL线程进行第二数据处理，所述第一主线程通过所述第一AIDL线程、所述第二AIDL线程与所述第二主线程进行数据交互，所述第三AIDL线程与所述第二主线程进行数据交互，所述第二数据处理包括接收所述检测请求，向所述相机服务模块发送图像数据采集请求；

通过所述相机服务模块对应的第四AIDL线程、第三主线程进行第三数据处理，所述第二主线程通过所述第三AIDL线程、所述第四AIDL线程与所述第三主线程进行数据交互，所述第三数据处理包括接收所述图像数据采集请求，采集用户的原始图像数据，对所述原始图像数据进行预处理，得到参考图像数据，并向所述情景感知算法服务模块发送所述参考图像数据；

通过所述情景感知算法服务模块对应的所述第三AIDL线程、所述第二主线程、所述第二AIDL线程、消息Message线程、引擎Engine线程、回调线程进行第四数据处理，所述第二主线程通过所述第二AIDL线程、所述Message线程、所述Engine线程、所述回调线程、所述第一AIDL线程与所述第一主线程进行数据交互，所述第四数据处理包括接收所述参考图像数据，调用当前选择的目标算法，使用推理框架AIBoost执行所述目标算法以处理所述参考图像数据，得到情景感知识别结果，并向所述第一应用程序发送所述情景感知识别结果，所述Message线程用于完成应用端请求的并行转串行，所述Engine线程用于进行图像预处理和算法识别，所述回调线程用于隔离所述Engine线程与应用端线程；

通过所述第一应用程序对应的所述第一主线程、所述第一AIDL线程进行第五数据处理，所述第五数据处理包括接收所述情景感知识别结果，根据所述情景感知识别结果实现第一应用功能。

9.一种通过情景感知实现应用功能的装置，其特征在于，应用于电子设备，所述电子设备设置有安卓系统，所述通过情景感知以实现应用功能的系统包括第一应用程序、情景感知算法服务模块和相机服务模块，所述第一应用程序与所述情景感知算法服务模块通信连接，所述情景感知算法服务模块与所述相机服务模块通信连接，所述第一应用程序设置于所述电子设备的安卓系统的应用层，所述情景感知算法服务模块设置于所述安卓系统的应用框架层，所述相机服务模块设置于所述安卓系统的硬件抽象层；所述装置包括处理单元和通信单元，

所述处理单元，用于调用所述第一应用程序对应的通过第一主线程、第一Android接口定义语言AIDL线程通过所述通信单元进行第一数据处理，所述第一数据处理包括向情景感知算法服务模块发送检测请求；以及，

调用所述情景感知算法服务模块对应的第二主线程、第二AIDL线程、第三AIDL线程通过所述通信单元进行第二数据处理，所述第一主线程通过所述第一AIDL线程、所述第二AIDL线程与所述第二主线程进行数据交互，所述第三AIDL线程与所述第二主线程进行数据交互，所述第二数据处理包括接收所述检测请求，通过所述通信单元向所述相机服务模块发送图像数据采集请求；以及，

调用所述相机服务模块对应的第四AIDL线程、第三主线程通过所述通信单元进行第三数据处理，所述第二主线程通过所述第三AIDL线程、所述第四AIDL线程与所述第三主线程进行数据交互，所述第三数据处理包括接收所述图像数据采集请求，采集用户的原始图像数据，对所述原始图像数据进行预处理，得到参考图像数据，并通过所述通信单元向所述情景感知算法服务模块发送所述参考图像数据；以及，

调用所述情景感知算法服务模块对应的所述第三AIDL线程、所述第二主线程、所述第二AIDL线程、消息Message线程、引擎Engine线程、回调线程通过所述通信单元进行第四数据处理，所述第二主线程通过所述第二AIDL线程、所述Message线程、所述Engine线程、所述回调线程、所述第一AIDL线程与所述第一主线程进行数据交互，所述第四数据处理包括接收所述参考图像数据，调用当前选择的目标算法，使用推理框架AIBoost执行所述目标算法以处理所述参考图像数据，得到情景感知识别结果，并通过所述通信单元向所述第一应用程序发送所述情景感知识别结果，所述Message线程用于完成应用端请求的并行转串行，所述Engine线程用于进行图像预处理和算法识别，所述回调线程用于隔离所述Engine线程与应用端线程；以及，

调用所述第一应用程序对应的所述第一主线程、所述第一AIDL线程通过所述通信单元进行第五数据处理，所述第五数据处理包括接收所述情景感知识别结果，根据所述情景感知识别结果实现第一应用功能。

10.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求8所述的方法中的步骤的指令。

11.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求8所述的方法。

Images