CN115374056A - 红外图像数据处理方法及系统、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种红外图像数据处理方法及系统、设备、介质，所述方法包括：获取红外探测器响应于相机应用程序的操作请求采集的红外图像原始数据进行信号转换后得到的目标格式图像数据；将所述目标格式图像数据通过预定义的支持目标格式数据传输的相机设备接口，返回相机服务子系统；由所述相机服务子系统将所述目标格式图像数据通过相机硬件抽象层，根据所述目标格式图像数据的数据格式类型对应的预设的数据通道返回相机应用程序；所述相机应用程序将所述目标格式图像数据进行显示。

Description

红外图像数据处理方法及系统、设备及存储介质

技术领域

本申请涉及红外成像技术领域，尤其是涉及一种红外图像数据处理方法及系统、红外热成像设备及计算机可读存储介质。

背景技术

目前，热成像仪的红外图像数据处理系统主要由红外机芯、应用集成处理器SOC(System on a Chip，单芯片系统)、显示屏组成，红外机芯由红外探测器、图像处理FPGA(program-mable gate array，可编程门阵列)板等组成，应用集成处理器SOC接收来自红外机芯的数据，按照各行各业的业务需求进行处理后送显。这种红外图像数据处理系统的系统集成难度低、对应用集成处理器SOC的要求低、应用范围广，在防疫测温、电力巡检、安消防等领域发挥着不可替代的作用。

然而，这种红外图像数据处理系统的集成需要单独开发不同的数据传输和处理转接板，比如并行数据、串行数据、USB(Universal Serial Bus，通用串行总线)数据等接入板，集成难度高，整机稳定性差、功耗高。

发明内容

为解决现有存在的技术问题，本申请提供一种能够支持与红外模组直接连接接入目标格式图像数据进行成像处理，实现对红外数据接入与处理集成化，以提升图像数据处理效率的红外图像数据处理方法及系统、红外热成像设备及计算机可读存储介质。

为达到上述目的，本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种红外图像数据处理方法，包括：

获取红外探测器响应于相机应用程序的操作请求采集的红外图像原始数据进行信号转换后得到的目标格式图像数据；

将所述目标格式图像数据通过预定义的支持目标格式数据传输的相机设备接口，返回相机服务子系统；

由所述相机服务子系统将所述目标格式图像数据通过相机硬件抽象层，根据所述目标格式图像数据的数据格式类型对应的预设的数据通道返回所述相机应用程序；

所述相机应用程序将所述目标格式图像数据进行显示。

第二方面，本申请实施例提供一种红外图像数据处理系统，包括：

驱动层，用于获取红外探测器响应于相机应用程序的操作请求采集的红外图像原始数据进行信号转换后得到的目标格式图像数据，将所述目标格式图像数据通过预定义的支持目标格式数据传输的相机设备接口，返回相机服务子系统；

硬件抽象层，用于由所述相机服务子系统将所述目标格式图像数据通过相机硬件抽象层，根据所述目标格式图像数据的数据格式类型对应的预设的数据通道返回所述相机应用程序；

应用层，用于所述相机应用程序将所述目标格式图像数据进行显示。

第三方面，本申请实施例提供一种红外热成像设备，包括存储器、处理器及与所述处理器连接的红外模组；所述红外模组，用于响应于相机应用程序的操作请求采集红外图像原始数据，将所述红外图像原始数据转换为数据格式类型为MIPI RAW14的目标格式图像数据；所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如本申请任一实施例所述的红外图像数据处理方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被所述处理器执行时实现如本申请任一实施例所述的红外图像数据处理方法。

上述实施例中，红外图像数据处理方法将红外探测器采集的红外图像原始数据进行信号转换得到目标格式图像数据，将所述目标格式图像数据通过预定义的支持目标格式数据传输的相机设备接口，返回相机服务子系统，由所述相机服务子系统将所述目标格式图像数据通过相机硬件抽象层，根据所述目标格式图像数据的数据格式类型对应的预设的数据通道返回所述相机应用程序进行显示，其中，通过相机服务子系统采用预定义的支持目标格式数据的传输的相机设备接口进行数据传输、相机硬件抽象层采用与目标格式图像数据的数据格式类型对应的数据通道进行数据传输，实现高性能移动处理器支持接入的数据格式可以不限于某一标准协议下的数据格式，如可以不限于符合MIPI CSI-2协议的RAW8、RAW10格式、符合LVCMOS电平标准的并行数据格式等数据格式，从而实现红外模组与高性能移动处理器直接连接的直驱系统，将红外数据接入与处理集成化、智能化，如针对输出的RAW14数据格式的红外图像数据的红外模组，同样支持将红外模组与高性能移动处理器直接连接实现直驱系统，高性能移动处理器接入成像数据后，无需再进行转换数据拼接而影响图像数据的处理效率和成像帧率，不仅可以降低系统功耗，且可以有效提升图像数据处理效率。

上述实施例中，红外图像数据处理系统、红外热成像设备及计算机可读存储介质与对应的红外图像数据处理方法实施例属于同一构思，从而分别与对应的红外图像数据处理方法实施例具有相同的技术效果，在此不再赘述。

附图说明

图1为一实施例中红外图像数据处理方法的可选应用场景的架构图；

图2为一实施例中红外图像数据处理方法的流程图；

图3为一实施例中相机软件框架的示意图；

图4为一实施例中红外图像数据处理系统的结构示意图；

图5为一可选的具体示例中红外图像数据处理系统的架构及其原理示意图；

图6为一可选的具体示例中驱动层的架构及其原理示意图；

图7为一可选的具体示例中HAL层的架构及其原理示意图；

图8为一实施例中相机应用程序的工作原理示意图；

图9为一实施例中红外热成像设备的结构示意图。

具体实施方式

以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”的表述，其描述了所有可能实施例的子集，需要说明的是,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一、第二、第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一、第二、第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

针对热成像仪等红外热成像设备目前所主要采用的红外图像数据处理系统存在的需要单独开发不同的数据传输和处理的转接板，导致集成难度高，整机稳定性差且功耗高的缺陷，本申请发明人经过潜心研究，为提高红外热成像设备的红外图像数据处理系统的系统集成度、图像质量、降低系统功耗等综合参数，提出一种在高性能处理器上，如搭载Android系统的移动处理器平台的直驱系统，实现红外数据接入与处理集成化、智能化；且可实现高性能移动处理器支持接入的数据格式可以不限于某一标准协议下的数据格式，如可以不限于符合MIPI CSI-2协议的RAW8、RAW10格式、符合LVCMOS电平标准的并行数据格式等数据格式，如针对输出的RAW14数据格式的红外图像数据的红外模组，同样支持与高性能移动处理器直接连接实现直驱系统，高性能移动处理器接入成像数据后，无需再进行转换数据拼接而影响图像数据的处理效率和成像帧率，系统低功耗、高扩展，能够更好的应用到不同领域，尤其可提升红外图像数据应用于多光融合应用场景下的图像处理效果。

请参阅图1，为本申请实施例提供的红外图像数据处理方法的可选应用场景的示意图，其中，红外模组接入高性能处理器，如搭载Android(安卓，基于Linux内核的一种操作系统)系统的高性能移动处理器的RAM(Random Access Memory)平台，完成红外图像数据的处理和成像，其中，红外模组部分是红外探测器获取的红外图像原始数据，经过信号转换模块处理可输出目标格式图像数据。在一可选的具体示例中，目标格式图像数据包括但不限于MIPI RAW14、LVCMOS(低压互补金属氧化物半导体)电平并行数据等数据格式的红外图像数据。高性能移动处理器的操作系统添加Camera驱动、Camera HAL(Hardware AbstractionLayer，相机硬件抽象层)，且RAM平台的操作系统开发支持接入对应目标数据格式类型的红外图像数据的接入、传输和解析，可直接获取目标格式图像数据进行成像处理，省去数据的拼接计算，减少了图像数据的延时，提高了图像数据的处理效率和成像帧率。Camera应用程序可获取到红外模组的图像数据，经处理成像。

请参阅图2，为本申请一实施例提供的红外图像数据处理方法，可以应用于图1所示的搭载Android系统的高性能移动处理器的RAM平台。所述红外图像数据处理方法包括如下步骤：

S101，获取红外探测器响应于相机应用程序的操作请求采集的红外图像原始数据进行信号转换后得到的目标格式图像数据；

S103，将所述目标格式图像数据通过预定义的支持目标格式数据传输的相机设备接口，返回相机服务子系统；

S105，由所述相机服务子系统将所述目标格式图像数据通过相机硬件抽象层，根据所述目标格式图像数据的数据格式类型对应的预设的数据通道返回所述相机应用程序；

S107，所述相机应用程序将所述目标格式图像数据进行显示。

操作系统将可访问的内存空间分为两部分，一部分为内核空间，一部分为用户空间。其中，用户空间设置为一般应用程序可访问的内存区域，相机应用程序、相机硬件抽象层均位于用户空间。内核空间是操作系统内核访问的内存区域，相机服务子系统位于内核空间，通过内核提供给应用程序、视频驱动的统一接口以操作相机模组来获取相机传感器芯片采集的数据。

相机应用程序提供相机应用的通用接口，如，相机应用程序可提供人机交互界面支持人机交互操作，以接收用户对相机使用的操作请求，如打开相机模组、拍摄图片、采集视频图像、预览图像等。本申请实施例中，可以将红外探测器以红外模组的形式接入高性能移动处理器，所有涉及到有关对相机及其附件的操作是指对红外模组的操作。红外模组包括红外探测器及与红外探测器连接的信号转换模块，红外探测器响应于用户对相机应用程序的操作请求采集红外图像原始数据，通过信号转换模块将红外图像原始数据进行信号转换得到目标格式图像数据，红外模组将目标格式图像数据直接接入所述高性能移动处理器。其中，红外图像原始数据是指红外探测器将采集到的红外辐射光信号转换得到的电信号。目标格式图像数据的数据格式类型为RAW14。红外探测器数据通过信号转换模块处理，可输出MIPI RAW14格式的红外图像数据，其中信号转换模块可以使用但不限于FPGA、CPLD等具备数据转换与处理能力的处理器，信号转换功能为：将红外探测器输出的数据进行预处理，此预处理包括但不限于数据校正等信号初始化功能，目的是减少信号噪声影响；将预处理的数据进行格式转换为MIPI RAW14数据。通过信号转换模块的信号转换，可简化红外探测器的数据处理复杂度，使得高性能移动处理器能够获得更原始的红外数据，能够进行更复杂的图像处理，降低红外模组的硬件成本与复杂度、提升稳定性。

可选的，目标格式图像数据的数据格式类型可以不限于某一标准协议下的数据格式，如还可以是LVCMOS并行格式。信号转换模块用于将红外探测器输出的数据进行数据校正等信号初始化等预处理，将预处理的数据进行格式转换为并行数据等数据格式。

高性能移动处理器可在已有的相机软件框架的基础上，通过开发实现在驱动层增加将所述目标格式图像数据通过预定义的支持目标格式数据传输的相机设备接口、以及在相机硬件抽象层增加根据所述目标格式图像数据的数据格式类型对应的预设的数据通道。其中，相机服务子系统为红外模组提供支持目标格式数据传输的相机设备接口，通过相机服务子系统采用预定义的支持目标格式数据传输的相机设备接口进行数据传输、相机硬件抽象层采用与目标格式图像数据的数据格式类型对应的数据通道进行数据传输，实现红外模组与高性能移动处理器直接连接的直驱系统。

上述实施例中，目标格式图像数据的数据格式类型可以不限于某一标准协议下的数据格式，如可以不限于符合MIPI CSI-2协议的RAW8、RAW10、符合LVCMOS电平标准的并行数据格式等数据格式类型，高性能移动处理器支持接入的数据格式相应可不限于某一标准协议下的数据格式，从而实现红外模组与高性能移动处理器直接连接的直驱系统，将红外数据接入与处理集成化、智能化，比如，针对输出的RAW14数据格式的红外图像数据的红外模组，同样支持与高性能移动处理器直接连接实现对目标格式图像数据进行成像处理的直驱系统，高性能移动处理器接入成像数据后，无需再进行转换数据拼接而影响图像数据的处理效率和成像帧率，不仅可以降低系统功耗，且可以有效提升图像数据处理效率。

在一些实施例中，S101，获取红外探测器响应于相机应用程序的操作请求采集的红外图像原始数据进行信号转换后得到的目标格式图像数据之前，包括：

所述相机应用程序根据接收到的操作请求，通过表面视图控件建立对应的数据容器；所述操作请求中包含打开图像数据的数据格式类型信息；

调用应用程序接口，向所述相机服务发出请求指令；

所述相机服务调用相机硬件接口连接所述相机硬件抽象层，通过调用内核驱动程序打开对应的红外探测器。

表面视图(surface view)控件是指作为显示界面的控件。相机应用程序根据用户的操作请求，使用表面视图控件建立与对应操作请求获取相机数据的数据容器(surface)。一个操作请求(request)对应一组数据结果(result)，存储于对应数据容器内。操作请求中包含所有操作配置信息，可以包括如下至少之一：分辨率、像素格式、手动传感器、镜头、闪光灯控件、操作模式、数据格式处理控件。

其中，请参阅图3，高性能移动处理器上Android系统的Camera(相机)软件框架包括应用层、Framework(服务框架)层、HAL(相机硬件抽象层)层、Driver(驱动)层。

应用层，位于应用层的相机应用程序可通过调用AOSP(Android Open SourceProject，Android开放源代码项目)提供的接口即可，AOSP的接口即Android提供的相机应用的通用应用程序接口，这些接口将通过Binder(跨进程交互技术)与Framework层的相机服务进行操作与数据传递。

Framework层，位于Framework层的相机服务(Camera Service)是承上启下的作用，上与相机应用程序交互，下与HAL层交互。

HAL层，Android定义好了Framework层服务与HAL层通信的协议及接口，HAL层可定义供硬件供应商实施的标准接口，该接口使Android无需考虑底层驱动程序的实现。通过HAL层架构的定义，对上是通过HIDL(Interface Description Language，一种接口描述语言)接口负责与相机服务的跨进程通信，对下通过标准的HAL3接口下发针对Camera的实际操作。

Driver层，数据由硬件到驱动层处理，驱动层接收HAL层数据以及传递Sensor数据给到HAL层，Sensor芯片不同对应驱动也不同。

相机应用程序将携带了数据容器的操作请求，通过应用程序接口包装成请求指令交给Framework层的相机服务，打包成Framework层与HAL层对接的实例，创建对应事件交给HAL层处理。HAL层根据事件调用Driver层的内核驱动程序打开对应的红外探测器。

上述实施例中，提供了高性能移动处理器内实施红外图像数据处理方法的相机软件框架的可选具体示例，通过依托于标准的相机软件框架实现高性能移动处理器对新的数据格式的红外模组的直驱设计，高性能移动处理器接入成像数据后，无需再进行转换数据拼接而影响图像数据的处理效率和成像帧率，不仅可以降低系统功耗，且可以有效提升图像数据处理效率。

在一些实施例中，S103，将所述目标格式图像数据通过预定义的支持目标格式数据传输的相机设备接口，返回相机服务子系统，包括：

所述相机服务子系统通过内核驱动接口连接所述内核驱动程序，通过预定义的支持目标格式数据传输的相机设备接口连接所述红外探测器；

所述目标格式图像数据通过所述相机设备接口，返回所述相机服务子系统。

相机驱动(camera驱动)可分为相机控制模块(camera host)驱动、相机设备(camera device)驱动，其中，相机设备包括相机内部的sensor、video AD芯片等，相机控制模块可以是相机内的模块控制器。每个相机设备驱动可以管理多个相机设备。相机子系统可为camera host驱动和camera sensor驱动间提供统一的接口，如此，同一个camerasensor驱动可支持移植到多个camera host下，而无须做较多的改动。相机子系统向上提供内核驱动接口与内核驱动程序连接，向下通过预定义的支持目标格式数据传输的相机设备接口连接红外探测器。本实施例中，通过增加相机子系统向下连接的预定义支持目标格式数据传输的相机设备接口，通过Driver层中内核驱动程序管理的相机服务子系统，通过对应的相机设备接口操作相机设备来获取红外模组输出的图像数据，相机设备接口开发支持了MIPI RAW14数据格式对应的SENSOR_14_BIT_DIRECT的数据解析及传输，通过依托于标准的相机软件框架，实现了相机内核空间的新的数据格式的开发。

上述实施例中，通过依托于标准的相机软件框架，增加相机子系统向下连接的预定义的支持目标格式数据传输的相机设备接口，完成系统驱动层实现新的数据格式，如MIPI RAW14数据格式直接接入的直驱设计，实现支持非标准格式的RAW14数据格式的红外图像数据接入和处理的集成化、智能化，提升高性能移动处理器的低功耗、高扩展性能，能够更好地应用到不同领域。

在一些实施例中，S105，由所述相机服务子系统将所述目标格式图像数据通过相机硬件抽象层，根据所述目标格式图像数据的数据格式类型对应的预设的数据通道返回所述相机应用程序，包括：

所述相机服务子系统传递所述目标格式图像数据到所述相机硬件抽象层；

所述相机硬件抽象层通过支持所述数据格式类型的数据通道，将所述目标格式图像数据返回相机服务；

通过所述相机服务将接收到的所述目标格式图像数据缓存至响应于所述相机应用程序的所述操作请求对应建立的数据容器内。

Framework层的相机服务根据相机应用程序的操作请求，将携带了数据容器的请求打包成Framework层与HAL层对接的实例，创建对应事件交给HAL层处理，HAL层根据事件通过内部的相机接口，根据请求对应的数据格式类型以及相机ID调用对应的数据通道的数据，其中，相机通道根据接口层和实现层获取内核空间返回的图像数据进行转换和解析，通过开发支持与所述目标格式图像数据的数据格式类型对应的数据通道，如数据通道开发了支持SENSOR_14_BIT_DIRECT对应的HAL_PIXEL_FORMAT_RAW14数据格式的图像数据返回到相机服务。本实施例中，相机硬件抽象层通过开发支持目标格式图像数据的数据格式类型的数据通道，将所述目标格式图像数据返回相机服务，从而通过依托于标准的相机软件框架，实现了HAL层新的数据格式的数据转换及传输的扩展。

上述实施例中，通过依托于标准的相机软件框架，增加支持与所述目标格式图像数据的数据格式类型对应的数据通道，完成HAL层对新的数据格式的数据转换及传输，如支持MIPI RAW14对应的HAL_PIXEL_FORMAT_RAW14数据转换及传输，实现高性能移动处理器对MIPI RAW14数据格式直接接入的直驱设计，实现对RAW14数据格式的红外图像数据接入和处理的集成化、智能化，提升高性能移动处理器的低功耗、高扩展性能，能够更好地应用到不同领域。

在一些实施例中，所述通过所述相机服务将接收到的所述目标格式图像数据缓存至响应于所述相机应用程序的所述操作请求对应建立的数据容器内，包括：

若所述红外探测器打开成功，所述相机服务建立与所述请求指令对应的循环线程；

所述相机服务将所述请求指令交给所述相机硬件抽象层，通过所述循环线程接收所述相机硬件抽象层基于所述请求指令返回的响应数据，从所述响应数据中提取所述目标格式图像数据缓存至对应的所述数据容器内。

可选的，S105，相机应用程序将所述目标格式图像数据进行显示，包括：

所述相机应用程序根据接收到的图像显示操作，从对应所述数据容器内取出所述目标格式图像数据进行显示。

数据容器(surface)可理解为内存中一段绘图缓冲区，以用于缓存当前窗口的像素数据。红外探测器(open camera)打开成功后，会有回调从相机服务通知到相机应用程序，相机服务通过初始化建立与所述请求指令对应的循环线程，以等待接收操作请求对应的响应数据。数据容器，本质上是指图像数据的使用者和封装者。当与操作请求对应的数据容器被填满，则缓存机制会通知相机应用程序，此时相机应用程序中视图控件将取出各自数据容器中的内容消费掉。

在一个可选的具体示例中，以操作请求为视图预览为例，open camera成功后，会有回调从相机服务通知到相机应用程序(APP)，在onOpenedCamera的回调中，去调用类似startPreview的操作，此时会创建CameraCaptureSession线程，创建过程中会向相机服务调用ConfigureStream的操作，ConfigureStream的参数中包含了对视图控件中的数据容器的引用，相当于App将数据容器给到了相机服务，相机服务包装该数据容器为stream，通过HIDL(Interface Description Language，为HAL与用户之间接口的一种接口描述语言)传递给HAL层，继而HAL也做configureStream操作。configureStream成功后，相机服务会给APP回调通知configureStream成功，接下来相机服务初始化时便起来了一个循环线程等待来接收Request。相机服务将Request交到HAL层去处理，得到HAL层处理结果后，取出该Request的处理结果中的图像数据填到App给到的数据容器中，若操作请求为预览，则交给Preview控件的数据容器；若操作请求为采集如果是拍摄，则交给ImageReader的数据容器。Preview控件中的数据容器中的内容将通过视图(view)提供到SurfaceFlinger中进行合成最终显示出来，即预览；而ImageReader中的数据容器被填满了，则App将会取出保存成图片文件消费掉。

上述实施例中，相机应用程序、相机服务及相机硬件抽象层采用建立与操作请求对应的数据容器，将基于直驱设计接收到的目标格式图像数据，通过解析和传输作为与操作请求对应的响应数据缓存至对应数据容器，以供相机应用程序提取并显示，实现高性能移动处理器开发的相机应用程序，通过依托于标准的相机软件框架可获取到新的数据格式的图像数据，经过相机应用程序提取显示成像。

请参阅图4，本申请实施例另一方面，还提供一种红外图像数据处理系统，包括驱动层21，用于获取红外探测器响应于相机应用程序的操作请求采集的红外图像原始数据进行信号转换后得到的目标格式图像数据，将所述目标格式图像数据通过预定义的支持目标格式数据传输的相机设备接口，返回相机服务子系统；硬件抽象层22，用于由所述相机服务子系统将所述目标格式图像数据通过相机硬件抽象层，根据所述目标格式图像数据的数据格式类型对应的预设的数据通道返回所述相机应用程序；应用层23，用于所述相机应用程序将所述目标格式图像数据进行显示。

在一些实施例中，所述红外图像数据处理系统还包括红外模组，所述红外模组包括红外探测器及与所述红外探测器连接的信号转换模块；所述红外探测器用于响应于相机应用程序的操作请求采集红外图像原始数据；所述信号转换模块具体用于将红外图像原始数据转换为数据格式类型为MIPI RAW14的所述目标格式图像数据。

在一些实施例中，所述驱动层21包括内核驱动程序及相机服务子系统；所述相机服务子系统向上通过内核驱动接口连接于所述内核驱动程序；所述相机服务子系统向下通过相机接口连接相机控制模块和相机设备，其中，所述相机服务子系统包括通过预定义的支持目标格式数据传输的相机设备接口连接所述红外探测器。

在一些实施例中，所述红外图像数据处理系统还包括框架服务层24，所述框架服务层包括相机服务，所述相机应用程序通过通用接口与所述相机服务进行操作及数据传递，所述硬件抽象层通过标准通信协议及接口与所述相机服务连接。

在一些实施例中，所述硬件抽象层22包括与所述相机服务子系统连接的接口层、与所述接口层连接且支持所述目标格式图像数据的数据格式类型的数据传输的所述数据通道；所述硬件抽象层通过所述接口层获取内核空间返回的所述目标格式图像数据；所述数据通道将所述目标格式图像数据进行转换和解析，将所述目标格式图像数据返回所述相机服务，通过所述相机服务将接收到的所述目标格式图像数据缓存至响应于所述相机应用程序的所述操作请求对应建立的数据容器内。

上述实施例中，所述红外图像数据处理系统通过依托于标准的相机软件框架，驱动层通过开发增加相机子系统向下连接的预定义支持目标格式数据传输的相机设备接口，通过驱动层中内核驱动程序管理的相机服务子系统，通过对应的设备接口操作相机设备来获取红外模组输出的图像数据，预定义的相机设备接口支持目标数据格式类型，如MIPIRAW14数据格式对应的SENSOR_14_BIT_DIRECT的数据解析及传输，实现了相机内核空间的新的数据格式的开发；此外，相机硬件抽象层通过开发增加支持目标格式图像数据的数据格式类型的数据通道，将所述目标格式图像数据返回相机服务，从而实现了硬件抽象层新的数据格式的数据转换及传输的扩展。如此，如针对输出非标准格式的RAW14数据格式的红外图像数据的红外模组，同样支持将红外模组与高性能移动处理器直接连接实现直驱系统，高性能移动处理器接入成像数据后，无需再进行转换数据拼接而影响图像数据的处理效率和成像帧率，不仅可以降低系统功耗，且可以有效提升图像数据处理效率。

为了能够对本申请实施例提供的红外图像数据处理系统的架构及其处理方法具有更加整体的理解，请结合参阅图5至图8，以目标格式图像数据的格式为MIPI RAW14为例，对红外图像数据处理系统及其实现对MIPI RAW14格式红外数据的直驱成像处理的红外图像数据处理方法进行说明。

如图5所示，高性能移动处理器上安卓系统相机软件框架包括：相机应用程序、相机接口(摄像头java、摄像头cpp接口)、相机服务、相机硬件接口(摄像头Google HAL接口)、相机硬件抽象层(摄像头HAL实例)、驱动层(V4L2驱动程序)。其中，红外图像数据处理系统依托于该相机软件框架，实现MIPI RAW14数据格式接入、转换和解析。基于相机软件框架对相机的调用流程主要包括：相机应用程序打开指定的摄像头，根据相机应用程序指定打开的数据格式类型、摄像头ID号通过摄像头CPP接口以及对应绑定的相机服务去调用摄像头硬件Google HAL接口；此接口函数来调用摄像头HAL实例，摄像头HAL实例是由上面相机应用程序打开时指定的数据格式类型来判断是否支持以及用支持的数据格式类型来确定对应数据通道调用V4L2驱动程序；V4L2驱动程序根据调用数据通道的数据格式类型及摄像头ID去打开对应的摄像头传感器。

其中，相机硬件抽象层，即HAL层是联系上层摄像头接口与下层Linux摄像头驱动的纽带，通过开发增加了摄像头HAL实例支持与MIPI RAW14对应的HAL_PIXEL_FORMAT_RAW14数据格式类型转换；驱动层V4L2驱动程序开发增加了与MIPI RAW14对应的SENSOR_14_BIT_DIRECT数据格式类型的解析和传输，通过对相应数据格式类型的红外图像数据对应正确解析后，即可获取红外模组采集并输出的MIPI RAW14图像数据并向上反馈图像数据，其中相机服务会将数据反馈通过Surface视图的方式返回相机应用程序，以提供成像显示。

如图6所示，驱动层的架构包括：camera驱动、camera host驱动及camera sensor驱动；文件系统、存储管理、V4L2(Video For Linux Two，是内核提供给应用程序访问音、视频驱动的统一接口)驱动程序、相机服务子系统(soc-camera子系统，在camera host驱动和camera sensor驱动间提供了统一的接口)、soc camera host(内嵌于系统芯片内的控制器)、soc camera device(相机设备，一种i2c设备)、camera hardware(相机硬件，一种i2c设备)、camera sensor(相机传感器，一种i2c设备)。其中，基于驱动层的架构对相机的驱动工作原理如下：文件系统和存储管理是内核空间存储和管理摄像头图像数据的内存区域，根据数据格式类型通过V4L2驱动程序的相机服务子系统，camera host可以向上实现对相机服务子系统的操作回调，向下操作camera host以及通过平台特定接口操作soc cameradevice，通过相机服务子系统调用相机设备接口操作soc camera device来获取红外探测器采集的数据。其中，相机设备接口根据数据格式类型获取到红外探测器可输出的数据类型，其中相机设备接口开发支持了MIPI RAW14对应的SENSOR_14_BIT_DIRECT的数据解析及传输；从而实现内核空间的数据格式开发。

如图7所示，HAL层的架构包括：相机设备管理层、接口转换层和数据流解析层、接口层和实现层。相机HAL层可将框架服务层中的相机服务的应用程序接口(API)连接到底层的相机驱动程序和硬件。HAL层的实施流程主要包括：相机设备管理通过HAL层内部的相机接口，根据相机应用程序指定打开的数据格式类型、摄像头ID号调用接口转换层和数据流解析层内对应的数据通道的数据，数据通道根据接口层和实现层获取内核空间返回的目标格式图像数据进行转换和解析，其中，接口转换层和数据流解析层开发支持了SENSOR_14_BIT_DIRECT对应的HAL_PIXEL_FORMAT_RAW14数据格式类型的数据通道，将图像数据返回到相机服务，从而实现了HAL层支持与MIPI RAW14对应的HAL_PIXEL_FORMAT_RAW14数据转换和传输。

如图8所示，相机应用程序基于相机软件框架，获取红外模组输出的目标格式图像数据，经相机应用程序成像显示。

请参阅图9，本申请实施例另一方面，还提供一种红外热成像设备，包括处理器211、与所述处理器211连接的红外模组213及存储器212；所述红外模组213，用于响应于相机应用程序的操作请求采集红外图像原始数据，将所述红外图像原始数据转换为数据格式类型为MIPI RAW14的目标格式图像数据；所述存储器212上存储有计算机程序，所述计算机程序被所述处理器211执行时实现本申请实施例所述的红外图像数据处理方法。其中，所述处理器可以为高性能移动处理器SOC。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述红外图像数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述计算机可读存储介质，如只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(RandomAccessMemory，简称RAM)等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台智能终端(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围之内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种红外图像数据处理方法，其特征在于，包括：

获取红外探测器响应于相机应用程序的操作请求采集的红外图像原始数据进行信号转换后得到的目标格式图像数据；

将所述目标格式图像数据通过预定义的支持目标格式数据传输的相机设备接口，返回相机服务子系统；

由所述相机服务子系统将所述目标格式图像数据通过相机硬件抽象层，根据所述目标格式图像数据的数据格式类型对应的预设的数据通道返回所述相机应用程序；

所述相机应用程序将所述目标格式图像数据进行显示。

2.如权利要求1所述红外图像数据处理方法，其特征在于，所述获取红外探测器响应于相机应用程序的操作请求采集的红外图像原始数据进行信号转换后得到的目标格式图像数据之前，包括：

所述相机应用程序根据接收到的操作请求，通过表面视图控件建立对应的数据容器；所述操作请求中包含打开图像数据的数据格式类型信息；

调用应用程序接口，向所述相机服务发出请求指令；

所述相机服务调用相机硬件接口连接所述相机硬件抽象层，通过调用内核驱动程序打开对应的红外探测器。

3.如权利要求2所述红外图像数据处理方法，其特征在于，所述将所述目标格式图像数据通过预定义的支持目标格式数据传输的相机设备接口，返回相机服务子系统，包括：

所述相机服务子系统通过内核驱动接口连接所述内核驱动程序，通过预定义的支持目标格式数据传输的相机设备接口连接所述红外探测器；

所述目标格式图像数据通过所述相机设备接口，返回所述相机服务子系统。

4.如权利要求1所述红外图像数据处理方法，其特征在于，所述由所述相机服务子系统将所述目标格式图像数据通过相机硬件抽象层，根据所述目标格式图像数据的数据格式类型对应的预设的数据通道返回所述相机应用程序，包括：

所述相机服务子系统传递所述目标格式图像数据到所述相机硬件抽象层；

所述相机硬件抽象层通过支持所述数据格式类型的数据通道，将所述目标格式图像数据返回相机服务；

通过所述相机服务将接收到的所述目标格式图像数据缓存至响应于所述相机应用程序的所述操作请求对应建立的数据容器内。

5.如权利要求4所述红外图像数据处理方法，其特征在于，所述通过所述相机服务将接收到的所述目标格式图像数据缓存至响应于所述相机应用程序的所述操作请求对应建立的数据容器内，包括：

若所述红外探测器打开成功，所述相机服务建立与所述请求指令对应的循环线程；

所述相机服务将所述请求指令交给所述相机硬件抽象层，通过所述循环线程接收所述相机硬件抽象层基于所述请求指令返回的响应数据，从所述响应数据中提取所述目标格式图像数据缓存至对应的所述数据容器内。

6.如权利要求5所述红外图像数据处理方法，其特征在于，所述相机应用程序将所述目标格式图像数据进行显示，包括：

所述相机应用程序根据接收到的图像显示操作，从对应所述数据容器内取出所述目标格式图像数据进行显示。

7.一种红外图像数据处理系统，其特征在于，包括：

驱动层，用于获取红外探测器响应于相机应用程序的操作请求采集的红外图像原始数据进行信号转换后得到的目标格式图像数据，将所述目标格式图像数据通过预定义的支持目标格式数据传输的相机设备接口，返回相机服务子系统；

硬件抽象层，用于由所述相机服务子系统将所述目标格式图像数据通过相机硬件抽象层，根据所述目标格式图像数据的数据格式类型对应的预设的数据通道返回所述相机应用程序；

应用层，用于所述相机应用程序将所述目标格式图像数据进行显示。

8.如权利要求7所述红外图像数据处理系统，其特征在于，还包括红外模组，所述红外模组包括红外探测器及与所述红外探测器连接的信号转换模块；

所述红外探测器用于响应于相机应用程序的操作请求采集红外图像原始数据；所述信号转换模块具体用于将红外图像原始数据转换为数据格式类型为MIPI RAW14的所述目标格式图像数据。

9.如权利要求7所述红外图像数据处理系统，其特征在于，所述驱动层包括内核驱动程序及相机服务子系统；

所述相机服务子系统向上通过内核驱动接口连接于所述内核驱动程序；

所述相机服务子系统向下通过相机接口连接相机控制模块和相机设备，其中，所述相机服务子系统包括通过预定义的支持目标格式数据传输的相机设备接口连接所述红外探测器。

10.如权利要求7所述红外图像数据处理系统，其特征在于，还包括框架服务层，所述框架服务层包括相机服务，所述相机应用程序通过通用接口与所述相机服务进行操作及数据传递，所述硬件抽象层通过标准通信协议及接口与所述相机服务连接。

11.如权利要求10所述红外图像数据处理系统，其特征在于，所述硬件抽象层包括与所述相机服务子系统连接的接口层、与所述接口层连接且支持所述目标格式图像数据的数据格式类型的数据传输的所述数据通道；

所述硬件抽象层通过所述接口层获取内核空间返回的所述目标格式图像数据；所述数据通道将所述目标格式图像数据进行转换和解析，将所述目标格式图像数据返回所述相机服务，通过所述相机服务将接收到的所述目标格式图像数据缓存至响应于所述相机应用程序的所述操作请求对应建立的数据容器内。

12.一种红外热成像设备，其特征在于，包括存储器、处理器及与所述处理器连接的红外模组；

所述红外模组，用于响应于相机应用程序的操作请求采集红外图像原始数据，将所述红外图像原始数据转换为数据格式类型为MIPI RAW14的目标格式图像数据；

所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的红外图像数据处理方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的红外图像数据处理方法。

Images