CN113792592B - 图像采集处理方法和图像采集处理装置 - Google Patents

Abstract

公开了一种图像采集处理方法和图像采集处理装置，该图像采集处理装置包括设置可见光摄像头和红外光摄像头的设备和处理单元，可见光摄像头的光轴与设备的正视图平面垂直，红外光摄像头的光轴与设备的正视图平面的垂直轴线平行或相交，处理单元根据该图像采集处理方法进行图像处理，其中，该图像采集处理方法根据融合区域初始模型与可见光图像分辨率相关参数的比较获得融合区域，以对融合区域范围内的可见光图像进行分析。本发明的图像采集处理方法和图像采集处理装置根据融合区域初始模型与可见光图像分辨率相关参数的比较获得融合区域，使用便利，提高了图像采集处理效率。

Description

图像采集处理方法和图像采集处理装置

技术领域

本发明涉及图像处理技术领域，具体地，涉及图像采集处理方法和图像采集处理装置。

背景技术

目前存在很多红外线测温和人脸检测识别设备，这些测温和人脸检测识别设备都是固定式安装设备，其中往往红外摄像头模块与可见光摄像头模块集成在一起，这两种摄像头模块的相对位置和相对角度固定，例如采取双光(红外光和可见光或白光)模组设计，由于是双光模组设计上就让两个摄像头模块中心光轴平行固定不发生改变，两个摄像头模块中心的Z轴方向的位置相同，纵向(Y轴方向)高度相同并且固定,横向(X轴方向)相对位置固定并且距离非常小，或者两个摄像头模块中心纵向(Y轴方向)高度相对位置偏差固定,横向(X轴方向)位置相同并且固定。

这些固定式的红外线测温和人脸检测识别设备存在四个特点：一、两个摄像头模块中心光轴平行，二、两个摄像头模块Z轴的零点坐标位置相同，三、Y轴的零点坐标位置相同或X轴的零点坐标位置相同，四、这些固定式的红外线测温设备的融合区域范围往往通过手动操作软件来设置完成，设置完成后一般不用重新修改。

这些特点给两个不同摄像头画面的数据融合提供有利条件，但在许多产品设计和各种实际解决方案中，红外摄像头、可见光摄像头这两个模块不是设计在同一位置，从而导致两个摄像头模块中心光轴不平行(存在夹角)，另外两个摄像头模块空间位置的XYZ三轴的零点坐标位置也不相同，增加了融合的区域的判断难度。

在穿戴式的应用场景中，不同身高的人穿戴及不同场景应用时常常需要对可见光摄像头或红外光摄像头的角度进行调整，而每一次角度的调整，都需要重新修改区域范围，否则浪费终端设备的图像检测计算资源，如果采用采取传统方法让使用者通过操作软件进行手动设置融合区域范围，会增加使用者的技术要求，占用使用者的时间，而且增加了使用复杂度，影响使用体验和效率，工作效率低。

发明内容

鉴于上述问题，本发明的目的在于提供一种图像采集处理方法，从而自动获得融合区域范围，对融合区域内的可见光图像进行处理，获得采集图像的特征信息，提高图像识别处理效率。

根据本发明的一方面，提供一种图像采集处理方法，包括：

采用设备的可见光摄像头和红外光摄像头同时进行图像采集，所述红外光摄像头的光轴和所述可见光摄像头的光轴中的至少一个与所述设备的正视图平面垂直设备；

根据融合区域初始模型参数获得过渡区域；

根据所述过渡区域与可见光图像像素分辨率的比较获得融合区域；

对所述融合区域范围内的可见光图像进行分析，以获得采集图像的特征信息。

可选地，所述融合区域初始模型根据所述红外摄像头和所述可见光摄像头的固定参数获得。

可选地，所述可见光摄像头的光轴与所述正视图平面垂直，所述融合区域初始模型参数包括：

其中，

x₁≤x_VR≤x₂，y₁≤y_VR≤y₂，

x_VR和y_VR对应所述过渡区域的像素坐标，m、n、d分别为所述可见光摄像头与所述红外光摄像头在X、Z、Y轴上的投影的距离，L_max为所述可见光摄像头能够检测出图像对应物的最远距离，为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角，γ为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角，所述设备的正视图平面的垂直轴与Z轴平行，w_IR为红外光光摄像头水平显示分辨率，h_IR为红外光摄像头垂直显示分辨率，w_VR为可见光摄像头水平显示分辨率，h_VR为可见光摄像头垂直显示分辨率，

α为可见光水平视场角，β为可见光垂直视场角，θ为红外光水平视场角，φ为红外光垂直视场角。

可选地，所述红外光摄像头的光轴与所述正视图平面垂直，所述融合区域初始模型参数包括：

其中，

x₁≤x_VR≤x₂，y₁≤y_VR≤y₂，

x_VR和y_VR对应所述过渡区域的像素坐标，m、n、d分别为所述可见光摄像头与所述红外光摄像头在X、Z、Y轴上的投影的距离，L_max为所述可见光摄像头能够检测出图像对应物的最远距离，为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角，γ为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角，所述设备的正视图平面的垂直轴与Z轴平行，w_IR为红外光光摄像头水平显示分辨率，h_IR为红外光摄像头垂直显示分辨率，w_VR为可见光摄像头水平显示分辨率，h_VR为可见光摄像头垂直显示分辨率，

α为可见光水平视场角，β为可见光垂直视场角，θ为红外光水平视场角，φ为红外光垂直视场角。

可选地，根据过渡区域与可见光图像像素分辨率的比较获得融合区域的步骤包括：

根据所述过渡区域的像素坐标的上限和下限与可见光图像分辨率的比较，获得所述融合区域的像素坐标的上限和下限。

可选地，根据所述融合区域初始模型中的所述可见光图像像素坐标的上限和下限与可见光分辨率相关参数，获得所述融合区域范围的上限和下限的步骤包括：

在x₁＞-w_VR时，w_min＝x₁，否则，w_min＝-w_VR；

在x₂＜w_VR时，w_max＝x₂，否则，w_max＝w_VR；

在y₁＞-h_VR时，h_min＝y₁，否则，h_min＝-h_VR；

在y₂＜h_VR时，h_max＝y₂，否则，h_max＝h_VR，

所述融合区域的像素坐标满足w_min≤x_VR≤w_max，h_min≤y_VR≤h_max。

可选地，所述可见光摄像头和所述红外光摄像头所述X、Y、Z轴上的投影均彼此间隔。

可选地，还包括：

对所述可见光摄像头和所述红外光摄像头进行标定，以确认所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角，和确认所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角。

可选地，所述对所述可见光摄像头和所述红外光摄像头进行标定的步骤包括：

通过固定了的所述可见光摄像头和所述红外光摄像头对同一物体进行图像采集，获得所述同一物体的可见光图像和红外光图像；

根据所述同一物体的可见光图像和红外光图像的所述同一物体的相同位置的横向长度和纵向长度进行计算，获得所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角，和所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角。

可选地，所述对所述可见光摄像头和所述红外光摄像头进行标定的步骤包括：

调节所述可见光摄像头和所述红外光摄像头的至少一个的光轴，使同一物体的相同位置位于可见光画面和红外光画面的各自的特定位置，以将所述可见光摄像头和所述红外光摄像头的光轴的夹角调整为预设值，以确认所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角，和确认所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角。

根据本发明的另一方面，提供一种图像采集处理装置，包括：

设备，所述设备包括可见光摄像头和红外光摄像头，所述可见光摄像头的光轴与所述设备的正视图平面垂直；

处理单元，采用根据本发明提供的图像处理方法获得采集图像的特征信息。

本发明提供的图像采集处理方法固定红外光摄像头和可见光摄像头，根据融合区域初始模型与可见光图像分辨率相关参数的比较获得融合区域，对融合区域内的可见光图像进行处理，获得采集图像的特征信息，其中，融合区域初始模型与可见光图像分辨率相关参数的比较可通过软件计算处理，可自动获得融合区域，无需人工再调试，提高了图像采集处理效率。

本发明提供的图像采集处理装置采用本发明提供的图像采集处理方法进行图像采集处理，可自动获得融合区域，并对融合区域的可见光图像进行图像分析，无需对设备进行人工再调试，提高了图像处理效率。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示出了根据本发明实施例的图像采集处理方法的摄像头在XOZ平面布置示意图；

图2示出了根据本发明实施例的图像采集处理方法的摄像头在YOZ平面布置示意图；

图3示出了根据本发明另一实施例的图像采集处理方法的摄像头在XOZ平面布置示意图；

图4示出了根据本发明另一实施例的图像采集处理方法的摄像头在YOZ平面布置示意图；

图5示出了根据本发明实施例的图像采集处理方法的流程示意图；

图6示出了采用根据本发明实施例的图像采集处理方法的设备的部分界面示意图。

具体实施方式

以下将参照附图更详细地描述本发明的各种实施例。在各个附图中，相同的元件采用相同或类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按比例绘制。

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

图1和图2示出了根据本发明实施例的图像采集处理方法的摄像头布置示意图。

参照图1和图2，在本发明实施例的图像采集处理方法中，设备03中设置可见光摄像头01和红外光摄像头02，可见光摄像头01的光轴11与设备03的正视图平面31垂直，红外光摄像头02与可见光摄像头01间隔设置，在本实施例中，红外光摄像头02与可见光摄像头01在X、Y、Z轴上的投影均相互间隔，且在Z轴上的投影的距离为n。

其中，可见光摄像头01和红外光摄像头02的光轴偏差和间距不宜过大，以保障其画面中的同一物体的位置无旋转，降低融合配准偏差，进而提高获得的融合区域的可靠性。本发明实施例的图像采集处理方法可在可见光摄像头01和红外光摄像头02具有一定偏差的情况下保障图像采集处理效率，但其具体的安装要求根据实际情况确认，在此不作特别限定。

在本实施例中，红外光摄像头02的光轴21与设备03的正视图平面的垂直轴线相交，且红外光摄像头02的光轴21与可见光摄像头的光11轴在ZOX平面上的投影的夹角为在ZOY平面上的投影的夹角为γ，夹角预先测试标定，对应无需要求红外光摄像头02的光轴21与可见光摄像头01的光轴11平行，与一般的应用场景的摄像头的实际情况相匹配，无需调节设备的硬件配置，应用简单。

在一可选实施例中，红外光摄像头02的光轴21与可见光摄像头01的光轴11在ZOX平面上的投影的夹角和在ZOY平面上的投影的夹角γ的标定包括：

选择一个距离可见光摄像头01的水平距离为L_c(距离选择范围为0.5米至7米)的物体，通过可见光摄像头01和红外光摄像头02同时采集该物体(该物体为规则长方体、正方体或人体的部分，例如人体的头部)的图像，并且测了出物体相同位置的横向长度(在X轴上的投影长度)和纵向长度(在Y轴上的投影长度)，获得物体的可见光图像的横向长度L_VR和纵向长度W_VR，以及物体的红外光图像的横向长度L_IR和纵向长度W_IR，然后根据可见光图像与红外光图像的配准模型计算得到红外光摄像头02的光轴21与可见光摄像头01的光轴11在ZOX平面上的投影的夹角和在ZOY平面上的投影的夹角γ。其中，物体相同位置的横向长度和纵向长度的测量可通过软件自动测量计算获得，或人工根据采集图像进行手工测量计算获得。

其中，可见光图像与红外光图像的配准模型为：

其中，参数A和C参见下文。

在另一可选实施例中，红外光摄像头02的光轴21与可见光摄像头的光轴11在ZOX平面上的投影的夹角和在ZOY平面上的投影的夹角γ的标定包括：

选择一个距离可见光摄像头01的水平距离为L_c(距离选择范围为0.5米至7米)的物体，调整可见光摄像头01的光轴11(或调整红外光摄像头02的光轴21)，使该物体的相同位置位于可见光画面和红外光画面的特定位置，以将红外光摄像头02的光轴21与可见光摄像头的光轴11在ZOX平面上的投影的夹角和在ZOY平面上的投影的夹角γ调整为设定值。

其中，例如该特定位置的对应的可见光图像的像素坐标x_IR和y_IR为0，对应的红外光图像的像素坐标x_VR和y_VR也为0，对应的可见光图像与红外光图像的配准模型为：和/>

例如，特定位置的对应的可见光图像的像素坐标x_IR和y_IR为0，对应的红外光图像的像素坐标x_VR为200，y_VR为100，则对应的可见光图像与红外光图像的配准模型为：

和/>

图5示出了根据本发明实施例的图像采集处理方法的流程示意图。

参照图5，本发明实施例的图像采集处理方法包括：

步骤S01：基于可见光摄像头和红外光摄像头的各自参数及相关参数获得融合区域初始模型，以根据融合区域初始模型获得过渡区域。

其中，融合区域初始模型的参数包括：

其中，x₁≤x_VR≤x₂，y₁≤y_VR≤y₂，其中，A、B、C、D为转换变量，用于简化上述x₁～y₂的公式变大，具体的： x_VR和y_VR对应在可见光图像中的像素坐标，根据该融合区域初始模型获得的范围为过渡区域，m、n、d分别为所述可见光摄像头与所述红外光摄像头在X、Z、Y轴上的投影的距离，L_max为所述可见光摄像头能够检测出图像对应物的最远距离，/>为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角，γ为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角，所述设备的正视图平面的垂直轴与Z轴平行，w_IR为红外光光摄像头水平显示分辨率，h_IR为红外光摄像头垂直显示分辨率，w_VR为可见光摄像头水平显示分辨率，h_VR为可见光摄像头垂直显示分辨率，α为可见光水平视场角，β为可见光垂直视场角，θ为红外光水平视场角，φ为红外光垂直视场角，A、B、C、D适用于前文的标定中的模型参数。

其中，过渡区域为方形，x_VR和y_VR分别对应其水平方向的像素坐标和垂直方向的像素坐标，例如图像分辨率为M*N，其水平方向的像素坐标对应M参数，垂直方向的像素坐标对应N参数。

在图3和图4所示的另一实施例中，红外光摄像头02的光轴21与设备的正视图平面垂直，可见光摄像头01的光轴11与设备的正视图平面不垂直，对应的，其融合区域初始模型参数包括：

过渡区域(x_VR，y_VR)满足：x₁≤x_VR≤x₂，y₁≤y_VR≤y₂，其中，其它参数与前述实施例的其它参数相同，在此不再详述。本实施例的过渡区域的后续处理与前述实施例的过渡区域的后续处理相同，后续也不再赘述。

步骤S02：根据过渡区域与可见光图像的分辨率的比较获得融合区域。

其中，包括根据融合区域初始模型获得的过渡区域的像素坐标的上限和下限与可见光图像的分辨率的比较获得融合区范围的上限和下限，对应获得方形的融合区域。

具体地，在在x₁＞-w_VR时，w_min＝x₁，否则，w_min＝-w_VR；

在x₂＜w_VR时，w_max＝x₂，否则，w_max＝w_VR；

在y₁＞-h_VR时，h_min＝y₁，否则，h_min＝-h_VR；

在y₂＜h_VR时，h_max＝y₂，否则，h_max＝h_VR，

融合区域的像素坐标满足w_min≤x_VR≤w_max，h_min≤y_VR≤h_max。对应的融合区域范围小于等于可见光图像像素范围。

步骤S03：对融合区域范围内的可见光图像进行图像分析，以获得采集图像的特征信息。在本实施例中，仅对融合区域范围内的可将光图像进行图像分析，仅获得融合区域范围内的采集图像的特征信息，可降低计算分析获得特征信息的计算量，提高运算效率，提高图像处理效率。

图6示出了采用根据本发明实施例的图像采集处理方法的设备的部分界面示意图。

参照图6，对应可见光图像区域40可覆盖该设备界面全域，融合区域41小于可见光图像区域40，对最终仅对融合区域41范围内的图像数据进行处理，获得采集对象A的信息，并将采集对象A的信息单独显示在界面的左下角，对融合区域41外的采集对象B的信息不进行采集，有效降低了数据处理量。

其中，采集对象A和采集对象B例如为人脸，红外摄像头用于采集人脸的温度，仅对融合区域41范围内的可见光图像进行人脸识别，可快速锁定采集对象A，进而可快速对锁定的采集对象A的人脸温度进行检测，并将测试结果单独显示在界面的左下角，可提高人脸识别及温度检测的效率。

本发明的图像采集处理方法采用可见光摄像头和红外光摄像头同时采集图像，根据融合区域初始模型与可见光分辨率的比较获得融合区域范围，其中，对融合区域范围内的可见光图像进行分析，获得采集图像的特征信息，可降低数据处理量，节约计算资源，提高图像处理效率。在人脸识别等图像分析处理中可有效提高处理效率。

根据可见光摄像头和红外光摄像头的固定参数和相关参数获得融合区域初始模型，可见光摄像头和红外光摄像头的固定参数和相关参数标定后无需再调整，保障了使用的便捷性。

本发明还提供一种图像采集处理装置，包括设置在设备的红外光摄像头和可见光摄像头，以及处理单元，处理单元可设置在设备或其它区域，用于对摄像头获得的图像进行分析计算，其中，可见光摄像头的光轴与设备的正视图平面垂直，红外光摄像头的光轴与设备的正视图平面的垂直轴线平行或相交，该处理单元采用本发明提供的图像采集处理方法对采集图像进行分析计算，以获得采集图像的特征信息，可节约算力，提高图像处理效率。且由处理单元进行软件计算，无需再调试，使用方便，提高了用户体验。

依照本发明的实施例如上文所述，这些实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施例。显然，根据以上描述，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (6)

1.一种图像采集处理方法，其特征在于，包括：

采用设备的可见光摄像头和红外光摄像头同时进行图像采集，所述红外光摄像头的光轴或所述可见光摄像头的光轴与所述设备的正视图平面垂直；

根据融合区域初始模型参数获得过渡区域；所述融合区域初始模型根据所述红外光摄像头和所述可见光摄像头的固定参数获得；

根据所述过渡区域与可见光图像像素分辨率的比较获得融合区域；

对所述融合区域范围内的可见光图像进行分析，以获得采集图像的特征信息；

其中，在所述可见光摄像头的光轴与所述正视图平面垂直时，所述融合区域初始模型参数包括：

其中，

x₁≤x_VR≤x₂，y₁≤y_VR≤y₂，

x_VR和y_VR对应所述过渡区域的像素坐标，m、n、d分别为所述可见光摄像头与所述红外光摄像头在X、Z、Y轴上的投影的距离，L_max为所述可见光摄像头能够检测出图像对应物的最远距离，为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角，γ为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角，所述设备的正视图平面的垂直轴与Z轴平行，w_IR为红外光光摄像头水平显示分辨率，h_IR为红外光摄像头垂直显示分辨率，

α为可见光水平视场角，β为可见光垂直视场角，θ为红外光水平视场角，Φ为红外光垂直视场角，w_VR为可见光摄像头水平显示分辨率，h_VR为可见光摄像头垂直显示分辨率；

在所述红外光摄像头的光轴与所述正视图平面垂直时，所述融合区域初始模型参数包括：

其中，

x₁≤x_VR≤x₂，y₁≤y_VR≤y₂，

x_VR和y_VR对应所述过渡区域的像素坐标，m、n、d分别为所述可见光摄像头与所述红外光摄像头在X、Z、Y轴上的投影的距离，L_max为所述可见光摄像头能够检测出图像对应物的最远距离，为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角，γ为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角，所述设备的正视图平面的垂直轴与Z轴平行，w_IR为红外光光摄像头水平显示分辨率，h_IR为红外光摄像头垂直显示分辨率，

α为可见光水平视场角，β为可见光垂直视场角，θ为红外光水平视场角，Φ为红外光垂直视场角，w_VR为可见光摄像头水平显示分辨率，h_VR为可见光摄像头垂直显示分辨率；

其中，根据过渡区域与可见光图像像素分辨率的比较获得融合区域的步骤包括：

根据所述过渡区域的像素坐标的上限和下限与可见光图像分辨率的比较，获得所述融合区域的像素坐标的上限和下限；

根据所述融合区域初始模型中的所述可见光图像像素坐标的上限和下限与可见光分辨率相关参数，获得所述融合区域范围的上限和下限的步骤包括：

在x₁＞-w_VR时，w_min＝x₁，否则，w_min＝-w_VR；

在x₂＜w_VR时，w_max＝x₂，否则，w_max＝w_VR；

在y₁＞-h_VR时，h_min＝y₁，否则，h_min＝-h_VR；

在y₂＜h_VR时，h_max＝y₂，否则，h_max＝h_VR，

所述融合区域范围的上限和下限满足w_min≤x_VR≤w_max，h_min≤y_VR≤h_max。

2.根据权利要求1所述的图像采集处理方法，其特征在于，

所述可见光摄像头和所述红外光摄像头所述X、Y、Z轴上的投影均彼此间隔。

3.根据权利要求1所述的图像采集处理方法，其特征在于，还包括：

对所述可见光摄像头和所述红外光摄像头进行标定，以确认所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角，和确认所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角。

4.根据权利要求3所述的图像采集处理方法，其特征在于，所述对所述可见光摄像头和所述红外光摄像头进行标定的步骤包括：

通过固定了的所述可见光摄像头和所述红外光摄像头对同一物体进行图像采集，获得所述同一物体的可见光图像和红外光图像；

根据所述同一物体的可见光图像和红外光图像的所述同一物体的相同位置的横向长度和纵向长度进行计算，获得所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角，和所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角。

5.根据权利要求3所述的图像采集处理方法，其特征在于，所述对所述可见光摄像头和所述红外光摄像头进行标定的步骤包括：

调节所述可见光摄像头和所述红外光摄像头的至少一个的光轴，使同一物体的相同位置位于可见光画面和红外光画面的各自的特定位置，以将所述可见光摄像头和所述红外光摄像头的光轴的夹角调整为预设值，以确认所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角，和确认所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角。

6.一种图像采集处理装置，其特征在于，包括：

设备，所述设备包括可见光摄像头和红外光摄像头，所述可见光摄像头的光轴与所述设备的正视图平面垂直或所述红外光摄像头的光轴与所述设备的正视图平面垂直；

处理单元，采用根据权利要求1至5任一项所述的图像采集处理方法获得采集图像的特征信息。