CN113792592A - 图像采集处理方法和图像采集处理装置 - Google Patents

图像采集处理方法和图像采集处理装置 Download PDF

Info

Publication number
CN113792592A
CN113792592A CN202110909327.0A CN202110909327A CN113792592A CN 113792592 A CN113792592 A CN 113792592A CN 202110909327 A CN202110909327 A CN 202110909327A CN 113792592 A CN113792592 A CN 113792592A
Authority
CN
China
Prior art keywords
visible light
camera
optical axis
infrared
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110909327.0A
Other languages
English (en)
Other versions
CN113792592B (zh
Inventor
刘若鹏
栾琳
詹建明
陈其勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kuang Chi Space Technology Co Ltd
Original Assignee
Shenzhen Kuang Chi Space Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kuang Chi Space Technology Co Ltd filed Critical Shenzhen Kuang Chi Space Technology Co Ltd
Priority to CN202110909327.0A priority Critical patent/CN113792592B/zh
Publication of CN113792592A publication Critical patent/CN113792592A/zh
Priority to PCT/CN2022/095838 priority patent/WO2022257794A1/zh
Application granted granted Critical
Publication of CN113792592B publication Critical patent/CN113792592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025Living bodies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

公开了一种图像采集处理方法和图像采集处理装置,该图像采集处理装置包括设置可见光摄像头和红外光摄像头的设备和处理单元,可见光摄像头的光轴与设备的正视图平面垂直,红外光摄像头的光轴与设备的正视图平面的垂直轴线平行或相交,处理单元根据该图像采集处理方法进行图像处理,其中,该图像采集处理方法根据融合区域初始模型与可见光图像分辨率相关参数的比较获得融合区域,以对融合区域范围内的可见光图像进行分析。本发明的图像采集处理方法和图像采集处理装置根据融合区域初始模型与可见光图像分辨率相关参数的比较获得融合区域,使用便利,提高了图像采集处理效率。

Description

图像采集处理方法和图像采集处理装置
技术领域
本发明涉及图像处理技术领域,具体地,涉及图像采集处理方法和图像采集处理装置。
背景技术
目前存在很多红外线测温和人脸检测识别设备,这些测温和人脸检测识别设备都是固定式安装设备,其中往往红外摄像头模块与可见光摄像头模块集成在一起,这两种摄像头模块的相对位置和相对角度固定,例如采取双光(红外光和可见光或白光)模组设计,由于是双光模组设计上就让两个摄像头模块中心光轴平行固定不发生改变,两个摄像头模块中心的Z轴方向的位置相同,纵向(Y轴方向)高度相同并且固定,横向(X 轴方向)相对位置固定并且距离非常小,或者两个摄像头模块中心纵向(Y 轴方向)高度相对位置偏差固定,横向(X轴方向)位置相同并且固定。
这些固定式的红外线测温和人脸检测识别设备存在四个特点:一、两个摄像头模块中心光轴平行,二、两个摄像头模块Z轴的零点坐标位置相同,三、Y轴的零点坐标位置相同或X轴的零点坐标位置相同,四、这些固定式的红外线测温设备的融合区域范围往往通过手动操作软件来设置完成,设置完成后一般不用重新修改。
这些特点给两个不同摄像头画面的数据融合提供有利条件,但在许多产品设计和各种实际解决方案中,红外摄像头、可见光摄像头这两个模块不是设计在同一位置,从而导致两个摄像头模块中心光轴不平行(存在夹角),另外两个摄像头模块空间位置的XYZ三轴的零点坐标位置也不相同,增加了融合的区域的判断难度。
在穿戴式的应用场景中,不同身高的人穿戴及不同场景应用时常常需要对可见光摄像头或红外光摄像头的角度进行调整,而每一次角度的调整,都需要重新修改区域范围,否则浪费终端设备的图像检测计算资源,如果采用采取传统方法让使用者通过操作软件进行手动设置融合区域范围,会增加使用者的技术要求,占用使用者的时间,而且增加了使用复杂度,影响使用体验和效率,工作效率低。
发明内容
鉴于上述问题,本发明的目的在于提供一种图像采集处理方法,从而自动获得融合区域范围,对融合区域内的可见光图像进行处理,获得采集图像的特征信息,提高图像识别处理效率。
根据本发明的一方面,提供一种图像采集处理方法,包括:
采用设备的可见光摄像头和红外光摄像头同时进行图像采集,所述红外光摄像头的光轴和所述可见光摄像头的光轴中的至少一个与所述设备的正视图平面垂直设备;
根据融合区域初始模型参数获得过渡区域;
根据所述过渡区域与可见光图像像素分辨率的比较获得融合区域;
对所述融合区域范围内的可见光图像进行分析,以获得采集图像的特征信息。
可选地,所述融合区域初始模型根据所述红外摄像头和所述可见光摄像头的固定参数获得。
可选地,所述可见光摄像头的光轴与所述正视图平面垂直,所述融合区域初始模型参数包括:
Figure DEST_PATH_1
Figure DEST_PATH_2
其中,
x1≤xVR≤x2,y1≤yVR≤y2
xVR和yVR对应所述过渡区域的像素坐标,m、n、d分别为所述可见光摄像头与所述红外光摄像头在X、Z、Y轴上的投影的距离,Lmax为所述可见光摄像头能够检测出图像对应物的最远距离,
Figure BDA0003203124220000031
为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角,γ为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角,所述设备的正视图平面的垂直轴与Z轴平行,wIR为红外光光摄像头水平显示分辨率,hIR为红外光摄像头垂直显示分辨率, wVR为红外光光摄像头水平显示分辨率,hVR为红外光摄像头垂直显示分辨率,
Figure BDA0003203124220000032
α为可见光水平视场角,β为可见光垂直视场角,θ为红外光水平视场角,φ为红外光垂直视场角。
可选地,所述红外光摄像头的光轴与所述正视图平面垂直,所述融合区域初始模型参数包括:
Figure DEST_PATH_3
Figure 100002_1
其中,
x1≤xVR≤x2,y1≤yVR≤y2
xVR和yVR对应所述过渡区域的像素坐标,m、n、d分别为所述可见光摄像头与所述红外光摄像头在X、Z、Y轴上的投影的距离,Lmax为所述可见光摄像头能够检测出图像对应物的最远距离,
Figure BDA0003203124220000035
为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角,γ为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角,所述设备的正视图平面的垂直轴与Z轴平行,wIR为红外光光摄像头水平显示分辨率,hIR为红外光摄像头垂直显示分辨率, wVR为红外光光摄像头水平显示分辨率,hVR为红外光摄像头垂直显示分辨率,
Figure BDA0003203124220000041
α为可见光水平视场角,β为可见光垂直视场角,θ为红外光水平视场角,φ为红外光垂直视场角。
可选地,根据过渡区域与可见光图像像素分辨率的比较获得融合区域的步骤包括:
根据所述过渡区域的像素坐标的上限和下限与可见光图像分辨率的比较,获得所述融合区域的像素坐标的上限和下限。
可选地,根据所述融合区域初始模型中的所述可见光图像像素坐标的上限和下限与可见光分辨率相关参数,获得所述融合区域范围的上限和下限的步骤包括:
在x1>-wVR时,wmin=x1,否则,wmin=-wVR
在x2<wVR时,wmax=x2,否则,wmax=wVR
在y1>-hVR时,hmin=y1,否则,hmin=-hVR
在y2<hVR时,hmax=y2,否则,hmax=hVR
所述融合区域的像素坐标满足wmin≤xVR≤wmax,hmin≤yVR≤ hmax
可选地,所述可见光摄像头和所述红外光摄像头所述X、Y、Z轴上的投影均彼此间隔。
可选地,还包括:
对所述可见光摄像头和所述红外光摄像头进行标定,以确认所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角,和确认所述红外光摄像头的光轴与所述可见光摄像头的光轴在 ZOY平面上的投影的夹角。
可选地,所述对所述可见光摄像头和所述红外光摄像头进行标定的步骤包括:
通过固定了的所述可见光摄像头和所述红外光摄像头对同一物体进行图像采集,获得所述同一物体的可见光图像和红外光图像;
根据所述同一物体的可见光图像和红外光图像的所述同一物体的相同位置的横向长度和纵向长度进行计算,获得所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角,和所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角。
可选地,所述对所述可见光摄像头和所述红外光摄像头进行标定的步骤包括:
调节所述可见光摄像头和所述红外光摄像头的至少一个的光轴,使同一物体的相同位置位于可见光画面和红外光画面的各自的特定位置,以将所述可见光摄像头和所述红外光摄像头的光轴的夹角调整为预设值,以确认所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角,和确认所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角。
根据本发明的另一方面,提供一种图像采集处理装置,包括:
设备,所述设备包括可见光摄像头和红外光摄像头,所述可见光摄像头的光轴与所述设备的正视图平面垂直;
处理单元,采用根据本发明提供的图像处理方法获得采集图像的特征信息。
本发明提供的图像采集处理方法固定红外光摄像头和可见光摄像头,根据融合区域初始模型与可见光图像分辨率相关参数的比较获得融合区域,对融合区域内的可见光图像进行处理,获得采集图像的特征信息,其中,融合区域初始模型与可见光图像分辨率相关参数的比较可通过软件计算处理,可自动获得融合区域,无需人工再调试,提高了图像采集处理效率。
本发明提供的图像采集处理装置采用本发明提供的图像采集处理方法进行图像采集处理,可自动获得融合区域,并对融合区域的可见光图像进行图像分析,无需对设备进行人工再调试,提高了图像处理效率。
附图说明
通过以下参照附图对本发明实施例的描述,本发明的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示出了根据本发明实施例的图像采集处理方法的摄像头在XOZ 平面布置示意图;
图2示出了根据本发明实施例的图像采集处理方法的摄像头在YOZ 平面布置示意图;
图3示出了根据本发明另一实施例的图像采集处理方法的摄像头在 XOZ平面布置示意图;
图4示出了根据本发明另一实施例的图像采集处理方法的摄像头在 YOZ平面布置示意图;
图5示出了根据本发明实施例的图像采集处理方法的流程示意图;
图6示出了采用根据本发明实施例的图像采集处理方法的设备的部分界面示意图。
具体实施方式
以下将参照附图更详细地描述本发明的各种实施例。在各个附图中,相同的元件采用相同或类似的附图标记来表示。为了清楚起见,附图中的各个部分没有按比例绘制。
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。
图1和图2示出了根据本发明实施例的图像采集处理方法的摄像头布置示意图。
参照图1和图2,在本发明实施例的图像采集处理方法中,设备03 中设置可见光摄像头01和红外光摄像头02,可见光摄像头01的光轴11 与设备03的正视图平面31垂直,红外光摄像头02与可见光摄像头01 间隔设置,在本实施例中,红外光摄像头02与可见光摄像头01在X、 Y、Z轴上的投影均相互间隔,且在Z轴上的投影的距离为n。
其中,可见光摄像头01和红外光摄像头02的光轴偏差和间距不宜过大,以保障其画面中的同一物体的位置无旋转,降低融合配准偏差,进而提高获得的融合区域的可靠性。本发明实施例的图像采集处理方法可在可见光摄像头01和红外光摄像头02具有一定偏差的情况下保障图像采集处理效率,但其具体的安装要求根据实际情况确认,在此不作特别限定。
在本实施例中,红外光摄像头02的光轴21与设备03的正视图平面的垂直轴线相交,且红外光摄像头02的光轴21与可见光摄像头的光11 轴在ZOX平面上的投影的夹角为
Figure BDA0003203124220000072
在ZOY平面上的投影的夹角为γ,夹角预先测试标定,对应无需要求红外光摄像头02的光轴21与可见光摄像头01的光轴11平行,与一般的应用场景的摄像头的实际情况相匹配,无需调节设备的硬件配置,应用简单。
在一可选实施例中,红外光摄像头02的光轴21与可见光摄像头01 的光轴11在ZOX平面上的投影的夹角
Figure BDA0003203124220000073
和在ZOY平面上的投影的夹角γ的标定包括:
选择一个距离可见光摄像头01的水平距离为Lc(距离选择范围为 0.5米至7米)的物体,通过可见光摄像头01和红外光摄像头02同时采集该物体(该物体为规则长方体、正方体或人体的部分,例如人体的头部)的图像,并且测了出物体相同位置的横向长度(在X轴上的投影长度)和纵向长度(在Y轴上的投影长度),获得物体的可见光图像的横向长度LIR和纵向长度WIR,以及物体的红外光图像的横向长度LVR和纵向长度WVR,然后根据可见光图像与红外光图像的配准模型计算得到红外光摄像头02的光轴21与可见光摄像头01的光轴11在ZOX平面上的投影的夹角
Figure BDA0003203124220000074
和在ZOY平面上的投影的夹角γ。其中,物体相同位置的横向长度和纵向长度的测量可通过软件自动测量计算获得,或人工根据采集图像进行手工测量计算获得。
其中,可见光图像与红外光图像的配准模型为:
Figure BDA0003203124220000071
其中,参数A和C 参见下文。
在另一可选实施例中,红外光摄像头02的光轴21与可见光摄像头的光轴11在ZOX平面上的投影的夹角
Figure BDA0003203124220000081
和在ZOY平面上的投影的夹角γ的标定包括:
选择一个距离可见光摄像头01的水平距离为Lc(距离选择范围为 0.5米至7米)的物体,调整可见光摄像头01的光轴11(或调整红外光摄像头02的光轴21),使该物体的相同位置位于可见光画面和红外光画面的特定位置,以将红外光摄像头02的光轴21与可见光摄像头的光轴 11在ZOX平面上的投影的夹角
Figure BDA0003203124220000082
和在ZOY平面上的投影的夹角γ调整为设定值。
其中,例如该特定位置的对应的可见光图像的像素坐标xIR和yIR为0,对应的红外光图像的像素坐标xVR和yVR也为0,对应的可见光图像与红外光图像的配准模型为:
Figure BDA0003203124220000083
Figure BDA0003203124220000084
例如,特定位置的对应的可见光图像的像素坐标xIR和yIR为0,对应的红外光图像的像素坐标xVR为200,yVR为100,则对应的可见光图像与红外光图像的配准模型为:
Figure BDA0003203124220000085
Figure BDA0003203124220000086
图5示出了根据本发明实施例的图像采集处理方法的流程示意图。
参照图5,本发明实施例的图像采集处理方法包括:
步骤S01:基于可见光摄像头和红外光摄像头的各自参数及相关参数获得融合区域初始模型,以根据融合区域初始模型获得过渡区域。
其中,融合区域初始模型的参数包括:
Figure 493878DEST_PATH_1
Figure 351921DEST_PATH_2
其中,x1≤xVR≤x2,y1≤yVR≤y2,其中,A、B、C、D为转换变量,用于简化上述x1~y2的公式变大,具体的:
Figure BDA0003203124220000091
Figure BDA0003203124220000092
xVR和yVR对应在可见光图像中的像素坐标,根据该融合区域初始模型获得的范围为过渡区域, m、n、d分别为所述可见光摄像头与所述红外光摄像头在X、Z、Y轴上的投影的距离,Lmax为所述可见光摄像头能够检测出图像对应物的最远距离,
Figure BDA0003203124220000093
为所述红外光摄像头的光轴与所述可见光摄像头的光轴在 ZOX平面上的投影的夹角,γ为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角,所述设备的正视图平面的垂直轴与Z轴平行,wIR为红外光光摄像头水平显示分辨率,hIR为红外光摄像头垂直显示分辨率,wVR为红外光光摄像头水平显示分辨率,hVR为红外光摄像头垂直显示分辨率,α为可见光水平视场角,β为可见光垂直视场角,θ为红外光水平视场角,φ为红外光垂直视场角,A、B、C、 D适用于前文的标定中的模型参数。
其中,过渡区域为方形,xVR和yVR分别对应其水平方向的像素坐标和垂直方向的像素坐标,例如图像分辨率为M*N,其水平方向的像素坐标对应M参数,垂直方向的像素坐标对应N参数。
在图3和图4所示的另一实施例中,红外光摄像头02的光轴21与设备的正视图平面垂直,可见光摄像头01的光轴11与设备的正视图平面不垂直,对应的,其融合区域初始模型参数包括:
Figure 642675DEST_PATH_3
Figure 100002_1
过渡区域(xVR,yVR)满足:x1≤xVR≤x2,y1≤yVR≤y2,其中,其它参数与前述实施例的其它参数相同,在此不再详述。本实施例的过渡区域的后续处理与前述实施例的过渡区域的后续处理相同,后续也不再赘述。
步骤S02:根据过渡区域与可见光图像的分辨率的比较获得融合区域。
其中,包括根据融合区域初始模型获得的过渡区域的像素坐标的上限和下限与可见光图像的分辨率的比较获得融合区范围的上限和下限,对应获得方形的融合区域。
具体地,在在x1>-wVR时,wmin=x1,否则,wmin=-wVR
在x2<wVR时,wmax=x2,否则,wmax=wVR
在y1>-hVR时,hmin=y1,否则,hmin=-hVR
在y2<hVR时,hmax=y2,否则,hmax=hVR
融合区域的像素坐标满足wmin≤xVR≤wmax,hmin≤yVR≤hmax。对应的融合区域范围小于等于可见光图像像素范围。
步骤S03:对融合区域范围内的可见光图像进行图像分析,以获得采集图像的特征信息。在本实施例中,仅对融合区域范围内的可将光图像进行图像分析,仅获得融合区域范围内的采集图像的特征信息,可降低计算分析获得特征信息的计算量,提高运算效率,提高图像处理效率。
图6示出了采用根据本发明实施例的图像采集处理方法的设备的部分界面示意图。
参照图6,对应可见光图像区域40可覆盖该设备界面全域,融合区域41小于可见光图像区域40,对最终仅对融合区域41范围内的图像数据进行处理,获得采集对象A的信息,并将采集对象A的信息单独显示在界面的左下角,对融合区域41外的采集对象B的信息不进行采集,有效降低了数据处理量。
其中,采集对象A和采集对象B例如为人脸,红外摄像头用于采集人脸的温度,仅对融合区域41范围内的可见光图像进行人脸识别,可快速锁定采集对象A,进而可快速对锁定的采集对象A的人脸温度进行检测,并将测试结果单独显示在界面的左下角,可提高人脸识别及温度检测的效率。
本发明的图像采集处理方法采用可见光摄像头和红外光摄像头同时采集图像,根据融合区域初始模型与可见光分辨率的比较获得融合区域范围,其中,对融合区域范围内的可见光图像进行分析,获得采集图像的特征信息,可降低数据处理量,节约计算资源,提高图像处理效率。在人脸识别等图像分析处理中可有效提高处理效率。
根据可见光摄像头和红外光摄像头的固定参数和相关参数获得融合区域初始模型,可见光摄像头和红外光摄像头的固定参数和相关参数标定后无需再调整,保障了使用的便捷性。
本发明还提供一种图像采集处理装置,包括设置在设备的红外光摄像头和可见光摄像头,以及处理单元,处理单元可设置在设备或其它区域,用于对摄像头获得的图像进行分析计算,其中,可见光摄像头的光轴与设备的正视图平面垂直,红外光摄像头的光轴与设备的正视图平面的垂直轴线平行或相交,该处理单元采用本发明提供的图像采集处理方法对采集图像进行分析计算,以获得采集图像的特征信息,可节约算力,提高图像处理效率。且由处理单元进行软件计算,无需再调试,使用方便,提高了用户体验。
依照本发明的实施例如上文所述,这些实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施例。显然,根据以上描述,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (11)

1.一种图像采集处理方法,其特征在于,包括:
采用设备的可见光摄像头和红外光摄像头同时进行图像采集,所述红外光摄像头的光轴和所述可见光摄像头的光轴中的至少一个与所述设备的正视图平面垂直设备;
根据融合区域初始模型参数获得过渡区域;
根据所述过渡区域与可见光图像像素分辨率的比较获得融合区域;
对所述融合区域范围内的可见光图像进行分析,以获得采集图像的特征信息。
2.根据权利要求1所述的图像采集处理方法,其特征在于,
所述融合区域初始模型根据所述红外摄像头和所述可见光摄像头的固定参数获得。
3.根据权利要求2所述的图像采集处理方法,其特征在于,所述可见光摄像头的光轴与所述正视图平面垂直,所述融合区域初始模型参数包括:
Figure 1
Figure 2
其中,
x1≤xVR≤x2,y1≤yVR≤y2
xVR和yVR对应所述过渡区域的像素坐标,m、n、d分别为所述可见光摄像头与所述红外光摄像头在X、Z、Y轴上的投影的距离,Lmax为所述可见光摄像头能够检测出图像对应物的最远距离,
Figure FDA0003203124210000013
为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角,γ为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角,所述设备的正视图平面的垂直轴与Z轴平行,wIR为红外光光摄像头水平显示分辨率,hIR为红外光摄像头垂直显示分辨率,wVR为红外光光摄像头水平显示分辨率,hVR为红外光摄像头垂直显示分辨率,
Figure FDA0003203124210000021
α为可见光水平视场角,β为可见光垂直视场角,θ为红外光水平视场角,φ为红外光垂直视场角。
4.根据权利要求2所述的图像采集处理方法,其特征在于,所述红外光摄像头的光轴与所述正视图平面垂直,所述融合区域初始模型参数包括:
Figure 3
Figure 4
其中,
x1≤xVR≤x2,y1≤yVR≤y2
xVR和yVR对应所述过渡区域的像素坐标,m、n、d分别为所述可见光摄像头与所述红外光摄像头在X、Z、Y轴上的投影的距离,Lmax为所述可见光摄像头能够检测出图像对应物的最远距离,
Figure FDA0003203124210000024
为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角,γ为所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角,所述设备的正视图平面的垂直轴与Z轴平行,wIR为红外光光摄像头水平显示分辨率,hIR为红外光摄像头垂直显示分辨率,wVR为红外光光摄像头水平显示分辨率,hVR为红外光摄像头垂直显示分辨率,
Figure FDA0003203124210000031
α为可见光水平视场角,β为可见光垂直视场角,θ为红外光水平视场角,φ为红外光垂直视场角。
5.根据权利要求3或4所述的图像采集处理方法,其特征在于,根据过渡区域与可见光图像像素分辨率的比较获得融合区域的步骤包括:
根据所述过渡区域的像素坐标的上限和下限与可见光图像分辨率的比较,获得所述融合区域的像素坐标的上限和下限。
6.根据权利要求5所述的图像采集处理方法,其特征在于,根据所述融合区域初始模型中的所述可见光图像像素坐标的上限和下限与可见光分辨率相关参数,获得所述融合区域范围的上限和下限的步骤包括:
在x1>-wVR时,wmin=x1,否则,wmin=-wVR
在x2<wVR时,wmax=x2,否则,wmax=wVR
在y1>-hVR时,hmin=y1,否则,hmin=-hVR
在y2<hVR时,hmax=y2,否则,hmax=hVR
所述融合区域的像素坐标满足wmin≤xVR≤wmax,hmin≤yVR≤hmax
7.根据权利要求3或4所述的图像采集处理方法,其特征在于,
所述可见光摄像头和所述红外光摄像头所述X、Y、Z轴上的投影均彼此间隔。
8.根据权利要求3或4所述的图像采集处理方法,其特征在于,还包括:
对所述可见光摄像头和所述红外光摄像头进行标定,以确认所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角,和确认所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角。
9.根据权利要求8所述的图像采集处理方法,其特征在于,所述对所述可见光摄像头和所述红外光摄像头进行标定的步骤包括:
通过固定了的所述可见光摄像头和所述红外光摄像头对同一物体进行图像采集,获得所述同一物体的可见光图像和红外光图像;
根据所述同一物体的可见光图像和红外光图像的所述同一物体的相同位置的横向长度和纵向长度进行计算,获得所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角,和所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角。
10.根据权利要求8所述的图像采集处理方法,其特征在于,所述对所述可见光摄像头和所述红外光摄像头进行标定的步骤包括:
调节所述可见光摄像头和所述红外光摄像头的至少一个的光轴,使同一物体的相同位置位于可见光画面和红外光画面的各自的特定位置,以将所述可见光摄像头和所述红外光摄像头的光轴的夹角调整为预设值,以确认所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOX平面上的投影的夹角,和确认所述红外光摄像头的光轴与所述可见光摄像头的光轴在ZOY平面上的投影的夹角。
11.一种图像采集处理装置,其特征在于,包括:
设备,所述设备包括可见光摄像头和红外光摄像头,所述可见光摄像头的光轴与所述设备的正视图平面垂直;
处理单元,采用根据权利要求1至10任一项所述的图像处理方法获得采集图像的特征信息。
CN202110909327.0A 2021-06-08 2021-08-09 图像采集处理方法和图像采集处理装置 Active CN113792592B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110909327.0A CN113792592B (zh) 2021-08-09 2021-08-09 图像采集处理方法和图像采集处理装置
PCT/CN2022/095838 WO2022257794A1 (zh) 2021-06-08 2022-05-30 可见光图像和红外图像的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110909327.0A CN113792592B (zh) 2021-08-09 2021-08-09 图像采集处理方法和图像采集处理装置

Publications (2)

Publication Number Publication Date
CN113792592A true CN113792592A (zh) 2021-12-14
CN113792592B CN113792592B (zh) 2024-05-07

Family

ID=79181642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110909327.0A Active CN113792592B (zh) 2021-06-08 2021-08-09 图像采集处理方法和图像采集处理装置

Country Status (1)

Country Link
CN (1) CN113792592B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090065695A1 (en) * 2007-09-11 2009-03-12 Demarco Robert Infrared camera for locating a target using at least one shaped light source
WO2017182004A1 (zh) * 2016-04-22 2017-10-26 苏州思源科安信息技术有限公司 用于移动终端虹膜识别的引导指示人机接口系统和方法
KR101841939B1 (ko) * 2016-12-12 2018-03-27 인천대학교 산학협력단 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법
WO2018120936A1 (en) * 2016-12-27 2018-07-05 Zhejiang Dahua Technology Co., Ltd. Systems and methods for fusing infrared image and visible light image
CN110110629A (zh) * 2019-04-25 2019-08-09 北京工业大学 面向室内环境控制的人员信息检测方法与系统
JP2019216376A (ja) * 2018-06-13 2019-12-19 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
KR102061445B1 (ko) * 2019-02-22 2019-12-31 써모아이 주식회사 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치
CN111739069A (zh) * 2020-05-22 2020-10-02 北京百度网讯科技有限公司 图像配准方法、装置、电子设备及可读存储介质
CN112767291A (zh) * 2021-01-04 2021-05-07 浙江大华技术股份有限公司 可见光图像和红外图像融合方法、设备及可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090065695A1 (en) * 2007-09-11 2009-03-12 Demarco Robert Infrared camera for locating a target using at least one shaped light source
WO2017182004A1 (zh) * 2016-04-22 2017-10-26 苏州思源科安信息技术有限公司 用于移动终端虹膜识别的引导指示人机接口系统和方法
KR101841939B1 (ko) * 2016-12-12 2018-03-27 인천대학교 산학협력단 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법
WO2018120936A1 (en) * 2016-12-27 2018-07-05 Zhejiang Dahua Technology Co., Ltd. Systems and methods for fusing infrared image and visible light image
JP2019216376A (ja) * 2018-06-13 2019-12-19 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
KR102061445B1 (ko) * 2019-02-22 2019-12-31 써모아이 주식회사 가시광 및 적외선 융합 영상 기반 객체 검출 방법 및 장치
CN110110629A (zh) * 2019-04-25 2019-08-09 北京工业大学 面向室内环境控制的人员信息检测方法与系统
CN111739069A (zh) * 2020-05-22 2020-10-02 北京百度网讯科技有限公司 图像配准方法、装置、电子设备及可读存储介质
CN112767291A (zh) * 2021-01-04 2021-05-07 浙江大华技术股份有限公司 可见光图像和红外图像融合方法、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
闫钧华;朱智超;孙思佳;杭谊青;: "基于多尺度红外与可见光图像配准研究", 激光与红外, no. 03 *

Also Published As

Publication number Publication date
CN113792592B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
EP3403403B1 (en) Calibration method and apparatus for panoramic stereo video system
US9002094B2 (en) Image processing device and image processing method
US8600192B2 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
US8179448B2 (en) Auto depth field capturing system and method thereof
US20100085422A1 (en) Imaging apparatus, imaging method, and program
EP1031812A2 (en) Measurement apparatus
CN107392853B (zh) 双摄像头视频融合畸变校正与视点微调整方法及系统
US20120147149A1 (en) System and method for training a model in a plurality of non-perspective cameras and determining 3d pose of an object at runtime with the same
JP5430138B2 (ja) 形状測定装置およびプログラム
CN109920004B (zh) 图像处理方法、装置、标定物组合、终端设备及标定系统
US7409152B2 (en) Three-dimensional image processing apparatus, optical axis adjusting method, and optical axis adjustment supporting method
KR20170041636A (ko) 표시 제어장치, 표시 제어방법 및 프로그램
JP5079547B2 (ja) カメラキャリブレーション装置およびカメラキャリブレーション方法
CN110838164A (zh) 基于物体点深度的单目图像三维重建方法、系统及装置
CN114577135B (zh) 基于单镜头的芯片引脚翘曲的3d检测方法及系统
TW201335884A (zh) 使用ar技術之電腦圖形.影像處理系統以及方法
KR20100104166A (ko) 카메라 캘리브레이션 방법
CN113792592B (zh) 图像采集处理方法和图像采集处理装置
WO2024055531A1 (zh) 照度计数值识别方法、电子设备及存储介质
US20030012435A1 (en) Apparatus and method for machine vision
WO2023184783A1 (zh) 图像检测识别装置及其检测识别方法
US20180061135A1 (en) Image display apparatus and image display method
CN112995641A (zh) 一种3d模组成像装置及方法、电子设备
CN105989587B (zh) 一种多功能oct系统的自动定标方法
CN111536895B (zh) 外形识别装置、外形识别系统以及外形识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant