CN114650405A - 一种立体视频最佳融像视差成像方法及装置 - Google Patents

一种立体视频最佳融像视差成像方法及装置 Download PDF

Info

Publication number
CN114650405A
CN114650405A CN202210279742.7A CN202210279742A CN114650405A CN 114650405 A CN114650405 A CN 114650405A CN 202210279742 A CN202210279742 A CN 202210279742A CN 114650405 A CN114650405 A CN 114650405A
Authority
CN
China
Prior art keywords
parallax
image
adjustment
feature point
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210279742.7A
Other languages
English (en)
Other versions
CN114650405B (zh
Inventor
张新
金磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing Zhitong Technology Co ltd
Original Assignee
Jiaxing Zhitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaxing Zhitong Technology Co ltd filed Critical Jiaxing Zhitong Technology Co ltd
Priority to CN202210279742.7A priority Critical patent/CN114650405B/zh
Publication of CN114650405A publication Critical patent/CN114650405A/zh
Application granted granted Critical
Publication of CN114650405B publication Critical patent/CN114650405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本发明公开了一种立体视频最佳融像视差成像方法及装置，包括双光路成像单元、视差机械调节单元、数字控制单元，根据显示器参数确定显示器的最佳融像视差范围，通过计算左右图像的匹配特征点，获得立体图像的垂直视差，根据立体视频的垂直视差和像素尺寸计算垂直方向的机械结构调节量，通过计算左右图像的匹配特征点，获得最小水平视差和最大水平视差，判断最大水平视差及最小水平视差的范围，是否满足最佳融像视差范围，计算平行像面方向的机械结构调节量。本发明能够适用不同的显示设备，在不同的显示设备上均能实现最佳的立体显示效果。

Description

一种立体视频最佳融像视差成像方法及装置
技术领域
本发明涉及立体视频技术领域，特别涉及一种立体视频采集装置及最佳融像视差成像方法。
背景技术
立体视频技术是未来多媒体技术的发展方向,它是一种能够提供立体感的新型视频技术。与平面视频相比，立体视频至少需要两个视频成像通道。立体视频成像原理模拟人眼立体成像原理，通过左右两路画面模拟人类双眼成像，左右两路画面因观察方向的区别产生图像视差，图像视差在大脑形成立体感。对于立体视频的显示而言，观看距离、立体显示器尺寸、画面分辨率、像素尺寸等因素都会对立体视频显示效果产生影响。为了适用不同的立体显示设备，通过调节立体视频图像视差来确保立体视觉一致性。可以通过多种方式及环节。控制立体视频视差常采用两个方法，一是立体摄像机的镜头光轴的距离，另外一个是数字成像环节通过对图像处理改变立体视差。其中立体摄像机镜头光轴的距离，可通过机械的方式对相机的位置在水平方向进行调节，由于其在机械上进行调节，可对立体视频视差进行有效控制，同时不会影响视频分辨率。但受制于成像系统的机械限制，其视差调节有范围限制，同时无法做到微米级的精度。另一个方法在对图像缩放平移实现视差调校。其优点在于调节灵活，可以在立体视频生成以后对视差进行调节，调节灵活，但通常会损失像素分辨率。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种立体视频最佳融像视差成像方法及装置，本发明能够适用不同的显示设备，在不同的显示设备上均能实现最佳的立体显示效果。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种立体视频最佳融像视差成像方法，包括以下步骤：
步骤1，根据显示器参数确定显示器的最佳融像视差范围，立体视频的水平视差Δn满足公式(1)条件：
Figure BDA0003556367710000011
其中，η为人眼视锐度标准值，S为观看者到屏幕的距离，Ee为观看者的双眼瞳距，D为观看者的瞳孔直径，Pw为像素尺寸，Δn为立体视频的水平视差，即当画面正负视差值Δn的绝对值不超过
Figure BDA0003556367710000021
时，立体视频达到最佳显示效果。
步骤2，计算立体图像的垂直视差：通过计算左右图像的匹配特征点，获得立体图像的垂直视差。
步骤3，根据立体视频的垂直视差和像素尺寸计算垂直方向的机械结构调节量，垂直方向的机械结构调节量包括左视图成像模块的调节量和右视图成像模块调节量。
步骤4，计算立体图像的水平视差：通过计算左右图像的匹配特征点，获得最小水平视差pmin和最大水平视差pmax。
步骤5，判断最大水平视差及最小水平视差的范围，是否满足步骤1所确定的范围：
情况一，当最小水平视差
Figure BDA0003556367710000022
计算水平方向机械结构调节量，并通过数字控制模块实现进行调节，使最小水平视差
Figure BDA0003556367710000023
其中左视图机械调节量为
Figure BDA0003556367710000024
右视图机械调节量为
Figure BDA0003556367710000025
并重复步骤4并继续调节。
情况二，当最大水平视差
Figure BDA0003556367710000026
计算水平方向机械结构调节量，并通过数字控制模块进行调节，使最大水平视差
Figure BDA0003556367710000027
其中左视图机械调节量为
Figure BDA0003556367710000028
右视图机械调节量为
Figure BDA0003556367710000029
重复步骤4并继续调节。
情况三，当最大水平视差
Figure BDA00035563677100000210
且
Figure BDA00035563677100000211
左视图机械调节量为
Figure BDA00035563677100000212
右视图机械调节量为
Figure BDA0003556367710000031
使pmin及pmax均达到最佳融像范围,处理完毕。
情况四，当最小水平视差
Figure BDA0003556367710000032
且
Figure BDA0003556367710000033
左视图机械调节量为
Figure BDA0003556367710000034
右试图机械调节量为
Figure BDA0003556367710000035
使pmin及pmax均达到最佳融像范围,处理完毕。
情况五，当
Figure BDA0003556367710000036
且
Figure BDA0003556367710000037
即最大，最小均位于最佳融像视差范围内，装置处于最佳融像状态，处理完毕。
步骤6，根据步骤5所确定的右视图机械调节量
Figure BDA0003556367710000038
左视图机械调节量
Figure BDA0003556367710000039
控制机械结构进行移动调节。
优选的：步骤2中通过计算左右图像的匹配特征点获得双视觉图像垂直视差的方法，包括以下步骤：
步骤21，将标定图放置于立体相机画面中，并调节拍摄距离使标定图处于最佳成像的景深范围内，采用特征点方法计算左右图像的匹配特征点集，并采用随机抽样一致性的方法去除误匹配点，获得左视图中特征点点集QL和右视图中特征点点集QR。
步骤22，根据左视图中特征点点集QL得到左视图匹配成功的特征点的坐标
Figure BDA00035563677100000310
根据右视图中特征点点集QR得到右视图匹配成功的特征点的坐标
Figure BDA00035563677100000311
步骤23，立体视频的垂直视差为：
Figure BDA00035563677100000312
其中，VPRLX表示立体视频的垂直视差，n表示垂直匹配成功的特征点个数。
优选的：步骤3中左视图成像模块的调节量和右视图成像模块调节量公式如下：
Figure BDA0003556367710000041
Figure BDA0003556367710000042
其中，
Figure BDA0003556367710000043
为左视图成像模块的调节量，Pw为像素尺寸，
Figure BDA0003556367710000044
为右视图成像模块调节量。如果
Figure BDA0003556367710000045
或
Figure BDA0003556367710000046
为负值表示向下调节，如果
Figure BDA0003556367710000047
或
Figure BDA0003556367710000048
为正值表示向上调节。
优选的：步骤4中通过计算左右图像的匹配特征点获得最小水平视差和最大水平视差的方法，包括以下步骤：
步骤41，将标定图放置于立体相机画面中，并调节标定图距离相机的距离，放置于成像模块景深的远端得到远端图像，放置于成像模块景深的近端得到近端图像。所述标定图的特征在于所述标定图由多个尺度下采用随机分布产生的随机图像融合产生，在不同的观察距离或角度下均具有丰富的不变特征点且特征点具有唯一性。
步骤42，对远端图像进行特征点匹配，获得最小水平视差pmin，对近端图像进行特征点匹配，获得装置的最大水平视差pmax。
优选的：步骤42中，对远端图像采用特征点方法计算左右图像的匹配特征点集，并采用随机抽样一致性的方法去除误匹配点，获得远端图像左视图中特征点点集QL,1和对远端图像右视图中特征点点集QR，1。根据远端图像左视图中特征点点集QL,1得到远端图像左视图匹配成功的特征点的坐标
Figure BDA0003556367710000049
根据远端图像右视图中特征点点集QR,1得到远端图像右视图匹配成功的特征点的坐标
Figure BDA00035563677100000410
对近端图像采用特征点方法计算左右图像的匹配特征点集，并采用随机抽样一致性的方法去除误匹配点，获得近端图像左视图中特征点点集QL,2和对近端图像右视图中特征点点集QR，2。根据近端图像左视图中特征点点集QL，2得到近端图像左视图匹配成功的特征点的坐标
Figure BDA00035563677100000411
根据近端图像右视图中特征点点集QR,2得到近端图像右视图匹配成功的特征点的坐标
Figure BDA00035563677100000412
优选的：步骤42中水平视差的计算方法按照公式(3)计算：
Figure BDA0003556367710000051
其中，pj表示水平视差，j＝1表示远端图像，j＝2表示近端图像，nj表示水平匹配成功的特征点个数。
一种立体视频最佳融像视差成像装置，包括双光路成像单元、视差机械调节单元、数字控制单元。
所述双光路成像单元包括左视图成像模块和右视图成像模块，所述左视图成像模块用于采集场景的左视图图像。所述右视图成像模块用于采集场景的右视图图像。
所述视差机械调节单元用于对左视图成像模块进行视差调节。用于对右视图成像模块进行视差调节。
所述数字控制单元采用立体视频最佳融像视差成像方法计算获得最佳视差调节量。然后根据最佳视差调节量控制视差机械调节单元对左视图成像模块和/或右视图成像模块进行视差调节。
优选的：所述数字控制单元包括相互连接的上位机CPU及电机控制模块，所述电机控制模块包括依次连接的下位机单片机、电机驱动IC、H桥臂驱动电路。
优选的：所述上位机CPU通过隔离电路与电机控制模块连接，所述隔离电路包括光耦器6N137S和光电耦合器PC817X4NSZ0F，其中光耦器6N137S用于传输上位机CPU产生的STP信号，光电耦合器PC817X4NSZ0F用于传输上位机CPU产生的DIR信号和EN信号。
本发明相比现有技术，具有以下有益效果：
本发明实现了立体摄像机适应不同显示设备，使其所采集的立体视频在不同的显示装置上均能实现最佳的立体显示效果。
附图说明
图1为立体视频采集系统的结构示意图。
图2为标定图。
图3为电机控制电路原理。
图4为输入信号隔离电路。
图5为下位机模块。
图6为电路互连接口。
图7为电机驱动模块。
图8为MOSFET功率驱动模块。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
一种立体视频最佳融像视差成像方法，包括以下步骤：
步骤1，根据显示器参数确定显示器的最佳融像视差范围，立体视频的水平视差Δn满足公式(1)条件：
Figure BDA0003556367710000061
其中，η为人眼视锐度标准值，人眼视锐度标准值η为2.907×10-4rad，S为观看者到屏幕的距离，Ee为观看者的双眼瞳距，平均值为6.5cm，D为观看者的瞳孔直径，典型值为4mm，Pw为像素尺寸，Δn为立体视频的水平视差，即当画面正负视差值Δn的绝对值不超过
Figure BDA0003556367710000062
时，立体视频达到最佳显示效果。
步骤2，计算立体图像的垂直视差：通过计算左右图像的匹配特征点，获得立体图像的垂直视差。
步骤21，如图2所示，将标定图放置于立体相机画面中，并调节拍摄距离使标定图处于最佳成像的景深范围内，采用特征点方法计算左右图像的匹配特征点集，并采用随机抽样一致性的方法去除误匹配点，获得左视图中特征点点集QL和右视图中特征点点集QR。
步骤22，根据左视图中特征点点集QL得到左视图匹配成功的特征点的坐标
Figure BDA0003556367710000063
根据右视图中特征点点集QR得到右视图匹配成功的特征点的坐标
Figure BDA0003556367710000064
步骤23，立体视频的垂直视差为：
Figure BDA0003556367710000065
其中，VPRLX表示立体视频的垂直视差，n表示垂直匹配成功的特征点个数。
步骤3，根据立体视频的垂直视差和像素尺寸计算垂直方向的机械结构调节量，垂直方向的机械结构调节量包括左视图成像模块的调节量和右视图成像模块调节量。
左视图成像模块的调节量和右视图成像模块调节量公式如下：
Figure BDA0003556367710000071
Figure BDA0003556367710000072
其中，
Figure BDA0003556367710000073
为左视图成像模块的调节量，Pw为像素尺寸，
Figure BDA0003556367710000074
为右视图成像模块调节量。如果
Figure BDA0003556367710000075
或
Figure BDA0003556367710000076
为负值表示向下调节，如果
Figure BDA0003556367710000077
或
Figure BDA0003556367710000078
为正值表示向上调节。
步骤4，计算立体图像的水平视差：通过计算左右图像的匹配特征点，获得最小水平视差pmin和最大水平视差pmax。
步骤41，将标定图放置于立体相机画面中，并调节标定图距离相机的距离，放置于成像模块景深的远端得到远端图像，放置于成像模块景深的近端得到近端图像。所述标定图的特征在于所述标定图由多个尺度下采用随机分布产生的随机图像融合产生，在不同的观察距离或角度下均具有丰富的不变特征点且特征点具有唯一性。
步骤42，对远端图像进行特征点匹配，获得最小水平视差pmin，对近端图像进行特征点匹配，获得装置的最大水平视差pmax。
对远端图像采用特征点方法计算左右图像的匹配特征点集，并采用随机抽样一致性的方法去除误匹配点，获得远端图像左视图中特征点点集QL,1和对远端图像右视图中特征点点集QR，1。根据远端图像左视图中特征点点集QL,1得到远端图像左视图匹配成功的特征点的坐标
Figure BDA0003556367710000079
根据远端图像右视图中特征点点集QR,1得到远端图像右视图匹配成功的特征点的坐标
Figure BDA00035563677100000710
对近端图像采用特征点方法计算左右图像的匹配特征点集，并采用随机抽样一致性的方法去除误匹配点，获得近端图像左视图中特征点点集QL,2和对近端图像右视图中特征点点集QR，2。根据近端图像左视图中特征点点集QL，2得到近端图像左视图匹配成功的特征点的坐标
Figure BDA00035563677100000711
根据近端图像右视图中特征点点集QR,2得到近端图像右视图匹配成功的特征点的坐标
Figure BDA00035563677100000712
水平视差的计算方法按照公式(3)计算：
Figure BDA0003556367710000081
其中，pj表示水平视差，j＝1表示远端图像，j＝2表示近端图像，nj表示水平匹配成功的特征点个数。
步骤5，判断最大水平视差及最小水平视差的范围，是否满足步骤1所确定的范围：
情况一，当最小水平视差
Figure BDA0003556367710000082
计算水平方向机械结构调节量，并通过数字控制模块实现进行调节，使最小水平视差
Figure BDA0003556367710000083
其中左视图机械调节量为
Figure BDA0003556367710000084
右视图机械调节量为
Figure BDA0003556367710000085
并重复步骤4并继续调节。
情况二，当最大水平视差
Figure BDA0003556367710000086
计算水平方向机械结构调节量，并通过数字控制模块进行调节，使最大水平视差
Figure BDA0003556367710000087
其中左视图机械调节量为
Figure BDA0003556367710000088
右视图机械调节量为
Figure BDA0003556367710000089
重复步骤4并继续调节。
情况三，当最大水平视差
Figure BDA00035563677100000810
且
Figure BDA00035563677100000811
左视图机械调节量为
Figure BDA00035563677100000812
右视图机械调节量为
Figure BDA00035563677100000813
使pmin及pmax均达到最佳融像范围,处理完毕。
情况四，当最小水平视差
Figure BDA00035563677100000814
且
Figure BDA00035563677100000815
左视图机械调节量为
Figure BDA0003556367710000091
右试图机械调节量为
Figure BDA0003556367710000092
使pmin及pmax均达到最佳融像范围,处理完毕。
情况五，当
Figure BDA0003556367710000093
且
Figure BDA0003556367710000094
即最大，最小均位于最佳融像视差范围内，装置处于最佳融像状态，处理完毕。
步骤6，根据步骤5所确定的右视图机械调节量
Figure BDA0003556367710000095
左视图机械调节量
Figure BDA0003556367710000096
控制机械结构进行移动调节。
一种立体视频最佳融像视差成像装置，如图1所示，包括双光路成像单元、视差机械调节单元103、数字控制单元104。
所述双光路成像单元用于采集场景的左视图图像和右视图图像，视差机械调节单元103可通过数字控制单元104实现线性位移。当左右视图成像模块调节步长小于单个像元尺寸时，图像视差能够实现像素级别的调节。所述双光路成像单元包括左视图成像模块101和右视图成像模块102，所述左视图成像模块101用于采集场景的左视图图像。所述右视图成像模块102用于采集场景的右视图图像。
所述视差机械调节单元103用于对左视图成像模块进行视差调节。用于对右视图成像模块进行视差调节。视差机械调节单元103功能在于调节双光路成像模块的机械位置，实现视差调节。视差机械调节单元103采用精密可控位移机械结构，其与双光路成像单元连接，通过数字控制单元控制双光路成像单元的位置。
所述数字控制单元采用立体视频最佳融像视差成像方法计算获得最佳视差调节量。然后根据最佳视差调节量控制视差机械调节单元对左视图成像模块和/或右视图成像模块进行视差调节。
如图3所示，所述数字控制单元包括相互连接的上位机CPU及电机控制模块，所述电机控制模块包括依次连接的下位机单片机、电机驱动IC、H桥臂驱动电路。
上位机CPU根据计算获得最佳视差调节量，生成控制信号STEP、DIR、EN信号。控制信号经过隔离电路发送到电机控制电路，下位机单片机U2根据输入的信号，通过SPI串行接口，设置电机驱动芯片的工作模式，电机驱动IC的驱动信号经过由MOSFET组成的H桥臂驱动电路驱动步进电机运转，直至调整到目标位置。
如图4所示，所述上位机CPU通过隔离电路与电机控制模块连接，有2种电路类型，即高速光耦器6N137S和通用光电耦合器PC817X4NSZ0F，其中光耦器6N137S用于传输上位机CPU产生的STP信号，光电耦合器PC817X4NSZ0F用于传输上位机CPU产生的DIR信号和EN信号。采用隔离电路的可以有效避免电路干扰，增强电路工作的可靠性。采用隔离光耦的第二个好处是可以实现电平转换，有效连接不同电压的电路，使得信号有效传输。
电机控制模块如图5所示，其中U2为MCU，主要用于接收代表最佳视差调节量的数据，结合必要的控制信息，通过SPI串行接口，对输出电流(扭矩)、步进模式、衰减模式和堵转检测功能进行编程设定，同时接收电机驱动芯片的工作状况的反馈信号，并及时做出响应。连接口P2用于和输入信号隔离电路的互连；连接口P11用于和电机驱动IC的互连，通过SPI接口发送配置信息等。
图6为电路互连接口，其中P3接口为上位机与MCU的连接口，主要用于输入信号隔离电路；P4接口为驱动输出与电机的连接口，主要用于实现功率级的信号输出，用于控制电机的运转。图4中的LDO模块，用于产生供MCU正常工作的3.3V电源。
图7为电机驱动模块，U1为电机驱动芯片，MCU通过SPI信号(图中的SCLK、SDATI、SCS、SDATAO)与该芯片通讯。驱动信号分成两组，第一组为A1HS、A1LS、A2HS、A2LS代表了A组线圈所在驱动桥臂的驱动信号，AOUT1、AOUT2代表了A组每个桥臂的输出，AISENP、AISENN为A组每个桥臂电流检测信号；第二组为B1HS、B1LS、B2HS、B2LS代表了B组线圈所在驱动桥臂的驱动信号，BOUT1、BOUT2代表了B组每个桥臂的输出，BISENP、BISENN为B组每个桥臂电流检测信号；该电机驱动芯片集成了过流保护，过热关断，欠压锁定，单独故障指示等多种功能。故障状况通过FAULTn和STALLn信号引脚进行指示，并且每一种故障状况通过SPI由一个专用位进行报告。
图8为MOSFET功率驱动模块，输出信号直接连接电机的输入。采用5A60V的MOSFET可以实现0.5A至5A的可选峰值电流。该驱动器的工作电源范围可在12V至36V之间，适应范围较广。每个桥臂都有电流采用电路提供实时电流检测，为输出短路、过流等异常情况提供了完整的保护。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种立体视频最佳融像视差成像方法，其特征在于，包括以下步骤：
步骤1，根据显示器参数确定显示器的最佳融像视差范围，立体视频的水平视差Δn满足公式(1)条件：
Figure FDA0003556367700000011
其中，η为人眼视锐度标准值，S为观看者到屏幕的距离，Ee为观看者的双眼瞳距，D为观看者的瞳孔直径，Pw为像素尺寸，Δn为立体视频的水平视差；
步骤2，计算立体图像的垂直视差：通过计算左右图像的匹配特征点，获得立体图像的垂直视差；
步骤3，根据立体视频的垂直视差和像素尺寸计算垂直方向的机械结构调节量，垂直方向的机械结构调节量包括左视图成像模块的调节量和右视图成像模块调节量；
步骤4，计算立体图像的水平视差：通过计算左右图像的匹配特征点，获得最小水平视差pmin和最大水平视差pmax；
步骤5，判断最大水平视差及最小水平视差的范围，是否满足步骤1所确定的范围：
情况一，当最小水平视差
Figure FDA0003556367700000012
计算水平方向机械结构调节量，并通过数字控制模块实现进行调节，使最小水平视差
Figure FDA0003556367700000013
其中左视图机械调节量为
Figure FDA0003556367700000014
右视图机械调节量为
Figure FDA0003556367700000015
并重复步骤4并继续调节；
情况二，当最大水平视差
Figure FDA0003556367700000016
计算水平方向机械结构调节量，并通过数字控制模块进行调节，使最大水平视差
Figure FDA0003556367700000017
其中左视图机械调节量为
Figure FDA0003556367700000018
右视图机械调节量为
Figure FDA0003556367700000019
重复步骤4并继续调节；
情况三，当最大水平视差
Figure FDA0003556367700000021
且
Figure FDA0003556367700000022
左视图机械调节量为
Figure FDA0003556367700000023
右视图机械调节量为
Figure FDA0003556367700000024
使pmin及pmax均达到最佳融像范围,处理完毕；
情况四，当最小水平视差
Figure FDA0003556367700000025
且
Figure FDA0003556367700000026
左视图机械调节量为
Figure FDA0003556367700000027
右试图机械调节量为
Figure FDA0003556367700000028
使pmin及pmax均达到最佳融像范围,处理完毕；
情况五，当
Figure FDA0003556367700000029
且
Figure FDA00035563677000000210
即最大，最小均位于最佳融像视差范围内，装置处于最佳融像状态，处理完毕；
步骤6，根据步骤5所确定的右视图机械调节量
Figure FDA00035563677000000211
左视图机械调节量
Figure FDA00035563677000000212
控制机械结构进行移动调节。
2.根据权利要求1所述立体视频最佳融像视差成像方法，其特征在于：步骤2中通过计算左右图像的匹配特征点获得双视觉图像垂直视差的方法，包括以下步骤：
步骤21，将标定图放置于立体相机画面中，并调节拍摄距离使标定图处于最佳成像的景深范围内，采用特征点方法计算左右图像的匹配特征点集，并采用随机抽样一致性的方法去除误匹配点，获得左视图中特征点点集QL和右视图中特征点点集QR；
步骤22，根据左视图中特征点点集QL得到左视图匹配成功的特征点的坐标
Figure FDA00035563677000000213
根据右视图中特征点点集QR得到右视图匹配成功的特征点的坐标
Figure FDA0003556367700000031
步骤23，立体视频的垂直视差为：
Figure FDA0003556367700000032
其中，VPRLX表示立体视频的垂直视差，n表示垂直匹配成功的特征点个数。
3.根据权利要求1所述立体视频最佳融像视差成像方法，其特征在于：步骤3中左视图成像模块的调节量和右视图成像模块调节量公式如下：
Figure FDA0003556367700000033
Figure FDA0003556367700000034
其中，
Figure FDA0003556367700000035
为左视图成像模块的调节量，Pw为像素尺寸，
Figure FDA0003556367700000036
为右视图成像模块调节量；如果
Figure FDA0003556367700000037
或
Figure FDA0003556367700000038
为负值表示向下调节，如果
Figure FDA0003556367700000039
或
Figure FDA00035563677000000310
为正值表示向上调节。
4.根据权利要求1所述立体视频最佳融像视差成像方法，其特征在于：步骤4中通过计算左右图像的匹配特征点获得最小水平视差和最大水平视差的方法，包括以下步骤：
步骤41，将标定图放置于立体相机画面中，并调节标定图距离相机的距离，放置于成像模块景深的远端得到远端图像，放置于成像模块景深的近端得到近端图像；
步骤42，对远端图像进行特征点匹配，获得最小水平视差pmin，对近端图像进行特征点匹配，获得装置的最大水平视差pmax。
5.根据权利要求1所述立体视频最佳融像视差成像方法，其特征在于：步骤42中，对远端图像采用特征点方法计算左右图像的匹配特征点集，并采用随机抽样一致性的方法去除误匹配点，获得远端图像左视图中特征点点集QL,1和对远端图像右视图中特征点点集QR，1；根据远端图像左视图中特征点点集QL,1得到远端图像左视图匹配成功的特征点的坐标
Figure FDA00035563677000000311
根据远端图像右视图中特征点点集QR,1得到远端图像右视图匹配成功的特征点的坐标
Figure FDA00035563677000000312
对近端图像采用特征点方法计算左右图像的匹配特征点集，并采用随机抽样一致性的方法去除误匹配点，获得近端图像左视图中特征点点集QL,2和对近端图像右视图中特征点点集QR，2；根据近端图像左视图中特征点点集QL，2得到近端图像左视图匹配成功的特征点的坐标
Figure FDA0003556367700000041
根据近端图像右视图中特征点点集QR,2得到近端图像右视图匹配成功的特征点的坐标
Figure FDA0003556367700000042
6.根据权利要求1所述立体视频最佳融像视差成像方法，其特征在于：步骤42中水平视差的计算方法按照公式(3)计算：
Figure FDA0003556367700000043
其中，pj表示水平视差，j＝1表示远端图像，j＝2表示近端图像，nj表示水平匹配成功的特征点个数。
7.一种立体视频最佳融像视差成像装置，其特征在于：包括双光路成像单元、视差机械调节单元、数字控制单元；
所述双光路成像单元包括左视图成像模块和右视图成像模块，所述左视图成像模块用于采集场景的左视图图像；所述右视图成像模块用于采集场景的右视图图像；
所述视差机械调节单元用于对左视图成像模块进行视差调节；用于对右视图成像模块进行视差调节；
所述数字控制单元采用权利要求1所述立体视频最佳融像视差成像方法计算获得最佳视差调节量；然后根据最佳视差调节量控制视差机械调节单元对左视图成像模块和/或右视图成像模块进行视差调节。
8.根据权利要求7所述成像装置，其特征在于：所述数字控制单元包括相互连接的上位机CPU及电机控制模块，所述电机控制模块包括依次连接的下位机单片机、电机驱动IC、H桥臂驱动电路。
9.根据权利要求8所述成像装置，其特征在于：所述上位机CPU通过隔离电路与电机控制模块连接，所述隔离电路包括光耦器6N137S和光电耦合器PC817X4NSZ0F，其中光耦器6N137S用于传输上位机CPU产生的STP信号，光电耦合器PC817X4NSZ0F用于传输上位机CPU产生的DIR信号和EN信号。
CN202210279742.7A 2022-03-21 2022-03-21 一种立体视频最佳融像视差成像方法及装置 Active CN114650405B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210279742.7A CN114650405B (zh) 2022-03-21 2022-03-21 一种立体视频最佳融像视差成像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210279742.7A CN114650405B (zh) 2022-03-21 2022-03-21 一种立体视频最佳融像视差成像方法及装置

Publications (2)

Publication Number Publication Date
CN114650405A true CN114650405A (zh) 2022-06-21
CN114650405B CN114650405B (zh) 2023-01-24

Family

ID=81995601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210279742.7A Active CN114650405B (zh) 2022-03-21 2022-03-21 一种立体视频最佳融像视差成像方法及装置

Country Status (1)

Country Link
CN (1) CN114650405B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102607510A (zh) * 2012-01-12 2012-07-25 浙江大学 一种基于稀疏表示的立体测距方法
US20130076875A1 (en) * 2011-09-28 2013-03-28 Superd Co. Ltd. Stereoscopic image processing method and system
US20130308917A1 (en) * 2011-01-25 2013-11-21 Fujifilm Corporation Stereoscopic video processor, recording medium for stereoscopic video processing program, stereoscopic imaging device and stereoscopic video processing method
CN106534833A (zh) * 2016-12-07 2017-03-22 上海大学 一种联合空间时间轴的双视点立体视频稳定方法
CN109525830A (zh) * 2018-11-28 2019-03-26 浙江未来技术研究院(嘉兴) 一种立体视频采集系统
US20200349846A1 (en) * 2018-01-08 2020-11-05 Foresight Automotive Ltd. A multi-spectral system for providing precollision alerts
CN112435267A (zh) * 2020-11-17 2021-03-02 哈尔滨工程大学 一种高分辨率城市卫星立体图像的视差图计算方法
CN112995638A (zh) * 2020-12-31 2021-06-18 上海易维视科技有限公司 自动调节视差的裸眼3d采集和显示系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130308917A1 (en) * 2011-01-25 2013-11-21 Fujifilm Corporation Stereoscopic video processor, recording medium for stereoscopic video processing program, stereoscopic imaging device and stereoscopic video processing method
US20130076875A1 (en) * 2011-09-28 2013-03-28 Superd Co. Ltd. Stereoscopic image processing method and system
CN102607510A (zh) * 2012-01-12 2012-07-25 浙江大学 一种基于稀疏表示的立体测距方法
CN106534833A (zh) * 2016-12-07 2017-03-22 上海大学 一种联合空间时间轴的双视点立体视频稳定方法
US20200349846A1 (en) * 2018-01-08 2020-11-05 Foresight Automotive Ltd. A multi-spectral system for providing precollision alerts
CN109525830A (zh) * 2018-11-28 2019-03-26 浙江未来技术研究院(嘉兴) 一种立体视频采集系统
CN112435267A (zh) * 2020-11-17 2021-03-02 哈尔滨工程大学 一种高分辨率城市卫星立体图像的视差图计算方法
CN112995638A (zh) * 2020-12-31 2021-06-18 上海易维视科技有限公司 自动调节视差的裸眼3d采集和显示系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
侯春萍等: "立体图像视差线性调整算法", 《哈尔滨工业大学学报》 *

Also Published As

Publication number Publication date
CN114650405B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
CA2177051C (en) Synthesized stereoscopic imaging system and method
CN102098524B (zh) 跟踪式立体显示设备及跟踪式立体显示方法
US6864910B1 (en) Optical apparatus
CN102172031B (zh) 三维显示设备和三维显示方法
US8049776B2 (en) Three-dimensional camcorder
US5175616A (en) Stereoscopic video-graphic coordinate specification system
US20110085789A1 (en) Frame Linked 2D/3D Camera System
EP0645926A1 (en) Image processing apparatus
CN108093244B (zh) 一种远程随动立体视觉系统
US20070285663A1 (en) Efficient and accurate alignment of stereoscopic displays
WO2012060564A1 (en) 3d camera
EP2394439A1 (en) Three-dimensional image output device and three-dimensional image output method
EP2544579A1 (en) Stereoscopic visualization system
KR20200013777A (ko) 표시 제어 장치, 표시 제어 방법 및 저장 매체
CN102461188A (zh) 用于生成立体图像的图像传感器
CN101794068A (zh) 立体视频拍摄装置
TWI450025B (zh) A device that can simultaneously capture multi-view 3D images
CN202424936U (zh) 数字立体显微系统图像采集、处理与发送装置
JPWO2011142422A1 (ja) 立体撮像装置及び立体撮像装置の自動焦点調節方法
CN114650405B (zh) 一种立体视频最佳融像视差成像方法及装置
WO2013161485A1 (ja) 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法
US20140168381A1 (en) Stereoscopic image signal processing device and stereoscopic image capture device
CN104469340A (zh) 一种立体视频共光心成像系统及其成像方法
WO2014185578A1 (ko) 직교식 입체 카메라의 광축 정렬 방법 및 직교식 입체 카메라
Baier et al. Interactive stereo vision telepresence for correct communication of spatial geometry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant