CN110505393A - 影像处理装置与方法 - Google Patents
影像处理装置与方法 Download PDFInfo
- Publication number
- CN110505393A CN110505393A CN201810469838.3A CN201810469838A CN110505393A CN 110505393 A CN110505393 A CN 110505393A CN 201810469838 A CN201810469838 A CN 201810469838A CN 110505393 A CN110505393 A CN 110505393A
- Authority
- CN
- China
- Prior art keywords
- image
- vegetarian refreshments
- straight line
- splicing
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Abstract
本发明公开一种影像处理装置与方法,该影像处理装置包括发光源、第一影像撷取模块、第二影像撷取模块、影像分析模块、影像处理模块及影像拼接模块。发光源发出一长条状的光学标线。第一影像撷取模块撷取第一影像及对应于光学标线的第一标线影像。第二影像撷取模块撷取一第二影像及对应于光学标线的第二标线影像。影像分析模块分析第一标线影像以取得第一高亮度群组以及分析第二标线影像以取得第二高亮度群组。影像处理模块根据第一高亮度群组与第二高亮度群组分别取得第一拼接直线与第二拼接直线。影像拼接模块根据第一拼接直线与第二拼接直线拼接第一影像与第二影像。本发明可达到减少特征匹配的运算时间,并改善拍摄近物时视差的影响。
Description
技术领域
本发明关于一种处理装置,特别是指一种影像处理装置与方法。
背景技术
随着时代的进步,市面上许多电子产品,例如智能型手机、相机或平板计算机等都搭载影像撷取模块而具有撷取影像的功能。
目前影像撷取模块若需要达到更广的影像拍摄范围,通常会采用广角镜头因应。然而,虽然广角镜头的视野(field of view)涵盖的范围较一般镜头宽阔,但镜头的成本相对较高,且镜头设计也较复杂。此外,广角镜头在拍摄近距离的物体时,容易产生桶形失真(Barrel Distortion)的现象,而影响影像的视觉效果。
发明内容
在下文中给出关于本发明的简要概述,以便提供关于本发明的某些方面的基本理解。应当理解,这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分,也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
有鉴于此,在一实施例中,提供一种影像处理装置,包括发光源、第一影像撷取模块、第二影像撷取模块、影像分析模块、影像处理模块及影像拼接模块。发光源发出一长条状光学标线。第一影像撷取模块撷取第一影像及对应于光学标线的第一标线影像。第二影像撷取模块撷取第二影像及对应于光学标线的第二标线影像。影像分析模块电连接于第一影像撷取模块与第二影像撷取模块,影像分析模块分析第一标线影像以取得第一高亮度群组以及分析第二标线影像以取得第二高亮度群组,其中第一高亮度群组包括多个第一二维像素点,第二高亮度群组包括多个第二二维像素点,这些第一二维像素点及这些第二二维像素点的亮度皆大于亮度阀值。影像处理模块电连接于影像分析模块,影像处理模块判断这些第一二维像素点的数量与这些第二二维像素点的数量皆大于一数量阀值时,影像处理模块分析这些第一二维像素点和这些第二二维像素点以分别取得第一拼接直线与第二拼接直线。影像拼接模块电连接于影像处理模块,影像拼接模块根据第一拼接直线及第二拼接直线,拼接第一影像及第二影像。
进一步地,各该第一二维像素点包括一第一水平坐标值与一第一垂直坐标值,各该第二二维像素点包括一第二水平坐标值与一第二垂直坐标值,该影像处理模块计算具有相同该第一垂直坐标值与该第二垂直坐标值的各该第一二维像素点与各该第二二维像素点之间的一水平差距值,据以取得该第一拼接直线和该第二拼接直线。
进一步地,该影像处理模块根据有最多数该水平差距值的各该第一二维像素点与各该第二二维像素点分别取得该第一拼接直线与该第二拼接直线。
进一步地,该影像处理模块根据最小的或最大的该水平差距值的各该第一二维像素点与各该第二二维像素点分别取得该第一拼接直线与该第二拼接直线。
进一步地,该影像拼接模块依据该第一拼接直线将该第一影像区分为一第一外区影像与一第一内区影像、以及根据该第二拼接直线将该第二影像区分为一第二外区影像与一第二内区影像,该第一内区图像对应射于该第二外区影像中邻近该第二拼接直线的局部区域,该第二内区图像对应于该第一外区影像中邻近该第一拼接直线的局部区域,该影像拼接模块将该第一外区影像与该第二外区影像进行拼接而产生一拼接影像。
进一步地,该影像处理模块判断该些第一二维像素点的数量与该些第二二维像素点的数量皆小于该数量阀值时,分析该第一影像与该第二影像以取得一特征点匹配信息,该特征点匹配信息包括该第一影像与该第二影像彼此对应匹配的至少一影像特征点,该影像拼接模块根据该特征点匹配信息进行拼接该第一影像与该第二影像。
进一步地,该光学标线为不可见光。
进一步地,该第一影像撷取模块具有一第一光轴,该第二影像撷取模块具有一第二光轴,该第一光轴与该第二光轴夹设一预定角度。
进一步地,该发光源包括一光学镜片,该发光源发出光线并经由该光学镜片而形成该长条状的光学标线。
在一实施例中,提供一种图像处理方法,包括投射步骤:发光源发出一长条状光学标线;撷取步骤:第一影像撷取模块撷取第一影像及对应于光学标线的第一标线影像,以及第二影像撷取模块撷取第二影像及对应于光学标线的第二标线影像;分析步骤:影像分析模块分析第一标线影像以取得第一高亮度群组、以及分析第二标线影像以取得第二高亮度群组,其特征在于,第一高亮度群组包括多个第一二维像素点,第二高亮度群组包括多个第二二维像素点,这些第一二维像素点及这些第二二维像素点的亮度皆大于亮度阀值;处理步骤:影像处理模块判断这些第一二维像素点的数量与这些第二二维像素点的数量皆大于数量阀值时,影像处理模块分析这些第一二维像素点和这些第二二维像素点,分别取得第一拼接直线与第二拼接直线;以及拼接步骤:影像拼接模块根据第一拼接直线及第二拼接直线,拼接第一影像及第二影像。
综上,根据本发明实施例的影像处理装置与图像处理方法,通过分析第一标线影像与第二标线影像中的高亮度群组的占比,可判断光学标线对应照射空间中的远距物体与近距物体的比重,当近距物体的比重较高时,即分析这些第一二维像素点和这些第二二维像素点分别取得第一拼接直线与第二拼接直线,并据以拼接第一影像与第二影像以形成广角的拼接影像。由此,可达到减少特征匹配的运算时间并改善拍摄近物时视差的影响。此外,本发明实施例可采用两个一般镜头进行影像撷取,再经由处理与拼接以形成广角影像,可避免广角影像发生失真的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明影像处理装置一实施例的立体图。
图2为本发明影像处理装置一实施例的装置方块图。
图3为本发明影像处理装置一实施例的平面图。
图4为本发明图像处理方法一实施例的步骤流程图。
图5为本发明影像处理装置一实施例的影像撷取示意图。
图6为本发明影像处理装置一实施例的标线影像图。
图7为本发明第一影像一实施例的像素坐标示意图。
图8为本发明影像处理装置一实施例的拼接影像图。
附图标记:
1 影像处理装置
10 发光源
O 光学标线
11 第一影像撷取模块
A1 第一光轴
I1 第一影像
I11 第一外区影像
I12 第一内区影像
M1 第一标线影像
H1 第一高亮度群组
P、P1~P480 第一二维像素点
12 第二影像撷取模块
A2 第二光轴
I2 第二影像
I21 第二外区影像
I22 第二内区影像
M2 第二标线影像
H2 第二高亮度群组
Q、Q1~Q480 第二二维像素点
13 影像分析模块
14 影像处理模块
S1 第一拼接直线
S2 第二拼接直线
15 影像拼接模块
W 拼接影像
L 横跨线
E1、E2 边缘
D1 第一水平距离
D2 第二水平距离
20 基座
θ 预定角度
30 电路板
S01 投射步骤
S02 撷取步骤
S03 分析步骤
S04 处理步骤
S041~S043 步骤
S05 拼接步骤
S051~S052 步骤。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意,为了清楚的目的,附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明影像处理装置一实施例的立体图,图2为本发明影像处理装置一实施例的装置方块图,图3为本发明影像处理装置一实施例的平面图。如图1与图2所示,影像处理装置1包括发光源10、第一影像撷取模块11、第二影像撷取模块12、影像分析模块13、影像处理模块14以及影像拼接模块15。影像处理装置1可安装于各式电子产品上,例如智能手机、相机或平板电脑等,使电子产品具有影像撷取的功能。
如图3所示,发光源10可用以发出长条状的光学标线O,举例来说,发光源10可包括一光学镜片(图面省略绘示),发光源10所发出的光线可经由光学镜片而发出长条状的光学标线O,例如发光源10所发出的光线可经由光学镜片折射并汇聚成长条状的光线,或者可藉由光学镜片上的结构(如光栅、孔洞或纹路)而形成长条状光线。在其他实施例中,发光源10可发出多条光线而形成一排投射点,且相邻的投射点之间可彼此相接或局部重叠而形成长条状的光学标线O,此并不局限。
如图3所示,发光源10所发出的光学标线O位于第一影像撷取模块11与第二影像撷取模块12的视野范围(field of view)中。在本实施例中,发光源10设置在一基座20上且朝Z轴方向发出光学标线O,较佳地,第一影像撷取模块11与第二影像撷取模块12设置在基座20上且分别位于发光源10的相对两侧,第一影像撷取模块11与第二影像撷取模块12也是朝Z轴方向撷取影像。在其他实施例中,第一影像撷取模块11与第二影像撷取模块12也可分别设置在发光源10的同一侧。
如图3所示,在本实施例中,第一影像撷取模块11具有一第一光轴A1,第二影像撷取模块12具有一第二光轴A2,第一光轴A1与第二光轴A2夹设一预定角度θ(例如30°、60°或100°)。其中预定角度θ可视第一影像撷取模块11与第二影像撷取模块12的视野范围而定,举例来说,第一影像撷取模块11与第二影像撷取模块12可为一般标准镜头,当第一影像撷取模块11与第二影像撷取模块12的视野范围皆为100°时,第一光轴A1与第二光轴A2夹设的预定角度θ可小于100°(例如40°、50°、70°或90°),使发光源10所发出的光学标线O能够在第一影像撷取模块11与第二影像撷取模块12的视野范围中。在其他实施例中,第一光轴A1与第二光轴A2也可彼此平行(即预定角度θ为0°),本实施例并不限制。在一些实施例中,可将基座20设计为可调整角度的结构,由此,可依据实际需求调整第一影像撷取模块11的和第二影像模块12摆放的角度,以取得不同视角范围的拼接影像。
如图2所示,影像分析模块13、影像处理模块14及影像拼接模块15可分别为具有逻辑运算能力的中央处理器(Central Processing Unit,CPU)、微控制器(Micro ControlUnit,MCU)或微处理器(Micro Processing Unit,MPU),以处理第一影像撷取模块11与第二影像撷取模块12所撷取的影像。如图1所示,在一实施例中,影像分析模块13、影像处理模块14及影像拼接模块15可整合于一电路板30上,或集成于同一处理器内。
如图4所示,为本发明图像处理方法一实施例的步骤流程图。本实施例的图像处理方法包括投射步骤S01、撷取步骤S02、分析步骤S03、处理步骤S04以及拼接步骤S05。
如图4所示,首先可先进行投射步骤S01:发光源10发出一长条状光学标线O。如图2与图3所示,在一实施例中,发光源10可通过影像处理装置1的控制器(图未绘示)驱动以发出光学标线O。举例来说,假设影像处理装置1应用于一智能手机,当使用者执行摄影相关的应用程序时,可使控制器驱动发光源10朝空间中发出一条光学标线O。
如图4所示,在投射步骤S01后进行撷取步骤S02:第一影像撷取模块11撷取一第一影像I1和一第一标线影像M1,以及第二影像撷取模块12撷取一第二影像I2和一第二标线影像M2。
请对照图3、图5及图6所示,在本实施例中,第一影像I1和第二影像I2为具有可见光信息的色彩影像,如RGB(三原色模式)、HSL(色相、饱和度、亮度模式)、YCbCr(亮度-色差分量数据模式)、HSV(色相、饱和度、明度模式)等,但不以此限定。由于发光源10所发出的光学标线O位于第一影像撷取模块11与第二影像撷取模块12的视野范围中,因此,第一影像撷取模块11可撷取到对应于光学标线O的第一标线影像M1,第二影像撷取模块12可撷取到对应于光学标线O的第二标线影像M2。发光源10所发出的光学标线O可为不可见光,例如雷射光、红外光或紫外光等,由此,光学标线O的影像不会显现在第一影像I1和第二影像I2中,可避免光学标线O的影像在第一影像I1及第二影像I2上造成干扰。并且,第一标线影像M1、第二标线影像M2分别与第一影像I1、第二影像I2的位置相对应(如图5虚线位置所示),故后续可利用第一标线影像M1及第二标线影像M2提供第一影像I1和第二影像I2对位拼接的信息。
此外,如图3所示,在本实施例中,第一影像撷取模块11与第二影像撷取模块12彼此沿X轴方向并排设置于横跨线L二端,且横跨线L与光学标线O垂直,因此,第一标线影像M1与第二标线影像M2(如图5与图6所示)会大致上垂直于X轴。但此并不局限,横跨线L与光学标线O之间也可夹设一角度(如5°、10°或30°等),本实施例并不限制。
请对照图3、图5及图6所示,在本实施例中,由于第一影像撷取模块11设于发光源10的左侧,第二影像撷取模块12设于发光源10右侧,因此,第一标线影像M1中对应光学标线O的影像区域会靠近第一影像I1的右侧,第二标线影像M2中对应光学标线O的影像区域会靠近于第二影像I2的左侧。但此并不限制,第一标线影像M1与第二标线影像M2中对应光学标线O的影像区域的位置视第一影像撷取模块11与第二影像撷取模块12的视野范围及摆放角度而定。
如图5与图6所示,在本实施例中,第一影像I1、第二影像I2、第一标线影像M1与第二标线影像M2皆具有相同的分辨率。例如前述四张影像的分辨率皆为640×480、800×600或1920×1080等,也就是说,四张影像的水平方向的像素(pixel)数量相同,四张影像的垂直方向的像素数量也相同。
如图4所示,在撷取步骤S02后进行分析步骤S03:影像分析模块13分析第一标线影像M1以取得第一高亮度群组H1、以及分析第二标线影像M2以取得第二高亮度群组H2。如图2与图6所示,影像分析模块13电连接于第一影像撷取模块11与第二影像撷取模块12以取得第一标线影像M1与第二标线影像M2。影像分析模块13可根据第一标线影像M1与第二标线影像M2的亮度,取得第一高亮度群组H1与第二高亮度群组H2。详言之,由于光学标线O所照射的空间中的物体有远近高低之分,而造成反射光的强度不同(例如近物的反射光较强,远物的反射光较弱),因此第一标线影像M1与第二标线影像M2中对应光学标线O的影像区域通常会呈亮度不均,甚至有变形或断开的情形(如图6所示)。
请参阅图6及图7,以分辨率皆为640×480为例,即第一影像I1、第二影像I2、第一标线影像M1与第二标线影像M2的X轴方向有640个像素、Y轴方向有480个像素。具体而言,第一影像I1与第二影像I2、第一标线影像M1与第二标线影像M2中的每个像素都会具有一像素坐标,像素坐标包括一水平坐标值与一垂直坐标值,如图7所示,以第一标线影像M1来说,其像素坐标(1,3)表示水平坐标值为1,垂直坐标值为3,以此类推。影像分析模块13可以水平的扫描线对第一标线影像M1沿着Y方向进行扫描,并于每条扫描线(Y=0,1,2…480)上各取得多个第一二维像素点P(包括P1,P2,P3…P480),同样的在第二标线影像M2沿每条扫描线上各取得多个第二二维像素点Q(包括Q1,Q2,Q3…Q480)。举例来说,在Y=1的扫描线上,有640个像素点沿X方向排列,影像分析模块13可依据该扫描线上亮度相对其他点较强者,取得第一二维像素点P1,其余第一二维像素点P2~P480以及第二二维像素点Q1~Q480以此类推,在此不再赘述。因此,第一标线影像M1会具有沿Y轴方向排列的一排第一二维像素点P1~P480,在图6中仅标示出三个第一二维像素点P1、P428、P480示意,第二标线影像M2会具有沿Y轴方向排列的一排第二二维像素点(Q1~Q480),在图6中仅标示出三个第二二维像素点Q1、Q428、Q480示意。
影像分析模块13进一步将每一个第一二维像素点P1~P480与一亮度阀值(如灰度值)比较,例如P1、P7~150、P155~P350、P400~420、P428~P480的灰度值皆大于200,并将该些大于亮度阀值的第一二维像素点P1、P7~150、P155~P350、P400~420、P428~P480定义为第一高亮度群组H1。同理,第二标线影像M2上多个第二二维像素点Q1~Q480,也可依前述判断方式取得第二高亮度群组H2。然而,上述亮度阀值的数值仅为举例,实际上可根据使用者需求或使用环境而有不同。
如图4所示,在分析步骤S03后进行处理步骤S04,其中处理步骤S04可包括影像处理模块14先判断第一高亮度群组H1中的第一二维像素点P的数量,以及第二高亮度群组H2中的第二二为像素点Q的数量是否皆大于一数量阀值(步骤S041)。举例来说,如图6所示,在本实施例中,第一标线影像M1的多个第一二维像素点P的总数量为480个,上述数量阀值可为240个(即占总数量的50%),影像处理模块14可判断第一高亮度群组H1中多个第一二维像素点P的数量,以及第二高亮度群组H2中多个第二二维像素点Q的数量是否皆大于240个。由此,可得知第一标线影像M1的第一高亮度群组H1的占比以及第二标线影像M2的第二高亮度群组H2的占比,进而判断光学标线O对应照射空间中的远距物体与近距物体的比重。详言之,若第一高亮度群组H1的第一二维像素点P数量,以及第二高亮度群组H2的第二二维像素点Q数量皆大于数量阀值时,即可判断空间中的近距物体的比重较高;当第一高亮度群组H1的数量以及第二高亮度群组H2的数量皆小于数量阀值时,即可判断空间中的远距物体的比重较高。上述实施例仅为举例,实际上数量阀值可根据实际需求而定。
再如图4所示,当第一高亮度群组H1的第一二维像素点P的数量,以及第二高亮度群组H2的第二二维像素点Q的数量皆大于数量阀值时(代表近距物体的比重较高,例如做近物人像或室内影像拍摄),影像处理模块14即计算第一高亮度群组H1和第二高亮度群组H2中,具有相同第一垂直坐标值与第二垂直坐标值的各第一二维像素点P与各第二二维像素点Q间的一水平差距值,影像处理模块14根据具有最多数水平差距值的各第一二维像素点P与各第二二维像素点Q分别取得一第一拼接直线S1与一第二拼接直线S2(步骤S042)。
如图6所示,由于第一标线影像M1与第二标线影像M2具有相同的分辨率,因此具有相同第一垂直坐标值与第二垂直坐标值的各第一二维像素点P与各第二二维像素点Q会位在相同的垂直高度上而能计算出两点的水平差距值,也就是说,水平差距值为各第一水平坐标值与对应的各第二水平坐标值之间的坐标差值,其中计算水平差距值的方式可包括以下几种。
如图6所示,假设第一标线影像M1与第二标线影像M2的分辨率皆为640×480,第一高亮度群组H1中最底端的第一二维像素点P480的水平坐标值可为500,垂直坐标值为480。第二高亮度群组H2最底端的第二二维像素点Q480的水平坐标值为160,垂直坐标值为480。影像处理模块14可直接将两点的水平坐标值相减而得到水平差距值,即水平差距值为500-160=340。其他具有相同垂直坐标值的第一二维像素点P与第二二维像素点Q的水平差距值算法以此类推。
或者,在另一实施例中,影像处理模块14也可先计算最底端的第一二维像素点P480的水平坐标值至第一标线影像M1的边缘E1的第一水平距离D1,再计算最底端的第二二维像素点Q480的水平坐标值至第二标线影像M2的边缘E2的第二水平距离D2,最后将第一水平距离D1与第二水平距离D2相加也可做为水平差距值。以上仅列举几种计算水平差距值的方式,但并不以此为限。
再如图6所示,在本实施例中,在近物拍摄时(一般指距离在3公尺以内,但不以此限定),由于光学标线O所照射的空间中的多个物体与第一影像撷取模块11、第二影像撷取模块12有远近之分,一般而言,若光学标线O照射到与第一影像撷取模块11距离较近的物体,其对应在第一标线影像M1上所取得的第一二维像素点P的水平位置会较靠近第一标线影像M1的边缘E1(即水平坐标值较大)。举例来说:图6中第一标线影像M1上的第一二维像素点P1是对应于图5中第一影像I1中远处墙面的位置,而图6中另一第一二维像素点P480是对应于图5中近处桌面的位置,由图6中的两个第一二维像素点P1、P480分布的水平位置可知,因第一二维像素点P480对应在空间中的位置与第一影像撷取模块11的距离较近,故第一二维像素P480会比另一第一二维像素P1更靠近第一标线影像M1的边缘E1。同理,若光学标线O照射到与第二影像撷取模块12距离较近的物体,其对应在第二标线影像M2上所取得的第二二维像素点Q的水平位置会较靠近第二标线影像M2的边缘E2(即水平坐标值较小)。因此,水平差距值可用于衡量被摄物体与影像撷取模块的相对距离关系。
影像处理模块14会依据前述方式取得多个不同数值的水平差距值(例如取得320、330或340等水平差距值)。在本实施例中,影像处理模块14更根据具有最多数水平差距值的各第一二维像素点P与各第二二维像素点Q而取得第一拼接直线S1与一第二拼接直线S2。以图6来说,第一高亮度群组H1靠近底端的各第一二维像素点P(如P480、P428…等),与第二高亮度群组H2靠近底端的各第二二维像素点Q(如Q480、Q428…等)的水平差距值相同且数量最多(例如水平差距值皆为340),影像处理模块14可将前述具有最多相同水平差距值的第一二维像素点P和第二二维像素点Q分别朝垂直方向延伸联机,以取得第一拼接直线S1和第二拼接直线S2。
依据本发明的构想,本实施例是以「主体为主」的方式拼接,由于一般摄影时主体占比成分较高,故将有「最多数」相同水平差距值的部份优先做接合。在一些实施例中,也可采用以「近物为主」的方式拼接,即以「最小的」水平差距值做接合。或者,也可以采「远景为主」的方式,在「最大的」水平差距值处取拼接直线做接合,并不以此限定。
如图4所示,在步骤S042后即进行拼接步骤S05中的步骤S051:影像拼接模块15根据第一拼接直线S1与第二拼接直线S2拼接第一影像I1与第二影像I2。此请对照图5与图6所示,影像拼接模块15可根据在第一标线影像M1取得的第一拼接直线S1,以及第二标线影像M2取得的第二拼接直线S2的位置,分别将其对应至第一影像I1和第二影像I2。由此,第一拼接直线S1将第一影像I1区分为第一外区影像I11与第一内区影像I12,第二拼接直线S2将第二影像I2区分为第二外区影像I21与第二内区影像I22,其中第一内区影像I12对应于第二外区影像I21中邻近第二拼接直线S2的局部区域,第二内区影像I22对应于第一外区影像I11中邻近第一拼接直线S1的局部区域,影像拼接模块15将第一影像I1和第二影像I2,沿第一拼接线S1和第二拼接线S2处叠合,使第一外区影像I11与第二外区影像I21拼接而产生广角的拼接影像W(如图8所示)。
综上,本发明实施例通过分析第一标线影像M1与第二标线影像M2中的高亮度群组的像素点占比,可判断光学标线O对应照射空间中的远距物体与近距物体的比重,当近距物体的比重较高时,即统计第一标线影像M1中高亮度群组H1的各像素点与第二标线影像M2中高亮度群组H2的各像素点之间水平差距值,并取得对应于最多数的水平差距值的线段进行第一影像I1与第二影像I2的拼接,以形成广角的拼接影像。由此,可达到减少特征匹配的运算时间并改善拍摄近物时视差的影响。此外,本发明实施例可采用两个一般镜头进行影像撷取,再经由处理与拼接以形成广角影像,可避免广角影像发生失真的问题。
再如图4所示,当影像处理模块14判断第一高亮度群组H1的多个第一二维像素点P的数量以及第二高亮度群组H2的多个第二二维像素点Q的数量皆小于数量阀值时(代表远距物体的比重较高,例如远处风景的摄影),影像处理模块14即分析第一影像I1与第二影像I2以取得一特征点匹配信息(步骤S043)。所述特征点匹配信息包括第一影像I1与第二影像I2彼此对应匹配的至少一影像特征点(例如第一影像I1与第二影像I2彼此对应的角点、线段或亮度等等)。接着影像拼接模块15即根据特征点匹配信息进行拼接第一影像I1与第二影像I2(步骤S052)。也就是说,影像处理模块14会先取得第一影像I1与第二影像I2彼此重叠的部分(即特征点匹配信息),影像拼接模块15根据重叠的部分拼接第一影像I1与第二影像I2而形成一广角的拼接影像W(如图8所示)。
具体而言,当近距物体的比重较高时,即通过第一标线影像M1与第二标线影像M2拼接第一影像I1与第二影像I2。当远距物体的比重较高时,即以第一影像I1与第二影像I2所匹配的特征进行拼接。由此,本发明实施例可进一步根据空间中的远距物体与近距物体的比重,选用较佳的方式进行拼接,以取得更佳的影像质量。
最后应说明的是:虽然以上已经详细说明了本发明及其优点,但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且,本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解,根据本发明可以使用执行与在此所述的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此,所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。
Claims (15)
1.一种影像处理装置,其特征在于,包括:
一发光源,发出一长条状的光学标线;
一第一影像撷取模块,撷取一第一影像及对应于该光学标线的一第一标线影像;
一第二影像撷取模块,撷取一第二影像及对应于该光学标线的一第二标线影像;
一影像分析模块,电连接于该第一影像撷取模块与该第二影像撷取模块,该影像分析模块分析该第一标线影像以取得一第一高亮度群组、以及分析该第二标线影像以取得一第二高亮度群组,其中该第一高亮度群组包括多个第一二维像素点,该第二高亮度群组包括多个第二二维像素点,该些第一二维像素点及该些第二二维像素点的亮度皆大于一亮度阀值;
一影像处理模块,电连接于该影像分析模块,该影像处理模块判断该些第一二维像素点的数量与该些第二二维像素点的数量皆大于一数量阀值时,该影像处理模块分析该些第一二维像素点和该些第二二维像素点以分别取得一第一拼接直线和一第二拼接直线;以及
一影像拼接模块,电连接于该影像处理模块,该影像拼接模块根据该第一拼接直线及该第二拼接直线,拼接该第一影像及该第二影像。
2.如权利要求1所述的影像处理装置,其特征在于,各该第一二维像素点包括一第一水平坐标值与一第一垂直坐标值,各该第二二维像素点包括一第二水平坐标值与一第二垂直坐标值,该影像处理模块计算具有相同该第一垂直坐标值与该第二垂直坐标值的各该第一二维像素点与各该第二二维像素点之间的一水平差距值,据以取得该第一拼接直线和该第二拼接直线。
3.如权利要求2所述的影像处理装置,其特征在于,该影像处理模块根据有最多数该水平差距值的各该第一二维像素点与各该第二二维像素点分别取得该第一拼接直线与该第二拼接直线。
4.如权利要求2所述的影像处理装置,其特征在于,该影像处理模块根据最小的或最大的该水平差距值的各该第一二维像素点与各该第二二维像素点分别取得该第一拼接直线与该第二拼接直线。
5.如权利要求1所述的影像处理装置,其特征在于,该影像拼接模块依据该第一拼接直线将该第一影像区分为一第一外区影像与一第一内区影像、以及根据该第二拼接直线将该第二影像区分为一第二外区影像与一第二内区影像,该第一内区图像对应于该第二外区影像中邻近该第二拼接直线的局部区域,该第二内区图像对应于该第一外区影像中邻近该第一拼接直线的局部区域,该影像拼接模块将该第一外区影像与该第二外区影像进行拼接而产生一拼接影像。
6.如权利要求1所述的影像处理装置,其特征在于,该影像处理模块判断该些第一二维像素点的数量与该些第二二维像素点的数量皆小于该数量阀值时,分析该第一影像与该第二影像以取得一特征点匹配信息,该特征点匹配信息包括该第一影像与该第二影像彼此对应匹配的至少一影像特征点,该影像拼接模块根据该特征点匹配信息进行拼接该第一影像与该第二影像。
7.如权利要求1所述的影像处理装置,其特征在于,该光学标线为不可见光。
8.如权利要求1所述的影像处理装置,其特征在于,该第一影像撷取模块具有一第一光轴,该第二影像撷取模块具有一第二光轴,该第一光轴与该第二光轴夹设一预定角度。
9.如权利要求1所述的影像处理装置,其特征在于,该发光源包括一光学镜片,该发光源发出光线并经由该光学镜片而形成该长条状的光学标线。
10.一种图像处理方法,其特征在于,包括:
投射步骤:一发光源发出一长条状的光学标线;
撷取步骤:一第一影像撷取模块撷取一第一影像及对应于该光学标线的一第一标线影像,以及一第二影像撷取模块撷取一第二影像及对应于该光学标线的一第二标线影像;
分析步骤:一影像分析模块分析该第一标线影像以取得一第一高亮度群组、以及分析该第二标线影像以取得一第二高亮度群组,其中该第一高亮度群组包括多个第一二维像素点,该第二高亮度群组包括多个第二二维像素点,该些第一二维像素点及该些第二二维像素点的亮度皆大于一亮度阀值;
处理步骤:一影像处理模块判断该些第一二维像素点的数量与该些第二二维像素点的数量皆大于一数量阀值时,该影像处理模块分析该些第一二维像素点和该些第二二维像素点以分别取得一第一拼接直线和一第二拼接直线;以及
拼接步骤:一影像拼接模块根据该第一拼接直线及该第二拼接直线,拼接该第一影像及该第二影像。
11.如权利要求10所述的图像处理方法,其特征在于,各该第一二维像素点包括一第一水平坐标值与一第一垂直坐标值,各该第二二维像素点包括一第二水平坐标值与一第二垂直坐标值,且该处理步骤包括:该影像处理模块计算具有相同该第一垂直坐标值与该第二垂直坐标值的各该第一二维像素点与各该第二二维像素点之间的一水平差距值,据以取得该第一拼接直线和该第二拼接直线。
12.如权利要求11所述的图像处理方法,其特征在于,该处理步骤包括:该影像处理模块根据有最多数该水平差距值的各该第一二维像素点与各该第二二维像素点分别取得该第一拼接直线与该第二拼接直线。
13.如权利要求11所述的图像处理方法,其特征在于,该处理步骤包括:该影像处理模块根据最小的或最大的该水平差距值的各该第一二维像素点与各该第二二维像素点分别取得该第一拼接直线与该第二拼接直线。
14.如权利要求10所述的图像处理方法,其特征在于,该拼接步骤包括:该影像拼接模块根据该第一拼接直线将该第一影像区分为一第一外区影像与一第一内区影像、以及根据该第二拼接直线将该第二影像区分为一第二外区影像与一第二内区影像,该第一内区图像对应于该第二外区影像中邻近该第二拼接直线的局部区域,该第二内区图像对应于该第一外区影像中邻近该第一拼接直线的局部区域,该影像拼接模块将该第一外区影像与该第二外区影像进行拼接而产生一拼接影像。
15.如权利要求10所述的图像处理方法,其特征在于,该处理步骤包括:该影像处理模块判断该些第一二维像素点的数量与该些第二二维像素点的数量皆小于该数量阀值时,分析该第一影像与该第二影像以取得一特征点匹配信息,该特征点匹配信息包括该第一影像与该第二影像彼此对应匹配的至少一影像特征点,该拼接步骤包括:该影像拼接模块根据该特征点匹配信息进行拼接该第一影像与该第二影像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810469838.3A CN110505393B (zh) | 2018-05-16 | 2018-05-16 | 影像处理装置与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810469838.3A CN110505393B (zh) | 2018-05-16 | 2018-05-16 | 影像处理装置与方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110505393A true CN110505393A (zh) | 2019-11-26 |
CN110505393B CN110505393B (zh) | 2021-05-14 |
Family
ID=68583883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810469838.3A Active CN110505393B (zh) | 2018-05-16 | 2018-05-16 | 影像处理装置与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110505393B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120070160A1 (en) * | 2010-09-22 | 2012-03-22 | Fuji Xerox Co., Ltd. | Medium transport apparatus, image forming apparatus, method for determining splice on medium and computer readable medium |
CN102402306A (zh) * | 2010-09-13 | 2012-04-04 | 原相科技股份有限公司 | 光学鼠标的提起检测方法及具有提起检测的光学鼠标 |
CN105516614A (zh) * | 2015-11-27 | 2016-04-20 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
TW201624991A (zh) * | 2014-12-25 | 2016-07-01 | 晶睿通訊股份有限公司 | 用於接圖的影像校正方法及具有影像校正功能的相關攝影機與影像處理系統 |
TWM533381U (en) * | 2016-08-25 | 2016-12-01 | Microtek Int Inc | Image scanning apparatus |
-
2018
- 2018-05-16 CN CN201810469838.3A patent/CN110505393B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102402306A (zh) * | 2010-09-13 | 2012-04-04 | 原相科技股份有限公司 | 光学鼠标的提起检测方法及具有提起检测的光学鼠标 |
US20120070160A1 (en) * | 2010-09-22 | 2012-03-22 | Fuji Xerox Co., Ltd. | Medium transport apparatus, image forming apparatus, method for determining splice on medium and computer readable medium |
TW201624991A (zh) * | 2014-12-25 | 2016-07-01 | 晶睿通訊股份有限公司 | 用於接圖的影像校正方法及具有影像校正功能的相關攝影機與影像處理系統 |
CN105516614A (zh) * | 2015-11-27 | 2016-04-20 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
TWM533381U (en) * | 2016-08-25 | 2016-12-01 | Microtek Int Inc | Image scanning apparatus |
Also Published As
Publication number | Publication date |
---|---|
CN110505393B (zh) | 2021-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10958892B2 (en) | System and methods for calibration of an array camera | |
US11100661B2 (en) | Multi-modal depth mapping | |
US20220307819A1 (en) | Systems and methods for surface normals sensing with polarization | |
EP3531066B1 (en) | Three-dimensional scanning method including a plurality of lasers with different wavelengths, and scanner | |
EP3588429A1 (en) | Processing method, processing device, electronic device and computer readable storage medium | |
US6768509B1 (en) | Method and apparatus for determining points of interest on an image of a camera calibration object | |
EP2194725A1 (en) | Method and apparatus for correcting a depth image | |
CN109862345B (zh) | 视场角测试方法和系统 | |
JP6519265B2 (ja) | 画像処理方法 | |
JP2017032548A (ja) | 自動工業検査における3dビジョンの使用 | |
CN107808398B (zh) | 摄像头参数算出装置以及算出方法、程序、记录介质 | |
CN108989794B (zh) | 基于抬头显示系统的虚像信息测量方法及系统 | |
US9204130B2 (en) | Method and system for creating a three dimensional representation of an object | |
CN112802114A (zh) | 多视觉传感器融合装置及其方法和电子设备 | |
US20210256729A1 (en) | Methods and systems for determining calibration quality metrics for a multicamera imaging system | |
CN104034729A (zh) | 用于电路板分选的五维成像系统及其成像方法 | |
CN112361989B (zh) | 一种通过点云均匀性考量测量系统标定参数的方法 | |
US11195290B2 (en) | Apparatus and method for encoding in structured depth camera system | |
CN111536895B (zh) | 外形识别装置、外形识别系统以及外形识别方法 | |
CN110505393A (zh) | 影像处理装置与方法 | |
JP7312594B2 (ja) | キャリブレーション用チャートおよびキャリブレーション用器具 | |
JP2005216191A (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
TWI675350B (zh) | 影像處理裝置與方法 | |
CN117917689A (zh) | 一种机器人相机标定方法、系统、设备及介质 | |
CN115797995A (zh) | 人脸活体检测方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |