CN108734651A - 图像拼接方法及其图像拼接装置 - Google Patents

图像拼接方法及其图像拼接装置 Download PDF

Info

Publication number
CN108734651A
CN108734651A CN201710549920.2A CN201710549920A CN108734651A CN 108734651 A CN108734651 A CN 108734651A CN 201710549920 A CN201710549920 A CN 201710549920A CN 108734651 A CN108734651 A CN 108734651A
Authority
CN
China
Prior art keywords
image
adjacent images
joint method
split
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710549920.2A
Other languages
English (en)
Inventor
陈智伟
吴佩甄
陈奕安
成德钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RUIZHI TECHNOLOGY CO LTD
Original Assignee
RUIZHI TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RUIZHI TECHNOLOGY CO LTD filed Critical RUIZHI TECHNOLOGY CO LTD
Publication of CN108734651A publication Critical patent/CN108734651A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像拼接方法，应用在包括两个图像获取单元以及一个运算处理单元的图像拼接装置。该图像拼接方法包括取得视野相邻的两张图像，侦测该两张相邻图像之间的重叠区域，统计该两张相邻图像分别在该重叠区域的图像信息，利用该图像信息运算补偿函数，以及根据该补偿函数调整该两张相邻图像的其中一个图像，使该两张相邻图像的该图像信息彼此一致。本发明的图像拼接方法及其图像拼接装置能够有效克服多个图像获取单元因为摆放视角、个别光学组件所产生的图像信息差异，让拼接后全景画面能呈现亮度与色彩的一致性。

Description

图像拼接方法及其图像拼接装置
技术领域
本发明涉及一种图像拼接方法及其图像拼接装置，特别是有关一种可使拼接图像色彩一致的图像拼接方法及其图像拼接装置。
背景技术
全景相机利用多个摄像镜头对不同视角拍摄照片，在通过图像拼接技术将相邻照片接合以形成全景图片。然而环境光线在不同视角的光强度会有所差异，并且不同摄像镜头彼此间的镜头参数，例如曝光、白平衡与色彩，通常略有不同，故无论全景相机是个别或同时驱动多个摄像镜头拍摄不同视角的照片时，该些照片在色彩与亮度皆缺乏一致性。使用该些照片进行拼接所得的全景图片，在照片接缝处会形成明显可见的色彩和/或亮度落差。如何设计一种有效改善拼接效果的图像拼接方法，便为相关产业的发展目标。
发明内容
本发明提供一种可使拼接图像色彩一致的图像拼接方法及其图像拼接装置，以解决上述的问题。
本发明公开一种图像拼接方法，其包括取得视野相邻的两张图像，侦测该两相邻图像之间的重叠区域，统计该两张相邻图像分别在该重叠区域的图像信息，利用该图像信息运算补偿函数，以及根据该补偿函数调整该两张相邻图像的其中一个图像，使该两张相邻图像的该图像信息彼此一致。
本发明进一步公开一种图像拼接装置，包括两个图像获取单元以及一个运算处理单元。该两个图像获取单元用来取得视野相邻的两张图像。该运算处理单元电连接在该些图像获取单元。该运算处理单元使用该两张图像执行图像拼接方法，意即侦测该两张相邻图像之间的重叠区域，统计该两张相邻图像分别在该重叠区域的图像信息，利用该图像信息运算补偿函数，以及根据该补偿函数调整该两张相邻图像的其中一个图像，使该两张相邻图像的该图像信息彼此一致。
本发明的图像拼接方法及其图像拼接装置使用图像获取单元的视角重叠现象，在相邻图像上的重叠区域进行一致性运算，计算出补偿函数的所需数值，对相邻图像中的其中一张或多张图像进行补偿，能够有效克服多个图像获取单元因为摆放视角、个别光学组件，例如图像传感器、透镜模块、滤光片等，所产生的图像信息差异，让拼接后全景画面能呈现亮度与色彩的一致性。
附图说明
图1为本发明实施例的图像拼接装置的功能方块图。
图2为本发明实施例的图像拼接装置的示意图。
图3为本发明实施例的图像拼接方法的流程图。
图4为本发明实施例的相邻图像的示意图。
其中，附图标记说明如下：
10 图像拼接装置
12 图像获取单元
14 运算处理单元
I1、I2 图像
fv1 左图像获取单元的视野
fv2 右图像获取单元的视野
fv3 重叠区域
步骤300、302、304、306、308、310、312、314
具体实施方式
请参阅图1与图2，图1为本发明实施例的图像拼接装置10的功能方块图，图2为本发明实施例的图像拼接装置10的示意图。图像拼接装置10包括彼此电连接在一起的多个图像获取单元12以及运算处理单元14。多个图像获取单元12以不同视角指向监控区域，取得视野相邻的多张图像I1与I2。运算处理单元14可将该些相邻图像I1与I2拼接成全景画面，提供全方位的监控图像与录像。进行图像拼接时，运算处理单元14执行本发明所述的图像拼接方法，避免全景画面在图像相邻处形成色彩和/或亮度落差的不自然接缝。
请参阅图3与图4，图3为本发明实施例的图像拼接方法的流程图，图4为本发明实施例的相邻图像I1与I2的示意图。图3所述的图像拼接方法适用在图1与图2所示的图像拼接装置10。图像获取单元12的数量可为两个或两个以上，每一个图像获取单元12所取得的图像和相邻图像获取单元12取得的图像有视野重叠现象，如图1所示的重叠区域fv3，运算处理单元14才能将相邻图像I1与I2两两拼接在一起。图像获取单元12的排列方式与相邻图像的拼接排列不限在本实施例所述，端视实际需求而定；例如六张图像可以排成长宽比为一比六的条型全景画面、也可排成长宽比为二比三的方形全景画面。
启动图像拼接装置10的图像拼接功能后，首先执行步骤300与步骤302，运算处理单元14从图像获取单元12取得两张或两张以上视野相邻的图像I1与I2，并侦测该些相邻图像之间的重叠区域fv3。如图2所示，左侧图像获取单元12的视野fv1和右侧图像获取单元12的视野fv2之间形成重叠区域fv3。在本发明的可能实施态样中，图像拼接方法可将相邻图像的全部重叠画面都定义为重叠区域fv3、也可仅选定重叠画面的部分区域作为重叠区域fv3；重叠画面的部分选定可以手动挑选、也可利用图像辨识技术进行动态挑选，通过辨识重叠画面里的特定图案来定义重叠区域fv3，然实际应用并不限在此。此外，步骤302还能选择性表示为图像拼接方法先行侦测相邻图像I1与I2间的非重叠区域，通过从相邻图像I1与I2排除非重叠区域来得到所需的重叠区域fv3。
接着，执行步骤304与步骤306，在重叠区域fv3里选定有效信息区，再根据相邻图像I1与I2在有效信息区里的图像信息分别进行统计。有效信息区的选定设计用来滤掉重叠区域fv3内一些可能会影响图像拼接精确性的噪声。有效信息区可根据单一张图像I1或I2进行选定、或可同时考虑多张图像I1与I2进行选定；再者，有效信息区可以直接从重叠区域fv3里的特定范围进行静态指定、或通过图像辨识技术进行动态挑选。图像拼接方法还能根据重叠区域fv3里具有相似特征的范围选定有效信息区，而该些相似特征包括但不限在亮度相似、色彩相似、锐利度相似与图像梯度相似。相应地，图像信息可为亮度、色度与彩度等图像参数的集合。还需提及的是，步骤304为选择性步骤，若选择不执行步骤304，图像拼接方法直接统计相邻图像分别在重叠区域fv3里的图像信息。
接着，执行步骤308与步骤310，利用统计得到的图像信息运算补偿函数，判断补偿函数是否介在预定范围内。若补偿函数介在预定范围内，执行步骤312以原始的补偿函数调整相邻图像；若补偿函数超出预定范围，则执行步骤314以校正后的补偿函数调整相邻图像。该些相邻图像经补偿后，便能用来合并出没有色彩/亮度落差的全景画面在本发明优选实施例中，补偿函数为默认理想值和任一个图像的比值，然实际应用当不限在此。举例来说，某一个图像的图像信息值低在默认理想值时，补偿函数对该图像的补偿权重大在1.0；另一个图像的图像信息值高在默认理想值时，补偿函数对该图像的补偿权重会小在1.0。为了避免补偿调幅过大，造成图像拼接的不自然，图像拼接方法优选地需通过步骤314校正补偿函数的变动幅度，避免相邻图像间拼接处的色彩和/或亮度产生剧烈变化。
特别一提的是，补偿函数的补偿参数可定义为图像数据的色相(Hue)、饱和度(Saturation)、明度(Value)、亮度(Lightness)、彩度(Chroma)和/或三原色光(RGB)等。计算补偿函数的校正权重时，图像拼接方法可选择上述全部的补偿参数、或仅选择部分的几个补偿参数，利用线性回归、非线性回归或线性规划技术去计算其均值、最高参数值、最低参数值或其它可能的运算方式，找出适合该些补偿参数的调配权重及其补偿函数，并通过线性补偿或非线性补偿技术调整相邻图像间其中一张图像，以显著提升相邻图像在拼接处的亮度与色彩一致性。其中，所述补偿可施行在模拟增益、数字增益、白平衡增益、色彩校正矩阵等任何可能的色彩和/或亮度的调整功能。
综上所述，本发明的图像拼接方法及其图像拼接装置使用图像获取单元的视角重叠现象，在相邻图像上的重叠区域进行一致性运算，计算出补偿函数的所需数值，对相邻图像中的其中一张或多张图像进行补偿，能够有效克服多个图像获取单元因为摆放视角、个别光学组件(例如图像传感器、透镜模块、滤光片等)所产生的图像信息差异，让拼接后全景画面能呈现亮度与色彩的一致性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种图像拼接方法，其特征在于，所述图像拼接方法包括：
取得视野相邻的两张图像；
侦测该两张相邻图像之间的重叠区域；
统计该两张相邻图像分别在该重叠区域的图像信息；
利用该图像信息运算补偿函数；以及
根据该补偿函数调整该两张相邻图像的其中一个图像，使该两张相邻图像的该图像信息彼此一致。
2.如权利要求1所述的图像拼接方法，其特征在于，所述图像拼接方法进一步包括：
判断该补偿函数是否介在预定范围内；以及
该补偿函数超出该预定范围时，以校正后的该补偿函数调整该两张相邻图像的其中一个图像。
3.如权利要求1所述的图像拼接方法，其特征在于，该补偿函数为默认理想值和该两张相邻图像的其中一个图像的比值。
4.如权利要求1所述的图像拼接方法，其特征在于，该补偿函数包括多个补偿参数，该图像拼接方法选择性以该多个补偿参数的均值、最高参数值、或最低参数值作为该补偿函数的校正权重。
5.如权利要求1所述的图像拼接方法，其特征在于，所述图像拼接方法进一步包括：
从该重叠区域里选定有效信息区；以及
根据该两相邻图像分别在该有效信息区的该图像信息进行统计。
6.如权利要求5所述的图像拼接方法，其特征在于，所述图像拼接方法从该重叠区域里具有相似特征的范围选定该有效信息区，并且该相似特征为亮度相似、色彩相似、锐利度相似、和/或图像梯度相似。
7.如权利要求1所述的图像拼接方法，其特征在于，所述图像拼接方法进一步包括：
将该两张相邻图像的全部重叠画面、或部分重叠画面定义为该重叠区域。
8.如权利要求1所述的图像拼接方法，其特征在于，侦测该两张相邻图像之间的该重叠区域的步骤包括：
侦测该两张相邻图像间的非重叠区域；以及
将该两张相邻图像分别排除该非重叠区域，以得到该重叠区域。
9.如权利要求1所述的图像拼接方法，其特征在于，该图像信息为亮度、色度与彩度的集合。
10.如权利要求1所述的图像拼接方法，其特征在于，该图像拼接方法利用线性回归、非线性回归或线性规划技术运算该补偿参数，并利用线性补偿或非线性补偿技术以该补偿函数调整该两张相邻图像的其中一个图像。
11.一种图像拼接装置，其特征在于，所述图像拼接装置包括：
两个图像获取单元，用来取得视野相邻的两张图像；以及
一个运算处理单元，电连接在该些图像获取单元，该运算处理单元使用该两张图像执行如请求项1至10任一所述的图像拼接方法。
CN201710549920.2A 2017-04-19 2017-07-07 图像拼接方法及其图像拼接装置 Withdrawn CN108734651A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106113066A TW201839717A (zh) 2017-04-19 2017-04-19 影像拼接方法及其影像拼接裝置
TW106113066 2017-04-19

Publications (1)

Publication Number Publication Date
CN108734651A true CN108734651A (zh) 2018-11-02

Family

ID=63854572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710549920.2A Withdrawn CN108734651A (zh) 2017-04-19 2017-07-07 图像拼接方法及其图像拼接装置

Country Status (3)

Country Link
US (1) US10430934B2 (zh)
CN (1) CN108734651A (zh)
TW (1) TW201839717A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636728A (zh) * 2018-12-24 2019-04-16 天津天地伟业信息系统集成有限公司 一种图像拼接的颜色校正方法
CN110807733A (zh) * 2019-10-17 2020-02-18 浙江大华技术股份有限公司 拼接补偿方法、装置及存储介质
CN110853106A (zh) * 2019-10-29 2020-02-28 苏州佳世达光电有限公司 口扫系统及口扫影像处理方法
CN111161148A (zh) * 2019-12-30 2020-05-15 上海闻泰电子科技有限公司 一种全景图像生成方法、装置、设备和存储介质
CN112102308A (zh) * 2020-09-25 2020-12-18 研祥智能科技股份有限公司 图像拼接方法及系统、产品缺陷检测方法及系统
CN115460390A (zh) * 2021-11-22 2022-12-09 北京罗克维尔斯科技有限公司 图像颜色处理方法、装置、车辆、电子设备和存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7268369B2 (ja) * 2019-01-30 2023-05-08 株式会社リコー 撮像システム、現像システム、撮像方法、及びプログラム
WO2022036539A1 (zh) * 2020-08-18 2022-02-24 华为技术有限公司 一种多相机色彩一致性校正方法和装置
CN114205567A (zh) 2020-09-18 2022-03-18 中强光电股份有限公司 触发投影拼接校正的方法及投影系统
EP4067818A1 (en) * 2021-03-30 2022-10-05 Hexagon Technology Center GmbH Measuring system with panoramic image acquisition functionality
TWI830094B (zh) * 2021-11-25 2024-01-21 信驊科技股份有限公司 偵測全景相機的拼接瑕疵的測試裝置和測試方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101399030A (zh) * 2007-09-25 2009-04-01 奇景光电股份有限公司 补偿场景变化的显示参数调整装置及其方法
TW200945910A (en) * 2008-04-28 2009-11-01 Chi Mei Optoelectronics Corp Method and device for modulating image color
CN104182949A (zh) * 2014-08-18 2014-12-03 武汉大学 基于直方图特征点配准的影像匀色与融合方法及系统
CN104240211A (zh) * 2014-08-06 2014-12-24 中国船舶重工集团公司第七0九研究所 用于视频拼接的图像亮度与色彩均衡方法及系统
CN104427242A (zh) * 2013-09-10 2015-03-18 联想(北京)有限公司 图像拼接方法、装置及电子设备
US20150138312A1 (en) * 2013-11-18 2015-05-21 Texas Instruments Incorporated Method and apparatus for a surround view camera system photometric alignment
CN105894449A (zh) * 2015-11-11 2016-08-24 乐卡汽车智能科技（北京）有限公司 克服图像融合中颜色突变的方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614603B2 (en) * 2016-09-19 2020-04-07 Qualcomm Incorporated Color normalization for a multi-camera system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101399030A (zh) * 2007-09-25 2009-04-01 奇景光电股份有限公司 补偿场景变化的显示参数调整装置及其方法
TW200945910A (en) * 2008-04-28 2009-11-01 Chi Mei Optoelectronics Corp Method and device for modulating image color
CN104427242A (zh) * 2013-09-10 2015-03-18 联想(北京)有限公司 图像拼接方法、装置及电子设备
US20150138312A1 (en) * 2013-11-18 2015-05-21 Texas Instruments Incorporated Method and apparatus for a surround view camera system photometric alignment
CN104240211A (zh) * 2014-08-06 2014-12-24 中国船舶重工集团公司第七0九研究所 用于视频拼接的图像亮度与色彩均衡方法及系统
CN104182949A (zh) * 2014-08-18 2014-12-03 武汉大学 基于直方图特征点配准的影像匀色与融合方法及系统
CN105894449A (zh) * 2015-11-11 2016-08-24 乐卡汽车智能科技（北京）有限公司 克服图像融合中颜色突变的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王宝珠等: "《颜色纠正算法在手机全景图的应用研究》", 《电视技术》 *
隆兴银等: "《序列数字图像的色彩校准方法》", 《四川大学学报(工程科学版)》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636728A (zh) * 2018-12-24 2019-04-16 天津天地伟业信息系统集成有限公司 一种图像拼接的颜色校正方法
CN110807733A (zh) * 2019-10-17 2020-02-18 浙江大华技术股份有限公司 拼接补偿方法、装置及存储介质
CN110807733B (zh) * 2019-10-17 2023-04-07 浙江大华技术股份有限公司 拼接补偿方法、装置及存储介质
CN110853106A (zh) * 2019-10-29 2020-02-28 苏州佳世达光电有限公司 口扫系统及口扫影像处理方法
CN110853106B (zh) * 2019-10-29 2022-10-11 苏州佳世达光电有限公司 口扫系统及口扫影像处理方法
CN111161148A (zh) * 2019-12-30 2020-05-15 上海闻泰电子科技有限公司 一种全景图像生成方法、装置、设备和存储介质
CN111161148B (zh) * 2019-12-30 2024-01-30 上海闻泰电子科技有限公司 一种全景图像生成方法、装置、设备和存储介质
CN112102308A (zh) * 2020-09-25 2020-12-18 研祥智能科技股份有限公司 图像拼接方法及系统、产品缺陷检测方法及系统
CN112102308B (zh) * 2020-09-25 2024-01-12 研祥智能科技股份有限公司 图像拼接方法及系统、产品缺陷检测方法及系统
CN115460390A (zh) * 2021-11-22 2022-12-09 北京罗克维尔斯科技有限公司 图像颜色处理方法、装置、车辆、电子设备和存储介质

Also Published As

Publication number Publication date
US10430934B2 (en) 2019-10-01
US20180308227A1 (en) 2018-10-25
TW201839717A (zh) 2018-11-01

Similar Documents

Publication Publication Date Title
CN108734651A (zh) 图像拼接方法及其图像拼接装置
US7746512B2 (en) Image arrangement for electronic album
US7375848B2 (en) Output image adjustment method, apparatus and computer program product for graphics files
US7791640B2 (en) Electronic camera and image generating apparatus generating stereo image
US20100134643A1 (en) Image processing method, image processing program, image processing device, image processing system, electronic camera and electronic apparatus
CN112396999B (zh) 异常显示块检测方法、显示屏故障检测方法及其设备
CN108712608A (zh) 终端设备拍摄方法和装置
JP2007208413A (ja) 色補正装置および色補正方法ならびに色補正プログラム
US9497433B2 (en) Imaging device with color adjustment function, imaging method using the same, and non-transitory storage medium in which imaging program is stored
DE112010006012T5 (de) Anzeigeeinheit, Bildaufnahmeeinheit und Anzeigesystem
CN105791783A (zh) 摄像头成像色彩调整方法和系统
CN115460386B (zh) 一种利用黑白相机获取彩色图像的方法及系统
US20090041295A1 (en) Image Display Device, Image Display Method, and Image Display Program
CN104243804A (zh) 摄像设备、图像处理设备及其控制方法
CN106604009A (zh) 一种实现自动白平衡功能的方法和装置
KR20180048986A (ko) 렌티큘러 렌즈 시트의 회전 위치 측정
CN117672125A (zh) Led屏幕校正方法、装置、设备、介质、led屏幕及系统
JPH11341501A (ja) 電子写真撮像装置、電子写真撮像方法、電子写真撮像制御プログラムを記録した媒体
JPH09261580A (ja) 画像処理方法
CN109040598B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN106060416A (zh) 一种智能拍照方法
CN114730548B (zh) 拼接屏白平衡调整的方法和装置、电子设备、介质
CN108337448A (zh) 高动态范围图像获取方法、装置、终端设备及存储介质
JP4583844B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20140028871A1 (en) Image capturing apparatus, control method therefor, and non-transitory computer readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181102