CN112154647B - 广角影像提供系统 - Google Patents

广角影像提供系统 Download PDF

Info

Publication number
CN112154647B
CN112154647B CN201980028471.4A CN201980028471A CN112154647B CN 112154647 B CN112154647 B CN 112154647B CN 201980028471 A CN201980028471 A CN 201980028471A CN 112154647 B CN112154647 B CN 112154647B
Authority
CN
China
Prior art keywords
area
image
area image
camera module
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980028471.4A
Other languages
English (en)
Other versions
CN112154647A (zh
Inventor
朴成悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ten And Two Co ltd
Original Assignee
Ten And Two Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180048327A external-priority patent/KR102062736B1/ko
Priority claimed from KR1020180048326A external-priority patent/KR102062734B1/ko
Priority claimed from KR1020180048328A external-priority patent/KR102057602B1/ko
Application filed by Ten And Two Co ltd filed Critical Ten And Two Co ltd
Publication of CN112154647A publication Critical patent/CN112154647A/zh
Application granted granted Critical
Publication of CN112154647B publication Critical patent/CN112154647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

本发明涉及广角影像提供系统，其包括：第一摄像头模块，生成拍摄第一区域的第一区域影像；第二摄像头模块，生成拍摄与上述第一区域相邻的第二区域的第二区域影像；以及校正处理部，分别对上述第一区域影像、第二区域影像进行畸变校正及相位差校正，对上述相位差校正的第一区域影像、第二区域影像进行重叠校正及颜色校正。

Description

广角影像提供系统
技术领域
本发明的实施例涉及广角影像提供系统。
背景技术
通常，闭路电视(CCTV)摄像头用于普通家庭的防盗，或设置在百货商店、银行、展厅等场所，以预先预防并防止侵入、失窃或火灾等，即使发生事故，也能迅速处理。
尤其，这种闭路电视摄像头系统以带着特殊的目的设置在特定场所并为了监视所有情况而远程监控影像的目的利用，上述闭路电视摄像头通常大致设置在建筑物的墙壁上部或天花板，并朝向特定方向摆放，以便于尽可能监视宽广的区域。
但是，像这样，就用于闭路电视等的摄像头而言，通常，视角在30°至70°的范围内，拍摄范围受限而存在盲区，为了减少这种盲区，使用鱼眼镜头(fish-eye lens)等之类的广角镜头(wide-angle lens)。
但是，安装广角镜头(wide-angle lens)的摄像头具有与利用标准镜头时相比，焦距短且视场(FOV，Field Of View)宽的特性，获得的影像的形态发生径向畸变(radialdistortion)而产生事物畸变现象。
并且，现有技术的全景摄像头拍摄的影像存在产生位置畸变现象的问题。
发明内容
技术问题
本发明是为了解决上述的问题而提出的，本发明的广角影像提供系统提供无盲区且无广角畸变、透视畸变、明暗差及色像差的广角影像，可提供无畸变的广角影像以虚拟现实(VR)形态输出影像，当缩小、放大影像时，也不发生畸变。
并且，本发明的广角影像提供系统利用手机用摄像头、闭路电视用摄像头、网络摄像头等多种摄像头模块，通过使用专用程序或专用手机应用软件的校正提供广角影像。
并且，本发明的广角影像提供系统提供可应用于汽车、无人机、手机、摄像头、船舶、火箭、医疗、国防、家庭、休闲等使用摄像头的整个产业的广角影像提供方法及系统。
技术方案
用于解决上述问题的本发明实施例的广角影像提供系统包括：第一摄像头模块，生成拍摄第一区域的第一区域影像；第二摄像头模块，生成拍摄与上述第一区域相邻的第二区域的第二区域影像；以及校正处理部，分别对上述第一区域影像、第二区域影像进行畸变校正及相位差校正，对上述相位差校正的第一区域影像、第二区域影像进行重叠校正及颜色校正。
根据本发明的再一实施例，上述校正处理部可包括：畸变校正部，分别对上述第一区域影像、第二区域影像进行畸变校正；相位差校正部，分别对上述畸变校正的第一区域影像、第二区域影像进行相位差校正；重叠校正部，以使上述相位差校正的第一区域影像、第二区域影像相邻的方式进行重叠校正；以及颜色校正部，对上述重叠校正的重叠影像进行颜色校正。
根据本发明的另一实施例，上述畸变校正部可分别对上述第一区域影像、第二区域影像进行广角畸变校正之后，进行透视畸变校正，上述相位差校正部可提取上述第一区域影像、第二区域影像的水平基准点之后，做坐标旋转移动来调节上述第一区域影像、第二区域影像的位置，上述重叠校正部可分别对上述第一区域影像、第二区域影像进行大小调节之后，移动坐标来重叠地进行位置调节，上述颜色校正部可调节上述重叠校正的重叠影像的亮度及色像差。
根据本发明的另一实施例，上述第一摄像头模块及上述第二摄像头模块的各个拍摄面可相互以110°至135°的角度配置。
本发明另一实施例的广角影像提供系统包括：第一摄像头模块，生成拍摄第一区域的第一区域影像；第二摄像头模块，生成拍摄与上述第一区域的右侧相邻的第二区域的第二区域影像；第三摄像头模块，生成拍摄与上述第一区域的下侧相邻的第三区域的第三区域影像，或者生成拍摄作为与上述第一区域相反的一侧的第三区域的第三区域影像；第四摄像头模块，生成拍摄与上述第二区域的下侧及上述第三区域的右侧相邻的第四区域的第四区域影像，或者生成拍摄作为与上述第二区域相反的一侧且与上述第三区域的左侧相邻的第四区域的第四区域影像；以及校正处理部，分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行畸变校正及相位差校正，对上述相位差校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行重叠校正及颜色校正。
根据本发明的另一实施例，上述校正处理部可包括：畸变校正部，分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行畸变校正；相位差校正部，分别对上述畸变校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行相位差校正；重叠校正部，以使上述相位差校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像相邻的方式进行重叠校正；以及颜色校正部，对上述重叠校正的重叠影像进行颜色校正。
根据本发明的另一实施例，上述畸变校正部可分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行广角畸变校正之后，进行透视畸变校正，上述相位差校正部可提取上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的水平基准点之后，做坐标旋转移动来调节上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的位置，上述重叠校正部可分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行大小调节之后，移动坐标来重叠地进行位置调节，上述颜色校正部可调节上述重叠校正的重叠影像的亮度及色像差。
根据本发明的另一实施例，上述第一摄像头模块可包括：第一镜头模块；第一图像传感器模块，生成通过上述第一镜头模块拍摄第一区域的第一区域影像；以及第一结构体，收纳上述第一镜头模块和上述第一图像传感器模块，上述第二摄像头模块可包括：第二镜头模块；第二图像传感器模块，生成通过上述第二镜头模块拍摄第二区域的第二区域影像；以及第二结构体，收纳上述第二镜头模块和上述第二图像传感器模块，上述第三摄像头模块可包括：第三镜头模块；第三图像传感器模块，生成通过上述第三镜头模块拍摄第三区域的第三区域影像；以及第三结构体，收纳上述第三镜头模块和上述第三图像传感器模块，上述第四摄像头模块可包括：第四镜头模块；第四图像传感器模块，生成通过上述第四镜头模块拍摄第四区域的第四区域影像；以及第四结构体，收纳上述第四镜头模块和上述第四图像传感器模块。
根据本发明的另一实施例，还可包括：第一连杆部、第二连杆部，分别结合在上述第一摄像头模块、第二摄像头模块的各一侧；第三连杆部、第四连杆部，分别结合在上述第三摄像头模块、第四摄像头模块的各一侧；以及圆形盘，借助马达旋转，包括分别与上述第一连杆部、第二连杆部、第三连杆部、第四连杆部相结合来移动的曲线槽。
根据本发明的另一实施例，上述第一摄像头模块、第二摄像头模块中，分别与上述一侧相向的另一侧可相互铰链结合，上述第三摄像头模块、第四摄像头模块中，分别与上述一侧相向的另一侧可相互铰链结合，上述第一连杆部、第二连杆部可通过上述圆形盘的旋转移动上述曲线槽来调节上述第一摄像头模块、第二摄像头模块相互形成的角度，上述第三连杆部、第四连杆部可通过上述圆形盘的旋转移动上述曲线槽来调节上述第三摄像头模块、第四摄像头模块相互形成的角度。
发明的效果
根据本发明的实施例，可提供无盲区且无广角畸变、透视畸变、明暗差及色像差的广角影像。
并且，根据本发明的实施例，可提供无畸变的广角影像以虚拟现实形态输出影像，当缩小、放大影像时，也不发生畸变。
并且，根据本发明的实施例，利用手机用摄像头、闭路电视用摄像头、网络摄像头等多种摄像头模块，可通过使用专用程序或专用手机应用软件的校正提供广角影像。
进而，根据本发明的实施例，可应用于汽车、无人机、手机、摄像头、船舶、火箭、医疗、国防、家庭、休闲等使用摄像头的整个产业提供宽的视角的影像。
附图说明
图1为本发明一实施例的广角影像提供系统的结构图。
图2为用于说明本发明一实施例的广角影像提供方法的流程图。
图3为用于说明本发明一实施例的第一摄像头、第二摄像头的拍摄区域的图。
图4至图8为用于说明对本发明一实施例的广角影像提供方法进行说明的第一区域影像、第二区域影像的校正过程的图。
图9及图10为表示本发明一实施例的第一摄像头、第二摄像头的配置位置的图。
图11及图12为表示根据本发明一实施例的第一摄像头、第二摄像头的配置位置的摄像头的拍摄配置角度的图。
图13至图15为表示本发明一实施例的广角影像提供方法的用于校正的校正室的图。
图16为本发明一实施例的广角影像提供系统的摄像头模块的立体图。
图17为本发明一实施例的广角影像提供系统的摄像头模块的展开图。
图18为用于说明本发明一实施例的广角影像提供系统的摄像头模块的配置及角度调节方法的图。
图19为本发明再一实施例的广角影像提供系统的结构图。
图20为用于说明本发明另一实施例的广角影像提供方法的流程图。
图21至图25为用于说明本发明另一实施例的广角影像提供方法的第一区域影像、第二区域影像、第三区域影像、第四区域影像的校正过程的图。
图26至图28为表示本发明另一实施例的广角影像提供方法的用于校正的校正室的图。
图29为表示根据本发明另一实施例的第一摄像头、第二摄像头、第三摄像头、第四摄像头的配置位置的第一摄像头、第二摄像头、第三摄像头、第四摄像头的拍摄配置角度的图。
图30为本发明另一实施例的广角影像提供系统的摄像头模块的立体图。
图31为本发明另一实施例的广角影像提供系统的摄像头模块的展开图。
图32至图36为用于说明对本发明另一实施例的广角影像提供方法进行说明的第一区域影像、第二区域影像、第三区域影像、第四区域影像的校正过程的图。
图37至图39为表示本发明另一实施例的广角影像提供方法的用于校正的校正室的图。
图40为表示根据本发明另一实施例的第一摄像头、第二摄像头、第三摄像头、第四摄像头的配置位置的第一摄像头、第二摄像头、第三摄像头、第四摄像头的拍摄配置角度的图。
图41为本发明另一实施例的广角影像提供系统的摄像头模块的结构图。
图42为本发明另一实施例的广角影像提供系统的摄像头模块的立体图。
图43为用于说明本发明另一实施例的广角影像提供系统的摄像头模块的角度调节方法的图。
图44为本发明另一实施例的广角影像提供系统的摄像头模块的展开图。
具体实施方式
以下，参照附图，详细说明优选的本发明一实施例。只是，在说明实施方式的过程中，当判断为相关的公知功能或结构的具体说明有可能不必要地混淆本发明的要旨时，省略其相关详细说明。并且，图中的各个结构要素的大小有可能被放大，以便于说明，不意味着实际应用的大小。
图1为本发明一实施例的广角影像提供系统的结构图。此后，参照图1，说明本发明一实施例的广角影像提供系统的结构。
如图1所示，本发明一实施例的广角影像提供系统可包括第一摄像头模块110、第二摄像头模块120、校正处理部130及影像存储部140，并且，上述校正处理部130可包括畸变校正部131、相位差校正部132、重叠校正部133及颜色校正部134。
第一摄像头模块110生成拍摄第一区域的第一区域影像，第二摄像头模块120生成拍摄与上述第一区域相邻的第二区域的第二区域影像。
更具体地，上述第一摄像头模块110可拍摄相当于要拍摄的区域的左侧(left)的区域来生成作为左侧影像的第一区域影像，上述第二摄像头模块120可拍摄相当于要拍摄的区域的右侧(right)的区域来生成作为右侧影像的第二区域影像。
此时，上述第一摄像头模块110及上述第二摄像头模块120的各个拍摄面相互以110°至135°的角度配置，上述第一摄像头模块110及上述第二摄像头模块120拍摄的影像可提供左右视角为180°至200°且上下视角为90°至110°的影像。
像这样，上述第一摄像头模块110、第二摄像头模块120拍摄的影像有广角畸变及透视畸变，当使利用2台摄像头拍摄的影像相邻重叠时，产生相位差、重叠的区域、明暗差或色像差。
因此，校正处理部130如此校正影像的畸变、相位差、重叠的区域、明暗差或色像差等。即，上述校正处理部130分别对上述第一摄像头模块110、第二摄像头模块120拍摄的第一区域影像、第二区域影像进行畸变校正及相位差校正，对上述相位差校正的第一区域影像、第二区域影像进行重叠校正及颜色校正。
更具体地，上述校正处理部130可包括畸变校正部131、相位差校正部132、重叠校正部133及颜色校正部134。
上述畸变校正部131对第一摄像头模块110拍摄的第一区域影像进行畸变校正，相位差校正部132分别对上述畸变校正的第一区域影像、第二区域影像进行相位差校正。并且，重叠校正部133使上述相位差校正的第一区域影像、第二区域影像相邻地进行重叠校正，上述颜色校正部134可对上述重叠校正的重叠影像进行颜色校正。
更详细地说明，上述畸变校正部131可分别对上述第一区域影像、第二区域影像进行广角畸变校正之后，进行透视畸变校正，上述相位差校正部132可提取上述第一区域影像、第二区域影像的水平基准点之后，做坐标旋转移动来调节上述第一区域影像、第二区域影像的位置，上述重叠校正部133可分别对上述第一区域影像、第二区域影像进行大小调节之后，移动坐标来重叠地进行位置调节，上述颜色校正部134可调节上述重叠校正的重叠影像的亮度及色像差。
影像存储部140可如此存储校正处理部130校正而合成的影像。
因此，根据本发明的实施例，可提供无盲区且无广角畸变、透视畸变、明暗差及色像差的广角影像。
图2为用于说明本发明一实施例的广角影像提供方法的流程图，图3为用于说明本发明一实施例的第一摄像头、第二摄像头的拍摄区域的图。
并且，图4至图8为用于说明对本发明一实施例的广角影像提供方法进行说明的第一区域影像、第二区域影像的校正过程的图。
此后，参照图2至图8，说明本发明一实施例的广角影像提供方法。
首先，如图2所示，相当于左侧摄像头(left摄像头)的第一摄像头模块生成拍摄第一区域的第一区域影像来提取(步骤S210)，相当于右侧摄像头(right摄像头)的第二摄像头模块生成拍摄与第一区域相邻的第二区域的第二区域影像来提取(步骤S211)。
像这样，提取的第一区域影像、第二区域影像包括透视畸变和广角畸变。因此，畸变校正部参照畸变常数(Distortion Constant)分别对上述第一区域影像、第二区域影像进行广角畸变和透视畸变校正(步骤S220、步骤S221)。
图4表示如此进行广角畸变校正和透视畸变校正的第一区域影像、第二区域影像。
之后，上述相位差校正部参照相位差常数(Phase Difference Constant)提取上述广角畸变和透视畸变校正的上述第一区域影像、第二区域影像的水平基准点之后，如图5所示，做坐标旋转移动来调节上述第一区域影像、第二区域影像的位置(步骤S230、步骤S231)，分别存储上述坐标旋转移动及位置调节的第一区域影像、第二区域影像(步骤S235、步骤S236)。
之后，重叠校正部参照重叠常数(Overlap Constant)调节上述存储的第一区域影像、第二区域影像的大小之后，移动坐标，如图6所示重叠地进行位置调节(步骤S240)。
参照图3，位置调节而重叠的影像由第一摄像头模块110拍摄第一区域的第一区域影像111和第二摄像头模块120拍摄第二区域的第二区域影像121构成，产生相重叠的区域301，这种重叠的区域301分别区分为第一摄像头模块校正区域112和第二摄像头模块校正区域122。
颜色校正部可参照颜色常数(Color Constant)调节如图7所示地重叠校正的重叠影像的亮度及色像差，如图8所示，生成第一区域影像、第二区域影像重叠而合成的影像来存储(步骤S250、步骤S255)，并输出如此存储的合成影像(步骤S260)。
图9及图10为表示本发明一实施例的第一摄像头、第二摄像头的配置位置的图，图11及图12为表示根据本发明一实施例的第一摄像头、第二摄像头的配置位置的摄像头的拍摄配置角度的图。
并且，图13至图15为表示本发明一实施例的广角影像提供方法的用于校正的校正室的图。
此后，参照图9至图12，说明根据本发明一实施例的第一摄像头、第二摄像头的配置的摄像头的拍摄角度。
如图9所示，当第一摄像头、第二摄像头配置于墙壁等从地面垂直竖立的侧部时，如图11所示，第一摄像头、第二摄像头的拍摄面相互以110°至135°的角度配置，上述第一摄像头、第二摄像头和墙壁的角度配置成形成27°至35°，可提供除了相应的侧部(墙壁)之外的其余区域的影像。
并且，如图10所示，当第一摄像头、第二摄像头配置成如同天花板等场所朝向地面时，如图12所示，第一摄像头、第二摄像头的拍摄面相互以110°至135°的角度配置，可提供两侧面的所有面的影像和上述剩余两侧面的一部分面的影像。
图13表示用于校正本发明一实施例的广角畸变和透视畸变的校正室(Calibration Booth)，图14表示本发明一实施例的重叠影像的用于校正的校正室(Calibration Booth)。
并且，图15表示用于校正本发明一实施例的区域影像的亮度及色像差的校正室。
因此，根据本发明的实施例，可提供无盲区且无广角畸变、透视畸变、明暗差及色像差的广角影像，可提供无畸变的广角影像以虚拟现实形态输出影像，当缩小、放大影像时，也不发生畸变。
进而，根据本发明的实施例，可应用于汽车、无人机、手机、摄像头、船舶、火箭、医疗、国防、家庭、休闲等使用摄像头的整个产业提供宽的视角的影像。
图16为本发明一实施例的广角影像提供系统的摄像头模块的立体图，图17为本发明一实施例的广角影像提供系统的摄像头模块的展开图，图18为用于说明本发明一实施例的广角影像提供系统的摄像头模块的配置及角度调节方法的图。
参照图16及图17，本发明一实施例的第一摄像头模块110包括第一镜头模块111、第一图像传感器模块112及第一结构体113。
第一图像传感器模块112生成通过上述第一镜头模块111拍摄第一区域的第一区域影像，第一结构体113可收纳上述第一镜头模块111和上述第一图像传感器模块112。
同样，第二摄像头模块120包括第二镜头模块121、第二图像传感器模块122及第二结构体123，第二图像传感器模块122生成通过上述第二镜头模块121拍摄第二区域的第二区域影像，第二结构体123可收纳上述第二镜头模块121和上述第二图像传感器模块122。
此时，上述第一结构体113、第二结构体123可由铝框构成，以实现轻量化。
并且，第一连杆部115、第二连杆部125分别结合在上述第一摄像头模块110、第二摄像头模块120的各一侧，圆形盘150固定于固定板160而借助马达旋转，上述圆形盘150可包括分别与上述第一连杆部115、第二连杆部125相结合而移动的曲线槽151。
由此，第一摄像头模块110、第二摄像头模块120的分别与上述一侧相向的另一侧相互铰链结合，上述第一连杆部115、第二连杆部125可通过上述圆形盘150的旋转移动上述曲线槽151来调节上述第一摄像头模块110、第二摄像头模块120相互形成的角度。
当调节这种第一摄像头模块110、第二摄像头模块120之间的角度时，控制马达来使圆形盘150旋转，以调节第一摄像头模块110、第二摄像头模块120之间的角度，通过放大及缩小可获得最佳的影像拍摄角度。
另一方面，参照图18，可根据第一摄像头模块110、第二摄像头模块120的视角，确定上述第一摄像头模块110、第二摄像头模块120的角度。
数学式1
α＝(180°-a)×(2/3)
(此时，α为第一摄像头模块、第二摄像头模块分别与地面形成的角度，a为第一摄像头模块、第二摄像头模块的水平视角。)
数学式2
β＝(180°-b)×(1/3)
(此时，β为各个第一摄像头模块、第二摄像头模块的图像模块的角度，b为第一摄像头模块、第二摄像头模块的垂直视角。)
根据本发明的一实施例，如图16及图18所示，当配置第一摄像头模块110、第二摄像头模块120时，可利用数学式1计算第一摄像头模块110、第二摄像头模块120分别与地面形成的角度，可利用数学式2计算第一摄像头模块110、第二摄像头模块120的图像模块112、122的角度来应用。
图19为本发明再一实施例的广角影像提供系统的结构图。此后，参照图19，说明本发明再一实施例的广角影像提供系统的结构。
如图19所示，本发明再一实施例的广角影像提供系统可包括第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125、校正处理部130及影像存储部140，并且，上述校正处理部130可包括畸变校正部131、相位差校正部132、重叠校正部133及颜色校正部134。
第一摄像头模块110生成拍摄第一区域的第一区域影像，第二摄像头模块115生成拍摄与上述第一区域的右侧相邻的第二区域的第二区域影像，第三摄像头模块120生成拍摄与上述第一区域的下侧相邻的第三区域的第三区域影像，第四摄像头模块125生成拍摄与上述第二区域的下侧及上述第三区域的右侧相邻的第四区域的第四区域影像。
更具体地，上述第一摄像头模块110可拍摄相当于要拍摄的区域的左侧上部(upleft)的区域来生成作为左侧上部影像的第一区域影像，上述第二摄像头模块115可拍摄相当于要拍摄的区域的右侧上部(up right)的区域来生成作为右侧上部影像的第二区域影像。同样，上述第三摄像头模块120可拍摄相当于要拍摄的区域的左侧下部(down left)的区域来生成作为左侧下部影像的第三区域影像，上述第四摄像头模块125可拍摄相当于要拍摄的区域的右侧下部(down right)的区域来生成作为右侧下部影像的第四区域影像。
像这样，上述第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125拍摄的影像有广角畸变及透视畸变，当使利用4台摄像头拍摄的影像相邻地重叠时，产生相位差、重叠的区域、明暗差或色像差。
因此，校正处理部130如此校正影像的畸变、相位差、重叠的区域、明暗差或色像差等。即，上述校正处理部130分别对上述第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125拍摄的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行畸变校正及相位差校正，对上述相位差校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行重叠校正及颜色校正。
更具体地，上述校正处理部130可包括畸变校正部131、相位差校正部132、重叠校正部133及颜色校正部134。
上述畸变校正部131对第一区域影像、第二区域影像、第三区域影像、第四区域影像进行畸变校正，相位差校正部132分别对上述畸变校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行相位差校正。并且，重叠校正部133能够使上述相位差校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像相邻地进行重叠校正，上述颜色校正部134可对上述重叠校正的重叠影像进行颜色校正。
更详细地说明，上述畸变校正部131可分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行广角畸变校正之后，进行透视畸变校正，上述相位差校正部132可提取上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的水平基准点之后，做坐标旋转移动来调节上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的位置，上述重叠校正部133可分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行大小调节之后，移动坐标来重叠地进行位置调节，上述颜色校正部134可调节上述重叠校正的重叠影像的亮度及色像差。
影像存储部140可如此存储校正处理部130校正而合成的影像。
因此，根据本发明的实施例，可提供无左右视角为200°且上下视角为200°的盲区、无广角畸变、透视畸变、明暗差及色像差的广角影像。
图20为用于说明本发明另一实施例的广角影像提供方法的流程图，图21至图25为用于说明对本发明还一实施例的广角影像提供方法进行说明的第一区域影像、第二区域影像、第三区域影像、第四区域影像的校正过程的图。
此后，参照图20至图25，说明本发明另一实施例的广角影像提供方法。
首先，如图20所示，相当于左侧上部(up left)摄像头的第一摄像头模块生成拍摄第一区域的第一区域影像来提取(步骤S210)，相当于右侧上部(up right)摄像头的第二摄像头模块生成拍摄与第一区域的右侧相邻的第二区域的第二区域影像来提取(步骤S211)。
并且，相当于左侧下部(down left)摄像头的第三摄像头模块生成拍摄第三区域的第三区域影像来提取(步骤S212)，相当于右侧下部(down right)摄像头的第四摄像头模块生成拍摄与上述第二区域的下侧及第三区域的右侧相邻的第四区域的第四区域影像来提取(步骤S213)。
像这样，提取的第一区域影像、第二区域影像、第三区域影像、第四区域影像包括透视畸变和广角畸变。因此，畸变校正部参照畸变常数(Distortion Constant)分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行广角畸变和透视畸变校正(步骤S220、步骤S221、步骤S222、步骤S223)。
图21表示如此进行广角畸变校正和透视畸变校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像。
之后，上述相位差校正部参照相位差常数(Phase Difference Constant)提取上述广角畸变和透视畸变校正的上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的水平基准点之后，如图22所示，做坐标旋转移动来调节上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的位置(步骤S230)。
之后，重叠校正部参照重叠常数(Overlap Constant)调节上述存储的第一区域影像、第二区域影像、第三区域影像、第四区域影像的大小之后，移动坐标，如图23所示使上述第一区域影像、第二区域影像、第三区域影像、第四区域影像相重叠地进行位置调节(步骤S240)。
颜色校正部可参照颜色常数(Color Constant)调节如图24所示地重叠校正的重叠影像的亮度及色像差，如图25所示，生成第一区域影像、第二区域影像、第三区域影像、第四区域影像重叠而合成的影像来存储(步骤S250、步骤S255)，并输出如此存储的合成影像(步骤S260)。
图26至图28为表示本发明另一实施例的广角影像提供方法的用于校正的校正室的图。
图26表示用于校正本发明另一实施例的广角畸变和透视畸变的校正室(Calibration Boot h)，图27表示用于校正本发明另一实施例的重叠影像的校正室(Calibration Booth)。
并且，图28表示用于校正本发明另一实施例的区域影像的亮度及色像差的校正室。
因此，根据本发明的另一实施例，可提供无盲区且无广角畸变、透视畸变、明暗差及色像差的广角影像，可提供无畸变的广角影像以虚拟现实形态输出影像，当缩小、放大影像时，也不发生畸变。
进而，根据本发明的另一实施例，可应用于汽车、无人机、手机、摄像头、船舶、火箭、医疗、国防、家庭、休闲等使用摄像头的整个产业提供宽的视角的影像。
图29为表示根据本发明另一实施例的第一摄像头、第二摄像头、第三摄像头、第四摄像头的配置位置的第一摄像头、第二摄像头、第三摄像头、第四摄像头的拍摄配置角度的图。
此后，参照图29，说明根据本发明另一实施例的第一摄像头、第二摄像头、第三摄像头、第四摄像头的配置的第一摄像头、第二摄像头、第三摄像头、第四摄像头的拍摄角度。
根据本发明的另一实施例，如图29的(a)所示，第一摄像头、第二摄像头、第三摄像头、第四摄像头可提供无盲区、左右视角为200°且上下视角为200°的宽的视角的前面影像。
并且，如图29的(b)所示，当第一摄像头、第二摄像头、第三摄像头、第四摄像头配置于墙壁等从地面垂直竖立的侧部时，可拍摄除了相应的侧部(墙壁)之外的其余区域的影像来提供。
图30为本发明另一实施例的广角影像提供系统的摄像头模块的结构图，图31为本发明另一实施例的广角影像提供系统的摄像头模块的立体图。
参照图30，本发明另一实施例的第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125可分别包括镜头模块111、图像传感器模块112及结构体113。
图像传感器模块112生成通过上述镜头模块111拍摄相关区域的区域影像，结构体113可收纳上述镜头模块111和上述图像传感器模块112。
此时，上述结构体113可由铝框构成，以实现轻量化。
数学式3
α＝(180°-a)×(2/3)
(此时，α为第一摄像头模块、第二摄像头模块、第三摄像头模块、第四摄像头模块之间的角度，a为第一摄像头模块、第二摄像头模块、第三摄像头模块、第四摄像头模块的水平视角。)
数学式4
β＝(180°-b)×(1/3)
(此时，β为各个第一摄像头模块、第二摄像头模块、第三摄像头模块、第四摄像头模块的图像模块的角度，b为第一摄像头模块、第二摄像头模块、第三摄像头模块、第四摄像头模块的垂直视角。)
根据本发明的一实施例，如图31所示，为了配置第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125，可利用数学式3计算各个第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125之间的角度，可利用数学式4计算各个第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125的图像模块112的角度来配置。
此后，参照图19，说明本发明再一实施例的广角影像提供系统的结构。
如图19所示，本发明再一实施例的广角影像提供系统可包括第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125、校正处理部130及影像存储部140，并且，上述校正处理部130可包括畸变校正部131、相位差校正部132、重叠校正部133及颜色校正部134。
第一摄像头模块110生成拍摄第一区域的第一区域影像，第二摄像头模块115生成拍摄与上述第一区域的右侧相邻的第二区域的第二区域影像，第三摄像头模块120生成拍摄作为与上述第一区域相反的一侧的第三区域的第三区域影像，第四摄像头模块125生成拍摄作为与上述第二区域相反的一侧且与上述第三区域的左侧相邻的第四区域的第四区域影像。
更具体地，上述第一摄像头模块110可拍摄相当于正面左侧(front left)的区域来生成作为正面左侧影像的第一区域影像，上述第二摄像头模块115可拍摄相当于正面右侧(front rig ht)的区域来生成作为正面右侧影像的第二区域影像。同样，上述第三摄像头模块120可拍摄相当于背面左侧(back left)的区域来生成作为背面左侧影像的第三区域影像，上述第四摄像头模块125可拍摄相当于背面右侧(back right)的区域来生成作为背面右侧影像的第四区域影像。
像这样，上述第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125拍摄的影像有广角畸变及透视畸变，当使利用4台摄像头拍摄的影像相邻地重叠时，产生相位差、重叠的区域、明暗差或色像差。
因此，校正处理部130如此校正影像的畸变、相位差、重叠的区域、明暗差或色像差等。即，上述校正处理部130分别对上述第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125拍摄的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行畸变校正及相位差校正，对上述相位差校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行重叠校正及颜色校正。
更具体地，上述校正处理部130可包括畸变校正部131、相位差校正部132、重叠校正部133及颜色校正部134。
上述畸变校正部131对第一区域影像、第二区域影像、第三区域影像、第四区域影像进行畸变校正，相位差校正部132分别对上述畸变校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行相位差校正。并且，重叠校正部133能够使上述相位差校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像相邻地进行重叠校正，上述颜色校正部134可对上述重叠校正的重叠影像进行颜色校正。
更详细地说明，上述畸变校正部131可分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行广角畸变校正之后，进行透视畸变校正，上述相位差校正部132可提取上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的水平基准点之后，做坐标旋转移动来调节上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的位置，上述重叠校正部133可分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行大小调节之后，移动坐标来重叠地进行位置调节，上述颜色校正部134可调节上述重叠校正的重叠影像的亮度及色像差。
影像存储部140可如此存储校正处理部130校正而合成的影像。
因此，根据本发明的实施例，可提供无盲区且无广角畸变、透视畸变、明暗差及色像差的广角影像。
图32至图36为用于说明对本发明另一实施例的广角影像提供方法进行说明的第一区域影像、第二区域影像、第三区域影像、第四区域影像的校正过程的图。
此后，参照图20、图32至图36，说明本发明另一实施例的广角影像提供方法。
首先，如图20所示，相当于前面左侧(up left)摄像头的第一摄像头模块生成拍摄第一区域的第一区域影像来提取(步骤S210)，相当于前面右侧(up right)摄像头的第二摄像头模块生成拍摄与第一区域的右侧相邻的第二区域的第二区域影像来提取(步骤S211)。
并且，相当于背面左侧(back left)摄像头的第三摄像头模块生成拍摄第三区域的第三区域影像来提取(步骤S212)，相当于背面右侧(back right)摄像头的第四摄像头模块生成拍摄与上述第二区域的下侧及第三区域的右侧相邻的第四区域的第四区域影像来提取(步骤S213)。
像这样，提取的第一区域影像、第二区域影像、第三区域影像、第四区域影像包括透视畸变和广角畸变。因此，畸变校正部参照畸变常数(Distortion Constant)分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行广角畸变和透视畸变校正(步骤S220、步骤S221、步骤S222、步骤S223)。
图32表示如此进行广角畸变校正和透视畸变校正的第一区域影像、第二区域影像。
之后，上述相位差校正部参照相位差常数(Phase Difference Constant)提取上述广角畸变和透视畸变校正的上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的水平基准点之后，如图33所示，做坐标旋转移动来调节上述第一区域影像、第二区域影像的位置，同样，还调节第三区域影像、第四区域影像的位置(步骤S230)。
之后，重叠校正部参照重叠常数(Overlap Constant)调节上述存储的第一区域影像、第二区域影像、第三区域影像、第四区域影像的大小之后，移动坐标，如图34所示重叠地进行位置调节(步骤S240)。
颜色校正部可参照颜色常数(Color Constant)调节如图35所示地重叠校正的重叠影像的亮度及色像差，如图36所示，生成第一区域影像、第二区域影像、第三区域影像、第四区域影像重叠而合成的影像来存储(步骤S250、步骤S255)，并输出如此存储的合成影像(步骤S260)。
图37至图39为表示本发明另一实施例的广角影像提供方法的用于校正的校正室的图。
图37表示用于校正本发明一实施例的广角畸变和透视畸变的校正室(Calibration Booth)，图38表示用于校正本发明一实施例的重叠影像的校正室(Calibration Booth)。
并且，图39表示用于校正本发明一实施例的区域影像的亮度及色像差的校正室。
因此，根据本发明的实施例，可提供无盲区且无广角畸变、透视畸变、明暗差及色像差的广角影像，可提供无畸变的广角影像以虚拟现实形态输出影像，当缩小、放大影像时，也不发生畸变。
进而，根据本发明的实施例，可应用于汽车、无人机、手机、摄像头、船舶、火箭、医疗、国防、家庭、休闲等使用摄像头的整个产业提供宽的视角的影像。
图40为表示根据本发明一实施例的第一摄像头、第二摄像头、第三摄像头、第四摄像头的配置位置的第一摄像头、第二摄像头、第三摄像头、第四摄像头的拍摄配置角度的图。
此后，参照图40，说明根据本发明一实施例的第一摄像头、第二摄像头、第三摄像头、第四摄像头的配置的第一摄像头、第二摄像头、第三摄像头、第四摄像头的拍摄角度。
如图40的(a)所示，第一摄像头、第二摄像头、第三摄像头、第四摄像头可在除了地面和天花板之外的区域提供无盲区、左右视角为360°且上下视角为90°～100°的宽的视角的前面影像。
并且，如图40的(b)所示，当第一摄像头、第二摄像头、第三摄像头、第四摄像头配置于墙壁等从地面垂直竖立的侧部时，可拍摄除了地面和天花板之外的其余区域的影像来提供。
图41为本发明一实施例的广角影像提供系统的摄像头模块的结构图，图42为本发明一实施例的广角影像提供系统的摄像头模块的立体图。
并且，图43为用于说明本发明一实施例的广角影像提供系统的摄像头模块的角度调节方法的图，图44为本发明一实施例的广角影像提供系统的摄像头模块的展开图。
参照图41及图42，本发明一实施例的第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125可分别包括镜头模块111、图像传感器模块112及结构体113。
图像传感器模块112生成通过上述镜头模块111拍摄相关区域的区域影像，结构体113可收纳上述镜头模块111和上述图像传感器模块112。
此时，上述结构体113可由铝框构成，以实现轻量化，本发明一实施例的固定式广角影像提供系统可由第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125以配置于4面的方式被固定而360°拍摄的正方形拍摄系统构成。
并且，如图43及图44所示，可构成如下：第一连杆部151、第二连杆部152分别结合在上述第一摄像头模块110、第二摄像头模块115的各一侧，同样，第三连杆部153、第四连杆部154分别结合在上述第三摄像头模块120、第四摄像头模块125的各一侧，圆形盘150固定于固定板160、161之间，借助马达旋转。
并且，上述圆形盘150可包括分别与上述第一连杆部151、第二连杆部152、第三连杆部153、第四连杆部154相结合来移动的曲线槽。
由此，第一摄像头模块110、第二摄像头模块115中，分别与上述一侧相向的另一侧相互铰链结合，上述第一连杆部151、第二连杆部152通过上述圆形盘150的旋转移动上述曲线槽，同样，第三摄像头模块120、第四摄像头模块125中，分别与上述一侧相向的另一侧相互铰链结合，上述第三连杆部153、第四连杆部154可通过上述圆形盘150的旋转移动上述曲线槽。
因此，根据本发明的一实施例，可通过上述圆形盘150的旋转调节上述第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125相互形成的角度。
当调节这种第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125之间的角度时，可控制马达来使圆形盘150旋转，以调节第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125之间的角度，通过放大及缩小可获得最佳的影像拍摄范围。
另一方面，根据本发明，可根据第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125的视角，确定上述第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125的角度。
数学式5
α＝(180°-a)×(2/3)
(此时，α为第一摄像头模块、第二摄像头模块、第三摄像头模块、第四摄像头模块之间的角度，a为第一摄像头模块、第二摄像头模块、第三摄像头模块、第四摄像头模块的水平视角。)
数学式6
β＝(180°-b)×(1/3)
(此时，β为各个第一摄像头模块、第二摄像头模块、第三摄像头模块、第四摄像头模块的图像模块的角度，b为第一摄像头模块、第二摄像头模块、第三摄像头模块、第四摄像头模块的垂直视角。)
根据本发明的一实施例，如图43所示，为了配置第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125，可利用数学式1计算各个第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125之间的角度，可利用数学式2计算各个第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125的图像模块112的角度来配置。
如上所述的本发明的详细说明中对具体实施例进行说明。但是，在不脱离本发明的范畴的范围内可进行多种变形。本发明的技术思想不得局限于本发明的上述的实施例而确定，应当取决于权利要求书及其等同技术方案。

Claims (6)

1.一种广角影像提供系统，其特征在于，包括：
第一摄像头模块，生成拍摄第一区域的第一区域影像；
第二摄像头模块，生成拍摄与所述第一区域相邻的第二区域的第二区域影像；以及
校正处理部，分别对所述第一区域影像、第二区域影像进行畸变校正及相位差校正，对所述相位差校正的第一区域影像、第二区域影像进行重叠校正及颜色校正；
所述第一摄像头模块包括：
第一镜头模块；
第一图像传感器模块，生成通过所述第一镜头模块拍摄第一区域的第一区域影像；以及
第一结构体，收纳所述第一镜头模块和所述第一图像传感器模块，
所述第二摄像头模块包括：
第二镜头模块；
第二图像传感器模块，生成通过所述第二镜头模块拍摄第二区域的第二区域影像；以及
第二结构体，收纳所述第二镜头模块和所述第二图像传感器模块；
第一连杆部、第二连杆部，分别结合在所述第一摄像头模块、第二摄像头模块的各一侧；
圆形盘，借助马达旋转，包括分别与所述第一连杆部、第二连杆部相结合来移动的曲线槽；
所述第一摄像头模块、第二摄像头模块中，分别与所述一侧相向的另一侧相互铰链结合，
所述第一连杆部、第二连杆部通过所述圆形盘的旋转移动所述曲线槽来调节所述第一摄像头模块、第二摄像头模块相互形成的角度。
2.根据权利要求1所述的广角影像提供系统，其特征在于，所述校正处理部包括：
畸变校正部，分别对所述第一区域影像、第二区域影像进行畸变校正；
相位差校正部，分别对所述畸变校正的第一区域影像、第二区域影像进行相位差校正；
重叠校正部，以使所述相位差校正的第一区域影像、第二区域影像相邻的方式进行重叠校正；以及
颜色校正部，对所述重叠校正的重叠影像进行颜色校正。
3.根据权利要求2所述的广角影像提供系统，其特征在于，
所述畸变校正部分别对所述第一区域影像、第二区域影像进行广角畸变校正之后，进行透视畸变校正，
所述相位差校正部提取所述第一区域影像、第二区域影像的水平基准点之后，做坐标旋转移动来调节所述第一区域影像、第二区域影像的位置，
所述重叠校正部分别对所述第一区域影像、第二区域影像进行大小调节之后，移动坐标来重叠地进行位置调节，
所述颜色校正部调节所述重叠校正的重叠影像的亮度及色像差。
4.一种广角影像提供系统，其特征在于，包括：
第一摄像头模块，生成拍摄第一区域的第一区域影像；
第二摄像头模块，生成拍摄与所述第一区域的右侧相邻的第二区域的第二区域影像；
第三摄像头模块，生成拍摄与所述第一区域的下侧相邻的第三区域的第三区域影像，或者生成拍摄作为与所述第一区域相反的一侧的第三区域的第三区域影像；
第四摄像头模块，生成拍摄与所述第二区域的下侧及所述第三区域的右侧相邻的第四区域的第四区域影像，或者生成拍摄作为与所述第二区域相反的一侧且与所述第三区域的左侧相邻的第四区域的第四区域影像；以及
校正处理部，分别对所述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行畸变校正及相位差校正，对所述相位差校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行重叠校正及颜色校正；
所述第一摄像头模块包括：
第一镜头模块；
第一图像传感器模块，生成通过所述第一镜头模块拍摄第一区域的第一区域影像；以及
第一结构体，收纳所述第一镜头模块和所述第一图像传感器模块，
所述第二摄像头模块包括：
第二镜头模块；
第二图像传感器模块，生成通过所述第二镜头模块拍摄第二区域的第二区域影像；以及
第二结构体，收纳所述第二镜头模块和所述第二图像传感器模块，
所述第三摄像头模块包括：
第三镜头模块；
第三图像传感器模块，生成通过所述第三镜头模块拍摄第三区域的第三区域影像；以及
第三结构体，收纳所述第三镜头模块和所述第三图像传感器模块，
所述第四摄像头模块包括：
第四镜头模块；
第四图像传感器模块，生成通过所述第四镜头模块拍摄第四区域的第四区域影像；以及
第四结构体，收纳所述第四镜头模块和所述第四图像传感器模块；
第一连杆部、第二连杆部，分别结合在所述第一摄像头模块、第二摄像头模块的各一侧；
第三连杆部、第四连杆部，分别结合在所述第三摄像头模块、第四摄像头模块的各一侧；以及
圆形盘，借助马达旋转，包括分别与所述第一连杆部、第二连杆部、第三连杆部、第四连杆部相结合来移动的曲线槽；
所述第一摄像头模块、第二摄像头模块中，分别与所述一侧相向的另一侧相互铰链结合，
所述第三摄像头模块、第四摄像头模块中，分别与所述一侧相向的另一侧相互铰链结合，
所述第一连杆部、第二连杆部通过所述圆形盘的旋转移动所述曲线槽来调节所述第一摄像头模块、第二摄像头模块相互形成的角度，
所述第三连杆部、第四连杆部通过所述圆形盘的旋转移动所述曲线槽来调节所述第三摄像头模块、第四摄像头模块相互形成的角度。
5.根据权利要求4所述的广角影像提供系统，其特征在于，所述校正处理部包括：
畸变校正部，分别对所述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行畸变校正；
相位差校正部，分别对所述畸变校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行相位差校正；
重叠校正部，以使所述相位差校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像相邻的方式进行重叠校正；以及
颜色校正部，对所述重叠校正的重叠影像进行颜色校正。
6.根据权利要求5所述的广角影像提供系统，其特征在于，
所述畸变校正部分别对所述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行广角畸变校正之后，进行透视畸变校正，
所述相位差校正部提取所述第一区域影像、第二区域影像、第三区域影像、第四区域影像的水平基准点之后，做坐标旋转移动来调节所述第一区域影像、第二区域影像、第三区域影像、第四区域影像的位置，
所述重叠校正部分别对所述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行大小调节之后，移动坐标来重叠地进行位置调节，
所述颜色校正部调节所述重叠校正的重叠影像的亮度及色像差。
CN201980028471.4A 2018-04-26 2019-04-26 广角影像提供系统 Active CN112154647B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR1020180048327A KR102062736B1 (ko) 2018-04-26 2018-04-26 광각 영상 제공 방법 및 시스템
KR10-2018-0048328 2018-04-26
KR10-2018-0048326 2018-04-26
KR1020180048326A KR102062734B1 (ko) 2018-04-26 2018-04-26 광각 영상 제공 방법 및 시스템
KR1020180048328A KR102057602B1 (ko) 2018-04-26 2018-04-26 광각 영상 제공 방법 및 시스템
KR10-2018-0048327 2018-04-26
PCT/KR2019/005068 WO2019209067A1 (ko) 2018-04-26 2019-04-26 광각 영상 제공 시스템

Publications (2)

Publication Number Publication Date
CN112154647A CN112154647A (zh) 2020-12-29
CN112154647B true CN112154647B (zh) 2022-03-18

Family

ID=68293599

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980028456.XA Active CN112119626B (zh) 2018-04-26 2019-04-26 广角影像提供方法
CN201980028471.4A Active CN112154647B (zh) 2018-04-26 2019-04-26 广角影像提供系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980028456.XA Active CN112119626B (zh) 2018-04-26 2019-04-26 广角影像提供方法

Country Status (5)

Country Link
US (2) US20210243367A1 (zh)
EP (2) EP3787277A4 (zh)
JP (2) JP7185357B2 (zh)
CN (2) CN112119626B (zh)
WO (2) WO2019209067A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7185357B2 (ja) * 2018-04-26 2022-12-07 テンエントゥ カンパニー，リミテッド 広角映像提供システム
JP2021141436A (ja) * 2020-03-05 2021-09-16 キヤノン株式会社 電子機器
TWI760733B (zh) * 2020-04-27 2022-04-11 晶睿通訊股份有限公司 影像校正方法及其影像校正裝置
JP2022006912A (ja) * 2020-06-25 2022-01-13 キヤノン株式会社 制御装置、撮像装置、監視システム、及び制御方法
KR20220036630A (ko) * 2020-09-16 2022-03-23 삼성전자주식회사 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템
CN112969033A (zh) * 2020-12-31 2021-06-15 清华大学苏州汽车研究院（吴江） 一种智能座舱车内智能感知系统
US11849100B2 (en) * 2021-05-31 2023-12-19 Canon Kabushiki Kaisha Information processing apparatus, control method, and non-transitory computer readable medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060096708A (ko) * 2005-03-02 2006-09-13 김배훈 영상 조합기를 이용한 감시 카메라 장치
CN101833231A (zh) * 2010-03-19 2010-09-15 中国人民解放军国防科学技术大学 拼接全景相机视域的调节装置及调节方法
JP6022123B1 (ja) * 2015-11-09 2016-11-09 三菱電機株式会社 画像生成システム及び画像生成方法
CN207196012U (zh) * 2017-08-21 2018-04-06 中国科学院深圳先进技术研究院 一种全景视频拍摄架

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6022123B2 (ja) 1981-07-07 1985-05-31 ピーエスコンクリート株式会社 舗装版の結合方法
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
JP2004120226A (ja) * 2002-09-25 2004-04-15 Sharp Corp パノラマ画像撮像装置及びパノラマ画像撮像方法
FI115947B (fi) * 2004-02-25 2005-08-15 Nokia Corp Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi
US20060098897A1 (en) * 2004-11-10 2006-05-11 Agfa-Gevaert Method of superimposing images
KR100614840B1 (ko) * 2004-11-11 2006-08-22 김배훈 360°파노라마 촬영용 카메라장치
JP4297111B2 (ja) * 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
KR100724134B1 (ko) * 2006-01-09 2007-06-04 삼성전자주식회사 이미지 매칭 속도와 블렌딩 방법을 개선한 파노라마 영상제공 방법 및 장치
JP2009169601A (ja) 2008-01-15 2009-07-30 Ricoh Co Ltd 画像処理システム及びこの画像処理システムを有するカメラ
US9105080B2 (en) 2008-10-01 2015-08-11 Hi-Key Limited Method and a system for calibrating an image capture device
US8416282B2 (en) * 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image
JP2010245831A (ja) 2009-04-06 2010-10-28 Nikon Corp 撮影画像合成装置
GB2473059A (en) * 2009-08-28 2011-03-02 Sony Corp A method and apparatus for forming a composite image
JP5417138B2 (ja) * 2009-12-07 2014-02-12 株式会社東芝 カメラモジュール
JP2011182078A (ja) * 2010-02-26 2011-09-15 Seiko Epson Corp 補正情報算出装置、画像補正装置、画像表示システム、補正情報算出方法
JP2011182328A (ja) 2010-03-03 2011-09-15 Fujifilm Corp 複眼撮像装置
CN102438153B (zh) * 2010-09-29 2015-11-25 华为终端有限公司 多摄像机图像校正方法和设备
JP2012159616A (ja) 2011-01-31 2012-08-23 Sanyo Electric Co Ltd 撮像装置
KR101300350B1 (ko) * 2011-08-09 2013-08-28 삼성전기주식회사 영상 처리 장치 및 영상 처리 방법
US9600863B2 (en) * 2012-02-13 2017-03-21 Omnivision Technologies, Inc. Method for combining images
GB2512621A (en) * 2013-04-04 2014-10-08 Sony Corp A method and apparatus
US9686479B2 (en) * 2013-09-16 2017-06-20 Duke University Method for combining multiple image fields
JP2015100613A (ja) * 2013-11-27 2015-06-04 ソニー株式会社 画像処理装置および方法、並びに超音波診断装置
JP6232994B2 (ja) * 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2015125002A (ja) * 2013-12-25 2015-07-06 株式会社ズームスケープ 計測用画像撮影方法及び画像計測プログラム
JP5843034B1 (ja) 2014-05-15 2016-01-13 株式会社リコー 動画表示装置およびプログラム
US10027948B2 (en) * 2014-05-20 2018-07-17 Nextvr Inc. Methods and apparatus including or for use with one or more cameras
US9185391B1 (en) * 2014-06-17 2015-11-10 Actality, Inc. Adjustable parallax distance, wide field of view, stereoscopic imaging system
US9420176B2 (en) * 2014-06-19 2016-08-16 Omnivision Technologies, Inc. 360 degree multi-camera system
KR101657673B1 (ko) * 2015-04-30 2016-09-22 주식회사 와이즈오토모티브 파노라마뷰 생성 장치 및 방법
US9866752B2 (en) * 2015-06-02 2018-01-09 Qualcomm Incorporated Systems and methods for producing a combined view from fisheye cameras
US20170061686A1 (en) * 2015-08-28 2017-03-02 Hai Yu Stage view presentation method and system
KR102450363B1 (ko) * 2015-11-06 2022-10-04 한화테크윈 주식회사 감시 카메라
JP2017187727A (ja) 2016-04-01 2017-10-12 健治 比嘉 連結カメラ
KR102372808B1 (ko) * 2017-09-11 2022-03-15 삼성전자주식회사 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법
JP2019168661A (ja) * 2018-03-26 2019-10-03 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP7185357B2 (ja) * 2018-04-26 2022-12-07 テンエントゥ カンパニー，リミテッド 広角映像提供システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060096708A (ko) * 2005-03-02 2006-09-13 김배훈 영상 조합기를 이용한 감시 카메라 장치
CN101833231A (zh) * 2010-03-19 2010-09-15 中国人民解放军国防科学技术大学 拼接全景相机视域的调节装置及调节方法
JP6022123B1 (ja) * 2015-11-09 2016-11-09 三菱電機株式会社 画像生成システム及び画像生成方法
CN207196012U (zh) * 2017-08-21 2018-04-06 中国科学院深圳先进技术研究院 一种全景视频拍摄架

Also Published As

Publication number Publication date
JP2021520174A (ja) 2021-08-12
JP7231281B2 (ja) 2023-03-01
JP7185357B2 (ja) 2022-12-07
EP3787278A4 (en) 2022-03-16
WO2019209067A1 (ko) 2019-10-31
CN112154647A (zh) 2020-12-29
EP3787277A1 (en) 2021-03-03
US20210243367A1 (en) 2021-08-05
CN112119626B (zh) 2022-03-18
EP3787277A4 (en) 2022-03-30
JP2021519954A (ja) 2021-08-12
EP3787278A1 (en) 2021-03-03
US20210243368A1 (en) 2021-08-05
CN112119626A (zh) 2020-12-22
WO2019209069A1 (ko) 2019-10-31
US11523054B2 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
CN112154647B (zh) 广角影像提供系统
KR100898824B1 (ko) 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템
KR101776702B1 (ko) 3차원 영상을 생성하는 감시 카메라 및 그 방법
US9602700B2 (en) Method and system of simultaneously displaying multiple views for video surveillance
US9398214B2 (en) Multiple view and multiple object processing in wide-angle video camera
US20050029458A1 (en) System and a method for a smart surveillance system
US10489885B2 (en) System and method for stitching images
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
JP4606322B2 (ja) 車両運転支援装置
CN112712037A (zh) 基于全景图像和目标检测的车载环境感知方法和系统
KR101916419B1 (ko) 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법
KR102062736B1 (ko) 광각 영상 제공 방법 및 시스템
TW202011349A (zh) 全景圖形成方法及系統
JP2004096488A (ja) 物体検知装置、物体検知方法および物体検知プログラム
CN104363421A (zh) 实现多角度摄像头监控效果的方法和装置
KR102235951B1 (ko) 차량용 영상 생성 장치 및 방법
KR102057602B1 (ko) 광각 영상 제공 방법 및 시스템
KR102062734B1 (ko) 광각 영상 제공 방법 및 시스템
KR20120122398A (ko) 어레이형 카메라 장치 및 어레이 영상획득방법
JP2011211675A (ja) アムニディレクショナルと防犯・監視カメラ統合で死角無し
JP2002347517A (ja) 車載カメラおよび車両の周囲監視装置
JP2001258050A (ja) 立体映像撮像装置
JP2005099572A (ja) 広域撮影方法および表示方法
CN116843595A (zh) 融合摄影方法、装置、电子设备及车辆
CN116389698A (zh) 一种将球形全景视频投影到异形屏幕的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant