CN112119626A - 广角影像提供方法 - Google Patents
广角影像提供方法 Download PDFInfo
- Publication number
- CN112119626A CN112119626A CN201980028456.XA CN201980028456A CN112119626A CN 112119626 A CN112119626 A CN 112119626A CN 201980028456 A CN201980028456 A CN 201980028456A CN 112119626 A CN112119626 A CN 112119626A
- Authority
- CN
- China
- Prior art keywords
- area
- image
- area image
- correction
- camera module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012937 correction Methods 0.000 claims abstract description 240
- 238000003384 imaging method Methods 0.000 claims description 24
- 230000004075 alteration Effects 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 22
- 238000010586 diagram Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 18
- 230000007123 defense Effects 0.000 description 5
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 3
- 229910052782 aluminium Inorganic materials 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 235000015842 Hesperis Nutrition 0.000 description 1
- 235000012633 Iberis amara Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Accessories Of Cameras (AREA)
- Cameras In General (AREA)
Abstract
本发明涉及广角影像提供方法,其包括:拍摄步骤,利用第一照相机模块生成拍摄第一区域的第一区域影像,第二照相机模块生成拍摄与第一区域相邻的第二区域的第二区域影像;畸变校正步骤,畸变校正部分别对所述第一区域影像、第二区域影像进行畸变校正;相位差校正步骤,相位差校正部分别对所述畸变校正的第一区域影像、第二区域影像进行相位差校正;重叠校正步骤,重叠校正部对所述相位差校正的第一区域影像、第二区域影像进行重叠矫正,以使区域影像相邻;以及颜色校正步骤,颜色校正部对所述重叠校正的第一区域影像、第二区域影像进行颜色校正。
Description
技术领域
本发明的实施例涉及广角影像提供方法。
背景技术
通常,闭路电视(CCTV)摄像头用于普通家庭的防盗,或设置在百货商店、银行、展厅等场所,以预先预防并防止侵入、失窃或火灾等,即使发生事故,也能迅速处理。
尤其,这种闭路电视摄像头系统以带着特殊的目的设置在特定场所并为了监视所有情况而远程监控影像的目的利用,上述闭路电视摄像头通常大致设置在建筑物的墙壁上部或天花板,并朝向特定方向摆放,以便于尽可能监视宽广的区域。
但是,像这样,就用于闭路电视等的摄像头而言,通常,视角在30°至70°的范围内,拍摄范围受限而存在盲区,为了减少这种盲区,使用鱼眼镜头(fish-eye lens)等之类的广角镜头(wide-angle lens)。
但是,安装广角镜头(wide-angle lens)的摄像头具有与利用标准镜头时相比,焦距短且视场(FOV,Field Of View)宽的特性,获得的影像的形态发生径向畸变(radialdistortion)而产生事物畸变现象。
并且,现有技术的全景摄像头拍摄的影像存在产生位置畸变现象的问题。
发明内容
技术问题
本发明是为了解决上述的问题而提出的,本发明的广角影像提供系统提供无盲区且无广角畸变、透视畸变、明暗差及色像差的广角影像,可提供无畸变的广角影像以虚拟现实(VR)形态输出影像,当缩小、放大影像时,也不发生畸变。
并且,本发明的广角影像提供系统利用手机用摄像头、闭路电视用摄像头、网络摄像头等多种摄像头模块,通过使用专用程序或专用手机应用软件的校正提供广角影像。
并且,本发明的广角影像提供系统提供可应用于汽车、无人机、手机、摄像头、船舶、火箭、医疗、国防、家庭、休闲等使用摄像头的整个产业的广角影像提供方法及系统。
技术方案
用于解决前述问题的本实施例的本发明的一实施例的广角影像提供方法,包括:拍摄步骤,利用第一照相机模块生成拍摄第一区域的第一区域影像,第二照相机模块生成拍摄与第一区域相邻的第二区域的第二区域影像;畸变校正步骤,畸变校正部分别对所述第一区域影像、第二区域影像进行畸变校正;相位差校正步骤,相位差校正部分别对所述畸变校正的第一区域影像、第二区域影像进行相位差校正;重叠校正步骤,重叠校正部对所述相位差校正的第一区域影像、第二区域影像进行重叠矫正,以使区域影像相邻;以及颜色校正步骤,颜色校正部对所述重叠校正的第一区域影像、第二区域影像进行颜色校正。
根据本发明的另一实施例,上述畸变校正步骤中,上述畸变校正部可分别对上述第一区域影像、第二区域影像进行广角畸变校正之后,校正透视畸变,上述相位差校正步骤中,上述相位差校正部提取上述第一区域影像、第二区域影像的水平基准点之后,做坐标旋转移动,可调节上述第一区域影像、第二区域影像的位置,上述重叠校正步骤中,上述重叠校正部可分别对上述第一区域影像、第二区域影像进行大小调节之后,移动坐标来重叠地进行位置调节,上述颜色校正步骤中,上述颜色校正部可调节上述重叠校正的重叠影像的亮度及色像差。
根据本发明的另一实施例,上述拍摄步骤中,可生成上述第一区域影像、第二区域影像,以使上述第一照相机模块及上述第二照相机模块的各个拍摄面相互之间以110°至135°的角度配置。
并且,本发明的另一实施例的广角影像提供方法包括:拍摄步骤,第一照相机模块生成拍摄第一区域的第一区域影像,第二照相机模块生成拍摄与第一区域的右侧相邻的第二区域的第二区域影像,第三照相机模块生成拍摄与上述第一区域的下侧相邻的第三区域的第三区域影像,第四照相机模块生成拍摄与上述第二区域的下侧及上述第三区域的右侧相邻的第四区域的第四区域影像;畸变校正步骤,畸变校正部分别对上述第一影像、第二影像、第三影像、第四影像进行畸变校正;相位差校正步骤,相位差校正部分别对上述畸变校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行相位差校正;重叠校正步骤,重叠校正部对上述相位差校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行重叠校正,以使区域影像相邻;以及颜色校正步骤,颜色校正部对上述重叠校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行颜色校正。
根据本发明的另一实施例,上述畸变校正步骤中,上述畸变校正部可分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行广角畸变校正之后,校正透视畸变,上述相位差校正步骤中,上述相位差校正部提取上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的水平基准点之后,做坐标旋转移动,可调节上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的位置,上述重叠校正步骤中,上述重叠校正部可分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行大小调节之后,移动坐标来重叠地进行位置调节,上述颜色校正步骤中,上述颜色校正部可调节上述重叠校正的重叠影像的亮度及色相差。
根据本发明的另一实施例,上述拍摄步骤还可包括:调节上述第一照相机模块、第二照相机模块、第三照相机模块、第四照相机模块相互之间形成的角度的步骤。
并且,本发明的另一实施例的广角影像提供方法包括:拍摄步骤,第一照相机模块生成拍摄第一区域的第一区域影像,第二照相机模块生成拍摄与第一区域的右侧相邻的第二区域的第二区域影像,第三照相机模块生成拍摄与上述第一区域的下侧相邻的第三区域的第三区域影像,第四照相机模块生成拍摄与上述第二区域的下侧及上述第三区域的右侧相邻的第四区域的第四区域影像;畸变校正步骤,畸变校正部分别对上述第一影像、第二影像、第三影像、第四影像进行畸变校正;相位差校正步骤,相位差校正部分别对上述畸变校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行相位差校正;重叠校正步骤,重叠校正部对上述相位差校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行重叠校正,以使区域影像相邻;以及颜色校正步骤,颜色校正部对上述重叠校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行颜色校正。
根据本发明的另一实施例,上述畸变校正步骤中,上述畸变校正部可分别对所述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行广角畸变校正之后,校正透视畸变,上述相位差校正步骤中,上述相位差校正部提取上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的水平基准点之后,做坐标旋转移动,可调节上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的位置,上述重叠校正步骤中,上述重叠校正部可分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行大小调节之后,移动坐标来重叠地进行位置调节,上述颜色校正步骤中,上述颜色校正部可调节上述重叠校正的重叠影像的亮度及色相差。
根据本发明的另一实施例,上述拍摄步骤还可包括:调节上述第一照相机模块、第二照相机模块相互之间形成的角度的步骤;以及调节上述第三照相机模块、第四照相机模块相互之间形成的角度的步骤。
发明的效果
根据本发明的实施例,可提供无盲区且无广角畸变、透视畸变、明暗差及色像差的广角影像。
并且,根据本发明的实施例,可提供无畸变的广角影像以虚拟现实形态输出影像,当缩小、放大影像时,也不发生畸变。
并且,根据本发明的实施例,利用手机用摄像头、闭路电视用摄像头、网络摄像头等多种摄像头模块,可通过使用专用程序或专用手机应用软件的校正提供广角影像。
进而,根据本发明的实施例,可应用于汽车、无人机、手机、摄像头、船舶、火箭、医疗、国防、家庭、休闲等使用摄像头的整个产业提供宽的视角的影像。
附图说明
图1为本发明一实施例的广角影像提供系统的结构图。
图2为用于说明本发明一实施例的广角影像提供方法的流程图。
图3为用于说明本发明一实施例的第一摄像头、第二摄像头的拍摄区域的图。
图4至图8为用于说明对本发明一实施例的广角影像提供方法进行说明的第一区域影像、第二区域影像的校正过程的图。
图9及图10为表示本发明一实施例的第一摄像头、第二摄像头的配置位置的图。
图11及图12为表示根据本发明一实施例的第一摄像头、第二摄像头的配置位置的摄像头的拍摄配置角度的图。
图13至图15为表示本发明一实施例的广角影像提供方法的用于校正的校正室的图。
图16为本发明一实施例的广角影像提供系统的摄像头模块的立体图。
图17为本发明一实施例的广角影像提供系统的摄像头模块的展开图。
图18为用于说明本发明一实施例的广角影像提供系统的摄像头模块的配置及角度调节方法的图。
图19为本发明再一实施例的广角影像提供系统的结构图。
图20为用于说明本发明另一实施例的广角影像提供方法的流程图。
图21至图25为用于说明本发明另一实施例的广角影像提供方法的第一区域影像、第二区域影像、第三区域影像、第四区域影像的校正过程的图。
图26至图28为表示本发明另一实施例的广角影像提供方法的用于校正的校正室的图。
图29为表示根据本发明另一实施例的第一摄像头、第二摄像头、第三摄像头、第四摄像头的配置位置的第一摄像头、第二摄像头、第三摄像头、第四摄像头的拍摄配置角度的图。
图30为本发明另一实施例的广角影像提供系统的摄像头模块的立体图。
图31为本发明另一实施例的广角影像提供系统的摄像头模块的展开图。
图32至图36为用于说明对本发明另一实施例的广角影像提供方法进行说明的第一区域影像、第二区域影像、第三区域影像、第四区域影像的校正过程的图。
图37至图39为表示本发明另一实施例的广角影像提供方法的用于校正的校正室的图。
图40为表示根据本发明另一实施例的第一摄像头、第二摄像头、第三摄像头、第四摄像头的配置位置的第一摄像头、第二摄像头、第三摄像头、第四摄像头的拍摄配置角度的图。
图41为本发明另一实施例的广角影像提供系统的摄像头模块的结构图。
图42为本发明另一实施例的广角影像提供系统的摄像头模块的立体图。
图43为用于说明本发明另一实施例的广角影像提供系统的摄像头模块的角度调节方法的图。
图44为本发明另一实施例的广角影像提供系统的摄像头模块的展开图。
具体实施方式
以下,参照附图,详细说明优选的本发明一实施例。只是,在说明实施方式的过程中,当判断为相关的公知功能或结构的具体说明有可能不必要地混淆本发明的要旨时,省略其相关详细说明。并且,图中的各个结构要素的大小有可能被放大,以便于说明,不意味着实际应用的大小。
图1为本发明一实施例的广角影像提供系统的结构图。此后,参照图1,说明本发明一实施例的广角影像提供系统的结构。
如图1所示,本发明一实施例的广角影像提供系统可包括第一摄像头模块110、第二摄像头模块120、校正处理部130及影像存储部140,并且,上述校正处理部130可包括畸变校正部131、相位差校正部132、重叠校正部133及颜色校正部134。
第一摄像头模块110生成拍摄第一区域的第一区域影像,第二摄像头模块120生成拍摄与上述第一区域相邻的第二区域的第二区域影像。
更具体地,上述第一摄像头模块110可拍摄相当于要拍摄的区域的左侧(left)的区域来生成作为左侧影像的第一区域影像,上述第二摄像头模块120可拍摄相当于要拍摄的区域的右侧(right)的区域来生成作为右侧影像的第二区域影像。
此时,上述第一摄像头模块110及上述第二摄像头模块120的各个拍摄面相互以110°至135°的角度配置,上述第一摄像头模块110及上述第二摄像头模块120拍摄的影像可提供左右视角为180°至200°且上下视角为90°至110°的影像。
像这样,上述第一摄像头模块110、第二摄像头模块120拍摄的影像有广角畸变及透视畸变,当使利用2台摄像头拍摄的影像相邻重叠时,产生相位差、重叠的区域、明暗差或色像差。
因此,校正处理部130如此校正影像的畸变、相位差、重叠的区域、明暗差或色像差等。即,上述校正处理部130分别对上述第一摄像头模块110、第二摄像头模块120拍摄的第一区域影像、第二区域影像进行畸变校正及相位差校正,对上述相位差校正的第一区域影像、第二区域影像进行重叠校正及颜色校正。
更具体地,上述校正处理部130可包括畸变校正部131、相位差校正部132、重叠校正部133及颜色校正部134。
上述畸变校正部131对第一摄像头模块110拍摄的第一区域影像进行畸变校正,相位差校正部132分别对上述畸变校正的第一区域影像、第二区域影像进行相位差校正。并且,重叠校正部133使上述相位差校正的第一区域影像、第二区域影像相邻地进行重叠校正,上述颜色校正部134可对上述重叠校正的重叠影像进行颜色校正。
更详细地说明,上述畸变校正部131可分别对上述第一区域影像、第二区域影像进行广角畸变校正之后,进行透视畸变校正,上述相位差校正部132可提取上述第一区域影像、第二区域影像的水平基准点之后,做坐标旋转移动来调节上述第一区域影像、第二区域影像的位置,上述重叠校正部133可分别对上述第一区域影像、第二区域影像进行大小调节之后,移动坐标来重叠地进行位置调节,上述颜色校正部134可调节上述重叠校正的重叠影像的亮度及色像差。
影像存储部140可如此存储校正处理部130校正而合成的影像。
因此,根据本发明的实施例,可提供无盲区且无广角畸变、透视畸变、明暗差及色像差的广角影像。
图2为用于说明本发明一实施例的广角影像提供方法的流程图,图3为用于说明本发明一实施例的第一摄像头、第二摄像头的拍摄区域的图。
并且,图4至图8为用于说明对本发明一实施例的广角影像提供方法进行说明的第一区域影像、第二区域影像的校正过程的图。
此后,参照图2至图8,说明本发明一实施例的广角影像提供方法。
首先,如图2所示,相当于左侧摄像头(left摄像头)的第一摄像头模块生成拍摄第一区域的第一区域影像来提取(步骤S210),相当于右侧摄像头(right摄像头)的第二摄像头模块生成拍摄与第一区域相邻的第二区域的第二区域影像来提取(步骤S211)。
像这样,提取的第一区域影像、第二区域影像包括透视畸变和广角畸变。因此,畸变校正部参照畸变常数(Distortion Constant)分别对上述第一区域影像、第二区域影像进行广角畸变和透视畸变校正(步骤S220、步骤S221)。
图4表示如此进行广角畸变校正和透视畸变校正的第一区域影像、第二区域影像。
之后,上述相位差校正部参照相位差常数(Phase Difference Constant)提取上述广角畸变和透视畸变校正的上述第一区域影像、第二区域影像的水平基准点之后,如图5所示,做坐标旋转移动来调节上述第一区域影像、第二区域影像的位置(步骤S230、步骤S231),分别存储上述坐标旋转移动及位置调节的第一区域影像、第二区域影像(步骤S235、步骤S236)。
之后,重叠校正部参照重叠常数(Overlap Constant)调节上述存储的第一区域影像、第二区域影像的大小之后,移动坐标,如图6所示重叠地进行位置调节(步骤S240)。
参照图3,位置调节而重叠的影像由第一摄像头模块110拍摄第一区域的第一区域影像111和第二摄像头模块120拍摄第二区域的第二区域影像121构成,产生相重叠的区域301,这种重叠的区域301分别区分为第一摄像头模块校正区域112和第二摄像头模块校正区域122。
颜色校正部可参照颜色常数(Color Constant)调节如图7所示地重叠校正的重叠影像的亮度及色像差,如图8所示,生成第一区域影像、第二区域影像重叠而合成的影像来存储(步骤S250、步骤S255),并输出如此存储的合成影像(步骤S260)。
图9及图10为表示本发明一实施例的第一摄像头、第二摄像头的配置位置的图,图11及图12为表示根据本发明一实施例的第一摄像头、第二摄像头的配置位置的摄像头的拍摄配置角度的图。
并且,图13至图15为表示本发明一实施例的广角影像提供方法的用于校正的校正室的图。
此后,参照图9至图12,说明根据本发明一实施例的第一摄像头、第二摄像头的配置的摄像头的拍摄角度。
如图9所示,当第一摄像头、第二摄像头配置于墙壁等从地面垂直竖立的侧部时,如图11所示,第一摄像头、第二摄像头的拍摄面相互以110°至135°的角度配置,上述第一摄像头、第二摄像头和墙壁的角度配置成形成27°至35°,可提供除了相应的侧部(墙壁)之外的其余区域的影像。
并且,如图10所示,当第一摄像头、第二摄像头配置成如同天花板等场所朝向地面时,如图12所示,第一摄像头、第二摄像头的拍摄面相互以110°至135°的角度配置,可提供两侧面的所有面的影像和上述剩余两侧面的一部分面的影像。
图13表示用于校正本发明一实施例的广角畸变和透视畸变的校正室(Calibration Booth),图14表示本发明一实施例的重叠影像的用于校正的校正室(Calibration Booth)。
并且,图15表示用于校正本发明一实施例的区域影像的亮度及色像差的校正室。
因此,根据本发明的实施例,可提供无盲区且无广角畸变、透视畸变、明暗差及色像差的广角影像,可提供无畸变的广角影像以虚拟现实形态输出影像,当缩小、放大影像时,也不发生畸变。
进而,根据本发明的实施例,可应用于汽车、无人机、手机、摄像头、船舶、火箭、医疗、国防、家庭、休闲等使用摄像头的整个产业提供宽的视角的影像。
图16为本发明一实施例的广角影像提供系统的摄像头模块的立体图,图17为本发明一实施例的广角影像提供系统的摄像头模块的展开图,图18为用于说明本发明一实施例的广角影像提供系统的摄像头模块的配置及角度调节方法的图。
参照图16及图17,本发明一实施例的第一摄像头模块110包括第一镜头模块111、第一图像传感器模块112及第一结构体113。
第一图像传感器模块112生成通过上述第一镜头模块111拍摄第一区域的第一区域影像,第一结构体113可收纳上述第一镜头模块111和上述第一图像传感器模块112。
同样,第二摄像头模块120包括第二镜头模块121、第二图像传感器模块122及第二结构体123,第二图像传感器模块122生成通过上述第二镜头模块121拍摄第二区域的第二区域影像,第二结构体123可收纳上述第二镜头模块121和上述第二图像传感器模块122。
此时,上述第一结构体113、第二结构体123可由铝框构成,以实现轻量化。
并且,第一连杆部115、第二连杆部125分别结合在上述第一摄像头模块110、第二摄像头模块120的各一侧,圆形盘150固定于固定板160而借助马达旋转,上述圆形盘150可包括分别与上述第一连杆部115、第二连杆部125相结合而移动的曲线槽151。
由此,第一摄像头模块110、第二摄像头模块120的分别与上述一侧相向的另一侧相互铰链结合,上述第一连杆部115、第二连杆部125可通过上述圆形盘150的旋转移动上述曲线槽151来调节上述第一摄像头模块110、第二摄像头模块120相互形成的角度。
当调节这种第一摄像头模块110、第二摄像头模块120之间的角度时,控制马达来使圆形盘150旋转,以调节第一摄像头模块110、第二摄像头模块120之间的角度,通过放大及缩小可获得最佳的影像拍摄角度。
另一方面,参照图18,可根据第一摄像头模块110、第二摄像头模块120的视角,确定上述第一摄像头模块110、第二摄像头模块120的角度。
数学式1
α=(180°-a)×(2/3)
(此时,α为第一摄像头模块、第二摄像头模块分别与地面形成的角度,a为第一摄像头模块、第二摄像头模块的水平视角。)
数学式2
β=(180°-b)×(1/3)
(此时,β为各个第一摄像头模块、第二摄像头模块的图像模块的角度,b为第一摄像头模块、第二摄像头模块的垂直视角。)
根据本发明的一实施例,如图16及图18所示,当配置第一摄像头模块110、第二摄像头模块120时,可利用数学式1计算第一摄像头模块110、第二摄像头模块120分别与地面形成的角度,可利用数学式2计算第一摄像头模块110、第二摄像头模块120的图像模块112、122的角度来应用。
图19为本发明再一实施例的广角影像提供系统的结构图。此后,参照图19,说明本发明再一实施例的广角影像提供系统的结构。
如图19所示,本发明再一实施例的广角影像提供系统可包括第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125、校正处理部130及影像存储部140,并且,上述校正处理部130可包括畸变校正部131、相位差校正部132、重叠校正部133及颜色校正部134。
第一摄像头模块110生成拍摄第一区域的第一区域影像,第二摄像头模块115生成拍摄与上述第一区域的右侧相邻的第二区域的第二区域影像,第三摄像头模块120生成拍摄与上述第一区域的下侧相邻的第三区域的第三区域影像,第四摄像头模块125生成拍摄与上述第二区域的下侧及上述第三区域的右侧相邻的第四区域的第四区域影像。
更具体地,上述第一摄像头模块110可拍摄相当于要拍摄的区域的左侧上部(upleft)的区域来生成作为左侧上部影像的第一区域影像,上述第二摄像头模块115可拍摄相当于要拍摄的区域的右侧上部(up right)的区域来生成作为右侧上部影像的第二区域影像。同样,上述第三摄像头模块120可拍摄相当于要拍摄的区域的左侧下部(down left)的区域来生成作为左侧下部影像的第三区域影像,上述第四摄像头模块125可拍摄相当于要拍摄的区域的右侧下部(down right)的区域来生成作为右侧下部影像的第四区域影像。
像这样,上述第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125拍摄的影像有广角畸变及透视畸变,当使利用4台摄像头拍摄的影像相邻地重叠时,产生相位差、重叠的区域、明暗差或色像差。
因此,校正处理部130如此校正影像的畸变、相位差、重叠的区域、明暗差或色像差等。即,上述校正处理部130分别对上述第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125拍摄的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行畸变校正及相位差校正,对上述相位差校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行重叠校正及颜色校正。
更具体地,上述校正处理部130可包括畸变校正部131、相位差校正部132、重叠校正部133及颜色校正部134。
上述畸变校正部131对第一区域影像、第二区域影像、第三区域影像、第四区域影像进行畸变校正,相位差校正部132分别对上述畸变校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行相位差校正。并且,重叠校正部133能够使上述相位差校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像相邻地进行重叠校正,上述颜色校正部134可对上述重叠校正的重叠影像进行颜色校正。
更详细地说明,上述畸变校正部131可分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行广角畸变校正之后,进行透视畸变校正,上述相位差校正部132可提取上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的水平基准点之后,做坐标旋转移动来调节上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的位置,上述重叠校正部133可分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行大小调节之后,移动坐标来重叠地进行位置调节,上述颜色校正部134可调节上述重叠校正的重叠影像的亮度及色像差。
影像存储部140可如此存储校正处理部130校正而合成的影像。
因此,根据本发明的实施例,可提供无左右视角为200°且上下视角为200°的盲区、无广角畸变、透视畸变、明暗差及色像差的广角影像。
图20为用于说明本发明另一实施例的广角影像提供方法的流程图,图21至图25为用于说明对本发明还一实施例的广角影像提供方法进行说明的第一区域影像、第二区域影像、第三区域影像、第四区域影像的校正过程的图。
此后,参照图20至图25,说明本发明另一实施例的广角影像提供方法。
首先,如图20所示,相当于左侧上部(up left)摄像头的第一摄像头模块生成拍摄第一区域的第一区域影像来提取(步骤S210),相当于右侧上部(up right)摄像头的第二摄像头模块生成拍摄与第一区域的右侧相邻的第二区域的第二区域影像来提取(步骤S211)。
并且,相当于左侧下部(down left)摄像头的第三摄像头模块生成拍摄第三区域的第三区域影像来提取(步骤S212),相当于右侧下部(down right)摄像头的第四摄像头模块生成拍摄与上述第二区域的下侧及第三区域的右侧相邻的第四区域的第四区域影像来提取(步骤S213)。
像这样,提取的第一区域影像、第二区域影像、第三区域影像、第四区域影像包括透视畸变和广角畸变。因此,畸变校正部参照畸变常数(Distortion Constant)分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行广角畸变和透视畸变校正(步骤S220、步骤S221、步骤S222、步骤S223)。
图21表示如此进行广角畸变校正和透视畸变校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像。
之后,上述相位差校正部参照相位差常数(Phase Difference Constant)提取上述广角畸变和透视畸变校正的上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的水平基准点之后,如图22所示,做坐标旋转移动来调节上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的位置(步骤S230)。
之后,重叠校正部参照重叠常数(Overlap Constant)调节上述存储的第一区域影像、第二区域影像、第三区域影像、第四区域影像的大小之后,移动坐标,如图23所示使上述第一区域影像、第二区域影像、第三区域影像、第四区域影像相重叠地进行位置调节(步骤S240)。
颜色校正部可参照颜色常数(Color Constant)调节如图24所示地重叠校正的重叠影像的亮度及色像差,如图25所示,生成第一区域影像、第二区域影像、第三区域影像、第四区域影像重叠而合成的影像来存储(步骤S250、步骤S255),并输出如此存储的合成影像(步骤S260)。
图26至图28为表示本发明另一实施例的广角影像提供方法的用于校正的校正室的图。
图26表示用于校正本发明另一实施例的广角畸变和透视畸变的校正室(Calibration Boot h),图27表示用于校正本发明另一实施例的重叠影像的校正室(Calibration Booth)。
并且,图28表示用于校正本发明另一实施例的区域影像的亮度及色像差的校正室。
因此,根据本发明的另一实施例,可提供无盲区且无广角畸变、透视畸变、明暗差及色像差的广角影像,可提供无畸变的广角影像以虚拟现实形态输出影像,当缩小、放大影像时,也不发生畸变。
进而,根据本发明的另一实施例,可应用于汽车、无人机、手机、摄像头、船舶、火箭、医疗、国防、家庭、休闲等使用摄像头的整个产业提供宽的视角的影像。
图29为表示根据本发明另一实施例的第一摄像头、第二摄像头、第三摄像头、第四摄像头的配置位置的第一摄像头、第二摄像头、第三摄像头、第四摄像头的拍摄配置角度的图。
此后,参照图29,说明根据本发明另一实施例的第一摄像头、第二摄像头、第三摄像头、第四摄像头的配置的第一摄像头、第二摄像头、第三摄像头、第四摄像头的拍摄角度。
根据本发明的另一实施例,如图29的(a)所示,第一摄像头、第二摄像头、第三摄像头、第四摄像头可提供无盲区、左右视角为200°且上下视角为200°的宽的视角的前面影像。
并且,如图29的(b)所示,当第一摄像头、第二摄像头、第三摄像头、第四摄像头配置于墙壁等从地面垂直竖立的侧部时,可拍摄除了相应的侧部(墙壁)之外的其余区域的影像来提供。
图30为本发明另一实施例的广角影像提供系统的摄像头模块的结构图,图31为本发明另一实施例的广角影像提供系统的摄像头模块的立体图。
参照图30,本发明另一实施例的第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125可分别包括镜头模块111、图像传感器模块112及结构体113。
图像传感器模块112生成通过上述镜头模块111拍摄相关区域的区域影像,结构体113可收纳上述镜头模块111和上述图像传感器模块112。
此时,上述结构体113可由铝框构成,以实现轻量化。
数学式3
α=(180°-a)×(2/3)
(此时,α为第一摄像头模块、第二摄像头模块、第三摄像头模块、第四摄像头模块之间的角度,a为第一摄像头模块、第二摄像头模块、第三摄像头模块、第四摄像头模块的水平视角。)
数学式4
β=(180°-b)×(1/3)
(此时,β为各个第一摄像头模块、第二摄像头模块、第三摄像头模块、第四摄像头模块的图像模块的角度,b为第一摄像头模块、第二摄像头模块、第三摄像头模块、第四摄像头模块的垂直视角。)
根据本发明的一实施例,如图31所示,为了配置第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125,可利用数学式3计算各个第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125之间的角度,可利用数学式4计算各个第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125的图像模块112的角度来配置。
此后,参照图19,说明本发明再一实施例的广角影像提供系统的结构。
如图19所示,本发明再一实施例的广角影像提供系统可包括第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125、校正处理部130及影像存储部140,并且,上述校正处理部130可包括畸变校正部131、相位差校正部132、重叠校正部133及颜色校正部134。
第一摄像头模块110生成拍摄第一区域的第一区域影像,第二摄像头模块115生成拍摄与上述第一区域的右侧相邻的第二区域的第二区域影像,第三摄像头模块120生成拍摄作为与上述第一区域相反的一侧的第三区域的第三区域影像,第四摄像头模块125生成拍摄作为与上述第二区域相反的一侧且与上述第三区域的左侧相邻的第四区域的第四区域影像。
更具体地,上述第一摄像头模块110可拍摄相当于正面左侧(front left)的区域来生成作为正面左侧影像的第一区域影像,上述第二摄像头模块115可拍摄相当于正面右侧(front rig ht)的区域来生成作为正面右侧影像的第二区域影像。同样,上述第三摄像头模块120可拍摄相当于背面左侧(back left)的区域来生成作为背面左侧影像的第三区域影像,上述第四摄像头模块125可拍摄相当于背面右侧(back right)的区域来生成作为背面右侧影像的第四区域影像。
像这样,上述第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125拍摄的影像有广角畸变及透视畸变,当使利用4台摄像头拍摄的影像相邻地重叠时,产生相位差、重叠的区域、明暗差或色像差。
因此,校正处理部130如此校正影像的畸变、相位差、重叠的区域、明暗差或色像差等。即,上述校正处理部130分别对上述第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125拍摄的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行畸变校正及相位差校正,对上述相位差校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行重叠校正及颜色校正。
更具体地,上述校正处理部130可包括畸变校正部131、相位差校正部132、重叠校正部133及颜色校正部134。
上述畸变校正部131对第一区域影像、第二区域影像、第三区域影像、第四区域影像进行畸变校正,相位差校正部132分别对上述畸变校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行相位差校正。并且,重叠校正部133能够使上述相位差校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像相邻地进行重叠校正,上述颜色校正部134可对上述重叠校正的重叠影像进行颜色校正。
更详细地说明,上述畸变校正部131可分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行广角畸变校正之后,进行透视畸变校正,上述相位差校正部132可提取上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的水平基准点之后,做坐标旋转移动来调节上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的位置,上述重叠校正部133可分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行大小调节之后,移动坐标来重叠地进行位置调节,上述颜色校正部134可调节上述重叠校正的重叠影像的亮度及色像差。
影像存储部140可如此存储校正处理部130校正而合成的影像。
因此,根据本发明的实施例,可提供无盲区且无广角畸变、透视畸变、明暗差及色像差的广角影像。
图32至图36为用于说明对本发明另一实施例的广角影像提供方法进行说明的第一区域影像、第二区域影像、第三区域影像、第四区域影像的校正过程的图。
此后,参照图20、图32至图36,说明本发明另一实施例的广角影像提供方法。
首先,如图20所示,相当于前面左侧(up left)摄像头的第一摄像头模块生成拍摄第一区域的第一区域影像来提取(步骤S210),相当于前面右侧(up right)摄像头的第二摄像头模块生成拍摄与第一区域的右侧相邻的第二区域的第二区域影像来提取(步骤S211)。
并且,相当于背面左侧(back left)摄像头的第三摄像头模块生成拍摄第三区域的第三区域影像来提取(步骤S212),相当于背面右侧(back right)摄像头的第四摄像头模块生成拍摄与上述第二区域的下侧及第三区域的右侧相邻的第四区域的第四区域影像来提取(步骤S213)。
像这样,提取的第一区域影像、第二区域影像、第三区域影像、第四区域影像包括透视畸变和广角畸变。因此,畸变校正部参照畸变常数(Distortion Constant)分别对上述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行广角畸变和透视畸变校正(步骤S220、步骤S221、步骤S222、步骤S223)。
图32表示如此进行广角畸变校正和透视畸变校正的第一区域影像、第二区域影像。
之后,上述相位差校正部参照相位差常数(Phase Difference Constant)提取上述广角畸变和透视畸变校正的上述第一区域影像、第二区域影像、第三区域影像、第四区域影像的水平基准点之后,如图33所示,做坐标旋转移动来调节上述第一区域影像、第二区域影像的位置,同样,还调节第三区域影像、第四区域影像的位置(步骤S230)。
之后,重叠校正部参照重叠常数(Overlap Constant)调节上述存储的第一区域影像、第二区域影像、第三区域影像、第四区域影像的大小之后,移动坐标,如图34所示重叠地进行位置调节(步骤S240)。
颜色校正部可参照颜色常数(Color Constant)调节如图35所示地重叠校正的重叠影像的亮度及色像差,如图36所示,生成第一区域影像、第二区域影像、第三区域影像、第四区域影像重叠而合成的影像来存储(步骤S250、步骤S255),并输出如此存储的合成影像(步骤S260)。
图37至图39为表示本发明另一实施例的广角影像提供方法的用于校正的校正室的图。
图37表示用于校正本发明一实施例的广角畸变和透视畸变的校正室(Calibration Booth),图38表示用于校正本发明一实施例的重叠影像的校正室(Calibration Booth)。
并且,图39表示用于校正本发明一实施例的区域影像的亮度及色像差的校正室。
因此,根据本发明的实施例,可提供无盲区且无广角畸变、透视畸变、明暗差及色像差的广角影像,可提供无畸变的广角影像以虚拟现实形态输出影像,当缩小、放大影像时,也不发生畸变。
进而,根据本发明的实施例,可应用于汽车、无人机、手机、摄像头、船舶、火箭、医疗、国防、家庭、休闲等使用摄像头的整个产业提供宽的视角的影像。
图40为表示根据本发明一实施例的第一摄像头、第二摄像头、第三摄像头、第四摄像头的配置位置的第一摄像头、第二摄像头、第三摄像头、第四摄像头的拍摄配置角度的图。
此后,参照图40,说明根据本发明一实施例的第一摄像头、第二摄像头、第三摄像头、第四摄像头的配置的第一摄像头、第二摄像头、第三摄像头、第四摄像头的拍摄角度。
如图40的(a)所示,第一摄像头、第二摄像头、第三摄像头、第四摄像头可在除了地面和天花板之外的区域提供无盲区、左右视角为360°且上下视角为90°~100°的宽的视角的前面影像。
并且,如图40的(b)所示,当第一摄像头、第二摄像头、第三摄像头、第四摄像头配置于墙壁等从地面垂直竖立的侧部时,可拍摄除了地面和天花板之外的其余区域的影像来提供。
图41为本发明一实施例的广角影像提供系统的摄像头模块的结构图,图42为本发明一实施例的广角影像提供系统的摄像头模块的立体图。
并且,图43为用于说明本发明一实施例的广角影像提供系统的摄像头模块的角度调节方法的图,图44为本发明一实施例的广角影像提供系统的摄像头模块的展开图。
参照图41及图42,本发明一实施例的第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125可分别包括镜头模块111、图像传感器模块112及结构体113。
图像传感器模块112生成通过上述镜头模块111拍摄相关区域的区域影像,结构体113可收纳上述镜头模块111和上述图像传感器模块112。
此时,上述结构体113可由铝框构成,以实现轻量化,本发明一实施例的固定式广角影像提供系统可由第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125以配置于4面的方式被固定而360°拍摄的正方形拍摄系统构成。
并且,如图43及图44所示,可构成如下:第一连杆部151、第二连杆部152分别结合在上述第一摄像头模块110、第二摄像头模块115的各一侧,同样,第三连杆部153、第四连杆部154分别结合在上述第三摄像头模块120、第四摄像头模块125的各一侧,圆形盘150固定于固定板160、161之间,借助马达旋转。
并且,上述圆形盘150可包括分别与上述第一连杆部151、第二连杆部152、第三连杆部153、第四连杆部154相结合来移动的曲线槽。
由此,第一摄像头模块110、第二摄像头模块115中,分别与上述一侧相向的另一侧相互铰链结合,上述第一连杆部151、第二连杆部152通过上述圆形盘150的旋转移动上述曲线槽,同样,第三摄像头模块120、第四摄像头模块125中,分别与上述一侧相向的另一侧相互铰链结合,上述第三连杆部153、第四连杆部154可通过上述圆形盘150的旋转移动上述曲线槽。
因此,根据本发明的一实施例,可通过上述圆形盘150的旋转调节上述第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125相互形成的角度。
当调节这种第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125之间的角度时,可控制马达来使圆形盘150旋转,以调节第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125之间的角度,通过放大及缩小可获得最佳的影像拍摄范围。
另一方面,根据本发明,可根据第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125的视角,确定上述第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125的角度。
数学式5
α=(180°-a)×(2/3)
(此时,α为第一摄像头模块、第二摄像头模块、第三摄像头模块、第四摄像头模块之间的角度,a为第一摄像头模块、第二摄像头模块、第三摄像头模块、第四摄像头模块的水平视角。)
数学式6
β=(180°-b)×(1/3)
(此时,β为各个第一摄像头模块、第二摄像头模块、第三摄像头模块、第四摄像头模块的图像模块的角度,b为第一摄像头模块、第二摄像头模块、第三摄像头模块、第四摄像头模块的垂直视角。)
根据本发明的一实施例,如图43所示,为了配置第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125,可利用数学式1计算各个第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125之间的角度,可利用数学式2计算各个第一摄像头模块110、第二摄像头模块115、第三摄像头模块120、第四摄像头模块125的图像模块112的角度来配置。
如上所述的本发明的详细说明中对具体实施例进行说明。但是,在不脱离本发明的范畴的范围内可进行多种变形。本发明的技术思想不得局限于本发明的上述的实施例而确定,应当取决于权利要求书及其等同技术方案。
Claims (9)
1.一种广角影像提供方法,其特征在于,包括:
拍摄步骤,利用第一照相机模块生成拍摄第一区域的第一区域影像,第二照相机模块生成拍摄与第一区域相邻的第二区域的第二区域影像;
畸变校正步骤,畸变校正部分别对所述第一区域影像、第二区域影像进行畸变校正;
相位差校正步骤,相位差校正部分别对所述畸变校正的第一区域影像、第二区域影像进行相位差校正;
重叠校正步骤,重叠校正部对所述相位差校正的第一区域影像、第二区域影像进行重叠矫正,以使区域影像相邻;以及
颜色校正步骤,颜色校正部对所述重叠校正的第一区域影像、第二区域影像进行颜色校正。
2.根据权利要求1所述的广角影像提供方法,其特征在于,
所述畸变校正步骤中,所述畸变校正部分别对所述第一区域影像、第二区域影像进行广角畸变校正之后,校正透视畸变,
所述相位差校正步骤中,所述相位差校正部提取所述第一区域影像、第二区域影像的水平基准点之后,做坐标旋转移动,调节所述第一区域影像、第二区域影像的位置,
所述重叠校正步骤中,所述重叠校正部分别对所述第一区域影像、第二区域影像进行大小调节之后,移动坐标来重叠地进行位置调节,
所述颜色校正步骤中,所述颜色校正部调节所述重叠校正的重叠影像的亮度及色像差。
3.根据权利要求1所述的广角影像提供方法,其特征在于,所述拍摄步骤还包括:调节所述第一照相机模块、第二照相机模块相互之间形成的角度的步骤。
4.一种广角影像提供方法,其特征在于,包括:
拍摄步骤,第一照相机模块生成拍摄第一区域的第一区域影像,第二照相机模块生成拍摄与第一区域的右侧相邻的第二区域的第二区域影像,第三照相机模块生成拍摄与所述第一区域的下侧相邻的第三区域的第三区域影像,第四照相机模块生成拍摄与所述第二区域的下侧及所述第三区域的右侧相邻的第四区域的第四区域影像;
畸变校正步骤,畸变校正部分别对所述第一影像、第二影像、第三影像、第四影像进行畸变校正;
相位差校正步骤,相位差校正部分别对所述畸变校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行相位差校正;
重叠校正步骤,重叠校正部对所述相位差校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行重叠校正,以使区域影像相邻;以及
颜色校正步骤,颜色校正部对所述重叠校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行颜色校正。
5.根据权利要求4所述的广角影像提供方法,其特征在于,
所述畸变校正步骤中,所述畸变校正部分别对所述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行广角畸变校正之后,校正透视畸变,
所述相位差校正步骤中,所述相位差校正部提取所述第一区域影像、第二区域影像、第三区域影像、第四区域影像的水平基准点之后,做坐标旋转移动,调节所述第一区域影像、第二区域影像、第三区域影像、第四区域影像的位置,
所述重叠校正步骤中,所述重叠校正部分别对所述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行大小调节之后,移动坐标来重叠地进行位置调节,
所述颜色校正步骤中,所述颜色校正部调节所述重叠校正的重叠影像的亮度及色相差。
6.根据权利要求4所述的广角影像提供方法,其特征在于,所述拍摄步骤还包括:调节所述第一照相机模块、第二照相机模块、第三照相机模块、第四照相机模块相互之间形成的角度的步骤。
7.一种广角影像提供方法,其特征在于,包括:
拍摄步骤,第一照相机模块生成拍摄第一区域的第一区域影像,第二照相机模块生成拍摄与第一区域的右侧相邻的第二区域的第二区域影像,第三照相机模块生成拍摄与所述第一区域的下侧相邻的第三区域的第三区域影像,第四照相机模块生成拍摄与所述第二区域的下侧及所述第三区域的右侧相邻的第四区域的第四区域影像;
畸变校正步骤,畸变校正部分别对所述第一影像、第二影像、第三影像、第四影像进行畸变校正;
相位差校正步骤,相位差校正部分别对所述畸变校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行相位差校正;
重叠校正步骤,重叠校正部对所述相位差校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行重叠校正,以使区域影像相邻;以及
颜色校正步骤,颜色校正部对所述重叠校正的第一区域影像、第二区域影像、第三区域影像、第四区域影像进行颜色校正。
8.根据权利要求7所述的广角影像提供方法,其特征在于,
所述畸变校正步骤中,所述畸变校正部分别对所述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行广角畸变校正之后,校正透视畸变,
所述相位差校正步骤中,所述相位差校正部提取所述第一区域影像、第二区域影像、第三区域影像、第四区域影像的水平基准点之后,做坐标旋转移动,调节所述第一区域影像、第二区域影像、第三区域影像、第四区域影像的位置,
所述重叠校正步骤中,所述重叠校正部分别对所述第一区域影像、第二区域影像、第三区域影像、第四区域影像进行大小调节之后,移动坐标来重叠地进行位置调节,
所述颜色校正步骤中,所述颜色校正部调节所述重叠校正的重叠影像的亮度及色相差。
9.根据权利要求7所述的广角影像提供方法,其特征在于,所述拍摄步骤还包括:
调节所述第一照相机模块、第二照相机模块相互之间形成的角度的步骤;以及
调节所述第三照相机模块、第四照相机模块相互之间形成的角度的步骤。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2018-0048326 | 2018-04-26 | ||
KR1020180048328A KR102057602B1 (ko) | 2018-04-26 | 2018-04-26 | 광각 영상 제공 방법 및 시스템 |
KR1020180048327A KR102062736B1 (ko) | 2018-04-26 | 2018-04-26 | 광각 영상 제공 방법 및 시스템 |
KR10-2018-0048327 | 2018-04-26 | ||
KR10-2018-0048328 | 2018-04-26 | ||
KR1020180048326A KR102062734B1 (ko) | 2018-04-26 | 2018-04-26 | 광각 영상 제공 방법 및 시스템 |
PCT/KR2019/005074 WO2019209069A1 (ko) | 2018-04-26 | 2019-04-26 | 광각 영상 제공 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112119626A true CN112119626A (zh) | 2020-12-22 |
CN112119626B CN112119626B (zh) | 2022-03-18 |
Family
ID=68293599
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980028471.4A Active CN112154647B (zh) | 2018-04-26 | 2019-04-26 | 广角影像提供系统 |
CN201980028456.XA Active CN112119626B (zh) | 2018-04-26 | 2019-04-26 | 广角影像提供方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980028471.4A Active CN112154647B (zh) | 2018-04-26 | 2019-04-26 | 广角影像提供系统 |
Country Status (5)
Country | Link |
---|---|
US (2) | US20210243367A1 (zh) |
EP (2) | EP3787277A4 (zh) |
JP (2) | JP7185357B2 (zh) |
CN (2) | CN112154647B (zh) |
WO (2) | WO2019209069A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019209069A1 (ko) * | 2018-04-26 | 2019-10-31 | 주식회사 텐앤투 | 광각 영상 제공 방법 |
JP2021141436A (ja) * | 2020-03-05 | 2021-09-16 | キヤノン株式会社 | 電子機器 |
TWI760733B (zh) * | 2020-04-27 | 2022-04-11 | 晶睿通訊股份有限公司 | 影像校正方法及其影像校正裝置 |
JP2022006912A (ja) * | 2020-06-25 | 2022-01-13 | キヤノン株式会社 | 制御装置、撮像装置、監視システム、及び制御方法 |
KR20220036630A (ko) * | 2020-09-16 | 2022-03-23 | 삼성전자주식회사 | 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템 |
CN112969033A (zh) * | 2020-12-31 | 2021-06-15 | 清华大学苏州汽车研究院(吴江) | 一种智能座舱车内智能感知系统 |
US11849100B2 (en) * | 2021-05-31 | 2023-12-19 | Canon Kabushiki Kaisha | Information processing apparatus, control method, and non-transitory computer readable medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100442098C (zh) * | 2005-12-14 | 2008-12-10 | 索尼株式会社 | 图像拍摄设备及图像处理方法 |
US20110134262A1 (en) * | 2009-12-07 | 2011-06-09 | Kabushiki Kaisha Toshiba | Camera module, image recording method, and electronic device |
JP2011182078A (ja) * | 2010-02-26 | 2011-09-15 | Seiko Epson Corp | 補正情報算出装置、画像補正装置、画像表示システム、補正情報算出方法 |
CN102438153A (zh) * | 2010-09-29 | 2012-05-02 | 华为终端有限公司 | 多摄像机图像校正方法和设备 |
JP6022123B1 (ja) * | 2015-11-09 | 2016-11-09 | 三菱電機株式会社 | 画像生成システム及び画像生成方法 |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6022123B2 (ja) | 1981-07-07 | 1985-05-31 | ピーエスコンクリート株式会社 | 舗装版の結合方法 |
US7259784B2 (en) * | 2002-06-21 | 2007-08-21 | Microsoft Corporation | System and method for camera color calibration and image stitching |
JP2004120226A (ja) * | 2002-09-25 | 2004-04-15 | Sharp Corp | パノラマ画像撮像装置及びパノラマ画像撮像方法 |
FI115947B (fi) * | 2004-02-25 | 2005-08-15 | Nokia Corp | Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi |
US20060098897A1 (en) * | 2004-11-10 | 2006-05-11 | Agfa-Gevaert | Method of superimposing images |
KR100614840B1 (ko) | 2004-11-11 | 2006-08-22 | 김배훈 | 360°파노라마 촬영용 카메라장치 |
KR100709780B1 (ko) * | 2005-03-02 | 2007-04-19 | 김배훈 | 영상 조합기를 이용한 감시 카메라 장치 |
KR100724134B1 (ko) * | 2006-01-09 | 2007-06-04 | 삼성전자주식회사 | 이미지 매칭 속도와 블렌딩 방법을 개선한 파노라마 영상제공 방법 및 장치 |
JP2009169601A (ja) | 2008-01-15 | 2009-07-30 | Ricoh Co Ltd | 画像処理システム及びこの画像処理システムを有するカメラ |
EP2377094B1 (en) | 2008-10-01 | 2014-06-11 | Connaught Electronics Limited | A method and a system for calibrating an image capture device |
US8416282B2 (en) * | 2008-10-16 | 2013-04-09 | Spatial Cam Llc | Camera for creating a panoramic image |
JP2010245831A (ja) | 2009-04-06 | 2010-10-28 | Nikon Corp | 撮影画像合成装置 |
GB2473059A (en) * | 2009-08-28 | 2011-03-02 | Sony Corp | A method and apparatus for forming a composite image |
JP2011182328A (ja) | 2010-03-03 | 2011-09-15 | Fujifilm Corp | 複眼撮像装置 |
CN101833231B (zh) * | 2010-03-19 | 2012-05-23 | 中国人民解放军国防科学技术大学 | 拼接全景相机视域的调节装置及调节方法 |
JP2012159616A (ja) | 2011-01-31 | 2012-08-23 | Sanyo Electric Co Ltd | 撮像装置 |
KR101300350B1 (ko) * | 2011-08-09 | 2013-08-28 | 삼성전기주식회사 | 영상 처리 장치 및 영상 처리 방법 |
US9600863B2 (en) * | 2012-02-13 | 2017-03-21 | Omnivision Technologies, Inc. | Method for combining images |
GB2512621A (en) * | 2013-04-04 | 2014-10-08 | Sony Corp | A method and apparatus |
US9686479B2 (en) * | 2013-09-16 | 2017-06-20 | Duke University | Method for combining multiple image fields |
JP2015100613A (ja) * | 2013-11-27 | 2015-06-04 | ソニー株式会社 | 画像処理装置および方法、並びに超音波診断装置 |
JP6232994B2 (ja) * | 2013-12-16 | 2017-11-22 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2015125002A (ja) * | 2013-12-25 | 2015-07-06 | 株式会社ズームスケープ | 計測用画像撮影方法及び画像計測プログラム |
JP5843034B1 (ja) | 2014-05-15 | 2016-01-13 | 株式会社リコー | 動画表示装置およびプログラム |
US10027948B2 (en) * | 2014-05-20 | 2018-07-17 | Nextvr Inc. | Methods and apparatus including or for use with one or more cameras |
US9185391B1 (en) * | 2014-06-17 | 2015-11-10 | Actality, Inc. | Adjustable parallax distance, wide field of view, stereoscopic imaging system |
US9420176B2 (en) * | 2014-06-19 | 2016-08-16 | Omnivision Technologies, Inc. | 360 degree multi-camera system |
KR101657673B1 (ko) | 2015-04-30 | 2016-09-22 | 주식회사 와이즈오토모티브 | 파노라마뷰 생성 장치 및 방법 |
US9866752B2 (en) * | 2015-06-02 | 2018-01-09 | Qualcomm Incorporated | Systems and methods for producing a combined view from fisheye cameras |
US20170061686A1 (en) * | 2015-08-28 | 2017-03-02 | Hai Yu | Stage view presentation method and system |
KR102450363B1 (ko) | 2015-11-06 | 2022-10-04 | 한화테크윈 주식회사 | 감시 카메라 |
JP2017187727A (ja) | 2016-04-01 | 2017-10-12 | 健治 比嘉 | 連結カメラ |
CN207196012U (zh) * | 2017-08-21 | 2018-04-06 | 中国科学院深圳先进技术研究院 | 一种全景视频拍摄架 |
KR102372808B1 (ko) * | 2017-09-11 | 2022-03-15 | 삼성전자주식회사 | 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법 |
JP2019168661A (ja) * | 2018-03-26 | 2019-10-03 | キヤノン株式会社 | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 |
WO2019209069A1 (ko) * | 2018-04-26 | 2019-10-31 | 주식회사 텐앤투 | 광각 영상 제공 방법 |
-
2019
- 2019-04-26 WO PCT/KR2019/005074 patent/WO2019209069A1/ko active Application Filing
- 2019-04-26 EP EP19791751.1A patent/EP3787277A4/en active Pending
- 2019-04-26 EP EP19792249.5A patent/EP3787278A4/en active Pending
- 2019-04-26 US US17/050,460 patent/US20210243367A1/en not_active Abandoned
- 2019-04-26 JP JP2021509709A patent/JP7185357B2/ja active Active
- 2019-04-26 CN CN201980028471.4A patent/CN112154647B/zh active Active
- 2019-04-26 CN CN201980028456.XA patent/CN112119626B/zh active Active
- 2019-04-26 JP JP2021509710A patent/JP7231281B2/ja active Active
- 2019-04-26 WO PCT/KR2019/005068 patent/WO2019209067A1/ko active Application Filing
- 2019-04-26 US US17/050,461 patent/US11523054B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100442098C (zh) * | 2005-12-14 | 2008-12-10 | 索尼株式会社 | 图像拍摄设备及图像处理方法 |
US20110134262A1 (en) * | 2009-12-07 | 2011-06-09 | Kabushiki Kaisha Toshiba | Camera module, image recording method, and electronic device |
JP2011182078A (ja) * | 2010-02-26 | 2011-09-15 | Seiko Epson Corp | 補正情報算出装置、画像補正装置、画像表示システム、補正情報算出方法 |
CN102438153A (zh) * | 2010-09-29 | 2012-05-02 | 华为终端有限公司 | 多摄像机图像校正方法和设备 |
JP6022123B1 (ja) * | 2015-11-09 | 2016-11-09 | 三菱電機株式会社 | 画像生成システム及び画像生成方法 |
Also Published As
Publication number | Publication date |
---|---|
US20210243368A1 (en) | 2021-08-05 |
EP3787278A1 (en) | 2021-03-03 |
EP3787277A4 (en) | 2022-03-30 |
US11523054B2 (en) | 2022-12-06 |
JP2021519954A (ja) | 2021-08-12 |
EP3787277A1 (en) | 2021-03-03 |
WO2019209067A1 (ko) | 2019-10-31 |
JP7185357B2 (ja) | 2022-12-07 |
CN112154647A (zh) | 2020-12-29 |
JP2021520174A (ja) | 2021-08-12 |
JP7231281B2 (ja) | 2023-03-01 |
CN112119626B (zh) | 2022-03-18 |
EP3787278A4 (en) | 2022-03-16 |
US20210243367A1 (en) | 2021-08-05 |
CN112154647B (zh) | 2022-03-18 |
WO2019209069A1 (ko) | 2019-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112119626B (zh) | 广角影像提供方法 | |
KR101776702B1 (ko) | 3차원 영상을 생성하는 감시 카메라 및 그 방법 | |
KR100898824B1 (ko) | 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템 | |
US10489885B2 (en) | System and method for stitching images | |
KR101521008B1 (ko) | 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템 | |
US20050029458A1 (en) | System and a method for a smart surveillance system | |
US7224392B2 (en) | Electronic imaging system having a sensor for correcting perspective projection distortion | |
KR101916419B1 (ko) | 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법 | |
KR102062736B1 (ko) | 광각 영상 제공 방법 및 시스템 | |
TW202011349A (zh) | 全景圖形成方法及系統 | |
JP2004096488A (ja) | 物体検知装置、物体検知方法および物体検知プログラム | |
CN104363421A (zh) | 实现多角度摄像头监控效果的方法和装置 | |
KR102062734B1 (ko) | 광각 영상 제공 방법 및 시스템 | |
KR102057602B1 (ko) | 광각 영상 제공 방법 및 시스템 | |
CN103325110B (zh) | 一种基于全景高速球一体机的全景图像校正方法 | |
KR101794993B1 (ko) | 영상 왜곡 보정 장치 및 방법 | |
KR20120122398A (ko) | 어레이형 카메라 장치 및 어레이 영상획득방법 | |
JP2011211675A (ja) | アムニディレクショナルと防犯・監視カメラ統合で死角無し | |
JP2002347517A (ja) | 車載カメラおよび車両の周囲監視装置 | |
Zhu et al. | Expanding a fish-eye panoramic image through perspective transformation | |
KR102373572B1 (ko) | 서라운드 뷰 모니터링 시스템 및 그 방법 | |
JP2001258050A (ja) | 立体映像撮像装置 | |
KR101816038B1 (ko) | 영상 밝기 보정 장치 및 방법 | |
KR20160139606A (ko) | 차량의 파노라마 영상 표시장치 및 방법 | |
JP2005099572A (ja) | 広域撮影方法および表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |