CN110580718B - 图像装置的校正方法及其相关图像装置和运算装置 - Google Patents

图像装置的校正方法及其相关图像装置和运算装置 Download PDF

Info

Publication number
CN110580718B
CN110580718B CN201910492688.2A CN201910492688A CN110580718B CN 110580718 B CN110580718 B CN 110580718B CN 201910492688 A CN201910492688 A CN 201910492688A CN 110580718 B CN110580718 B CN 110580718B
Authority
CN
China
Prior art keywords
image acquisition
image
processor
acquisition units
acquisition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910492688.2A
Other languages
English (en)
Other versions
CN110580718A (zh
Inventor
李季峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eYs3D Microelectronics Co
Original Assignee
eYs3D Microelectronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eYs3D Microelectronics Co filed Critical eYs3D Microelectronics Co
Publication of CN110580718A publication Critical patent/CN110580718A/zh
Application granted granted Critical
Publication of CN110580718B publication Critical patent/CN110580718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3254—Orientation, e.g. landscape or portrait; Location or order of the image data, e.g. in memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274—Storage or retrieval of prestored additional information
    • H04N2201/3277—The additional information being stored in the same storage device as the image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种图像装置的校正方法。所述校正方法包含所述图像装置包含的至少二图像获取单元获取至少二对应的图像；处理器对所述至少二对应的图像执行形变校正，从所述至少二对应的图像中萃取对象的预定数量的平面上的多个特征点，根据所述预定数量的平面中的每一平面分类所述多个特征点并分别据以计算出所述每一平面对应的点对点转换矩阵以产生对应所述至少二图像获取单元的旋转/转移矩阵，根据所述旋转/转移矩阵，产生对应所述至少二图像获取单元中的每一图像获取单元的最终旋转矩阵，及根据所述最终旋转矩阵校正所述每一图像获取单元。因此，不管所述对象的尺寸，本发明仍可对所述至少二图像获取单元执行校正。

Description

图像装置的校正方法及其相关图像装置和运算装置
技术领域
本发明涉及一种图像装置的校正方法及其相关图像装置和运算装置，尤其涉及一种利用一图像装置的图像获取单元所获取的对应的图像中一对象的至少一平面上的特征点来校正所述图像装置的校正方法及其相关图像装置和运算装置。
背景技术
在图像装置出厂且操作一段时间后，所述图像装置会因为所述图像装置的使用环境、使用方法或使用状况造成所述图像装置中的左眼图像获取单元和右眼图像获取单元之间的机构的偏移，导致所述图像装置的机构与光学准度降低。因此，现有技术所公开的校正方法是利用所述左眼图像获取单元和所述右眼图像获取单元所获取的对应图像中的特征点计算出一基本(fundamental or essential)矩阵，然后再利用所述基本矩阵校正所述左眼图像获取单元和所述右眼图像获取单元之间机构的偏移。例如所述基本矩阵可校正所述左眼图像获取单元和所述右眼图像获取单元之间的相对旋转角度，以及所述左眼图像获取单元和所述右眼图像获取单元之间的相对歪斜等。
然而，现有技术公开的校正方法至少需要根据一对象上的多个特征点在三维空间中和所述图像装置间的多个距离(也就是对应所述对象的多个深度)才可对所述左眼图像获取单元和所述右眼图像获取单元执行一强力的(robust)校正。因此，如果所述多个距离之间的差异不够大(例如因为所述对象是扁平状且平行于一投影平面，所以所述多个距离之间的差异较小)，则校正结果可能无法被所述图像装置的用户接受，也就是所述校正结果是本技术领域的技术人员所称的弱校正(weak calibration)。因此，如何提供一个可产生良好校正结果的校正方法成为一项重要的课题。
发明内容
本发明的一实施例公开一种图像装置的校正方法，其中所述图像装置包含至少二图像获取单元。所述校正方法包含所述至少二图像获取单元获取至少二对应的图像；一处理器对所述至少二对应的图像执行一形变校正；所述处理器从所述至少二对应的图像中萃取一对象的预定数量的平面上的多个特征点；所述处理器根据所述预定数量的平面中的每一平面分类所述多个特征点，并分别据以计算出所述预定数量的平面中的每一平面对应的点对点转换矩阵以产生对应所述至少二图像获取单元的一旋转/转移矩阵；所述处理器根据所述旋转/转移矩阵，产生对应所述至少二图像获取单元中的每一图像获取单元的一最终旋转矩阵；及所述处理器将所述最终旋转矩阵储存于一存储，以及根据所述最终旋转矩阵校正所述每一图像获取单元。
本发明的另一实施例公开一种具有校正功能的图像装置。所述图像装置包含至少二图像获取单元和一处理器。所述至少二图像获取单元是用以获取至少二对应的图像。所述处理器是用以对所述至少二对应的图像执行一形变校正，从所述至少二对应的图像中萃取一对象的预定数量的平面上的多个特征点，分别据以计算出所述预定数量的平面中的每一平面对应的点对点转换矩阵以产生对应所述至少二图像获取单元的一旋转/转移矩阵，根据所述旋转/转移矩阵，产生对应所述至少二图像获取单元中的每一图像获取单元的一最终旋转矩阵，以及根据所述最终旋转矩阵，校正所述每一图像获取单元。
本发明的另一实施例公开一种具有校正功能的运算装置。所述运算装置包含一处理器。所述处理器是用以对一图像装置所获取的至少二对应的图像执行一形变校正，从所述至少二对应的图像中萃取一对象的预定数量的平面上的多个特征点，根据所述预定数量的平面中的每一平面分类所述多个特征点，分别据以计算出所述预定数量的平面中的每一平面对应的点对点转换矩阵以产生对应所述至少二图像获取单元的一旋转/转移矩阵，根据所述旋转/转移矩阵，产生对应所述至少二图像获取单元中的每一图像获取单元的一最终旋转矩阵，以及根据所述最终旋转矩阵，校正所述每一图像获取单元。
本发明的另一实施例公开一种具有校正功能的图像装置。所述图像装置包含至少二图像获取单元和一处理器。所述至少二图像获取单元是用以获取至少二对应的图像，其中所述至少二图像获取单元之间的相对位置是可变动的以使所述至少二对应的图像用以产生一360度环景图像，或至少一深度图，或至少一立体图像。当所述至少二对应的图像是用以产生所述至少一深度图或所述至少一立体图像时，所述处理器对所述至少二对应的图像执行一形变校正，从所述至少二对应的图像中萃取一对象的预定数量的平面上的多个特征点，根据所述预定数量的平面中的每一平面分类所述多个特征点，分别据以计算出所述预定数量的平面中的每一平面对应的点对点转换矩阵以产生对应所述至少二图像获取单元的一旋转/转移矩阵，根据所述旋转/转移矩阵，产生对应所述至少二图像获取单元中的每一图像获取单元的一最终旋转矩阵，以及根据所述最终旋转矩阵，校正所述每一图像获取单元。
本发明公开一种图像装置的校正方法及其相关图像装置和运算装置。所述校正方法、所述图像装置和所述运算装置是利用一处理器从所述图像装置的图像获取单元所获取的对应的图像中萃取一对象的预定数量的平面上的多个特征点来校正所述图像装置，并利用所述处理器根据所述预定数量的平面中的每一平面分类所述多个特征点来校正所述图像装置，所以本发明和现有技术直接利用所述对象上的多个特征点(也就是不分类所述多个特征点)去校正所述图像装置的方式不同。因此，相较于现有技术，即使所述对象的尺寸较小，导致所述多个特征点与所述图像装置间的多个距离之间的差异较小，本发明仍可对所述图像装置的图像获取单元执行一强力的(robust)校正以产生良好的校正结果。
附图说明
图1是本发明的一第一实施例所公开的一种图像装置的示意图。
图2是本发明的一第二实施例所公开的一种图像装置的校正方法的流程图。
图3是说明左眼图像获取单元所获取的左眼图像以及右眼图像获取单元所获取的右眼图像的示意图。
图4是本发明的一第三实施例所公开的一种图像装置和运算装置的示意图。
图5是说明图像装置的正面以及图像装置的正面和图像装置的背面朝同一方向的示意图。
图6是说明图像装置的正面以及图像装置的正面和图像装置的背面朝同一方向的示意图。
图7是说明具有三图像获取单元的图像装置以及具有三图像获取单元的图像装置展开的示意图。
其中，附图标记说明如下：
100、400、500、600、700 图像装置
102 左眼图像获取单元
104 右眼图像获取单元
106、404 处理器
108 存储
140 左眼图像
150 右眼图像
160 对象
402 运算装置
502、504、602、604、606、702、704、 图像获取单元
706
B1 第一基线
B2 第二基线
FFP1-FFP7 第一特征点
PL1-PL3 平面
SFP1-SFP7 第二特征点
200-216 步骤
具体实施方式
请参照图1，图1是本发明的一第一实施例所公开的一种图像装置100的示意图，其中图像装置100包含一左眼图像获取单元102、一右眼图像获取单元104、一处理器106和一存储108，其中如图1所示，处理器106耦接于左眼图像获取单元102、右眼图像获取单元104和存储108，以及左眼图像获取单元102和右眼图像获取单元104另耦接于存储108。另外，左眼图像获取单元102和右眼图像获取单元104的内部参数(intrinsic parameters)是储存在存储108，且左眼图像获取单元102的内部参数包含左眼图像获取单元102的镜片焦距、光学中心、镜片形变等信息，以及右眼图像获取单元104的内部参数包含右眼图像获取单元104的镜片焦距、光学中心、镜片形变等信息。另外，本发明并不受限于图像装置100仅包含左眼图像获取单元102和右眼图像获取单元104，也就是说图像装置100可包含超过2个以上的图像获取单元。另外，请参照图2-3，图2是本发明的一第二实施例所公开的一种图像装置的校正方法的流程图，图3(a)是说明左眼图像获取单元102所获取的左眼图像140的示意图，以及图3(b)是说明右眼图像获取单元104所获取的右眼图像150的示意图。另外，本技术领域的技术人员应当熟知左眼图像获取单元102和右眼图像获取单元104中的每一图像获取单元至少包含镜头和图像传感器(例如电荷耦合组件(Charge-coupled device,CCD)图像传感器或互补金属氧化物半导体图像传感器(Complementary Metal-Oxide-Semiconductor Image Sensor))。另外，图2的校正方法是利用图1的图像装置100说明，详细步骤如下：
步骤200：开始；
步骤202：处理器106分别控制左眼图像获取单元102和右眼图像获取单元104获取左眼图像140和右眼图像150，其中左眼图像140对应右眼图像150，且左眼图像140和右眼图像150包含一对象160；
步骤204：处理器106分别从左眼图像140与右眼图像150萃取多个第一特征点与多个第二特征点，其中所述多个第一特征点对应所述多个第二特征点；
步骤206：处理器106根据对象160上的预定数量的平面分类所述多个第一特征点和所述多个第二特征点，以及分别找出所述预定数量的平面的每一平面的特征点对应左眼图像获取单元102的坐标和右眼图像获取单元104的坐标；
步骤208：处理器106利用所述每一平面的特征点对应左眼图像获取单元102的坐标和右眼图像获取单元104的坐标，计算出对应所述每一平面的点对点转换矩阵(point-to-point homography matrix)；
步骤210：处理器106根据对应所述预定数量的平面的多个点对点转换矩阵以及左眼图像获取单元102的内部参数和右眼图像获取单元104的内部参数，产生对应左眼图像获取单元102和右眼图像获取单元104的一旋转/转移矩阵；
步骤212：处理器106根据所述旋转/转移矩阵，产生对应左眼图像获取单元102和右眼图像获取单元104中的每一图像获取单元的一最终旋转矩阵；
步骤214：处理器106根据所述最终旋转矩阵，校正所述每一图像获取单元，并将所述最终旋转矩阵储存至存储108；
步骤216：结束。
在图像装置100出厂且操作一段时间后，图像装置100会因为图像装置100的使用环境、使用方法或使用状况造成图像装置100的机构与光学准度降低，导致图像装置100中的左眼图像获取单元102和右眼图像获取单元104之间的机构偏移出厂前的校正状态，例如左眼图像获取单元102与右眼图像获取单元104之间的距离、左眼图像获取单元102与右眼图像获取单元104之间的相对旋转角度，以及左眼图像获取单元102与右眼图像获取单元104之间的相对歪斜等偏移当初校正的状态。因此，左眼图像获取单元102和右眼图像获取单元104需要被校正以补偿左眼图像获取单元102和右眼图像获取单元104之间机构的偏移。在步骤202中，处理器106可控制左眼图像获取单元102和右眼图像获取单元104分别对对象160执行图像获取动作以产生左眼图像140与右眼图像150，其中处理器106可先对左眼图像140与右眼图像150执行形变校正使左眼图像140与右眼图像150无形变。但本发明并不受限于左眼图像140与右眼图像150仅包含对象160。因此，在本发明的另一实施例中，处理器106可控制左眼图像获取单元102和右眼图像获取单元104同时对左眼图像140与右眼图像150所包含的多个对象执行图像获取动作以产生对应的图像。在步骤204中，如图3(a)所示，处理器106可从左眼图像140萃取对象160上的多个第一特征点(例如7个第一特征点FFP1-FFP7)，其中第一特征点FFP1-FFP4位于平面PL1，第一特征点FFP2、FFP3、FFP5、FFP6位于平面PL2，第一特征点FFP1、FFP2、FFP5、FFP7位于平面PL3，以及7个第一特征点FFP1-FFP7仅是用以举例说明本发明，也就是说本发明并不受限于7个第一特征点FFP1-FFP7。另外，处理器106也可从右眼图像150萃取对象160上的多个第二特征点(例如7个第二特征点SFP1-SFP7)，其中第二特征点SFP1-SFP4位于平面PL1，第二特征点SFP2、SFP3、SFP5、SFP6位于平面PL2，第二特征点SFP1、SFP2、SFP5、SFP7位于平面PL3，以及7个第二特征点SFP1-SFP7也仅是用以举例说明本发明，也就是说本发明也并不受限于7个第二特征点SFP1-SFP7。
在步骤206中，处理器106可依平面PL1-PL3(其中平面PL1-PL3为对象160上的预定数量的平面，且所述预定数量为3)分类并找出每一平面的特征点对应左眼图像获取单元102的坐标和右眼图像获取单元104的坐标，例如处理器106可分别找出平面PL1的特征点(也就是第一特征点FFP1-FFP4和第二特征点SFP1-SFP4)对应左眼图像获取单元102的坐标和右眼图像获取单元104的坐标，平面PL2的特征点(也就是第一特征点FFP2、FFP3、FFP5、FFP6和第二特征点SFP2、SFP3、SFP5、SFP6)对应左眼图像获取单元102的坐标和右眼图像获取单元104的坐标，以及平面PL3的特征点(也就是第一特征点FFP1、FFP2、FFP5、FFP7和第二特征点SFP1、SFP2、SFP5、SFP7)对应左眼图像获取单元102的坐标和右眼图像获取单元104的坐标。另外，本发明并不受限于所述预定数量为3。在步骤208中，以平面PL1为例，处理器106可根据平面PL1的第一特征点FFP1-FFP4对应左眼图像获取单元102的坐标，平面PL1的第二特征点SFP1-SFP4对应右眼图像获取单元104的坐标，以及式(1)，计算出对应平面PL1的点对点转换矩阵(point-to-point homography matrix)H1。
如式(1)所示，(X,Y)分别代入第一特征点FFP1-FFP4对应左眼图像获取单元102的坐标，以及(x,y)分别代入第二特征点SFP1-SPF4对应右眼图像获取单元104的坐标以求出点对点转换矩阵H1。另外，处理器106可根据上述产生点对点转换矩阵H1的方式，计算出对应平面PL2的点对点转换矩阵H2，以及对应平面PL3的点对点转换矩阵H3。
在执行步骤210之前，处理器106可从存储108得到左眼图像获取单元102的内部参数和右眼图像获取单元104的内部参数。另外，在本发明的另一实施例中，左眼图像获取单元102的内部参数和右眼图像获取单元104的内部参数是储存在位于一因特网上的服务器，所以处理器106可从所述服务器得到左眼图像获取单元102的内部参数和右眼图像获取单元104的内部参数。在步骤210中，在点对点转换矩阵H1-H3产生后，处理器106可根据左眼图像获取单元102的内部参数、右眼图像获取单元104的内部参数和点对点转换矩阵H1-H3产生一旋转/转移矩阵[R|t]，其中R为旋转/转移矩阵[R|t]中有关旋转(rotation)的元素，其代表左眼图像获取单元102的光轴和右眼图像获取单元104的光轴之间的旋转关系，以及t为旋转/转移矩阵[R|t]中有关转移(translation)的元素，其代表左眼图像获取单元102的光学中心和右眼图像获取单元104的光学中心的坐落方向。另外，旋转/转移矩阵[R|t]为本技术领域的技术人员所熟知，所以在此不再赘述。理想上点对点转换矩阵H1-H3可一起对应到旋转/转移矩阵[R|t]。然而，实际上点对点转换矩阵H1-H3可能会因误差而对应到3个不同的旋转/转移矩阵[R|t]1-[R|t]3，其中旋转/转移矩阵[R|t]1对应平面PL1，旋转/转移矩阵[R|t]2对应平面PL2，以及旋转/转移矩阵[R|t]3对应平面PL3。此时，在本发明的一实施例中，处理器106可将旋转/转移矩阵[R|t]1-[R|t]3中相对应的元素平均以产生一等效旋转/转移矩阵。另外，在本发明的另一实施例中，处理器106可根据旋转/转移矩阵[R|t]1-[R|t]3中相对应的元素的中位数，产生另一等效旋转/转移矩阵。另外，可利用许多已知的异常值(outlier)剔除算法(例如random sample consensus(RANSAC)算法)，将差异较大的点对点转换矩阵移除。
在步骤212中，因为本技术领域的技术人员应当熟知旋转/转移矩阵[R|t]，所以本技术领域的技术人员可利用处理器106根据旋转/转移矩阵[R|t]中的转移向量[t](由旋转/转移矩阵[R|t]中有关转移(translation)的元素所组成)，产生对应左眼图像获取单元102的最终旋转矩阵[R]L和对应右眼图像获取单元104的最终旋转矩阵[R]R。
在步骤214中，在处理器106产生最终旋转矩阵[R]R和最终旋转矩阵[R]L后，处理器106可将最终旋转矩阵[R]R和最终旋转矩阵[R]L储存至存储108，以及处理器106可根据最终旋转矩阵[R]L，校正左眼图像获取单元102，以及根据最终旋转矩阵[R]R，校正右眼图像获取单元104。在本发明的一实施例中，处理器106校正左眼图像获取单元102和右眼图像获取单元104意味着处理器106根据最终旋转矩阵[R]L和最终旋转矩阵[R]R调整左眼图像获取单元102与右眼图像获取单元104之间的机构的偏移。在处理器106调整左眼图像获取单元102和右眼图像获取单元104之间的机构的偏移后，左眼图像获取单元102所获取的左眼图像的多个第一特征点(例如第一特征点FFP1-FFP7)和右眼图像获取单元104所获取的右眼图像的多个第二特征点(例如第二特征点SFP1-SFP7)对齐(例如扫描线对扫描线(line to line)对齐)，其中扫描线对扫描线对齐是指在图像平面上，多个第一特征点与多个第二特征点中各自相对应的点在同一Y轴上(左眼图像获取单元102和右眼图像获取单元104置放在同一水平面)或在同一X轴上(左眼图像获取单元102和右眼图像获取单元104置放在同一垂直面)。也就是说在处理器106调整左眼图像获取单元102和右眼图像获取单元104之间的机构的偏移后，左眼图像获取单元102所获取的左眼图像(或右眼图像获取单元104所获取的右眼图像)的每一水平扫描线平行于左眼图像获取单元102和右眼图像获取单元104之间的基线。另外，在处理器106调整左眼图像获取单元102和右眼图像获取单元104之间的机构的偏移后，图像装置100将根据调整后的左眼图像获取单元102和右眼图像获取单元104之间的机构状态操作左眼图像获取单元102和右眼图像获取单元104。
另外，在本发明的另一实施例中，在步骤210中，处理器106先不对旋转/转移矩阵[R|t]1-[R|t]3进行的平均、中位数以及异常值(outlier)剔除算法操作，而是先分别根据旋转/转移矩阵[R|t]1-[R|t]3产生最终旋转矩阵[R]R1-[R]R3和最终旋转矩阵[R]L1-[R]L3。然后在步骤212中，处理器106分别对最终旋转矩阵[R]R1-[R]R3和最终旋转矩阵[R]L1-[R]L3进行的平均、中位数以及异常值(outlier)剔除算法操作。
另外，在本发明的另一实施例中，处理器106可省略步骤210，也就是说在步骤212中，处理器106可直接根据左眼图像获取单元102的内部参数和右眼图像获取单元104的内部参数，以及步骤208产生的点对点转换矩阵H1-H3产生对应左眼图像获取单元102的最终旋转矩阵[R]L和对应右眼图像获取单元104的最终旋转矩阵[R]R，也就是说在本发明的另一实施例中，处理器106可不需通过旋转/转移矩阵[R|t]，产生对应左眼图像获取单元102的最终旋转矩阵[R]L和对应右眼图像获取单元104的最终旋转矩阵[R]R。
然而在本发明的另一实施例中，处理器106校正左眼图像获取单元102和右眼图像获取单元104意味着处理器106可分别根据最终旋转矩阵[R]L和最终旋转矩阵[R]R对左眼图像获取单元102和右眼图像获取单元104，执行一图像矫正(image rectification)动作，也就是说因为图像装置100的使用环境、使用方法或使用状况使左眼图像获取单元102和右眼图像获取单元104之间的机构的偏移，所以处理器106可分别根据最终旋转矩阵[R]L和最终旋转矩阵[R]R，补偿(也就是说矫正)左眼图像获取单元102所获取的左眼图像和右眼图像获取单元104所获取的右眼图像以补偿左眼图像获取单元102与右眼图像获取单元104之间的机构的偏移。也就是说，此时，处理器106并不会调整左眼图像获取单元102和右眼图像获取单元104之间的机构的偏移。
另外，因为本技术领域的技术人员可以容易地利用一具有上述处理器106的功能的现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)，或是一具有上述处理器106的功能的专用集成电路(Application-specific integrated circuit,ASIC)，或是一具有上述处理器106的功能的软件模块，或是一具有上述处理器106的功能的模拟集成电路实现处理器106，所以处理器106的结构在此不再赘述。
另外，在处理器106根据最终旋转矩阵[R]L，校正左眼图像获取单元102，以及根据最终旋转矩阵[R]R，校正右眼图像获取单元104后，如果左眼图像获取单元102所获取的左眼图像(或右眼图像获取单元104所获取的右眼图像)的每一水平扫描线仍未平行于左眼图像获取单元102和右眼图像获取单元104之间的基线，则处理器106可继续对对象160上异于平面PL1-PL3的平面执行步骤206-214直到左眼图像获取单元102所获取的左眼图像(或右眼图像获取单元104所获取的右眼图像)的每一水平扫描线平行于左眼图像获取单元102和右眼图像获取单元104之间的基线。
另外，如图4所示，在本发明的一第三实施例中，上述处理器106是位于一图像装置400外的一运算装置402(例如一计算机、一智能型手机、一云端系统或一平板计算机)。如图4所示，图像装置400内具有控制图像装置400运作的一处理器404，所以处理器404可通过一有线方式将左眼图像获取单元102所获取的左眼图像和右眼图像获取单元104所获取的右眼图像传输至运算装置402。但在本发明的另一实施例中，处理器404则是通过一无线方式将左眼图像获取单元102所获取的左眼图像和右眼图像获取单元104所获取的右眼图像传输至运算装置402。因此，在运算装置402接收左眼图像获取单元102所获取的左眼图像和右眼图像获取单元104所获取的右眼图像后，运算装置402内的处理器106即可根据图2的校正方法校正图像装置400内的左眼图像获取单元102和右眼图像获取单元104。另外，图像装置400内的存储108的操作原理可参照上述相关说明，在此不再赘述。另外，在本发明的另一实施例中，图像装置400和运算装置402可组成一具有校正功能的系统，其中所述系统的运作原理可参照上述相关说明，在此不再赘述。
另外，请参照图5(a)，图5(a)是说明具有双图像获取单元502、504的一图像装置500的正面的示意图。如图5(a)所示，因为图像获取单元502设置在图像装置500的正面以及图像获取单元504设置在图像装置500的背面，所以图5(a)不会示出图像获取单元504。当图像装置500的背面和图像装置500的正面朝同一方向时(如图5(b)所示)，图像装置500可当作一立体摄像机或一深度摄像机。但图像装置500的背面和图像装置500的正面朝同一方向时，图像获取单元502和图像获取单元504之间的机构可能因为图像装置500的背面和图像装置500的正面之间的机构的定位不够精密而产生偏移(也就是说当图像装置500的背面和图像装置500的正面朝同一方向时，图像获取单元502和图像获取单元504之间的机构目前的状态不是图像获取单元502和图像获取单元504之间的机构前一次的状态)，所以上述本发明所公开的校正方法或先前技术即可应用于校正图像获取单元502和图像获取单元504之间机构的偏移。同理，上述本发明所公开的校正方法或先前技术也可应用于校正具有三图像获取单元602、604、606的图像装置600(如图6(a)、6(b)所示)，其中图像获取单元602、604形成一第一图像获取对(对应一第一基线B1)，以及图像获取单元602、606形成一第二图像获取对(对应一第二基线B2)。另外，请参照图7(a)，图7(a)是说明具有三图像获取单元702、704、706的一图像装置700的示意图，其中图像获取单元702、704、706为鱼眼镜头图像获取单元或非鱼眼镜头图像获取单元。如图7(a)所示，当图像获取单元702、704、706未被展开时，图像装置700可当作一360度环景摄像机，也就是说图像装置700可利用图像获取单元702、704、706所获取的图像产生一360度环景图像。另外，在本发明的另一实施例中，图像装置700是可挠的，也就是说当图像装置700是可挠的且图像获取单元702、704、706未被展开时，图像获取单元702、704、706中每二相邻的图像获取单元之间的链接处并不会出现如图7(a)所示的锐角，也就是说所述每二相邻的图像获取单元之间的链接处是一具有弧度的平滑区域。
如图7(b)所示，当图像获取单元702、704、706被展开时，图像装置700可当作一立体摄像机或一深度摄像机。因此，当图像获取单元702、704、706未被展开时，本技术领域的技术人员可利用现有技术所公开的环景图像校正方法校正图像装置700；当图像获取单元702、704、706被展开时，上述本发明所公开的校正方法或先前技术可应用于校正图像获取单元702、704、706之间的机构的偏移。另外，本发明并不受限于图像装置700包含图像获取单元702、704、706，也就是说图像装置700可只包含二鱼眼镜头图像获取单元，其中当所述二鱼眼镜头图像获取单元为背对背时，图像装置700可当作一360度环景摄像机，以及当所述二鱼眼镜头图像获取单元朝同一方向时，图像装置700可当作一立体摄像机或一深度摄像机。另外，图像装置700也可包含至少四图像获取单元(或至少四鱼眼镜头图像获取单元)，其中所述至少四图像获取单元未被展开时，图像装置700可当作一360度环景摄像机，以及当所述至少四图像获取单元被展开时，图像装置700可当作一立体摄像机或一深度摄像机。因此，只要一图像装置作为一立体摄像机或一深度摄像机，且所述图像装置所包含的图像获取单元的机构产生偏移，则本发明所公开的校正方法都可应用于校正所述图像装置，也就是说本发明所公开的校正方法并不受限于校正图5(b)、图6(b)和图7(b)的机构。
综上所述，本发明所公开的校正方法及其相关图像装置和运算装置是利用所述处理器从所述图像装置的图像获取单元所获取的对应的图像中萃取一对象的预定数量的平面上的多个特征点，并利用所述处理器根据所述预定数量的平面中的每一平面分类所述多个特征点来校正所述图像装置，所以本发明和现有技术直接利用所述对象上的多个特征点(也就是不分类所述多个特征点)去校正所述图像装置的方式不同。因此，相较于现有技术，即使所述对象的尺寸较小，导致所述多个特征点与所述图像装置间的多个距离之间的差异较小，本发明仍可对所述图像装置的图像获取单元执行一强力的(robust)校正以产生良好的校正结果。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种图像装置的校正方法，其中所述图像装置包含至少二图像获取单元，
其特征在于包含：
所述至少二图像获取单元获取至少二对应的图像；
一处理器对所述至少二对应的图像执行一形变校正；
所述处理器从所述至少二对应的图像中萃取一对象的预定数量的平面上的多个特征点；
所述处理器根据所述预定数量的平面中的每一平面分类所述多个特征点，并分别据以计算出所述预定数量的平面中的每一平面对应的点对点转换矩阵以产生对应所述至少二图像获取单元的一旋转/转移矩阵；
所述处理器根据所述旋转/转移矩阵，产生对应所述至少二图像获取单元中的每一图像获取单元的一最终旋转矩阵；及
所述处理器将所述最终旋转矩阵储存于一存储，以及根据所述最终旋转矩阵校正所述每一图像获取单元。
2.如权利要求1所述的校正方法，其特征在于所述处理器分别据以计算出所述预定数量的平面中的每一平面对应的点对点转换矩阵以产生所述旋转/转移矩阵包含：
所述处理器利用每一平面的特征点对应所述至少二图像获取单元的坐标，计算出对应每一平面的点对点转换矩阵；及
所述处理器根据对应所述预定数量的平面的多个点对点转换矩阵和所述至少二图像获取单元的内部参数，产生所述旋转/转移矩阵。
3.如权利要求2所述的校正方法，其特征在于：所述处理器从位于一因特网上的服务器得到所述至少二图像获取单元的内部参数。
4.如权利要求2所述的校正方法，其特征在于：所述图像装置另包含所述存储，且所述处理器从所述存储得到所述至少二图像获取单元的内部参数。
5.如权利要求1所述的校正方法，其特征在于：所述处理器根据所述最终旋转矩阵校正所述每一图像获取单元是所述处理器根据所述最终旋转矩阵在所述图像装置的机构上调整所述至少二图像获取单元之间的机构的偏移。
6.如权利要求1所述的校正方法，其特征在于：所述处理器根据所述最终旋转矩阵校正所述每一图像获取单元是所述处理器根据所述最终旋转矩阵补偿所述每一图像获取单元所获取的图像。
7.如权利要求1所述的校正方法，其特征在于：所述处理器根据所述最终旋转矩阵，校正所述每一图像获取单元后，所述每一图像获取单元所获取的图像的每一水平扫描线平行于所述至少二图像获取单元之间的基线。
8.如权利要求1所述的校正方法，其特征在于：所述处理器包含于所述图像装置或包含于所述图像装置外的一运算装置。
9.一种具有校正功能的图像装置，其特征在于包含：
至少二图像获取单元，用以获取至少二对应的图像；及
一处理器，用以对所述至少二对应的图像执行一形变校正，从所述至少二对应的图像中萃取一对象的预定数量的平面上的多个特征点，根据所述预定数量的平面中的每一平面分类所述多个特征点，分别据以计算出所述预定数量的平面中的每一平面对应的点对点转换矩阵以产生对应所述至少二图像获取单元的一旋转/转移矩阵，根据所述旋转/转移矩阵，产生对应所述至少二图像获取单元中的每一图像获取单元的一最终旋转矩阵，以及根据所述最终旋转矩阵，校正所述每一图像获取单元。
10.如权利要求9所述的图像装置，其特征在于另包含：
一存储，用以储存所述至少二图像获取单元的内部参数，其中所述处理器从所述存储得到所述至少二图像获取单元的内部参数。
11.如权利要求9所述的图像装置，其特征在于：所述处理器从位于一因特网上的服务器得到所述至少二图像获取单元的内部参数。
12.如权利要求9所述的图像装置，其特征在于：所述处理器根据所述最终旋转矩阵在所述图像装置的机构上调整所述至少二图像获取单元之间的机构的偏移。
13.如权利要求9所述的图像装置，其特征在于：所述处理器根据所述最终旋转矩阵校正所述每一图像获取单元是所述处理器根据所述最终旋转矩阵补偿所述每一图像获取单元所获取的图像。
14.如权利要求9所述的图像装置，其特征在于：所述至少二图像获取单元包含一左眼图像获取单元和一右眼图像获取单元，且所述至少二对应的图像包含一左眼图像和一右眼图像。
15.如权利要求9所述的图像装置，其特征在于：所述处理器根据所述最终旋转矩阵，校正所述每一图像获取单元后，所述每一图像获取单元所获取的图像的每一水平扫描线平行于所述至少二图像获取单元之间的基线。
16.一种具有校正功能的运算装置，其特征在于包含：
一处理器，用以对一图像装置所获取的至少二对应的图像执行一形变校正，从所述至少二对应的图像中萃取一对象的预定数量的平面上的多个特征点，根据所述预定数量的平面中的每一平面分类所述多个特征点，分别据以计算出所述预定数量的平面中的每一平面对应的点对点转换矩阵以产生对应至少二图像获取单元的一旋转/转移矩阵，根据所述旋转/转移矩阵，产生对应至少二图像获取单元中的每一图像获取单元的一最终旋转矩阵，以及根据所述最终旋转矩阵，校正所述每一图像获取单元。
17.如权利要求16所述的运算装置，其特征在于：所述处理器分别据以计算出所述预定数量的平面中的每一平面对应的点对点转换矩阵以产生所述旋转/转移矩阵包含：
所述处理器利用每一平面的特征点对应所述至少二图像获取单元的坐标，计算出对应每一平面的点对点转换矩阵；及
所述处理器根据对应所述预定数量的平面的多个点对点转换矩阵和所述至少二图像获取单元的内部参数，产生所述旋转/转移矩阵。
18.一种具有校正功能的图像装置，其特征在于包含：
至少二图像获取单元，用以获取至少二对应的图像，其中所述至少二图像获取单元之间的相对位置是可变动的以使所述至少二对应的图像用以产生一360度环景图像，或至少一深度图，或至少一立体图像；及
一处理器，其中当所述至少二对应的图像是用以产生所述至少一深度图或所述至少一立体图像时，所述处理器对所述至少二对应的图像执行一形变校正，从所述至少二对应的图像中萃取一对象的预定数量的平面上的多个特征点，根据所述预定数量的平面中的每一平面分类所述多个特征点，分别据以计算出所述预定数量的平面中的每一平面对应的点对点转换矩阵以产生对应所述至少二图像获取单元的一旋转/转移矩阵，根据所述旋转/转移矩阵，产生对应所述至少二图像获取单元中的每一图像获取单元的一最终旋转矩阵，以及根据所述最终旋转矩阵，校正所述每一图像获取单元。
19.如权利要求18所述的图像装置，其特征在于：所述图像装置仅包含二图像获取单元时，所述二图像获取单元为鱼眼镜头图像获取单元。
20.如权利要求18所述的图像装置，其特征在于：所述图像装置包含至少三图像获取单元时，所述至少三图像获取单元为鱼眼镜头图像获取单元或非鱼眼镜头图像获取单元。
CN201910492688.2A 2018-06-07 2019-06-06 图像装置的校正方法及其相关图像装置和运算装置 Active CN110580718B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862681683P 2018-06-07 2018-06-07
US62/681,683 2018-06-07

Publications (2)

Publication Number Publication Date
CN110580718A CN110580718A (zh) 2019-12-17
CN110580718B true CN110580718B (zh) 2023-08-08

Family

ID=68764333

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910492688.2A Active CN110580718B (zh) 2018-06-07 2019-06-06 图像装置的校正方法及其相关图像装置和运算装置
CN201910495324.XA Pending CN110581936A (zh) 2018-06-07 2019-06-10 产生深度图像的图像装置和相关的电子装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910495324.XA Pending CN110581936A (zh) 2018-06-07 2019-06-10 产生深度图像的图像装置和相关的电子装置

Country Status (3)

Country Link
US (5) US20190387165A1 (zh)
CN (2) CN110580718B (zh)
TW (2) TWI723419B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190387165A1 (en) * 2018-06-07 2019-12-19 Eys3D Microelectronics, Co. Image device for generating depth images and related electronic device
CN112105312A (zh) * 2018-07-03 2020-12-18 柯惠Lp公司 用于在手术程序期间检测图像退化的系统、方法和计算机可读介质
US11215828B1 (en) * 2018-08-03 2022-01-04 Rockwell Collins, Inc. In field visor characterization for visor projected displays
WO2021216037A1 (en) * 2020-04-20 2021-10-28 Hewlett-Packard Development Company, L.P. Image rendering
CN117744196A (zh) * 2020-10-13 2024-03-22 弗莱瑞尔公司 通过自动分析传感器数据生成物理结构和环境的测量结果
CN115278067A (zh) * 2022-07-19 2022-11-01 Oppo广东移动通信有限公司 相机、电子设备、拍摄方法及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077585A (zh) * 2014-05-30 2014-10-01 小米科技有限责任公司 图像校正方法、装置及终端
CN104581136A (zh) * 2013-10-14 2015-04-29 钰创科技股份有限公司 图像校准系统和立体摄像机的校准方法
CN104811680A (zh) * 2014-01-28 2015-07-29 聚晶半导体股份有限公司 图像获取装置及其图像形变校正方法
CN105407342A (zh) * 2014-09-10 2016-03-16 钰创科技股份有限公司 图像校准系统和立体摄像机的校准方法
CN105744254A (zh) * 2014-12-30 2016-07-06 钰立微电子股份有限公司 校正导引系统和校正导引系统的操作方法
CN107167996A (zh) * 2017-06-05 2017-09-15 深圳奥比中光科技有限公司 自适应调整的激光投影模组及深度相机

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6552730B1 (en) * 1984-10-05 2003-04-22 Hitachi, Ltd. Method and apparatus for bit operational process
US6028795A (en) * 1985-09-24 2000-02-22 Hitachi, Ltd. One chip semiconductor integrated circuit device having two modes of data write operation and bits setting operation
US4988984A (en) * 1988-10-31 1991-01-29 International Business Machines Corporation Image interpolator for an image display system
US5111192A (en) * 1989-12-20 1992-05-05 Xerox Corporation Method to rotate a bitmap image 90 degrees
EP0888017A2 (en) * 1993-08-26 1998-12-30 Matsushita Electric Industrial Co., Ltd. Stereoscopic image display apparatus and related system
US5986672A (en) * 1997-10-14 1999-11-16 Minnesota, Mining And Manufacturing 3M Center Method and system for forming a rotated image on an imaging element using limited system resources
US6563535B1 (en) * 1998-05-19 2003-05-13 Flashpoint Technology, Inc. Image processing system for high performance digital imaging devices
US6137491A (en) 1998-06-05 2000-10-24 Microsoft Corporation Method and apparatus for reconstructing geometry using geometrically constrained structure from motion with points on planes
CN100499830C (zh) * 2001-08-15 2009-06-10 皇家飞利浦电子股份有限公司 3d视频会议站和3d视频会议方法
JP4227468B2 (ja) * 2002-06-24 2009-02-18 キヤノン株式会社 画像形成装置及び方法、並びに制御プログラム
US6958757B2 (en) * 2003-07-18 2005-10-25 Microsoft Corporation Systems and methods for efficiently displaying graphics on a display device regardless of physical orientation
EP1667457A4 (en) * 2003-09-16 2011-11-16 Fujitsu Semiconductor Ltd IMAGE PROCESSING DISPLAY DEVICE AND METHOD
US7643038B2 (en) * 2005-06-29 2010-01-05 Qualcomm Incorporated Virtual device buffer for embedded device
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US7535474B1 (en) * 2005-12-09 2009-05-19 Advanced Micro Devices, Inc. System and method for rotating rasterized image data
US7876977B2 (en) * 2006-02-15 2011-01-25 Conexant Systems, Inc. Image processor and method of image rotation
JP2009100342A (ja) 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
CN101308018B (zh) * 2008-05-30 2010-09-15 汤一平 基于双目全方位视觉传感器的立体视觉测量装置
JP2010114576A (ja) * 2008-11-05 2010-05-20 Seiko Epson Corp 画像処理装置
CN101894366B (zh) 2009-05-21 2014-01-29 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控系统
CN101577795A (zh) * 2009-06-17 2009-11-11 深圳华为通信技术有限公司 一种实现全景图像的实时预览的方法和装置
US8670149B2 (en) * 2009-08-03 2014-03-11 Printable Technologies Inc. Apparatus and methods for image processing optimization for variable data printing
CN101710932B (zh) 2009-12-21 2011-06-22 华为终端有限公司 图像拼接方法及装置
KR101385514B1 (ko) * 2010-06-08 2014-04-16 주식회사 에스칩스 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
KR101051509B1 (ko) 2010-06-28 2011-07-22 삼성전기주식회사 카메라의 광량 제어 장치 및 방법
JP5891425B2 (ja) * 2011-03-03 2016-03-23 パナソニックＩｐマネジメント株式会社 追体験映像を提供することができる映像提供装置、映像提供方法、映像提供プログラム
US8947551B2 (en) * 2011-07-29 2015-02-03 Aptina Imaging Corporation Method and apparatus for frame rotation in the JPEG compressed domain
JP2013038454A (ja) * 2011-08-03 2013-02-21 Sony Corp 画像処理装置および方法、並びにプログラム
EP2761534B1 (en) * 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
JP2013090031A (ja) * 2011-10-14 2013-05-13 Sony Corp 画像処理装置、画像処理方法およびプログラム
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
CN202838179U (zh) * 2012-09-26 2013-03-27 天津游奕科技有限公司 一种实现全景视频交互的系统
US10674135B2 (en) 2012-10-17 2020-06-02 DotProduct LLC Handheld portable optical scanner and method of using
CN108401551B (zh) * 2012-10-26 2015-02-04 北京理工大学 双镜头微光立体全景成像装置及其超大视场测距方法
JP5982298B2 (ja) * 2013-02-21 2016-08-31 シャープ株式会社 障害物検出装置および障害物検出方法
US10237528B2 (en) * 2013-03-14 2019-03-19 Qualcomm Incorporated System and method for real time 2D to 3D conversion of a video in a digital camera
TWI498526B (zh) 2013-06-05 2015-09-01 Nat Univ Chung Cheng Environment depth measurement method and its image acquisition device
CN103729883B (zh) 2013-12-30 2016-08-24 浙江大学 一种三维环境信息采集与重构系统及方法
KR102265109B1 (ko) 2014-01-24 2021-06-15 삼성전자주식회사 영상 처리 방법 및 장치
CN103984037B (zh) 2014-04-30 2017-07-28 深圳市墨克瑞光电子研究院 基于视觉的移动机器人障碍物检测方法和装置
US10027948B2 (en) * 2014-05-20 2018-07-17 Nextvr Inc. Methods and apparatus including or for use with one or more cameras
WO2015183145A1 (en) 2014-05-27 2015-12-03 Telefonaktiebolaget L M Ericsson (Publ) Remote control of a pivotable stereoscopic camera
CN105282375B (zh) 2014-07-24 2019-12-31 钰立微电子股份有限公司 附着式立体扫描模块
US9992483B2 (en) 2014-09-03 2018-06-05 Intel Corporation Imaging architecture for depth camera mode with mode switching
JP6531367B2 (ja) * 2014-09-30 2019-06-19 セイコーエプソン株式会社 印刷装置、制御装置および画像処理方法
US10356383B2 (en) * 2014-12-24 2019-07-16 Reald Spark, Llc Adjustment of perceived roundness in stereoscopic image of a head
CN104602129B (zh) * 2015-01-27 2018-03-06 三星电子（中国）研发中心 互动式多视角视频的播放方法及系统
CN106157358A (zh) * 2015-03-26 2016-11-23 成都理想境界科技有限公司 基于视频图像的对象融合方法及终端
EP3198350B1 (en) 2015-03-31 2021-11-10 SZ DJI Technology Co., Ltd. System and method for mobile platform operation
TWI610250B (zh) * 2015-06-02 2018-01-01 鈺立微電子股份有限公司 監測系統及其操作方法
CN104966225A (zh) * 2015-07-08 2015-10-07 深圳爱布丁梦想科技有限公司 基于移动终端和3d全景图像浏览的房屋租赁方法及系统
US9958266B2 (en) 2015-07-09 2018-05-01 Mitutoyo Corporation Chromatic range sensor including dynamic intensity compensation function
KR102458339B1 (ko) * 2015-08-07 2022-10-25 삼성전자주식회사 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
CN106534828A (zh) * 2015-09-11 2017-03-22 钰立微电子股份有限公司 应用于立体图像获取装置的控制器与立体图像获取装置
US11263461B2 (en) 2015-10-05 2022-03-01 Pillar Vision, Inc. Systems and methods for monitoring objects at sporting events
CN105530431A (zh) * 2015-12-16 2016-04-27 景好 一种反射式全景成像系统及方法
CN105609087B (zh) * 2015-12-23 2018-11-16 天地伟业技术有限公司 一种图像缩放器处理图像的方法
CN113867661A (zh) * 2016-01-15 2021-12-31 华为技术有限公司 一种显示的方法及终端
CN107172407B (zh) 2016-03-08 2019-03-12 聚晶半导体股份有限公司 适于产生深度图的电子装置与方法
CN105866966A (zh) * 2016-06-14 2016-08-17 昆山罗伯斯特机器人科技有限公司 一种自动切换视角的全景三维立体眼镜
US20170372452A1 (en) * 2016-06-22 2017-12-28 Qualcomm Incorporated Image rotation method and apparatus
TWI592020B (zh) 2016-08-23 2017-07-11 國立臺灣科技大學 投影機的影像校正方法及影像校正系統
US20180108150A1 (en) * 2016-10-17 2018-04-19 Dsi Assignments, Llc Systems and methods for in-field stereocamera calibration
CN106921824A (zh) * 2017-05-03 2017-07-04 丁志宇 环绕式混合光场成像装置及方法
CN107105219A (zh) * 2017-05-26 2017-08-29 碰海科技（北京）有限公司 多深度摄像头紧凑型全景扫描设备
CN107465907B (zh) * 2017-08-16 2019-08-20 维沃移动通信有限公司 一种拍摄方法及移动终端
EP3531376B1 (en) 2018-02-21 2020-09-30 Ficosa Adas, S.L.U. Calibrating a camera of a vehicle
US20190387165A1 (en) * 2018-06-07 2019-12-19 Eys3D Microelectronics, Co. Image device for generating depth images and related electronic device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581136A (zh) * 2013-10-14 2015-04-29 钰创科技股份有限公司 图像校准系统和立体摄像机的校准方法
CN104811680A (zh) * 2014-01-28 2015-07-29 聚晶半导体股份有限公司 图像获取装置及其图像形变校正方法
CN104077585A (zh) * 2014-05-30 2014-10-01 小米科技有限责任公司 图像校正方法、装置及终端
CN105407342A (zh) * 2014-09-10 2016-03-16 钰创科技股份有限公司 图像校准系统和立体摄像机的校准方法
CN105744254A (zh) * 2014-12-30 2016-07-06 钰立微电子股份有限公司 校正导引系统和校正导引系统的操作方法
CN107167996A (zh) * 2017-06-05 2017-09-15 深圳奥比中光科技有限公司 自适应调整的激光投影模组及深度相机

Also Published As

Publication number Publication date
US20210160438A1 (en) 2021-05-27
US11438525B2 (en) 2022-09-06
TW202011731A (zh) 2020-03-16
US20190378301A1 (en) 2019-12-12
US10708520B2 (en) 2020-07-07
US20190387165A1 (en) 2019-12-19
US11582402B2 (en) 2023-02-14
TWI723419B (zh) 2021-04-01
US20230231965A1 (en) 2023-07-20
CN110581936A (zh) 2019-12-17
US20190379842A1 (en) 2019-12-12
TW202013956A (zh) 2020-04-01
CN110580718A (zh) 2019-12-17
TWI761684B (zh) 2022-04-21

Similar Documents

Publication Publication Date Title
CN110580718B (zh) 图像装置的校正方法及其相关图像装置和运算装置
JP6722323B2 (ja) 撮像装置のモデリングおよび校正のためのシステムおよびその方法
US9774837B2 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
US10306165B2 (en) Image generating method and dual-lens device
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
US9946955B2 (en) Image registration method
US8897502B2 (en) Calibration for stereoscopic capture system
WO2015081870A1 (zh) 一种图像处理方法、装置及终端
JP6677098B2 (ja) 全天球動画の撮影システム、及びプログラム
JP2017108387A (ja) パノラマ魚眼カメラの画像較正、スティッチ、および深さ再構成方法、ならびにそのシステム
JP5365387B2 (ja) 位置検出装置
US20130155183A1 (en) Multi image supply system and multi image input device thereof
TW201340035A (zh) 結合影像之方法
CN112470192A (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
WO2023236508A1 (zh) 一种基于亿像素阵列式相机的图像拼接方法及系统
WO2022100668A1 (zh) 温度测量方法、装置、系统、存储介质及程序产品
CN109785225B (zh) 一种用于图像矫正的方法和装置
KR100513789B1 (ko) 디지털 카메라의 렌즈 왜곡 보정과 정사영상 생성방법 및이를 이용한 디지털 카메라
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
CN111292380B (zh) 图像处理方法及装置
TW201537518A (zh) 影像校正方法及其影像擷取裝置
CN109682312B (zh) 一种基于摄像头测量长度的方法及装置
KR102031485B1 (ko) 360도 카메라와 평면 거울을 이용한 다시점 영상 획득 장치 및 방법
TW202038185A (zh) 影像的修正方法及其裝置
JP2010198554A (ja) 画像補正装置及び画像補正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant