CN108513058B - 可补偿图像变化的图像装置 - Google Patents

可补偿图像变化的图像装置 Download PDF

Info

Publication number
CN108513058B
CN108513058B CN201810154638.9A CN201810154638A CN108513058B CN 108513058 B CN108513058 B CN 108513058B CN 201810154638 A CN201810154638 A CN 201810154638A CN 108513058 B CN108513058 B CN 108513058B
Authority
CN
China
Prior art keywords
image
change
compensator
degree
planar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810154638.9A
Other languages
English (en)
Other versions
CN108513058A (zh
Inventor
李季峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eYs3D Microelectronics Co
Original Assignee
eYs3D Microelectronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eYs3D Microelectronics Co filed Critical eYs3D Microelectronics Co
Publication of CN108513058A publication Critical patent/CN108513058A/zh
Application granted granted Critical
Publication of CN108513058B publication Critical patent/CN108513058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/642—Optical derotators, i.e. systems for compensating for image rotation, e.g. using rotating prisms, mirrors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明公开了一种可补偿图像变化的图像装置包含至少一图像获取器和一补偿器。所述补偿器电连接所述至少一图像获取器，用于产生一360度图像，根据一视角投影所述360度图像以产生对应所述视角的一平面图像，检测对应所述平面图像内的至少一对象的图像位置变化，以及补偿所述平面图像内的至少一对象的图像位置变化，其中所述图像装置的位置变化使所述至少一对象的图像位置被改变。因此，相较于现有技术，所述图像装置可适用于360度全方位的数码防手震应用。

Description

可补偿图像变化的图像装置
技术领域
本发明涉及一种图像装置，尤其涉及一种可补偿图像变化的图像装置。
背景技术
当一用户利用一传统相机拍摄图像时，所述传统相机可获取一原始图像，并从所述原始图像的范围内决定一显示图像的尺寸，其中所述显示图像的尺寸小于所述原始图像的尺寸。因为所述显示图像的尺寸小于所述原始图像的尺寸，所以当所述显示图像因为所述用户移动或转动所述传统相机而抖动时，所述传统相机可利用现有技术所公开的数码补偿方式补偿所述传统相机的移动或转动，也就是说所述数码补偿方式可调整所述显示图像在所述原始图像的范围内的显示位置以补偿所述传统相机的移动或转动。然而因为所述数码补偿方式是调整所述显示图像在所述原始图像的范围内的显示位置以补偿所述传统相机的移动或转动，所以很明显地所述数码补偿方式将会受限于所述原始图像的范围。然而360度图像无此限制,因此，如何针对360度图像改进所述数码补偿方式将是一相机设计者的一项重要课题。
发明内容
本发明的一实施例公开一种可补偿图像变化的图像装置。所述图像装置包含至少一图像获取器和一补偿器。所述补偿器电连接所述至少一图像获取器，用于产生一360度图像，根据一视角投影所述360度图像以产生对应所述视角的一平面图像，检测所述平面图像内的至少一对象的图像位置变化，以及补偿所述平面图像内的至少一对象的图像位置变化，其中所述图像装置的位置变化使所述至少一对象的图像位置被改变。
本发明的另一实施例公开一种可补偿图像变化的图像装置。所述图像装置包含至少一图像获取器和一补偿器。所述补偿器电连接所述至少一图像获取器，用于产生一360度图像，根据多个视角投影所述360度图像以产生对应所述多个视角的多个平面图像，检测所述多个平面图像内的至少一对象的图像位置变化，以及补偿所述多个平面图像内的至少一对象的图像位置变化，其中所述图像装置的位置变化使所述至少一对象的图像位置被改变。
本发明的另一实施例公开一种可补偿图像变化的图像装置。所述图像装置包含至少一图像获取器和一补偿器。所述补偿器电连接所述至少一图像获取器，用于产生一非平面投影图像，根据一视角投影所述非平面投影图像以产生对应所述视角的一平面图像，检测所述平面图像内的至少一对象的图像位置变化，以及补偿所述平面图像内的至少一对象的图像位置变化，其中所述图像装置的位置变化使所述至少一对象的图像位置被改变。
本发明公开一种可补偿图像变化的图像装置。因为所述图像装置所产生的一360度图像(一环景图像或一球体图像)包含围绕所述360度图像的光学中心的360度空间的所有图像信息，所以本发明所公开的图像装置是利用上述所述360度图像的特性可克服现有技术所公开的数码补偿方式受限于一原始图像的范围的缺点。因此，相较于现有技术，所述图像装置可适用于360度全方位的数码防手震应用。
附图说明
图1A是本发明的一实施例所公开的一种可补偿图像变化的图像装置的示意图。
图1B是说明图像获取组包含三个图像获取器的示意图。
图2是说明360度图像的视野的示意图。
图3是说明对应平面图像的至少一对象的转动的图像的示意图。
图4是说明对应平面图像的至少一对象的移动的图像的示意图。
图5是说明将对应所述直角坐标系的三轴中的X轴的移动转换为对应所述旋转补偿矩阵内对应X轴的旋转角度的元素的示意图。
图6是说明图像装置在X-Z轴方向出现旋转使得360度图像的参考点偏移的示意图。
图7是说明补偿器可根据所述旋转补偿矩阵产生新360度图像以补偿对应所述平面图像的变化的示意图。
图8是说明图像装置在X-Z轴方向出现旋转的示意图。
图9是说明所述查看器可根据所述旋转补偿矩阵决定新视角，且根据所述新视角投影360度图像以产生新平面图像以补偿对应所述平面图像的变化的示意图。
图10A是说明所述平面图像和所述前平面图像之间的移动的图像已经严重失真的示意图。
图10B是说明所述平面图像和所述前平面图像之间的转动的图像并不会失真的示意图。
图11是说明补偿器可根据2个视角投影360度图像以产生对应所述2个视角的2个平面图像的示意图。
其中，附图标记说明如下：
100 图像装置
202 图像获取组
104 补偿器
1022、1024、2022、2024、2026 图像获取器
602 被摄对象
C 光学中心
f 虚拟焦距
FOV、FOV1、FOV2 视角
FOV3 新视角
FFOV 第一视角
NPIM 新360度图像
PIM 360度图像
PM、PM1 平面图像
PM2 新平面图像
PP 投影平面
RPM、MPM 图像
RP、NRP 参考点
SFOV 第二视角
TFOV 第三视角
T1、T2 时间点
Xs 移动
θx 元素
具体实施方式
请参照图1A，图1A是本发明的一实施例所公开的一种可补偿图像变化的图像装置100的示意图。如图1A所示，图像装置100包含图像获取器1022、1024和一补偿器104，其中图像获取器1022、1024为鱼眼图像获取器。但本发明并不受限于图像装置100包含图像获取器1022、1024，也就是说图像装置100可包含至少一图像获取器。另外，本发明也不受限于图像获取器1022、1024为鱼眼图像获取器。例如，如图1B所示，图像装置100可包含图像获取器2022、2024、2026，且图像获取器2022、2024、2026为非鱼眼图像获取器，其中图像获取器2022具有一第一视角FFOV，图像获取器2024具有一第二视角SFOV，图像获取器2026具有一第三视角TFOV，以及图1B未绘示补偿器104。另外，本发明领域的技术人员应当熟知图像获取器1022、1024、2022、2024、2026的每一图像获取器至少包含镜头和图像传感器(例如电荷耦合组件(Charge-coupled Device,CCD)图像传感器或互补式金属氧化物半导体图像传感器(Complementary Metal-Oxide-Semiconductor Image Sensor))。
如图1A所示，补偿器104电连接图像获取器1022、1024，用于根据图像获取器1022、1024所获取的图像产生一360度图像PIM(如图2所示)，其中图2是说明360度图像PIM的视野的示意图，360度图像PIM是一环景或球体图像。如图2所示，补偿器104可根据一视角FOV投影360度图像PIM以产生对应所述视角FOV的一平面图像PM，其中平面图像PM是位于对应所述视角FOV的一投影平面上。同理，补偿器104可另根据图像获取器1022、1024所获取的图像产生一前(previous)360度图像，以及根据视角FOV投影所述前360度图像以产生对应所述视角FOV的一前平面图像，其中360度图像PIM和所述前360度图像分别对应两时间点。在补偿器104产生平面图像PM和所述前平面图像之后，补偿器104可利用一特征点匹配的方式来检测平面图像PM内的至少一对象的图像位置变化，其中图像装置100的位置变化使平面图像PM内的至少一对象的图像位置被改变，且所述特征点匹配的方式为本发明领域的技术人员所熟知，在此不再赘述。另外，在本发明的另一实施例中，补偿器104可利用对应平面图像PM内的至少一对象的光流(optical flow)来检测平面图像PM内的至少一对象的图像位置变化，其中对应平面图像PM内的至少一对象的光流可由对应平面图像PM内的至少一对象的特征点所产生，且对应平面图像PM内的至少一对象的光流也为本发明领域的技术人员所熟知，在此不再赘述。平面图像PM内的至少一对象的图像位置变化包含平面图像PM的至少一对象的移动与转动的至少一种，其中图3是说明对应平面图像PM的至少一对象的转动的图像RPM，以及图4是说明对应平面图像PM内的至少一对象的移动的图像MPM。另外，在本发明的另一实施例中，本发明可在图像装置100所处环境中安置一预定纹理(例如快速响应矩阵图码(Quick Response Code(QR code))，然后补偿器104即可根据平面图像PM中的所述预定纹理决定平面图像PM内的至少一对象的图像位置变化。另外，在本发明的另一实施例中，图像装置100另包含一微机电装置(例如一陀螺仪或一加速度计)，然后补偿器104即可利用所述微机电装置所输出的信号变化检测图像装置100的位置变化并结合图像装置100的位置变化和平面图像PM内的至少一对象的图像位置变化，最后补偿器104再根据一结合结果补偿平面图像PM内的至少一对象的图像位置变化。另外，在本发明的另一实施例中，补偿器104是直接利用360度图像PIM和所述前360度图像中赤道附近的图像检测360度图像PIM内的至少一对象的图像位置变化。
在补偿器104利用所述特征点匹配的方式决定平面图像PM内的至少一对象的图像位置变化后，补偿器104可利用一现有技术所公开的算法根据平面图像PM内的至少一对象的图像位置变化，决定一补偿矩阵T内的元素，其中补偿矩阵T如式(1)所示：
Figure GDA0002589685330000061
其中如式(1)所示，系数a00～a11为对应所述投影平面的旋转矩阵，用于补偿对应所述平面图像PM内的至少一对象的转动；系数b00～b10为对应所述投影平面的位移，用于补偿对应所述平面图像PM内的至少一对象的移动。因此，在本发明的一实施例中，补偿器104可根据补偿矩阵T补偿对应所述平面图像PM内的至少一对象的移动和转动。
另外，在本发明的一实施例中，补偿器104可转换补偿矩阵T为一旋转补偿矩阵，且所述旋转补偿矩阵内的元素是对应一直角坐标系的三轴的旋转角度，其中所述旋转补偿矩阵为一3x3的矩阵。请参照图5，图5是说明将对应所述直角坐标系的三轴中的X轴的移动Xs转换为对应所述旋转补偿矩阵内对应X轴的旋转角度的元素θx的示意图。如图5所示，因为360度图像PIM的光学中心C和对应一视角FOV1的投影平面PP之间的距离为平面图像的虚拟焦距f，所以元素θx可由式(2)决定：
θx＝arctan(Xs/f) (2)
同理，对应所述旋转补偿矩阵内对应Y轴的旋转角度的元素θy可由式(3)决定：
θy＝arctan(Ys/f) (3)
其中如式(3)所示，Ys为对应所述直角坐标系的三轴中的Y轴的移动。另外，对应所述旋转补偿矩阵内对应Z轴的旋转角度的元素θz可由补偿矩阵T内的系数a00～a11决定。
请参照图6，图6是说明图像装置100在X-Z轴方向出现旋转使得360度图像PIM的参考点RP偏移的示意图，且参考点RP可为360度图像PIM的原点位置(以经度为0度来表示)。其中图6是利用X-Z轴方向(忽略Y轴方向)的旋转以简化说明。如图6所示，在一时间点T1时，图像装置100所产生的360度图像PIM的参考点RP是朝向一被摄对象602，其中在时间点T1，被摄对象602在图像装置100所产生的360度图像PIM的参考点RP方向。在一时间点T2时，图像装置100在X-Z轴方向出现旋转使得360度图像PIM的参考点RP向左偏移，导致平面图像PM内的被摄对象602出现图像位置变化(其中平面图像PM的被摄对象602的图像位置变化可参照图3和图4)。此时，补偿器104可根据所述旋转补偿矩阵产生一新360度图像NPIM以补偿平面图像PM的被摄对象602的图像位置变化(如图7所示)，其中新360度图像NPIM的参考点NRP是朝向被摄对象602，且新360度图像NPIM的原点位置(经度为0度)是设置在参考点NRP上。
另外，请参照图8，图8是说明图像装置100在X-Z轴方向出现旋转的示意图，其中图8是利用X-Z轴方向(忽略Y轴方向)的旋转以简化说明。如图8所示，在一时间点T1时，图像装置100另包含的一查看器(未绘示于图8)可根据所述视角FOV，投影360度图像PIM以产生平面图像PM，且平面图像PM的中心位置朝向被摄对象602。在一时间点T2时，图像装置100在X-Z轴方向出现旋转，其中被摄对象602会离开视角FOV的平面图像PM1。此时如图9所示，所述查看器可根据平面图像PM1与平面图像PM的关系求出所述旋转补偿矩阵决定一新视角FOV3，且根据新视角FOV3投影360度图像PIM以产生一新平面图像PM2以补偿对应所述平面图像PM1的被摄对象602的图像位置变化。另外，和所述查看器有关的平面图像可以直接作为一用户用于观看360度图像PIM的显示平面图像(例如平面图像PM和新平面图像PM2可以直接作为所述用户用于观看360度图像PIM的显示平面图像)，但平面图像PM1并不会作为所述用户用于观看360度图像PIM的显示平面图像。然而在本发明的另一实施例中，所述显示平面图像和所述查看器有关的平面图像不相同，其中当所述显示平面图像和所述查看器有关的平面图像不相同时，本发明可只补偿所述显示平面图像而不补偿和所述查看器有关的平面图像，或同时补偿所述显示平面图像和所述查看器有关的平面图像。
一般说来，传统数码补偿方式是利用一移动补偿(也就是利用补偿矩阵T)去补偿图像装置100的移动和转动(因为所述移动补偿具有较低成本)。然而当图像装置100被旋转将近90度时，对应所述平面图像PM的至少一对象的移动的图像MPM已经严重失真(如图10A所示)。因此，当图像装置100被旋转将近90度时，所述传统数码补偿方式几乎无法利用所述移动补偿去补偿图像装置100的移动和转动。但如图10B所示，当图像装置100被旋转将近90度时，对应所述平面图像PM的至少一对象的转动的图像RPM并不会失真，也就是说当图像装置100被旋转将近90度时，补偿器104仍可根据所述旋转补偿矩阵有效地补偿对应所述平面图像PM的至少一对象的移动和转动。
另外，在本发明的另一实施例中，补偿器104可根据图像获取器1022、1024所获取的图像产生一非平面投影图像，其中所述非平面投影图像是一非针孔投影的投影图像，例如所述非平面投影图像可以是小于360度的曲面图像(90度的曲面图像、120度的曲面图像、180度的曲面图像或270度的曲面图像)。因为所述非平面投影图像也具有上述所述360度图像的特性，所以补偿器104也可利用所述非平面投影图像补偿对应所述非平面投影图像的一平面图像内的至少一对象的移动和转动。
另外，补偿器104可以是一具有上述补偿器104的功能的现场可编程门阵列(FieldProgrammable Gate Array,FPGA)，或是一具有上述补偿器104的功能的专用集成电路(Application-specific integrated circuit,ASIC)或是一具有上述补偿器104的功能的软件模块。另外，所述查看器可以是一具有上述所述查看器的功能的现场可编程门阵列，或是一具有上述所述查看器的功能的专用集成电路或是一具有上述所述查看器的功能的软件模块。
另外，因为平面图像PM可能为一无纹理图像或是一不稳定的图像，所以在本发明的另一实施例中，补偿器104可根据多个视角投影360度图像PIM以产生对应所述多个视角的多个平面图像。例如，如图11所示，补偿器104可根据2个视角FOV1、FOV2，投影360度图像PIM以产生对应所述视角FOV1、FOV2的2个平面图像PM1、PM2。虽然补偿器104可分别根据所述平面图像PM1、PM2内的至少一对象的图像位置变化求出对应所述视角FOV1、FOV2的2个旋转补偿矩阵，其中所述2个旋转补偿矩阵中的每一旋转补偿矩阵都具有对应X轴的旋转角度的元素θx，对应Y轴的旋转角度的元素θy，以及对应Z轴的旋转角度的元素θz，但补偿器104可根据视角FOV1(或视角FOV2)整合所述2个旋转补偿矩阵为一最终旋转补偿矩阵。以视角FOV1为例，当图像装置100在X-Y轴方向出现旋转使得视角FOV1向下旋转时，视角FOV2相对于视角FOV1是向上旋转。因此，补偿器104可根据视角FOV1(或视角FOV2)和上述视角FOV2和视角FOV1之间的相对关系，计算出视角FOV2和视角FOV1的角度变化总和。然后在本发明的一实施例中，补偿器104可平均所述角度变化总和以得出所述最终旋转补偿矩阵的元素θz。另外，所述最终旋转补偿矩阵的元素θx、θy也可通过上述原理求得，在此不再赘述。另外，在补偿器104得出所述最终旋转补偿矩阵后，补偿器104可根据所述最终旋转补偿矩阵产生一新360度图像以补偿对应所述平面图像PM1、PM2的至少一对象的图像位置变化(可参照图7)。
综上所述，因为所述360度图像(所述环景图像或所述球体图像)包含围绕所述360度图像的光学中心的360度空间的所有图像信息，所以本发明所公开的可补偿图像变化的图像装置是利用上述所述360度图像的特性可克服现有技术所公开的数码补偿方式受限于一原始图像的范围的缺点。因此，相较于现有技术，所述图像装置可适用于360度全方位的防手震应用。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种可补偿图像变化的图像装置，包含：
至少一图像获取器；及
其特征在于还包含：
一补偿器，电连接所述至少一图像获取器，其中所述补偿器用于产生一360度图像，根据一视角投影所述至少一图像获取器在二个不同时间点所产生的二个360度图像以产生对应所述视角的二个平面图像，检测所述二个平面图像内的至少一对象的图像位置变化，以及补偿所述至少一对象的图像位置变化，其中所述图像装置的位置变化使所述至少一对象的图像位置被改变。
2.如权利要求1所述的图像装置，其特征在于：所述360度图像是一球体图像。
3.如权利要求1所述的图像装置，其特征在于：所述至少一对象的图像位置变化包含所述至少一对象的移动与转动的至少一种。
4.如权利要求1所述的图像装置，其特征在于：所述补偿器利用一特征点匹配的方式检测所述至少一对象的图像位置变化。
5.如权利要求1所述的图像装置，其特征在于：所述补偿器根据所述至少一对象的图像位置变化，决定一补偿矩阵内的元素。
6.如权利要求5所述的图像装置，其特征在于：所述补偿器另用于转换所述补偿矩阵为一旋转补偿矩阵，且所述旋转补偿矩阵内的元素是对应一直角坐标系的三轴的旋转角度。
7.如权利要求6所述的图像装置，其特征在于另包含：
一查看器，用于根据所述旋转补偿矩阵决定一新视角以补偿所述至少一对象的图像位置变化。
8.如权利要求7所述的图像装置，其特征在于：所述查看器是根据所述新视角投影所述360度图像以产生一新平面图像以补偿所述至少一对象的图像位置变化，且所述新平面图像和提供给一用户观看的显示平面图像相同。
9.如权利要求7所述的图像装置，其特征在于：所述查看器是根据所述新视角投影所述360度图像以产生一新平面图像以补偿所述至少一对象的图像位置变化，且所述新平面图像和提供给一用户观看的显示平面图像不相同。
10.如权利要求7所述的图像装置，其特征在于：所述查看器是根据所述新视角补偿给一用户观看的显示平面图像。
11.如权利要求7所述的图像装置，其特征在于：所述补偿器根据所述旋转补偿矩阵，产生一新360度图像以补偿所述至少一对象的图像位置变化。
12.如权利要求1所述的图像装置，其特征在于：所述补偿器利用一预定图像识别检测的方式检测所述至少一对象的图像位置变化。
13.如权利要求1所述的图像装置，其特征在于另包含：
一微机电装置，其中所述补偿器是利用所述微机电装置检测所述图像装置的位置变化，并结合所述图像装置的位置变化和所述至少一对象的图像位置变化。
14.如权利要求1所述的图像装置，其特征在于：所述补偿器利用一光流方式检测所述至少一对象的图像位置变化。
15.一种可补偿图像变化的图像装置，包含：
至少一图像获取器；及
其特征在于还包含：
一补偿器，电连接所述至少一图像获取器，其中所述补偿器用于产生一360度图像，根据多个视角投影所述至少一图像获取器在二个不同时间点所产生的二个360度图像以产生对应所述多个视角的多个平面图像，检测所述多个平面图像内的至少一对象的图像位置变化，以及补偿所述至少一对象的图像位置变化，其中所述图像装置的位置变化使所述至少一对象的图像位置被改变。
16.如权利要求15所述的图像装置，其特征在于：所述补偿器根据所述至少一对象的图像位置变化决定一旋转补偿矩阵，所述旋转补偿矩阵内的元素是对应一直角坐标系的三轴的旋转角度，且所述旋转补偿矩阵对应所述多个视角中的一视角。
17.如权利要求16所述的图像装置，其特征在于：所述补偿器根据所述旋转补偿矩阵，产生一新360度图像以补偿对应所述至少一对象的图像位置变化。
18.一种可补偿图像变化的图像装置，包含：
至少一图像获取器；及
其特征在于还包含：
一补偿器，电连接所述至少一图像获取器，其中所述补偿器用于产生一非平面投影图像，根据一视角投影所述至少一图像获取器在二个不同时间点所产生的二个非平面投影图像以产生对应所述视角的二个平面图像，检测所述二个平面图像内的至少一对象的图像位置变化，以及补偿所述至少一对象的图像位置变化，其中所述图像装置的位置变化使所述至少一对象的图像位置被改变。
CN201810154638.9A 2017-02-23 2018-02-23 可补偿图像变化的图像装置 Active CN108513058B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762462363P 2017-02-23 2017-02-23
US62/462,363 2017-02-23

Publications (2)

Publication Number Publication Date
CN108513058A CN108513058A (zh) 2018-09-07
CN108513058B true CN108513058B (zh) 2021-03-23

Family

ID=63167131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810154638.9A Active CN108513058B (zh) 2017-02-23 2018-02-23 可补偿图像变化的图像装置

Country Status (3)

Country Link
US (1) US10324363B2 (zh)
CN (1) CN108513058B (zh)
TW (1) TWI672950B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108761992A (zh) * 2018-08-10 2018-11-06 杭州在现科技有限公司 一种内置稳定器的3d全景相机

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7834907B2 (en) * 2004-03-03 2010-11-16 Canon Kabushiki Kaisha Image-taking apparatus and image processing method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031938A (zh) * 2004-09-28 2007-09-05 皇家飞利浦电子股份有限公司 图像处理设备和方法
JP5471224B2 (ja) * 2009-09-15 2014-04-16 ソニー株式会社 撮像システム、撮像装置、情報処理装置及び撮像方法
EP2502115A4 (en) * 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
TWI492096B (zh) * 2010-10-29 2015-07-11 Au Optronics Corp 立體影像互動系統及其位置偏移補償方法
US9036001B2 (en) * 2010-12-16 2015-05-19 Massachusetts Institute Of Technology Imaging system for immersive surveillance
US9313495B2 (en) * 2012-05-14 2016-04-12 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
KR101586249B1 (ko) * 2013-12-24 2016-01-18 (주)에프엑스기어 광 시야각 영상 처리 장치 및 방법
CN104866381B (zh) * 2014-02-20 2018-10-12 联想(北京)有限公司 一种信息处理方法及第一电子设备
US10931933B2 (en) * 2014-12-30 2021-02-23 Eys3D Microelectronics, Co. Calibration guidance system and operation method of a calibration guidance system
CN105208247A (zh) * 2015-09-02 2015-12-30 长春理工大学 一种基于四元数的全景稳像方法
CN106210726A (zh) * 2016-08-08 2016-12-07 成都佳发安泰科技股份有限公司 根据cpu与gpu的使用率对视频数据进行自适应解码的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7834907B2 (en) * 2004-03-03 2010-11-16 Canon Kabushiki Kaisha Image-taking apparatus and image processing method

Also Published As

Publication number Publication date
CN108513058A (zh) 2018-09-07
TWI672950B (zh) 2019-09-21
TW201832545A (zh) 2018-09-01
US20180239226A1 (en) 2018-08-23
US10324363B2 (en) 2019-06-18

Similar Documents

Publication Publication Date Title
CN109194876B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN111510590B (zh) 图像处理系统、图像处理方法
US9686479B2 (en) Method for combining multiple image fields
CN103685917A (zh) 图像处理器、图像处理方法和成像系统
US8134608B2 (en) Imaging apparatus
TW201911862A (zh) 用於產生360度深度圖的影像裝置
US10048577B2 (en) Imaging apparatus having two imaging units for displaying synthesized image data
JP2017208619A (ja) 画像処理装置、画像処理方法、プログラム及び撮像システム
KR102382871B1 (ko) 렌즈의 포커스를 제어하기 위한 전자 장치 및 전자 장치 제어 방법
US8749652B2 (en) Imaging module having plural optical units in which each of at least two optical units include a polarization filter and at least one optical unit includes no polarization filter and image processing method and apparatus thereof
US10897573B2 (en) Image capturing system, terminal and computer readable medium which correct images
KR100513789B1 (ko) 디지털 카메라의 렌즈 왜곡 보정과 정사영상 생성방법 및이를 이용한 디지털 카메라
US11196929B2 (en) Signal processing device, imaging device, and signal processing method
JP2004135209A (ja) 広視野高解像度映像の生成装置及び方法
CN113711124A (zh) 折叠式相机和包括该折叠式相机的电子设备
CN108513058B (zh) 可补偿图像变化的图像装置
US8817127B2 (en) Image correction device for image capture device and integrated circuit for image correction device
Ueno et al. Compound-Eye Camera Module as Small as 8.5$\times $8.5$\times $6.0 mm for 26 k-Resolution Depth Map and 2-Mpix 2D Imaging
JP2009123131A (ja) 撮像装置
JP2001005956A (ja) 広視野カメラ装置
JPH1118007A (ja) 全方向性画像表示システム
KR100736565B1 (ko) 파노라마 영상 촬영 방법 및 이를 수행하기 위한이동통신단말기
CN114979462A (zh) 图像信号处理器、图像处理方法和图像处理系统
JP2017225039A (ja) 撮像装置及び画像処理方法
KR101882977B1 (ko) 360도 이미지를 형성할 수 있는 렌즈 모듈 및 360도 이미지 형성 어플리케이션

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant