CN112492195A - 光学传感装置及方法 - Google Patents

光学传感装置及方法 Download PDF

Info

Publication number
CN112492195A
CN112492195A CN202011167857.4A CN202011167857A CN112492195A CN 112492195 A CN112492195 A CN 112492195A CN 202011167857 A CN202011167857 A CN 202011167857A CN 112492195 A CN112492195 A CN 112492195A
Authority
CN
China
Prior art keywords
motion
image
sensing device
optical sensing
freedom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011167857.4A
Other languages
English (en)
Inventor
李世民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixart Imaging Inc
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Publication of CN112492195A publication Critical patent/CN112492195A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G01P13/02—Indicating direction only, e.g. by weather vane
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种能够估计光学传感装置的多重自由度的运动的方法，包含：提供图像传感器，所述图像传感器具有包括多个图像区域的像素数组以感测并获取图帧；提供并使用镜头来改变所述图帧的多个部份图像的多个光学放大率，产生具有多个不同视场角的多个重构后图像，所述图帧的所述多个部份图像分别对应于所述多个图像区域；以及估计并得到所述多个重构后图像的运动结果，以估计所述光学传感装置的所述多重自由度的运动。本申请较有潜力及可能性可以同时实现在空间上更紧密及所需较少计算量。

Description

光学传感装置及方法
分案信息
本申请是基于“2018年03月21日申请的、申请号为201810234354.0、名称为光学传感装置、方法及光学侦测模块”的中国专利申请所进行的分案，并将其全部内容通过引用结合在本申请中。
技术领域
本申请涉及一种多重自由度的运动的机制，特别涉及一种能够估计多重自由度的运动的光学传感装置及方法。
背景技术
一般来说，现有的追踪解决方案，例如是光学鼠标，典型上只追踪二维自由度的运动(沿着X轴与Y轴变化的平移移动)，而这样的追踪解决方案对于使用在三自由度的运动估计系统中，可以被扩展成追踪X-Y平面沿着Z轴的旋转运动；再者，其他的现有追踪解决方案可能额外采用了包含经由飞行时间测距或结构光操作/系统的一深度传感技术，通过这个额外采用的深度传感技术，可以达到追踪在Z轴上的变化的平移移动数值、沿着X轴的旋转运动以及沿着Y轴的旋转运动，然而，以上的技术是采用不同且非常复杂的处理方法或算法来追踪估计以得到上述的移动、旋转及深度传感的数值，所以实作上的系统均是非常复杂的。
此外，另外的现有追踪解决方案也可能采用了立体摄像(stereoscopic imaging)的技术来侦测六自由度的运动，然而，这样的现有追踪解决方案除了需要采用复杂的摄像处理与比对操作外，也无可避免地需要采用两个图像传感器并将其间隔一定以上的位置距离才可运作。再者，其他现有的追踪解决方案采用了对象侦测及追踪的技术来侦测六自由度的运动，其原理是通过识别一个对象及追踪对象的运动，而这样的技术除了会增加计算复杂度之外，其缺点是容易发生当该对象移动至传感器的视场角外时会有追踪不到的状况。
发明内容
因此，本申请的目的之一在于公开一种新的光学传感装置及方法，以解决上述的问题。
根据本申请的实施例，系公开了一种能够估计多重自由度的运动的光学传感装置。光学传感装置包含一图像传感器、一镜头及一处理器，图像传感器具有包括多个图像区域的像素数组并用来感测及获取图帧，镜头用来改变所述图帧的多个部份图像的多个光学放大率，产生有多个不同视场角的多个重构后图像，所述图帧的所述多个部份图像分别对应于所述多个图像区域，以及处理器是耦接于所述镜头，并用来估计及得到所述多个重构后图像的运动结果，以估计所述光学传感装置的所述运动。
根据本申请的实施例，另外公开了一种能够估计光学传感装置的多重自由度的运动的方法。该方法包含：提供图像传感器，所述图像传感器具有包括多个图像区域的像素数组以感测并获取图帧；提供并使用镜头来改变所述图帧的多个部份图像的多个光学放大率，产生具有多个不同视场角的多个重构后图像，所述图帧的所述多个部份图像分别对应于所述多个图像区域；以及估计并得到所述多个重构后图像的运动结果，以估计所述光学传感装置的所述多重自由度的运动。
根据本申请的实施例，另外公开了一种能够估计多重自由度的运动的光学传感装置。光学传感装置包含一光学侦测模块及一处理器，光学侦测模块用来获取多个图帧，每一图帧包括多个子图像，所述每一图帧中至少有两个子图像的主要坐标轴具有不同方向，处理器耦接于所述光学侦测模块，并用来基于两个图帧中分别的至少两个子图像的变化，得到所述光学侦测模块的运动。
根据本申请的实施例，另外公开了一种用来在多重自由度的运动装置中获取多个图帧的光学侦测模块，所述多重自由度的运动装置用来基于所述获取的多个图帧来估计出运动，所述光学侦测模块包含一图像数组，该图像数组至少被分割为两个区块以得到一个所获取的图帧中的两个子图像，其中所述两个区块的主要坐标轴具有不同方向。
根据本申请的实施例的内容，相比于前述现有的追踪解决方案，本申请较有潜力及可能性可以同时实现在空间上更紧密及所需较少计算量的技术方案。在实施例中，采用了一个多区域景像处理技术并搭配单一类型的处理引擎来计算六自由度运动的运动数值，其区别性的特征优点在于因为是采用互相关计算来侦测六自由度的所有运动，所以可以达到较不复杂的实现或较少计算量，并且由于本申请的技术是追踪整个景像并非只是追踪特定的对象，所以不会有容易发生当对象移动至传感器的视场角外时追踪不到的状况，再者，因为不需要如现有技术一样将多个图像传感器间隔一定以上的位置距离才可运作，所以在实现装置时装置的空间设计可更为紧密，此外，因为只需要一套简单的硬件/光机设置就可以实现，所以也有较有成本经济的效益。
附图说明
图1是本申请实施例能够估计光学传感装置的多重自由度运动的方法流程图；
图2是光学传感装置的实施例的方块图；
图3是搭配有五个图像区域Z1-Z5的像素数组的实施例示意图；
图4是搭配有五个图像区域Z1-Z5的像素数组的另一实施例示意图；
图5是搭配有两个图像区域Z1-Z2的像素数组的实施例示意图；
图6是搭配有三个图像区域Z1-Z3的像素数组的实施例示意图；
图7是搭配有9个图像区域Z1-Z9的像素数组的实施例示意图；
图8是采用该鱼眼类型镜头来改变分别对应于图3的图像区域Z1-Z5的五个部份图像的光学放大率的实施例示意图；
图9是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的一范例示意图；
图10是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图；
图11是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图；
图12是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图；
图13是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图；
图14是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图；
图15是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图；
图16是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图；
图17是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图；
图18是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图；
图19是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图；
图20是显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图；
图21是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图；
图22是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图；
图23是本申请实施例另一光学传感装置的方块示意图；
图24是本申请实施例光学侦测模块/电路的方块示意图。
其中，附图标记说明如下：
200、2300 光学传感装置
205 图像传感器
205A 像素数组
210 镜头
215、2310 处理器
2305、2400 光学侦测模块
2405 图像数组
具体实施方式
本申请旨在于公开一种追踪一个对象的多重自由度的运动的方法，例如，本申请是追踪对象的六自由度运动，也就是，沿着X轴、Y轴、Z轴的三个平移运动以及沿着X轴、Y轴、Z轴的三个旋转运动。
请搭配参照图1与图2，图1是本申请实施例能够估计光学传感装置的多重自由度运动的方法流程图，所述的方法是应用在光学传感器的装置，例如是穿戴式电子装置、头盔装置、虚拟现实头盔显示设备等等(但不限定)，在其他实施例，所述光学传感装置也可以是一个无人驾驶航空器装置(Unmanned Aerial Vehicle(UAV)device)或无人飞机系统装置(Unmanned Aircraft System(UAS)device)，图2是光学传感装置200的实施例的方块图，倘若可达到相同的结果，并不需要一定照图1所示之流程中的步骤顺序来进行，且图1所示之步骤不一定要连续进行，亦即其他步骤亦可插入其中；本发明的方法的流程步骤详述如下：
步骤105：开始；
步骤110：使用光学传感装置200，感测并获取具有多个部份图像的一或多个图帧；
步骤115：改变一或多个图帧的多个部份图像的多个光学放大率(opticalmagnification)，产生具有多个不同视场角(field of view,FOV)的多个重构后图像；
步骤120：估计多个重构后图像的多个运动结果，以估计光学传感装置200的多重自由度的运动；以及
步骤125：结束。
上述多重自由度的运动例如是六自由度运动(six-degrees-of-freedom(6-DOF)motion)或三自由度的运动(three-degrees-of-freedom(3-DOF)motion)，这并非本申请的限制，例如，光学传感装置200可用来侦测或感测光学传感装置200本身分别沿着多个主要坐标轴的移动、旋转及其他类型的运动等，实作上，光学传感装置200本身实现具有上述的方法并能够估计本身的六自由度的运动，光学传感装置包含有具有一像素数组(pixelarray)205A的一图像传感器205、一镜头210以及一处理器215。
像素数组205A具有多个图像区域，每一个图像区域具有多个传感像素单元并用来感测及获取一或多个图帧，例如，在优选实施例，像素数组205A的多个传感像素单元分别被分类或分组为如图3所示的五个图像区域Z1-Z5，图3是搭配有五个图像区域Z1-Z5的像素数组205A的实施例示意图，在像素数组的基底的像素区300内，图像区域Z5代表一个中央正方形区域，而图像区域Z1-Z4分别代表不同的长方形区域，例如左上方图像区域Z1、右上方图像区域Z2、左下方图像区域Z4以及右下方图像区域Z3。
另外，在其他实施例，像素数组205A也可以被设计为具有如图4所示的五个图像区域，图4是搭配有五个图像区域Z1-Z5的像素数组205A的另一实施例示意图，在像素数组的基底的像素区400内，每一个图像区域Z1-Z5是分别位于不同位置的正方形区域，也就是，五个图像区域Z1-Z5具有一个中央图像区域以及多个周边的图像区域，例如四个周边的图像区域(但非本申请的限制)。
另外，在其他实施例，像素数组205A也可以被设计为具有如图5所示的多个图像区域，图5是搭配有两个图像区域Z1-Z2的像素数组205A的实施例示意图，在像素数组的基底的像素区500内，两个图像区域Z1、Z2均是正方形区域，例如是左上方图像区域Z1与右下方图像区域Z2；而这并非本申请的限制，上述多个图像区域也可以意指为包括从图帧内的一左上方图像区域、一右上方图像区域、一左下方图像区域以及一右下方图像区域中所选出的至少两个图像区域。
另外，在其他实施例，像素数组205A也可以设计为具有如图6所示的三个图像区域，图6是搭配有三个图像区域Z1-Z3的像素数组205A的实施例示意图，在像素数组的基底的像素区600内，三个图像区域Z1-Z3分别为正方形的图像区域，例如是左上方图像区域Z1、右上方图像区域Z2以及左下方图像区域Z3。
另外，在其他实施例，像素数组205A的多个传感像素分别被分类或分组为如图7所示的9个图像区域，图7是搭配有9个图像区域Z1-Z9的像素数组205A的实施例示意图，在像素数组的基底的像素区700内，如图7所示，9个图像区域Z1-Z9均分别是正方形图像区域并形成一个九宫格，如前所述，像素数组205A可以设置为具有至少两个图像区域，而该至少两个图像区域可以具有不同大小及/或不同形状的图像区域。
上述多个图像区域，例如图3所示的区域Z1-Z5分别对应于一个图帧区域的五个部份图像，在步骤115，对于产生所获取的每一个图帧来说，镜头210被设置用来改变该图帧的多个部份图像的多个光学放大率以产生具有多个不同视场角的多个重构后图像，而该图帧的多个部份图像则分别有关于上述的多个图像区域，实作上，镜头210可以与搭配有桶形失真(barrel distortion)功能的一鱼眼类型(fish eye)镜头使用以改变图帧的多个部份图像的多个光学放大率。
图8是采用该鱼眼类型镜头来改变分别对应于图3的图像区域Z1-Z5的五个部份图像的光学放大率的实施例示意图，如图8所示，在图像区域Z1-Z5的多个图像分别被搭配有不同的光学放大率的鱼眼类型镜头所处理，以产生对应的具有多个不同视场角的多个重构后图像，仿真在光学传感装置200的视角所看到的多个三维空间图像，应注意，镜头210也可以和其他不同类型的镜头来搭配使用及/或镜头210本身也是可选的(optional)，此外，其他实施例中，镜头210也可以采用多个子镜头单元来实现。
在步骤120，耦接至镜头210的处理器215被设置用来估计并得到上述多个重构后图像中每一重构后图像的运动结果，以估计光学传感装置200的六自由度运动，多个重构后图像分别对应于多个不同的运动方向，处理器215可以根据与至少一个重构后图像有关的至少一个运动方向，来产生光学传感装置200的运动结果，具体来说，以六自由度运动的例子来看，处理器215用来通过参考如图8所示的所有多个重构后图像的多个运动结果(多个运动方向及/或多个运动矢量的大小)，先将光学传感装置200的六自由度运动初步分类为一种特别运动类型(或移动型样)，接着基于所述多个运动结果并通过参考该特别运动类型，估计出光学传感装置200的六自由度运动；处理器215被安排用来通过参考与所有多个重构后图像的多个运动结果有关的一或多个运动方向及/或运动大小，判断出该特别运动类型，此外，每一个重构后图像的对应的运动方向和运动矢量均可以通过采用光流侦测机制来算出或估计出。
例如，当用户头部穿戴上光学传感装置200时，光学传感装置200能够通过感测产生多个重构后图像并侦测多个重构后图像的运动来侦测出光学传感装置200的移动或运动(例如六自由度运动)，以监控或侦测/感测用户头部的移动或运动，具体来说，对于图3的五个图像区域Z1-Z5的例子来看，镜头210用来产生分别对应于图像区域Z1-Z5的多个重构后图像，而处理器215用来侦测每一个重构后图像的移动或运动，分别产生五个运动结果(五个运动矢量)，应注意，多个重构后图像的多个运动结果的数量系取决于图像区域的数量，然而上述例子并非是本申请的限制，在其他例子中，如果图像区域的数量等于9，也就是如图7所示的九宫格，则多个重构后图像的多个运动结果的数量会等于9。
在另一实施例，处理器215用来通过参考多个重构后图像的多个运动结果的多个运动方向/大小，先将光学传感装置200的六自由度运动初步分类为一种特别运动类型(或移动型样)，而在通过参考与所有多个重构后图像的多个运动结果有关的多个运动方向/大小来判断出该特别运动类型之后，处理器215接着通过参考该特别运动类型与该多个运动结果，精确地计算光学传感装置200的六自由度运动。在其他实施例，处理器215也可以直接基于该多个运动结果而精确地计算出光学传感装置200的六自由度运动，不需要先将光学传感装置200的六自由度运动初步地分类为一种特别运动类型。
应注意，上述六自由度运动的特别运动类型可以指的是包括向左运动、向右运动、向上运动、向下运动、滚转运动(roll movement)、偏航运动(yaw movement)以及俯仰运动(pitch movement)中的至少一个运动类型及/或其任意的组合，而这些变型均并非是本申请的限制。
图9是当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的一范例示意图，在这个例子以及后续的例子，光学传感装置200可以被置放于用户的前额，但这并非是本申请的限制。如图9所示，处理器215可以判断或侦测出图像区域Z1-Z4的多个图像具有相同的移动大小但分别具有不同的移动方向(向左、向上、向右、向下)并且图像区域Z5的图像不具有任何移动(没有任何移动方向)，处理器215接着可以判断出用户头部正相应地向前移动，例如，处理器215可以计算出图像区域Z1-Z5的多个运动以得到多个运动结果dx1-dx5及dy1-dy5，其可分别被下述等式所表示：
dx1＝(rz2-rz1)×tan(α2)；dy1＝0；
dx2＝0；dy2＝(rz2-rz1)×tan(α2)；
dx3＝(rz2-rz1)×tan(α2)；dy3＝0；
dx4＝0；dy4＝(rz2-rz1)×tan(α2)；
dx5＝0；dy5＝0；
其中dx1及dy1(一运动矢量的X轴分量及Y轴分量)所表示是图像区域Z1的图像的移动方向及移动距离大小，dx2及dy2(另一运动矢量的X轴分量及Y轴分量)所表示是图像区域Z2的图像的移动方向及移动距离大小，dx3及dy3(另一运动矢量的X轴分量及Y轴分量)所表示是图像区域Z3的图像的移动方向及移动距离大小，dx4及dy4(另一运动矢量的X轴分量及Y轴分量)所表示是图像区域Z4的图像的移动方向及移动距离大小，dx5及dy5(另一运动矢量的X轴分量及Y轴分量)所表示是图像区域Z5的图像的移动方向及移动距离大小，α2所表示是图像区域Z5的锥面可视角度(viewing cone angle)，rz1及rz2是指被进行估计的该六自由度运动的真实/实际运动或移动的参数，更精确地说是指估计光学传感装置200沿着Z轴实际上从一位置值rz1移动至另一位置值rz2的状况，例如rz1的值可以大于rz2的值。
在这个例子，所显示是图像区域Z1-Z4的多个图像具有相同的移动大小但分别具有不同的移动方向(向左、向上、向右、向下)并且图像区域Z5的图像不具有任何移动(没有任何移动方向)，如果侦测到这种情况，处理器215可以判断出用户头部是相应地往前移动，并接着将该六自由度运动的一运动类型先初步分类为一向前移动类型或一向前移动型样，接着，处理器215会基于上述至少一个等式、dx1-dx5与dy1-dy5的值以及锥面可视角度α2的值，来计算或算出rz1及rz2的值，而在算出rz1及rz2的值之后，处理器215就可以估计出该六自由度运动的向前移动距离，得到光学传感装置200的精确的六自由度运动结果。
此外，另一实施例，处理器215也可以直接根据基于所有多个图像区域所计算出的多个运动方向，判断用户的动作或行为状态(例如向前/向后移动、跳跃、蹲下或旋转及其他动作行为等等)，而不必要算出其实际的移动或实际的移动距离。再者，处理器215也是可以另外参考上述实际的移动或实际的移动距离以辅助判断用户的动作或行为状态，例如，处理器215可以通过计算上述多个图像区域的图像的实际的移动或实际的移动距离，得到实际的移动或实际的移动距离。
此外，图10显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图，如图10所示，处理器215可以侦测或判断出图像区域Z1-Z4的图像分别具有不同的移动方向(向右、向下、向左、向上)以及均具有相同的移动距离大小，并且图像区域Z5的图像不具有任何移动(没有移动方向)，接着，处理器215可以判断出用户头部是相应地向后移动，例如，处理器215可以计算出图像区域Z1-Z5的多个移动，以得到上述的多个运动结果，图像区域Z1-Z5的移动可由下列等式表示：
dx1＝(rz2-rz1)×tan(α2)；dy1＝0；
dx2＝0；dy2＝(rz2-rz1)×tan(α2)；
dx3＝(rz2-rz1)×tan(α2)；dy3＝0；
dx4＝0；dy4＝(rz2-rz1)×tan(α2)；
dx5＝0；dy5＝0；
在这个例子中显示了图像区域Z1-Z4的多个图像分别具有不同的移动方向(向右、向下、向左、向上)及具有相同移动距离大小，图像区域Z5的图像不具有任何移动(没有移动方向)，因此，如果侦测到这种情况，处理器215可以判定用户头部正相应地往后移动，并接着将六自由度运动的运动类型分类为一向后运动类型或一向后移动型样，处理器215会基于上述至少一个等式、dx1-dx5与dy1-dy5的值及锥面可视角度α2的值，来计算或算出rz1及rz2的值，而在算出rz1及rz2的值之后，处理器215就可以估计出该六自由度运动的向后移动距离，得到光学传感装置200的精确的六自由度运动结果。
图11显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图，如图11所示，处理器215可以侦测或判断出图像区域Z1-Z5的图像均具有相同的移动方向(向右移动)，接着，处理器215可以判断出用户头部是相应地向左移动，例如，处理器215可以计算出图像区域Z1-Z5的多个移动，以得到上述的多个运动结果，图像区域Z1-Z5的移动可由下列等式表示：
dx1＝(x2-x1)×M2；dy1＝0；
dx2＝(x2-x1)×M2；dy2＝0；
dx3＝(x2-x1)×M2；dy3＝0；
dx4＝(x2-x1)×M2；dy4＝0；
dx5＝(x2-x1)×M1；dy5＝0；
其中参数M1表示为对于图像区域Z5以一对象在一特定距离下镜头210的光学放大率，参数M2表示为对于图像区域Z1-Z4以一对象在一特定距离下镜头210的光学放大率，由于鱼眼镜头的桶形失真特性，M1的值可以设计大于M2的值，然而这也是可调整的，此外，参数x1及x2的值代表被进行估计的该六自由度运动的真实/实际运动或移动的参数，更精确地说是指估计光学传感装置200沿着X轴实际上从一位置值x1移动至另一位置值x2的情形，例如x1的值可以大于x2的值。
在这个例子中显示了图像区域Z1-Z5的图像具有相同的移动方向(均向右)，如此，一旦侦测到这样的情况，处理器215可以判定用户头部正相应地向左移动，接着将六自由度运动的运动类型分类为一向左运动类型或一向左运动型样，处理器215会基于上述至少一个等式及dx1-dx5与dy1-dy5的值，计算出参数x1及x2的值，而在算出x1及x2的值之后，处理器215就可以估计出该六自由度运动的向左移动距离，得到光学传感装置200的精确的六自由度运动结果。
图12显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图，如图12所示，处理器215可以侦测或判断出图像区域Z1-Z5的图像均具有相同的移动方向(向左移动)，接着，处理器215可以判断出用户头部是相应地向右移动，例如，处理器215可以计算出图像区域Z1-Z5的多个移动，以得到上述的多个运动结果，图像区域Z1-Z5的移动可由下列等式表示：
dx1＝(x2-x1)×M2；dy1＝0；
dx2＝(x2-x1)×M2；dy2＝0；
dx3＝(x2-x1)×M2；dy3＝0；
dx4＝(x2-x1)×M2；dy4＝0；
dx5＝(x2-x1)×M1；dy5＝0；
在这个例子中显示了图像区域Z1-Z5的图像具有相同的移动方向(均向左)，如此，一旦侦测到这样的情况，处理器215可以判定用户头部正相应地向右移动，接着将六自由度运动的运动类型分类为一向右运动类型或一向右运动型样，处理器215会基于上述至少一个等式及dx1-dx5与dy1-dy5的值，计算出参数x1及x2的值，而在算出x1及x2的值之后，处理器215就可以估计出该六自由度运动的向右移动距离，得到光学传感装置200的精确的六自由度运动结果。
图13、图14分别显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的两范例示意图。如图13所示，处理器215可以侦测或判断图像区域Z1-Z5的图像具有相同的移动方向(向下移动)，接着判定用户头部正相应地向上移动，在这个例子中显示出图像区域Z1-Z5具有相同的移动方向(向下)，因此，当侦测到这样的情况，处理器215可以判定用户头部正相应地向上移动，并接着将六自由度运动的运动类型分类为一向上运动类型或一向上移动型样，处理器215会基于上述估计出的运动类型及运动/移动的距离大小来计算出相应的实际运动参数，最后处理器215可以估计出六自由度运动的移动距离和方向，得到光学传感装置200的精确的六自由度运动结果。
如图14所示，处理器215可以侦测或判断图像区域Z1-Z5的图像具有相同的移动方向(向上移动)，接着判定用户头部正相应地向下移动，在这个例子中显示出图像区域Z1-Z5具有相同的移动方向(向上)，因此，当侦测到这样的情况，处理器215可以判定用户头部正相应地向下移动，并接着将六自由度运动的运动类型分类为一向下运动类型或一向下移动型样，处理器215会基于上述估计出的运动类型及运动/移动的距离大小来计算出相应的实际的运动参数，最后处理器215可以估计出六自由度运动的移动距离和方向，得到光学传感装置200的精确的六自由度运动结果。
图15显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图，如图15所示，处理器215可以侦测或判断出图像区域Z1-Z4的图像分别具有不同的多个移动方向(向上、向右、向下、向左)以及图像区域Z5的图像不具有任何移动(没有移动方向)，接着，处理器215可以判定用户头部以头部为中枢点相应地具有向左翼滚转的移动(positive roll motion)，在这个例子中显示了图像区域Z1-Z4的图像具有不同的多个移动方向(分别为向上、向右、向下、向左)以及图像区域Z5的图像不具有任何的运动(没有移动方向)，如此，当侦测到这样的情况，处理器215可以判定用户头部以头部为中枢点相应地具有向左翼滚转的移动，并接着将六自由度运动的运动类型分类为一左翼滚转运动类型或一左翼滚转移动型样，处理器215会基于所估计出的左翼滚转运动类型及图像区域Z1-Z5的图像的多个移动方向/矢量，来计算出实际的运动参数，而在算出实际的运动参数之后，处理器215可以据此估计得到光学传感装置200的精确的六自由度运动结果。
图16是显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图，如图16所示，处理器215可以侦测或判断出图像区域Z1-Z4的图像分别具有不同的多个移动方向(向上、向右、向下、向右)以及图像区域Z5的图像具有向右的移动方向，接着，处理器215可以判定用户头部是以在Y轴上的一个偏移中枢点相应地具有向左翼滚转的移动(positive roll motion)，在这个例子中显示了图像区域Z1-Z4的图像具有不同的多个移动方向(分别为向上、向右、向下、向右)以及图像区域Z5的图像具有向右的移动方向，如此，当侦测到这样的情况，处理器215可以判定用户头部是以在Y轴上的一个偏移中枢点相应地具有向左翼滚转的移动，并接着将六自由度运动的运动类型分类为在Y轴上的一个偏移中枢点进行左翼滚转的运动类型或在Y轴上的一个偏移中枢点进行左翼滚转的移动型样，处理器215会基于所估计出的运动类型及图像区域Z1-Z5的图像的多个移动方向/矢量，来计算出实际的运动参数，而在算出实际的运动参数之后，处理器215可以据此估计得到光学传感装置200的精确的六自由度运动结果。
图17是显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图，如图17所示，处理器215可以侦测或判断出图像区域Z1、Z3的图像具有相同的移动方向(向右移动)并且图像区域Z2、Z4、Z5均不具有任何移动方向，处理器215接着可以判断用户头部相应地具有一左翼偏航的运动(positive yaw motion)，在这个例子中，图像区域Z1、Z3的图像具有相同的移动方向(向右移动)，而图像区域Z2、Z4、Z5均不具有任何移动方向，因此，如果侦测到这样的情况，处理器215可以判定用户头部相应地具有一左翼偏航的运动，而接着将六自由度运动的运动类型分类为一左翼偏航的运动类型或移动型样，处理器215会基于所估计出的运动类型及图像区域Z1-Z5的图像的多个移动方向/矢量，来计算出实际的运动参数，而在算出实际的运动参数之后，处理器215可以据此估计得到光学传感装置200的精确的六自由度运动结果。
图18是显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图，如图18所示，处理器215可以侦测或判断出图像区域Z1、Z3的图像具有多个运动矢量并具有单一的移动方向(向右移动)，并且侦测出图像区域Z2、Z4、Z5的图像具有多个运动矢量而具有二维的移动方向，处理器215接着可以判断用户头部相应地具有以在X轴上的一偏移中枢点进行一左翼偏航运动，在这个例子中，图像区域Z1、Z3的图像具有多个运动矢量并具有单一的移动方向(向右移动)，以及图像区域Z2、Z4、Z5的图像具有多个运动矢量而具有二维的移动方向，因此，如果侦测到这样的情况，处理器215可以判定用户头部相应地具有以在X轴上的一偏移中枢点进行一左翼偏航运动，而接着将六自由度运动的运动类型分类为在X轴上的一偏移中枢点进行一左翼偏航运动的运动类型或移动型样，处理器215会基于所估计出的运动类型及图像区域Z1-Z5的图像的多个移动方向/矢量，来计算出实际的运动参数，而在算出实际的运动参数之后，处理器215可以据此估计得到光学传感装置200的精确的六自由度运动结果。
图19是显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图，如图19所示，处理器215可以侦测或判断出图像区域Z1-Z4的图像具有相同的运动矢量并具有二维的移动方向，以及侦测出图像区域Z5的图像不具有任何运动(运动矢量为零)，处理器215接着可以判断用户头部相应地具有在用户前额作为一中央中枢点进行一向上俯仰的运动(positive pitchmotion)，在这个例子中，图像区域Z1-Z4的图像具有相同的运动矢量并具有二维的移动方向，而图像区域Z5的图像不具有任何运动(运动矢量为零)，因此，如果侦测到这样的情况，处理器215可以判定用户头部相应地具有在用户前额作为一中央中枢点进行一向上俯仰的运动，而接着将六自由度运动的运动类型分类为以一中央中枢点进行一向上俯仰运动的运动类型或移动型样，处理器215会基于所估计出的运动类型及图像区域Z1-Z5的图像的多个移动方向/矢量，来计算出实际的运动参数，而在算出实际的运动参数之后，处理器215可以据此估计得到光学传感装置200的精确的六自由度运动结果。
图20是显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图，如图19所示，处理器215可以侦测或判断出图像区域Z1、Z2、Z3的图像具有相同的运动矢量并具有二维的移动方向，以及侦测出图像区域Z4、Z5的图像具有不同的运动矢量并具有二维移动方向，处理器215接着可以判断用户头部相应地具有在Z轴上的一偏移中枢点进行一向上俯仰的运动，在这个例子中，图像区域Z1、Z2、Z3的图像具有相同的运动矢量并具有二维的移动方向，而图像区域Z4、Z5的图像具有不同的运动矢量并具有二维移动方向，因此，如果侦测到这样的情况，处理器215可以判定用户头部相应地具有在Z轴上的一偏移中枢点进行一向上俯仰的运动，而接着将六自由度运动的运动类型分类为以Z轴上的一偏移中枢点进行一向上俯仰运动的运动类型或移动型样，处理器215会基于所估计出的运动类型及图像区域Z1-Z5的图像的多个移动方向/矢量，来计算出实际的运动参数，而在算出实际的运动参数之后，处理器215可以据此估计得到光学传感装置200的精确的六自由度运动结果。
再者，上述的运动类型也可能是上述向左运动、向右运动、向上运动、向下运动、滚转运动、偏航运动及上述俯仰运动中的任两个移动类型或运动类型的组合，例如，图21显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图，如图21所示，处理器215可以侦测或判断出图像区域Z1-Z5的图像具有多个运动矢量及单一维度的移动方向，其中图像区域Z1、Z3的图像具有相同的运动矢量，而图像区域Z2、Z4的图像具有相同的运动矢量(不同于图像区域Z1、Z3的图像的运动矢量)，以及图像区域Z5的图像的运动矢量也不同于其他图像区域Z1-Z4的任一图像的运动矢量，处理器215可以判断用户头部相应地具有以用户前额作为一中央中枢点同时进行向左移动及左翼偏航的运动(left and positive yaw motion)。
在这个例子中，图像区域Z1-Z5的图像具有多个运动矢量及单一维度的移动方向，图像区域Z1、Z3的图像具有相同的运动矢量，而图像区域Z2、Z4的图像具有相同的运动矢量(不同于图像区域Z1、Z3的图像的运动矢量)，以及图像区域Z5的图像的运动矢量也不同于其他图像区域Z1-Z4的任一图像的运动矢量，因此，如果侦测到这样的情况，处理器215可以判定用户头部相应地具有以用户前额作为一中央中枢点同时进行向左移动及左翼偏航的运动，而接着将六自由度运动的运动类型分类为以一中央中枢点同时进行向左移动及左翼偏航运动的运动类型或移动型样，处理器215会基于所估计出的运动类型及图像区域Z1-Z5的图像的多个移动方向/矢量，来计算出实际的运动参数，而在算出实际的运动参数之后，处理器215可以据此估计得到光学传感装置200的精确的六自由度运动结果。
再者，图22显示了当用户操作光学传感装置(头盔装置)时整体估计出的运动类型(移动型样)及用户头部的移动/运动的关系的另一范例示意图，如图22所示，处理器215可以侦测或判断出图像区域Z1、Z3的图像具有多个运动矢量及均具有单一维度的移动方向，而图像区域Z2、Z4、Z5的图像具有多个运动矢量及均具有二维的移动方向，其中图像区域Z2、Z4的图像具有相同的运动矢量，图像区域Z1、Z3、Z5的图像具有不同的运动矢量，处理器215可以判断用户头部相应地具有以在X轴上的一偏移中枢点同时进行向左移动及左翼偏航运动的运动类型，并接着基于所估计出的运动类型及图像区域Z1-Z5的图像的多个移动方向/矢量，来计算出实际的运动参数，而在算出实际的运动参数之后，处理器215可以据此估计得到光学传感装置200的精确的六自由度运动结果。
再者，上述的一个图帧的多个部份图像可被视为是该图帧的多个子图像，图23是本申请一实施例基于上述原则所实现的光学传感装置2300的方块示意图，光学传感装置2300能够用来估计多重自由度的运动并包括有一光学侦测模块/电路2305以及一处理器2310，光学侦测模块2305用来获取多个图帧，其中每一图帧包括有多个子图像，而每一图帧中至少有两个子图像的主要坐标轴具有不同移动方向，处理器2310耦接至光学侦测模块2305，并用来基于两个图帧中的该至少两个多个子图像的变异(例如多个运动矢量)来得到光学侦测模块2305的运动结果。
再者，本申请的实施例也提供并采用了一个光学侦测模块/电路的设计以获取并产生多个图像/图帧给一个可估计多重自由度的运动的装置，多个图像/图帧中每一个均具有至少两个子图像，使得可估计出多重自由度的运动的装置可基于所获取的多个图帧而估计出运动结果，图24是本申请一实施例基于上述原则所实现的光学侦测模块/电路2400的方块示意图，光学侦测模块/电路2400用来获取被使用在一个可估计多重自由度的运动的装置中的多个图像/图帧，该可估计多重自由度的运动的装置例如是虚拟现实头盔装置或无人机装置，使得该可估计多重自由度的运动的装置可基于所获取的多个图帧而估计出运动结果，光学侦测模块/电路2400包含一图像数组2405，图像数组2405被画分为N个区块以得到N个子图像，例如画分为至少两个区块以得到一个所获取图帧中的至少两个子图像，其中该至少两个区块的主要坐标轴具有不同移动方向。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (25)

1.一种能够估计多重自由度的运动的光学传感装置，包含：
一光学侦测模块，用来获取多个图帧，每一图帧包括多个图像区域，所述每一图帧中至少有两个图像区域的主要坐标轴具有不同方向；以及
一处理器，耦接于所述光学侦测模块，用来基于两个图帧中分别的至少两个图像区域的变化，得到所述光学侦测模块的运动。
2.如权利要求1所述的光学传感装置，其特征在于，所述光学侦测模块包含一图像数组，所述图像数组至少被分割为两个区块，所述两个区块的主要坐标轴具有不同方向，以得到一个所获取的图帧中的、主要坐标轴具有不同方向的两个图像区域。
3.如权利要求1所述的光学传感装置，其特征在于，所述多个图像区域具有从所述图帧内的左上方图像区域、右上方图像区域、左下方图像区域与右下方图像区域所选出的两个图像区域。
4.如权利要求1所述的光学传感装置，其特征在于，所述多个图像区域具有中央图像区域以及多个周边的图像区域。
5.如权利要求4所述的光学传感装置，其特征在于，所述多个周边的图像区域具有四个图像区域。
6.如权利要求4所述的光学传感装置，其特征在于，所述多个周边的图像区域具有八个图像区域，以及所述中央图像区域及所述八个图像区域形成九宫格。
7.如权利要求1所述的光学传感装置，其特征在于，所述光学传感装置还包括鱼眼类型镜头，所述鱼眼类型镜头用以改变所述图帧的所述多个图像区域的多个光学放大率。
8.如权利要求1所述的光学传感装置，其特征在于，所述处理器用来根据所有所述多个图帧中的多个图像区域的变化，初步分类所述光学传感装置的所述多重自由度的运动为一种特别运动类型。
9.如权利要求8所述的光学传感装置，其特征在于，所述处理器用来通过参考与所有所述多个图帧中的多个图像区域的变化有关的多个方向，判断出所述特别运动类型。
10.如权利要求8所述的光学传感装置，其特征在于，所述特别运动类型包括向左运动、向右运动、向上运动、向下运动、滚转运动、偏航运动以及俯仰运动中的至少一种运动方式。
11.如权利要求8所述的光学传感装置，其特征在于，所述处理器通过参考所述特别运动类型并基于所有所述多个图帧中的多个图像区域的变化来估计所述多重自由度的运动。
12.如权利要求10所述的光学传感装置，其特征在于，所述特别运动类型包含所述向左运动、所述向右运动、所述向上运动、所述向下运动、所述滚转运动、所述偏航运动以及所述俯仰运动中两种运动方式的组合。
13.如权利要求1所述的光学传感装置，其特征在于，所述多个图帧分别对应于多个运动方向，以及所述处理器用来根据与图帧有关的运动方向，产生所述光学传感装置的所述运动。
14.一种能够估计光学传感装置的多重自由度的运动的方法，包含：
提供光学侦测模块，所述光学侦测模块用来获取多个图帧，每一图帧包括多个图像区域，所述每一图帧中至少有两个图像区域的主要坐标轴具有不同方向；以及
估计并得到所述多个图帧的运动结果，以估计所述光学传感装置的所述多重自由度的运动。
15.如权利要求14所述的方法，其特征在于，所述多个图像区域具有从所述图帧内的左上方图像区域、右上方图像区域、左下方图像区域与右下方图像区域所选出的两个图像区域。
16.如权利要求14所述的方法，其特征在于，所述多个图像区域具有中央图像区域以及多个周边的图像区域。
17.如权利要求16所述的方法，其特征在于，所述多个周边的图像区域具有四个图像区域。
18.如权利要求16所述的方法，其特征在于，所述多个周边的图像区域具有八个图像区域，以及所述中央图像区域及所述八个图像区域形成九宫格。
19.如权利要求14所述的方法，其特征在于，还包含：
提供并使用搭配有鱼眼类型镜头，以改变所述图帧的所述多个图像区域的多个光学放大率。
20.如权利要求14所述的方法，其特征在于，估计所述光学传感装置的所述多重自由度的运动的步骤包含：
根据所有所述多个图帧中的多个图像区域的变化，初步分类所述光学传感装置的所述多重自由度的运动为一种特别运动类型。
21.如权利要求20所述的方法，其特征在于，初步分类的步骤包含：
通过参考与所有所述多个图帧中的多个图像区域的变化有关的多个方向，判断出所述特别运动类型。
22.如权利要求20所述的方法，其特征在于，所述特别运动类型包括向左运动、向右运动、向上运动、向下运动、滚转运动、偏航运动以及俯仰运动中的至少一种运动方式。
23.如权利要求19所述的方法，其特征在于，估计所述光学传感装置的所述多重自由度的运动的步骤另包含：
通过参考所述特别运动类型并基于所有所述多个图帧中的多个图像区域的变化来估计所述多重自由度的运动。
24.如权利要求22所述的方法，其特征在于，所述特别运动类型包含所述向左运动、所述向右运动、所述向上运动、所述向下运动、所述滚转运动、所述偏航运动以及所述俯仰运动中两种运动方式的组合。
25.如权利要求14所述的方法，其特征在于，所述多个图帧分别对应于多个运动方向，以及估计所述光学传感装置的所述多重自由度的运动的步骤包含：
根据与图帧有关的运动方向，产生所述光学传感装置的所述多重自由度的运动。
CN202011167857.4A 2017-09-06 2018-03-21 光学传感装置及方法 Pending CN112492195A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/697,433 US10564174B2 (en) 2017-09-06 2017-09-06 Optical sensing apparatuses, method, and optical detecting module capable of estimating multi-degree-of-freedom motion
US15/697,433 2017-09-06
CN201810234354.0A CN109474817B (zh) 2017-09-06 2018-03-21 光学传感装置、方法及光学侦测模块

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810234354.0A Division CN109474817B (zh) 2017-09-06 2018-03-21 光学传感装置、方法及光学侦测模块

Publications (1)

Publication Number Publication Date
CN112492195A true CN112492195A (zh) 2021-03-12

Family

ID=65518753

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810234354.0A Active CN109474817B (zh) 2017-09-06 2018-03-21 光学传感装置、方法及光学侦测模块
CN202011167857.4A Pending CN112492195A (zh) 2017-09-06 2018-03-21 光学传感装置及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810234354.0A Active CN109474817B (zh) 2017-09-06 2018-03-21 光学传感装置、方法及光学侦测模块

Country Status (2)

Country Link
US (1) US10564174B2 (zh)
CN (2) CN109474817B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102570009B1 (ko) * 2019-07-31 2023-08-23 삼성전자주식회사 Ar 객체 생성 방법 및 전자 장치
CN110782492B (zh) * 2019-10-08 2023-03-28 三星（中国）半导体有限公司 位姿跟踪方法及装置
US11610330B2 (en) 2019-10-08 2023-03-21 Samsung Electronics Co., Ltd. Method and apparatus with pose tracking
KR20220067964A (ko) * 2020-11-18 2022-05-25 삼성전자주식회사 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002063578A (ja) * 2000-08-21 2002-02-28 Mitsubishi Electric Corp 動き情報検知装置及び動き情報検知方法及び動き情報検知プログラムを記録した記録媒体
CN101063911A (zh) * 2006-04-28 2007-10-31 原相科技股份有限公司 用于光学导航装置的检测影像中动作的方法及装置
CN102113308A (zh) * 2009-06-04 2011-06-29 松下电器产业株式会社 图像处理装置、图像处理方法、程序、记录介质以及集成电路
CN103208110A (zh) * 2012-01-16 2013-07-17 展讯通信（上海）有限公司 视频图像的转换方法及装置
CN106873778A (zh) * 2017-01-23 2017-06-20 深圳超多维科技有限公司 一种应用的运行控制方法、装置和虚拟现实设备
US20170214848A1 (en) * 2012-04-09 2017-07-27 Sony Corporation Image processing device and associated methodology for determining a main subject in an image

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3524408B2 (ja) * 1998-01-06 2004-05-10 キヤノン株式会社 観察光学系及びそれを有する光学機器
US7057826B2 (en) * 2004-03-22 2006-06-06 Angstrom Inc. Small and fast zoom system
JP4404864B2 (ja) * 2005-03-10 2010-01-27 三洋電機株式会社 ビデオカメラおよびそれに用いる画像抽出装置
JP4293236B2 (ja) * 2006-12-20 2009-07-08 ソニー株式会社 撮像装置及び撮像方法
JP4767838B2 (ja) * 2006-12-28 2011-09-07 三星電子株式会社 撮像装置および撮像方法
JP5111088B2 (ja) * 2007-12-14 2012-12-26 三洋電機株式会社 撮像装置及び画像再生装置
JP2011239241A (ja) * 2010-05-11 2011-11-24 Panasonic Corp ３次元撮像装置
JP2012010275A (ja) * 2010-06-28 2012-01-12 Sony Corp 情報処理装置、情報処理方法、及びそのプログラム
FR3001073B1 (fr) * 2013-01-11 2016-05-06 Sagem Defense Securite Estimation de mouvement d'une image
CN104699325B (zh) * 2013-12-09 2018-03-30 原相科技股份有限公司 适于环境光与提起检测的光学导航系统及其检测方法
CN104378539B (zh) * 2014-11-28 2017-08-08 华中科技大学 场景自适应的视频结构化语义提取摄像机及其方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002063578A (ja) * 2000-08-21 2002-02-28 Mitsubishi Electric Corp 動き情報検知装置及び動き情報検知方法及び動き情報検知プログラムを記録した記録媒体
CN101063911A (zh) * 2006-04-28 2007-10-31 原相科技股份有限公司 用于光学导航装置的检测影像中动作的方法及装置
CN102113308A (zh) * 2009-06-04 2011-06-29 松下电器产业株式会社 图像处理装置、图像处理方法、程序、记录介质以及集成电路
CN103208110A (zh) * 2012-01-16 2013-07-17 展讯通信（上海）有限公司 视频图像的转换方法及装置
US20170214848A1 (en) * 2012-04-09 2017-07-27 Sony Corporation Image processing device and associated methodology for determining a main subject in an image
CN106873778A (zh) * 2017-01-23 2017-06-20 深圳超多维科技有限公司 一种应用的运行控制方法、装置和虚拟现实设备

Also Published As

Publication number Publication date
CN109474817B (zh) 2020-11-17
US10564174B2 (en) 2020-02-18
US20190072579A1 (en) 2019-03-07
CN109474817A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
JP6768156B2 (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
CN109474817B (zh) 光学传感装置、方法及光学侦测模块
US20170132806A1 (en) System and method for augmented reality and virtual reality applications
US10260862B2 (en) Pose estimation using sensors
US8144238B2 (en) Image processing apparatus and method
JP2019522851A (ja) ３次元空間内の姿勢推定
EP3273412B1 (en) Three-dimensional modelling method and device
JP6377863B2 (ja) 反射マップ表現による奥行きマップ表現の増補
US20190033988A1 (en) Controller tracking for multiple degrees of freedom
Clipp et al. Robust 6dof motion estimation for non-overlapping, multi-camera systems
JP2011198349A (ja) 情報処理方法及びその装置
KR102397343B1 (ko) 비디오에서 가상 오브젝트를 블러링하기 위한 방법 및 디바이스
JP6894707B2 (ja) 情報処理装置およびその制御方法、プログラム
CN103900473A (zh) 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法
Islam et al. Stereo vision-based 3D positioning and tracking
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
TWI501193B (zh) Computer graphics using AR technology. Image processing systems and methods
JP2016099759A (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
CN108028904A (zh) 移动设备上光场增强现实/虚拟现实的方法和系统
KR20120108256A (ko) 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법
Ichimaru et al. Unified underwater structure-from-motion
Hong et al. Viewing angle-improved 3D integral imaging display with eye tracking sensor
US11941851B2 (en) Systems and methods for calibrating imaging and spatial orientation sensors
JP4622889B2 (ja) 画像処理装置、及び画像処理方法
JP6864333B2 (ja) 顔向き検出システム及び顔向き検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210312