CN101731005A - 使用前庭眼反射原理的眼活动控制器 - Google Patents

使用前庭眼反射原理的眼活动控制器 Download PDF

Info

Publication number
CN101731005A
CN101731005A CN200880020162.4A CN200880020162A CN101731005A CN 101731005 A CN101731005 A CN 101731005A CN 200880020162 A CN200880020162 A CN 200880020162A CN 101731005 A CN101731005 A CN 101731005A
Authority
CN
China
Prior art keywords
variation
translational motion
image pick
drive division
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880020162.4A
Other languages
English (en)
Inventor
张晓林
小田川司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Original Assignee
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC filed Critical Tokyo Institute of Technology NUC
Publication of CN101731005A publication Critical patent/CN101731005A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Manipulator (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种通过响应于平移运动使用前庭眼反射原理，来防止图像模糊的眼活动控制器。该眼活动控制器包括：用作眼设备的图像拾取部(20)，用于旋转图像拾取部的眼驱动部(30)，用于获取关于从图像拾取部(20)到可视目标(1)的距离的信息的距离信息获取部(40)，用于测量运动物体的平移运动所引起的变化的平移运动传感器(50)，以及用于利用眼驱动部所驱动的旋转运动的校正部(60)。校正部(60)抵消平移运动传感器(50)所测量的因平移运动所引起的变化，并由眼驱动部(30)通过使用所获取的关于到可视目标(1)的距离的距离信息以及关于因平移运动而引起的变化的变化信息来校正旋转，从而固定可视目标(1)的图像拾取位置。

Description

使用前庭眼反射原理的眼活动控制器
技术领域
本发明涉及为了防止图像模糊而在运动物体中设置的眼活动控制器，并且更具体地，涉及使用前庭眼反射原理来防止图像模糊的眼活动控制器。
背景技术
现有多种系统，在这些系统中设置图像拾取设备作为在诸如自主式机器人的运动物体之中的眼设备。在这些系统中，存在模拟仿生眼运动神经系统的高精度眼运动系统。在这类系统中，存在眼设备拾取的图像模糊的问题。当运动物体移动时，该运动物体本身要上下左右振动。因此，固定在运动物体中的眼设备也上下左右振动。这是图像模糊的主要原因。
基本上有两种用于防止图像模糊的方法。一种方法是通过图像处理来防止图像模糊。这是视觉反馈方法，这种方法逐帧移动图像，使得图像中的可视目标所处的位置与模糊图像中的相同，从而再生一系列不模糊的图像。另一种方法是使用陀螺仪或加速度传感器测量运动物体的旋转或平移运动，并控制眼设备以抵销运动物体的运动，从而对模糊进行补偿(专利文献1)。
专利文献1：日本PCT国家公开No.2006-502675。
发明内容
通过本发明解决的问题
平移运动在图像上的影响受到至可视目标的距离影响。然而，目前不存在这样一种设备，能够在考虑到可视目标的距离的情况下，直接使用平移运动的信息来防止图像模糊。所以，现有的眼设备不能可靠地防止图像模糊。
如果基于平移运动的信息，可以响应于平移运动使用前庭眼反射原理来控制眼运动，则与以上的视觉反馈方法相比，可能较高速地防止图像模糊。鉴于此，需要开发这类设备。
考虑到以上情况做出了本发明，并且本发明的目的是提供一种使用前庭眼反射原理来防止图像模糊的眼活动控制器。
解决问题的装置：
为了实现以上目标，根据本发明的一方面，提供了一种眼活动控制器，该眼活动控制器用于防止运动物体中所设置的眼设备所拾取的图像模糊，该眼活动控制器包括：图像拾取部，其用作眼设备；眼驱动部，用于旋转所述图像拾取部，使得可视目标被包括在所述图像拾取部所拾取的图像之中；距离信息获取部，用于获取关于从所述图像拾取部到所述可视目标的距离的信息；平移运动传感器，用于测量由于所述运动物体的平移运动所引起的变化；以及校正部，用于利用所述眼驱动部所驱动的旋转运动来对所述平移运动进行校正，使得抵消所述平移运动传感器所测量的与所述平移运动相关联发生的变化，从而通过使用所获取的到所述可视目标的距离信息以及与所述平移运动相关联发生的变化，来固定所述可视目标的图像拾取位置。
所述眼驱动部可以按至少包括横滚(roll)旋转的一个或多个自由度来旋转所述图像拾取部，所述平移运动传感器可以测量所述图像拾取部在俯仰(pitch)旋转轴方向(y轴方向)上的变化，并且所述校正部可以通过使用所测量的在y轴方向上的的变化，校正由所述眼驱动部所驱动的横滚旋转运动。
所述眼驱动部可以按至少包括俯仰旋转的一个或多个自由度来旋转所述图像拾取部，所述平移运动传感器可以测量所述图像拾取部在所述横滚旋转轴方向(z轴方向)上的变化，并且所述校正部可以通过使用所测量的在z轴方向上的变化，校正所述眼驱动部所驱动的俯仰旋转运动。
所述平移运动传感器可以测量在与y轴方向和z轴方向垂直的方向(x轴方向)上的变化，并且所述校正部可以通过使用在x轴方向上的变化，校正所述眼驱动部所驱动的所述横滚旋转运动和所述俯仰旋转运动。
所述图像拾取部可以包括一对图像拾取设备，所述眼驱动部可以旋转该一对图像拾取设备，使得所述可视目标被包括在由该对图像拾取设备所拾取的图像之中的预定位置，并且所述距离信息获取部可以是用于测量该一对图像拾取设备的旋转角度的旋转角度测量部，并且使用在该一对图像拾取设备之间的距离和其旋转角度。
所述平移运动传感器可以包括一对三轴加速度传感器。
所述平移运动传感器可以使用来自一对三轴加速度传感器的信号之间的差分信号，来测量与所述运动物体的旋转运动相关联发生的变化，并且所述校正部可以通过使用与所述旋转运动相关联发生的变化来控制所述眼驱动部，使得抵消所述平移运动传感器所测量的与所述旋转运动相关联发生的变化，从而固定所述可视目标的图像拾取位置。
所述眼运动控制器可以进一步包括陀螺仪，用于测量与所述运动物体的旋转运动相关联发生的变化，并且所述校正部可以通过使用与所述旋转运动相关联发生的变化，来控制所述眼驱动部，使得抵消由所述陀螺仪所测量的与所述旋转运动相关联发生的变化，从而固定所述可视目标的图像拾取位置。
所述眼活动控制器可以进一步包括视觉反馈部，用于通过使用所述图像拾取部所拾取的图像，来控制所述眼驱动部，使得所述图像拾取部跟随所述运动可视目标的运动。
本发明的优点
根据使用前庭眼反射原理的本发明的眼活动控制器，可以防止高速度下的图像模糊。进一步，通过按生理学和解剖学角度的需要对眼运动的校正机制进行简化，可能通过较低费用的简单模拟电路来构成校正部。
附图说明图1是用于解释根据本发明的眼活动控制器的配置的原理框图。图2是用于解释对根据本发明的眼活动控制器的参数进行定义的坐标的视图。图3是说明应用了根据本发明的眼活动控制器的视线运动控制系统的水平方向运动控制的框图。图4是说明应用了根据本发明的眼活动控制器的视线运动控制系统的垂直方向运动控制的框图。图5是说明应用了根据本发明的简化眼活动控制器的视线运动控制系统的水平方向运动控制的框图。图6是说明应用了根据本发明的简化眼活动控制器的视线运动控制系统的垂直方向运动控制的框图。附图标记说明1：可视目标10：运动物体20：眼设备30：眼驱动部40：距离测量部50：平移运动传感器60：校正部
具体实施方式
以下将参照附图描述用于实践本发明的优选实施例。图1是用于解释根据本发明的眼活动控制器的配置的原理框图。如图1所说明的，根据本发明的眼活动控制器主要包括：在运动物体10之中设置的眼设备20、眼驱动部30、距离测量部40、平移运动传感器50和校正部60。尽管在图1的运动物体10中设置了所有以上组件，但是本发明并不受限于此。例如，校正部60不必在运动物体10内设置，而可以从外部连接到运动物体10。
运动物体10的示例包括各种可运动物体，诸如车辆和人形物(humanoid)。眼设备20主要由图像拾取设备组成，并且被配置为能够拾取可视目标1并输出其图像。更具体地，眼设备20是数字摄像机等，具有诸如CCD或CMOS传感器的图像拾取元件，并将传感器接收的光转换为电信号以获取图像。在根据本发明的眼活动控制器之中设置的眼设备20可以是单眼的或双眼的。进一步，可以设置三个(三眼)或更多的图像拾取设备。
眼驱动部30驱动眼设备20，使得可视目标1被包括在眼设备20所拾取的图像之中。更具体地，眼驱动部30由将多个电机进行组合而得到的致动器所构成，并被配置为能够以三个自由度来旋转眼设备20，诸如横滚(roll)、俯仰(pitch)和偏转(yaw)旋转。眼设备20绕着其图像拾取表面的中心旋转在计算上是最为方便的。具有以上描述的配置的眼驱动部30基于视觉反馈进行控制，使得可视目标1处于眼设备20所拾取的图像的中心。
在可视目标1不移动的情况下，一旦眼设备20被驱动，使得可视目标1处于要被拾取的图像的中心，则该状态被保持直到运动物体10移动为止，从而可以获取稳定的图像。然而，假定在不可避免地要移动的运动物体10之中设置眼设备20，则因运动引起的图像模糊会成为问题。也就是说，本发明的主要目的是考虑运动，尤其是与平移运动相关联而发生的运动，来校正眼驱动部30的控制操作。
为了实现以上目标，根据本发明的眼活动控制器包括：距离测量部40、平移运动传感器50、和校正部60。距离测量部40测量从眼设备20的图像拾取表面到可视目标1的距离。可以使用激光传感器、超声波传感器等作为距离测量部40。进一步，如以下将要描述的，在眼设备20是双眼的情况下，可以配置距离测量部40来基于各个眼设备的旋转角度，根据三角测量原理对距离进行测量。进一步，距离测量部40包括获取眼设备的旋转角度信息的部分，如果这种获取涉及到可视目标的距离的信息，则无需测量距离本身。
平移运动传感器50测量与运动物体10的平移运动相关联发生的变化。对与平移运动相关联发生的变化进行测量允许响应于平移运动使用前庭眼反射原理。例如，可以使用加速度传感器作为平移运动传感器50。加速度传感器包括多种类型，诸如MEMS传感器、电动传感器、应变式传感器、压电传感器、以及可以使用的任何类型。在本说明书中，术语“与运动物体的平移运动相关联发生的变化”包括：加速度、速度和运动距离。也就是说，当可以测量加速度时，则可以通过关于时间的一次积分来计算速度，并且可以通过又一次的时间积分来计算距离。所以，平移运动传感器50不仅可以是加速度传感器，也可以是速度传感器或运动距离传感器。尽管优选地是将三轴加速度传感器用作平移运动传感器50，但是如以下将要描述的，为了简化可以采用这样的配置，在其中仅测量一个轴的加速度。由于平移运动传感器50是用于校正眼驱动部的操作，因此优选地，平移运动传感器50可以在靠近眼的位置，测量运动物体的平移运动。
校正部60通过使用眼驱动部30所驱动的旋转运动，对平移运动进行校正，使得抵消由平移运动传感器50所测量的与平移运动相关联发生的变化，从而通过使用到可视目标1的距离以及与平移运动相关联发生的变化，来固定可视目标1的图像位置。
接着，参照图2，将更加详细地描述用于通过使用到可视目标的距离以及与平移运动相关联发生的变化，对旋转运动进行校正的校正部。图2是用于解释对根据本发明的眼活动控制器的参数进行定义的坐标的视图。注意，图2说明了这样的示例，在其中双眼眼设备用于基于各个眼设备的旋转角度，测量到可视目标的距离。然而，本发明并不受限于这种配置，而是如以上描述的，可以使用设置有距离测量仪的单眼型眼设备。
在本说明书之中，假定俯仰(pitch)是在眼设备20的基准位置上绕着y轴的旋转，横滚(roll)是绕着z轴的旋转，而偏转(yaw)是绕着x轴的旋转，x轴垂直于y轴和z轴。
眼驱动部30使得眼设备20l和20r旋转，从而可视目标1在眼设备20l和20r拾取的图像中处于相同的位置。可以基于在该时间获取的各个眼设备的旋转角度，测量到可视目标的距离。也就是说，根据正弦定理，从图2说明的关系，在旋转角度和眼设备之间的距离间建立以下关系表达式。[公式1]基于以上关系表达式，通过以下公式表示从眼设备20l和20r的图像拾取表面到可视目标1的距离。[公式2]
Figure G2008800201624D00081
假定可视目标1不是移动的而是固定的，则用于抵销在以下各个情况中发生的变化的、眼设备在θ方向(俯仰旋转)和φ方向(横滚旋转)上的变化之间的关系如下面的叙述，这些情况包括：在其中运动物体10在x轴方向上以速度dx/dt移动的情况、其中运动物体10在y轴方向上以速度dy/dt移动的情况、以及其中运动物体10在z轴方向上以速度dz/dt移动的情况。注意，横滚是绕着z轴的旋转，而俯仰是绕着y轴的旋转。-运动物体10在x轴方向上以速度dx/dt移动的情况[公式3]
Figure G2008800201624D00082
Figure G2008800201624D00083
-运动物体10在y轴方向上以速度dy/dt移动的情况[公式4]
Figure G2008800201624D00084
Figure G2008800201624D00085
-运动物体10在z轴方向上以速度dz/dt移动的情况[公式5]
Figure G2008800201624D00091
Figure G2008800201624D00092
因而，基于公式3到5的关系表达式，与运动物体在θ方向上(俯仰旋转)和φ方向上(横滚旋转)的平移运动相关联的，用于校正眼驱动部所驱动的旋转运动的变化由以下公式表示。[公式6]
Figure G2008800201624D00094
通过使用以上关系表达式，可能校正旋转运动，从而抵消与平移运动相关联发生的变化。也就是说，校正部将公式6的φ方向校正表达式提供给眼驱动部的水平方向眼运动控制系统，并将公式6的θ方向校正表达式提供给其垂直方向眼运动控制系统就已足够。
将参照图3和4，通过使用将根据本发明的眼活动控制器应用于视线运动控制系统的情况来进行更加具体的描述，其中这种视线运动控制系统在由本发明人之一提交的日本PCT国家公开No.2006-502675中公开。图3是说明应用了根据本发明的眼活动控制器的视线运动控制系统的水平方向(横滚旋转)运动控制的框图，而图4是说明视线运动控制系统的垂直方向(俯仰旋转)运动控制的框图。
如图3所说明的，为了控制横滚旋转(φ方向)，分别将来自左和右横滚编码器的眼设备的当前横滚角度和来自左和右俯仰编码器的眼设备的当前俯仰角度输入到左和右φ方向校正表达式。配置编码器来测量眼设备的旋转角度。进一步，分别将x轴方向和y轴方向上的平移加速度输入到左和右φ方向校正表达式。通过输入校正表达式的输出作为双眼眼驱动部、即眼驱动部Vl和Vr的控制参数kx和kxr，可以抵消与平移运动相关联发生的变化，从而防止图像模糊。
进一步，如图4所说明的，为了控制俯仰旋转(θ方向)，分别将来自左和右俯仰编码器的眼设备的当前俯仰角度和来自左和右横滚编码器的眼设备的当前横滚角度输入到左和右θ方向校正表达式。进一步，分别将x轴方向、y轴方向、和z轴方向的平移加速度输入到左和右θ方向校正表达式。通过输入校正表达式的输出至双眼眼驱动部，可以抵消与平移运动相关联发生的变化，从而防止图像模糊。
如以上描述的，在根据本发明的眼活动控制器之中采用双眼型眼设备的情况之中，可以基于眼设备的旋转角度，测量到可视目标的距离。因此，可能通过使用所获取的距离和与平移运动(平移加速度)相关联发生的变化来校正旋转运动。
在日本PCT国家公开No.2006-502675之中给出了对视线运动控制系统的更加详细的描述，并且此处省略这些描述。视线运动控制系统的配置不受限于附图之中所说明的情况，只要视线运动控制系统可以通过使用到可视目标的距离和关于与平移运动相关联发生的变化的信息，来控制眼设备的旋转运动，本发明就可以应用于任何类型的视线运动控制系统。
接着，将描述上述校正部的简化配置。以上公式6的校正表达式出于校正的目的，考虑了与所有x、y和z轴方向上的平移运行相关联发生的变化。另一方面，可以在以下条件下简化校正表达式。
可以认为，在眼设备保持其在可视目标上的视线的状态下，运动物体在与可视目标基本相对的位置上注视该可视目标。更具体地，当被设置于与例如运动物体头部对应的部分处的眼设备尝试拾取可视目标时，眼设备首先指向可视目标，然后头部旋转使得面向该可视目标。然后，眼设备进入将其视线保持在可视目标上的状态。在该状态中，头部面向可视目标，并且运动物体在与可视目标基本相对的位置上注视可视目标。一般而言，眼设备所拾取图像的模糊，在眼设备搜索可视目标期间的阶段不成问题，但是在眼设备进入在运动物体的头部指向可视目标的情况下，眼设备将其视线保持在可视目标上的稳定状态的阶段就成问题。所以，在这样一种状态中，即运动物体所处的位置与可视目标基本相对的情况下，眼设备紧密观察可视目标的状态中，要满足以下条件。[公式7]
Figure G2008800201624D00111
进一步，假定可视目标距运动物体足够远，即假定满足l1，li＞＞L，则可以将左和右眼设备的旋转角度近似如下。[公式8]
Figure G2008800201624D00113
θoe-l≈θoe-r所以，当使用公式7和8来近似公式6的校正表达式时，获得以下关系表达式。[公式9]
Figure G2008800201624D00121
Figure G2008800201624D00122
总结以上内容，在以下条件下，即在运动物体所处位置与可视目标相对的情况下，眼设备注视距离运动物体足够远的可视目标时，与运动物体在θ方向(俯仰旋转)和φ方向(横滚旋转)上的平移运动相关联的眼驱动部施加驱动的旋转运动的变化由以下关系表达式表达。[公式10]
Figure G2008800201624D00123
Figure G2008800201624D00124
即使在以上简化关系表达式下，也可能校正旋转运动，使得如在使用公式6的校正表达式的情况中，抵消与平移运动相关联发生的变化。也就是说，校正部将公式10的φ方向校正表达式提供给眼驱动部的水平方向眼运动控制系统，并将公式10的θ方向校正表达式提供给其垂直方向眼运动控制系统就已足够。
进一步，如可以从公式10理解的，为了校正φ方向上的变化，只需测量眼设备的横滚角度(φoe)，并且只需使用横滚角度和通过平移运动传感器仅测量y轴方向上的变化(dy/dt)所获取的数据，从而单轴加速度传感器就足够。进一步，为了校正θ方向上的变化，只须使用通过平移运动传感器仅测量z轴方向上的变化(dz/dt)所获取的数据，从而单轴加速度传感器将足够。
所以，在例如运动物体仅可以在水平方向上(在x-y平面上)移动的情况中，仅需校正眼驱动部所驱动的横滚方向的旋转运动，从而平移运动传感器测量y轴方向上的变化就已足够。进一步，在运动物体仅可以在垂直方向上(在x-z平面上)移动的情况中，仅需校正眼驱动部所驱动的俯仰方向的旋转运动，从而平移运动传感器测量z轴方向上的变化就已足够。在需要校正横滚和俯仰方向上的旋转运动的情况之中，平移运动传感器测量y轴和z轴方向上的变化就已足够。
如在图3和4中的情况一样，将参照图5和6描述将以上根据本发明的简化眼活动控制器应用于视线运动控制系统的情况，其中视线运动控制系统在日本PCT国家公开No.2006-502675中公开。图5是说明应用了根据本发明的简化眼活动控制器的视线运动控制系统的水平方向(横滚旋转)运动控制的框图，而图6是说明视线运动控制系统的垂直方向(俯仰旋转)运动控制的框图。
如图5所说明的，为了控制横滚旋转(φ方向)，通过将一个值输入到眼驱动部，即通过计算从左和右横滚编码器所获取的眼设备的当前横滚角度之间的差并将结果和y方向的平移加速度相乘所获得的值，就可能抵消与平移运动相关联发生的变化，从而防止图像模糊。
进一步，如图6所说明的，为了控制俯仰旋转(θ方向)，通过将一个值输入到眼驱动部，即通过计算从左和右横滚编码器所获取的眼设备的当前横滚角度之间的差并将结果和z方向的平移加速度相乘所获得的值，就可能抵消与平移运动相关联发生的变化，从而防止图像模糊。
如上所描述的，在简化的眼活动控制器之中，校正部仅包括加法器和乘法器就已足够。所以，校正部可以由简单的模拟电路所组成。这不仅增加了响应速率，也减少了制造成本。
如以上描述，为了校正横滚和俯仰旋转运动，可以对根据本发明的眼活动控制器进行配置，以测量与在所有x、y和z轴方向上的平移运动相关联发生的变化，或者更简单地，为了校正横滚和俯仰旋转运动，可以对眼活动控制器进行配置，以测量与在y和z轴方向上的平移运动相关联发生的变化。进一步，在运动物体仅在水平或垂直方向上移动的情况之中，可以对眼活动控制器进行配置，以测量与仅在y轴方向或z轴方向上的平移运动相关联发生的变化，从而仅校正横滚或俯仰旋转运动。
在将一对三轴加速度传感器用作平移运动传感器50，并在运动物体10中将其彼此分开放置的情况中，可能测量运动物体的旋转运动。也就是说，可以通过使用来自这对三轴加速度传感器的信号之间的差分信号获取运动物体的旋转角度。所以，校正部60可以使用运动物体的旋转角度来校正眼驱动部所驱动的旋转运动，使得不仅抵消其平移运动而且抵消其旋转运动，从而固定了可视目标的图像拾取位置。在这对三轴加速度传感器的情况之中，来自这对三轴加速度传感器的信号的和信号成为平移加速度。
为了测量运动物体10的旋转运动，可以在运动物体10之中设置陀螺仪，以测量将与运动物体的旋转运动相关联而改变的运动物体的旋转角度。在这种情况之中，校正部60可以使用运动物体的旋转角度来校正眼驱动部所驱动的旋转运动，使得抵消由陀螺仪所测量的与旋转运动相关联发生的变化，从而固定可视目标的图像拾取位置。
尽管在以上示例之中固定了可视目标，但是可以将根据本发明的眼活动控制器应用于可视目标移动的情况中。在可视目标移动的情况之中，使用将要被拾取的图像来执行视觉反馈。也就是说，在可视目标1移动的情况下，将要由眼设备20拾取的图像用于控制眼驱动部30，使得眼设备20跟随运动可视目标的运动。所以，即使在可视目标移动的情况中，通过图像拾取时的视觉反馈，也可能允许运动的可视目标始终处于图像之中的同一位置。即使在同一时间，运动对象平移移动，也可以由眼活动控制器进行校正，从而不造成图像模糊。
根据本发明的眼活动控制器不受限于以上在附图中说明的示例，而是可以在本发明精神的范围内进行多种修改。

Claims (9)

1.一种眼球运动控制器，用于防止由运动物体中提供的眼球设备所拾取的图像模糊，所述眼球运动控制器包括：
图像拾取部，用作眼球设备；
眼球驱动部，用于旋转所述图像拾取部，使得可视目标被包括在所述图像拾取部所拾取的图像之中；
距离信息获取部，用于获取关于从所述图像拾取部到所述可视目标的距离的信息；
平移运动传感器，用于测量由于所述运动物体的平移运动所引起的变化；以及
校正部，用于利用所述眼球驱动部所驱动的旋转运动，对所述平移运动进行校正，使得抵消所述平移运动传感器所测量的与所述平移运动相关联发生的变化，从而通过使用所获取的到所述可视目标的距离信息以及与所述平移运动相关联发生的变化，来固定所述可视目标的图像拾取位置。
2.根据权利要求1所述的眼球运动控制器，其中
所述眼球驱动部以至少包括横滚旋转的一个或多个自由度来旋转所述图像拾取部，
所述平移运动传感器测量所述图像拾取部在俯仰旋转轴方向(y轴方向)的变化，并且
所述校正部通过使用所测量的在所述y轴方向上的变化，来校正所述眼球驱动部所驱动的所述横滚旋转运动。
3.根据权利要求1或2所述的眼球运动控制器，其中
所述眼球驱动部以至少包括俯仰旋转的一个或多个自由度来旋转所述图像拾取部，
所述平移运动传感器测量所述图像拾取部在所述横滚旋转轴方向(z轴方向)的变化，并且
所述校正部通过使用所测量的在所述z轴方向上的变化，来校正所述眼球驱动部所驱动的所述俯仰旋转运动。
4.根据权利要求3所述的眼球运动控制器，其中
所述平移运动传感器测量在与所述y轴方向和z轴方向垂直的方向(x轴方向)上的变化，并且
所述校正部通过使用所测量的在所述x轴方向上的变化，来校正所述眼球驱动部所驱动的所述横滚旋转运动和所述俯仰旋转运动。
5.根据权利要求1到4任何一个所述的眼球运动控制器，其中
所述图像拾取部包括一对图像拾取设备，
所述眼球驱动部旋转所述一对图像拾取设备，使得所述可视目标处于由所述一对图像拾取设备所拾取的图像中的预定位置，并且
所述距离信息获取部包括用于测量所述一对图像拾取设备的旋转角度的旋转角度测量部，并使用在所述一对图像拾取设备之间的距离和其旋转角度。
6.根据权利要求1到5任何一个所述的眼球运动控制器，其中
所述平移运动传感器包括一对三轴加速度传感器。
7.根据权利要求6所述的眼球运动控制器，其中
所述平移运动传感器使用来自所述一对三轴加速度传感器的信号之间的差分信号来测量与所述运动物体的旋转运动相关联发生的变化，并且
所述校正部通过使用与所述旋转运动相关联发生的变化，来控制所述眼球驱动部，使得抵消由所述平移运动传感器所测量的与所述旋转运动相关联发生的变化，从而固定所述可视目标的图像拾取位置。
8.根据权利要求1到6任何一个所述的眼球运动控制器，进一步包括陀螺仪，所述陀螺仪测量与所述运动物体的旋转运动相关联发生的变化，
所述校正部通过使用与所述旋转运动相关联发生的变化，来控制所述眼球驱动部，使得抵消由所述陀螺仪所测量的与所述旋转运动相关联发生的变化，从而固定所述可视目标的图像拾取位置。
9.根据权利要求1到8任何一个所述的眼球运动控制器，进一步包括视觉反馈部，用于通过使用所述图像拾取部所拾取的图像，来控制所述眼球驱动部，使得所述图像拾取部跟随所述运动可视目标的运动。
CN200880020162.4A 2007-06-12 2008-06-06 使用前庭眼反射原理的眼活动控制器 Pending CN101731005A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007154612A JP4899217B2 (ja) 2007-06-12 2007-06-12 前庭動眼反射の原理を用いる眼球運動制御装置
JP154612/2007 2007-06-12
PCT/JP2008/001442 WO2008152791A1 (ja) 2007-06-12 2008-06-06 前庭動眼反射の原理を用いる眼球運動制御装置

Publications (1)

Publication Number Publication Date
CN101731005A true CN101731005A (zh) 2010-06-09

Family

ID=40129406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880020162.4A Pending CN101731005A (zh) 2007-06-12 2008-06-06 使用前庭眼反射原理的眼活动控制器

Country Status (5)

Country Link
US (1) US8253814B2 (zh)
EP (1) EP2157783B1 (zh)
JP (1) JP4899217B2 (zh)
CN (1) CN101731005A (zh)
WO (1) WO2008152791A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788094B2 (en) 2009-10-31 2014-07-22 Bi2-Vision Co. Cooperative control device
CN107292810A (zh) * 2016-03-30 2017-10-24 上海弼智仿生高科技有限公司 一种视觉系统的图像处理方法及系统
CN109108962A (zh) * 2017-06-23 2019-01-01 卡西欧计算机株式会社 机器人、机器人的控制方法以及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10231614B2 (en) 2014-07-08 2019-03-19 Wesley W. O. Krueger Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
US10716469B2 (en) 2013-01-25 2020-07-21 Wesley W. O. Krueger Ocular-performance-based head impact measurement applied to rotationally-centered impact mitigation systems and methods
US11504051B2 (en) 2013-01-25 2022-11-22 Wesley W. O. Krueger Systems and methods for observing eye and head information to measure ocular parameters and determine human health status
US10602927B2 (en) 2013-01-25 2020-03-31 Wesley W. O. Krueger Ocular-performance-based head impact measurement using a faceguard
US11490809B2 (en) 2013-01-25 2022-11-08 Wesley W. O. Krueger Ocular parameter-based head impact measurement using a face shield
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US9370302B2 (en) 2014-07-08 2016-06-21 Wesley W. O. Krueger System and method for the measurement of vestibulo-ocular reflex to improve human performance in an occupational environment
US12042294B2 (en) 2013-01-25 2024-07-23 Wesley W. O. Krueger Systems and methods to measure ocular parameters and determine neurologic health status
US11389059B2 (en) 2013-01-25 2022-07-19 Wesley W. O. Krueger Ocular-performance-based head impact measurement using a faceguard
CN105898122B (zh) * 2016-05-09 2018-08-31 中国兵器工业计算机应用技术研究所 一种光电感知系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002049067A (ja) * 2000-08-03 2002-02-15 Canon Inc 防振装置
US6658207B1 (en) * 2000-08-31 2003-12-02 Recon/Optical, Inc. Method of framing reconnaissance with motion roll compensation
CN1219397C (zh) * 2002-10-22 2005-09-14 张晓林 仿生型自动视觉和视线控制系统及方法
JP3832477B2 (ja) * 2004-06-21 2006-10-11 株式会社ニコン 手ぶれ補正機能を有するカメラ
JP2006343645A (ja) * 2005-06-10 2006-12-21 Canon Inc 像ぶれ補正装置、光学機器、カメラおよび撮影レンズ
JP2007017801A (ja) * 2005-07-08 2007-01-25 Sharp Corp 撮像光学系の手ぶれ補正装置
TW200840365A (en) * 2007-03-23 2008-10-01 Ind Tech Res Inst Motion-blur degraded image restoration method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788094B2 (en) 2009-10-31 2014-07-22 Bi2-Vision Co. Cooperative control device
CN107292810A (zh) * 2016-03-30 2017-10-24 上海弼智仿生高科技有限公司 一种视觉系统的图像处理方法及系统
CN107292810B (zh) * 2016-03-30 2020-01-24 上海弼智仿生高科技有限公司 一种视觉系统的图像处理方法及系统
CN109108962A (zh) * 2017-06-23 2019-01-01 卡西欧计算机株式会社 机器人、机器人的控制方法以及存储介质

Also Published As

Publication number Publication date
US20100295972A1 (en) 2010-11-25
EP2157783B1 (en) 2016-02-17
EP2157783A4 (en) 2010-10-27
WO2008152791A1 (ja) 2008-12-18
JP2008311690A (ja) 2008-12-25
EP2157783A1 (en) 2010-02-24
US8253814B2 (en) 2012-08-28
JP4899217B2 (ja) 2012-03-21

Similar Documents

Publication Publication Date Title
CN101731005A (zh) 使用前庭眼反射原理的眼活动控制器
US6686954B1 (en) Apparatus and method for correction of a deviation of digital camera
CN110236474B (zh) 一种主动式磁控胶囊机器人检测系统及检测方法
CN109079799B (zh) 一种基于仿生的机器人感知控制系统及控制方法
WO2016015232A1 (en) Systems and methods for payload stabilization
JP2017061032A (ja) 高機能遠隔マニピュレーターシステム
CN101612735B (zh) 移动机器人视觉系统防抖装置与防抖补偿控制方法
US20210323148A1 (en) Control device, control method, and control system
JPH07225405A (ja) 像振れ補正カメラ
JP2009241247A (ja) ステレオ画像型検出移動装置
EP1066793A3 (en) Motion analysis system
JP2006502675A (ja) 生物の眼球運動神経システムに基づいたバイオ型自動視覚と視線制御システム
CN105681674A (zh) 基于机械稳像和电子稳像的稳像方法及复合式稳像系统
CN109866201B (zh) 双目视觉系统、移动抓取机器人和自动取货方法
Milios et al. Design and performance of trish, a binocular robot head with torsional eye movements
CN101212570A (zh) 可拍照移动通讯终端
CN112797270A (zh) 一种两自由度云台的摄像头装置
WO2021117606A1 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
CN106817530B (zh) 一种防抖相机
WO2020116933A1 (ko) 구형 이동 장치 및 그 위에서 움직일 수 있는 제 2 장치를 포함하는 전자 장치, 및 제 2 장치의 자세 제어 방법
EP2395747A2 (en) Three-dimensional-camera lens system
Zufferey et al. Vision-based navigation from wheels to wings
WO2023136794A1 (en) Multi-axis camera stabilization system and operation method
Brooks et al. A high-performance camera platform for real-time active vision
CN213906781U (zh) 云台控制系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100609