CN103630116B - 图像采集定位方法及图像采集定位装置 - Google Patents

图像采集定位方法及图像采集定位装置 Download PDF

Info

Publication number
CN103630116B
CN103630116B CN201310470129.4A CN201310470129A CN103630116B CN 103630116 B CN103630116 B CN 103630116B CN 201310470129 A CN201310470129 A CN 201310470129A CN 103630116 B CN103630116 B CN 103630116B
Authority
CN
China
Prior art keywords
image
auxiliary object
eyes
user
location auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310470129.4A
Other languages
English (en)
Other versions
CN103630116A (zh
Inventor
黄伟才
杜琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201310470129.4A priority Critical patent/CN103630116B/zh
Priority to US14/787,257 priority patent/US10360450B2/en
Priority to PCT/CN2014/071135 priority patent/WO2015051605A1/zh
Publication of CN103630116A publication Critical patent/CN103630116A/zh
Application granted granted Critical
Publication of CN103630116B publication Critical patent/CN103630116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种图像采集定位方法及图像采集定位装置，所述方法包括：注视确认步骤，确认用户的眼睛正在注视定位辅助对象；眼睛拍摄步骤，对用户眼睛进行拍摄并获取用户相对于所述定位辅助对象的距离；图像采集步骤，采集包含所述定位辅助对象的图像；信息获取步骤，根据采集到的图像得到用户相对于定位辅助对象的方向信息以及所述定位辅助对象的位置信息；定位步骤，根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离以及方向信息得到用户的位置信息。本发明的方法及装置通过获取用户眼睛注视的定位辅助对象与用户之间的距离以及相对方向对用户相对于定位辅助对象的位置进行精确的定位，进而提高了图像采集定位的精度。

Description

图像采集定位方法及图像采集定位装置
技术领域
本发明涉及定位技术领域，尤其涉及一种图像采集定位方法及装置。
背景技术
定位技术已经得到了广泛的应用，比如全球定位系统（GlobalPositioningSystem，GPS）技术已经非常成熟，大量应用在导航等领域。但GPS的定位精度较低，而且在室内环境中信号弱，不适合室内应用。因此，近年来，产生了许多适用于室内环境、有别于GPS的定位方法、设备和系统。比如，利用电磁波（蓝牙、WIFI等）、声音、可见光等信号在空中传输产生的衰落及传输时延特性实现定位；也可能根据不同空间位置上的磁场分布的不同实现定位；还可以利用陀螺仪及加速度计跟踪物体及人的运行轨迹，推断物体及人体距某一确定位置的方位和距离；还可以根据照相机拍摄到的具有某些特征对象的图像来实现定位，其中该图像中的对象具有可以被识别的特征，并置于特定的位置，因此可以首先识别所拍摄的图像，然后根据该图像推断摄像装置所处的位置来实现定位。
由于目前具有照相功能的移动终端非常普及，而且实施简单，因此基于照相机拍摄图像的定位方法得到了很多的应用，比如公开号为US20120176491A1以及US20120209513A2的美国专利申请都分别提出了基于照相机拍摄图像进行定位的技术。
但是，基于照相机拍摄图像进行定位的一个最大的问题就是：照相机拍摄到某一图像时，照相机所处的位置并不能等同于所拍摄图像的位置。因此，确定所拍摄的图像的位置之后，还需要确定照相机与所拍摄图像之间的相对位置，否则定位精度将会降低。例如，在上述专利申请US20120176491A1公布的内容中提到了需要确定照相机与所拍摄图像之间的相对位置，但并没有给出具体的实施方法；而专利申请US20120209513A2公布的内容则只适用于较低精度的定位，不适用于室内定位的要求。
发明内容
本发明要解决的技术问题是：提供一种图像采集定位方法及装置，以提高图像采集定位的精度。
为实现上述目的，第一方面，本发明提供了一种图像采集定位方法，包括：
注视确认步骤，确认用户的眼睛正在注视定位辅助对象；
眼睛拍摄步骤，对用户眼睛进行拍摄并获取用户相对于所述定位辅助对象的距离；
图像采集步骤，采集包含所述定位辅助对象的图像；
信息获取步骤，根据采集到的图像得到用户相对于所述定位辅助对象的方向信息以及所述定位辅助对象的位置信息；
定位步骤，根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离以及方向信息得到用户的位置信息。
结合第一方面，在第二种可能的实现方式中，所述信息获取步骤包括：
向外部发送所述采集到的图像；
接收所述用户相对于所述定位辅助对象的方向信息和/或所述定位辅助对象的位置信息。
结合第一方面，在第三种可能的实现方式中，所述信息获取步骤包括：
对所述采集到的图像进行分析得到用户相对于定位辅助对象的方向信息。
结合第一方面的第二或第三种可能的实现方式，在第四种可能的实现方式中，所述方法还包括：
预存至少一幅确定方向下拍摄的包含所述定位辅助对象的图像；
所述信息获取步骤中，根据所述预存的图像对所述采集的图像进行分析，得到用户相对于定位辅助对象的方向信息。
结合第一方面的第二或第三或第四种可能的实现方式，在第五种可能的实现方式中，所述信息获取步骤包括：
识别采集到的图像中的所述定位辅助对象；
获取预存的所述定位辅助对象的位置信息。
结合第一方面、第一方面的第二至第五种可能的实现方式中的任一种，在第六种可能的实现方式中，所述眼睛拍摄步骤进一步包括：
眼底图像采集步骤，采集用户眼底的图像；
可调成像步骤，进行眼底图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
图像处理步骤，对采集到的眼底图像进行分析，得到与所述最清晰图像对应的所述眼底图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的距离。
结合第一方面的第六种可能的实现方式，在第七种可能的实现方式中，所述可调成像步骤包括：
调节所述眼底图像采集位置与眼睛之间光路上的光学器件的焦距和/或在光路上的位置。
结合第一方面的第六或第七种可能的实现方式，在第八种可能的实现方式中，所述可调成像步骤还包括：
分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述眼底图像采集位置。
结合第一方面的第六、第七或第八种可能的实现方式，在第九种可能的实现方式中，所述眼睛拍摄步骤还包括：向眼底投射光斑图案。
结合第一方面、第一方面的第二至第九种可能的实现方式中的任一种，在第十种可能的实现方式中，所述方法还包括：
对象引导步骤，引导用户注视所述定位辅助对象。
结合第一方面的第十种可能的实现方式，在第十一种可能的实现方式中，所述对象引导步骤进一步包括：
标记所述定位辅助对象。
结合第一方面的第十一种可能的实现方式，在第十二种可能的实现方式中，所述对象引导步骤进一步包括：
通过现实增强的方式标记所述定位辅助对象。
第二方面，本发明还提供了一种图像采集定位装置，包括：
注视确认模块，用于确认用户的眼睛正在注视定位辅助对象；
眼睛拍摄模块，用于对用户眼睛进行拍摄并获取用户相对于所述定位辅助对象的距离；
图像采集模块，用于采集包含所述定位辅助对象的图像；
信息获取模块，用于根据采集到的图像得到用户相对于所述定位辅助对象的方向信息以及所述定位辅助对象的位置信息；
定位模块，用于根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离以及方向信息得到用户的位置信息。
结合第二方面，在第二种可能的实现方式中，所述信息获取模块包括通信单元，用于：
向外部发送所述采集到的图像；
接收所述用户相对于所述定位辅助对象的方向信息和/或所述定位辅助对象的位置信息。
结合第二方面、或第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述信息获取模块包括：
图像分析单元，用于对所述采集到的图像进行分析得到用户相对于定位辅助对象的方向信息。
结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述装置还包括：
存储单元，用于预存至少一幅确定方向下拍摄的包含所述定位辅助对象的图像；
所述图像分析单元，根据所述预存的图像对所述采集的图像进行分析，得到用户相对于定位辅助对象的方向信息。
结合第二方面、第二方面的第二或第三种可能的实现方式，在第五种可能的实现方式中，所述信息获取模块包括：
对象识别单元，用于识别采集到的图像中的定位辅助对象；
对象信息获取单元，用于获取预存的所述定位辅助对象的位置信息。
结合第二方面、第二方面的第二至第五种可能的实现方式中的任一种，在第六种可能的实现方式中，所述眼睛拍摄模块进一步包括：
眼底图像采集单元，用于采集用户眼底的图像；
可调成像单元，用于进行眼底图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
图像处理单元，用于对采集到的眼底图像进行分析，得到与所述最清晰图像对应的所述眼底图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的距离。
结合第二方面的第六种可能的实现方式，在第七种可能的实现方式中，所述可调成像单元包括：
可调透镜器件，其自身成像参数可调和/或在所述眼底图像采集单元与眼睛之间光路上的位置可调。
结合第二方面的第六或第七种可能的实现方式，在第八种可能的实现方式中，所述可调成像单元还包括：
曲面分光器件，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述眼底图像采集单元。
结合第二方面的第六或第七或第八种可能的实现方式，在第九种可能的实现方式中，所述眼睛拍摄模块还包括：
投射单元，用于向眼底投射光斑图案。
结合第二方面、第二方面的第二至第九种可能的实现方式中的任一种，在第十种可能的实现方式中，所述装置还包括：
对象引导模块，用于引导用户注视所述定位辅助对象。
结合第二方面的第十种可能的实现方式，在第十一种可能的实现方式中，所述对象引导模块进一步包括：
对象标记单元，用于标记所述定位辅助对象。
结合第二方面的第十一种可能的实现方式，在第十二种可能的实现方式中，所述对象标记单元包括：
现实增强标记子单元，用于通过现实增强的方式标记所述定位辅助对象。
结合第二方面、第二方面的第二至第十二种可能的实现方式中的任一种，在第十三种可能的实现方式中，所述装置为可穿戴设备。
结合第二方面、第二方面的第二至第十三种可能的实现方式中的任一种，在第十四种可能的实现方式中，所述装置为智能眼镜。
本发明实施例的方法及装置通过获取用户眼睛注视的定位辅助对象与用户之间的距离以及相对方向对用户相对于定位辅助对象的位置进行精确的定位，进而提高了图像采集定位的精度。
附图说明
图1为本发明实施例的一种图像采集定位方法的步骤流程图；
图2a为本发明实施例的一种图像采集定位方法使用的光斑图案示意图；
图2b为本发明实施例的一种图像采集定位方法拍摄到的具有光斑图案的眼底图像示意图；
图3为本发明实施例的一种图像采集定位装置的结构示意框图；
图4为本发明实施例的另一种图像采集定位装置的结构示意框图；
图5a为本发明实施例的一种眼睛拍摄装置的结构示意框图；
图5b为本发明实施例的另一种眼睛拍摄装置的结构示意框图；
图5c为本发明实施例的一种眼睛拍摄装置眼睛成像的光路示意图；
图5d为本发明实施例的一种眼睛拍摄装置根据系统已知成像参数和眼睛的光学参数得到眼睛注视点位置的示意图；
图6为本发明实施例的一种眼睛拍摄装置应用在眼镜上的示意图；
图7为本发明实施例的另一种眼睛拍摄装置应用在眼镜上的示意图；
图8为本发明实施例的一种图像采集定位装置的结构示意图。
具体实施方式
本发明的方法及装置结合附图及实施例详细说明如下。
通过图像采集的方法进行定位的方式中，通过事先选取一些定位辅助对象，所述定位辅助对象可以是在固定位置的普通物体（如一个花瓶），也可以是一些具有特别标识的物体（如二维码图像），对定位辅助对象的位置进行标定并存储，在用户对位置信息已知的定位辅助对象进行拍照时，识别出图像中的定位辅助对象并获得所述定位辅助对象的位置信息来对用户的位置进行定位。但是由于所述定位辅助对象的位置一般并不是用户拍照的位置，所以直接将所述定位辅助对象的位置作为用户的位置的定位方法精确度较低。因此，还需要对用户相对于定位辅助对象的位置进行精确的定位，进而得到用户的精确位置。如图1所示，本发明实施例提供了一种图像采集定位方法，包括：
S110：注视确认步骤，确认用户的眼睛正在注视定位辅助对象；
S120：眼睛拍摄步骤，对用户眼睛进行拍摄并获取用户相对于所述定位辅助对象的距离；
S130：图像采集步骤，采集包含所述定位辅助对象的图像；
S140：信息获取步骤，根据采集到的图像得到用户相对于定位辅助对象的方向信息以及所述定位辅助对象的位置信息；
S150：定位步骤，根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离以及方向信息得到用户的位置信息。
在本发明实施例中，一方面通过确认用户的眼睛注视定位辅助对象，根据所述眼睛注视点比较精确地获得用户相对于所述定位辅助对象的距离；另一方面通过采集的包含所述定位辅助对象的图像获得用户相对于所述定位辅助对象方向以及所述定位辅助对象的位置信息；最后根据获得的数据计算得到用户的位置信息。根据本发明实施例的方法可以对用户相对于定位辅助对象的位置进行精确的定位，进而提高了图像采集定位的精度。
在本发明实施例的一种可能的实施方式中，所述注视确认步骤S110可以通过多种方法确认用户是否在注视定位辅助对象。例如，根据眼睛和眼球中心几何参数的变化确认；或者基于眼底成像的特征确认（这两种确认方式为现有技术），然后再根据用户的视线方向确定用户是否注视的是所述定位辅助对象。例如通过李素梅等人在《光电子·激光》第15卷第10期2004年10月发表的“基于SVM实现人眼注视与否的探知”一文中记载的方法判断用户是否注视所述定位辅助对象。
为了帮助用户留意到所述定位辅助对象并注视它，在本发明实施例的一种可能的实施方式中，所述方法还包括：
对象引导步骤，引导用户注视所述定位辅助对象。
例如，在一种可能的实施方式中，通过对定位辅助对象进行标记的方式来引导用户注视所述定位辅助对象。例如在物体上通过文字或特殊的符号来提醒用户知道该物体为定位辅助对象；又例如通过在定位辅助对象上设置信号发送装置，在该定位辅助对象附近可以接收到该信号，进而引导用户注视所述定位辅助对象。
此外，在一种可能的情况下，用户可以通过现实增强的方式标记所述定位辅助对象，引导用户注视所述定位辅助对象，例如，可以通过智能眼镜等在视野里对定位辅助对象（比如粘贴于固定位置上的二维码图案、固定位置上放置的物体）通过现实增强的方式提供一些提示，引导人眼的焦点落在所述定位辅助对象上。
在本发明实施例的一种可能的实施方式中，所述眼睛拍摄步骤S120对用户眼睛进行拍摄并获取用户相对于所述定位辅助对象的距离的方法有多种。例如包括以下方法中的一种：
i）采用一个瞳孔方向检测器检测一个眼睛的光轴方向、再通过一个深度传感器（如红外测距）得到眼睛注视场景中各对象的深度信息，根据与所述眼睛光轴方向对应的用户的视线方向，可以确定在所述眼睛注视场景中用户注视的对象，该技术为已有技术，本实施方式中不再赘述。本发明实施例根据所述注视场景中对象的深度信息就可以得到用户相对于所述定位辅助对象的距离。
ii）分别检测两眼的光轴方向，再根据所述两眼光轴方向得到用户两眼视线方向，通过所述两眼视线方向的交点得到眼睛视线的注视点相对于用户的位置，该技术也为已有技术，此处不再赘述。本发明实施例可以根据所述眼睛视线的注视点相对于用户的位置，通过几何计算就可以得到用户相对于所述定位辅助对象的距离。
iii）根据采集到眼睛的成像面呈现的最清晰图像时眼底图像采集设备与眼睛之间光路的光学参数以及眼睛的光学参数，得到所述眼睛视线的注视点相对于用户的距离，本发明实施例会在下面给出该方法的详细过程，此处不再赘述。
当然，本领域的技术人员可以知道，除了上述几种形式的方法外，其它可以用于检测用户眼睛注视点相对于用户的距离的方法也可以用于本发明实施例的方法中。
其中，通过第iii）种方法检测用户当前的注视点位置包括：
S121：眼底图像采集步骤，采集用户眼底的图像；
S122：可调成像步骤，进行眼底图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
S123：图像处理步骤，对采集到的图像进行分析，得到与所述最清晰图像对应的所述眼底图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的距离。
本实施例通过对眼睛眼底的图像进行分析处理，得到采集到最清晰图像时眼睛的光学参数，同时获取此时对应的光路的成像参数，从而计算得到视线当前的对焦点相对于用户的距离。
这里的“眼底”呈现的图像主要为在视网膜上呈现的图像，其可以为眼底自身的图像，或者可以为投射到眼底的其它物体的图像，例如下面提到的光斑图案。
在步骤S122中，通过对眼睛与眼底图像采集位置之间的光路上的光学器件的焦距和/或在光路中的位置进行调节，可在该光学器件在某一个位置或状态时获得眼底最清晰的图像。该调节可为连续实时地调节。
在本发明实施例方法的一种可能的实施方式中，该光学器件可为焦距可调透镜，用于通过调整该光学器件自身的折射率和/或形状完成其焦距的调整。具体为：1）通过调节焦距可调透镜的至少一面的曲率来调节焦距，例如在双层透明层构成的空腔中增加或减少液体介质来调节焦距可调透镜的曲率；2）通过改变焦距可调透镜的折射率来调节焦距，例如焦距可调透镜中填充有特定液晶介质，通过调节液晶介质对应电极的电压来调整液晶介质的排列方式，从而改变焦距可调透镜的折射率。
在本发明实施例的方法的另一种可能的实施方式中，该光学器件可为：透镜组，用于通过调节透镜组中透镜之间的相对位置完成透镜组自身焦距的调整。或者，所述透镜组中的一片或多片透镜为上面所述的焦距可调透镜。
除了上述两种通过光学器件自身的特性来改变系统的成像参数以外，还可以通过调节光学器件在光路上的位置来改变系统的成像参数。
此外，在本发明实施例的方法中，步骤S123进一步包括：
S1231：对在步骤S121中采集到的图像进行分析，找到最清晰的图像；
S1232：根据所述最清晰的图像、以及得到所述最清晰图像时已知的成像参数计算眼睛的光学参数。
步骤S122中的调整使得能够采集到最清晰的图像，但是需要通过步骤S123来找到该最清晰的图像，根据所述最清晰的图像以及已知的光路参数就可以通过计算得到眼睛的光学参数。
在本发明实施例的方法中，步骤S123中还可包括：
S1233：向眼底投射光斑。所投射的光斑可以没有特定图案仅用于照亮眼底。所投射的光斑还可为包括特征丰富的图案的光斑图案。图案的特征丰富可以便于检测，提高检测精度。如图2a所示为一个光斑图案200的示例图，该图案可以由光斑图案生成器形成，例如毛玻璃；图2b所示为在有光斑图案200投射时采集到的眼底的图像。
为了不影响眼睛的正常观看，优选的，所述光斑为眼睛不可见的红外光斑。此时，为了减小其它光谱的干扰：可进行滤除投射的光斑中除了眼睛不可见光透射滤镜之外的光的步骤。
相应地，本发明实施的方法还可包括步骤：
S1234：根据步骤S1231分析得到的结果，控制投射光斑亮度。该分析结果例如包括步骤S121采集到的图像的特性，包括图像特征的反差以及纹理特征等。
需要说明的是，控制投射光斑亮度的一种特殊的情况为开始或停止投射，例如观察者持续注视一点时可以周期性停止投射；观察者眼底足够明亮时可以停止投射，利用眼底信息来检测眼睛当前视线对焦点到眼睛的距离。
此外，还可以根据环境光来控制投射光斑亮度。
优选地，在本发明实施例的方法中，步骤S123还包括：
S1235：进行眼底图像的校准，获得至少一个与眼底呈现的图像对应的基准图像。具言之，将采集到的图像与所述基准图像进行对比计算，获得所述最清晰的图像。这里，所述最清晰的图像可以为获得的与所述基准图像差异最小的图像。在本实施方式的方法中，可以通过现有的图像处理算法计算当前获得的图像与基准图像的差异，例如使用经典的相位差值自动对焦算法。
本发明实施例在步骤S1232中所得到的眼睛的光学参数可包括根据采集到所述最清晰图像时眼睛的特征得到的眼睛光轴方向（本发明实施例的下述描述中，所述眼睛光轴方向为眼睛光轴相对于用户某一参考面的方向，例如相对于用户正前方的方向），该光轴方向可以用于下面所述的图像采集步骤对图像采集方向的调整过程中，当然如果不需要对图像采集方向进行调整的话，可以不用获取该光轴方向。这里眼睛的特征可以是从所述最清晰图像上获取的，或者也可以是另外获取的。眼睛光轴方向与眼睛视线注视的方向对应。具言之，可根据得到所述最清晰图像时眼底的特征得到眼睛光轴方向。通过眼底的特征来确定眼睛光轴方向精确度更高。
在向眼底投射光斑图案时，光斑图案的大小有可能大于眼底可视区域或小于眼底可视区域，其中：
当光斑图案的面积小于等于眼底可视区域时，可以利用经典特征点匹配算法（例如尺度不变特征转换（ScaleInvariantFeatureTransform，SIFT）算法）通过检测图像上的光斑图案相对于眼底位置来确定眼睛光轴方向。
当光斑图案的面积大于等于眼底可视区域时，可以通过得到的图像上的光斑图案相对于原光斑图案（通过图像校准获得）的位置来确定眼睛光轴方向确定观察者视线方向。
在本发明实施例的方法的另一种可能的实施方式中，还可根据得到所述最清晰图像时眼睛瞳孔的特征得到眼睛光轴方向。这里眼睛瞳孔的特征可以是从所述最清晰图像上获取的，也可以是另外获取的。通过眼睛瞳孔特征得到眼睛光轴方向为已有技术，此处不再赘述。
此外，在本发明实施例的方法中，还可包括对眼睛光轴方向的校准步骤，以便更精确的进行上述眼睛光轴方向的确定。
在本发明实施例的方法中，所述眼睛与眼底图像采集位置之间光路的成像参数包括固定的成像参数和实时成像参数，其中实时成像参数为获取最清晰图像时所述光学器件的参数信息，该参数信息可以在获取所述最清晰图像时实时记录得到。
在得到眼睛当前的光学参数之后，就可以结合计算得到的眼睛对焦点到用户眼睛的距离（具体过程将结合装置部分详述）。
在本发明实施例的一种可能的实施方式中，所述图像采集步骤S130采集包含所述定位辅助对象的图像时，所述图像采集方向可以是正对所述定位辅助对象的，也可以是以一定斜角采集的。
为了保证用户采集的图像中包含所述定位辅助对象，进一步的还为了便于对图像中所述定位辅助对象的识别，在本发明实施例的一种可能的实施方式中，可以根据上面记载的眼睛的光轴方向调整图像采集的方向。例如在一些实施方式中，根据所述眼睛的光轴方向得到用户的视线相对于用户的方向（以下简称用户的视线方向），并且将所述图像采集方向调节成与用户的视线方向一致，以用户眼睛所注视的对象为中心进行图像采集，从而使得之后对图像中定位辅助对象的识别更加方便。
在本发明实施例中，所述信息获取步骤S140根据采集到的图像获取用户相对于定位辅助对象的方向信息以及所述定位辅助对象的位置信息的方法有多种。例如：
在一种可能的实施方式中，所述信息获取步骤包括：
向外部发送所述采集到的图像；
接收所述用户相对于定位辅助对象的方向信息和/或所述定位辅助对象的位置信息。
例如通过外部的定位服务器来获得所述用户相对于定位辅助对象的方向信息、或所述定位辅助对象的位置信息，或者所述用户相对于定位辅助对象的方向信息和所述定位辅助对象的位置信息。
其中，在定位服务器中存储有至少一幅确定方向下拍摄的包含所述定位辅助对象的图像或所述定位辅助对象的位置信息，或同时存储有上述的包含所述定位辅助对象的图像和所述定位辅助对象的位置信息。
具言之，本发明实施例的方法向外部的定位服务器发送所述采集到的图像，所述定位服务器接收到所述采集到的图像后，在存储的图像库（图像库中包括：与采集到的图像中的定位辅助对象对应的图像，以及与其他定位辅助对象对应的图像）中寻找一张最匹配的图像。
在需要获取定位辅助对象的位置信息时，定位服务器根据该最匹配的图像可以获得与采集图像中的定位辅助对象相应的位置信息，所述定位服务器再将该位置信息返回给用户侧，例如发送到用户随身携带的智能设备中。
在需要获取用户相对于定位辅助对象的方向信息时：
在一种可能的实施方式中，定位服务器根据所述采集的图像对所述最匹配的图像进行旋转分析，直到与所采集的图像最吻合为止，根据所述预存的图像的拍摄角度以及所述旋转角度，可以得到所述图像采集位置相对于所述定位辅助对象的方向。由于图像采集位置一般就在用户附近（例如用户通过相机、智能眼镜、手机等便携设备进行图像采集），因此，所述图像采集位置可以看成是用户所在的位置；或者，为了使得定位更加精确，可以根据图像采集位置获得用户的位置。
在另一种可能的实施方式中，所述预存和采集到的图像中包含的定位辅助对象有多个（或者包含一个定位辅助对象和其它对象），根据预存图像和采集到的图像中多个定位辅助对象之间的位置变化可以得到所述图像采集方向，进而获取用户相对于定位辅助对象的方向信息。
在又一种可能的实施方式中，所述预存的图像为当前场景的全景图像（例如博物馆内的全景图），根据预存的全景图像与采集的图像进行分析，就可以得到图像的采集方向（该方法为现有技术，此处不再赘述）。
当然，本领域的技术人员可以知道，除了上面所述的方法外，还可以通过其它方法图像分析的方法获取用户相对于定位辅助对象的方向信息。
除了上述通过外部的定位服务器来获得所述用户相对于定位辅助对象的方向信息和/或所述定位辅助对象的位置信息外，还可以在本地预存所述图像，并对所述采集的图像进行分析得到所述用户相对于定位辅助对象的方向信息和/或所述定位辅助对象的位置信息。具言之，在一种可能的实施方式中，所述信息获取步骤S140包括：
对所述采集到的图像进行分析得到用户相对于定位辅助对象的方向信息。
所述方法包括：预存至少一幅确定方向下拍摄的包含所述定位辅助对象的图像。
在所述信息获取步骤S140中，根据所述预存的图像对所述采集的图像进行分析，得到用户相对于定位辅助对象的方向信息。
在一种可能的实施方式中所述信息获取步骤包括：
识别采集到的图像中的定位辅助对象；
获取预存的所述定位辅助对象的位置信息。
上述在本地进行的图像分析与在定位服务器侧进行的图像分析基本类似，这里不再赘述。
通过步骤S120和步骤S130获得了根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离以及用户相对于所述定位辅助对象的方向信息后，本发明实施例还包括定位步骤S150，根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离以及方向信息通过数学计算就可以得到用户的位置信息。
在本发明实施例的一些可能的实施方式中，考虑到在眼睛的视线方向与水平面有一定夹角时，会影响定位结果的精确度，因此本发明的方法还可以例如通过三维方向传感器或图像处理的方法确定所述夹角后，对定位结果做一定程度的修正，使得定位结果更加精确。
应理解，在本发明的各种实施例中，上述各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
如图3所示，本发明实施例还提供了一种图像采集定位装置300，包括：
注视确认模块310，用于确认用户的眼睛正在注视定位辅助对象；
眼睛拍摄模块320，用于对用户眼睛进行拍摄并获取用户相对于所述定位辅助对象的距离；
图像采集模块330，用于采集包含所述定位辅助对象的图像；
信息获取模块340，用于根据采集到的图像得到用户相对于定位辅助对象的方向信息以及所述定位辅助对象的位置信息；
定位模块350，用于根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离以及方向信息得到用户的位置信息。
在本发明实施例中，一方面通过注视确认模块310确认用户的眼睛注视定位辅助对象，根据所述眼睛注视点比较精确地获得用户相对于所述定位辅助对象的距离；另一方面通过采集的包含所述定位辅助对象的图像获得用户相对于所述定位辅助对象方向以及所述定位辅助对象的位置信息；最后定位模块350根据获得的数据计算得到用户的位置信息。根据本发明实施例的装置可以对用户相对于定位辅助对象的位置进行精确的定位，进而提高了图像采集定位的精度。
在本发明实施例中，所述注视确认模块310可以为多种用于确认用户是否在注视定位辅助对象的结构中的任一种。例如，根据眼睛和眼球中心几何参数的变化确认用户是否注视对象的结构；或者基于眼底成像的特征确认用户是否注视对象的机构（这两种结构为现有技术），然后再根据用户的视线方向确定用户是否注视的是所述定位辅助对象。
如图4所示，为了帮助用户留意到所述定位辅助对象并注视它，在本发明实施例的一种可能的实施方式中，所述装置300还包括：
对象引导模块360，用于引导用户注视所述定位辅助对象。
本实施例对象引导模块360功能的按照图1所示的方法实施例中对应描述实现，本实施例中不再赘述。
在一种可能的实施方式中，所述对象引导模块360进一步包括：
对象标记单元，用于标记所述定位辅助对象。
在本发明实施例的一种可能的实施方式中，所述装置300有可能为具有混合现实功能的便携或可穿戴设备，例如可以为智能眼镜。在本发明实施例一种可能的实施方式中，所述对象标记单元包括：
现实增强标记子单元，用于通过现实增强的方式标记所述定位辅助对象。
例如在通过智能眼镜实时拍摄的包含所述定位辅助对象的画面上，通过高亮显示、显示图标或文字等现实增强的方式标记所述定位辅助对象。该单元按照图1所示的方法实施例中对应描述实现其功能，这里不再赘述。
在本发明实施例中，所述眼睛拍摄模块320对用户眼睛进行拍摄并获取用户相对于所述定位辅助对象的距离的方式可以为图1所示的方法实施例中所提到的i）至iii）中的任一种或多种。其中，在本发明实施例的装置中采用检测精度较高的iii）方式，相应地，所述眼睛拍摄模块可以为下面图5a-图5d、图6、图7所示的眼睛拍摄装置中的任一种。
当然，本领域的技术人员可以知道，除了上述几种形式的眼睛拍摄模块外，其它可以用于对用户眼睛进行拍摄并获取用户相对于所述定位辅助对象的距离的装置也可以用于本发明实施例的装置中。
下面对上述iii）种方式的眼睛拍摄模块进行进一步的描述：
在本发明实施例的一种可能的实施方式中，所述眼睛拍摄模块包括：
眼底图像采集单元，采集用户眼底的图像；
可调成像单元，进行眼底图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
图像处理单元，对采集到的眼底图像进行分析，得到与所述最清晰图像对应的所述眼底图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的距离。
在本发明实施例的一种可能的实施方式中，所述可调成像单元包括：
可调透镜器件，自身成像参数可调和/或在所述眼底图像采集单元与眼睛之间光路上的位置可调。
在本发明实施例的一种可能的实施方式中，所述可调成像单元还包括：
曲面分光器件，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述眼底图像采集单元。
在本发明实施例的一种可能的实施方式中，所述眼睛拍摄模块还包括：
投射单元，用于向眼底投射光斑图案。
下面通过图5a-图5d、图6、图7对应的实施方式来进一步描述眼睛拍摄装置，所述眼睛拍摄装置可以作为本发明实施例装置中的眼睛拍摄模块实现其功能。
如图5a所示，在本发明实施例的一种可能的实施方式中，所述眼睛拍摄装置500包括：
眼底图像采集设备510，用于采集眼睛眼底呈现的图像；
可调成像设备520，用于进行所述眼底图像采集设备510与眼睛之间光路的成像参数的调节以使得所述眼底图像采集设备得到最清晰的图像；
图像处理设备530，用于对所述眼底图像采集设备510得到的图像进行分析，得到所述最清晰图像时所述眼底图像采集设备510与眼睛之间光路的成像参数以及眼睛的光学参数，并计算得到眼睛的注视点相对于用户的距离。
本实施方式的眼睛拍摄装置500通过对眼睛眼底的图像进行分析处理，得到所述眼底图像采集设备获得最清晰图像时眼睛的光学参数，就可以计算得到眼睛当前的注视点就相对于用户的距离。
这里的“眼底”呈现的图像主要为在视网膜上呈现的图像，其可以为眼底自身的图像，或者可以为投射到眼底的其它物体的图像。这里的眼睛可以为人眼，也可以为其它动物的眼睛。
如图5b所示，本发明实施例的一种可能的实施方式中，所述眼底图像采集设备510为微型摄像头，在本发明实施例的另一种可能的实施方式中，所述眼底图像采集设备510还可以直接使用感光成像器件，如CCD或CMOS等器件。
在本发明实施例的一种可能的实施方式中，所述可调成像设备520包括：可调透镜器件521，位于眼睛与所述眼底图像采集设备510之间的光路上，自身焦距可调和/或在光路中的位置可调。通过该可调透镜器件521，使得从眼睛到所述眼底图像采集设备510之间的系统等效焦距可调，通过可调透镜器件521的调节，使得所述眼底图像采集设备510在可调透镜器件521的某一个位置或状态时获得眼底最清晰的图像。在本实施方式中，所述可调透镜器件521在检测过程中连续实时的调节。
优选地，在本发明实施例的一种可能的实施方式中，所述可调透镜器件521为：焦距可调透镜，用于通过调节自身的折射率和/或形状完成自身焦距的调整。具体为：1）通过调节焦距可调透镜的至少一面的曲率来调节焦距，例如在双层透明层构成的空腔中增加或减少液体介质来调节焦距可调透镜的曲率；2）通过改变焦距可调透镜的折射率来调节焦距，例如焦距可调透镜中填充有特定液晶介质，通过调节液晶介质对应电极的电压来调整液晶介质的排列方式，从而改变焦距可调透镜的折射率。
在本发明实施例的另一种可能的实施方式中，所述可调透镜器件521包括：多片透镜构成的透镜组，用于调节透镜组中透镜之间的相对位置完成透镜组自身焦距的调整。所述透镜组中也可以包括自身焦距等成像参数可调的透镜。
除了上述两种通过调节可调透镜器件521自身的特性来改变眼睛拍摄装置的光路参数以外，还可以通过调节所述可调透镜器件521在光路上的位置来改变眼睛拍摄装置的光路参数。
优选地，在本发明实施例的一种可能的实施方式中，为了不影响用户对观察对象的观看体验，并且为了使得眼睛拍摄装置可以便携应用在穿戴式设备上，所述可调成像设备520还包括：分光单元522，用于形成眼睛和观察对象之间、以及眼睛和眼底图像采集设备510之间的光传递路径。这样可以对光路进行折叠，减小眼睛拍摄装置的体积，同时尽可能不影响用户的其它视觉体验。
优选地，在本实施方式中，所述分光单元522包括：第一分光单元，位于眼睛和观察对象之间，用于透射观察对象到眼睛的光，传递眼睛到眼底图像采集设备的光。
所述第一分光单元可以为分光镜、分光光波导（包括光纤）或其它适合的分光设备。
在本发明实施例的一种可能的实施方式中，所述眼睛拍摄装置的图像处理设备530包括光路校准模块，用于对眼睛拍摄装置的光路进行校准，例如进行光路光轴的对齐校准等，以保证测量的精度。
在本发明实施例的一种可能的实施方式中，所述图像处理设备530包括：
图像分析模块531，用于对所述眼底图像采集设备得到的图像进行分析，找到最清晰的图像；
参数计算模块532，用于根据所述最清晰的图像、以及得到所述最清晰图像时系统已知的成像参数计算眼睛的光学参数。
在本实施方式中，通过可调成像设备520使得所述眼底图像采集设备510可以得到最清晰的图像，但是需要通过所述图像分析模块531来找到该最清晰的图像，此时根据所述最清晰的图像以及系统已知的光路参数就可以通过计算得到眼睛的光学参数。这里眼睛的光学参数可以包括眼睛的光轴方向。
在本发明实施例的一种可能的实施方式中，优选地，所述眼睛拍摄装置还包括：投射设备540，用于向眼底投射光斑。在一个可能的实施方式中，可以通过微型投影仪来视线该投射设备的功能。
这里投射的光斑可以没有特定图案仅用于照亮眼底。
在在本发明实施例优选的一种实施方式中，所述投射的光斑包括特征丰富的图案。图案的特征丰富可以便于检测，提高检测精度。如图2a所示为一个光斑图案200的示例图，该图案可以由光斑图案生成器形成，例如毛玻璃；图2b所示为在有光斑图案200投射时拍摄到的眼底的图像。
为了不影响眼睛的正常观看，优选的，所述光斑为眼睛不可见的红外光斑。
此时，为了减小其它光谱的干扰：
所述投射设备的出射面可以设置有眼睛不可见光透射滤镜。
所述眼底图像采集设备的入射面设置有眼睛不可见光透射滤镜。
优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：
投射控制模块534，用于根据图像分析模块得到的结果，控制所述投射设备的投射光斑亮度。
例如所述投射控制模块534可以根据眼底图像采集设备510得到的图像的特性自适应调整亮度。这里图像的特性包括图像特征的反差以及纹理特征等。
这里，控制所述投射设备的投射光斑亮度的一种特殊的情况为打开或关闭投射设备，例如用户持续注视一点时可以周期性关闭所述投射设备；用户眼底足够明亮时可以关闭发光源只利用眼底信息来检测眼睛当前视线注视点到眼睛的距离。
此外，所述投射控制模块534还可以根据环境光来控制投射设备的投射光斑亮度。
优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：图像校准模块533，用于进行眼底图像的校准，获得至少一个与眼底呈现的图像对应的基准图像。
所述图像分析模块531将眼底图像采集设备530得到的图像与所述基准图像进行对比计算，获得所述最清晰的图像。这里，所述最清晰的图像可以为获得的与所述基准图像差异最小的图像。在本实施方式中，通过现有的图像处理算法计算当前获得的图像与基准图像的差异，例如使用经典的相位差值自动对焦算法。
优选地，在本发明实施例的一种可能的实施方式中，所述参数计算模块532包括：
眼睛光轴方向确定单元5321，用于根据得到所述最清晰图像时眼睛的特征得到眼睛光轴方向。
这里眼睛的特征可以是从所述最清晰图像上获取的，或者也可以是另外获取的。眼睛光轴方向与眼睛视线注视的方向对应。
优选地，在本发明实施例的一种可能的实施方式中，所述眼睛光轴方向确定单元5321包括：第一确定子单元，用于根据得到所述最清晰图像时眼底的特征得到眼睛光轴方向。与通过瞳孔和眼球表面的特征得到眼睛光轴方向相比，通过眼底的特征来确定眼睛光轴方向精确度更高。
在向眼底投射光斑图案时，光斑图案的大小有可能大于眼底可视区域或小于眼底可视区域，在这两种情况下获取眼睛光轴方向的方法见图1所示的方法实施例中的对应描述。
在本发明实施例的另一种可能的实施方式中，所述眼睛光轴方向确定单元5321包括：第二确定子单元，用于根据得到所述最清晰图像时眼睛瞳孔的特征得到眼睛光轴方向。这里眼睛瞳孔的特征可以是从所述最清晰图像上获取的，也可以是另外获取的。通过眼睛瞳孔特征得到眼睛光轴方向为已有技术，此处不再赘述。
优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：眼睛光轴方向校准模块535，用于进行眼睛光轴方向的校准，以便更精确的进行上述眼睛光轴方向的确定。
在本发明图像采集定位装置中，光轴方向可以用于所述的图像采集模块对图像采集方向的调整过程中，当然如果不需要对图像采集方向进行调整的话，可以不用获取该光轴方向，所述眼底图像拍摄装置500可以不用具备所述眼睛光轴方向确定单元和眼睛光轴方向校准模块。
在本发明实施例的方法中，所述眼睛与眼底图像采集位置之间光路的成像参数包括固定的成像参数和实时成像参数，其中实时成像参数为获取最清晰图像时所述光学器件的参数信息，该参数信息可以在获取所述最清晰图像时实时记录得到。
在得到眼睛当前的光学参数之后，就可以计算得到眼睛注视点到用户的距离，具体为：
图5c所示为眼睛成像示意图，结合经典光学理论中的透镜成像公式，由图5c可以得到公式(1)：
1 d o + 1 d e = 1 f e - - - ( 1 )
其中do和de分别为眼睛当前观察对象5010和视网膜上的实像5020到眼睛等效透镜5030的距离，fe为眼睛等效透镜5030的等效焦距，X为眼睛的视线方向（可以由所述眼睛的光轴方向得到）。
图5d所示为根据系统已知光学参数和眼睛的光学参数得到眼睛注视点到眼睛的距离的示意图，图5d中光斑5040通过可调透镜器件521会成一个虚像（图5d中未示出），假设该虚像距离透镜距离为x（图5d中未示出），结合公式(1)可以得到如下方程组：
1 d p - 1 x = 1 f p 1 d i + x + 1 d e = 1 f e - - - ( 2 )
其中dp为光斑5040到可调透镜器件521的光学等效距离，di为可调透镜器件521到眼睛等效透镜5030的光学等效距离，fp为可调透镜器件521的焦距值，di为所述眼睛等效透镜5030到可调透镜器件521的距离。
由(1)和(2)可以得出当前观察对象5010（眼睛注视点）到眼睛等效透镜5030的距离do如公式(3)所示：
d o = d i + d p · f p f p - d p - - - ( 3 )
根据上述计算得到的观察对象5010到眼睛的距离，又由于之前的记载可以得到眼睛光轴方向，则可以轻易得到眼睛的注视点位置，为后续与眼睛相关的进一步交互提供了基础。
如图6所示为本发明实施例的一种可能的实施方式的眼睛拍摄装置600应用在眼镜400上的实施例，其包括图5b所示实施方式的记载的内容，具体为：由图6可以看出，在本实施方式中，在眼镜400右侧（不局限于此）集成了本实施方式的装置600，其包括：
微型摄像头610，其作用与图5b实施方式中记载的眼底图像采集设备相同，为了不影响用户正常观看对象的视线，其被设置于眼镜400右外侧；
第一分光镜620，其作用与图5b实施方式中记载的第一分光单元相同，以一定倾角设置于眼睛A注视方向和摄像头610入射方向的交点处，透射观察对象进入眼睛A的光以及反射眼睛到摄像头610的光；
焦距可调透镜630，其作用与图5b实施方式中记载的焦距可调透镜相同，位于所述第一分光镜620和摄像头610之间，实时进行焦距值的调整，使得在某个焦距值时，所述摄像头610能够拍到眼底最清晰的图像。
在本实施方式中，所述图像处理设备在图6中未表示出，其功能与图5b所示的图像处理设备相同。
由于一般情况下，眼底的亮度不够，因此，最好对眼底进行照明，在本实施方式中，通过一个发光源640来对眼底进行照明。为了不影响用户的体验，这里优选的发光源640为眼睛不可见光，优选对眼睛A影响不大并且摄像头610又比较敏感的近红外光发光源。
在本实施方式中，所述发光源640位于右侧的眼镜架外侧，因此需要通过一个第二分光镜650与所述第一分光镜620一起完成所述发光源640发出的光到眼底的传递。本实施方式中，所述第二分光镜650又位于摄像头610的入射面之前，因此其还需要透射眼底到第二分光镜650的光。
可以看出，在本实施方式中，为了提高用户体验和提高摄像头610的采集清晰度，所述第一分光镜620优选地可以具有对红外反射率高、对可见光透射率高的特性。例如可以在第一分光镜620朝向眼睛A的一侧设置红外反射膜实现上述特性。
由图6可以看出，由于在本实施方式中，所述眼睛拍摄装置600位于眼镜400的镜片远离眼睛A的一侧，因此进行眼睛光学参数进行计算时，可以将镜片也看成是眼睛A的一部分，此时不需要知道镜片的光学特性。
在本发明实施例的其它实施方式中，所述眼睛拍摄装置600可能位于眼镜400的镜片靠近眼睛A的一侧，此时，需要预先得到镜片的光学特性参数，并在计算注视点距离时，考虑镜片的影响因素。
本实施例中发光源640发出的光通过第二分光镜650的反射、焦距可调透镜630的投射、以及第一分光镜620的反射后再透过眼镜400的镜片进入用户眼睛，并最终到达眼底的视网膜上；摄像头610经过所述第一分光镜620、焦距可调透镜630以及第二分光镜650构成的光路透过眼睛A的瞳孔拍摄到眼底的图像。
如图7所示为本发明实施例的另一种实施方式眼睛拍摄装置700的结构示意图。由图7可以看出，本实施方式与图6所示的实施方式相似，包括微型摄像头710、第二分光镜720、焦距可调透镜730，不同之处在于，在本实施方式中的投射设备740为投射光斑图案的投射设备740，并且通过一个曲面分光镜750作为曲面分光器件取代了图6实施方式中的第一分光镜。
这里采用了曲面分光镜750分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到眼底图像采集设备。这样摄像头可以拍摄到眼球各个角度混合叠加的成像，但由于只有通过瞳孔的眼底部分能够在摄像头上清晰成像，其它部分会失焦而无法清晰成像，因而不会对眼底部分的成像构成严重干扰，眼底部分的特征仍然可以检测出来。因此，与图6所示的实施方式相比，本实施方式可以在眼睛注视不同方向时都能很好的得到眼底的图像，使得本实施方式的眼睛拍摄装置适用范围更广，检测精度更高。
在本发明实施例的一种可能的实施方式中，所述图像采集模块330，可以为例如智能眼镜上的摄像头，或者还可以为便于用户随身携带的设备上的摄像模块。
所述为了保证图像采集模块330采集的图像中包含所述定位辅助对象，或者便于对图像中所述定位辅助对象的识别，在本发明实施例的一种可能的实施方式中，所述图像采集定位装置还可以包括一图像采集方向调整模块，用于根据上面记载的眼睛的光轴方向调整图像采集的方向。例如在一些实施方式中，根据所述眼睛的光轴方向得到用户的视线相对于用户的方向，并且将所述图像采集方向调节成与用户的视线方向一致，以用户眼睛所注视的对象为中心进行图像采集，从而使得之后对图像中定位辅助对象的识别更加方便。
在本发明实施例一种可能的实施方式中，所述信息获取模块340包括通信单元，用于：
向外部发送所述采集到的图像；
接收所述用户相对于定位辅助对象的方向信息和/或所述定位辅助对象的位置信息。
其中，外部定位服务器对所采集的图像进行分析处理，获得所述用户相对于定位辅助对象的方向信息和/或所述定位辅助对象的位置信息的方法见图1所示的方法实施例中的对应描述，此处不再赘述。
在本发明实施例的另一种可能的实施方式中，所述信息获取模块340包括：
图像分析单元，用于对所述采集到的图像进行分析得到用户相对于定位辅助对象的方向信息。
在本发明实施例的另一种可能的实施方式中，所述装置还包括：
存储单元，用于预存至少一幅确定方向下拍摄的包含所述定位辅助对象的图像；
所述图像分析单元，根据所述预存的图像对所述采集的图像进行分析，得到用户相对于定位辅助对象的方向信息。
在本发明实施例的另一种可能的实施方式中，所述信息获取模块340包括：
对象识别单元，用于识别采集到的图像中的定位辅助对象；
对象信息获取单元，用于获取预存的所述定位辅助对象的位置信息。
上述信息获取模块340的各单元按照上述方法实施例中的对应描述实施其功能，这里不再赘述。
在本发明实施例的一种可能的实施方式中，所述装置为智能眼镜。由于智能眼镜的摄像头与用户的眼睛非常靠近，基本可以认为摄像头拍到的图像为用户眼睛视野中应该出现的图像，并且也不用进行图像采集位置与用户位置之间的校正，使得对用户的定位更加自然、精确度更高。
图8为本发明实施例提供的又一种图像采集定位装置800的结构示意图，本发明具体实施例并不对图像采集定位装置800的具体实现做限定。如图8所示，该图像采集定位装置800可以包括：
处理器(processor)810、通信接口(CommunicationsInterface)820、存储器(memory)830、以及通信总线840。其中：
处理器810、通信接口820、以及存储器830通过通信总线840完成相互间的通信。
通信接口820，用于与比如客户端等的网元通信。
处理器810，用于执行程序832，具体可以执行上述图1所示的方法实施例中的相关步骤。
具体地，程序832可以包括程序代码，所述程序代码包括计算机操作指令。
处理器810可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecificIntegratedCircuit），或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器830，用于存放程序832。存储器830可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory），例如至少一个磁盘存储器。程序832具体可以包括：
注视确认模块，用于确认用户的眼睛正在注视定位辅助对象；
眼睛拍摄模块，用于对用户眼睛进行拍摄并获取用户相对于所述定位辅助对象的距离；
图像采集模块，用于采集包含所述定位辅助对象的图像；
信息获取模块，用于根据采集到的图像得到用户相对于定位辅助对象的方向信息以及所述定位辅助对象的位置信息；
定位模块，用于根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离以及方向信息得到用户的位置信息。
程序832中各单元的具体实现可以参见图3至图7所示实施例中的相应单元，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本发明实施例的装置通过获取用户眼睛注视的定位辅助对象与用户之间的距离以及相对方向对用户相对于定位辅助对象的位置进行精确的定位，进而提高了图像采集定位的精度。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (24)

1.一种图像采集定位方法，其特征在于，包括：
注视确认步骤，确认用户的眼睛正在注视定位辅助对象；
眼睛拍摄步骤，对用户眼睛进行拍摄并获取用户相对于所述定位辅助对象的距离；
图像采集步骤，采集包含所述定位辅助对象的图像；
信息获取步骤，根据采集到的图像得到用户相对于所述定位辅助对象的方向信息以及所述定位辅助对象的位置信息；
定位步骤，根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离以及方向信息得到用户的位置信息；
其中，所述眼睛拍摄步骤进一步包括：
眼底图像采集步骤，采集用户眼底的图像；
可调成像步骤，进行眼底图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
图像处理步骤，对采集到的眼底图像进行分析，得到与所述最清晰图像对应的所述眼底图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的距离。
2.如权利要求1所述的方法，其特征在于，所述信息获取步骤包括：
向外部发送所述采集到的图像；
接收所述用户相对于所述定位辅助对象的方向信息和/或所述定位辅助对象的位置信息。
3.如权利要求1所述的方法，其特征在于，所述信息获取步骤包括：
对所述采集到的图像进行分析得到用户相对于定位辅助对象的方向信息。
4.如权利要求3所述的方法，其特征在于，所述方法还包括：
预存至少一幅确定方向下拍摄的包含所述定位辅助对象的图像；
所述信息获取步骤中，根据所述预存的图像对所述采集的图像进行分析，得到用户相对于定位辅助对象的方向信息。
5.如权利要求1所述的方法，其特征在于，所述信息获取步骤包括：
识别采集到的图像中的所述定位辅助对象；
获取预存的所述定位辅助对象的位置信息。
6.如权利要求1所述的方法，其特征在于，所述可调成像步骤包括：
调节所述眼底图像采集位置与眼睛之间光路上的光学器件的焦距和/或在光路上的位置。
7.如权利要求1所述的方法，其特征在于，所述可调成像步骤还包括：
分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述眼底图像采集位置。
8.如权利要求1所述的方法，其特征在于，所述眼睛拍摄步骤还包括：向眼底投射光斑图案。
9.如权利要求1所述的方法，其特征在于，所述方法还包括：
对象引导步骤，引导用户注视所述定位辅助对象。
10.如权利要求9所述的方法，其特征在于，所述对象引导步骤进一步包括：
标记所述定位辅助对象。
11.如权利要求10所述的方法，其特征在于，所述对象引导步骤进一步包括：
通过现实增强的方式标记所述定位辅助对象。
12.一种图像采集定位装置，其特征在于，包括：
注视确认模块，用于确认用户的眼睛正在注视定位辅助对象；
眼睛拍摄模块，用于对用户眼睛进行拍摄并获取用户相对于所述定位辅助对象的距离；
图像采集模块，用于采集包含所述定位辅助对象的图像；
信息获取模块，用于根据采集到的图像得到用户相对于所述定位辅助对象的方向信息以及所述定位辅助对象的位置信息；
定位模块，用于根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离以及方向信息得到用户的位置信息；
其中，所述眼睛拍摄模块进一步包括：
眼底图像采集单元，用于采集用户眼底的图像；
可调成像单元，用于进行眼底图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
图像处理单元，用于对采集到的眼底图像进行分析，得到与所述最清晰图像对应的所述眼底图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的距离。
13.如权利要求12所述的装置，其特征在于，所述信息获取模块包括通信单元，用于：
向外部发送所述采集到的图像；
接收所述用户相对于所述定位辅助对象的方向信息和/或所述定位辅助对象的位置信息。
14.如权利要求12所述的装置，其特征在于，所述信息获取模块包括：
图像分析单元，用于对所述采集到的图像进行分析得到用户相对于定位辅助对象的方向信息。
15.如权利要求14所述的装置，其特征在于，所述装置还包括：
存储单元，用于预存至少一幅确定方向下拍摄的包含所述定位辅助对象的图像；
所述图像分析单元，根据所述预存的图像对所述采集的图像进行分析，得到用户相对于定位辅助对象的方向信息。
16.如权利要求12所述的装置，其特征在于，所述信息获取模块包括：
对象识别单元，用于识别采集到的图像中的定位辅助对象；
对象信息获取单元，用于获取预存的所述定位辅助对象的位置信息。
17.如权利要求12所述的装置，其特征在于，所述可调成像单元包括：
可调透镜器件，其自身成像参数可调和/或在所述眼底图像采集单元与眼睛之间光路上的位置可调。
18.如权利要求12所述的装置，其特征在于，所述可调成像单元还包括：
曲面分光器件，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述眼底图像采集单元。
19.如权利要求12所述的装置，其特征在于，所述眼睛拍摄模块还包括：
投射单元，用于向眼底投射光斑图案。
20.如权利要求12所述的装置，其特征在于，所述装置还包括：
对象引导模块，用于引导用户注视所述定位辅助对象。
21.如权利要求20所述的装置，其特征在于，所述对象引导模块进一步包括：
对象标记单元，用于标记所述定位辅助对象。
22.如权利要求21所述的装置，其特征在于，所述对象标记单元包括：
现实增强标记子单元，用于通过现实增强的方式标记所述定位辅助对象。
23.如权利要求12或22所述的装置，其特征在于，所述装置为可穿戴设备。
24.如权利要求23所述的装置，其特征在于，所述装置为智能眼镜。
CN201310470129.4A 2013-10-10 2013-10-10 图像采集定位方法及图像采集定位装置 Active CN103630116B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310470129.4A CN103630116B (zh) 2013-10-10 2013-10-10 图像采集定位方法及图像采集定位装置
US14/787,257 US10360450B2 (en) 2013-10-10 2014-01-22 Image capturing and positioning method, image capturing and positioning device
PCT/CN2014/071135 WO2015051605A1 (zh) 2013-10-10 2014-01-22 图像采集定位方法及图像采集定位装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310470129.4A CN103630116B (zh) 2013-10-10 2013-10-10 图像采集定位方法及图像采集定位装置

Publications (2)

Publication Number Publication Date
CN103630116A CN103630116A (zh) 2014-03-12
CN103630116B true CN103630116B (zh) 2016-03-23

Family

ID=50211407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310470129.4A Active CN103630116B (zh) 2013-10-10 2013-10-10 图像采集定位方法及图像采集定位装置

Country Status (3)

Country Link
US (1) US10360450B2 (zh)
CN (1) CN103630116B (zh)
WO (1) WO2015051605A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9857934B2 (en) 2013-06-16 2018-01-02 Jammit, Inc. Synchronized display and performance mapping of musical performances submitted from remote locations
CN104156069B (zh) * 2014-08-15 2017-04-12 北京智谷睿拓技术服务有限公司 对象拾取方法、对象拾取装置及用户设备
US10162412B2 (en) * 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
CN105635561A (zh) * 2015-07-31 2016-06-01 宇龙计算机通信科技(深圳)有限公司 一种图像获取系统及方法
CN105528577B (zh) * 2015-12-04 2019-02-12 深圳大学 基于智能眼镜的识别方法
CN106441268B (zh) * 2016-08-30 2019-09-10 西安小光子网络科技有限公司 一种基于光标签的定位方法
US11003916B2 (en) * 2017-11-03 2021-05-11 Toyota Research Institute, Inc. Systems and methods for object historical association
CN108648238B (zh) * 2018-04-25 2021-09-14 深圳市商汤科技有限公司 虚拟角色驱动方法及装置、电子设备和存储介质
GB2574064B (en) * 2018-05-25 2020-05-27 Imetrum Ltd Motion encoder
CN110334579B (zh) * 2019-05-06 2021-08-03 北京七鑫易维信息技术有限公司 一种虹膜识别图像确定方法、装置、终端设备及存储介质
US11054659B2 (en) * 2019-11-07 2021-07-06 Htc Corporation Head mounted display apparatus and distance measurement device thereof
CN110930455B (zh) * 2019-11-29 2023-12-29 深圳市优必选科技股份有限公司 定位方法、装置、终端设备及存储介质
CN113095108B (zh) * 2019-12-23 2023-11-10 中移物联网有限公司 一种疲劳驾驶检测方法及装置
CN112702533B (zh) * 2020-12-28 2022-08-19 维沃移动通信有限公司 视线修正方法及视线修正装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101677762A (zh) * 2008-02-28 2010-03-24 松下电器产业株式会社 视线检测装置以及视线检测方法
CN102706344A (zh) * 2012-06-08 2012-10-03 中兴通讯股份有限公司 定位处理方法及装置
CN103134489A (zh) * 2013-01-29 2013-06-05 北京凯华信业科贸有限责任公司 基于移动终端进行目标定位的方法
CN103353305A (zh) * 2013-06-13 2013-10-16 张砚炳 基于手机传感器的室内定位方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09159449A (ja) 1995-12-04 1997-06-20 Hitachi Commun Syst Inc 測量方法
US6396461B1 (en) * 1998-08-05 2002-05-28 Microvision, Inc. Personal display with vision tracking
CN1124470C (zh) 2000-12-08 2003-10-15 中国科学院紫金山天文台 方位的精确测定方法
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
CN103557859B (zh) * 2013-10-10 2015-12-23 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101677762A (zh) * 2008-02-28 2010-03-24 松下电器产业株式会社 视线检测装置以及视线检测方法
CN102706344A (zh) * 2012-06-08 2012-10-03 中兴通讯股份有限公司 定位处理方法及装置
CN103134489A (zh) * 2013-01-29 2013-06-05 北京凯华信业科贸有限责任公司 基于移动终端进行目标定位的方法
CN103353305A (zh) * 2013-06-13 2013-10-16 张砚炳 基于手机传感器的室内定位方法及系统

Also Published As

Publication number Publication date
CN103630116A (zh) 2014-03-12
US20160110600A1 (en) 2016-04-21
US10360450B2 (en) 2019-07-23
WO2015051605A1 (zh) 2015-04-16

Similar Documents

Publication Publication Date Title
CN103557859B (zh) 图像采集定位方法及图像采集定位系统
CN103630116B (zh) 图像采集定位方法及图像采集定位装置
CN103475893B (zh) 三维显示中对象的拾取装置及三维显示中对象的拾取方法
CN103431840B (zh) 眼睛光学参数检测系统及方法
CN103604412B (zh) 定位方法及定位装置
CN103605208A (zh) 内容投射系统及方法
CN103558909A (zh) 交互投射显示方法及交互投射显示系统
US10002293B2 (en) Image collection with increased accuracy
CN106716223B (zh) 采用可切换衍射光栅的波导眼睛跟踪
CN103424891B (zh) 成像装置及方法
US10334235B2 (en) Binocular see-through AR head-mounted display device and information display method therefor
JP2019527377A (ja) 視線追跡に基づき自動合焦する画像捕捉システム、デバイス及び方法
CN103163663B (zh) 估计观众所戴一副眼镜中矫正镜片的屈光度的方法和设备
CN103500331A (zh) 提醒方法及装置
CN103530623B (zh) 信息观察方法及信息观察装置
JP2015142383A (ja) 両眼光学拡張現実システムの範囲較正
EP3413165B1 (en) Wearable system gesture control method and wearable system
CN104154898B (zh) 一种主动测距方法及系统
CN105354825A (zh) 自动识别读写场景中读物位置的智能装置及其应用
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
CN105354822A (zh) 自动识别读写场景中读写元素位置的智能装置及应用
CN106412400A (zh) 基于可见光及近红外的仿生视觉成像系统及其调焦方法
CN106919928A (zh) 手势识别系统、方法及显示设备
CN103616998A (zh) 用户信息获取方法及用户信息获取装置
US20240135586A1 (en) Calibration method of a portable electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant