CN103557859A - 图像采集定位方法及图像采集定位系统 - Google Patents

图像采集定位方法及图像采集定位系统 Download PDF

Info

Publication number
CN103557859A
CN103557859A CN201310470130.7A CN201310470130A CN103557859A CN 103557859 A CN103557859 A CN 103557859A CN 201310470130 A CN201310470130 A CN 201310470130A CN 103557859 A CN103557859 A CN 103557859A
Authority
CN
China
Prior art keywords
user
eyes
image
auxiliary object
location auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310470130.7A
Other languages
English (en)
Other versions
CN103557859B (zh
Inventor
黄伟才
杜琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201310470130.7A priority Critical patent/CN103557859B/zh
Priority to US14/888,070 priority patent/US10247813B2/en
Priority to PCT/CN2014/071137 priority patent/WO2015051606A1/zh
Publication of CN103557859A publication Critical patent/CN103557859A/zh
Application granted granted Critical
Publication of CN103557859B publication Critical patent/CN103557859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/32—Measuring distances in line of sight; Optical rangefinders by focusing the object, e.g. on a ground glass screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/287—Systems for automatic generation of focusing signals including a sight line detecting device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种图像采集定位方法及图像采集定位系统，所述方法包括：参考方向获取步骤，获取与用户对应的参考方向；注视确认步骤，确认用户的眼睛正在注视定位辅助对象；对象信息获取步骤，获取所述定位辅助对象的位置信息；距离获取步骤，获取用户相对于所述定位辅助对象的距离；角度获取步骤，获取用户视线方向相对于所述参考方向的角度；定位步骤，根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离、所述参考方向、以及用户视线方向相对于所述参考方向的角度得到用户的位置信息。本发明通过获取用户眼睛注视的定位辅助对象与用户之间的距离以及相对方向对用户的位置进行精确的定位，提高了图像采集定位的精度。

Description

图像采集定位方法及图像采集定位系统
技术领域
本发明涉及定位技术领域，尤其涉及一种图像采集定位方法及系统。
背景技术
定位技术已经得到了广泛的应用，比如全球定位系统（GlobalPositioning System，GPS）技术已经非常成熟，大量应用在导航等领域。但GPS的定位精度较低，而且在室内环境中信号弱，不适合室内应用。因此，近年来，产生了许多适用于室内环境、有别于GPS的定位方法、设备和系统。比如，利用电磁波（蓝牙、WIFI等）、声音、可见光等信号在空中传输产生的衰落及传输时延特性实现定位；也可能根据不同空间位置上的磁场分布的不同实现定位；还可以利用陀螺仪及加速度计跟踪物体及人的运行轨迹，推断物体及人体距某一确定位置的方位和距离；还可以根据照相机拍摄到的具有某些特征对象的图像来实现定位，其中该图像中的对象具有可以被识别的特征，并置于特定的位置，因此可以首先识别所拍摄的图像，然后根据该图像推断摄像装置所处的位置来实现定位。
由于目前具有照相功能的移动终端非常普及，而且实施简单，因此基于照相机拍摄图像的定位方法得到了很多的应用，比如公开号为US20120176491A1以及US20120209513A2的美国专利申请都分别提出了基于照相机拍摄图像进行定位的技术。
但是，基于照相机拍摄图像进行定位的一个最大的问题就是：照相机拍摄到某一图像时，照相机所处的位置并不能等同于所拍摄图像的位置。因此，确定所拍摄的图像的位置之后，还需要确定照相机与所拍摄图像之间的相对位置，否则定位精度将会降低。例如，在上述专利申请US20120176491A1公布的内容中提到了需要确定照相机与所拍摄图像之间的相对位置，但并没有给出具体的实施方法；而专利申请US20120209513A2公布的内容则只适用于较低精度的定位，不适用于室内定位的要求。
发明内容
本发明要解决的技术问题是：提供一种图像采集定位方法及系统，以提高图像采集定位的精度。
为实现上述目的，第一方面，本发明提供了一种图像采集定位方法，包括：
参考方向获取步骤，获取与用户对应的参考方向；
注视确认步骤，确认用户的眼睛正在注视定位辅助对象；
对象信息获取步骤，获取所述定位辅助对象的位置信息；
距离获取步骤，获取用户相对于所述定位辅助对象的距离；
角度获取步骤，获取用户视线方向相对于所述参考方向的角度；
定位步骤，根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离、所述参考方向、以及用户视线方向相对于所述参考方向的角度得到用户的位置信息。
结合第一方面，在第二种可能的实现方式中，所述参考方向获取步骤进一步包括：
通过方向传感器获取与用户对应的参考方向。
结合第一方面、或第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述方法还包括：
图像采集步骤，采集包含所述定位辅助对象的图像；
所述对象信息获取步骤，根据采集到的图像得到所述定位辅助对象的位置信息。
结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述对象信息获取步骤包括：
向外部发送所述采集到的图像；
接收所述定位辅助对象的位置信息。
结合第一方面的第三种可能的实现方式，在第五种可能的实现方式中，所述对象信息获取步骤包括：
识别采集到的图像中的所述定位辅助对象；
获取预存的所述定位辅助对象的位置信息。
结合第一方面、第一方面的第二至第五种可能的实现方式，在第六种可能的实现方式中，所述距离获取步骤包括：
眼睛拍摄步骤，用于在确认用户的眼睛正在注视定位辅助对象时，对用户眼睛进行拍摄来获取用户相对于所述定位辅助对象的距离。
结合第一方面的第六种可能的实现方式，在第七种可能的实现方式中，所述眼睛拍摄步骤进一步包括：
眼底图像采集步骤，采集用户眼底的图像；
可调成像步骤，进行眼底图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
图像处理步骤，对采集到的眼底图像进行分析，得到与所述最清晰图像对应的所述眼底图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的距离。
结合第一方面的第七种可能的实现方式，在第八种可能的实现方式中，所述可调成像步骤包括：
调节所述眼底图像采集位置与眼睛之间光路上的光学器件的焦距和/或在光路上的位置。
结合第一方面的第七或第八种可能的实现方式，在第九种可能的实现方式中，所述可调成像步骤还包括：
分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述眼底图像采集位置。
结合第一方面的第七、第八或第九种可能的实现方式，在第十种可能的实现方式中，所述眼睛拍摄步骤还包括：向眼底投射光斑图案。
结合第一方面的第七至第十种可能的实现方式中的任一种，在第十一种可能的实现方式中，所述方法还包括：获取用户的视线方向。
结合第一方面的第十一种可能的实现方式，在第十二种可能的实现方式中，所述眼睛的光学参数包括用户的视线方向。
结合第一方面、第一方面的第二至第十二种可能的实现方式中的任一种，在第十三种可能的实现方式中，所述方法还包括：
对象引导步骤，引导用户注视所述定位辅助对象。
结合第一方面的第十三种可能的实现方式，在第十四种可能的实现方式中，所述对象引导步骤进一步包括：
标记所述定位辅助对象。
结合第一方面的第十四种可能的实现方式，在第十五种可能的实现方式中，所述对象引导步骤进一步包括：
通过现实增强的方式标记所述定位辅助对象。
第二方面，本发明还提供了一种图像采集定位系统，包括：
参考方向获取模块，用于获取与用户对应的参考方向；
注视确认模块，用于确认用户的眼睛正在注视定位辅助对象；
对象信息获取模块，用于获取所述定位辅助对象的位置信息；
距离获取模块，用于获取用户相对于所述定位辅助对象的距离；
角度获取模块，用于获取用户视线方向相对于所述参考方向的角度；
定位模块，用于根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离、所述参考方向、以及用户视线方向相对于所述参考方向的角度得到用户的位置信息。
结合第二方面，在第二种可能的实现方式中，所述参考方向获取模块进一步包括：
方向传感器，用于获取与用户对应的参考方向。
结合第二方面或第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述系统还包括：
图像采集模块，用于采集包含所述定位辅助对象的图像；
所述对象信息获取模块，根据采集到的图像得到所述定位辅助对象的位置信息。
结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述对象信息获取模块包括通信单元，用于：
向外部发送所述采集到的图像；
接收所述定位辅助对象的位置信息。
结合第二方面的第三种可能的实现方式，在第五种可能的实现方式中，所述对象信息获取模块包括：
对象识别单元，用于识别采集到的图像中的所述定位辅助对象；
预存信息获取单元，获取预存的所述定位辅助对象的位置信息。
结合第二方面、第二方面的第二至第五种可能的实现方式中的任一种，在第六种可能的实现方式中，所述距离获取模块包括：
眼睛拍摄模块，用于在确认用户的眼睛正在注视定位辅助对象时，对用户眼睛进行拍摄来获取用户相对于所述定位辅助对象的距离。
结合第二方面的第六种可能的实现方式，在第七种可能的实现方式中，所述眼睛拍摄模块进一步包括：
眼底图像采集单元，采集用户眼底的图像；
可调成像单元，进行眼底图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
图像处理单元，对采集到的眼底图像进行分析，得到与所述最清晰图像对应的所述眼底图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的距离。
结合第二方面的第七种可能的实现方式，在第八种可能的实现方式中，所述可调成像单元包括：
可调透镜器件，其自身成像参数可调和/或在所述眼底图像采集单元与眼睛之间光路上的位置可调。
结合第二方面的第七或第八种可能的实现方式，在第九种可能的实现方式中，所述可调成像单元还包括：
曲面分光器件，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述图像采集单元。
结合第二方面的第七或第八或第九种可能的实现方式，在第十种可能的实现方式中，所述眼睛拍摄模块还包括：
投射单元，用于向眼底投射光斑图案。
结合第二方面的第七至第十种可能的实现方式中的任一种，在第十一种可能的实现方式中，所述系统还包括：
视线方向获取单元，用于获取用户的视线方向。
结合第二方面的第十一种可能的实现方式，在第十二种可能的实现方式中，所述视线方向获取单元的功能与所述眼睛拍摄模块的功能由同一设备实现；
所述图像处理单元得到的眼睛的光学参数包括用户的视线方向。
结合第二方面、第二方面的第二至第十二种可能的实现方式的任一种，在第十三种可能的实现方式中，所述系统还包括：
对象引导模块，用于引导用户注视所述定位辅助对象。
结合第二方面的第十三种可能的实现方式，在第十四种可能的实现方式中，所述对象引导模块进一步包括：
对象标记单元，用于标记所述定位辅助对象。
结合第二方面的第十四种可能的实现方式，在第十五种可能的实现方式中，所述对象标记单元包括：
现实增强标记子单元，用于通过现实增强的方式标记所述定位辅助对象。
结合第二方面、第二方面的第二至第十五种可能的实现方式的任一种，在第十六种可能的实现方式中，所述系统为可穿戴设备。
结合第二方面、第二方面的第二至第十六种可能的实现方式的任一种，在第十七种可能的实现方式中，所述系统为智能眼镜。
本发明实施例的方法及系统通过获取用户眼睛注视的定位辅助对象与用户之间的距离以及相对方向对用户的位置进行精确的定位，进而提高了图像采集定位的精度。
附图说明
图1为本发明实施例的一种图像采集定位方法的步骤流程图；
图2a为本发明实施例的一种图像采集定位方法使用的光斑图案示意图；
图2b为本发明实施例的一种图像采集定位方法拍摄到的具有光斑图案的眼底图像示意图；
图3为本发明实施例的一种图像采集定位方法的应用示意图；
图4为本发明实施例的一种图像采集定位系统的结构示意框图；
图5a为本发明实施例的一种眼睛拍摄装置的结构示意框图；
图5b为本发明实施例的另一种眼睛拍摄装置的结构示意框图；
图5c为本发明实施例的一种眼睛拍摄装置眼睛成像的光路示意图；
图5d为本发明实施例的一种眼睛拍摄装置根据系统已知成像参数和眼睛的光学参数得到眼睛注视点位置的示意图；
图6为本发明实施例的一种眼睛拍摄装置应用在眼镜上的示意图；
图7为本发明实施例的另一种眼睛拍摄装置应用在眼镜上的示意图；
图8为本发明实施例的另一种图像采集定位系统的结构示意图。
具体实施方式
本发明的方法及装置结合附图及实施例详细说明如下。
通过图像采集的方法进行定位的方式中，通过事先选取一些定位辅助对象，所述定位辅助对象可以是在固定位置的普通物体（如一个花瓶），也可以是一些具有特别标识的物体（如二维码图像），对定位辅助对象的位置进行标定并存储，在用户对位置信息已知的定位辅助对象进行拍照时，识别出图像中的定位辅助对象并获得所述定位辅助对象的位置信息来对用户的位置进行定位。但是由于所述定位辅助对象的位置一般并不是用户拍照的位置，所以直接将所述定位辅助对象的位置作为用户的位置的定位方法精确度较低。因此，还需要对用户相对于定位辅助对象的位置进行精确的定位，进而得到用户的精确位置。如图1所示，本发明实施例提供了一种图像采集定位方法，包括：
S110：参考方向获取步骤，获取与用户对应的参考方向；
S120：注视确认步骤，确认用户的眼睛正在注视定位辅助对象；
S130：对象信息获取步骤，获取所述定位辅助对象的位置信息；
S140：距离获取步骤，获取用户相对于所述定位辅助对象的距离；
S150：角度获取步骤，获取用户视线方向相对于所述参考方向的角度；
S160：定位步骤，根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离、所述参考方向、以及用户视线方向相对于所述参考方向的角度得到用户的位置信息。
在本发明实施例的以下描述中，所述“参考方向”指的是地理方向，例如东、南、西、北等方向。与用户对应的参考方向为与用户的某一个相对方向对应的地理方向，例如，与用户的正前方对应的地理方向，此时获取与用户对应的参考方向即为：获取与用户的正前方对应的地理方向。
在本发明实施例的以下描述中，所述“用户视线方向”为用户的视线相对于用户的方向。例如，例如用户视线方向为用户的正前方方向顺时针转动30度的方向。
本发明实施例通过获取用户眼睛注视的定位辅助对象与用户之间的距离以及相对方向对用户相对于定位辅助对象的位置进行精确的定位，进而提高了图像采集定位的精度。
在本发明实施例的一种可能的实施方式中，所述参考方向获取步骤S110进一步包括：
通过方向传感器获取与用户对应的参考方向。
所述方向传感器例如可以包括罗盘，其通过地磁或恒星的位置来确定所述参考方向。
优选地，在本发明实施例的一种可能的实施方式中，所述罗盘为电子罗盘，其设置在用户随身携带的便携电子设备（如手机、平板电脑）或可穿戴设备（如智能手表、智能眼镜）上，获取所述与用户对应的参考方向。在一种情况下，所述罗盘指示的方向与用户的相对方向是固定的，例如在智能眼镜上设置一个电子罗盘，其获得的地理方向为智能眼镜的正前方的地理方向，在用户使用智能眼镜时，电子罗盘获取的地理方向即为用户眼睛正前方对应的地理方向。
在本发明实施例的一种可能的实施方式中，所述注视确认步骤S120可以通过多种方法确认用户是否在注视定位辅助对象。例如，根据眼睛和眼球中心几何参数的变化确认；或者基于眼底成像的特征确认（这两种确认方式为现有技术），然后再根据用户的视线方向确定用户是否注视的是所述定位辅助对象。例如通过李素梅等人在《光电子·激光》第15卷第10期2004年10月发表的“基于SVM实现人眼注视与否的探知”一文中记载的方法判断用户是否注视所述定位辅助对象。
为了帮助用户留意到所述定位辅助对象并注视它，在本发明实施例的一种可能的实施方式中，所述方法还包括：
对象引导步骤，引导用户注视所述定位辅助对象。
例如，在一种可能的实施方式中，通过对定位辅助对象进行标记的方式来引导用户注视所述定位辅助对象。例如在物体上通过文字或特殊的符号来提醒用户知道该物体为定位辅助对象；又例如通过在定位辅助对象上设置信号发送装置，在该定位辅助对象附近可以接收到该信号，进而引导用户注视所述定位辅助对象。
此外，在一种可能的情况下，用户可以通过现实增强的方式标记所述定位辅助对象，引导用户注视所述定位辅助对象，例如，可以通过智能眼镜等在视野里对定位辅助对象（比如粘贴于固定位置上的二维码图案、固定位置上放置的物体）通过现实增强的方式提供一些提示，引导人眼的焦点落在所述定位辅助对象上。
在一种可能的实施方式中，所述对象信息获取步骤S130通过采集到的图像得到所述定位辅助对象的位置信息。因此，在本实施方式中，所述对象信息获取步骤S130包括：
图像采集步骤，采集包含所述定位辅助对象的图像。
在本发明实施例的一种可能的实施方式中，所述图像采集步骤采集包含所述定位辅助对象的图像时，所述图像采集方向可以是正对所述定位辅助对象的，也可以是以一定斜角采集的。
为了保证用户采集的图像中包含所述定位辅助对象，进一步的，还为了便于对图像中所述定位辅助对象的识别，在本发明实施例的一种可能的实施方式中，可以根据用户视线方向调整图像采集的方向。通过调整图像采集装置的拍摄姿态将所述图像采集方向调节成与用户的视线方向一致，以用户眼睛所注视的对象为中心进行图像采集，从而使得之后对图像中定位辅助对象的识别更加方便。
在一种可能的实施方式中，所述参考方向也可以设置成与图像采集方向一致。如果此时正好图像采集方向与用户视线方向也一致，则用户视线方向的地理方向为所述参考方向。
在本发明实施例中，所述对象信息获取步骤S130根据采集到的图像获取所述定位辅助对象的位置信息的方法有多种。例如：
在一种可能的实施方式中，所述对象信息获取步骤S130包括：
向外部发送所述采集到的图像；
接收所述定位辅助对象的位置信息。
例如通过外部的定位服务器来获得所述定位辅助对象的位置信息。其中，在定位服务器中存储有至少一幅包含所述定位辅助对象的图像以及与该存储的图像对应的定位辅助对象的位置信息。
具言之，本发明实施例的方法向外部的定位服务器发送所述采集到的图像，所述定位服务器接收到所述采集到的图像后，在存储的图像库（图像库中包括：包含所述定位辅助对象的图像，以及与其他定位辅助对象对应的图像）中寻找一张最匹配的图像；根据该最匹配的图像可以获得与采集图像中的定位辅助对象相应的位置信息，所述定位服务器再将该位置信息返回给用户侧，例如发送到用户随身携带或可穿戴的智能设备中。
当然，除了上述方法外，所述定位服务器还可以通过其它合适的方法获得与采集图像中的定位辅助对象对应的位置信息。
除了上述通过外部的定位服务器来获得所述定位辅助对象的位置信息外，还可以在本地存储有至少一幅包含所述定位辅助对象的图像以及与该存储的图像对应的定位辅助对象的位置信息，并对所述采集的图像进行分析得到所述定位辅助对象的位置信息。具言之，在一种可能的实施方式中，所述对象信息获取步骤S130包括：
预存至少一幅确定方向下拍摄的包含所述定位辅助对象的图像。
上述在本地进行的图像分析与在定位服务器侧进行的图像分析基本类似，这里不再赘述。
在一种可能的实施方式中所述对象信息获取步骤S130包括：
识别采集到的图像中的定位辅助对象；
获取预存的所述定位辅助对象的位置信息。
除了上述在图像库中找到与采集图像匹配的图像，获得所述位置信息外，还可以预存定位辅助对象对应的位置信息，通过识别所述采集图像中的定位辅助对象，在从预存的信息中找到对应的定位辅助对象的位置信息。
在本发明实施例的一种可能的实施方式中，所述距离获取步骤S140获取用户相对于所述定位辅助对象的距离的方式有多种，例如通过超声波、激光测距仪等方式获得所述距离；此外，在本发明实施例中，所述距离获取步骤S140包括：眼睛拍摄步骤，用于在确认用户的眼睛正在注视定位辅助对象时，对用户眼睛进行拍摄获取用户相对于所述定位辅助对象的距离。由于通过眼睛拍摄的方法还可以同时获得眼睛的视线方向，因此本发明实施例以眼睛拍摄步骤来说明本发明实施例。
在本发明实施例中，通过拍摄并分析眼睛图像来得到所述距离的方式有多种，例如包括以下方法中的一种：
i）采用一个瞳孔方向检测器检测一个眼睛的光轴方向、再通过一个深度传感器（如红外测距）得到眼睛注视场景中各对象的深度信息，根据与所述眼睛光轴方向对应的用户的视线方向，可以确定在所述眼睛注视场景中用户注视的对象，该技术为已有技术，本实施方式中不再赘述。本发明实施例根据所述注视场景中对象的深度信息就可以得到用户相对于所述定位辅助对象的距离。
ii）分别检测两眼的光轴方向，再根据所述两眼光轴方向得到用户两眼视线方向，通过所述两眼视线方向的交点得到眼睛视线的注视点相对于用户的位置，该技术也为已有技术，此处不再赘述。本发明实施例可以根据所述眼睛视线的注视点相对于用户的位置，通过几何计算就可以得到用户相对于所述定位辅助对象的距离。
iii）根据采集到眼睛的成像面呈现的最清晰图像时眼底图像采集设备与眼睛之间光路的光学参数以及眼睛的光学参数，得到所述眼睛视线的注视点相对于用户的距离，本发明实施例会在下面给出该方法的详细过程。
当然，本领域的技术人员可以知道，除了上述几种形式的方法外，其它可以用于检测用户眼睛注视点相对于用户的距离的方法也可以用于本发明实施例的方法中。
其中，通过第iii）种方法检测用户当前的注视点位置包括：
S141：眼底图像采集步骤，采集用户眼底的图像；
S142：可调成像步骤，进行眼底图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
S143：图像处理步骤，对采集到的图像进行分析，得到与所述最清晰图像对应的所述眼底图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的距离。
本实施例通过对眼睛眼底的图像进行分析处理，得到采集到最清晰图像时眼睛的光学参数，同时获取此时对应的光路的成像参数，从而计算得到视线当前的对焦点相对于用户的距离。
这里的“眼底”呈现的图像主要为在视网膜上呈现的图像，其可以为眼底自身的图像，或者可以为投射到眼底的其它物体的图像，例如下面提到的光斑图案。
在步骤S142中，通过对眼睛与眼底图像采集位置之间的光路上的光学器件的焦距和/或在光路中的位置进行调节，可在该光学器件在某一个位置或状态时获得眼底最清晰的图像。该调节可为连续实时地调节。
在本发明实施例方法的一种可能的实施方式中，该光学器件可为焦距可调透镜，用于通过调整该光学器件自身的折射率和/或形状完成其焦距的调整。具体为：1）通过调节焦距可调透镜的至少一面的曲率来调节焦距，例如在双层透明层构成的空腔中增加或减少液体介质来调节焦距可调透镜的曲率；2）通过改变焦距可调透镜的折射率来调节焦距，例如焦距可调透镜中填充有特定液晶介质，通过调节液晶介质对应电极的电压来调整液晶介质的排列方式，从而改变焦距可调透镜的折射率。
在本发明实施例的方法的另一种可能的实施方式中，该光学器件可为：透镜组，用于通过调节透镜组中透镜之间的相对位置完成透镜组自身焦距的调整。或者，所述透镜组中的一片或多片透镜为上面所述的焦距可调透镜。
除了上述两种通过光学器件自身的特性来改变系统的成像参数以外，还可以通过调节光学器件在光路上的位置来改变系统的成像参数。
此外，在本发明实施例的方法中，步骤S143进一步包括：
S1431：对在步骤S141中采集到的图像进行分析，找到最清晰的图像；
S1432：根据所述最清晰的图像、以及得到所述最清晰图像时已知的成像参数计算眼睛的光学参数。
步骤S142中的调整使得能够采集到最清晰的图像，但是需要通过步骤S143来找到该最清晰的图像，根据所述最清晰的图像以及已知的光路参数就可以通过计算得到眼睛的光学参数。
在本发明实施例的方法中，步骤S143中还可包括：
S1433：向眼底投射光斑。所投射的光斑可以没有特定图案仅用于照亮眼底。所投射的光斑还可为包括特征丰富的图案的光斑图案。图案的特征丰富可以便于检测，提高检测精度。如图2a所示为一个光斑图案200的示例图，该图案可以由光斑图案生成器形成，例如毛玻璃；图2b所示为在有光斑图案200投射时采集到的眼底的图像。
为了不影响眼睛的正常观看，优选的，所述光斑为眼睛不可见的红外光斑。此时，为了减小其它光谱的干扰：可进行滤除投射的光斑中除了眼睛不可见光透射滤镜之外的光的步骤。
相应地，本发明实施的方法还可包括步骤：
S1434：根据步骤S1431分析得到的结果，控制投射光斑亮度。该分析结果例如包括步骤S141采集到的图像的特性，包括图像特征的反差以及纹理特征等。
需要说明的是，控制投射光斑亮度的一种特殊的情况为开始或停止投射，例如观察者持续注视一点时可以周期性停止投射；观察者眼底足够明亮时可以停止投射，利用眼底信息来检测眼睛当前视线对焦点到眼睛的距离。
此外，还可以根据环境光来控制投射光斑亮度。
优选地，在本发明实施例的方法中，步骤S143还包括：
S1435：进行眼底图像的校准，获得至少一个与眼底呈现的图像对应的基准图像。具言之，将采集到的图像与所述基准图像进行对比计算，获得所述最清晰的图像。这里，所述最清晰的图像可以为获得的与所述基准图像差异最小的图像。在本实施方式的方法中，可以通过现有的图像处理算法计算当前获得的图像与基准图像的差异，例如使用经典的相位差值自动对焦算法。
本发明实施例在步骤S1432中所得到的眼睛的光学参数可包括根据采集到所述最清晰图像时眼睛的特征得到的眼睛光轴方向（本发明实施例的下述描述中，所述眼睛光轴方向为眼睛光轴相对于用户某一参考面的方向，例如相对于用户正前方的方向），通过所述光轴方向可以得到所述用户的视线方向。这里眼睛的特征可以是从所述最清晰图像上获取的，或者也可以是另外获取的。具言之，可根据得到所述最清晰图像时眼底的特征得到眼睛光轴方向。通过眼底的特征来确定眼睛光轴方向精确度更高。
在向眼底投射光斑图案时，光斑图案的大小有可能大于眼底可视区域或小于眼底可视区域，其中：
当光斑图案的面积小于等于眼底可视区域时，可以利用经典特征点匹配算法（例如尺度不变特征转换（Scale Invariant FeatureTransform，SIFT）算法）通过检测图像上的光斑图案相对于眼底位置来确定眼睛光轴方向。
当光斑图案的面积大于等于眼底可视区域时，可以通过得到的图像上的光斑图案相对于原光斑图案（通过图像校准获得）的位置来确定眼睛光轴方向确定观察者视线方向。
在本发明实施例的方法的另一种可能的实施方式中，还可根据得到所述最清晰图像时眼睛瞳孔的特征得到眼睛光轴方向。这里眼睛瞳孔的特征可以是从所述最清晰图像上获取的，也可以是另外获取的。通过眼睛瞳孔特征得到眼睛光轴方向为已有技术，此处不再赘述。
此外，在本发明实施例的方法中，还可包括对眼睛光轴方向的校准步骤，以便更精确的进行上述眼睛光轴方向的确定。
在本发明实施例的方法中，所述眼睛与眼底图像采集位置之间光路的成像参数包括固定的成像参数和实时成像参数，其中实时成像参数为获取最清晰图像时所述光学器件的参数信息，该参数信息可以在获取所述最清晰图像时实时记录得到。
在得到眼睛当前的光学参数之后，就可以结合计算得到的眼睛对焦点到用户眼睛的距离（具体过程将结合装置部分详述）。
在本发明实施例的一种可能的实施方式中，如果在所述距离获取步骤S140的过程中没有获得用户的视线方向（如通过超声波的方法获得的所述距离），则本发明实施例的方法还要包括：获取用户的视线方向的步骤。现有技术中有很多获取用户视线方向的方法，此处不再赘述。
在获取了所述用户的视线方向以及所述参考方向之后，本发明实施例的角度获取步骤S150就可以计算得到用户视线方向相对于所述参考方向的角度。
例如用户视线方向为相对于用户正前方顺时针30度方向；所述参考方向为相对于所述用户正前方方向顺时针90度方向，则用户视线方向相对于所述参考方向的角度为逆时针60度方向。
如图3所示，在本发明实施例中，定位步骤S160根据所述参考方向R、以及用户视线方向S相对于所述参考方向R的角度a可以得到用户视线方向的地理方向，由于用户视线方向S指向所述定位辅助对象O，因此通过用户视线方向S的地理方向可以得到用户相对于所述定位辅助对象O的方向信息。再根据所述定位辅助对象O的位置信息、用户相对于所述定位辅助对象的距离D就可以计算得到用户的位置信息。
在本发明实施例的一些可能的实施方式中，考虑到在眼睛的视线方向与水平面有一定夹角时，会影响定位结果的精确度，因此本发明的方法还可以例如通过三维方向传感器或图像处理的方法确定所述夹角后，对定位结果做一定程度的修正，使得定位结果更加精确。
应理解，在本发明的各种实施例中，上述各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
如图4所示，本发明还提供了一种图像采集定位系统300，包括：
参考方向获取模块310，用于获取与用户对应的参考方向；
注视确认模块320，用于确认用户的眼睛正在注视定位辅助对象；
对象信息获取模块330，用于获取所述定位辅助对象的位置信息；
距离获取模块340，用于获取用户相对于所述定位辅助对象的距离；
角度获取模块350，用于获取用户视线方向相对于所述参考方向的角度；
定位模块360，用于根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离、所述参考方向、以及用户视线方向相对于所述参考方向的角度得到用户的位置信息。
本发明实施例通过获取用户眼睛注视的定位辅助对象与用户之间的距离以及相对方向对用户相对于定位辅助对象的位置进行精确的定位，进而提高了图像采集定位的精度。
在本发明实施例的一种可能的实施方式中，所述参考方向获取模块310进一步包括：
方向传感器，用于获取与用户对应的参考方向。
所述方向传感器例如可以包括罗盘，其通过地磁或恒星的位置来确定所述参考方向。
优选地，在本发明实施例的一种可能的实施方式中，所述罗盘为电子罗盘，其设置在用户随身携带的便携电子设备（如手机、平板电脑）或可穿戴设备（如智能手表、智能眼镜）上，获取所述与用户对应的参考方向。在一种情况下，所述罗盘指示的方向与用户的相对方向是固定的，例如在智能眼镜上设置一个电子罗盘，其获得的地理方向为智能眼镜的正前方的地理方向，在用户使用智能眼镜时，电子罗盘获取的地理方向即为用户眼睛正前方对应的地理方向。
在本发明实施例中，所述注视确认模块320可以为多种用于确认用户是否在注视定位辅助对象的结构中的任一种。例如，根据眼睛和眼球中心几何参数的变化确认用户是否注视对象的结构；或者基于眼底成像的特征确认用户是否注视对象的机构（这两种结构为现有技术），然后再根据用户的视线方向确定用户是否注视的是所述定位辅助对象。
为了帮助用户留意到所述定位辅助对象并注视它，在本发明实施例的一种可能的实施方式中，所述系统300还包括：
对象引导模块，用于引导用户注视所述定位辅助对象。
本实施例对象引导模块功能的按照图1所示的方法实施例中对应描述实现，本实施例中不再赘述。
在一种可能的实施方式中，所述对象引导模块进一步包括：
对象标记单元，用于标记所述定位辅助对象。
在本发明实施例的一种可能的实施方式中，所述系统300有可能为具有混合现实功能的便携或可穿戴设备，例如可以为智能眼镜。在本发明实施例一种可能的实施方式中，所述对象标记单元包括：
现实增强标记子单元，用于通过现实增强的方式标记所述定位辅助对象。
例如在通过智能眼镜实时拍摄的包含所述定位辅助对象的画面上，通过高亮显示、显示图标或文字等现实增强的方式标记所述定位辅助对象。该单元按照图1所示的方法实施例中对应描述实现其功能，这里不再赘述。
在本发明实施例的一种可能的实施方式中，所述对象信息获取模块330，通过采集到的图像得到所述定位辅助对象的位置信息。因此，在本实施方式中，所述系统300还包括：
图像采集模块，用于采集包含所述定位辅助对象的图像；
所述对象信息获取模块330，根据采集到的图像得到所述定位辅助对象的位置信息。
在本发明实施例的一种可能的实施方式中，所述图像采集模块可以为例如智能眼镜上的摄像头，或者还可以为便于用户随身携带的设备上的摄像模块。
所述为了保证图像采集模块采集的图像中包含所述定位辅助对象，或者便于对图像中所述定位辅助对象的识别，在本发明实施例的一种可能的实施方式中，所述图像采集定位系统还可以包括一图像采集方向调整模块，用于根据用户视线方向调整图像采集的方向。例如在一些实施方式中，将所述图像采集方向调节成与用户的视线方向一致，以用户眼睛所注视的对象为中心进行图像采集，从而使得之后对图像中定位辅助对象的识别更加方便。
在本发明实施例一种可能的实施方式中，所述对象信息获取模块330包括通信单元，用于：
向外部发送所述采集到的图像；
接收所述用户相对于定位辅助对象的方向信息和/或所述定位辅助对象的位置信息。
其中，外部定位服务器对所采集的图像进行分析处理，获得所述定位辅助对象的位置信息的方法见图1所示的方法实施例中的对应描述，此处不再赘述。
在本发明实施例的另一种可能的实施方式中，所述对象信息获取模块330包括：
对象识别单元，用于识别采集到的图像中的定位辅助对象；
预存信息获取单元，用于获取预存的所述定位辅助对象的位置信息。
上述对象信息获取模块330的各单元按照上述方法实施例中的对应描述实施其功能，这里不再赘述。
在本发明实施例的一种可能的实施方式中，所述距离获取模块340的形式包括多种，例如超声波、激光测距仪等。此外，在本发明实施例中，所述距离获取模块340例如可以为眼睛拍摄模块，用于在确认用户的眼睛正在注视定位辅助对象时，对用户眼睛进行拍摄获取用户相对于所述定位辅助对象的距离。
在本发明实施例中，所述眼睛拍摄模块对用户眼睛进行拍摄并获取用户相对于所述定位辅助对象的距离的方式可以为图1所示的方法实施例中所提到的i）至iii）中的任一种或多种。其中，在本发明实施例的装置中采用检测精度较高的iii）方式，相应地，所述眼睛拍摄模块可以为下面图5a-图5d、图6、图7所示的眼睛拍摄装置中的任一种。
当然，本领域的技术人员可以知道，除了上述几种形式的眼睛拍摄模块外，其它可以用于对用户眼睛进行拍摄并获取用户相对于所述定位辅助对象的距离的装置也可以用于本发明实施例的装置中。
下面对上述iii）种方式的眼睛拍摄模块进行进一步的描述：
在本发明实施例的一种可能的实施方式中，所述眼睛拍摄模块包括：
眼底图像采集单元，采集用户眼底的图像；
可调成像单元，进行眼底图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
图像处理单元，对采集到的眼底图像进行分析，得到与所述最清晰图像对应的所述眼底图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的距离。
在本发明实施例的一种可能的实施方式中，所述可调成像单元包括：
可调透镜器件，自身成像参数可调和/或在所述眼底图像采集单元与眼睛之间光路上的位置可调。
在本发明实施例的一种可能的实施方式中，所述可调成像单元还包括：
曲面分光器件，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述眼底图像采集单元。
在本发明实施例的一种可能的实施方式中，所述眼睛拍摄模块还包括：
投射单元，用于向眼底投射光斑图案。
下面通过图5a-图5d、图6、图7对应的实施方式来进一步描述眼睛拍摄装置，所述眼睛拍摄装置可以作为本发明实施例装置中的眼睛拍摄模块实现其功能。
如图5a所示，在本发明实施例的一种可能的实施方式中，所述眼睛拍摄装置500包括：
眼底图像采集设备510，用于采集眼睛眼底呈现的图像；
可调成像设备520，用于进行所述眼底图像采集设备510与眼睛之间光路的成像参数的调节以使得所述眼底图像采集设备得到最清晰的图像；
图像处理设备530，用于对所述眼底图像采集设备510得到的图像进行分析，得到所述最清晰图像时所述眼底图像采集设备510与眼睛之间光路的成像参数以及眼睛的光学参数，并计算得到眼睛的注视点相对于用户的距离。
本实施方式的眼睛拍摄装置500通过对眼睛眼底的图像进行分析处理，得到所述眼底图像采集设备获得最清晰图像时眼睛的光学参数，就可以计算得到眼睛当前的注视点就相对于用户的距离。
这里的“眼底”呈现的图像主要为在视网膜上呈现的图像，其可以为眼底自身的图像，或者可以为投射到眼底的其它物体的图像。这里的眼睛可以为人眼，也可以为其它动物的眼睛。
如图5b所示，本发明实施例的一种可能的实施方式中，所述眼底图像采集设备510为微型摄像头，在本发明实施例的另一种可能的实施方式中，所述眼底图像采集设备510还可以直接使用感光成像器件，如CCD或CMOS等器件。
在本发明实施例的一种可能的实施方式中，所述可调成像设备520包括：可调透镜器件521，位于眼睛与所述眼底图像采集设备510之间的光路上，自身焦距可调和/或在光路中的位置可调。通过该可调透镜器件521，使得从眼睛到所述眼底图像采集设备510之间的系统等效焦距可调，通过可调透镜器件521的调节，使得所述眼底图像采集设备510在可调透镜器件521的某一个位置或状态时获得眼底最清晰的图像。在本实施方式中，所述可调透镜器件521在检测过程中连续实时的调节。
优选地，在本发明实施例的一种可能的实施方式中，所述可调透镜器件521为：焦距可调透镜，用于通过调节自身的折射率和/或形状完成自身焦距的调整。具体为：1）通过调节焦距可调透镜的至少一面的曲率来调节焦距，例如在双层透明层构成的空腔中增加或减少液体介质来调节焦距可调透镜的曲率；2）通过改变焦距可调透镜的折射率来调节焦距，例如焦距可调透镜中填充有特定液晶介质，通过调节液晶介质对应电极的电压来调整液晶介质的排列方式，从而改变焦距可调透镜的折射率。
在本发明实施例的另一种可能的实施方式中，所述可调透镜器件521包括：多片透镜构成的透镜组，用于调节透镜组中透镜之间的相对位置完成透镜组自身焦距的调整。所述透镜组中也可以包括自身焦距等成像参数可调的透镜。
除了上述两种通过调节可调透镜器件521自身的特性来改变眼睛拍摄装置的光路参数以外，还可以通过调节所述可调透镜器件521在光路上的位置来改变眼睛拍摄装置的光路参数。
优选地，在本发明实施例的一种可能的实施方式中，为了不影响用户对观察对象的观看体验，并且为了使得眼睛拍摄装置可以便携应用在穿戴式设备上，所述可调成像设备520还包括：分光单元522，用于形成眼睛和观察对象之间、以及眼睛和眼底图像采集设备510之间的光传递路径。这样可以对光路进行折叠，减小眼睛拍摄装置的体积，同时尽可能不影响用户的其它视觉体验。
优选地，在本实施方式中，所述分光单元522包括：第一分光单元，位于眼睛和观察对象之间，用于透射观察对象到眼睛的光，传递眼睛到眼底图像采集设备的光。
所述第一分光单元可以为分光镜、分光光波导（包括光纤）或其它适合的分光设备。
在本发明实施例的一种可能的实施方式中，所述眼睛拍摄装置的图像处理设备530包括光路校准模块，用于对眼睛拍摄装置的光路进行校准，例如进行光路光轴的对齐校准等，以保证测量的精度。
在本发明实施例的一种可能的实施方式中，所述图像处理设备530包括：
图像分析模块531，用于对所述眼底图像采集设备得到的图像进行分析，找到最清晰的图像；
参数计算模块532，用于根据所述最清晰的图像、以及得到所述最清晰图像时系统已知的成像参数计算眼睛的光学参数。
在本实施方式中，通过可调成像设备520使得所述眼底图像采集设备510可以得到最清晰的图像，但是需要通过所述图像分析模块531来找到该最清晰的图像，此时根据所述最清晰的图像以及系统已知的光路参数就可以通过计算得到眼睛的光学参数。这里眼睛的光学参数可以包括眼睛的光轴方向。
在本发明实施例的一种可能的实施方式中，优选地，所述眼睛拍摄装置还包括：投射设备540，用于向眼底投射光斑。在一个可能的实施方式中，可以通过微型投影仪来视线该投射设备的功能。
这里投射的光斑可以没有特定图案仅用于照亮眼底。
在在本发明实施例优选的一种实施方式中，所述投射的光斑包括特征丰富的图案。图案的特征丰富可以便于检测，提高检测精度。如图2a所示为一个光斑图案200的示例图，该图案可以由光斑图案生成器形成，例如毛玻璃；图2b所示为在有光斑图案200投射时拍摄到的眼底的图像。
为了不影响眼睛的正常观看，优选的，所述光斑为眼睛不可见的红外光斑。
此时，为了减小其它光谱的干扰：
所述投射设备的出射面可以设置有眼睛不可见光透射滤镜。
所述眼底图像采集设备的入射面设置有眼睛不可见光透射滤镜。
优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：
投射控制模块534，用于根据图像分析模块得到的结果，控制所述投射设备的投射光斑亮度。
例如所述投射控制模块534可以根据眼底图像采集设备510得到的图像的特性自适应调整亮度。这里图像的特性包括图像特征的反差以及纹理特征等。
这里，控制所述投射设备的投射光斑亮度的一种特殊的情况为打开或关闭投射设备，例如用户持续注视一点时可以周期性关闭所述投射设备；用户眼底足够明亮时可以关闭发光源只利用眼底信息来检测眼睛当前视线注视点到眼睛的距离。
此外，所述投射控制模块534还可以根据环境光来控制投射设备的投射光斑亮度。
优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：图像校准模块533，用于进行眼底图像的校准，获得至少一个与眼底呈现的图像对应的基准图像。
所述图像分析模块531将眼底图像采集设备530得到的图像与所述基准图像进行对比计算，获得所述最清晰的图像。这里，所述最清晰的图像可以为获得的与所述基准图像差异最小的图像。在本实施方式中，通过现有的图像处理算法计算当前获得的图像与基准图像的差异，例如使用经典的相位差值自动对焦算法。
优选地，在本发明实施例的一种可能的实施方式中，所述参数计算模块532包括：
眼睛光轴方向确定单元5321，用于根据得到所述最清晰图像时眼睛的特征得到眼睛光轴方向。
这里眼睛的特征可以是从所述最清晰图像上获取的，或者也可以是另外获取的。眼睛光轴方向与眼睛视线注视的方向对应。
优选地，在本发明实施例的一种可能的实施方式中，所述眼睛光轴方向确定单元5321包括：第一确定子单元，用于根据得到所述最清晰图像时眼底的特征得到眼睛光轴方向。与通过瞳孔和眼球表面的特征得到眼睛光轴方向相比，通过眼底的特征来确定眼睛光轴方向精确度更高。
在向眼底投射光斑图案时，光斑图案的大小有可能大于眼底可视区域或小于眼底可视区域，在这两种情况下获取眼睛光轴方向的方法见图1所示的方法实施例中的对应描述。
在本发明实施例的另一种可能的实施方式中，所述眼睛光轴方向确定单元5321包括：第二确定子单元，用于根据得到所述最清晰图像时眼睛瞳孔的特征得到眼睛光轴方向。这里眼睛瞳孔的特征可以是从所述最清晰图像上获取的，也可以是另外获取的。通过眼睛瞳孔特征得到眼睛光轴方向为已有技术，此处不再赘述。
优选地，在本发明实施例的一种可能的实施方式中，所述图像处理设备530还包括：眼睛光轴方向校准模块535，用于进行眼睛光轴方向的校准，以便更精确的进行上述眼睛光轴方向的确定。
在本发明实施例的方法中，所述眼睛与眼底图像采集位置之间光路的成像参数包括固定的成像参数和实时成像参数，其中实时成像参数为获取最清晰图像时所述光学器件的参数信息，该参数信息可以在获取所述最清晰图像时实时记录得到。
在得到眼睛当前的光学参数之后，就可以计算得到眼睛注视点到用户的距离，具体为：
图5c所示为眼睛成像示意图，结合经典光学理论中的透镜成像公式，由图5c可以得到公式(1)：
1 d o + 1 d e = 1 f e - - - ( 1 )
其中do和de分别为眼睛当前观察对象5010和视网膜上的实像
5020到眼睛等效透镜5030的距离，fe为眼睛等效透镜5030的等效焦距，X为眼睛的视线方向（可以由所述眼睛的光轴方向得到）。
图5d所示为根据系统已知光学参数和眼睛的光学参数得到眼睛注视点到眼睛的距离的示意图，图5d中光斑5040通过可调透镜器件521会成一个虚像（图5d中未示出），假设该虚像距离透镜距离为x（图5d中未示出），结合公式(1)可以得到如下方程组：
1 d p - 1 x = 1 f p 1 d i + x + 1 d e = 1 f e - - - ( 2 )
其中dp为光斑5040到可调透镜器件521的光学等效距离，di为可调透镜器件521到眼睛等效透镜5030的光学等效距离，fp为可调透镜器件521的焦距值，di为所述眼睛等效透镜5030到可调透镜器件521的距离。
由(1)和(2)可以得出当前观察对象5010（眼睛注视点）到眼睛等效透镜5030的距离do如公式(3)所示：
d o = d i + d p · f p f p - d p - - - ( 3 )
根据上述计算得到的观察对象5010到眼睛的距离，又由于之前的记载可以得到眼睛光轴方向，则可以轻易得到眼睛的注视点位置，为后续与眼睛相关的进一步交互提供了基础。
如图6所示为本发明实施例的一种可能的实施方式的眼睛拍摄装置600应用在眼镜400上的实施例，其包括图5b所示实施方式的记载的内容，具体为：由图6可以看出，在本实施方式中，在眼镜400右侧（不局限于此）集成了本实施方式的装置600，其包括：
微型摄像头610，其作用与图5b实施方式中记载的眼底图像采集设备相同，为了不影响用户正常观看对象的视线，其被设置于眼镜400右外侧；
第一分光镜620，其作用与图5b实施方式中记载的第一分光单元相同，以一定倾角设置于眼睛A注视方向和摄像头610入射方向的交点处，透射观察对象进入眼睛A的光以及反射眼睛到摄像头610的光；
焦距可调透镜630，其作用与图5b实施方式中记载的焦距可调透镜相同，位于所述第一分光镜620和摄像头610之间，实时进行焦距值的调整，使得在某个焦距值时，所述摄像头610能够拍到眼底最清晰的图像。
在本实施方式中，所述图像处理设备在图6中未表示出，其功能与图5b所示的图像处理设备相同。
由于一般情况下，眼底的亮度不够，因此，最好对眼底进行照明，在本实施方式中，通过一个发光源640来对眼底进行照明。为了不影响用户的体验，这里优选的发光源640为眼睛不可见光，优选对眼睛A影响不大并且摄像头610又比较敏感的近红外光发光源。
在本实施方式中，所述发光源640位于右侧的眼镜架外侧，因此需要通过一个第二分光镜650与所述第一分光镜620一起完成所述发光源640发出的光到眼底的传递。本实施方式中，所述第二分光镜650又位于摄像头610的入射面之前，因此其还需要透射眼底到第二分光镜650的光。
可以看出，在本实施方式中，为了提高用户体验和提高摄像头610的采集清晰度，所述第一分光镜620优选地可以具有对红外反射率高、对可见光透射率高的特性。例如可以在第一分光镜620朝向眼睛A的一侧设置红外反射膜实现上述特性。
由图6可以看出，由于在本实施方式中，所述眼睛拍摄装置600位于眼镜400的镜片远离眼睛A的一侧，因此进行眼睛光学参数进行计算时，可以将镜片也看成是眼睛A的一部分，此时不需要知道镜片的光学特性。
在本发明实施例的其它实施方式中，所述眼睛拍摄装置600可能位于眼镜400的镜片靠近眼睛A的一侧，此时，需要预先得到镜片的光学特性参数，并在计算注视点距离时，考虑镜片的影响因素。
本实施例中发光源640发出的光通过第二分光镜650的反射、焦距可调透镜630的投射、以及第一分光镜620的反射后再透过眼镜400的镜片进入用户眼睛，并最终到达眼底的视网膜上；摄像头610经过所述第一分光镜620、焦距可调透镜630以及第二分光镜650构成的光路透过眼睛A的瞳孔拍摄到眼底的图像。
如图7所示为本发明实施例的另一种实施方式眼睛拍摄装置700的结构示意图。由图7可以看出，本实施方式与图6所示的实施方式相似，包括微型摄像头710、第二分光镜720、焦距可调透镜730，不同之处在于，在本实施方式中的投射设备740为投射光斑图案的投射设备740，并且通过一个曲面分光镜750作为曲面分光器件取代了图6实施方式中的第一分光镜。
这里采用了曲面分光镜750分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到眼底图像采集设备。这样摄像头可以拍摄到眼球各个角度混合叠加的成像，但由于只有通过瞳孔的眼底部分能够在摄像头上清晰成像，其它部分会失焦而无法清晰成像，因而不会对眼底部分的成像构成严重干扰，眼底部分的特征仍然可以检测出来。因此，与图6所示的实施方式相比，本实施方式可以在眼睛注视不同方向时都能很好的得到眼底的图像，使得本实施方式的眼睛拍摄装置适用范围更广，检测精度更高。
在本发明实施例的一种可能的实施方式中，所述装置为智能眼镜。由于智能眼镜的摄像头与用户的眼睛非常靠近，基本可以认为摄像头拍到的图像为用户眼睛视野中应该出现的图像，并且也不用进行图像采集位置与用户位置之间的校正，使得对用户的定位更加自然、精确度更高。
在本发明实施例的一种可能的实施方式中，如果在所述距离获取模块340的过程中没有获得用户的视线方向（如通过超声波的方法获得的所述距离），则本发明实施例的方法还要包括：视线方向获取单元，用于获取用户的视线方向。现有技术中有很多获取用户视线方向的方法，此处不再赘述。在本发明实施例中，如图5a至5d所示的实施例中的记载，所述视线方向获取单元的功能与所述眼睛拍摄模块的功能由同一设备实现；所述图像处理单元得到的眼睛的光学参数包括用户的视线方向。
在本发明实施例中所述定位模块360按照图1和图3所示的实施例中相应的描述实施其功能，这里不再赘述。
图8为本发明实施例提供的又一种图像采集系统800的结构示意图，本发明具体实施例并不对图像采集系统800的具体实现做限定。如图8所示，该图像采集系统800可以包括：
处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830、以及通信总线840。其中：
处理器810、通信接口820、以及存储器830通过通信总线840完成相互间的通信。
通信接口820，用于与比如客户端等的网元通信。
处理器810，用于执行程序832，具体可以执行上述图1至图3所示的方法实施例中的相关步骤。
具体地，程序832可以包括程序代码，所述程序代码包括计算机操作指令。
处理器810可能是一个中央处理器CPU，或者是特定集成电路ASIC（Application Specific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器830，用于存放程序832。存储器830可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。程序832具体可以包括：
参考方向获取步骤，获取与用户对应的参考方向；
注视确认步骤，确认用户的眼睛正在注视定位辅助对象；
对象信息获取步骤，获取所述定位辅助对象的位置信息；
距离获取步骤，获取用户相对于所述定位辅助对象的距离；
角度获取步骤，获取用户视线方向相对于所述参考方向的角度；
定位步骤，根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离、所述参考方向、以及用户视线方向相对于所述参考方向的角度得到用户的位置信息。
程序832中各单元的具体实现可以参见图4至图7所示实施例中的相应单元，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (32)

1.一种图像采集定位方法，其特征在于，包括：
参考方向获取步骤，获取与用户对应的参考方向；
注视确认步骤，确认用户的眼睛正在注视定位辅助对象；
对象信息获取步骤，获取所述定位辅助对象的位置信息；
距离获取步骤，获取用户相对于所述定位辅助对象的距离；
角度获取步骤，获取用户视线方向相对于所述参考方向的角度；
定位步骤，根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离、所述参考方向、以及用户视线方向相对于所述参考方向的角度得到用户的位置信息。
2.如权利要求1所述的方法，其特征在于，所述参考方向获取步骤进一步包括：
通过方向传感器获取与用户对应的参考方向。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
图像采集步骤，采集包含所述定位辅助对象的图像；
所述对象信息获取步骤，根据采集到的图像得到所述定位辅助对象的位置信息。
4.如权利要求3所述的方法，其特征在于，所述对象信息获取步骤包括：
向外部发送所述采集到的图像；
接收所述定位辅助对象的位置信息。
5.如权利要求3所述的方法，其特征在于，所述对象信息获取步骤包括：
识别采集到的图像中的所述定位辅助对象；
获取预存的所述定位辅助对象的位置信息。
6.如权利要求1所述的方法，其特征在于，所述距离获取步骤包括：
眼睛拍摄步骤，用于在确认用户的眼睛正在注视定位辅助对象时，对用户眼睛进行拍摄来获取用户相对于所述定位辅助对象的距离。
7.如权利要求6所述的方法，其特征在于，所述眼睛拍摄步骤进一步包括：
眼底图像采集步骤，采集用户眼底的图像；
可调成像步骤，进行眼底图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
图像处理步骤，对采集到的眼底图像进行分析，得到与所述最清晰图像对应的所述眼底图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的距离。
8.如权利要求7所述的方法，其特征在于，所述可调成像步骤包括：
调节所述眼底图像采集位置与眼睛之间光路上的光学器件的焦距和/或在光路上的位置。
9.如权利要求7所述的方法，其特征在于，所述可调成像步骤还包括：
分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述眼底图像采集位置。
10.如权利要求7所述的方法，其特征在于，所述眼睛拍摄步骤还包括：向眼底投射光斑图案。
11.如权利要求7所述的方法，其特征在于，所述方法还包括：获取用户的视线方向。
12.如权利要求11所述的方法，其特征在于，所述眼睛的光学参数包括用户的视线方向。
13.如权利要求1所述的方法，其特征在于，所述方法还包括：
对象引导步骤，引导用户注视所述定位辅助对象。
14.如权利要求13所述的方法，其特征在于，所述对象引导步骤进一步包括：
标记所述定位辅助对象。
15.如权利要求14所述的方法，其特征在于，所述对象引导步骤进一步包括：
通过现实增强的方式标记所述定位辅助对象。
16.一种图像采集定位系统，其特征在于，包括：
参考方向获取模块，用于获取与用户对应的参考方向；
注视确认模块，用于确认用户的眼睛正在注视定位辅助对象；
对象信息获取模块，用于获取所述定位辅助对象的位置信息；
距离获取模块，用于获取用户相对于所述定位辅助对象的距离；
角度获取模块，用于获取用户视线方向相对于所述参考方向的角度；
定位模块，用于根据所述定位辅助对象的位置信息、用户相对于所述定位辅助对象的距离、所述参考方向、以及用户视线方向相对于所述参考方向的角度得到用户的位置信息。
17.如权利要求16所述的系统，其特征在于，所述参考方向获取模块进一步包括：
方向传感器，用于获取与用户对应的参考方向。
18.如权利要求16所述的系统，其特征在于，所述系统还包括：
图像采集模块，用于采集包含所述定位辅助对象的图像；
所述对象信息获取模块，根据采集到的图像得到所述定位辅助对象的位置信息。
19.如权利要求18所述的系统，其特征在于，所述对象信息获取模块包括通信单元，用于：
向外部发送所述采集到的图像；
接收所述定位辅助对象的位置信息。
20.如权利要求18所述的系统，其特征在于，所述对象信息获取模块包括：
对象识别单元，用于识别采集到的图像中的所述定位辅助对象；
预存信息获取单元，获取预存的所述定位辅助对象的位置信息。
21.如权利要求16所述的系统，其特征在于，所述距离获取模块包括：
眼睛拍摄模块，用于在确认用户的眼睛正在注视定位辅助对象时，对用户眼睛进行拍摄来获取用户相对于所述定位辅助对象的距离。
22.如权利要求21所述的系统，其特征在于，所述眼睛拍摄模块进一步包括：
眼底图像采集单元，采集用户眼底的图像；
可调成像单元，进行眼底图像采集位置与眼睛之间光路的成像参数的调节直至采集到最清晰的图像；
图像处理单元，对采集到的眼底图像进行分析，得到与所述最清晰图像对应的所述眼底图像采集位置与眼睛之间光路的成像参数以及眼睛的光学参数，并计算用户当前的注视点相对于用户的距离。
23.如权利要求22所述的系统，其特征在于，所述可调成像单元包括：
可调透镜器件，其自身成像参数可调和/或在所述眼底图像采集单元与眼睛之间光路上的位置可调。
24.如权利要求22所述的系统，其特征在于，所述可调成像单元还包括：
曲面分光器件，用于分别对应眼睛光轴方向不同时瞳孔的位置，将眼底呈现的图像传递到所述图像采集单元。
25.如权利要求22所述的系统，其特征在于，所述眼睛拍摄模块还包括：
投射单元，用于向眼底投射光斑图案。
26.如权利要求22所述的系统，其特征在于，所述系统还包括：
视线方向获取单元，用于获取用户的视线方向。
27.如权利要求26所述的系统，其特征在于，所述视线方向获取单元的功能与所述眼睛拍摄模块的功能由同一设备实现；
所述图像处理单元得到的眼睛的光学参数包括用户的视线方向。
28.如权利要求16所述的系统，其特征在于，所述系统还包括：
对象引导模块，用于引导用户注视所述定位辅助对象。
29.如权利要求28所述的系统，其特征在于，所述对象引导模块进一步包括：
对象标记单元，用于标记所述定位辅助对象。
30.如权利要求29所述的系统，其特征在于，所述对象标记单元包括：
现实增强标记子单元，用于通过现实增强的方式标记所述定位辅助对象。
31.如权利要求16或30所述的系统，其特征在于，所述系统为可穿戴设备。
32.如权利要求31所述的系统，其特征在于，所述系统为智能眼镜。
CN201310470130.7A 2013-10-10 2013-10-10 图像采集定位方法及图像采集定位系统 Active CN103557859B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310470130.7A CN103557859B (zh) 2013-10-10 2013-10-10 图像采集定位方法及图像采集定位系统
US14/888,070 US10247813B2 (en) 2013-10-10 2014-01-22 Positioning method and positioning system
PCT/CN2014/071137 WO2015051606A1 (zh) 2013-10-10 2014-01-22 定位方法及定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310470130.7A CN103557859B (zh) 2013-10-10 2013-10-10 图像采集定位方法及图像采集定位系统

Publications (2)

Publication Number Publication Date
CN103557859A true CN103557859A (zh) 2014-02-05
CN103557859B CN103557859B (zh) 2015-12-23

Family

ID=50012169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310470130.7A Active CN103557859B (zh) 2013-10-10 2013-10-10 图像采集定位方法及图像采集定位系统

Country Status (3)

Country Link
US (1) US10247813B2 (zh)
CN (1) CN103557859B (zh)
WO (1) WO2015051606A1 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156069A (zh) * 2014-08-15 2014-11-19 北京智谷睿拓技术服务有限公司 对象拾取方法、对象拾取装置及用户设备
CN104182043A (zh) * 2014-08-15 2014-12-03 北京智谷睿拓技术服务有限公司 对象拾取方法、对象拾取装置及用户设备
CN104484052A (zh) * 2015-01-04 2015-04-01 王美金 基于标识的穿戴式眼镜单目视线范围测量的方法和系统
WO2015051605A1 (zh) * 2013-10-10 2015-04-16 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位装置
CN104677377A (zh) * 2015-02-10 2015-06-03 奇瑞汽车股份有限公司 车载导航方法及系统
CN104949673A (zh) * 2015-06-12 2015-09-30 北京邮电大学 一种基于非视觉感知信息的目标定位方法及装置
CN105607255A (zh) * 2014-11-17 2016-05-25 精工爱普生株式会社 头部佩戴型显示装置、控制其的方法及计算机程序
CN105806358A (zh) * 2014-12-30 2016-07-27 中国移动通信集团公司 一种驾驶提示的方法及装置
CN105807541A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 成像方法和成像装置
CN106155288A (zh) * 2015-04-10 2016-11-23 北京智谷睿拓技术服务有限公司 信息获取方法、信息获取装置及用户设备
CN106233328A (zh) * 2014-02-19 2016-12-14 埃弗加泽公司 用于改进、提高或增强视觉的设备和方法
CN108507541A (zh) * 2018-03-01 2018-09-07 广东欧珀移动通信有限公司 建筑物识别方法及系统，以及移动终端
CN108519824A (zh) * 2018-04-13 2018-09-11 京东方科技集团股份有限公司 一种虚拟现实显示装置、设备及视线角度计算方法
CN108682352A (zh) * 2017-05-09 2018-10-19 苏州乐轩科技有限公司 混合现实组件及产生混合现实的方法
CN108921894A (zh) * 2018-06-08 2018-11-30 百度在线网络技术（北京）有限公司 对象定位方法、装置、设备和计算机可读存储介质
CN109325133A (zh) * 2018-08-31 2019-02-12 努比亚技术有限公司 一种信息定位的方法、终端和计算机可读存储介质
CN109348170A (zh) * 2018-09-21 2019-02-15 北京大学（天津滨海）新代信息技术研究院 视频监控方法、装置及视频监控设备
CN109753865A (zh) * 2017-11-03 2019-05-14 丰田研究所股份有限公司 对象历史关联的系统和方法
CN111667526A (zh) * 2019-03-07 2020-09-15 西门子医疗有限公司 用于确定环境中的多个对象的尺寸和距离的方法和设备
WO2020186659A1 (zh) * 2019-03-18 2020-09-24 广东小天才科技有限公司 一种智能设备的定位方法及智能设备
TWI727511B (zh) * 2019-11-21 2021-05-11 財團法人金屬工業研究發展中心 近眼顯示與取像頭戴裝置
CN113589117A (zh) * 2021-08-16 2021-11-02 国网江苏省电力有限公司泰州供电分公司 一种电力设备缺陷检测系统及检测方法
CN114615947A (zh) * 2019-10-10 2022-06-10 迈迪新球株式会社 基于视线检测的智能眼镜显示装置及其方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI500966B (zh) * 2014-02-20 2015-09-21 中強光電股份有限公司 抬頭顯示器
US10303246B2 (en) * 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
EP3486834A1 (en) * 2017-11-16 2019-05-22 Smart Eye AB Detection of a pose of an eye
EP3489872A1 (de) * 2017-11-23 2019-05-29 Leuze electronic GmbH + Co. KG Sensoranordnung
CN110264529A (zh) * 2019-06-26 2019-09-20 深圳市微纳集成电路与系统应用研究院 二维标定板、三维标定体、相机系统及相机标定方法、标定支撑架
CN110837689B (zh) * 2019-09-30 2023-03-07 广州文冲船厂有限责任公司 一种合拢口骨材及外板定位精度的控制方法及装置
US11054659B2 (en) * 2019-11-07 2021-07-06 Htc Corporation Head mounted display apparatus and distance measurement device thereof
CN111208905A (zh) * 2020-01-08 2020-05-29 北京未动科技有限公司 一种多模组视线追踪方法、系统和视线追踪设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1131239A (ja) * 1997-07-11 1999-02-02 Nippon Telegr & Teleph Corp <Ntt> 注視方向景観ラベリング装置およびシステム
US20080048931A1 (en) * 2003-11-26 2008-02-28 Rafael - Armament Development Authority Ltd. Helmet System for Information or Weapon Systems
CN101660908A (zh) * 2009-09-11 2010-03-03 天津理工大学 基于单个路标的视觉定位与导航方法
CN101677762A (zh) * 2008-02-28 2010-03-24 松下电器产业株式会社 视线检测装置以及视线检测方法
CN102034088A (zh) * 2009-10-08 2011-04-27 托比技术股份公司 利用gpu的眼动跟踪
CN102135429A (zh) * 2010-12-29 2011-07-27 东南大学 一种基于视觉的机器人室内定位导航方法
US20110310238A1 (en) * 2010-06-17 2011-12-22 Electronics And Telecommunications Research Institute Apparatus and method for inputting coordinates using eye tracking
CN102785620A (zh) * 2011-05-16 2012-11-21 三星电子株式会社 针对用于车辆的终端的用户接口方法及其装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396461B1 (en) * 1998-08-05 2002-05-28 Microvision, Inc. Personal display with vision tracking
GB0709405D0 (en) 2007-05-16 2007-06-27 Univ Edinburgh Testing vision
US7742623B1 (en) * 2008-08-04 2010-06-22 Videomining Corporation Method and system for estimating gaze target, gaze sequence, and gaze map from video
US8885877B2 (en) * 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1131239A (ja) * 1997-07-11 1999-02-02 Nippon Telegr & Teleph Corp <Ntt> 注視方向景観ラベリング装置およびシステム
US20080048931A1 (en) * 2003-11-26 2008-02-28 Rafael - Armament Development Authority Ltd. Helmet System for Information or Weapon Systems
CN101677762A (zh) * 2008-02-28 2010-03-24 松下电器产业株式会社 视线检测装置以及视线检测方法
CN101660908A (zh) * 2009-09-11 2010-03-03 天津理工大学 基于单个路标的视觉定位与导航方法
CN102034088A (zh) * 2009-10-08 2011-04-27 托比技术股份公司 利用gpu的眼动跟踪
US20110310238A1 (en) * 2010-06-17 2011-12-22 Electronics And Telecommunications Research Institute Apparatus and method for inputting coordinates using eye tracking
CN102135429A (zh) * 2010-12-29 2011-07-27 东南大学 一种基于视觉的机器人室内定位导航方法
CN102785620A (zh) * 2011-05-16 2012-11-21 三星电子株式会社 针对用于车辆的终端的用户接口方法及其装置

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015051605A1 (zh) * 2013-10-10 2015-04-16 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位装置
US10360450B2 (en) 2013-10-10 2019-07-23 Beijing Zhigu Rui Tuo Tech Co., Ltd. Image capturing and positioning method, image capturing and positioning device
US10795184B2 (en) 2014-02-19 2020-10-06 Evergaze, Inc. Apparatus and method for improving, augmenting or enhancing vision
CN106233328B (zh) * 2014-02-19 2020-05-12 埃弗加泽公司 用于改进、提高或增强视觉的设备和方法
US10459254B2 (en) 2014-02-19 2019-10-29 Evergaze, Inc. Apparatus and method for improving, augmenting or enhancing vision
CN106233328A (zh) * 2014-02-19 2016-12-14 埃弗加泽公司 用于改进、提高或增强视觉的设备和方法
CN104182043B (zh) * 2014-08-15 2017-05-03 北京智谷睿拓技术服务有限公司 对象拾取方法、对象拾取装置及用户设备
CN104182043A (zh) * 2014-08-15 2014-12-03 北京智谷睿拓技术服务有限公司 对象拾取方法、对象拾取装置及用户设备
CN104156069A (zh) * 2014-08-15 2014-11-19 北京智谷睿拓技术服务有限公司 对象拾取方法、对象拾取装置及用户设备
CN104156069B (zh) * 2014-08-15 2017-04-12 北京智谷睿拓技术服务有限公司 对象拾取方法、对象拾取装置及用户设备
CN105607255B (zh) * 2014-11-17 2020-03-10 精工爱普生株式会社 头部佩戴型显示装置、控制其的方法及计算机可读存储介质
CN105607255A (zh) * 2014-11-17 2016-05-25 精工爱普生株式会社 头部佩戴型显示装置、控制其的方法及计算机程序
CN105806358B (zh) * 2014-12-30 2019-02-05 中国移动通信集团公司 一种驾驶提示的方法及装置
CN105807541B (zh) * 2014-12-30 2019-01-15 联想(北京)有限公司 成像方法和成像装置
CN105806358A (zh) * 2014-12-30 2016-07-27 中国移动通信集团公司 一种驾驶提示的方法及装置
CN105807541A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 成像方法和成像装置
CN104484052A (zh) * 2015-01-04 2015-04-01 王美金 基于标识的穿戴式眼镜单目视线范围测量的方法和系统
CN104484052B (zh) * 2015-01-04 2017-07-21 泰州祥云软件开发有限公司 基于标识的穿戴式眼镜单目视线范围测量的方法和系统
CN104677377A (zh) * 2015-02-10 2015-06-03 奇瑞汽车股份有限公司 车载导航方法及系统
CN106155288A (zh) * 2015-04-10 2016-11-23 北京智谷睿拓技术服务有限公司 信息获取方法、信息获取装置及用户设备
CN106155288B (zh) * 2015-04-10 2019-02-12 北京智谷睿拓技术服务有限公司 信息获取方法、信息获取装置及用户设备
US10394321B2 (en) 2015-04-10 2019-08-27 Beijing Zhigu Rui Tuo Tech Co., Ltd Information acquiring method, information acquiring apparatus, and user equipment
CN104949673A (zh) * 2015-06-12 2015-09-30 北京邮电大学 一种基于非视觉感知信息的目标定位方法及装置
CN104949673B (zh) * 2015-06-12 2017-12-22 北京邮电大学 一种基于非视觉感知信息的目标定位方法及装置
CN108682352A (zh) * 2017-05-09 2018-10-19 苏州乐轩科技有限公司 混合现实组件及产生混合现实的方法
CN109753865B (zh) * 2017-11-03 2023-12-26 丰田研究所股份有限公司 对象历史关联的系统和方法
CN109753865A (zh) * 2017-11-03 2019-05-14 丰田研究所股份有限公司 对象历史关联的系统和方法
CN108507541A (zh) * 2018-03-01 2018-09-07 广东欧珀移动通信有限公司 建筑物识别方法及系统，以及移动终端
CN108519824A (zh) * 2018-04-13 2018-09-11 京东方科技集团股份有限公司 一种虚拟现实显示装置、设备及视线角度计算方法
US11429184B2 (en) 2018-04-13 2022-08-30 Beijing Boe Optoelectronics Technology Co., Ltd. Virtual reality display device, display device, and calculation method of line-of-sight angle
CN108519824B (zh) * 2018-04-13 2021-02-05 京东方科技集团股份有限公司 一种虚拟现实显示装置、设备及视线角度计算方法
CN108921894A (zh) * 2018-06-08 2018-11-30 百度在线网络技术（北京）有限公司 对象定位方法、装置、设备和计算机可读存储介质
CN109325133A (zh) * 2018-08-31 2019-02-12 努比亚技术有限公司 一种信息定位的方法、终端和计算机可读存储介质
CN109348170A (zh) * 2018-09-21 2019-02-15 北京大学（天津滨海）新代信息技术研究院 视频监控方法、装置及视频监控设备
CN111667526A (zh) * 2019-03-07 2020-09-15 西门子医疗有限公司 用于确定环境中的多个对象的尺寸和距离的方法和设备
CN111667526B (zh) * 2019-03-07 2023-07-28 西门子医疗有限公司 用于确定环境中的多个对象的尺寸和距离的方法和设备
WO2020186659A1 (zh) * 2019-03-18 2020-09-24 广东小天才科技有限公司 一种智能设备的定位方法及智能设备
CN114615947A (zh) * 2019-10-10 2022-06-10 迈迪新球株式会社 基于视线检测的智能眼镜显示装置及其方法
TWI727511B (zh) * 2019-11-21 2021-05-11 財團法人金屬工業研究發展中心 近眼顯示與取像頭戴裝置
CN113589117A (zh) * 2021-08-16 2021-11-02 国网江苏省电力有限公司泰州供电分公司 一种电力设备缺陷检测系统及检测方法
CN113589117B (zh) * 2021-08-16 2024-05-07 国网江苏省电力有限公司泰州供电分公司 一种电力设备缺陷检测系统及检测方法

Also Published As

Publication number Publication date
WO2015051606A1 (zh) 2015-04-16
US10247813B2 (en) 2019-04-02
CN103557859B (zh) 2015-12-23
US20160084949A1 (en) 2016-03-24

Similar Documents

Publication Publication Date Title
CN103557859B (zh) 图像采集定位方法及图像采集定位系统
CN103630116B (zh) 图像采集定位方法及图像采集定位装置
CN103475893B (zh) 三维显示中对象的拾取装置及三维显示中对象的拾取方法
CN103431840B (zh) 眼睛光学参数检测系统及方法
CN103604412B (zh) 定位方法及定位装置
CN103558909A (zh) 交互投射显示方法及交互投射显示系统
CN103605208A (zh) 内容投射系统及方法
US10002293B2 (en) Image collection with increased accuracy
CN106716223B (zh) 采用可切换衍射光栅的波导眼睛跟踪
US10334235B2 (en) Binocular see-through AR head-mounted display device and information display method therefor
CN103353667B (zh) 成像调整设备及方法
CN103500331A (zh) 提醒方法及装置
CN103530623A (zh) 信息观察方法及信息观察装置
CN106204431B (zh) 智能眼镜的显示方法及装置
KR20160123346A (ko) 초점 이동에 반응하는 입체적 디스플레이
CN104154898B (zh) 一种主动测距方法及系统
CN103595912A (zh) 局部缩放的成像方法和装置
EP3413165B1 (en) Wearable system gesture control method and wearable system
CN108259887B (zh) 注视点校准方法及装置、注视点标定方法及装置
CN103424891A (zh) 成像装置及方法
CN105354822B (zh) 自动识别读写场景中读写元素位置的智能装置及应用
CN105354825A (zh) 自动识别读写场景中读物位置的智能装置及其应用
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
CN105872527A (zh) 双目ar头戴显示设备及其信息显示方法
CN103678971A (zh) 用户信息提取方法及用户信息提取装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant