CN107852457B - 取景器装置和操作该装置的方法 - Google Patents
取景器装置和操作该装置的方法 Download PDFInfo
- Publication number
- CN107852457B CN107852457B CN201680037622.9A CN201680037622A CN107852457B CN 107852457 B CN107852457 B CN 107852457B CN 201680037622 A CN201680037622 A CN 201680037622A CN 107852457 B CN107852457 B CN 107852457B
- Authority
- CN
- China
- Prior art keywords
- image
- reference mark
- distance
- imaging camera
- moved
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000003384 imaging method Methods 0.000 claims abstract description 83
- 230000003287 optical effect Effects 0.000 claims description 57
- 230000007423 decrease Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 230000004438 eyesight Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/02—Viewfinders
- G03B13/06—Viewfinders with lenses with or without reflectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Viewfinders (AREA)
Abstract
取景器装置包括:窗口,在其上放置了参考标记;拍摄单元(例如,眼睛成像相机),被配置为经由窗口拍摄用户的眼睛;以及控制器,被配置为基于被包括在拍摄单元被移动之前由拍摄单元捕获的第一图像中的参考标记的位置以及被包括在拍摄单元被移动之后由拍摄单元捕获的第二图像中的参考标记的位置来检测拍摄单元已经被移动的位置,其中控制器通过使用所检测到的位置来跟踪用户的眼睛。
Description
技术领域
本公开涉及取景器装置及操作该装置的方法,并且例如涉及能够检测跟踪用户的眼睛的拍摄单元已经移动的位置的取景器装置以及操作该取景器装置的方法。
背景技术
取景器使用被包括在其中的光学系统向用户提供取景器图像。取景器包括可视性调整装置。可视性调整装置是用于移动被包括在取景器中的光学系统以便根据用户的视力调整取景器图像的焦点的装置。
取景器还包括跟踪用户的眼睛的相机,并且可以通过分析所跟踪的用户的眼睛来设置感兴趣区域(Region Of Interest,ROI)。
发明内容
技术解决方案
提供了一种能够经由拍摄单元捕获的图像来检测跟踪用户的眼睛的拍摄单元已经被移动的位置的取景器装置以及操作该取景器装置的方法。
有益效果
由于取景器装置可以检测跟踪用户的眼睛的相机已经移动的位置,所以提高了眼睛跟踪的准确性。
由于取景器装置可以通过使用由相机捕获的图像来检测跟踪用户的眼睛的相机已经被移动的位置,所以取景器装置不需要用于检测相机的移动量的专用传感器。
附图说明
结合附图,从下面的详细描述中,这些和/或其它方面将变得显而易见和更容易理解,在附图中相同的附图标记是指相同的元素,并且其中:
图1A和图1B示出了包括取景器的取景器装置;
图2A和图2B示出了被包括在图1A的取景器装置中的取景器;
图3是示出取景器装置的示例结构的框图;
图4是示出取景器装置的示例结构的框图;
图5是示出取景器装置的示例结构的框图;
图6A至图6C示出了其中当示例眼睛成像相机被移动时由拍摄单元拍摄的对象的大小改变的示例;
图7和图8A至图8C是示出取景器装置通过其检测被移动的眼睛成像相机的位置的示例方法的示图;
图9是示出示例眼睛成像相机的位置、示例眼睛成像相机的视场(Field Of View,FOV)(拍摄范围)的大小以及参考标记之间的距离的图;
图10是示出检测和/或确定在示例眼睛成像相机移动时生成的未对准容差的示例方法的示图。
图11是示出操作取景器装置的示例方法的流程图;以及
图12是示出被包括在图11的方法中的示例操作的流程图。
具体实施方式
提供了一种能够经由拍摄单元捕获的图像来检测跟踪用户的眼睛的拍摄单元已经移动的位置的取景器装置以及操作该取景器装置的方法。
附加的方面将部分在下面的描述中被阐述,并且部分将从描述中显而易见。
根据本公开的一方面,取景器装置包括:窗口,在其上显示参考标记;眼睛成像相机,被放置和配置为经由窗口拍摄用户的眼睛;以及控制器,被配置为基于被包括在眼睛成像相机被移动之前由眼睛成像相机捕获的第一图像中的参考标记的位置以及被包括在眼睛成像相机被移动之后由眼睛成像相机捕获的第二图像中的参考标记的位置来检测眼睛成像相机已经被移动的位置。控制器被配置为通过使用所检测到的、眼睛成像相机已经被移动的位置来跟踪用户的眼睛。
取景器装置还可以包括在其上显示至少一个物体的显示器,并且取景器装置可以将与所跟踪的用户的眼睛相交的显示器区域设置为感兴趣区域(ROI)。
显示器可以显示取景器图像,其中从该取景器图像检查要使用取景器装置拍摄的对象的构图(composition)和拍摄条件。
取景器装置可以进一步包括光学系统,其被配置为向用户提供通过经由窗口入射的光的反射或折射而显示在显示器上的图像,以及被配置为沿着光轴移动。眼睛成像相机可以在与光学系统移动的方向相同的方向上被移动。
窗口已经在其上显示了第一参考标记和第二参考标记,并且控制器可以被配置为基于被包括在第一图像中的第一参考标记和第二参考标记之间的第一距离以及被包括在第二图像中的第一参考标记和第二参考标记之间的第二距离来检测眼睛成像相机已经被移动的位置。
取景器装置可以进一步包括存储单元,其被配置为存储尚未被移动的眼睛成像相机、和窗口之间的距离。
当窗口与已经被移动的眼睛成像相机之间的距离增大时,第二距离可能减小,并且,当窗口与已经被移动的眼睛成像相机之间的距离减小时,第二距离可能增大。
窗口和已经被移动的眼睛成像相机之间的距离可以与第二距离成反比。
控制器可以被配置为基于被包括在第一图像中的参考标记的位置和被包括在第二图像中的参考标记的位置来确定由于眼睛成像相机的移动而生成的未对准容差,以及使用所确定的未对准容差来跟踪用户的眼睛。
眼睛成像相机可以包括红外(InFrared,IR)相机,并且参考标记可以由反射IR的材料形成。
根据本公开的一方面,一种操作取景器装置的方法包括:通过经由在其上显示参考标记的窗口拍摄用户的眼睛来获取第一图像;移动拍摄用户的眼睛的眼睛成像相机;通过使用被移动的眼睛成像相机来经由窗口拍摄用户的眼睛来获取第二图像;基于被包括在第一图像中的参考标记的位置和被包括在第二图像中的参考标记的位置来检测眼睛成像相机已经被移动的位置;以及通过使用眼睛成像相机已经被移动的位置来跟踪用户的眼睛。
方法可以进一步包括在显示器上显示至少一个物体;以及将与所跟踪的用户的眼睛相交的显示器区域设置为感兴趣区域(ROI)。
在显示器上显示至少一个物体可以包括显示取景器图像,其中从该取景器图像检查要使用取景器装置拍摄的对象的构图和拍摄条件。
移动拍摄用户的眼睛的眼睛成像相机可以包括在与光学系统移动的方向相同的方向上移动眼睛成像相机,其中该光学系统被配置为向用户提供通过经由窗口入射的光的反射或折射而显示在显示器上的图像并沿着光轴移动。
窗口可以已经在其上显示了第一参考标记和第二参考标记,并且检测眼睛成像相机已经被移动的位置可以包括基于被包括在第一图像中的第一参考标记和第二参考标记之间的第一距离以及被包括在第二图像中的第一参考标记和第二参考标记之间的第二距离来检测眼睛成像相机已经被移动的位置。
该方法可以进一步包括存储尚未被移动的眼睛成像相机、和窗口之间的距离。
检测眼睛成像相机已经被移动的位置可以包括基于被包括在第一图像中的参考标记的位置和被包括在第二图像中的参考标记的位置来确定由于眼睛成像相机的移动而生成的未对准容差。用户的眼睛的跟踪可以包括通过使用所确定的未对准容差来跟踪用户的眼睛。
具体实施方式现在将详细参考示例实施例,其示例在附图中示出,其中相同的附图标记始终是指相同的元素。就这一点而言,示例实施例可以具有不同的形式,并且不应该被解释为限于本文阐述的描述。因此,下面通过参考附图说明性地描述示例实施例,以解释本公开的各方面。如本文所使用的,术语“和/或”包括相关联的所列项目中的一个或多个的任何和所有组合。当在元素列表之前时,诸如“至少一个”的表达修饰整个元素列表并且可以不修饰列表的单独元素。
在下文中,将简要描述说明书中使用的术语,然后将更详细地描述示例。
尽管目前广泛使用的通用术语被选择用于基于其功能描述本公开的示例,但是这些通用术语可以根据本领域普通技术人员的意图、新技术的出现等而变化。本公开的申请人任意选择的术语也可以用于特定的情况。在这种情况下,需要在公开中给出它们的含义。因此,术语可以基于它们的含义和整个公开的内容来定义,而不必通过简单地陈述术语来定义。
当在本公开中使用时,术语“包括”或“包含”指定所述元素的存在,但不排除一个或多个其它元素的存在或添加。当在本公开中使用时,术语“...单元”和“...模块”是指其中执行至少一个功能或操作的单元,并且可以被实现为硬件、软件、或硬件和软件的组合。
本文参考附图详细描述示例实施例,使得本公开所属领域的普通技术人员可以容易地理解本公开。然而,本公开和示例可以以许多不同的形式来体现,并且不应该被解释为限于在本文阐述的示例。在附图中,为了简化说明,省略了与说明无关的部分,并且相同的标号始终是指相同的元素。
图1A和图1B示出了包括取景器的示例取景器装置100(参见例如图3)。根据示例性实施例的取景器装置100可以包括图1A的取景器装置100a和图1B的取景器装置100b。
参考图1A,示例取景器装置100a例如可以是拍摄装置。例如,拍摄装置可以由各种类型的相机(诸如捕获静止图像的数码相机或捕获移动图片的数码摄像机)来实施。拍摄装置也可以由数码单反相机(Digital Single-Lens Reflex camera,DSLR)、无反(mirror-less)相机或智能手机来实施,但是本公开的示例不限于此。拍摄装置的示例例如可以包括装载有相机模块的装置,该相机模块包括透镜和成像设备以拍摄对象以生成对象的图像。
参考图1B,示例取景器装置100b可以是头戴式显示器。例如,头戴式显示器可以由诸如提供VR(Virtual Reality,虚拟现实)图像的虚拟现实(VR)装置和提供AR(AugmentedReality,增强现实)图像的增强现实(AR)装置的各种装置中的任何装置来实施。然而,本公开的示例不限于此。
示例取景器装置100a和100b可以分别包括取景器130a和130b。取景器130a和130b可以提供取景器图像使得用户可以检查要被拍摄的对象的构图和拍摄条件,或者提供VR图像。
取景器装置100a和100b可以分别包括可视性调整装置。例如,用户可以经由被包括在取景器130a和130b中的光学系统观看取景器图像。在这种情况下,由于用户具有不同的视力,可以通过在光轴方向上移动光学系统来基于用户的视力来调整取景器图像的焦点。在这种情况下,用户可以通过使用例如可视性调整旋钮来移动光学系统。然而,本公开的示例不限于此,并且取景器装置100a和100b可以自动移动它们的光学系统以符合用户的视力。
取景器装置100a和100b可以分别包括用于跟踪用户的眼睛的相机。用于跟踪用户的眼睛的相机可以拍摄用户的眼睛并且通过使用所捕获的眼睛图像来跟踪用户的眼睛。取景器装置100a和100b可以从取景器图像检测所跟踪的用户的眼睛在其上逗留(linger)的区域(即,感兴趣区域(ROI))。当检测到ROI时,取景器装置100a和100b可以显示所检测到的ROI并且对所检测到的ROI执行各种操作。例如,取景器装置100a和100b可以通过在ROI上聚焦来拍摄对象。
图2A和图2B示出了图1A的示例取景器130a。
取景器130a可以包括窗口131、光学系统133和显示器140。
窗口131例如可以包括通过其发送光的透明材料,并且可以由透明显示器来实施。当窗口131由透明显示器实施时,窗口131可以显示与拍摄有关的信息。窗口131还可以显示参考标记。参考标记例如可以由反射红外线(IR)的材料形成,使得参考标记可以不被用户的眼睛识别,但是可以被IR相机等识别。
显示器140可以显示取景器图像,并且例如可以被布置在入射在窗口131上的光沿着其行进的路径上。用户可以使窗口131靠近他或她的眼睛,并且经由窗口131观察显示器140上显示的取景器图像。
光学系统133例如可以被放置在窗口131与显示器140之间。光学系统133可以包括例如至少一个透镜和棱镜。光学系统133可以向用户提供经由入射在光学系统133上的光的折射、反射等在显示器140上显示的取景器图像。所述至少一个透镜可以包括例如放大取景器图像的变焦透镜和用于基于用户的视力调整取景器图像的可视性调整透镜。棱镜135可以改变光的路径,使得入射在光学系统133上的光的一部分入射在拍摄单元110上。
拍摄单元110可以包括至少一个相机。拍摄单元110可以包括IR相机。拍摄单元110可以经由窗口131拍摄靠近窗口131的、用户的眼睛。如本文所使用的,术语拍摄单元是指包括相机(其也可以被称为眼睛成像相机)的集合。尽管其它元件可以被包括在拍摄单元中,但拍摄单元至少包括相机,例如眼睛成像相机。为了容易和解释的方便,在整个公开中可以使用术语拍摄单元。然而,本领域技术人员将容易理解,本文描述、公开和讨论的拍摄单元是指包括至少一个相机(例如,眼睛成像相机)的集合。取景器装置100可以包括至少一个照明器134,以在拍摄单元110拍摄用户的眼睛时提供光。照明器134可以被放置在窗口131附近并且可以包括IR发光二极管(Light-Emitting Diode,LED)。
取景器装置100可以从所拍摄的用户的眼睛图像检测瞳孔和反射的光、跟踪用户的眼睛、并且检测所跟踪的用户的眼睛与其相交的、显示器140上的区域。
取景器装置100的用户例如可以使用可视性调整装置(例如,可视性调整旋钮)来在光轴方向上移动被包括在取景器130a中的光学系统133,以便基于例如用户的视力来调整取景器图像。当光学系统133被移动时,拍摄单元110也可以在与光学系统133被移动的方向相同的方向上被移动。
拍摄用户的眼睛的拍摄单元110的位置是在用户的眼睛的跟踪的确定中使用的参数。因此,当拍摄单元110被移动时,如果在用户的眼睛的跟踪的确定中没有考虑拍摄单元110已经被移动的位置,则眼睛跟踪的准确性降低。因此,取景器装置100可以通过检测拍摄单元110被移动的位置并且通过使用所检测到的、拍摄单元110的位置来跟踪用户的眼睛来提高眼睛跟踪的准确性。
虽然图2A和图2B示出并描述了图1A的示例取景器130a,但是在图2A和图2B中示出的取景器130a的描述也可以应用于图1B的取景器130b。
图3是示出根据示例性实施例的取景器装置100的示例结构的框图。
参考图3,取景器装置100可以包括拍摄单元110、控制器120和显示器140,该拍摄单元110包括眼睛成像相机。
如以上参考图2B所述,拍摄单元110可以包括至少一个相机,诸如例如眼睛成像相机。拍摄单元110可以包括IR相机。当光学系统133被移动时,拍摄单元110也可以在与光学系统133被移动的方向相同的方向上被移动。拍摄单元110可以经由窗口来拍摄用户的眼睛。例如,拍摄单元110可以在拍摄单元110被移动之前通过拍摄用户的眼睛来获取第一图像。拍摄单元110可以在拍摄单元110被移动之后通过拍摄用户的眼睛来获取第二图像。第一图像和第二图像可以分别包括在窗口上显示的参考标记(但如上所所讨论的,不一定对用户可见)。
控制器120可以被配置为基于被包括在第一图像中的参考标记的位置和被包括在第二图像中的参考标记的位置来检测拍摄单元110已经被移动的位置。例如,参考标记可以包括第一参考标记和第二参考标记,并且控制器120可以被配置为基于被包括在第一图像中的第一参考标记和第二参考标记之间的第一距离以及被包括在第二图像中的第一参考标记和第二参考标记之间的第二距离来检测拍摄单元110已经被移动的位置。这将在下面参考图6-图9更详细地描述。
控制器120可以被配置为确定是否由于拍摄单元110的移动而生成了未对准容差。例如,当拍摄单元110沿着光轴(z轴)移动时,拍摄单元110实际可以在x轴和y轴方向上移动,而不是仅在光轴(z轴)方向上移动。因此,可能在x轴和y轴方向上生成未对准容差。控制器120可以被配置为基于被包括在第一图像中的参考标记的位置以及被包括在第二个图像中的参考标记的位置来确定是否在x轴和y轴方向上已经生成了未对准容差并且确定所生成的容差。这将在下面参考图10更详细地描述。
显示器140可以显示至少一个物体。
显示器140例如可以显示取景器图像,使得用户可以检查要被拍摄的对象的构图和拍摄条件,或者显示VR图像。
显示器140例如可以是液晶显示器(Liquid Crystal Display,LCD)、有机发光显示器等。
显示器140例如可以显示与所跟踪的用户的眼睛相交的区域(即,ROI)。
图4是示出取景器装置100a的示例结构的框图。取景器装置100a例如可以由拍摄装置来实施。图4的拍摄装置可以是图1A的取景器装置100a。
参考图4,取景器装置100a可包括拍摄单元210、图像信号处理器220、模拟信号处理器221、存储器230、存储/读出控制器240、存储卡242、程序存储单元250、显示器驱动器282、第一显示器284、控制器270、操纵器280、通信器或通信电路260以及取景器模块290。取景器模块290可以包括眼睛跟踪相机293和第二显示器295。
图4的眼睛跟踪相机293例如可以与图3的拍摄单元110相对应,图4的第二显示器295例如可以与图3的显示器140相对应,并且图4的控制器270例如可以与图3的控制器120相对应,因此在此省略其重复的说明。
取景器装置100a的整体操作可以由控制器270控制。控制器270可以被配置为向透镜驱动器212、光圈驱动器215和成像传感器控制器219提供控制信号例如用于分别驱动它们。
拍摄单元210从入射光生成与电信号相对应的图像,并且包括例如透镜211、透镜驱动器212、光圈213、光圈驱动器215、成像传感器218和成像传感器控制器219。
透镜211例如可以包括多组透镜或多个透镜。透镜211的位置由透镜驱动器212控制。透镜驱动器212被配置为基于由控制器270提供的控制信号来调整透镜211的位置。
透镜驱动器211还被配置为通过调整透镜211的位置来调整焦距,并且被配置为执行诸如自动对焦、变焦改变和焦点改变的操作。
光圈213的打开或关闭程度由光圈驱动器215控制,并且光圈213被配置为调整入射在成像传感器218上的光量。
已经通过透镜211和光圈213的光学信号在到达成像传感器218的光接收表面时形成对象的图像。成像传感器218例如可以是将光学信号转换为电信号的电荷耦合设备(Charge Coupled Device,CCD)图像传感器、互补金属氧化物半导体图像传感器(CIS)等。成像传感器218的灵敏度等例如可以由成像传感器控制器219控制。成像传感器控制器219可以被配置为基于可以由实时输入图像信号自动生成的控制信号或者经由用户的操纵而手动输入的控制信号来控制成像传感器218。
模拟信号处理器221被配置为对从成像传感器218接收的模拟信号执行例如降噪、增益调整、波形整形或模数转换(Analog-Digital Conversion,ADC)。
图像信号处理器220被配置为对由模拟信号处理器221获得的图像数据信号处理特定功能。例如,图像信号处理器220可以被配置为降低被包括在输入图像数据中的噪声,并且执行图像信号处理用于图像质量提高和特定效果供应,诸如伽马校正、滤色镜阵列插值、颜色矩阵、颜色校正、颜色增强、白平衡调整、亮度平滑、色彩阴影等。图像信号处理器220例如可以被配置为通过压缩输入图像数据来生成图像文件,或者从图像文件恢复图像数据。图像的压缩格式可以是可逆的或不可逆的格式。用于静止图像的合适的压缩格式的示例例如可以包括联合图像专家组(Joint Photographic Experts Group,JPEG)格式或JPEG 2000格式。当记录运动图片时,图像信号处理器220可以被配置为通过根据运动图像专家组(Moving Picture Experts Group,MPEG)标准来压缩多个帧来生成运动图片文件。图像文件可以根据例如可交换图像文件格式(Exchangeable image file,Exif)标准来生成。
图像信号处理器220可以被配置为从由成像传感器218生成的成像信号生成移动图片文件。成像信号可以是由成像传感器218生成并且由模拟信号处理器221处理的信号。图像信号处理器220可以被配置为从成像信号生成要被包括在移动图片文件中的帧。可以根据诸如MPEG4、H.264/AVC或者windows媒体视频(Windows Media Video,WMV)的标准对帧进行编码,并将其压缩为移动图片,然后可以使用移动图片生成移动图片文件。可以以诸如mpg、mp4、3gpp、avi、asf和mov的各种格式中的任何格式来生成移动图片文件。
由图像信号处理器220输出的图像数据被直接或经由存储器230输入到存储/读出控制器240。存储/读出控制器240被配置为自动地或者根据由用户输入的信号来将图像数据存储在存储卡242中。存储/读出控制器240可以被配置为从存储在存储卡242中的图像文件读出与图像有关的数据,并且经由存储器230或者任何其它路径将读出数据输入到显示器驱动器282,使得图像被显示在第一显示器284上。存储卡242可以是可拆卸的,或者可以永久地附接到取景器装置100a。例如,存储卡242可以是诸如安全数字(Secure Digital,SD)卡的闪存卡。
图像信号处理器220还可以被配置为对所接收的图像数据执行例如朦胧(obscurity)处理、颜色处理、模糊处理、边缘强调、图像解读、图像识别或图像效果处理。面部识别、场景识别等可以被执行为图像识别。图像信号处理器220可以被配置为处理要在第一显示器264上显示的图像的信号。例如,图像信号处理器220可以被配置为执行亮度级别控制、颜色校正、对比度控制、轮廓强调、屏幕划分、字符图像的生成等,或者图像合成。
由图像信号处理器220获得的信号可以经由存储器230被输入到控制器270,或者直接被输入到控制器270而不使用存储器230。存储器230作为取景器装置100a的主存储器操作,并且暂时存储当图像信号处理器220或控制器270操作时所需的信息。程序存储单元250可以存储例如用于驱动取景器装置100a的操作系统的程序、和应用系统的程序。
取景器装置100a包括第一显示器284以显示取景器装置100a的操作状态或由取景器装置100a获得的图像信息。第一显示器284可以向用户提供视觉信息。为了提供视觉信息,第一显示器284例如可以由LCD、有机发光显示器等实施。第一显示器284例如可以是能够识别触摸输入的触摸屏。
显示器驱动器282向第一显示器284提供驱动信号。
控制器270可以被配置为处理所接收的图像信号,并且基于经处理的图像信号或者基于外部输入信号来控制取景器装置100a的组件。控制器270可以对应于单个处理器或多个处理器。处理器可以通过多个逻辑门的阵列来实施,或者由通用微处理器和其中存储可由通用微处理器执行的程序的存储器的组合来实施。该示例所属领域的普通技术人员也将理解处理器可以通过使用其它类型的硬件来实施。
控制器270可以被配置为执行存储在程序存储单元230中的程序,或者通过使用被包括在控制器中的特定模块来生成用于控制自动聚焦、变焦改变、焦点改变、自动曝光校正等的控制信号以及将所生成的控制信号提供给光圈驱动器215、透镜驱动器212和成像传感器控制器219,并且控制被包括在取景器装置100a中的所有组件(诸如快门和闪光灯)的操作。
控制器270可以被连接到外部监视器并且被配置为对从图像信号处理器220接收的图像信号执行图像信号处理,并且可以被配置为将经处理的图像数据发送到外部监视器,使得与经处理的图像数据相对应的图像被显示在外部监视器上。
操纵器280可以由用户使用来输入控制信号。操纵器280可以包括各种功能按钮,诸如用于输入使得成像传感器218能够在预定的时间段内曝光以照相的快门释放信号的快门释放按钮、用于输入用于控制通电或断电操作的控制信号的电源按钮、用于根据输入来扩大或缩小视角的变焦按钮、模式选择按钮以及其它拍摄设置值调整按钮。操纵器280可以由用户能够通过其输入控制信号的任何其它类型的设备(诸如按钮、键盘、触摸板、触摸屏或遥控器)来实施。
通信器260包括通信电路并且可以包括例如网络接口卡(Network InterfaceCard,NIC)或调制解调器,并且可以使得取景器装置100a能够以有线或无线的方式经由网络与外部设备通信。
图5是示出根据示例性实施例的取景器装置100b的示例结构的框图。取景器装置100b可以由提供VR图像的头戴式显示器来实施。图5的头戴式显示器例如可以是图1B的取景器装置100b。
参考图5,取景器装置100b可以包括音频输入单元310、相机320、眼睛跟踪相机325、包括至少一个传感器的传感器单元330、包括通信电路的通信器335、存储器340、音频输出单元355、控制器370、显示器380、电源供应器390、驱动器393和透镜单元395。
图5的眼睛跟踪相机325例如可以与图3的拍摄单元110相对应,图5的显示器380例如可以与图3的显示器140相对应,图5的控制器370例如可以与图3的控制器120相对应,因此这里将省略其重复描述。
音频输入单元310可以接收外部声音。音频输入单元310可以将所接收的外部声音发送到控制器370。
相机320可以捕获外部环境的图像。例如,相机320可以在开启时捕获外部环境的图像。然后,相机320可以将所捕获的图像发送到控制器370。
传感器单元330可以感测取景器装置100b的运动信息(例如,用户头部的运动信息),并且生成感测信号。例如,传感器单元330可以包括运动传感器(未示出)、接近传感器(未示出)和压力传感器(未示出)中的至少一个。
运动传感器(未示出)通过使用加速度传感器、陀螺仪传感器等来感测头戴式显示器100b的位置、移动等。加速度传感器可以包括相对于X轴方向、Y轴方向和Z轴方向的加速度传感器。陀螺仪传感器测量角速度,并且可以感测相对于参考方向的歪斜方向。接近传感器(未示出)可以在没有任何机械接触的情况下检测例如接近取景器装置100b的物体的存在或不存在或存在于取景器装置100b周围的物体。压力传感器(未示出)可以检测对取景器装置100b的压力的施加或不施加、压力的大小等。例如,压力传感器可以感测由用户的手施加的压力。
通信器335包括通信电路并且可以提供用于与外部装置的通信的接口。通信器335可以包括移动通信模块(未示出)、无线互联网模块(未示出)、短距离通信模块(未示出)和全球定位系统(Global Positioning System,GPS)模块(未示出)中的至少一个。例如,通信器335可以经由无线互联网模块(未示出)执行WiFi通信,并且经由短距离通信模块(未示出)执行近场通信(Near Field Communication,NFC)。
通信器335可以被配置为与移动终端(未示出)或外部服务器(未示出)交换数据。具体而言,通信器335可以从移动终端接收各条数据,诸如图像内容。通信器335可以将取景器装置100b的状态信息等发送到移动终端。通信器335可以从移动终端(未示出)或外部服务器(未示出)接收用户的视力信息。
存储器340可以存储用于取景器装置100b的控制器370的处理或控制程序,或者可以执行用于临时存储输入或输出数据的功能。存储器340还可以存储从外部装置接收的内容数据。
音频输出单元355可以输出音频信号。例如,音频输出单元355可以输出由显示器380再现的内容的音频信号。音频输出单元355可以包括扬声器或者可以包括用于将音频输出到外面的音频输出端子。
控制器370被配置为控制取景器装置100b的组件的操作。例如,控制器370可以被配置为基于用户输入来再现存储在存储器340中或者经由通信器335接收的图像内容,并且将与图像内容相对应的视频信号和音频信号分别输出到显示器380和音频输出单元355。
作为另一示例,控制器370可以被配置为控制与取景器装置100b的运动信息(具体地,由传感器单元330获得的关于用户头部的运动信息)相对应的要被执行的操作。
取景器装置100b可以基于用户的视力来调整要在显示器380上显示的图像的焦点。例如,取景器装置100b可以改变用户的眼睛与透镜单元395之间的距离。驱动器393可以通过移动透镜单元395来改变用户的眼睛与透镜单元395之间的距离。驱动器393可以包括诸如步进电机的透镜单元移动构件(未示出)。用户的眼睛与透镜单元395之间的距离可以通过这种步进电机的操作来改变。
根据示例实施例的眼睛跟踪相机325可以拍摄用户的眼睛并获取用户的眼睛图像。眼睛跟踪相机325也可以在透镜单元395移动时移动。
例如,显示单元380可以显示文本或图像。
例如,显示器380可以显示图像。显示器380可以以菜单显示模式在与用户的眼睛方向相对应的区域上显示菜单。
在控制器370的控制下,电源供应器390可以供应操作取景器装置100b的组件所需的电力。
图3-图5所示的取景器装置100a、100b的框图只是说明性的示例。在实际实施取景器装置100a、100b时,可以根据取景器装置100a、100b的说明组合或省略图3-图5所示的组件,或可以将附加的组件包括在图3-图5的框图中。换句话说,根据需要,两个或更多个组件被组合成单个组件,或者单个组件可以被分成两个或更多个组件。在每个框中执行的功能仅仅是解释示例实施例的示例,并且每个框的详细操作或设备不限制本公开的范围。
图6A-图6C示出了其中当示例拍摄单元(例如眼睛成像相机)被移动时由拍摄单元拍摄的对象的大小改变的示例。
参考图6A-图6C,光学系统410和拍摄单元420(包括例如眼睛成像相机)可以沿着光轴430在相同的方向上被移动。例如,当光学系统410在远离窗口401的方向上移动时,拍摄单元420也可以在远离窗口401的方向上移动。另一方面,当光学系统410在靠近窗口401的方向上移动时,拍摄单元420也可以在靠近窗口401的方向上移动。
当拍摄单元420被移动时,拍摄单元420的视场(FOV)可以变化。FOV表示其中由拍摄单元420拍摄对象的范围。
当拍摄单元420在远离窗口401的方向上移动时,拍摄单元420的FOV增大,并且被包括在所捕获的图像中的对象的大小减小。另一方面,当拍摄单元420在靠近窗口401的方向上移动时,拍摄单元420的FOV减小,并且被包括在所捕获的图像中的对象的大小增大。
例如,如图6A所示,当拍摄单元420被安置在第一点P1时,基于拍摄单元420的中心,FOV(拍摄范围)在垂直方向和水平方向中的每一个方向上可以是d1,并且对象的大小可以是T。因此,当由被安置在第一点P1处的拍摄单元420捕获的第一图像440的水平大小是W0并且其垂直大小是H0时,被包括在第一图像440中的对象的水平大小w1例如可以是W0*T/d1,并且其垂直大小h1例如可以是H0*T/d1。
如图6B所示,当拍摄单元420在远离窗口401的方向上从第一点P1移动并且被安置在第二点P2时,拍摄单元420的FOV增大。因此,拍摄单元420的FOV(拍摄范围)在垂直方向和水平方向中的每一个方向上可以是大于d1的d2。在这种情况下,当拍摄单元420拍摄相同的对象时,被包括在第二图像450中的对象的水平大小w2例如可以是W0*T/d2,并且其垂直大小h2例如可以是H0*T/d2。
如图6C所示,当拍摄单元420在靠近窗口401的方向上从第一点P1移动并且被安置在第三点P3时,拍摄单元420的FOV减小。因此,拍摄单元420的FOV(拍摄范围)在垂直方向和水平方向中的每一个方向上可以是小于d1的d3。在这种情况下,当拍摄单元420拍摄相同的对象时,被包括在第三图像460中的对象的水平大小w3例如可以是W0*T/d3,并且其垂直大小h3例如可以是H0*T/d3。
因此,示例取景器装置100可以通过使用以下原理来检测拍摄单元420已经被移动的位置,该原理是当拍摄单元420被移动时,被包括在由拍摄单元420捕获的图像中的对象的大小改变。
图7和图8A至图8C是示出取景器装置100通过其检测经移动的拍摄单元的位置的示例方法的示图。
参考图7,参考标记510和520可以被显示在窗口131上。例如,图7的窗口131可以表示从拍摄单元110观察的窗口。如图7所示,参考标记510和520可以包括每个具有十字形状的第一参考标记510和第二参考标记520。第一参考标记510可以被显示在窗口131的左上角,并且第二参考标记520可以被显示在其右上角。然而,示例不限于此,参考标记510和520的数量以及参考标记510和520中的每一个的形状、大小和位置可以变化。然而,参考标记510和520需要被安置在当拍摄单元110被安置在最靠近窗口131时的FOV(拍摄范围)内,并且被安置在当拍摄单元110被安置在最远离窗口131时的FOV(拍摄范围)内。
参考标记510和520例如可以由IR材料形成。例如,当参考标记510和520由IR材料形成时,用户不能识别在窗口131上显示的参考标记510和520,并且仅拍摄单元110能够识别和拍摄参考标记510和520,其中该拍摄单元110包括IR相机。因此,当用户经由窗口131观看取景器图像时,被显示在窗口131上的参考标记510和520可能不被用户的眼睛识别。
参考图8A,当拍摄单元110(例如,眼睛成像相机)被安置在第一点P1时,拍摄单元110可以经由窗口131拍摄用户的眼睛并且获取第一图像610。在这种情况下,在第一点P1处识别的整个屏幕615的宽度可以是W1,并且第一参考标记510和第二参考标记520之间的距离可以是A。然而,输出图像的大小可以基于被包括在拍摄单元110中的图像传感器的像素来确定,并且当第一图像610的宽度是W0时,被包括在第一图像610中的参考标记510和520之间的距离A1例如可以是W0*A/W1。
参考图8B,当拍摄单元110被安置在第二点P2时,拍摄单元110可以通过经由窗口131拍摄用户的眼睛来获取第二图像620。当拍摄单元110被安置在第二点P2处时,拍摄单元110的FOV(拍摄范围)大于当拍摄单元110被安置在第一点P1处时的FOV(拍摄范围)。因此,在第二点P2处识别的整个屏幕625的宽度可以是大于W1的W2。类似于当拍摄单元110被安置在第一点P1处时的情况,整个屏幕625上的第一参考标记510和第二参考标记520之间的距离可以是A。由于拍摄单元110通过使用与已经获取第一图像610的图像传感器相同的图像传感器来获取第二图像620,所以第二图像620的宽度是W0,其与第一图像610的宽度W0相同。因此,第二图像620内的参考标记之间的距离A2例如可以是W0*A/W2。
当拍摄单元110从第一点P1移动到第二点P2时,拍摄单元110的FOV(拍摄范围)增大。因此,由于所捕获的图像内的参考标记之间的相对距离减小,A2可以小于A1。
参考图8C,当拍摄单元110被安置在第三点P3处时,拍摄单元110可以通过经由窗口131拍摄用户的眼睛来获取第三图像630。当拍摄单元110被安置在第三点P3处时,拍摄单元110的FOV(拍摄范围)小于当拍摄单元110被安置在第一点P1处时的FOV(拍摄范围)。因此,在第三点P3处识别的整个屏幕635的宽度可以是小于W1的W3。类似于当拍摄单元110被安置在第一点P1处时的情况,整个屏幕635上的第一参考标记510和第二参考标记520之间的距离可以是A。由于拍摄单元110通过使用与已经获取第一图像610的图像传感器相同的图像传感器来获取第三图像630,所以第三图像630的宽度是W0,其与第一图像610的宽度W0相同。因此,第三图像630内的参考标记之间的距离A3例如可以是W0*A/W3。
当拍摄单元110从第一点P1移动到第三点P3时,拍摄单元110的FOV(拍摄范围)减小。因此,由于所捕获的图像内的参考标记之间的相对距离减小,A3可以大于A1。
图9是示出拍摄单元110的示例位置、拍摄单元110的FOV(拍摄范围)的大小以及参考标记之间的距离的图。
参考图9,拍摄单元110与窗口之间的距离L和拍摄范围的大小W成比例。例如,当拍摄单元110与窗口之间的距离L增大时,拍摄范围的大小W增大。参考图9,W1/L1=W2/L2的关系被建立。如以上参考图8所述,由于A1=W0*A/W1和A2=W0*A/W2,因此L2=L1*A1/A2的关系可以被建立。
取景器装置100可以通过使用L1、A1和A2的值来确定距离L2。在这种情况下,窗口与在初始位置(第一点P1)处的拍摄单元110之间的距离L1可以预先存储在取景器装置100中。取景器装置100可以测量第一图像610内的参考标记之间的距离A1并且测量第二图像620内的参考标记之间的距离A2。
因此,取景器装置100可以基于分别在第一图像610(在参考位置处捕获的图像)和第二图像620内的参考标记之间的距离A1和A2以及在第一点P1(参考点)处的拍摄单元110与窗口131之间的距离L1来确定在第二点P2处的拍摄单元110与窗口131之间的距离L2。
类似地,取景器装置100可以基于分别在第一图像610(在参考位置处捕获的图像)和第三图像630内的参考标记之间的距离A1和A3以及在第一点P1(参考点)处的拍摄单元110与窗口131之间的距离L1来确定在第三点P3处的拍摄单元110与窗口131之间的距离L3。
图10是示出检测当拍摄单元110移动时生成的容差的示例方法的示图。
参考图10,当拍摄单元110沿着光轴(z轴)被移动时,拍摄单元110实际可以在x轴和y轴方向上移动,而不是仅在光轴(z轴)方向上准确地移动。因此,可能在x轴和y轴方向上生成未对准容差。
参考图10,拍摄单元110可以在被安置在第一点P1处时获取第一图像710,在被安置在第二点P2时获取第二图像720。当拍摄单元110从第一点P1移动到第二点P2时,如果拍摄单元110仅沿着光轴(z轴)准确地移动而不沿着x轴移动,则从第一图像710测量的距离D1(第一图像710的垂直中心线701与第一参考标记731之间的距离)和从第二图像720测量的距离D2(第二图像720的垂直中心线701与第二参考标记741之间的距离)建立D2=D1*L1/L2的关系。
参考图10,由于D1=W0/2-C1并且D2=W0/2-C2,可以建立W0/2-C2=(W0/2-C1)*L1/L2的关系。因此,当拍摄单元110从第一点P1移动到第二点P2时,如果拍摄单元110仅沿着光轴(z轴)准确地移动而不沿着x轴移动,则从第一图像710测量的距离C1和从第二图像720测量的距离C2需要建立W0/2-C2=(W0/2-C1)*L1/L2的关系。如以上参考图8和图9所述,可以使用第一图像710内的参考标记之间的距离A1和第二图像720内的参考标记之间的距离A2来确定L1/L2。
当从第一图像710测量的距离C1和从第二图像720测量的距离C2没有建立W0/2-C2=(W0/2-C1)*L1/L2的关系时,取景器装置100可以确定在x轴方向上已经生成了未对准容差。
当确定在x轴方向上已经生成了容差时,取景器装置100可以确定x轴方向上的未对准容差。
例如,当拍摄单元110从第一点P1移动到第二点P2时,如果拍摄单元110不沿着x轴移动,则建立C2=W0/2-L1/L2*(W0/2-C1)的关系。因此,可以由从第二图像720实际测量的距离C2和W0/2-L1/L2*(W0/2-C1)之间的差来确定x轴方向上的容差。如果实际测量的距离C2大于W0/2-L1/L2*(W0/2-C1),则这意味着拍摄单元110已经在x轴的正方向上移动。如果实际测量的距离C2小于W0/2-L1/L2*(W0/2-C1),则意味着拍摄单元已经在x轴的负方向上移动。
参考图10,当拍摄单元110从第一点P1移动到第二点P2时,如果拍摄单元110仅沿着光轴(z轴)准确地移动而不沿着y轴移动,则从第一图像710测量的距离E1(第一图像710的水平中心线702与第一参考标记731之间的距离)和从第二图像720测量的距离E2(第二图像720的水平中心线702与第二参考标记741之间的距离)建立E2=E1*L1/L2的关系。
参考图10,由于E1=H0/2-B1并且E2=H0/2-B2,所以可以建立H0/2-B2=(H0/2-B1)*L1/L2的关系。因此,当拍摄单元110从第一点P1移动到第二点P2时,如果拍摄单元110仅沿着光轴(z轴)准确地移动而不沿着y轴移动,则从第一图像710测量的距离B1和从第二图像720测量的距离B2需要建立H0/2-B2=(H0/2-B1)*L1/L2的关系。如以上参考图8和图9所述,可以使用第一图像710内的参考标记之间的距离A1和第二图像720内的参考标记之间的距离A2来计算L1/L2。
当从第一图像710测量的距离B1和从第二图像720测量的距离B2没有建立H0/2-B2=(H0/2-B1)*L1/L2的关系时,取景器装置100可以确定在y轴方向上已经生成了未对准容差。
当确定在y轴方向上已经生成了未对准容差时,取景器装置100可以确定在y轴方向上的未对准容差。
例如,当拍摄单元110从第一点P1移动到第二点P2时,如果拍摄单元110不沿着y轴移动,则建立B2=H0/2-L1/L2*(H0/2-B1)的关系。因此,可以由从第二图像720实际测量的距离B2与H0/2-L1/L2*(H0/2-B1)之间的差来确定y轴方向上的未对准容差。如果实际测量的距离B2大于H0/2-L1/L2*(H0/2-B1),则意味着拍摄单元110已经在y轴的负方向上移动。如果实际测量的距离B2小于H0/2-L1/L2*(H0/2-B1),则意味着拍摄单元110已经在y轴的正方向上移动。
图11是示出操作取景器装置100的示例方法的流程图。图12是示出被包括在图11的示例方法中的操作S840的流程图。
参考图11,取景器装置100可以通过经由在其上显示参考标记的窗口在第一点处拍摄用户的眼睛来获取第一图像(S810)。
在这种情况下,取景器装置100可以包括IR LED,并且IR LED可以被放置在窗口附近。拍摄单元110可以包括IR相机。
每当拍摄单元110经由窗口拍摄特定对象时,IR LED都会点亮。例如,当IR LED在拍摄单元110经由窗口拍摄用户的眼睛时点亮,用户的眼睛无法识别IR LED点亮,因为用户的眼睛不能感测IR。然而,拍摄单元110可以通过使用从IR LED发出的IR来拍摄用户的眼睛。
参考标记可以由IR材料形成。IR材料是反射IR的材料,因此可以不被用户的眼睛识别,但可以被IR相机识别。因此,由包括IR相机的拍摄单元110捕获的第一图像可以包括参考标记。
取景器装置100可以将拍摄单元110从第一点移动到第二点(S820)。
取景器装置100可以在光轴方向上移动被包括在取景器中的光学系统,以基于用户的视力来调整在显示器140上显示的取景器图像。
拍摄单元110可以被包括在光学系统中,并且可以在与光学系统被移动的方向相同的方向上被移动。因此,当光学系统在光轴方向上被移动时,位于第一点处的拍摄单元110可以沿着光轴被移动到第二点。
取景器装置100可以通过经由在其上显示参考标记的窗口在第二点处拍摄用户的眼睛来获取第二图像(S830)。
取景器装置100可以基于被包括在第一图像中的参考标记的位置和被包括在第二图像中的参考标记的位置来检测拍摄单元110已经被移动的位置(S840)。
现在将参考图12更详细地描述操作S840。
参考图12,取景器装置100可以测量第一图像内的参考标记之间的第一距离(S910)。
第一图像是在图11的操作S810中由位于第一点处的拍摄单元110捕获的图像。例如,窗口上显示的参考标记可以包括第一参考标记和第二参考标记,并且第一图像可以包括第一参考标记和第二参考标记。取景器装置100可以测量第一图像内的第一参考标记和第二参考标记之间的第一距离。
取景器装置100可以测量第二图像内的参考标记之间的第二距离(S920)。
第二图像是在图11的操作S830中由位于第二点处的拍摄单元110捕获的图像。第二图像可以包括第一参考标记和第二参考标记,并且取景器装置100可以测量第二图像内的第一参考标记和第二参考标记之间的第二距离。
取景器装置100可以基于第一点的位置(例如,第一点与窗口之间的距离)、在第一图像内测量的第一距离以及在第二图像内测量的第二距离来确定第二点的位置(例如,第二点与窗口之间的距离)(S930)。
取景器装置100可以确定在拍摄单元移动时是否已经生成了未对准容差(S940)。
例如,当拍摄单元110沿着光轴(z轴)被移动时,拍摄单元110实际可以在x轴和y轴方向上移动,而不是仅在光轴(z轴)方向上准确地移动。因此,可以在x轴和y轴方向上生成容差。
取景器装置100可以基于被包括在第一图像中的参考标记的位置和被包括在第二图像中的参考标记的位置来确定是否已经在x轴和y轴方向上生成了容差。例如,如以上参考图10所述,当从第一图像测量的距离C1和从第二图像测量的距离C2没有建立W0/2-C2=(W0/2-C1)*L1/L2的关系时,取景器装置100可以确定已经在x轴方向生成了容差。
当从第一图像测量的距离B1和从第二图像测量的距离B2没有建立H0/2-B2=(H0/2-B1)*L1/L2的关系时,取景器装置100可以确定已经在y轴方向上生成了容差。
当确定在x轴和y轴方向中的至少一个方向上已经生成了容差时,根据示例性实施例的取景器装置100可以确定容差(S960)。
例如,如以上参考图10所述,可以由从第二图像实际测量的距离C2与W0/2-L1/L2*(W0/2-C1)之间的差来确定x轴方向上的容差。可以由从第二图像实际测量的距离B2与H0/2-L1/L2*(H0/2-B1)之间的差来计算y轴方向上的容差。
返回参考图11,取景器装置100可以使用拍摄单元110的位置(例如,拍摄单元110或窗口与所生成的容差之间的距离)来跟踪用户的眼睛以及将与所跟踪的用户的眼睛相交的显示器区域设置为ROI(S850)。
取景器装置100可以通过分析基于用于当拍摄用户的眼睛时提供光的照明器(例如,IR LED)的位置、以及拍摄单元110的位置(窗口和拍摄单元110之间的距离)而捕获的用户的眼睛图像来跟踪用户的眼睛方向(例如,眼睛的光轴)。当拍摄单元110被移动时,拍摄单元110的位置(窗口和拍摄单元110之间的距离)被改变。因此,为了提高跟踪用户的眼睛的准确性,取景器装置100需要通过使用其中反映拍摄单元已经被移动的位置的参数来跟踪用户的眼睛。
取景器装置100可以基于拍摄单元110已经在光轴方向上被移动的位置以及由于拍摄单元110的移动而生成的x轴和y轴方向上的容差来跟踪用户的眼睛。此外,取景器装置100可以检测与所跟踪的用户的眼睛相交的、显示器140的区域,并且将所检测到的区域设置为由用户观察的ROI。
由于取景器装置100可以检测跟踪用户的眼睛的相机已经被移动的位置,所以提高了眼睛跟踪的准确性。
由于取景器装置100可以通过使用由相机捕获的图像来检测跟踪用户眼睛的相机已经被移动的位置,所以取景器装置100不需要用于检测相机的移动量的专用传感器。
操作取景器装置的方法可以体现为可由各种计算机装置执行的程序命令,并且可以被记录在非暂时性计算机可读记录介质上。非暂时性计算机可读记录介质可以单独或组合地包括程序命令、数据文件、数据结构等。要被记录在非暂时性计算机可读记录介质上的程序命令可以被专门设计和配置用于本公开的示例实施例,或者可以是计算机软件领域的普通技术人员所熟知和可用的。非暂时性计算机可读记录介质的示例包括诸如硬盘、软盘或磁带的磁介质,诸如光盘只读存储器(Compact Disk-Read-Only Memory,CD-ROM)或数字多功能盘(Digital Versatile Disk,DVD)之类的光介质,诸如软盘的磁光介质以及专门配置为存储和执行程序命令的硬件设备,诸如ROM、随机存取存储器(Random-Access Memory,RAM)或闪存。程序命令的示例是可由计算机通过使用解释器等执行的高级语言代码以及由编译器编译的机器语言代码。
这些示例应该仅以描述性意义考虑而不是用于限制的目的。每个示例内的特征或方面的描述通常应当被考虑为可用于其它示例中的其它类似特征或方面。
尽管已经参考其示例具体示出和描述了本公开,但是本领域普通技术人员将理解,在不脱离如由以下权利要求定义的本公开的精神和范围的情况下,可以在其中在形式和细节上做出各种改变。
Claims (15)
1.一种取景器装置,包括:
窗口,在其上放置第一参考标记和第二参考标记;
眼睛成像相机,被配置为经由所述窗口拍摄用户的眼睛;以及
控制器,被配置为基于被包括在所述眼睛成像相机被移动之前由所述眼睛成像相机捕获的第一图像中的第一参考标记与第二参考标记之间的第一距离以及被包括在所述眼睛成像相机被移动之后由所述眼睛成像相机捕获的第二图像中的第一参考标记与第二参考标记之间的第二距离来检测所述眼睛成像相机的当前位置,
其中所述控制器被配置为使用所检测到的所述眼睛成像相机的当前位置来跟踪用户的眼睛。
2.根据权利要求1所述的取景器装置,还包括显示器,被配置为显示至少一个物体,
其中所述取景器装置被配置为将与所跟踪的用户的眼睛相交的显示器区域设置为感兴趣区域(ROI)。
3.根据权利要求2所述的取景器装置,其中所述显示器被配置为显示取景器图像,其中从所述取景器图像检查要使用所述取景器装置拍摄的对象的构图和拍摄条件。
4.根据权利要求2所述的取景器装置,还包括光学系统,被配置为向用户提供通过经由所述窗口入射的光的反射或折射而显示在所述显示器上的图像,以及沿着光轴移动,
其中所述眼睛成像相机在与所述光学系统移动的方向相同的方向上被移动。
5.根据权利要求1所述的取景器装置,其中
所述窗口已经在其上放置了第一参考标记和第二参考标记,以及
所述控制器被配置为基于被包括在所述第一图像中的第一参考标记和第二参考标记之间的第一距离以及被包括在所述第二图像中的第一参考标记和第二参考标记之间的第二距离来检测所述眼睛成像相机已经被移动的位置。
6.根据权利要求5所述的取景器装置,还包括存储单元,被配置为存储尚未被移动的所述眼睛成像相机与所述窗口之间的距离。
7.根据权利要求5所述的取景器装置,其中,当所述窗口与已经被移动的所述眼睛成像相机之间的距离增大时,所述第二距离减小,并且当所述窗口与已经被移动的所述眼睛成像相机之间的距离减小时,所述第二距离增大。
8.根据权利要求5所述的取景器装置,其中所述窗口与已经被移动的所述眼睛成像相机之间的距离与所述第二距离成反比。
9.一种操作取景器装置的方法,包括:
通过经由在其上放置了第一参考标记和第二参考标记的窗口拍摄用户的眼睛来获取第一图像;
移动拍摄用户的眼睛的眼睛成像相机;
通过使用被移动的眼睛成像相机经由所述窗口拍摄用户的眼睛来获取第二图像;
基于被包括在所述第一图像中的第一参考标记与第二参考标记之间的距离和被包括在所述第二图像中的第一参考标记与第二参考标记之间的距离来检测所述眼睛成像相机的当前位置;以及
使用所述眼睛成像相机的当前位置来跟踪用户的眼睛。
10.根据权利要求9所述的方法,还包括:
在显示器上显示至少一个物体;以及
将与所跟踪的用户的眼睛相交的显示器区域设置为感兴趣区域(ROI)。
11.根据权利要求10所述的方法,其中在所述显示器上显示所述至少一个物体包括显示取景器图像,其中从所述取景器图像检查要使用所述取景器装置拍摄的对象的构图和拍摄条件。
12.根据权利要求10所述的方法,其中移动拍摄用户的眼睛的所述眼睛成像相机包括在与光学系统移动的方向相同的方向上移动所述眼睛成像相机,所述光学系统被配置为向用户提供通过经由所述窗口入射的光的反射或折射而显示在所述显示器上的图像,以及沿着光轴移动。
13.根据权利要求9所述的方法,其中
所述窗口已经在其上放置了第一参考标记和第二参考标记,以及
检测所述眼睛成像相机已经被移动的位置包括基于被包括在所述第一图像中的第一参考标记和第二参考标记之间的第一距离以及被包括在所述第二图像中的第一参考标记和第二参考标记之间的第二距离来检测所述眼睛成像相机已经被移动的位置。
14.根据权利要求13所述的方法,还包括存储尚未被移动的所述眼睛成像相机与所述窗口之间的距离。
15.根据权利要求13所述的方法,其中,当所述窗口与已经被移动的所述眼睛成像相机之间的距离增大时,所述第二距离减小,并且当所述窗口与已经被移动的所述眼睛成像相机之间的距离减小时,所述第二距离增大。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2015-0091390 | 2015-06-26 | ||
KR1020150091390A KR102345652B1 (ko) | 2015-06-26 | 2015-06-26 | 뷰 파인더 장치 및 그 동작 방법 |
PCT/KR2016/000272 WO2016208833A1 (en) | 2015-06-26 | 2016-01-12 | View finder apparatus and method of operating the same |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107852457A CN107852457A (zh) | 2018-03-27 |
CN107852457B true CN107852457B (zh) | 2020-07-03 |
Family
ID=57585083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680037622.9A Expired - Fee Related CN107852457B (zh) | 2015-06-26 | 2016-01-12 | 取景器装置和操作该装置的方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10248859B2 (zh) |
EP (1) | EP3314885B1 (zh) |
KR (1) | KR102345652B1 (zh) |
CN (1) | CN107852457B (zh) |
WO (1) | WO2016208833A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI20155599A (fi) * | 2015-08-21 | 2017-02-22 | Konecranes Global Oy | Nostolaitteen ohjaaminen |
CN110658918B (zh) * | 2019-09-25 | 2023-12-12 | 京东方科技集团股份有限公司 | 用于视频眼镜的眼球追踪相机的定位方法、设备及介质 |
CN114302054B (zh) * | 2021-11-30 | 2023-06-20 | 歌尔科技有限公司 | 一种ar设备的拍照方法及其ar设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6634749B1 (en) * | 1998-11-02 | 2003-10-21 | Leica Microsystems (Schweiz) Ag | Eye tracking system |
CN103268188A (zh) * | 2013-05-27 | 2013-08-28 | 华为终端有限公司 | 一种基于图片特征元素的设置方法、解锁方法和装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4287410A (en) * | 1979-02-28 | 1981-09-01 | Sri International | Double Purkinje eye tracker |
JPH05232373A (ja) * | 1992-02-24 | 1993-09-10 | Olympus Optical Co Ltd | カメラの視線方向検出装置 |
JP3304408B2 (ja) * | 1992-07-16 | 2002-07-22 | キヤノン株式会社 | 視線検出装置および視線検出装置を有する機器 |
DE4330265B4 (de) * | 1992-09-07 | 2004-07-29 | Canon K.K. | Vorrichtung zum Erfassen der Sehachse eines Auges einer ein optisches Gerät bedienenden Person |
US5797046A (en) | 1994-03-23 | 1998-08-18 | Canon Kabushiki Kaisha | Visual axis controllable optical apparatus including a visual axis detecting device for detecting a visual axis |
JP3452685B2 (ja) * | 1995-05-10 | 2003-09-29 | 三菱電機株式会社 | 顔画像の処理装置 |
DE10254369A1 (de) * | 2002-11-21 | 2004-06-03 | Carl Zeiss Meditec Ag | Ophthalmologisches Gerät mit Eye-Tracker-Einheit |
JP5335615B2 (ja) * | 2009-08-26 | 2013-11-06 | キヤノン株式会社 | 焦点調節装置およびその制御方法 |
GB0920809D0 (en) * | 2009-11-27 | 2010-01-13 | Qinetiq Ltd | Eye tracking apparatus |
US20120022408A1 (en) * | 2010-06-18 | 2012-01-26 | Vantage Surgical Systems, Inc. | Surgical Procedures Using Visual Images Overlaid with Visual Representations of Selected Three-Dimensional Data |
JP5607260B2 (ja) * | 2011-09-30 | 2014-10-15 | 富士フイルム株式会社 | 撮影装置、撮影方法及びプログラム |
JP5773859B2 (ja) | 2011-12-19 | 2015-09-02 | 株式会社ジャパンディスプレイ | 液晶表示装置及びその製造方法 |
US20130155309A1 (en) * | 2011-12-20 | 2013-06-20 | Research In Motion Limited | Method and Apparatus for Controlling Camera Functions Using Facial Recognition and Eye Tracking |
CN104508551B (zh) * | 2012-07-24 | 2016-01-20 | 富士胶片株式会社 | 相机及其动作控制方法 |
US9244529B2 (en) | 2013-01-27 | 2016-01-26 | Dmitri Model | Point-of-gaze estimation robust to head rotations and/or device rotations |
GB201305726D0 (en) * | 2013-03-28 | 2013-05-15 | Eye Tracking Analysts Ltd | A method for calibration free eye tracking |
KR20150032019A (ko) * | 2013-09-17 | 2015-03-25 | 한국전자통신연구원 | 시선 추적 기반의 사용자 인터페이스 방법 및 그 장치 |
US9525817B2 (en) * | 2013-11-22 | 2016-12-20 | Samsung Electro-Mechanics Co., Ltd. | System and method of controlling imaging direction and angle of view of camera |
KR20150067608A (ko) * | 2013-12-10 | 2015-06-18 | 한국전자통신연구원 | 시력 보조 기구 착용 여부 및 사용자 움직임에 무관한 시선 정보 획득 방법 |
-
2015
- 2015-06-26 KR KR1020150091390A patent/KR102345652B1/ko active IP Right Grant
-
2016
- 2016-01-12 EP EP16814546.4A patent/EP3314885B1/en active Active
- 2016-01-12 WO PCT/KR2016/000272 patent/WO2016208833A1/en unknown
- 2016-01-12 CN CN201680037622.9A patent/CN107852457B/zh not_active Expired - Fee Related
- 2016-01-14 US US14/995,468 patent/US10248859B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6634749B1 (en) * | 1998-11-02 | 2003-10-21 | Leica Microsystems (Schweiz) Ag | Eye tracking system |
CN103268188A (zh) * | 2013-05-27 | 2013-08-28 | 华为终端有限公司 | 一种基于图片特征元素的设置方法、解锁方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3314885A1 (en) | 2018-05-02 |
WO2016208833A1 (en) | 2016-12-29 |
EP3314885B1 (en) | 2021-12-29 |
KR20170001422A (ko) | 2017-01-04 |
US20160379051A1 (en) | 2016-12-29 |
CN107852457A (zh) | 2018-03-27 |
KR102345652B1 (ko) | 2021-12-30 |
EP3314885A4 (en) | 2018-05-02 |
US10248859B2 (en) | 2019-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11860511B2 (en) | Image pickup device and method of tracking subject thereof | |
US10291842B2 (en) | Digital photographing apparatus and method of operating the same | |
JP7185434B2 (ja) | 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法 | |
US10410061B2 (en) | Image capturing apparatus and method of operating the same | |
KR20070088586A (ko) | 화상처리장치 및 화상처리방법 | |
EP3316568B1 (en) | Digital photographing device and operation method therefor | |
KR20170059704A (ko) | 촬영 장치 및 그 동작 방법 | |
US20210084231A1 (en) | Electronic device including plurality of cameras, and operation method therefor | |
US11450131B2 (en) | Electronic device | |
KR20170011362A (ko) | 영상 처리 장치 및 그 방법 | |
KR20150078275A (ko) | 움직이는 피사체 촬영 장치 및 방법 | |
CN107852457B (zh) | 取景器装置和操作该装置的方法 | |
RU2635873C2 (ru) | Способ и устройство для отображения информации кадрирования | |
US20210258472A1 (en) | Electronic device | |
KR20170006748A (ko) | 촬영 장치 및 그 동작 방법 | |
KR20160137289A (ko) | 촬영 장치 및 촬영 장치의 동작방법 | |
US11523048B2 (en) | Electronic device, control method of electronic device, and non-transitory computer readable medium | |
US11962893B2 (en) | Image system and method for controlling imaging system | |
US11665438B2 (en) | Electronic device capable of acquiring line-of-sight information | |
JP2018042092A (ja) | 画像処理装置、撮像装置、制御方法およびプログラム | |
KR20150016871A (ko) | 촬상 장치, 표시 장치, 촬상 방법 및 촬상 프로그램 | |
KR20180107346A (ko) | 촬영 장치 및 촬영 장치의 동작방법 | |
KR20170016157A (ko) | 촬영 장치 및 촬영 장치의 동작방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200703 Termination date: 20210112 |