CN105700138B - 头戴型显示装置及其校正方法 - Google Patents

头戴型显示装置及其校正方法 Download PDF

Info

Publication number
CN105700138B
CN105700138B CN201510915296.4A CN201510915296A CN105700138B CN 105700138 B CN105700138 B CN 105700138B CN 201510915296 A CN201510915296 A CN 201510915296A CN 105700138 B CN105700138 B CN 105700138B
Authority
CN
China
Prior art keywords
head
mounted display
display device
camera units
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510915296.4A
Other languages
English (en)
Other versions
CN105700138A (zh
Inventor
曾莞如
武景龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN105700138A publication Critical patent/CN105700138A/zh
Application granted granted Critical
Publication of CN105700138B publication Critical patent/CN105700138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

本发明提出一种头戴型显示装置及其校正方法。头戴型显示装置具有双摄像单元。校正方法包括：放置参照物件在双摄像单元前，其中参照物件具有至少一物理特征；通过双摄像单元捕捉参照物件的多个图像，并根据图像产生参照物件的距离信息；分析距离信息以判断双摄像单元是否发生变形；以及，当双摄像单元发生变形时，校正头戴型显示装置。

Description

头戴型显示装置及其校正方法
技术领域
本发明涉及一种头戴型显示装置及其校正方法，且特别涉及一种利用双摄像单元进行位移校正的头戴型显示装置。
背景技术
穿戴式互动装置是目前最具前瞻性的领域之一。自从智能手机蓬勃发展，许多国际公司积极布局于此领域。而头戴型显示装置为此领域的关键装置之一。头戴型显示装置可以分成浸润型头戴型显示装置以及透视型头戴型显示装置。
在实际使用上，头戴型显示装置上的摄像机位置会因为某些不可避免的原因而产生改变。因此，为了将实际的图像与头戴型显示装置制造的虚拟图像相结合，执行校正为必要的。在已知技术中，执行校正需要特别的仪器，并只能在特定的地点执行校正(如：实验室、工厂)。为此，需要改善提升头戴型显示装置使用的便利性。
发明内容
本公开提供一种头戴型显示装置及其校正方法，并可有效校正头戴型显示装置的双摄像单元的位移。
本公开提供一种用以校正具有双摄像单元的头戴型显示装置的校正方法。此方法包括：放置参照物件在双摄像单元前，其中该参照物件具有至少一物理特征；通过双摄像单元捕捉参照物件的多个图像，并根据图像产生参照物件的距离信息；分析距离信息以判断双摄像单元是否变形；以及当双摄像单元变形时，校正头戴型显示装置。
本公开提供一种头戴型显示装置。此头戴型显示装置具有双摄像单元以及主装置。双摄像单元是用以捕捉参照物件的多个图像。主装置与双摄像单元连接并用以执行下列步骤：根据这些图像，产生参照物件的距离信息；分析该距离信息，以判断该双摄像单元是否变形；以及当该双摄像单元变形时，校正该头戴型显示装置。
基于上述，在本公开中，头戴型显示装置可以经由参照物件简易的判断双摄像单元是否变形。再者，双摄像单元可以基于参照物件来取得景深信息并进行校正。也就是说，双摄像单元的校正动作可以由使用者来进行，且此校正的方法可以简单且快速的被达成。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1绘示依照本公开一实施例中，判断头戴型显示装置的双摄像单元是否变形的流程图。
图2A绘示本公开一实施例的头戴型显示装置的方块图。
图2B绘示本公开另一实施例的头戴型显示装置的方块图。
图3绘示本公开一实施例的校正主装置景深引擎的流程图。
图4绘示本公开一实施例的第一摄像机与第二摄像机捕捉图像的示意图。
图5绘示本公开一实施例的第一摄像机与第二摄像机捕捉图像的情节示意图。
图6A绘示本公开一实施例的头戴型显示装置的方块图。
图6B绘示本公开另一实施例的头戴型显示装置的方块图。
图7绘示本公开一实施例初始化头戴型显示装置的流程图。
【符号说明】
20：头戴型显示装置
22、640、670：主装置
200：双摄像单元
210、220、610、620：摄像机
230：距离检测单元
410、420、510：图像
630：飞行时间图像提取器
650：通用串行总线集线器
D1、D2：距离
S110～S130、S310～S340、S710～S760、S7501～S7503：校正方法的步骤
RD：参照距离
ROBJ：参照物件
ROBJ1、ROBJ2：参照物件的图像
SD1、SD2：感测距离
X：特定点
具体实施方式
在本公开中，一种校正方法被提供，并用以校正具有双摄像单元的头戴型显示装置。其中此双摄像单元可以用来同时捕捉图像。具有景深引擎的主装置被连接在此头戴型显示装置，景深引擎藉由处理图像产生距离信息。其中此景深引擎可以为软件或电路。
图1绘示依照本公开一实施例的判断头戴型显示装置的双摄像单元是否变形的流程图。在图1中，在变形检测模式的过程中，一个参照物件会被放置在头戴型显示装置的双摄像单元前面，且此参照物件具有至少一种物理特性，例如，颜色、形状、边缘等(步骤S110)。在步骤S120中，双摄像单元可以捕捉参照物件的图像，且主装置可藉由感测头戴型显示装置与参照物件之间的距离，以产生对应参照物件的距离信息。在步骤S130中，藉由分析距离信息，主装置可以根据距离信息来判断双摄像单元是否变形。
在一实施例中，参照物件可以为使用者的手。主装置可以指示使用者将手臂伸直，并将手放在双摄像单元前面。接着，双摄像单元可捕捉使用者的手的图像。双摄像单元也可以在当使用者举起手时自动地捕捉图像。
再者，上述的距离信息可以包括景深图，此景深图对应到图像上的参照物件，其中在此景深图中分布很多数值，这些数值是用来表示对应参照物件的每一个像素的距离信息。景深图上分布的数值被称为景深密度。主装置可以分析景深图上对应参照物件的景深密度的连续的或片段的状态，当景深图显示出连续性较差的情形或异常片段的状态时，主装置可以判断双摄像单元是变形的。举例来说，在一般的情形中，景深图上的景深密度对应到参照物件(例如：使用者的手部)应该是连续性的分布，或者会有明显的边缘。若对应到使用者手部区域的景深密度突然在数值高低间改变，则主装置可以判断此景深图有异常片段的情形，双摄像单元是变形的。
除此之外，上述的距离信息更可包括感测距离，此感测距离是通过使用头戴型显示装置的双摄像单元捕捉的图像而由主装置计算获得的。其中感测距离是对应到参照物件与双摄像单元间的距离。主装置的景深引擎可更进一步基于图像视差而取得感测距离。主装置可以比较感测距离与一参照距离，如果感测距离与参照距离之间的差异大于一个预定范围，则主装置可判断双摄像单元是变形的。其中参照距离可以被预设为人的手臂的长度。举例而言，预设的参照距离可以被设成50-80厘米(公分)。此外，参照距离也可以被设为被头戴型显示装置的距离检测单元检测到的头戴型显示装置与参照物件间测量的距离。
在另一实施例中，参照物件可以为一位置参照装置，此位置参照装置位于与头戴型显示装置间较远的位置，并以无线的方式提供参照信息至一通信接口，例如头戴型显示装置的收发器。接着，此通信接口转发参照信息至主装置以执行进一步的处理。主装置可以使用参照信息以产生参照距离，此参照距离是对应远端物件与对应头戴型显示装置之间的距离。接着，主装置的景深引擎能更进一步藉由双摄像单元捕捉的远端物件的图像，来取得远端物件的感测距离。主装置可以比较感测距离与参照距离，若感测距离与参照距离之间的差异大于一预设范围，主装置可判断双摄录单元是变形的。
请参照图2A，图2A绘示本公开一实施例的头戴型显示装置的方块图。在图2A中，头戴型显示装置20中的双摄像单元200包括第一摄像机210以及第二摄像机220。主装置22连接至头戴型显示装置20的双摄像单元200，并用以产生距离信息。双摄像单元200可以捕捉参照物件ROBJ的图像，且主装置22可以基于被捕捉的图像而产生参照物件ROBJ的距离信息。
为了检测双摄像单元200的变形状态，距离检测单元230可测量出参照距离RD，此参照距离RD为参照物件ROBJ与双摄像单元200之间的距离。距离检测单元230可被设置在头戴型显示装置20上。且本领域技术人员可以获知的距离测量技巧都可以被应用于此距离检测单元230中。举例而言，距离检测单元230可以是飞行时间(time of flight，TOF)图像提取系统、射频(radio frequency)或红外线(infra-red ray)检测单元。主装置22的景深引擎可以基于双摄像单元200捕捉的参照物件ROBJ的图像，来取得参照物件ROBJ的感测距离SD1、SD2。主装置22可以比较感测距离SD1、SD2及参照距离RD，并在若感测距离SD1、SD2与参照距离RD之间的差异大于预设范围，主装置22可以判定双摄像单元200是变形的。在图2A中，主装置22可以被内建在头戴型显示装置20中。主装置22可以从摄像机210、220获得感测距离SD1、SD2，以及从距离检测单元230取得参照距离RD。因此，主装置22可以判断双摄像单元是否变形，并可依据判断结果执行校正操作。
请参考图2B，图2B绘示本公开另一实施例的头戴型显示装置的方块图。在图2B中，主装置22在头戴型显示装置20外部。在此实施例中，主装置22会同时被视为参照物件ROBJ，且参照物件ROBJ会被设置在距离头戴型显示装置20较远的位置。头戴型显示装置20可以感测参照物件ROBJ的图像，并以无线的方式提供感测图像至主装置22。
图3绘示本公开一实施例的校正主装置景深引擎的流程图。若双摄像单元200在变形检测模式的过程中被判定为变形，校正操作会被执行于主装置22的景深引擎中。在步骤S310中，被第一摄像机210以及第二摄像机220捕捉的图像中的参照物件的位置信息会被计算，此位置信息用以校正取得第一摄像机210以及第二摄像机220捕捉图像的位置，以减少第一方向的位移。其中第一摄像机210与第二摄像机220被设置在头戴型显示装置20的第二方向，且第一方向与第二方向实质上相互垂直。
图4绘示本公开一实施例的第一摄像机210与第二摄像机220捕捉图像的示意图。第一摄像机210与第二摄像机220可以同时捕捉参照物件ROBJ的图像，并分别地产生第一图像410以及第二图像420。藉由比较第一图像410以及第二图像420，第一图像410与第二图像420中的参照物件ROBJ的特定点X的位置会有一相对位置差值(图像视差)。其中特定点X可能为参照物件ROBJ多个特征点里面的其中一个。举例来说，特定点X可以为参照物件ROBJ一个边缘上的一个点。在图4中，第二图像420中的特定点X的位置比第一图像中的特定点X的位置高出距离D1。距离D1可以被提供为位置信息，以校正第一图像410以及第二图像420中的第一方向的位移。
需注意的是，参照物件ROBJ可以被使用者提供(如：使用者的手)。此外，参照物件ROBJ可能是与头戴型显示装置20距离遥远的远端物件，且此远端物件是可由头戴型显示装置20的双摄像单元200感测的。
在步骤S320中，头戴型显示装置20以及参照物件ROBJ间的感测距离被检测。
请参照图5，图5绘示本公开一实施例的第一摄像机210与第二摄像机220捕捉图像的情节示意图。在图5中，图像情节510的产生是由被第一摄像机210及第二摄像机220所捕捉的两张图像重叠而成(如：图4的图像410以及420)。在图像情节510中，参照物件的图像ROBJ1是被第一摄像机210取得，而参照物件的图像ROBJ2是被第二摄像机220取得。图像情节510中，图像ROBJ1与ROBJ2间在第二方向上有距离D2，其中距离D2可以依据图像ROBJ1的特征点以及对应的图像ROBJ2的特征点而被取得。
在步骤S330中，摄像机210、220捕捉的图像的第二方向上的位移会被校正。若头戴型显示装置20的第一摄像机210及第二摄像机220发生变形，基于距离D2所计算出的感测距离SD大于或小于预设的参照距离时，第一图像410以及第二图像420在第二方向上的校正行为是被需要的。主装置22可基于距离D2来计算参照距离与感测距离SD的差值。依据上述，在校正操作时，景深引擎可以基于上述计算出的差值来校正第一图像410以及第二图像420在第二方向的位移。
请再参照图3，在第一图像410及第二图像420中的第一方向及第二方向的位移被校正后，主装置22的景深引擎的校正操作被执行完毕。第一图像410及第二图像420的第一方向及第二方向的位移可以被存储为校正数据。主装置22可以在步骤S340中，并基于此校正数据更新景深引擎。
请参考图6A，图6A绘示本公开一实施例的头戴型显示装置的方块图。头戴型显示装置20包括摄像机610、620，飞行时间图像提取器(time of flight，TOF)630、主装置640以及通用串行总线集线器(USB hub)650。使用者的手以及头戴型显示装置600间的参照距离可以藉由飞行时间图像提取器630而被获取。其中飞行时间图像提取器630是一种距离检测单元。藉由比较从被摄像机610、620所获取的感测距离以及被飞行时间图像提取器630所获取的参照距离，主装置640可以判断摄像机610、620是否变形，并依据判断结果执行主装置640的景深引擎的校正操作。
请参照图6B，图6B绘示本公开另一实施例的头戴型显示装置的方块图。头戴型显示装置20包括了摄像机610、620、飞行时间图像提取器630、以及通用串行总线集线器(USBhub)650。在此实施例中，主装置670被设置在头戴型显示装置20的外部，且此主装置670可以通过通用串行总线集线器650被连接在头戴型显示装置20。
请参照图7，图7绘示本公开一实施例初始化头戴型显示装置的流程图。在步骤S710，使用者可以把手放置在头戴型显示装置前。在步骤S720，主装置可以取得感测图像中使用者的手的距离与景深密度。在步骤S730，头戴型显示装置藉由图像中使用者手的差距查验变形。接着，在步骤S740，判断头戴型显示装置是否变形。若判断结果头戴型显示装置是变形，步骤S750被执行，若判断结果头戴型装置没有变形，则初始化步骤已被完成(步骤S760)。
在步骤S750中，校正操作被执行。首先，在步骤S7501，头戴型显示装置的主装置可以基于双摄像单元捕捉到使用者被显示在图像中的手执行校正，以减少双摄像单元捕捉的图像的第一方向的位移(如图4所述)。第二步，位置参照装置被提供在远离头戴型显示装置的位置，且位置参照装置与头戴型显示装置间的参照位置被测量(步骤S7502)。接着，被双摄像单元捕捉的图像的第二方向的位移可以藉由比较步骤S7502中被测量的参照距离以及被头戴型显示装置取得的感测距离而被校正。在步骤S7503中，当所有校正操作被执行完毕，被双摄像单元捕捉的图像的第一方向与第二方向的位移会被存储为校正数据。主装置可以基于此校正数据而更新景深引擎。接着，在步骤S7503后，初始化的步骤被完成。
综上所述，在本公开中，校正操作可利用主装置而被执行，此主装置可以是头戴型显示装置中的一个芯片，或者是具有强大处理器的电子装置。也就是说，此校正操作可以由使用者轻易的来执行，并改善了头戴型显示装置的效率。
本公开的校正方法可以被应用于具有双摄像单元的头戴型显示装置，但不限于此。举例来说，此公开的校正方法可以被应用于任何具有双摄像单元或单摄像单元的电子装置，以及不违背此申请案的范围与精神所进行的修改或变动装置上。
综上所述，此头戴型显示装置的校正方法可以藉由一个参照物件(如：使用者的手)轻易达成，且也提升了使用头戴型显示装置的效率。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技术人员在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附权利要求书界定范围为准。

Claims (22)

1.一种头戴型显示装置的校正方法，其中该头戴型显示装置具有双摄像单元，包括：
放置参照物件在该双摄像单元前，其中该参照物件具有至少一物理特征；
通过该双摄像单元捕捉该参照物件的多个图像，并根据这些图像产生该参照物件的距离信息，其中该距离信息包括景深图，该景深图对应至这些图像上的该参照物件，且该景深图上分布多个数值，这些数值用以表示对应该参照物件的每一多个像素中的该距离信息；
其中该景深图上的这些数值为景深密度；
分析该距离信息以判断该双摄像单元是否变形；以及
当该双摄像单元变形时，校正该头戴型显示装置。
2.如权利要求1所述的校正方法，其中分析该距离信息，以判断该双摄像单元是否变形的步骤包括：
分析对应该参照物件的该景深图的该景深密度的连续的或片段的状态；以及
根据该连续的或片段的状态以判断该双摄像单元是否变形。
3.如权利要求1所述的校正方法，其中该距离信息还包括感测距离，该感测距离为对应该参照物件与该双摄像单元间的距离。
4.如权利要求3所述的校正方法，其中该感测距离是基于图像视差而取得。
5.如权利要求3所述的校正方法，其中分析该距离信息以判断该双摄像单元是否变形的步骤包括：
比较该感测距离与参照距离；以及
判断该感测距离与该参照距离的差异是否大于预定范围，以判断该双摄像单元是否变形。
6.如权利要求5所述的校正方法，其中该参照距离介于50-80厘米之间。
7.如权利要求1所述的校正方法，其中当该双摄像单元变形时，校正该头戴型显示装置的步骤包括：
计算分别对应这些图像的多个位置信息；
根据这些位置信息，计算在这些图像中在第一方向上的位移，其中该双摄像单元中的第一摄像机以及第二摄像机被配置在第二方向，且该第一方向与该第二方向实质上垂直；以及
根据这些图像间的该第一方向的该位移更新景深信息，以校正该第一摄像机以及该第二摄像机在该第一方向上的位移。
8.如权利要求7所述的校正方法，其中当该双摄像单元变形时，校正该头戴型显示装置的步骤还包括：
基于该参照物件上的特定点，计算图像视差；以及
基于该视差更新该景深信息，以校正该第一摄像机以及该第二摄像机在该第二方向之上的位移。
9.如权利要求7所述的校正方法，其中当该双摄像单元变形时，校正该头戴型显示装置的步骤还包括：
检测该参照物件与该头戴型显示装置间的感测距离；
比较该感测距离与预设距离，以产生比较结果；以及
根据该比较结果更新该景深信息，以校正这些图像在该第二方向的该位移。
10.如权利要求7所述的校正方法，其中当该双摄像单元变形时，校正该头戴型显示装置的步骤还包括：
根据该景深图，更新景深引擎。
11.一种头戴型显示装置，包括：
双摄像单元，用以捕捉参照物件的多个图像；以及
主装置，与该双摄像单元连接，并用以执行下列步骤：
根据这些图像，产生该参照物件的距离信息，其中该距离信息包括景深图，该景深图对应至这些图像上的该参照物件，且该景深图分布多个数值，以表示对应该参照物件的每一多个像素中的该距离信息；
其中该景深图上的这些数值为景深密度；
分析该距离信息，以判断该双摄像单元是否变形；以及
当该双摄像单元变形时，校正该头戴型显示装置。
12.如权利要求11所述的头戴型显示装置，其中该主装置分析对应该参照物件的该景深图的该景深密度的连续的或片段的状态，以及根据该连续的或片段的状态，判断该双摄像单元是否变形。
13.如权利要求12所述的头戴型显示装置，其中该距离信息还包括感测距离，该感测距离为对应该参照物件与该双摄像单元间的距离。
14.如权利要求12所述的头戴型显示装置，其中该主装置根据图像视差，获得感测距离。
15.如权利要求12所述的头戴型显示装置，其中该主装置比较感测距离与参照距离，以及判断该感测距离与该参照距离的差异是否大于预定范围，以判断该双摄像单元是否变形。
16.如权利要求15所述的头戴型显示装置，其中该参照距离介于50-80厘米。
17.如权利要求15所述的头戴型显示装置，其中该主装置计算分别对应这些图像的多个位置信息，根据这些位置信息计算在这些图像中在第一方向上的位移，以及根据这些图像间的该第一方向的该位移更新景深信息，以校正第一摄像机以及第二摄像机在该第一方向上的位移，
其中该双摄像单元中的该第一摄像机以及该第二摄像机被配置在第二方向，且该第一方向与该第二方向实质上垂直。
18.如权利要求17所述的头戴型显示装置，其中该主装置基于该参照物件上的特定点，计算图像视差，以及基于该图像视差更新该景深信息，以校正该第一摄像机以及该第二摄像机在该第二方向上的位移。
19.如权利要求17所述的头戴型显示装置，其中该头戴型显示装置还包括：
距离检测单元，与该主装置连接，该距离检测单元检测该参照物件与该头戴型显示装置间的感测距离；
其中该主装置还比较该感测距离与预设距离，以产生比较结果，以及根据该比较结果更新该景深信息，以校正这些图像在该第二方向的位移。
20.如权利要求17所述的头戴型显示装置，其中该主装置还根据该景深图的该景深信息，更新景深引擎。
21.如权利要求17所述的头戴型显示装置，其中该主装置被内建在该头戴型显示装置中或外接在该头戴型显示装置。
22.如权利要求21所述的头戴型显示装置，其中该头戴型显示装置还包括：
通信接口，用以以无线的方式接收来自该参照物件的参照距离。
CN201510915296.4A 2014-12-11 2015-12-10 头戴型显示装置及其校正方法 Active CN105700138B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462090376P 2014-12-11 2014-12-11
US62/090,376 2014-12-11

Publications (2)

Publication Number Publication Date
CN105700138A CN105700138A (zh) 2016-06-22
CN105700138B true CN105700138B (zh) 2018-07-27

Family

ID=56111641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510915296.4A Active CN105700138B (zh) 2014-12-11 2015-12-10 头戴型显示装置及其校正方法

Country Status (3)

Country Link
US (1) US10152119B2 (zh)
CN (1) CN105700138B (zh)
TW (1) TWI581007B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106199066B (zh) * 2016-07-08 2019-09-24 上海与德通讯技术有限公司 智能终端的方向校准方法、装置
US10248191B2 (en) * 2016-12-12 2019-04-02 Microsoft Technology Licensing, Llc Virtual rigid framework for sensor subsystem
WO2018177521A1 (en) * 2017-03-29 2018-10-04 Vestel Elektronik Sanayi Ve Ticaret A.S. Improved method and system for vr interaction
US11726321B2 (en) 2017-07-17 2023-08-15 Vuzix Corporation Image shift correction for binocular virtual imaging apparatus
KR101947372B1 (ko) * 2017-09-04 2019-05-08 주식회사 그루크리에이티브랩 Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd
EP3495936A1 (de) * 2017-12-07 2019-06-12 Siemens Aktiengesellschaft Sichere brillenartige vorrichtung und verfahren
US10854165B2 (en) * 2017-12-21 2020-12-01 Magic Leap, Inc. Method for calibrating an augmented reality device
JP2019117994A (ja) * 2017-12-27 2019-07-18 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
CN113196139B (zh) 2018-12-20 2023-08-11 美国斯耐普公司 用于生成立体图像的具有双摄像头的柔性眼戴设备
CN109803126A (zh) * 2019-02-22 2019-05-24 重庆紫光华山智安科技有限公司 用于多屏显示的控制方法、控制端及多屏显示系统
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
US11846782B1 (en) * 2020-04-13 2023-12-19 Apple Inc. Electronic devices with deformation sensors
US11050999B1 (en) * 2020-05-26 2021-06-29 Black Sesame International Holding Limited Dual camera calibration
US11836940B2 (en) * 2020-06-15 2023-12-05 Zebra Technologies Corporation Three-dimensional sensor acuity recovery assistance

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7229174B2 (en) * 2002-03-28 2007-06-12 Nokia Corporation Method to detect misalignment and distortion in near-eye displays
JP5507797B2 (ja) * 2007-03-12 2014-05-28 キヤノン株式会社 頭部装着型撮像表示装置及び画像生成装置
KR101070591B1 (ko) * 2009-06-25 2011-10-06 (주)실리콘화일 듀얼 스테레오 카메라를 구비한 거리 측정 장치
IL200627A (en) * 2009-08-27 2014-05-28 Erez Berkovich A method for dynamically changing visual indication on a display device
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
TWI486629B (zh) 2012-11-21 2015-06-01 Ind Tech Res Inst 穿透型頭部穿戴式顯示系統與互動操作方法

Also Published As

Publication number Publication date
US20160171675A1 (en) 2016-06-16
TWI581007B (zh) 2017-05-01
US10152119B2 (en) 2018-12-11
TW201626049A (zh) 2016-07-16
CN105700138A (zh) 2016-06-22

Similar Documents

Publication Publication Date Title
CN105700138B (zh) 头戴型显示装置及其校正方法
JP6490430B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
JP6351238B2 (ja) 画像処理装置、撮像装置および距離補正方法
US10091489B2 (en) Image capturing device, image processing method, and recording medium
CN107124543B (zh) 一种拍摄方法及移动终端
WO2014034188A1 (ja) 衣服画像処理装置、衣服画像表示方法、およびプログラム
JP5613741B2 (ja) 画像処理装置、方法、及びプログラム
JP2016019194A (ja) 画像処理装置、画像処理方法、および画像投影装置
EP3763119B1 (en) Method for generating depth information and electronic device supporting the same
JP6123694B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109155055B (zh) 关注区域图像生成装置
US20160292888A1 (en) Image measurement device, and recording medium
KR101330531B1 (ko) ３차원 카메라를 이용한 가상 터치 방법 및 장치
JP6447521B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20100104166A (ko) 카메라 캘리브레이션 방법
CN106663412B (zh) 信息处理设备、信息处理方法及程序
WO2024055531A1 (zh) 照度计数值识别方法、电子设备及存储介质
JP6374812B2 (ja) 三次元モデル処理装置およびカメラ校正システム
JP2019219804A (ja) 物体検出装置及び物体検出方法
JP2019185475A (ja) 特定プログラム、特定方法及び情報処理装置
WO2016129154A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2014225301A (ja) 画像処理装置、方法、及びプログラム
KR20090070258A (ko) 3차원 기하학 정보를 이용한 실시간 지시 영역 추정 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant