CN105103086B - 具有自动校准的手势控制 - Google Patents

具有自动校准的手势控制 Download PDF

Info

Publication number
CN105103086B
CN105103086B CN201480020630.3A CN201480020630A CN105103086B CN 105103086 B CN105103086 B CN 105103086B CN 201480020630 A CN201480020630 A CN 201480020630A CN 105103086 B CN105103086 B CN 105103086B
Authority
CN
China
Prior art keywords
computing unit
image
collecting device
image collecting
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480020630.3A
Other languages
English (en)
Other versions
CN105103086A (zh
Inventor
T.弗里斯
T.戈斯勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Ag
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN105103086A publication Critical patent/CN105103086A/zh
Application granted granted Critical
Publication of CN105103086B publication Critical patent/CN105103086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

由图像采集装置(1)采集基础图像(B1)并且将其传输到计算单元(4)。由计算单元(4)根据基础图像(B1)确定计算单元(4)的使用者(5)的手势(G)。由计算单元(4)依据所确定的手势(G)确定并且执行动作(A)。动作(A)由计算单元(4)对于至少一个手势(G)附加地依据图像采集装置(1)相对于显示装置(3)的相对位置(pR13)来确定。最迟在采集基础图像(B1)时由至少一个另外的图像采集装置(2)采集附加图像(B2)并且将其传输到计算单元(4)。由计算单元(4)根据附加图像(B2)确定图像采集装置(1)相对于显示装置(3)的相对位置(pR13)。

Description

具有自动校准的手势控制
技术领域
本发明涉及一种用于计算单元的控制方法，
-其中由图像采集装置采集基础图像并且将其传输到计算单元，
-其中由计算单元根据基础图像确定计算单元的使用者的手势，
-其中由计算单元依据所确定的手势确定动作并且执行动作，
-其中动作由计算单元对于至少一个手势附加地依据图像采集装置相对于显示装置的相对位置来确定。
本发明还涉及一种计算机装置，
-其中计算机装置包括图像采集装置、显示装置和计算单元，
-其中计算单元为了交换数据而与图像采集装置以及与显示装置相连，
-其中由图像采集装置采集基础图像并且将其传输到计算单元，
-其中由计算单元根据基础图像确定计算单元的使用者的手势，
-其中由计算单元依据所确定的手势确定动作并且执行动作，
-其中动作由计算单元对于至少一个手势附加地依据图像采集装置相对于显示装置的相对位置来确定。
背景技术
这样的控制方法和这样的计算机装置一般是已知的。纯示例性地参考WO 2011/085815 A1、US 2010/013764 A1、US 2011/029913 A1、US 2011/090147 A1和US 7 834 847B2。
与计算机装置的无接触的交互在所谓的自然的输入方式(NUI＝Natural UserInput)的范围内是明显的趋势。这既一般地适用于信息处理也特别地适用于医学领域。由此，无接触的交互例如能够应用于手术室中，在该手术室内做手术的医生在手术期间要观察患者的有关手术的图像。在该情况下做手术的医生出于消毒原因不允许接触计算机装置的通常的交互装置(例如计算机鼠标、键盘或触摸屏)。尽管如此却必须能够控制显示装置。特别是必须能够控制，在显示装置上显示哪个图像。此外通常还必须能够操作在显示装置上显示的按键等等。
公知的是，手术医生之外的人基于通过医生的相应指示来操作通常的交互装置。这是麻烦的、浪费宝贵时间并且通常导致在做手术的医生和其它人员之间的通信问题。上面解释的、已知的手势控制在此示出有价值的优点。在手势控制的情况下通常确定所谓的深度图像，即其中本身是二维的图像上的每个点都附加地与关于三维空间中的三个方向的信息相关联的图像。这样的深度图像的采集和分析是已知的。这样的深度图像例如可以借助两个通常的、一起提供立体图像的照相机来采集。替换地，可以将正弦形的调制的图案投影到房间中并且根据正弦形的调制的图案的失真确定深度信息。
对于手势识别的正常工作，在许多情况下需要图像采集装置相对于显示装置的相对位置是已知的。在现有技术中，因此必须事先调整图像采集装置和显示装置的绝对位置。然后进行校准过程，在该校准过程中确定图像采集装置相对于显示装置的相对位置。在校准之后不允许改变图像采集装置相对于显示装置的相对位置。特别地，图像采集装置相对于显示装置的相对位置的改变在持续运行中是不可能的。
图像采集装置相对于显示装置的相对位置在校准之后不再允许改变的要求在实践中示出明显限制。而且值得期望的是，图像采集装置相对于显示装置的相对位置在任何时间(在持续运行时也)都能够被改变。
由WO 2004/055 776 A1公开了一种用于计算单元的控制方法，其中由图像采集装置采集基础图像并且将其传输到计算单元，其中由计算单元根据基础图像确定计算单元的使用者的手势，其中由计算单元依据所确定的手势确定动作并且执行动作。
由US 6 750 848 B1公开了一种用于计算单元的控制方法，其中由图像采集装置采集基础图像并且将其传输到计算单元，其中由计算单元根据基础图像确定计算单元的使用者的手势，其中由计算单元依据所确定的手势确定动作并且执行动作。作为该过程的替换，由US 6 750 848 B1公开了一种用于计算单元的控制方法，其中计算单元具有图像采集装置，借助其(除了别的之外)确定显示装置的图像。根据显示装置在由图像采集装置所采集的图像内的位置可以确定，利用计算装置指在显示装置上示出的的图像的哪个区域。
发明内容
本发明要解决的技术问题是，实现一种可能性，从而图像采集装置相对于显示装置的相对位置在持续运行中也可以被改变，而不会负面地影响手势识别的作用能力。特别地，不需要耗费时间的手动的校准。
上述技术问题通过具有权利要求1的特征的用于计算单元的控制方法来解决。按照本发明的控制方法的有利实施是从属权利要求2至6的内容。
按照本发明，开头提到的类型的控制方法通过如下来实施，即，
-最迟在采集基础图像时由至少一个另外的图像采集装置采集附加图像并且将其传输到计算单元，和
-由计算单元根据附加图像确定图像采集装置相对于显示装置的相对位置。
由此实现了，在计算单元内在持续运行中始终保持图像采集装置相对于显示装置的当前的相对位置。
在控制方法的优选实施中，另外的图像采集装置位置固定地布置。该实施尤其能够简单地实现。
在另外的图像采集装置的位置固定的布置的情况下，优选由计算单元根据至少一个附加图像来确定图像采集装置关于位置固定的坐标系的绝对位置和显示装置关于位置固定的坐标系的绝对位置。根据图像采集装置和显示装置的绝对位置然后由计算单元确定图像采集装置相对于显示装置的相对位置。
在控制方法的另外的优选实施中，图像采集装置和/或显示装置可以运动。图像采集装置和/或显示装置例如可以通过运动的支架臂(其可能从共同的支架结构出发)固定在顶棚上。
由计算单元确定图像采集装置相对于显示装置的相对位置的时间点可以根据需要来确定。通过使用者命令来触发或通过由传感器识别的、图像采集装置关于位置固定的坐标系的绝对位置、显示装置关于位置固定的坐标系的绝对位置或图像采集装置相对于显示装置的相对位置的变化来触发，例如可以由计算单元连续地、按照固定的时间间隔来确定图像采集装置相对于显示装置的相对位置。
由计算单元确定的且执行的动作也可以根据需要来确定。但是优选是显示装置的控制。
上述技术问题还通过具有权利要求7的特征的计算机装置来解决。按照本发明的计算机装置的有利实施是从属权利要求8至12的内容。
按照本发明，开头提到的类型的计算机装置如下地实施，即
-计算机装置(除了图像采集装置之外附加地)包括至少一个另外的图像采集装置，
-计算单元为了交换数据也与至少一个另外的图像采集装置连接，
-最迟在采集基础图像时由另外的图像采集装置采集至少一个附加图像并且将其传输到计算单元，和
-由计算单元根据至少一个附加图像确定图像采集装置相对于显示装置的相对位置。
计算机装置的优选实施对应于控制方法的优选实施。
附图说明
本发明的上面描述的特性、特征和优点以及诸如实现其的方式借助于结合附图详细解释的、下面对实施例的描述更明显且更清楚地理解。在此在示意图中示出了：
图1示出了计算机装置布置在其中的房间的透视图，和
图2示出了图1的计算机装置的框图。
具体实施方式
按照图1和图2，计算机装置包括图像采集装置1、至少一个另外的图像采集装置2、显示装置3和计算单元4。图像采集装置1、至少一个另外的图像采集装置2和显示装置3与计算单元4为了交换数据而连接。特别地，由图像采集装置1采集基础图像Bl并且将其传输到计算单元4。以类似地方式，由另外的图像采集装置2采集附加图像B2(或在多个另外的图像采集装置2的情况下由每个另外的图像采集装置2分别采集附加图像B2)，并且将其传输到计算单元4。由图像采集装置1、2采集的图像Bl、B2由计算单元4来分析。根据分析的结果由计算单元4例如可以控制显示装置3。
计算单元4例如可以被构造为通常的PC、工作站或类似的计算单元。显示装置3可以被构造为通常的计算机显示器，例如构造为LCD显示器或构造为TFT显示器。图像采集装置1相对于显示装置3具有相对位置pR13。相对位置pR13涉及相对于显示装置3固定的坐标系。相对位置pR13可以包括平移的和/或旋转的分量。
图像采集装置1、显示装置3和计算单元4如下地共同作用：
图像采集装置1采集基础图像Bl并且将其传输到计算单元4。所采集的基础图像Bl(除了别的之外)示出了计算单元4的使用者5。计算单元4根据基础图像Bl确定使用者5的手势G。计算单元4例如可以如下地分析基础图像Bl：使用者5是举起一只手还是两只手；使用者是拍手一次还是两次；使用者是否以手臂和/或手指指向特定方向等等。当然也能够确定另外的或其它的手势G。为了明确识别手势G，可以在使用者5上布置特殊的标记。使用者5例如可以佩带特殊的手套。但是这一点不是强制必须的。
对于通过计算单元4可靠地分析基础图像Bl(即，对于可靠地识别各自的手势G)，基础图像Bl是所谓的深度图像是具有优势的，也就是说，给深度图像的(二维位置分辨地)布置的各个图像元素(除了其图像数据值之外可能附加地)分配深度值，该深度值表征对于与各自的图像元素对应的、与图像采集装置1的距离。这样的深度图像的采集对于专业人员来说是公知的。图像采集装置1例如可以包括多个单个的图像传感器，其从不同的视线方向采集所采集的场景。也可以借助合适的光源将条纹图案(或其它图案)投影到由图像采集装置1进行采集的房间中，并且根据图案的失真在由图像采集装置1采集的基础图像Bl中确定各自的距离。
只要计算单元4识别出手势G，计算单元4就依据所确定的手势G确定动作A并且执行动作A。由此通过手势G和相关的动作A控制计算单元4。
可能的是，所确定的动作A对于一些手势G不取决于另外的参数。使用者5拍手两次例如可以在结束命令的意义上被解释，基于其结束图像采集装置1与计算单元4的进一步交互。还可能的是，动作A取决于另外的参数，所述参数与不同于由图像采集装置1所采集的基础图像Bl的措施有关。例如可以将手势G与由使用者4说出的语音命令相关联。另外的措施也是可能的。
但是在许多情况下，由计算单元4确定的动作A(除了与手势G本身的依赖关系之外附加地)也取决于相对位置pR13。当由计算单元4确定的且执行的动作A是对显示装置3的控制时，尤其需要这一点。但是也可以的是，当确定的且执行的动作A是与对显示装置3的控制不同的动作时，各自的确定的动作A取决于相对位置pR13。
可能的是，动作A也与相对位置pR13的附加的依赖关系仅在单个的、完全确定的手势G的情况下给出。替换地也可以，动作A也与相对位置pR13的依赖关系在多个手势G的情况下或甚至在所有手势G的情况下给出。下面纯示例性地解释几个可能的手势G，其相关的动作A也可以取决于相对位置pR13。
当使用者5以其手臂或以手指指向特定方向时，这一点例如可以由计算单元4解释为选择处于使用者5所指的方向上的特定元素。特定元素尤其可以是在显示装置3上显示的元素。替换地或附加地，例如可以移动通过显示装置3显示的图像B的截面(该图像B不涉及基础图像Bl并且也不涉及附加图像B2)，其中至少偏移方向取决于，使用者5向哪个方向移动其手臂或其手。必要时，偏移程度附加地可以取决于，该移动多快和/或多远。也可以例如(类似于在书中翻页那样)按照图像B的序列(该图像B也不涉及基础图像Bl并且也不涉及附加图像B2)选择在序列中之前的或随后的图像B并且通过显示装置3来显示。在该情况下，翻页的方向例如可以取决于使用者5的手臂或手的运动方向。取决于相对位置pR13的另外的动作A也是可能的。如提到的那样，上述示例是纯示例性的。
在这样的情况下，也就是当所确定的且执行的动作A取决于相对位置pR13时，由此计算单元4必须已知相对位置pR13。为了该目的，存在至少一个另外的图像采集装置2。下面假设仅存在唯一一个另外的图像采集装置2。但是同样也可以存在多个另外的图像采集装置2，其分别采集附加图像B2。
另外的图像采集装置2最迟在采集基础图像Bl时采集附加图像B2。优选地，在采集基础图像Bl之前进行采集和传输。但是也可以同时采集和传输。另外的图像采集装置2将附加图像B2传输到计算单元4。计算单元4分析附加图像B2。特别地，计算单元4根据附加图像B2确定图像采集装置1相对于显示装置3的相对位置pR13。
对于通过计算单元4可靠地分析附加图像B2(也就是对于可靠地确定相对位置pR13)，另外的图像采集装置2(明显地)必须被布置为，附加图像B2包含图像采集装置1和显示装置3。对于特别可靠地分析附加图像B2，在该情况下可以有意义的是，在图像采集装置1上和/或在显示装置3上布置特殊标记。
在一些情况下，另外的图像采集装置2不是固定安置，而是在其方面布置在平移地和/或旋转地运动的支架上就已足够。但是优选地，另外的图像采集装置2相应于图1的图示而位置固定地布置。
对于通过计算单元4可靠地分析附加图像B2还具有优势的是，附加图像B2是所谓的深度图像。对于基础图像Bl的上述实施因此也可以以类似的方式应用到附加图像B2。
特别地，在如下情况下，即，另外的图像采集装置2位置固定地布置，由计算单元4分析附加图像B2例如可以如下地进行：计算单元4根据附加图像B2确定图像采集装置1的绝对位置pAl。该绝对位置pAl涉及(关于在其中布置图像采集装置1和显示装置3的房间)位置固定的坐标系。位置固定的坐标系例如可以以笛卡角坐标x、y、z来定义。以类似的方式，由计算单元4根据附加图像B2确定显示装置3的绝对位置pA3。该绝对位置pA3也涉及位置固定的坐标系。根据两个绝对位置pAl和pA3，计算单元4然后确定图像采集装置1相对于显示装置3的相对位置pR13。
原则上可能的是，图像采集装置1和显示装置3(与另外的图像采集装置2一样)是位置固定的装置。但是当图像采集装置1和/或显示装置3可以运动时，本发明示出了其全部优势。在此，(根据实施的不同，)两个装置1、3中的仅一个或仅另一个可以运动。同样，(根据实施的不同，)两个装置1、3都可以运动。根据实施的不同，两个装置1、3的运动彼此耦合或独立于彼此。优选地，两个装置1、3可以独立于彼此运动。在下面参考图1详细解释图像采集装置1和显示装置3的独立的可移动性的可能实现。但是相应的实施是纯示例性的。也可以实现可移动性的其它可能性。
按照图1，在房间的顶棚上固定向下直立的支架结构6。支架结构6具有活节7，(至少)两个支架臂8从其伸出。支架臂8可以是固定的。替换地，支架臂8在其方面具有多个子元件9，其通过另外的活节10彼此连接。这样的悬挂是公知的并且其本身不是本发明的内容。
在上述结合图1解释的实施中，使用者5可以通过相应地调节相关的支架臂8来定位显示装置3的至少高度和侧向。以类似的方式，使用者5可以通过相应地调节相关的支架臂8来定位图像采集装置1的至少高度和侧向。在该情况下也可以以深度方向和/或旋转运动进行定位。两个定位优选彼此独立地实现。
替换地，定位能够彼此耦合。支架臂8例如可以在活节7的区域内彼此共同作用，从而其在活节7的区域内始终仅能以相同的角度，但相反的旋转方向进行调节。
当图像采集装置1相对于显示装置3的相对位置pR13改变，则必须重新确定相对位置pR13。否则会出现错误地确定动作A的危险。为了排除该危险，也就是为了在计算单元4中始终使用当前且实际的相对位置pR13，不同的实施是可能的。
附加图像B2例如能够由另外的图像采集装置2按照固定的时间间隔采集和/或由计算单元4按照固定的时间间隔分析。例如可以按照(纯示例性的)15秒、1分钟、10分钟、1小时等的时间间隔进行分析。时间间隔可以固定地预先给定。替换地，其可以由使用者5向计算单元4预先给定。
替换地可以的是，仅当由使用者5向计算单元4规定相应的使用者命令时，才由另外的图像采集装置2采集附加图像B2和/或才由计算单元4分析。使用者5例如可以规定相应的语音命令或(优选以与手不同的另外的身体部位，例如以手肘或以脚)操作开关或按键。
替换地还可以的是，附加图像B2由另外的图像采集装置2在接通计算机装置时采集和/或由计算单元4在接通计算机装置时分析。
替换地还可以的是，给图像采集装置1和/或显示装置3配备传感器11、12、13，借助其识别绝对位置pAl、pA3的改变δpΑ1、δpΑ3或相对位置pR13的改变δpR13。在该情况下例如可以触发，对绝对位置pAl、pA3中的一个或两个绝对位置pAl、pA3的改变δpΑ1、δpΑ3进行识别和/或对相对位置pR13的改变δpR13进行识别、采集并分析附加图像B2。
上面提到的在触发对相对位置pR13进行确定的时间点和/或事件的可能性可以根据需要彼此组合。
替换地，附加图像B2可以由另外的图像采集装置2连续地采集并且传输到计算单元4。在该情况下，可以在计算单元4侧同样连续地进行当前的相对位置pR13的确定。
本发明原则上可以应用在任意领域中。但是优选地，本发明应用在医学领域中。在该情况下图像采集装置1、另外的图像采集装置2和显示装置3布置在其中的房间尤其可以被构造为手术室。这在图1中通过OP台14的示意图表示。
在本发明的范围内，上面详细讨论了图像采集装置1相对于显示装置3的相对位置pR13的确定。只要需要，除了图像采集装置1相对于显示装置3的相对位置pR13之外还可以附加地进行使用者5相对于位置固定的坐标系的绝对位置的确定和/或使用者5相对于图像采集装置1的相对位置和/或使用者5相对于显示装置3的相对位置的确定。关于使用者5也可以进一步分析，例如其身高的确定。
本发明具有多个优点。特别是以简单且可靠的方式能够在任意时间根据需要进行手势控制的校准，也就是图像采集装置1相对于显示装置3的相对位置pR13的确定。
虽然在细节上通过优选的实施例详细阐述和描述本发明，但是本发明不受所公开的示例限制并且专业人员可以从中导出其它方案，而不脱离本发明的保护范围。

Claims (12)

1.一种用于计算单元(4)的控制方法，
-其中由图像采集装置(1)采集基础图像(B1)并且将其传输到计算单元(4)，
-其中由计算单元(4)根据所述基础图像(B1)确定计算单元(4)的使用者(5)的手势(G)，
-其中由计算单元(4)依据所确定的手势(G)确定动作(A)并且执行所述动作(A)，
-其中所述动作(A)由计算单元(4)对于至少一个手势(G)附加地依据图像采集装置(1)相对于显示装置(3)的相对位置(pR13)来确定，
-其中最迟在采集所述基础图像(B1)时由至少一个另外的图像采集装置(2)采集附加图像(B2)并且将其传输到计算单元(4)，和
-其中由计算单元(4)根据至少一个附加图像(B2)确定图像采集装置(1)相对于显示装置(3)的相对位置(pR13)。
2.根据权利要求1所述的控制方法，其特征在于，所述另外的图像采集装置(2)位置固定地布置。
3.根据权利要求2所述的控制方法，其特征在于，由计算单元(4)根据至少一个附加图像(B2)来确定图像采集装置(1)关于位置固定的坐标系的绝对位置(pA1)和显示装置(3)关于位置固定的坐标系的绝对位置(pA3)，并且根据图像采集装置(1)和显示装置(3)的绝对位置(pA1，pA3)确定图像采集装置(1)相对于显示装置(3)的相对位置(pR13)。
4.根据权利要求1所述的控制方法，其特征在于，所述图像采集装置(1)和/或所述显示装置(3)能够运动。
5.根据权利要求1所述的控制方法，其特征在于，通过使用者命令来触发或通过由传感器(11至13)识别的、图像采集装置(1)关于位置固定的坐标系的绝对位置(pA1)、显示装置(3)关于位置固定的坐标系的绝对位置(pA3)或图像采集装置(1)相对于显示装置(3)的相对位置(pR13)的变化(δpA1，δpA3，δpR13)来触发，由计算单元(4)连续地、按照固定的时间间隔来确定图像采集装置(1)相对于显示装置(3)的相对位置(pR13)。
6.根据上述权利要求中任一项所述的控制方法，其特征在于，由计算单元(4)确定的且执行的动作(A)是对显示装置(3)的控制。
7.一种计算机装置，
-其中计算机装置包括图像采集装置(1)、至少一个另外的图像采集装置(2)、显示装置(3)和计算单元(4)，
-其中计算单元(4)为了交换数据而与图像采集装置(1)、至少一个另外的图像采集装置(2)以及显示装置(3)相连，
-其中由图像采集装置(1)采集基础图像(B1)并且将其传输到计算单元(4)，
-其中由计算单元(4)根据基础图像(B1)确定计算单元(4)的使用者(5)的手势(G)，
-其中由计算单元(4)依据所确定的手势(G)确定动作(A)并且执行动作(A)，
-其中所述动作(A)由计算单元(4)对于至少一个手势(G)附加地依据图像采集装置(1)相对于显示装置(3)的相对位置(pA3)来确定，
-其中最迟在采集基础图像(B1)时由至少一个另外的图像采集装置(2)采集附加图像(B2)并且将其传输到计算单元(4)，和
-由计算单元(4)根据附加图像(B2)确定图像采集装置(1)相对于显示装置(3)的相对位置(pR13)。
8.根据权利要求7所述的计算机装置，其特征在于，所述另外的图像采集装置(2)位置固定地布置。
9.根据权利要求8所述的计算机装置，其特征在于，由计算单元(4)根据至少一个附加图像(B2)来确定图像采集装置(1)关于位置固定的坐标系的绝对位置(pA1)和显示装置(3)关于位置固定的坐标系的绝对位置(pA3)，并且根据图像采集装置(1)和显示装置(3)的绝对位置(pA1，pA3)确定图像采集装置(1)相对于显示装置(3)的相对位置(pR13)。
10.根据权利要求7所述的计算机装置，其特征在于，所述图像采集装置(1)和/或所述显示装置(3)能够运动。
11.根据权利要求7所述的计算机装置，其特征在于，通过使用者命令来触发或通过由传感器(11至13)识别的、图像采集装置(1)关于位置固定的坐标系的绝对位置(pA1)、显示装置(3)关于位置固定的坐标系的绝对位置(pA3)或图像采集装置(1)相对于显示装置(3)的相对位置(pR13)的变化(δpA1，δpA3，δpR13)来触发，由计算单元(4)连续地、按照固定的时间间隔来确定图像采集装置(1)相对于显示装置(3)的相对位置(pR13)。
12.根据权利要求7至11中任一项所述的计算机装置，其特征在于，由计算单元(4)确定的且执行的动作(A)是对显示装置(3)的控制。
CN201480020630.3A 2013-04-12 2014-01-15 具有自动校准的手势控制 Active CN105103086B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102013206569.8 2013-04-12
DE102013206569.8A DE102013206569B4 (de) 2013-04-12 2013-04-12 Gestensteuerung mit automatisierter Kalibrierung
PCT/EP2014/050731 WO2014166645A1 (de) 2013-04-12 2014-01-15 Gestensteuerung mit automatisierter kalibrierung

Publications (2)

Publication Number Publication Date
CN105103086A CN105103086A (zh) 2015-11-25
CN105103086B true CN105103086B (zh) 2018-02-16

Family

ID=49998260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480020630.3A Active CN105103086B (zh) 2013-04-12 2014-01-15 具有自动校准的手势控制

Country Status (4)

Country Link
US (1) US9880670B2 (zh)
CN (1) CN105103086B (zh)
DE (1) DE102013206569B4 (zh)
WO (1) WO2014166645A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6750848B1 (en) * 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
WO2004055776A1 (en) * 2002-12-13 2004-07-01 Reactrix Systems Interactive directed light/sound system
CN101785026A (zh) * 2007-07-18 2010-07-21 Metaio有限公司 用于确定摄像机相对于真实对象的位置和方向的方法和系统
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法
CN102446048A (zh) * 2010-09-30 2012-05-09 联想(北京)有限公司 信息处理设备以及信息处理方法
CN102918476A (zh) * 2010-02-05 2013-02-06 索尼电脑娱乐公司 用于利用位置、方向或动作与计算程序相接口的控制器

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE515134C2 (sv) * 1998-09-11 2001-06-11 Qualisys Ab System och metod för kamerapositionering i en virtuell studio
US7369685B2 (en) * 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
EP1579304A1 (en) * 2002-12-23 2005-09-28 Universita' Degli Studi di Firenze Hand pointing apparatus
JP4136859B2 (ja) * 2003-01-10 2008-08-20 キヤノン株式会社 位置姿勢計測方法
EP1739622B1 (en) * 2005-06-28 2013-08-14 Canon Kabushiki Kaisha Image feature identification with two cameras
US9141254B2 (en) 2005-11-12 2015-09-22 Orthosensor Inc Navigation system and user interface for directing a control action
US7834847B2 (en) 2005-12-01 2010-11-16 Navisense Method and system for activating a touchless control
JP5036260B2 (ja) * 2006-09-14 2012-09-26 キヤノン株式会社 位置姿勢算出方法及び装置
CN101785056A (zh) 2007-06-29 2010-07-21 Dic株式会社 光透射层用紫外线固化型组合物及光盘
US20100013767A1 (en) 2008-07-18 2010-01-21 Wei Gu Methods for Controlling Computers and Devices
JP5568929B2 (ja) * 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
US8907894B2 (en) 2009-10-20 2014-12-09 Northridge Associates Llc Touchless pointing device
EP2642371A1 (en) 2010-01-14 2013-09-25 BrainLAB AG Controlling a surgical navigation system
EP2691834A4 (en) * 2011-03-28 2015-02-18 Gestsure Technologies Inc GESTURIZED CONTROL FOR MEDICAL INFORMATION SYSTEMS
US8612641B1 (en) * 2011-05-31 2013-12-17 Amazon Technologies, Inc. Portable computing device as control mechanism
US8803800B2 (en) * 2011-12-02 2014-08-12 Microsoft Corporation User interface control based on head orientation
US9223404B1 (en) * 2012-01-27 2015-12-29 Amazon Technologies, Inc. Separating foreground and background objects in captured images
US9240075B2 (en) * 2013-03-15 2016-01-19 Daqri, Llc Campaign optimization for experience content dataset
DE102013208762A1 (de) * 2013-05-13 2014-11-13 Siemens Aktiengesellschaft Intuitive Gestensteuerung
US20170161903A1 (en) * 2015-12-03 2017-06-08 Calay Venture S.á r.l. Method and apparatus for gesture recognition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6750848B1 (en) * 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
WO2004055776A1 (en) * 2002-12-13 2004-07-01 Reactrix Systems Interactive directed light/sound system
CN101785026A (zh) * 2007-07-18 2010-07-21 Metaio有限公司 用于确定摄像机相对于真实对象的位置和方向的方法和系统
CN102918476A (zh) * 2010-02-05 2013-02-06 索尼电脑娱乐公司 用于利用位置、方向或动作与计算程序相接口的控制器
CN102446048A (zh) * 2010-09-30 2012-05-09 联想(北京)有限公司 信息处理设备以及信息处理方法
CN102156859A (zh) * 2011-04-21 2011-08-17 刘津甦 手部姿态与空间位置的感知方法

Also Published As

Publication number Publication date
CN105103086A (zh) 2015-11-25
DE102013206569B4 (de) 2020-08-06
US9880670B2 (en) 2018-01-30
DE102013206569A1 (de) 2014-10-16
US20160041693A1 (en) 2016-02-11
WO2014166645A1 (de) 2014-10-16

Similar Documents

Publication Publication Date Title
Smeragliuolo et al. Validation of the Leap Motion Controller using markered motion capture technology
EP3285635B1 (en) Systems and methods for determining distance from an object
Regazzoni et al. RGB cams vs RGB-D sensors: Low cost motion capture technologies performances and limitations
CN104335139B (zh) 手势控制
CN108366833A (zh) 手术信息处理设备和方法
KR102188334B1 (ko) 깊이 측정 센서를 이용한 수술 동작 분석 장치 및 방법
Seo et al. A comparative study of in-field motion capture approaches for body kinematics measurement in construction
JP6930995B2 (ja) 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム
CN107920739A (zh) 用于检查皮肤损伤的装置和方法
CN101133958A (zh) 关节动度检测系统及其检测方法
Yang et al. Autonomous Gait Event Detection with Portable Single‐Camera Gait Kinematics Analysis System
CN108451533A (zh) 自动化足部检测设备
JPH1163927A (ja) 頭部位置・姿勢の計測装置および作業監視装置
CN208096754U (zh) 用于检查患者的胸部的x射线装置和距离传感装置
CN113786152B (zh) 一种内窥镜镜头跟踪方法及内窥镜系统
KR101087135B1 (ko) 모션 콘텐츠 기반의 학습 장치 및 방법
KR20160097044A (ko) 모션 인식기법을 이용한 관절 각도기 장치
Kim et al. Head-mounted binocular gaze detection for selective visual recognition systems
CN105103086B (zh) 具有自动校准的手势控制
JP2002143094A (ja) 視線検出装置
US20210267494A1 (en) Analysis system and method of joint movement
JP2012101284A (ja) 人の動作における意図推定装置
JP2005091085A (ja) 非接触型関節角度計測システム
Chamberlain et al. Applying augmented reality to enable automated and low-cost data capture from medical devices
CN109938738B (zh) 一种前臂长度测量系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220126

Address after: Erlangen

Patentee after: Siemens Healthineers AG

Address before: Munich, Germany

Patentee before: SIEMENS AG

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240902

Address after: German Phu F Haim

Patentee after: Siemens Medical AG

Country or region after: Germany

Address before: Erlangen

Patentee before: Siemens Healthineers AG

Country or region before: Germany