CN113557492B - 利用二维摄像头来辅助对象控制的方法、系统和非暂时性计算机可读记录介质 - Google Patents

利用二维摄像头来辅助对象控制的方法、系统和非暂时性计算机可读记录介质 Download PDF

Info

Publication number
CN113557492B
CN113557492B CN202080019997.9A CN202080019997A CN113557492B CN 113557492 B CN113557492 B CN 113557492B CN 202080019997 A CN202080019997 A CN 202080019997A CN 113557492 B CN113557492 B CN 113557492B
Authority
CN
China
Prior art keywords
target area
dimensional
user
body part
candidate target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080019997.9A
Other languages
English (en)
Other versions
CN113557492A (zh
Inventor
金石中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN113557492A publication Critical patent/CN113557492A/zh
Application granted granted Critical
Publication of CN113557492B publication Critical patent/CN113557492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

根据本发明的一个方面，提供了一种利用二维摄像头来辅助对象控制的方法，包括以下步骤：从二维摄像头获取用户身体的二维图像；以及参考基于二维图像中分别对应用户的第一身体部位和第二身体部位的二维相对坐标点指定的候选目标区域来确定控制目标区域，其中所述候选目标区域和控制目标区域是在相对于二维摄像头建立的参考面上确定的。

Description

利用二维摄像头来辅助对象控制的方法、系统和非暂时性计 算机可读记录介质
技术领域
本发明涉及一种使用二维摄像头(two-dimensional camera)辅助对象控制的方法、系统和非暂时性计算机可读记录介质。
背景技术
近年来，随着对增强现实(AR)或虚拟现实(VR)的兴趣增加以及相关技术领域的研究和开发的积极进行，已经介绍了使用用户的身体部位来控制对象的各种技术。
作为相关传统技术的示例，韩国专利公开号10-2012-126508公开了一种不使用指针在虚拟触控设备中识别触控的方法，其中虚拟触控设备包括：图像采集单元，由两个或更多个布置在不同位置的图像传感器组成，并被配置为在显示面前拍摄用户身体；空间坐标计算单元，被配置为使用从图像采集单元接收的图像计算用户身体的三维坐标数据；触控位置计算单元，被配置为使用从空间坐标计算单元接收的第一空间坐标和第二空间坐标来计算接触点的坐标数据，其中接触点为连接第一空间坐标和第二空间坐标的直线与显示面相交的点；以及虚拟触控处理单元，被配置为产生用于执行对应于从触控位置计算单元接收的接触点坐标数据的操作的指令码，并将指令码输入至电子装置的主控单元，其中该方法包括步骤：(a)处理指尖的三维坐标数据(X1，Y1，Z1)和眼睛中心点的三维坐标数据(X2，Y2，Z2)，以分别检测眼睛的接触点A、指尖点B和显示面C；(b)计算检测到的指尖点的深度变化、轨迹变化、保持时间和变化率中的至少一个；以及(c)基于指尖点的深度变化、轨迹变化、保持时间以及变化率中的至少一个，操作电子装置或选择与触控面板的触控部分对应的区域。
根据迄今为止介绍的技术以及上述传统技术，为了选择或控制对象，本质上需要使用三维摄像头获取用户身体部位的三维坐标的过程。然而，三维摄像头不仅价格昂贵，而且在处理三维数据的过程中也造成了很多延迟。需要具有更高性能的中央处理单元(CPU)等来解决延迟问题，导致整体价格更高。
在这方面，发明人提出了一种新颖且具有创造性的技术，用于帮助用户仅使用传统的二维摄像头而不使用三维摄像头来有效且准确地选择或控制预期的目标对象。
发明内容
本发明的一个目的是解决现有技术中的所有上述问题。
本发明的另一个目的是仅使用通过二维摄像头获取的信息，而不使用诸如三维摄像头的精确传感装置来准确地确定符合用户意图的控制目标区域。
本发明的又一个目的是使用较少的资源有效地确定控制目标区域。
下面描述实现上述目的的本发明的代表性配置。
根据本发明的一个方面，提供了一种使用二维摄像头来用于辅助对象控制的方法，包括以下步骤：从二维摄像头获取用户身体的二维图像；以及参考基于二维图像中分别对应用户的第一身体部位和第二身体部位的二维相对坐标点特定的候选目标区域来确定控制目标区域，其中所述候选目标区域和控制目标区域是在以二维摄像头为基准设定的参考面上确定的。
根据本发明的另一方面，提供了一种使用二维摄像头来用于辅助对象控制的系统，包括：图像获取单元，被配置为从二维摄像头获取用户身体的二维图像；控制目标区域确定单元，被配置为参考基于二维图像中分别对应用户的第一身体部位和第二身体部位的二维相对坐标点特定的候选目标区域来确定控制目标区域，其中候选目标区域和控制目标区域是在以二维摄像头为基准设定的参考面上确定的。
此外，还提供了实现本发明的其他方法和系统，以及其上存储有用于执行这些方法的计算机程序的非暂时性计算机可读记录介质。
根据本发明，可以仅使用通过二维摄像头获取的信息准确地确定符合用户意图的控制目标区域，而无需使用诸如三维摄像头的精确传感装置。
根据本发明，可以使用较少的资源有效地确定控制目标区域。
附图说明
图1具体示出了根据本发明的一个实施方式的对象控制辅助系统的内部配置。
图2和图3示意性地示出了根据本发明的一个实施方式如何使用二维摄像头确定候选目标区域。
图4示意性地示出了根据本发明第一实施方式如何确定控制目标区域。
图5示意性地示出了根据本发明另一实施方式如何确定控制目标区域。
图6示意性地示出了根据本发明另一实施方式的使用分别从两个或更多二维摄像头获取的两个或更多二维图像来确定用户想要的控制目标区域的情况。
附图标记说明
100：对象控制辅助系统
110：图像获取单元
120：控制目标区域确定单元
130：通信单元
140：控制单元
具体实施方式
在本发明的以下详细描述中，参考附图，这些附图通过说明的方式示出了可以在其中实践本发明的具体实施方式。对这些实施方式进行足够详细的描述，以使本领域技术人员能够实践本发明。应当理解，本发明的各种实施方式虽然彼此不同，但不一定是相互排斥的。例如，在不脱离本发明的主旨和范围的情况下，可以将本文描述的特定形状、结构和特征实施从一个实施方式修改到另一个实施方式。此外，应当理解，在不脱离本发明的主旨和范围的情况下，还可以修改每个实施方式中的个别元件的位置或设置。因此，以下详细描述不应被视为限制性的，本发明的范围应被视为包含所附权利要求及其所有等同物的范围。在附图中，相同的附图标记表示遍及多个视图的相同或相似的元件。
下面将结合附图详细描述本发明的各种优选实施方式，以使本领域技术人员能够容易地实施本发明。
整个系统的配置
根据本发明的一个实施方式的整个系统可以包括通信网络、对象控制辅助系统100以及二维摄像头。
首先，根据本发明的一个实施方式的通信网络可以与诸如有线和无线通信的通信方式无关地实现，并且可以由诸如局域网(LAN)、城域网(MAN)和广域网(WAN)的各种通信网络构建。优选地，这里描述的通信网络可以是因特网或万维网(WWW)。然而，通信网络不一定限于此，并且可以至少部分地包括已知的有线/无线数据通信网络、已知的电话网络或已知的有线/无线电视通信网络。
例如，通信网络可以是无线数据通信网络，其至少一部分可以通过常规通信方案实现，例如射频(RF)通信、WiFi通信、蜂窝通信(例如，长期演进(LTE)通信)、蓝牙通信(更具体地，蓝牙低功耗(BLE)通信)、红外通信和超声波通信。
接下来，根据本发明的一个实施方式的对象控制辅助系统100可以是具有存储装置和用于计算能力的微处理器的数字设备。对象控制辅助系统100可以是服务器系统。
根据本发明的一个实施方式，对象控制辅助系统100可以通过通信网络或处理器(未示出)连接到下面将要描述的二维摄像头，并且可以用于从二维摄像头获取用户身体的二维图像，并参考基于二维图像中分别对应用户的第一身体部位和第二身体部位的二维相对坐标点指定的候选目标区域来确定控制目标区域，其中候选目标区域和控制目标区域是在关于二维摄像头建立的参考面上确定的。
这里，根据本发明的一个实施方式的二维相对坐标点可以在与二维摄像头相关联的相对坐标系中指定。例如，根据本发明的一个实施方式，在二维摄像头的镜头周围(例如，镜头以(0,0)为中心)(或在二维摄像头拍摄的二维图像周围)指定的二维坐标系可以被指定为相对坐标系，在该相对坐标系中可以指定二维相对坐标点。
此外，根据本发明的一个实施方式，身体部位可以包括头、眼睛、鼻子、嘴、手、指尖、手指、脚、脚尖、脚趾等，但不限于上述，只要能够达到本发明的目的，就可以改变为各种身体部位。
此外，根据本发明的一个实施方式，可以在相对于二维摄像头建立的参考面上确定控制目标区域。根据本发明的一个实施方式，相对于二维摄像头建立的参考面可以包括预定尺寸的表面，该表面围绕二维摄像头建立或定位为与二维摄像头相邻(或在预定距离内)。参考面可以成形为平坦的或弯曲的，并且可以包括显示屏、印刷的纸张、墙壁等。
下面将更详细地讨论根据本发明的对象控制辅助系统100的配置和功能。同时，虽然上面已经描述了对象控制辅助系统100，但是以上描述是说明性的，并且对于本领域技术人员来说显而易见的是，对象控制辅助系统100所需的功能或组件的至少一部分可以在必要时实施或包含在外部系统(未显示)中。
接下来，根据本发明的一个实施方式的二维摄像头可以通过通信网络或处理器与对象控制辅助系统100通信，并且可以用于获取用户身体的二维图像。例如，根据本发明的一个实施方式的二维摄像头可以包括各种类型的图像传感器，例如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)。
对象控制辅助系统的配置
在下文中，将讨论对于实现本发明至关重要的对象控制辅助系统100的内部配置及其各个组件的功能。
图1具体示出了根据本发明的一个实施方式的对象控制辅助系统100的内部配置。
如图1所示，根据本发明的一个实施方式的对象控制辅助系统100可以包括图像获取单元110、控制目标区域确定单元120、通信单元130以及控制单元140。根据本发明的一个实施方式，图像获取单元110、控制目标区域确定单元120、通信单元130以及控制单元140中的至少一些可以是与外部系统通信的程序模块。程序模块可以以操作系统、应用程序模块以及其它程序模块的形式包含在对象控制辅助系统100中，而它们可以物理地存储在各种公知的存储设备中。进一步地，程序模块也可以存储在可与对象控制辅助系统100进行通信的远程存储设备中。同时，如下面将根据本发明描述，这样的程序模块可以包括但不限于例程、子例程、程序、对象、组件、数据结构等等，用于执行特定任务或执行特定抽象数据类型。
首先，根据本发明的一个实施方式的图像获取单元110可以用于从二维相机获取用户身体的二维图像。
例如，根据本发明的一个实施方式的图像获取单元110可以获取二维图像，其中拍摄包括眼睛(例如，双眼或优势眼)和手指(例如，食指的指尖)的用户身体。
接下来，根据本发明的一个实施方式的控制目标区域确定单元120可以参考基于二维图像中分别对应用户的第一身体部位和第二身体部位的二维相对坐标点指定的候选目标区域来确定控制目标区域。这里，根据本发明的一个实施方式的控制目标区域确定单元120可以在相对于二维摄像头建立的参考面上确定候选目标区域和控制目标区域。
具体地，根据本发明的一个实施方式，候选目标区域可以由虚拟点和二维摄像头位于虚拟参考面上的点来指定。虚拟点与二维摄像头位于虚拟参考面上的点之间的位置关系可以通过在二维图像中分别对应第一身体部位和第二身体部位的二维相对坐标点之间的位置关系来指定。
图2和图3示意性地示出了根据本发明的一个实施方式如何使用二维摄像头确定候选目标区域。
在图2和图3的实施方式中，根据本发明的一个实施方式的二维摄像头可以包括在对象显示设备中，并且如果需要可以与对象显示设备相邻放置。在这种情况下，根据本发明的一个实施方式的对象显示设备的显示屏可以位于相对于二维摄像头建立的参考面300上，或者可以与二维摄像头具有匹配的位置关系。
此外，在图2和图3的实施方式中，可以假设在对象显示设备的显示屏上显示或打印对象“a”到“t”。此外，在根据本发明的对象显示设备上显示的对象只要可以实现本发明的目的，不仅可以以电子方式显示，还可以以各种方式显示，例如印刷、雕刻和压花。
此外，在图2和图3的实施方式中，根据本发明的一个实施方式的对象显示设备可以通过通信网络或处理器连接到对象控制辅助系统100，并且可以起到显示用户要控制的对象的作用。例如，根据本发明的一个实施方式，对象显示设备可以包括液晶显示器(LCD)、薄膜晶体管LCD(TFT LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、有源矩阵OLED(AMOLED)显示器、柔性显示器以及三维显示器。
首先，参考图2，根据本发明的一个实施方式的控制目标区域确定单元120可以指定直线203和参考线204之间的角度205，直线203连接在从二维摄像头获取的二维图像200中指定的用户的眼睛201和指尖的二维相对坐标点202，参考线204是在二维图像200中预先建立的。这里，根据本发明的一个实施方式，在二维图像200中预先建立的参考线204可以是由二维图像200的水平轴(或垂直轴)指定的水平线(或垂直线)，或者可以是一个直线，该直线平行于连接二维图像200中的用户所有眼睛的直线。
接下来，参考图3，根据本发明的一个实施方式的控制目标区域确定单元120可以指定虚拟点302，使得由虚拟直线303和参考线304形成的角度305与图2的二维图像200中指定的角度205基本相同，虚拟直线303连接虚拟点302和点301，点301是二维摄像头位于相对于二维摄像头建立的参考面300上的点，并且可以将围绕虚拟直线303的区域306指定为候选目标区域，虚拟直线303连接虚拟点302和二维摄像头位于参考面300上的点301。在此，根据本发明的一个实施方式，在参考面300上指定的参考线304可以是平行于在二维图像200中预先建立的参考线204的直线，或者可以是对应于包括二维摄像头的对象显示设备的水平轴的直线。
进一步地，根据本发明的一个实施方式，控制目标区域确定单元120可以参考指定的候选目标区域来确定被判断为符合用户的控制意图的控制目标区域。
具体地，根据本发明的一个实施方式，控制目标区域确定单元120可以将指定的候选目标区域内的区域确定为控制目标区域，指定的候选目标区域被判断为与用户的手势相关联。这里，根据本发明的一个实施方式，用户的手势可以包括移动用户的第一身体部位或第二身体部位的手势(例如，用户将二维摄像头拍摄的指尖向用户预期的方向移动的手势)。
图4示意性地示出了根据本发明的第一实施方式如何确定控制目标区域。
参考图4，响应于检测手势，根据本发明的一个实施方式的控制目标区域确定单元120可将位于参考面300上的候选目标区域306内相对右下方向的局部区域307确定为控制目标区域，还可以进一步在位于候选目标区域306中的两个对象308和309中，将位于控制目标区域307中的对象309确定为用户要控制(或选择)的对象，通过所述手势，在二维图像中对应于用户的第二身体部位的二维相对坐标点202沿左下方向202'移动。即，根据本发明的一个实施方式，由于对象“i”308和对象“t”309被包括在候选目标区域306中，但是只有对象“t”309被包括在控制目标区域307中，对象“t”309可以被确定为用户想要的控制目标对象。
同时，根据本发明的一个实施方式，控制目标区域确定单元120可以提供用于辅助用户识别由对象控制辅助系统100指定的候选目标区域的引导信息，并且可以将在提供引导信息之后被判断为与识别的用户的手势相关联的区域确定为控制目标区域。
例如，当与对象显示设备相对应地建立参考面时，根据本发明的一个实施方式的控制目标区域确定单元120可以通过以高亮(highlight)的方式在对象显示设备上显示候选目标区域(或位于候选目标区域中的对象)来向用户提供引导信息。此外，根据本发明的一个实施方式的控制目标区域确定单元120可以通过识别手势(gesture)来确定候选目标区域内的控制目标区域，以便准确地指定在候选目标区域内由用户控制的控制目标区域，所述手势是用户在接收到引导信息后做出的。
同时，根据本发明的一个实施方式的通信单元130可以用于实现来自/向图像获取单元110和控制目标区域确定单元120的数据发送/接收。
最后，根据本发明的一个实施方式的控制单元140可用于控制图像获取单元110、控制目标区域确定单元120和通信单元130之间的数据流。即，根据本发明的控制单元140可以控制对象控制辅助系统100的数据流的进/出或对象控制辅助系统100的各个组件之间的数据流，使得图像获取单元110、控制目标区域确定单元120和通信单元130可以分别执行它们的特定功能。
同时，根据本发明的另一实施方式，对象控制辅助系统100可以基于从用户身体的两个或更多个二维图像获取的信息来确定判断为用户想要的控制目标区域，这些二维图像是分别从两个或更多个二维摄像头获取的。
具体地，根据本发明的另一实施方式的对象控制辅助系统100可以获取第一二维图像和第二二维图像，第一二维图像中用户的身体由第一二维摄像头拍摄，第二二维图像中用户的身体由第二二维摄像头拍摄。
接下来，根据本发明的另一实施方式的对象控制辅助系统100可参考基于第一二维图像中分别对应用户的第一身体部位和第二身体部位的二维相对坐标点指定的第一候选目标区域、以及基于第二二维图像中分别对应用户的第一身体部位和第二身体部位的二维相对坐标点指定的第二候选目标区域来确定控制目标区域。例如，根据本发明的另一实施方式的对象控制辅助系统100可以将与第一候选目标区域和第二候选目标区域共同的区域确定为控制目标区域。这里，根据本发明的另一实施方式，可以在相对于第一二维摄像头和第二二维摄像头建立的参考面上确定控制目标区域。
图5的(a)至(c)示意性地示出了根据本发明的如何确定控制目标区域的另一实施方式。
首先，参考图5的(a)，根据本发明的另一实施方式的对象控制辅助系统100可以指定直线513和参考线514之间的第一角度515，直线513连接在从第一二维摄像头获取的第一二维图像510中指定的用户的眼睛511和指尖512的二维相对坐标点，参考线514是在第一二维图像510中预先设定的。
接下来，参考图5的(b)，根据本发明的另一实施方式的对象控制辅助系统100可以指定直线523和参考线524之间的第二角度525，直线523连接在从第二二维摄像头获取的第二二维图像520中指定的用户的眼睛521和指尖522的二维相对坐标点，参考线524是在第二二维图像520中预先设定的。
接下来，参考图5的(c)，根据本发明的另一实施方式的对象控制辅助系统100可以指定第一虚拟点，使得由第一虚拟直线532和第一参考线形成的角度533与图5的(a)的第一二维图像510中指定的第一角度515基本相同，第一虚拟直线532连接第一虚拟点和点531，点531为第一二维摄像头位于相对于第一二维摄像头和第二二维摄像头建立的参考面530上的点，并且可以将围绕第一虚拟直线532的区域534指定为第一候选目标区域，第一虚拟直线532连接第一虚拟点和第一二维摄像头置于参考面530上的点531。在此，根据本发明的另一实施方式，在参考面530上指定的第一参考线可以是平行于在第一二维图像510中预先设定的参考线514的直线，或者可以是对应于对象显示设备的水平轴的直线。
进一步参考5的(c)，根据本发明的另一实施方式的对象控制辅助系统100可以指定第二虚拟点，使得由第二虚拟直线536和第二参考线形成的角度537与图5的(b)的第二二维图像520中指定的第二角度525基本相同，第二虚拟直线536连接第二虚拟点和点535，其中点535是第二二维摄像头位于参考面530上的点，并且可以将围绕第二虚拟直线536的区域538指定为第二候选目标区域，第二虚拟直线536连接第二虚拟点和第二二维摄像头置于参考面530上的点535。在此，根据本发明的另一实施方式，在参考面530上指定的第二参考线可以是平行于在第二二维图像520中预先设定的参考线524的直线，或者可以是对应于对象显示设备的水平轴的直线。
进一步参考图5的(c)，根据本发明的另一实施方式的对象控制辅助系统100可以将参考面530上的与第一候选目标区域534和第二候选目标区域538共有的区域539确定为控制目标区域，并且可以进一步将对象显示设备上显示的对象中位于控制目标区域539中的对象确定为用户要控制(或选择)的对象。
即，根据本发明的另一实施方式，使用分别从两个或更多二维摄像头获取的两个或更多二维图像可以更准确和精确地识别用户的控制意图。
图6示意性地示出了根据本发明的另一实施方式的使用分别从两个或更多个二维摄像头获取的两个或更多个二维图像来确定用户想要的控制目标区域的情况。
参考图6，根据本发明的另一实施方式的对象控制辅助系统100可以使用从两个或更多个二维图像获取的信息，这些二维图像分别通过移动设备600中提供的两个或更多个二维摄像头601和602获取，以将移动设备600的显示屏上显示的图标603、移动设备600的显示屏上显示的电子地图中的特定点604、移动设备600的显示屏外的任何点605等确定为用户想要的控制目标区域。
如上所述的根据本发明的实施方式可以以由各种计算机组件执行的程序指令的形式来实现，并且可以存储在计算机可读记录介质上。计算机可读记录介质可以包括单独或组合的程序指令、数据文件以及数据结构。存储在计算机可读记录介质上的程序指令可以是为本发明专门设计和配置的，或也可以是计算机软件领域的技术人员已知和可获得的。计算机可读记录介质的示例包括：诸如硬盘、软盘和磁带的磁介质；光学介质，例如光盘只读存储器(CD-ROM)和数字多功能磁盘(DVD)；磁光介质，诸如软式光盘；以及专门用于存储和执行程序指令的例如只读存储器(ROM)、随机存取存储器(RAM)和闪存的硬件设备。程序指令的示例不仅包括由编译器创建的机器语言代码，还包括可以由计算机使用解释器执行的高级语言代码。上述硬件设备可以改变为一个或多个软件模块来执行本发明的过程，反之亦然。
虽然本发明以上在例如详细的要素、限定的实施方式、附图的具体事项方面进行了说明，但仅是提供它们以帮助更一般地理解本发明，本发明并不限于上述实施方式。本发明所属领域的技术人员将理解，可以根据以上描述进行各种修改和改变。
因此，本发明的主旨不限于上述实施方式，所附权利要求及其等同物的整个范围将落入本发明的范围和精神内。
附图翻译
图1:
110、图像获取单元120、控制目标区域确定单元130、通信单元140、控制单元。

Claims (9)

1.一种利用二维摄像头辅助对象控制的方法，其特征在于，包括以下步骤：
从二维摄像头获取用户身体的二维图像的获取步骤；以及
参考基于二维图像中分别对应用户的第一身体部位和第二身体部位的二维相对坐标点指定的候选目标区域来确定控制目标区域的确定步骤，
其中，所述候选目标区域和所述控制目标区域是在以所述二维摄像头为基准设定的参考面上确定的，
其中，所述候选目标区域基于连接虚拟点和所述二维摄像头置于所述参考面上的点的虚拟线来指定，
其中，所述虚拟点参考连接所述二维图像中分别对应于所述第一身体部位和所述第二身体部位的所述二维相对坐标点的线以及所述二维图像中建立的参考线之间的角度来指定，并且
其中，在所述确定步骤中，在包含于所述候选目标区域中的对象中，将包含在所述控制目标区域中的对象确定为所述用户要控制的对象。
2.根据权利要求1所述的方法，其特征在于，
在与所述二维摄像头相关联的相对坐标系中指定所述二维相对坐标点。
3.根据权利要求1所述的方法，其特征在于，
在所述确定步骤中，将所述候选目标区域内被判断为与所述用户的手势相关联的区域确定为所述控制目标区域。
4.根据权利要求3所述的方法，其特征在于，
所述手势包括所述用户移动所述第一身体部位或所述第二身体部位的手势。
5.根据权利要求3所述的方法，其特征在于，
所述确定步骤包括以下步骤：
提供辅助用户识别所述候选目标区域的引导信息；以及
将在提供所述引导信息之后被判断为与识别的所述用户的所述手势相关联的区域确定为所述控制目标区域。
6.根据权利要求1所述的方法，其特征在于，
在所述获取步骤中，从第一二维摄像头获取所述用户身体的第一二维图像，以及从第二二维摄像头获取所述用户身体的第二二维图像，
其中，在所述确定步骤中，参考基于所述第一二维图像中分别对应用户的所述第一身体部位和所述第二身体部位的二维相对坐标点指定的第一候选目标区域、以及基于所述第二二维图像中分别对应所述用户的所述第一身体部位和所述第二身体部位的二维相对坐标点指定的第二候选目标区域来确定所述控制目标区域，以及
其中，所述第一候选目标区域、所述第二候选目标区域以及所述控制目标区域是在以所述第一二维摄像头和所述第二二维摄像头为基准设定的参考面上确定的。
7.根据权利要求6所述的方法，其特征在于，
在所述确定步骤中，将所述第一候选目标区域和所述第二候选目标区域共有的区域确定为所述控制目标区域。
8.一种非暂时性计算机可读记录介质，其特征在于，
其上存储有用于执行根据权利要求1所述的方法的计算机程序。
9.一种利用二维摄像头来辅助对象控制的系统，其特征在于，包括：
图像获取单元，其被配置为从二维摄像头获取用户身体的二维图像；以及
控制目标区域确定单元，其被配置为基于二维图像中分别对应所述用户的第一身体部位和第二身体部位的二维相对坐标点指定的候选目标区域来确定控制目标区域，
其中，所述候选目标区域和所述控制目标区域是在以所述二维摄像头为基准设定的参考面上确定的，
其中，所述候选目标区域基于连接虚拟点和所述二维摄像头置于所述参考面上的点的虚拟线来指定，
其中，所述虚拟点参考连接所述二维图像中分别对应于所述第一身体部位和所述第二身体部位的所述二维相对坐标点的线以及所述二维图像中建立的参考线之间的角度来指定，并且
其中，所述控制目标区域确定单元配置为在包含于所述候选目标区域中的对象中，将包含在所述控制目标区域中的对象确定为所述用户要控制的对象。
CN202080019997.9A 2019-03-11 2020-03-04 利用二维摄像头来辅助对象控制的方法、系统和非暂时性计算机可读记录介质 Active CN113557492B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190027623A KR102191061B1 (ko) 2019-03-11 2019-03-11 2차원 카메라를 이용하여 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR10-2019-0027623 2019-03-11
PCT/KR2020/003063 WO2020184890A1 (ko) 2019-03-11 2020-03-04 2차원 카메라를 이용하여 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Publications (2)

Publication Number Publication Date
CN113557492A CN113557492A (zh) 2021-10-26
CN113557492B true CN113557492B (zh) 2024-02-23

Family

ID=72426713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080019997.9A Active CN113557492B (zh) 2019-03-11 2020-03-04 利用二维摄像头来辅助对象控制的方法、系统和非暂时性计算机可读记录介质

Country Status (5)

Country Link
US (1) US11294510B2 (zh)
JP (1) JP7279975B2 (zh)
KR (1) KR102191061B1 (zh)
CN (1) CN113557492B (zh)
WO (1) WO2020184890A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102225342B1 (ko) * 2019-02-13 2021-03-09 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN112699796A (zh) * 2020-12-30 2021-04-23 维沃移动通信有限公司 电子设备的操作方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220975A (zh) * 2010-10-08 2013-07-24 泰莱伊奥斯有限责任公司 用于为了诊断、外科或介入医学目的而在医学应用中映射三维空间的装置与方法
CN105593787A (zh) * 2013-06-27 2016-05-18 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
CN106233229A (zh) * 2014-02-22 2016-12-14 维塔驰有限公司 利用以摄像机为中心的虚拟触控的远程操作装置及方法
CN109448090A (zh) * 2018-11-01 2019-03-08 北京旷视科技有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100869447B1 (ko) * 2000-05-17 2008-11-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 3차원 모델링 없이 이미지 처리에 의해 타겟을 지시하는 장치 및 방법
KR101082829B1 (ko) * 2009-10-05 2011-11-11 백문기 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
KR101381928B1 (ko) * 2011-02-18 2014-04-07 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR20120126508A (ko) 2011-05-12 2012-11-21 김석중 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법
KR101921176B1 (ko) * 2012-05-07 2019-02-13 엘지전자 주식회사 전자 장치 및 가상 터치스크린을 제공하는 방법
KR20140029864A (ko) * 2012-08-30 2014-03-11 삼성디스플레이 주식회사 표시 장치 및 이를 이용한 에어 터치 인식 방법 및 이를 이용한 입체 영상 표시 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220975A (zh) * 2010-10-08 2013-07-24 泰莱伊奥斯有限责任公司 用于为了诊断、外科或介入医学目的而在医学应用中映射三维空间的装置与方法
CN105593787A (zh) * 2013-06-27 2016-05-18 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
CN106233229A (zh) * 2014-02-22 2016-12-14 维塔驰有限公司 利用以摄像机为中心的虚拟触控的远程操作装置及方法
CN109448090A (zh) * 2018-11-01 2019-03-08 北京旷视科技有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP7279975B2 (ja) 2023-05-23
KR102191061B1 (ko) 2020-12-15
WO2020184890A1 (ko) 2020-09-17
US20210064160A1 (en) 2021-03-04
JP2022525326A (ja) 2022-05-12
US11294510B2 (en) 2022-04-05
KR20200108660A (ko) 2020-09-21
CN113557492A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
US10572012B2 (en) Electronic device for performing gestures and methods for determining orientation thereof
JP6237326B2 (ja) 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム
US20120320198A1 (en) Imaging sensor based multi-dimensional remote controller with multiple input mode
US20170116783A1 (en) Navigation System Applying Augmented Reality
US20150077434A1 (en) Image processing apparatus, image processing method, and program
JP2016523420A (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US20180260032A1 (en) Input device, input method, and program
US20230316608A1 (en) Method and apparatus for spatial locating
CN113557492B (zh) 利用二维摄像头来辅助对象控制的方法、系统和非暂时性计算机可读记录介质
JP2017146938A (ja) 書籍検出装置、書籍検出方法及び書籍検出用コンピュータプログラム
US11886643B2 (en) Information processing apparatus and information processing method
US20170344104A1 (en) Object tracking for device input
US20220415094A1 (en) Method and system for estimating gesture of user from two-dimensional image, and non-transitory computer-readable recording medium
WO2018076720A1 (zh) 单手操控方法及操控系统
US11600024B2 (en) System and method for recalibrating an augmented reality experience using physical markers
US11595568B2 (en) System for generating a three-dimensional scene of a physical environment
US12093461B2 (en) Measurement based on point selection
WO2015064991A2 (ko) 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
KR102225342B1 (ko) 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US20220192487A1 (en) Method and system for determining dominant eye, and non-transitory computer-readable recording medium
CN111373732A (zh) 信息处理装置、信息处理方法和信息处理系统
KR101547512B1 (ko) 디스플레이 패턴을 이용하는 미세 포인팅 방법 및 시스템
CN110660134B (zh) 三维地图构建方法、三维地图构建装置及终端设备
WO2023194612A1 (en) Calibration device and method for an electronic display screen for touchless gesture control
US20160011675A1 (en) Absolute Position 3D Pointing using Light Tracking and Relative Position Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant