CN107392083B - 识别装置、识别方法、和记录介质 - Google Patents

识别装置、识别方法、和记录介质 Download PDF

Info

Publication number
CN107392083B
CN107392083B CN201710247328.7A CN201710247328A CN107392083B CN 107392083 B CN107392083 B CN 107392083B CN 201710247328 A CN201710247328 A CN 201710247328A CN 107392083 B CN107392083 B CN 107392083B
Authority
CN
China
Prior art keywords
person
information
motion
skeleton
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710247328.7A
Other languages
English (en)
Other versions
CN107392083A (zh
Inventor
新浩治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN107392083A publication Critical patent/CN107392083A/zh
Application granted granted Critical
Publication of CN107392083B publication Critical patent/CN107392083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的识别装置(100)包括：接受由摄像机拍摄的人的图像信息的输入单元(101)；以及基于所述图像信息，进行所述人的识别、以及所述人的至少头及手的部位的探测，基于识别出的所述人、探测出的所述部位、以及对每个人注册了人的动作的动作模式，识别所述人的动作的控制单元(102)。

Description

识别装置、识别方法、和记录介质
技术领域
本发明涉及识别装置、识别方法、和记录介质。
背景技术
近年来，已知识别人的姿势的技术。
例如在专利文献1中，公开了从摄像机的图像检测人的手、肘部及肩部的特征点的位置，校正手、肘部及肩部的特征点位置以适合于预先创建的关节模型的装置。
现有技术文献
专利文献
专利文献1：日本特开2010－211705号公报
发明内容
可是，在专利文献1所记载的装置中，在人穿着皮革夹克等对近红外光的反射率较低的衣服的情况下，身体及臂部分的像素值不能正常地得到，无法探测肩部及肘部的关节，所以有无法识别人的姿势的课题。
本发明的目的是，提供能够识别人的姿势的识别装置、识别方法、识别程序和记录介质。
本发明的一方式的识别装置包括：接受由摄像机拍摄的人的图像信息的输入单元；以及基于所述图像信息，进行所述人的识别以及所述人的至少头及手的部位的探测，基于识别出的所述人、探测出的所述部位、以及对每个人注册了人的动作的动作模式识别所述人的动作的控制单元。
再者，这里所谓的“人”不限于特定的个人的意义，还意味着任意的年龄、性别及及体格的广义的人。
此外，本发明的一方式的识别方法包括：接受由摄像机拍摄的人的图像信息的步骤；基于所述图像信息，进行所述人的识别以及所述人的至少头及手的部位的探测的步骤；以及基于识别出的所述人、探测出的所述部位、以及对每个人注册了人的动作的动作模式识别所述人的动作的步骤。
进一步，本发明的一方式的识别程序使计算机执行以下处理：接受由摄像机拍摄的人的图像信息的处理；基于所述图像信息，进行所述人的识别以及所述人的至少头及手的部位的探测的处理；以及基于识别出的所述人、探测出的所述部位、以及对每个人注册了人的动作的动作模式识别所述人的动作的处理。
进一步，本发明的一方式的记录介质是，记录了在识别人的姿势的识别装置中所执行的识别程序的、以计算机可读取方式的非临时性的记录介质，该识别程序使所述识别装置的计算机执行以下处理：接受由摄像机拍摄的人的图像信息的处理；基于所述图像信息，进行所述人的识别、以及所述人的至少头及手的部位的探测的处理；以及基于识别出的所述人、探测出的所述部位、以及对每个人注册了人的动作的动作模式识别人的动作的处理。
根据本发明，可以识别人的姿势。
附图说明
图1a是表示本发明的实施方式的识别装置的结构的一例的框图。
图1b是表示控制单元的结构的一例的框图。
图2是表示骨架探测处理的一例的说明图。
图3是表示动作模式的一例的说明图。
图4是表示将本发明的实施方式中人的信息及部位信息与动作模式比较的情况的说明图。
图5是说明本发明的实施方式的识别装置的主要的动作的流程图。
图6是表示将变形例2中人的信息及部位信息与动作模式比较的情况的说明图。
图7是表示通过程序实现各单元的功能的计算机的硬件结构的一例的图。
具体实施方式
以下，参照附图详细地说明本发明的各实施方式。但是，在各实施方式中，对具有同一功能的结构，附加同一标号，省略重复的说明。
首先，使用图1a说明本发明的实施方式的识别装置100的结构的一例。图1a是表示本发明的实施方式的识别装置100的结构的一例的框图。
图1a所示的识别装置100、摄像机200、及设备300，例如，被装载在汽车、铁路车辆、船舶、飞机等移动体上。在本实施方式中，将识别装置100、摄像机200、及设备300被装载在汽车上的情况列举为例子进行说明。
摄像机200例如是立体摄像机、TOF(Time Of Flight；飞行时间)方式的摄像机等的测距摄像机，拍摄车厢内的人的存在的范围并获取图像信息，向识别装置100输出该图像信息。图像信息至少包含表示近红外光的反射强度的强度的近红外图像。此外，在摄像机200为立体摄像机或TOF摄像机的情况下，也可以还包含表示距离的远近的距离图像。
设备300是汽车中所用的设备。设备300例如是汽车导航装置、音频装置、空调装置、平板电脑、智能手机、后置摄像机、侧置摄像机、前置摄像机、ETC车载器。或者，设备300例如也可以是手柄、换档杆(变速杆)、转向灯控制杆(转向灯开关)、雨刮杆(雨刮器开关)、车门锁开关、电动车窗升降开关、发动机启动开关、加速踏板、制动踏板、离合器踏板等。
设备300通过有线网络(例如，CAN：Controller Area Network；控制器局域网)、无线网络(例如，无线LAN：Local Area Network；局域网)、或有线网络和无线网络混合的网络与识别装置100连接。然后，设备300受到基于从识别装置100接受的控制信号的控制。
识别装置100包括输入单元101、控制单元102。
输入单元101从摄像机200接受人的图像信息，输出到控制单元102。
控制单元102基于从输入单元101接受的图像信息，进行所述人的识别、以及所述人的至少头及手的部位的探测，基于识别出的所述人、探测出的所述部位、以及对每个人注册了人的动作的动作模式，识别所述人的动作。通过这样的结构，可以识别人的姿势。
接着，使用图1b说明控制单元102的结构的一例。图1b是表示控制单元的结构的一例的框图。
如图1b所示，控制单元102包括探测控制单元110、骨架探测单元120、骨架动作识别单元130、人识别单元140、动作模式单元150、部位探测单元160、部位动作识别单元170、以及设备控制单元180。
探测控制单元110从摄像机200接受图像信息，分析图像信息，对骨架探测单元120、人识别单元140、部位探测单元160输出图像信息。具体而言，探测控制单元110通过图像信息的分析判定可否进行骨架探测，在判定为可进行骨架探测的情况下，对骨架探测单元120以及人识别单元140输出图像信息。另一方面，在判定为不可进行骨架探测的情况下，探测控制单元110进而判定可否利用后述的动作模式，在判定为可利用动作模式的情况下，对人识别单元140以及部位探测单元160输出图像信息。有关可否进行骨架探测的判定，将后述。
骨架探测单元120基于从探测控制单元110接受的图像信息，探测人的骨架位置，将表示探测的结果的骨架信息输出到骨架动作识别单元130。人的骨架位置是表示头、颈、腰、肩、肘、手等的区域的代表点的位置的骨架位置。代表点的位置作为图像上的二维坐标被确定。
图2是表示骨架探测处理的例子。图像1000是拍摄了人的图像的例子，是在驾驶汽车的人握住方向盘的图像的示意图。图像1001是探测图像1000中的人的骨架位置的结果图像的例子，表示探测了头、颈、腰、左肩、左肘、左手、右肩、右肘、右手的代表点即9点的位置的状态。骨架信息是探测出的代表点的位置坐标，是作为图像上的代表点9点的位置坐标(X1，Y1)、(X2，Y2)…(X9，Y9)得到的信息。骨架探测例如用专利文献1所示的现有的方法可实现。
此外，在图像1001中，可以探测头、颈、腰、左肩、左肘、左手、右肩、右肘、右手的代表点即9点的位置，所以探测控制单元110判定为可进行骨架探测。另一方面，图像1002表示探测在拍摄的人穿着皮夹克等对近红外光的反射率低的衣服的情况下得到的人的骨架位置的结果图像的例子。在图像1002中，可知仅可以探测头、左手、右手的代表点即3点的位置。这种情况下，探测控制单元110判定为不可进行骨架探测。
骨架动作识别单元130基于从骨架探测单元120接受的骨架信息，识别乘客的动作。乘客的动作是，例如对空调装置、方向盘、音频装置等设备进行操作的动作、驾驶中的找东西、回头等的举止等。
基于骨架信息的动作的识别可以通过使用现有的方法进行，例如使用根据比较对象参数的树形结构，从多次大小比较中确定既定的图案之中的一个的所谓随机森林等方法。
骨架动作识别单元130将表示上述的乘客的动作的识别结果的动作信息及骨架信息输出到动作模式单元150。此外，骨架动作识别单元130将动作信息输出到设备控制单元180。
人识别单元140基于从探测控制单元110接受的图像信息，识别人是谁，将表示识别的结果的人的信息输出到动作模式单元150、以及部位动作识别单元170。
在实现人的识别上，例如可利用现有的面部认证的技术。例如通过预先注册驾驶汽车的多人的面部图像，在那些人实际地驾驶汽车时获取面部图像，将获取的面部图像和注册完毕的面部图像通过现有技术进行核对，可以识别是哪位注册者。作为面部识别的现有技术，有以所谓的LBP(Local Binary Pattern；局部二值模式)或HOG(Histogram ofOriented Gradient；梯度直方图)方法获取面部的特征量，核对该特征量的方法。
动作模式单元150根据来自骨架动作识别单元130的动作信息、骨架信息、以及来自人识别单元140的人的信息，创建、存储动作模式，并且将存储的动作模式输出到部位动作识别单元170。
动作模式设为将人的信息(与注册的人对应的注册号)、骨架信息(骨架的特征点的位置坐标)、以及动作信息(与动作的种类对应的动作号)相关联地存储的数据库的方式。这里，作为骨架信息，不是注册从骨架探测单元120输出的全部的特征点信息的信息，而是仅注册在后述的部位探测单元160中的部位探测处理中作为探测对象的头、左手、以及右手的特征点的信息。图3中作为例子，表示人的信息、头、左手及右手的骨架信息、以及动作信息的关联数据库1003。
在本实施方式中，动作模式的数据库在将可进行骨架探测单元120的骨架探测的状态下探测到的骨架信息、人的信息以及动作信息能够积累一定数以上后可利用。例如，为了可利用动作模式的数据库，需要将人的信息、骨架信息、以及动作信息的组合积累10000组以上。
动作模式单元150将可否利用动作模式的状态信息输出到探测控制单元110。在探测控制单元110中根据可否利用动作模式而使处理分支。
部位探测单元160基于从探测控制单元110接受的图像信息，探测头位置、左手位置及右手位置作为人的部位信息，将探测结果的部位信息输出到部位动作识别单元170。
在上述的骨架探测单元120中，也检测包含头位置、左手位置、右手位置的多个特征点的位置坐标，但这里用人的身体部分的图像信息不能正常地得到的情况下的探测方法。
例如作为通过现有的方法的组合来实现部位信息的探测的方法，可用在图像信息中包含的距离信息探测在等距离中存在的距离信息的块，在多个帧间跟踪该块的位置的方法。
部位动作识别单元170基于来自人识别单元140的人的信息、来自动作模式单元150的动作模式、以及来自部位探测单元160的部位信息，识别乘客的动作。
使用图4说明在部位动作识别单元170中识别乘客的动作的部位动作识别处理的方法。
在部位动作识别处理中，部位动作识别单元170将部位动作识别单元170的输入信息2001中的人的信息及部位信息与已经作为动作模式注册的注册信息2002中的人的信息及骨架信息进行核对，从注册信息2002之中，检索人的信息与输入信息中的人的信息一致、并且骨架信息最接近输入信息中的部位信息的数据。
作为检索具有最接近输入信息的部位信息中的骨架信息的注册信息的方法，例如，可以采用下面所示的方法。首先，分别计算输入信息和注册信息之间的、对应的部位之间(例如，头位置之间、左手位置之间、右手位置之间)的距离。然后，将算出的各部位之间的距离的合计为最小的注册信息判断为是具有最接近输入信息的部位信息的骨架信息的注册信息。
在进行输入信息和注册信息的核对时，若考虑动作的识别精度，则检索人的信息与输入信息中的人的信息一致、并且骨架信息与输入信息中的部位信息一致的数据是理想的。可是，进行规定的动作的情况下的人的运动未必始终相同，所以考虑在注册信息中的骨架信息中，与输入信息中的部位信息不一致的情况。
考虑这样的情况，在本实施方式中，在进行输入信息和注册信息的核对时，检索人的信息与输入信息中的人的信息一致、并且骨架信息最接近输入信息中的部位信息的数据。
在图4的例子的情况下，输入信息2001的数据最接近注册信息2002的数据之中的数据2003的数据，所以部位动作识别单元170识别为动作信息是“6”，将部位动作信息输出到设备控制单元180。
设备控制单元180基于来自骨架动作识别单元130的动作信息或来自部位动作识别单元170的动作信息，生成用于控制设备300(图1a)的控制信息，将生成的控制信息输出到设备300。
设备300受到基于从设备控制单元180接受的控制信息的控制。
再者，在图1b的例子中，设为控制单元102包括骨架探测单元120及骨架动作识别单元130的结构，但也可以设为控制单元102不包括骨架探测单元120及骨架动作识别单元130的结构。有关细节将后述。
此外，在图1b的例子中，设为了控制单元102包括设备控制单元180的结构，但设备控制单元180也可以与控制单元102分开设置。
即，控制单元102是至少包括探测控制单元110、人识别单元140、动作模式单元150、部位探测单元160及部位动作识别单元170的结构即可。
接着，使用图5说明本实施方式的控制单元102的动作的一例。图5是表示本实施方式的控制单元102的动作的流程的一例的流程图。
首先，在步骤S101中，探测控制单元110从摄像机200通过输入单元101接受图像信息。如上所述，图像信息是拍摄了乘客的图像。
接着，在步骤S102中，探测控制单元110根据图像信息，判定是否为可进行骨架探测的图像。具体而言，在从图像信息中可以探测要探测的全部的代表点位置的情况下，探测控制单元110判定是可进行骨架探测的图像，在从图像信息中仅可以探测要探测的代表点位置之中一部分的代表点位置的情况下，判定为不是可进行骨架探测的图像。
在步骤S102中判定是可进行骨架探测的图像的情况下(步骤S102：“是”)，进至步骤S103，在步骤S103中，骨架探测单元120进行骨架探测处理。
接着，在步骤S104中，人识别单元140进行人识别处理，在接续步骤S104的步骤S105中，骨架动作识别单元130进行动作识别处理，在接续步骤S105的步骤S106中，设备控制单元180进行设备控制信息生成处理。
在接续步骤S106的步骤S107中，基于步骤S103的骨架探测处理中识别出的骨架信息、步骤S104的人识别处理中识别出的人的信息、以及步骤S105的动作识别处理中识别出的动作信息，动作模式单元150进行动作模式的更新。具体而言，动作模式单元150进行将得到的骨架信息、人的信息以及动作信息附加在动作模式的数据库中的作业。再者，进行步骤S106和步骤S107的次序可以相反，此外，也可以同时地进行步骤S106和步骤S107。
在步骤S102中没有判定为是可进行骨架探测的图像的情况下(步骤S102：“否”)，进至步骤S108，在步骤S108中，探测控制单元110判定动作模式是否可利用。
在步骤S108中判定为动作模式可利用的情况下(步骤S108：“是”)，进至步骤S109，在步骤S109中，部位探测单元160进行部位探测处理。
在接续步骤S109的步骤S110中，人识别单元140进行人识别处理。
在接续步骤S110的步骤S111中，部位动作识别单元170基于步骤S109的部位探测处理中识别出的部位信息、步骤S110的人识别处理中识别出的人的信息、以及预先存储的动作模式，进行部位动作识别处理。
在接续步骤S111的步骤S112中，设备控制单元180进行设备控制信息生成处理。
在步骤S108中没有判定为动作模式可利用的情况下(步骤S108：“否”)，判定为动作识别处理不可能，在步骤S113中，控制单元102禁止动作识别处理的执行，对错误信息进行提示等并结束处理。
如以上说明的，在本实施方式的识别装置100中，基于从输入单元101接受的图像信息，进行所述人的识别、以及所述人的至少头及手的部位的探测，基于识别出的所述人、探测出的所述部位、以及对每个人注册了人的动作的动作模式识别所述人的动作。
因此，在人穿着皮革夹克等对近红外光的反射率低的衣服，身体及臂部分的距离未正常地输出，无法探测肩部及肘部的关节的情况下，仅靠部位信息有可能弄错动作识别，但本实施方式的识别装置100即使在该情况下，也可以正确地识别人的动作。
此外，例如，即使人的头、左手、右手的位置相同，也有因人的举止的习惯或体格的不同而在动作的种类上产生不同的情况。在这样的情况下，本实施方式的识别装置100基于人的信息、部位信息及基本动作模式识别人的动作，所以可以吸收人的不同造成的动作的不同，正确地识别动作。
以上，说明了本发明的实施方式，但本发明不限定于实施方式的说明。以下，说明各变形例。
＜变形例1＞
在上述的实施方式中，列举说明了在汽车中包括了识别装置100、摄像机200、以及设备300的例子，但不限定于此。可以在汽车以外的移动体(例如，铁路车辆、船舶、航空器等)中包括识别装置100、摄像机200、以及设备300，也可以在移动体以外的场所包括它们。
＜变形例2＞
在上述的实施方式中，设为了在部位动作识别处理中，人的信息与输入信息中的人的信息相同、并且骨架信息最接近输入信息中的部位信息的注册信息中的动作信息识别为输入信息的动作信息，但不限定于此。
例如，在输入信息和注册信息之间人的信息一致，但输入信息中的部位信息和注册信息中的骨架信息不一致的情况下，以接近输入信息中的部位信息的顺序对注册信息检索规定数，在这些规定数的注册信息中的动作信息是全部相同的情况下，也可以将该动作信息用作输入信息中的动作信息。对于所检索的注册信息的数，被预先确定。
以下，使用图6说明变形例2的具体的方式。再者，在图6中，为了便于说明，仅表示在注册信息之中、人的信息为“2”的情况。此外，在以下的说明中，表示将检索的注册信息的数设为3个的例子。
在图6中，注册信息3002之中、作为与输入信息3001中部位信息接近的注册信息，检索最接近的数据即数据3005、第2接近的数据即3007、以及第3接近的数据即数据3003。然后，这种情况下，由于检索出的3个数据中的动作信息全部为“1”，所以判定为输入信息中的动作信息为“1”。
这样的话，相比简单地使用最接近输入信息中的部位信息的注册信息中的骨架信息，动作识别精度提高。特别地，在注册信息少的状态中，若使用最接近输入信息中的部位信息的注册信息中的骨架信息，则担忧动作识别精度下降，所以使用了上述方法的动作信息的估计是有效的。
＜变形例3＞
在上述的实施方式中，设为了在将人的信息、骨架信息、以及动作信息的组合积累例如10000组以上积累之前不能利用动作模式的数据库的方式，但动作模式的利用限制不限定于此。
即使在人的信息、骨架信息、以及动作信息的组合的积累量未满足10000组的情况下，也可在积累了仅可用担保某一程度可靠性的信息的阶段可利用动作模式的数据库。此外，即使在人的信息、骨架信息、以及动作信息的组合的积累量少的状态中，也可仅对特定的动作可利用动作模式的数据库。
特别地，通过将变形例3所示的方法和变形例2所示的方法组合，即使在人的信息、骨架信息、以及动作信息的组合的积累量少的状态下，也可以确保动作识别精度并且利用动作模式的数据库。
＜变形例4＞
在上述的实施方式中，设为基于可进行骨架探测的图像创建动作模式，并存储的方式，但存储动作模式的方式不限定于此。也可将作为基本的动作模式(以下，称为“基本动作模式”)在将识别装置100出厂的时候预先存储在识别装置100内。
基本动作模式是对每个规定的年龄、性别、体格，注册了标准的骨架信息和动作信息的模式。该基本动作模式通过各种各样的实验和/或计算得到的数据被预先生成。
在利用基本动作模式的情况下，基于图像信息识别乘客的年龄、性别、体格等，从存储的多个基本动作模式之中，选择合适的基本动作模式。
再者，在识别装置100内，也可以存储用于识别精度提高的、年龄、性别、体格不同的多个基本动作模式。
＜变形例5＞
变形例5是在变形例4中，分别准备基本动作模式的数据库和基于可进行骨架探测的图像生成的动作模式的数据库，切换使用基本动作模式和基于可进行骨架探测的图像生成的动作模式的例子。
具体而言，部位动作识别单元170在基于可进行骨架探测的图像生成的动作模式的积累量低于规定量的状态中，使用基本动作模式，在基于可进行骨架探测的图像生成的动作模式的积累量达到所述规定量以上的情况下，将使用的动作模式从基本动作模式切换为基于可进行骨架探测的图像生成的动作模式。
这样的话，即使在基于可进行骨架探测的图像生成的动作模式的积累量少的状态下，也可以确保动作识别精度，并且利用动作模式的数据库。
＜变形例6＞
变形例6是在变形例4中，将基本动作模式和基于可进行骨架探测的图像生成的动作模式组合使用的例子。
具体而言，部位动作识别单元170在基于可进行骨架探测的图像生成的动作模式的积累量低于规定量的状态下，使用基本动作模式，并且基于可进行骨架探测的图像生成了动作模式的情况下，使用生成的动作模式，更新基本动作模式的数据库。具体而言，进行将得到的骨架信息、人的信息以及动作信息附加到基本动作模式的数据库中的作业。
这样的话，即使在基于可进行骨架探测的图像创建的动作模式的积累量较少的状态下，也可移确保动作识别精度并且利用动作模式的数据库。进而，通过在基本动作模式中取入基于可进行骨架探测的图像创建的可靠性高的动作模式的数据，可以进一步提高移动作模式的可靠性。
＜变形例7＞
在上述的实施方式中，设为基于可进行骨架探测的图像生成动作模式的方式，但对于动作模式的生成，不限定于此。例如，在使用动作模式，由部位动作识别单元170识别出动作信息时，也可以将该人的信息、部位信息以及动作信息反馈给动作模式单元150。
具体而言，在图5的流程图中，在步骤S111之后，将部位动作识别单元170部位动作识别处理中使用的人的信息及部位信息、部位动作识别处理中识别出的动作信息输出到动作模式单元150，在动作模式单元150中，进行动作模式的更新。
这样一来，除了基于可进行骨架探测的图像的动作模式的生成之外，还可以从基于人的信息、部位信息、以及动作模式识别的动作信息生成动作模式，所以动作模式的积累量飞跃式地增加。再者，通过在从部位动作识别单元输出的数据之中，仅反馈在输入信息中的部位信息和注册信息中的骨架信息之中多个一致的数据等、动作的识别的可靠性高的数据，可以防止动作模式的可靠性的下降。
＜变形例8＞
在上述的实施方式中，假定乘客即驾驶员穿着对近红外光的反射率低的长袖的衣服，将部位探测单元160中探测的部位设为露出的头、左手、右手的3个位置，但对于部位探测单元160中探测的部位，不限定于此。可以将探测的部位设为少于3个位置，也可以设为多于3个位置。此外，也可以取代手(从手腕至指尖)，探测肘部或肩部等的、上肢中的规定的位置。此外，除了手(从手腕至指尖)之外，也可以探测肘部或肩部等的、上肢中的规定的位置。
例如，考虑驾驶员穿着对近红外光的反射率低的半袖的衣服及手套的情况，在上述实施方式中，可以探测头而无法探测手，无法进行部位动作识别处理。可是，如果取代手，探测肘部，则可以进行部位动作识别处理。
此外，在驾驶座位位于车辆行进方向右侧的情况下，驾驶员用左手操作设备300的情况居多。因此，如果将探测的部位设为头、左上肢的1位置以上，则即使探测部位较少，由于探测部位的运动较多，所以也可以正确地识别驾驶员的动作。
＜变形例9＞
在上述的实施方式中，作为动作模式中所存储的骨架信息，设为了仅将部位探测单元160中的部位探测处理中作为探测对象的部位的骨架信息注册的方式，但对于动作模式中所存储的骨架信息的种类，不限定于此。
例如，也可以在动作模式中存储全骨架信息。该情况下，在部位动作识别单元170中，将从图像信息中可以探测的部位的部位信息和动作模式中的骨架信息之中、与从图像信息中可以探测的部位对应的部位的骨架信息进行核对。
这样的话，即使改变了可探测的部位的组合的情况下，也可以进行部位动作识别处理。
以上，说明了本发明的实施方式和变形例。
图7是表示通过程序实现上述实施方式和变形例中的各单元的功能的计算机的硬件结构的图。
如图7所示，计算机2100包括：输入按钮、触摸板等输入装置2101，显示器、扬声器等输出装置2102；CPU(Central Processing Unit；中央处理器)2103；ROM(Read OnlyMemory；只读存储器)2104；RAM(Random Access Memory；随机存取存储器)2105。此外，计算机2100包括：从硬盘装置、SSD(Solid State Drive；固态驱动器)等存储装置2106、DVD－ROM(Digital Versatile Disk Read Only Memory)、USB(Universal Serial Bus)存储器等记录介质读取信息的读取装置2107；通过网络进行通信的收发装置2108。上述各单元通过总线2109连接。
然后，读取装置2107从记录了用于实现上述各单元的功能的程序的记录介质中读取该程序，将其存储在存储装置2106中。或者，收发装置2108与网络上连接的服务器装置进行通信，将从服务器装置下载的用于实现上述各单元的功能的程序存储在存储装置2106中。
然后，CPU2103将存储装置2106中存储的程序复制到RAM2105中，从RAM2105顺序读出并执行在该程序中包含的指令，实现上述各单元的功能。此外，在执行程序时，在RAM2105或存储装置2106中，存储、适当利用通过各实施方式中叙述的各种处理得到的信息。
工业实用性
本发明的识别装置、识别方法、识别程序和记录介质对识别操作规定的设备的人是有用的。
标号说明
100 识别装置
101 输入单元
102 控制单元
110 探测控制单元
120 骨架探测单元
130 骨架动作识别单元
140 人识别单元
150 动作模式单元
160 部位探测单元
170 部位动作识别单元
180 设备控制单元
200 摄像机
300 设备
1000、1001、1002 图像
1003 数据库
2001 输入信息
2002 注册信息
2003 数据
2100 计算机
2101 输入装置
2102 输出装置
2103 CPU
2104 ROM
2105 RAM
2106 存储装置
2107 读取装置
2108 收发装置
2109 总线
3001 输入信息
3002 注册信息
3003、3004、3005、3006、3007 数据

Claims (6)

1.识别装置，包括：
输入单元，接收由摄像机拍摄的人的图像信息；以及
控制单元，基于所述图像信息，判定是否为可进行骨架探测的图像，在没有判定为是可进行骨架探测的图像的情况下，进行所述人的识别、以及所述人的至少头及手的部位的探测，基于识别出的所述人、以及探测出的所述部位，和预先存储的动作模式，识别所述人的动作，
所述动作模式包括：基于可进行骨架探测的图像创建的动作模式，该动作模式是对每个人注册了人的动作的、包括人的信息、骨架信息以及动作信息的组合的模式；以及基本动作模式，对每个规定的年龄、性别、体格而注册了标准的骨架信息和动作信息，
在所述基于可进行骨架探测的图像创建的动作模式的积累量小于规定量的状态下，使用所述基本动作模式进行动作识别处理，在所述基于可进行骨架探测的图像创建的动作模式的积累量变为所述规定量以上的情况下，将所述动作模式从所述基本动作模式切换为所述基于可进行骨架探测的图像创建的动作模式。
2.如权利要求1所述的识别装置，
所述控制单元
基于所述图像信息探测所述人的骨架位置，基于探测的所述骨架位置识别所述人的动作，输出所述人的动作的识别结果，基于识别出的所述人、探测出的所述骨架位置、以及识别出的所述人的动作创建动作模式，存储创建出的所述动作模式。
3.如权利要求1或2所述的识别装置，
所述控制单元
基于所述图像信息判定可否探测所述骨架位置，
在判定为可探测所述骨架位置的情况下，基于探测出的所述骨架位置识别所述人的动作，并输出所述人的动作的识别结果，
在判定为不可探测所述骨架位置的情况下，基于识别出的所述人、探测出的所述部位、以及所述动作模式识别所述人的动作，并输出所述人的动作的识别结果。
4.如权利要求3所述的识别装置，
所述控制单元
在判定为不可探测所述骨架位置的情况下，进一步判定可否利用所述动作模式，
在判定为可利用所述动作模式的情况下，基于识别出的所述人、探测出的所述部位、以及所述动作模式识别所述人的动作，并输出所述人的动作的识别结果。
5.识别方法，包括以下步骤：
接收由摄像机拍摄的人的图像信息的步骤；
基于所述图像信息，判定是否为可进行骨架探测的图像，在没有判定为是可进行骨架探测的图像的情况下，进行所述人的识别、以及所述人的至少头及手的部位的探测的步骤；以及
基于识别出的所述人、以及探测出的所述部位，和预先存储的动作模式，识别人的动作的步骤，
所述动作模式包括：基于可进行骨架探测的图像创建的动作模式，该动作模式是对每个人注册了人的动作的、包括人的信息、骨架信息以及动作信息的组合的模式；以及基本动作模式，对每个规定的年龄、性别、体格而注册了标准的骨架信息和动作信息，
在所述基于可进行骨架探测的图像创建的动作模式的积累量小于规定量的状态下，使用所述基本动作模式进行动作识别处理，在所述基于可进行骨架探测的图像创建的动作模式的积累量变为所述规定量以上的情况下，将所述动作模式从所述基本动作模式切换为所述基于可进行骨架探测的图像创建的动作模式。
6.记录介质，是记录了在识别人的姿势的识别装置中所执行的识别程序的、以计算机可读取方式的非临时性的记录介质，该识别程序使所述识别装置的计算机执行以下处理：
接收由摄像机拍摄的人的图像信息的处理；
基于所述图像信息，判定是否为可进行骨架探测的图像，在没有判定为是可进行骨架探测的图像的情况下，进行所述人的识别、以及所述人的至少头及手的部位的探测的处理；以及
基于识别出的所述人、以及探测出的所述部位，和预先存储的动作模式，识别人的动作的处理，
其中，所述动作模式包括：基于可进行骨架探测的图像创建的动作模式，该动作模式是对每个人注册了人的动作的、包括人的信息、骨架信息以及动作信息的组合的模式；以及基本动作模式，对每个规定的年龄、性别、体格而注册了标准的骨架信息和动作信息，
在所述基于可进行骨架探测的图像创建的动作模式的积累量小于规定量的状态下，使用所述基本动作模式进行动作识别处理，在所述基于可进行骨架探测的图像创建的动作模式的积累量变为所述规定量以上的情况下，将所述动作模式从所述基本动作模式切换为所述基于可进行骨架探测的图像创建的动作模式。
CN201710247328.7A 2016-04-28 2017-04-14 识别装置、识别方法、和记录介质 Active CN107392083B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-091760 2016-04-28
JP2016091760A JP6688990B2 (ja) 2016-04-28 2016-04-28 識別装置、識別方法、識別プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
CN107392083A CN107392083A (zh) 2017-11-24
CN107392083B true CN107392083B (zh) 2022-05-10

Family

ID=58714902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710247328.7A Active CN107392083B (zh) 2016-04-28 2017-04-14 识别装置、识别方法、和记录介质

Country Status (4)

Country Link
US (1) US10255485B2 (zh)
EP (2) EP3731141A1 (zh)
JP (1) JP6688990B2 (zh)
CN (1) CN107392083B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6922768B2 (ja) * 2018-02-02 2021-08-18 オムロン株式会社 情報処理装置
WO2020105751A1 (ko) * 2018-11-21 2020-05-28 엘지전자 주식회사 탑승자 모니터링 방법 및 이를 위한 장치
US11004266B2 (en) * 2018-12-21 2021-05-11 Alchera Inc. Articulated model registration apparatus and method
JP6777819B1 (ja) * 2019-01-07 2020-10-28 三菱電機株式会社 動作特定装置、動作特定方法及び動作特定プログラム
JP7263094B2 (ja) * 2019-04-22 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6562437B1 (ja) * 2019-04-26 2019-08-21 アースアイズ株式会社 監視装置、及び、監視方法
US10997721B2 (en) * 2019-05-06 2021-05-04 Beth Allison Lopez Microbe scanning device and methods thereof
CN110414338B (zh) * 2019-06-21 2022-03-15 广西师范大学 基于稀疏注意力网络的行人再辨识方法
US11130446B2 (en) * 2019-10-15 2021-09-28 Robert Bosch Gmbh System to detect objects ejected from a vehicle
JP7364077B2 (ja) 2020-06-17 2023-10-18 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
CN114584836B (zh) * 2020-11-30 2024-05-03 京东方科技集团股份有限公司 电子产品使用行为检测方法、装置、系统及介质
JP7473016B2 (ja) * 2020-12-25 2024-04-23 日本電気株式会社 システム、情報処理装置、方法、及びプログラム
KR20230042192A (ko) * 2021-09-16 2023-03-28 센스타임 인터내셔널 피티이. 리미티드. 얼굴과 손의 관련도 검출 방법, 장치, 기기 및 저장 매체

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200945174A (en) * 2008-04-14 2009-11-01 Pointgrab Ltd Vision based pointing device emulation
CN102402382A (zh) * 2010-09-07 2012-04-04 索尼公司 信息处理设备和信息处理方法
CN102622591A (zh) * 2012-01-12 2012-08-01 北京理工大学 3d人体姿态捕捉模仿系统
CN103038727A (zh) * 2010-06-29 2013-04-10 微软公司 骨架关节识别和跟踪系统
CN103309446A (zh) * 2013-05-30 2013-09-18 上海交通大学 以人类双手为载体的虚拟数据获取与传递系统
CN105307017A (zh) * 2015-11-03 2016-02-03 Tcl集团股份有限公司 智能电视用户的姿势矫正方法及装置
CN105447466A (zh) * 2015-12-01 2016-03-30 深圳市图灵机器人有限公司 一种基于Kinect传感器的身份综合识别方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US20020075334A1 (en) * 2000-10-06 2002-06-20 Yfantis Evangelos A. Hand gestures and hand motion for replacing computer mouse events
US6879709B2 (en) * 2002-01-17 2005-04-12 International Business Machines Corporation System and method for automatically detecting neutral expressionless faces in digital images
JP4007899B2 (ja) * 2002-11-07 2007-11-14 オリンパス株式会社 運動検出装置
GB0308943D0 (en) * 2003-04-17 2003-05-28 Univ Dundee A system for determining the body pose of a person from images
JP4481663B2 (ja) * 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
US7925049B2 (en) * 2006-08-15 2011-04-12 Sri International Stereo-based visual odometry method and system
US9098766B2 (en) * 2007-12-21 2015-08-04 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US8295546B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US9904845B2 (en) * 2009-02-25 2018-02-27 Honda Motor Co., Ltd. Body feature detection and human pose estimation using inner distance shape contexts
JP5136473B2 (ja) 2009-03-12 2013-02-06 株式会社デンソー 乗員姿勢推定装置
US9245177B2 (en) 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
US8929612B2 (en) * 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US9520072B2 (en) * 2011-09-21 2016-12-13 University Of South Florida Systems and methods for projecting images onto an object
US9652043B2 (en) * 2012-05-14 2017-05-16 Hewlett-Packard Development Company, L.P. Recognizing commands with a depth sensor
US9747306B2 (en) * 2012-05-25 2017-08-29 Atheer, Inc. Method and apparatus for identifying input features for later recognition
US9111135B2 (en) * 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
CN103926999B (zh) * 2013-01-16 2017-03-01 株式会社理光 手掌开合手势识别方法和装置、人机交互方法和设备
US9092665B2 (en) * 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
TWI547355B (zh) * 2013-11-11 2016-09-01 財團法人工業技術研究院 人機共生安全監控系統及其方法
US20150177842A1 (en) * 2013-12-23 2015-06-25 Yuliya Rudenko 3D Gesture Based User Authorization and Device Control Methods
CN104156947B (zh) * 2014-07-23 2018-03-16 小米科技有限责任公司 图像分割方法、装置及设备
US20160086350A1 (en) * 2014-09-22 2016-03-24 Foundation for Research and Technology - Hellas (FORTH) (acting through its Institute of Computer Apparatuses, methods and systems for recovering a 3-dimensional skeletal model of the human body
US9898256B2 (en) * 2015-12-31 2018-02-20 Microsoft Technology Licensing, Llc Translation of gesture to gesture code description using depth camera
US20170193289A1 (en) * 2015-12-31 2017-07-06 Microsoft Technology Licensing, Llc Transform lightweight skeleton and using inverse kinematics to produce articulate skeleton
EP3206163B1 (en) * 2016-02-11 2018-12-26 AR4 GmbH Image processing method, mobile device and method for generating a video image database
EP3246660B1 (en) * 2016-05-19 2019-10-30 Hexagon Technology Center GmbH System and method for referencing a displaying device relative to a surveying instrument
KR101807241B1 (ko) * 2016-09-12 2017-12-08 주식회사 딥픽셀 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체
US10107627B2 (en) * 2017-03-08 2018-10-23 Northrop Grumman Systems Corporation Adaptive navigation for airborne, ground and dismount applications (ANAGDA)
EP3613194A4 (en) * 2017-05-16 2021-04-28 Jeffry David Aronson SCALABLE, CONFIGURABLE UNIVERSAL FULL-SPECTRUM CYBER PROCESS THAT USES MEASUREMENT POINTS FROM DISPLAYS DERIVED FROM SENSOR OBSERVATION

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200945174A (en) * 2008-04-14 2009-11-01 Pointgrab Ltd Vision based pointing device emulation
CN103038727A (zh) * 2010-06-29 2013-04-10 微软公司 骨架关节识别和跟踪系统
CN102402382A (zh) * 2010-09-07 2012-04-04 索尼公司 信息处理设备和信息处理方法
CN102622591A (zh) * 2012-01-12 2012-08-01 北京理工大学 3d人体姿态捕捉模仿系统
CN103309446A (zh) * 2013-05-30 2013-09-18 上海交通大学 以人类双手为载体的虚拟数据获取与传递系统
CN105307017A (zh) * 2015-11-03 2016-02-03 Tcl集团股份有限公司 智能电视用户的姿势矫正方法及装置
CN105447466A (zh) * 2015-12-01 2016-03-30 深圳市图灵机器人有限公司 一种基于Kinect传感器的身份综合识别方法

Also Published As

Publication number Publication date
EP3239900A1 (en) 2017-11-01
JP2017199303A (ja) 2017-11-02
US20170316255A1 (en) 2017-11-02
CN107392083A (zh) 2017-11-24
JP6688990B2 (ja) 2020-04-28
EP3731141A1 (en) 2020-10-28
US10255485B2 (en) 2019-04-09
EP3239900B1 (en) 2020-08-26

Similar Documents

Publication Publication Date Title
CN107392083B (zh) 识别装置、识别方法、和记录介质
US9330308B2 (en) Apparatus method and computer-readable medium that detects different regions of user's hand for recognizing gesture for carrying out operation of vehicle
US10384647B2 (en) Electronic key system
EP2743799B1 (en) Control apparatus, vehicle, and portable terminal using hand information for command generation
CN112590794A (zh) 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置
CN111104820A (zh) 一种基于深度学习的手势识别方法
JP7091983B2 (ja) 機器制御装置
JP2019209901A (ja) 車両の追従制御装置
JP2012118683A (ja) 歩行者認識装置
JP2010079639A (ja) 車両の歩行者検出装置
JP4613999B2 (ja) 行動推定装置、プログラム
CN107291219B (zh) 用户界面、运输工具和用于识别用户的手的方法
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
JP6909986B2 (ja) 識別装置
JP2019179289A (ja) 処理装置、及びプログラム
CN106934361B (zh) 一种辨识方法以及电子设备
US20200258379A1 (en) Determination of movement information with surroundings sensors
JP2019179288A (ja) 処理装置、及びプログラム
US11262849B2 (en) User interface, a means of transportation and a method for classifying a user gesture performed freely in space
JP2018195052A (ja) 画像処理装置、画像処理プログラム及びジェスチャ認識システム
JP2020013348A (ja) ジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラム
JP2018195053A (ja) 画像処理装置、画像処理プログラム及びジェスチャ認識システム
JP2017117116A (ja) 車両状態変更システム
JP2019179290A (ja) 処理装置、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant