CN114450723A - 图像处理装置以及非暂时性计算机可读介质 - Google Patents

图像处理装置以及非暂时性计算机可读介质 Download PDF

Info

Publication number
CN114450723A
CN114450723A CN202080066596.9A CN202080066596A CN114450723A CN 114450723 A CN114450723 A CN 114450723A CN 202080066596 A CN202080066596 A CN 202080066596A CN 114450723 A CN114450723 A CN 114450723A
Authority
CN
China
Prior art keywords
feature point
body part
person
face
hidden
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080066596.9A
Other languages
English (en)
Inventor
原田久光
塚原靖典
梶田基贵
关原忠
北原绘里奈
深谷安利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Rika Co Ltd
Original Assignee
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Rika Co Ltd filed Critical Tokai Rika Co Ltd
Publication of CN114450723A publication Critical patent/CN114450723A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理装置以及非暂时性计算机可读介质。图像处理装置具备接收部和处理部。接收部接收与拍进了被摄体(30)的图像(I)对应的图像数据。处理部基于图像数据,检测人物的左肩特征点(LU1)和右肩特征点(RU1)。处理部基于左肩特征点(LU1)与右肩特征点(RU1)之间的距离,推定由于被该人物的身体的一部分遮挡而没有拍进图像(I)的隐藏身体部位。

Description

图像处理装置以及非暂时性计算机可读介质
技术领域
本公开涉及图像处理装置以及存储有能够由该图像处理装置的处理部执行的计算机程序的非暂时性计算机可读介质。
背景技术
例如,如在日本专利申请公开2017-091377号公报中公开的那样,公知有如下技术:通过将模仿人体的骨骼模型应用于在由拍摄装置取得的图像中拍进的被摄体,来进行该被摄体的骨骼、姿势等的判别。
发明内容
要求提高在由拍摄装置取得的图像中拍进的被摄体的判别精度。
用于满足上述要求的一个方式是一种图像处理装置,具备:接收部,接收与拍进了人物的图像对应的图像数据;和处理部,基于上述图像数据,推定由于被上述人物的身体的一部分遮挡而没有拍进上述图像的隐藏身体部位,上述处理部基于上述图像数据,检测与上述人物的左肢所包含的特征部分对应的至少一个第一特征点、和与该人物的右肢所包含的特征部分对应的至少一个第二特征点,基于上述第一特征点和上述第二特征点之间的距离,推定上述隐藏身体部位。
用于满足上述要求的一个方式是存储有能够由图像处理装置的处理部执行的计算机程序的非暂时性计算机可读介质,通过执行上述计算机程序,使上述图像处理装置进行如下动作:接收与拍进了人物的图像对应的图像数据,基于上述图像数据,检测与上述人物的左肢所包含的特征部分对应的至少一个第一特征点、和与该人物的右肢所包含的特征部分对应的至少一个第二特征点,基于上述第一特征点和上述第二特征点之间的距离,推定由于被上述人物的身体的一部分遮挡而没有拍进上述图像的隐藏身体部位。
作为在由拍摄装置取得的图像中拍进的被摄体的人物不限于始终相对于拍摄装置朝向正面。根据该人物的姿势,可能会产生被该人物的身体的一部分遮挡而没有拍进图像的隐藏身体部位。根据上述那样的处理,能够推定这样的隐藏身体部位,因此能够提高在由拍摄装置取得的图像中拍进的被摄体的判别精度。
上述图像处理装置可以如以下那样构成。上述处理部基于上述图像数据,推定上述人物的面部的朝向,基于上述距离和上述面部的朝向,推定上述隐藏身体部位。
上述计算机可读介质可以如以下那样构成。通过执行上述计算机程序,使上述图像处理装置进行如下动作:基于上述图像数据,推定上述人物的面部的朝向,基于上述距离和上述面部的朝向,推定上述隐藏身体部位。
上述图像处理装置可以如以下那样构成。上述处理部基于上述图像数据,推定上述人物的面部的朝向,生成包含上述至少一个第一特征点的第一区域,生成包含上述至少一个第二特征点的第二区域,基于上述第一区域与上述第二区域的重复度、和上述面部的朝向,推定上述隐藏身体部位。
上述计算机可读介质可以如以下那样构成。通过执行上述计算机程序,使上述图像处理装置进行如下动作:基于上述图像数据,推定上述人物的面部的朝向,生成包含上述至少一个第一特征点的第一区域,生成包含上述至少一个第二特征点的第二区域,基于上述第一区域与上述第二区域的重复度、和上述面部的朝向,推定上述隐藏身体部位。
人物的面部的朝向与该人物的躯干的正面朝向的方向的关联性较高。因此,根据上述那样的处理,能够提高根据作为被摄体的人物的姿势可能产生的隐藏身体部位的推定精度。
上述图像处理装置可以如以下那样构成。上述处理部在基于上述面部的朝向而获得的上述隐藏身体部位的推定结果与不基于上述面部的朝向而获得的上述隐藏身体部位的推定结果不同的情况下,采用基于上述面部的朝向而获得的上述隐藏身体部位的推定结果。
上述计算机可读介质可以如以下那样构成。在基于上述面部的朝向而获得的上述隐藏身体部位的推定结果与不基于上述面部的朝向而获得的上述隐藏身体部位的推定结果不同的情况下,采用基于上述面部的朝向而获得的上述隐藏身体部位的推定结果。
根据上述那样的处理,基于与人物的躯干的朝向的关联性较高的面部的朝向的推定结果优先,因此能够提高隐藏身体部位的推定精度。
上述图像处理装置可以如以下那样构成。上述处理部基于上述图像数据来推定上述人物的身体的扭转方向,基于该身体的扭转方向来推定上述隐藏身体部位。
上述计算机可读介质可以如以下那样构成。通过执行上述计算机程序,使上述图像处理装置进行如下动作:基于上述图像数据来推定上述人物的身体的扭转方向,基于上述身体的扭转方向来推定上述隐藏身体部位。
在作为被摄体的人物采取伴随身体的扭转的姿势的情况下,也存在产生隐藏身体部位的可能性。根据上述那样的处理,也能够将因身体的扭转而可能产生的隐藏身体部位加入到推定的对象。
附图说明
图1例示了一个实施方式所涉及的图像处理系统的功能结构。
图2表示图1的图像处理系统搭载于车辆的例子。
图3例示了图1的图像处理装置所使用的骨骼模型。
图4表示将图3的骨骼模型应用于多个被摄体的例子。
图5表示确定图3的骨骼模型中的人体的中心的方法的一个例子和确定中心区域的方法的一个例子。
图6表示确定图3的骨骼模型中的人体的中心的方法的一个例子和确定中心区域的方法的一个例子。
图7例示了将图3的骨骼模型应用于被摄体的处理的流程。
图8例示了将图3的骨骼模型应用于被摄体的处理的流程。
图9例示了将图3的骨骼模型应用于被摄体的处理的流程。
图10例示了将图3的骨骼模型应用于被摄体的处理的流程。
图11是对推定作为被摄体的人物的身体的扭转的处理进行说明的图。
图12是对推定作为被摄体的人物的隐藏身体部位的处理进行说明的图。
图13是对推定作为被摄体的人物的隐藏身体部位的处理进行说明的图。
图14是对推定作为被摄体的人物的隐藏身体部位的处理进行说明的图。
图15是对推定作为被摄体的人物的隐藏身体部位的处理进行说明的图。
图16是对推定作为被摄体的人物的隐藏身体部位的处理进行说明的图。
图17是对推定作为被摄体的人物的隐藏身体部位的处理进行说明的图。
图18是对推定作为被摄体的人物的隐藏身体部位的处理进行说明的图。
具体实施方式
以下,参照附图对实施方式的例子详细地进行说明。图1例示了一个实施方式所涉及的图像处理系统10的功能结构。图像处理系统10包括拍摄装置11和图像处理装置12。
拍摄装置11是取得预定的拍摄区域的图像的装置。作为拍摄装置11,可例示照相机、图像传感器。拍摄装置11构成为输出与所取得的图像对应的图像数据DI。图像数据DI可以是模拟数据,也可以是数字数据。
图像处理装置12具备接收部121、处理部122以及输出部123。
接收部121构成为接收图像数据DI的接口。在图像数据DI为模拟数据的情况下,接收部121具备包括A/D转换器的适当的转换电路。
处理部122将作为数字数据的形态的图像数据DI作为处理的对象。关于由处理部122进行的处理的详细内容,在后面叙述。处理部122基于该处理的结果,允许从输出部123输出控制数据DC。控制数据DC是控制各种被控制装置的动作的数据。控制数据DC可以是数字数据,也可以是模拟数据。在控制数据DC为模拟数据的情况下,输出部123具备包括D/A转换器的适当的转换电路。
如图2所示,图像处理系统10例如搭载于车辆20。在该情况下,作为动作由上述控制数据DC控制的被控制装置的例子,可列举车辆20中的车门的开闭装置、车门的上锁装置、空调装置、照明装置、视听设备等。
拍摄装置11根据所希望的拍摄区域,配置于车辆20中的适当位置。图像处理装置12配置于车辆20内的适当位置。在本例中,拍摄装置11配置于车辆20的右侧部,在车辆20的右侧方规定拍摄区域A。换言之,拍摄装置11取得拍摄区域A的图像。
各种被摄体30可以进入拍摄区域A内。当被摄体30进入拍摄区域A时,在由拍摄装置11取得的图像中拍进被摄体30。拍进图像的被摄体30被反映于图像数据DI。
图像处理系统10具有在被摄体30是人物的情况下,推定该人物的骨骼的功能。
为了实现上述功能,处理部122构成为对图像数据DI进行如下处理:将骨骼模型应用于在由拍摄装置11取得的图像中拍进的被摄体30。
具体而言,采用图3所例示的骨骼模型M。骨骼模型M包括包含与模型人体的中心对应的中心特征点C的中心区域CA。骨骼模型M包括左上肢组LU、右上肢组RU、左下肢组LL以及右下肢组RL。
左上肢组LU包含与模型人体的左上肢中的多个特征部位对应的多个特征点。具体而言,左上肢组LU包含左肩特征点LU1、左肘特征点LU2以及左手腕特征点LU3。左肩特征点LU1是与模型人体的左肩对应的点。左肘特征点LU2是与模型人体的左肘对应的点。左手腕特征点LU3是与模型人体的左手腕对应的点。
右上肢组RU包含与模型人体的右上肢中的多个特征部位对应的多个特征点。具体而言,右上肢组RU包含右肩特征点RU1、右肘特征点RU2以及右手腕特征点RU3。右肩特征点RU1是与模型人体的右肩对应的点。右肘特征点RU2是与模型人体的右肘对应的点。右手腕特征点RU3是与模型人体的右手腕对应的点。
左下肢组LL包含与模型人体的左下肢中的多个特征部位对应的多个特征点。具体而言,左下肢组LL包含左腰特征点LL1、左膝特征点LL2以及左脚踝特征点LL3。左腰特征点LL1是与模型人体的腰的左部对应的点。左膝特征点LL2是与模型人体的左膝对应的点。左脚踝特征点LL3是与模型人体的左脚踝对应的点。
右下肢组RL包含与模型人体的右下肢中的多个特征部位对应的多个特征点。具体而言,右下肢组RL包含右腰特征点RL1、右膝特征点RL2以及右脚踝特征点RL3。右腰特征点RL1是与模型人体的腰的右部对应的点。右膝特征点RL2是与模型人体的右膝对应的点。右脚踝特征点RL3是与模型人体的右脚踝对应的点。
左上肢组LU经由左上骨骼线LUS与中心区域CA连接。右上肢组RU经由右上骨骼线RUS与中心区域CA连接。左下肢组LL经由左下骨骼线LLS与中心区域CA连接。右下肢组RL经由右下骨骼线RLS与中心区域CA连接。即,在骨骼模型M中,与模型人体的四肢对应的多个特征点连接于模型人体的中心特征点C。
更具体而言,骨骼模型M包括面部特征点F和颈部特征点NK。面部特征点F是与模型人体的面部对应的点。颈部特征点NK是与模型人体的颈部对应的点。面部特征点F、左上肢组LU以及右上肢组RU经由颈部特征点NK而与中心区域CA连接。面部特征点F可以被头部特征点H置换。头部特征点H是与模型人体的头部中心对应的点。
在本说明书中使用的“应用骨骼模型的处理”这样的语言是指在由拍摄装置11取得的图像中拍进的被摄体中,检测在该骨骼模型中规定的多个特征点,并将该多个特征点彼此通过在该骨骼模型中规定的多条骨骼连接线连接。
图4表示将骨骼模型M应用于作为在由拍摄装置11取得的图像I中拍进的被摄体30的多个人物31、32的例子。
如上述那样,通过采用与人体的四肢对应的多个特征点连接于与人体的中心对应的中心特征点C的骨骼模型M,能够推定更接近现实的人物的骨骼。通过推定更接近现实的骨骼,例如在欲推定在图像I中拍进的人物的姿势、动作的情况下,能够提供更准确的推定结果。因此,能够提高在由拍摄装置11取得的图像I中拍进的被摄体30的判别精度。
如图5所例示的那样,模型人体的中心特征点C的位置基于与模型人体的四肢对应的多个特征点的位置来确定。具体而言,中心特征点C的位置可以通过以下的步骤来确定。
在将由拍摄装置11取得的图像I中的左右方向和上下方向分别规定为X方向、Y方向的情况下,设定由短边和长边形成的矩形R,该短边具有与左肩特征点LU1和右肩特征点RU1之间的沿着X方向的距离对应的尺寸X1,该长边具有与左肩特征点LU1和左腰特征点LL1之间(或者右肩特征点RU1和右腰特征点RL1之间)的沿着Y方向的距离对应的尺寸Y1。接着,将经过矩形R的短边的中点且沿Y方向延伸的直线与经过矩形R的长边的中点且沿X方向延伸的直线的交点确定为中心特征点C的位置。
根据这样的结构,可以基于与检测相对容易的四肢对应的多个特征点来确定中心特征点C的位置。换言之,不需要为了应用能够如上述那样提高判别精度的骨骼模型M,而检测中心特征点C的位置作为特征点。因此,能够抑制图像处理装置12的处理负荷增大,并且能够提高被摄体30的判别精度。
此外,用于确定中心特征点C的位置的沿Y方向延伸的直线不需要一定经过矩形R的短边的中点。同样,用于确定中心特征点C的位置的沿X方向延伸的直线不需要一定经过矩形R的长边的中点。这些直线与矩形R的短边及长边相交的点可以适当地变更。
颈部特征点NK也可以基于与四肢对应的多个特征点的位置来确定。例如,颈部特征点NK可以被确定为将左肩特征点LU1与右肩特征点RU1连结的直线的中点。即,在应用骨骼模型M时,不需要检测颈部特征点NK。由此,也能够对图像处理装置12的处理负荷增大进行抑制。
如图6所例示的那样,可以不使用图5所示的矩形R来确定中心特征点C。在本例中,设定以左肩特征点LU1、右肩特征点RU1、左腰特征点LL1、以及右腰特征点RL1为顶点的四边形Q。接着,将四边形Q的重心确定为中心特征点C的位置。
根据这样的结构,可以缓和在确定中心特征点C时对被摄体30的姿势的制约。
如图5所例示的那样,模型人体的中心区域CA的大小基于与模型人体的四肢对应的多个特征点之间的距离来确定。在本例中,中心区域CA具有矩形形状。中心区域CA的短边的尺寸X2是矩形R的短边的尺寸X1的一半。中心区域CA的长边的尺寸Y2是矩形R的长边的尺寸Y1的一半。
此外,尺寸X2相对于尺寸X1的比率和尺寸Y2相对于尺寸Y1的比率可以单独且适当地确定。
如上述那样确定的中心特征点C位于作为在图像I中拍进的被摄体30的人物的躯干内。中心区域CA具有反映作为被摄体30的人物的躯干的实际扩展的面积。通过不仅确定中心特征点C的位置,而且设定包含中心特征点C的中心区域CA,由此能够提供更接近现实的人体的骨骼模型M。因此,能够进一步提高在由拍摄装置11取得的图像I中拍进的被摄体30的判别精度。
例如,由于现实的躯干具有扩展性,因此根据作为被摄体30的人物的姿势,可能会产生被躯干遮挡而没有拍进图像I的隐藏身体部位。基于检测到的特征点与中心区域CA的位置关系,能够提高这样的隐藏身体部位的推定精度。
如图6所例示的那样,人体的中心区域CA不需要一定是矩形形状。在本例中,中心区域CA具有椭圆形状。在该情况下,椭圆形状的沿着X方向的尺寸X2和沿着Y方向的尺寸Y2可以基于之前确定的四边形Q(或者图5所例示的矩形R)的大小而适当地确定。
与左上肢组LU所包含的特征点对应的身体部位和特征点的数量可以适当地确定。成为用于确定中心特征点C、中心区域CA的基准的特征点也可以适当地确定。然而,优选左上肢组LU包含左肩特征点LU1。这是因为左肩特征点LU1是可以以相对较高的稳定性被检测到而与左上肢的状态无关的特征点。基于同样的理由,作为用于确定中心特征点C、中心区域CA的基准,优选使用左肩特征点LU1。
与右上肢组RU所包含的特征点对应的身体部位和特征点的数量可以适当地确定。成为用于确定中心特征点C、中心区域CA的基准的特征点也可以适当地确定。然而,优选右上肢组RU包含右肩特征点RU1。这是因为右肩特征点RU1是可以以相对较高的稳定性被检测到而与右上肢的状态无关的特征点。基于同样的理由,作为用于确定中心特征点C、中心区域CA的基准,优选使用右肩特征点RU1。
与左下肢组LL所包含的特征点对应的身体部位和特征点的数量可以适当地确定。成为用于确定中心特征点C、中心区域CA的基准的特征点也可以适当地确定。然而,优选左下肢组LL包含左腰特征点LL1。这是因为左腰特征点LL1是可以以相对较高的稳定性被检测到而与左下肢的状态无关的特征点。基于同样的理由,作为用于确定中心特征点C、中心区域CA的基准,优选使用左腰特征点LL1。
与右下肢组RL所包含的特征点对应的身体部位和特征点的数量可以适当地确定。成为用于确定中心特征点C、中心区域CA的基准的特征点也可以适当地确定。然而,优选右下肢组RL包含右腰特征点RL1。这是因为右腰特征点RL1是可以以相对较高的稳定性被检测到而与右下肢的状态无关的特征点。基于同样的理由,作为用于确定中心特征点C、中心区域CA的基准,优选使用右腰特征点RL1。
参照图7至图10对将骨骼模型M应用于在由拍摄装置11取得的图像I中拍进的被摄体30的处理的一个例子进行说明。
图像处理装置12的处理部122基于接收部121接收到的图像数据DI,执行检测图像I中包含的人物亦即似然度高的物体的处理。该处理可以使用公知的方法适当地进行,因此省略详细的说明。图7中的框F0表示在图像I内特定的包含人物亦即似然度高的物体的区域。
接着,处理部122基于被摄体30是人物的假设,检测多个实际特征点。从在图像I中拍进的被摄体30检测与多个特征身体部位对应的多个实际特征点的处理可以使用公知的方法适当地进行,因此省略详细的说明。
在本例中,除了检测上述的左肩特征点LU1、左肘特征点LU2、左手腕特征点LU3、右肩特征点RU1、右肘特征点RU2、右手腕特征点RU3、左腰特征点LL1、左膝特征点LL2、左脚踝特征点LL3、右腰特征点RL1、右膝特征点RL2、右脚踝特征点RL3之外,还检测到左眼特征点LY、右眼特征点RY、鼻特征点NS、嘴特征点MS、左耳特征点LA以及右耳特征点RA。左眼特征点LY是与人体的左眼对应的特征点。右眼特征点RY是与人体的右眼对应的特征点。鼻特征点NS是与人体的鼻子对应的特征点。嘴特征点MS是与人体的嘴对应的特征点。左耳特征点LA是与人体的左耳对应的特征点。右耳特征点RA是与人体的右耳对应的特征点。
接着,如图8所例示的那样,处理部122将检测到的多个实际特征点分类为在骨骼模型M中规定的多个组。换言之,形成多个组以包含规定的实际特征点。
在本例中,将左上肢组LU形成为包含左肩特征点LU1、左肘特征点LU2以及左手腕特征点LU3。将右上肢组RU形成为包含右肩特征点RU1、右肘特征点RU2以及右手腕特征点RU3。将左下肢组LL形成为包含左腰特征点LL1、左膝特征点LL2以及左脚踝特征点LL3。将右下肢组RL形成为包含右腰特征点RL1、右膝特征点RL2以及右脚踝特征点RL3。
另外,处理部122进行将各组所包含的多个实际特征点彼此通过骨骼线连接的处理。
此外,基于左眼特征点LY、右眼特征点RY、鼻特征点NS、嘴特征点MS、左耳特征点LA以及右耳特征点RA,来确定面部特征点F。除此之外或者取而代之,也可以确定头部特征点H。面部特征点F可以提供面部的位置、朝向的信息。头部特征点H可以表示头部的中心部的推定位置。基于人体的左眼特征点LY、右眼特征点RY、鼻特征点NS、嘴特征点MS、左耳特征点LA以及右耳特征点RA来确定面部特征点F、头部特征点H的处理可以使用公知的方法适当地进行,因此省略详细的说明。
接着,如图9所例示的那样,处理部122进行确定中心特征点C的处理。在本例中,使用参照图5而说明的矩形R。此外,处理部122进行确定颈部特征点NK的处理。在本例中,将左肩特征点LU1与右肩特征点RU1连结的直线的中点被确定为颈部特征点NK。
接着,如图10所例示的那样,处理部122进行确定中心区域CA的处理。在本例中,使用参照图5而说明的方法。
接着,处理部122进行利用骨骼线将中心特征点C和与四肢对应的多个组的每一个连接的处理。具体而言,左肩特征点LU1和右肩特征点RU1经由颈部特征点NK而与中心特征点C连接。左腰特征点LL1和右腰特征点RL1分别与中心特征点C直接连接。面部特征点F和头部特征点H的至少一方与颈部特征点NK连接。
在不能执行规定的实际特征点的检测、不能执行检测到的多个实际特征点向多个组的分类、以及不能执行利用骨骼线的多个实际特征点的连接的至少一个的情况下,产生无法将实际特征点彼此连接的骨骼线。在不能利用所有骨骼线中的超过阈值比率的数量的骨骼线进行连接的情况下,处理部122可以判断为骨骼模型M不适合于被摄体30。阈值比率可以适当地设定。即,处理部122可以基于骨骼模型M是否适合于多个实际特征点,来判断被摄体30是否是人物。
根据这样的结构,能够抑制对不是人物的被摄体30进行基于骨骼模型M的无用的处理的可能性。因此,能够进一步提高被摄体30的判别精度,并且能够对图像处理装置12的处理负荷增大进行抑制。
作为在由拍摄装置11取得的图像I中拍进的被摄体30的人物不限于始终相对于拍摄装置11朝向正面。图像处理装置12的处理部122构成为基于接收部121接收到的图像数据DI,来推定在图像I中拍进的人物的身体有无扭转。
具体而言,如图11所例示的那样,处理部122取得右肩特征点RU1与面部特征点F的沿着X方向的距离D1、和左肩特征点LU1与面部特征点F的沿着X方向的距离D2。右肩特征点RU1是第一特征点的一个例子。左肩特征点LU1是第二特征点的一个例子。面部特征点F是第三特征点的一个例子。距离D1是第一值的一个例子。距离D2是第二值的一个例子。
接着,处理部122基于距离D1与距离D2的比率,推定在图像I中拍进的人物的身体有无扭转。具体而言,在该比率与1的差量超过阈值的情况下,推定为身体扭转。在作为被摄体30的人物相对于拍摄装置11朝向正面的情况下,左肩特征点LU1和右肩特征点RU1位于相对于面部特征点F在左右方向(X方向)上对称的位置的可能性较高。因此,距离D1与距离D2的比率接近1。换言之,该比率越远离1,面部的正面和上半身的正面朝向不同方向的可能性越高。
因此,根据上述那样的处理,能够推定作为被摄体30的人物的面部与上半身之间有无扭转。由此,能够提高在由拍摄装置11取得的图像I中拍进的被摄体30的判别精度。
如图11所例示的那样,在推定身体有无扭转时,可以取得右肩特征点RU1与面部特征点F之间的距离D1’、和左肩特征点LU1与面部特征点F之间的距离D2’,并直接求出这些值的比率。在该情况下,距离D1’是第一值的一个例子,距离D2’是第二值的一个例子。
取得相对于面部特征点F的距离的特征点不限于左肩特征点LU1和右肩特征点RU1。只要是与作为被摄体30的人物的左上肢所包含的特征部分对应的点,则可以采用适当的点作为第一特征点。同样,只要是与作为被摄体30的人物的右上肢所包含的特征部分对应的点,则可以采用适当的点作为第二特征点。但是,需要选择如左肘特征点LU2和右肘特征点RU2那样,在作为被摄体30的人物相对于拍摄装置11朝向正面时相对于面部特征点F左右对称地定位的两个点。
然而,左肩特征点LU1的位置和右肩特征点RU1的位置相对稳定而与两上肢的状态无关,并且接近面部特征点F,因此采用左肩特征点LU1和右肩特征点RU1作为第一特征点和第二特征点在高精度地推定面部和上半身有无扭转的方面是有利的。
只要与作为被摄体30的人物的面部所包含的特征部分对应,则能够采用面部特征点F以外的特征点作为第三特征点。但是,需要选择如鼻特征点NS、嘴特征点MS那样,在作为被摄体30的人物相对于拍摄装置11朝向正面时相对于第一特征点和第二特征点左右对称的关系成立的点。
处理部122可以基于距离D1与距离D2的比率相对于1的大小关系,来推定作为被摄体30的人物的身体的扭转方向。
具体而言,如图11所例示的那样,在该比率大于1的情况(D1大于D2的情况)下,处理部122推定为面部相对于上半身向左方扭转。在该比率小于1的情况(D2大于D1的情况)下,处理部122推定为面部相对于上半身向右方扭转。
根据这样的处理,不仅能够推定身体有无扭转,还能够推定扭转的方向,因此能够更准确地判别作为被摄体30的人物的姿势。
如图11所例示的那样,处理部122取得与作为被摄体30的人物的肩宽对应的值。在本例中,取得左肩特征点LU1与右肩特征点RU1之间的沿着X方向的距离D3作为与肩宽对应的值。此外,处理部122取得左腰特征点LL1与右腰特征点RL1之间的沿着X方向的距离D4。左腰特征点LL1是第一特征点的一个例子。右腰特征点RL1是第二特征点的一个例子。距离D3是第一值的一个例子。距离D4是第二值的一个例子。
接着,处理部122基于距离D3与距离D4的比率,来推定在图像I中拍进的人物的身体有无扭转。具体而言,在距离D3相对于距离D4的比率未落入规定的阈值范围内的情况下,推定为身体扭转。例如,阈值范围被设定为1以上且2以下的值。在作为被摄体30的人物相对于拍摄装置11朝向正面的情况下,与肩宽对应的距离D3比与腰宽对应的距离D4大。因此,距离D3相对于距离D4的比率落入上述阈值范围内。另一方面,若作为被摄体30的人物的上半身的正面和下半身的正面朝向不同方向,则存在与肩宽对应的距离D3小于与腰宽对应的距离D4的情况。或者,存在与肩宽对应的距离D3大大超过与腰宽对应的距离D4的情况。即,在该比率未落入上述阈值范围内的情况下,上半身的正面与下半身的正面朝向不同方向的可能性较高。
因此,根据上述那样的处理,能够推定作为被摄体30的人物的上半身与下半身之间有无扭转。由此,能够提高在由拍摄装置11取得的图像I中拍进的被摄体30的判别精度。
如图11所例示的那样,在推定身体有无扭转时,也可以取得左肩特征点LU1与右肩特征点RU1之间的距离D3’、和左腰特征点LL1与右腰特征点RL1之间的距离D4’,并直接求出这些值的比率。在该情况下,距离D3’是第一值的一个例子,距离D4’是第二值的一个例子。
用于与肩宽进行比较的特征点不限于左腰特征点LL1和右腰特征点RL1。只要是与作为被摄体30的人物的左下肢所包含的特征部分对应的点,则可以采用适当的点作为第一特征点。同样,只要是与作为被摄体30的人物的右下肢所包含的特征部分对应的点,则可以采用适当的点作为第二特征点。但是,需要选择如左膝特征点LL2和右膝特征点RL2那样,在作为被摄体30的人物相对于拍摄装置11朝向正面时相对于身体的中心轴左右对称地定位的两个点。
然而,由于左腰特征点LL1的位置和右腰特征点RL1的位置相对稳定而与两下肢的状态无关,因此采用左腰特征点LL1和右腰特征点RL1作为第一特征点和第二特征点在高精度地推定上半身和下半身有无扭转的方面是有利的。
如上所述,作为在由拍摄装置11取得的图像I中拍进的被摄体30的人物不限于始终相对于拍摄装置11朝向正面。根据该人物的姿势,可能会产生被该人物的身体的一部分遮挡而没有拍进图像I的隐藏身体部位。在图12所示的例子中,作为被摄体30的人物的右上肢和腰的右部没有拍进图像I,没有检测到右肩特征点RU1、右肘特征点RU2、右手腕特征点RU3以及右腰特征点RL1。在通过应用骨骼模型来推定人物的姿势时,准确地识别隐藏身体部位也是重要的。
近年来,使用深度学习等来检测构成骨骼模型的多个特征点的技术正在普及。基于该技术,尽管是实际上被身体的一部分遮挡而没有拍进图像的隐藏身体部位,但有时像是未被身体的一部分遮挡而拍进图像的非隐藏身体部位那样检测到特征点。在图13所例示的图像I中,检测到作为被摄体30的人物的右肩特征点RU1、右肘特征点RU2、右手腕特征点RU3、以及右腰特征点RL1。
图像处理装置12的处理部122构成为基于接收部121接收到的图像数据DI,来推定在图像I中拍进的人物的隐藏身体部位。
具体而言,处理部122取得作为被摄体30的人物的左肢所包含的特征点与右肢所包含的特征点的距离。例如,取得左肩特征点LU1与右肩特征点RU1之间的沿着X方向的距离。在该距离小于阈值的情况下,处理部122执行用于推定隐藏身体部位的处理。该阈值被设定为比人物相对于拍摄装置11朝向正面时的左肩特征点LU1与右肩特征点RU1之间的距离小的适当的值。左肩特征点LU1是第一特征点的一个例子。右肩特征点RU1是第二特征点的一个例子。
在人物的躯干的正面相对于拍摄装置11朝向倾斜方向或侧方的情况下,容易产生隐藏身体部位。此时,与该人物的躯干相对于拍摄装置11朝向正面的情况相比,左肢所包含的特征点与右肢所包含的特征点之间的距离通常变短。因此,在左肩特征点LU1与右肩特征点RU1之间的沿着X方向的距离小于阈值的情况下,左肩特征点LU1和右肩特征点RU1的一方包含于隐藏身体部位的可能性较高。
在通过深度学习等检测人体的特征点的情况下,通常对该特征点赋予表示似然度的数据。似然度是指表示检测的准确度的指标。似然度可以使用公知的方法适当地取得,因此省略详细的说明。
在左肩特征点LU1与右肩特征点RU1之间的沿着X方向的距离小于阈值的情况下,处理部122将对左肩特征点LU1赋予的似然度与对右肩特征点RU1赋予的似然度进行比较,并推定为被赋予了较小的似然度的特征点包含于隐藏身体部位。在图13所示的例子中,对左肩特征点LU1赋予的似然度是220,对右肩特征点RU1赋予的似然度是205。因此,处理部122推定为右肩特征点RU1包含于隐藏身体部位。
除此之外或者取而代之,可以取得左上肢所包含的其他特征点与右上肢所包含的其他特征点之间的距离。但是,取得在人物相对于拍摄装置11朝向正面时相对于人体的中心轴左右对称地定位的特征点之间的距离。例如,取得左肘特征点LU2与右肘特征点RU2之间的距离、以及左手腕特征点LU3与右手腕特征点RU3之间的距离中的至少一方。左肘特征点LU2和左手腕特征点LU3各自是第一特征点的一个例子。右肘特征点RU2和右手腕特征点RU3各自是第二特征点的一个例子。
在图13所示的例子中,对左肘特征点LU2赋予的似然度是220,对右肘特征点RU2赋予的似然度是200。因此,处理部122推定为右肘特征点RU2包含于隐藏身体部位。同样,对左手腕特征点LU3赋予的似然度是220,对右手腕特征点RU3赋予的似然度是210。因此,处理部122推定为右手腕特征点RU3包含于隐藏身体部位。
此外,在推定为属于同一组的多个特征点之一包含于隐藏身体部位的情况下,处理部122可以推定为属于同一组的其他特征点也包含于隐藏身体部位。例如,在推定为属于右上肢组RU的右肩特征点RU1、右肘特征点RU2以及右手腕特征点RU3中的右肩特征点RU1包含于隐藏身体部位的情况下,处理部122可以推定为右肘特征点RU2和右手腕特征点RU3也包含于隐藏身体部位。在该情况下,优选将左肩特征点LU1和右肩特征点RU1作为基准。这是因为这些特征点之间的距离以相对较高的稳定性反映躯干的正面的朝向,而与上肢的状态无关。
上述推定结果如图14所例示的那样被反映。在本例中,被推定为包含于隐藏身体部位的特征点由白圈表示。之后,处理部122进行利用多条骨骼线将多个特征点彼此连接的处理。多条骨骼线包括与隐藏身体部位对应的隐藏骨骼线、和与非隐藏身体部位对应的非隐藏骨骼线。在图14中,用虚线表示隐藏骨骼线,用实线表示非隐藏骨骼线。处理部122在由骨骼线连接的两个特征点中的至少一方包含于隐藏身体部位的情况下,利用隐藏骨骼线将该两个特征点连接。换言之,仅在由骨骼线连接的两个特征点双方都包含于非隐藏身体部位的情况下,才利用非隐藏骨骼线将该两个特征点连接。
在图14所示的例子中,都被推定为与隐藏身体部位对应的右肩特征点RU1和右肘特征点RU2由隐藏骨骼线连接。在该情况下,右上臂被推定为隐藏身体部位。同样,都被推定为与隐藏身体部位对应的右肘特征点RU2和右手腕特征点RU3由隐藏骨骼线连接。在该情况下,右下臂被推定为隐藏身体部位。
因此,根据上述那样的处理,能够推定根据作为被摄体30的人物的姿势可能产生的隐藏身体部位。由此,能够提高在由拍摄装置11取得的图像I中拍进的被摄体30的判别精度。
参照图13和图14的至此的说明也可以同样应用于属于左下肢组LL的左腰特征点LL1、左膝特征点LL2及左脚踝特征点LL3、以及属于右下肢组RL的右腰特征点RL1、右膝特征点RL2及右脚踝特征点RL3。即,左腰特征点LL1、左膝特征点LL2以及左脚踝特征点LL3的每一个可以是第一特征点的一个例子。同样,右腰特征点RL1、右膝特征点RL2以及右脚踝特征点RL3的每一个可以是第二特征点的一个例子。
图15表示为了推定在图像I中拍进的人物的隐藏身体部位而处理部122可以进行的处理的另一例。
在本例中,处理部122推定作为被摄体30的人物的面部的朝向。该推定例如可以基于面部特征点F的位置来进行。
此外,处理部122生成与左上肢组LU对应的框F1和与右上肢组RU对应的框F2。框F1被生成为包含左肩特征点LU1、左肘特征点LU2以及左手腕特征点LU3。框F1是第一区域的一个例子。框F2被生成为包含右肩特征点RU1、右肘特征点RU2以及右手腕特征点RU3。框F2是第二区域的一个例子。
例如,框F1的上端缘被确定为与左上肢组LU所包含的多个特征点中的位于最上侧的特征点重叠。框F1的下端缘被确定为与左上肢组LU所包含的多个特征点中的位于最下侧的特征点重叠。框F1的左端缘被确定为与左上肢组LU所包含的多个特征点中的位于最左侧的特征点重叠。框F1的右端缘被确定为与左上肢组LU所包含的多个特征点中的位于最右侧的特征点重叠。
同样,框F2的上端缘被确定为与右上肢组RU所包含的多个特征点中的位于最上侧的特征点重叠。框F2的下端缘被确定为与右上肢组RU所包含的多个特征点中的位于最下侧的特征点重叠。框F2的左端缘被确定为与右上肢组RU所包含的多个特征点中的位于最左侧的特征点重叠。框F2的右端缘被确定为与右上肢组RU所包含的多个特征点中的位于最右侧的特征点重叠。
接着,处理部122取得框F1与框F2的重复度。例如,重复度可以被计算为框F1与框F2重叠的部分的面积相对于框F1和框F2中较小的一方的面积的比率。对于处理部122而言,在该重复度大于阈值的情况下,处理部122执行用于推定隐藏身体部位的处理。
在人物的躯干的正面相对于拍摄装置11朝向倾斜方向或侧方的情况下,容易产生隐藏身体部位。此时,与该人物的躯干相对于拍摄装置11朝向正面的情况相比,左肢所包含的特征点与右肢所包含的特征点之间的距离通常变短。随着左肢所包含的特征点与右肢所包含的特征点接近,框F1和框F2具有重叠的趋势。因此,在框F1与框F2的重复率大于阈值的情况下,与框F1对应的左上肢组LU和与框F2对应的右上肢组RU的一方对应于隐藏身体部位的可能性较高。
在框F1与框F2的重复率大于阈值的情况下,处理部122参照之前推定出的面部的朝向,推定左上肢组LU和右上肢组RU的哪一个与隐藏身体部位对应。
具体而言,在推定为如图15所例示的那样面部朝向左方的情况下,处理部122推定为右上肢组RU与隐藏身体部位对应。结果,如图14所例示的那样,推定为右上肢组RU所包含的右肩特征点RU1、右肘特征点RU2以及右手腕特征点RU3包含于隐藏身体部位,并利用隐藏骨骼线将这些特征点连接。在推定为面部朝向右方的情况下,处理部122推定为左上肢组LU与隐藏身体部位对应。
人物的面部的朝向与该人物的躯干的正面朝向的方向的关联性高。因此,根据上述那样的处理,能够提高根据作为被摄体30的人物的姿势可能产生的隐藏身体部位的推定精度。此时,对各特征点赋予的似然度的参照不是必须的。
推定隐藏身体部位的上述处理不需要一定基于框F1与框F2的重复度。例如,在框F1中的代表点与框F2中的代表点之间的距离小于阈值的情况下,也可以参照面部的朝向来推定隐藏身体部位。例如,可以采用框F1的沿着X方向的中点和框F2的沿着X方向的中点作为代表点。框F1中的代表点与框F2中的代表点之间的距离可以是第一特征点与第二特征点之间的距离的一个例子。
参照图15的至此的说明也可以同样应用于属于左下肢组LL的左腰特征点LL1、左膝特征点LL2及左脚踝特征点LL3、以及属于右下肢组RL的右腰特征点RL1、右膝特征点RL2及右脚踝特征点RL3。
即,处理部122生成与左下肢组LL对应的框F3、和与右下肢组RL对应的框F4。框F3被生成为包含左腰特征点LL1、左膝特征点LL2以及左脚踝特征点LL3。框F3是第一区域的一个例子。框F4被生成为包含右腰特征点RL1、右膝特征点RL2以及右脚踝特征点RL3。框F4是第二区域的一个例子。
例如,框F3的上端缘被确定为与左下肢组LL所包含的多个特征点中的位于最上侧的特征点重叠。框F3的下端缘被确定为与左下肢组LL所包含的多个特征点中的位于最下侧的特征点重叠。框F3的左端缘被确定为与左下肢组LL所包含的多个特征点中的位于最左侧的特征点重叠。框F3的右端缘被确定为与左下肢组LL所包含的多个特征点中的位于最右侧的特征点重叠。
同样,框F4的上端缘被确定为与右下肢组RL所包含的多个特征点中的位于最上侧的特征点重叠。框F4的下端缘被确定为与右下肢组RL所包含的多个特征点中的位于最下侧的特征点重叠。框F4的左端缘被确定为与右下肢组RL所包含的多个特征点中的位于最左侧的特征点重叠。框F4的右端缘被确定为与右下肢组RL所包含的多个特征点中的位于最右侧的特征点重叠。
接着,处理部122取得框F3与框F4的重复度。例如,重复度可以被计算为框F3与框F4重叠的部分的面积相对于框F3和框F4中较小的一方的面积的比率。对于处理部122而言,在该重复度大于阈值的情况下,处理部122执行用于推定隐藏身体部位的处理。
在框F3与框F4的重复率大于阈值的情况下,处理部122参照之前推定出的面部的朝向,推定左下肢组LL和右下肢组RL的哪一个与隐藏身体部位对应。
具体而言,在推定为面部朝向左方的情况下,处理部122推定为右下肢组RL与隐藏身体部位对应。在推定为面部朝向右方的情况下,处理部122推定为左下肢组LL与隐藏身体部位对应。
推定隐藏身体部位的上述处理不需要一定基于框F3与框F4的重复度。例如,在框F3中的代表点与框F4中的代表点之间的距离小于阈值的情况下,也可以参照面部的朝向来推定隐藏身体部位。例如,可以采用框F3的沿着X方向的中点和框F4的沿着X方向的中点作为代表点。框F3中的代表点与框F4中的代表点之间的距离可以是第一特征点与第二特征点之间的距离的一个例子。
处理部122可以执行参照图13说明的处理和参照图15说明的处理双方,并对通过两个处理获得的推定结果彼此进行比较。在两个结果不同的情况下,处理部122采用基于面部的朝向的处理所得到的推定结果。
例如,在图12所示的例子中,没有检测到右腰特征点RL1。在该情况下,在图13所例示的处理中,左腰特征点LL1与右腰特征点RL1之间的距离小于阈值,可以推定为被赋予较低的似然度的右腰特征点RL1与隐藏身体部位对应。
另一方面,在图15所例示的处理中,和左下肢组LL对应的框F3与和右下肢组RL对应的框F4的重复度低。因此,右下肢组RL所包含的右腰特征点RL1、右膝特征点RL2以及右脚踝特征点RL3被推定为非隐藏身体部位,如图14所例示的那样,通过非隐藏骨骼线连接。在该情况下,右腰特征点RL1被推定为与非隐藏身体部位对应。
在这样通过基于面部方向的处理而获得的推定结果与通过不基于面部方向的处理而获得的推定结果不同的情况下,采用前者。因此,在本例的情况下,右腰特征点RL1被推定为隐藏身体部位。
根据这样的结构,基于与人物的躯干的朝向的关联性较高的面部的朝向的推定结果优先,因此能够提高隐藏身体部位的推定精度。
参照图11说明的推定身体的扭转方向的处理可以用于隐藏身体部位的推定。如图16所例示的那样,在身体扭转为面部的正面方向和躯干的正面方向变得较大的情况下,存在产生隐藏身体部位的可能性。
如果基于参照图11说明的处理,则在图16所示的例子中,推定为面部相对于上半身向左方扭转。在该情况下,处理部122推定为与扭转方向相反方向的上肢对应于隐藏身体部位。在本例中,作为被摄体30的人物的右上肢被推定为对应于隐藏身体部位。
在作为被摄体30的人物采取图16所例示的姿势的情况下,在参照图13说明的处理或参照图15说明的处理中,存在无法准确地推定隐藏身体部位的情况。这是因为躯干的正面的朝向比较接近相对于拍摄装置11的正面,左上肢所包含的特征点与右上肢所包含的特征点的距离相对较大。根据上述那样的处理,也能够将因身体的扭转而可能产生的隐藏身体部位加入到推定的对象。
在作为被摄体30的人物采取图17所例示的姿势的情况下,即在人物相对于拍摄装置11朝向背后的情况下,存在上肢的一部被躯干遮挡而产生隐藏身体部位的可能性。在这种情况下,左上肢所包含的特征点与右上肢所包含的特征点的距离也相对较大,并且身体没有扭转,因此在参照图13至图16说明的任意处理中,也存在无法准确地推定隐藏身体部位的情况。
图像处理装置12的处理部122在推定为作为被摄体30的人物的面部相对于拍摄装置11朝向后方的情况下,判断左肘特征点LU2和左手腕特征点LU3中的至少一方是否位于参照图3说明的骨骼模型M中的中心区域CA内。同样,处理部122判断右肘特征点RU2和右手腕特征点RU3中的至少一方是否位于中心区域CA内。处理部122将被判断为位于中心区域CA内的特征点推定为包含于隐藏身体部位。
在图17所示的例子中,左手腕特征点LU3位于中心区域CA内。因此,推定为左手腕特征点LU3对应于隐藏身体部位。基于上述连接规则,将左手腕特征点LU3与左肘特征点LU2连接的骨骼线为隐藏骨骼线。由此,作为被摄体30的人物的左下臂部被推定为隐藏身体部位。
根据这样的处理,能够提高被相对于拍摄装置11朝向背后的人物的躯干遮挡的隐藏身体部位的推定精度。
如参照图13说明的那样,参照对各特征点赋予的似然度来进行隐藏身体部位的推定,结果如图18所例示的那样,存在针对左上肢组LU和右上肢组RU双方,推定隐藏身体部位的存在的情况。如果基于上述的骨骼线的连接规则,则推定为在位于较近的位置的左上肢和右上肢双方存在隐藏身体部位。这样的姿势的现实性较低。
图像处理装置12的处理部122在推定为左上肢组LU所包含的多个特征点中的至少一个包含于隐藏身体部位,并且推定为右上肢组RU所包含的多个特征点中的至少一个包含于隐藏身体部位的情况下,将两组的一方所包含的多个特征点的全部视为包含于隐藏身体部位的特征点,将另一方所包含的多个特征点的全部视为包含于非隐藏身体部位的特征点。左上肢组LU所包含的多个特征点是多个第一特征点的一个例子。右上肢组RU所包含的多个特征点是多个第二特征点的一个例子。
在图18所例示的例子中,将左上肢组LU所包含的所有特征点视为包含于非隐藏身体部位的特征点。结果,左上肢组LU所包含的所有特征点通过非隐藏骨骼线连接。另一方面,将右上肢组RU所包含的所有特征点视为包含于隐藏身体部位的特征点。结果,右上肢组RU所包含的所有特征点通过隐藏骨骼线连接。
相对于特征点的隐藏身体部位的推定结果的上述那样的切换例如可以通过取得对各特征点赋予的似然度的代表值来执行。作为代表值的例子,可列举平均值、中间值、最频值、合计值等。处理部122将对左上肢组LU所包含的多个特征点赋予的多个似然度的代表值与对右上肢组RU所包含的多个特征点赋予的多个似然度的代表值进行比较。处理部122将与较小的代表值相关联的组所包含的多个特征点的全部视为包含于隐藏身体部位的特征点。处理部122将与较大的代表值相关联的组所包含的多个特征点的全部视为包含于非隐藏身体部位的特征点。
在图18所示的例子中,针对左上肢组LU和右上肢组RU的每一个取得多个似然度的平均值。左上肢组LU中的多个似然度的平均值是第一代表值的一个例子。右上肢组RU中的多个似然度的平均值是第二代表值的一个例子。左上肢组LU中的多个似然度的平均值大于右上肢组RU中的多个似然度的平均值。因此,将左上肢组LU所包含的所有特征点视为包含于非隐藏身体部位的特征点,将右上肢组RU所包含的所有特征点视为包含于隐藏身体部位的特征点。
或者,相对于特征点的隐藏身体部位的推定结果的上述那样的切换可以通过对在各组中被推定为包含于隐藏身体部位的特征点的数量进行计数来执行。处理部122对左上肢组LU所包含的多个特征点中的被推定为包含于隐藏身体部位的特征点的数量、与右上肢组RU所包含的多个特征点中的被推定为包含于隐藏身体部位的特征点的数量进行比较。左上肢组LU所包含的多个特征点中的被推定为包含于隐藏身体部位的特征点的数量是第一值的一个例子。右上肢组RU所包含的多个特征点中的被推定为包含于隐藏身体部位的特征点的数量是第二值的一个例子。
处理部122将被推定为包含于隐藏身体部位的特征点的数量较多的一组所包含的多个特征点的全部视为包含于隐藏身体部位的特征点。处理部122将被推定为包含于隐藏身体部位的特征点的数量较少的一组所包含的多个特征点的全部视为包含于非隐藏身体部位的特征点。
在图18所示的例子中,在左上肢组LU中被推定为包含于隐藏身体部位的特征点的数量比在右上肢组RU中被推定为包含于隐藏身体部位的特征点的数量少。因此,将左上肢组LU所包含的所有特征点视为包含于非隐藏身体部位的特征点,将右上肢组RU所包含的所有特征点视为包含于隐藏身体部位的特征点。
根据上述那样的处理,能够校正隐藏身体部位的不自然的推定结果。因此,能够提高在由拍摄装置11取得的图像I中拍进的被摄体30的判别精度。
这两个处理也可以组合执行。例如,可以先进行基于被推定为包含于隐藏身体部位的特征点的数量的处理,在两组的计数结果相同的情况下,进行基于似然度的代表值的处理。通过组合负荷相对较低的处理和精度相对较高的处理,能够高效地执行隐藏身体部位的推定。
相对于特征点的隐藏身体部位的推定结果的上述那样的切换也可以基于作为被摄体30的人物的面部的朝向来进行。例如,在由拍摄装置11取得的图像I内拍进的人物的面部朝向左方的情况下,可以将该人物的右上肢所包含的多个特征点的全部视为包含于隐藏身体部位的特征点。
参照图18说明的至此的说明也可以同样应用于左下肢组LL所包含的多个特征点和右下肢组RL所包含的多个特征点。在该情况下,左下肢组LL所包含的多个特征点是多个第一特征点的一个例子。右下肢组RL所包含的多个特征点是多个第二特征点的一个例子。针对左下肢组LL中的多个似然度获得的代表值是第一代表值的一个例子。针对右下肢组RL中的多个似然度获得的代表值是第二代表值的一个例子。左下肢组LL所包含的多个特征点中的被推定为包含于隐藏身体部位的特征点的数量是第一值的一个例子。右下肢组RL所包含的多个特征点中的被推定为包含于隐藏身体部位的特征点的数量是第二值的一个例子。
具有上述那样的功能的处理部122可以由与通用存储器配合而动作的通用微处理器实现。作为通用微处理器,可以例示CPU、MPU、GPU。作为通用存储器,可以例示ROM、RAM。在该情况下,在ROM可以存储执行上述处理的计算机程序。ROM是存储有计算机程序的非暂时性计算机可读介质的一个例子。通用微处理器指定在ROM上存储的程序的至少一部分并在RAM上展开,与RAM协同动作来执行上述处理。上述计算机程序可以预装于通用存储器,也可以经由通信网络从外部服务器下载并安装于通用存储器。在该情况下,外部服务器是存储有计算机程序的非暂时性计算机可读介质的一个例子。
处理部122也可以通过微型控制器、ASIC、FPGA等能够执行上述计算机程序的专用集成电路来实现。在该情况下,将上述计算机程序预装于该专用集成电路所包含的存储元件。该存储元件是存储有计算机程序的非暂时性计算机可读介质的一个例子。处理部122也可以通过通用微处理器与专用集成电路的组合来实现。
上述实施方式只不过是用于容易理解本公开的例示。上述实施方式所涉及的结构只要不脱离本公开的主旨,就可以适当地进行变更·改进。
图像处理系统10也可以搭载于车辆20以外的移动体。作为移动体的例子,可列举铁路、飞机、船舶等。该移动体也可以不需要驾驶员。拍摄装置11的拍摄区域A也可以设定于移动体的内部。
图像处理系统10不需要搭载于车辆20等移动体。图像处理系统10可以用于控制住宅或设施中的监视装置、上锁装置、空调装置、照明装置、视听设备等的动作。
作为构成本公开的一部分的内容,引用在2019年10月7日提交的日本专利申请2019-184712号的内容。

Claims (10)

1.一种图像处理装置,其中,具备:
接收部,接收与拍进了人物的图像对应的图像数据;和
处理部,基于所述图像数据,推定由于被所述人物的身体的一部分遮挡而没有拍进所述图像的隐藏身体部位,
所述处理部:
基于所述图像数据,检测与所述人物的左肢所包含的特征部分对应的至少一个第一特征点、和与该人物的右肢所包含的特征部分对应的至少一个第二特征点,
基于所述第一特征点和所述第二特征点之间的距离,推定所述隐藏身体部位。
2.根据权利要求1所述的图像处理装置,其中,
所述处理部:
基于所述图像数据,推定所述人物的面部的朝向,
基于所述距离和所述面部的朝向,推定所述隐藏身体部位。
3.根据权利要求1所述的图像处理装置,其中,
所述处理部:
基于所述图像数据,推定所述人物的面部的朝向,
生成包含所述至少一个第一特征点的第一区域,
生成包含所述至少一个第二特征点的第二区域,
基于所述第一区域与所述第二区域的重复度、和所述面部的朝向,推定所述隐藏身体部位。
4.根据权利要求2或3所述的图像处理装置,其中,
所述处理部在基于所述面部的朝向而获得的所述隐藏身体部位的推定结果与不基于所述面部的朝向而获得的所述隐藏身体部位的推定结果不同的情况下,采用基于所述面部的朝向而获得的所述隐藏身体部位的推定结果。
5.根据权利要求1~4中任一项所述的图像处理装置,其中,
所述处理部基于所述图像数据来推定所述人物的身体的扭转方向,基于该身体的扭转方向来推定所述隐藏身体部位。
6.一种计算机可读介质,是存储有能够由图像处理装置的处理部执行的计算机程序的非暂时性计算机可读介质,其中,
通过执行所述计算机程序,使所述图像处理装置进行如下动作:
接收与拍进了人物的图像对应的图像数据,
基于所述图像数据,检测与所述人物的左肢所包含的特征部分对应的至少一个第一特征点、和与该人物的右肢所包含的特征部分对应的至少一个第二特征点,
基于所述第一特征点和所述第二特征点之间的距离,推定由于被所述人物的身体的一部分遮挡而没有拍进所述图像的隐藏身体部位。
7.根据权利要求6所述的计算机可读介质,其中,
通过执行所述计算机程序,使所述图像处理装置进行如下动作:
基于所述图像数据,推定所述人物的面部的朝向,
基于所述距离和所述面部的朝向,推定所述隐藏身体部位。
8.根据权利要求6所述的计算机可读介质,其中,
通过执行所述计算机程序,使所述图像处理装置进行如下动作:
基于所述图像数据,推定所述人物的面部的朝向,
生成包含所述至少一个第一特征点的第一区域,
生成包含所述至少一个第二特征点的第二区域,
基于所述第一区域与所述第二区域的重复度、和所述面部的朝向,推定所述隐藏身体部位。
9.根据权利要求7或8所述的计算机可读介质,其中,
在基于所述面部的朝向而获得的所述隐藏身体部位的推定结果与不基于所述面部的朝向而获得的所述隐藏身体部位的推定结果不同的情况下,采用基于所述面部的朝向而获得的所述隐藏身体部位的推定结果。
10.根据权利要求6~9中任一项所述的计算机可读介质,其中,
通过执行所述计算机程序,使所述图像处理装置进行如下动作:
基于所述图像数据来推定所述人物的身体的扭转方向,
基于所述身体的扭转方向来推定所述隐藏身体部位。
CN202080066596.9A 2019-10-07 2020-09-23 图像处理装置以及非暂时性计算机可读介质 Pending CN114450723A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019184712A JP7312079B2 (ja) 2019-10-07 2019-10-07 画像処理装置、およびコンピュータプログラム
JP2019-184712 2019-10-07
PCT/JP2020/035796 WO2021070611A1 (ja) 2019-10-07 2020-09-23 画像処理装置、および非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
CN114450723A true CN114450723A (zh) 2022-05-06

Family

ID=75380210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080066596.9A Pending CN114450723A (zh) 2019-10-07 2020-09-23 图像处理装置以及非暂时性计算机可读介质

Country Status (5)

Country Link
US (1) US20230034307A1 (zh)
JP (1) JP7312079B2 (zh)
CN (1) CN114450723A (zh)
DE (1) DE112020004823T5 (zh)
WO (1) WO2021070611A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023188302A1 (ja) * 2022-03-31 2023-10-05 日本電気株式会社 画像処理装置、画像処理方法、及び、記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5647155B2 (ja) 2009-02-25 2014-12-24 本田技研工業株式会社 内側距離形状関係を使用する身体特徴検出及び人間姿勢推定
JP5233977B2 (ja) 2009-12-11 2013-07-10 株式会社デンソー 乗員姿勢推定装置
JP5715833B2 (ja) 2011-01-24 2015-05-13 パナソニック株式会社 姿勢状態推定装置および姿勢状態推定方法
JP7025756B2 (ja) 2018-04-04 2022-02-25 株式会社北島製作所 可動式スクリーンの設置装置
JP6562437B1 (ja) 2019-04-26 2019-08-21 アースアイズ株式会社 監視装置、及び、監視方法

Also Published As

Publication number Publication date
JP2021060815A (ja) 2021-04-15
DE112020004823T5 (de) 2022-06-23
WO2021070611A1 (ja) 2021-04-15
JP7312079B2 (ja) 2023-07-20
US20230034307A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
US11301677B2 (en) Deep learning for three dimensional (3D) gaze prediction
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
CN114219878B (zh) 虚拟角色的动画生成方法及装置、存储介质、终端
CN110688914A (zh) 一种手势识别的方法、智能设备、存储介质和电子设备
US20210001796A1 (en) Physique estimation device and physique estimation method
JP2003015816A (ja) ステレオカメラを使用した顔・視線認識装置
CN111439170A (zh) 儿童状态检测方法及装置、电子设备、存储介质
CN110537207B (zh) 脸部朝向推定装置及脸部朝向推定方法
EP3905195A1 (en) Image depth determining method and living body identification method, circuit, device, and medium
US11232315B2 (en) Image depth determining method and living body identification method, circuit, device, and medium
KR20140074201A (ko) 추적 장치
CN114450723A (zh) 图像处理装置以及非暂时性计算机可读介质
CN114503170A (zh) 图像处理装置以及非暂时性计算机可读介质
CN114930798A (zh) 拍摄对象切换方法及装置、图像处理方法及装置
WO2020068104A1 (en) Generating spatial gradient maps for a person in an image
CN114450725A (zh) 图像处理装置以及非暂时性计算机可读介质
CN114503169A (zh) 图像处理装置以及非暂时性计算机可读介质
WO2020261403A1 (ja) 身長推定装置、身長推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
KR20160024668A (ko) 시선 추적 방법 및 장치
JP2021101288A (ja) 制御装置、コンピュータプログラム、および認証システム
JP2021056968A (ja) 物体判定装置
Klingner et al. Modeling human movements with self-organizing maps using adaptive metrics
Khan et al. Sign language analysis and recognition: A preliminary investigation
WO2021095095A1 (ja) カメラ校正装置、カメラ校正方法及びカメラ校正プログラムが格納された非一時的なコンピュータ可読媒体
KR20230152866A (ko) 무인 순찰 로봇 및 이의 사람 자세 분석 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination